Suurten tiedostojen siirto S3:n avulla

FirecREST HPC API toteuttaa asynkronisen suurten tiedostojen siirtomallin käyttäen S3-objektitallennusta väliaikaisena siirtovälineenä. Esimerkiksi Roihussa käytetty S3-tallennus on Allas. FirecREST käyttää omaa erillistä tenanttiaan, jossa luodaan dynaamisesti käyttäjäkohtaisia ämpäreitä.

Miten se toimii

Kun API-pyyntö lähetetään upload- tai download-tehtävää varten, FirecREST:

Luo käyttäjäkohtaisen ämpärin omaan Allas-tenanttiinsa.
Luo esiallekirjoitetut S3-URL-osoitteet datan siirtoa varten käyttäen moniosamallia, jos annettu fileSize sitä edellyttää.
Ajastaa uuden Slurm DataTransferJobin käyttäen API-pyynnössä määriteltyä account-arvoa (projektiasi), joko siirtämään tiedostot Altaasta Roihuun sen jälkeen kun latauksesi on valmis, tai Roihusta Altaaseen sinun ladattavaksesi.
Palauttaa esiallekirjoitetut URL-osoitteet API-asiakkaalle datan siirtämistä varten.

Esimerkkejä

Erilaisia yksityiskohtaisia esimerkkejä S3-datansiirron toteuttamisesta bashilla, .NETillä ja PyFirecRESTillä löytyy FirecREST v2 -käyttöoppaasta.