Suurten tiedostojen siirto S3:n avulla

FirecREST HPC API toteuttaa asynkronisen suurten tiedostojen siirtomallin käyttäen S3-objektitallennusta väliaikaisena siirtovälineenä. Esimerkiksi Roihussa käytetty S3-tallennus on Allas. FirecREST käyttää omaa erillistä tenanttiaan, jossa luodaan dynaamisesti käyttäjäkohtaisia ämpäreitä.

Miten se toimii

Kun API-pyyntö lähetetään upload- tai download-tehtävää varten, FirecREST:

• Luo käyttäjäkohtaisen ämpärin omaan Allas-tenanttiinsa.
• Luo esiallekirjoitetut S3-URL-osoitteet datan siirtoa varten käyttäen moniosamallia, jos annettu fileSize sitä edellyttää.
• Ajastaa uuden Slurm DataTransferJobin käyttäen API-pyynnössä määriteltyä account-arvoa (projektiasi), joko siirtämään tiedostot Altaasta Roihuun sen jälkeen kun latauksesi on valmis, tai Roihusta Altaaseen sinun ladattavaksesi.
• Palauttaa esiallekirjoitetut URL-osoitteet API-asiakkaalle datan siirtämistä varten.

Esimerkkejä

Erilaisia yksityiskohtaisia esimerkkejä S3-datansiirron toteuttamisesta bashilla, .NETillä ja PyFirecRESTillä löytyy FirecREST v2 -käyttöoppaasta.

Onko tämä sivu hyödyllinen?

Kyllä

Kiitos palautteestasi!

Ei

Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä.