Hyppää sisältöön

Docs CSC now features an automatic Finnish translation. Click here for more information.

Warning!

Puhti and Mahti are being decommissioned in stages, and their storage areas will become fully unavailable from 15 October 2026. Clean up unnecessary files and move any data you need to keep by 31 August 2026. See the Roihu data migration guide for instructions on transferring your data to Roihu.

Puhti scratch is very full: keep only active data there and move or delete everything else. No new Puhti scratch quota will be granted.

Suurten tiedostojen siirto S3:n avulla

FirecREST HPC API toteuttaa asynkronisen suurten tiedostojen siirtomallin käyttäen S3-oliotallennusta välivaiheen tallennusmediana. Roihussa käytetty S3-tallennus on Allas. FirecREST käyttää omaa erillistä tenanttia, jossa luodaan dynaamisesti käyttäjäkohtaisia ämpäreitä.

Miten se toimii

Kun lähetät API-pyynnön latauspalveluun tai latauspalvelusta, FirecREST:

  • Luo käyttäjäkohtaisen ämpärin omaan Allas-tenanttiinsa.
  • Luo esiallekirjoitetut S3-URL-osoitteet datan siirtoa varten käyttäen moniosamallia, jos annettu fileSize sitä edellyttää.
  • Ajoittaa uuden Slurm DataTransferJobin käyttäen API-pyynnössä määriteltyä account-arvoa (projektiasi), joko siirtämään tiedostot Altaasta Roihuun sen jälkeen kun latauksesi on valmis, tai Roihusta Altaaseen sinun ladattavaksesi.
  • Palauttaa esiallekirjoitetut URL-osoitteet API-asiakkaalle datan siirtämistä varten.

Esimerkkejä

Useita yksityiskohtaisia esimerkkejä S3-datasiirron toteuttamisesta bashilla, .NETillä ja PyFirecRESTillä löytyy FirecREST v2 -käyttöoppaasta.

Suomenkielinen tekoälykäännös

Sisällössä voi esiintyä virheellistä tietoa tekoälykäännöksestä johtuen.

Klikkaa tästä antaaksesi palautetta

Ymmärrän.