Hyppää sisältöön

A new version of SD Connect and SD Desktop will be available from Monday, September 28. The major upgrade will introduce significant improvements, but also includes changes that are not compatible with the current version of the service. Click here to review the available support materials.

Warning!

Puhti and Mahti computing services have been decommissioned and no new jobs are accepted or executed on its compute nodes. Puhti and Mahti login nodes and storage services are planned to remain available until 15 October 2026. Clean up unnecessary files and move any data you need to keep by 31 August 2026. See the Roihu data migration guide for instructions on transferring your data to Roihu.

Suurten tiedostojen siirto S3:n avulla

FirecREST HPC API toteuttaa asynkronisen suurten tiedostojen siirtomallin käyttäen S3-oliotallennusta välivaiheen tallennusmediana. Roihussa käytetty S3-tallennus on Allas. FirecREST käyttää omaa erillistä tenanttia, jossa luodaan dynaamisesti käyttäjäkohtaisia ämpäreitä.

Miten se toimii

Kun lähetät API-pyynnön latauspalveluun tai latauspalvelusta, FirecREST:

  • Luo käyttäjäkohtaisen ämpärin omaan Allas-tenanttiinsa.
  • Luo esiallekirjoitetut S3-URL-osoitteet datan siirtoa varten käyttäen moniosamallia, jos annettu fileSize sitä edellyttää.
  • Ajoittaa uuden Slurm DataTransferJobin käyttäen API-pyynnössä määriteltyä account-arvoa (projektiasi), joko siirtämään tiedostot Altaasta Roihuun sen jälkeen kun latauksesi on valmis, tai Roihusta Altaaseen sinun ladattavaksesi.
  • Palauttaa esiallekirjoitetut URL-osoitteet API-asiakkaalle datan siirtämistä varten.

Esimerkkejä

Useita yksityiskohtaisia esimerkkejä S3-datasiirron toteuttamisesta bashilla, .NETillä ja PyFirecRESTillä löytyy FirecREST v2 -käyttöoppaasta.

Suomenkielinen tekoälykäännös

Sisällössä voi esiintyä virheellistä tietoa tekoälykäännöksestä johtuen.

Klikkaa tästä antaaksesi palautetta

Ymmärrän.