Datan siirto Puhdista/Mahdista/LUMIsta Roihuun Windowsista

Tämä ohje on tarkoitettu käyttäjille, jotka käyttävät vain Roihun selainkäyttöliittymää ja joiden täytyy siirtää dataa Puhdista tai Mahdista Roihuun. Alla käytetään esimerkkinä Puhtia, mutta sama pätee Mahtiin ja LUMIin.

Datan määrästä ja internetyhteytesi nopeudesta riippuen käytettävissä on 3 päävaihtoehtoa:

1. Jos sinulla on alle 10 Gt dataa ja hyvä internetyhteys, voit käyttää Puhdin selainkäyttöliittymää datan lataamiseen kannettavallesi ja sen jälkeen Roihun selainkäyttöliittymää datan lataamiseen takaisin.
   Selainkäyttöliittymä pakkaa datan puolestasi zip-tiedostoksi. Pura tiedosto Roihuun lataamisen jälkeen.
2. Jos sinulla on noin 10–100 Gt dataa ja kannettavallasi on riittävästi vapaata tilaa sekä hyvä internetyhteys (ja haluat välttää komentorivityökaluja mahdollisimman pitkään),
   voit käyttää WinSCP:tä datan siirtämiseen Puhdista paikalliselle koneelle ja takaisin Roihuun.
   Jos sinulla on paljon pieniä tiedostoja, harkitse niiden pakkaamista ennen siirtoa. FileZilla on tavallinen vaihtoehto WinSCP:lle, mutta SSH-varmenteiden käyttö FileZillan kanssa on huomattavasti monimutkaisempaa.
3. Jos dataa on enemmän tai internetyhteys on hidas, käytä suoraa rsync-siirtoa Roihusta Puhtiin. rsync:llä voit siirtää myös suurempia aineistoja, eikä yhteysnopeutesi CSC:lle ole merkityksellinen. Katso ohjeet alta.

Suora rsync Roihun datan siirtoon Windowsista

Ennen kuin aloitat, varmista että sinulla on:

1. CSC-projekti, jossa on riittävästi tallennuskiintiötä Roihulle.
2. SSH-avain, jonka julkinen avain on ladattu my.csc.fi-palveluun, ja
   tiedät kannettavallasi olevan yksityisen SSH-avaimen polun sekä yksityisen avaimesi tunnuslauseen.
3. Siivonnut Puhdin datahakemistosi niin, että siellä säilytetään vain edelleen tarpeelliset tiedostot.
4. Asentanut työkalun SSH-yhteyksiä ja SSH-agenttia varten.
   CSC Docsissa kuvatut vaihtoehdot:
   • Windows PowerShell ja Windowsin SSH-agentti; nämä sisältyvät oletuksena kaikkiin Windows-asennuksiin, mutta SSH-agentin käyttö vaatii ylläpitäjäoikeudet kannettavaasi.
   • Putty ja Pageant
   • MobaXterm ja Pageant tai MobAgent

Yhdistäminen Puhtiin SSH:lla ja SSH-agentilla

1. Käynnistä SSH-agentti ja lisää yksityinen avaimesi Puhtia varten
2. Lataa SSH-varmenne Roihua varten my.csc.fi:stä.
3. Yhdistä Roihuun:
   • PowerShell: ssh -A <username>@roihu-cpu.csc.fi
   • Putty:
     • Host: roihu-cpu.csc.fi
     • Yksityinen avain ja SSH-varmenne: Connection -> SSH -> Auth -> Credentials
     • Connection -> SSH -> Auth: Allow agent forwarding
   • MobaXterm:
     • Host: roihu-cpu.csc.fi
     • Yksityinen avain ja SSH-varmenne: Advanced SSH settings + Expert SSH settings
     • Advanced SSH settings > Expert SSH settings: Allow agent forwarding
4. Käytä Roihu-CPU:n kirjautumissolmulta rsync:iä datan noutamiseen Puhdista.

   rsync -aP $USER@puhti.csc.fi:/scratch/project_2001234/my-data /scratch/project_2001234/
   

   • Katso tarkemmat rsync-ohjeet Roihun datansiirto-oppaasta.
   • Huomaa, että Roihun datansiirto-opas suosittelee pääasiassa datan siirtämistä Puhdista Roihuun, mikä edellyttäisi SSH-avaimen ja SSH-varmenteen lisäämistä SSH-agenttiin. Tämä vaatii muutaman ylimääräisen vaiheen, joten ne jätettiin yllä pois.
   • Jos sinulla on enemmän dataa, käytä tmuxia siirron pitämiseen käynnissä, vaikka sulkisit kannettavasi.

Onko tämä sivu hyödyllinen?

Kyllä

Kiitos palautteestasi!

Ei

Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä.