Roihun datan siirto-opas¶
This tutorial is deprecated
This tutorial is deprecated. Mahti and Puhti were fully retired on 15 October 2026 and are no longer accessible.
Tietoa tästä oppaasta
Tämä opas on jaettu viiteen osaan:
- Yleiset ohjeet ja edellytykset
- SSH-yhteys SSH-agentin välityksellä
- Suositellut datan siirtomenetelmät
- Erityistapaukset
- Ei-suositellut menetelmät
Lue Yleiset ohjeet ja edellytykset -osio ennen kuin siirrät mitään dataa Roihuun. Jos datan siirtotarpeesi ovat pienet ja yksinkertaiset, voi riittää, että tutustut Perus-rsynciin. Jos sinulla on paljon dataa tai muita erityisvaatimuksia, lue myös muut osiot huolellisesti.
1. Yleiset ohjeet ja edellytykset¶
1.1 Tarkista ja siivoa datasi ennen siirtoa¶
-
Roihun scratch-levyaluetta ei ole tarkoitettu datan pitkäaikaiseen säilytykseen, vaan sitä tulisi käyttää vain aktiivisessa käytössä olevalle datalle. Siksi siirrä vain data, jota todella tarvitset.
- Hyvä datahygienia vähentää siirtoaikaa ja tiedostojärjestelmän kuormitusta sekä poistaa tarpeettoman tai päällekkäisen datan siirtämisen riskin. Roihussa on sama levyn siivouskäytäntö kuin Puhdissa, eli tiedostot, joita ei ole käytetty 180 päivään (tai 90 päivään projekteissa, joiden scratch-kiintiö on 5 TiB tai enemmän), poistetaan.
-
Suosittelemme käyttämään LUE-työkalua tunnistamaan, missä sinulla on paljon dataa. Vältä työkalujen kuten
dukäyttöä, sillä ne voivat aiheuttaa paljon kuormaa tiedostojärjestelmälle. Yksinkertainen käyttöesimerkki (suoritalue -hnähdäksesi muut valinnat):
-
Muita vinkkejä:
- Poista tai rajaa pois väliaikaiset tiedostot (välimuistidata, välitulokset, lokit, tarpeettomat checkpoint-tiedostot, core dumpit jne.).
- Suorittimille rakennetut Apptainer-kontit voidaan siirtää Roihuun. Älä siirrä GPU:ille tarkoitettuja kontteja tai mitään natiiveja asennuksia Puhdista tai Mahdista Roihuun. Ne täytyy rakentaa uudelleen alusta asti parhaan suorituskyvyn saavuttamiseksi tai jotta ne toimisivat ylipäätään (GPU-solmuissa on ARM-suoritinarkkitehtuuri). Lisää ohjelmistojen asentamisesta Roihussa.
1.2 Lisää Roihu-palvelun käyttöoikeus CSC-projektiisi¶
- Kuten mikä tahansa muu CSC-palvelu, Roihun käyttöoikeus on otettava käyttöön projektillesi MyCSC:n kautta.
- Huomaa myös, että käyttäjillä täytyy olla vähintään medium-tasoinen tunnistuksen varmuustaso (LoA), jotta Roihuun pääsee. Voit tarkistaa LoA-tasosi MyCSC:n profiilisivulta, ja nostaa sitä tarvittaessa näiden ohjeiden mukaisesti.
1.3 Varmista, että sinulla on riittävästi levytilaa Roihussa¶
-
Kun olet tunnistanut siirrettävän datan, tarkista, että se mahtuu Roihun oletuslevykiintiöihin:
Levyalue Polku Oletuskoko Enimmäiskoko Oletustiedostomäärän raja Tiedostomäärän enimmäisraja Home /users/$USER15 GiB 15 GiB 150k 150k ProjAppl /projappl/<project>15 GiB 250 GiB 150k 2.5M Dataset /dataset/<project>0 GiB tapauskohtainen 0 tapauskohtainen Scratch /scratch/<project>250 GiB 100 TiB 500k 10M -
Huomaa, että Puhdin/Mahdin olemassa olevat kiintiölaajennukset eivät siirry automaattisesti Roihuun, joten sinun täytyy erikseen hakea suurempaa levykiintiötä MyCSC:n kautta etukäteen, jos datasi ei mahdu oletusrajoihin.
Uusi Dataset-levyalue Roihussa
Käyttäjät voivat hakea uusia "dataset-projekteja" (vrt. tavalliset laskentaprojektit) saadakseen käyttöönsä uuden levyalueen Roihussa – Dataset. Tämä levyalue mahdollistaa aineistojen säilyttämisen levyllä pidempään (ei siivousta, elinkaari on rajattu dataprojektin elinkaareen). Datan lukuoikeus voidaan jakaa globaalisti tai tietyille projektitunnuksille.
Dataset-projekteja ja Dataset-kiintiöitä haetaan ja hallitaan MyCSC:n kautta. Dataset-kiintiö kuluttaa Storage BU:ita.
1.4 Siirrä datasi suoraan Puhdista/Mahdista Roihuun¶
- Datan siirtämistä Roihuun Allaksen tai paikallisen
työasemasi kautta ei suositella. Sen sijaan CSC suosittelee komentorivityökalujen kuten
rsynckäyttöä datan suoraan siirtämiseen Puhdista/Mahdista/LUMIsta Roihuun.- Jos alla kuvattu SSH-työvuo tuottaa ongelmia:
- Pienille datamäärille siirtoa paikallisen kannettavan kautta voidaan harkita käyttäen selainkäyttöliittymää tai WinSCP:tä.
- Windows-käyttäjät, jotka käyttävät pääasiassa Roihun selainkäyttöliittymää, katsokaa yksinkertaistettu datansiirto-opas.
- Jos alla kuvattu SSH-työvuo tuottaa ongelmia:
2. SSH-yhteys SSH-agentin välityksellä¶
Datan siirto Puhdin/Mahdin/LUMIn ja Roihun välillä vaatii SSH-yhteyden, jossa SSH-agentin välitys on käytössä.
Ennen kuin aloitat, varmista että sinulla on:
- Luotuna SSH-avain, julkinen avain ladattuna my.csc.fi-palveluun ja tiedät yksityisen SSH-avaimen polun kannettavallasi. Ohjeet
- Työkalu SSH-yhteyksiä varten. Ohjeet Linuxille/macOS:lle ja Windowsille.
- SSH-agentti asennettuna ja käynnissä. Ohjeet Linuxille/macOS:lle ja Windowsille.
Yhdistämistä varten:
- Hanki Roihua varten allekirjoitettu SSH-varmenne.
- Jos aiot käyttää SSH-yhteyttä Roihuun myös myöhemmin, on suositeltavaa käyttää vaihtoehtoa 2 SSH-varmenteen hankkimiseen. Tarjottu skripti lisää SSH-varmenteen automaattisesti SSH-agenttiin. Se vaatii ensimmäisellä kerralla enemmän vaiheita, mutta on myöhemmin helpompi.
- Jos aiot käyttää pääasiassa Roihun selainkäyttöliittymää, käytä vaihtoehtoa 1.
- Varmenne on voimassa 24 tuntia, joten muista toistaa tämä prosessi tarvittaessa.
- Lisää SSH-avain ja varmenne SSH-agenttiin.
- Jos käytit edellisessä vaiheessa vaihtoehtoa 2, skripti teki tämän puolestasi.
- Jos käytit edellisessä vaiheessa vaihtoehtoa 1, lisää SSH-avaimesi ja varmenteesi SSH-agenttiin käsin. Ohjeet Linuxille/macOS:lle ja Windowsille.
- Windowsissa, jos käytät Pageantia, lisää sekä allekirjoittamaton yksityinen avain Puhtia/Mahtia varten että allekirjoitettu avain Roihua varten.
- Kirjaudu Puhtiin SSH-agentin välitys päällä. Ohjeet Linuxille/macOS:lle ja Windowsille.
Ennen kuin jatkat datan siirtoon, testaa ensin, että SSH-välitys toimii komennolla:
Apua! Mitä tehdä, jos SSH-varmenteen lisääminen SSH-agenttiin ei onnistu?
Vaihtoehtoisesti voit kirjautua Roihuun ja vetää datan Puhdista. Koska yhteys Puhtiin ei vaadi SSH-varmennetta, riittää että välitetty SSH-agentti sisältää SSH-avaimesi.
Huomaa, että tarvitset edelleen voimassa olevan SSH-varmenteen, kun yhdistät Roihuun alun perin, mutta sitä ei tarvitse lisätä SSH-agenttiisi.
3. Suositellut datan siirtomenetelmät¶
rsyncon ensisijainen työkalu datan siirtämiseen Puhdista tai Mahdista Roihuun. Lue lisäärsync:stä täältä.- Ennen datansiirron aloittamista varmista, että kohdehakemisto Roihussa on olemassa ja siihen on kirjoitusoikeus.
- Käytämme Puhtia esimerkkinä, mutta täsmälleen samat vaiheet pätevät myös Mahtiin ja LUMIin.
Korvaa vain kaikki
puhti-esiintymät palvelinnimissä jne. sanallamahti.
3.1 Perus-rsync¶
- Kirjoita ylös, minkä kansion haluat siirtää Puhdista ja mihin kansioon Roihussa.
-
Siirrä kirjautumissolmulla hakemisto
/scratch/project_2001234/my-dataPuhdista hakemistoon/scratch/project_2001234/Roihussa.Valinta Kuvaus -aKäytä arkistotilaa: kopioi tiedostot ja hakemistot rekursiivisesti, säilytä käyttöoikeudet, aikaleimat ja symboliset linkit. -PSäilytä osittain siirretyt tiedostot ja näytä siirron eteneminen. -
Vaihtoehtoisesti, jos olet yhdistänyt Roihuun ja vedät dataa Puhdista, käytä komentoa:
Komento rsync -aP sopii, jos:
- Siirrettävien tiedostojen määrä on pieni (<1000) tai tiedostot ovat
riittävän suuria (>1 MB keskimäärin).
- Jos eivät, pakkaa arkistoksi ja halutessasi pakkaa data myös tiiviimpään muotoon ennen siirtoa.
- Siirrät omia tiedostojasi tai sillä ei ole merkitystä,
kuka tiedostot omistaa Roihussa.
- Omistat kaikki Roihuun siirtämäsi tiedostot riippumatta siitä, kuka omistaja Puhdissa on.
Huomio! Loppuun tulevalla /-merkillä on merkitys rsync-komennoissa!
Loppuun tuleva /-merkki vaikuttaa siihen, mitä lähteestä siirretään.
Jos lähdepolku päättyy merkkiin /, kaikki hakemiston sisältö
kopioidaan, mutta ei itse hakemistoa. Jos haluat siirtää itse hakemiston
(ja sen sisällön), jätä loppuviiva pois kuten edellisessä esimerkissä.
Kuinka kauan datan siirto kestää?
Alla olevaa taulukkoa voidaan käyttää karkeana viitteenä siitä, kuinka kauan tietyt
rsync:llä tehtävät siirrot kestävät.
| Tiedostojen määrä | Keskimääräinen tiedostokoko | Kokonaiskoko | Kesto | Huomioita |
|---|---|---|---|---|
| 1 | 1 GB | 1 GB | 6 s | |
| 10 | 100 MB | 1 GB | 6 s | |
| 100 | 10 MB | 1 GB | 6 s | |
| 1000 | 1 MB | 1 GB | 11 s | Pienten tiedostojen yleiskustannus kasvaa, tee arkisto! |
| 10000 | 100 kB | 1 GB | 45 s | Pienten tiedostojen yleiskustannus kasvaa, tee arkisto! |
| 1 | 10 GB | 10 GB | ~1 min | |
| 10 | 1 GB | 10 GB | ~1 min | |
| 100 | 100 MB | 10 GB | ~1 min | |
| 1000 | 10 MB | 10 GB | ~1 min | |
| 1 | 100 GB | 100 GB | ~11 min | |
| 1 | 1 TB | 1 TB | ~ 2 h |
Huomaa, että todellinen suorituskyky voi vaihdella järjestelmän senhetkisen kuormituksen mukaan. Jos sinun täytyy siirtää tuhansia pieniä tiedostoja (<1 MB), pakkaa ne yhdeksi arkistotiedostoksi paremman suorituskyvyn saavuttamiseksi.
3.2 Kuivaharjoituksen tekeminen¶
Voi olla hyödyllistä tehdä kuivaharjoitus ennen varsinaisen rsync-prosessin
aloittamista. Lisää valinta -n rsync-komentoosi:
Tämä komento ei siirrä mitään, vaan näyttää yksinkertaisesti, mitä tapahtuisi, jos
suorittaisit rsync-komennon ilman -n-valintaa.
Huomio! Kuivaharjoitus ei havaitse virheitä, jotka johtuvat riittämättömistä käyttöoikeuksista
rsync-kuivaharjoitus ei havaitse virheitä, jotka johtuvat riittämättömistä
käyttöoikeuksista. Toisin sanoen se olettaa, että:
- Sinulla on luku- ja suoritusoikeudet kaikkiin tiedostoihin ja hakemistoihin, joita yrität siirtää Puhdista.
- Sinulla on kirjoitusoikeus kohteeseen (Roihu).
Jos haluat listata tiedostot ja hakemistot, joita et voi siirtää riittämättömien käyttöoikeuksien vuoksi, kokeile:
Jos haluat tarkistaa, onko kohteeseen kirjoitusoikeus, kokeile:
ssh $USER@roihu-cpu.csc.fi "touch /scratch/project_2001234/.test && rm /scratch/project_2001234/.test"
Puuttuvat kirjoitusoikeudet aiheuttavat Permission denied -virheen. Jos
kohdetta ei ole olemassa, saat No such file or directory
-virheen.
3.3 Datan siirtäminen, kun pieniä tiedostoja on paljon¶
Jos siirrettävä data sisältää tuhansia pieniä tiedostoja, on suositeltavaa arkistoida data ennen siirtoa eli pakata kaikki tiedostot yhdeksi tiedostoksi. Useimmat datansiirtotyökalut käsittelevät yhden suuren tiedoston paljon paremmin kuin tuhansia pieniä tiedostoja.
-
Oletetaan, että haluat siirtää hakemiston
/scratch/project_2001234/my-dataPuhdista Roihuun. Luo siitä (c) arkisto seuraavasti: -
Siirrä arkistoitu aineisto
my-data.tarRoihuun käyttäenrsync:ä. -
Pura (
x) data Roihussa komennolla:
Pidä levykiintiösi mielessä!
Arkistointi luo levylle uutta dataa. Jos aineistosi on suuri, saatat lopulta käyttää levykiintiösi loppuun, koska toimenpide käytännössä kaksinkertaistaa levynkäyttösi (ellei arkistoa myös pakata tiiviimpään muotoon).
Yksi tapa välttää uuden datan luominen Puhdin levylle on ohjata tar:n tuloste
suoraan SSH:n yli Roihuun. Käytä komentoa:
4. Erityistapaukset¶
4.1 Datan pakkaaminen¶
Datan pakkaaminen voi olla hyödyllistä tallennustilan säästämiseksi ja datansiirron nopeuttamiseksi, mutta se voi viedä paljon aikaa. Datan pakkaaminen kuormittaa suoritinta, ja suurten aineistojen pakkaaminen voi helposti kestää useita tunteja.
Tiedostojen pakattavuus riippuu niiden sisällöstä. Tietyt tiedostomuodot ovat jo valmiiksi voimakkaasti pakattuja (esim. kuvat), ja niiden lisäpakkaaminen on haitallista. Toisaalta datan pakkaamisesta voi olla hyötyä, jos siirrät esimerkiksi paljon pieniä raakatekstitiedostoja tai suuria tekstipohjaisia aineistoja.
| Tiedostotyypit, jotka pakkautuvat hyvin | Tiedostotyypit, jotka eivät pakkaudu hyvin |
|---|---|
| Raakateksti | Media (JPG, PNG, GIF, MP3, MP4, WAV jne.) |
| CSV, XML, JSON, YAML jne. | Valmiiksi pakatut arkistot (ZIP, gzip jne.) |
| Lähdekoodi (Python, C jne.) | Binääriblobit (esim. käännetyt suoritettavat tiedostot) |
rsync tarjoaa sisäänrakennetun toiminnallisuuden lennossa tapahtuvalle pakkaukselle ja
purkamiselle -z-valinnan avulla:
Vaihtoehtoisia menetelmiä suorituskyvyn maksimoimiseksi
rsync käyttää zlib-kirjastoa datan pakkaamiseen siirron aikana. Sen
suorituskyky on verrattavissa gzip:iin, mutta saatavilla on vielä nopeampia vaihtoehtoja
tarvittaessa. Yksi tällainen on
zstd-pakkaus.
zstd-pakkaus voidaan yhdistää tar:n käyttöön SSH:n yli. Jos haluat siirtää
hakemiston my-data Puhdista Roihuun, suorita:
tar c -I zstd -C /scratch/project_2001234 my-data | ssh $USER@roihu-cpu.csc.fi 'cat > /scratch/project_2001234/my-data.tar.zst'
Tapauksissa, joissa pakkaamisesta ei ole hyötyä, voit käyttää myös tavallista tar:ia
ssh:n yli
kuten aiemmin selitettiin.
Suorituskyky voi olla parempi kuin rsync:llä, erityisesti jos aineistosi
sisältää valtavan määrän hyvin pieniä tiedostoja.
4.2 Pitkien siirtoprosessien turvallinen ajaminen¶
Yksi rsync:n vahvuuksista on, että keskeytyneitä siirtoja voidaan helposti
jatkaa – suorita vain sama rsync-komento uudelleen. rsync vertaa lähdettä ja
kohdetta, ohittaa jo siirretyt tiedostot (kopioi vain puuttuvat)
ja jatkaa osittain siirrettyjä tiedostoja (kunhan valintaa -P tai
--partial käytetään yllä ohjeistetulla tavalla).
Jotta kuitenkin vältät kokonaan keskeytyneistä SSH-istunnoista johtuvat virheet, voit
ajaa datansiirtoprosessisi screen-istunnossa.
-
Käynnistä Puhdissa
screen-istunto: -
Käynnistä
rsync-komentosiscreen-istunnon sisällä: -
Nyt voit irrottaa istunnon ja jättää
rsync-prosessin käyntiin:Datan siirtoprosessi jatkaa turvallisesti taustalla. Voit halutessasi kirjautua ulos Puhdista.
-
Liitä istunto takaisin komennolla:
Jos unohdit istunnon nimen, kokeile komentoa
screen -ls. -
Kun datansiirto on valmis, lopeta istunto kirjoittamalla
exitscreen-istunnon sisällä.
screen:n käyttö on hyödyllistä, jos datansiirtosi kestää useita tunteja. Voit
esimerkiksi sammuttaa tietokoneesi ja jättää rsync-prosessin käyntiin
yön yli.
Käytä tmux:ia Roihussa
screen-komento ei ole käytettävissä Roihussa, mutta voit
tehdä kaikki datansiirrot Roihuun Mahdin ja/tai Puhdin kirjautumisen kautta.
Jos sinun täytyy pitää pidempi pääteistunto
auki Roihussa, käytä sen sijaan tmux:ia.
Katso tmux-ohjeet Roihun tmux-oppaasta.
4.3 Tarkistussummien käyttäminen datan eheyden varmistamiseen¶
rsync varmistaa datan eheyden sisäisillä tarkistussummamekanismeilla oletusarvoisesti.
Siksi datan eheyttä ei tarvitse tarkistaa erikseen.
Jos et käytä rsync:ä, voit laskea tiedostoille tarkistussumman esimerkiksi
md5sum:lla.
-
Oletetaan, että sinulla on aineistoarkisto
data.tarPuhdissa. Laske sille tarkistussumma komennolla:Huomaa, että tarkistussummien laskeminen valtaville aineistoille voi viedä aikaa, erityisesti jos levyn tämänhetkinen kuormitus on suuri.
-
Siirrä aineisto ja tarkistussummatiedosto
data.tar.md5Roihuun. -
Kun
data.tar- jadata.tar.md5-tiedostot ovat samassa hakemistossa, varmista tarkistussumma komennolla:Jos yksikin tavu muuttui siirron aikana, tiedosto ei täsmää, ja näet
data.tar: FAILED. Muussa tapauksessa sinun pitäisi saadadata.tar: OK.
4.4 Jos tiedostojen omistajuudella on merkitystä¶
Sinut asetetaan kaikkien Puhdista Roihuun siirtämiesi tiedostojen omistajaksi. Tämä on tärkeää ymmärtää, kun siirrät dataa jaetuista projektihakemistoista, joissa sinulla voi olla lukuoikeus kollegoidesi omistamaan dataan.
Käyttäjillä ei ole tapaa siirtää kollegoidensa dataa siten, että omistajuudet säilyisivät. Jos tämä on projektillesi tärkeää, niin varmistakaa, että kukin jäsen siirtää vain oman datansa.
Jos huomaat myöhemmin virheellisiä tiedostojen omistajuuksia, Roihun järjestelmäylläpitäjät voivat korjata ne puolestasi. Ole hyvä ja ota yhteyttä CSC:n Service Deskiin ja kerro tiedot siitä, mitkä tiedostot ja/tai hakemistot ovat kyseessä ja kenet pitäisi asettaa omistajaksi.
5. Ei-suositellut menetelmät¶
5.1 scp¶
scp:llä on monia haittoja verrattuna rsync:iin. Se ei voi jatkaa keskeytyneitä
siirtoja, sen metadatan säilytysominaisuudet ovat rajalliset, siinä ei ole sisäänrakennettuja
eheyden tarkistuksia ja sen suorituskyky on heikompi. Sen käyttöä datan siirtämiseen Roihuun
ei siksi suositella, ellei aineistosi ole hyvin pieni ja yksinkertainen (<10
GB, <100 tiedostoa).
5.2 Selainkäyttöliittymien käyttäminen datan siirtämiseen¶
Valitettavasti ei ole hyvää tapaa käyttää Puhdin tai Mahdin selainkäyttöliittymiä datan siirtämiseen suoraan Roihuun. On olemassa joitakin epäsuoria tapoja, mutta mikään niistä ei ole tehokas, minkä vuoksi suosittelemme ensisijaisesti yllä olevia komentorivikäyttöliittymäpohjaisia lähestymistapoja. Seuraavia vaihtoehtoja tulisi siksi pitää "viimeisenä keinona".
- Käytä ensin Puhdin/Mahdin selainkäyttöliittymän tiedostoselainta datasi lataamiseen paikallisesti ja lataa se sitten Roihuun Roihun selainkäyttöliittymän kautta. Huomaa, että yksittäisten tiedostojen latauksille on 10 GB:n raja, joten tätä suurempi data täytyy jakaa sopiviin osiin. Vaihtoehtoisesti voit käyttää graafisia tiedostonsiirtotyökaluja datan lataamiseen Roihuun, koska olet jo ladannut sen paikallisesti.
- Jos sinulla on LUMI-projekti, voit käyttää Puhdin/Mahdin selainkäyttöliittymän Cloud storage configuration -sovellusta yhteyden muodostamiseen LUMI-O:hon, ladata datasi sinne ja hakea sen sitten LUMI-O:sta Roihuun.
Älä käytä Allasta datan siirtämiseen Roihuun!
Allaksen käyttöä datan siirtämiseen Roihuun ei suositella lainkaan, koska Allaksen kapasiteetti on loppumassa. Suosi LUMI-O:ta, jos sinun on pakko siirtää dataa Roihuun oliotallennuksen kautta.