Roihun datan siirto-opas

Tietoa tästä oppaasta

Tämä opas on jaettu neljään osaan:

Yleiset ohjeet ja edellytykset
Suositellut datan siirtomenetelmät
Erityistapaukset
Ei-suositellut menetelmät

Lue Yleiset ohjeet ja edellytykset -osio ennen kuin siirrät mitään dataa Roihuun. Jos datan siirtotarpeesi ovat vähäiset ja yksinkertaiset, voi riittää, että tutustut Perus rsync -esimerkkiin. Jos sinulla on paljon dataa tai muita erityisvaatimuksia, lue myös muut osiot huolellisesti.

Mahdin ja Puhdin alasajo syksyllä 2026

Mahti ja Puhti poistuvat käytöstä lokakuuhun 2026 mennessä.

Puhdin laskentapalvelut suljetaan 31.7.2026 klo 12.00 EEST.
Mahdin laskentapalvelut suljetaan 31.8.2026 klo 12.00 EEST.
Puhdin ja Mahdin tallennuspalveluiden ja kirjautumissolmujen on suunniteltu olevan käytettävissä 15.10.2026 klo 12.00 EEST asti.

Puhdin ja Mahdin tallennuspalvelut poistuvat käytöstä 15.10.2026 klo 12.00 EEST, mutta ne eivät enää kuulu palvelusopimusten piiriin elokuun lopun jälkeen. Tämän vuoksi pyri saamaan datasiirrot Mahdista ja/tai Puhdista valmiiksi elokuun 2026 loppuun mennessä tai viimeistään 15.10.2026.

1. Yleiset ohjeet ja edellytykset

1.1 Tarkista ja siivoa datasi ennen siirtoa

Roihun scratch-levyaluetta ei ole tarkoitettu datan pitkäaikaiseen säilytykseen, vaan sitä tulisi käyttää vain aktiivisessa käytössä olevalle datalle. Siirrä siis vain data, jota todella tarvitset.
- Hyvä datahygienia vähentää siirtoaikaa ja tiedostojärjestelmän kuormitusta sekä poistaa riskin tarpeettoman tai päällekkäisen datan siirtämisestä. Roihussa otetaan käyttöön Puhdin kaltainen levyn siivouskäytäntö, mikä tarkoittaa, että tiedostot, joita ei ole käytetty 180 päivään, poistetaan.
- Suosittelemme käyttämään LUE-työkalua tunnistamaan, missä sinulla on paljon dataa. Vältä työkalujen kuten du käyttöä, sillä ne voivat aiheuttaa paljon kuormaa tiedostojärjestelmälle. Yksinkertainen käyttöesimerkki (aja lue -h nähdäksesi muut vaihtoehdot):
```
module load lue
lue <directory-to-analyze>
```
Muita vinkkejä:
- Poista tai rajaa pois väliaikaiset tiedostot (välimuistidata, välitulokset, lokit, tarpeettomat checkpoint-tiedostot, core dumpit jne.).
- Suorittimille rakennetut Apptainer-kontit voidaan siirtää Roihuun. Älä siirrä GPU:ille tarkoitettuja kontteja tai mitään natiiveja asennuksia Puhdista tai Mahdista Roihuun. Ne täytyy rakentaa uudelleen alusta asti parhaan suorituskyvyn saavuttamiseksi tai jotta ne toimisivat ylipäätään (GPU-solmuissa on ARM-suoritinarkkitehtuuri). Lisää ohjelmistojen asentamisesta Roihussa.

1.2 Varmista, että sinulla on riittävästi levytilaa Roihussa

Kun olet tunnistanut siirrettävän datan, tarkista, että se mahtuu Roihun oletuslevykiintiöihin:

Levyalue	Polku	Oletuskoko	Enimmäiskoko	Oletustiedostomäärän raja	Enimmäistiedostomäärän raja
Home	`/users/$USER`	15 GiB	15 GiB	150k	150k
ProjAppl	`/projappl/<project>`	15 GiB	250 GiB	150k	2.5M
Dataset	`/dataset/<project>`	0 GiB	tapauskohtainen	0	tapauskohtainen
Scratch	`/scratch/<project>`	250 GiB	100 TiB	500k	10M

Huomaa, että Puhdin/Mahdin nykyiset kiintiölaajennukset eivät siirry automaattisesti Roihuun, joten sinun täytyy erikseen hakea suurempaa levykiintiötä MyCSC:n kautta etukäteen, jos datasi ei mahdu oletusrajoihin.

Uusi Dataset-levyalue Roihussa

Käyttäjät voivat hakea uusia "dataset-projekteja" (vrt. tavalliset laskentaprojektit) saadakseen käyttöönsä uuden levyalueen Roihussa – Dataset. Tämä levyalue mahdollistaa aineistojen säilyttämisen levyllä pidempään (ei siivousta, elinkaari on rajattu dataprojektin elinkaaren mukaan). Datan lukuoikeus voidaan jakaa globaalisti tai tietyille projektitunnuksille.

Dataset-projekteja ja Dataset-kiintiöitä haetaan ja hallinnoidaan MyCSC:n kautta. Dataset-kiintiö kuluttaa Storage BUja.

1.3 Lisää Roihu-palvelun käyttöoikeus CSC-projektiisi

Kuten minkä tahansa muun CSC-palvelun kohdalla, Roihun käyttöoikeus täytyy ottaa käyttöön projektillesi MyCSC:n kautta.
Huomaa myös, että käyttäjillä täytyy olla vähintään medium-tasoinen tunnistautumisen varmuustaso (LoA), jotta Roihuun pääsee. Voit tarkistaa LoA-tasosi MyCSC:n profiilisivulta ja nostaa sitä tarvittaessa näiden ohjeiden mukaan.

1.4 Siirrä datasi suoraan Puhdista/Mahdista Roihuun

Datan siirtämistä Roihuun Allaksen tai paikallisen työasemasi kautta ei suositella. Sen sijaan CSC suosittelee komentorivityökalujen kuten rsync käyttöä datan suoraan siirtämiseen Puhdista/Mahdista/LUMIsta Roihuun.

Erittäin tärkeää

1.5 Roihuun yhdistäminen vaatii SSH-varmenteet

SSH-avainten lisäksi Roihuun SSH:lla yhdistämiseen tarvitaan allekirjoitettu SSH-varmenne. Lue ohjeet SSH-varmenteiden hankkimiseen ja käyttöön täältä.
Jotta voit siirtää dataa suoraan Puhdista/Mahdista Roihuun, sinun täytyy välittää SSH-agenttisi yhdistäessäsi siihen järjestelmään, jossa käynnistät datansiirtoprosessin.
1. SSH-agentin ohjeet Linuxille/macOS:lle.
2. SSH-agentin ohjeet Windowsille.

2. Suositellut datan siirtomenetelmät

rsync on ensisijainen työkalu datan siirtämiseen Puhdista tai Mahdista Roihuun. Lue lisää rsync:stä täältä.
Käytämme Puhtia esimerkkinä, mutta täsmälleen samat vaiheet pätevät myös Mahtiin ja LUMIin. Korvaa vain kaikki esiintymät merkkijonosta puhti isäntänimissä jne. merkkijonolla mahti.
Kaikki esimerkit edellyttävät, että olet välittänyt SSH-agenttisi mukaan lukien SSH-avaimesi ja voimassa olevan SSH-varmenteen Puhtiin yhdistäessäsi.
Ennen datansiirron aloittamista varmista, että kohdehakemisto Roihussa on olemassa ja siihen on kirjoitusoikeus.

Apua! Mitä tehdä, jos en saa SSH-varmennettani lisättyä SSH-agenttiin?

Vaihtoehtoisesti voit kirjautua Roihuun ja vetää datan Puhdista. Koska Puhtiin yhdistäminen ei vaadi SSH-varmennetta, riittää että välitetyssä SSH-agentissa ovat SSH-avaimesi.

Huomaa, että tarvitset silti voimassa olevan SSH-varmenteen kirjautuaksesi Roihuun alun perin, mutta sitä ei tarvitse lisätä SSH-agenttiisi.

2.1 Perus `rsync`

Varmista, että SSH-agentti on käynnissä.
1. Ohjeet Linuxille/macOS:lle.
2. Ohjeet Windowsille. 2.Hanki SSH-varmenne Roihua varten ja lisää SSH-varmenne SSH-agenttiin.
3. On suositeltavaa käyttää vaihtoehtoa 2 SSH-varmenteen hankkimiseen, jolloin SSH-varmenne lisätään automaattisesti SSH-agenttiin.
4. Jos käytät vaihtoehtoa 1, lisää SSH-avaimesi ja varmenteesi SSH-agenttiin käsin.
5. Windowsissa lisää PageAntilla sekä allekirjoittamaton yksityinen avain Puhtia/Mahtia varten että allekirjoitettu avain Roihua varten.
Kirjaudu Puhtiin niin, että SSH-agentin välitys on käytössä.
- Ohjeet Linuxille/macOS:lle.
- Ohjeet Windowsille.

Siirrä kirjautumissolmulla hakemisto /scratch/project_2001234/my-data Puhdista hakemistoon /scratch/project_2001234/ Roihussa.

rsync -aP /scratch/project_2001234/my-data $USER@roihu-cpu.csc.fi:/scratch/project_2001234/

Valitsin	Kuvaus
`-a`	Käytä arkistotilaa: kopioi tiedostot ja hakemistot rekursiivisesti, säilytä käyttöoikeudet, aikaleimat ja symboliset linkit.
`-P`	Säilytä osittain siirretyt tiedostot ja näytä siirron eteneminen.

Vaihtoehtoisesti, jos olet kirjautunut Roihuun ja vedät dataa Puhdista, käytä komentoa:

rsync -aP $USER@puhti.csc.fi:/scratch/project_2001234/my-data /scratch/project_2001234/

Komento rsync -aP sopii, jos:

Siirrettävien tiedostojen määrä on pieni (<1000) tai tiedostot ovat riittävän suuria (>1 MB keskimäärin).
- Jos näin ei ole, pakkaa arkistoksi ja halutessasi pakkaa data myös tiiviimpään muotoon ennen siirtoa.
Siirrät omia tiedostojasi tai sillä ei ole merkitystä, kuka tiedostot omistaa Roihussa.
- Omistat kaikki Roihuun siirtämäsi tiedostot riippumatta siitä, kuka niiden omistaja Puhdissa on.

Huom! Lopussa olevalla /-merkillä on merkitys rsync-komennoissa!

Lopussa oleva /-merkki vaikuttaa siihen, mitä lähteestä siirretään. Jos lähdepolku päättyy merkkiin /, kaikki hakemiston sisältö kopioidaan, mutta ei itse hakemistoa. Jos haluat siirtää itse hakemiston (ja sen sisällön), jätä lopun / pois kuten edellisessä esimerkissä.

Kuinka kauan datan siirto kestää?

Alla olevaa taulukkoa voi käyttää karkeana viitteenä siitä, kuinka kauan tietyt rsync:llä tehtävät datansiirrot kestävät.

Tiedostojen määrä	Keskimääräinen tiedostokoko	Kokonaiskoko	Kesto	Huomioita
1	1 GB	1 GB	6 s
10	100 MB	1 GB	6 s
100	10 MB	1 GB	6 s
1000	1 MB	1 GB	11 s	Pienten tiedostojen overhead kasvaa, pakkaa arkistoksi!
10000	100 kB	1 GB	45 s	Pienten tiedostojen overhead kasvaa, pakkaa arkistoksi!
1	10 GB	10 GB	~1 min
10	1 GB	10 GB	~1 min
100	100 MB	10 GB	~1 min
1000	10 MB	10 GB	~1 min
1	100 GB	100 GB	~11 min
1	1 TB	1 TB	~ 2 h

Huomaa, että todellinen suorituskyky voi vaihdella järjestelmän senhetkisen kuormituksen mukaan. Jos sinun täytyy siirtää tuhansia pieniä tiedostoja (<1 MB), pakkaa ne yhdeksi arkistotiedostoksi paremman suorituskyvyn saavuttamiseksi.

2.2 Kuivaharjoituksen tekeminen

Voi olla hyödyllistä tehdä kuivaharjoitus ennen varsinaisen rsync-prosessin aloittamista. Lisää valitsin -n rsync-komentoosi:

rsync -anP /scratch/project_2001234/my-data $USER@roihu-cpu.csc.fi:/scratch/project_2001234/

Tämä komento ei siirrä mitään, vaan näyttää ainoastaan, mitä tapahtuisi, jos ajaisit rsync:n ilman -n-valitsinta.

Huom! Kuivaharjoitus ei havaitse virheitä, jotka johtuvat riittämättömistä käyttöoikeuksista

rsync-kuivaharjoitus ei havaitse virheitä, jotka johtuvat riittämättömistä käyttöoikeuksista. Toisin sanoen se olettaa, että:

Sinulla on luku- ja suoritusoikeudet kaikkiin tiedostoihin ja hakemistoihin, joita yrität siirtää Puhdista.
Sinulla on kirjoitusoikeus kohteeseen (Roihu).

Jos haluat listata tiedostot ja hakemistot, joita et voi siirtää riittämättömien käyttöoikeuksien vuoksi, kokeile:

find /scratch/project_2001234/my-data ! -readable 2> /dev/null

Jos haluat tarkistaa, onko kohde kirjoitettavissa, kokeile:

ssh $USER@roihu-cpu.csc.fi "touch /scratch/project_2001234/.test && rm /scratch/project_2001234/.test"

Puuttuvat kirjoitusoikeudet aiheuttavat Permission denied -virheen. Jos kohdetta ei ole olemassa, saat No such file or directory -virheen.

2.3 Datan siirtäminen, kun pieniä tiedostoja on paljon

Jos siirrettävä data sisältää tuhansia pieniä tiedostoja, on suositeltavaa arkistoida data ennen siirtoa eli pakata kaikki tiedostot yhdeksi tiedostoksi. Useimmat datansiirtotyökalut käsittelevät yhden suuren tiedoston paljon paremmin kuin tuhansia pieniä tiedostoja.

Oletetaan, että haluat siirtää hakemiston /scratch/project_2001234/my-data Puhdista Roihuun. Luo siitä (c) arkisto seuraavasti:
```
cd /scratch/project_2001234
tar cf my-data.tar my-data
```
Siirrä arkistoitu aineisto my-data.tar Roihuun käyttäen rsync:ä.
Pura (x) data Roihussa komennolla:
```
tar xf my-data.tar
```
Lue lisää tar:sta täältä.

Pidä levykiintiösi mielessä!

Arkistointi luo levylle uutta dataa. Jos aineistosi on suuri, saatat päätyä tilanteeseen, jossa levykiintiö loppuu kesken, koska toimenpide käytännössä kaksinkertaistaa levynkäyttösi (ellei arkistoa myös pakata tiiviimpään muotoon).

Yksi tapa välttää uuden datan luominen Puhdin levylle on ohjata tar:n tuloste putken kautta suoraan SSH:n yli Roihuun. Käytä komentoa:

tar c -C /scratch/project_2001234 my-data | ssh $USER@roihu-cpu.csc.fi 'cat > /scratch/project_2001234/my-data.tar'

Lue lisää tar:n käyttämisestä SSH:n yli.

3. Erityistapaukset

3.1 Datan pakkaaminen

Datan pakkaamisesta voi olla hyötyä tallennustilan säästämisessä ja datansiirron nopeuttamisessa, mutta se voi viedä paljon aikaa. Datan pakkaaminen kuormittaa suoritinta, ja suurten aineistojen pakkaaminen voi helposti kestää useita tunteja.

Tiedostojen pakattavuus riippuu niiden sisällöstä. Tietyt tiedostomuodot ovat jo valmiiksi voimakkaasti pakattuja (esim. kuvat), ja niiden lisäpakkaaminen on haitallista. Toisaalta datan pakkaamisesta voi olla hyötyä, jos siirrät esimerkiksi paljon pieniä pelkkiä tekstitiedostoja tai suuria tekstipohjaisia aineistoja.

Tiedostotyypit, jotka pakkautuvat hyvin	Tiedostotyypit, jotka eivät pakkaudu hyvin
Pelkkä teksti	Media (JPG, PNG, GIF, MP3, MP4, WAV jne.)
CSV, XML, JSON, YAML jne.	Valmiiksi pakatut arkistot (ZIP, gzip jne.)
Lähdekoodi (Python, C jne.)	Binääriblobit (esim. käännetyt ohjelmat)

rsync tarjoaa sisäänrakennetun toiminnallisuuden lennonaikaiseen pakkaukseen ja purkuun -z-valitsimen avulla:

rsync -azP /scratch/project_2001234/my-data $USER@roihu-cpu.csc.fi:/scratch/project_2001234/

Vaihtoehtoisia menetelmiä suorituskyvyn maksimoimiseksi

rsync käyttää datan pakkaamiseen siirron aikana zlib-kirjastoa. Sen suorituskyky on verrattavissa gzip:iin, mutta tarvittaessa saatavilla on vielä nopeampiakin vaihtoehtoja. Yksi tällainen on zstd-pakkaus.

zstd-pakkaus voidaan yhdistää tar:n käyttöön SSH:n yli. Jos haluat siirtää hakemiston my-data Puhdista Roihuun, aja:

tar c -I zstd -C /scratch/project_2001234 my-data | ssh $USER@roihu-cpu.csc.fi 'cat > /scratch/project_2001234/my-data.tar.zst'

Tapauksissa, joissa pakkaamisesta ei ole hyötyä, voit käyttää myös tavallista tar:a ssh:n yli kuten aiemmin selitettiin. Suorituskyky voi olla parempi kuin rsync:llä, erityisesti jos aineistosi sisältää valtavan määrän hyvin pieniä tiedostoja.

3.2 Pitkien siirtoprosessien turvallinen ajaminen

Yksi rsync:n vahvuuksista on, että keskeytyneitä siirtoja voidaan helposti jatkaa – aja vain sama rsync-komento uudelleen. rsync vertaa lähdettä ja kohdetta, ohittaa jo siirretyt tiedostot (kopioi vain puuttuvat) ja jatkaa osittain siirrettyjä tiedostoja (kunhan valitsinta -P tai --partial käytetään kuten yllä ohjeistettiin).

Jotta kuitenkin vältät kokonaan keskeytyneistä SSH-istunnoista johtuvat virheet, voit ajaa datansiirtoprosessisi screen-istunnossa.

Käynnistä Puhdissa screen-istunto:
```
screen -S roihu_migration
```

Käynnistä rsync-komentosi screen-istunnon sisällä:

rsync -aP /scratch/project_2001234/my-data $USER@roihu-cpu.csc.fi:/scratch/project_2001234/

Nyt voit irrottaa istunnon ja jättää rsync-prosessin käyntiin:
```
Ctrl + A, then press D
```
Datansiirtoprosessi jatkaa turvallisesti taustalla. Voit halutessasi kirjautua ulos Puhdista.
Liitä istunto takaisin komennolla:
```
screen -r roihu_migration
```
Jos unohdit istunnon nimen, kokeile screen -ls.
Kun datansiirto on valmis, lopeta istunto kirjoittamalla exit screen-istunnon sisällä.

screen:n käyttö on hyödyllistä, jos datansiirtosi kestää useita tunteja. Voit esimerkiksi sammuttaa tietokoneesi ja jättää rsync-prosessin käyntiin yön yli.

Käytä Roihussa tmux:ia

Komento screen ei ole käytettävissä Roihussa, mutta voit tehdä kaikki datansiirrot Roihuun Mahdin ja/tai Puhdin kirjautumisen kautta. Jos tarvitset pidemmän pääteistunnon auki Roihussa, käytä sen sijaan tmux:ia.

Katso tmux-ohjeet Roihun tmux-oppaasta.

3.3 Tarkistussummien käyttäminen datan eheyden varmistamiseen

rsync varmistaa datan eheyden oletuksena sisäisillä tarkistussummamekanismeilla. Siksi datan eheyttä ei tarvitse tarkistaa erikseen.

Jos et käytä rsync:ä, voit laskea tiedostoille tarkistussumman esimerkiksi md5sum:lla.

Oletetaan, että sinulla on aineistoarkisto data.tar Puhdissa. Laske sille tarkistussumma komennolla:
```
md5sum data.tar > data.tar.md5
```
Huomaa, että tarkistussummien laskeminen valtavan suurille aineistoille voi viedä aikaa, erityisesti jos levyn tämänhetkinen kuormitus on korkea.
Siirrä aineisto ja tarkistussummatiedosto data.tar.md5 Roihuun.
Kun data.tar ja data.tar.md5 ovat samassa hakemistossa, varmista tarkistussumma komennolla:
```
md5sum -c data.tar.md5
```
Jos yksikin tavu muuttui siirron aikana, tiedosto ei täsmää, ja näet data.tar: FAILED. Muussa tapauksessa saat tuloksen data.tar: OK.

3.4 Jos tiedostojen omistajuudella on merkitystä

Sinut asetetaan kaikkien Puhdista Roihuun siirtämiesi tiedostojen omistajaksi. Tämä on tärkeää ymmärtää siirrettäessä dataa jaetuista projektihakemistoista, joissa sinulla voi olla lukuoikeus kollegoidesi omistamaan dataan.

Käyttäjillä ei ole tapaa siirtää kollegoidensa dataa niin, että omistajuudet säilyisivät. Jos tämä on projektillesi tärkeää, varmista siis, että jokainen jäsen siirtää vain oman datansa.

Jos huomaat myöhemmin virheellisiä tiedostojen omistajuuksia, Roihun järjestelmäylläpitäjät voivat korjata ne puolestasi. Ota yhteyttä CSC:n Service Deskiin ja kerro, mitkä tiedostot ja/tai hakemistot asia koskee ja kenet pitäisi asettaa omistajaksi.

4. Ei-suositellut menetelmät

4.1 `scp`

scp:llä on monia haittoja verrattuna rsync:iin. Se ei voi jatkaa keskeytyneitä siirtoja, sen metadatan säilytysominaisuudet ovat rajalliset, siinä ei ole sisäänrakennettuja eheyden tarkistuksia ja sen suorituskyky on heikompi. Sen käyttöä datan siirtämiseen Roihuun ei siksi suositella, ellei aineistosi ole hyvin pieni ja yksinkertainen (<10 GB, <100 tiedostoa).

Lue lisää scp:stä täältä.

4.2 Selainkäyttöliittymien käyttäminen datan siirtämiseen

Valitettavasti Puhdin tai Mahdin selainkäyttöliittymien avulla ei ole hyvää tapaa siirtää dataa suoraan Roihuun. Joitakin epäsuoria tapoja on olemassa, mutta mikään niistä ei ole tehokas, minkä vuoksi suosittelemme ensisijaisesti yllä kuvattuja komentorivipohjaisia lähestymistapoja. Seuraavia vaihtoehtoja tulisi siksi pitää "viimeisenä keinona".

Käytä ensin Puhdin/Mahdin selainkäyttöliittymän tiedostoselainta datasi lataamiseen paikallisesti ja lataa se sitten Roihuun Roihun selainkäyttöliittymän kautta. Huomaa, että yksittäisten tiedostojen latauksille on 10 GB:n raja, joten tätä suurempi data täytyy jakaa sopiviin osiin. Vaihtoehtoisesti voit käyttää graafisia tiedostonsiirtotyökaluja datan lataamiseen Roihuun, koska olet jo ladannut sen paikallisesti.
Jos sinulla on LUMI-projekti, voit käyttää Puhdin/Mahdin selainkäyttöliittymän Cloud storage configuration -sovellusta yhteyden muodostamiseen LUMI-O:hon, ladata datasi sinne ja hakea sen sitten LUMI-O:sta Roihuun.

Älä käytä Allasta datan siirtämiseen Roihuun!

Allaksen käyttöä datan siirtämiseen Roihuun ei suositella lainkaan, koska Allaksen kapasiteetti on loppumassa. Suosi LUMI-O:ta, jos sinun on pakko siirtää dataa Roihuun oliotallennuksen kautta.