Datan valmistelu Roihua varten: datanhallinta ja väliaikaiset tallennusvaihtoehdot
This tutorial is deprecated
This tutorial is deprecated. Mahti and Puhti were fully retired on 15 October 2026 and are no longer accessible.
Tämä ohje auttaa sinua valmistelemaan datasi siirtymää varten Mahdista ja Puhdista Roihuun. Tärkein suositus on suunnitella siirto etukäteen, tarkistaa mitä dataa sinun täytyy säilyttää, ja siirtää aktiivisesti käytössä oleva data suoraan Mahdista tai Puhdista Roihuun.
Jos et pysty hallitsemaan suoria datasiirtoja Mahdista ja Puhdista Roihuun, voit harkita Allaksen tai LUMI-O:n käyttöä väliaikaisena tallennuspalveluna datasi säilyttämiseen.
Yksi mahdollinen syy käyttää Allasta tai LUMI-O:ta väliaikaisesti on se, että Roihun oletustallennuskiintiöt ovat pienemmät kuin Mahdissa ja Puhdissa. Jos datasi ei mahdu oletuskiintiöihin, tarkista ja siivoa ensin datasi ja harkitse sitten, tarvitsetko kiintiön kasvattamista Roihussa projektillesi. Katso CSC:n dokumentaatiosta ohje suuremman levykiintiön hakemiseen.
Roihun oletuslevykiintiöt ovat:
| Kapasiteetti | Tiedostojen määrä | |
|---|---|---|
| home | 15 GiB | 150 000 tiedostoa |
| projappl | 15 GiB | 150 000 tiedostoa |
| scratch | 250 GiB | 500 000 tiedostoa |
Suositellut väliaikaiset tallennusvaihtoehdot ovat:
- A: Allas, jos CSC-projektillasi on riittävästi vapaata Allas-kiintiötä
- B: LUMI-O, jos sinulla on projekti, jolla on pääsy LUMI-O:hon, ja siellä riittävästi vapaata tallennuskiintiötä
Käytä Allasta tai LUMI-O:ta vain, jos se on ehdottoman tarpeellista
Ensisijaisen toimintatapasi datan siirrossa Mahdista ja Puhdista Roihuun tulisi olla suora kopiointi koneelta toiselle. Käytä Allasta tai LUMI-O:ta vain, jos et pysty tekemään datan siirtoa Roihun käyttöönoton ja Mahdin/Puhdin tallennustilan sulkemisen välisenä aikana.
Rajallinen kapasiteetti Altaassa
Allaksen kapasiteetti on loppumassa. Käytä Allasta vain, jos projektillasi on siellä jo olemassa oleva kiintiö. Älä hae projektiisi uutta Allas-kiintiötä, jos tarvitset objektiliitännäistä tallennusta. Hae sen sijaan käyttöoikeutta LUMI-O:hon.
Katso alla oleva lyhyt esitys ohjeista LUMI-O-projektin hakemiseen.
Katso CSC:n lyhyt esitys aiheista objektitallennuksen käyttö ja LUMI-O-projektin hakeminen, jos tarpeen:
Suositeltu siirtosuunnitelma
- Tarkista ja siivoa datasi nyt. Päätä, mitä täytyy säilyttää, mitä voidaan poistaa ja mitä pitäisi rakentaa uudelleen tai generoida uudelleen Roihussa.
- Suunnittele, minne datan pitäisi mennä Roihussa. Vain data, jota käsittelet aktiivisesti, tulisi siirtää suoraan Roihun työlevyalueille.
- Siirrä data suoraan Mahdista tai Puhdista Roihuun. Katso ohje datan siirtämiseen Mahdista ja Puhdista suoraan Roihuun.
- Käytä Allasta tai LUMI-O:ta vain, jos suora siirto ei ole ajoissa mahdollinen. Näitä palveluita voidaan käyttää väliaikaisena tallennustilana, jos et pysty saattamaan siirtoa loppuun Roihun yleisen saatavuuden ja Mahdin/Puhdin tallennustilan sulkemisen välillä.
- Varmista kopioitu data ennen kuin poistat mitään. Säilytä alkuperäinen data Mahdissa tai Puhdissa, kunnes siirto on täysin valmis ja varmistettu.
Milloin tässä ohjeessa olevia Allas- tai LUMI-O-ohjeita kannattaa käyttää?
Käytä Allas- tai LUMI-O-ohjeita, jos:
- sinulla on Mahdissa tai Puhdissa dataa, joka täytyy säilyttää ennen kuin tallennuspalvelimet suljetaan (15. lokakuuta 2026)
- et pysty tekemään suoraa siirtoa Roihuun ennen Mahdin/Puhdin tallennustilan sulkemista
- tarvitset väliaikaista objektitallennusta siirtymäkauden ajaksi
Älä käytä tämän ohjeen Allas- tai LUMI-O-ohjeita siihen, että siirrät automaattisesti kaiken Allakseen tai LUMI-O:hon. Ennen datan siirtämistä tarkista, mitä sinun todella tarvitsee säilyttää.
Ennen kuin aloitat
1. Siivoa datasi
Siirrä vain data, jota edelleen tarvitset. Vältä erityisesti seuraavien siirtämistä:
- väliaikaiset tiedostot
- välimuistihakemistot
- välitulokset, jotka voidaan laskea uudelleen
- vanhat lokitiedostot
- tarpeettomat checkpoint-tiedostot
- päällekkäiset aineistot
- ohjelmistoasennukset ja suoritettavat tiedostot, jotka pitäisi rakentaa uudelleen Roihussa
Suurten hakemistojen kohdalla tarkista datan määrä ennen siirtoa. CSC:n supertietokoneilla kannattaa suosia levynkäytön tarkistamiseen tarkoitettuja työkaluja (esim. LUE) sen sijaan, että suorittaisit raskaita rekursiivisia komentoja suurissa hakemistopuissa.
Kuinka tarkistaa hakemiston levynkäyttö
Suosittelemme käyttämään LUE-työkalua sen tunnistamiseen, missä sinulla on paljon dataa.
Vältä työkalujen kuten du käyttöä, sillä ne voivat aiheuttaa paljon kuormaa tiedostojärjestelmälle.
Yksinkertainen käyttöesimerkki (suorita lue -h nähdäksesi muut valinnat):
2. Valitse kohdetallennuspalvelu
Valitse Allas, jos:
- CSC-projektillasi on jo pääsy Allakseen
- datan määrä on kohtuullinen (muutama teratavu)
- projektillasi on riittävästi vapaata Allas-kiintiötä
Valitse LUMI-O, jos:
- sinulla on projekti, jolla on pääsy LUMI-O:hon
- tarvitset objektitallennusta suuremmalle datamäärälle (> 10 TB)
- ryhmäsi käyttää jo LUMIa tai voi hakea sopivaa käyttöoikeutta
Allas ja LUMI-O ovat objektitallennuspalveluita. Ne ovat hyödyllisiä datan tallentamiseen ja siirtämiseen Roihuun siirtymisen aikana, mutta ne eivät korvaa /scratch- tai /projappl-alueita.
Objektitallennus toimii parhaiten datalle, joka voidaan ladata palveluun ja sieltä pois kokonaisina tiedostoina tai arkistopaketteina. Se ei sovellu kokonaisten ohjelmistoasennusten tallentamiseen eikä työskentelyyn suuren, usein muuttuvan pienten tiedostojen määrän kanssa.
3. Harkitse monien pienten tiedostojen pakkaamista
Jos sinulla on paljon pieniä tiedostoja, niiden siirtäminen ja käyttäminen objektitallennuspalvelussa yksitellen voi olla hidasta ja tehotonta. Harkitse arkistotiedostojen luomista ennen latausta.
Esimerkiksi dataset/-hakemiston pakkaaminen hakemistossa /scratch/project_2000000/mydata:
Siirrä sitten arkistotiedosto koko hakemistopuun sijaan.
Myöhemmin, kun kopioit datan takaisin esimerkiksi Roihuun, pura arkisto siellä komennolla:
Säilytä alkuperäinen hakemisto, kunnes olet varmistanut, että ladattu arkisto voidaan hakea ja purkaa onnistuneesti.
Vaihtoehto A: Siirrä dataa Puhdista tai Mahdista Altaaseen
Käytä Allasta, jos projektillasi on jo olemassa oleva Allas-kiintiö.
Jos ainoa tarkoituksesi on säilyttää dataa Altaassa Roihuun siirtämisen ajan, poista se viipymättä Altaasta sen jälkeen, kun olet siirtänyt datan Roihuun ja varmistanut kopion.
1. Kirjaudu Puhdille tai Mahdille
Kirjaudu järjestelmään, jossa datasi tällä hetkellä sijaitsee. Esimerkiksi Puhdille:
2. Määritä Allas-yhteys
Lataa Allas-moduuli ja määritä yhteys siten, että S3 on käytössä:
Kirjoita CSC-salasanasi pyydettäessä.
Komennolla voi kestää hetki muodostaa yhteys Allakseen ja käsitellä kaikki tiedot, joten ole kärsivällinen.
Tämä määrittää Allas-yhteyden valitulle CSC-projektille. Kun S3-tila on käytössä, tässä ohjeessa käytetty rclone-etäpääte on:
3. Luo ämpäri
Tarkista projektin olemassa olevat ämpärit:
Luo uusi ämpäri valitsemalla ämpärille nimi, joka sisältää projektinumerosi tai muun projektikohtaisen tunnisteen. Ämpärien nimien täytyy olla yksilöllisiä.
Esimerkki (korvaa project-2000000 omalla projektitunnuksellasi):
Yksilöllisen tunnisteen luominen
Yllä olevassa esimerkissä ämpäri luodaan nimellä
project-2000000-roihu-transfer-${USER}. Tämä lisää ämpärin nimeen käyttäjätunnuksesi loppuliitteeksi, mikä on hyvä tapa
erottaa oma ämpärisi niistä ämpäreistä,
joita muut projektin käyttäjät saattavat luoda.
${USER} on ympäristömuuttuja, eikä sinun tarvitse
korvata sitä ohjeen komennoissa, jos haluat käyttää käyttäjätunnustasi
yksilöllisenä ämpäritunnisteena.
4. Kopioi data Allakseen
Yksittäisen tiedoston kopioiminen:
Hakemiston kopioiminen:
rclone copy -P /scratch/project_2000000/mydata s3allas:project-2000000-roihu-transfer-${USER}/mydata
Käytä ensimmäisessä siirrossa komentoa copy komennon move sijaan. Näin alkuperäinen data säilyy Mahdissa tai Puhdissa, kunnes olet varmistanut, että lataus onnistui.
5. Tarkista ladattu data
Listaa ämpärin sisältö:
Tarkempaa listausta varten:
Voit myös verrata lähdettä ja kohdetta:
Suurissa siirroissa kannattaa harkita tulosteen kirjoittamista lokitiedostoon:
rclone copy /scratch/project_2000000/mydata s3allas:project-2000000-roihu-transfer-${USER}/mydata \
--progress \
--log-file roihu-transfer-to-allas.log
6. Datan lataaminen myöhemmin Allaksesta Roihuun
Kun Roihu on käytettävissä, kirjaudu Roihuun ja määritä yhteys siihen objektitallennuspalveluun, jossa datasi sijaitsee, noudattaen Roihun Allas-käyttöohjeen ohjeita. Toimintatapa on hyvin samanlainen kuin Mahdissa ja Puhdissa.
Kopioi sitten data objektitallennuksesta sopivalle Roihun levyalueelle.
Roihussa voit tarkistaa, mitä projektisi käytettävissä olevia ämpäreitä Altaassa on komennolla rclone lsd:
[kkayttaj@roihu-cpu-login2 kkayttaj]$ rclone lsd s3allas:
3268222761 2020-10-03 10:01:42 8 2000000-genomes
2576778428 2020-10-03 10:01:42 4 2000000-mahti-SCRATCH
Kopioi sopiva data hakemistoosi Roihussa:
rclone copy -P s3allas:project-2000000-roihu-transfer-${USER}/mydata /scratch/project_2000000/mydata
Kun data on kopioitu Roihuun, varmista siirto:
Jos latasit pakattuja arkistotiedostoja, pura ne vasta sen jälkeen, kun olet varmistanut, että arkisto siirtyi onnistuneesti:
7. Poista data Altaasta siirron jälkeen
Kun data on kopioitu Roihuun ja varmistettu, poista väliaikainen kopio Altaasta, jos sitä ei enää tarvita.
Ole varovainen: poistokomennot poistavat dataa Altaasta. Älä suorita niitä ennen kuin olet varmistanut, että data on olemassa lopullisessa sijainnissaan.
Yhden objektin poistaminen:
Kaikkien tietyn etuliitteen alla olevien objektien poistaminen:
Tarkista, että ämpäri on tyhjä:
Poista lopuksi käyttämäsi tyhjä ämpäri:
Vaihtoehto B: Siirrä dataa Puhdista tai Mahdista LUMI-O:hon
Jos sinulla on olemassa oleva tili ja projekti LUMIssa, voit harkita LUMI-O:ta väliaikaisena tallennuspalveluna.
Samat yleiset säännöt pätevät kuin Allaksen kanssa. Älä siirrä kaikkea sokeasti LUMI-O:hon. Tarkista huolellisesti, mitä sinun todella tarvitsee säilyttää, ja poista tarpeettomat tiedostot ennen siirtoa. Jos tarvitset vain väliaikaista tallennustilaa Roihuun siirtymisen ajaksi, poista tiedostot LUMI-O:sta sen jälkeen, kun olet kopioinut ne Roihuun ja varmistanut ne siellä.
1. Luo rclone-määritys datan kopioimiseksi suoraan Mahdista tai Puhdista LUMI-O:hon
Ensin tarvitset tunnistetiedot LUMI-O:ta varten sekä käyttöavaimen projektiisi.
Objektitallennukseen liittyvät työkalut alustetaan Puhdissa ja Mahdissa komennolla:
Yhteydet LUMI-O:hon määritetään komennolla:Määritysprosessi pyytää sinua kirjautumaan osoitteeseen https://auth.lumidata.eu, jossa voit luoda avainparin LUMI-projektiisi ( ohjeet avainten luomiseen ).
Voit sitten kopioida projektinumeron, käyttöavaimen ja salaisen avaimen Puhdin tai Mahdin määritysprosessiin.
Määritysprosessi luo neljä uutta rclone-etäpäätä:
- lumi-o: ja lumi-proj-number-private: viittaavat LUMI-O-projektin ei-julkiseen alueeseen
- lumi-pub: ja lumi-proj-number-public: LUMI-O-projektin julkiseen alueeseen.
Käytä normaaliin datansiirtoon private-etäpäitä. Älä käytä julkista etäpäätä, ellei data ole tarkoituksella julkista.
a-komentojen tapauksessa voit lisätä komentoon valinnan --lumi, jotta käytetään LUMI-O:ta. Esimerkiksi:
aws-, s3cmd- sekä lumi-o:- ja lumi-pub:-etäpäiden kohdeprojektin, mutta säilyttää projektinumerot sisältävien etäpäiden nimet.
Huomaa, että Lumi-O-avaimilla on voimassaoloaika, joka määritellään tunnistautumiskäyttöliittymässä. Siksi sinun voi olla tarpeen päivittää yhteysmääritys ajoittain.
2. Luo ämpäri datallesi
Ennen datan kopioimista LUMI-O:hon luo siirtoa varten ämpäri.
Mahdin/Puhdin terminaalissa:
Varmista, että ämpäri näkyy listaamalla projektisi olemassa olevat ämpärit:
Korvaa 46500XXXX omalla LUMI-projektitunnuksellasi.
Yksilöllisen tunnisteen luominen
Yllä olevassa esimerkissä ämpäri luodaan nimellä
roihu-transfer-${USER}. Tämä lisää ämpärin nimeen käyttäjätunnuksesi loppuliitteeksi, mikä on hyvä tapa
erottaa oma ämpärisi niistä ämpäreistä,
joita muut projektin käyttäjät saattavat luoda.
${USER} on ympäristömuuttuja, eikä sinun tarvitse
korvata sitä ohjeen komennoissa, jos haluat käyttää käyttäjätunnustasi
yksilöllisenä ämpäritunnisteena.
3. Kopioi data LUMI-O:hon
Nyt olet valmis siirtämään dataa LUMI-O:hon.
Mahdissa/Puhdissa:
Yksittäisen tiedoston kopioiminen:
Hakemiston kopioiminen:
Suurissa siirroissa suorita komento tmux-istunnon sisällä ja kirjoita lokitiedosto:
tmuxin käyttö
Käytä tmuxia esimerkiksi Puhdin/Mahdin istunnossa:
Käynnistä siirto tmux-istunnon sisällä. Voit irrottautua istunnosta näppäinyhdistelmällä:
Myöhemmin voit yhdistää takaisin komennolla:
rclone copy /scratch/project_2000000/mydata lumi-46500XXXX-private:roihu-transfer-${USER}/mydata \
--progress \
--log-file roihu-transfer-to-lumio.log
4. Varmista ladattu data
Listaa ladattu data:
Vertaa lähdehakemistoa ja ladattua kopiota:
Suurille aineistoille tallenna varmennuksen tuloste lokitiedostoon:
rclone check /scratch/project_2000000/mydata lumi-46500XXXX-private:roihu-transfer-${USER}/mydata \
--log-file roihu-transfer-lumio-check.log
5. Kopioi data myöhemmin takaisin LUMI-O:sta
Kun Roihu on käytettävissä, määritä LUMI-O-yhteys Roihussa ja kopioi data LUMI-O:sta sopivalle Roihun levyalueelle.
Esimerkki:
Varmista kopioitu data:
Jos latasit pakattuja arkistotiedostoja, tarkista ja pura ne vasta sen jälkeen, kun olet varmistanut, että arkisto siirtyi onnistuneesti.
7. Poista data LUMI-O:sta siirron jälkeen
Kun data on kopioitu Roihuun ja varmistettu, poista väliaikainen kopio LUMI-O:sta, jos sitä ei enää tarvita.
Yhden objektin poistaminen:
Kaikkien tietyn etuliitteen alla olevien objektien poistaminen:
Tyhjän ämpärin poistaminen:
Pitkien siirtojen turvallinen suorittaminen
Suuret siirrot voivat kestää pitkään. Älä suorita niitä tavallisessa SSH-istunnossa ilman suojausta, koska siirto voi pysähtyä, jos yhteys katkeaa.
Käytä tmuxia esimerkiksi Puhdin/Mahdin istunnossa:
Käynnistä siirto tmux-istunnon sisällä. Voit irrottautua istunnosta näppäinyhdistelmällä:
Myöhemmin voit yhdistää takaisin komennolla:
Jos siirto keskeytyy, voit turvallisesti suorittaa saman rclone copy -komennon uudelleen.
rclone copy ohittaa tiedostot, jotka ovat jo olemassa kohteessa, ja jatkaa puuttuvien tai muuttuneiden tiedostojen kopiointia.
Tärkeitä huomioita
Älä poista alkuperäistä dataa liian aikaisin
Säilytä alkuperäinen data Mahdissa tai Puhdissa, kunnes:
- lataus on valmistunut
- ladattu data on tarkistettu
- dataa ei enää tarvita Mahdissa tai Puhdissa
Ole varovainen komennon rclone sync kanssa
rclone sync saa kohteen vastaamaan lähdettä. Tämä tarkoittaa, että se voi poistaa tiedostoja kohteesta. Käytä komentoa rclone copy, ellet ole varma, että synkronointia tarvitaan.
Jos käytät komentoa sync, suorita ensin kuivaharjoittelu:
rclone sync /scratch/project_2000000/mydata s3allas:project-2000000-roihu-transfer-${USER}/mydata --dry-run
Objektitallennus ei ole työhakemisto
Allas ja LUMI-O soveltuvat datan tallentamiseen, välivarastointiin, jakamiseen ja siirtämiseen. Ne eivät korvaa supertietokoneen scratch- tai projektihakemistoja.
Älä koskaan suorita sovelluksia suoraan objektitallennusta vasten ikään kuin se olisi tavallinen tiedostojärjestelmä.
Suojaa sensitiivinen data
Älä lataa sensitiivinen dataa, elleivät tallennuspalvelu ja projektisi datanhallintasuunnitelma sitä salli. Tarvittaessa salaa data ennen lataamista.
Dokumentoi, mitä siirrettiin
Hyvien käytäntöjen noudattamiseksi luo pieni README-tiedosto ja lataa se Allakseen/LUMI-O:hon datan mukana. Esimerkiksi:
Dataset: Example simulation outputs
Original location: /scratch/project_2000000/example
Source system: Puhti
Uploaded by: <name>
Upload date: YYYY-MM-DD
Temporary storage: Allas bucket project-2000000-roihu-transfer-<my-username>
Intended destination: Roihu /scratch/project_2000000/example
Notes:
Lataa README:
tai: