Datan valmistelu Roihua varten: Datanhallinta ja väliaikaiset tallennusvaihtoehdot
Tämä ohje on vanhentunut
Tämä ohje oli käytössä ennen kuin Roihu tuli yleisesti saataville, Roihun datamigraation valmisteluun sekä Allaksen tai LUMI-O:n käyttöön siirron aikana, jos se oli ehdottoman tarpeellista.
Nyt kun Roihu on käytettävissä, noudata sen sijaan Roihun datamigraatio-opasta suoriin siirtoihin Mahdista/Puhdista Roihuun.
Mahdin ja Puhdin aikataulu
Roihu on nyt käytettävissä, ja se voidaan lisätä palveluksi laskennallisille projekteille MyCSC:ssä.
Mahdin ja Puhdin tallennuspalvelut suljetaan 15. lokakuuta 2026.
Suosittelemme kuitenkin vahvasti, että kaikki käyttäjät priorisoivat datansa siirtämisen elokuun 2026 loppuun mennessä, koska syyskuun ja lokakuun 2026 välillä tallennuspalvelut eivät enää kuulu palvelusopimusten piiriin eikä niiden saatavuutta voida taata.
Tämä ohje auttaa sinua valmistelemaan datasi siirtymää varten Mahdista ja Puhdista Roihuun. Tärkein suositus on suunnitella migraatio etukäteen, arvioida mitä dataa sinun täytyy säilyttää ja siirtää aktiivisesti käytössä oleva data suoraan Mahdista tai Puhdista Roihuun.
Jos et pysty hallitsemaan suoria datasiirtoja Mahdista ja Puhdista Roihuun, voit harkita Allaksen tai LUMI-O:n käyttöä väliaikaisena tallennuspalveluna datasi säilyttämiseen.
Yksi mahdollinen syy käyttää Allasta tai LUMI-O:ta väliaikaisesti on se, että Roihun oletustallennuskiintiöt ovat pienemmät kuin Mahdissa ja Puhdissa. Jos datasi ei mahdu oletuskiintiöihin, käy ensin data läpi ja siivoa se, ja harkitse sitten tarvitsetko projektillesi kiintiön kasvattamista Roihussa. Katso CSC:n dokumentaatiosta ohje lisää levykiintiötä hakemiseen.
Roihun oletuslevykiintiöt ovat:
| Kapasiteetti | Tiedostojen määrä | |
|---|---|---|
| home | 15 GiB | 150 000 tiedostoa |
| projappl | 15 GiB | 150 000 tiedostoa |
| scratch | 250 GiB | 500 000 tiedostoa |
Suositellut väliaikaiset tallennusvaihtoehdot ovat:
- A: Allas, jos CSC-projektillasi on siellä riittävästi vapaata Allas-kiintiötä
- B: LUMI-O, jos sinulla on projekti, jolla on pääsy LUMI-O:hon, ja siellä riittävästi vapaata tallennuskiintiötä
Käytä Allasta tai LUMI-O:ta vain, jos se on ehdottoman tarpeellista
Ensisijaisen toimintatapasi datamigraatiossa Mahdista ja Puhdista Roihuun tulisi olla suora kopiointi koneelta toiselle. Käytä Allasta tai LUMI-O:ta vain, jos et pysty tekemään datan siirtoa Roihun käyttöönoton ja Mahdin/Puhdin tallennuspalveluiden sulkemisen välisenä aikana.
Rajallinen kapasiteetti Allaksessa
Allaksen kapasiteetti on loppumassa. Käytä Allasta vain, jos projektillasi on siellä jo olemassa oleva kiintiö. Älä hae projektiisi uutta Allas-kiintiötä, jos tarvitset oliotallennusta. Hae sen sijaan käyttöoikeutta LUMI-O:hon.
Katso alla oleva lyhyt esitys ohjeista LUMI-O-projektin hakemiseen.
Katso CSC:n lyhyt esitys aiheista oliotallennuksen käyttö ja LUMI-O-projektin hakeminen, tarvittaessa:
Suositeltu migraatiosuunnitelma
- Käy datasi läpi ja siivoa se nyt. Päätä, mitä täytyy säilyttää, mitä voidaan poistaa ja mitä pitäisi rakentaa uudelleen tai generoida uudelleen Roihussa.
- Suunnittele, minne datan pitäisi mennä Roihussa. Vain data, jota käsittelet aktiivisesti, tulisi siirtää suoraan Roihun työlevyalueille.
- Siirrä data suoraan Mahdista tai Puhdista Roihuun. Katso ohje datan siirtämisestä suoraan Mahdista ja Puhdista Roihuun.
- Käytä Allasta tai LUMI-O:ta vain, jos suora siirto ei ole ajoissa mahdollinen. Näitä palveluita voidaan käyttää väliaikaisena tallennuksena, jos et pysty saamaan migraatiota valmiiksi Roihun yleisen saatavuuden ja Mahdin/Puhdin tallennuspalveluiden sulkemisen välillä.
- Varmista kopioitu data ennen kuin poistat mitään. Säilytä alkuperäinen data Mahdissa tai Puhdissa, kunnes migraatio on täysin valmis ja varmistettu.
Milloin tämän ohjeen Allas- tai LUMI-O-ohjeita kannattaa käyttää?
Käytä Allas- tai LUMI-O-ohjeita, jos:
- sinulla on Mahdissa tai Puhdissa dataa, joka täytyy säilyttää ennen kuin tallennuspalvelimet suljetaan (15. lokakuuta 2026)
- et pysty tekemään suoraa siirtoa Roihuun ennen Mahdin/Puhdin tallennuspalveluiden sulkemista
- tarvitset väliaikaista oliotallennusta siirtymäkaudelle
Älä käytä Allas- tai LUMI-O-ohjeita kaiken automaattiseen siirtämiseen Allakseen tai LUMI-O:hon. Ennen datan siirtämistä arvioi, mitä sinun todella tarvitsee säilyttää.
Ennen kuin aloitat
1. Siivoa datasi
Siirrä vain data, jota edelleen tarvitset. Vältä erityisesti seuraavien siirtämistä:
- väliaikaiset tiedostot
- välimuistihakemistot
- välitulokset, jotka voidaan laskea uudelleen
- vanhat lokitiedostot
- tarpeettomat checkpoint-tiedostot
- päällekkäiset aineistot
- ohjelmistoasennukset ja suoritettavat tiedostot, jotka tulisi rakentaa uudelleen Roihussa
Suurissa hakemistoissa tarkista datan määrä ennen siirtoa. CSC:n supertietokoneilla kannattaa suosia työkaluja, jotka on tarkoitettu levynkäytön tarkistamiseen (esim. LUE) sen sijaan, että ajettaisiin raskaita rekursiivisia komentoja suurissa hakemistopuissa.
Kuinka tarkistaa hakemiston levynkäyttö
Suosittelemme käyttämään LUE-työkalua sen tunnistamiseen, missä sinulla on paljon dataa.
Vältä työkalujen kuten du käyttöä, sillä ne voivat aiheuttaa paljon kuormaa tiedostojärjestelmälle.
Yksinkertainen käyttöesimerkki (aja lue -h nähdäksesi muut vaihtoehdot):
2. Valitse kohdetallennuspalvelu
Valitse Allas, jos:
- CSC-projektillasi on jo pääsy Allakseen
- datan määrä on kohtuullinen (muutama teratavu)
- projektillasi on riittävästi vapaata Allas-kiintiötä
Valitse LUMI-O, jos:
- sinulla on projekti, jolla on pääsy LUMI-O:hon
- tarvitset oliotallennusta suuremmalle datamäärälle (> 10 TB)
- ryhmäsi käyttää jo LUMIa tai voi hakea sopivaa käyttöoikeutta
Allas ja LUMI-O ovat oliotallennuspalveluita. Ne ovat hyödyllisiä datan säilyttämiseen ja siirtämiseen Roihuun siirtymisen aikana, mutta ne eivät korvaa /scratch- tai /projappl-hakemistoja.
Oliotallennus toimii parhaiten datalle, joka voidaan ladata ylös ja alas kokonaisina tiedostoina tai arkistopaketteina. Se ei sovellu kokonaisten ohjelmistoasennusten säilyttämiseen eikä työskentelyyn suuren, usein muuttuvan pienten tiedostojen määrän kanssa.
3. Harkitse monien pienten tiedostojen pakkaamista
Jos sinulla on paljon pieniä tiedostoja, niiden siirtäminen ja käyttäminen oliotallennuspalvelussa yksitellen voi olla hidasta ja tehotonta. Harkitse arkistotiedostojen luomista ennen lataamista.
Esimerkiksi dataset/-hakemiston pakkaaminen hakemistossa /scratch/project_2000000/mydata:
Siirrä sitten arkistotiedosto koko hakemistopuun sijaan.
Myöhemmin, kun kopioit datan takaisin, esimerkiksi Roihuun, pura arkisto siellä komennolla:
Säilytä alkuperäinen hakemisto, kunnes olet varmistanut, että ladattu arkisto voidaan ladata takaisin ja purkaa onnistuneesti.
Vaihtoehto A: Siirrä data Puhdista tai Mahdista Allakseen
Käytä Allasta, jos projektillasi on jo olemassa oleva Allas-kiintiö.
Jos ainoa tarkoituksesi on säilyttää dataa Allaksessa Roihuun siirron ajan, poista se Allaksesta viipymättä sen jälkeen, kun olet siirtänyt datan Roihuun ja varmistanut kopion.
1. Kirjaudu Puhdille tai Mahdille
Kirjaudu järjestelmään, jossa datasi tällä hetkellä sijaitsee. Esimerkiksi Puhdille:
2. Määritä Allas-yhteys
Lataa Allas-moduuli ja määritä yhteys niin, että S3 on käytössä:
Kirjoita CSC-salasanasi pyydettäessä.
Komennolla voi kestää hetki muodostaa yhteys Allakseen ja käsitellä kaikki tiedot, joten ole kärsivällinen.
Tämä määrittää Allas-yhteyden valitulle CSC-projektille. Kun S3-tila on käytössä, tässä ohjeessa käytetty rclone-etäpääte on:
3. Luo ämpäri
Tarkista projektin olemassa olevat ämpärit:
Luo uusi ämpäri valitsemalla nimi, joka sisältää projektinumerosi tai muun projektikohtaisen tunnisteen. Ämpärien nimien on oltava yksilöllisiä.
Esimerkki (korvaa project-2000000 omalla projektitunnuksellasi):
Yksilöllisen tunnisteen luominen
Yllä olevassa esimerkissä ämpäri luodaan nimellä
project-2000000-roihu-transfer-${USER}. Tämä lisää ämpärin nimen loppuun käyttäjätunnuksesi, mikä on hyvä tapa
erottaa oma ämpärisi niistä ämpäreistä,
joita muut projektin käyttäjät saattavat luoda.
${USER} on ympäristömuuttuja, eikä sitä tarvitse
korvata ohjeen komennoissa, jos haluat käyttää käyttäjätunnustasi
ämpärin yksilöllisenä tunnisteena.
4. Kopioi data Allakseen
Yhden tiedoston kopiointi:
Hakemiston kopiointi:
rclone copy -P /scratch/project_2000000/mydata s3allas:project-2000000-roihu-transfer-${USER}/mydata
Käytä ensimmäisessä siirrossa copy-komentoa move-komennon sijaan. Näin alkuperäinen data säilyy Mahdissa tai Puhdissa, kunnes olet varmistanut, että lataus onnistui.
5. Tarkista ladattu data
Listaa ämpärin sisältö:
Tarkempaa listausta varten:
Voit myös verrata lähdettä ja kohdetta:
Suurissa siirroissa kannattaa harkita tulosteen kirjoittamista lokitiedostoon:
rclone copy /scratch/project_2000000/mydata s3allas:project-2000000-roihu-transfer-${USER}/mydata \
--progress \
--log-file roihu-transfer-to-allas.log
6. Datan lataaminen myöhemmin Allaksesta Roihuun
Kun Roihu on käytettävissä, kirjaudu Roihuun ja määritä yhteys dataasi sisältävään oliotallennuspalveluun noudattaen Roihussa Allaksen käyttöä käsittelevän ohjeen ohjeita. Toimintatapa on hyvin samanlainen kuin Mahdissa ja Puhdissa.
Kopioi sitten data oliotallennuksesta sopivalle Roihun levyalueelle.
Roihussa voit tarkistaa, mitä projektisi käytettävissä olevia ämpäreitä Allaksessa on komennolla rclone lsd:
[kkayttaj@roihu-cpu-login2 kkayttaj]$ rclone lsd s3allas:
3268222761 2020-10-03 10:01:42 8 2000000-genomes
2576778428 2020-10-03 10:01:42 4 2000000-mahti-SCRATCH
Kopioi sopiva data hakemistoosi Roihussa:
rclone copy -P s3allas:project-2000000-roihu-transfer-${USER}/mydata /scratch/project_2000000/mydata
Kun data on kopioitu Roihuun, varmista siirto:
Jos latasit pakattuja arkistotiedostoja, pura ne vasta sen jälkeen, kun olet varmistanut, että arkisto siirtyi onnistuneesti:
7. Poista data Allaksesta migraation jälkeen
Kun data on kopioitu Roihuun ja varmistettu, poista väliaikainen kopio Allaksesta, jos sitä ei enää tarvita.
Ole varovainen: poistokomennot poistavat dataa Allaksesta. Älä suorita niitä ennen kuin olet varmistanut, että data on olemassa lopullisessa sijainnissaan.
Yhden objektin poistaminen:
Kaikkien tietyn etuliitteen alla olevien objektien poistaminen:
Tarkista, että ämpäri on tyhjä:
Poista lopuksi käyttämäsi tyhjä ämpäri:
Vaihtoehto B: Siirrä data Puhdista tai Mahdista LUMI-O:hon
Jos sinulla on olemassa oleva käyttäjätili ja projekti LUMIssa, voit harkita LUMI-O:ta väliaikaisena tallennuspalveluna.
Samat yleiset säännöt pätevät kuin Allaksen kanssa. Älä siirrä kaikkea sokeasti LUMI-O:hon. Arvioi huolellisesti, mitä sinun todella tarvitsee säilyttää, ja poista tarpeettomat tiedostot ennen siirtoa. Jos tarvitset vain väliaikaista tallennusta Roihuun siirtymisen ajaksi, poista tiedostot LUMI-O:sta sen jälkeen, kun olet kopioinut ne Roihuun ja varmistanut ne siellä.
1. Luo rclone-asetus datan kopioimiseksi suoraan Mahdista tai Puhdista LUMI-O:hon
Ensin tarvitset tunnistetiedot LUMI-O:hon ja käyttöavaimen projektiisi.
Oliotallennukseen liittyvät työkalut alustetaan Puhdissa ja Mahdissa komennolla:
Yhteydet LUMI-O:hon määritetään komennolla:Määritysprosessi pyytää sinua kirjautumaan osoitteeseen https://auth.lumidata.eu, jossa voit luoda käyttöavainparin LUMI-projektiisi ( ohjeet avainten luomiseen ).
Voit sitten kopioida projektinumeron, käyttöavaimen ja salaisen avaimen määritysprosessiin Puhdissa tai Mahdissa.
Määritysprosessi luo neljä uutta rclone-etäpäätä:
- lumi-o: ja lumi-proj-number-private: viittaavat LUMI-O-projektin ei-julkiseen alueeseen
- lumi-pub: ja lumi-proj-number-public: LUMI-O-projektin julkiseen alueeseen.
Käytä normaaliin datansiirtoon private-etäpäitä. Älä käytä julkista etäpäätä, ellei data ole tarkoituksella julkista.
a-komentojen tapauksessa voit lisätä komentoon valinnan --lumi, jotta käytetään LUMI-O:ta. Esimerkiksi:
Huomaa, että Lumi-O-avaimilla on voimassaoloaika, joka määritellään tunnistautumiskäyttöliittymässä. Siksi yhteysmääritys voi olla tarpeen päivittää aika ajoin.
2. Luo ämpäri dataasi varten
Ennen datan kopioimista LUMI-O:hon luo siirtoa varten ämpäri.
Mahdin/Puhdin terminaalissa:
Varmista, että ämpäri näkyy listaamalla projektisi olemassa olevat ämpärit:
Korvaa 46500XXXX omalla LUMI-projektitunnuksellasi.
Yksilöllisen tunnisteen luominen
Yllä olevassa esimerkissä ämpäri luodaan nimellä
roihu-transfer-${USER}. Tämä lisää ämpärin nimen loppuun käyttäjätunnuksesi, mikä on hyvä tapa
erottaa oma ämpärisi niistä ämpäreistä,
joita muut projektin käyttäjät saattavat luoda.
${USER} on ympäristömuuttuja, eikä sitä tarvitse
korvata ohjeen komennoissa, jos haluat käyttää käyttäjätunnustasi
ämpärin yksilöllisenä tunnisteena.
3. Kopioi data LUMI-O:hon
Nyt olet valmis siirtämään dataa LUMI-O:hon.
Mahdissa/Puhdissa:
Yhden tiedoston kopiointi:
Hakemiston kopiointi:
Suurissa siirroissa suorita komento tmux-istunnon sisällä ja kirjoita lokitiedosto:
tmuxin käyttö
Käytä tmuxia esimerkiksi istunnossa Puhdissa/Mahdissa:
Käynnistä siirto tmux-istunnon sisällä. Voit irrottautua istunnosta näppäinyhdistelmällä:
Myöhemmin voit yhdistää takaisin komennolla:
rclone copy /scratch/project_2000000/mydata lumi-46500XXXX-private:roihu-transfer-${USER}/mydata \
--progress \
--log-file roihu-transfer-to-lumio.log
4. Varmista ladattu data
Listaa ladattu data:
Vertaa lähdehakemistoa ja ladattua kopiota:
Suurissa aineistoissa tallenna varmennuksen tuloste lokitiedostoon:
rclone check /scratch/project_2000000/mydata lumi-46500XXXX-private:roihu-transfer-${USER}/mydata \
--log-file roihu-transfer-lumio-check.log
5. Kopioi data myöhemmin takaisin LUMI-O:sta
Kun Roihu on käytettävissä, määritä LUMI-O-yhteys Roihussa ja kopioi data LUMI-O:sta sopivalle Roihun levyalueelle.
Esimerkki:
Varmista kopioitu data:
Jos latasit pakattuja arkistotiedostoja, tarkista ja pura ne vasta sen jälkeen, kun olet varmistanut, että arkisto siirtyi onnistuneesti.
7. Poista data LUMI-O:sta migraation jälkeen
Kun data on kopioitu Roihuun ja varmistettu, poista väliaikainen kopio LUMI-O:sta, jos sitä ei enää tarvita.
Yhden objektin poistaminen:
Kaikkien tietyn etuliitteen alla olevien objektien poistaminen:
Tyhjän ämpärin poistaminen:
Pitkien siirtojen turvallinen suorittaminen
Suuret siirrot voivat kestää pitkään. Älä suorita niitä tavallisessa SSH-istunnossa ilman suojausta, koska siirto voi pysähtyä, jos yhteys katkeaa.
Käytä tmuxia esimerkiksi istunnossa Puhdissa/Mahdissa:
Käynnistä siirto tmux-istunnon sisällä. Voit irrottautua istunnosta näppäinyhdistelmällä:
Myöhemmin voit yhdistää takaisin komennolla:
Jos siirto keskeytyy, voit turvallisesti suorittaa saman rclone copy -komennon uudelleen.
rclone copy ohittaa tiedostot, jotka ovat jo olemassa kohteessa, ja jatkaa puuttuvien tai muuttuneiden tiedostojen kopiointia.
Tärkeitä huomioita
Älä poista alkuperäistä dataa liian aikaisin
Säilytä alkuperäinen data Mahdissa tai Puhdissa, kunnes:
- lataus on valmistunut
- ladattu data on tarkistettu
- dataa ei enää tarvita Mahdissa tai Puhdissa
Ole varovainen rclone sync -komennon kanssa
rclone sync saa kohteen vastaamaan lähdettä. Tämä tarkoittaa, että se voi poistaa tiedostoja kohteesta. Käytä rclone copy -komentoa, ellet ole varma, että synkronointia tarvitaan.
Jos käytät sync-komentoa, tee ensin kuivaharjoittelu:
rclone sync /scratch/project_2000000/mydata s3allas:project-2000000-roihu-transfer-${USER}/mydata --dry-run
Oliotallennus ei ole työhakemisto
Allas ja LUMI-O soveltuvat datan säilyttämiseen, vaiheistamiseen, jakamiseen ja siirtämiseen. Ne eivät korvaa supertietokoneen scratch- tai projektihakemistoja.
Älä koskaan aja sovelluksia suoraan oliotallennusta vasten ikään kuin se olisi tavallinen tiedostojärjestelmä.
Suojaa sensitiivinen data
Älä lataa sensitiivinen dataa, elleivät tallennuspalvelu ja projektisi datanhallintasuunnitelma sitä salli. Tarvittaessa salaa data ennen lataamista.
Dokumentoi, mitä siirrettiin
Hyvien käytäntöjen noudattamiseksi luo pieni README-tiedosto ja lataa se Allakseen/LUMI-O:hon datan mukana. Esimerkiksi:
Dataset: Example simulation outputs
Original location: /scratch/project_2000000/example
Source system: Puhti
Uploaded by: <name>
Upload date: YYYY-MM-DD
Temporary storage: Allas bucket project-2000000-roihu-transfer-<my-username>
Intended destination: Roihu /scratch/project_2000000/example
Notes:
Lataa README:
tai: