Minne datani kannattaa tallentaa?
Roihu-supertietokone käyttää rinnakkaista tiedostojärjestelmää nimeltä Lustre. Lustressa oleva data on kaikkien järjestelmän noodien käytettävissä, joten se on paras paikka tallentaa laskennassa tarvitsemasi data. Huomaa, että et voi käyttää suoraan Roihun dataa Mahdista tai päinvastoin, eli niillä on omat Lustre-tiedostojärjestelmänsä. Voit kuitenkin siirtää dataa Roihun ja Mahdin välillä käyttämällä työkaluja, kuten rsync.
Katso yksityiskohtainen datan siirto-opas Mahdista ja Puhdista Roihuun.
Tarkemmin sanottuna Roihussa on kolme pääasiallista levyaluetta: home,
projappl ja scratch. Kotihakemisto (johon pääsee käsiksi $HOME-ympäristömuuttujalla)
on ainoa käyttäjäkohtainen hakemisto. Muut hakemistot, scratch ja projappl,
ovat projektikohtaisia ja kaikkien projektin jäsenten yhteiskäytössä. Niitä voi käyttää poluissa
/scratch/<project> ja /projappl/<project>, vastaavasti, missä <project>
tulee korvata CSC-projektisi varsinaisella tunnisteella (katso
Kuinka löydän tietoa projekteistani).
Tämä tarkoittaa myös sitä, että jos olet usean projektin jäsen, sinulla on
pääsy useisiin scratch- ja projappl-hakemistoihin. Sinulla on kuitenkin
vain yksi kotihakemisto.
| Mitä tarvitset? | Suositeltu sijainti |
|---|---|
| Väliaikainen syöte-, tuloste- ja välidata yhdelle laskentaprojektille | /scratch/<project-id> (Roihu) |
| Ohjelmistot, skriptit ja pienet viitetiedostot, jotka jaetaan yhden laskentaprojektin sisällä | /projappl/<project-id> (Roihu) |
| Yksi tai muutama aktiivisesti käytetty aineisto, joita useiden Roihun laskentaprojektien täytyy lukea | /dataset/<dataset-project-id> (Roihu) |
| Varmuuskopiot, ei-aktiivinen data tai pidempiaikainen olioiden tallennus | Allas tai LUMI-O |
| Julkaistu tai säilytettävä tutkimusdata | Sopiva tutkimusdatan repositorio tai säilytyspalvelu |
Hakemisto /dataset ei sisälly tavalliseen Roihun laskentaprojektiin.
Käyttääksesi sitä hae erillistä
Roihun aineistoprojektia.
Kun kirjaudut Roihuun, sinun kannattaa siirtyä projektisi scratch-hakemistoon, koska kotihakemistoa ei ole tarkoitettu sellaisen datan tallentamiseen, jota tarvitaan analyysiin tai laskentaan. Sen tarkoitus on säilyttää asetustiedostoja ja muuta vähäistä käyttäjäkohtaista dataa (oletuskiintiö 15 Gt). Kapasiteettinsa ylittävä hakemisto aiheuttaa erilaisia ongelmia (katso Levykiintiö ylitetty). Scratch-levy on ensisijainen levyalue aktiivisen tutkimusdatasi tallentamiseen (Roihussa oletuskiintiö 250 Gt), kun taas projappl on tarkoitettu esimerkiksi projektin yhteisiin omien ohjelmistojen ja kirjastojen asennuksiin (Roihussa oletuskiintiö 15 Gt). Katso lisätietoja levyalueista.
CSC ei varmuuskopioi dataasi!
CSC ei varmuuskopioi mitään levyalueista automaattisesti. Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Muista myös, että scratch-levyllä olevat tiedostot, joita ei ole käytetty 180 päivään, poistetaan automaattisesti.
Välttääksesi tahattoman datan menetyksen siirrä tiedostot, jotka eivät ole aktiivisessa käytössä, pois scratchista ja muista ottaa säännöllisesti varmuuskopiot tärkeästä datastasi esimerkiksi Altaaseen tai oman organisaatiosi tallennusjärjestelmiin.
Yksi Allaksen tärkeimmistä käyttötapauksista on tallentaa dataa, joka ei ole aktiivisessa käytössä CSC:n supertietokoneilla. Ennen kuin työskentelet datalla HPC-järjestelmässä, kopioi se Altaasta supertietokoneelle (stage in). Kun data ei ole enää aktiivisessa käytössä, se voidaan stage out eli ladata takaisin Altaaseen.
Lue lisää Allaksen yleisistä käyttötapauksista ja katso esimerkki aineiston ylläpidosta.