Minne minun kannattaa tallentaa datani?¶
Roihu-supertietokone käyttää rinnakkaista tiedostojärjestelmää nimeltä Lustre. Lustressa oleva data on kaikkien järjestelmän noodien käytettävissä, joten se on paras paikka tallentaa laskentaan tarvitsemasi data.
Tarkemmin sanottuna Roihussa on kolme pääasiallista levyaluetta: home,
projappl ja scratch. Kotihakemisto (johon pääsee $HOME-ympäristömuuttujalla)
on ainoa käyttäjäkohtainen hakemisto. Muut hakemistot, scratch ja projappl,
ovat projektikohtaisia ja kaikkien projektin jäsenten yhteiskäytössä.
Niitä voi käyttää poluissa /scratch/<project> ja
/projappl/<project>, vastaavasti, missä <project> tulee korvata
CSC-projektisi varsinaisella tunnisteella (katso
Kuinka löydän tietoa projekteistani).
Tämä tarkoittaa myös sitä, että jos olet usean projektin jäsen, sinulla on
pääsy useisiin scratch- ja projappl-hakemistoihin. Sinulla on kuitenkin
vain yksi kotihakemisto.
| Mitä tarvitset? | Suositeltu sijainti |
|---|---|
| Väliaikainen syöte-, tulos- ja välidata yhdelle laskentaprojektille | /scratch/<project-id> (Roihu) |
| Ohjelmistot, skriptit ja pienet viitetiedostot, joita jaetaan yhden laskentaprojektin sisällä | /projappl/<project-id> (Roihu) |
| Yksi tai muutama aktiivisesti käytetty aineisto, joita useiden Roihun laskentaprojektien täytyy lukea | /dataset/<dataset-project-id> (Roihu) |
| Varmuuskopiot, ei-aktiivinen data tai pidempiaikainen oliotallennus | Allas tai LUMI-O |
| Julkaistu tai säilytettävä tutkimusdata | Sopiva tutkimusdatan repositorio tai säilytyspalvelu |
Hakemisto /dataset ei sisälly tavalliseen Roihun laskentaprojektiin.
Sen käyttöä varten hae erillistä
Roihun aineistoprojektia.
Kun kirjaudut Roihuun, sinun kannattaa siirtyä projektisi scratch-hakemistoon, koska kotihakemistoa ei ole tarkoitettu sellaisen datan tallentamiseen, jota tarvitaan analyysiin tai laskentaan. Sen tarkoitus on säilyttää asetustiedostoja ja muuta vähäistä käyttäjäkohtaista dataa (oletuskiintiö 15 GB). Kapasiteettinsa ylittävä hakemisto aiheuttaa erilaisia ongelmia (katso Levykiintiö ylitetty). Scratch-levy on ensisijainen levyalue aktiivisen tutkimusdatasi tallentamiseen (Roihussa oletuskiintiö 250 GB), kun taas projappl on tarkoitettu esimerkiksi projektin yhteisiin omien ohjelmistojen ja kirjastojen asennuksiin (Roihussa oletuskiintiö 15 GB). Katso lisätietoja levyalueista.
CSC ei varmuuskopioi dataasi!
Mitään levyalueista ei varmuuskopioida automaattisesti CSC:n toimesta. Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Muista myös, että scratch-levyllä olevat tiedostot, joita ei ole käytetty 180 päivään, poistetaan automaattisesti.
Tahattoman datan menetyksen välttämiseksi siirrä tiedostot, jotka eivät ole aktiivisessa käytössä, pois scratchista ja muista ottaa tärkeästä datastasi säännöllisesti varmuuskopiot esimerkiksi Altaaseen tai oman organisaatiosi tallennusjärjestelmiin.
Yksi Allaksen tärkeimmistä käyttötapauksista on sellaisen datan tallentaminen, joka ei ole aktiivisessa käytössä CSC:n supertietokoneilla. Ennen kuin työskentelet datalla HPC-järjestelmässä, kopioi se Altaasta supertietokoneelle (stage in). Kun data ei ole enää aktiivisessa käytössä, se voidaan staged out eli ladata takaisin Altaaseen.
Lue lisää Allaksen yleisistä käyttötapauksista ja katso esimerkki aineiston ylläpidosta.