Minne minun kannattaa tallentaa datani?
Roihu-supertietokone käyttää rinnakkaista tiedostojärjestelmää nimeltä Lustre. Lustrella oleva data on kaikkien järjestelmän noodien käytettävissä, joten se on paras paikka tallentaa data, jota tarvitset laskentaan.
Tarkemmin sanottuna Roihussa on kolme pääasiallista levyaluetta: home,
projappl ja scratch. Kotihakemisto (johon pääsee $HOME-ympäristömuuttujalla)
on ainoa käyttäjäkohtainen hakemisto. Muut hakemistot, scratch ja projappl,
ovat projektikohtaisia ja kaikkien projektin jäsenten yhteiskäytössä. Niitä voi käyttää poluissa
/scratch/<project> ja /projappl/<project>, joissa
<project> tulee korvata CSC-projektisi varsinaisella tunnisteella (katso
Kuinka löydän tietoa projekteistani).
Tämä tarkoittaa myös sitä, että jos olet usean projektin jäsen, sinulla on
pääsy useisiin scratch- ja projappl-hakemistoihin. Sinulla on kuitenkin
vain yksi kotihakemisto.
| Mitä tarvitset? | Suositeltu sijainti |
|---|---|
| Väliaikainen syöte-, tulos- ja välidata yhdelle laskentaprojektille | /scratch/<project-id> (Roihu) |
| Ohjelmistot, skriptit ja pienet viitetiedostot, joita jaetaan yhden laskentaprojektin sisällä | /projappl/<project-id> (Roihu) |
| Yksi tai muutama aktiivisesti käytetty aineisto, joita useiden Roihun laskentaprojektien täytyy lukea | /dataset/<dataset-project-id> (Roihu) |
| Varmuuskopiot, ei-aktiivinen data tai pidempiaikainen objektitallennus | Allas tai LUMI-O |
| Julkaistu tai säilytettävä tutkimusdata | Sopiva tutkimusdatan repositorio tai säilytyspalvelu |
Hakemisto /dataset ei sisälly tavalliseen Roihun laskentaprojektiin.
Sen käyttöä varten hae erillistä
Roihu-aineistoprojektia.
Kun kirjaudut Roihuun, sinun kannattaa siirtyä projektisi scratch-hakemistoon, koska kotihakemistoa ei ole tarkoitettu sellaisen datan tallentamiseen, jota tarvitaan analyysiin tai laskentaan. Sen tarkoitus on säilyttää asetustiedostoja ja muuta vähäistä käyttäjäkohtaista dataa (oletuskiintiö 15 GB). Kapasiteettinsa ylittävä hakemisto aiheuttaa erilaisia ongelmia (katso Levykiintiö ylitetty). Scratch-levy on ensisijainen levyalue aktiivisen tutkimusdatasi tallentamiseen (Roihussa oletuskiintiö 250 GB), kun taas projappl on tarkoitettu esimerkiksi projektin yhteisiin omien ohjelmistojen ja kirjastojen asennuksiin (Roihussa oletuskiintiö 15 GB). Katso lisätietoja levyalueista.
CSC ei varmuuskopioi dataasi!
CSC ei varmuuskopioi mitään levyalueista automaattisesti. Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Muista myös, että scratch-levyllä olevat tiedostot, joita ei ole käytetty 180 päivään, poistetaan automaattisesti.
Jotta välttäisit tahattoman datan menetyksen, siirrä tiedostot, jotka eivät ole aktiivisessa käytössä, pois scratchista ja muista ottaa tärkeästä datastasi säännöllisesti varmuuskopioita esimerkiksi Altaaseen tai oman organisaatiosi tallennusjärjestelmiin.
Yksi Allaksen tärkeimmistä käyttötapauksista on säilyttää dataa, joka ei ole aktiivisessa käytössä CSC:n supertietokoneilla. Ennen kuin työskentelet datalla HPC-järjestelmässä, kopioi se Altaasta supertietokoneelle (stage in). Kun data ei ole enää aktiivisessa käytössä, se voidaan stage out eli ladata takaisin Altaaseen.
Lue lisää Allaksen yleisistä käyttötapauksista ja katso esimerkki aineiston ylläpidosta.