Minne datani kannattaa tallentaa?
CSC:n supertietokoneet Puhti ja Mahti käyttävät molemmat rinnakkaista Lustre-tiedostojärjestelmää. Lustressa oleva data on käytettävissä järjestelmän kaikilta solmuilta, joten se on paras paikka laskennassa tarvittavan datan säilyttämiseen. Huomaa, että et voi käyttää suoraan Puhdissa olevaa dataa Mahdista tai päinvastoin, eli niillä on omat Lustre-tiedostojärjestelmänsä. Voit kuitenkin siirtää dataa Puhdin ja Mahdin välillä esimerkiksi rsync-työkalulla.
Tarkemmin sanottuna CSC:n supertietokoneissa on kolme pääasiallista levyaluetta: home, projappl ja scratch. Kotihakemisto (johon pääsee ympäristömuuttujalla $HOME) on ainoa käyttäjäkohtainen hakemisto. Muut hakemistot, scratch ja projappl, ovat projektikohtaisia ja kaikkien projektin jäsenten yhteiskäytössä. Niitä voi käyttää poluissa /scratch/<project> ja /projappl/<project>, joissa <project> tulee korvata CSC-projektisi varsinaisella tunnisteella (katso Miten löydän tietoa projekteistani). Tämä tarkoittaa myös sitä, että jos olet usean projektin jäsen, sinulla on pääsy useisiin scratch- ja projappl-hakemistoihin. Sinulla on kuitenkin vain yksi kotihakemisto.
Kun kirjaudut CSC:n supertietokoneille, sinun kannattaa siirtyä projektisi scratch-hakemistoon, koska kotihakemistoa ei ole tarkoitettu analyysissä tai laskennassa tarvittavan datan säilyttämiseen. Sen tarkoitus on säilyttää asetustiedostoja ja muuta vähäistä käyttäjäkohtaista dataa (oletuskiintiö 10 GB). Kapasiteettinsa ylittävä hakemisto aiheuttaa erilaisia ongelmia (katso Levykiintiö ylitetty). Scratch-levyalue on ensisijainen paikka aktiivisen tutkimusdatan säilyttämiseen (oletuskiintiö 1 TB), kun taas projappl on tarkoitettu esimerkiksi projektin yhteisiin omien ohjelmistojen ja kirjastojen asennuksiin (oletuskiintiö 50 GB). Katso lisätietoja levyalueista.
CSC ei varmuuskopioi dataasi!
Mitään levyalueista ei varmuuskopioida automaattisesti CSC:n toimesta. Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Muista myös, että scratch-levyalueella olevat tiedostot, joita ei ole käytetty 180 päivään, poistetaan automaattisesti.
Jotta välttäisit tahattoman datan menetyksen, siirrä tiedostot, jotka eivät ole aktiivisessa käytössä, pois scratch-alueelta ja muista ottaa tärkeästä datastasi säännöllisesti varmuuskopiot esimerkiksi Altaaseen tai oman organisaatiosi tallennusjärjestelmiin.
Yksi Altaan tärkeimmistä käyttötapauksista on sellaisen datan säilyttäminen, joka ei ole aktiivisessa käytössä CSC:n supertietokoneilla. Ennen kuin työskentelet datan kanssa HPC-järjestelmässä, kopioi se Altaasta supertietokoneelle (stage in). Kun data ei ole enää aktiivisessa käytössä, sen voi stage out eli ladata takaisin Altaaseen.
Lue lisää Altaan yleisistä käyttötapauksista ja katso esimerkki aineiston ylläpidosta.