Levyalueet

Roihun dokumentaatio erillisellä docs-sivulla

Tämä sivu sisältää tallennustietoa Puhdista ja Mahdista. Roihun tallennustiedoista katso: Roihun tallennus

Puhdin ja Mahdin käytöstäpoisto vuonna 2026

Puhti ja Mahti poistuvat käytöstä vuonna 2026, ja niiden tallennusjärjestelmät eivät ole enää lainkaan käytettävissä 15. lokakuuta 2026 klo 12.00 EEST.

Siirrä kaikki data, jonka haluat säilyttää, Roihuun. Katso lisätietoja Roihun datan siirto -oppaasta.

CSC:n supertietokoneissa on kolme pääasiallista levyaluetta: home, projappl ja scratch. Näiden kaikkien laskenta- ja kirjautumissolmujen näkyvissä olevien levyalueiden lisäksi jokaisella solmulla on paikallinen väliaikainen levyalue, joka näkyy vain kyseiselle laskentasolmulle eräajon tai komentotulkkisession aikana. Tutustu huolellisesti näihin alueisiin ja niiden erityisiin käyttötarkoituksiin. Eri supertietokoneiden levyalueet ovat erillisiä, eli Puhdin home-, projappl- ja scratch-alueita ei voi käyttää suoraan Mahdista. Saatavilla on myös teknisempi kuvaus näissä hakemistoissa käytetystä Lustre-tiedostojärjestelmästä.

CSC ei varmuuskopioi dataasi!

CSC ei varmuuskopioi mitään levyalueista automaattisesti! Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Välttääksesi tahattoman datan menetyksen varmista, että teet säännöllisesti varmuuskopioita esimerkiksi Altaaseen. Katso myös allas-backup-työkalu.

	Omistaja	Ympäristömuuttuja	Polku	Siivous	Automaattinen varmuuskopiointi
home	Henkilökohtainen	`${HOME}`	`/users/<user-name>`	Ei	Ei
projappl	Projekti	Ei saatavilla	`/projappl/<project>`	Ei	Ei
scratch	Projekti	Ei saatavilla	`/scratch/<project>`	180 päivää Puhdissa	Ei

Näillä levyalueilla on kiintiöt sekä datan määrälle että tiedostojen kokonaismäärälle:

	Kapasiteetti	Tiedostojen määrä
home	10 GiB	100 000 tiedostoa
projappl	50 GiB	100 000 tiedostoa
scratch	1 TiB	1 000 000 tiedostoa

LUE

Jos haluat helposti tarkistaa rinnakkaistiedostojärjestelmässä olevan kansion datamäärän ja tiedostojen lukumäärän, suosittelemme käyttämään LUE -työkalua. Tämä työkalu on huomattavasti nopeampi kuin esimerkiksi stat tai du ja kuormittaa tiedostojärjestelmää paljon vähemmän.

Kiintiöt ja siivous

Vaikka on mahdollista hakea suurempia kiintiöitä, suosittelemme, että varmistat aina ensin, että jaetulle tiedostojärjestelmälle tallentamasi data on todella tarpeellista ja aktiivisessa käytössä. Käyttämätön data kannattaa siirtää esimerkiksi Altaaseen. Saatavilla on myös yleinen opas datan hallintaan ja siivoamiseen Puhdin ja Mahdin levyillä.

Kotihakemisto

Jokaisella Mahdin ja Puhdin käyttäjällä on kotihakemisto ($HOME), johon voi tallentaa enintään 10 GB dataa.

Kotihakemisto on oletushakemisto, johon päädyt kirjautuessasi CSC:n supertietokoneille. Tyypillisesti sinun tulisi kuitenkin siirtyä projektisi scratch-hakemistoon työskennellessäsi, koska kotihakemistoa ei ole tarkoitettu data-analyysiin tai laskentaan. Sen tarkoitus on säilyttää asetustiedostoja ja muuta vähäistä henkilökohtaista dataa. Kapasiteettinsa ylittävä kotihakemisto aiheuttaa erilaisia ongelmia käyttäjätilille.

Kotihakemisto on supertietokoneiden ainoa käyttäjäkohtainen hakemisto. Kaikki muut hakemistot ovat projektikohtaisia. Jos olet usean projektin jäsen, sinulla on myös pääsy useisiin scratch- tai projappl-hakemistoihin, mutta silti vain yksi kotihakemisto.

Scratch-hakemisto

Jokaisella Mahdin ja Puhdin projektilla on oletuksena 1 TiB scratch-levytilaa hakemistossa /scratch/<project>.

Tämä nopea rinnakkainen scratch-tila on tarkoitettu väliaikaiseksi tallennustilaksi datalle, jota käytetään supertietokoneessa. Scratch-hakemistoa ei ole tarkoitettu pitkäaikaiseen datan säilytykseen. Jotta levyt eivät täyttyisi, CSC poistaa säännöllisesti tiedostoja, joita ei ole käytetty pitkään aikaan. Puhdissa nykyinen käytäntö on poistaa tiedostot, joita ei ole käytetty yli 180 päivään (scratch-kiintiö alle 5 TiB) tai 90 päivään (scratch-kiintiö 5 TiB tai enemmän). Mahdissa vastaava siivouskäytäntö otetaan käyttöön, mutta se ei ole vielä aktiivinen. Katso ajantasaiset tiedot käyttöehdot -sivulta.

Tutustu myös ohjeeseemme, jossa on vinkkejä ja ohjeita datan hallintaan scratch-alueella.

Projappl-hakemisto

Jokaisella Mahdin ja Puhdin projektilla on myös 50 GB projektin sovelluslevytilaa hakemistossa /projappl/<project>.

Se on tarkoitettu käännettyjen ohjelmistobinäärien, lähdekoodin, kirjastojen, skriptien ja pienimuotoisen projektin sisällä jaettavan viitedatan tallentamiseen. Se ei ole henkilökohtainen tallennustila, vaan kaikkien projektin jäsenten yhteinen. Huomaa, että tämän kansion tiedostoja ei poisteta automaattisesti.

Huomaa, että projappl-kiintiö on rajallinen eikä levyaluetta ole tarkoitettu aktiivisen tutkimusdatan tallentamiseen. Älä siis lähetä töitä ajettavaksi tästä hakemistosta äläkä kirjoita suurimittaista dataa projektisi projappl-hakemistoon, vaan käytä tähän tarkoitukseen scratch-hakemistoa. Huomaa, että itse asentamasi sovellukset, joita ajat, voidaan ja ne kannattaa silti säilyttää projappl-hakemistossa.

Scratch- ja projappl-hakemistojen käyttö

Yleiskatsaus sen supertietokoneen hakemistoihisi, johon olet parhaillaan kirjautuneena, voidaan näyttää komennolla:

csc-workspaces

Yllä oleva komento näyttää kaikki scratch- ja projappl-hakemistot, joihin sinulla on pääsy. Se näyttää myös, mitkä projekteistasi kuuluvat 90 päivän scratch-siivousjaksoon ja mitkä 180 päivän scratch-siivousjaksoon.

Jos olet esimerkiksi kahden projektin jäsen, joiden unix-ryhmät ovat project_2000123 ja project_2001234, sinulla on pääsy kahteen scratch- ja projappl-hakemistoon:

[kkayttaj@puhti-login11 ~]$ csc-workspaces 

Disk area               Capacity(used/max)  Files(used/max)  Cleanup
----------------------------------------------------------------------
Personal home folder

/users/kkayttaj                 4.4G/10G         24K/100K        n/a
----------------------------------------------------------------------
Project: project_2000123 "Project X"

/projappl/project_2000123        24G/50G         36K/100K        n/a
/scratch/project_2000123        103G/1.0T       389K/1.0M       180d
----------------------------------------------------------------------
Project: project_2001234 "Project Y"

/projappl/project_2001234        85G/100G       282K/600K        n/a
/scratch/project_2001234        7.2T/8.0T       2.7M/5.0M        90d
----------------------------------------------------------------------

Siirtyminen projektin project_2000123 scratch-hakemistoon:

cd /scratch/project_2000123

Huomaa, että kaikilla CSC-projekteilla ei ole Puhti-/Mahti-käyttöoikeutta, joten et välttämättä löydä scratch- tai projappl-hakemistoa kaikille CSC-projekteillesi.

Note

scratch- ja projappl-hakemistot ovat kaikkien projektin jäsenten yhteiskäytössä. Kaikki uudet tiedostot ja hakemistot ovat myös täysin muiden ryhmän jäsenten käytettävissä (mukaan lukien luku-, kirjoitus- ja suoritusoikeudet).

Jos haluat rajoittaa ryhmäsi jäsenten pääsyä, voit muuttaa oikeudet uudelleen chmod-komennolla. Lukuoikeuden sallivien mutta kirjoitusoikeuden estävien oikeuksien asettaminen ryhmän jäsenille hakemistoon my_directory:

chmod -R g-w my_directory

Kuten aiemmin mainittiin, scratch-hakemisto on tarkoitettu vain datan käsittelyyn. Kaikki data, joka pitää säilyttää pidempään, tulee kopioida Allas-objektitallennuspalveluun. Ohjeet tiedostojen varmuuskopiointiin CSC:n supertietokoneilta Altaaseen löytyvät Allas-oppaasta.

Datan siirtäminen supertietokoneiden välillä

Dataa voidaan siirtää supertietokoneiden välillä Altaan kautta lataamalla data ensin yhdestä supertietokoneesta ja lataamalla se sitten toiselle supertietokoneelle. Tämä on suositeltu tapa, jos data halutaan myös säilyttää pidempään.

Dataa voidaan siirtää myös suoraan supertietokoneiden välillä rsync-komennolla. Esimerkiksi kopioidaksesi my_results-kohteen (joka voi olla joko tiedosto tai hakemisto) Puhdista Mahdin hakemistoon /scratch/project_2002291, voit antaa Puhdissa komennon:

rsync -azP my_results yourcscusername@mahti.csc.fi:/scratch/project_2002291

Katso tarkemmat rsync-ohjeet sivulta Using rsync.

Kiintiöiden kasvattaminen

Voit käyttää MyCSC-portaalia scratch- ja projappl-hakemistojen kiintiöiden hallintaan.

Muista, että vaikka kiintiötä kasvatetaan, suunniteltu automaattinen siivousprosessi jatkaa käyttämättömien tiedostojen poistamista scratch-hakemistosta. Data, joka ei ole aktiivisen laskennan kohteena, tulee tallentaa Allas-tallennuspalveluun.

Muista myös, että voit kasvattaa näitä arvoja vain tiettyyn rajaan asti. Erityisesti tiedostojen määrän osalta sinun kannattaa harkita datan työvuo uudelleen, jos se vaatii kymmenien miljoonien tiedostojen tallentamista scratch-alueelle.

Info

Jos haluat selvittää, kuinka paljon dataa/tiedostoja levylläsi on, käytä LUE -työkaluamme, joka on paljon suorituskykyisempi kuin tavalliset työkalut kuten stat tai du.

Väliaikaiset paikalliset levyalueet

Jos sovellus on riippuvainen väliaikaisten tiedostojen käytöstä, tiedostojärjestelmän soveltuvuudella voi olla suuri vaikutus sovelluksen suorituskykyyn. Katso kohta Huomioi I/O – sillä voi olla suuri merkitys sivulta Suorituskyvyn tarkistuslista.

Huomaa, että jotkin sovellukset käyttävät väliaikaisia tiedostoja "kulissien takana". Tavallisesti nämä sovellukset lukevat jotakin ympäristömuuttujaa, joka osoittaa sopivaan levyalueeseen, kuten $TMPDIR.

Joissakin solmuissa on paikallisia levyjä, joita voidaan käyttää työn nopeuttamiseen silloin, kun väliaikaisia tiedostoja tarvitaan vain yhden kirjautumis- tai laskentasolmun sisällä.

Jokaisessa kirjautumissolmussa on 2900 GiB nopeaa paikallista tallennustilaa. Tallennustila sijaitsee polussa $TMPDIR ja on erillinen jokaiselle kirjautumissolmulle.

Paikallinen tallennustila soveltuu hyvin sovellusten kääntämiseen sekä raskaita I/O-operaatioita vaativaan esi- ja jälkikäsittelyyn, esimerkiksi arkistotiedostojen pakkaamiseen ja purkamiseen.

Note

Paikallinen tallennustila on tarkoitettu väliaikaiseen säilytykseen, ja se siivotaan usein. Muista siirtää datasi jaetulle levyalueelle tehtävän valmistuttua.

Laskentasolmut, joissa on paikalliset SSD- (NVMe-) levyt

Puhdin ja Mahdin I/O- ja GPU-solmuissa ajettavissa töissä on käytettävissä paikallista nopeaa tallennustilaa. Interaktiivisissa eräajoissa, jotka käynnistetään sinteractive-komennolla, tämä paikallinen levyalue määritellään ympäristömuuttujalla $TMPDIR, ja tavallisissa eräajoissa ympäristömuuttujalla $LOCAL_SCRATCH. Tämän tallennustilan koko määritellään eräajon resurssipyynnössä. Eri solmuissa on eri määrä levytilaa; katso Puhdin tekniset tiedot yksityiskohtaista luetteloa varten kaikista Puhdin solmutyypeistä. Tavallisissa laskentasolmuissa on 1490 GiB:n ja 3600 GiB:n levyt. Suurmuistisissa solmuissa on 1490 GiB:n ja 5960 GiB:n levyt, ja GPU-solmuissa on 3600 GiB:n levyt. Resurssien säästämiseksi ja sen varmistamiseksi, etteivät työsi joudu jonottamaan resursseja liian pitkään, on hyvä varata vain se määrä, jonka todella tarvitset. Mahdissa on 60 CPU-solmua, joissa on 3500 GiB:n paikalliset levyt small- ja interactive-osioissa. GPU-solmuissa on 3600 GiB:n paikalliset levyt.

Nämä paikalliset levyalueet on suunniteltu tukemaan I/O-intensiivisiä laskentatehtäviä ja tilanteita, joissa sinun täytyy käsitellä suuria määriä (yli 100 000) pieniä tiedostoja. Nämä hakemistot siivotaan, kun eräajo päättyy. Siksi eräajon lopussa sinun täytyy kopioida kaikki data, jonka haluat säilyttää, näiltä väliaikaisilta levyalueilta scratch-hakemistoon tai Altaaseen.

Lisätietoja on sivulla eräajoskriptien luominen.

Laskentasolmut ilman paikallisia SSD- (NVMe-) levyjä

Puhdissa suosittelemme yksinkertaisesti käyttämään NVMe-levyillä varustettuja laskentasolmuja ($LOCAL_SCRATCH) sovelluksille, jotka tarvitsevat väliaikaista paikallista tallennustilaa.

Mahdissa, jossa vain osassa laskentasolmuista on paikalliset NVMe-levyt, on myös mahdollista tallentaa suhteellisen pieni määrä väliaikaisia tiedostoja muistiin. Käytännössä sovellukset voivat käyttää tähän hakemistoa /dev/shm, esimerkiksi asettamalla export TMPDIR=/dev/shm. Huomaa, että /dev/shm:n käyttö kuluttaa muistia, joten sovelluksille jää vähemmän muistia käyttöön. Tämä voi johtaa siihen, että sovelluksilta loppuu muisti odotettua aiemmin ja ne epäonnistuvat laskentasolmussa, mutta tästä ei yleensä aiheudu muuta haittaa. Hyvä puoli on se, että jos tämä toimii, sen pitäisi olla nopeaa.

Puhdissa sekä Mahdin small-, interactive- ja GPU-osioissa, joissa useiden käyttäjien sovellukset voivat jakaa saman solmun, muistin loppuminen täyttämällä /dev/shm kaataa myös muiden käyttäjien sovellukset! Näissä tapauksissa /dev/shm:n käyttöä ei suositella lainkaan.