Roihun levyalueet

Roihu tarjoaa kolme pääasiallista jaettua levyaluetta: home, projappl ja scratch. Lisäksi jokainen laskentasolmu tarjoaa paikallisen väliaikaisen levyalueen, joka on käytettävissä vain kyseisellä solmulla ajon tai interaktiivisen istunnon aikana. Tutustu huolellisesti näihin alueisiin ja niiden erityisiin käyttötarkoituksiin.

Roihun käyttäjät voivat hakea myös erillisiä aineistoprojekteja. Ne tarjoavat pääsyn omaan levyalueeseen, dataset, joka on tarkoitettu aineistojen jakamiseen useiden projektien välillä. Toisin kuin laskennalliset projektit, aineistoprojekteihin ei sisälly scratch- tai projappl-hakemistoja.

Nämä hakemistot ovat jaettuja järjestelmän kirjautumis- ja laskentasolmujen välillä, ja ne perustuvat Lustre-tiedostojärjestelmään. Katso teknisempi kuvaus Lustre-tiedostojärjestelmästä CSC:n supertietokoneilla.

CSC ei varmuuskopioi dataasi!

Mitään levyalueista ei varmuuskopioida automaattisesti CSC:llä! Poistettuja tiedostoja ei voida palauttaa. Välttääksesi tahattoman datan menetyksen varmista, että teet säännöllisesti varmuuskopioita esimerkiksi Altaaseen. Katso myös allas-backup-työkalu.

	Omistaja	Ympäristömuuttuja	Polku	Siivous	Automaattinen varmuuskopiointi
home	Henkilökohtainen	${HOME}	/users/<user-name>	Ei	Ei
projappl	Projekti	Ei määritelty	/projappl/<project>	Ei	Ei
scratch	Projekti	Ei määritelty	/scratch/<project>	180 päivää	Ei
dataset	Projekti	Ei määritelty	/dataset/<project>	Ei	Ei

Näillä levyalueilla on kiintiöt sekä datan määrälle että tiedostojen kokonaismäärälle:

	Kapasiteetti	Tiedostojen määrä	Huomioita
home	15 GiB	150 000 tiedostoa
projappl	15 GiB	150 000 tiedostoa
scratch	250 GiB	500 000 tiedostoa
dataset	0 GiB	0 tiedostoa	Haettava erikseen

LUE

Jos haluat helposti tarkistaa tietyn kansion datamäärän ja tiedostojen lukumäärän rinnakkaisessa tiedostojärjestelmässä, harkitse LUE -työkalun käyttöä. Tämä työkalu on huomattavasti nopeampi kuin esimerkiksi stat tai du ja kuormittaa tiedostojärjestelmää paljon vähemmän.

Kiintiöt ja siivous

Vaikka on mahdollista hakea suurempia kiintiöitä, suosittelemme, että varmistat aina ensin, että jaettuun tiedostojärjestelmään tallentamasi data on todella tarpeellista ja aktiivisessa käytössä. Käyttämätön data tulisi poistaa tai siirtää esimerkiksi Altaaseen. Saatavilla on myös yleinen ohje datan hallintaan ja siivoamiseen Puhdin ja Mahdin levyillä.

Kotihakemisto

Jokaisella käyttäjällä on kotihakemisto ($HOME), joka voi sisältää Roihussa enintään 15 GB dataa.

Kotihakemisto on oletussijainti kirjautumisen jälkeen. Sitä ei kuitenkaan ole tarkoitettu data-analyysiin tai ajettavien töiden suorittamiseen. Sen tarkoitus on säilyttää asetustiedostoja ja muuta vähäistä henkilökohtaista dataa. Pidä silmällä kotihakemistosi jäljellä olevaa kiintiötä, sillä kapasiteetin ylittävä kotihakemisto voi aiheuttaa erilaisia ongelmia käyttäjätilillesi.

Kotihakemisto on supertietokoneissa ainoa käyttäjäkohtainen hakemisto. Kaikki muut hakemistot ovat projektikohtaisia. Jos olet usean projektin jäsen, sinulla on myös pääsy useisiin scratch- tai projappl-hakemistoihin, mutta silti vain yksi kotihakemisto.

Kaikkeen laskentatyöhön sinun tulisi käyttää projektisi scratch-hakemistoa.

Scratch-hakemisto

Jokaisella Roihun projektilla on oletuksena 250 GiB scratch-levytilaa hakemistossa /scratch/<project>.

Scratch-hakemisto on nopea rinnakkainen tiedostojärjestelmä, joka on tarkoitettu laskennassa käytettävän datan väliaikaiseen tallennukseen, ja sen tulisi sisältää esimerkiksi ohjelmiesi syöte- ja tulostiedostot. Tavoitteena tulisi olla, että ajat työsi supertietokoneella tässä scratch-hakemistossa.

Scratch-hakemistoa ei ole tarkoitettu pitkäaikaiseen säilytykseen. Tiedostoja, joita ei ole käytetty pitkään aikaan, voidaan poistaa automaattisesti tilan vapauttamiseksi. Roihun nykyinen käytäntö on poistaa tiedostot, joita ei ole käytetty yli 180 päivään.

Tutustu ohjeeseemme, jossa on vinkkejä ja ohjeita datan hallintaan scratch-alueella.

Projappl-hakemisto

Jokaisella Roihun projektilla on myös 15 GB projektisovellusten levytilaa hakemistossa /projappl/<project>.

Käytä projappl-aluetta käännettyjen ohjelmistobinäärien, lähdekoodin, kirjastojen, skriptien ja pienimuotoisen viitedatan tallentamiseen, joita jaetaan projektin sisällä. Se ei ole henkilökohtainen tallennustila, koska se on jaettu kaikkien projektin jäsenten kesken. Projapplin tiedostoja ei poisteta automaattisesti, mutta kiintiö on rajallinen.

Älä lähetä töitä ajettavaksi äläkä kirjoita laajamittaista dataa projektisi projappl-hakemistoon, vaan käytä tähän tarkoitukseen scratch-hakemistoa. Huomaa, että kaikki itse asentamasi sovellukset, joita ajat, voidaan ja kannattaa silti säilyttää projappl-hakemistossa.

Scratch- ja projappl-hakemistojen käyttö

Yleiskatsaus hakemistoihisi siinä supertietokoneessa, johon olet parhaillaan kirjautunut, voidaan näyttää komennolla:

csc-workspaces 

Yllä oleva komento näyttää kaikki scratch- ja projappl-hakemistot, joihin sinulla on pääsy. Se näyttää myös, mitkä projekteistasi kuuluvat 180 päivän scratch-siivousjakson piiriin.

Jos olet esimerkiksi kahden projektin jäsen, joiden Unix-ryhmät ovat project_2000123 ja project_2001234, sinulla on pääsy kahteen scratch- ja projappl-hakemistoon:

[kkayttaj@roihu-login11 ~]$ csc-workspaces 

Disk area               Capacity(used/max)  Files(used/max)  Cleanup
----------------------------------------------------------------------
Personal home folder

/users/kkayttaj                 4.4G/15G         24K/150K        n/a
----------------------------------------------------------------------
Project: project_2000123 "Project X"

/projappl/project_2000123        24G/15G         36K/150K        n/a
/scratch/project_2000123        103G/250G       389K/500k        180d
----------------------------------------------------------------------
Project: project_2001234 "Project Y"

/projappl/project_2001234        25G/100G       282K/1.0M       n/a
/scratch/project_2001234         7.2/10TB       2.1M/2.5M       180d
----------------------------------------------------------------------

Siirtyminen projektin project_2000123 scratch-hakemistoon:

cd /scratch/project_2000123

Huomaa, että kaikilla CSC-projekteilla ei ole pääsyä Roihuun, joten et välttämättä löydä scratch- tai projappl-hakemistoa kaikille CSC-projekteillesi.

Note

scratch- ja projappl-hakemistot ovat kaikkien projektin jäsenten yhteiskäytössä. Kaikki uudet tiedostot ja hakemistot ovat myös oletusarvoisesti täysin muiden ryhmän jäsenten käytettävissä (mukaan lukien luku-, kirjoitus- ja suoritusoikeudet).

Jos sinun täytyy rajoittaa pääsyä ryhmäsi jäseniltä, voit muuttaa oikeudet takaisin tavalliseen tapaan chmod-komennolla. Yleisesti suosittelemme, että sallit ryhmän jäsenille pääsyn, mutta käytät datallesi alihakemistoa käyttäjätunnuksesi nimellä, esimerkiksi

/scratch/project_2000123/$USER

Näin data on muiden ryhmän jäsenten saatavilla esimerkiksi pitkien lomien aikana, mutta omistajuus pysyy silti selkeänä ja järjestyksessä. Huomaa, että jotkin ohjelmat muuttavat tiedostojen oikeuksia oletusarvoista, mikä voi rajoittaa ryhmän jäsenten pääsyä.

Kuten aiemmin mainittiin, scratch-hakemisto on tarkoitettu vain datan käsittelyyn. Kaikki data, joka pitää säilyttää pidempään, tulisi kopioida Allas-objektitallennuspalveluun. Ohjeet tiedostojen varmuuskopiointiin CSC:n supertietokoneilta Altaaseen löytyvät Allas-oppaasta.

Dataset-hakemisto

Roihun käyttäjät voivat hakea erillisiä aineistoprojekteja, jotka tarjoavat pääsyn jaettuun levyalueeseen polussa /dataset/<project>, mutta eivät laskentaresursseja.

Pääsy aineistoprojekteihin alkaa elokuun alussa

Voit jo hakea aineistoprojektia MyCSC:ssä. Hakemusten perusteella ensimmäiset aineistoprojektit hyväksytään ja niille myönnetään pääsy elokuun alussa 2026.

Toisin kuin tavallisiin laskennallisiin projekteihin, aineistoprojekteihin ei sisälly scratch- tai projappl-hakemistoja. Sen sijaan ne on suunniteltu erityisesti datan jakamiseen useiden projektien välillä.

Kirjoitusoikeus dataset-hakemistoon on rajoitettu yhteen projektiin, kun taas useille muille projekteille voidaan myöntää lukuoikeus tähän levyalueeseen.

Katso lisätiedot aineistoprojekteista ja aineistoprojektin hakemisesta MyCSC:ssä.

Note

Aineistoprojektit on tarkoitettu datan jakamiseen ja aktiiviseen käyttöön, ei pitkäaikaiseen säilytykseen.
Pitkäaikaiseen säilytykseen kannattaa harkita Allasta.

Datan siirtäminen supertietokoneiden välillä

Dataa voidaan siirtää suoraan supertietokoneiden välillä rsync-komennolla.

Katso datan siirto-oppaamme, jos haluat siirtää dataa Puhdista/Mahdista Roihuun.

Kiintiöiden kasvattaminen

Voit käyttää MyCSC-portaalia scratch- ja projappl-hakemistojen kiintiöiden hallintaan.

Muista, että vaikka kiintiötä kasvatetaan, suunniteltu automaattinen siivousprosessi jatkaa käyttämättömien tiedostojen poistamista scratch-hakemistosta. Data, joka ei ole aktiivisen laskennan piirissä, tulisi tallentaa Allas-tallennuspalveluun.

Kiintiöiden kasvattaminen on rajallista. Jos työnvuosi edellyttää erittäin suurten tiedostomäärien (esim. miljoonien) tallentamista, sinun tulisi harkita datan työvuotasi uudelleen, sillä tämä voi johtaa suorituskykyongelmiin koko tiedostojärjestelmässä.

Info

Jos haluat selvittää, kuinka paljon dataa/tiedostoja levylläsi on, käytä LUE- työkalua, joka on paljon suorituskykyisempi kuin tavalliset työkalut kuten stat tai du.

Väliaikaiset paikalliset levyalueet

Roihun laskentasolmut tarjoavat nopeaa paikallista levytilaa, joka voi merkittävästi parantaa suorituskykyä I/O-intensiivisissä työkuormissa.

Tämä tallennustila on käytettävissä ympäristömuuttujan $TMPDIR kautta, jota monet sovellukset käyttävät automaattisesti väliaikaistiedostoille.

Paikallinen levy on solmukohtainen ja käytettävissä kirjautumissolmulla sekä ajossa tai interaktiivisessa istunnossa. Se on tarkoitettu väliaikaistiedostoille, joita ei tarvitse jakaa solmujen välillä.

Kirjautumissolmut

Jokainen kirjautumissolmu sekä Roihu-CPU:ssa että Roihu-GPU:ssa tarjoaa 80 GB paikallista tallennustilaa polussa $TMPDIR.

Paikallinen tallennustila on tarkoitettu sovellusten kääntämiseen sekä esi- ja jälkikäsittelyyn, jotka vaativat raskaita I/O-operaatioita, esimerkiksi arkistotiedostojen pakkaamiseen ja purkamiseen.

Note

Paikallinen tallennustila on tarkoitettu väliaikaiseen säilytykseen, ja se siivotaan usein. Muista siirtää datasi jaetulle levyalueelle tehtävän valmistuttua.

Laskentasolmut

Kaikki Roihun laskentasolmut tarjoavat nopeaa paikallista NVMe-tallennustilaa.

Nämä paikalliset levyalueet on suunniteltu tukemaan I/O-intensiivisiä laskentatehtäviä ja tilanteita, joissa sinun täytyy käsitellä suuria määriä (yli 100 000) pieniä tiedostoja.

Paikallisessa tallennustilassa oleva data poistetaan, kun ajo päättyy. Sinun täytyy kopioida kaikki tulokset, jotka haluat säilyttää, scratch-hakemistoon tai Altaaseen ennen ajon päättymistä.

Slurm-ajovarauksesi tyypin perusteella käytettävissäsi on seuraava määrä paikallista levytilaa:

Automaattinen paikallinen väliaikaistallennus

Jaetun solmun, kokonaisen solmun ja GPU-varauksissa paikallinen väliaikaistallennus on käytettävissä polussa $TMPDIR.

Varaustyyppi	Polku	Kiintiö käyttäjää kohti
R (Jaetut solmut)	$TMPDIR	20 GiB
N (Kokonaiset solmut)	$TMPDIR	600 GiB
G (GPU-solmut)	$TMPDIR	150 GiB
XL (Hugemem-solmut)	$TMPDIR	1.6 TiB
VIZ (Visualisointisolmut)	$TMPDIR	6.5 TiB

Levytila on käytettävissä polussa $TMPDIR, eikä sitä tarvitse varata erikseen ajokomentosarjassa käyttöä varten. Paikallisen levyn käyttö ei kuluta laskutusyksiköitä (BUs).

Varattu paikallinen scratch-tallennus

Roihun hugemem- (XL) ja visualisointisolmut (Viz) tarjoavat jonkin verran paikallista levytilaa polussa $TMPDIR. Tämän lisäksi ne tarjoavat paikallista scratch-tallennustilaa polussa $LOCAL_SCRATCH suurempia väliaikaisia tallennustarpeita varten.

Tämä tallennustila ei ole käytettävissä automaattisesti. Sinun täytyy varata se Slurm-ajokomentosarjassasi sopivalla GRES-valinnalla. Varattu $LOCAL_SCRATCH-tallennustila kuluttaa laskutusyksiköitä.

Paikallisen scratchin tuki lisätään myöhemmin

Paikallisen scratchin ominaisuutta XL- ja visualisointisolmuilla ei ole vielä toteutettu. Käytä $TMPDIR-hakemistoa paikallisiin tallennustarpeisiisi, kunnes tämä ominaisuus lisätään.

Varaustyyppi	Polku	Varattavan paikallisen scratchin enimmäismäärä
XL (Hugemem-solmut)	$LOCAL_SCRATCH	TBA
VIZ (Visualisointisolmut)	$LOCAL_SCRATCH	TBA

Katso Roihun laskutusosio, josta saat tietoa tallennuksen laskutusyksiköistä, joita paikallisen scratchin käyttö kuluttaa.

Hajautettu tallennus

On myös mahdollista pyytää paikallisia levyasemaliitoksia keskitetystä nopeiden tallennusresurssien poolista. Tämä nopea tallennuskapasiteetti tarjotaan verkon yli, ja se näkyy paikallisena scratchina Slurm-ajon sisällä. Hajautetun NVMe-resurssin kokonaiskapasiteetti on 307,2 TB, mikä mahdollistaa suuremman kapasiteetin nopean tallennuksen saamisen ajoillesi.

Tallennuksen pyytäminen Slurmilta

Koottu tallennus on käytettävissä vain kokonaisen solmun partitioissa

Tällä hetkellä voit pyytää tätä tallennusta vain ajoille, jotka käyttävät kokonaisia solmuja, eli jotka lähetetään medium- tai large-partitioihin. Jos yrität käynnistää ajon muissa partitioissa, ajo epäonnistuu, mutta se merkitään tilaan "CANCELLED by 350", eikä sinulla ole stdout- tai stderr- lokeja. Tämän pitäisi korjaantua, kun jaettujen solmujen ajojen tuki saapuu vuoden 2026 kolmannella neljänneksellä.

Jos haluat pyytää flash-tallennuksen liitettäväksi sbatch-ajoon, sinun täytyy lisätä seuraava rivi komentosarjasi resurssipyyntölohkoon:

#BB_LUA SBF storagesize=20GB path=/run/sbb/$USER

Missä storagesize määrittää tarvitsemasi tallennustilan määrän ja path sijainnin, johon tallennus liitetään.

Käytä polkua /run/sbb/$USER, kun liität hajautettua tallennusta.

Voit myös pyytää resursseja suoraan komentoriviltä --bb-lipulla:

srun -p medium --nodes 1 --account <project> --bb="#BB_LUA SBF storagesize=10G path=/run/sbb/$USER" --pty bash -i

Vaihtoehtoisesti voit välittää pyynnön tiedostossa --bbf-lipulla, esimerkiksi:

srun -p medium --nodes 1 --account project_2001659 --bbf bb.spec --pty bash -i

Vaiheiden on käytettävä srun-komentoa!

Kun ajat monisolmuista ajoa sbatchilla, jos jokaisen vaiheen odotetaan käyttävän hajautettua levyä, vaiheet täytyy käynnistää srunilla. Muuten vain se laskentasolmu, joka suorittaa sbatch-komentosarjan, pystyy käyttämään tallennusta.

Muista siirtää datasi!

Siirrä kaikki tarvitsemasi data pois flash-tallennuksesta ennen ajosi päättymistä, eli sbatch-komentosarjasi sisällä.

Onko tämä sivu hyödyllinen?

Kyllä

Kiitos palautteestasi!

Ei

Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä.