Roihun levyalueet

Roihu tarjoaa kolme pääasiallista jaettua levyaluetta: home, projappl ja scratch. Lisäksi jokainen laskentasolmu tarjoaa paikallisen väliaikaisen levyalueen, joka on käytettävissä vain kyseisellä solmulla ajon tai interaktiivisen istunnon aikana. Tutustu alueisiin ja niiden erityisiin käyttötarkoituksiin.

Roihun käyttäjät voivat myös hakea erillisiä aineistoprojekteja. Ne tarjoavat pääsyn omaan levyalueeseen, dataset, joka on tarkoitettu aineistojen jakamiseen useiden projektien välillä. Toisin kuin laskennalliset projektit, aineistoprojekteihin ei sisälly scratch- tai projappl-hakemistoja.

Nämä hakemistot ovat jaettuja järjestelmän kirjautumis- ja laskentasolmujen välillä, ja ne perustuvat Lustre-tiedostojärjestelmään. Katso teknisempi kuvaus Lustre-tiedostojärjestelmästä CSC:n supertietokoneissa.

CSC ei varmuuskopioi dataasi!

CSC ei varmuuskopioi mitään levyalueista automaattisesti! Poistettuja tiedostoja ei voida palauttaa. Välttääksesi tahattoman datan menetyksen varmista, että teet säännöllisesti varmuuskopioita esimerkiksi Altaaseen. Katso myös allas-backup-työkalu.

	Omistaja	Ympäristömuuttuja	Polku	Siivous	Automaattinen varmuuskopiointi
home	Henkilökohtainen	${HOME}	/users/<user-name>	Ei	Ei
projappl	Projekti	Ei määritelty	/projappl/<project>	Ei	Ei
scratch	Projekti	Ei määritelty	/scratch/<project>	90 tai 180 päivää	Ei
dataset	Projekti	Ei määritelty	/dataset/<project>	Ei	Ei

Näillä levyalueilla on kiintiöt sekä datan määrälle että tiedostojen kokonaismäärälle:

	Kapasiteetti	Tiedostojen määrä	Huomioita
home	15 GiB	150 000 tiedostoa
projappl	15 GiB	150 000 tiedostoa
scratch	250 GiB	500 000 tiedostoa
dataset	0 GiB	0 tiedostoa	Haettava erikseen

LUE

Jos haluat helposti tarkistaa tietyn kansion datamäärän ja tiedostojen lukumäärän rinnakkaisessa tiedostojärjestelmässä, suosittelemme käyttämään LUE -työkalua. Tämä työkalu on merkittävästi nopeampi kuin esimerkiksi stat tai du ja kuormittaa tiedostojärjestelmää paljon vähemmän.

Kiintiöt ja siivous

Vaikka on mahdollista hakea suurempia kiintiöitä, suosittelemme, että varmistat aina ensin, että jaettuun tiedostojärjestelmään tallentamasi data on todella tarpeellista ja aktiivisessa käytössä. Käyttämätön data tulisi poistaa tai siirtää esimerkiksi Altaaseen. Saatavilla on myös yleinen ohje datan hallintaan ja siivoamiseen supertietokoneiden levyillä.

Kotihakemisto

Jokaisella käyttäjällä on kotihakemisto ($HOME), joka voi sisältää Roihussa enintään 15 GB dataa.

Kotihakemisto on oletussijainti kirjautumisen jälkeen. Sitä ei kuitenkaan ole tarkoitettu data-analyysiin tai ajotöiden suorittamiseen. Sen tarkoitus on säilyttää asetustiedostoja ja muuta vähäistä henkilökohtaista dataa. Seuraa kotihakemistosi jäljellä olevaa kiintiötä, sillä kapasiteetin ylittävä kotihakemisto voi aiheuttaa erilaisia ongelmia käyttäjätilille.

Kotihakemisto on supertietokoneissa ainoa käyttäjäkohtainen hakemisto. Kaikki muut hakemistot ovat projektikohtaisia. Jos olet usean projektin jäsen, sinulla on myös pääsy useisiin scratch- tai projappl-hakemistoihin, mutta silti vain yksi kotihakemisto.

Kaikkeen laskentatyöhön sinun tulisi käyttää projektisi scratch-hakemistoa.

Scratch-hakemisto

Jokaisella Roihun projektilla on oletuksena 250 GiB scratch-levytilaa hakemistossa /scratch/<project>.

Scratch-hakemisto on nopea rinnakkainen tiedostojärjestelmä, joka on tarkoitettu laskennassa käytettävän datan väliaikaiseen tallennukseen, ja sen tulisi sisältää esimerkiksi ohjelmiesi syöte- ja tulostiedostot. Ajotyöt kannattaa suorittaa supertietokoneella tässä scratch-hakemistossa.

Scratch-hakemistoa ei ole tarkoitettu pitkäaikaiseen säilytykseen. Tiedostoja, joita ei ole käytetty pitkään aikaan, voidaan poistaa automaattisesti tilan vapauttamiseksi. Roihun nykyinen käytäntö on poistaa tiedostot, joita ei ole käytetty yli 180 päivään (scratch-kiintiö alle 5 TiB) tai 90 päivään (scratch-kiintiö 5 TiB tai enemmän). Katso käyttöehdot -sivulta lisätietoja nykyisestä käytännöstä.

Tutustu myös ohjeeseemme, jossa on vinkkejä ja ohjeita datan hallintaan scratch-alueella.

Projappl-hakemisto

Jokaisella Roihun projektilla on myös 15 GB projektisovelluslevytilaa hakemistossa /projappl/<project>.

Käytä projappl-aluetta käännettyjen ohjelmistobinäärien, lähdekoodin, kirjastojen, skriptien ja pienimuotoisen viitedatan tallentamiseen, joita jaetaan projektin sisällä. Se ei ole henkilökohtainen tallennustila, koska se on jaettu kaikkien projektin jäsenten kesken. Projappl-alueen tiedostoja ei poisteta automaattisesti, mutta kiintiö on rajallinen.

Älä lähetä ajotöitä tai kirjoita laajamittaista dataa projektisi projappl-hakemistoon, vaan käytä tähän tarkoitukseen sen sijaan scratch-hakemistoa. Huomaa, että kaikki itse asentamasi sovellukset, joita ajat, voidaan ja kannattaa silti säilyttää projappl-alueella.

Scratch- ja projappl-hakemistojen käyttö

Yleiskatsaus hakemistoihisi sillä supertietokoneella, johon olet parhaillaan kirjautuneena, voidaan näyttää komennolla:

csc-workspaces 

Yllä oleva komento näyttää kaikki scratch- ja projappl-hakemistot, joihin sinulla on pääsy. Se näyttää myös, mitkä projekteistasi kuuluvat 90 päivän scratch-siivousjaksoon ja mitkä 180 päivän scratch-siivousjaksoon.

Jos olet esimerkiksi kahden projektin jäsen, joiden unix-ryhmät ovat project_2000123 ja project_2001234, sinulla on pääsy kahteen scratch- ja projappl-hakemistoon:

[kkayttaj@roihu-login11 ~]$ csc-workspaces 

Disk area               Capacity(used/max)  Files(used/max)  Cleanup
----------------------------------------------------------------------
Personal home folder

/users/kkayttaj                 4.4G/15G         24K/150K        n/a
----------------------------------------------------------------------
Project: project_2000123 "Project X"

/projappl/project_2000123        24G/15G         36K/150K        n/a
/scratch/project_2000123        103G/250G       389K/500k        180d
----------------------------------------------------------------------
Project: project_2001234 "Project Y"

/projappl/project_2001234        25G/100G       282K/1.0M       n/a
/scratch/project_2001234         7.2/10TB       2.1M/2.5M       90d
----------------------------------------------------------------------

Siirtyminen projektin project_2000123 scratch-hakemistoon:

cd /scratch/project_2000123

Huomaa, että kaikilla CSC-projekteilla ei ole pääsyä Roihuun, joten et välttämättä löydä scratch- tai projappl-hakemistoa kaikille CSC-projekteillesi.

Note

scratch- ja projappl-hakemistot ovat jaettuja kaikkien projektin jäsenten kesken. Kaikki uudet tiedostot ja hakemistot ovat myös oletusarvoisesti täysin muiden ryhmän jäsenten käytettävissä (mukaan lukien luku-, kirjoitus- ja suoritusoikeudet).

Jos sinun täytyy rajoittaa pääsyä ryhmäsi jäseniltä, voit muuttaa oikeudet takaisin chmod-komennolla tavalliseen tapaan. Yleisesti suosittelemme, että sallit ryhmän jäsenille pääsyn, mutta käytät datallesi alihakemistoa käyttäjätunnuksellasi, esimerkiksi

/scratch/project_2000123/$USER

Näin data on muiden ryhmän jäsenten saatavilla esimerkiksi pitkien lomien aikana jne., mutta omistajuus pysyy silti selkeänä ja järjestyksessä. Huomaa, että jotkin ohjelmat muuttavat tiedostojen oikeuksia oletusarvoista, mikä voi rajoittaa ryhmän jäsenten pääsyä.

Kuten aiemmin mainittiin, scratch-hakemisto on tarkoitettu vain datan käsittelyyn. Kaikki data, joka tulee säilyttää pidempään, tulisi kopioida Allas-objektitallennuspalveluun. Ohjeet tiedostojen varmuuskopiointiin CSC:n supertietokoneilta Altaaseen löytyvät Allas-oppaasta.

Dataset-hakemisto

Roihun käyttäjät voivat hakea erillisiä aineistoprojekteja, jotka tarjoavat pääsyn jaettuun levyalueeseen polussa /dataset/<project>, mutta eivät laskentaresursseja.

Pääsy aineistoprojektiin alkaa elokuun alussa

Voit jo hakea aineistoprojektia MyCSC:ssä. Hakemusten perusteella ensimmäiset aineistoprojektit hyväksytään ja niille myönnetään pääsy elokuun alussa 2026.

Toisin kuin tavallisiin laskennallisiin projekteihin, aineistoprojekteihin ei sisälly scratch- tai projappl-hakemistoja. Sen sijaan ne on suunniteltu erityisesti datan jakamiseen useiden projektien välillä.

Kirjoitusoikeus dataset-hakemistoon on rajoitettu yhdelle projektille, kun taas useille muille projekteille voidaan myöntää lukuoikeus tähän levyalueeseen.

Katso lisätietoja aineistoprojekteista ja aineistoprojektin hakemisesta MyCSC:ssä.

Note

Aineistoprojektit on tarkoitettu datan jakamiseen ja aktiiviseen käyttöön, ei pitkäaikaiseen säilytykseen.
Pitkäaikaiseen säilytykseen kannattaa harkita Allasta.

Datan siirtäminen supertietokoneiden välillä

Dataa voidaan siirtää suoraan supertietokoneiden välillä rsync-komennolla.

Katso datan siirto-oppaastamme, miten dataa siirretään Puhdista/Mahdista Roihuun.

Kiintiöiden kasvattaminen

Voit käyttää MyCSC-portaalia hallinnoidaksesi scratch- ja projappl-hakemistojen kiintiöitä.

Muista, että vaikka kiintiötä kasvatetaan, suunniteltu automaattinen siivousprosessi jatkaa käyttämättömien tiedostojen poistamista scratch-hakemistosta. Data, joka ei ole aktiivisen laskennan piirissä, tulisi tallentaa Allas-tallennuspalveluun.

Kiintiöiden korotukset ovat rajallisia. Jos työnvuosi vaatii erittäin suurten tiedostomäärien (esim. miljoonien) tallentamista, sinun tulisi harkita datan työnvuotasi uudelleen, sillä tämä voi johtaa suorituskykyongelmiin koko tiedostojärjestelmässä.

Info

Selvittääksesi, kuinka paljon dataa/tiedostoja sinulla on levyllä, käytä LUE- työkalua, joka on paljon suorituskykyisempi kuin tavalliset työkalut kuten stat tai du.

Väliaikaiset paikalliset levyalueet

Roihun laskentasolmut tarjoavat nopeaa paikallista levytilaa, joka voi merkittävästi parantaa suorituskykyä I/O-intensiivisissä työkuormissa.

Tämä tallennustila on käytettävissä ympäristömuuttujan $TMPDIR kautta, jota monet sovellukset käyttävät automaattisesti väliaikaistiedostoille.

Paikallinen levy on solmukohtainen ja käytettävissä kirjautumissolmulla sekä ajossa tai interaktiivisessa istunnossa. Se on tarkoitettu väliaikaistiedostoille, joita ei tarvitse jakaa solmujen välillä.

Kirjautumissolmut

Jokainen kirjautumissolmu sekä Roihu-CPU:ssa että Roihu-GPU:ssa tarjoaa 80 GB paikallista tallennustilaa polussa $TMPDIR.

Paikallinen tallennustila on tarkoitettu sovellusten kääntämiseen sekä esi- ja jälkikäsittelyyn, jotka vaativat raskaita I/O-operaatioita, esimerkiksi arkistotiedostojen pakkaamiseen ja purkamiseen.

Note

Paikallinen tallennustila on tarkoitettu väliaikaiseen säilytykseen, ja se siivotaan usein. Muista siirtää datasi jaetulle levyalueelle tehtävän valmistuttua.

Laskentasolmut

Kaikki Roihun laskentasolmut tarjoavat nopeaa paikallista NVMe-tallennustilaa.

Nämä paikalliset levyalueet on suunniteltu tukemaan I/O-intensiivisiä laskentatehtäviä ja tilanteita, joissa sinun täytyy käsitellä suuria määriä (yli 100 000) pieniä tiedostoja.

Paikallisessa tallennustilassa oleva data poistetaan, kun ajo päättyy. Sinun täytyy kopioida kaikki tulokset, jotka haluat säilyttää, scratch-alueelle tai Altaaseen ennen ajon päättymistä.

Slurm-ajovarauksesi tyypin perusteella käytettävissäsi on seuraava määrä paikallista levytilaa:

Automaattinen paikallinen väliaikaistallennus

Jaetun solmun, kokonaisen solmun ja GPU-varauksissa paikallinen väliaikaistallennus on käytettävissä polussa $TMPDIR.

Varaustyyppi	Polku	Käytettävissä oleva väliaikaistallennus
R (Jaetut solmut)	$TMPDIR	20 GiB
N (Kokonaiset solmut)	$TMPDIR	600 GiB
G (GPU-solmut)	$TMPDIR	150 GiB
XL (Hugemem-solmut)	$TMPDIR	578 GiB
VIZ (Visualisointisolmut)	$TMPDIR	14 TiB

Levytila on käytettävissä polussa $TMPDIR, eikä sitä tarvitse varata erikseen ajokomentosarjassa. Paikallisen levyn käyttö ei kuluta laskutusyksiköitä (BUs).

Ilmoitettu kapasiteetti voi olla jaettu muiden ajotöiden tai käyttäjien kanssa samalla solmulla, eikä se siksi välttämättä ole aina kokonaan yhden ajon käytettävissä.

Varattu paikallinen scratch-tallennus

Roihun hugemem- (XL) ja visualisointisolmut (Viz) tarjoavat jonkin verran paikallista levytilaa polussa $TMPDIR. Tämän lisäksi ne tarjoavat paikallista scratch-tallennustilaa polussa $LOCAL_SCRATCH suurempiin väliaikaisiin tallennustarpeisiin.

Tämä tallennustila ei ole automaattisesti käytettävissä. Sinun täytyy varata se Slurm-ajokomentosarjassasi sopivalla GRES-valinnalla. Varattu $LOCAL_SCRATCH-tallennustila kuluttaa laskutusyksiköitä (BUs).

Varaustyyppi	Polku	Varattavissa oleva paikallinen scratch enintään
XL (Hugemem-solmut)	$LOCAL_SCRATCH	13000 GB
VIZ (Visualisointisolmut)	$LOCAL_SCRATCH	TBA

Varaa paikallista tallennustilaa lisäämällä Slurm-komentosarjaasi seuraava valitsin:

--gres=nvme:<amount-in-GB>

Jos haluat esimerkiksi varata enimmäismäärän 13 TB, käytä:

--gres=nvme:13000

Ajossa paikalliseen scratch-tilaan pääsee ympäristömuuttujan $LOCAL_SCRATCH kautta, joka osoittaa käyttäjä- ja job-id-kohtaiseen levyalueeseen, jota voit käyttää polussa /local_scratch/${USER}/${SLURM_JOB_ID}/.

Esimerkki Slurm-komentosarjasta paikallisen scratch-muistin käyttämiseen hugemem-solmuissa

#!/bin/bash
#SBATCH --job-name=example
#SBATCH --account=<project>
#SBATCH --partition=hugemem
#SBATCH --time=00:30:00
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=1
#SBATCH --gres=nvme:100 # Reserves 100 GB local scratch memory

# Go to the local scratch directory
cd "$LOCAL_SCRATCH"

# Run the program
srun myprog <options>

# Copy any required data back to persistent storage before job finishes
cp "$LOCAL_SCRATCH"/output.dat /scratch/project_200XXXX/$USER/

Muokkaa komentoja ja tiedostopolkuja työnvuosi mukaisiksi.

Paikallisen scratch-tuen visualisointisolmuille lisätään myöhemmin

Paikallisen scratchin ominaisuutta visualisointisolmuilla ei ole vielä toteutettu. Käytä visualisointisolmuilla $TMPDIR-hakemistoa paikallisiin tallennustarpeisiisi, kunnes tämä ominaisuus lisätään.

Katso Roihun laskutusosio, josta löydät tietoa tallennuksen laskutusyksiköistä (BUs), joita paikallisen scratchin käyttö kuluttaa.

Hajautettu tallennus

On myös mahdollista pyytää paikallisia levymounttauksia keskitetystä nopeiden tallennusresurssien poolista. Tämä nopea tallennuskapasiteetti tarjotaan verkon yli, ja se näkyy paikallisena scratchina Slurm-ajon sisältä. Hajautetun NVMe-resurssin kokonaiskapasiteetti on 307,2 TB, mikä mahdollistaa suuremman kapasiteetin nopean tallennuksen ajotöillesi.

Tallennuksen pyytäminen Slurmissa

Hajautettu tallennus on tällä hetkellä saatavilla vain kokonaisen solmun ajoihin

Tällä hetkellä tätä tallennusta voidaan pyytää vain, jos olet laskentasolmun ainoa käyttäjä, eli jos lähetät ajoja CPU-puolella partitioihin medium ja large, tai pyytämällä solmuja GPU-partitioissa --exclusive-valitsimella.

Virheelliset hajautetun tallennuksen pyynnöt voivat epäonnistua siten, että ajo raportoidaan tilassa CANCELLED by 350, eikä vakiotulostus- tai virhelokeja synny. Tuki jaetun solmun ajoille on odotettavissa vuoden 2026 kolmannella neljänneksellä tai kun palvelu on valmis.

Jos haluat pyytää flash-tallennusta liitettäväksi sbatch-ajoon, sinun täytyy lisätä seuraava rivi komentosarjasi resurssipyyntölohkoon:

#BB_LUA SBF storagesize=20GB path=/run/sbb/$USER

Tässä storagesize määrittää tarvitsemasi tallennustilan määrän ja path sijainnin, johon tallennus liitetään.

Käytä polkua /run/sbb/$USER, kun liität hajautettua tallennusta.

Voit myös pyytää resursseja suoraan komentoriviltä --bb-valitsimella:

srun -p medium --nodes 1 --account <project> --bb="#BB_LUA SBF storagesize=10G path=/run/sbb/$USER" --pty bash -i

Vaihtoehtoisesti voit välittää pyynnön tiedostossa --bbf-valitsimella, esimerkiksi:

srun -p medium --nodes 1 --account project_2001659 --bbf bb.spec --pty bash -i

Jos haluat varata hajautettua tallennusta GPU-partitioissa, lisää --exclusive-valitsin. Huomaa, että sinua laskutetaan koko solmusta riippumatta siitä, kuinka monta GPU:ta varaat.

srun -p gpumedium --nodes 1 --account project_2001659 --gres=gpu:gh200:1 --exclusive --bbf bb.spec --pty bash -i

Askeleiden on käytettävä srun-komentoa!

Kun ajat monisolmuajoa sbatchilla ja jokaisen askeleen odotetaan käyttävän hajautettua levyä, askeleet on käynnistettävä srun-komennolla. Muussa tapauksessa vain se laskentasolmu, joka suorittaa sbatch-komentosarjan, pystyy käyttämään tallennusta.

Muista siirtää datasi!

Siirrä kaikki tarvitsemasi data pois flash-tallennuksesta ennen ajosi päättymistä, eli sbatch-komentosarjasi aikana.

Onko tämä sivu hyödyllinen?

Kyllä

Kiitos palautteestasi!

Ei

Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä.