Käytettävissä olevat eräajopartiot

CSC:n supertietokoneilla ohjelmia ajetaan lähettämällä ne partitioihin, jotka ovat Slurmin työkuormanhallinnan hallinnoimia loogisia joukkioita laskentasolmuja. Tällä sivulla luetellaan käytettävissä olevat Slurm-partitiot Roihu-, Puhti- ja Mahti-supertietokoneilla sekä selitetään niiden käyttötarkoitukset. Alla ovat yleiset ohjeet Slurm-partitioiden käyttöön järjestelmissämme:

Käytä test- ja gputest-partitioita koodisi testaamiseen, älä tuotantoon. Nämä partitiot tarjoavat vähemmän resursseja kuin muut partitiot, mutta niihin lähetetyillä töillä on korkeampi prioriteetti, joten ne saavat resursseja ennen muita töitä.
Pyydä useita CPU-ytimiä vain, jos tiedät ohjelmasi tukevan rinnakkaisprosessointia. Useiden ytimien varaaminen ei automaattisesti nopeuta työtäsi. Ohjelmasi on oltava kirjoitettu siten, että laskenta voidaan suorittaa useissa säikeissä tai prosesseissa. Useampien ytimien varaaminen ei itsessään tee mitään, jos koodiasi ei ole rinnakkaistettu, paitsi pidentää jonotusaikaasi.
Käytä GPU-partitioita vain, jos tiedät ohjelmasi osaavan hyödyntää GPU:ita. Laskennan suorittaminen yhdellä tai useammalla GPU:lla on erittäin tehokas rinnakkaistamismenetelmä tietyissä sovelluksissa, mutta ohjelmasi on oltava määritetty käyttämään CUDA-alustaa. Jos et ole varma, onko näin, on parempi lähettää työsi CPU-partitioon, koska silloin sinulle osoitetaan resursseja nopeammin. Jos olet epävarma, ota yhteyttä CSC:n Service Deskiin.

Seuraavia komentoja voidaan käyttää näyttämään tietoja käytettävissä olevista partitioista:

# Display a summary of available partitions
sinfo --summarize

# Display details about a specific partition:
scontrol show partition <partition_name>

LUMI-partitiot

Käytettävissä olevat LUMIn eräajopartiot löytyvät [LUMI-dokumentaatiosta].

Roihun partitiot

Roihun partitioissa käytetään erilaisia allokaatiotyyppejä, jotka soveltuvat erilaisiin käyttötapauksiin ja resurssivaatimuksiin. Ne on selitetty alla olevassa taulukossa.

Allokaatiotyyppi	Resurssipyyntö
R	Muisti- ja CPU-resursseja voidaan muuttaa toisistaan riippumatta
N	Vain koko solmun pyynnöt
C	Muistiallokaatio on kiinteä pyydettyjen CPU-ytimien määrän perusteella
G	CPU- ja muistiallokaatio on kiinteä pyydettyjen GPU:iden määrän perusteella

Roihun CPU-partitiot

Roihu tarjoaa seuraavat partitiot töiden lähettämiseen CPU-solmuille:

Partitio	Allokaatiotyyppi	Aikaraja	Solmut	Enint. CPU:t	Solmutyypit	Enint. muisti	Vaatimukset
`test`	R	15 minuuttia	1 - 2	384 per solmu	M	744 GiB per solmu
`small`	R	72 tuntia	1	384 per työ	M, L	1500 GiB per työ
`medium`	N	36 tuntia	1 - 6	384 per solmu	M	744 GiB per solmu
`large`	N	36 tuntia	6 - 60	384 per solmu	M	744 GiB per solmu	skaalautuvuustesti
`longrun`	R	10 päivää	1	192 per työ	M, L	1500 GiB per työ
`hugemem`	C	36 tuntia	1	128 per työ	XL	6037 GiB per työ
`hugemem_longrun`	C	10 päivää	1	128 per työ	XL	6037 GiB per työ

Roihun GPU-partitiot

Roihu tarjoaa seuraavat partitiot töiden lähettämiseen GPU-solmuille:

Partitio	Allokaatiotyyppi	Aikaraja	Solmut	Väh. GPU:t	Enint. GPU:t	Solmutyypit	Enint. muisti	Vaatimukset
`gputest`	G	15 minuuttia	1 - 2	1	4 per solmu	GPU	217 GiB per varattu GPU
`gpumedium`	G	36 tuntia	1 - 4	1	4 per työ	GPU	217 GiB per varattu GPU
`gpularge`	G	36 tuntia	1 - 10	4	4 per solmu	GPU	217 GiB per varattu GPU	skaalautuvuustesti

Jokaisessa täydellisessä GPU-solmussa on 4 GH200-GPU:ta. Jokainen varattu GPU antaa käyttöön enintään 72 CPU-ydintä sekä 95 GiB HBM3-muistia + 122 GiB LPDDR5-muistia, yhteensä 217G käytettävissä olevaa muistia per varattu GPU.

Tässä luetellut muistimäärät ovat töille käytettävissä olevia allokoitavia määriä; osa muistista on varattu järjestelmän käyttöön.

Roihun interaktiiviset partitiot

Roihussa on useita interaktiiviseen käyttöön ja datan visualisointiin varattuja partitioita.

Roihu-CPU:n interaktiivinen käyttö

Roihun interactive-partitio mahdollistaa interaktiivisten töiden ajamisen CPU-solmuilla sinteractive-komennolla.

sinteractive-komento valitsee oikean partition resurssipyyntösi perusteella ja tarjoaa automaattisesti Roihu-CPU-resursseja, kun sitä ajetaan Roihu-CPU-kirjautumissolmulta.

Partitio	Allokaatiotyyppi	Aikaraja	Solmut	Enint. CPU:t	Solmutyypit	Enint. muisti
`interactive`	R	36 tuntia	1	32 per työ	M	64 GiB per työ

Roihu-GPU:n interaktiivinen käyttö

Roihun gpuinteractive-partitio mahdollistaa interaktiivisten töiden ajamisen GPU-solmuilla sinteractive-komennolla.

sinteractive-komento valitsee oikean partition resurssipyyntösi perusteella ja tarjoaa automaattisesti GPU-siivun, kun sitä ajetaan Roihu-GPU-kirjautumissolmulta.

Partitio	Allokaatiotyyppi	Aikaraja	Solmut	Enint. CPU:t	Enint. GPU-siivut	Solmutyypit
`gpuinteractive`	G	12 tuntia	1	TBA	TBA	GPU (siivu)

Mikä on GPU-siivu?

Roihun gpuinteractive-partitio koostuu kahdesta solmusta, joista kummassakin on neljä GH200-GPU:ta. Jokainen GPU voidaan jakaa enintään seitsemään 1g.12gb MIG-siivuunkin, jolloin partitiosta saadaan yhteensä enintään 56 GPU-siivua. Kukin siivu tarjoaa yhden seitsemäsosan GPU:n laskentakapasiteetista ja yhden kahdeksasosan täyden GH200-GPU:n muistista (12 GiB).

GPU-siivuja ei ole vielä täysin konfiguroitu

GPU-siivuja ei ole vielä konfiguroitu järjestelmään, ja GPU:iden varaaminen sinteractive-komennolla tai Slurmin kautta tässä partitiosta antaa sen sijaan kokonaisia GPU:ita.

Vizinteractive

Roihussa on myös seuraava interaktiiviseen käyttöön ja datan visualisointiin erikoistuneella laitteistolla tarkoitettu partitio:

Partitio	Allokaatiotyyppi	Aikaraja	Solmut	Enint. GPU:t	Solmutyypit
`vizinteractive`	G	12 tuntia	1	2 per työ	V

Jokaisessa tämän partition solmussa on 2 Nvidia L40 -GPU:ta, joissa on 48 GB muistia, sekä kaksi 32-ytimistä AMD Turin 9335 -CPU:ta. Jokainen varattu GPU antaa käyttöön enintään 32 CPU-ydintä ja 183 GiB CPU-muistia.

Paikallinen tallennustila Roihun solmuilla

Paikallinen tallennustila Roihun M-, L- ja GPU-solmuilla on tarkoitettu vain väliaikaisten tiedostojen tallentamiseen, ei korkean suorituskyvyn I/O:hon.

Korkean suorituskyvyn paikallinen tallennustila on saatavilla Roihun XL- ja V-solmuilla, ja se sopii erinomaisesti I/O-intensiivisiin töihin.

Solmukohtaista paikallista tallennustilaa on kahdenlaista: automaattinen väliaikaistallennus ($TMPDIR), joka on käytettävissä jokaisessa työssä ilman varausta ja maksutta, sekä varattava paikallinen scratch ($LOCAL_SCRATCH), joka on saatavilla vain XL- ja V-solmuilla, varataan Slurmin kautta --gres=nvme-valinnalla ja kuluttaa laskutusyksiköitä (BUs).

Yhden käyttäjän käytettävissä olevan paikallisen tallennustilan määrä riippuu käytetystä partitiosta:

Automaattinen ($TMPDIR)Varattava ($LOCAL_SCRATCH)

Allokaatiotyyppi	Käytettävissä per käyttäjä	Luku- / kirjoitusnopeudet
R (jaetut solmut)	20 GiB	5000 / 1400 MB/s
N (kokonaiset solmut)	600 GiB	5000 / 1400 MB/s
G (GPU-solmut)	150 GiB	5000 / 1400 MB/s
Hugemem (XL) -solmut	578 GiB	6700 / 4000 MB/s
V (visualisointisolmut)	14 TiB	6700 / 4000 MB/s

Varattavaa paikallista scratchia ei ole vielä toteutettu visualisointisolmuilla (V). Kunnes se on saatavilla, näiden solmujen työt voivat käyttää yllä näkyvää koko $TMPDIR-allokaatiota.

Kun varattava paikallinen scratch on toteutettu, $TMPDIR-tilan määrä käyttäjää kohden visualisointisolmuilla pienenee.

Solmutyyppi	Enintään varattavissa	Luku- / kirjoitusnopeudet
Hugemem (XL) -solmut	13 TiB	6700 / 4000 MB/s
V (visualisointisolmut)	6.5 TiB per käyttäjä	6700 / 4000 MB/s

Paikallisen scratchin varaamista visualisointisolmuilla ei ole vielä toteutettu; käytä näillä solmuilla $TMPDIR-hakemistoa, kunnes tämä ominaisuus lisätään.

Lue lisää: Paikallinen tallennustila Roihun solmuilla

Mahdin partitiot

Mahdin CPU-partitiot solmupohjaisella allokaatiolla

Mahdissa on seuraavat partitiot töiden lähettämiseen CPU-solmuille. Näihin partitioihin lähetetyt työt varaavat kaikki solmulla उपलब्ध olevat resurssit ja estävät muita töitä käyttämästä kyseistä solmua. Siksi työsi pitäisi mieluiten pystyä hyödyntämään tehokkaasti kaikki 128 ydintä jokaisella varatulla solmulla. Vaikka joissakin tilanteissa voi olla järkevää alikäyttää solmuja, huomaa, että työsi kuluttaa silti CPU-laskutusyksiköitä (BUs) varattujen solmujen, ei CPU-ytimien, määrän perusteella.

Jotkin partitiot ovat käytettävissä vain erityisehdoin. large-partitio on käytettävissä vain projekteille, jotka ovat suorittaneet skaalautuvuustestin ja osoittaneet hyödyntävänsä partition resursseja hyvin. gc-partitio, joka mahdollistaa erittäin suurten simulointien ajamisen, on käytettävissä vain Grand Challenge -projekteille.

Partitio	Aika raja	CPU-ytimiä per solmu	Solmuja per työ	Solmutyypit	Muistia per solmu	Enint. paikallinen tallennustila (NVMe) per solmu	Vaatimukset
`test`	1 tunti	128	1–2	CPU	256 GiB	n/a	n/a
`medium`	36 tuntia	128	1–20	CPU	256 GiB	n/a	n/a
`large`	36 tuntia	128	20–200	CPU	256 GiB	n/a	skaalautuvuustesti
`gc`	36 tuntia	128	200–700	CPU	256 GiB	n/a	Grand Challenge -projekti

Mahdin CPU-partitiot ydinpohjaisella allokaatiolla

Kaksi Mahdin CPU-partitiota mahdollistaa ytimien varaamisen kokonaisten solmujen sijaan. Nämä ovat small-partitio ja interactive- partitio. Näissä partitioissa töille allokoidaan 1.875 GiB muistia jokaista varattua CPU-ydintä kohden, ja ainoa tapa varata enemmän muistia on varata enemmän ytimiä. Nämä partitiot ovat myös erityisiä siinä, että niissä voi varata paikallista tallennustilaa solmulta. On tärkeää, että pyydät paikallista tallennustilaa vain, jos pystyt hyödyntämään sitä, etkä enempää kuin tarvitset. Koska paikallinen tallennustila on rajallinen, suuren tallennustilamäärän pyytäminen voi pidentää jonotusaikaasi.

Mahdin interactive-partitio on tarkoitettu interaktiivisiin esi- ja jälkikäsittelytehtäviin. Se mahdollistaa CPU-resurssien varaamisen varaamatta koko solmua, mikä tarkoittaa, että muutkin työt voivat käyttää samaa solmua. Voit ajaa enintään 8 samanaikaista työtä interactive-partitiossa ja varata enintään 32 ydintä, eli sinulla voi olla yksi 32 ydintä käyttävä työ, 8 työtä käyttäen kukin 4 ydintä tai mitä tahansa tältä väliltä.

small-partitio on tarkoitettu pienimuotoisten CPU-laskentakuormien eräajoon, jotka eivät tarvitse kokonaista solmua. Se pystyy myös tukemaan sovelluksia, jotka tarvitsevat paikallista tallennustilaa toimiakseen optimaalisesti. Monet työkuormat, jotka ovat perinteisesti käyttäneet Puhtia, voivat hyötyä tästä partiosta.

Partitio	Aika raja	Enint. CPU- ytimet	Enint. solmut	Solmutyypit	Enint. muisti per solmu	Enint. paikallinen tallennustila (NVMe) per solmu
`small`	3 päivää	128	1	CPU with NVMe	240 GiB	3500 GiB
`interactive`	7 päivää	32	1	CPU, CPU with NVMe	60 GiB	3500 GiB

Mahdin GPU-partitiot

Mahdissa on seuraavat partitiot töiden lähettämiseen GPU-solmuille. Ellei toisin mainita, työlle allokoidaan 122.5 GiB muistia jokaista varattua GPU:ta kohden.

Partitio	Aika raja	Enint. GPU:t	Enint. CPU- ytimet	Enint. solmut	Solmutyypit	Enint. muisti per solmu	Enint. paikallinen tallennustila (NVMe) per solmu
`gputest`	15 minuuttia	4	128	1	GPU	490 GiB	3500 GiB
`gpusmall`	36 tuntia	2	64	1	GPU	490 GiB	3500 GiB
`gpumedium`	36 tuntia	24	768	6	GPU	490 GiB	3500 GiB

GPU-solmujen reilu käyttö Mahdissa

Sinun tulisi varata enintään 32 CPU-ydintä per GPU.

Mahdin GPU-siivut

Osa Mahdin gpusmall-partition Nvidia A100 -GPU:ista on jaettu yhteensä 28 pienempään GPU-siivuun, joilla on yksi seitsemäsosa täyden A100-GPU:n laskenta- ja muistokapasiteetista. GPU-siivua käytettäessä voit varata enintään 4 CPU-ydintä. Lisäksi työlle allokoidaan 17.5 GiB muistia, eikä erilaista määrää voi pyytää. Lopuksi voit varata vain yhden GPU-siivun per työ. GPU-siivut on tarkoitettu erityisesti interaktiiviseen käyttöön, joka vaatii GPU-kapasiteettia.

Varataksesi GPU-siivun käytä sinteractive-komentoa -g-valinnalla tai lisää --gres=gpu:a100_1g.5gb:1-valinta yhdessä gpusmall-partition määrittämisen kanssa eräajokomentosarjaasi. Lisätietoja on ohjeissa GPU-eräajotöiden luomisesta Mahdissa.

Puhtin partitiot

Note

Tämä osio on vanhentunut

Puhti computing services have been retired

Puhti computing services have been retired and no new jobs are accepted or executed on its compute nodes. Any jobs sent through Slurm will be stuck in a pending state.

Puhti login nodes and storage services are planned to remain available until 15 October 2026.

Seuraavat ohjeet koskevat Puhtin Slurm-partitioita:

Pyydä vain tarvitsemasi määrä muistia. Muistista voi helposti tulla pullonkaula resurssien allokoinnissa. Vaikka haluttu määrä GPU:ita ja/tai CPU-ytimiä olisi jatkuvasti saatavilla, työsi odottaa jonossa niin kauan kuin pyydetyn muistimäärän vapautuminen kestää. Siksi on suositeltavaa pyytää vain se määrä muistia, joka on tarpeen työsi ajamiseen. Lisäksi työsi kuluttamien CPU/GPU-laskutusyksiköiden määrä riippuu pyydetystä muistimäärästä, ei todellisuudessa käytetystä määrästä. Katso kuinka arvioida muistitarpeesi.
Käytä longrun-partitioita vain tarvittaessa. longrun- ja hugemem_longrun-partitiot tarjoavat käyttöön vähemmän resursseja ja niillä on matalampi prioriteetti kuin muilla partitioilla, joten niitä suositellaan käytettäväksi vain töille, jotka todella vaativat erittäin pitkän ajoajan (esim. jos laskentaa ei voi checkpointata ja käynnistää uudelleen).

Puhtin CPU-partitiot

Puhtissa on seuraavat partitiot töiden lähettämiseen CPU-solmuille:

Partitio	Aika raja	Enint. CPU- ytimet	Enint. solmut	Solmutyypit	Enint. muisti per solmu	Enint. paikallinen tallennustila (NVMe) per solmu
`test`	15 minuuttia	80	2	M	185 GiB	n/a
`small`	3 päivää	40	1	M, L, IO	373 GiB	3600 GiB
`large`	3 päivää	1040	26	M, L, IO	373 GiB	3600 GiB
`longrun`	14 päivää	40	1	M, L, IO	373 GiB	3600 GiB
`hugemem`	3 päivää	160	4	XL, BM	1496 GiB	1490 GiB (XL), 5960 GiB (BM)
`hugemem_longrun`	14 päivää	40	1	XL, BM	1496 GiB	1490 GiB (XL), 5960 GiB (BM)

Puhtin GPU-partitiot

Puhtissa on seuraavat partitiot töiden lähettämiseen GPU-solmuille:

Partitio	Aika raja	Enint. GPU:t	Enint. CPU- ytimet	Enint. solmut	Solmutyypit	Enint. muisti per solmu	Enint. paikallinen tallennustila (NVMe) per solmu
`gputest`	15 minuuttia	8	80	2	GPU	373 GiB	3600 GiB
`gpu`	3 päivää	80	800	20	GPU	373 GiB	3600 GiB

GPU-solmujen reilu käyttö Puhtissa

Sinun tulisi varata enintään 10 CPU-ydintä per GPU.