Käytettävissä olevat eräajopartiot

CSC:n supertietokoneilla ohjelmia ajetaan lähettämällä ne partitioihin, jotka ovat Slurm-kuormanhallinnan hallinnoimia loogisia noodijoukkoja. Tällä sivulla luetellaan käytettävissä olevat Slurm-partitiot Roihu-, Puhti- ja Mahti- supertietokoneilla ja selitetään niiden käyttötarkoitukset. Alla ovat yleiset ohjeet Slurm-partitioiden käyttöön järjestelmissämme:

Käytä test- ja gputest-partitioita koodisi testaamiseen, älä tuotantoon. Nämä partitiot tarjoavat vähemmän resursseja kuin muut partitiot, mutta niihin lähetetyillä töillä on korkeampi prioriteetti, joten ne saavat resurssit ennen muita töitä.
Pyydä useita CPU-ytimiä vain, jos tiedät ohjelmasi tukevan rinnakkaisajoa. Useiden ytimien varaaminen ei automaattisesti nopeuta työtäsi. Ohjelmasi on oltava kirjoitettu siten, että laskenta voidaan suorittaa useissa säikeissä tai prosesseissa. Useampien ytimien varaaminen ei itsessään tee mitään, jos koodiasi ei ole rinnakkaistettu, paitsi pidentää jonotusaikaasi.
Käytä GPU-partitioita vain, jos tiedät ohjelmasi osaavan hyödyntää GPU:ita. Laskennan suorittaminen yhdellä tai useammalla GPU:lla on erittäin tehokas rinnakkaistamismenetelmä tietyissä sovelluksissa, mutta ohjelmasi on oltava määritetty käyttämään CUDA-alustaa. Jos et ole varma, onko näin, on parempi lähettää työsi CPU-partitioon, koska saat resurssit nopeammin. Jos olet epävarma, ota yhteyttä CSC:n asiakastukeen.

Seuraavia komentoja voidaan käyttää näyttämään tietoja käytettävissä olevista partitioista:

# Display a summary of available partitions
sinfo --summarize

# Display details about a specific partition:
scontrol show partition <partition_name>

LUMI-partitiot

Käytettävissä olevat LUMIn eräajopartiot löytyvät [LUMI-dokumentaatiosta].

Roihun partitiot

Roihun partitioissa käytetään erilaisia varaustyyppejä, jotka soveltuvat erilaisiin käyttötapauksiin ja resurssivaatimuksiin. Ne on selitetty alla olevassa taulukossa.

Varaustyyppi	Resurssipyyntö
R	Muisti- ja CPU-resursseja voidaan muuttaa toisistaan riippumatta
N	Vain kokonaisen noodin pyynnöt
C	Muistivaraus on kiinteä pyydettyjen CPU-ytimien määrän perusteella
G	CPU- ja muistivaraus on kiinteä pyydettyjen GPU:iden määrän perusteella

Roihun CPU-partitiot

Roihu tarjoaa seuraavat partitiot töiden lähettämiseen CPU-noodeille:

Partitio	Varaustyyppi	Aikaraja	Noodit	CPU:t enintään	Noodityypit	Muisti enintään	Vaatimukset
`test`	R	15 minuuttia	1 - 2	384 per noodi	M	744 GiB per noodi
`small`	R	72 tuntia	1	384 per työ	M, L	1500 GiB per työ
`medium`	N	36 tuntia	1 - 6	384 per noodi	M	744 GiB per noodi
`large`	N	36 tuntia	6 - 60	384 per noodi	M	744 GiB per noodi	skaalautuvuustesti
`longrun`	R	10 päivää	1	192 per työ	M, L	1500 GiB per työ
`hugemem`	C	36 tuntia	1	128 per työ	XL	6037 GiB per työ
`hugemem_longrun`	C	10 päivää	1	128 per työ	XL	6037 GiB per työ

Roihun GPU-partitiot

Roihu tarjoaa seuraavat partitiot töiden lähettämiseen GPU-noodeille:

Partitio	Varaustyyppi	Aikaraja	Noodit	GPU:t vähintään	GPU:t enintään	Noodityypit	Muisti enintään	Vaatimukset
`gputest`	G	15 minuuttia	1 - 2	1	4 per noodi	GPU	212 GiB per varattu GPU
`gpumedium`	G	36 tuntia	1	1	4 per työ	GPU	212 GiB per varattu GPU
`gpularge`	G	36 tuntia	1 - 10	4	4 per noodi	GPU	212 GiB per varattu GPU	skaalautuvuustesti

Jokaisessa täydellisessä GPU-noodissa on 4 GH200-GPU:ta. Jokainen varattu GPU antaa käyttöön enintään 72 CPU-ydintä sekä 95 GiB HBM3-muistia + 117 GiB LPDDR5-muistia, yhteensä 212 GiB käytettävissä olevaa muistia per varattu GPU.

Tässä luetellut muistimäärät ovat töille varattavissa olevia määriä; osa muistista on varattu järjestelmän käyttöön.

Roihun interaktiiviset partitiot

Roihussa on useita interaktiiviseen käyttöön ja datan visualisointiin varattuja partitioita.

Roihu-CPU:n interaktiivinen käyttö

Roihun interactive-partitio mahdollistaa interaktiivisten töiden ajamisen CPU-noodeilla sinteractive-komennolla.

sinteractive-komento valitsee oikean partition resurssipyyntösi perusteella ja tarjoaa automaattisesti Roihu-CPU-resurssit, kun sitä ajetaan Roihu-CPU-kirjautumisnoodilta.

Partitio	Varaustyyppi	Aikaraja	Noodit	CPU:t enintään	Noodityypit	Muisti enintään
`interactive`	R	36 tuntia	1	32 per työ	M	64 GiB per työ

Roihu-GPU:n interaktiivinen käyttö

Roihun gpuinteractive-partitio mahdollistaa interaktiivisten töiden ajamisen GPU-noodeilla sinteractive-komennolla.

sinteractive-komento valitsee oikean partition resurssipyyntösi perusteella ja tarjoaa automaattisesti GPU-siivun, kun sitä ajetaan Roihu-GPU-kirjautumisnoodilta.

Partitio	Varaustyyppi	Aikaraja	Noodit	CPU:t enintään	GPU-siivuja enintään	Noodityypit
`gpuinteractive`	G	12 tuntia	1	TBA	TBA	GPU (siivu)

Mikä on GPU-siivu?

Roihun gpuinteractive-partitio koostuu kahdesta noodista, joista kummassakin on neljä GH200-GPU:ta. Jokainen GPU voidaan jakaa enintään seitsemään 1g.12gb MIG-siivuun, jolloin partitiolla on yhteensä enintään 56 GPU-siivua. Kukin siivu tarjoaa yhden seitsemäsosan GPU:n laskentakapasiteetista ja yhden kahdeksasosan täyden GH200-GPU:n muistista (12 GiB).

GPU-siivuja ei ole vielä täysin konfiguroitu

GPU-siivuja ei ole vielä konfiguroitu järjestelmään, ja GPU:iden varaaminen sinteractive-komennolla tai Slurmin kautta tässä partitiossa antaa sen sijaan kokonaisia GPU:ita.

Vizinteractive

Roihussa on myös seuraava interaktiiviseen käyttöön ja datan visualisointiin erikoislaitteistolla tarkoitettu partitio:

Partitio	Varaustyyppi	Aikaraja	Noodit	GPU:t enintään	Noodityypit
`vizinteractive`	G	12 tuntia	1	2 per työ	V

Jokaisessa partition noodissa on 2 Nvidia L40 -GPU:ta, joissa on 48 GB muistia, sekä kaksi 32-ytimistä AMD Turin 9335 -CPU:ta. Jokainen varattu GPU antaa käyttöön enintään 32 CPU-ydintä ja 183 GiB CPU-muistia.

Paikallinen tallennustila Roihun noodeilla

Paikallinen tallennustila Roihun M-, L- ja GPU-noodeilla on tarkoitettu vain väliaikaisten tiedostojen tallentamiseen, ei korkean suorituskyvyn I/O:hon.

Korkean suorituskyvyn paikallista tallennustilaa on saatavilla Roihun XL- ja V-noodeilla, mikä sopii erinomaisesti I/O-intensiivisiin töihin.

Noodikohtaista paikallista tallennustilaa on kahdenlaista: automaattinen väliaikaistallennus ($TMPDIR), joka on käytettävissä jokaisessa työssä ilman varausta ja maksutta, sekä varattava paikallinen scratch-tila ($LOCAL_SCRATCH), joka on käytettävissä vain XL- ja V-noodeilla, varataan Slurmin kautta --gres=nvme- valinnalla ja kuluttaa laskutusyksiköitä (BUs).

Yhden käyttäjän käytettävissä olevan paikallisen tallennustilan määrä riippuu käytetystä partitiosta:

Automaattinen ($TMPDIR)Varattava ($LOCAL_SCRATCH)

Varaustyyppi	Käytettävissä per käyttäjä	Luku- / kirjoitusnopeudet
R (jaetut noodit)	20 GiB	5000 / 1400 MB/s
N (kokonaiset noodit)	600 GiB	5000 / 1400 MB/s
G (GPU-noodit)	150 GiB	5000 / 1400 MB/s
Hugemem (XL) -noodit	578 GiB	6700 / 4000 MB/s
V (visualisointinoodit)	14 TiB	6700 / 4000 MB/s

Varattavaa paikallista scratch-tilaa ei ole vielä toteutettu visualisointinoodeilla (V). Siihen asti kunnes se on saatavilla, näillä noodeilla ajettavat työt voivat käyttää yllä esitettyä koko $TMPDIR-varausta.

Kun varattava paikallinen scratch-tila otetaan käyttöön, $TMPDIR-tilan määrä käyttäjää kohden visualisointinoodeilla pienenee.

Noodityyppi	Varattavissa enintään	Luku- / kirjoitusnopeudet
Hugemem (XL) -noodit	13 TiB	6700 / 4000 MB/s
V (visualisointinoodit)	6.5 TiB per käyttäjä	6700 / 4000 MB/s

Paikallisen scratch-tilan varaamista visualisointinoodeilla ei ole vielä toteutettu; käytä näillä noodeilla $TMPDIR-hakemistoa, kunnes tämä ominaisuus lisätään.

Lue lisää: Paikallinen tallennustila Roihun noodeilla