Käytettävissä olevat eräajopartiot

CSC:n supertietokoneilla ohjelmia ajetaan lähettämällä ne partitioihin, jotka ovat Slurm-kuormanhallintajärjestelmän hallinnoimia loogisia solmujoukkoja. Tällä sivulla luetellaan Roihu-supertietokoneen käytettävissä olevat Slurm-partitiot ja selitetään niiden käyttötarkoitukset. Alla ovat yleiset ohjeet Slurm-partitioiden käyttöön järjestelmissämme:

Käytä test- ja gputest-partitioita koodisi testaamiseen, älä tuotantoon. Nämä partitiot tarjoavat vähemmän resursseja kuin muut partitiot, mutta niihin lähetetyillä töillä on korkeampi prioriteetti, joten ne saavat resurssit ennen muita töitä.
Pyydä useita CPU-ytimiä vain, jos tiedät ohjelmasi tukevan rinnakkaisajoa. Useiden ytimien varaaminen ei automaattisesti nopeuta työtäsi. Ohjelmasi on oltava kirjoitettu siten, että laskenta voidaan suorittaa useissa säikeissä tai prosesseissa. Useampien ytimien varaaminen ei itsessään auta, jos koodiasi ei ole rinnakkaistettu, vaan ainoastaan pidentää jonotusaikaasi.
Käytä GPU-partitioita vain, jos tiedät ohjelmasi osaavan hyödyntää GPU:ita. Laskennan ajaminen yhdellä tai useammalla GPU:lla on erittäin tehokas rinnakkaistamismenetelmä tietyille sovelluksille, mutta ohjelmasi on oltava määritetty käyttämään CUDA-alustaa. Jos et ole varma, onko näin, on parempi lähettää työsi CPU-partitioon, koska silloin saat resurssit todennäköisesti nopeammin. Jos olet epävarma, ota yhteyttä CSC:n Service Deskiin.

Seuraavia komentoja voidaan käyttää näyttämään tietoja käytettävissä olevista partitioista:

# Display a summary of available partitions
sinfo --summarize

# Display details about a specific partition:
scontrol show partition <partition_name>

LUMI-partitiot

Käytettävissä olevat LUMI-eräajopartiot löytyvät [LUMI-dokumentaatiosta].

Roihu-partitiot

Roihu-partitioissa käytetään erilaisia varaustyyppejä, jotka soveltuvat erilaisiin käyttötapauksiin ja resurssivaatimuksiin. Ne on selitetty alla olevassa taulukossa.

Varaustyyppi	Resurssipyyntö
R	Muisti- ja CPU-resursseja voidaan muuttaa toisistaan riippumatta
N	Vain koko solmun pyynnöt
C	Muistin varaus on kiinteä pyydettyjen CPU-ytimien määrän perusteella
G	CPU- ja muistivaraus on kiinteä pyydettyjen GPU:iden määrän perusteella

Roihun CPU-partitiot

Roihu tarjoaa seuraavat partitiot töiden lähettämiseen CPU-solmuille:

Partitio	Varaustyyppi	Aikaraja	Solmut	CPU:t enintään	Solmutyypit	Muisti enintään	Vaatimukset
`test`	R	15 minuuttia	1 - 2	384 per solmu	M	744 GiB per solmu
`small`	R	72 tuntia	1	384 per työ	M, L	1500 GiB per työ
`medium`	N	36 tuntia	1 - 6	384 per solmu	M	744 GiB per solmu
`large`	N	36 tuntia	6 - 60	384 per solmu	M	744 GiB per solmu	skaalautuvuustesti
`longrun`	R	10 päivää	1	192 per työ	M, L	1500 GiB per työ
`hugemem`	C	36 tuntia	1	128 per työ	XL	6037 GiB per työ
`hugemem_longrun`	C	10 päivää	1	128 per työ	XL	6037 GiB per työ

Roihun GPU-partitiot

Roihu tarjoaa seuraavat partitiot töiden lähettämiseen GPU-solmuille:

Partitio	Varaustyyppi	Aikaraja	Solmut	GPU:t vähintään	GPU:t enintään	Solmutyypit	Muisti enintään	Vaatimukset
`gputest`	G	15 minuuttia	1 - 2	1	4 per solmu	GPU	212 GiB per varattu GPU
`gpumedium`	G	36 tuntia	1	1	4 per työ	GPU	212 GiB per varattu GPU
`gpularge`	G	36 tuntia	1 - 10	4	4 per solmu	GPU	212 GiB per varattu GPU	skaalautuvuustesti

Jokaisessa täydellisessä GPU-solmussa on 4 GH200-GPU:ta. Jokainen varattu GPU antaa käyttöön enintään 72 CPU-ydintä sekä 95 GiB HBM3-muistia + 117 GiB LPDDR5-muistia, yhteensä 212 GiB käytettävissä olevaa muistia per varattu GPU.

Tässä luetellut muistimäärät ovat töille varattavissa olevia määriä; osa muistista on varattu järjestelmän käyttöön.

Roihun interaktiiviset partitiot

Roihussa on useita interaktiiviseen käyttöön ja datan visualisointiin varattuja partitioita.

Roihu-CPU:n interaktiivinen käyttö

Roihun interactive-partitio mahdollistaa interaktiivisten töiden ajamisen CPU-solmuilla sinteractive-komennolla.

sinteractive-komento valitsee oikean partition resurssipyyntösi perusteella ja tarjoaa automaattisesti Roihu-CPU-resursseja, kun sitä ajetaan Roihu-CPU-kirjautumissolmulta.

Partitio	Varaustyyppi	Aikaraja	Solmut	CPU:t enintään	Solmutyypit	Muisti enintään
`interactive`	R	36 tuntia	1	32 per työ	M	64 GiB per työ

Roihu-GPU:n interaktiivinen käyttö

Roihun gpuinteractive-partitio mahdollistaa interaktiivisten töiden ajamisen GPU-solmuilla sinteractive-komennolla.

sinteractive-komento valitsee oikean partition resurssipyyntösi perusteella ja tarjoaa automaattisesti GPU-siivun, kun sitä ajetaan Roihu-GPU-kirjautumissolmulta.

Partitio	Varaustyyppi	Aikaraja	Solmut	CPU:t enintään	GPU-siivuja enintään	Solmutyypit
`gpuinteractive`	G	12 tuntia	1	TBA	TBA	GPU (siivu)

Mikä on GPU-siivu?

Roihun gpuinteractive-partitio koostuu kahdesta solmusta, joista kummassakin on neljä GH200-GPU:ta. Jokainen GPU voidaan jakaa enintään seitsemään 1g.12gb MIG-siivuun, jolloin partitiossa on yhteensä enintään 56 GPU-siivua. Jokainen siivu tarjoaa yhden seitsemäsosan GPU:n laskentakapasiteetista ja yhden kahdeksasosan täyden GH200-GPU:n muistista (12 GiB).

GPU-siivuja ei ole vielä täysin konfiguroitu

GPU-siivuja ei ole vielä konfiguroitu järjestelmään täysin, ja GPU:iden varaaminen sinteractive-komennolla tai Slurmin kautta tässä partitiossa antaa sen sijaan käyttöön täydet GPU:t.

Vizinteractive

Roihussa on myös seuraava interaktiiviseen käyttöön ja datan visualisointiin erikoistuneella laitteistolla tarkoitettu partitio:

Partitio	Varaustyyppi	Aikaraja	Solmut	GPU:t enintään	Solmutyypit
`vizinteractive`	G	12 tuntia	1	2 per työ	V

Jokaisessa partition solmussa on 2 Nvidia L40 -GPU:ta, joissa on 48 GB muistia, sekä kaksi 32-ytimistä AMD Turin 9335 -CPU:ta. Jokainen varattu GPU antaa käyttöön enintään 32 CPU-ydintä ja 183 GiB CPU-muistia.

Paikallinen tallennustila Roihun solmuilla

Paikallinen tallennustila Roihun M-, L- ja GPU-solmuilla on tarkoitettu vain väliaikaisten tiedostojen tallentamiseen, ei korkean suorituskyvyn I/O:hon.

Korkean suorituskyvyn paikallista tallennustilaa on saatavilla Roihun XL- ja V-solmuilla, mikä sopii erinomaisesti I/O-intensiivisiin töihin.

Solmukohtaista paikallista tallennustilaa on kahdenlaista: automaattinen väliaikaistallennustila ($TMPDIR), joka on käytettävissä jokaisessa työssä ilman varausta ja maksutta, sekä varattava paikallinen scratch-tila ($LOCAL_SCRATCH), joka on käytettävissä vain XL- ja V-solmuilla, varataan Slurmin --gres=nvme-valinnalla ja kuluttaa laskutusyksiköitä (BUs).

Yhden käyttäjän käytettävissä olevan paikallisen tallennustilan määrä riippuu käytetystä partitiosta:

Automaattinen ($TMPDIR)Varattava ($LOCAL_SCRATCH)

Varaustyyppi	Käytettävissä per käyttäjä	Luku- / kirjoitusnopeudet
R (jaetut solmut)	20 GiB	5000 / 1400 MB/s
N (kokonaiset solmut)	600 GiB	5000 / 1400 MB/s
G (GPU-solmut)	150 GiB	5000 / 1400 MB/s
Hugemem (XL) -solmut	578 GiB	6700 / 4000 MB/s
V (visualisointisolmut)	14 TiB	6700 / 4000 MB/s

Varattavaa paikallista scratch-tilaa ei ole vielä toteutettu visualisointisolmuilla (V). Siihen asti kunnes se on saatavilla, näillä solmuilla ajettavat työt voivat käyttää yllä esitettyä koko $TMPDIR-varausta.

Kun varattava paikallinen scratch-tila otetaan käyttöön, $TMPDIR-tilan määrä käyttäjää kohden visualisointisolmuilla pienenee.

Solmutyyppi	Varattavissa enintään	Luku- / kirjoitusnopeudet
Hugemem (XL) -solmut	13 TiB	6700 / 4000 MB/s
V (visualisointisolmut)	6.5 TiB per käyttäjä	6700 / 4000 MB/s

Paikallisen scratch-tilan varaamista visualisointisolmuilla ei ole vielä toteutettu; käytä näillä solmuilla $TMPDIR-hakemistoa, kunnes tämä ominaisuus lisätään.

Lue lisää: Paikallinen tallennustila Roihun solmuilla