Käytettävissä olevat eräajopartiot

CSC:n supertietokoneilla ohjelmia ajetaan lähettämällä ne partitioihin, jotka ovat Slurm-kuormanhallinnan hallinnoimia loogisia joukkioita laskentasolmuja. Tällä sivulla luetellaan käytettävissä olevat Slurm-partitiot Roihu-, Puhti- ja Mahti- supertietokoneilla ja selitetään niiden käyttötarkoitukset. Alla ovat yleiset ohjeet Slurm-partitioiden käyttöön järjestelmissämme:

Käytä test- ja gputest-partitioita koodisi testaamiseen, älä tuotantoon. Nämä partitiot tarjoavat vähemmän resursseja kuin muut partitiot, mutta niihin lähetetyillä töillä on korkeampi prioriteetti, joten ne saavat resursseja ennen muita töitä.
Pyydä useita CPU-ytimiä vain, jos tiedät ohjelmasi tukevan rinnakkaisajoa. Useiden ytimien varaaminen ei automaattisesti nopeuta työtäsi. Ohjelmasi on kirjoitettava siten, että laskenta voidaan suorittaa useissa säikeissä tai prosesseissa. Useampien ytimien varaaminen ei itsessään tee mitään, jos koodiasi ei ole rinnakkaistettu, paitsi pidentää jonotusaikaasi.
Käytä GPU-partitioita vain, jos tiedät ohjelmasi osaavan hyödyntää GPU:ita. Laskennan suorittaminen yhdellä tai useammalla GPU:lla on erittäin tehokas rinnakkaistamismenetelmä tietyissä sovelluksissa, mutta ohjelmasi on oltava määritetty käyttämään CUDA-alustaa. Jos et ole varma, onko näin, on parempi lähettää työsi CPU-partitioon, koska silloin sinulle myönnetään resursseja nopeammin. Jos olet epävarma, ota yhteyttä CSC:n asiakastukeen.

Seuraavia komentoja voidaan käyttää näyttämään tietoja käytettävissä olevista partitioista:

# Display a summary of available partitions
sinfo --summarize

# Display details about a specific partition:
scontrol show partition <partition_name>

LUMI-partitiot

Käytettävissä olevat LUMIn eräajopartiot löytyvät [LUMI-dokumentaatiosta].

Roihun partitiot

Roihun partitioissa käytetään erilaisia allokaatiotyyppejä, jotka vastaavat erilaisiin käyttötapauksiin ja resurssivaatimuksiin. Ne on selitetty alla olevassa taulukossa.

Allokaatiotyyppi	Resurssipyyntö
R	Muisti- ja CPU-resursseja voidaan muuttaa toisistaan riippumatta
N	Vain kokonaisia solmuja koskevat pyynnöt
C	Muistiallokaatio on kiinteä pyydettyjen CPU-ytimien määrän perusteella
G	CPU- ja muistiallokaatio on kiinteä pyydettyjen GPU:iden määrän perusteella

Roihun CPU-partitiot

Roihu tarjoaa seuraavat partitiot töiden lähettämiseen CPU-solmuille:

Partitio	Allokaatiotyyppi	Aikaraja	Solmut	CPU:t enintään	Solmutyypit	Muisti enintään	Vaatimukset
`test`	R	15 minuuttia	1 - 2	384 per solmu	M	744 GiB per solmu
`small`	R	72 tuntia	1	384 per työ	M, L	1500 GiB per työ
`medium`	N	36 tuntia	1 - 6	384 per solmu	M	744 GiB per solmu
`large`	N	36 tuntia	6 - 60	384 per solmu	M	744 GiB per solmu	skaalautuvuustesti
`longrun`	R	10 päivää	1	192 per työ	M, L	1500 GiB per työ
`hugemem`	C	36 tuntia	1	128 per työ	XL	6037 GiB per työ
`hugemem_longrun`	C	10 päivää	1	128 per työ	XL	6037 GiB per työ

Roihun GPU-partitiot

Roihu tarjoaa seuraavat partitiot töiden lähettämiseen GPU-solmuille:

Partitio	Allokaatiotyyppi	Aikaraja	Solmut	GPU:t enintään	Solmutyypit	Muisti enintään	Vaatimukset
`gputest`	G	15 minuuttia	1 - 2	4 per solmu	GPU	217 GiB per varattu GPU
`gpumedium`	G	36 tuntia	1	4 per työ	GPU	217 GiB per varattu GPU
`gpularge`	G	36 tuntia	1 - 10	4 per solmu	GPU	217 GiB per varattu GPU	skaalautuvuustesti

Jokaisessa täydellisessä GPU-solmussa on 4 GH200-GPU:ta. Jokainen varattu GPU antaa käyttöön enintään 72 CPU-ydintä sekä 95 GiB HBM3-muistia + 122 GiB LPDDR5-muistia, yhteensä 217G käytettävissä olevaa muistia per varattu GPU.

Tässä luetellut muistimäärät ovat töille allokoitavissa olevia määriä; osa muistista on varattu järjestelmän käyttöön.

Roihun interaktiiviset partitiot

Roihussa on useita interaktiiviseen käyttöön ja datan visualisointiin varattuja partitioita.

Roihu-CPU:n interaktiivinen käyttö

Roihun interactive-partitio mahdollistaa interaktiivisten töiden ajamisen CPU-solmuilla sinteractive-komennolla.

sinteractive-komento valitsee oikean partition resurssipyyntösi perusteella ja tarjoaa automaattisesti Roihu-CPU-resursseja, kun sitä ajetaan Roihu-CPU-kirjautumissolmulta.

Partitio	Allokaatiotyyppi	Aikaraja	Solmut	CPU:t enintään	Solmutyypit	Muisti enintään
`interactive`	R	36 tuntia	1	32 per työ	M	64 GiB per työ

Roihu-GPU:n interaktiivinen käyttö

Roihun gpuinteractive-partitio mahdollistaa interaktiivisten töiden ajamisen GPU-solmuilla sinteractive-komennolla.

sinteractive-komento valitsee oikean partition resurssipyyntösi perusteella ja tarjoaa automaattisesti GPU-siivun, kun sitä ajetaan Roihu-GPU-kirjautumissolmulta.

Partitio	Allokaatiotyyppi	Aikaraja	Solmut	CPU:t enintään	GPU-siivuja enintään	Solmutyypit
`gpuinteractive`	G	12 tuntia	1	TBA	TBA	GPU (siivu)

Mikä on GPU-siivu?

Roihun gpuinteractive-partitio käyttää GH200-superpiirejä, jotka on jaettu 48 pienempään siivuun. Jokaisella siivulla on yksi seitsemäsosa täydellisen GH200-superpiirin laskentakapasiteetista ja yksi kahdeksasosa GPU-muistikapasiteetista (12 GiB).

GPU-siivuja ei ole vielä täysin konfiguroitu

GPU-siivuja ei ole vielä konfiguroitu järjestelmään, ja GPU:iden varaaminen sinteractive-komennolla tai Slurmin kautta tässä partitiossa antaa sen sijaan täydet GPU:t.

Vizinteractive

Roihussa on myös seuraava interaktiiviseen käyttöön ja datan visualisointiin tarkoitettu partitio erikoislaitteistolla:

Partitio	Allokaatiotyyppi	Aikaraja	Solmut	GPU:t enintään	Solmutyypit
`vizinteractive`	G	12 tuntia	1	2 per työ	V

Jokaisessa partition solmussa on 2 Nvidia L40 -GPU:ta, joissa on 44 GiB muistia, sekä 64-ytiminen AMD EPYC 9335 -CPU. Jokainen varattu GPU antaa käyttöön enintään 32 CPU-ydintä ja 183 GiB CPU-muistia.

Paikallinen tallennustila Roihun solmuilla

Paikallinen tallennustila Roihun M-, L- ja GPU-solmuilla on tarkoitettu vain väliaikaisten tiedostojen tallentamiseen, ei korkean suorituskyvyn I/O:hon.

Korkean suorituskyvyn paikallista tallennustilaa on saatavilla Roihun XL- ja V-solmuilla, mikä on ihanteellista I/O-intensiivisille töille.

Yksittäisen käyttäjän käytettävissä olevan paikallisen tallennustilan määrä riippuu käytetystä partitiosta:

Allokaatiotyyppi	Kiintiö per käyttäjä	Luku- / kirjoitusnopeudet
R (jaetut solmut)	20 GiB	5000 / 1400 MB/s
N (kokonaiset solmut)	600 GiB	5000 / 1400 MB/s
G (GPU-solmut)	150 GiB	5000 / 1400 MB/s
Hugemem (XL) -solmut	1.6 TiB	6700 / 4000 MB/s
VIZ-solmut	6.5 TiB	6700 / 4000 MB/s

Lue lisää: Paikallinen tallennustila Roihun solmuilla

Puhdin partitiot

Seuraavat ohjeet koskevat Slurm-partitioita Puhdissa:

Pyydä vain tarvitsemasi määrä muistia. Muistista voi helposti tulla pullonkaula resurssien allokoinnissa. Vaikka haluttu määrä GPU:ita ja/tai CPU-ytimiä olisi jatkuvasti saatavilla, työsi odottaa jonossa niin kauan kuin pyydetyn muistimäärän vapautuminen kestää. Siksi on suositeltavaa pyytää vain se määrä muistia, joka on tarpeen työsi ajamiseen. Lisäksi työsi kuluttamien CPU/GPU-laskutusyksiköiden (BUs) määrään vaikuttaa pyydetty muistimäärä, ei todellisuudessa käytetty määrä. Katso miten arvioida muistitarpeesi.
Käytä longrun-partitioita vain tarvittaessa. longrun- ja hugemem_longrun-partitiot tarjoavat käyttöön vähemmän resursseja ja niillä on matalampi prioriteetti kuin muilla partitioilla, joten niitä suositellaan käytettäväksi vain töille, jotka todella vaativat hyvin pitkän ajoajan (esim. jos laskentaa ei voi checkpointata ja käynnistää uudelleen).

Puhdin CPU-partitiot

Puhti tarjoaa seuraavat partitiot töiden lähettämiseen CPU-solmuille:

Partitio	Aika raja	CPU- ytimiä enintään	Solmuja enintään	Solmutyypit	Muisti enintään per solmu	Paikallinen tallennustila enintään (NVMe) per solmu
`test`	15 minuuttia	80	2	M	185 GiB	n/a
`small`	3 päivää	40	1	M, L, IO	373 GiB	3600 GiB
`large`	3 päivää	1040	26	M, L, IO	373 GiB	3600 GiB
`longrun`	14 päivää	40	1	M, L, IO	373 GiB	3600 GiB
`hugemem`	3 päivää	160	4	XL, BM	1496 GiB	1490 GiB (XL), 5960 GiB (BM)
`hugemem_longrun`	14 päivää	40	1	XL, BM	1496 GiB	1490 GiB (XL), 5960 GiB (BM)

Puhdin GPU-partitiot

Puhti tarjoaa seuraavat partitiot töiden lähettämiseen GPU-solmuille:

Partitio	Aika raja	GPU:ita enintään	CPU- ytimiä enintään	Solmuja enintään	Solmutyypit	Muisti enintään per solmu	Paikallinen tallennustila enintään (NVMe) per solmu
`gputest`	15 minuuttia	8	80	2	GPU	373 GiB	3600 GiB
`gpu`	3 päivää	80	800	20	GPU	373 GiB	3600 GiB

GPU-solmujen reilu käyttö Puhdissa

Sinun tulisi varata enintään 10 CPU-ydintä per GPU.

Puhdin `interactive`-partitio

Puhdin interactive-partitio mahdollistaa interaktiivisten töiden ajamisen CPU-solmuilla. Jos haluat ajaa interaktiivisen työn GPU-solmulla, käytä sinteractive-komentoa -g-valitsimella, jolloin työ lähetetään gpu-partitioon. Huomaa, että voit ajaa samanaikaisesti vain kahta työtä Puhdin interactive-partitiossa.

Partitio	Aika raja	CPU- ytimiä enintään	Solmuja enintään	Solmutyypit	Muisti enintään per solmu	Paikallinen tallennustila enintään (NVMe) per solmu
`interactive`	7 päivää	8	1	IO	76 GiB	720 GiB

Mahdin partitiot

Mahdin CPU-partitiot solmupohjaisella allokaatiolla

Mahti tarjoaa seuraavat partitiot töiden lähettämiseen CPU-solmuille. Näihin partitioihin lähetetyt työt varaavat kaikki solmulla käytettävissä olevat resurssit ja estävät muiden töiden pääsyn kyseiseen solmuun. Siksi työsi pitäisi ihanteellisesti pystyä hyödyntämään tehokkaasti kaikki 128 kullakin varatulla solmulla käytettävissä olevaa ydintä. Vaikka joissakin tilanteissa voi olla järkevää alikäyttää solmuja, huomaa, että työsi kuluttaa silti CPU-laskutusyksiköitä varattujen solmujen määrän perusteella, ei CPU-ytimien.

Jotkin partitiot ovat käytettävissä vain erityisehdoin. large- partitio on käytettävissä vain projekteille, jotka ovat suorittaneet skaalautuvuustestin ja osoittaneet hyödyntävänsä partition resursseja hyvin. gc- partitio, joka mahdollistaa erittäin suurten simulaatioiden ajamisen, on käytettävissä vain Grand Challenge -projekteille.

Partitio	Aika raja	CPU-ytimiä per solmu	Solmuja per työ	Solmutyypit	Muisti per solmu	Paikallinen tallennustila enintään (NVMe) per solmu	Vaatimukset
`test`	1 tunti	128	1–2	CPU	256 GiB	n/a	n/a
`medium`	36 tuntia	128	1–20	CPU	256 GiB	n/a	n/a
`large`	36 tuntia	128	20–200	CPU	256 GiB	n/a	skaalautuvuustesti
`gc`	36 tuntia	128	200–700	CPU	256 GiB	n/a	Grand Challenge -projekti

Mahdin CPU-partitiot ydinpohjaisella allokaatiolla

Kaksi Mahdin CPU-partitiota mahdollistaa ytimien varaamisen kokonaisten solmujen sijaan. Nämä ovat small-partitio ja interactive- partitio. Näissä partitioissa töille allokoidaan 1.875 GiB muistia jokaista varattua CPU-ydintä kohden, ja ainoa tapa varata enemmän muistia on varata enemmän ytimiä. Nämä partitiot ovat myös erityisiä siinä, että niissä voi varata paikallista tallennustilaa solmulta. On tärkeää, että pyydät paikallista tallennustilaa vain, jos pystyt hyödyntämään sitä, etkä enempää kuin tarvitset. Koska paikallinen tallennustila on rajallista, suuren tallennustilamäärän pyytäminen voi pidentää jonotusaikaasi.

Mahdin interactive-partitio on tarkoitettu interaktiivisiin esi- ja jälkikäsittelytehtäviin. Se mahdollistaa CPU-resurssien varaamisen varaamatta kokonaista solmua, mikä tarkoittaa, että muutkin työt voivat käyttää samaa solmua. Voit ajaa enintään 8 samanaikaista työtä interactive-partitiossa ja varata enintään 32 ydintä, eli sinulla voi olla yksi työ, joka käyttää 32 ydintä, 8 työtä, jotka käyttävät kukin 4 ydintä, tai mitä tahansa tältä väliltä.

small-partitio on tarkoitettu pienimuotoisten CPU-laskentakuormien eräajoon, jotka eivät tarvitse kokonaista solmua. Se pystyy myös tukemaan sovelluksia, jotka tarvitsevat paikallista tallennustilaa toimiakseen optimaalisesti. Monet kuormat, jotka ovat perinteisesti käyttäneet Puhtia, voivat hyötyä tästä partiosta.

Partitio	Aika raja	CPU- ytimiä enintään	Solmuja enintään	Solmutyypit	Muisti enintään per solmu	Paikallinen tallennustila enintään (NVMe) per solmu
`small`	3 päivää	128	1	CPU with NVMe	240 GiB	3500 GiB
`interactive`	7 päivää	32	1	CPU, CPU with NVMe	60 GiB	3500 GiB

Mahdin GPU-partitiot

Mahti tarjoaa seuraavat partitiot töiden lähettämiseen GPU-solmuille. Ellei toisin mainita, työlle allokoidaan 122.5 GiB muistia jokaista varattua GPU:ta kohden.

Partitio	Aika raja	GPU:ita enintään	CPU- ytimiä enintään	Solmuja enintään	Solmutyypit	Muisti enintään per solmu	Paikallinen tallennustila enintään (NVMe) per solmu
`gputest`	15 minuuttia	4	128	1	GPU	490 GiB	3500 GiB
`gpusmall`	36 tuntia	2	64	1	GPU	490 GiB	3500 GiB
`gpumedium`	36 tuntia	24	768	6	GPU	490 GiB	3500 GiB

GPU-solmujen reilu käyttö Mahdissa

Sinun tulisi varata enintään 32 CPU-ydintä per GPU.

Mahdin GPU-siivut

Osa Mahdin gpusmall-partition Nvidia A100 -GPU:ista on jaettu yhteensä 28 pienempään GPU-siivuun, joilla on yksi seitsemäsosa täyden A100-GPU:n laskenta- ja muistikapasiteetista. GPU-siivua käytettäessä voit varata enintään 4 CPU-ydintä. Lisäksi työlle allokoidaan 17.5 GiB muistia, eikä eri määrää voi pyytää. Lopuksi voit varata vain yhden GPU-siivun per työ. GPU-siivut on tarkoitettu erityisesti interaktiiviseen käyttöön, joka vaatii GPU-kapasiteettia.

Varataksesi GPU-siivun käytä sinteractive-komentoa -g-valitsimella tai lisää --gres=gpu:a100_1g.5gb:1-valitsin yhdessä gpusmall- partition määrittelyn kanssa eräajoskriptiisi. Lisätietoja on ohjeissa GPU-eräajotöiden luomisesta Mahdissa.