Käytettävissä olevat eräajopartiot

CSC:n supertietokoneilla ohjelmia ajetaan lähettämällä ne partitioihin, jotka ovat SLURM-kuormanhallintajärjestelmän hallinnoimia loogisia solmujoukkoja. Tällä sivulla luetellaan Puhdin ja Mahdin supertietokoneiden käytettävissä olevat SLURM-partitiot sekä selitetään niiden käyttötarkoitukset. Alla ovat yleiset ohjeet SLURM-partitioiden käyttöön järjestelmissämme:

1. Käytä test- ja gputest-partitioita koodisi testaamiseen, älä tuotantoon. Nämä partitiot tarjoavat vähemmän resursseja kuin muut partitiot, mutta niihin lähetetyillä töillä on korkeampi prioriteetti, joten ne saavat resursseja ennen muita töitä.
2. Pyydä useita CPU-ytimiä vain, jos tiedät ohjelmasi tukevan rinnakkaislaskentaa. Useiden ytimien varaaminen ei automaattisesti nopeuta työtäsi. Ohjelmasi on oltava kirjoitettu siten, että laskenta voidaan tehdä useissa säikeissä tai prosesseissa. Useampien ytimien varaaminen ei itsessään tee mitään muuta kuin pidennä jonotusaikaasi.
3. Käytä GPU-partitioita vain, jos tiedät ohjelmasi osaavan hyödyntää GPU:ita. Laskennan ajaminen yhdellä tai useammalla GPU:lla on erittäin tehokas rinnakkaistamismenetelmä tietyille sovelluksille, mutta ohjelmasi on oltava määritetty käyttämään CUDA-alustaa. Jos et ole varma, onko näin, on parempi lähettää työ CPU-partitioon, koska saat resurssit todennäköisesti nopeammin. Voit myös aina ottaa yhteyttä CSC:n asiakastukeen, jos olet epävarma.

Seuraavilla komennoilla voidaan näyttää tietoa käytettävissä olevista partitioista:

# Display a summary of available partitions
$ sinfo --summarize

# Display details about a specific partition:
$ scontrol show partition <partition_name>

LUMI-partitiot

Käytettävissä olevat LUMIn eräajopartiot löytyvät [LUMI-dokumentaatiosta].

Puhdin partitiot

Seuraavat ohjeet koskevat Puhdin SLURM-partitioita:

1. Pyydä vain tarvitsemasi määrä muistia. Muistista voi helposti tulla pullonkaula resurssien allokoinnissa. Vaikka haluttu määrä GPU:ita ja/tai CPU-ytimiä olisi jatkuvasti saatavilla, työsi pysyy jonossa niin kauan kuin pyydetty määrä muistia vapautuu. Siksi on suositeltavaa pyytää vain työn ajamiseen tarvittava määrä muistia. Lisäksi työsi kuluttamien CPU-/GPU- laskutusyksiköiden (BUs) määrään vaikuttaa pyydetyn muistin määrä, ei todellisuudessa käytetty määrä. Katso miten arvioit muistitarpeesi.
2. Käytä longrun-partitioita vain tarvittaessa. longrun- ja hugemem_longrun-partitiot tarjoavat vähemmän resursseja ja niillä on matalampi prioriteetti kuin muilla partitioilla, joten niitä suositellaan käytettäväksi vain töille, jotka todella vaativat erittäin pitkän ajoajan (esimerkiksi jos laskentaa ei voi checkpointata ja käynnistää uudelleen).

Puhdin CPU-partitiot

Puhdissa on seuraavat partitiot töiden lähettämiseen CPU-solmuille:

Partition	Time limit	Max CPU cores	Max nodes	Node types	Max memory per node	Max local storage (NVMe) per node
test	15 minuuttia	80	2	M	185 GiB	ei käytettävissä
small	3 päivää	40	1	M, L, IO	373 GiB	3600 GiB
large	3 päivää	1040	26	M, L, IO	373 GiB	3600 GiB
longrun	14 päivää	40	1	M, L, IO	373 GiB	3600 GiB
hugemem	3 päivää	160	4	XL, BM	1496 GiB	1490 GiB (XL), 5960 GiB (BM)
hugemem_longrun	14 päivää	40	1	XL, BM	1496 GiB	1490 GiB (XL), 5960 GiB (BM)

Puhdin GPU-partitiot

Puhdissa on seuraavat partitiot töiden lähettämiseen GPU-solmuille:

Partition	Time limit	Max GPUs	Max CPU cores	Max nodes	Node types	Max memory per node	Max local storage (NVMe) per node
gputest	15 minuuttia	8	80	2	GPU	373 GiB	3600 GiB
gpu	3 päivää	80	800	20	GPU	373 GiB	3600 GiB

GPU-solmujen reilu käyttö Puhdissa

Sinun tulisi varata enintään 10 CPU-ydintä per GPU.

Puhdin interactive-partitio

Puhdin interactive-partitio mahdollistaa interaktiivisten töiden ajamisen CPU-solmuilla. Jos haluat ajaa interaktiivisen työn GPU-solmulla, käytä sinteractive-komentoa -g-valitsimella, jolloin työ lähetetään gpu-partitioon. Huomaa, että voit ajaa vain kahta samanaikaista työtä Puhdin interactive-partitiossa.

Partition	Time limit	Max CPU cores	Max nodes	Node types	Max memory per node	Max local storage (NVMe) per node
interactive	7 päivää	8	1	IO	76 GiB	720 GiB

Mahdin partitiot

Mahdin CPU-partitiot solmupohjaisella allokoinnilla

Mahdissa on seuraavat partitiot töiden lähettämiseen CPU-solmuille. Näihin partitioihin lähetetyt työt varaavat kaikki solmun käytettävissä olevat resurssit ja estävät muiden töiden pääsyn kyseiseen solmuun. Siksi työsi pitäisi ihannetapauksessa pystyä hyödyntämään tehokkaasti kaikki 128 ydintä jokaisessa varatussa solmussa. Vaikka joissakin tilanteissa voi olla järkevää varata solmu vajaakäytölle, huomaa, että työsi kuluttaa silti CPU-laskutusyksiköitä (BUs) varattujen solmujen, ei CPU-ytimien, määrän perusteella.

Jotkin partitiot ovat käytettävissä vain erityisehdoin. large-partitio on käytettävissä vain projekteille, jotka ovat suorittaneet skaalautuvuustestin ja osoittaneet hyödyntävänsä partitiolle varattuja resursseja hyvin. gc- partitio, joka mahdollistaa erittäin suurten simulaatioiden ajamisen, on käytettävissä vain Grand Challenge -projekteille.

Partition	Time limit	CPU cores per node	Nodes per job	Node types	Memory per node	Max local storage (NVMe) per node	Requirements
test	1 tunti	128	1–2	CPU	256 GiB	ei käytettävissä	ei vaatimuksia
medium	36 tuntia	128	1–20	CPU	256 GiB	ei käytettävissä	ei vaatimuksia
large	36 tuntia	128	20–200	CPU	256 GiB	ei käytettävissä	skaalautuvuustesti
gc	36 tuntia	128	200–700	CPU	256 GiB	ei käytettävissä	Grand Challenge -projekti

Mahdin CPU-partitiot ydinpohjaisella allokoinnilla

Mahdissa on kaksi CPU-partitiota, joissa voit varata ytimiä kokonaisten solmujen sijaan. Nämä ovat small-partitio ja interactive-partitio. Näissä partitioissa töille allokoidaan 1,875 GiB muistia jokaista varattua CPU-ydintä kohden, ja ainoa tapa varata enemmän muistia on varata enemmän ytimiä. Nämä partitiot ovat myös erityisiä siinä mielessä, että niissä voit varata paikallista tallennustilaa solmulta. On tärkeää, että pyydät paikallista tallennustilaa vain, jos pystyt hyödyntämään sitä, etkä enempää kuin tarvitset. Koska paikallinen tallennustila on rajallinen, suuren tallennustilamäärän pyytäminen voi pidentää jonotusaikaasi.

Mahdin interactive-partitio on tarkoitettu interaktiivisiin esi- ja jälkikäsittelytehtäviin. Se mahdollistaa CPU-resurssien varaamisen ilman koko solmun varaamista, mikä tarkoittaa, että muut työt voivat myös käyttää samaa solmua. Voit ajaa enintään 8 samanaikaista työtä interactive-partitiossa ja varata enintään 32 ydintä, eli sinulla voi olla yksi 32 ydintä käyttävä työ, 8 neljää ydintä käyttävää työtä tai mitä tahansa tältä väliltä.

small-partitio on tarkoitettu pienen mittakaavan CPU-laskentakuormien eräajoon, kun koko solmua ei tarvita. Se pystyy myös tukemaan sovelluksia, jotka tarvitsevat paikallista tallennustilaa toimiakseen optimaalisesti. Monet työkuormat, joita on perinteisesti ajettu Puhdissa, voivat hyötyä tästä partitiosta.

Partition	Time limit	Max CPU cores	Max nodes	Node types	Max memory per node	Max local storage (NVMe) per node
small	3 päivää	128	1	CPU with NVMe	240 GiB	3500 GiB
interactive	7 päivää	32	1	CPU, CPU with NVMe	60 GiB	3500 GiB

Mahdin GPU-partitiot

Mahdissa on seuraavat partitiot töiden lähettämiseen GPU-solmuille. Ellei toisin mainita, työlle allokoidaan 122,5 GiB muistia jokaista varattua GPU:ta kohden.

Partition	Time limit	Max GPUs	Max CPU cores	Max nodes	Node types	Max memory per node	Max local storage (NVMe) per node
gputest	15 minuuttia	4	128	1	GPU	490 GiB	3500 GiB
gpusmall	36 tuntia	2	64	1	GPU	490 GiB	3500 GiB
gpumedium	36 tuntia	24	768	6	GPU	490 GiB	3500 GiB

GPU-solmujen reilu käyttö Mahdissa

Sinun tulisi varata enintään 32 CPU-ydintä per GPU.

GPU-osiot

Osa Mahdin gpusmall-partition Nvidia A100 GPU:ista on jaettu yhteensä 28 pienempään GPU-osioon, joista kullakin on yksi seitsemäsosa täyden A100-GPU:n laskenta- ja muistkapasiteetista. GPU-osiota käytettäessä voit varata enintään 4 CPU-ydintä. Lisäksi työlle allokoidaan 17,5 GiB muistia, eikä eri määrää voi pyytää. Lopuksi voit varata vain yhden GPU-osion per työ. GPU-osiot on tarkoitettu erityisesti interaktiiviseen käyttöön, joka vaatii GPU-kapasiteettia.

Varataksesi GPU-osion käytä sinteractive-komentoa -g-valitsimella tai lisää eräajoskriptiisi --gres=gpu:a100_1g.5gb:1-valitsin yhdessä gpusmall- partition määrittelyn kanssa. Lisätietoja on ohjeessa GPU-eräajotöiden luominen Mahdissa.

Onko tämä sivu hyödyllinen?

Kyllä

Kiitos palautteestasi!

Ei

Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä.