Hyppää sisältöön

Miten arvioin, kuinka paljon muistia eräajoni tarvitsee?

Työn tarkkoja resurssivaatimuksia on vaikea arvioida etukäteen. Tarkista ensin ohjelmiston dokumentaatiosta, antavatko kehittäjät tietoa tyypillisestä muistinkäytöstä. Voit hyödyntää myös aiempia tietoja samankaltaisista valmiiksi suoritetuista töistä.

seff - Slurm-tehokkuus

seff tulostaa yhteenvedon pyydetyistä ja käytetyistä resursseista sekä käynnissä oleville että päättyneille eräajoille:

seff <slurm jobid>

Voit myös lisätä seff-komennon eräajoskriptisi loppuun, jolloin se tulostaa muistinkäytön työn lopussa vakiotulosteeseen.

seff $SLURM_JOBID

Huomaa, että seff ei näytä tietoja käynnissä olevista töistä, jotka on käynnistetty ilman srun-komentoa, mutta tilastot ovat kunnossa työn päätyttyä. seff näyttää myös koostetiedot GPU-käytön tehokkuudesta.

[username@roihu-cpu-login1 logs]$ seff 1398962
Job ID: 1398962
Cluster: roihu
Partition: medium
User/Group: username/username
State: COMPLETED (exit code 0)
Nodes: 1
Cores per node: 384
CPU Utilized: 1-19:57:35
CPU Efficiency: 96.07% of 1-21:45:36 core-walltime
Job Wall-clock time: 00:07:09
Memory Utilized: 73.23 GB (estimated maximum)
Memory Efficiency: 9.83% of 744.72 GB (744.72 GB/node)
Job consumed 34.32 CSC billing units, billed on CPU usage 
Billed project: project_2001659
CPU usage: 34.32 CPU BU
Mem usage: 0.00 CPU BU

Huomioita yllä olevista tiedoista: CPU-tehokkuus on ollut erittäin hyvä (96 %). Muistitehokkuus on kuitenkin melko heikko (10 %). Tässä tapauksessa se on hyväksyttävää, koska työ pyytää kokonaisen solmun ja pystyy käyttämään kaikki CPU-resurssit erittäin tehokkaasti. Toisin sanoen kukaan muu käyttäjä ei voisi käyttää tämän solmun jäljelle jäänyttä muistia muutenkaan, koska kaikki CPU-resurssit ovat käytössä. Koska Roihun kokonaisen solmun työt laskutetaan kiinteällä solmu-tuntihinnalla, muistinkäyttö ei lisää laskutettavaa määrää (Mem usage: 0.00 CPU BU).

Jos työsi ei pysty hyödyntämään kokonaisia solmuja, on tärkeää pyytää muistia huolellisemmin. Kokonaismuistille kannattaa jättää muutaman gigatavun turvamarginaali, jotta työ ei kaadu muistin loppumiseen. Aloita pienesti lyhyillä testiajoilla ja kasvata muistimäärää tarpeen mukaan, jos työsi kaatuu. Tämä on parempi kuin pyytää valtava määrä muistia "varmuuden vuoksi".

Töiden seurantasovellus

Roihun selainkäyttöliittymän Töiden seurantasovellus näyttää päättyneiden töidesi muistinkäytön koko ajon ajalta sekä GiB-yksiköissä että osuutena varatusta muistista. Monisolmuisissa töissä se näyttää jokaisen solmun erikseen, joten näet todellisen huippukäytön jokaisella solmulla.

Mukautetut kyselyt Slurmin kirjanpitoon

Voit tarkistaa valmistuneen työn ajan- ja muistinkäytön myös sacct-komennolla:

sacct -o jobid,reqmem,maxrss,averss,elapsed -j <slurm jobid>

missä -o-valitsin määrittää tulosteen seuraavasti:

  • jobid = Slurm-työn tunniste sekä työn vaiheiden tunnistelaajennukset.
  • reqmem = Muistin määrä, jonka pyysit Slurmilta.
  • maxrss = Suurin muistimäärä, jota mikä tahansa prosessi käytti milloin tahansa kyseisessä työssä. Tämä pätee suoraan sarjallisiin töihin. Rinnakkaisissa töissä arvo pitää kertoa ytimien määrällä (enintään 384 Roihu-CPU:ssa, koska tämä raportoidaan vain siltä solmulta, joka käytti eniten muistia).
  • averss = Keskimääräinen muistinkäyttö prosessia (tai ydintä) kohti. Saat kokonaismuistinkäytön kertomalla tämän ytimien määrällä (enintään 384 Roihu-CPU:ssa, eli kokonainen solmu), jos pyydät muistia valitsimella --mem=<value> etkä --mem-per-cpu=<value>.
  • elapsed = Aika, joka työn valmistumiseen kului.

Esimerkiksi sama työ kuin yllä:

[username@roihu-cpu-login1 ~]$ sacct -j 1398962 -o jobid,reqmem,maxrss,averss,elapsed
JobID            ReqMem     MaxRSS     AveRSS    Elapsed 
------------ ---------- ---------- ---------- ---------- 
1398962         762590M                         00:07:09 
1398962.bat+                13084K     13084K   00:07:09 
1398962.ext+                                    00:07:09 
1398962.0                  199960K  182518997   00:07:08 

Huomaa seuraavat asiat:

  • Rivit, joiden työn vaiheiden tunniste päättyy .bat+ ja .ext+, liittyvät eräajon valmisteluun, eikä niistä tarvitse tässä vaiheessa huolehtia.
  • Olet pyytänyt koko työlle 762590 MB (≈744.72 GB) muistia (= 744.72 GB, kuten seff raportoi), mikä on koko Roihun M-solmun käytettävissä oleva määrä.
  • Työsi on käyttänyt enimmillään 199960 KB eli 195.27 MB muistia ydintä kohti. Kun tämä kerrotaan ytimien määrällä (384), kokonaismuistinkäytöksi saadaan 74985 MB = 73.23 GB (kuten myös seff raportoi).
  • Seitsemän minuutin eräajo on liian lyhyt! Jos sinulla on paljon tällaisia töitä, aja ne peräkkäin samassa työssä erillisinä työn vaiheina. Nyt työn valmistelun yleiskustannus on merkittävä verrattuna varsinaiseen laskentaan.

Huomautus muistiyksiköistä

Muistiyksiköissä käytetään binaarisia etuliitteitä. Esimerkiksi 1 GB = 1024 MB = 1024² KB. Siksi yksikkömuunnokset voivat vaikuttaa hämmentäviltä.

Yleiset ohjeet ja vinkit

Muista, että samankaltainen mutta silti uusi työ voi lopulta tarvita eri määrän resursseja. Jos yliarvioit tarvittavan ajoajan, työsi voi joutua jonottamaan pidempään kuin olisi tarpeen. Resursseja ei kuitenkaan mene hukkaan eikä niitä laskuteta. Jonotuksen kannalta suuri ero on siinä, kestääkö työ alle 3 päivää vai yli sen. longrun-osiolla olevilla töillä on matalampi prioriteetti ja ne jonottavat pidempään.

Jos kuitenkin yliarvioit muistitarpeen, resursseja menee hukkaan. Ajattele esimerkiksi tilannetta, jossa työsi käyttää vain 4 ydintä mutta kaiken solmun muistin. Tällöin kyseiseen solmuun ei mahdu muita töitä, ja jäljelle jäävät N - 4 ydintä jäävät käyttämättömiksi. Lisäksi koko pyydetty muistimäärä – käytettiin sitä tai ei – laskutetaan laskentakiintiöstäsi.

Huomaa, että jos työsi tarvitsee muistin, on täysin hyväksyttävää varata solmun kaikki muisti, mutta älä varaa sitä "varmuuden vuoksi" tai siksi, ettet tiedä, kuinka paljon työ tarvitsee. Voit saada arvion aiemmista samankaltaisista töistä hakemalla tiedot yllä esitetyillä komennoilla. Tarvitset vain näiden töiden Slurm-työtunnisteen.

Onko tämä sivu hyödyllinen?
Kiitos palautteestasi!
Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä .