Käytännön harjoitus eräajoista Roihussa¶
Seuraavat harjoitukset opastavat sinua lähettämään ensimmäiset eräajosi Roihussa. Olemme käyttäneet esimerkkeinä R:ää ja HMMERiä, mutta samat periaatteet pätevät myös muihin sovelluksiin. Tarkista kuitenkin aina sovelluskohtainen sivu, jos sellainen on olemassa. Sieltä voi löytyä sinulle räätälöity mallipohja.
Hae harjoitustiedostot¶
a) Kirjaudu Roihuun terminaalista¶
Ennen SSH:lla kirjautumista allekirjoita julkinen SSH-avaimesi ja lataa varmenne näiden ohjeiden mukaisesti: Julkisten SSH-avainten allekirjoittaminen.
Kirjaudu sitten komennolla
ssh your-username@roihu-cpu.csc.fi
Jos sinulla ei ole käytettävissä SSH-asiakasohjelmaa, voit kirjautua sisään [selainkäyttöliittymän] (../../supercomputing/webinterface/index.md) kautta verkkoselaimella ja avata siellä terminaalin.
b) Siirry scratch-hakemistoon ja lataa harjoitustiedosto¶
Komento csc-workspaces näyttää, minkä projektien jäsen olet.
csc-workspaces
...
Project: project_20001234 "Great science with HPC tools"
/projappl/project_20001234 16G/54G 38K/100K
/scratch/project_20001234 56G/1.1T 107K/1.0M
------------------------------------------------------------
$HOME-kansiossa!):
ja lataa syötetiedostot komennolla wget:
c) Pura harjoitustiedosto¶
Note
Varmista, että käytät samaa projektinumeroa kaikissa seuraavissa vaiheissa, joissa mainitaan projekti tai tili.
Yksinkertainen eräajoskripti¶
a) Luo eräajoskripti, joka tulostaa laskentasolmun, jolla se suoritetaan.¶
Käyttäen nano-editoria (voit käyttää mitä tahansa haluamaasi editoria):
Laita tiedostoon seuraava sisältö. Muista korvata project_20011234 omalla projektinumerollasi
kohdassa --account´.
#!/bin/bash
#SBATCH --job-name=print_hostname
#SBATCH --time=00:01:00
#SBATCH --partition=test
#SBATCH --ntasks=1
#SBATCH --mem-per-cpu=1G
#SBATCH --account=project_20001234
sleep 30
echo "This job runs on the host: "; hostname
Poistu nano-editorista näin:
CTRL+O (enter); CTRL+X (confirm save)
Lähetä eräajoskripti Roihuun:
b) Tarkista työn tila.¶
Korvaa seuraavassa komennossa <your username> omalla
CSC-käyttäjätunnuksellasi – tai sillä tunnuksella, jolla kirjauduit Roihuun. Jos
et ole varma mikä se on, voit tarkistaa sen komennolla whoami tai
tällä komennolla: echo $USER.
c) Mitä työ tulosti ja minne?¶
Note
Tässä sinun täytyy korvata JOBID sillä tunnisteella, jonka työsi sai, kun lähetit sen jonoon.
Tulosteen pitäisi näyttää sen solmun nimi (numero- ja kirjainyhdistelmä), jolla työ suoritettiin.
Jos työ epäonnistui, tarkista mikä projekti eräajoskriptissä oli kohdassa --account=???
Tyypillisiä syitä epäonnistuneeseen eräajoon UKK:ssamme
Yksinkertainen R-ajo¶
Suorita yksinkertainen R-ajo skriptistä. Skripti sovittaa suoran tiedoston sisältämien x,y-arvoparien läpi. Lisätietoa R:n ajamisesta CSC-ympäristössä.
a) Käynnistä interaktiivinen eräajo ja alusta R-ympäristö¶
Koska aiomme nyt suorittaa sovellusta interaktiivisesti, pyydämme interaktiivisen
eräajon ja työskentelemme siellä kirjautumissolmun sijaan. Seuraava
komento käynnistää sen (korvaa
Käytä --cores varataksesi enemmän ytimiä ja --mem varataksesi enemmän muistia, esimerkiksi --cores 4 --mem 8G.
Anna komento module load r-env alustamaan R-ympäristö.
- Mistä tiedät, onko se jo ladattu?
Siirry hakemistoon r-job, jossa data sijaitsee (tiedosto nimeltä
data.csv) ja käynnistä R:
Sinun pitäisi nähdä hieman aloitustekstiä, ja komentokehotteesi pitäisi nyt näyttää tältä:
...
Type 'demo()' for some demos, 'help()' for on-line help, or
'help.start()' for an HTML browser interface to help.
Type 'q()' to quit R.
>
b) Luo skripti saman työn suorittamiseen.¶
Luo hakemistossa "r-job" R-skriptitiedosto (suoritettavat R-komennot),
jossa on samat komennot kuin liitit R-komentokehotteeseen. Nimeä tiedosto fit.R
Voit käyttää esimerkiksi nano-editoria kuten yllä.
Varmista, että tiedosto on kunnossa komennolla:
Sinun pitäisi nähdä kolme riviä R-komentoja.c) Suorita skripti interaktiivisesti¶
d) Tarkista tulokset¶
- Onnistuiko ajo?
- Mitkä ovat sovituksen kertoimet?
Yksinkertainen R-ajo eräajona¶
Suorita nyt edellinen R-skripti eräajona.
a) Luo eräajoskripti, joka lähettää työn jonoon.¶
Kopioi sarjallisen eräajoskriptin mallipohja CSC:n R-env-sivulta tiedostoon nimeltä batch.sh
Laskentaresurssien määrittelyn lisäksi tämä skripti voi asettaa esimerkiksi sovelluskohtaisia ympäristömuuttujia. Tarkista aina ensin, onko sovelluksellesi olemassa mallieräajoskripti, ja käytä sitä oman skriptisi pohjana.
Tätä esimerkkiä varten sinun täytyy korvata paikkamerkki --account omalla laskentaprojektillasi. Lopuksi skriptin lopussa
korvaa (myscript.R) eli suoritettava R-skripti tiedostolla fit.R.
b) Lähetä eräajoskripti komennolla¶
c) Onnistuiko työ? Missä sovituksen vakiot ovat?¶
Vihje: etsi tiedostoja nimeltä errors_JOBID.txt ja output_JOBID.txt kansiosta, josta lähetit eräajon.
Suorita kymmeniä R-eräajoja taulukkotyönä¶
Tässä esimerkissä toistamme edellisen sovitustyön 20 aineistolle käyttäen SLURMin taulukkotyötoiminnallisuutta. Huomaa, että näin lyhyille ajoille ei olisi järkevää käyttää erillisiä eräajoja, vaan voitaisiin silmukoida ne yhdessä työssä tai mieluummin R-skriptin sisällä.
a) Valmistele käsiteltävien tiedostojen lista.¶
Siirry kansioon nimeltä r-array. Luo sinne tiedosto nimeltä
datanames.txt. Tämä tiedosto sisältää kaikkien niiden tiedostojen nimet,
joita käytetään sovituksen syötteenä. Suorita seuraavat komennot
sen luomiseksi.
b) Kirjoita R-skripti, joka tekee sovituksen.¶
Palaa takaisin kansioon r-array, luo skripti nimeltä modelscript.R
ja lisää siihen seuraavat komennot (voit kopioida edellisen skriptin
ja muokata sitä, tai aloittaa alusta).
dataname <- commandArgs(trailingOnly = TRUE)
mydata <- read.csv(paste0("data_dir/", dataname))
fit <- lm(y ~ x, mydata)
write(fit$coefficients,
file = paste0("result_dir/", dataname, "_result.txt"))
Ensimmäinen rivi poimii eräajokomennosta sovitettavan aineiston nimen. Seuraava rivi lukee kyseisen datan muuttujaan mydata. Sen jälkeen sovitamme kuten edellisessä esimerkissä, ja lopuksi kirjoitamme kertoimet tiedostoon.
c) Luo eräajoskripti työn lähettämistä varten.¶
Nimeä se R_array.sh. Kopioi sisältö edellisestä esimerkistä.
Lisää seuraava rivi muiden #SBATCH-rivien joukkoon:
Tämä pyytää SLURMia suorittamaan 20 työn taulukon. Muokkaa tuloste- ja virhe-
tiedostot menemään omiin hakemistoihinsa ja tiedostoihinsa muokkaamalla/lisäämällä
(sekä %a korvataan taulukkotyön numerolla):
Vaihda käytettävä SLURM-osio (--partition=) arvosta test arvoon small.
Lisää ennen riviä, jolla on srun Rscript..., seuraava rivi
Sinulla pitäisi nyt olla:
datanames.txt, jossa on datatiedostojesi nimetmodelscript.R, joka sisältää sovituksen tekevän R-koodinR_array.sh, joka on työn lähettämiseen käytettävä eräajoskripti- (sekä kansiot
out, err, data_dir, result_dir, jotka olivat siellä jo valmiiksi)
d) Suorita eräajoskripti komennolla¶
Koska suoritat nyt 20 työtä, niiden pääsy jonosta ajoon voi kestää hetken. Sovituskertoimet pitäisi tulla erillisiin tiedostoihin hakemistossaresult_dir. Käytetään nyt interaktiivista R:ää tulosten tarkasteluun.
e) Kerää tulokset ja piirrä ne.¶
Kätevin tapa näyttää graafisia tuloksia R:llä on käyttää RStudioa selainkäyttöliittymässä.
Aseta työhakemisto komennolla setwd() hakemistoon, joka sisältää tiedoston analyse.R, esimerkiksi
setwd("/scratch/project_20001234/r-array"). Kirjoita RStudion
konsoliin source("analyse.R"). Tämä
suorittaa (source) skriptin sisällön. Alkuperäinen data oli
luotu laskemalla y-arvot kaavalla y=2x + satunnaista kohinaa.
Kuvaaja ilmestyy erilliseen ikkunaan.
Toinen vaihtoehto olisi muokata analyse.R-R-skriptiä niin, että se tallentaa kuvaajan tiedostoon
grafiikkalaitteilla tai esimerkiksi ggsave()-funktiolla paketissa ggplot2.
f) Mitä kuvaajassa näytetään?¶
Eräajo säierinnakkaistuksella¶
Joitakin sovelluksia voidaan ajaa rinnakkain niiden nopeuttamiseksi. Tässä esimerkissä suoritat HMMER-ohjelmiston kuvaamaan ja analysoimaan toisiinsa liittyviä tai samankaltaisia proteiinisekvenssialueita sekä sarjallisesti että rinnakkain nähdäksesi, nopeutuvatko ajot.
HMMER käyttää tietokantaa, joka on jo asennettu, mutta proteiini- sekvenssit, joita haluat tutkia, täytyy ensin kopioida käytettäväksi syötteenä:
a) Sarjallinen HMMER-ajo¶
Ajetaan ensin työ vain yhdellä ytimellä. Kopioi jokin vanhoista eräajo- skripteistä nykyiseen hakemistoon ja muuta / lisää siihen seuraavat kohdat (tai katso näitä esimerkkejä):
- Tuloste tiedostoon
out_%j.txt - virhe tiedostoon
err_%j.txt - ajoaika 10 minuuttia
- lataa
hmmer-moduuli - suorituskomento:
Lähetä työ komennolla: sbatch your-jobscript-name.sh
Työn lähettäminen tulostaa SLURM JOBID -numeron näytölle, mutta
se näkyy myös tuloste- ja virhetiedostojen nimissä
(out_<SLURM_JOBID>.out). Tarkista, onko työ käynnissä komennolla
squeue -u <your username> (käytä omaa käyttäjätunnustasi)
Tai
squeue -j <SLURM_JOBID> (korvaa oman työsi JOBID:llä)
Kun työ on valmis, voit tarkistaa kuinka paljon muistia ja aikaa se käytti:
- Varasitko sopivan määrän muistia? (ei liikaa, mutta riittävästi niin, ettei muisti ole loppumassa ja työ keskeydy). Toinen tapa saada nopea yhteenveto käytetyistä resursseista on:
b) Rinnakkainen HMMER-ajo¶
Kokeillaan nyt 4 ytimellä. Tässä vaiheessa siirrymme myös käyttämään
ympäristömuuttujaa $SLURM_CPUS_PER_TASK virheiden välttämiseksi
ja jotta samaa arvoa ei tarvitse muuttaa monesta paikasta. Lisää tämä rivi eräajo-
skriptiin:
Huomaa, että tämä pyytää vain jonotusjärjestelmältä lisää resursseja. Sinun täytyy kertoa siitä myös ajamallesi sovellukselle (miten, riippuu sovelluksesta). Muuta suorituskomento muotoon:
hmmscan --cpu $SLURM_CPUS_PER_TASK $HMMERDB/Pfam-A.hmm example.fasta > example_$SLURM_CPUS_PER_TASK.result
Koska pyysit 4 CPU:ta tehtävää kohti, ympäristömuuttujan
$SLURM_CPUS_PER_TASK arvoksi tulee 4, kun skripti suoritetaan, ja
sinun tarvitsee muuttaa vain #SBATCH-rivin numeroa, jos haluat kokeilla myös muita
arvoja.
Lähetä työ ja tarkista sacct-komennolla, kuinka kauan HMMER-ajo kesti
sekä miten muistin käyttö muuttui, ja yritä vastata
seuraaviin kysymyksiin:
- Onko järkevää käyttää 4 ydintä yhden sijaan?
- Oliko muistivaraus sopiva?
- Onko järkevää käyttää enemmän kuin 4 ydintä?
- Miten työtä voisi nopeuttaa?
Eräajon muistinkulutus¶
a) Ylitä muistivaraus tarkoituksella¶
Luo uusi R-skripti (kuten edellisessä harjoituksessa) nimeltä mem-test.R. Sen
sisällön tulee olla seuraava:
dim=10
dim_end=1000
while (dim < dim_end) {
mat <- matrix(rnorm(dim*dim), dim)
print("passed dimension")
print(dim)
dim=dim*2
}
print("all done")
Muuttuja dim on neliömatriisin dimensio, joka täytetään
normaalijakautuneilla satunnaisluvuilla. Skripti kaksinkertaistaa
dim:n, kunnes se ylittää arvon dim_end. Tee uusi eräajoskripti R-
skriptisi mem-test.R suorittamiseen. Resurssipyyntöjen lisäksi
skriptin täytyy ladata R-ympäristö ja sitten suorittaa R-skripti (kuten
edellisessä harjoituksessa). Lähetä skripti komennolla sbatch.
Kun työ on valmistunut (miten voit tarkistaa, onko se käynnissä vai
jonossa?), tarkista sacct- tai seff-komennolla, kuinka paljon muistia käytettiin,
kuten edellisessä harjoituksessa. Jos työ valmistui onnistuneesti, kasvata
skriptissäsi muuttujan dim_end arvoa eli tee suurempi matriisi ja
aja työ uudelleen. Kirjaa myös ylös, kuinka kauan ajo kestää. Miten
työn tarvitsema aika ja muisti riippuvat taulukon alkioiden määrästä?
| max(dim) | # of elements | Time [s] (Elapsed) | Memory used (MaxRSS) |
|---|---|---|---|
- Kuinka suuri matriisi tarvitaan ylittämään eräajon oletuksena sallittu muisti?
Skaalaustesti MPI-rinnakkaisajolle¶
Ennen rinnakkaisajojen suorittamista on tärkeää selvittää, miten työ skaalautuu. Ei ole järkevää käyttää montaa ydintä, jos se ei nopeuta ajoa. Nopeutuminen riippuu sovelluksesta mutta myös syötteestä. Tässä harjoituksessa käytämme CP2K:ta, joka voi käyttää tuhansia ytimiä tietyissä työtyypeissä ja mallijärjestelmissä (mutta ei tässä tapauksessa). Siksi on tärkeää testata skaalautuvuus jokaiselle eri työtyypille (tai mallijärjestelmätyypille). Tarkoitus ei ole ajaa tuotantosimulaatioita, vaan nopeita lyhyitä simulaatioita (i.e. käyttäen varsinaista tuotantojärjestelmää) mutta vain noin 1–5 minuutin ajan, mikä riittää paljastamaan suorituskyvyn.
a) Valmistele CP2k-ajo¶
Kopioi ensin syötetiedosto työhakemistoosi:
Luo sitten eräajoskripti ja lähetä se komennolla sbatch
Tip
Muista tarkistaa CSC:n ohjelmistosivuilta sovelluskohtaiset esimerkit eräajoille:
Ensimmäistä ajoa varten pyydä vähimmäisresurssit (kopioi loput eräajoskriptin sisällöstä CSC:n CP2k-sivulta):
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=1
# submit the job
srun cp2k.popt H2O-32.inp > H2O-32_$SLURM_NPROCS.out
b) Suorita sama työ kasvavilla resursseilla ja kirjaa suorituskyky¶
Kun olet ajanut työn yhdellä ytimellä, muokkaa eräajoskriptiä käyttämään enemmän
ytimiä/MPI-tehtäviä (e.g. 2,4,8,16, ... tämä on --ntasks- tai --ntasks-per-node-valitsin)
ja aja työ uudelleen.
Tulostetiedostot nimetään käytettyjen ytimien määrällä
($SLURM_NPROCS). Pienen osion sijaan voit
käyttää myös test-osiota. Roihussa yhdessä solmussa on käytettävissä 384 ydintä.
Sitä suurempien töiden täytyy vaihtaa large-osioon. Monisolmutöissä rajoita aina
solmujen määrää, jotta työ ei jakaudu
useammalle solmulle kuin on tarpeen, sillä se
aiheuttaa ei-toivottua viestintäylikuormaa ja pirstoo järjestelmän allokaatioita.
Seuraavalla komennolla voit summata eri vaiheisiin kuluneen ajan jokaiselle työlle.
grep "CPU TIME" H2O-32_1.out | awk '{a+=$5;print a}'
Tarkista komennolla seff JOBID, kuinka paljon muistia simulaatio käytti (vertaa
komentojen sacct ja seff tulosteita!) ja täytä tiedot seuraavaan
taulukkoon. Jos koodisi ei tulosta suorituskykyä tai käytettyä
aikaa, voit käyttää komentoa sacct (sacct -j <JOBID> -o
elapsed,alloc,maxrss)
Nyrkkisääntönä hyväksyttävälle skaalautuvuudelle on, että kun resurssit kaksinkertaistetaan, työn pitäisi nopeutua vähintään 1,5-kertaisesti. Ihannetapauksessa nopeutuminen olisi lineaarista resurssien suhteen eli 2-kertaista, joten usein on parempi ajaa monta pienempää simulaatiota samaan aikaan kuin muutama hyvin monella ytimellä – jos sinulla on tämä mahdollisuus.
Nopeutuminen joillakin ydinmäärillä voi poiketa trendistä. Vaihtelua voi esiintyä järjestelmän kuormituksen vuoksi tai siksi, että koodi/järjestelmä ei rinnakkaistu hyvin tai pysty jakamaan laskentakuormaa kyseiselle ydinmäärälle. Joskus uudelleensuoritus auttaa tunnistamaan poikkeavan tuloksen. Jos tiedät, että koodi rinnakkaistuu hyvin, ei ole järkeä aloittaa testausta yhdestä ytimestä, vaan siitä kohdasta, jossa uskot koodin toimivan hyvin. Huomaat huonon nopeutumisen joka tapauksessa.
| # cores | Time [s] (Elapsed) | Speedup | Ideal speedup | Memory used |
|---|---|---|---|---|
c) Skaalaustestin tulokset¶
- Kuinka montaa ydintä voit käyttää tehokkaasti? (eli kuinka pitkälle työ skaalautuu)
- Miten tarvittava muisti riippuu ytimien määrästä?
- Miksi
sacct:n raportoimat kuluneet ajat eroavat hieman "CPU TIME" -rivien summasta? - Ovatko kaikki solmut samanlaisia? Pitäisikö meidän rajoittaa, mitä resursseja SLURM saa antaa meille?
- Jos haluamme ajaa eri cp2k-järjestelmän, täytyykö skaalaustesti tehdä uudelleen?