Käyttöehdot
Kirjautumissolmut
Kun kirjaudut CSC:n supertietokoneille, päädyt yhdelle klusterin kirjautumissolmuista. Nämä kirjautumissolmut ovat kaikkien käyttäjien yhteisiä, eikä niitä ole tarkoitettu raskaaseen laskentaan.
Kirjautumissolmuja tulee käyttää vain seuraaviin tarkoituksiin:
- kääntäminen
- eräajojen hallinta
- datan siirtäminen
- kevyt esi- ja jälkikäsittely
Tässä kevyt tarkoittaa yhden ytimen ajoja, jotka valmistuvat minuuteissa ja vaativat enintään alle 1 GiB muistia. Kaikki muut tehtävät tulee suorittaa laskentasolmuissa joko tavallisina eräajoina tai vuorovaikutteisina eräajoina. Ohjelmat, jotka eivät noudata näitä sääntöjä, lopetetaan ilman varoitusta.
Tärkeää
Kirjautumissolmuja ei ole tarkoitettu pitkäkestoisille tai raskaille prosesseille.
Levyn siivous
Jokaisella projektilla on levytilaa hakemistossa /scratch/<project>. Tämä nopea
rinnakkainen scratch-tila on tarkoitettu aktiivisessa käytössä olevalle datalle.
Jotta rinnakkainen levyjärjestelmä ei täyttyisi ja suorituskyky pysyisi
hyväksyttävänä,
CSC poistaa automaattisesti tiedostoja Puhdin scratchista,
joita ei ole käytetty pitkään aikaan. Rinnakkaisen tiedostojärjestelmän
suorituskyky alkaa heikentyä, kun se täyttyy, ja mitä täydempi se on, sitä
hitaammaksi suorituskyky muuttuu.
Tätä siivousta tehdään säännöllisesti, ja käyttäjille ilmoitetaan siitä joka kerta vähintään 1 kuukausi etukäteen. CSC tarjoaa myös listat tiedostoista, jotka ollaan poistamassa, sekä ohjeet siihen, miten tärkeät tiedostot voidaan siirtää sopivampiin levyjärjestelmiin.
Siivous on tiukempaa projekteille, joilla on suuremmat kiintiöt:
- Projekteissa, joiden scratch-kiintiö on vähintään 5 TiB, poistetaan tiedostot, joita ei ole käytetty (avattu, luettu, muokattu) viimeisten 90 päivän aikana.
- Muissa projekteissa, joilla on pienempi scratch-kiintiö, poistetaan tiedostot, joita ei ole käytetty (avattu, luettu, muokattu) viimeisten 180 päivän aikana.
Voit käyttää komentoa csc-workspaces nähdäksesi, minkä siivousjakson piirissä
projektisi ovat.
Mahti: Vastaava käytäntö otetaan käyttöön Mahdissa, jos levyn käyttö kasvaa riittävästi, jotta se on tarpeen. Käytäntönä on edelleen, että käyttäjien tulee säilyttää scratchissa vain aktiivisesti käytössä olevaa dataa.
GPU-solmut
Puhdin ja Mahdin GPU-resursseja tulisi käyttää vain työkuormille, jotka
hyötyvät merkittävästi GPU-kapasiteetista verrattuna CPU:iden käyttöön tai joita
ei voida ajaa CPU:illa. Erityisesti AI/ML-työkuormat ovat etusijalla, koska
monia niistä ei voida tehdä lainkaan CPU:illa. Hyvä nyrkkisääntö on verrata
ajon laskutusyksiköiden (BUs) käyttöä (esim. komennolla
seff tai
Laskutusyksikkölaskurilla)
GPU:illa ja CPU:illa ja valita vaihtoehto, joka käyttää vähemmän. Yksi CPU-BU ja
yksi GPU-BU ovat kustannuksiltaan samanarvoisia.
Puhdissa ja Mahdissa tämä tarkoittaa, että täysi CPU-ytimiä sisältävä solmu vastaa suunnilleen yhtä GPU:ta. Koska Puhdissa ja Mahdissa on kuitenkin enemmän CPU-kapasiteettia kuin GPU-kapasiteettia, CPU-resursseille voi päästä lyhyemmällä jonotusajalla. Huomaa, että LUMIssa on paljon GPU-kapasiteettia, joka on myös BU-mittarilla mitattuna "edullisempaa", ja LUMIssa GPU:ita kannattaa käyttää tutkimuksessa aina kun mahdollista. Joka tapauksessa varmista aina, että käytät resursseja tehokkaasti.
Conda-asennukset
Conda-pohjaisten ympäristöjen rinnakkaisissa tiedostojärjestelmissä aiheuttamien suorituskykyongelmien vuoksi CSC on poistanut käytöstä Conda-asennusten suoran käytön. Tämä tarkoittaa, että kaikki Conda-ympäristöt, joita aiot käyttää, on asennettava kontin sisään. Katso lisätietoja kohdasta Condan parhaat käytännöt.
Tykky
Harkitse Tykky-konttikäärettä, jolla Conda- ja pip-ympäristöjen kontitus onnistuu helposti.
Laskutusyksiköiden loppuminen
Kun projektilta loppuvat laskutusyksiköt (BUs), palvelun käyttöä rajoitetaan kolmessa vaiheessa. Jos käytät projektia edelleen aktiivisesti, voit poistaa rajoitukset hakemalla lisää laskutusyksiköitä.
Ensimmäisessä vaiheessa uusien ajotöiden lähettämistä rajoitetaan:
- Jos Storage-BU:t loppuvat, uusia ajoja ei voi lähettää mihinkään partitioon
- Jos CPU-BU:t loppuvat, uusia ajoja ei voi lähettää CPU-partitioihin
- Jos GPU-BU:t loppuvat, uusia ajoja ei voi lähettää GPU-partitioihin
Toisin sanoen CPU- tai GPU-BU:iden loppuminen vaikuttaa vain vastaavaan partitiotyyppiin, kun taas Storage-BU:t vaikuttavat kaikkiin. Käynnissä olevia ajoja ei keskeytetä, vaan ne suoritetaan loppuun tai aikakatkaisuun asti.
Toisessa vaiheessa datan käyttöä rajoitetaan. Kun Storage-BU:t loppuvat,
alkaa 30 päivän siirtymäaika, jonka jälkeen pääsy hakemistoihin /projappl
ja /scratch estetään. Dataa ei poisteta, vaan ainoastaan pääsy siihen
estetään. Dataa kuitenkin poistetaan edelleen hakemistosta /scratch
tavallisen siivousprosessin aikana. Huomaa, että CPU- tai
GPU-BU:iden negatiivinen saldo ei käynnistä tätä vaihetta, vaan ainoastaan
negatiivinen Storage-BU-saldo.
Jos et käytä projektia aktiivisesti, suosittelemme siirtämään kaiken edelleen tarvitsemasi datan 30 päivän siirtymäajan kuluessa ja sen jälkeen sulkemaan projektin MyCSC:ssä.
Kolmannessa vaiheessa projekti suljetaan 60 päivän siirtymäajan jälkeen, jos minkä tahansa tyyppiset BU:t ovat loppuneet. Jos projektilla on edelleen minkä tahansa tyyppisiä laskutusyksiköitä negatiivinen määrä 60 päivän jälkeen, se suljetaan.
Slurm-ajojen hallinta CSC:llä
- CSC ei muuta ajon parametreja, kuten kestoa tai prioriteettia.
- CSC voi lopettaa ajoja, jos niissä käytetään resursseja väärin. Esimerkiksi jos resursseja (CPU-ytimiä, GPU:ita, muistia) käytetään huomattavan vähän tai IO kuormittaa tallennusjärjestelmää liikaa.