CSC:n superlaskennan käytön aloittaminen

Olet luonut käyttäjätunnuksen ja ensimmäisen CSC-projektin, ja olet nyt valmis skaalaamaan laskentaasi! Tämä sivu tarjoaa ohjeita CSC:n HPC-resurssien käytön aloittamiseen.

Uusille käyttäjille suositellaan CSC Computing Environment -kurssin suorittamista, sillä se tarjoaa perusteellisen johdatuksen CSC:n palveluihin. Seuraava opetuskerta löytyy CSC:n koulutuskalenterista. Myös itseopiskelutoteutus on saatavilla. Lisäksi kurssimateriaalit ovat käytettävissä ilman ilmoittautumista, ja ne ovat erittäin hyödyllisiä myös sellaisenaan.

Yleisempään HPC:n johdantoon suosittelemme Elements of Supercomputing -verkkokurssia.

Tarvitsetko tukea?

Älä epäröi ottaa yhteyttä CSC:n asiakastukeen, jos sinulla on kysyttävää CSC:n palveluiden käytöstä. Autamme mielellämme!

Mitä järjestelmää minun pitäisi käyttää?

Roihu

Uusille käyttäjille suositellaan työn aloittamista Roihu-supertietokoneella. Roihu on CSC:n uuden sukupolven supertietokone, joka tarjoaa parempaa suorituskykyä ja laajempia ominaisuuksia.

Roihussa on kaksi erillistä osiota, Roihu-CPU ja Roihu-GPU, pelkästään CPU:ta käyttäville ja GPU-työkuormille. Näillä kahdella osiolla on erilliset kirjautumissolmut ja ohjelmistopinot.

Jos CSC:n superlaskenta on sinulle uutta, suosittelemme aloittamaan CSC Computing Environment -itseopiskelukurssilla. Se tarjoaa johdatuksen CSC:n laskentapalveluihin ja HPC-ympäristössä työskentelyn perusteisiin. Myös kurssimateriaalit ovat saatavilla ilman rekisteröitymistä.

Jos CSC:n supertietokoneet ovat sinulle jo tuttuja ja haluat aloittaa työskentelyn Roihussa, voit siirtyä suoraan oppaaseen Roihun käytön aloittaminen.

LUMI

LUMI-supertietokone on yksi maailman nopeimmista. Se on tarkoitettu ensisijaisesti sellaisten laskentojen ajamiseen, jotka hyötyvät sen LUMI-G-laitteisto-osiossa olevasta suuresta määrästä tehokkaita GPU:ita. Siinä missä Roihun GPU:t ovat Nvidian valmistamia, LUMIn GPU:t ovat AMD:n valmistamia, joten varmista, että GPU-sovelluksesi pystyvät toimimaan AMD:n GPU:illa. LUMIlla on omat dokumentaatiosivunsa.

Superlaskennasta

CSC:n supertietokoneet tarjoavat resursseja, jotka oikein käytettyinä ylittävät selvästi sen, mihin kehittyneimmät kuluttajalaitteet pystyvät. Et kuitenkaan ole niiden ainoa käyttäjä. Omalla työasemallasi sinulla on periaatteessa välitön pääsy resursseihin. Supertietokoneella, joka on jaettu järjestelmä, sinun täytyy yleensä jonottaa niitä, koska niiden kysyntä on usein tarjontaa suurempaa. Katso lisätietoja käyttöehdoistamme.

On myös hyvä pitää mielessä, että laskentojen ajaminen supertietokoneella parantaa suorituskykyä vain, jos hyödynnät sen vahvuuksia. Supertietokoneet ovat tehokkaita, koska ne mahdollistavat rinnakkaislaskennan. Jos koodiasi ei ole kirjoitettu hyödyntämään useita CPU-ytimiä tai yhtä tai useampaa GPU:ta, siitä ei välttämättä ole hyötyä verrattuna ajamiseen omalla työasemallasi. Toisaalta suuri muisti- ja/tai tallennustilan tarve sekä esiasennettujen ohjelmistojen ja lisenssien saatavuus ovat muita tekijöitä, jotka voivat tehdä CSC:n supertietokoneiden käytöstä sinulle houkuttelevaa.

Miten CSC:n supertietokoneita käytetään?

Selainkäyttöliittymä

Sekä Roihulla että LUMIlla on omat selainkäyttöliittymänsä, joiden avulla voit käyttää supertietokonetta verkkoselaimen kautta. Selainkäyttöliittymä on hyvä valinta interaktiiviseen laskentaan, kuten datan analysointiin, tutkimiseen ja visualisointiin. Tätä varten selainkäyttöliittymässä on useita interaktiivisia sovelluksia, kuten Visual Studio Code, Jupyter ja RStudio. Lisäksi se tarjoaa työpöytäympäristön, jossa on graafisia käyttöliittymiä (GUI) käyttäviä ohjelmistoja, sekä kiihdytetyn visualisointisovelluksen GPU-kiihdytettyyn visualisointiin ja renderöintiin. Vaativaan laskentaan, kuten täysimittaisten simulaatioiden ajamiseen tai neuroverkkojen kouluttamiseen, sinun kannattaa käyttää komentorivikäyttöliittymää, koska sen avulla saat käyttöösi enemmän resursseja ja voit ajastaa työsi.

Komentorivikäyttöliittymä

Vaikka monet selainkäyttöliittymän interaktiiviset sovellukset, kuten Jupyter ja RStudio, ovat helppokäyttöisiä ja siksi hyvä lähtökohta CSC:n supertietokoneiden käyttöön, niiden laskentakapasiteetti rajoittuu verrattain kevyeen interaktiiviseen käyttöön. Jos tarvitset enemmän resursseja (esim. useita CPU-solmuja tai GPU:ita) tai jos työsi vaatii tehokkuutta interaktiivisuuden sijaan, on hyvä siirtyä käyttämään tekstipohjaista komentorivikäyttöliittymää, jotta voit käyttää suoraan supertietokoneen Linux-käyttöjärjestelmää. Vaikka tämä työskentelytapa saattaa vaikuttaa vanhanaikaiselta, se on todella tehokas, kun siihen tottuu.

CLI:n avulla voit lähettää laskentasi eräajoina Slurm-työnhallintajärjestelmään, joka ajaa ne heti, kun pyydetyt resurssit ovat saatavilla. Tärkeää on, että eräajojärjestelmä varmistaa, että työsi ajetaan laskentasolmuilla eikä kirjautumissolmuilla, joita ei ole tarkoitettu raskaaseen laskentaan. Toinen eräajojen etu on se, että laskentojen ajaminen ei edellytä sitä, että olisit sidottu työasemaasi. Vaikka tämän automaation käyttöönotto voi vaatia sinulta hieman enemmän suunnittelua, pitkällä aikavälillä se tekee työstäsi tehokkaampaa ja myös paremmin toistettavaa sekä sinulle itsellesi että muille osapuolille, kuten arvioijille ja yhteistyökumppaneille.

Voit käyttää komentorivikäyttöliittymää joko käyttämällä selainkäyttöliittymien komentotulkkisovelluksia tai käyttämällä SSH-asiakasohjelmaa omalla työasemallasi.

Yhdistäminen SSH:lla

Huomaa, että CSC:n supertietokoneisiin yhdistäminen komentoriviltä SSH-asiakasohjelmalla edellyttää, että määrität ensin SSH-avaimet ja lisäät julkisen avaimesi MyCSC-asiakasportaaliin. SSH-avainten käyttö ja MyCSC:n hyödyntäminen julkisen avaimesi lisäämisessä supertietokoneelle on paljon turvallisempi tunnistautumistapa kuin perinteiset salasanat tai käsin hallitut SSH-avaimet.

Roihu edellyttää lisäksi, että allekirjoitat julkisen avaimesi MyCSC:ssä saadaksesi SSH-varmenteen, joka on voimassa 24 tuntia. Lue, miten julkinen avaimesi allekirjoitetaan.

Lue yksityiskohtaiset ohjeet SSH-avainten käyttöönotosta ja käytöstä.

Miten ohjelmistojen ja datan kanssa työskennellään?

Ohjelmistot

CSC:n supertietokoneilla on saatavilla monenlaisia hyödyllisiä tieteellisen laskennan ohjelmistoja. Ohjelmistojen saatavuus vaihtelee järjestelmien sekä Roihu-CPU- ja Roihu-GPU-osioiden välillä, joten tarkista sovellussivut ja moduulien saatavuus siinä järjestelmässä, jota aiot käyttää.

Sekä Roihu että LUMI käyttävät ympäristömoduuleja ohjelmistoympäristöjen hallintaan. Nämä moduulit kattavat kaiken kääntäjistä ja ohjelmointikielistä työvuo-apuohjelmiin, kuten Nextflow ja Snakemake. Useimpien asennettujen ohjelmistojen tehokas käyttö edellyttää komentorivikäyttöliittymän käyttöä, joten Linux-käyttöjärjestelmän perusteiden hallinta on erittäin hyödyllistä.

Vaikka esiasennetut ohjelmistot kattavat laajan kirjon käyttötapauksia, on myös mahdollista asentaa omia sovelluksia CSC:n supertietokoneille. Prosessi eroaa usein omalla tietokoneella tehtävistä asennuksista, joten tutustu huolellisesti asennusohjeisiimme. HPC-sovellusten kääntämistä varten meillä on saatavilla erilaisia kääntäjiä, tehokkaita kirjastoja ja muita apuohjelmia tämän helpottamiseksi. Huomaa, että jotkin asennukset, kuten monimutkaiset Python-ympäristöt, hyötyvät kontittamisesta.

Voit myös haluta kehittää omia skriptejäsi ja ohjelmiasi olemassa olevien ohjelmistojen käytön sijaan. Tehokkainta on aloittaa koodin kirjoittaminen ja testaaminen omalla laitteellasi, koska sen ajaminen jaetussa järjestelmässä (jollaisia supertietokoneet ovat) tuo väistämättä jonkin verran lisäkuormaa. Skriptien ajaminen supertietokoneella kannattaa aloittaa vasta, kun olet valmis testaamaan niitä suuremmassa mittakaavassa tai käyttämään erityisiä resursseja, kuten GPU:ita.

Saatavuuden tarkistaminen

Jos sinulla on mielessäsi jokin tieteellinen ohjelmisto, on varsin todennäköistä, että se on asennettuna Roihuun. Docs CSC:n selaamisen lisäksi voit etsiä ohjelmistoja komentoriviltä komennolla module spider <search-pattern>. Useimmiten ohjelmistomoduulin nimi on yksinkertaisesti itse ohjelmiston nimi, ja vaikka hakuehtosi ei vastaisi moduulin nimeä täsmälleen, haku ei erottele kirjainkokoa ja tukee osittaisia osumia.

Datan tallennus

Roihu tarjoaa erillisiä levyalueita eri datan tallennustarkoituksiin. Projektipohjainen jaettu tallennustila löytyy polusta /scratch/<project>. Tämä kansio on jaettu projektin kaikkien käyttäjien kesken, ja sen oletuskiintiö Roihussa on 250 Gt.

Huomaa, että scratch-levyä ei ole tarkoitettu datan pitkäaikaiseen säilytykseen, ja Roihussa tiedostot, joita ei ole käytetty 180 päivään, poistetaan automaattisesti. Suosittelemme Allas-objektitallennuspalvelua sellaisen tutkimusdatan säilyttämiseen, jota ei aktiivisesti käytetä supertietokoneilla. Katso lisätietoja ohjeista datan hallintaan supertietokoneiden scratch-levyillä. Huomaa myös, että sensitiivinen data ei saa käsitellä eikä tallentaa CSC:n supertietokoneilla. Tätä tarkoitusta varten meillä on erilliset sensitiivisen datan palvelut.

CSC:n supertietokoneilla on myös pysyvä projektipohjainen tallennustila, jonka oletuskiintiö Roihussa on 15 Gt. Se sijaitsee polussa
/projappl/<project> ja sitä suositellaan esimerkiksi omien ohjelmistoasennusten säilyttämiseen. Lisäksi jokainen käyttäjä voi tallentaa enintään 15 Gt dataa henkilökohtaiseen kotihakemistoonsa ($HOME).

Jos tarvitset useiden projektien kesken jaettavia aineistoja, voit hakea Roihuun erillistä dataset project -projektia. Tällöin saat käyttöösi dataset-hakemiston polussa /dataset/<project>, joka on projektikohtainen tallennusalue datan jakamiseen järjestelmän useiden laskentaprojektien välillä.

Katso lisätiedot aineistoprojekteista ja dataset-levyalueesta.

Datan siirtäminen supertietokoneen ja paikallisen työaseman välillä on helppoa käyttämällä selainkäyttöliittymän tiedostoselainta tai komentorivin tiedostonsiirtotyökaluja, kuten scp ja rsync. Voit myös käyttää Linuxin wget-apuohjelmaa datan lataamiseen supertietokoneelle suoraan verkkosivustolta tai FTP-palvelimelta.

CSC ei varmuuskopioi dataasi!

Mitään levyalueista ei varmuuskopioida automaattisesti CSC:n toimesta. Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Välttääksesi tahattoman datan menetyksen varmista, että varmuuskopioit datasi säännöllisesti esimerkiksi Altaaseen tai oman organisaatiosi tallennusjärjestelmiin.

Hyödyllisiä linkkejä

Voit käyttää navigoinnin sivupalkkia tai hakutoimintoa löytääksesi lisää tietoa CSC:n HPC-palveluiden käytöstä. Olemme koonneet tähän linkkejä sivuille, joiden uskomme olevan erityisen hyödyllisiä CSC:n superlaskennan käytön aloittamisessa.