Hyppää sisältöön

CSC:n superlaskennan käytön aloittaminen

Olet luonut käyttäjätunnuksen ja ensimmäisen CSC-projektisi, ja olet nyt valmis skaalaamaan laskentaasi! Tämä sivu tarjoaa ohjeita CSC:n HPC-resurssien käytön aloittamiseen.

Uusille käyttäjille suositellaan CSC Computing Environment -kurssin suorittamista, sillä se tarjoaa perusteellisen johdatuksen CSC:n palveluihin. Seuraava live-opetuskerta löytyy CSC:n koulutuskalenterista. Saatavilla on myös itseopiskelutoteutus. Myös kurssimateriaalit ovat saatavilla ilman ilmoittautumista, ja ne ovat erittäin hyödyllisiä sellaisenaankin.

Yleisemmäksi johdatukseksi HPC:hen suosittelemme Elements of Supercomputing -verkkokurssia.

Tarvitsetko tukea?

Älä epäröi ottaa yhteyttä CSC:n asiakastukeen, jos sinulla on kysyttävää CSC:n palveluiden käytöstä. Autamme mielellämme!

Mitä järjestelmää minun pitäisi käyttää?

Roihu

Uusille käyttäjille suositellaan työn aloittamista Roihu-supertietokoneella. Roihu on CSC:n seuraavan sukupolven supertietokone, joka tarjoaa parempaa suorituskykyä ja laajempia ominaisuuksia.

Roihussa on kaksi erillistä osiota, Roihu-CPU ja Roihu-GPU, pelkästään CPU:ta käyttäville ja GPU-työkuormille. Näillä kahdella osiolla on erilliset kirjautumissolmut ja ohjelmistopinot.

Jos CSC:n superlaskenta on sinulle uutta, suosittelemme aloittamaan CSC Computing Environment -itseopiskelukurssilla. Se tarjoaa johdatuksen CSC:n laskentapalveluihin ja HPC-ympäristössä työskentelyn perusteisiin. Myös kurssimateriaalit ovat saatavilla ilman rekisteröitymistä.

Jos tunnet CSC:n supertietokoneet jo ennestään ja haluat aloittaa työskentelyn Roihussa, voit siirtyä suoraan oppaaseen Roihun käytön aloittaminen.

LUMI

LUMI-supertietokone on yksi maailman nopeimmista. Se on tarkoitettu ensisijaisesti sellaisten laskentojen ajamiseen, jotka hyötyvät sen LUMI-G-laitteisto-osiossa olevasta suuresta määrästä korkean suorituskyvyn GPU:ita. Siinä missä Roihun GPU:t ovat Nvidian valmistamia, LUMIn GPU:t ovat AMD:n valmistamia, joten varmista, että GPU-sovelluksesi pystyvät toimimaan AMD:n GPU:illa. LUMIlla on omat dokumentaatiosivunsa.

Superlaskennasta

CSC:n supertietokoneet tarjoavat resursseja, jotka oikein käytettyinä ylittävät selvästi sen, mihin kehittyneimmät kuluttajalaitteet pystyvät. Et kuitenkaan ole niiden ainoa käyttäjä. Omalla työasemallasi sinulla on periaatteessa välitön pääsy resursseihin. Supertietokoneella, joka on jaettu järjestelmä, sinun täytyy yleensä jonottaa niitä, koska niiden kysyntä on yleensä tarjontaa suurempaa. Katso lisätietoja käyttöehdoistamme.

On myös hyvä pitää mielessä, että laskentojen ajaminen supertietokoneella parantaa suorituskykyä vain, jos hyödynnät sen vahvuuksia. Supertietokoneet ovat tehokkaita, koska ne mahdollistavat rinnakkaislaskennan. Jos koodiasi ei ole kirjoitettu hyödyntämään useita CPU-ytimiä tai yhtä tai useampaa GPU:ta, siitä ei välttämättä ole hyötyä verrattuna sen ajamiseen omalla työasemallasi. Suuri muistin ja/tai tallennustilan tarve sekä esiasennettujen ohjelmistojen ja lisenssien saatavuus ovat kuitenkin muita tekijöitä, jotka voivat tehdä CSC:n supertietokoneiden käytöstä sinulle houkuttelevaa.

Miten CSC:n supertietokoneita käytetään?

Selainkäyttöliittymä

Sekä Roihulla että LUMIlla on omat selainkäyttöliittymänsä, joiden avulla voit käyttää supertietokonetta verkkoselaimen kautta. Selainkäyttöliittymä on hyvä valinta interaktiiviseen laskentaan, kuten datan analysointiin, tutkimiseen ja visualisointiin. Tätä varten selainkäyttöliittymässä on useita interaktiivisia sovelluksia, kuten Visual Studio Code, Jupyter ja RStudio. Lisäksi se tarjoaa työpöytäympäristön, jossa on graafisia käyttöliittymiä (GUI) käyttäviä ohjelmistoja, sekä kiihdytetyn visualisointisovelluksen GPU-kiihdytettyyn visualisointiin ja renderöintiin. Vaativaan laskentaan, kuten täysimittaisten simulaatioiden ajamiseen tai neuroverkkojen kouluttamiseen, sinun kannattaa käyttää komentorivikäyttöliittymää, koska sen avulla voit käyttää enemmän resursseja ja ajastaa työsi.

Komentorivikäyttöliittymä

Vaikka monet selainkäyttöliittymän interaktiivisista sovelluksista, kuten Jupyter ja RStudio, ovat helppokäyttöisiä ja siten hyvä lähtökohta CSC:n supertietokoneiden käyttöön, niiden laskentakapasiteetti rajoittuu verrattain vähäresurssiseen interaktiiviseen käyttöön. Jos tarvitset enemmän resursseja käyttöösi (esim. useita CPU-solmuja tai GPU:ita) tai jos työsi edellyttää tehokkuutta interaktiivisuuden sijaan, on hyvä siirtyä käyttämään tekstipohjaista komentorivikäyttöliittymää, jotta voit olla suoraan vuorovaikutuksessa supertietokoneen Linux-käyttöjärjestelmän kanssa. Vaikka tämä työskentelytapa saattaa vaikuttaa vanhahtavalta, se on todella tehokas, kun siihen tottuu.

CLI:n avulla voit lähettää laskentasi eräajoina Slurm-työnajastimeen, joka suorittaa ne heti, kun pyydetyt resurssit ovat saatavilla. Tärkeää on, että eräajojärjestelmä varmistaa, että työsi ajetaan laskentasolmuilla eikä kirjautumissolmuilla, joita ei ole tarkoitettu raskaaseen laskentaan. Toinen eräajojen etu on se, että laskentojen suorittaminen ei edellytä sidonnaisuutta omaan työasemaasi. Vaikka tämän automaation käyttöönotto voi vaatia sinulta hieman enemmän suunnittelua, pitkällä aikavälillä se tekee työstäsi tehokkaampaa ja paremmin toistettavaa sekä sinulle itsellesi että muille osapuolille, kuten arvioijille ja yhteistyökumppaneille.

Voit käyttää komentorivikäyttöliittymää joko käyttämällä selainkäyttöliittymien shell-sovelluksia tai käyttämällä SSH-asiakasohjelmaa omalla työasemallasi.

Yhdistäminen SSH:lla

Huomaa, että CSC:n supertietokoneisiin yhdistäminen komentoriviltä SSH-asiakasohjelmalla edellyttää, että määrität ensin SSH-avaimet ja lisäät julkisen avaimesi MyCSC-asiakasportaaliin. SSH-avainten käyttö ja MyCSC:n hyödyntäminen julkisen avaimesi lisäämisessä supertietokoneelle on paljon turvallisempi tunnistautumistapa kuin perinteiset salasanat tai manuaalisesti hallitut SSH-avaimet.

Roihu edellyttää lisäksi, että allekirjoitat julkisen avaimesi MyCSC:ssä saadaksesi SSH-varmenteen, joka on voimassa 24 tuntia. Lue, miten julkinen avaimesi allekirjoitetaan.

Lue yksityiskohtaiset ohjeet SSH-avainten käyttöönotosta ja käytöstä.

Miten ohjelmistojen ja datan kanssa työskennellään?

Ohjelmistot

CSC:n supertietokoneilla on saatavilla monenlaisia hyödyllisiä tieteellisen laskennan ohjelmistoja. Ohjelmistojen saatavuus vaihtelee järjestelmien sekä Roihu-CPU- ja Roihu-GPU-osioiden välillä, joten tarkista sovellussivut ja moduulien saatavuus siinä järjestelmässä, jota aiot käyttää.

Sekä Roihu että LUMI käyttävät ympäristömoduuleja ohjelmistoympäristöjen hallintaan. Nämä moduulit kattavat kaiken kääntäjistä ja ohjelmointikielistä työvuo-apuohjelmiin, kuten Nextflow ja Snakemake. Useimpien asennettujen ohjelmistojen tehokas käyttö edellyttää komentorivikäyttöliittymän käyttöä, joten Linux-käyttöjärjestelmän perusteiden toimiva hallinta on erittäin hyödyllistä.

Vaikka esiasennetut ohjelmistot kattavat laajan kirjon käyttötapauksia, on myös mahdollista asentaa omia sovelluksia CSC:n supertietokoneille. Prosessi poikkeaa usein omalle tietokoneelle tehtävistä asennuksista, joten tutustu huolellisesti asennusohjeisiimme. HPC-sovellusten kääntämistä varten meillä on saatavilla erilaisia kääntäjiä, korkean suorituskyvyn kirjastoja ja muita apuohjelmia tämän helpottamiseksi. Huomaa, että jotkin asennukset, kuten monimutkaiset Python-ympäristöt, hyötyvät kontittamisesta.

Voit myös haluta kehittää omia skriptejäsi ja ohjelmiasi olemassa olevien ohjelmistojen käytön sijaan. Tehokkainta on aloittaa koodin kirjoittaminen ja testaaminen omalla laitteellasi, koska sen ajaminen jaetussa järjestelmässä (jollaisia supertietokoneet ovat) aiheuttaa väistämättä jonkin verran ylimääräistä kuormaa. Skriptien ajaminen supertietokoneella kannattaa aloittaa vasta, kun olet valmis testaamaan niitä suuremmassa mittakaavassa tai käyttämään erityisresursseja, kuten GPU:ita.

Saatavuuden tarkistaminen

Jos sinulla on mielessäsi jokin tieteellinen ohjelmisto, on varsin todennäköistä, että se on asennettuna Roihuun. Docs CSC:n selaamisen lisäksi voit etsiä ohjelmistoja komentoriviltä komennolla module spider <search-pattern>. Useimmiten ohjelmistomoduulin nimi on yksinkertaisesti itse ohjelmiston nimi, ja vaikka hakuehtosi ei vastaisikaan moduulin nimeä täsmälleen, haku ei erottele kirjainkokoa ja tukee osittaisia osumia.

Datan tallennus

Roihu tarjoaa erillisiä levyalueita eri datan tallennustarkoituksiin. Projektipohjainen jaettu tallennustila löytyy polusta /scratch/<project>. Tämä kansio on jaettu projektin kaikkien käyttäjien kesken, ja sen oletuskiintiö Roihussa on 250 GB.

Huomaa, että scratch-levyä ei ole tarkoitettu datan pitkäaikaiseen säilytykseen ja Roihussa tiedostot, joita ei ole käytetty 180 päivään, poistetaan automaattisesti. Suosittelemme Allas-objektitallennuspalvelua sellaisen tutkimusdatan säilyttämiseen, jota ei aktiivisesti käytetä supertietokoneilla. Katso ohjeet datan hallintaan supertietokoneiden scratch-levyillä saadaksesi lisätietoja. Huomaa myös, että sensitiivinen data ei saa olla käsiteltävänä tai tallennettuna CSC:n supertietokoneilla. Tätä tarkoitusta varten meillä on erilliset sensitiivisen datan palvelut.

CSC:n supertietokoneilla on myös pysyvä projektipohjainen tallennustila, jonka oletuskiintiö Roihussa on 15 GB. Se sijaitsee polussa
/projappl/<project>, ja sitä suositellaan esimerkiksi omien ohjelmistoasennusten käyttöön. Lisäksi jokainen käyttäjä voi tallentaa enintään 15 GB dataa henkilökohtaiseen kotihakemistoonsa ($HOME).

Jos tarvitset useiden projektien kesken jaettavia aineistoja, voit hakea Roihuun erillistä aineistoprojektia. Tällöin saat käyttöösi dataset-hakemiston polussa /dataset/<project>, joka on projektikohtainen tallennusalue ja tarkoitettu datan jakamiseen järjestelmän useiden laskentaprojektien välillä.

Katso lisätiedot aineistoprojekteista ja dataset-levyalueesta.

Datan siirtäminen supertietokoneen ja paikallisen työaseman välillä on helppoa käyttämällä selainkäyttöliittymän tiedostoselainta tai komentorivin tiedostonsiirtotyökaluja, kuten scp ja rsync. Voit myös käyttää Linuxin wget-apuohjelmaa datan lataamiseen suoraan verkkosivustolta tai FTP-palvelimelta supertietokoneelle.

CSC ei varmuuskopioi dataasi!

CSC ei varmuuskopioi mitään levyalueista automaattisesti. Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Tahattoman datan menetyksen välttämiseksi varmista, että varmuuskopioit datasi säännöllisesti esimerkiksi Altaaseen tai oman organisaatiosi tallennusjärjestelmiin.

Voit käyttää navigoinnin sivupalkkia tai hakutoimintoa löytääksesi lisää tietoa CSC:n HPC-palveluiden käytöstä. Olemme koonneet tähän linkkejä sivuille, joiden uskomme olevan erityisen hyödyllisiä CSC:n superlaskennan käytön aloittamisessa.

Onko tämä sivu hyödyllinen?
Kiitos palautteestasi!
Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä .