CSC:n superlaskennan käytön aloittaminen
Olet luonut käyttäjätunnuksen ja ensimmäisen CSC-projektisi, ja olet nyt valmis skaalaamaan laskentaasi! Tämä sivu tarjoaa ohjeita CSC:n HPC-resurssien käytön aloittamiseen.
Uusille käyttäjille suositellaan CSC Computing Environment -kurssin suorittamista, sillä se tarjoaa perusteellisen johdatuksen CSC:n palveluihin. Seuraava live-opetuskerta löytyy CSC:n koulutuskalenterista. Saatavilla on myös itseopiskelutoteutus. Kurssimateriaalit ovat saatavilla ilman ilmoittautumista, ja ne ovat erittäin hyödyllisiä myös sellaisenaan.
Yleisemmäksi johdatukseksi HPC:hen suosittelemme Elements of Supercomputing -verkkokurssia.
Tarvitsetko tukea?
Älä epäröi ottaa yhteyttä CSC:n asiakastukeen, jos sinulla on kysyttävää CSC:n palveluiden käytöstä. Autamme mielellämme!
Mitä järjestelmää minun pitäisi käyttää?
Puhti
Uusille käyttäjille suositellaan työn aloittamista Puhti-supertietokoneella. Mahtiin verrattuna siinä on paljon enemmän valmiiksi asennettuja ohjelmistoja, enemmän GPU-solmuja ja tyypillisesti enemmän käytettävissä olevaa muistia CPU-ydintä kohden. Lisäksi Puhdin GPU-solmuissa ja joissakin CPU-solmuissa on nopea paikallinen NVMe-tallennustila.
Mahti
Jos tiedät, että laskentasi rinnakkaistuu hyvin, sinun kannattaa harkita sen ajamista Mahti-supertietokoneella. Puhtiin verrattuna Mahdissa on paljon enemmän CPU-solmuja ja ytimiä solmua kohden. Mahti on tarkoitettu pääasiassa laskentaan, joka pystyy hyödyntämään tehokkaasti vähintään kokonaisen CPU-solmun, mutta tarjolla on myös osioita, jotka mahdollistavat ydinpohjaiset allokoinnit pienemmille töille. Kuten Puhdissa, myös Mahdin GPU-solmuissa ja joissakin CPU-solmuissa on nopea paikallinen NVMe-tallennustila.
Lisäksi, vaikka Mahdissa on vähemmän GPU-solmuja kuin Puhdissa, Mahdin A100-GPU:t ovat huomattavasti tehokkaampia kuin Puhdin V100-GPU:t, mikä tekee Mahdista sopivan myös vaativiin koneoppimisen sovelluksiin.
Roihu (tulossa keväällä 2026)
Puhti ja Mahti poistuvat käytöstä vuonna 2026, ja ne korvataan Roihulla, CSC:n seuraavan sukupolven supertietokoneella, joka tarjoaa parempaa suorituskykyä ja laajempia ominaisuuksia.
- Puhdin laskentapalvelut suljetaan kuukauden kuluttua siitä, kun Roihu tulee yleisesti saataville keväällä 2026.
- Puhdin tallennustila on käytettävissä elokuuhun 2026 asti.
- Mahti suljetaan elokuussa 2026.
LUMI
LUMI-supertietokone on yksi maailman nopeimmista. Se on tarkoitettu ensisijaisesti sellaisten laskentojen ajamiseen, jotka hyötyvät sen LUMI-G-laitteisto-osion suuresta määrästä korkean suorituskyvyn GPU:ita. Siinä missä Puhdin ja Mahdin GPU:t ovat Nvidian valmistamia, LUMIn GPU:t ovat AMD:n valmistamia, joten varmista, että GPU-sovelluksesi pystyvät toimimaan AMD:n GPU:illa. LUMIlla on omat dokumentaatiosivunsa.
Superlaskennasta
CSC:n supertietokoneet tarjoavat resursseja, jotka oikein käytettyinä ylittävät selvästi sen, mihin kehittyneimmät kuluttajalaitteet pystyvät. Et kuitenkaan ole niiden ainoa käyttäjä. Omalla työasemallasi sinulla on periaatteessa välitön pääsy resursseihin. Supertietokoneella, joka on jaettu järjestelmä, sinun täytyy yleensä jonottaa niitä, koska niiden kysyntä on yleensä tarjontaa suurempaa. Katso lisätietoja käyttöehdoistamme.
On myös hyvä pitää mielessä, että laskentasi ajaminen supertietokoneella parantaa suorituskykyä vain, jos hyödynnät sen vahvuuksia. Supertietokoneet ovat tehokkaita, koska ne mahdollistavat rinnakkaislaskennan. Jos koodiasi ei ole kirjoitettu hyödyntämään useita CPU-ytimiä tai yhtä tai useampaa GPU:ta, siitä ei välttämättä ole hyötyä verrattuna sen ajamiseen omalla työasemallasi. Suuri muistin ja/tai tallennustilan tarve sekä valmiiksi asennettujen ohjelmistojen ja lisenssien saatavuus ovat kuitenkin muita tekijöitä, jotka voivat tehdä CSC:n supertietokoneiden käytöstä sinulle houkuttelevaa.
Miten CSC:n supertietokoneita käytetään?
Selainkäyttöliittymä
Puhdilla, Mahdilla ja LUMIlla on kullakin oma selainkäyttöliittymänsä, jonka avulla voit käyttää supertietokonetta verkkoselaimen kautta. Selainkäyttöliittymä on hyvä valinta interaktiiviseen laskentaan, kuten datan analysointiin, tutkimiseen ja visualisointiin. Tätä varten selainkäyttöliittymässä on useita interaktiivisia sovelluksia, kuten Visual Studio Code, Jupyter ja RStudio. Lisäksi se tarjoaa työpöytäympäristön, jossa on graafisia käyttöliittymiä (GUI) hyödyntäviä ohjelmistoja, sekä kiihdytetyn visualisointisovelluksen GPU-kiihdytettyyn visualisointiin ja renderöintiin. Vaativaan laskentaan, kuten täysimittaisten simulaatioiden ajamiseen tai neuroverkkojen kouluttamiseen, sinun kannattaa käyttää komentorivikäyttöliittymää, sillä sen kautta saat käyttöösi enemmän resursseja ja voit ajastaa työsi.
Komentorivikäyttöliittymä
Vaikka monet selainkäyttöliittymän interaktiiviset sovellukset, kuten Jupyter ja RStudio, ovat helppokäyttöisiä ja siten hyvä lähtökohta CSC:n supertietokoneiden käyttöön, niiden laskentakapasiteetti rajoittuu suhteellisen kevyeen interaktiiviseen käyttöön. Jos tarvitset enemmän resursseja (esim. useita CPU-solmuja tai GPU:ita) tai jos työsi vaatii tehokkuutta interaktiivisuuden sijaan, on hyvä siirtyä käyttämään tekstipohjaista komentorivikäyttöliittymää, jotta voit käyttää suoraan supertietokoneen Linux-käyttöjärjestelmää. Vaikka tämä työskentelytapa voi vaikuttaa vanhahtavalta, se on todella tehokas, kun siihen tottuu.
CLI:n avulla voit lähettää laskentasi eräajoina Slurm-työnajastimeen, joka suorittaa ne heti, kun pyydetyt resurssit ovat saatavilla. Tärkeää on, että eräajojärjestelmä varmistaa, että työsi ajetaan laskentasolmuilla eikä kirjautumissolmuilla, joita ei ole tarkoitettu raskaaseen laskentaan. Toinen eräajojen etu on se, että laskennan suorittaminen ei edellytä sitä, että olisit sidottu työasemaasi. Vaikka tämän automaation käyttöönotto voi vaatia sinulta hieman enemmän suunnittelua, pitkällä aikavälillä se tekee työstäsi tehokkaampaa sekä paremmin toistettavaa sekä sinulle itsellesi että muille osapuolille, kuten arvioijille ja yhteistyökumppaneille.
Voit käyttää komentorivikäyttöliittymää joko käyttämällä selainkäyttöliittymien komentotulkki-sovelluksia tai käyttämällä SSH-asiakasohjelmaa omalla työasemallasi.
Yhdistäminen SSH:lla
Huomaa, että CSC:n supertietokoneisiin yhdistäminen komentoriviltä SSH-asiakasohjelmalla edellyttää, että määrität ensin SSH-avaimet ja lisäät julkisen avaimesi MyCSC-asiakasportaaliin. SSH-avainten käyttö ja MyCSC:n hyödyntäminen julkisen avaimesi lisäämisessä supertietokoneelle on paljon turvallisempi tunnistautumistapa kuin perinteiset salasanat tai käsin hallitut SSH-avaimet.
Lue yksityiskohtaiset ohjeet SSH-avainten määrittämiseen ja käyttöön.
Miten ohjelmistojen ja datan kanssa työskennellään?
Ohjelmistot
CSC:n supertietokoneilla on saatavilla monenlaisia hyödyllisiä tieteellisen laskennan ohjelmistoja. Puhti erottuu tässä erityisesti edukseen, sillä siinä on yli sata valmiiksi asennettua ohjelmaa. Sovellussivuillamme on esimerkkejä eräajokomentoskripteistä ja ohjeita ohjelmistojen tehokkaaseen käyttöön CSC:n supertietokoneilla. Suosittelemme lämpimästi niiden käyttämistä lähtökohtana!
CSC:n supertietokoneissa käytetään ympäristömoduuleja ohjelmistoympäristöjen hallintaan. Nämä moduulit kattavat kaiken kääntäjistä ja ohjelmointikielistä työvuo-apuohjelmiin, kuten Nextflow ja Snakemake. Useimpien asennettujen ohjelmistojen tehokas käyttö edellyttää komentorivikäyttöliittymän käyttöä, joten Linux-käyttöjärjestelmän perusteiden hallinta on erittäin hyödyllistä.
Vaikka valmiiksi asennetut ohjelmistot kattavat laajan kirjon käyttötapauksia, on myös mahdollista asentaa omia sovelluksia CSC:n supertietokoneille. Prosessi poikkeaa usein omalle tietokoneelle tehtävistä asennuksista, joten tutustu huolellisesti asennusohjeisiimme. HPC-sovellusten kääntämistä varten meillä on saatavilla erilaisia kääntäjiä, korkean suorituskyvyn kirjastoja ja muita apuohjelmia tämän helpottamiseksi. Huomaa, että jotkin asennukset, kuten monimutkaiset Python-ympäristöt, hyötyvät kontittamisesta.
Voit myös haluta kehittää omia skriptejäsi ja ohjelmiasi olemassa olevien ohjelmistojen käytön sijaan. Tehokkainta on aloittaa koodin kirjoittaminen ja testaaminen omalla laitteellasi, sillä sen ajaminen jaetussa järjestelmässä (jollaisia supertietokoneet ovat) tuo väistämättä mukanaan jonkin verran ylimääräistä kuormaa. Skriptien ajaminen supertietokoneella kannattaa aloittaa vasta silloin, kun olet valmis testaamaan niitä suuremmassa mittakaavassa tai käyttämään erityisiä resursseja, kuten GPU:ita.
Saatavuuden tarkistaminen
Jos sinulla on mielessäsi jokin tieteellinen ohjelmisto, on varsin
todennäköistä, että se on asennettuna Puhtiin. Docs CSC:n selaamisen lisäksi
voit etsiä ohjelmistoja komentoriviltä komennolla
module spider <search-pattern>. Useimmiten ohjelmistomoduulin nimi on
yksinkertaisesti itse ohjelmiston nimi, ja vaikka hakuehtosi ei vastaisi
moduulin nimeä täsmälleen, haku ei erottele kirjainkokoa ja tukee osittaisia
osumia.
Datan tallennus
CSC:n supertietokoneet tarjoavat erillisiä levyalueita
eri datan tallennustarkoituksiin. Projektikohtainen jaettu tallennustila löytyy
polusta /scratch/<project>. Tämä kansio on jaettu projektin kaikkien käyttäjien
kesken, ja sen oletuskiintiö on 1 TB.
Huomaa, että scratch-levyaluetta ei ole tarkoitettu datan pitkäaikaiseen säilytykseen ja Puhdissa tiedostot, joita ei ole käytetty 180 päivään (scratch-kiintiö alle 5 TiB) tai 90 päivään (scratch-kiintiö 5 TiB tai enemmän), poistetaan automaattisesti. Suosittelemme tallennuspalvelu Allasta sellaisen tutkimusdatan säilyttämiseen, jota ei aktiivisesti käytetä supertietokoneilla. Katso lisätietoja ohjeista datan hallintaan Puhdin ja Mahdin scratch-levyalueilla. Huomaa myös, että sensitiivinen data ei saa käsitellä eikä säilyttää CSC:n supertietokoneilla. Tätä tarkoitusta varten meillä on erilliset sensitiivisen datan palvelut.
CSC:n supertietokoneilla on myös pysyvä projektikohtainen tallennustila, jonka
oletuskiintiö on 50 GB. Se sijaitsee polussa
/projappl/<project> ja sitä suositellaan esimerkiksi omien ohjelmistoasennusten
säilyttämiseen. Lisäksi jokainen käyttäjä voi tallentaa enintään 10 GB dataa
henkilökohtaiseen kotihakemistoonsa ($HOME).
Datan siirtäminen supertietokoneen ja paikallisen työaseman välillä on helppoa käyttämällä selainkäyttöliittymän tiedostoselainta tai komentorivin tiedostonsiirtotyökaluja, kuten scp ja rsync. Voit myös käyttää Linuxin wget-apuohjelmaa datan lataamiseen supertietokoneelle suoraan verkkosivustolta tai FTP-palvelimelta.
CSC ei varmuuskopioi dataasi!
CSC ei varmuuskopioi mitään levyalueista automaattisesti. Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Välttääksesi tahattoman datan menetyksen varmista, että otat datastasi säännöllisesti varmuuskopioita esimerkiksi Altaaseen tai oman organisaatiosi tallennusjärjestelmiin.
Hyödyllisiä linkkejä
Voit käyttää navigoinnin sivupalkkia tai hakutoimintoa löytääksesi lisää tietoa CSC:n HPC-palveluiden käytöstä. Olemme koonneet tähän linkkejä sivuille, joiden uskomme olevan erityisen hyödyllisiä CSC:n superlaskennan käytön aloittamisessa.