CSC:n superlaskennan käytön aloittaminen

Olet luonut käyttäjätunnuksen ja ensimmäisen CSC-projektin, ja olet nyt valmis laajentamaan laskentaasi! Tämä sivu tarjoaa ohjeita CSC:n HPC-resurssien käytön aloittamiseen.

Uusille käyttäjille suositellaan CSC Computing Environment -kurssin suorittamista, sillä se tarjoaa perusteellisen johdatuksen CSC:n palveluihin. Seuraava live-opetuskerta löytyy CSC:n koulutuskalenterista. Saatavilla on myös itseopiskelutoteutus. Myös kurssimateriaalit ovat käytettävissä ilman ilmoittautumista, ja ne ovat erittäin hyödyllisiä sellaisenaankin.

Yleisemmäksi johdatukseksi HPC:hen suosittelemme Elements of Supercomputing -verkkokurssia.

Tarvitsetko tukea?

Älä epäröi ottaa yhteyttä CSC:n asiakastukeen, jos sinulla on kysyttävää CSC:n palveluiden käytöstä. Autamme mielellämme!

Mitä järjestelmää minun pitäisi käyttää?

Roihu

Uusille käyttäjille suositellaan työn aloittamista Roihu-supertietokoneella, sillä Puhti ja Mahti poistuvat käytöstä vuonna 2026.

Puhdin laskentapalvelut on suljettu 31.7.2026 alkaen
Mahdin laskentapalvelut on suljettu 31.8.2026 alkaen
Puhdin ja Mahdin tallennustilan sekä kirjautumissolmujen on suunniteltu pysyvän käytettävissä 15.10.2026 asti

Roihu on CSC:n seuraavan sukupolven supertietokone, joka tarjoaa parempaa suorituskykyä ja uusia ominaisuuksia.

Roihussa on kaksi erillistä osiota, Roihu-CPU ja Roihu-GPU, vain CPU:ta käyttäville ja GPU-työkuormille. Näillä kahdella osiolla on erilliset kirjautumissolmut ja ohjelmistopinot.

LUMI

LUMI-supertietokone on yksi maailman nopeimmista. Se on tarkoitettu ensisijaisesti sellaisten laskentojen ajamiseen, jotka hyötyvät LUMI-G:n laitteisto-osiossa olevasta suuresta määrästä korkean suorituskyvyn GPU:ita. Siinä missä Puhdin ja Mahdin GPU:t ovat Nvidian valmistamia, LUMIn GPU:t ovat AMD:n valmistamia, joten varmista, että GPU-sovelluksesi pystyvät toimimaan AMD:n GPU:illa. LUMIlla on omat dokumentaatiosivunsa.

Supertietokoneista

CSC:n supertietokoneet tarjoavat resursseja, jotka oikein käytettyinä ylittävät selvästi sen, mihin kehittyneimmät kuluttajalaitteet pystyvät. Et kuitenkaan ole niiden ainoa käyttäjä. Omalla työasemallasi sinulla on periaatteessa välitön pääsy resursseihin. Supertietokoneella, joka on jaettu järjestelmä, sinun täytyy yleensä jonottaa niitä, koska niiden kysyntä on yleensä tarjontaa suurempaa. Katso lisätietoja käyttöehdoistamme.

On myös hyvä pitää mielessä, että laskentojen ajaminen supertietokoneella parantaa suorituskykyä vain, jos hyödynnät sen vahvuuksia. Supertietokoneet ovat tehokkaita, koska ne mahdollistavat rinnakkaislaskennan. Jos koodiasi ei ole kirjoitettu hyödyntämään useita CPU-ytimiä tai yhtä tai useampaa GPU:ta, siitä ei välttämättä ole hyötyä verrattuna ajamiseen omalla työasemallasi. Suuri muistin ja/tai tallennustilan tarve sekä valmiiksi asennettujen ohjelmistojen ja lisenssien saatavuus ovat kuitenkin muita tekijöitä, jotka voivat tehdä CSC:n supertietokoneiden käytöstä sinulle houkuttelevaa.

Puhti

Älä aloita uutta työtä Puhdissa

Puhdin laskentapalvelut on suljettu 31.7.2026 alkaen, ja sen tallennustila ei ole enää lainkaan käytettävissä lokakuun 2026 puolivälin jälkeen.

Jos olet uusi käyttäjä, suosittelemme aloittamaan superlaskennan tarpeesi Roihussa.

Puhti-supertietokone on ollut käytössä vuodesta 2019. Mahdiin verrattuna siinä on paljon enemmän valmiiksi asennettuja ohjelmistoja, enemmän GPU-solmuja ja tyypillisesti enemmän käytettävissä olevaa muistia CPU-ydintä kohden. Lisäksi Puhdin GPU-solmuissa ja joissakin CPU-solmuissa on nopea paikallinen NVMe-tallennustila.

Mahti

Älä aloita uutta työtä Mahdissa

Mahdin laskentapalvelut on suljettu 31.8.2026 alkaen, ja sen tallennustila ei ole enää lainkaan käytettävissä lokakuun 2026 puolivälin jälkeen.

Jos olet uusi käyttäjä, suosittelemme aloittamaan superlaskennan tarpeesi Roihussa.

Mahti on ollut CSC:n CPU-painotteinen supertietokone erittäin rinnakkaisille työkuormille. Siinä on paljon enemmän CPU-solmuja ja ytimiä solmua kohden kuin Puhdissa, ja se on ollut tarkoitettu pääasiassa laskentoihin, jotka pystyvät tehokkaasti hyödyntämään vähintään kokonaista CPU-solmua. Mahdin laskentapalvelut on kuitenkin suljettu elokuusta 2026 alkaen, joten uusi työ kannattaa aloittaa Roihussa. Roihu tarjoaa vielä enemmän tukea erittäin rinnakkaisille työkuormille.

Vaikka Mahdissa on vähemmän GPU-solmuja kuin Puhdissa, Mahdin A100-GPU:t ovat huomattavasti tehokkaampia kuin Puhdin V100-GPU:t, mikä tekee Mahdista sopivan myös vaativiin koneoppimisen opas -sovelluksiin. Roihu tarjoaa kuitenkin H100-GPU:illaan vielä enemmän suorituskykyä näihin työkuormiin kuin Mahti.

Miten CSC:n supertietokoneita käytetään?

Selainkäyttöliittymä

Roihulla, Puhdilla, Mahdilla ja LUMIlla on kullakin oma selainkäyttöliittymänsä, jonka avulla supertietokonetta voi käyttää verkkoselaimen kautta. Selainkäyttöliittymä on hyvä valinta interaktiiviseen laskentaan, kuten datan analysointiin, tutkimiseen ja visualisointiin. Tätä varten selainkäyttöliittymässä on useita interaktiivisia sovelluksia, kuten Visual Studio Code, Jupyter ja RStudio. Lisäksi se tarjoaa työpöytäympäristön, jossa on graafisia käyttöliittymiä (GUI) hyödyntäviä ohjelmistoja, sekä kiihdytetyn visualisointisovelluksen GPU-kiihdytettyyn visualisointiin ja renderöintiin. Vaativaan laskentaan, kuten täysimittaisten simulaatioiden ajamiseen tai neuroverkkojen kouluttamiseen, sinun kannattaa käyttää komentorivikäyttöliittymää, koska sen avulla saat käyttöösi enemmän resursseja ja voit ajastaa työsi.

Roihun selainkäyttöliittymä
LUMIn selainkäyttöliittymä
Puhdin selainkäyttöliittymä - laskentapalvelut poistettu käytöstä; vain kirjautuminen ja datan käyttö 15.10.2026 asti
Mahdin selainkäyttöliittymä - laskentapalvelut poistettu käytöstä; vain kirjautuminen ja datan käyttö 15.10.2026 asti

Komentorivikäyttöliittymä

Vaikka monet selainkäyttöliittymän interaktiivisista sovelluksista, kuten Jupyter ja RStudio, ovat helppokäyttöisiä ja siten hyvä lähtökohta CSC:n supertietokoneiden käyttöön, niiden laskentakapasiteetti rajoittuu suhteellisen kevyeen interaktiiviseen käyttöön. Jos tarvitset enemmän resursseja (esim. useita CPU-solmuja tai GPU:ita) tai jos työsi vaatii tehokkuutta interaktiivisuuden sijaan, kannattaa siirtyä käyttämään tekstipohjaista komentorivikäyttöliittymää, jotta voit olla suoraan vuorovaikutuksessa supertietokoneen Linux-käyttöjärjestelmän kanssa. Vaikka tämä työskentelytapa saattaa vaikuttaa vanhanaikaiselta, se on todella tehokas, kun siihen tottuu.

CLI:n avulla voit lähettää laskentasi eräajoina Slurm-työnajastimeen, joka suorittaa ne heti, kun pyydetyt resurssit ovat saatavilla. Tärkeää on, että eräajojärjestelmä varmistaa, että työsi ajetaan laskentasolmuilla eikä kirjautumissolmuilla, joita ei ole tarkoitettu raskaaseen laskentaan. Toinen eräajojen etu on se, että laskentojen suorittaminen ei edellytä sitoutumista työasemasi ääreen. Vaikka tämän automaation käyttöönotto voi vaatia sinulta hieman enemmän suunnittelua, pitkällä aikavälillä se tekee työstäsi tehokkaampaa ja paremmin toistettavaa sekä sinulle itsellesi että muille osapuolille, kuten arvioijille ja yhteistyökumppaneille.

Voit käyttää komentorivikäyttöliittymää joko käyttämällä selainkäyttöliittymissä olevia shell-sovelluksia tai käyttämällä SSH-asiakasohjelmaa omalla työasemallasi.

Yhdistäminen SSH:lla

Huomaa, että CSC:n supertietokoneisiin yhdistäminen komentoriviltä SSH-asiakasohjelmalla edellyttää, että määrität ensin SSH-avaimet ja lisäät julkisen avaimesi MyCSC-asiakasportaaliin. SSH-avainten käyttö ja MyCSC:n hyödyntäminen julkisen avaimesi lisäämisessä supertietokoneelle on paljon turvallisempi tunnistautumistapa kuin perinteiset salasanat tai käsin hallitut SSH-avaimet.

Lue yksityiskohtaiset ohjeet SSH-avainten määrittämisestä ja käytöstä.

Miten työskennellä ohjelmistojen ja datan kanssa?

Ohjelmistot

CSC:n supertietokoneilla on saatavilla monenlaisia hyödyllisiä tieteellisen laskennan ohjelmistoja. Ohjelmistojen saatavuus vaihtelee järjestelmien välillä sekä Roihu-CPU- ja Roihu-GPU-osioiden välillä, joten tarkista sovellussivut ja moduulien saatavuus järjestelmässä, jota aiot käyttää.

CSC:n supertietokoneissa käytetään ympäristömoduuleja ohjelmistoympäristöjen hallintaan. Nämä moduulit kattavat kaiken kääntäjistä ja ohjelmointikielistä työvuo-apuohjelmiin, kuten Nextflow ja Snakemake. Useimpien asennettujen ohjelmistojen tehokas käyttö edellyttää komentorivikäyttöliittymän käyttöä, joten Linux-käyttöjärjestelmän perusteiden toimiva hallinta on erittäin hyödyllistä.

Vaikka valmiiksi asennetut ohjelmistot kattavat laajan kirjon käyttötapauksia, on myös mahdollista asentaa omia sovelluksia CSC:n supertietokoneille. Prosessi poikkeaa usein asennuksista omalla tietokoneellasi, joten tutustu huolellisesti asennusohjeisiimme. HPC-sovellusten kääntämiseen meillä on saatavilla erilaisia kääntäjiä, korkean suorituskyvyn kirjastoja ja muita apuohjelmia tämän helpottamiseksi. Huomaa, että jotkin asennukset, kuten monimutkaiset Python-ympäristöt, hyötyvät kontittamisesta.

Voit myös haluta kehittää omia skriptejäsi ja ohjelmiasi olemassa olevien ohjelmistojen käytön sijaan. Tehokkainta on aloittaa koodin kirjoittaminen ja testaaminen omalla laitteellasi, sillä sen ajaminen jaetussa järjestelmässä (jollaisia supertietokoneet ovat) tuo väistämättä jonkin verran lisäkuormaa. Skriptien ajaminen supertietokoneella kannattaa aloittaa vasta, kun olet valmis testaamaan niitä suuremmassa mittakaavassa tai käyttämään erityisiä resursseja, kuten GPU:ita.

Saatavuuden tarkistaminen

Jos sinulla on mielessäsi jokin tieteellinen ohjelmisto, on varsin todennäköistä, että se on asennettuna Roihuun. Docs CSC:n selaamisen lisäksi voit etsiä ohjelmistoja komentoriviltä komennolla module spider <search-pattern>. Useimmiten ohjelmistomoduulin nimi on yksinkertaisesti itse ohjelmiston nimi, ja vaikka hakuehtosi ei vastaisi moduulin nimeä täsmälleen, haku ei erottele kirjainkokoa ja tukee osittaisia osumia.

Datan tallennus

CSC:n supertietokoneet tarjoavat erillisiä levyalueita eri datan tallennustarkoituksiin. Projektipohjainen jaettu tallennustila löytyy polusta /scratch/<project>. Tämä kansio on jaettu projektin kaikkien käyttäjien kesken, ja sen oletuskiintiö Roihussa on 250 GB.

Huomaa, että scratch-levyä ei ole tarkoitettu datan pitkäaikaiseen säilytykseen ja että Roihussa tiedostot, joita ei ole käytetty 180 päivään, poistetaan automaattisesti. Suosittelemme Allas-objektitallennuspalvelua sellaisen tutkimusdatan säilyttämiseen, jota ei aktiivisesti käytetä supertietokoneilla. Katso lisätietoja ohjeista datan hallintaan supertietokoneiden scratch-levyillä. Huomaa myös, että sensitiivinen data ei saa käsitellä eikä tallentaa CSC:n supertietokoneilla. Tätä tarkoitusta varten meillä on erilliset sensitiivisen datan palvelut.

CSC:n supertietokoneilla on myös pysyvä projektipohjainen tallennustila, jonka oletuskiintiö Roihussa on 15 GB. Se sijaitsee polussa
/projappl/<project> ja sitä suositellaan esimerkiksi omien ohjelmistoasennusten säilyttämiseen. Lisäksi jokainen käyttäjä voi tallentaa enintään 15 GB dataa henkilökohtaiseen kotihakemistoonsa ($HOME).

Jos tarvitset useiden projektien jakamien aineistojen ylläpitoa, voit hakea Roihussa erillistä aineistoprojektia. Tällöin saat käyttöösi dataset-hakemiston polussa /dataset/<project>, joka on projektikohtainen tallennusalue ja tarkoitettu datan jakamiseen järjestelmässä useiden laskentaprojektien välillä.

Katso lisätiedot aineistoprojekteista ja dataset-levyalueesta.

Datan siirtäminen supertietokoneen ja paikallisen työaseman välillä on helppoa käyttämällä selainkäyttöliittymän tiedostoselainta tai komentorivin tiedostonsiirtotyökaluja, kuten scp ja rsync. Voit myös käyttää Linuxin wget-apuohjelmaa datan lataamiseen suoraan verkkosivustolta tai FTP-palvelimelta supertietokoneelle.

CSC ei varmuuskopioi dataasi!

CSC ei varmuuskopioi mitään levyalueista automaattisesti. Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Välttääksesi tahattoman datan menetyksen varmista, että varmuuskopioit datasi säännöllisesti esimerkiksi Altaaseen tai oman organisaatiosi tallennusjärjestelmiin.

Hyödyllisiä linkkejä

Voit käyttää navigoinnin sivupalkkia tai hakutoimintoa löytääksesi lisää tietoa CSC:n HPC-palveluiden käytöstä. Olemme koonneet tähän linkkejä sivuille, joiden uskomme olevan erityisen hyödyllisiä CSC:n superlaskennan käytön aloituksessa.