CSC:n superlaskennan käytön aloittaminen

Olet luonut käyttäjätunnuksen ja ensimmäisen CSC-projektisi, ja olet nyt valmis laajentamaan laskentaasi! Tämä sivu tarjoaa ohjeita CSC:n HPC-resurssien käytön aloittamiseen.

Uusille käyttäjille suositellaan CSC Computing Environment -kurssin suorittamista, sillä se tarjoaa perusteellisen johdatuksen CSC:n palveluihin. Seuraava live-opetuskerta löytyy CSC:n koulutuskalenterista. Myös itseopiskelutoteutus on saatavilla. Lisäksi kurssimateriaalit ovat käytettävissä ilman ilmoittautumista, ja ne ovat erittäin hyödyllisiä myös sellaisenaan.

Yleisempään johdatukseen HPC:hen suosittelemme Elements of Supercomputing -verkkokurssia.

Tarvitsetko tukea?

Älä epäröi ottaa yhteyttä CSC:n asiakastukeen, jos sinulla on kysyttävää CSC:n palveluiden käytöstä. Autamme mielellämme!

Mitä järjestelmää minun pitäisi käyttää?

Roihu

Uusille käyttäjille suositellaan työn aloittamista Roihu-supertietokoneella, sillä Puhti ja Mahti poistuvat käytöstä vuonna 2026.

Puhdin laskentapalvelut suljetaan 31.7.2026 mennessä
Mahdin laskentapalvelut suljetaan 31.8.2026 mennessä
Puhdin ja Mahdin tallennus sekä kirjautumissolmut on suunniteltu pidettävän käytettävissä 15.10.2026 asti

Roihu on CSC:n seuraavan sukupolven supertietokone, joka tarjoaa parempaa suorituskykyä ja uusia ominaisuuksia.

Roihussa on kaksi erillistä osiota, Roihu-CPU ja Roihu-GPU, vain CPU:ta käyttäville ja GPU-työkuormille. Näillä kahdella osiolla on erilliset kirjautumissolmut ja ohjelmistopinot.

LUMI

LUMI-supertietokone on yksi maailman nopeimmista. Se on tarkoitettu ensisijaisesti sellaisten laskentojen ajamiseen, jotka hyötyvät LUMI-G-laitteisto-osiossa olevasta suuresta määrästä tehokkaita GPU:ita. Siinä missä Puhdin ja Mahdin GPU:t ovat Nvidian valmistamia, LUMIn GPU:t ovat AMD:n valmistamia, joten varmista, että GPU-sovelluksesi toimivat AMD:n GPU:illa. LUMIlla on omat dokumentaatiosivunsa.

Superlaskennasta

CSC:n supertietokoneet tarjoavat resursseja, jotka oikein käytettyinä ylittävät selvästi sen, mihin kehittyneimmät kuluttajalaitteet pystyvät. Et kuitenkaan ole niiden ainoa käyttäjä. Omalla työasemallasi sinulla on periaatteessa välitön pääsy resursseihin. Jaetussa järjestelmässä, kuten supertietokoneessa, sinun täytyy yleensä jonottaa niitä, koska kysyntä on usein tarjontaa suurempaa. Katso lisätietoja käyttöehdoistamme.

On myös hyvä pitää mielessä, että laskentojen ajaminen supertietokoneella parantaa suorituskykyä vain, jos hyödynnät sen vahvuuksia. Supertietokoneet ovat tehokkaita, koska ne mahdollistavat rinnakkaislaskennan. Jos koodiasi ei ole kirjoitettu hyödyntämään useita CPU-ytimiä tai yhtä tai useampaa GPU:ta, siitä ei välttämättä ole hyötyä verrattuna ajamiseen omalla työasemallasi. Suuri muistitarve ja/tai tallennustilan tarve sekä valmiiksi asennettujen ohjelmistojen ja lisenssien saatavuus ovat kuitenkin muita tekijöitä, jotka voivat tehdä CSC:n supertietokoneiden käytöstä sinulle houkuttelevaa.

Puhti

Älä aloita uutta työtä Puhdissa

Puhti poistuu käytöstä kesän 2026 aikana, ja sen tallennustila muuttuu täysin saavuttamattomaksi lokakuun 2026 puolivälin jälkeen.

Jos olet uusi käyttäjä, suosittelemme aloittamaan superlaskennan käytön Roihussa.

Puhti-supertietokone on ollut käytössä vuodesta 2019. Mahdiin verrattuna siinä on paljon enemmän valmiiksi asennettuja ohjelmistoja, enemmän GPU-solmuja ja tyypillisesti enemmän käytettävissä olevaa muistia CPU-ydintä kohden. Lisäksi Puhdin GPU-solmuissa ja joissakin CPU-solmuissa on nopea paikallinen NVMe-tallennustila.

Mahti

Älä aloita uutta työtä Mahdissa

Mahti poistuu käytöstä kesän 2026 aikana, ja siitä tulee täysin saavuttamaton lokakuun 2026 puolivälin jälkeen.

Jos olet uusi käyttäjä, suosittelemme aloittamaan superlaskennan käytön Roihussa.

Mahti on ollut CSC:n CPU-painotteinen supertietokone erittäin rinnakkaisille työkuormille. Siinä on paljon enemmän CPU-solmuja ja ytimiä solmua kohden kuin Puhdissa, ja se on ollut tarkoitettu pääasiassa laskentoihin, jotka pystyvät tehokkaasti hyödyntämään vähintään kokonaisen CPU-solmun. Mahti kuitenkin poistuu käytöstä elokuussa 2026, joten uusi työ kannattaa aloittaa sen sijaan Roihussa. Roihu tarjoaa vielä enemmän tukea erittäin rinnakkaisille työkuormille.

Vaikka Mahdissa on vähemmän GPU-solmuja kuin Puhdissa, Mahdin A100-GPU:t ovat huomattavasti tehokkaampia kuin Puhdin V100-GPU:t, mikä tekee Mahdista sopivan myös vaativiin koneoppimisen oppaan sovelluksiin. Roihu tarjoaa kuitenkin H100-GPU:illaan vielä enemmän suorituskykyä näihin työkuormiin kuin Mahti.

Miten CSC:n supertietokoneita käytetään?

Selainkäyttöliittymä

Roihulla, Puhdilla, Mahdilla ja LUMIlla on kullakin oma selainkäyttöliittymänsä, jonka avulla supertietokoneen kanssa voi työskennellä verkkoselaimen kautta. Selainkäyttöliittymä on hyvä valinta interaktiiviseen laskentaan, kuten datan analysointiin, tutkimiseen ja visualisointiin. Tätä varten selainkäyttöliittymässä on useita interaktiivisia sovelluksia, kuten Visual Studio Code, Jupyter ja RStudio. Lisäksi se tarjoaa työpöytäympäristön, jossa on graafisia käyttöliittymiä (GUI) hyödyntäviä ohjelmistoja, sekä kiihdytetyn visualisointisovelluksen GPU-kiihdytettyyn visualisointiin ja renderöintiin. Vaativaan laskentaan, kuten täysimittaisten simulaatioiden ajamiseen tai neuroverkkojen kouluttamiseen, kannattaa käyttää komentorivikäyttöliittymää, sillä sen kautta saat käyttöösi enemmän resursseja ja voit ajastaa työsi.

Roihun selainkäyttöliittymä
LUMIn selainkäyttöliittymä
Puhdin selainkäyttöliittymä - poistuu käytöstä vuonna 2026
Mahdin selainkäyttöliittymä - poistuu käytöstä vuonna 2026

Komentorivikäyttöliittymä

Vaikka monet selainkäyttöliittymän interaktiiviset sovellukset, kuten Jupyter ja RStudio, ovat helppokäyttöisiä ja siksi hyvä lähtökohta CSC:n supertietokoneiden käyttöön, niiden laskentakapasiteetti rajoittuu melko vähäresurssiseen interaktiiviseen käyttöön. Jos tarvitset enemmän resursseja (esim. useita CPU-solmuja tai GPU:ita) tai jos työsi vaatii tehokkuutta interaktiivisuuden sijaan, on hyvä siirtyä käyttämään tekstipohjaista komentorivikäyttöliittymää suoraan supertietokoneen Linux-käyttöjärjestelmän kanssa työskentelyyn. Vaikka tämä työskentelytapa voi vaikuttaa vanhanaikaiselta, se on todella tehokas, kun siihen tottuu.

CLI:n avulla voit jättää laskentasi eräajoina Slurm-työnhallintajärjestelmään, joka suorittaa ne heti, kun pyydetyt resurssit ovat saatavilla. Tärkeää on, että eräajojärjestelmä varmistaa, että työsi ajetaan laskentasolmuilla eikä kirjautumissolmuilla, joita ei ole tarkoitettu raskaaseen laskentaan. Toinen eräajojen etu on se, että laskentojen suorittaminen ei edellytä sidonnaisuutta omaan työasemaasi. Vaikka tämän automaation käyttöönotto voi vaatia sinulta hieman enemmän suunnittelua, pitkällä aikavälillä se tekee työstäsi tehokkaampaa sekä paremmin toistettavaa niin sinulle itsellesi kuin muillekin osapuolille, kuten arvioijille ja yhteistyökumppaneille.

Voit käyttää komentorivikäyttöliittymää joko selainkäyttöliittymien shell-sovelluksilla tai käyttämällä oman työasemasi SSH-asiakasohjelmaa.

Yhdistäminen SSH:lla

Huomaa, että CSC:n supertietokoneisiin yhdistäminen komentoriviltä SSH-asiakasohjelmalla edellyttää, että määrität ensin SSH-avaimet ja lisäät julkisen avaimesi MyCSC-asiakasportaaliin. SSH-avainten käyttö ja MyCSC:n hyödyntäminen julkisen avaimesi lisäämisessä supertietokoneelle on huomattavasti turvallisempi tapa tunnistautua kuin perinteiset salasanat tai manuaalisesti hallitut SSH-avaimet.

Lue yksityiskohtaiset ohjeet SSH-avainten käyttöönotosta ja käytöstä.

Miten työskennellä ohjelmistojen ja datan kanssa?

Ohjelmistot

CSC:n supertietokoneilla on saatavilla monenlaisia hyödyllisiä tieteellisen laskennan ohjelmistoja. Ohjelmistojen saatavuus vaihtelee järjestelmien sekä Roihu-CPU- ja Roihu-GPU-osioiden välillä, joten tarkista sovellussivut ja moduulien saatavuus siinä järjestelmässä, jota aiot käyttää.

CSC:n supertietokoneissa käytetään ympäristömoduuleja ohjelmistoympäristöjen hallintaan. Nämä moduulit kattavat kaiken kääntäjistä ja ohjelmointikielistä työvuo-apuohjelmiin, kuten Nextflow ja Snakemake. Useimpien asennettujen ohjelmistojen tehokas käyttö edellyttää komentorivikäyttöliittymän käyttöä, joten Linux-käyttöjärjestelmän perusteiden tuntemus on erittäin hyödyllistä.

Vaikka valmiiksi asennetut ohjelmistot kattavat laajan kirjon käyttötapauksia, on myös mahdollista asentaa omia sovelluksia CSC:n supertietokoneille. Prosessi poikkeaa usein oman tietokoneen asennuksista, joten tutustu huolellisesti asennusohjeisiimme. HPC-sovellusten kääntämistä varten meillä on tarjolla useita kääntäjiä, tehokkaita kirjastoja ja muita apuohjelmia tämän helpottamiseksi. Huomaa, että jotkin asennukset, kuten monimutkaiset Python-ympäristöt, hyötyvät kontittamisesta.

Voit myös haluta kehittää omia skriptejäsi ja ohjelmiasi olemassa olevien ohjelmistojen käytön sijaan. Tehokkainta on aloittaa koodin kirjoittaminen ja testaaminen omalla laitteellasi, sillä sen ajaminen jaetussa järjestelmässä (kuten supertietokoneessa) aiheuttaa väistämättä jonkin verran ylimääräistä kuormaa. Skriptien ajaminen supertietokoneella kannattaa aloittaa vasta, kun olet valmis testaamaan niitä suuremmassa mittakaavassa tai käyttämään erityisiä resursseja, kuten GPU:ita.

Saatavuuden tarkistaminen

Jos sinulla on mielessäsi jokin tieteellinen ohjelmisto, on varsin todennäköistä, että se on asennettuna Roihuun. Docs CSC:n selaamisen lisäksi voit etsiä ohjelmistoja komentoriviltä komennolla module spider <search-pattern>. Useimmiten ohjelmistomoduulin nimi on yksinkertaisesti itse ohjelmiston nimi, ja vaikka hakuehtosi ei vastaisi moduulin nimeä täsmälleen, haku ei erottele kirjainkokoa ja tukee osittaisia osumia.

Datan tallennus

CSC:n supertietokoneet tarjoavat erillisiä levyalueita eri datan tallennustarkoituksiin. Projektipohjainen jaettu tallennustila löytyy polusta /scratch/<project>. Tämä kansio on jaettu projektin kaikkien käyttäjien kesken, ja sen oletuskiintiö Roihussa on 250 GB.

Huomaa, että scratch-levy ei ole tarkoitettu datan pitkäaikaiseen säilytykseen ja Roihussa tiedostot, joita ei ole käytetty 180 päivään, poistetaan automaattisesti. Suosittelemme Allas-objektitallennuspalvelua sellaisen tutkimusdatan säilyttämiseen, jota ei aktiivisesti käytetä supertietokoneilla. Katso ohjeet datan hallintaan supertietokoneiden scratch-levyillä saadaksesi lisätietoja. Huomaa myös, että sensitiivinen data ei saa olla käsiteltävänä tai tallennettuna CSC:n supertietokoneilla. Tätä tarkoitusta varten meillä on erilliset sensitiivisen datan palvelut.

CSC:n supertietokoneilla on myös pysyvä projektipohjainen tallennustila, jonka oletuskiintiö Roihussa on 15 GB. Se sijaitsee polussa
/projappl/<project> ja sitä suositellaan esimerkiksi omien ohjelmistoasennusten käyttöön. Lisäksi jokainen käyttäjä voi tallentaa enintään 15 GB dataa omaan henkilökohtaiseen kotihakemistoonsa ($HOME).

Jos tarvitset useiden projektien kesken jaettujen aineistojen ylläpitoa, voit hakea Roihuun erillistä aineistoprojektia. Tällöin saat käyttöösi dataset-hakemiston polussa /dataset/<project>, joka on projektikohtainen tallennusalue ja tarkoitettu datan jakamiseen järjestelmän useiden laskentaprojektien välillä.

Katso lisätiedot aineistoprojekteista ja dataset-levyalueesta.

Datan siirtäminen supertietokoneen ja paikallisen työaseman välillä on helppoa käyttämällä selainkäyttöliittymän tiedostoselainta tai komentorivin tiedostonsiirtotyökaluja, kuten scp ja rsync. Voit myös käyttää Linuxin wget-apuohjelmaa datan lataamiseen suoraan verkkosivustolta tai FTP-palvelimelta supertietokoneelle.

CSC ei varmuuskopioi dataasi!

Mitään levyalueista ei varmuuskopioida automaattisesti CSC:n toimesta. Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Jotta välttäisit tahattoman datan menetyksen, varmista, että otat datastasi säännöllisesti varmuuskopioita esimerkiksi Altaaseen tai oman organisaatiosi tallennusjärjestelmiin.

Hyödyllisiä linkkejä

Voit käyttää navigoinnin sivupalkkia tai hakutoimintoa löytääksesi lisää tietoa CSC:n HPC-palveluiden käytöstä. Olemme koonneet tähän linkkejä sivuille, joiden uskomme olevan erityisen hyödyllisiä CSC:n superlaskennan käytön aloittamisessa.