CSC:n superlaskennan käytön aloittaminen
Olet luonut käyttäjätunnuksen ja ensimmäisen CSC-projektisi, ja olet nyt valmis skaalaamaan laskentaasi! Tämä sivu tarjoaa ohjeita HPC-resurssiemme käytön aloittamiseen.
Uusille käyttäjille suositellaan CSC Computing Environment -kurssin suorittamista, sillä se tarjoaa perusteellisen johdatuksen CSC:n palveluihin. Seuraava live-opetuskerta löytyy CSC:n koulutuskalenterista. Saatavilla on myös itseopiskelutoteutus. Kurssimateriaalit ovat saatavilla ilman ilmoittautumista, ja ne ovat erittäin hyödyllisiä myös sellaisenaan.
Yleisemmäksi johdatukseksi HPC:hen suosittelemme Elements of Supercomputing -verkkokurssia.
Tarvitsetko tukea?
Älä epäröi ottaa yhteyttä CSC:n Service Deskiin, jos sinulla on kysyttävää CSC:n palveluiden käytöstä. Autamme mielellämme!
Mitä järjestelmää minun pitäisi käyttää?
Puhti
Uusille käyttäjille suositellaan työn aloittamista Puhti-supertietokoneella. Mahdiin verrattuna siinä on paljon enemmän valmiiksi asennettuja ohjelmistoja, enemmän GPU-solmuja ja tyypillisesti enemmän käytettävissä olevaa muistia CPU-ydintä kohden. Lisäksi Puhdin GPU-solmuissa ja joissakin CPU-solmuissa on nopea paikallinen NVMe-tallennustila.
Mahti
Jos tiedät, että laskentasi rinnakkaistuu hyvin, sinun kannattaa harkita sen ajamista Mahti-supertietokoneella. Puhtiin verrattuna Mahdissa on paljon enemmän CPU-solmuja ja ytimiä solmua kohden. Mahti on tarkoitettu ensisijaisesti laskentaan, joka pystyy tehokkaasti hyödyntämään vähintään kokonaisen CPU-solmun, mutta tarjolla on myös osioita, jotka mahdollistavat ydinpohjaiset allokaatiot pienemmille töille. Kuten Puhdissa, Mahdin GPU-solmuissa ja joissakin CPU-solmuissa on nopea paikallinen NVMe-tallennustila.
Lisäksi, vaikka Mahdissa on vähemmän GPU-solmuja kuin Puhdissa, Mahdin A100-GPU:t ovat huomattavasti tehokkaampia kuin Puhdin V100-GPU:t, mikä tekee Mahdista sopivan myös vaativiin koneoppimisen opas -sovelluksiin.
Roihu (tulossa keväällä 2026)
Puhti ja Mahti poistuvat käytöstä vuonna 2026, ja ne korvataan Roihulla, CSC:n seuraavan sukupolven supertietokoneella, joka tarjoaa parempaa suorituskykyä ja uusia ominaisuuksia.
- Puhdin laskentapalvelut suljetaan kuukauden kuluttua siitä, kun Roihu tulee saataville, aikaisintaan 31. heinäkuuta 2026
- Mahdin laskentapalvelut suljetaan 31. elokuuta 2026 mennessä
- Puhdin ja Mahdin tallennustilan ja kirjautumissolmujen on suunniteltu pysyvän käytettävissä until 15 October 2026
LUMI
LUMI-supertietokone on yksi maailman nopeimmista. Se on tarkoitettu ensisijaisesti laskentaan, joka hyötyy sen LUMI-G-laitteisto-osion suuresta määrästä korkean suorituskyvyn GPU:ita. Siinä missä Puhdin ja Mahdin GPU:t ovat Nvidian valmistamia, LUMIn GPU:t ovat AMD:n valmistamia, joten varmista, että GPU-sovelluksesi pystyvät toimimaan AMD:n GPU:illa. LUMIlla on omat dokumentaatiosivunsa.
Superlaskennasta
CSC:n supertietokoneet tarjoavat resursseja, jotka oikein käytettyinä ylittävät selvästi sen, mihin kehittyneimmät kuluttajalaitteet pystyvät. Et kuitenkaan ole niiden ainoa käyttäjä. Omalla työasemallasi sinulla on periaatteessa välitön pääsy resursseihin. Supertietokoneella, joka on jaettu järjestelmä, sinun on yleensä jonotettava niitä, koska niiden kysyntä on yleensä tarjontaa suurempaa. Katso lisätietoja käyttöehdoistamme.
On myös hyvä pitää mielessä, että laskennan ajaminen supertietokoneella parantaa suorituskykyä vain, jos hyödynnät sen vahvuuksia. Supertietokoneet ovat tehokkaita, koska ne mahdollistavat rinnakkaislaskennan. Jos koodiasi ei ole kirjoitettu hyödyntämään useita CPU-ytimiä tai yhtä tai useampaa GPU:ta, siitä ei välttämättä ole hyötyä verrattuna sen ajamiseen omalla työasemallasi. Suuri muistin ja/tai tallennustilan tarve sekä valmiiksi asennettujen ohjelmistojen ja lisenssien saatavuus ovat kuitenkin muita tekijöitä, jotka voivat tehdä CSC:n supertietokoneiden käytöstä houkuttelevaa sinulle.
Miten CSC:n supertietokoneita käytetään?
Selainkäyttöliittymä
Puhdilla, Mahdilla ja LUMIlla on kullakin oma selainkäyttöliittymänsä, jonka avulla voit käyttää supertietokonetta verkkoselaimen kautta. Selainkäyttöliittymä on hyvä valinta interaktiiviseen laskentaan, kuten datan analysointiin, tutkimiseen ja visualisointiin. Tätä varten selainkäyttöliittymässä on useita interaktiivisia sovelluksia, kuten Visual Studio Code, Jupyter ja RStudio. Lisäksi se tarjoaa työpöytäympäristön, jossa on graafisia käyttöliittymiä (GUI) hyödyntäviä ohjelmistoja, sekä kiihdytetyn visualisointisovelluksen GPU-kiihdytettyyn visualisointiin ja renderöintiin. Vaativaan laskentaan, kuten täysimittaisten simulaatioiden ajamiseen tai neuroverkkojen kouluttamiseen, sinun kannattaa käyttää komentorivikäyttöliittymää, koska sen avulla voit käyttää enemmän resursseja ja ajastaa työsi.
Komentorivikäyttöliittymä
Vaikka monet selainkäyttöliittymän interaktiiviset sovellukset, kuten Jupyter ja RStudio, ovat helppokäyttöisiä ja siten hyvä lähtökohta CSC:n supertietokoneiden käyttöön, niiden laskentakapasiteetti rajoittuu suhteellisen kevyeen interaktiiviseen käyttöön. Jos tarvitset enemmän resursseja (esim. useita CPU-solmuja tai GPU:ita) tai jos työsi vaatii tehokkuutta interaktiivisuuden sijaan, on hyvä siirtyä käyttämään tekstipohjaista komentorivikäyttöliittymää, jotta voit olla suoraan vuorovaikutuksessa supertietokoneen Linux-käyttöjärjestelmän kanssa. Vaikka tämä työskentelytapa saattaa vaikuttaa vanhahtavalta, se on todella tehokas, kun siihen tottuu.
CLI:n avulla voit lähettää laskentasi eräajoina Slurm-työnajastimeen, joka suorittaa ne heti, kun pyydetyt resurssit ovat saatavilla. Tärkeää on, että eräajojärjestelmä varmistaa, että työsi ajetaan laskentasolmuilla eikä kirjautumissolmuilla, joita ei ole tarkoitettu raskaaseen laskentaan. Toinen eräajojen etu on se, että laskennan suorittaminen ei edellytä sitoutumista työasemasi ääreen. Vaikka tämän automaation käyttöönotto voi vaatia sinulta hieman enemmän suunnittelua, pitkällä aikavälillä se tekee työstäsi tehokkaampaa sekä paremmin toistettavaa niin sinulle itsellesi kuin muillekin osapuolille, kuten arvioijille ja yhteistyökumppaneille.
Voit käyttää komentorivikäyttöliittymää joko käyttämällä selainkäyttöliittymien komentotulkkisovelluksia tai käyttämällä SSH-asiakasohjelmaa omalla työasemallasi.
Yhdistäminen SSH:lla
Huomaa, että CSC:n supertietokoneisiin yhdistäminen komentoriviltä SSH-asiakasohjelmalla edellyttää, että määrität ensin SSH-avaimet ja lisäät julkisen avaimesi MyCSC-asiakasportaaliin. SSH-avainten käyttö ja MyCSC:n käyttäminen julkisen avaimesi lisäämiseen supertietokoneelle on paljon turvallisempi tunnistautumistapa kuin perinteiset salasanat tai käsin hallitut SSH-avaimet.
Lue yksityiskohtaiset ohjeet SSH-avainten määrittämisestä ja käytöstä.
Miten työskennellä ohjelmistojen ja datan kanssa?
Ohjelmistot
CSC:n supertietokoneilla on saatavilla monenlaisia hyödyllisiä tieteellisen laskennan ohjelmistoja. Puhti erottuu tässä erityisesti edukseen, sillä siinä on yli sata valmiiksi asennettua ohjelmaa. Sovellussivumme sisältävät esimerkkejä eräajokomentoskripteistä ja ohjeita ohjelmistojen tehokkaaseen ajamiseen CSC:n supertietokoneilla. Suosittelemme lämpimästi käyttämään niitä lähtökohtana!
CSC:n supertietokoneissa käytetään ympäristömoduuleja ohjelmistoympäristöjen hallintaan. Nämä moduulit kattavat kaiken kääntäjistä ja ohjelmointikielistä työvuo-apuohjelmiin, kuten Nextflow ja Snakemake. Useimpien asennettujen ohjelmistojen tehokas käyttö edellyttää komentorivikäyttöliittymän käyttöä, joten Linux-käyttöjärjestelmän perusteiden tuntemus on erittäin hyödyllistä.
Vaikka valmiiksi asennetut ohjelmistot kattavat laajan kirjon käyttötapauksia, on myös mahdollista asentaa omia sovelluksia CSC:n supertietokoneille. Prosessi poikkeaa usein oman tietokoneesi asennuksista, joten tutustu huolellisesti asennusohjeisiimme. HPC-sovellusten kääntämistä varten meillä on saatavilla erilaisia kääntäjiä, suorituskykyisiä kirjastoja ja muita apuohjelmia tämän helpottamiseksi. Huomaa, että jotkin asennukset, kuten monimutkaiset Python-ympäristöt, hyötyvät kontittamisesta.
Voit myös haluta kehittää omia skriptejäsi ja ohjelmiasi olemassa olevien ohjelmistojen käytön sijaan. Tehokkainta on aloittaa koodin kirjoittaminen ja testaaminen omalla laitteellasi, koska sen ajaminen jaetussa järjestelmässä (jollaisia supertietokoneet ovat) tuo väistämättä jonkin verran ylimääräistä kuormaa. Skriptien ajaminen supertietokoneella kannattaa aloittaa vasta, kun olet valmis testaamaan niitä suuremmassa mittakaavassa tai käyttämään tiettyjä resursseja, kuten GPU:ita.
Saatavuuden tarkistaminen
Jos sinulla on mielessäsi jokin tieteellinen ohjelmisto, on varsin
todennäköistä, että se on asennettuna Puhtiin. Docs CSC:n selaamisen lisäksi
voit etsiä ohjelmistoja komentoriviltä komennolla
module spider <search-pattern>. Useimmiten ohjelmistomoduulin nimi on
yksinkertaisesti itse ohjelmiston nimi, ja vaikka hakuehtosi ei vastaisi
moduulin nimeä täsmälleen, haku ei erottele kirjainkokoa ja tukee osittaisia
osumia.
Datan tallennus
CSC:n supertietokoneet tarjoavat erillisiä levyalueita
eri datan tallennustarkoituksiin. Projektipohjainen jaettu tallennustila löytyy
polusta /scratch/<project>. Tämä kansio on jaettu projektin kaikkien käyttäjien
kesken, ja sen oletuskiintiö on 1 TB.
Huomaa, että scratch-levyä ei ole tarkoitettu datan pitkäaikaiseen säilytykseen, ja Puhdissa tiedostot, joita ei ole käytetty 180 päivään (scratch-kiintiö alle 5 TiB) tai 90 päivään (scratch-kiintiö 5 TiB tai enemmän), poistetaan automaattisesti. Suosittelemme Allas-objektitallennuspalvelua sellaisen tutkimusdatan säilyttämiseen, jota ei aktiivisesti käytetä supertietokoneilla. Katso lisätietoja ohjeista datan hallintaan Puhdin ja Mahdin scratch-levyillä. Huomaa myös, että sensitiivinen data ei saa käsitellä tai tallentaa CSC:n supertietokoneilla. Tätä tarkoitusta varten meillä on erilliset sensitiivisen datan palvelut.
CSC:n supertietokoneilla on myös pysyvä projektipohjainen tallennustila, jonka
oletuskiintiö on 50 GB. Se sijaitsee polussa
/projappl/<project> ja sitä suositellaan esimerkiksi omien ohjelmistojen
asennuksiin. Lisäksi jokainen käyttäjä voi tallentaa enintään 10 GB dataa
henkilökohtaiseen kotihakemistoonsa ($HOME).
Datan siirtäminen supertietokoneen ja paikallisen työaseman välillä on helppoa käyttämällä selainkäyttöliittymän tiedostoselainta tai komentorivin tiedostonsiirtotyökaluja, kuten scp ja rsync. Voit myös käyttää Linuxin wget-apuohjelmaa datan lataamiseen suoraan verkkosivustolta tai FTP-palvelimelta supertietokoneelle.
CSC ei varmuuskopioi dataasi!
Mitään levyalueista ei varmuuskopioida automaattisesti CSC:n toimesta. Tämä tarkoittaa, että käyttäjän vahingossa poistamaa dataa ei voida palauttaa millään tavalla. Välttääksesi tahattoman datan menetyksen varmista, että varmuuskopioit datasi säännöllisesti esimerkiksi Altaaseen tai oman organisaatiosi tallennusjärjestelmiin.
Hyödyllisiä linkkejä
Voit käyttää navigoinnin sivupalkkia tai hakutoimintoa löytääksesi lisää tietoa CSC:n HPC-palveluiden käytöstä. Olemme koonneet tähän linkkejä sivuille, joiden uskomme olevan erityisen hyödyllisiä CSC:n superlaskennan käytön aloittamisessa.