Koneoppimisen opas

Tämän oppaan tarkoituksena on auttaa käyttäjiä, jotka haluavat tehdä koneoppimista CSC:n laskentaresursseilla.

Koneoppimisen oppaan alaosiot

Tämän sivun lisäksi tämä opas sisältää seuraavat alaosiot:

Mitä CSC-palvelua kannattaa käyttää?

CSC tarjoaa useita palveluita, jotka voivat olla merkityksellisiä koneoppimisen käyttäjille:

Supertietokoneet, Puhti, Mahti ja LUMI ovat monikäyttäjäklustereita, ja ne tarjoavat korkeimman laskentatehon, mukaan lukien GPU-kiihdytyksen, keskitetysti hallitussa ohjelmistoympäristössä,
Pouta tarjoaa oman virtuaalipalvelimen, jossa on täysi hallinta ohjelmistoympäristöön, mutta rajoitetumpi laskentateho verrattuna supertietokoneisiin,
Rahti tarjoaa automatisoidumman konttipohjaisen pilviympäristön, joka on hyödyllinen erityisesti verkkopalveluiden käyttöönotossa.

Suosittelemme käyttämään CSC:n supertietokoneita, ellei sinulla ole tarvetta hyvin monimutkaiselle ohjelmistoympäristölle tai työskentelet sensitiivisen datan kanssa. Näissä tapauksissa Pouta voi olla oikea valinta, ja tarjoamme myös ePouta-version, joka soveltuu tapauksiin, joissa on korkeat tietoturvavaatimukset.

Jos kehität palvelua, esimerkiksi haluat ottaa käyttöön koulutetun mallin palveluna, Pouta tai Rahti voivat olla sinulle sopivimmat vaihtoehdot.

Jos et ole varma, mikä palvelu on oikea valinta, ota rohkeasti yhteyttä palvelutukeemme ja kerro laskentatarpeistasi.

CSC:n supertietokoneet

Useimpiin koneoppimistarpeisiin CSC:n supertietokoneet ovat oikea ratkaisu. Ne ovat satojen (tai tuhansien) tietokoneiden klustereita, joista osa tarjoaa GPU-kiihdytystä. Supertietokoneet ovat monikäyttäjäjärjestelmiä, joten yksittäisillä käyttäjillä on rajalliset oikeudet asentaa ohjelmistoja, ja kuten minkä tahansa jaetun resurssin kohdalla, on noudatettava käyttöehtoja, jotta palvelu pysyy käyttökelpoisena.

CSC ylläpitää kahta kansallista supertietokonetta, Puhtia ja Mahtia, sekä eurooppalaista LUMI-supertietokonetta. Jos et ole varma, minkä supertietokoneen valitsisit, lue tästä aiheesta lisää täältä.

Jos olet uusi käyttäjä, lue miten pääset käyttämään Puhtia ja Mahtia sekä miten lähetät laskentatöitä. Jos olet valinnut LUMIn, lue LUMIn aloitussivu. LUMIn käyttäjiä voi kiinnostaa myös LUMI AI Factoryn tarjoama tekoälyohjelmistoympäristö.

Kaikki supertietokoneet tarjoavat myös verkkokäyttöliittymän, jonka kautta voi helposti käynnistää esimerkiksi Jupyter Notebook -istunnon PyTorchilla. Huomaa, että GPU-resurssien käyttö on interaktiivisissa istunnoissa rajoitetumpaa.

Tutustu myös alaosioihin, jotka käsittelevät GPU-resurssien tehokasta hyödyntämistä, suurten aineistojen käsittelyä sekä moni-GPU- ja monisolmutöitä.

Pilvipalvelut

Pouta

On joitakin käyttötapauksia, joissa supertietokoneet eivät ole oikea ratkaisu ja saatat tarvita virtuaalipalvelimen Poudassa. Tyypillisiä esimerkkejä ovat:

hyvin monimutkainen ohjelmistoympäristö,
tarve root-käyttöoikeuksille,
sensitiivistä dataa sisältävä laskenta.

Poudassa saat oman virtuaalipalvelimen, jossa sinulla on root- tai järjestelmänvalvojan käyttöoikeudet. HPC- ja GPU-konetyyppejä on saatavilla raskaisiin laskentatarpeisiin, mutta laskentaresurssit ovat aina pienemmät kuin supertietokoneessa.

Erittäin sensitiivistä dataa sisältävään laskentaan tarjoamme myös ePouta-version, joka soveltuu tapauksiin, joissa on korkeat tietoturvavaatimukset. ePoudassa virtuaalipalvelin integroidaan olemassa olevaan verkkoinfrastruktuuriisi.

Katso Poudan dokumentaatiosivuilta, miten käyttöoikeutta haetaan.

Lisälukemista Docs CSC:ssä

LUMIn käyttäjille suosittelemme myös LUMI AI Guidea, jonka on laatinut LUMIn käyttäjätuki, sekä LUMI AI Factoryn tarjoamaa tekoälyohjelmistoympäristöä.