Koneoppimisen opas

Tämän oppaan tarkoituksena on auttaa käyttäjiä, jotka haluavat tehdä koneoppimista CSC:n laskentaresursseilla.

Koneoppimisen oppaan alaosiot

Tämän sivun lisäksi tämä opas sisältää seuraavat alaosiot:

Mitä CSC-palvelua kannattaa käyttää?

CSC tarjoaa useita palveluita, jotka voivat olla merkityksellisiä koneoppimisen käyttäjille:

Roihu ja LUMI -supertietokoneet ovat monikäyttäjäklustereita ja tarjoavat korkeimman laskentatehon, mukaan lukien GPU-kiihdytyksen keskitetysti hallitussa ohjelmistoympäristössä,
Pouta tarjoaa oman virtuaalipalvelimen, jossa on täysi hallinta ohjelmistoympäristöön, mutta laskentateho on rajallisempi verrattuna supertietokoneisiin,
Rahti tarjoaa automatisoidumman konttipohjaisen pilviympäristön, joka on hyödyllinen erityisesti verkkopalveluiden käyttöönotossa.

Suosittelemme käyttämään CSC:n supertietokoneita, ellei sinulla ole tarvetta hyvin monimutkaiselle ohjelmistoympäristölle tai työskentelet sensitiivisen datan kanssa. Näissä tapauksissa Pouta voi olla oikea valinta, ja tarjoamme myös ePouta-version, joka soveltuu tapauksiin, joissa on korkeat tietoturvavaatimukset.

Jos kehität palvelua, esimerkiksi haluat ottaa käyttöön koulutetun mallin palveluna, Pouta tai Rahti voivat olla sinulle sopivimmat vaihtoehdot.

Jos et ole varma, mikä palvelu on oikea valinta, älä epäröi ottaa yhteyttä palvelutiskeemme ja kuvailla laskentatarpeesi.

CSC:n supertietokoneet

Useimpiin koneoppimistarpeisiin CSC:n supertietokoneet ovat oikea ratkaisu. Ne ovat satojen (tai tuhansien) tietokoneiden klustereita, joista osa tarjoaa GPU-kiihdytystä. Supertietokoneet ovat monikäyttäjäjärjestelmiä, joten yksittäisillä käyttäjillä on rajalliset oikeudet ohjelmistojen asentamiseen, ja kuten minkä tahansa jaetun resurssin kohdalla, on noudatettava käyttöehtoja, jotta palvelu säilyy käyttökelpoisena.

CSC ylläpitää kansallista Roihu-supertietokonetta ja eurooppalaista LUMI-supertietokonetta. Jos et ole varma, kumman supertietokoneen valitsisit, lue tämä keskustelu.

Jos olet uusi käyttäjä, lue miten pääset käyttämään Roihua ja miten lähetät laskentatöitä. Jos olet valinnut LUMIn, lue LUMIn aloitussivu. LUMIn käyttäjiä saattaa kiinnostaa myös LUMI AI Factoryn tarjoama AI-ohjelmistoympäristö.

Kaikki supertietokoneet tarjoavat myös verkkokäyttöliittymän, jonka kautta voi helposti käynnistää esimerkiksi Jupyter Notebook -istunnon PyTorchilla. Huomaa, että GPU-käyttö on rajoitetumpaa interaktiivisissa istunnoissa.

Tutustu myös alaosioihin, jotka käsittelevät GPU-resurssien tehokasta hyödyntämistä, suurten aineistojen kanssa työskentelyä sekä monen GPU:n ja monen solmun töitä.

Pilvipalvelut

Pouta

On joitakin käyttötapauksia, joissa supertietokoneet eivät ole oikea ratkaisu ja saatat tarvita virtuaalipalvelimen Poudassa. Tyypillisiä esimerkkejä ovat:

hyvin monimutkainen ohjelmistoympäristö,
tarve root-käyttöoikeuksille,
sensitiivistä dataa sisältävä laskenta.

Poudassa saat oman virtuaalipalvelimen, johon sinulla on root- tai järjestelmänvalvojan käyttöoikeudet. HPC- ja GPU-konetyyppejä on saatavilla raskaisiin laskentatarpeisiin, mutta laskentaresurssit ovat aina pienemmät kuin supertietokoneessa.

Erittäin sensitiivistä dataa sisältävään laskentaan tarjoamme myös ePouta-version, joka soveltuu tapauksiin, joissa on korkeat tietoturvavaatimukset. ePoudassa virtuaalipalvelin integroidaan olemassa olevaan verkkoinfrastruktuuriisi.

Katso Poudan dokumentaatiosivuilta, miten käyttöoikeutta haetaan.

Lisälukemista Docs CSC:ssä

LUMIn käyttäjille suosittelemme myös LUMI AI Guidea, jonka on laatinut LUMIn käyttäjätuki, sekä LUMI AI Factoryn tarjoamaa AI-ohjelmistoympäristöä.