Koneoppimisen opas

Tämän oppaan tarkoituksena on auttaa käyttäjiä, jotka haluavat tehdä koneoppimista CSC:n laskentaresursseilla.

Koneoppimisen oppaan alaluvut

Tämän sivun lisäksi tämä opas sisältää seuraavat alaluvut:

Mitä CSC-palvelua kannattaa käyttää?

CSC tarjoaa useita palveluja, jotka voivat olla merkityksellisiä koneoppimisen käyttäjille:

Roihu ja LUMI -supertietokoneet ovat monikäyttäjäklustereita ja tarjoavat korkeimman laskentatehon, mukaan lukien GPU-kiihdytyksen, keskitetysti hallitussa ohjelmistoympäristössä,
Pouta tarjoaa oman virtuaalipalvelimen, jossa on täysi hallinta ohjelmistoympäristöön, mutta rajallisempi laskentateho verrattuna supertietokoneisiin,
Rahti tarjoaa automatisoidumman konttipohjaisen pilviympäristön, joka on hyödyllinen erityisesti verkkopalvelujen käyttöönotossa.

Suosittelemme käyttämään CSC:n supertietokoneita, ellei sinulla ole tarvetta hyvin monimutkaiselle ohjelmistoympäristölle tai työskentelet sensitiivisen datan kanssa. Näissä tapauksissa Pouta voi olla oikea valinta, ja tarjoamme myös ePouta-version, joka soveltuu tapauksiin, joissa on korkeat tietoturvavaatimukset.

Jos kehität palvelua, esimerkiksi haluat ottaa käyttöön koulutetun mallin palveluna, Pouta tai Rahti voivat olla sinulle merkityksellisimmät vaihtoehdot.

Jos et ole varma, mikä palvelu on oikea valinta, älä epäröi ottaa yhteyttä palvelutukeemme ja kuvailla laskentatarpeesi.

CSC:n supertietokoneet

Useimpiin koneoppimistarpeisiin CSC:n supertietokoneet ovat oikea valinta. Ne ovat satojen (tai tuhansien) tietokoneiden klustereita, joista osa tarjoaa GPU-kiihdytystä. Supertietokoneet ovat monikäyttäjäjärjestelmiä, joten yksittäisillä käyttäjillä on rajalliset oikeudet ohjelmistojen asentamiseen, ja kuten minkä tahansa jaetun resurssin kohdalla, on noudatettava käyttöehtoja, jotta palvelu säilyy käyttökelpoisena.

CSC ylläpitää kansallista Roihu-supertietokonetta ja eurooppalaista LUMI-supertietokonetta. Jos olet epävarma siitä, kumman supertietokoneen valitsisit, lue tästä aiheesta lisää täältä.

Jos olet uusi käyttäjä, lue miten pääset käyttämään Roihua ja miten lähetät laskentatehtäviä. Jos olet valinnut LUMIn, lue LUMIn aloitussivu. LUMI-käyttäjiä voi kiinnostaa myös LUMI AI Factoryn tarjoama AI-ohjelmistoympäristö.

Kaikki supertietokoneet tarjoavat myös verkkokäyttöliittymän, jonka kautta voi helposti käynnistää esimerkiksi Jupyter Notebook -istunnon PyTorchilla. Huomaa, että GPU-resurssien käyttö on interaktiivisissa istunnoissa rajoitetumpaa.

Tutustu myös alalukuihin, jotka käsittelevät GPU-resurssien tehokasta hyödyntämistä, suurten data-aineistojen käsittelyä sekä monen GPU:n ja monen noodin töitä.

Pilvipalvelut

Pouta

On joitakin käyttötapauksia, joissa supertietokoneet eivät ole oikea ratkaisu ja saatat tarvita virtuaalipalvelimen Poudassa. Tyypillisiä esimerkkejä ovat:

erittäin monimutkainen ohjelmistoympäristö,
tarve root-käyttöoikeuksille,
sensitiivistä dataa sisältävä laskenta.

Poudassa saat oman virtuaalipalvelimen, jossa sinulla on root- tai järjestelmänvalvojan käyttöoikeudet. HPC- ja GPU-flavoreita on saatavilla raskaisiin laskentatarpeisiin, mutta laskentaresurssit ovat aina pienemmät kuin supertietokoneessa.

Erittäin sensitiivistä dataa sisältävään laskentaan tarjoamme myös ePouta-version, joka soveltuu tapauksiin, joissa on korkeat tietoturvavaatimukset. ePoudassa virtuaalipalvelin integroidaan olemassa olevaan verkkoinfrastruktuuriisi.

Katso Poudan dokumentaatiosivuilta, miten käyttöoikeutta haetaan.

Lisälukemista Docs CSC:ssä

LUMI-käyttäjille on lisäksi tarjolla LUMI AI Guide, jonka on laatinut LUMIn käyttäjätuki, sekä LUMI AI Factoryn tarjoama AI-ohjelmistoympäristö.