Koneoppimisen opas¶
Tämän oppaan tarkoituksena on auttaa käyttäjiä, jotka haluavat tehdä koneoppimista CSC:n laskentaresursseilla.
Koneoppimisen oppaan alaosiot¶
Tämän sivun lisäksi tämä opas sisältää seuraavat alaosiot:
- Koneoppimisen käytön aloittaminen CSC:llä
- GPU-kiihdytetty koneoppiminen
- Datan tallennus koneoppimista varten
- Moni-GPU- ja monisolmuinen koneoppiminen
- Hyperparametrien haku
- Koneoppimisen työnkulkujen hallinta CSC:n supertietokoneilla
- Suurten kielimallien käyttö supertietokoneilla
- Laajenna CSC-pohjaisia ML-kontteja sandboxin avulla
Mitä CSC-palvelua kannattaa käyttää?¶
CSC tarjoaa useita palveluita, jotka voivat olla merkityksellisiä koneoppimisen käyttäjille:
-
Roihu ja LUMI -supertietokoneet ovat monikäyttäjäklustereita ja tarjoavat korkeimman laskentatehon, mukaan lukien GPU-kiihdytys, keskitetysti hallitussa ohjelmistoympäristössä,
-
Pouta tarjoaa oman virtuaalipalvelimen, jossa on täysi hallinta ohjelmistoympäristöön, mutta rajallisempi laskentateho verrattuna supertietokoneisiin,
-
Rahti tarjoaa automatisoidumman konttipohjaisen pilviympäristön, joka on hyödyllinen erityisesti verkkopalveluiden käyttöönotossa.
Suosittelemme CSC:n supertietokoneiden käyttöä, ellei sinulla ole tarvetta hyvin monimutkaiselle ohjelmistoympäristölle tai työskentele sensitiivisen datan kanssa. Näissä tapauksissa Pouta voi olla oikea valinta, ja tarjoamme myös ePouta-vaihtoehdon, joka soveltuu tapauksiin, joissa on korkeat tietoturvavaatimukset.
Jos kehität palvelua, esimerkiksi haluat ottaa käyttöön koulutetun mallin palveluna, Pouta tai Rahti voi olla sinulle sopivin vaihtoehto.
Jos et ole varma, mikä palvelu on oikea valinta, älä epäröi ottaa yhteyttä palvelutukeemme ja kertoa laskentatarpeistasi.
CSC:n supertietokoneet¶
Useimpiin koneoppimistarpeisiin CSC:n supertietokoneet ovat oikea ratkaisu. Ne ovat satojen (tai tuhansien) tietokoneiden klustereita, joista osa tarjoaa GPU-kiihdytystä. Supertietokoneet ovat monikäyttäjäjärjestelmiä, joten yksittäisillä käyttäjillä on rajalliset oikeudet asentaa ohjelmistoja, ja kuten minkä tahansa jaetun resurssin kohdalla, on noudatettava käyttöehtoja, jotta palvelu säilyy käyttökelpoisena.
CSC ylläpitää kansallista Roihu-supertietokonetta ja eurooppalaista LUMI-supertietokonetta. Jos et ole varma, kumman supertietokoneen valitsisit, lue tämä keskustelu.
Jos olet uusi käyttäjä, lue miten saat käyttöoikeuden Roihuun ja miten lähetät laskentatöitä. Jos olet valinnut LUMIn, lue LUMIn käytön aloitussivu. LUMIn käyttäjiä voi kiinnostaa myös LUMI AI Factoryn tarjoama AI-ohjelmistoympäristö.
Kaikki supertietokoneet tarjoavat myös selainkäyttöliittymän, jonka kautta voi helposti käynnistää esimerkiksi Jupyter Notebook -istunnon PyTorchilla. Huomaa, että GPU-resurssien käyttö on interaktiivisissa istunnoissa rajoitetumpaa.
Tutustu myös alaosioihin, jotka käsittelevät GPU-resurssien tehokasta hyödyntämistä, suurten aineistojen käsittelyä sekä moni-GPU- ja monisolmutöitä.
Pilvipalvelut¶
Pouta¶
On joitakin käyttötapauksia, joissa supertietokoneet eivät ole oikea ratkaisu ja saatat tarvita virtuaalipalvelimen Poudassa. Tyypillisiä esimerkkejä ovat:
- hyvin monimutkainen ohjelmistoympäristö,
- root-käyttöoikeuden tarve,
- sensitiivistä dataa sisältävä laskenta.
Poudassa saat oman virtuaalipalvelimen, johon sinulla on root- tai järjestelmänvalvojan käyttöoikeus. HPC- ja GPU-makuvaihtoehtoja on saatavilla raskaisiin laskentatarpeisiin, mutta laskentaresurssit ovat aina pienemmät kuin supertietokoneessa.
Erittäin sensitiivistä dataa sisältävään laskentaan tarjoamme myös ePouta-vaihtoehdon, joka soveltuu tapauksiin, joissa on korkeat tietoturvavaatimukset. ePoudassa virtuaalipalvelin integroidaan olemassa olevaan verkkoinfrastruktuuriisi.
Katso Poudan dokumentaatiosivuilta, miten käyttöoikeutta haetaan.
Lisälukemista Docs CSC:ssä¶
LUMIn käyttäjille suosittelemme myös LUMI AI Guidea, jonka on laatinut LUMIn käyttäjätuki, sekä LUMI AI Factoryn tarjoamaa AI-ohjelmistoympäristöä.