Pythonin käyttö CSC:n supertietokoneilla
Joitakin tärkeitä Python-ohjelmointikielen käyttöön liittyviä asioita tehdään CSC:n supertietokoneilla huomattavan eri tavalla kuin omalla laitteella tai muissa HPC-ympäristöissä. Jotta saat käytettävissä olevista laskentaresursseista kaiken hyödyn irti, on hyvä tuntea nämä erot.
Katso Python-sovellussivu yleisiä tietoja varten Python-kielestä ja CSC:n supertietokoneille esiasennetuista Python-ympäristöistä.
Python-ympäristöjen luominen ja hallinta
Katso myös UKK-osiomme, jossa on yleisiä kysymyksiä Python-ympäristöistä supertietokoneilla.
Python-pakettien asentaminen olemassa oleviin moduuleihin
Jos on olemassa CSC:n tarjoama moduuli, joka kattaa melkein kaiken
tarvitsemasi, mutta siitä puuttuu muutama Python-paketti, voit yrittää
asentaa ne itse pip-paketinhallinnalla.
Katso pakettilistat Python-sovellussivultamme, jotta näet, mitkä paketit on asennettu olemassa oleviin moduuleihin. Jos mielestäsi jokin tärkeä paketti pitäisi sisällyttää oletuksena CSC:n tarjoamaan moduuliin, ota rohkeasti yhteyttä asiakastukeemme.
Suositeltu tapa lisätä paketteja olemassa olevan ympäristön päälle on käyttää venv:ä, joka on Pythonin vakiomoduuli kevyen "virtuaaliympäristön" luomiseen. Voit käyttää useita virtuaaliympäristöjä, esimerkiksi yhden jokaista projektia varten.
Esimerkiksi paketin nimeltä whatshap asentaminen
CSC:n tarjoaman python-data -moduulin päälle:
cd /projappl/<your_project> # change this to the appropriate path for your project
module load python-data
python3 -m venv --system-site-packages <venv_name>
source <venv_name>/bin/activate
pip install whatshap
Warning
Virtuaaliympäristö täytyy luoda oikea Python-moduuli aktivoituna, eli siinä ympäristössä, jossa aiot käyttää uusia paketteja.
Voit tarkistaa, mihin Pythoniin venv viittaa komennolla: readlink <venv_name>/bin/python3.
Toisin kuin esimerkiksi Tykky, venv luo ympäristölle uuden hakemiston,
joten sinun ei tarvitse luoda sitä etukäteen.
Muista käyttää --system-site-packages-valitsinta virtuaaliympäristöä
luodessasi, muuten ympäristö ei löydä
perusmoduulin esiasennettuja paketteja (esimerkiksi numpy:a
python-data:sta).
Myöhemmin, kun haluat käyttää virtuaaliympäristöä, sinun tarvitsee vain ladata moduuli ja aktivoida ympäristö:
Samoin virtuaaliympäristöä käytettäessä varmista, että perusmoduuli on todella ladattu. Tämä koskee luonnollisesti myös Slurm-työskriptejä.
Ongelmia virtuaaliympäristöjen kanssa
Joissakin erityistapauksissa CSC:n moduulit eivät välttämättä toimi oikein Pythonin virtuaaliympäristöjen kanssa. Kokeile ensin suorittaa export CW_FORCE_CONDA_ACTIVATE=1 ennen venvin aktivointia. Jos siitä ei ole apua, kokeile käyttää toisella välilehdellä kuvattua pip install --user -tapaa.
Toinen tapa asentaa lisäpaketteja on tehdä "käyttäjäasennus"
komennolla pip install --user. Tämä lähestymistapa on
periaatteessa helppokäyttöinen, koska se ei vaadi
virtuaaliympäristön perustamista. Paketin mukana tulevat komennot
eivät kuitenkaan välttämättä toimi suoraan (katso tämän osion lopun tietolaatikko).
Paketit asennetaan oletuksena kotihakemistoosi
polkuun .local/lib/pythonx.y/site-packages (missä x.y on
käytössä olevan Pythonin versio), paitsi Roihussa. Roihussa
lisäpakettien oletusasennuspolku määräytyy CPU-arkkitehtuurin mukaan:
.local/x86_64/lib/pythonx.y/site-packages
Roihu-CPU:lle ja .local/aarch64/lib/pythonx.y/site-packages
Roihu-GPU:lle.
Huomaa, että jos asennat paljon
paketteja, kotihakemistosi tila voi helposti loppua kesken.
Tämä voidaan välttää muuttamalla asennuskansiota niin, että
asennus tehdään projektikohtaisesti henkilökohtaisen asennuksen sijaan.
Tämä tehdään asettamalla PYTHONUSERBASE-ympäristömuuttuja
viittaamaan uuteen asennushakemistoon.
Esimerkiksi paketin whatshap lisääminen python-data-moduulin päälle:
module load python-data
export PYTHONUSERBASE=/projappl/<your_project>/my-python-env
pip install --user whatshap
Yllä olevassa esimerkissä paketti asennetaan nyt
projektin projappl-hakemistossa olevaan
my-python-env-hakemistoon. Suorita
unset PYTHONUSERBASE, jos haluat asentaa paketteja taas kotihakemistoosi.
Kun käytät kirjastoja myöhemmin, sinun täytyy määrittää PYTHONUSERBASE
uudelleen. Tämä koskee luonnollisesti myös Slurm-työskriptejä. Esimerkiksi:
Paketteja, jotka sisältävät suoritettavia tiedostoja
Useimmat Python-moduuleistamme on toteutettu kontteina. Jos asentamasi paketti sisältää myös suoritettavia tiedostoja, ne eivät välttämättä toimi suoraan, koska suoritettava tiedosto saattaa etsiä Python-tulkkia polusta, joka on kontin sisäinen. Saatat nähdä tällaisen virheilmoituksen:
whatshap: /CSC_CONTAINER/miniconda/envs/env1/bin/python3.9: bad interpreter: No such file or directory
Voit korjata tämän muokkaamalla suoritettavan tiedoston ensimmäistä riviä
(joka esimerkissämme löytyy komennolla which whatshap) osoittamaan
oikeaan Python-tulkkiin (löytyy komennolla which python3).
Esimerkissämme muokkaisimme tiedostoa ~/.local/bin/whatshap (~/.local/$(uname -m)/bin/whatshap Roihussa)
niin, että sen ensimmäinen rivi on seuraava:
Pip-asennukset, jotka vaativat kääntämistä
Kun paketti rakennetaan lähdekoodista, --no-build-isolation-valitsinta voidaan käyttää paketin kääntämiseen aktiivisen moduulin avulla sen sijaan, että pip loisi eristetyn rakennusympäristön.
Lisäksi voi olla hyödyllistä käyttää laveaa -v-valitsinta nähdäksesi, mitä pip tekee ympäristön sisällä.
Warning
Vaikka asentaisit Python-paketteja projappliin tai scratchiin,
pip-komento voi silti täyttää kotihakemistosi, koska se tallentaa
välimuistinsa sinne oletuksena. Katso UKK-merkintämme
pip-välimuistin määrittämisestä.
Omien Python-ympäristöjen luominen
On myös mahdollista luoda omia Python-ympäristöjä.
Pip on hyvä valinta Python-ympäristöjen hallintaan silloin, kun ne eivät perustu monimutkaisiin riippuvuussuhteisiin.
-
Helpoin tapa luoda mukautettu pip-ympäristö on käyttää
venv-moduulia, jota käsiteltiin edellisessä osiossa ja jossa itse asiassa näytetään täsmälleen, miten tämä tehdään. Jos et halua käyttää paketteja jostakin olemassa olevasta moduulista, jätä yksinkertaisesti pois--system-site-packages-valitsin virtuaaliympäristöä luodessasi. -
Toinen vaihtoehto on luoda pip-ympäristö kontin sisälle. Suoraviivaisin tapa tehdä tämä on käyttää Tykky-konttikäärettä. Jos haluat tietää, miten ympäristösi voidaan helposti kontittaa, katso Tykyn ohjeet pip-pohjaisiin asennuksiin.
-
Vaihtoehto Tykyn käytölle on luoda pip-ympäristö mukautetun Apptainer-kontin sisälle. Tämä on käytännöllinen valinta, jos esimerkiksi tiedät sopivan valmiin Apptainer- tai Docker-kontin. Lisätietoja Apptainer-konttien käytöstä löytyy aiheeseen liittyvästä dokumentaatiosta:
- Apptainer-konttien ajaminen
- Apptainer-konttien luominen, mukaan lukien Docker-konttien muuntaminen Apptainer-konteiksi.
Conda on helppokäyttöinen ja joustava, mutta se luo yleensä valtavan määrän tiedostoja, mikä ei sovi yhteen jaettujen tiedostojärjestelmien kanssa. Liiallinen tiedostomäärä voi aiheuttaa hyvin hitaita kirjastojen tuonteja ja pahimmillaan hidastaa koko tiedostojärjestelmää. Tämän vuoksi CSC on poistanut conda:n käytön suoran tuen supertietokoneilla tehtävissä suorissa asennuksissa. Voit kuitenkin edelleen luoda ja käyttää kontitettuja conda-ympäristöjä.
-
Suoraviivaisin tapa luoda kontitettu conda-ympäristö on käyttää Tykky-konttikäärettä. Jos haluat tietää, miten ympäristösi voidaan helposti kontittaa, katso Tykyn ohjeet conda-pohjaisiin asennuksiin.
-
Vaihtoehto Tykyn käytölle on luoda conda-ympäristö mukautetun Apptainer-kontin sisälle. Tämä on käytännöllinen valinta, jos esimerkiksi tiedät sopivan valmiin Apptainer- tai Docker-kontin. Lisätietoja Apptainer-konttien käytöstä löytyy aiheeseen liittyvästä dokumentaatiosta:
- Apptainer-konttien ajaminen
- Apptainer-konttien luominen, mukaan lukien Docker-konttien muuntaminen Apptainer-konteiksi.
Python-kehitysympäristöt
Python-skriptejä voidaan muokata suoraan CSC:n supertietokoneella
konsolipohjaisella tekstieditorilla,
kuten vim tai emacs. Näiden päätepohjaisten editorien lisäksi
useita graafisia ohjelmointiympäristöjä,
kuten Jupyter Notebookeja, Visual Studio Codea ja Spyderiä,
voidaan käyttää supertietokoneella
selainkäyttöliittymämme kautta.
Sen lisäksi, että koodia muokataan suoraan supertietokoneella, on myös mahdollista kehittää koodia etänä käyttämällä joitakin paikallisesti asennettavia editoreita, kuten Visual Studio Codea. Huomaa kuitenkin, että tämä tapa muodostaa yhteys CSC:n supertietokoneisiin on altis ongelmille eikä siksi ole täysin tuettu.
Lopuksi koodia voi tietenkin muokata paikallisella laitteella
ja kopioida sen supertietokoneelle komentorivityökaluilla, kuten
scp ja
rsync,
tai käyttämällä
graafisia tiedostonsiirtotyökaluja.
Jupyter
Jupyter Notebookit tarjoavat interaktiivisen ohjelmointiympäristön, jossa voidaan kirjoittaa ja suorittaa Python-koodia yksittäisissä soluissa. Notebookit yhdistävät koodin, yhtälöt, visualisoinnit ja selittävän tekstin yhteen dokumenttiin.
Jupyter-interaktiivisovellus
selainkäyttöliittymässämme mahdollistaa Jupyterin käytön CSC:n supertietokoneilla.
Monet Python-ympäristöistämme, mukaan lukien
python-data, python-geo
sekä syväoppimismoduulit kuten python-pytorch,
sisältävät tärkeimmät Jupyter-paketit, joten niitä voidaan käyttää sovelluksessa.
Sovelluksen dokumentaatiosivu sisältää
listan tuetuista ympäristöistä.
Visual Studio Code
Visual Studio Code (VSCode) on Microsoftin kehittämä laajasti käytetty lähdekoodieditori. Toisin kuin kaksi muuta tässä esiteltyä kehitysympäristöä, se ei ole riippuvainen mistään Python-paketeista, joten sitä voidaan käyttää oletuksena kaikkien CSC:n ja itse tehtyjen Python-ympäristöjen kanssa.
VSCodea voi käyttää CSC:n supertietokoneilla kahdella tavalla:
- Interaktiivisena sovelluksena selainkäyttöliittymässämme
- Etäkäytössä Remote-SSH-liitännäisen avulla (ei tuettu)
Mukautettujen ympäristöjen käyttäminen VSCodessa
Koska VSCode-istunnon käynnistyslomakkeessa tarjotaan vain CSC:n moduuleja, mukautettujen Python-ympäristöjen käyttäminen VSCodeen sisäänrakennettujen toimintojen, kuten virheenjäljityksen, kanssa edellyttää Python-tulkin polun muuttamista istunnon käynnistymisen jälkeen. Tämä voidaan tehdä napsauttamalla VSCode-ikkunan oikeassa alakulmassa näkyviä Python-version tietoja.
Spyder
Spyder on tieteellinen Python-kehitysympäristö. python-data- ja python-geo -moduuleihin sisältyy Spyder. Paras tapa käyttää sitä on Roihun selainkäyttöliittymän etätyöpöydän kautta.
Pythonin rinnakkaistyöt
Pythonille on useita rinnakkaislaskennan kirjastoja. Alla on muutamia ehdotuksia:
- multiprocessing – prosessipohjainen rinnakkaisuus
- joblib – Python-funktioiden ajaminen putkityötehtävinä
- dask – yleiskäyttöinen rinnakkaisohjelmoinnin ratkaisu
- mpi4py – Pythonin MPI-sidonnat
multiprocessing-paketti on todennäköisesti helpoin käyttää. Koska se on osa
Pythonin standardikirjastoa, se sisältyy oletuksena kaikkiin Python-asennuksiin.
joblib tarjoaa tähän verrattuna hieman enemmän joustavuutta. Nämä kaksi pakettia soveltuvat
yhden solmun rinnakkaistamiseen (enintään 384 ydintä Roihu-CPU-solmulla).
dask on näistä monipuolisin ja tarjoaa useita vaihtoehtoja
rinnakkaistamiseen. Katso CSC:n Dask-opas
esimerkkejä varten sekä yhden solmun (enintään 384 ydintä Roihu-CPU-solmulla) että usean solmun rinnakkaistamisesta.
Lisäksi CSC Trainingin GitHub-organisaatiossamme on esimerkkejä
eri rinnakkaistamisvaihtoehtojen käytöstä Roihussa.
Yllä mainituista neljästä paketista esimerkkejä on tarjolla
multiprocessing:lle, joblib:lle ja dask:lle.
mpi4py-paketti sisältyy PyTorch-ympäristöömme.
Se on yleensä tehokkain vaihtoehto usean solmun töihin, joissa rinnakkaistaminen ei ole triviaalia.