Hyppää sisältöön

Welcome to our weekly research support coffee hour on Zoom! Click here for more information.

Warning!

Puhti scratch disk is becoming very full (80+ % ) resulting in performance degradation. Everybody is advised to only keep actively processed data on scratch, all other data should be deleted, transferred to host institute or stored in Lumi-O. No new quota will be granted. Click here for a tool for examining your disk usage.

Python-asennusongelmien vianmääritys

Suorita which python3, jotta näet, oletko todella siinä ympäristössä, jossa odotat olevasi

Muutamia esimerkkejä:

$ module purge
$ which python3
/usr/bin/python3   # ← system Python

$ module load python-data
$ which python3
/appl/soft/ai/tykky/python-data-2024-04-update2/bin/python3

$ module load geoconda
$ which python3
/appl/soft/geo/geoconda/3.11.10/bin/python3

$ module load pytorch
$ which python3
/appl/soft/ai/wrap/pytorch-2.6/bin/python3

$ module load pytorch
$ source venv-pytorch2.6/bin/activate  # ← activating virtual environment
$ which python3
/scratch/project_2001659/mvsjober/venv-pytorch2.6/bin/python3

Voit myös tarkistaa Python-version:

python3 --version

Käytä komentoa pip3 list -v selvittääksesi, mistä pakettisi tulevat

Python-asennusongelmien vianmäärityksessä näemme usein, että käyttäjät ovat asentaneet omia versioitaan paketeista, jotka voivat olla ristiriidassa CSC:n esiasennetuista moduuleista tulevien pakettien kanssa. On hyvin helppoa unohtaa jotain, jonka asensit kauan sitten, ja on myös helppoa olla huomaamatta, että pip asentaa joitakin lisäpaketteja, joista et ole tietoinen.

Muistutuksena katso Pythonin käyttöopas, jossa kerrotaan, miten voit asentaa omia pakettejasi CSC:n Python-asennusten päälle.

Komento pip3 list -v on helppo tapa selvittää, mistä pakettisi tulevat. Lista voi olla hyvin pitkä, joten kannattaa ehkä käyttää less-komentoa saadaksesi näkymän, jossa voit vierittää ylös ja alas, tai grep-komentoa poimiaksesi sinua kiinnostavat rivit.

pip3 list -v | less

less-ohjelmassa voit käyttää nuolinäppäimiä tai Page Up- ja Page Down -näppäimiä liikkuaksesi. Lopeta painamalla q.

Alla on esimerkki (josta on poistettu monia rivejä), jossa käytetään python-data- moduulia yhdessä venvin kanssa sekä joitakin käyttäjän kotihakemistoon asennettuja paketteja.

Package    Version  Location                                                                Installer
---------- -------- ----------------------------------------------------------------------- ---------
aiohttp    3.9.3    /PUHTI_TYKKY_FRQGCcR/miniconda/envs/env1/lib/python3.10/site-packages   conda    # ← tykky
alembic    1.13.1   /PUHTI_TYKKY_FRQGCcR/miniconda/envs/env1/lib/python3.10/site-packages   pip      # ← tykky
..
biopython  1.85     /users/mvsjober/.local/lib/python3.10/site-packages                     pip      # ← user's home
..
cowsay     6.1      /projappl/project_2001659/mvsjober/my-venv/lib/python3.10/site-packages pip      # ← project venv

Tulosteessa pip3 list -v tarkista sarake Location. Yllä olevassa esimerkissä paketit, joiden sijainti alkaa polulla /PUHTI_TYKKY_, ovat python-data-moduulista tulevia paketteja, joka on asennettu Tykkyllä. Huomaa, että nämä ovat polkuja Tykkyllä luodun kontin sisällä. Paketti biopython näyttää olevan asennettu käyttäjän kotihakemistoon, kun taas cowsay on käyttäjän venv- virtuaaliympäristössä, joka löytyy projektikansiosta.

Jos haluat nähdä vain paketit, jotka eivät tule CSC:n asentamasta python-data-moduulista:

pip3 list -v | grep -v /PUHTI_TYKKY

Huomaa, että jotkin moduulit eivät käytä Tykkyä ja Condaa. Esimerkiksi pytorchissa paketit on asennettu hakemistoihin /usr/local/lib tai /usr/local/lib64. Huomaa, että nämä ovat polkuja pytorch-kontin sisällä.

Package    Version  Location                                  Installer
---------- -------- ----------------------------------------- ---------
absl-py    1.4.0    /usr/local/lib/python3.11/site-packages   pip      # ← pytorch container
aiohttp    3.11.10  /usr/local/lib64/python3.11/site-packages pip      # ← pytorch container

Suomenkielinen tekoälykäännös

Sisällössä voi esiintyä virheellistä tietoa tekoälykäännöksestä johtuen.

Klikkaa tästä antaaksesi palautetta