TensorFlow

Pythonin syväoppimiskehys.

Uutiset

16.6.2026 TensorFlow on nyt saatavilla Roihu-GPU:ssa, ja moduulin nimi on muutettu muotoon python-tensorflow.

5.10.2022 Puhdin Red Hat Enterprise Linux 8 -päivityksen (RHEL8) vuoksi täysin tuettujen TensorFlow-versioiden määrää on vähennetty. Aiemmin vanhentuneiksi merkityt Conda-pohjaiset versiot on poistettu. Ota yhteyttä asiakastukeemme, jos todella tarvitset pääsyn vanhempiin versioihin.

5.5.2022 Mahdin Red Hat Enterprise Linux 8 -päivityksen (RHEL8) vuoksi täysin tuettujen TensorFlow-versioiden määrää on vähennetty. Ota yhteyttä asiakastukeemme, jos todella tarvitset pääsyn muihin versioihin.

4.2.2022 Kaikki vanhat TensorFlow-versiot, jotka perustuivat suoriin Conda- asennuksiin, on merkitty vanhentuneiksi, ja kannustamme käyttäjiä siirtymään uudempiin versioihin. Lue lisää erilliseltä Condan käytöstäpoistosivultamme.

Saatavilla

Tällä hetkellä tuetut TensorFlow-versiot:

Versio	Moduuli	Roihu-GPU	Puhti	Mahti	LUMI	Huomautukset
2.21.0	`python-tensorflow/2.21`	X	-	-	-	Oletus Roihu-GPU:ssa
2.18.0	`tensorflow/2.18`		X	X	-	Oletus Puhdissa, Mahdissa
2.17.0	`tensorflow/2.17`		X	X	-
2.16.1	`tensorflow/2.16`		-	-	X	Oletus LUMIssa
2.15.0	`tensorflow/2.15`		X	X	-
2.14.0	`tensorflow/2.14`		X	X	-
2.13.0	`tensorflow/2.13`		X	X	-
2.12.0	`tensorflow/2.12`		X	X	X
2.11.0	`tensorflow/2.11`		X	X	X
2.10.0	`tensorflow/2.10`		X	X	X
2.9.0	`tensorflow/2.9`		X	X	X
2.8.0	`tensorflow/2.8`		X	X	X

Sisältää TensorFlow'n ja Kerasin GPU-tuella CUDA:n/ROCm:n kautta.

Jos huomaat, että jokin paketti puuttuu, voit usein asentaa sen itse komennolla pip install. On suositeltavaa käyttää Pythonin virtuaaliympäristöjä. Katso Python-dokumentaatiostamme lisätietoja pakettien asentamisesta itse. Jos mielestäsi jokin tärkeä paketti pitäisi sisällyttää CSC:n tarjoamaan moduuliin, ota yhteyttä asiakastukeemme.

Kaikki moduulit perustuvat Apptaineria käyttäviin kontteihin (aiemmin tunnettu nimellä Singularity). Tarjolla on wrapper-skriptejä, jotta yleiset komennot kuten python, python3, pip ja pip3 toimivat normaalisti. Muiden komentojen kohdalla ne pitää ajaa etuliitteellä apptainer_wrapper exec, esimerkiksi apptainer_wrapper exec huggingface-cli. Lisätietoja on CSC:n yleisissä ohjeissa Apptainer- konttien ajamisesta.

Jotkin moduulit tukevat Horovodia, joka on suositeltu kehyksemme monen solmun töihin eli töihin, jotka tarvitsevat yli 4 GPU:ta Puhdissa ja Mahdissa. Horovodia voidaan käyttää myös yhden solmun töissä 2–4 GPU:lle. Lisätietoja on koneoppimisen oppaamme Multi-GPU-osiossa.

Lisenssi

TensorFlow on lisensoitu Apache License 2.0:lla.

Käyttö

Käyttääksesi TensorFlow'n oletusversiota Roihu-GPU:ssa, alusta se komennolla:

module load python-tensorflow

Käyttääksesi PyTorchia Puhdissa tai Mahdissa:

module load tensorflow

Käyttääksesi TensorFlow'ta LUMIssa:

module use /appl/local/csc/modulefiles/
module load tensorflow

Jos haluat käyttää tiettyä versiota (katso yllä saatavilla olevat versiot), käytä:

module load python-tensorflow/2.21  # on Roihu-GPU
module load tensorflow/2.12         # on other systems

Huomaa, että moduulit sisältävät jo CUDA-/ROCm-kirjastot, joten cuda- tai rocm-moduuleja ei tarvitse ladata erikseen!

Tämä komento näyttää myös kaikki saatavilla olevat versiot:

module avail python-tensorflow  # on Roihu-GPU
module avail tensorflow         # on other systems

Voit tarkistaa ladattuun moduuliin sisältyvät tarkat paketit ja versiot ajamalla:

pip list

Warning

Huomaa, että kirjautumissolmuja ei ole tarkoitettu raskaaseen laskentaan, käytä sen sijaan slurm-eräajoja. Katso ohjeemme eräajojärjestelmän käyttöön.

Esimerkkieräajokomentosarja

Esimerkkieräajokomentosarja yhden GPU:n ja 1/4:n (LUMIssa 1/8:n) käytettävissä olevista CPU-ytimistä varaamiseen yhdellä solmulla:

Roihu-GPUPuhtiMahtiLUMI

#!/bin/bash
#SBATCH --account=<project>
#SBATCH --partition=gpumedium
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=72
#SBATCH --gres=gpu:gh200:1
#SBATCH --time=1:00:00

module load python-tensorflow/2.21
srun python3 myprog.py <options>

#!/bin/bash
#SBATCH --account=<project>
#SBATCH --partition=gpu
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
#SBATCH --mem=64G
#SBATCH --time=1:00:00
#SBATCH --gres=gpu:v100:1

module load tensorflow/2.14
srun python3 myprog.py <options>

#!/bin/bash
#SBATCH --account=<project>
#SBATCH --partition=gpusmall
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=32
#SBATCH --time=1:00:00
#SBATCH --gres=gpu:a100:1

module load tensorflow/2.14
srun python3 myprog.py <options>

#!/bin/bash
#SBATCH --account=<project>
#SBATCH --partition=small-g
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=7
#SBATCH --gpus-per-node=1
#SBATCH --mem=60G
#SBATCH --time=1:00:00

module use /appl/local/csc/modulefiles/
module load tensorflow/2.12
srun python3 myprog.py <options>

Lue osio GPU:n tehokkaasta hyödyntämisestä koneoppimisen oppaassamme, jotta opit käyttämään GPU:ta tehokkaasti.

Suuret aineistot, multi-GPU ja monen solmun työt

Jos työskentelet suurten aineistojen kanssa tai aineistojen, jotka sisältävät paljon tiedostoja, lue koneoppimisen oppaamme dataosio. Erityisesti älä lue valtavaa määrää tiedostoja jaetusta tiedostojärjestelmästä, vaan käytä nopeaa paikallislevyä tai paketoi datasi suurempiin tiedostoihin!

Multi-GPU- ja monen solmun töitä varten lue koneoppimisen oppaamme Multi-GPU- ja monen solmun osio