vLLM

Nopea ja helppokäyttöinen kirjasto LLM-päättelyyn ja tarjoiluun.

Uutiset

25.9.2026 vLLM-versio 0.29.0 asennettu Roihuun, mukana tuki monille uusille malleille

7.4.2026 vLLM nyt saatavilla erillisenä moduulina Roihu-GPU:ssa

Saatavilla

Tällä hetkellä tuetut vLLM-versiot:

Version	Module	Notes
0.29.0	`python-vllm/0.29.0`	Default
0.19.1	`python-vllm/0.19.1`
0.18.0	`python-vllm/0.18.0`

Sisältää vLLM, PyTorchin ja siihen liittyviä kirjastoja GPU-tuella CUDA:n/ROCm:n kautta.

PyTorch vai vLLM

Jos et erityisesti tarvitse vLLM:ää, suosittelemme käyttämään sen sijaan täyttä PyTorch-moduulia, joka sisältää enemmän paketteja.

Jos huomaat, että jokin paketti puuttuu, voit usein asentaa sen itse käyttämällä komentoa pip install. On suositeltavaa käyttää Pythonin virtuaaliympäristöjä. Katso Python-dokumentaatiostamme lisätietoja siitä, kuinka asentaa paketteja itse. Jos mielestäsi jokin tärkeä paketti pitäisi sisällyttää CSC:n tarjoamaan moduuliin, ota yhteyttä asiakastukeemme.

Jos muutaman paketin lisääminen pip:llä ei riitä, voit myös rakentaa omat konttisi, esimerkiksi laajentamalla CSC:n koneoppimiskontteja.

Kaikki moduulit perustuvat kontteihin, jotka käyttävät Apptaineria (aiemmin tunnettu nimellä Singularity). Tarjolla on wrapper-skriptejä, jotta yleiset komennot kuten python, python3, pip ja pip3 toimivat normaalisti.

Lisenssi

vLLM kuuluu Apache License 2.0:n piiriin.

Käyttö

Oletusversion lataaminen Roihu-GPU:ssa:

module load python-vllm

Jos haluat käyttää tiettyä versiota (katso yllä saatavilla olevat versiot), käytä:

module load python-vllm/0.19.1

Voit tarkistaa ladattuun moduuliin sisältyvät tarkat paketit ja versiot suorittamalla:

pip list

Esimerkkiskripti käyttöön

Katso vLLM-osio CSC:n koneoppimisen oppaassa, jossa on linkkejä esimerkkiskriptiin vLLM:n käyttämiseksi Roihussa.

Myös koko koneoppimisen opas voi olla hyödyllinen.