vLLM

Nopea ja helppokäyttöinen kirjasto LLM-inferenssiin ja tarjoiluun.

Uutiset

7.4.2026 vLLM on nyt saatavilla erillisenä moduulina Roihu-GPU:ssa

Saatavilla

Tällä hetkellä tuetut vLLM-versiot:

Version	Module	Notes
0.19.1	`python-vllm/0.19.1`	Default
0.18.0	`python-vllm/0.18.0`

Sisältää vLLM, PyTorchin ja siihen liittyviä kirjastoja GPU-tuella CUDA:n/ROCm:n kautta.

PyTorch vs vLLM

Jos et erityisesti tarvitse vLLM:ää, suosittelemme käyttämään sen sijaan täyttä PyTorch-moduulia, joka sisältää enemmän paketteja.

Jos huomaat, että jokin paketti puuttuu, voit usein asentaa sen itse komennolla pip install. On suositeltavaa käyttää Pythonin virtuaaliympäristöjä. Katso Python-dokumentaatiostamme lisätietoja pakettien asentamisesta itse. Jos mielestäsi jokin tärkeä paketti pitäisi sisällyttää CSC:n tarjoamaan moduuliin, ota yhteyttä asiakastukeemme.

Kaikki moduulit perustuvat Apptaineria käyttäviin kontteihin (tunnettiin aiemmin nimellä Singularity). Tarjolla on wrapper-skriptejä, jotta yleiset komennot kuten python, python3, pip ja pip3 toimivat normaalisti.

Lisenssi

vLLM kuuluu Apache License 2.0:n piiriin.

Käyttö

Oletusversion lataaminen Roihu-GPU:ssa:

module load python-vllm

Jos haluat käyttää tiettyä versiota (katso yllä saatavilla olevat versiot), käytä:

module load python-vllm/0.18.0

Voit tarkistaa ladattuun moduuliin sisältyvät tarkat paketit ja versiot ajamalla:

pip list

Esimerkkiskripti käyttöön

Katso vLLM-osio CSC:n koneoppimisen oppaasta, jossa on linkkejä esimerkkiskriptiin vLLM:n käyttämiseksi Roihussa.

Myös koko koneoppimisen opas saattaa olla hyödyllinen.