Hyppää sisältöön

Docs CSC now features an automatic Finnish translation. Click here for more information.

Warning!

Puhti and Mahti are being decommissioned in stages, and their storage areas will become fully unavailable from 15 October 2026. Clean up unnecessary files and move any data you need to keep by 31 August 2026. See the Roihu data migration guide for instructions on transferring your data to Roihu.

Puhti scratch is very full: keep only active data there and move or delete everything else. No new Puhti scratch quota will be granted.

UDPipe

UDPipe on koulutettava putki luonnollisen kielen tekstin tokenisointiin, sanaluokkien tunnistukseen, lemmatisointiin ja riippuvuusanalyysiin. Sitä kehitetään Charles Universityn formaalin ja soveltavan kielitieteen instituutissa (ÚFAL), ja se toimii valmiiksi koulutetuilla malleilla Universal Dependencies -puupankeille kattaen laajan valikoiman kieliä.

Saatavuus

  • Puhti: 1.4.0
  • Roihu: 1.4.0

Lisenssi

UDPipe-ohjelmisto on lisensoitu Mozilla Public License 2.0 -lisenssillä. Valmiiksi koulutetut kielimallit jaetaan CC BY-NC-SA -lisenssillä, ja ne on siksi rajattu ei-kaupalliseen käyttöön; joihinkin malleihin voi liittyä lisäehtoja niiden alkuperäisestä koulutusdatasta.

Käyttö

Alusta UDPipe komennolla:

module load udpipe

Valmiiksi koulutetut mallit ovat saatavilla hakemistossa $UD_MODELS. Listaa asennetut mallit komennolla:

ls $UD_MODELS

Tekstin sanaluokkien tunnistusta ja riippuvuusanalyysiä varten anna UDPipelle mallitiedosto ja syöte. Esimerkiksi suomenkielisen tekstin käsittelyyn, kun syötteessä on yksi virke riviä kohden (vaakasuuntainen syöte):

echo "Hän istuu." | udpipe --tag --parse --input=horizontal --immediate \
  $UD_MODELS/finnish-ftb-ud-2.5-191206.udpipe

Lisätietoja

Suomenkielinen tekoälykäännös

Sisällössä voi esiintyä virheellistä tietoa tekoälykäännöksestä johtuen.

Klikkaa tästä antaaksesi palautetta

Ymmärrän.