trankit

trankit on kevyt transformer-pohjainen Python-työkalupakki monikieliseen luonnollisen kielen käsittelyyn (NLP). Se tarjoaa opetettavia putkia keskeisiin NLP-tehtäviin, kuten virkkeiden segmentointiin, tokenisointiin, sanaluokkien tunnistukseen, morfologisten piirteiden tunnistukseen, lemmatisointiin ja riippuvuusanalyysiin monilla kielillä.

Saatavuus

• Roihu: 1.1.0

Lisenssi

trankit on avointa lähdekoodia, ja se on lisensoitu Apache License 2.0 -lisenssillä.

Käyttö

Alusta trankit komennolla:

module load trankit

CSC:n järjestelmissä trankitia ajetaan komentoriviltä komennolla python -m trankit. Se jäsentää raakatekstitiedostoja (UTF-8) tasaisesta syötehakemistosta ja kirjoittaa yhden JSON- muotoisen tulostiedoston kutakin syötetiedostoa kohti tyhjään tuloshakemistoon. Kolmea syötemuotoa tuetaan: plaindoc (raakateksti), plainsen (yksi virke per rivi) ja pretok (esitokenisoitu, yksi token per rivi, virkkeet erotettu tyhjillä riveillä).

Jaetut kielimallit ovat saatavilla hakemistossa $LB_MODELS. Esimerkiksi suomenkielisen tekstin jäsentämiseen:

python -m trankit --input /directory/with/input/files \
  --output_dir /directory/with/output/files \
  --input_format plaindoc \
  --cache_dir $LB_MODELS \
  --lang finnish

trankit tuottaa JSON-muotoista tulostetta. Oheisskripti trankit2conllu muuntaa sen CoNLL-U-muotoon:

trankit2conllu --input /path/to/trankit/output \
  --output_dir /path/to/conllu-output

Lisäohjeita saat moduulin lataamisen jälkeen komennolla module help trankit. trankitia voi käyttää myös Python-kirjastona; katso lisätietoja alkuperäisestä dokumentaatiosta.

Lisätietoja

• trankit GitHubissa
• trankitin dokumentaatio
• Metatietotietue Kielipankissa

Onko tämä sivu hyödyllinen?

Kyllä

Kiitos palautteestasi!

Ei

Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä .