trankit
trankit on kevyt transformer-pohjainen Python-työkalupakki monikieliseen luonnollisen kielen käsittelyyn (NLP). Se tarjoaa opetettavia putkia keskeisiin NLP-tehtäviin, kuten virkkeiden segmentointiin, tokenisointiin, sanaluokkien tunnistukseen, morfologisten piirteiden tunnistukseen, lemmatisointiin ja riippuvuusanalyysiin useilla kielillä.
Saatavuus
- Puhti: 1.1.0
- Roihu: 1.1.0
Lisenssi
trankit on avointa lähdekoodia, ja se on lisensoitu Apache License 2.0 -lisenssillä.
Käyttö
Alusta trankit komennolla:
CSC:n järjestelmissä trankitia ajetaan komentorivikäyttöliittymästä komennolla python -m trankit. Se jäsentää pelkkää tekstiä sisältäviä tiedostoja (UTF-8) tasaisesta syötehakemistosta ja kirjoittaa yhden JSON-muotoisen tulostiedoston kutakin syötetiedostoa kohti tyhjään tuloshakemistoon. Tuettuja syötemuotoja on kolme: plaindoc (pelkkä teksti), plainsen (yksi virke riviä kohti) ja pretok (esitokenisoitu, yksi token riviä kohti, virkkeet erotettu tyhjillä riveillä).
Jaetut kielimallit ovat saatavilla hakemistossa $LB_MODELS. Esimerkiksi suomenkielisen tekstin jäsentämiseen:
python -m trankit --input /directory/with/input/files \
--output_dir /directory/with/output/files \
--input_format plaindoc \
--cache_dir $LB_MODELS \
--lang finnish
trankit tuottaa JSON-muotoista tulostetta. Oheisskripti trankit2conllu muuntaa sen CoNLL-U-muotoon:
Saat lisää ohjeita moduulin lataamisen jälkeen komennolla module help trankit. trankitia voi käyttää myös Python-kirjastona; katso lisätietoja alkuperäisestä dokumentaatiosta.