HeLI-OTS
HeLI-OTS (Helsingin kielentunnistusmenetelmä — valmisversio) on kielentunnistin, joka tunnistaa, millä kielellä teksti on kirjoitettu. Sen mukana toimitetaan kielimallit 220 kielelle, jotka on tunnistettu ISO 639-3 -koodeilla, ja se pystyy käsittelemään yhdellä CPU-ytimellä noin sadoista yli tuhanteen virkettä sekunnissa.
Saatavuus
- Puhti: 2.0
- Roihu: 2.0
Lisenssi
HeLI-OTS on lisensoitu Creative Commons Attribution 4.0 International (CC BY 4.0) -lisenssillä. Jos käytät sitä akateemisessa työssä, viittaa seuraavaan julkaisuun:
Tommi Jauhiainen, Heidi Jauhiainen and Krister Lindén (2022). HeLI-OTS, Off-the-shelf Language Identifier for Text. Proceedings of the Language Resources and Evaluation Conference (LREC 2022), pages 3912–3922.
Käyttö
Alusta HeLI-OTS komennolla:
HeLI-OTS on Java-sovellus; CSC:n järjestelmissä moduuli tarjoaa heliots-käärekomennon. Se lukee tekstin syötetiedostosta ja kirjoittaa tunnistetun kielen jokaiselle riville tulostiedostoon:
Hyödyllisiä valintoja ovat -c (luottamuspisteet), -t (useita järjestettyjä kieliarvauksia), -l (rajoitus kielten osajoukkoon) ja -s (kielijoukon tunnistus). Kun moduuli on ladattu, suorita module help heliots, niin saat lisätietoja CSC:n asennuksesta.