vrt-tools

vrt-tools on kokoelma työkaluja VRT (Vertical Text) -muotoisten korpustiedostojen käsittelyyn. Se sisältää tällä hetkellä yhden työkalun, vrt-to-json, joka muuntaa VRT-tiedostot JSON-muotoon.

vrt-to-json lukee VRT-syötettä, jossa token-rivien kenttien nimet annetaan erityiskommenteissa ja jossa rakenteen text-, paragraph- ja sentence-tasot on sisäkkäistetty oikein. Se kirjoittaa datan JSON-objekteina siten, että jokaisesta tokenista tulee nimettyjen kenttien JSON-objekti (tai arvojen taulukko sijaintipohjaisessa tilassa). Tuloste voidaan jakaa tiedostohierarkiaksi, jossa kussakin tiedostossa on token-rajoitus.

Saatavuus

Roihu: 1.0

Lisenssi

vrt-tools on avointa lähdekoodia ja lisensoitu MIT-lisenssillä.

Käyttö

Alusta vrt-tools komennolla:

module load vrt-tools

Muunna VRT-tiedosto JSON-muotoon ja jaa tuloste numeroituihin tiedostoihin, joissa on kussakin noin miljoona tokenia:

vrt-to-json --out=/path/to/##/part-##.json --limit=1000000 --nat=ref,dephead input.vrt

Tulostepolun #-merkit korvataan laskurin numeroilla. Useita VRT-tiedostoja voidaan myös yhdistää yhdeksi JSON-objektiksi vakiosyötteen kautta.

Lisätietoja

vrt-to-json-lähdekoodi ja dokumentaatio