vrt-tools

vrt-tools on kokoelma työkaluja VRT (Vertical Text) -muotoisten korpustiedostojen käsittelyyn. Se sisältää tällä hetkellä yhden työkalun, vrt-to-json, joka muuntaa VRT-tiedostoja JSON-muotoon.

vrt-to-json lukee VRT-syötettä, jossa token-rivien kenttien nimet annetaan erityisissä kommenteissa ja jossa rakenteen text-, paragraph- ja sentence-tasot on sisäkkäistetty oikein. Se kirjoittaa datan JSON-olioina siten, että jokaisesta tokenista tulee nimettyjä kenttiä sisältävä JSON-olio (tai arvojen taulukko sijaintitilassa). Tuloste voidaan jakaa tiedostohierarkiaksi siten, että kussakin tiedostossa on enintään tietty määrä tokeneita.

Saatavuus

Puhti: 1.0
Roihu: 1.0

Lisenssi

vrt-tools on avointa lähdekoodia ja lisensoitu MIT-lisenssillä.

Käyttö

Alusta vrt-tools komennolla:

module load vrt-tools

Muunna VRT-tiedosto JSON-muotoon ja jaa tuloste numeroituihin tiedostoihin, joissa kussakin on noin miljoona tokenia:

vrt-to-json --out=/path/to/##/part-##.json --limit=1000000 --nat=ref,dephead input.vrt

Tulostepolun #-merkit korvataan laskurin numeroilla. Useita VRT-tiedostoja voidaan myös yhdistää yhdeksi JSON-olioksi vakiosyötteen kautta.

Lisätietoja

vrt-to-json-lähdekoodi ja dokumentaatio