EstSum

EstSum on eestikeelsete tekstide sisukokkuvõtja, mis on loodud rootsi keele sisukokkuvõtja SWESUM eeskujul.

EstSumi autor on Kaili Müürisep. EstSum kasutab kokkuvõtte genereerimiseks väljavalimismeetodit, kuid on orienteeritud veebis avaldatud uudiste ja ajaleheartiklite indikatiivsele sisukokkuvõttele. Selle algset versiooni on võimalik katsetada vanade artiklitega (2007–2008) veebis.

Kirjeldus

EstSum koosneb kolmest moodulist: HTML-konverter, lausestaja ja väljavõtete tegija. HTML-konverter eemaldab sisukokkuvõtte jaoks ebaolulised HTML-märgendid, normaliseerib ristuvad märgendid, eemaldab tabelid ja teisendab sisendi SGML-vormingusse. Uues vormingus märgendatakse tekstis oluline šriftiinformatsioon, autorid, pildiallkirjad ja eri pealkirjad.

EstSum genereerib sisukokkuvõtteid, kasutades H. P. Edmundsoni lausetele kaalu arvutamise meetodi omaga sarnast valemit:

$W(s)=\alpha P(s)+\beta F(s)+\gamma K(s)$,

kus $W(s)$ on lause $s$ kaal, $P(s)$ on positsioonipõhine skoorifunktsioon, $F(s)$ on vormingupõhine skoorifunktsioon, $K(s)$ on sõnasageduste põhine skoorifunktsioon ja $\alpha$, $\beta$ ja $\gamma$ on konstandid. Tunnuste kaalud ja konstantide väärtused on määratud väikese testkorpuse (20 ajalehe Postimees artikli käsitsi koostatud sisukokkuvõtet) alusel. Testkorpus näitas, et kõige tähtsam on positsioonipõhine kaal ja kõige ebaolulisem on sõnasagedust arvestav kaal. Samas vormingupõhine kaal oli oluline ainult üksikutes lausetes, sest see arvestas lause kirjatüüpi ja lauses olevaid kirjavahemärke.

EstSum kasutab ära asjaolu, et kokkuvõtte jaoks vajalikud laused asuvad enamasti lõigu alguses ning suurendab seeläbi ka lõikude esimeste lausete kaalu. Samuti eelistab see lauseid, mis on kirjutatud kald- või paksus kirjas. Samas jutu-, hüüu- ja küsimärgid alandavad lause kaalu. Lisaks arvestatakse lause kaalu leidmisel ka võtmesõnu, eriti sõnu, mis leiduvad pealkirjades. Samas võtmesõnadest eemaldatakse sõnad, mis on üldiselt sagedased. Selleks kasutatakse sõnaloendit, kus on märgitud kõige sagedasemad sõnad eesti keeles, mis saadi 400 000 ajaleheartikli läbitöötamisel.

EstSum kasutab väljavalimismeetodit, mis tähendab, et see valib lauseid lähtetekstist, et genereerida kokkuvõte. Sellise meetodi kasutamise tagajärjel võib aga juhtuda, et genereeritud kokkuvõte ei ole sidus. See tähendab, et lausetes võivad esineda asesõnad, mis kokkuvõtte sisust lähtudes ei viita millelegi.

Tulemuslikkus

Kui Müürisep hindas oma algoritmi tulemuslikkust, siis leidis ta, et algoritmi valitud laused kattuvad ~60% ulatuses tema valitud lausetega. Samuti on EstSumi tulemuslikkust analüüsinud Keili Sellik enda bakalaureusetöös, kus ta leidis, et EstSumi genereeritud kokkuvõtted kattusid keskmiselt 65,29% ulatuses tema enda tehtud kokkuvõtetega. Lisaks hindas Sellik EstSumi tulemuslikkust ka ROUGE programmiga, mis andis tulemuseks, et lausete kattuvus on keskmiselt 68,96%.

Tulevikuplaanid

EstSumi autori esmane soov on lisada programmile lingvistiline moodul. Selle mooduli lisamine võimaldaks programmil arvestada sõnade algvormidega. See aga võimaldaks teha võtmesõnadest parema statistika ning seeläbi ka tõsta sõnasageduste kaalu mõju. Samuti soovib autor rakendada programmile asesõnade lahutamise algoritme, et suurendad genereeritud kokkuvõtete siduvust.

Välislingid

1. Loe SWESUMi kohta.
2. Katseta EstSumi siin.