Statistiline masintõlge

Vauquois' püramiid: mida kõrgemal tasemel toimub ülekanne, seda keelteülesem on masintõlkesüsteem. Eeldusel, et sisendi analüüs kõrgemale tasemele on korrektne, paraneb ka tõlke kvaliteet

Statistiline masintõlge (SMT) on masintõlke paradigma, kus tõlked genereeritakse statistiliste mudelite abil. Parameetrid selle jaoks tuletatakse kakskeelse paralleelkorpuse analüüsi põhjal. Lisaks statistilisele masintõlkele on olemas ka reeglipõhine masintõlge ja näitepõhine masintõlge.

1949. aastal tutvustas Warren Weaver esimesi masintõlkeideid, sealhulgas ideed rakendada Claude Shannoni informatsiooniteooriat.

Idee

Statistilise masintõlke idee pärineb informatsiooniteooriast. Sisendtekst tõlgitakse vastavalt tõenäosusjaotusele p(e|f), nii et e on tekst lähtekeeles (näiteks inglise) ja f on teksti tõlge sihtkeeles (nt prantsuse).

$p(e|f)$ tõenäosusjaotuse modelleerimise probleemile on mitmeti lähenetud. Üks lähenemine, mida on hea arvutis implementeerida, on rakendada Bayesi teoreemi, mis on $p(e|f)\propto p(f|e)p(e)$, kus tõlkemudel $p(f|e)$ on tõenäosus, et lähtetekst on sihtteksti tõlge ja keelemudel $p(e)$ on selle teksti esinemise tõenäosus sihtkeeles. See jagab masintõlke probleemi kaheks alamprobleemiks: tõlkimine ja väljundi keelelise sujuvuse tagamine. Parima tõlke ${\tilde {e}}$ leidmist tehakse võttes kõige suurema tõenäosusega tõlge:

${\tilde {e}}=arg\max _{e\in e^{*}}p(e|f)=arg\max _{e\in e^{*}}p(f|e)p(e)$.

Selle valemi rangeks implementeerimiseks peaks proovima läbi kõik võimalikud kombinatsioonid $e^{*}$ sihtkeeles. Otsingu tõhus teostamine on masintõlke dekoodri ülesanne, mis kasutab lähteteksti, heuristikat ja teisi meetodeid, et piirata otsinguruumi ja samal ajal hoida kvaliteet vastuvõetav.

Kuna tõlkesüsteemis ei ole võimalik salvestada kõiki sihtkeele tekste ja nende tõlkeid, tõlgitakse tekst tavaliselt lause haaval. Keelemudelid on tavaliselt ligikaudsed n-grammide kattuvuse mudelid ja sarnased lähenemisviise kasutatakse tõlkemudelites. Keerukust lisavad erineva pikkusega laused ja sõnade järjekord eri keeltes. 

Statistilised masintõlke mudelid olid esialgu sõnapõhised (IBM-i peidetud Markovi mudelid 1–5 Stephan Vogelilt ja 6 mudelit Franz-Joseph Ochilt), kuid märkimisväärseid edusamme saavutati just fraasipõhiste mudelite kasutusele võtmisega. Hiljutised tööd on kaasanud süntaks- või kvaasi-süntatkilisi struktuure.

Eelised võrreldes muude masintõlkemeetoditega

Kõige tihedamini viidatud statistilise masintõlke meetodi eelised võrreldes reeglipõhise lähenemisega on järgmised:

• Efektiivsem inim- ja andmeressursside kasutus
  • On olemas suurtes kogustes paralleelkorpusi masinloetavas formaadis ja veel rohkem ühekeelseid andmeid.
  • Üldiselt ei ole SMT süsteemid ehitatud ühe konkreetse keelepaari tarvis.
  • Reeglipõhised tõlkesüsteemid vajavad lingvistiliste reeglite arendamist, mis võib osutuda kulukaks ja mis tihti ei üldistu hästi teistele keeltele.
• Korpuste suurenemisel põhimõtteliselt iseparenevad.
• Soravamad tõlked tänu keelemudelile.

Puudused võrreldes muude masintõlkemeetoditega

• Korpuse loomine võib osutuda kulukaks.
• Teatavad vead on raskesti ennustatavad ja raskesti parandatavad.
• Tõlke pindmise soravuse all võib peituda viga tähenduse tõlkes.
• Valdkondlik piiratus: kui korpus sisaldab tekste paljudest erineva keelekasutusega valdkondadest, muutuvad tulemused ebaühtlaseks.
• SMT töötab tavaliselt halvemini keelepaaridega, millel on oluliselt erinev lausestus.
• Lääne-Euroopa keelte vaheliste tõlgete tulemused ei esinda teisi keelepaare, millel on väiksem korpus ja mille vahel on suuremad grammatilised erinevused.

Sõnapõhine tõlge

Sõnapõhises tõlkes on fundamentaalne tõlkeühik sõna. Tüüpiliselt on sõnade arv liitsõnade, morfoloogia ja väljendite tõttu lähte- ja sihtkeeles erinev. Vahekorda lähtesõnade ja sihtsõnade arvu vahel nimetatakse viljakuseks, mis väljendab mitu sõna iga lähtesõna sihtkeeles esindab. Vastavalt informatsiooniteooriale on tarvis eeldada, et igale sõnale on täpselt üks õige tõlge. Praktikas ei ole see tõsi. Näiteks, eestikeelse sõna nurk võib hispaania keelde tõlkida kui rincón või kui esquina, sõltuvalt kas tegemist on sise- või välisnurgaga. 

Lihtne sõnapõhine tõlkesüsteem ei suuda tõlkida erineva viljakusega keelte vahel. Seda saab suhteliselt lihtsalt lahendada võimaldades süsteemil seada üks sõna vastavusse mitme sõnaga, kuid mitte vastupidi. Näiteks, kui tõlgime inglise keelest prantsuse keelde, siis iga sõna inglise keeles võib vastavusse seada suvalise arvu prantsuskeelsete sõnadega – või mõnikord mitte ühegagi. Aga ei ole võimalik rühmitada kahte ingliskeelset sõna, et seada vastavusse ühe prantsuskeelse sõnaga.

Näide sõnapõhisest SMT-süsteemist on vabalt kättesaadav GIZA++ pakett (GPLed), mis sisaldab treeninguprogrammi IBM mudelite, peidetud Markovi mudeli ja mudel 6 treenimiseks.

Sõnapõhised SMT-süsteemid ei ole 2016. aasta seisuga laialt kasutusel. Fraasipõhised süsteemid on tavapärasemad. Enamik fraasipõhiseid süsteeme kasutab GIZA++´i paralleelkorpusest väiksemate paralleelsete tekstiosade kättesaamiseks. Ühilduvate sõnade leidmine paralleeltekstis on probleemiks. Tänu GIZA++ laiale levikule on 2016. aasta seisuga saadaval selle mitu implementatsiooni.

Fraasipõhine tõlge

Fraasipõhises tõlkes on eesmärk vähendada sõnapõhise tõlke piiranguid, lubades tõlkida mitu sõna korraga. Neid mitut sõna kutsutakse plokiks või fraasiks, kuid tavaliselt ei ole tegemist lingvistilise fraasiga. On näidatud, et fraaside piiramine lingvistilisteks fraasideks halvendab tõlkekvaliteeti.