Statistiline masintõlge

Allikas: Vikipeedia
Vauquois´ püramiid
Vauquois' püramiid: mida kõrgemal tasemel toimub ülekanne, seda keelteülesem on masintõlkesüsteem. Eeldusel, et sisendi analüüs kõrgemale tasemele on korrektne, paraneb nii ka tõlke kvaliteet.

Statistiline masintõlge (SMT) on masintõlke paradigma, kus tõlked genereeritakse statistiliste mudelite abil. Parameetrid selle jaoks tuletatakse kakskeelse paralleelkorpuse analüüsi põhjal. Lisaks statistilisele masintõlkele on olemas ka reeglipõhine masintõlge ja näitepõhine masintõlge.[1]

1949 tutvustas Warren Weaver esimesi masintõlkeideid,[2] sealhulgas ideed rakendada Claude Shannoni informatsiooniteooriat.

Idee[muuda | muuda lähteteksti]

Statistilise masintõlke idee pärineb informatsiooniteooriast. Sisendtekst tõlgitakse vastavalt tõenäosusjaotusele p(e|f), nii et e on tekst lähtekeeles (näiteks inglise) ja f on teksti tõlge sihtkeeles (nt prantsuse).

 tõenäosusjaotuse modelleerimise probleemile on mitmeti lähenetud. Üks lähenemine, mida on hea arvutis implementeerida, on rakendada Bayesi teoreemi, mis on , kus tõlkemudel  on tõenäosus, et lähtetekst on sihtteksti tõlge ja keelemudel  on selle teksti esinemise tõenäosus sihtkeeles. See jagab masintõlke probleemi kaheks alamprobleemiks: tõlkimine ja väljundi keelelise sujuvuse tagamine. Parima tõlke  leidmist tehakse võttes kõige suurema tõenäosusega tõlge:

.

Selle valemi rangeks implementeerimiseks peaks proovima läbi kõik võimalikud kombinatsioonid  sihtkeeles. Otsingu tõhus teostamine on masintõlke dekoodri ülesanne, mis kasutab lähteteksti, heuristikat ja teisi meetodeid, et piirata otsinguruumi ja samal ajal hoida kvaliteet vastuvõetav.

Kuna tõlkesüsteemis ei ole võimalik salvestada kõiki sihtkeele tekste ja nende tõlkeid, tõlgitakse tekst tavaliselt lause lause haaval. Keelemudelid on tavaliselt ligikaudsed n-grammide kattuvuse mudelid ja sarnased lähenemisviise kasutatakse tõlkemudelites. Keerukust lisavad erinevad lausepikkused ja sõnade järjekord erinevates keeltes. 

Statistilised masintõlke mudelid olid esialgu sõnapõhised (IBM-i peidetud Markovi mudelid 1-5 Stephan Vogelilt[3] ja 6 mudelit Franz-Joseph Ochilt[4]), kuid märkimisväärseid edusamme saavutati just fraasipõhiste mudelite kasutusele võtmisega.[5] Hiljutised tööd on kaasanud süntaks- või kvaasi-süntatkilisi struktuure.[6]

Eelised võrreldes muude masintõlkemeetoditega[muuda | muuda lähteteksti]

Kõige tihedamini viidatud statistilise masintõlke meetodi eelised võrreldes reeglipõhise lähenemisega on järgmised:

  • Efektiivsem inim- ja andmeressursside kasutus
    • On olemas suurtes kogustes paralleelkorpusi masinloetavas formaadis ja veel rohkem ühekeelseid andmeid.
    • Üldiselt ei ole SMT süsteemid ehitatud ühe konkreetse keelepaari tarvis.
    • Reegli-põhised tõlkesüsteemid vajavad lingvistiliste reeglite arendamist, mis võib osutuda kulukaks ja mis tihti ei üldistu hästi teistele keeltele.
  • Soravamad tõlked tänu keelemudelile.[7]

Puudused võrreldes muude masintõlkemeetoditega[muuda | muuda lähteteksti]

  • Korpuse loomine võib osutuda kulukaks.
  • Teatavad vead on raskesti ennustatavad ja raskesti parandatavad.
  • Tõlke pindmise soravuse all võib peituda viga tähenduse tõlkes.
  • SMT töötab tavaliselt halvemini keelepaaridega, millel on oluliselt erinev lausestus.
  • Lääne-Euroopa keelte vaheliste tõlgete tulemused ei esinda teisi keelepaare, millel on väiksem korpus ja mille vahel on suuremad grammatilised erinevused.[7]

Sõnapõhine tõlge[muuda | muuda lähteteksti]

Sõnapõhises tõlkes on fundamentaalne tõlkeühik sõna. Tüüpiliselt on sõnade arv liitsõnade, morfoloogia ja väljendite tõttu lähte- ja sihtkeeles erinev. Vahekorda lähtesõnade ja sihtsõnade arvu vahel nimetatakse viljakuseks, mis väljendab mitu sõna iga lähtesõna sihtkeeles esindab. Vastavalt informatsiooniteooriale on tarvilik eeldada, et igale sõnale on täpselt üks õige tõlge. Praktikas ei ole see tõsi. Näiteks, eestikeelse sõna nurk võib hispaania keelde tõlkida kui rincón või kui esquina, sõltuvalt kas tegemist on sise- või välisnurgaga. 

Lihtne sõnapõhine tõlkesüsteem ei suuda tõlkida erineva viljakusega keelte vahel. Seda saab suhteliselt lihtsalt lahendada võimaldades süsteemil seada üks sõna vastavusse mitme sõnaga, kuid mitte vastupidi. Näiteks, kui tõlgime inglise keelest prantsuse keelde, siis iga sõna inglise keeles võib vastavusse seada suvalise arvu prantsuskeelsete sõnadega – või mõnikord mitte ühegagi. Aga ei ole võimalik rühmitada kahte ingliskeelset sõna, et seada vastavusse ühe prantsuskeelse sõnaga.

Näide sõnapõhisest SMT süsteemist on vabalt kättesaadav GIZA++ pakett (GPLed), mis sisaldab treeninguprogrammi IBM mudelite, peidetud Markovi mudeli ja mudel 6 treenimiseks.[4]

Sõnapõhised SMT süsteemid ei ole hetkel laialt kasutusel. Fraasipõhised süsteemid on tavapärasemad. Enamik fraasipõhiseid süsteeme kasutab GIZA++´i paralleelkorpusest väiksemate paralleelsete tekstiosade kättesaamiseks.[8] Ühilduvate sõnade leidmine paralleeltekstis on probleemiks. GIZA++ laia leviku tõttu on hetkel saadaval selle mitu erinevat implementatsiooni.[9]

Fraasipõhine tõlge[muuda | muuda lähteteksti]

Fraasipõhises tõlkes on eesmärk vähendada sõnapõhise tõlke piiranguid, lubades tõlkida mitu sõna korraga. Neid mitut sõna kutsutakse plokiks või fraasiks, kuid tavaliselt ei ole tegemist lingvistilise fraasiga. On näidatud, et fraaside piiramine lingvistilisteks fraasideks halvendab tõlkekvaliteeti.[10]

Märkused ja viited[muuda | muuda lähteteksti]

  1. Philipp Koehn (2009).
  2. W. Weaver (1955).
  3. S. Vogel, H. Ney and C. Tillmann. 1996.
  4. 4,0 4,1 F. Och and H. Ney. (2003).
  5. P. Koehn, F.J. Och, and D. Marcu (2003).
  6. D. Chiang (2005).
  7. 7,0 7,1 Introduction to Statistical Machine Translation (2005) Callison-Burch, Koehn. Loetud: http://homepages.inf.ed.ac.uk/pkoehn/publications/esslli-slides-day1.pdf
  8. P. Koehn, H. Hoang, A. Birch, C. Callison-Burch, M. Federico, N. Bertoldi, B. Cowan, W. Shen, C. Moran, R. Zens, C. Dyer, O. Bojar, A. Constantin, E. Herbst. 2007.
  9. Q. Gao, S. Vogel, "Parallel Implementations of Word Alignment Tool", Software Engineering, Testing, and Quality Assurance for Natural Language Processing, pp. 49-57, June, 2008
  10. Philipp Koehn, Franz Josef Och, Daniel Marcu: Statistical Phrase-Based Translation (2003)