Keelemudel

Keelemudel on arvutuslik mudel, mis ennustab järgnevusi loomulikus keeles. See on matemaatiline mudel, mis modelleerib jada elementide (näiteks loomulikus keeles tekstide puhul tähtede või sõnade) järgnevust, enamasti juhusliku protsessi kujul.

Keelemudelid etendavat keskset osa tänapäeva arvutilingvistikas ja on üks otsustav komponent selle praktilistes rakendustes, näiteks tekstigenereerimises masintõlke jaoks ja kõnetuvastuses. Tuntuks said need generatiivsete tehisarumudelite tulekuga. Näiteks on keelemudel ka juturoboti ChatGPT aluseks olev generatiivne eeltreenitud transformer ehk treenitud generatiivtransformer (GPT). Vaata ka suur keelemudel.

Matemaatiline kirjeldus

Keelemudelid modelleerivad jadasid (näiteks lauseid) elementide (näiteks tähtede või sõnade) järgnevustena. Stohhastilistes keelemudelites on need elemendid juhuslikud suurused $X_{1},X_{2},\ldots$ ja moodustavad diskreetse ajaga juhusliku protsessi. Selleks et sama mudelit saaks rakendada erineva pikkusega $n$ jadade korral, märgitakse nende algus ja lõpp tavaliselt täiendavate juhuslike suurustega $X_{0}$ ja $X_{n+1}$, millel on eriline väärtus (võimalik tähistus: $\bot$). Konkreetse jada $w_{1},\ldots ,w_{n}$ tõenäosust saab siis formuleerida konjunktsiooni

$P\left(X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n}=w_{n}\wedge X_{n+1}=\bot \right)$ tõenäosusena.

Selle tõenäosuse sagedane lühinotatsioon on

$P\left(\bot ,w_{1},\ldots ,w_{n},\bot \right)$.

Täieliku tõenäosuse seaduse järgi saab selle tõenäosuse kirjutada ka nii:

${\begin{alignedat}{3}&P\left(X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n}=w_{n}\wedge X_{n+1}=\bot \right)&{}={}&&&P\left(X_{0}=\bot \right)\\&&&&{}\cdot {}&P\left(X_{1}=w_{1}\mid X_{0}=\bot \right)n\\&&&&{}\cdot {}&P\left(X_{2}=w_{2}\mid X_{0}=\bot \wedge X_{1}=w_{1}\right)\\&&&&&\vdots \\&&&&{}\cdot {}&P\left(X_{n}=w_{n}\mid X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n-1}=w_{n-1}\right)\\&&&&{}\cdot {}&P\left(X_{n+1}=\bot \mid X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n}=w_{n}\right){\text{.}}\end{alignedat}}$

Ehk lühidalt:

$P\left(\bot ,w_{1},\ldots ,w_{n},\bot \right)=P\left(\bot \right)\cdot P\left(w_{1}\mid \bot \right)\cdot P\left(w_{2}\mid \bot ,w_{1}\right)\cdot \cdots \cdot P\left(w_{n}\mid \bot ,w_{1},\ldots ,w_{n-1}\right)\cdot P\left(\bot \mid \bot ,w_{1},\ldots ,w_{n}\right)$.

Sõnadega: jada tõenäosus on korrutis järjekordsete elementide tõenäosustest eelnevate elementide korral.

Et mudelis kasutatakse $X_{0}$ korral alati väärtust $\bot$ ($X_{0}=\bot$ peaaegu kindel), siis$P(X_{0}=\bot )=1$. Selle teguri võib seetõttu välja jätta.

Erinevad stohhastilised keelemudelid erinevad selle poolest, kuidas nad modelleerivad tinglikke tõenäosusi $P\left(w_{i}\mid \bot ,w_{1},\ldots ,w_{i-1}\right)$. Juhtumit $w_{i}=\bot$ ei pruugita käsitleda eraldi. Sel juhul käsitletakse seda nii, nagu $\bot$ oleks ka jada element (näiteks sõna).

Vaata ka

• GPT-3
• Hallutsineerimine
• Statistiline masintõlge