Keelemudel

Keelemudel on matemaatiline mudel, mis modelleerib jada elementide (näiteks loomulikus keeles tekstide puhul tähtede või sõnade) järgnevust, enamasti juhusliku protsessi kujul.

Keelemudelid etendavat keskset osa tänapäeva arvutilingvistikas ja on üks otsustav komponent selle praktilistes rakendustes, näiteks tekstigenereerimises masintõlke jaoks ja kõnetuvastuses.^[1][2] Tuntuks said need generatiivsete tehisarumudelite tulekuga. Näiteks on keelemudel ka juturoboti ChatGPT aluseks olev generatiivne eeltreenitud transformer (GPT).

Matemaatiline kirjeldus

Keelemudelid modelleerivad jadasid (näiteks lauseid) elementide (näiteks tähtede või sõnade) järgnevustena. Stohhastilistes keelemudelites on need elemendid juhuslikud suurused ${\displaystyle X_{1},X_{2},\ldots }$ ja moodustavad diskreetse ajaga juhusliku protsessi. Selleks et sama mudelit saaks rakendada erineva pikkusega ${\displaystyle n}$ jadade korral, märgitakse nende algus ja lõpp tavaliselt täiendavate juhuslike suurustega ${\displaystyle X_{0}}$ ja ${\displaystyle X_{n+1}}$, millel on eriline väärtus (võimalik tähistus: ${\displaystyle \bot }$). Konkreetse jada ${\displaystyle w_{1},\ldots ,w_{n}}$ tõenäosust saab siis formuleerida konjunktsiooni

${\displaystyle P\left(X_{0}=\bot \wedge X_{1}=w_{1}\wedge \cdots \wedge X_{n}=w_{n}\wedge X_{n+1}=\bot \right)}$ tõenäosusena.