運算語言學

運算語言學wan6 syun3 jyu5 jin4 hok6（computational linguistics）係語言學嘅一門，專用電腦模擬噉嘅運算方法嚟研究語言。

定位

睇埋：語言學同科學運算

語言模型

内文：語言模型

語言模型（language model）係一種「模擬」語言嘅數學模型。一個語言模型通常會源自畀電腦讀取大量嘅語料，形成一個概率分佈；數學化啲噉講，即係話一個語言模型能夠畀到

${\displaystyle \Pr(w_{1},\ldots ,w_{m})}$（一句句子啲字係 ${\displaystyle w_{1},\ldots ,w_{m}}$ 嘅機率）

${\displaystyle \Pr(w_{5}|w_{1},\ldots ,w_{4})}$（已知句句子啲字係 ${\displaystyle w_{1},\ldots ,w_{4}}$，下一隻字係 ${\displaystyle w_{5}}$ 嘅機率）

... 等嘅數值，當中啲機率數值好多時係靠人工神經網絡計出嚟嘅^[1]。例如好出名嘅 ChatGPT 就係一個語言模型。

睇埋

• 自然語言處理