狄利克雷分布

狄利克雷分布是一組連續多變量機率分布，是多變量普遍化的Β分布。為了紀念德國數學家約翰·彼得·古斯塔夫·勒熱納·狄利克雷（Peter Gustav Lejeune Dirichlet）而命名。狄利克雷分布常作為貝葉斯統計的先驗機率。當狄利克雷分布維度趨向無限時，這過程便稱為狄利克雷過程（Dirichlet process）。

狄利克雷分布

機率密度函數
參數	${\displaystyle K\geq 2}$ 分類數 (整數) ${\displaystyle \alpha _{1},\ldots ,\alpha _{K}}$ concentration parameters，${\displaystyle \alpha _{i}>0}$
值域	${\displaystyle x_{1},\ldots ,x_{K}}$，${\displaystyle x_{i}\in (0,1)}$，${\displaystyle \sum _{i=1}^{K}x_{i}=1}$
機率密度函數	${\displaystyle {\frac {1}{\mathrm {B} ({\boldsymbol {\alpha }})}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$ ${\displaystyle \mathrm {B} ({\boldsymbol {\alpha }})={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\sum _{i=1}^{K}\alpha _{i}{\bigr )}}}}$ ${\displaystyle {\boldsymbol {\alpha }}=(\alpha _{1},\ldots ,\alpha _{K})}$
期望值	${\displaystyle \operatorname {E} [X_{i}]={\frac {\alpha _{i}}{\sum _{k}\alpha _{k}}}}$ ${\displaystyle \operatorname {E} [\ln X_{i}]=\psi (\alpha _{i})-\psi (\textstyle \sum _{k}\alpha _{k})}$ (試看 digamma function)
眾數	${\displaystyle x_{i}={\frac {\alpha _{i}-1}{\sum _{k=1}^{K}\alpha _{k}-K}},\quad \alpha _{i}>1.}$
變異數	${\displaystyle \operatorname {Var} [X_{i}]={\frac {{\tilde {\alpha }}_{i}(1-{\tilde {\alpha }}_{i})}{{\bar {\alpha }}+1}},}$ 其中${\displaystyle {\tilde {\alpha }}_{i}={\frac {\alpha _{i}}{\sum _{i=1}^{K}\alpha _{i}}}}$ 而且${\displaystyle {\bar {\alpha }}=\sum _{i=1}^{K}\alpha _{i}}$ ${\displaystyle \operatorname {Cov} [X_{i},X_{j}]={\frac {-{\tilde {\alpha }}_{i}{\tilde {\alpha }}_{j}}{{\bar {\alpha }}+1}}~~(i\neq j)}$
熵	${\displaystyle H(X)=\log \mathrm {B} (\alpha )+(\alpha _{0}-K)\psi (\alpha _{0})-\sum _{j=1}^{K}(\alpha _{j}-1)\psi (\alpha _{j})}$

狄利克雷分布奠定了狄利克雷過程的基礎，被廣泛應用於自然語言處理特別是主題模型（topic model）的研究。

機率密度函數

此圖展示了當K=3、參數α從α=(0.3, 0.3, 0.3)變化到(2.0, 2.0, 2.0)時，密度函數取對數後的變化。

維度K ≥ 2的狄利克雷分布在參數α₁, ..., α_K > 0上、基於歐幾里得空間R^K-1里的勒貝格測度有個機率密度函數，定義為：

${\displaystyle f(x_{1},\dots ,x_{K};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}}$

其中${\displaystyle {\boldsymbol {x}}}$滿足${\displaystyle \sum _{i=1}^{K}x_{i}=1}$，同時對於任意${\displaystyle i\in \{1,\dots ,K\}}$，都有${\displaystyle x_{i}\geq 0}$。即${\displaystyle {\boldsymbol {x}}}$在(K − 1)維的單純形開集上密度為0。

歸一化衡量B(α)是多項Β函數，可以用Γ函數（gamma function）表示：

${\displaystyle \mathrm {B} (\alpha )={\frac {\prod _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma {\bigl (}\sum _{i=1}^{K}\alpha _{i}{\bigr )}}},\qquad \alpha =(\alpha _{1},\dots ,\alpha _{K}).}$

參見

• 約翰·彼得·古斯塔夫·勒熱納·狄利克雷
• 狄利克雷過程
• 隱含狄利克雷分布

參考

• Introduction to the Dirichlet Distribution and Related Processes by Frigyik, Kapila and Gupta
• Dirichlet processes by Yee Whye Teh