威沙特分布

以统计学家约翰·威沙特为名的威沙特分布是统计学上的一种半正定矩阵随机分布。^[1]这个分布在多变量分析的协方差矩阵估计上相当重要。

威沙特

参数	${\displaystyle n>0\!}$ 自由度 (实数) ${\displaystyle \mathbf {V} >0\,}$ 尺度矩阵 (正定)
值域	${\displaystyle \mathbf {W} \!}$是正定的
概率密度函数	${\displaystyle {\frac {\left|\mathbf {W} \right|^{\frac {n-p-1}{2}}}{2^{\frac {np}{2}}\left|{\mathbf {V} }\right|^{\frac {n}{2}}\Gamma _{p}({\frac {n}{2}})}}\exp \left(-{\frac {1}{2}}{\rm {Tr}}({\mathbf {V} }^{-1}\mathbf {W} )\right)}$
期望值	${\displaystyle n\mathbf {V} }$
众数	${\displaystyle (n-p-1)\mathbf {V} {\text{ for }}n\geq p+1}$
特征函数	${\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}}$

定义

假设X为一n × p矩阵，其各行（row）来自同一均值向量为${\displaystyle \mathbf {0} }$的${\displaystyle p}$维多变量正态分布且彼此独立。

${\displaystyle X_{(i)}{=}(x_{i}^{1},\dots ,x_{i}^{p})^{T}\sim N_{p}(0,V),}$

则威沙特分布为${\displaystyle p\times p}$散异矩阵（英语：Scatter matrix）

${\displaystyle S=X^{T}X=\sum _{i=1}^{n}X_{(i)}X_{(i)}^{T},\,\!}$

的几率分布。

${\displaystyle \mathbf {S} }$有该几率分布通常记为

${\displaystyle \mathbf {S} \sim W_{p}(\mathbf {V} ,n).}$

其中正整数${\displaystyle n}$为自由度。有时亦记号为${\displaystyle W(\mathbf {V} ,p,n)}$。若${\displaystyle p=1}$且${\displaystyle \mathbf {V} =1}$则该分布退化为一自由度为${\displaystyle n}$的单变量卡方分布。

常见应用

威沙特分布常用于多变量的概似比检定，亦用于随机矩阵的频谱理论中。

几率密度函数

威沙特分布具有下述的几率密度函数：

令'${\displaystyle \mathbf {W} }$为一${\displaystyle p\times p}$正定对称随机变数矩阵。令${\displaystyle \mathbf {V} }$为一特定正定${\displaystyle p\times p}$矩阵。

如此，若${\displaystyle n>p}$，则${\displaystyle \mathbf {W} }$服从于一具自由度n的威沙特分布且有几率度函数${\displaystyle f_{W}}$

${\displaystyle f_{\mathbf {W} }(w)={\frac {\left|w\right|^{(n-p-1)/2}\exp \left[-{\rm {trace}}({\mathbf {V} }^{-1}w/2)\right]}{2^{np/2}\left|{\mathbf {V} }\right|^{n/2}\Gamma _{p}(n/2)}}}$

其中${\displaystyle \Gamma _{p}(\cdot )}$为多变量Gamma分布，其定义为

${\displaystyle \Gamma _{p}(n/2)=\pi ^{p(p-1)/4}\Pi _{j=1}^{p}\Gamma \left[(n+1-j)/2\right].}$

上述定义可推广至任一实数${\displaystyle n>p-1}$^[2]

特征函数

威沙特分布的特征函数为

${\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}.}$

也就是说

${\displaystyle \Theta \mapsto {\mathcal {E}}\left\{\mathrm {exp} \left[i\cdot \mathrm {trace} ({\mathbf {W} }{\mathbf {\Theta } })\right]\right\}=\left|{\mathbf {I} }-2i{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}}$

其中${\displaystyle {\mathcal {E}}(\cdot )}$为期望值

（这里的${\displaystyle \Theta }$及${\displaystyle {\mathbf {I} }}$ 皆为与${\displaystyle {\mathbf {V} }}$维度相同的矩阵。（${\displaystyle {\mathbf {I} }}$ 为单位矩阵，而${\displaystyle i}$为－1的平方根）.^[3]

理论架构

若${\displaystyle \scriptstyle {\mathbf {W} }}$为一自由度为m，共变异矩阵为${\displaystyle \scriptstyle {\mathbf {V} }}$的威沙特分布，记为—${\displaystyle \scriptstyle {\mathbf {W} }\sim {\mathbf {W} }_{p}({\mathbf {V} },m)}$—其中${\displaystyle \scriptstyle {\mathbf {C} }}$为一${\displaystyle q\times p}$的q秩矩阵，则^[4]

${\displaystyle {\mathbf {C} }{\mathbf {W} }{\mathbf {C} '}\sim {\mathbf {W} }_{q}\left({\mathbf {C} }{\mathbf {V} }{\mathbf {C} '},m\right).}$

推论1

若${\displaystyle {\mathbf {z} }}$为一非负${\displaystyle p\times 1}$常数向量，则^[4] ${\displaystyle {\mathbf {z} '}{\mathbf {W} }{\mathbf {z} }\sim \sigma _{z}^{2}\chi _{m}^{2}}$.

则在此情形下，${\displaystyle \chi _{m}^{2}}$为一卡方分布且${\displaystyle \sigma _{z}^{2}={\mathbf {z} '}{\mathbf {V} }{\mathbf {z} }}$（因${\displaystyle {\mathbf {V} }}$为正定，所以${\displaystyle \sigma _{z}^{2}}$为一正常数）。

推论2

在${\displaystyle {\mathbf {z} '}=(0,\ldots ,0,1,0,\ldots ,0)}$ 的情形下（亦即第j个元素为1其他为0），推论1可导出

${\displaystyle w_{jj}\sim \sigma _{jj}\chi _{m}^{2}}$

为矩阵的每一个对对角元素的边际分布。

统计学家George Seber（英语：George Seber）曾论证威沙特分布并非多变量卡方分布，这是因为非对角元素的边际分布并非卡方分布，Seber倾向于将某某多变量分布此一遣词用于所有元素的边际分布皆相同的情形。^[5]

多变量正态分布的估计

由于威沙特分布可视为一多变量正态分布其共变异矩阵的最大概似估计量（MLE）的分布，其衍自MLE的计算可为令人惊喜地简约而优雅。^[6] 基于频谱理论，可将一标量视为一${\displaystyle 1\times 1}$矩阵的迹（trace）。请参考共变异矩阵的估计。

分布抽样

以下的算法取材自 Smith & Hocking (1972)。^[7]一个来自自由度为n及共变异矩阵为${\displaystyle \mathbf {V} }$的威沙特分布的${\displaystyle p\times p}$（其中${\displaystyle n\geq p}$）随机样本可以如下方式抽样而得：

1. 生成一随机${\displaystyle p\times p}$下三角矩阵 ${\displaystyle {\textbf {A}}}$使得：
   • ${\displaystyle a_{ii}=(\chi _{n-i+1}^{2})^{1/2}}$，意即 ${\displaystyle a_{ii}}$为一${\displaystyle \chi _{n-i+1}^{2}}$卡方分布随机样本的平方根。
   • ${\displaystyle a_{ij}}$其中${\displaystyle j<i}$，为一${\displaystyle N_{1}(0,1)}$正态分布的随机样本。^[8]
2. 计算${\displaystyle {\textbf {V}}={\textbf {L}}{\textbf {L}}^{T}}$的Cholesky分解。
3. 计算${\displaystyle {\textbf {X}}={\textbf {L}}{\textbf {A}}{\textbf {A}}^{T}{\textbf {L}}^{T}}$。此时，${\displaystyle {\textbf {X}}}$ 为一${\displaystyle W_{p}({\textbf {V}},n)}$的随机样本。

若${\displaystyle {\textbf {V}}={\textbf {I}}}$，则因${\displaystyle {\textbf {V}}={\textbf {I}}{\textbf {I}}^{T}}$，可以直接以${\displaystyle {\textbf {X}}={\textbf {A}}{\textbf {A}}^{T}}$进行抽样。

参考条目

• 共变异矩阵的估计
• Hotelling的T平方分布
• 逆威沙特分布

参考资料

1. Wishart, J. The generalised product moment distribution in samples from a normal multivariate population. Biometrika. 1928, 20A (1–2): 32–52. JFM 54.0565.02. JSTOR 2331939. doi:10.1093/biomet/20A.1-2.32.
2. Uhlig, H. On Singular Wishart and Singular Multivariate Beta Distributions. The Annals of Statistics. 1994, 22: 395–405. doi:10.1214/aos/1176325375.
3. Anderson, T. W. An Introduction to Multivariate Statistical Analysis 3rd. Hoboken, N. J.: Wiley Interscience. 2003: 259. ISBN 0-471-36091-0.
4. Rao, C. R. Linear Statistical Inference and its Applications. Wiley. 1965: 535.
5. Seber, George A. F. Multivariate Observations. Wiley. 2004. ISBN 978-0471691211.
6. Chatfield, C.; Collins, A. J. Introduction to Multivariate Analysis. London: Chapman and Hall. 1980: 103–108. ISBN 0-412-16030-7.
7. Smith, W. B.; Hocking, R. R. Algorithm AS 53: Wishart Variate Generator. Journal of the Royal Statistical Society, Series C. 1972, 21 (3): 341–345. JSTOR 2346290.
8. Anderson, T. W. An Introduction to Multivariate Statistical Analysis 3rd. Hoboken, N. J.: Wiley Interscience. 2003: 257. ISBN 0-471-36091-0.

• Gelman, Andrew. Bayesian Data Analysis 2nd. Boca Raton, Fla.: Chapman & Hall. 2003: 582 [3 June 2015]. ISBN 158488388X. （原始内容存档于2021-02-17）.
• Zanella, A.; Chiani, M.; Win, M.Z. On the marginal distribution of the eigenvalues of wishart matrices. IEEE Transactions on Communications. April 2009, 57 (4): 1050–1060. doi:10.1109/TCOMM.2009.04.070143.
• Bishop, C. M. Pattern Recognition and Machine Learning. Springer. 2006: 693.
• Pearson, Karl; Jeffery, G. B.; Elderton, Ethel M. On the Distribution of the First Product Moment-Coefficient, in Samples Drawn from an Indefinitely Large Normal Population. Biometrika (Biometrika Trust). December 1929, 21: 164–201. JSTOR 2332556. doi:10.2307/2332556.
• Craig, Cecil C. On the Frequency Function of xy. Ann. Math. Statist. 1936, 7: 1–15 [2016-05-02]. doi:10.1214/aoms/1177732541. （原始内容存档于2020-06-07）.
• Peddada and Richards, Shyamal Das; Richards, Donald St. P. Proof of a Conjecture of M. L. Eaton on the Characteristic Function of the Wishart Distribution,. Annals of Probability. 1991, 19 (2): 868–874. doi:10.1214/aop/1176990455.
• Gindikin, S.G. Invariant generalized functions in homogeneous domains,. Funct. Anal. Appl. 1975, 9 (1): 50–52. doi:10.1007/BF01078179.
• Dwyer, Paul S. Some Applications of Matrix Derivatives in Multivariate Analysis. J. Amer. Statist. Assoc. 1967, 62 (318): 607–625. JSTOR 2283988.