U-統計量

U-統計量是統計學中一類特定的、具有對稱性的統計量，它在估計理論中扮演重要角色。名稱中的「 U」為不偏（unbiased）之意。在初等統計學中，U-統計量與最小變異數不偏估計量 (UMVUE) 有密切聯繫。

U-統計量的一個重要性是，對機率分布來說，其可估計參數的最小變異數不偏估計量 是一個U-統計量。 ^[1][2] 因此通過研究U-統計量的一般性質，可以系統地了解這些估計量的統計學性質。^[3]

U-統計量在無母數統計中尤其重要，不少用於估計和統計檢定的統計量，在形式上都是U-統計量。U-統計量通常具有良好的漸近常態性，這方便了基於它的統計推論。 近年來，U-統計量在研究複雜的隨機過程和隨機網絡類型數據的隨機性質方面，發揮了作用。^[4][5][6]

目前，統計學家們對U-統計量性質的了解，幾乎全都基於Hoeffding發表於1948年的經典論文^[7]。在這篇論文裡，Hoeffding給出了U-統計量最重要的性質——它的ANOVA分解。

定義

定義 ${\displaystyle h(x_{1},\ldots ,x_{r}):\mathbb {R} ^{r}\to \mathbb {R} }$ 為一個函數，其具有對稱性，即交換任意 ${\displaystyle x_{i},x_{j}}$ 的位置，${\displaystyle h}$ 的值保持不變。對隨機變數 ${\displaystyle X_{1},\ldots ,X_{n}}$ ，基於 ${\displaystyle h}$ 的U-統計量定義如下：

${\displaystyle U_{n}={\frac {1}{\binom {n}{r}}}\sum _{1\leq i_{1}<\cdots <i_{r}\leq n}h(X_{i_{1}},\ldots ,X_{i_{r}})}$

這裡，${\displaystyle h(\cdot )}$ 稱為U-統計量的核函數（Kernel function），而核函數的維數 ${\displaystyle r}$ 稱為該U-統計量的度（degree）。^[8]

兩樣本U-統計量

定義 ${\displaystyle h(x_{1},\ldots ,x_{r};y_{1},\ldots ,y_{s}):\mathbb {R} ^{r+s}\to \mathbb {R} }$ 為一個函數，其對 ${\displaystyle X}$ 和 ${\displaystyle Y}$ 分別具有對稱性，即交換任意 ${\displaystyle x_{i_{1}},x_{i_{2}}}$ 的位置或交換任意 ${\displaystyle y_{j_{1}},y_{j_{2}}}$ 的位置，${\displaystyle h}$ 的值保持不變（但不能隨意交換 ${\displaystyle x_{i},y_{j}}$ ）。對隨機變數 ${\displaystyle X_{1},\ldots ,X_{m};Y_{1},\ldots ,Y_{n}}$ ，基於 ${\displaystyle h}$ 的兩樣本U-統計量定義如下：

${\displaystyle U_{m,n}={\frac {1}{{\binom {m}{r}}{\binom {n}{s}}}}\sum _{1\leq i_{1}<\cdots <i_{r}\leq m}\sum _{1\leq j_{1}<\cdots <j_{s}\leq n}h(X_{1},\ldots ,X_{r};Y_{1},\ldots ,Y_{s})}$

目前在機器學習中，最常見的情形是 ${\displaystyle r=s=1}$，例如能量距離和最大平均差異（MMD）。

Hoeffding的ANOVA分解定理

定理表述

Hoeffding的ANOVA分解定理是現代U-統計量理論的基礎。^[9]為表述該定理，定義：${\displaystyle \mu =\mathbb {E} [h(X_{1},\ldots ,X_{r})]}$。 對所有 ${\displaystyle 1\leq k\leq r}$ ，定義投影函數：

${\displaystyle a_{k}(x_{1},\ldots ,x_{k})=\mathbb {E} [h(X_{1},\ldots ,X_{r})|X_{1}=x_{1},\ldots ,X_{k}=x_{k}]-\mu }$

然後定義正交化投影函數：

${\displaystyle g_{1}(x_{1})=a_{1}(x_{1})}$，${\displaystyle g_{2}(x_{1},x_{2})=a_{2}(x_{1},x_{2})-g_{1}(x_{1})-g_{1}(x_{2})}$，等等，每一個 ${\displaystyle g_{k}}$ 都定義為相應的 ${\displaystyle a_{k}}$減去之前定義過的所有 ${\displaystyle g_{1},\ldots ,g_{k-1}}$，直至最後一個函數 ${\displaystyle g_{r}}$：

${\displaystyle g_{r}(x_{1},\ldots ,x_{r})=a_{r}(x_{1},\ldots ,x_{r})-\sum _{j=1}^{r-1}\sum _{1\leq i_{1}<\cdots <i_{j}\leq r}g_{j}(x_{i_{1}},\ldots ,x_{i_{j}})}$

Hoeffding的ANOVA分解定理的內容是：

${\displaystyle U_{n}-\mu ={\binom {n}{r}}^{-1}\sum _{k=1}^{r}{\binom {n-k}{r-k}}\cdot \sum _{1\leq i_{1}<\cdots <i_{k}\leq n}g_{k}(X_{i_{1}},\ldots ,X_{i_{k}})}$

分解項的性質

所有的正交化投影函數 ${\displaystyle g_{k}}$ 都滿足：

${\displaystyle \mathbb {E} [g_{k}(X_{1},\ldots ,X_{k})|X_{1},\ldots ,X_{k-1}]=0}$

因此，所有的分解項之間是互不相關的^[9]，並且度為 ${\displaystyle k}$ 的分解項之平均的階為 ${\displaystyle O_{p}\left(n^{-k/2}\right)}$.

在大多數應用中，一個U-統計量的ANOVA分解中最重要的是前一項或前兩項。根據分解項的性質，可以得到如下的兩項ANOVA分解式：

${\displaystyle U_{n}-\mu ={\frac {r}{n}}\sum _{i=1}^{n}g_{1}(X_{i})+{\frac {r(r-1)}{n(n-1)}}\sum _{1\leq i<j\leq n}g_{2}(X_{i},X_{j})+O_{p}(n^{-3/2})}$

定理應用

• U-統計量的漸近常態性是Hoeffding的ANOVA分解定理的簡單推論。具體而言，有如下結論：記 ${\displaystyle \xi _{1}^{2}=\mathrm {Var} (g_{1}(X_{1}))}$ ，則:

${\displaystyle n^{1/2}\left(U_{n}-\mu \right)\ {\stackrel {d}{\to }}\ N\left(0,r^{2}\xi _{1}^{2}\right)}$

同時，分解定理也指出了應該如何正確地一階逼近U-統計量的變異數，和對其進行t-標準化。

• 由該定理出發，在不同強度的假設條件下，可以用一項或兩項的Edgeworth展開來高精度地逼近U-統計量的分布。^{[8][10][11][12]}

具體例子

• 度為1的例子：令 ${\displaystyle h(x)=x}$ ，則U-統計量 ${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}h(X_{i})={\bar {X}}_{n}}$是樣本均值。

• 度為2的例子：令 ${\displaystyle h(x_{1},x_{2})=|x_{1}-x_{2}|}$ ，則U-統計量

${\displaystyle {\frac {1}{\binom {n}{2}}}\sum _{1\leq i<j\leq n}h(X_{i},X_{j})}$

稱為「平均成對偏差」。

• 另一個度為2的例子：令 ${\displaystyle h(x_{1},x_{2})=(x_{1}-x_{2})^{2}/2}$ ，則U-統計量有如下變形：

${\displaystyle {\frac {1}{\binom {n}{2}}}\sum _{1\leq i<j\leq n}h(X_{i},X_{j})=\sum (X_{i}-{\bar {X}})^{2}/(n-1)}$

這正是人們熟知的樣本變異數 ${\displaystyle S_{n}^{2}}$。

• 度為3的例子：樣本偏度定義中的分子項：

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{3}}$

展開後可以寫成一個U-統計量。

• 在機器學習中，用核函數方法進行一樣本或兩樣本無母數統計檢定時，檢定統計量是一個能量距離或最大平均差異（MMD），兩者均為U-統計量或表達式包含兩樣本U-統計量。^[13][14]

參見

• V-統計量