全變差距離

在概率論中，全變差距離（英語：total variation distance）是概率測度的一種距離。它也是一種統計距離度量，有時也稱為統計距離（英語：statistical distance）或變差距離（英語：variational distance）。

定義

設${\displaystyle {\mathcal {F}}}$是樣本空間${\displaystyle \Omega }$的一個子集上的σ代數，兩個概率測度${\displaystyle P}$與${\displaystyle Q}$在${\displaystyle {\mathcal {F}}}$上的全變差距離定義為^[1]

${\displaystyle \delta (P,Q)=\sup _{A\in {\mathcal {F}}}\left|P(A)-Q(A)\right|.}$

粗略地說，這是兩個概率分布在同一事件上取值的最大差值。

性質

與其他距離的關係

全變差距離通過Pinsker不等式與Kullback-Leibler散度相聯繫：

${\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}}.}$

當樣本空間${\displaystyle \Omega }$是可數集的時候，全變差距離與${\displaystyle L^{1}}$範數有等式關係^[2]：

${\displaystyle \delta (P,Q)={\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|.}$

另見

• 全變差
• 柯爾莫哥洛夫-斯米爾諾夫檢驗