隨機變數的收斂

機率論中有若干關於隨機變數收斂（Convergence of random variables）的定義。研究一列隨機變數是否會收斂到某個極限隨機變數是機率論中的重要內容，在統計機率和隨機過程中都有應用。在更廣泛的數學領域中，隨機變數的收斂被稱為隨機收斂，表示一系列本質上隨機不可預測的事件所發生的模式可以在樣本數量足夠大的時候得到合理可靠的預測。各種不同的收斂定義實際上是表示預測時不同的刻畫方式。

簡介

正如一個數列可能收斂到某個極限量，一列函數可能收斂到某個極限函數一樣，隨機收斂指的是一系列隨機變數${\displaystyle \left(X_{n};\;n\in \mathbb {N} \right)}$在n趨向於無窮大時，會越來越接近某個固定的極限。這個極限可能是指：

1. ${\displaystyle X_{n}}$趨向某個固定的數；
2. ${\displaystyle X_{n}}$趨向某個確定函數的輸出值；
3. ${\displaystyle X_{n}}$的機率分布越來越接近某個特定的隨機變數的機率分布；
4. ${\displaystyle X_{n}}$和某個特定隨機變數的差別的平均值（數學期望值值）趨向於0；
5. ${\displaystyle X_{n}}$和某個特定隨機變數的差別的變異數趨向於0。

等等。這些不同的極限的定義，可以嚴格地寫成不同的收斂方式的定義。

依機率1收斂

依機率1收斂又稱為幾乎處處收斂，其定義接近於函數逐點收斂的定義。事實上，由於隨機變數的本質是由樣本空間${\displaystyle {\mathit {\Omega }}}$到取值空間${\displaystyle {\mathfrak {B}}}$上的函數。因此，給定一個機率空間 ${\displaystyle \left({\mathit {\Omega }},{\mathcal {F}},\mathbb {P} \right)}$中的一列 隨機變數${\displaystyle \left(X_{n};n\in \mathbb {N} \right)}$，考慮事件${\displaystyle A_{X}=\left\{\omega ;\;\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}}$。如果存在一個隨機變數${\displaystyle X}$，使得事件${\displaystyle A_{X}}$的機率為1，那麼就稱隨機變數序列 ${\displaystyle \left(X_{n};n\in \mathbb {N} \right)}$ 依機率1收斂到 ${\displaystyle X}$（或稱 ${\displaystyle \left(X_{n};n\in \mathbb {N} \right)}$ 幾乎處處收斂到 ${\displaystyle X}$），記作：

${\displaystyle X_{n}{\xrightarrow {a.s.}}X}$ 或 ${\displaystyle \mathbb {P} \left(\lim _{n\to \infty }X_{n}=X\right)=1}$

當取值空間${\displaystyle {\mathfrak {B}}}$是一般的實數空間${\displaystyle \mathbb {R} }$時，依機率1收斂的意義是：

對任意的正實數${\displaystyle \varepsilon >0}$，${\displaystyle \mathbb {P} {\Big (}\liminf {\big \{}\omega \in \Omega :|X_{n}(\omega )-X(\omega )|<\varepsilon {\big \}}{\Big )}=1}$

當空間${\displaystyle {\mathfrak {B}}}$是度量空間 (S, d) 的時候，依機率1收斂的意義是：

${\displaystyle \mathbb {P} {\Big (}\omega \in \Omega :\,d{\big (}X_{n}(\omega ),X(\omega ){\big )}\,{\xrightarrow[{n\to \infty }]{\,}}\,0{\Big )}=1}$

依機率收斂

主條目：依機率收斂

設${\displaystyle (X_{n};\,n\in \mathbb {N} )}$ 是一個隨機變數序列，${\displaystyle X}$是一個隨機變數。如果對於任意的正實數${\displaystyle \epsilon >0}$，都有：

${\displaystyle \lim _{n\to \infty }\mathbb {P} (|X-X_{n}|\geq \epsilon )=0}$

那麼稱序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$ 依機率收斂到${\displaystyle X}$，記作：${\displaystyle X_{n}{\xrightarrow[{n\to \infty }]{\mathbb {P} }}X}$

如果${\displaystyle (X_{n};\,n\in \mathbb {N} )}$的取值空間是一個可分度量空間(S, d)，那麼依機率收斂的定義為^[1]：

${\displaystyle \mathbb {P} {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0,\quad \forall \varepsilon >0.}$

依機率收斂和依機率1收斂的定義有相似之處，但本質上，依機率1收斂是比依機率收斂更「強」的收斂性質。如果一列隨機變數依機率1收斂到某個極限，那麼它必然也依機率收斂到這個極限，但反之則不然。一個實數上的例子是：設機率空間 ${\displaystyle \left({\mathit {\Omega }},{\mathcal {F}},\mathbb {P} \right)}$是區間${\displaystyle {\mathit {\Omega }}=[0,1)}$上的一個連續型均勻分布${\displaystyle \mathbb {P} =\mathbf {U} }$ 。一個隨機變數序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$定義為：

${\displaystyle X_{1}=\mathbf {1} _{\left\{\omega \in [0,1)\right\}}=\mathbf {1} }$

${\displaystyle X_{2}=\mathbf {1} _{\left\{\omega \in [0,{\frac {1}{2}})\right\}},\qquad X_{3}=\mathbf {1} _{\left\{\omega \in [{\frac {1}{2}},1)\right\}}}$

${\displaystyle X_{4}=\mathbf {1} _{\left\{\omega \in [0,{\frac {1}{4}})\right\}},\qquad X_{5}=\mathbf {1} _{\left\{\omega \in [{\frac {1}{4}},{\frac {1}{2}})\right\}},\qquad X_{6}=\mathbf {1} _{\left\{\omega \in [{\frac {1}{2}},{\frac {3}{4}})\right\}},\qquad X_{7}=\mathbf {1} _{\left\{\omega \in [{\frac {3}{4}},1)\right\}}}$

${\displaystyle \cdots \;}$

${\displaystyle \forall (k,m)\in \mathbb {N} ,\,\,0\leqslant k\leqslant 2^{m}-1,\,\,X_{2^{m}+k}=\mathbf {1} _{\left\{\omega \in [{\frac {k}{2^{m}}},{\frac {k+1}{2^{m}}})\right\}}}$

由於

${\displaystyle \forall 2^{m}\leqslant n\leqslant 2^{m+1}-1,\,\,\mathbb {P} \left(|X_{n}-0|\geqslant \varepsilon \right)={\frac {1}{2^{m}}}}$

所以

${\displaystyle X_{n}{\xrightarrow {\mathbb {P} }}0}$，

另一方面，考慮${\displaystyle X_{2^{m}}}$到${\displaystyle X_{2^{m+1}-1}}$這一組隨機變數，它們取值為1的集合的聯集恰好是總區間，因此對每一個${\displaystyle \omega \in [0,1)}$，總會有${\displaystyle X_{2^{m}}}$到${\displaystyle X_{2^{m+1}-1}}$之間的某個變量${\displaystyle X_{2^{m}+k_{m}}}$，使得

${\displaystyle X_{2^{m}+k_{m}}(\omega )=1}$

所以，對任意一個${\displaystyle \omega \in [0,1)}$，

${\displaystyle \lim _{n\to \infty }|X_{n}(\omega )-0|\neq 0}$，

即是說，${\displaystyle (X_{n};\,n\in \mathbb {N} )}$ 並不依機率1收斂到0。從例子中可以看到，依機率收斂比依機率1收斂更為寬鬆的地方是：當n趨於無窮大的時候，只要偏離極限函數的${\displaystyle \omega }$（即是集合${\displaystyle \left\{\omega _{n};\,|X_{n}(\omega _{n})-X(\omega _{n})|\geqslant \varepsilon \right\}}$中的${\displaystyle \omega _{n}}$）「足夠少」，就能使得依機率收斂成立了，這些${\displaystyle \omega _{n}}$的集合可以隨著n不同而不同；而依機率1收斂則要求${\displaystyle \omega _{n}}$的集合固定地縮減至一個機率為0的集合。因此，依機率1收斂要比依機率收斂更為嚴格。

性質

• 依機率收斂蘊含依分布收斂：一個依機率收斂的隨機變數序列必然也依分布收斂到同一個極限。
• 在離散機率空間中，依機率收斂和依機率1收斂是等價的。
• 依分布收斂蘊含依機率收斂若且唯若依分布收斂的極限是一個常數。
• 連續映射定理說明：對任意連續函數${\displaystyle g}$，如果隨機變數序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依機率收斂到${\displaystyle X}$，那麼序列${\displaystyle (g(X_{n});\,n\in \mathbb {N} )}$依機率收斂到${\displaystyle g(X)}$
• 依機率收斂定義了確定機率空間上的隨機變數空間上的一個拓撲。這個拓撲可以用樊𰋀度量進行度量化^[2]。

  ${\displaystyle d(X,Y)=\inf \!{\big \{}\varepsilon >0:\ \Pr {\big (}|X-Y|>\varepsilon {\big )}\leq \varepsilon {\big \}}.}$

平方平均收斂與 L p {\displaystyle \mathbf {L} ^{p}} 收斂

另一種收斂的定義與測度的積分有關。在積分理論中，如果兩個函數${\displaystyle f}$ 和${\displaystyle g}$滿足${\displaystyle \int _{\mathcal {I}}(f-g)^{2}d\mu =0}$，那麼這兩個函數在關於測度${\displaystyle \mu }$的平方可積空間中相等。隨機變數的平方平均收斂與此相似：如果對平方可積的隨機變數序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$，存在隨機變數${\displaystyle X}$，使得${\displaystyle \lim _{n\to \infty }\mathbb {E} \left[(X_{n}-X)^{2}\right]=0}$，那麼就說序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$ 平方平均收斂到${\displaystyle X}$，記作：

${\displaystyle X_{n}{\xrightarrow {\mathbf {L} ^{2}}}X}$

由於${\displaystyle \mathbf {L} ^{2}}$空間是完備的，極限${\displaystyle X}$也一定平方可積。

對於更一般的${\displaystyle \mathbf {L} ^{p}}$空間，也有類似的定義：如果對 ${\displaystyle \mathbf {L} ^{p}}$空間中的隨機變數序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$，存在${\displaystyle \mathbf {L} ^{p}}$中的隨機變數${\displaystyle X}$，使得${\displaystyle \lim _{n\to \infty }\mathbb {E} \left[|X_{n}-X|^{p}\right]=0}$，那麼就說序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依${\displaystyle \mathbf {L} ^{p}}$收斂到${\displaystyle X}$，記作：

${\displaystyle X_{n}{\xrightarrow {\mathbf {L} ^{p}}}X}$

當常數${\displaystyle p=1}$時，也稱為平均收斂。

依分布收斂

依分布收斂是最寬鬆的收斂方式之一。這種收斂不要求查看每個${\displaystyle \omega }$，只要求序列的分布趨向於某個極限。直覺上，一個隨機變數序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依分布收斂到某個隨機變數${\displaystyle X}$，如果：

對所有的${\displaystyle a}$，都有${\displaystyle \mathbb {P} (X_{n}\leqslant a)\rightarrow \mathbb {P} (X\leqslant a)}$。

更嚴格的定義是探討隨機變數${\displaystyle X_{n}}$的累積分布函數${\displaystyle F_{n}(x)=\mathbb {P} (X_{n}\leqslant x)}$。設有實值的隨機變數序列 ${\displaystyle (X_{n};\,n\in \mathbb {N} )}$ 和某個隨機變數${\displaystyle X}$（其累積分布函數為 ${\displaystyle F(x)}$），如果對${\displaystyle F(x)}$的每個連續點${\displaystyle x}$，都有${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x)}$，那麼就說 ${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依分布收斂到某個隨機變數${\displaystyle X}$。記作：

${\displaystyle X_{n}{\xrightarrow[{n\to \infty }]{\mathcal {D}}}X}$ ，${\displaystyle X_{n}{\xrightarrow[{n\to \infty }]{\mathit {d}}}X}$ 或 ${\displaystyle X_{n}{\xrightarrow[{n\to \infty }]{\mathcal {L}}}X}$

由於依分布收斂只和隨機變數的分布相關，所以也可以稱一系列隨機變數（依分布）收斂於某個分布。設${\displaystyle {\mathcal {L}}_{X}}$是極限${\displaystyle X}$的分布，那麼依分布收斂也可以記作：

${\displaystyle X_{n}\ {\xrightarrow {d}}\ {\mathcal {L}}_{X},\,\,X_{n}\rightsquigarrow X}$ 或 ${\displaystyle {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X)}$

例如一個隨機變數序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依分布收斂到標準常態分布，就可以記作：

${\displaystyle X_{n}\ {\xrightarrow {d}}\ {\mathcal {N}}(0,1).}$

性質

• 作為最弱的收斂方式之一，依分布收斂無法推出其它的收斂方式。對於存在機率密度函數的連續型隨機變數序列，依分布收斂並不能推出其機率密度函數也同樣收斂。例如對於機率密度函數為${\displaystyle f_{n}(x)=\left(1-\cos(2\pi nx)\right)\mathbf {1} _{x\in (0,1)}}$的隨機變數序列，其依分布收斂到均勻分布的隨機變數，但其機率密度函數不收斂^[3]。
• 依分布收斂的等價定義：一個隨機變數序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依分布收斂到某個隨機變數${\displaystyle X}$和以下命題中的任意一個等價：
  • 對所有的有界連續函數${\displaystyle f}$，都有： ${\displaystyle \mathbb {E} [f(X_{n})]\rightarrow \mathbb {E} [f(X)]}$；
  • 對所有具有利普希茨連續性質的函數${\displaystyle f}$，都有： ${\displaystyle \mathbb {E} [f(X_{n})]\rightarrow \mathbb {E} [f(X)]}$ ；
  • 對所有上有界的上半連續函數${\displaystyle f}$，都有： ${\displaystyle \limsup \mathbb {E} [f(X_{n})]\leqslant \mathbb {E} [f(X)]}$ ；
  • 對所有下有界的下半連續函數${\displaystyle f}$，都有： ${\displaystyle \liminf \mathbb {E} [f(X_{n})]\geqslant \mathbb {E} [f(X)]}$ ；
  • 對所有閉集${\displaystyle C}$，都有： ${\displaystyle \limsup _{n\to \infty }\mathbb {P} \left(X_{n}\in C\right)\leqslant \mathbb {P} \left(X\in C\right)}$ ；
  • 對所有開集${\displaystyle U}$，都有： ${\displaystyle \liminf _{n\to \infty }\mathbb {P} \left(X_{n}\in U\right)\geqslant \mathbb {P} \left(X\in U\right)}$ ；
  • 對關於${\displaystyle X}$的所有連續集${\displaystyle A}$，都有： ${\displaystyle \lim _{n\to \infty }\mathbb {P} \left(X_{n}\in A\right)=\mathbb {P} \left(X\in A\right)}$ 。
• 連續映射定理說明，對於連續函數g(·)，如果隨機變數序列 ${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依分布收斂到隨機變數${\displaystyle X}$，那麼 ${\displaystyle (g(X_{n});\,n\in \mathbb {N} )}$也依分布收斂到隨機變數${\displaystyle g(X)}$。
• 列維連續性定理： 隨機變數序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依分布收斂到某個隨機變數${\displaystyle X}$ 若且唯若對應的特徵函數序列${\displaystyle (\varphi _{n}(x);\,n\in \mathbb {N} )}$逐點收斂到某個在0處連續的函數${\displaystyle \varphi }$（此時隨機變數${\displaystyle X}$的分布為${\displaystyle \varphi }$）。
• 列維-普羅科洛夫度量是依分布收斂的度量化結果。