二項式分布

在概率論和統計學中，二項分布（英語：binomial distribution）是一種離散概率分布，描述在進行獨立隨機試驗時，每次試驗都有相同概率「成功」的情況下，獲得成功的總次數。擲硬幣十次出現五次正面的概率、產品合格率${\displaystyle \,99\%\,}$時抽出一百件樣本沒有發現一件次品的概率等等，都可以由二項分布給出。

二項分布

機率質量函數
累積分布函數
記號	${\displaystyle \operatorname {B} (n,p)}$
參數	${\displaystyle n>0}$ ${\displaystyle 0\leq p\leq 1}$
值域	${\displaystyle k\in \{0,\dots ,n\}}$
機率質量函數	${\displaystyle {n \choose k}p^{k}(1-p)^{n-k}}$
累積分布函數	${\displaystyle I_{1-p}(n-\lfloor k\rfloor ,\lfloor k\rfloor +1)}$
期望值	${\displaystyle np}$
中位數	${\displaystyle \lfloor np\rfloor }$或${\displaystyle \lceil np\rceil }$
眾數	${\displaystyle \lfloor (n+1)p\rfloor }$
變異數	${\displaystyle np(1-p)}$
偏度	${\displaystyle {\frac {1-2p}{\sqrt {np(1-p)}}}}$
峰度	${\displaystyle {\frac {1-6p(1-p)}{np(1-p)}}}$
熵	${\displaystyle {\frac {1}{2}}\ln \left(2\pi nep(1-p)\right)+O\left({\frac {1}{n}}\right)}$
動差母函數	${\displaystyle (1-p+pe^{t})^{n}}$
特徵函數	${\displaystyle (1-p+pe^{it})^{n}}$
機率母函數	${\displaystyle (1-p+pz)^{n}}$

只有「成功」和「失敗」兩種可能結果，每次重複時成功概率不變的獨立隨機試驗稱作伯努利試驗，例如上述的擲硬幣出現正面或反面、對產品進行抽樣檢查時抽到正品或次品。伯努利試驗作為理論模型，其前提在現實中無法完全得到滿足，比如生產線會磨損，因此每件產品合格的概率並非固定^[1]。儘管如此，二項分布給出的概率通常足以用於提供有用的推斷；即使在已知前提沒有滿足的場合，二項分布也能用於參考和比較。二項分布的應用出現在遺傳學、質量控制等領域之中。^[2]

定義

若隨機變量${\displaystyle \,X\,}$有概率質量函數

${\displaystyle \Pr(X=k)={n \choose k}p^{k}(1-p)^{n-k}\quad (k=0,1,\ldots ,n),}$

其中${\displaystyle \,n\,}$為正整數、${\displaystyle \,0\leq p\leq 1\,}$，則稱${\displaystyle \,X\,}$服從參數為${\displaystyle \,n,p\,}$的二項分布^[3]，記為${\displaystyle \,X\sim \operatorname {B} (n,p)\,}$或${\displaystyle \,X\sim \operatorname {Bin} (n,p)\,}$。習慣上${\displaystyle \,1-p\,}$也用${\displaystyle \,q\,}$表示。^[1]

推導

進行${\displaystyle \,n\,}$次獨立伯努利試驗的結果可以由${\displaystyle \,n\,}$個字母表示，例如用${\displaystyle \,S\,}$表示成功，${\displaystyle \,F\,}$表示失敗，則

${\displaystyle SSFSF}$

表示五次試驗中第一、二、四次的結果為成功，其餘為失敗。設每次試驗成功的概率為${\displaystyle \,p\,}$，失敗的概率為${\displaystyle \,1-p\,}$。因為試驗相互獨立，每一種排列${\displaystyle \,k\,}$個${\displaystyle \,S\,}$、${\displaystyle \,n-k\,}$個${\displaystyle \,F\,}$的方式對應的概率為${\displaystyle \,p^{k}(1-p)^{n-k}\,}$。^[1]

從${\displaystyle \,n\,}$個不同元素中選出含${\displaystyle \,k\,}$個元素的子集的方法數量等於二項式係數

${\displaystyle {n \choose k}={\frac {n!}{k!(n-k)!}}.}$^[4]

而每種對${\displaystyle \,k\,}$個${\displaystyle \,S\,}$、${\displaystyle \,n-k\,}$個${\displaystyle \,F\,}$的排列都可理解為從${\displaystyle \,n\,}$個位置中選出${\displaystyle \,k\,}$個作為字母${\displaystyle \,S\,}$的位置的方法，這種方法的數量即為${\displaystyle \,{n \choose k}\,}$。與每種排列方式對應的概率相乘，便得到定義中的概率

${\displaystyle {n \choose k}p^{k}(1-p)^{n-k}.}$^[5]

歷史

二項分布是最早得到研究的概率分布之一^[6]。丹麥統計學家安德斯·哈爾德認為其歷史可以追溯至布萊茲·帕斯卡與皮埃爾·德·費馬於1654年對點數分配問題的討論：兩名玩家贏得每局遊戲的機會相同，贏得一定局數的勝者可獲得獎金，但比賽僅進行了數局，尚未分出勝負就被迫中斷，則獎金該如何分配？帕斯卡認為，獎金的分配應當基於玩家距離勝利所差的局數：若一名玩家還需${\displaystyle \,r\,}$局獲勝，另一名玩家還需${\displaystyle \,s\,}$局獲勝，則應考慮在${\displaystyle \,r+s-1\,}$局比賽的${\displaystyle \,2^{r+s-1}\,}$種結果中，兩名玩家分別在多少種情況中獲勝。兩人的討論限於這一問題本身，並未推導出二項分布的概率，但這一解法可被視作基於參數${\displaystyle \,p=1/2\,}$的二項分布。^[7]

對二項分布概率的推導為雅各布·伯努利於《猜度術（英語：Ars Conjectandi）》中作出。該著作在他去世後，於1713年得到出版，被視作概率論的奠基性作品。伯努利還在其中首次給出了弱大數定律的嚴格證明^[8][9]。對二項分布的正態近似則是由亞伯拉罕·棣莫弗發現，這一工作於1733年完成，於1738年出版在其著作《機遇論（英語：The Doctrine of Chances）》的第二版中。^[10]

性質

參數為${\displaystyle \,n,p\,}$的二項分布的期望值為${\displaystyle \,np\,}$，方差為${\displaystyle \,np(1-p)\,}$。其概率母函數為

${\displaystyle G(z)=(1-p+pz)^{n},}$

矩母函數為

${\displaystyle M_{X}(t)=(1-p+pe^{t})^{n},}$

特徵函數為

${\displaystyle \varphi _{X}(t)=(1-p+pe^{it})^{n}.}$^[3][11]

參數${\displaystyle \,n=1\,}$的二項分布稱作伯努利分布^[3]。多項分布（英語：Multinomial distribution）是二項分布的拓展，描述重複進行不限於兩種結果、可能有多種可能結果的隨機試驗時的概率^[12]。二項分布本身是超幾何分布的極限形式。^[13]

二項分布的和

若${\displaystyle \,X_{1},X_{2}\,}$兩個隨機變量獨立，分別服從參數為${\displaystyle \,n_{1},p\,}$和${\displaystyle \,n_{2},p\,}$的二項分布，則${\displaystyle \,X_{1}+X_{2}\,}$即是在${\displaystyle \,n_{1}+n_{2}\,}$次獨立伯努利試驗中取得成功的次數，所以${\displaystyle \,X_{1}+X_{2}\,}$服從參數為${\displaystyle \,n_{1}+n_{2},p\,}$的二項分布。這一結論亦可通過將兩者的概率母函數相乘而得出。在條件${\displaystyle \,X_{1}+X_{2}=k\,}$之下，隨機變量${\displaystyle \,X_{1}\,}$的條件概率分布是參數為${\displaystyle \,k,n_{1},n_{1}+n_{2}\,}$的超幾何分布。^[14]

眾數

計算${\displaystyle \,\Pr(X=k)\,}$和${\displaystyle \,\Pr(X=k+1)\,}$的比值可以得到

${\displaystyle {\frac {\Pr(X=k+1)}{\Pr(X=k)}}={\frac {(n-k)p}{(k+1)(1-p)}}\quad (k=0,1,\ldots ,n-1),}$

因此，當${\displaystyle \,k<(n+1)p-1\,}$時，${\displaystyle \,\Pr(X=k)\,}$隨${\displaystyle \,k\,}$增加而上升；當${\displaystyle \,k>(n+1)p-1\,}$時，${\displaystyle \,\Pr(X=k)\,}$隨${\displaystyle \,k\,}$增加而下降。故二項分布的眾數為${\displaystyle \,(n+1)p\,}$的下取整${\displaystyle \,\lfloor (n+1)p\rfloor \,}$。若${\displaystyle \,(n+1)p\,}$本身是整數，則${\displaystyle \,(n+1)p\,}$和${\displaystyle \,(n+1)p-1\,}$均是眾數。若${\displaystyle \,p<(n+1)^{-1}\,}$，則眾數為${\displaystyle \,0\,}$。^[15]

中位數

二項分布的中位數${\displaystyle \,m\,}$位於${\displaystyle \,np\,}$的上下取整之間，即${\displaystyle \,\lfloor np\rfloor \leq m\leq \lceil np\rceil \,}$；若${\displaystyle \,np\,}$為整數，則中位數${\displaystyle \,m=np\,}$。中位數${\displaystyle \,m\,}$和期望值${\displaystyle \,np\,}$之間的差滿足

${\displaystyle |m-np|<\max\{p,1-p\}.}$

若${\displaystyle \,p>\ln 2\,}$或${\displaystyle \,p<1-\ln 2\,}$，則該上界可進一步縮減為

${\displaystyle |m-np|<\ln 2.}$

若${\displaystyle \,n\,}$為奇數、${\displaystyle \,p=1/2\,}$，則${\displaystyle \,(n-1)/2\,}$和${\displaystyle \,(n+1)/2\,}$均為中位數。^[16][17]

累積分布函數

二項分布的累積分布函數和尾概率可以用正則化不完全貝塔函數表示為

${\displaystyle \Pr(X\leq k)=I_{1-p}(n-\lfloor k\rfloor ,\lfloor k\rfloor +1),}$

${\displaystyle \Pr(X\geq k)=I_{p}(\lceil k\rceil ,n-\lceil k\rceil +1).}$^[18]

矩

二項分布的${\displaystyle \,r\,}$階原點矩滿足

${\displaystyle \mu '_{r}=E[X^{r}]=\sum _{j=0}^{r}{\frac {S(r,j)n!p^{j}}{(n-j)!}},}$

其中${\displaystyle \,S(r,j)\,}$表示第二類（英語：Stirling numbers of the second kind）斯特林數。具體而言，

${\displaystyle \mu '_{1}=np,}$

${\displaystyle \mu '_{2}=np+n(n-1)p^{2},}$

${\displaystyle \mu '_{3}=np+3n(n-1)p^{2}+n(n-1)(n-2)p^{3},}$

${\displaystyle \mu '_{4}=np+7n(n-1)p^{2}+6n(n-1)(n-2)p^{3}+n(n-1)(n-2)(n-3)p^{4}.}$

其低階中心矩為

${\displaystyle \mu _{2}=np(1-p),}$

${\displaystyle \mu _{3}=np(1-p)(1-2p),}$

${\displaystyle \mu _{4}=3[np(1-p)]^{2}+np(1-p)[1-6p(1-p)].}$^[19]

近似

正態近似

${\displaystyle n=6}$、${\displaystyle p=0.5}$時的二項分布及其正態近似

標準二項分布

${\displaystyle X'={\frac {X-np}{\sqrt {np(1-p)}}}}$

在${\displaystyle \,n\to \infty \,}$時趨近於標準正態分布。這一結果稱作棣莫弗-拉普拉斯定理（英語：De Moivre–Laplace theorem），為中心極限定理的特殊形式。基於這一定理可以得到

${\displaystyle \Pr(\alpha <{\frac {X-np}{\sqrt {np(1-p)}}}<\beta )\to \Phi (\beta )-\Phi (\alpha ),}$

其中${\displaystyle \,\Phi \,}$為標準正態分布的累積分布函數。^[20]

正態分布為連續概率分布，在近似二項分布這類離散概率分布時，可將端點向外偏移${\displaystyle \,0.5\,}$得到

${\displaystyle \Pr(X\leq k)\approx \Phi \left({\frac {k+0.5-np}{\sqrt {np(1-p)}}}\right),}$

從而提升近似的準確性，這種技巧稱作連續性校正（英語：Continuity correction）^[21]。何時能採用這一近似依賴於使用經驗法則，例如要求${\displaystyle \,np(1-p)>9\,}$，或是在${\displaystyle \,p\leq 0.5\,}$時要求${\displaystyle \,np>5\,}$、在${\displaystyle \,p>0.5\,}$時要求${\displaystyle \,n(1-p)>5\,}$。^[22][23]

泊松近似

當${\displaystyle \,n\to \infty ,p\to 0\,}$，而${\displaystyle \,np\,}$保持不變時，二項分布趨近於參數為${\displaystyle \,np\,}$的泊松分布。以此為基礎可以得到

${\displaystyle \Pr(X\leq k)\approx e^{-np}\sum _{j=0}^{k}{\frac {(np)^{j}}{j!}}.}$^[24]

二項分布與其泊松近似之間的絕對誤差存在上界。若隨機變量${\displaystyle \,X\,}$服從參數為${\displaystyle \,n,p\,}$的二項分布，隨機變量${\displaystyle \,Y\,}$服從參數為${\displaystyle \,np\,}$的泊松分布，則

${\displaystyle \sum _{k=0}^{\infty }\|\Pr(X=k)-\Pr(Y=k)\|\leq \min\{2np^{2},3p\}.}$^[25]

參數估計

點估計

通常參數${\displaystyle \,n\,}$為已知。假設隨機變量${\displaystyle \,X\,}$服從二項分布，其參數${\displaystyle \,p\,}$未知。若觀測到${\displaystyle \,X\,}$的值為${\displaystyle \,x\,}$，採用矩估計和最大似然估計對參數${\displaystyle \,p\,}$的估計量均為${\displaystyle \,{\frac {x}{n}}\,}$，這一估計量為無偏的。^[26]

參數${\displaystyle \,p\,}$的貝葉斯估計量（英語：Bayes estimator）取決於使用的先驗分布。若使用連續型均勻分布作為先驗分布，即假設${\displaystyle \,0\,}$和${\displaystyle \,1\,}$之間任意等長的區間包含${\displaystyle \,p\,}$的概率都相同，則後驗均值估計量為

${\displaystyle {\widehat {p}}={\frac {x+1}{n+2}}.}$

這被稱作拉普拉斯–貝葉斯估計量（英語：Laplace–Bayes estimator），曾被皮埃爾-西蒙·拉普拉斯用於估計在太陽連續升起${\displaystyle \,n\,}$天之後，太陽明天還會升起的概率。由於人類知道太陽在過去五千年，即1,826,213天都正常升起，拉普拉斯願意以1,826,214比1的賠率賭太陽明天繼續升起。^[27]

若使用參數為${\displaystyle \,\alpha ,\beta \,}$的貝塔分布作為先驗分布，則後驗均值估計量為

${\displaystyle {\widehat {p}}={\frac {\alpha +x+1}{\alpha +\beta +n+2}}.}$

採用貝塔分布作為先驗分布時，後驗分布亦是貝塔分布，即貝塔分布為二項分布的共軛先驗。^[28]

區間估計

若要對參數${\displaystyle \,p\,}$以區間形式給出估計，通過求解

${\displaystyle \sum _{j=x}^{n}{n \choose j}p_{L}^{j}(1-p_{L})^{n-j}={\frac {\alpha }{2}},}$

${\displaystyle \sum _{j=0}^{x}{n \choose j}p_{U}^{j}(1-p_{U})^{n-j}={\frac {\alpha }{2}},}$

所得的區間${\displaystyle \,(p_{L},p_{U})\,}$為一個置信水平近似為${\displaystyle \,1-\alpha \,}$的置信區間，稱作克洛珀-皮爾遜區間（Clopper-Pearson interval）。^[29]

正態分布可以用於推導近似的置信區間。若用${\displaystyle \,\lambda _{\alpha /2}\,}$表示標準正態分布的第${\displaystyle \,1-{\frac {\alpha }{2}}\,}$分位數，即${\displaystyle \,\Phi (\lambda _{\alpha /2})=1-{\frac {\alpha }{2}}\,}$，則區間兩端的近似值為

${\displaystyle {\frac {x}{n}}\pm {\frac {\lambda _{\alpha /2}}{\sqrt {n}}}{\sqrt {{\frac {x}{n}}\left(1-{\frac {x}{n}}\right)}}.}$^[30][31]

參見

• 概率論
• 機率分布
• 正態分布
• 卜瓦松分布
• 伯努利分布
• 負二項分布
• 多項分布（英語：Multinomial distribution）