大數定律

喺統計學，大數定律係指重複做同一場實驗，樣本入便嘅個案數量越多，啲結果嘅算術平均值就有越大嘅機會接近個期望值。想像家陣擲一粒冇做手腳嘅六面骰，擲 n 咁多次，噉嗰 n 次擲骰仔嘅結果嘅平均值（樣本平均值）正路會隨住 n 變得愈嚟愈大，而愈嚟愈接近 3.5 呢個理論上嘅平均值－

大數定律呢個概念，對於統計學、概率論、經濟學同保險等嘅領域都有所啟示。就係因為有大數定律，所以做統計嘅人可以肯定由樣本數據當中估計總體特性係有意義嘅^[1]，而且大數定律亦都為蒙地卡羅方法嘅使用提供咗理論支持。

基礎概念

睇埋：概率論、期望值同實驗 (概率論)

大數定律嘅一個例子：譬如想像掟一個冇做手腳（出公出字概率一樣）嘅銀仔，掟咗 n 咁多次。一般直覺認為，如果 n 嘅數值極大（${\displaystyle n\to \infty }$），嗰 n 次掟銀仔嘅結果應該會有大約一半係公、大約一半係字，公嘅次數同字嘅次數兩者嘅比例會愈嚟愈接近 1。

喺較嚴格嘅定義上，大數定律最基本嘅形態如下：依家有一連串獨立同分佈（iid）嘅隨機變數 ${\displaystyle X_{k}}$，當中 iid 意思係指呢啲變數之間獨立，而且概率分佈一樣；只要 ${\displaystyle |X_{k}|}$（${\displaystyle X_{k}}$ 嘅期望值）唔係無限大，噉 ${\displaystyle X_{k}}$ 實際觀察到嘅樣本平均值（${\displaystyle {\overline {X}}_{n}}$）

${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}{\sum _{k=1}^{n}X_{k}}}$

會隨住 n 變大而接近 ${\displaystyle |X_{k}|}$。大數定律嘅諗頭源於直覺，但喺實際嘅觀察上經已受到證實。

進階版本

進階嘅分析仲會分弱大數定律－「趨近樣本平均值有咁上下概率會發生」同強大數定律－「趨近樣本平均值係一定會發生咁滯」^[2]。

弱定律

強定律

應用

大數定律喺蒙地卡羅方法入便有核心意義。蒙地卡羅方法喺統計上好常用，講緊透過產生大量隨機樣本，估計某個數值嘅期望值，而呢個數值通常係計法太複雜，用決定型係就係就可能計到，但會好花時間。大數定律就係講，隨住模擬樣本數逐漸增加，呢啲樣本嘅平均值會收斂到真實嗰個期望值。換句話講，大數定律保證咗一點，就係蒙地卡羅方法模擬愈 run 得耐（行得愈多次）估計出嚟嘅結果就會愈接近真實答案，令到呢種隨機模擬做法成為可靠嘅計算方法。而蒙地卡羅方法喺人工智能等領域上都會用到^[3]。

睇埋

• 中央極限定理
• 返去平均