總方差定律

總方差定律係概率論入便一條基本法則，講緊隨機變數嘅方差有唔同部份：是但搵個隨機變數 Y，佢嘅方差可以拆成同另一個隨機變數 X 有關嘅條件方差同條件期望嘅組合。簡化噉講，總方差定律係話 Y 嘅總方差，可以拆成未解釋嘅變異（組內方差嘅平均值）同埋已解釋嘅變異（組平均數嘅方差）呢兩大部份。

呢幅圖顯示嘅數據，比較四隊（以 1 2 3 4 代表）人馬分別嘅贏率有幾高。

呢條定律用數學符號表達如下：設 X 同 Y 係同一個概率空間入便嘅隨機變數，而且 Y 有一個數值有限嘅方差；噉根據總方差定律，以下呢條恆等式實會成立－

$${\displaystyle \operatorname {Var} (Y)\;=\;\operatorname {E} {\bigl [}\operatorname {Var} (Y\mid X){\bigr ]}\;+\;\operatorname {Var} \!{\bigl (}\operatorname {E} [Y\mid X]{\bigr )}\!}$$

條式左邊嗰嚿係 Y 嘅方差，而呢個值等如右邊嗰兩個項加埋：

• ${\displaystyle \operatorname {E} {\bigl [}\operatorname {Var} (Y\mid X){\bigr ]}}$：同每個 X 可能值，計嗰個可能值下 Y 嘅方差，再計呢啲方差嘅期望值。
• ${\displaystyle \operatorname {Var} \!{\bigl (}\operatorname {E} [Y\mid X]{\bigr )}}$：同每個 X 可能值，計嗰個可能值下 Y 嘅期望值，再計呢啲期望值嘅方差。

當中前者反映組內變異－靠 X 解釋唔到嘅變異－而後者反映組間變異－用 X 嚟解釋嘅變異。

基本概念

内文：方差

睇埋：概率論

總方差定律條式，用咗方差同期望值等嘅概念。

假設依家有五位學生，嚟自兩間學校，兩間學校分別係牛頭角津貼中學（下簡稱牛津）同埋就亭葉中學（下簡稱就亭葉）。佢哋參加一場考試，滿分為 100 分。設 Y 做分數，而 X 就係一個分類變數，表示嗰位學生嚟自邊間學校：

學生	Y（分數）	X（學校）
陳柏宇	20	牛津
李俊熙	30	牛津
吳浩明	100	牛津
張芷晴	40	就亭葉
林可欣	60	就亭葉

牛津生嘅平均數及方差（參見英文：variance）係：

${\displaystyle \operatorname {E} [Y\mid X={\text{ngau}}]=50,;\operatorname {Var} (Y\mid X={\text{ngau}})\approx 1266.7}$

就亭葉生嘅平均數同方差：

${\displaystyle \operatorname {E} [Y\mid X={\text{zau}}]=50,;\operatorname {Var} (Y\mid X={\text{zau}})=100}$

睇返總方差定律條式嘅話：

1. ${\displaystyle \operatorname {E} {\bigl [}\operatorname {Var} (Y\mid X){\bigr ]}}$：唔同組嘅方差，呢啲方差嘅期望值係幾多？
2. ${\displaystyle \operatorname {Var} \!{\bigl (}\operatorname {E} [Y\mid X]{\bigr )}}$：唔同組嘅平均值，呢啲平均值嘅方差係幾多？

喺呢個個案入便，由於兩組嘅平均數一樣都係 50，所以組平均數（2）嘅方差等於 0，而總方差等於組內方差嘅加權平均（組內方差嘅平均值），即係 800。

形式表述

設數據入便有 n 咁多個個案，而^[1]

${\displaystyle (X_{i},Y_{i}),i=1,\ldots ,n}$

為一對對嘅觀察值－每個個案都响 X 同 Y 上有個值。界定（用平均值同期望值嘅概念）

${\displaystyle {\overline {Y}}=\operatorname {E} [Y].}$

噉思考 Y 嘅方差叫做（呢條式用咗加總嘅符號）

${\displaystyle \operatorname {Var} (Y)={\frac {1}{n}}\sum _{i=1}^{n}{\bigl (}Y_{i}-{\overline {Y}}{\bigr )}^{2}={\frac {1}{n}}\sum _{i=1}^{n}{\Bigl [}(Y_{i}-{\overline {Y}}_{X_{i}})+({\overline {Y}}_{X_{i}}-{\overline {Y}}){\Bigr ]}^{2},}$

當中

${\displaystyle {\overline {Y}}_{X_{i}}=\operatorname {E} [Y\mid X=X_{i}].}$

將 Y 嘅方差嗰條式擴張，最後會得出：

${\displaystyle \operatorname {Var} (Y)=\operatorname {E} {\bigl [}\operatorname {Var} (Y\mid X){\bigr ]}\;+\;\operatorname {Var} \!{\bigl (}\operatorname {E} [Y\mid X]{\bigr )}.\!}$

上述嘅式嘅解釋如下：

1. ${\displaystyle \operatorname {Var} (Y\mid X)}$ 反映緊 Y 圍繞住條件平均數 ${\displaystyle \operatorname {E} [Y\mid X]}$ 嘅變動程度。
2. 攞住呢個條件方差，睇勻晒佢喺唔同 X 之下嘅數值，就會得出 ${\displaystyle \operatorname {E} [\operatorname {Var} (Y\mid X)]}$，是謂未解釋部分或者組內變異。
3. 條件平均數嘅方差 ${\displaystyle \operatorname {Var} (\operatorname {E} [Y\mid X])}$，反映緊呢啲條件平均數之間嘅差異（已解釋部分或者組間變異）。

亦可以睇睇方差分析（ANOVA）入便點樣分拆變異程度。

嗌法

呢條式亦叫做方差分解公式^{[註 1]}、條件方差公式^{[註 2]}、迭代方差定律^{[註 3]}。^[2]

睇埋

• 總期望定律
• 方差分析
• 條件期望

註釋

1. variance decomposition formula
2. conditional variance formula
3. law of iterated variances