決定系數

決定系數，又叫 R-平方，係統計學上嘅概念，做統計嘅人成日會用佢嚟衡量可解釋變異。決定系數大致上可以理解為係喺度衡量手上個模型嗰啲自變數，講緊呢啲自變數有幾能夠「解釋」或者「預測」研究緊嘅應變數。

描繪奧肯法則嘅數據

如果講緊嗰個模型係迴歸模型，決定系數（R²）嘅定義如下：^[1]

${\displaystyle R^{2}=1-{SS_{\rm {r}} \over SS_{\rm {z}}}\,}$

當中 SS_r 反映建立咗模型之後，研究者對應變數淨低幾多不確定性，而 SS_z 則反映應變數中存有嘅不確定性總量。

基本定義

睇埋：方差同殘差

假設有一組數據，包括 y₁, ... , y_n 共 n 咁多個觀察值。研究者建立咗個統計模型，用個模型預測應變數嘅值，而對每個觀察到嘅值，模型都有相應嘅預測值，分別係 f₁, ... , f_n 噉。定義殘差為 e_i = y_i − f_i，而觀察值嘅平均值係：^[2][3]

${\displaystyle {\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}}$

跟住就可以計到總平方和（英文：TSS），呢個數值反映應變數帶有嘅「不確定性總量」：

${\displaystyle SS_{\text{z}}=\sum _{i}(y_{i}-{\bar {y}})^{2}}$

然後就計埋殘差平方和（英文：RSS），呢條式嘅計算用咗殘差嘅概念，而個數值反映有咗個模型，應變數帶有幾多不確定性，殘差值愈高，不確定性就愈高：

${\displaystyle SS_{\text{r}}=\sum _{i}(y_{i}-f_{i})^{2}=\sum _{i}e_{i}^{2}}$

最後，決定系數（R-平方）嘅定義就係：

${\displaystyle R^{2}\equiv 1-{\frac {SS_{\text{r}}}{SS_{\text{z}}}}}$

決定系數可以噉理解：決定系數嘅數值愈大（愈接近 1），就愈表示個模型能夠「解釋到」應變數嘅變異；而其數值愈低，就愈反映個模型根本解釋唔到應變數嘅變異^{[註 1]}。要圖像化噉表達嘅話，可以試想下圖，下圖數據中有四個個案，打戙軸表示應變數（y）嘅值，當中

• 左圖係一個冇咩資訊嘅模型－無論 x 係咩值，模型都預測佢個相應 y 值等如 y 嘅平均值，畫做線成打橫嘅線；啲紅色方形嘅高度數值加埋晒一齊，會反映總平方和。
• 右圖用咗一個線性嘅迴歸模型做預測，當中個模型斜率為正數，啲藍色方形嘅高度數值加埋晒一齊，會反映殘差平方和。

假如殘差平方和同總平方和相比好細（前者除以後者，出嘅數值接近 0），噉 R-平方數值就會迫近 1。

概念詮釋

内文：適合度指標

R² 係用嚟量度模型擬合得有幾好嘅指標^[4]。喺迴歸分析入便，決定系數 R² 可以用嚟衡量迴歸預測結果有幾貼近實際嘅數據點。如果 R² = 1，就表示迴歸預測可以完全吻合數據^{[註 2]}而 R² 數值低（例如接近 0 甚至係負數）就反映個模型唔能夠符合數據。因此建立迴歸模型嘅人通常希望 R² 數值接近 1。

睇埋

• 可解釋變異
• 統計模型
• 迴歸模型
• 機器學習

註釋

1. 喺呢種計法下，R-平方理論上的確可以係負數，不過噉就反映個模型做起預測上嚟仲渣過（預測值永遠等同平均嘅）低資訊模型。
2. 不過噉都未必係一件好事。可以睇吓過適嘅概念。