普通最小平方法

在回歸分析當中，最常用的估計${\displaystyle \beta }$（回歸係數）的方法是普通最小二乘法（英語：ordinary least squares，簡稱OLS），它基於誤差值之上。用這種方法估計${\displaystyle \beta }$，首先要計算殘差平方和（residual sum of squares；RSS），RSS是指將所有誤差值的平方加起來得出的數：

${\displaystyle RSS=\sum _{i=1}^{n}e_{i}^{2}\,}$

${\displaystyle \beta _{0}}$與${\displaystyle \beta _{1}}$的數值可以用以下算式計算出來：

${\displaystyle {\widehat {\beta }}_{1}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}}$

${\displaystyle {\widehat {\beta }}_{0}={\bar {y}}-{\widehat {\beta }}_{1}{\bar {x}}}$

當中${\displaystyle {\bar {x}}}$為${\displaystyle x}$的平均值，而${\displaystyle {\bar {y}}}$為${\displaystyle y}$的平均值。

假設總體的誤差值有一個固定的變異數，這個變異數可以用以下算式估計：

${\displaystyle {\hat {\sigma }}_{\varepsilon }^{2}={\frac {RSS}{n-2}}.\,}$

這個數就是均方誤差（mean square error），這個分母是樣本大小減去模型要估計的參數的量。這個回歸模型當中有兩個未知的參數（${\displaystyle \beta _{0}}$與${\displaystyle \beta _{1}}$）。^[1]

而這些參數估計的標準誤差（standard error）為：

${\displaystyle {\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}}$

${\displaystyle {\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}={\hat {\sigma }}_{\beta _{1}}{\sqrt {\frac {\sum x_{i}^{2}}{n}}}}$

有了上面這個模型，研究者手上就有會有${\displaystyle \beta _{0}}$與${\displaystyle \beta _{1}}$的估計值，就可以用這個算式來預測${\displaystyle Y}$的數值。

參見

• 最小均方誤差
• 非線性最小二乘法