简单线性回归

在统计学中，简单线性回归是指仅具有单一的自变数的线性回归^{[1][2][3][4][5]}，其中“简单”系单一自变数之意。此回归可用于估计有限的截距与斜率以推论应变数在特定自变数为条件下的均值。

奥肯法则在总体经济学是简单线性回归的实例。图中应变数（经济增长率）被推论为与自变数（失业率变动）存在负向的线性关系。

普通最小二乘法是常见用于寻求简单线性回归式的方法，目的是得到能使残差平方和最小的回归式。其它方法，诸如最小绝对偏差（英语：Least absolute deviations）（使残差绝对值的总和最小）、泰尔－森估算（所有样本点两两配对的斜率中位数做为整体斜率）等，亦可应用于简单线性回归的命题。戴明回归（英语：Deming regression）（考虑自变数与应变数同时为误差来源）的功能虽然与上述方法相似但不属于简单线性回归的范畴，因其不区分自变数与应变数且可能得到多个回归式。

以最小平方法处理简单线性回归，则求得的斜率β等于自变数x与应变数y的皮尔森积动差相关系数与二者的标准偏差比值的乘积，

${\displaystyle {\hat {\beta }}=r_{x,y}{\frac {s_{y}}{s_{x}}}}$

而再考虑截距α则保证使回归线通过自变数与应变数的均值 (x, y)。

计算回归式

以下皆以普通最小二乘法求解简单线性回归式。考虑以下的数学模型函数

${\displaystyle y=\alpha +\beta x}$，

是一条斜率为β且y轴截距为α的直线。通常实际上自变数与应变数并非如此完美的关系而存在未知的误差ε_i，即

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i},i=1,\ldots ,n}$，

以表示第${\displaystyle i}$对资料中自变数与应变数的关系。此模型称为简单线性模型。

计算回归式的目标是根据资料计算估计值${\displaystyle {\hat {\alpha }}}$与${\displaystyle {\hat {\beta }}}$以“最佳地”估计参数α与β。由于采用最小平方法进行计算，“最佳”系指能使残差平方和${\displaystyle {\hat {\varepsilon }}_{i}=y_{i}-\alpha -\beta x_{i}}$最小的参数估计值为目标。换句话说，我们寻求能使Q函数值最小的解，

${\displaystyle Q(\alpha ,\beta )=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}}$。

此解为${\displaystyle {\hat {\alpha }}}$与${\displaystyle {\hat {\beta }}}$^[6]，

${\textstyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-({\hat {\beta }}\,{\bar {x}}),\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\\&={\frac {s_{x,y}}{s_{x}^{2}}}\\&=r_{xy}{\frac {s_{y}}{s_{x}}}\end{aligned}}}$

其中

• ${\displaystyle {\bar {x}}}$与${\displaystyle {\bar {y}}}$分别为x_i与y_i的计数平均数，
• r_xy为x与y的皮尔森积动差相关系数，
• s_x与s_y分别为x与y的样本标准偏差，
• ${\displaystyle s_{x}^{2}}$与${\displaystyle s_{x,y}}$分别为x的样本变异数及x与y间的样本共变异数。

将${\displaystyle {\hat {\alpha }}}$与${\displaystyle {\hat {\beta }}}$带入

${\displaystyle {\hat {y}}={\hat {\alpha }}+{\hat {\beta }}x}$

可得

${\displaystyle {\frac {{\hat {y}}-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}}$。

此式呈现了r_xy为预先将自变数与应变数预先标准化后的回归斜率。由于r_xy界于-1与1之间，左式的绝对值势必不大于右式，体现了趋中回归（英语：Regression toward the mean）的现象。

以${\displaystyle {\overline {xy}}}$表示对应的x与y的乘积和，

${\displaystyle {\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}}$，

可使r_xy简化成

${\displaystyle r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}}$。

简单线性回归的判定系数即为二变数间皮尔森积动差相关系数的平方：

${\displaystyle R^{2}=r_{xy}^{2}}$。

回归系数（斜率）的意义

将${\displaystyle {\hat {\beta }}}$的估计式分子乘以${\displaystyle {\frac {(x_{i}-{\bar {x}})}{(x_{i}-{\bar {x}})}}}$，可改写为

${\displaystyle {\hat {\beta }}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}\left((x_{i}-{\bar {x}})^{2}\times {\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}\right)}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$。

可以看出，回归式的斜率为${\displaystyle {\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}}$以${\displaystyle (x_{i}-{\bar {x}})^{2}}$为权数的加权平均。因此，${\displaystyle (x_{i}-{\bar {x}})^{2}}$越大的资料对斜率${\displaystyle {\hat {\beta }}}$的影响力越大。

截距的意义

${\displaystyle {\hat {\alpha }}}$可经由下列式子估算： ${\displaystyle {\hat {\alpha }}={\bar {y}}-{\hat {\beta }}\ {\bar {x}}}$。 由于${\displaystyle {\hat {\beta }}=\tan(\theta )=dy/dx\rightarrow dy=dx\times {\hat {\beta }}}$，其中${\displaystyle \theta }$即为与横轴正值的夹角，可以得到${\displaystyle {\hat {\alpha }}={\bar {y}}-dx\times {\hat {\beta }}={\bar {y}}-dy}$。