以下皆以普通最小二乘法求解简单线性回归式。考虑以下的数学模型函数
,
是一条斜率为β且y轴截距为α的直线。通常实际上自变量与因变量并非如此完美的关系而存在未知的误差εi,即
,
以表示第
对资料中自变量与因变量的关系。此模型称为简单线性模型。
计算回归式的目标是根据资料计算估计值
与
以“最佳地”估计参数α与β。由于采用最小二乘法进行计算,“最佳”系指能使残差平方和
最小的参数估计值为目标。换句话说,我们寻求能使Q函数值最小的解,
。
此解为
与
[6],

其中
与
分别为xi与yi的计数平均数,- rxy为x与y的皮尔逊积矩相关系数,
- sx与sy分别为x与y的样本标准偏差,
与
分别为x的样本方差及x与y间的样本协方差。
将
与
带入

可得
。
此式呈现了rxy为预先将自变量与因变量预先标准化后的回归斜率。由于rxy界于-1与1之间,左式的绝对值势必不大于右式,体现了趋中回归的现象。
以
表示对应的x与y的乘积和,
,
可使rxy简化成
。
简单线性回归的判定系数即为二变量间皮尔逊积矩相关系数的平方:
。