最小二乘法
维基百科,自由的 encyclopedia
最小二乘法(英语:least squares method),又称最小平方法,是一种数学优化建模方法。它通过最小化误差的平方和寻找数据的最佳函数匹配。
此条目需要补充更多来源。 (2022年1月19日) |
利用最小二乘法可以简便的求得未知的数据,并使得求得的数据与实际数据之间误差的平方和为最小。
“最小二乘法”是对线性方程组,即方程个数比未知数更多的方程组,以回归分析求得近似解的标准方法。在这整个解决方案中,最小二乘法演算为每一方程式的结果中,将残差平方和的总和最小化。
最重要的应用是在曲线拟合上。最小二乘所涵义的最佳拟合,即残差(残差为:观测值与模型提供的拟合值之间的差距)平方总和的最小化。当问题在自变量(x变量)有重大不确定性时,那么使用简易回归和最小二乘法会发生问题;在这种情况下,须另外考虑变量-误差-拟合模型所需的方法,而不是最小二乘法。
最小二乘问题分为两种:线性或普通的最小二乘法,和非线性的最小二乘法,取决于在所有未知数中的残差是否为线性。线性的最小二乘问题发生在统计回归分析中;它有一个封闭形式的解决方案。非线性的问题通常经由迭代细致化来解决;在每次迭代中,系统由线性近似,因此在这两种情况下核心演算是相同的。
最小二乘法所得出的多项式,即以拟合曲线的函数来描述自变量与预计因变量的方差关系。
当观测值来自指数族且满足轻度条件时,最小二乘估计和最大似然估计是相同的。最小二乘法也能从动差法得出。
以下讨论大多是以线性函数形式来表示,但对于更广泛的函数族,最小二乘法也是有效和实用的。此外,迭代地将局部的二次近似应用于或然性(借由费希尔信息),最小二乘法可用于拟合广义线性模型。
最小二乘法通常归功于高斯(Carl Friedrich Gauss,1795),但最小二乘法是由阿德里安-马里·勒让德(Adrien-Marie Legendre)首先发表的。