吉洪诺夫正则化
维基百科,自由的 encyclopedia
吉洪诺夫正则化得名于安德烈·尼古拉耶维奇·吉洪诺夫,是在自变量高度相关的情景下估计多元回归模型系数的方法。[1]它已被用于许多领域,包括计量经济学、化学和工程学。[2]吉洪诺夫正则化为非适定性问题的正则化中最常见的方法。在统计学中,本方法被称为脊回归或岭回归(ridge regression);在机器学习领域则称为权重衰减或权值衰减(weight decay)。因为有不同的数学家独立发现此方法,此方法又称做吉洪诺夫-米勒法(Tikhonov–Miller method)、菲利浦斯-图米法(Phillips–Twomey method)、受限线性反演(constrained linear inversion method),或线性正规化(linear regularization)。此方法亦和用在非线性最小二乘法(英语:Non-linear_least_squares)的莱文贝格-马夸特方法相关。它对于缓解线性回归中的多重共线性问题特别有用,这常见于有大量参数的模型中。[3]总的来说,这种方法提高了参数估计的效率,但也有可容忍的偏差(见偏差-方差权衡)。[4]
该理论于1970年由Hoerl与Kennard发表在《技术计量学》上的文章《岭回归:非正交问题的偏估计》及《岭回归:非正交问题中的应用》中首次提出。[5][6][1] This was the result of ten years of research into the field of ridge analysis.[7]
岭回归是通过创建岭回归估计量(RR)实现的。当线性回归模型具有多重共线(高度相关)的自变量时,岭回归对于最小二乘估计的不精确性是一种可能的解决方案。这提供了更精确的岭参数估计,因为它的方差和均方估计量通常小于先前推导的最小二乘估计量。[8][2]
当求解超定问题(即)时, 矩阵 的协方差矩阵 奇异或接近奇异时,利用最小二乘方法求出的结果 会出现发散或对 不合理的逼近。为了解决这一问题,吉洪诺夫于1963年提出了利用正则化项修改最小二乘的代价函数的方法,修改后的代价函数如下:
式中 称为正则化参数[9],这种方法被称为吉洪诺夫正则化。