应用于最优化的牛顿法维基百科,自由的 encyclopedia 牛顿法是微积分学中, 通过迭代以求解可微函数 f {\displaystyle f} 的零点的一种算法 (即求 x {\displaystyle x} 使得 f ( x ) = 0 {\displaystyle f(x)=0} ). 而在优化中, 牛顿法通常被运用于求解一个二次可微函数 f {\displaystyle f} 的一阶导数 f ′ {\displaystyle f^{\prime }} 的零点 (即求 x {\displaystyle x} 使得 f ′ ( x ) = 0 {\displaystyle f^{\prime }(x)=0} ), 同时也是 f {\displaystyle f} 的驻点. 因此从另一个角度而言,应用于优化的牛顿法是搜索函数 f ( x ) {\displaystyle f(x)} 的最小值或最大值的一种算法。 最速下降法 (绿色) 与牛顿法 (红色) 在求最小值问题上的比较 (带有步长). 可见牛顿法根据曲率选择了一条“快捷方式”. 一维问题的牛顿法主要步骤如下: 取一个点 x 0 {\displaystyle x_{0}} 为初值, 依如下公式迭代: x n + 1 = x n − f ′ ( x n ) f ′ ′ ( x n ) , {\displaystyle x_{n+1}=x_{n}-{\frac {f^{\prime }(x_{n})}{f^{\prime \prime }(x_{n})}},} 直至满足一定条件 (如 f ′ ( x n ) = 0 {\displaystyle f^{\prime }(x_{n})=0} 或 x n + 1 − x n < ε {\displaystyle x_{n+1}-x_{n}<\varepsilon } , 其中 ε {\displaystyle \varepsilon } 为一个给定的足够小的常量) 后, 算法终止。
牛顿法是微积分学中, 通过迭代以求解可微函数 f {\displaystyle f} 的零点的一种算法 (即求 x {\displaystyle x} 使得 f ( x ) = 0 {\displaystyle f(x)=0} ). 而在优化中, 牛顿法通常被运用于求解一个二次可微函数 f {\displaystyle f} 的一阶导数 f ′ {\displaystyle f^{\prime }} 的零点 (即求 x {\displaystyle x} 使得 f ′ ( x ) = 0 {\displaystyle f^{\prime }(x)=0} ), 同时也是 f {\displaystyle f} 的驻点. 因此从另一个角度而言,应用于优化的牛顿法是搜索函数 f ( x ) {\displaystyle f(x)} 的最小值或最大值的一种算法。 最速下降法 (绿色) 与牛顿法 (红色) 在求最小值问题上的比较 (带有步长). 可见牛顿法根据曲率选择了一条“快捷方式”. 一维问题的牛顿法主要步骤如下: 取一个点 x 0 {\displaystyle x_{0}} 为初值, 依如下公式迭代: x n + 1 = x n − f ′ ( x n ) f ′ ′ ( x n ) , {\displaystyle x_{n+1}=x_{n}-{\frac {f^{\prime }(x_{n})}{f^{\prime \prime }(x_{n})}},} 直至满足一定条件 (如 f ′ ( x n ) = 0 {\displaystyle f^{\prime }(x_{n})=0} 或 x n + 1 − x n < ε {\displaystyle x_{n+1}-x_{n}<\varepsilon } , 其中 ε {\displaystyle \varepsilon } 为一个给定的足够小的常量) 后, 算法终止。