應用於最優化的牛頓法維基百科,自由的 encyclopedia 牛頓法是微積分學中, 通過疊代以求解可微函數 f {\displaystyle f} 的零點的一種算法 (即求 x {\displaystyle x} 使得 f ( x ) = 0 {\displaystyle f(x)=0} ). 而在最佳化中, 牛頓法通常被運用於求解一個二次可微函數 f {\displaystyle f} 的一階導數 f ′ {\displaystyle f^{\prime }} 的零點 (即求 x {\displaystyle x} 使得 f ′ ( x ) = 0 {\displaystyle f^{\prime }(x)=0} ), 同時也是 f {\displaystyle f} 的駐點. 因此從另一個角度而言,應用於最佳化的牛頓法是搜索函數 f ( x ) {\displaystyle f(x)} 的最小值或最大值的一種算法。 最速下降法 (綠色) 與牛頓法 (紅色) 在求最小值問題上的比較 (帶有步長). 可見牛頓法根據曲率選擇了一條「捷徑」. 一維問題的牛頓法主要步驟如下: 取一個點 x 0 {\displaystyle x_{0}} 為初值, 依如下公式疊代: x n + 1 = x n − f ′ ( x n ) f ′ ′ ( x n ) , {\displaystyle x_{n+1}=x_{n}-{\frac {f^{\prime }(x_{n})}{f^{\prime \prime }(x_{n})}},} 直至滿足一定條件 (如 f ′ ( x n ) = 0 {\displaystyle f^{\prime }(x_{n})=0} 或 x n + 1 − x n < ε {\displaystyle x_{n+1}-x_{n}<\varepsilon } , 其中 ε {\displaystyle \varepsilon } 為一個給定的足夠小的常數) 後, 算法終止。
牛頓法是微積分學中, 通過疊代以求解可微函數 f {\displaystyle f} 的零點的一種算法 (即求 x {\displaystyle x} 使得 f ( x ) = 0 {\displaystyle f(x)=0} ). 而在最佳化中, 牛頓法通常被運用於求解一個二次可微函數 f {\displaystyle f} 的一階導數 f ′ {\displaystyle f^{\prime }} 的零點 (即求 x {\displaystyle x} 使得 f ′ ( x ) = 0 {\displaystyle f^{\prime }(x)=0} ), 同時也是 f {\displaystyle f} 的駐點. 因此從另一個角度而言,應用於最佳化的牛頓法是搜索函數 f ( x ) {\displaystyle f(x)} 的最小值或最大值的一種算法。 最速下降法 (綠色) 與牛頓法 (紅色) 在求最小值問題上的比較 (帶有步長). 可見牛頓法根據曲率選擇了一條「捷徑」. 一維問題的牛頓法主要步驟如下: 取一個點 x 0 {\displaystyle x_{0}} 為初值, 依如下公式疊代: x n + 1 = x n − f ′ ( x n ) f ′ ′ ( x n ) , {\displaystyle x_{n+1}=x_{n}-{\frac {f^{\prime }(x_{n})}{f^{\prime \prime }(x_{n})}},} 直至滿足一定條件 (如 f ′ ( x n ) = 0 {\displaystyle f^{\prime }(x_{n})=0} 或 x n + 1 − x n < ε {\displaystyle x_{n+1}-x_{n}<\varepsilon } , 其中 ε {\displaystyle \varepsilon } 為一個給定的足夠小的常數) 後, 算法終止。