梯度法

在最佳化中，梯度法（英語：Gradient method）是一種解決以下形式問題的算法

${\displaystyle \min _{x\in \mathbb {R} ^{n}}\;f(x)}$

搜索方向由當前點的函數梯度定義。梯度法的例子有梯度下降法和共軛梯度法。

參見

• 梯度下降法
• 隨機梯度下降法（英語：Stochastic gradient descent）
• 坐標下降法
• 法蘭克-沃爾夫算法（英語：Frank–Wolfe algorithm）
• 蘭德韋伯迭代（英語：Landweber iteration）
• 隨機坐標下降法（英語：Random coordinate descent）
• 共軛梯度法
• 共軛梯度法的推導
• 非線性共軛梯度法（英語：Nonlinear conjugate gradient method）
• 雙共軛梯度法（英語：Biconjugate gradient method）
• 穩定雙共軛梯度法

參考資料

• Elijah Polak. Optimization : Algorithms and Consistent Approximations. Springer-Verlag. 1997. ISBN 0-387-94971-2.