梯度法

在最佳化中，梯度法（英语：Gradient method）是一种解决以下形式问题的算法

${\displaystyle \min _{x\in \mathbb {R} ^{n}}\;f(x)}$

搜索方向由当前点的函数梯度定义。梯度法的例子有梯度下降法和共轭梯度法。

参见

• 梯度下降法
• 随机梯度下降法（英语：Stochastic gradient descent）
• 坐标下降法
• 法兰克-沃尔夫算法（英语：Frank–Wolfe algorithm）
• 兰德韦伯迭代（英语：Landweber iteration）
• 随机坐标下降法（英语：Random coordinate descent）
• 共轭梯度法
• 共轭梯度法的推导
• 非线性共轭梯度法（英语：Nonlinear conjugate gradient method）
• 双共轭梯度法（英语：Biconjugate gradient method）
• 稳定双共轭梯度法

参考资料

• Elijah Polak. Optimization : Algorithms and Consistent Approximations. Springer-Verlag. 1997. ISBN 0-387-94971-2.