Algorisme del gradient descendent

L'algorisme del gradient descendent és un mètode iteratiu d'optimització de primer ordre per a trobar el mínim d'una funció. S'anomena descendent perquè el prenen els increments proporcionals al negatiu del gradient de la funció. Si es prenen increments positius al gradient, s'anomena gradient ascendent.^[1][2][3]

Il·lustració del gradient descendent d'una funció: els punts apunten al cercle central que és el mínim de la funció

Aquest mètode s'empra sovint com una extensió de l'algorisme de retropropagació usat en l'entrenament de xarxes neuronals artificials.

Descripció

El gradient descendent es basa en el fet que si la funció multivariable ${\displaystyle F(x)}$ està definida i és derivable al voltant d'un punt ${\displaystyle a}$, llavors ${\displaystyle F(x)}$decreix de la manera més ràpida si es va des del punt ${\displaystyle a}$ en direcció del gradient negatiu de ${\displaystyle F}$en ${\displaystyle a}$, o sigui ${\displaystyle -\nabla F(\mathbf {a} )}$. Aleshores la seqüència de punts és:

${\displaystyle \mathbf {a} _{n+1}=\mathbf {a} _{n}-\gamma \nabla F(\mathbf {a} _{n})}$

o també:

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0.}$

i la seqüència és monotònica descendent:

${\displaystyle F(\mathbf {x} _{0})\geq F(\mathbf {x} _{1})\geq F(\mathbf {x} _{2})\geq \cdots ,}$