罗森布罗克函数

在数学优化中，罗森布罗克函数是一个用来测试优化算法性能的非凸函数，由霍华德·哈里·罗森布罗克】在1960年提出^[1]。也称为罗森布罗克山谷或罗森布罗克香蕉函数，也简称为香蕉函数。

双变量的罗森布罗克函数

罗森布罗克函数的定义如下：

${\displaystyle f(x,y)=(1-x)^{2}+100(y-x^{2})^{2}.\quad }$

罗森布罗克函数的每个等高线大致呈抛物线形，其全局最小值也位在抛物线形的山谷中（香蕉型山谷）。很容易找到这个山谷，但由于山谷内的值变化不大，要找到全局的最小值相当困难。

其全局最小值位于${\displaystyle (x,y)=(1,1)}$点，数值为${\displaystyle f(x,y)=0}$。有时第二项的系数不同，但不会影响全局最小值的位置。

用罗森布罗克函数测试梯度下降法的结果，约1000次才到达全局最小值

多变量下的扩展

多变量的罗森布罗克k函数有以下二种形式。一种是${\displaystyle N/2}$个独立二维罗森布罗克函数的和：

${\displaystyle f(\mathbf {x} )=f(x_{1},x_{2},\dots ,x_{N})=\sum _{i=1}^{N/2}\left[100(x_{2i-1}^{2}-x_{2i})^{2}+(x_{2i-1}-1)^{2}\right].}$^[2]

此形式只在${\displaystyle N}$为偶数时有定义，而且其解较简单。

另一个较复杂的形式为：

${\displaystyle f(\mathbf {x} )=\sum _{i=1}^{N-1}\left[(1-x_{i})^{2}+100(x_{i+1}-x_{i}^{2})^{2}\right]\quad \forall \mathbf {x} \in \mathbb {R} ^{N}.}$^[3]

可证明当${\displaystyle N=3}$时，此形式的罗森布罗克函数只有一个最小值（位置在${\displaystyle (1,1,1)}$），在 ${\displaystyle 4\leq N\leq 7}$时只有二个最小值，所有变量均为1时有全局最小值，而在${\displaystyle (x_{1},x_{2},\dots ,x_{N})=(-1,1,\dots ,1)}$附近有局部最小值。此结果是将令函数的梯度为0后求得，罗森布罗克函数的梯度仍为一个${\displaystyle x}$的多项式，在${\displaystyle N}$较小时，可以精确的列出多项式，再求出实根的个数，而其根限制在${\displaystyle |x_{i}|<2.4}$的范围内^[4]。若${\displaystyle N}$较大时因为相关的系数太多，无法用以上方式进行。

随机函数

有许多方式可以将罗森布罗克函数延伸到随机（stochastic）函数，以下是一种例子：^[5]

${\displaystyle f(\mathbf {x} )=\sum _{i=1}^{n-1}{\Big [}(1-x_{i})^{2}+100\epsilon _{i}(x_{i+1}-x_{i}^{2})^{2}{\Big ]},}$

其中随机变量${\displaystyle \epsilon _{i}(i=1,2,...,n-1)}$服从均匀分布 Unif(0,1)。原则上，此随机函数的全局最小值仍在(1,1,...,1)，不过因为其随机的特性，任何以梯度下降法为基础的优化算法均无法用来求得此随机函数的最小值。

可适用的优化算法

经若经过适当的坐标系调整，可以在没有梯度信息及不建立局部近似模型的情形下（和其他不使用梯度信息的优化算法相反），用优化算法求得罗森布罗克函数的最小值。以下的例子说明如何用适应坐标下降法（英语：Adaptive coordinate descent）对二维的罗森布罗克函数进行优化，启始点${\displaystyle x_{0}=(-3,-4)}$。在325次函数的运算后可找到最小值的位置，函数的数值为${\displaystyle 10^{-10}}$。

相关条目

• Himmelblau函数（英语：Himmelblau's function）
• Rastrigin函数（英语：Rastrigin function）
• 格里旺克函数