羅森布羅克函式

在數學最佳化中，羅森布羅克函式是一個用來測試最佳化演算法效能的非凸函式，由霍華德·哈里·羅森布羅克】在1960年提出^[1]。也稱為羅森布羅克山谷或羅森布羅克香蕉函式，也簡稱為香蕉函式。

雙變數的羅森布羅克函式

羅森布羅克函式的定義如下：

${\displaystyle f(x,y)=(1-x)^{2}+100(y-x^{2})^{2}.\quad }$

羅森布羅克函式的每個等高線大致呈拋物線形，其全域最小值也位在拋物線形的山谷中（香蕉型山谷）。很容易找到這個山谷，但由於山谷內的值變化不大，要找到全域的最小值相當困難。

其全域最小值位於${\displaystyle (x,y)=(1,1)}$點，數值為${\displaystyle f(x,y)=0}$。有時第二項的係數不同，但不會影響全域最小值的位置。

用羅森布羅克函式測試梯度下降法的結果，約1000次才到達全域最小值

多變數下的擴展

多變數的羅森布羅克k函式有以下二種形式。一種是${\displaystyle N/2}$個獨立二維羅森布羅克函式的和：

${\displaystyle f(\mathbf {x} )=f(x_{1},x_{2},\dots ,x_{N})=\sum _{i=1}^{N/2}\left[100(x_{2i-1}^{2}-x_{2i})^{2}+(x_{2i-1}-1)^{2}\right].}$^[2]

此形式只在${\displaystyle N}$為偶數時有定義，而且其解較簡單。

另一個較複雜的形式為：

${\displaystyle f(\mathbf {x} )=\sum _{i=1}^{N-1}\left[(1-x_{i})^{2}+100(x_{i+1}-x_{i}^{2})^{2}\right]\quad \forall \mathbf {x} \in \mathbb {R} ^{N}.}$^[3]

可證明當${\displaystyle N=3}$時，此形式的羅森布羅克函式只有一個最小值（位置在${\displaystyle (1,1,1)}$），在 ${\displaystyle 4\leq N\leq 7}$時只有二個最小值，所有變數均為1時有全域最小值，而在${\displaystyle (x_{1},x_{2},\dots ,x_{N})=(-1,1,\dots ,1)}$附近有局部最小值。此結果是將令函式的梯度為0後求得，羅森布羅克函式的梯度仍為一個${\displaystyle x}$的多項式，在${\displaystyle N}$較小時，可以精確的列出多項式，再求出實根的個數，而其根限制在${\displaystyle |x_{i}|<2.4}$的範圍內^[4]。若${\displaystyle N}$較大時因為相關的係數太多，無法用以上方式進行。

隨機函式

有許多方式可以將羅森布羅克函式延伸到隨機（stochastic）函式，以下是一種例子：^[5]

${\displaystyle f(\mathbf {x} )=\sum _{i=1}^{n-1}{\Big [}(1-x_{i})^{2}+100\epsilon _{i}(x_{i+1}-x_{i}^{2})^{2}{\Big ]},}$

其中隨機變數${\displaystyle \epsilon _{i}(i=1,2,...,n-1)}$服從均勻分布 Unif(0,1)。原則上，此隨機函式的全域最小值仍在(1,1,...,1)，不過因為其隨機的特性，任何以梯度下降法為基礎的最佳化演算法均無法用來求得此隨機函式的最小值。

可適用的最佳化演算法

經若經過適當的坐標系調整，可以在沒有梯度資訊及不建立局部近似模型的情形下（和其他不使用梯度資訊的最佳化演算法相反），用最佳化演算法求得羅森布羅克函式的最小值。以下的例子說明如何用適應坐標下降法（英語：Adaptive coordinate descent）對二維的羅森布羅克函式進行最佳化，啟始點${\displaystyle x_{0}=(-3,-4)}$。在325次函式的運算後可找到最小值的位置，函式的數值為${\displaystyle 10^{-10}}$。

相關條目

• Himmelblau函式（英語：Himmelblau's function）
• Rastrigin函式（英語：Rastrigin function）
• 格里旺克函式