哈密頓量 (最佳控制)

最優控制中的哈密頓量（Hamiltonian）是由列夫·龐特里亞金所發展，是龐特里亞金最小化原理的一部份^[1]。哈密頓量的概念是由古典力學中的哈密頓力學所引發，但兩者是不同的概念。龐特里亞金證明了求解最優控制問題的必要條件，就是要選擇可使哈密頓量最小化的控制輸入。細節可參考龐特里亞金最小化原理。

問題的敘述

最佳控制的問題，是要選擇控制輸入${\displaystyle u(t)}$，使以下的目標函數有最小值

${\displaystyle J(u)=\Psi (x(T))+\int _{0}^{T}L(x,u,t)dt}$

其中${\displaystyle x(t)}$為系統狀態，滿足狀態方程式

${\displaystyle {\dot {x}}=f(x,u,t)\qquad x(0)=x_{0}\quad t\in [0,T]}$

控制需滿足以下的限制條件

${\displaystyle a\leq u(t)\leq b\quad t\in [0,T]}$

哈密頓量的定義

${\displaystyle H(x,\lambda ,u,t)=\lambda ^{T}(t)f(x,u,t)+L(x,u,t)\,}$

其中${\displaystyle \lambda (t)}$為協態變數組成的向量，其維度和狀態變數${\displaystyle x(t)}$相同。

若要進一步瞭解哈密頓量的性質，可參考龐特里亞金最小化原理。

離散時間下的哈密頓量

若問題是在離散時間下，其哈密頓量定義為：

${\displaystyle H(x,\lambda ,u,t)=\lambda ^{T}(t+1)f(x,u,t)+L(x,u,t)\,}$

而協態方程為

${\displaystyle \lambda (t+1)=-{\frac {\partial H}{\partial x}}+\lambda (t)}$

（注意此處提到，離散哈密頓量在時間${\displaystyle t}$的值和協態變數在時間${\displaystyle t+1}$的值有關^[2]。這個小差異很重要，在對${\displaystyle x}$微分後，可以在協態方程右邊得到和${\displaystyle \lambda (t+1)}$有關的算式。若寫法有誤，所得的協態方程不是後向的差分方程，會帶來錯誤的結果。）

控制哈密頓量和力學哈密頓量的比較

威廉·哈密頓定義力學中的哈密頓量為三個變數的函數：

${\displaystyle {\mathcal {H}}={\mathcal {H}}(p,q,t)=\langle p,{\dot {q}}\rangle -L(q,{\dot {q}},t)}$

其中${\displaystyle {\dot {q}}}$定義如下

${\displaystyle p={\frac {\partial L}{\partial {\dot {q}}}}}$

哈密頓再將方程改為

${\displaystyle {\frac {d}{dt}}p(t)=-{\frac {\partial }{\partial q}}{\mathcal {H}}}$

${\displaystyle {\frac {d}{dt}}q(t)=~~{\frac {\partial }{\partial p}}{\mathcal {H}}}$

最佳控制中的哈密頓量則是四個變數的函數：

${\displaystyle H(q,u,p,t)=\langle p,{\dot {q}}\rangle -L(q,u,t)}$

其要有最大值的相關條件為

${\displaystyle {\frac {dp}{dt}}=-{\frac {\partial H}{\partial q}}}$

${\displaystyle {\frac {dq}{dt}}=~~{\frac {\partial H}{\partial p}}}$

${\displaystyle {\frac {\partial H}{\partial u}}=0}$

上述定義和Sussmann及Willems論文所提的一致^[3]。Sussmann及Willems證明了控制哈密頓量可以用在動力學上，例如最速降線問題，不過沒有提到康斯坦丁·卡拉西奧多里較早時期在此領域的貢獻^[4]。