哈密顿量 (最佳控制)

最优控制中的哈密顿量（Hamiltonian）是由列夫·庞特里亚金所发展，是庞特里亚金最小化原理的一部份^[1]。哈密顿量的概念是由古典力学中的哈密顿力学所引发，但两者是不同的概念。庞特里亚金证明了求解最优控制问题的必要条件，就是要选择可使哈密顿量最小化的控制输入。细节可参考庞特里亚金最小化原理。

问题的叙述

最佳控制的问题，是要选择控制输入${\displaystyle u(t)}$，使以下的目标函数有最小值

${\displaystyle J(u)=\Psi (x(T))+\int _{0}^{T}L(x,u,t)dt}$

其中${\displaystyle x(t)}$为系统状态，满足状态方程式

${\displaystyle {\dot {x}}=f(x,u,t)\qquad x(0)=x_{0}\quad t\in [0,T]}$

控制需满足以下的限制条件

${\displaystyle a\leq u(t)\leq b\quad t\in [0,T]}$

哈密顿量的定义

${\displaystyle H(x,\lambda ,u,t)=\lambda ^{T}(t)f(x,u,t)+L(x,u,t)\,}$

其中${\displaystyle \lambda (t)}$为协态变数组成的向量，其维度和状态变数${\displaystyle x(t)}$相同。

若要进一步了解哈密顿量的性质，可参考庞特里亚金最小化原理。

离散时间下的哈密顿量

若问题是在离散时间下，其哈密顿量定义为：

${\displaystyle H(x,\lambda ,u,t)=\lambda ^{T}(t+1)f(x,u,t)+L(x,u,t)\,}$

而协态方程为

${\displaystyle \lambda (t+1)=-{\frac {\partial H}{\partial x}}+\lambda (t)}$

（注意此处提到，离散哈密顿量在时间${\displaystyle t}$的值和协态变数在时间${\displaystyle t+1}$的值有关^[2]。这个小差异很重要，在对${\displaystyle x}$微分后，可以在协态方程右边得到和${\displaystyle \lambda (t+1)}$有关的算式。若写法有误，所得的协态方程不是后向的差分方程，会带来错误的结果。）

控制哈密顿量和力学哈密顿量的比较

威廉·哈密顿定义力学中的哈密顿量为三个变数的函数：

${\displaystyle {\mathcal {H}}={\mathcal {H}}(p,q,t)=\langle p,{\dot {q}}\rangle -L(q,{\dot {q}},t)}$

其中${\displaystyle {\dot {q}}}$定义如下

${\displaystyle p={\frac {\partial L}{\partial {\dot {q}}}}}$

哈密顿再将方程改为

${\displaystyle {\frac {d}{dt}}p(t)=-{\frac {\partial }{\partial q}}{\mathcal {H}}}$

${\displaystyle {\frac {d}{dt}}q(t)=~~{\frac {\partial }{\partial p}}{\mathcal {H}}}$

最佳控制中的哈密顿量则是四个变数的函数：

${\displaystyle H(q,u,p,t)=\langle p,{\dot {q}}\rangle -L(q,u,t)}$

其要有最大值的相关条件为

${\displaystyle {\frac {dp}{dt}}=-{\frac {\partial H}{\partial q}}}$

${\displaystyle {\frac {dq}{dt}}=~~{\frac {\partial H}{\partial p}}}$

${\displaystyle {\frac {\partial H}{\partial u}}=0}$

上述定义和Sussmann及Willems论文所提的一致^[3]。Sussmann及Willems证明了控制哈密顿量可以用在动力学上，例如最速降线问题，不过没有提到康斯坦丁·卡拉西奥多里较早时期在此领域的贡献^[4]。