神经微分方程

神经微分方程（英語：neural differential equation）是机器学习中的一种微分方程，其方程右侧项由人工神经网络的权重${\displaystyle \theta }$参数化。^[1]神经常微分方程（nerual ordinary differential equation，简称neural ODE）是最常见的神经微分方程，可写作如下形式：

${\displaystyle {\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t).}$

在经典的神经网络中，各层是按自然数排序的。而在神经ODE中，各层形成一个由正实数排序的连续体。具体来说，函数${\displaystyle h:\mathbb {R} _{\geq 0}\to \mathbb {R} }$将每个正序号t映射为一个实数值，表示神经网络在该层的状态。

神经ODE可以理解为连续时间控制系统，其数据插值能力可以用可控制性来解释。^[2]

与残差神经网络的关联

神经ODE可以被视为一种具有连续层而非离散层的残差神经网络。^[1]将单位时间步长的欧拉方法应用于神经ODE，会得到残差神经网络的前向传播公式：

${\displaystyle \mathbf {h} _{\ell +1}=f_{\theta }(\mathbf {h} _{\ell },\ell )+\mathbf {h} _{\ell },}$

其中${\displaystyle \ell }$表示该残差神经网络的第${\displaystyle \ell }$层。在残差神经网络中，前向传播是通过逐层应用一系列变换来实现的，而神经ODE的前向传播则是由求解微分方程来完成的。具体而言，给定神经ODE的输入${\displaystyle \mathbf {h} _{\text{in}}}$，对应的输出${\displaystyle \mathbf {h} _{\text{out}}}$可以通过求解以下初值问题得到：

${\displaystyle {\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t),\quad \mathbf {h} (0)=\mathbf {h} _{\text{in}},}$

而${\displaystyle t=T}$时的解${\displaystyle \mathbf {h} (T)}$即为输出${\displaystyle \mathbf {h} _{\text{out}}}$。

通用微分方程

在已知某些物理信息的情况下，可以将神经ODE与已有的第一性原理模型相结合，构建一个被称为通用微分方程（universal differential equation，简称UDE）的物理信息神经网络模型。^[3][4][5][6]例如，洛特卡-沃尔泰拉模型的UDE版本可写成以下形式：^[7]

${\displaystyle {\begin{aligned}{\frac {dx}{dt}}&=\alpha x-\beta xy+f_{\theta }(x(t),y(t)),\\{\frac {dy}{dt}}&=-\gamma y+\delta xy+g_{\theta }(x(t),y(t)),\end{aligned}}}$

其中${\displaystyle f_{\theta }}$和${\displaystyle g_{\theta }}$是神经网络参数化的修正项。

参见

• 物理信息神经网络