神經微分方程

神經微分方程（英語：neural differential equation）是機器學習中的一種微分方程，其方程右側項由人工神經網絡的權重${\displaystyle \theta }$參數化。^[1]神經常微分方程（nerual ordinary differential equation，簡稱neural ODE）是最常見的神經微分方程，可寫作如下形式：

${\displaystyle {\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t).}$

在經典的神經網絡中，各層是按自然數排序的。而在神經ODE中，各層形成一個由正實數排序的連續體。具體來說，函數${\displaystyle h:\mathbb {R} _{\geq 0}\to \mathbb {R} }$將每個正序號t映射為一個實數值，表示神經網絡在該層的狀態。

神經ODE可以理解為連續時間控制系統，其數據插值能力可以用可控制性來解釋。^[2]

與殘差神經網絡的關聯

神經ODE可以被視為一種具有連續層而非離散層的殘差神經網絡。^[1]將單位時間步長的歐拉方法應用於神經ODE，會得到殘差神經網絡的前向傳播公式：

${\displaystyle \mathbf {h} _{\ell +1}=f_{\theta }(\mathbf {h} _{\ell },\ell )+\mathbf {h} _{\ell },}$

其中${\displaystyle \ell }$表示該殘差神經網絡的第${\displaystyle \ell }$層。在殘差神經網絡中，前向傳播是通過逐層應用一系列變換來實現的，而神經ODE的前向傳播則是由求解微分方程來完成的。具體而言，給定神經ODE的輸入${\displaystyle \mathbf {h} _{\text{in}}}$，對應的輸出${\displaystyle \mathbf {h} _{\text{out}}}$可以通過求解以下初值問題得到：

${\displaystyle {\frac {\mathrm {d} \mathbf {h} (t)}{\mathrm {d} t}}=f_{\theta }(\mathbf {h} (t),t),\quad \mathbf {h} (0)=\mathbf {h} _{\text{in}},}$

而${\displaystyle t=T}$時的解${\displaystyle \mathbf {h} (T)}$即為輸出${\displaystyle \mathbf {h} _{\text{out}}}$。

通用微分方程

在已知某些物理信息的情況下，可以將神經ODE與已有的第一性原理模型相結合，構建一個被稱為通用微分方程（universal differential equation，簡稱UDE）的物理信息神經網絡模型。^[3][4][5][6]例如，洛特卡-沃爾泰拉模型的UDE版本可寫成以下形式：^[7]

${\displaystyle {\begin{aligned}{\frac {dx}{dt}}&=\alpha x-\beta xy+f_{\theta }(x(t),y(t)),\\{\frac {dy}{dt}}&=-\gamma y+\delta xy+g_{\theta }(x(t),y(t)),\end{aligned}}}$

其中${\displaystyle f_{\theta }}$和${\displaystyle g_{\theta }}$是神經網絡參數化的修正項。

參見

• 物理信息神經網絡