並行退火

並行退火（Parallel tempering），也稱作replica exchange MCMC sampling，是一種用於動態改進蒙特卡羅方法的模擬算法。該算法用於模擬物理過程。同時更普遍地應用於蒙特卡羅馬可夫鏈（Markov chain Monte Carlo，MCMC）抽樣方法。^[1] Sugita和Okamoto數學定義了一種分子動力學描述的並行退火算法：^[2]通常被稱為replica-exchange molecular dynamics（REMD）。

原理

一般的蒙特卡洛模擬使用Metropolis抽樣，即接受概率${\displaystyle P(acc)=min(1,e^{-{\frac {\Delta U}{k_{B}T}}})}$，相同高度的勢壘，溫度越低越難以逾越，使得模擬需要相當長的模擬步長才能達到平衡，統計抽樣滿足各態歷經。為了提高性能，採取如下策略：同時模擬一系列僅有溫度不同的系統，在某些時刻隨機選取相鄰兩個溫度的系統，按如下接受概率置換兩系統的溫度：

${\displaystyle p(acc)=\min \left(1,{\frac {\exp \left(-{\frac {E_{j}}{k_{B}T_{i}}}-{\frac {E_{i}}{k_{B}T_{j}}}\right)}{\exp \left(-{\frac {E_{i}}{kT_{i}}}-{\frac {E_{j}}{kT_{j}}}\right)}}\right)=\min \left(1,e^{(E_{i}-E_{j})\left({\frac {1}{kT_{i}}}-{\frac {1}{kT_{j}}}\right)}\right),}$

其中，E_i和E_j是兩個系統的總能量，T_i，T_j是溫度，k_B是玻爾茲曼因子。溫度置換的過程是非物理的，但只要在一步中選擇普通Metropolis抽樣和溫度置換分別以一定概率擇其一，此過程仍然遵守細緻平衡。^[3]

推廣

並行退火可以用於溫度以外的變量以改進抽樣。例如，巨正則系綜下蒙特卡羅模擬蘭納-瓊斯勢粒子的氣液相平衡時，如果系統條件遠離臨界溫度，密度的漲落很小，模擬中難以觀測相變。而同時模擬多個化學勢的系統，並按相似的接受法則置換系統的化學勢：

${\displaystyle p(acc)=\min \left(1,\exp \left[(\beta _{j}\mu _{j}^{ex}-\beta _{i}\mu _{i}^{ex})(N_{i}-N_{j})-(\beta _{j}-\beta _{i})(U_{i}-U_{j})\right]\right),}$

其中i,j是兩個超額化學勢（相對理想氣體）分別為${\displaystyle \mu _{i},\mu _{j}}$的系統，它們的粒子個數分別為${\displaystyle N_{i},N_{j}}$，內能分別為${\displaystyle U_{i},U_{j}}$. 此模擬得到的密度概率函數能準確地反映氣相和液相兩個峰。^[4]

神經網絡

並行退火在訓練神經網絡時也有相似的應用。將一個系統運行在N個不同溫度的條件下，並根據Metropolis法則 （頁面存檔備份，存於網際網路檔案館）交換不同溫度下的狀態，因而可以用高溫環境的參數去模擬低溫環境，反之亦然。並行退火算法可用於人工神經網絡訓練，改進MCMC，雖然增加了計算複雜度，但提供了更快的馬爾科夫鏈混合（mixing，指收斂）速度和更高的準確性。神經元之間的參數交換被描述為不同溫度下分子狀態的交換，隨機交換的概率由Metropolis法則給出。尤其用於約束波茨曼機訓練。^[5]