时序差分学习

时序差分学习（英语：Temporal difference learning，TD learning）是一类无模型强化学习方法的统称，这种方法强调通过从当前价值函数的估值中自举的方式进行学习。这一方法需要像蒙特卡罗方法那样对环境进行取样，并根据当前估值对价值函数进行更新，宛如动态规划算法。^[1]

和蒙特卡罗法所不同的是，时序差分学习可以在最终结果出来前对其参数进行不断地调整，使其预测更为准确，而蒙特卡罗法只能在最终结果产生后进行调整。^[2]这是一种自举式的算法，具体的例子如下：

假设你需要预测星期六的天气，并且手头上正好有相关的模型。按照一般的方法，你只有到星期六才能根据结果对你的模型进行调整。然而，当到了星期五时，你应该对星期六的天气有很好的判断。因此在星期六到来之前，你就能够调整你的模型以预测星期六的天气。^[2]

时序差分学习与动物学领域中的动物认知存在一定的关联。^{[3][4][5][6][7]}

数学模型

${\displaystyle TD(0)}$表格法是最简单的时序差分学习法之一，为随即近似法的一个特例。这种方法用于估计在策略${\displaystyle \pi }$之下有限状态马尔可夫决策过程的状态价值函数。现用${\displaystyle V^{\pi }}$表示马尔可夫决策过程的状态价值函数，其中涉及到状态${\displaystyle (s_{t})_{t\in \mathbb {N} }}$、奖励${\displaystyle (r_{t})_{t\in \mathbb {N} }}$、学习折扣率${\displaystyle \gamma }$以及策略${\displaystyle \pi }$^[8]：

${\displaystyle V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}r_{t}(a_{t}){\Bigg |}s_{0}=s\right\}.}$

为了方便起见，我们将上述表达式中表示动作的符号去掉，所得${\displaystyle V^{\pi }}$满足哈密顿-雅可比-贝尔曼方程：

${\displaystyle V^{\pi }(s)=E_{\pi }\{r_{0}+\gamma V^{\pi }(s_{1})|s_{0}=s\},}$

因此${\displaystyle r_{0}+\gamma V^{\pi }(s_{1})}$乃是${\displaystyle V^{\pi }(s)}$的无偏估计，基于这一观察结果可以设计用于估计${\displaystyle V^{\pi }}$的算法。在这一算法中，首先用任意值对表格${\displaystyle V(s)}$进行初始化，使马尔可夫决策过程中的每个状态都有一个对应值，并选择一个正的学习率${\displaystyle \alpha }$。我们接下来要做的便是反复对策略${\displaystyle \pi }$进行评估，并根据所获得的奖励${\displaystyle r}$按照如下方式对旧状态下的价值函数进行更新^[9]：

${\displaystyle V(s)\leftarrow V(s)+\alpha (\overbrace {r+\gamma V(s')} ^{\text{The TD target}}-V(s))}$

其中${\displaystyle s}$和${\displaystyle s'}$分别表示新旧状态，而${\displaystyle r+\gamma V(s')}$便是所谓的TD目标（TD target）。

TD-λ算法

TD-λ算法是理查德·S·萨顿基于亚瑟·李·塞谬尔的时序差分学习早期研究成果而创立的算法，这一算法最著名的应用是杰拉尔德·特索罗开发的TD-Gammon程序。该程序可以用于学习双陆棋对弈，甚至能够到达人类专家水准。^[10]这一算法中的${\displaystyle \lambda }$值为迹线衰减参数，介于0和1之间。当${\displaystyle \lambda }$越大时，很久之后的奖励将越被重视。当${\displaystyle \lambda =1}$时，将会变成与蒙特卡罗强化学习算法并行的学习算法。^[11]

在神经科学领域

时序差分学习算法在神经科学领域亦得到了重视。研究人员发现腹侧被盖区与黑质中多巴胺神经元的放电率和时序差分学习算法中的误差函数具有相似之处^{[3][4][5][6][7]}，该函数将会回传任何给定状态或时间步长的估计奖励与实际收到奖励之间的差异。当误差函数越大时，这意味着预期奖励与实际奖励之间的差异也就越大。

多巴胺细胞的行为也和时序差分学习存在相似之处。在一次实验中，研究人员训练一只猴子将刺激与果汁奖励联系起来，并对多巴胺细胞的表现进行了测量。^[12]一开始猴子接受果汁时，其多巴胺细胞的放电率会增加，这一结果表明预期奖励和实际奖励存在差异。不过随着训练次数的增加，预期奖励也会发生变化，导致其巴胺细胞的放电率不再显著增加。而当没有获得预期奖励时，其多巴胺细胞的放电率会降低。由此可以看出，这一特征与时序差分学习中的误差函数有着相似之处。

目前很多关于神经功能的研究都是建立在时序差分学习的基础之上的^[13][14]，这一方法还被用于对精神分裂症的治疗及研究多巴胺的药理学作用。^[15]