時間差分学習

時間差分学習（じかんさぶんがくしゅう、英: temporal difference learning）やTD学習とは、現在の状態価値関数の推定からブートストラップで学習するモデルフリーの強化学習の手法。モンテカルロ法のように環境からサンプルを取り、動的計画法のように現在の推定に基づいて状態価値関数を更新する。^[1]

状態価値関数 ${\displaystyle V(s)}$ は、現在および将来に得られる報酬（reward）になるように学習させる。ただし、将来分の報酬は、経済学でも使われる割引率（discount rate）をかけた物を使用する。これを割引収益（discounted return）と呼ぶ。

考え方自体は少なくとも1959年の時点でArthur Samuelがチェッカーをプレーする人工知能のプログラムで使用しているが、temporal difference learningという呼び方は1988年にリチャード・サットンが命名している。^[2]

アルゴリズム

状態 ${\displaystyle S_{t}}$ のエージェントが行動 ${\displaystyle A_{t}}$ を選び、報酬 ${\displaystyle R_{t+1}}$ を得て、状態が ${\displaystyle S_{t+1}}$ に遷移したとする。このとき状態価値関数 ${\displaystyle V(S_{t})}$ を次の式で更新する。

${\displaystyle V(S_{t})\leftarrow (1-\alpha )V(S_{t})+\alpha \left[R_{t+1}+\gamma V(S_{t+1})\right]}$

ここで ${\displaystyle \alpha }$ は学習率といい、${\displaystyle 0<\alpha <1}$ とする。${\displaystyle \gamma }$ は割引率といい、${\displaystyle 0<\gamma <1}$ な定数である。

行動 ${\displaystyle A_{t}}$ は、状態価値関数を使用して選択する。

更新式は

${\displaystyle V(S_{t})\leftarrow V(S_{t})+\alpha \left[R_{t+1}+\gamma V(S_{t+1})-V(S_{t})\right]}$

とも書けるが、${\displaystyle R_{t+1}+\gamma V(S_{t+1})-V(S_{t})}$ をTD誤差（TD error）と呼ぶ。^[3]