マルコフ再生過程

マルコフ再生過程（英: Markov renewal process; MRP）は、確率過程の一つであり、ジャンプ型マルコフ過程（Markov jump process）の考え方を一般化したものである。マルコフ連鎖やポアソン点過程（英語版）のような一部の確率過程、および再生過程（英語版）はマルコフ再生過程の特別な場合として導出することができる。

定義

マルコフ再生過程の実例

状態空間を ${\displaystyle \mathrm {S} }$ 、（連続的な）時刻の集合を ${\displaystyle \mathrm {T} }$ とする。いま、確率変数の系列 ${\displaystyle \{(X_{n},T_{n})\in \mathrm {S} \times \mathrm {T} \}_{n\geq 0}}$ を考える。ここで ${\displaystyle T_{n}}$ はジャンプ時刻 (jump time) 、${\displaystyle X_{n}}$ は対応するマルコフ連鎖の状態である (図を参照）。また、到着間時刻 (inter-arrival time) を ${\displaystyle \tau _{n}=T_{n}-T_{n-1}}$ と表記する。次の条件を満たすとき、系列 ${\displaystyle \{(X_{n},T_{n})\}_{n\geq 0}}$ はマルコフ再生過程と呼ばれる。

$${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),(X_{1},T_{1}),\ldots ,(X_{n}=i,T_{n}))\\&\quad =\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid X_{n}=i)\quad \forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}}$$

準マルコフ過程

${\displaystyle t\in [T_{n},T_{n+1})}$ に対し ${\displaystyle Y_{t}:=X_{n}}$ を満たす確率過程 ${\displaystyle Y_{t}}$ を定義する。これは準マルコフ過程 (semi-Markov process) と呼ばれる確率過程となる。MRP と準マルコフ過程の違いは、前者は状態と時刻の組で定義されるのに対し、後者は時間発展する実際の時系列の確率過程であり、実現値が任意の時刻における状態の値として定義される点である。

この確率過程は全体を見ればマルコフ性を持たない（すなわち無記憶性を持たない）が、ジャンプする瞬間に限りマルコフ性を持つ。これが準マルコフという名前の理論的根拠である^[1][2][3]。隠れ準マルコフモデル（英語版） も参照されたい。

（上に定義した）準マルコフ過程のうち、保持時間 (holding time) が指数分布で表されるものを連続時間マルコフ連鎖、または連続時間マルコフ過程 (continuous-time Markov chain/process; CTMC) と呼ぶ。言い換えると、到着間時間が指数分布に従い、かつある状態における待ち時間 (waiting time) と次に遷移する状態が独立であれば準マルコフ過程は CTMC となる。

${\displaystyle {\begin{aligned}&\Pr(\tau _{n+1}\leq t,X_{n+1}=j\mid (X_{0},T_{0}),\ldots ,(X_{n},T_{n}))\\&\quad =\Pr(X_{n+1}=j\mid X_{n}=i)(1-e^{-\lambda _{i}t}),\quad \forall n\geq 1,t\geq 0,i,j\in \mathrm {S} \end{aligned}}}$

他の確率過程との関係

1. 系列 ${\displaystyle \{X_{n}\}_{n\geq 0}}$ は離散時間マルコフ連鎖となる。すなわち、時間変数を無視すれば MRP は離散時間マルコフ連鎖として扱うことができる。

   ${\displaystyle \Pr(X_{n+1}=j\mid X_{0},\ldots ,X_{n}=i)=\Pr(X_{n+1}=j\mid X_{n}=i),\quad \forall n\geq 1,i,j\in \mathrm {S} }$

2. 系列 ${\displaystyle \{\tau _{n}\}_{n\geq 0}}$ が独立かつ同一の分布に従い、かつそれらの分布が状態 ${\displaystyle X_{n}}$ に依存しないのであれば、対応する確率過程は再生過程（英語版）となる。したがって、状態を無視したときに得られる独立同分布の時間系列は再生過程として扱うことができる。

   ${\displaystyle \Pr(\tau _{n+1}\leq t\mid T_{0},\ldots ,T_{n})=\Pr(\tau _{n+1}\leq t),\quad \forall n\geq 1,t\geq 0}$