事後予測分布

ベイズ統計学における事後予測分布(じごよそくぶんぷ、英: posterior predictive distribution)とは、ある量についての観測に基づいて予測された将来の観測でのその量が従う確率分布である。^[1][2]

${\displaystyle x}$に関する独立同分布な N 回の観測データ${\displaystyle \mathbf {X} =\{x_{1},\dots ,x_{N}\}}$があるとき、新たな観測値${\displaystyle {\tilde {x}}}$はパラメータ${\displaystyle \theta \in \Theta }$に依存するある分布

${\displaystyle p({\tilde {x}}|\theta )}$

に従う。ここで、${\displaystyle \Theta }$はパラメータ空間である。

${\displaystyle \theta }$として最良推定の${\displaystyle {\hat {\theta }}}$を利用することは魅力的に見えるかもしれない。しかし、これを採用すると${\displaystyle \theta }$の不定性が考慮されなくなる。そして、不定性の源もまた無視されるため、予測分布も極めて狭くなる。

言い換えれば、極端な${\displaystyle {\tilde {x}}}$の観測確率は、パラメータの事後分布が与える${\displaystyle \theta }$の不定性を考慮した場合と比較して過小評価されることになる。

事後予測分布は${\displaystyle \theta }$の不定性を考慮に入れた分布である。 ${\displaystyle \theta }$の事後分布は${\displaystyle \mathbf {X} }$に依存する:

${\displaystyle p(\theta |\mathbf {X} )}$

そして、${\displaystyle \mathbf {X} }$に基づいた${\displaystyle {\tilde {x}}}$の予測分布は、${\displaystyle \theta }$について周辺化することで得られる:

${\displaystyle p({\tilde {x}}|\mathbf {X} )=\int _{\Theta }p({\tilde {x}}|\theta )\,p(\theta |\mathbf {X} )\operatorname {d} \!\theta }$

事後予測分布は${\displaystyle \theta }$の不定性を考慮しているので、一般的に${\displaystyle \theta }$の点推定を利用した予測分布に比べて広い分布を示す。

事前予測分布と事後予測分布

ベイズ統計学の文脈において、事前予測分布(英: prior predictive distribution)は事前分布${\displaystyle G}$によって${\displaystyle \theta }$を周辺化した分布である。すなわち、${\displaystyle {\tilde {x}}\sim F({\tilde {x}}|\theta )}$ かつ${\displaystyle \theta \sim G(\theta |\alpha )}$であれば、対応する事前予測分布 ${\displaystyle H({\tilde {x}}|\alpha )}$は次で与えられる:

${\displaystyle p_{H}({\tilde {x}}|\alpha )=\int _{\Theta }p_{F}({\tilde {x}}|\theta )\,p_{G}(\theta |\alpha )\operatorname {d} \!\theta }$

この概念は、事後分布の代わりに事前分布を利用して周辺化を行っている(期待値を取っているということもできる)ことを除けば、事後予測分布に類似している。

さらに、事前分布${\displaystyle G(\theta |\alpha )}$が共役事前分布（英語版）であれば、事後予測分布と事前予測分布は同じ分布族に属する。これは簡単に示すことができる。もし事前分布${\displaystyle G(\theta |\alpha )}$が共役であれば、以下が成立する:

${\displaystyle p(\theta |\mathbf {X} ,\alpha )=p_{G}(\theta |\alpha ')}$

すなわち、事後確率分布もまた${\displaystyle G(\theta |\alpha )}$の形を取り、パラメータが${\displaystyle \alpha }$から${\displaystyle \alpha '}$へと変化しただけとなる。すると、

${\displaystyle {\begin{aligned}p({\tilde {x}}|\mathbf {X} ,\alpha )&=\int _{\Theta }p_{F}({\tilde {x}}|\theta )\,p(\theta |\mathbf {X} ,\alpha )\operatorname {d} \!\theta \\&=\int _{\Theta }p_{F}({\tilde {x}}|\theta )\,p_{G}(\theta |\alpha ')\operatorname {d} \!\theta \\&=p_{H}({\tilde {x}}|\alpha ')\end{aligned}}}$

したがって、事後予測分布と事前予測分布とは、(ハイパーパラメータが更新された)同一の分布Hに従う。

事前予測分布は複合確率分布（英語版）の形で与えられるが、実際には複合確率分布を定義するときに出現することも往々にして存在する。これは、データ${\displaystyle \mathbf {X} }$への依存や共役性の問題などの複雑な要素がないからである。例としてT分布は、 既知の期待値${\displaystyle \mu }$、未知の分散${\displaystyle \sigma _{x}^{2}}$で特徴付けられる正規分布について、${\displaystyle \sigma _{x}^{2}}$の事前分布として共役事前分布（英語版）である(パラメータ${\displaystyle \alpha ,\beta }$で特徴付けられる)逆ガンマ分布を利用した場合、事前予測分布は位置尺度T分布となる:

${\displaystyle p({\tilde {x}}|\mu ,\alpha ,\beta )=\int p({\tilde {x}}|\mu ,\sigma ^{2})p(\sigma ^{2}|\alpha ,\beta )d\sigma ^{2}={\frac {1}{\sqrt {2\pi \beta }}}{\frac {\Gamma (\alpha +{\frac {1}{2}})}{\Gamma (\alpha )}}\left(1+{\frac {({\tilde {x}}-\mu )^{2}}{2\beta }}\right)^{-\left(\alpha +{\frac {1}{2}}\right)}}$

これは共役事前分布であるから、事後予測分布もデータ${\displaystyle \mathbf {X} }$の情報を基に更新されたハイパーパラメータ

${\displaystyle \alpha '=\alpha +{\frac {N}{2}},\beta '=\beta +{\frac {1}{2}}\sum _{i=1}^{N}(x_{i}-\mu )^{2}}$

で特徴付けられる逆ガンマ分布となる。

適切な複合分布は目下の問題における予測分布にとって最も自然なものとは異なるパラメータを採用して定義される場合がある。 これは、複合分布を定義するために使用された事前分布が、現在の問題で使用されている事前分布と異なるために起こることが多い。上記の例では、尺度つき逆カイ二乗分布（英語版） もまた共役事前分布であり、実際尺度つき逆カイ二乗分布と逆ガンマ分布は適切なパラメータ変換のもとで同じ確率分布を記述する。