Сопряжённое априорное распределение

Сопряжённое априорное распределение (англ. conjugate prior) и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике.

Рассмотрим задачу о нахождении распределения параметра ${\displaystyle \theta }$ (рассматриваемого как случайная величина) по имеющемуся наблюдению ${\displaystyle x}$. По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности ${\displaystyle p(\theta )}$ и функции правдоподобия ${\displaystyle p(x|\theta )}$ по формуле:

${\displaystyle \displaystyle p(\theta |x)={\frac {p(x|\theta )\,p(\theta )}{\int \limits _{{\text{range}}\;\theta }p(x|\theta )\,p(\theta )\,d\theta }}.}$

Если апостериорное распределение ${\displaystyle p(\theta |x)}$ принадлежит тому же семейству вероятностных распределений, что и априорное распределение ${\displaystyle p(\theta )}$ (т.е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия ${\displaystyle p(x|\theta )}$. При этом распределение ${\displaystyle p(\theta )}$ называется сопряжённым априорным распределением к семейству функций правдоподобия ${\displaystyle p(x|\theta )}$.

Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.

Пример

Для случайной величины, распределённой по закону Бернулли (бросание монетки) с неизвестным параметром ${\displaystyle q\in [0,1]}$ (вероятность успеха), в качестве сопряжённого априорного распределения обычно выступает бета-распределение с плотностью вероятности:

${\displaystyle p(q=x)={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}}$

где ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ выбираются так, чтобы отразить имеющуюся априорную информацию или убеждение о распределении параметра q (выбор ${\displaystyle \alpha }$ = 1 and ${\displaystyle \beta }$ = 1 даст равномерное распределение), а Β(${\displaystyle \alpha }$, ${\displaystyle \beta }$) — бета-функция, служащая здесь для нормализации вероятности.

Параметры ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ часто называют гиперпараметрами (параметрами априорного распределения), чтобы отличить их от параметров функции правдоподобия (в данном случае, q).

Если взять выборку из n значений этой случайной величины, и среди них окажется s успехов и f неудач, то апостериорное распределение параметра q будет равно:

${\displaystyle P(s,f|q=x)={s+f \choose s}x^{s}(1-x)^{f},}$

${\displaystyle p(q=x|s,f)={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},}$

Это апостериорное распределение также оказывается распределённым по закону бета-распределения.

Таблица сопряжённых семейств распределений

В таблицах ниже показано каким образом изменяются параметры апостериорного распределения после выборки из n независимых, одинаково-распределённых наблюдений ${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$. Второй столбец — параметр функции правдоподобия, относительно которого строится семейство сопряжённых распределений.

Дискретно-распределённые функции правдоподобия

Функция правдоподобия	Параметр	Сопряжённое семейство распределений	Гиперпараметры априорного распределения	Гиперпараметры апостериорного распределения
Бернулли	p	Бета	${\displaystyle \alpha ,\,\beta }$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}}$
Биномиальное	p	Бета	${\displaystyle \alpha ,\,\beta }$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}}$
Отрицательное биномиальное	p	Бета	${\displaystyle \alpha ,\,\beta }$	${\displaystyle \alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i}}$
Пуассона	λ	Гамма	${\displaystyle k,\,\theta }$	${\displaystyle k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}}$
Пуассона	λ	Гамма	${\displaystyle \alpha ,\,\beta }$ [1]	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\ \beta +n}$
Мультиномиальное	p (вектор вероятностей)	Дирихле	${\displaystyle {\vec {\alpha }}}$	${\displaystyle {\vec {\alpha }}+\sum _{i=1}^{n}{\vec {x}}^{\,(i)}}$
Геометрическое (в смысле числа «неудач» до первого «успеха»)	p0 (вероятность)	Бета	${\displaystyle \alpha ,\,\beta }$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}}$

Непрерывно-распределённые функции правдоподобия

Функция правдоподобия	Параметр	Сопряжённое семейство распределений	Гиперпараметры априорного распределения	Гиперпараметры апостериорного распределения
Равномерное	${\displaystyle U(0,\theta )}$	Парето	${\displaystyle x_{m},\,k}$	${\displaystyle \max\{\,x_{(n)},x_{m}\},\,k+n}$
Экспоненциальное	λ	Гамма	${\displaystyle \alpha ,\,\beta }$ [2]	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}}$
Нормальное с известной дисперсией σ2	μ	Нормальное	${\displaystyle \mu _{0},\,\sigma _{0}^{2}}$	${\displaystyle \left.\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right)\right/\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right),\,\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}}$
Нормальное с известным τ = 1/σ2	μ	Нормальное	${\displaystyle \mu _{0},\,\tau _{0}}$	${\displaystyle \left.\left(\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}\right)\right/(\tau _{0}+n\tau ),\,\tau _{0}+n\tau }$
Нормальное с известным средним μ	σ2	Scaled inverse chi-square	${\displaystyle \nu ,\,\sigma _{0}^{2}}$	${\displaystyle \nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}}$
Нормальное с известным средним μ	τ (= 1/σ2)	Гамма	${\displaystyle \alpha ,\,\beta }$[2]	${\displaystyle \alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}}$
Нормальное с известным средним μ	σ2	Обратное гамма-распределение	${\displaystyle \mathbf {\alpha ,\,\beta } }$	${\displaystyle \mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}}$
Парето	k	Гамма	${\displaystyle \alpha ,\,\beta }$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}}$
Парето	xm	Парето	${\displaystyle x_{0},\,k_{0}}$	${\displaystyle x_{0},\,k_{0}-kn}$ при условии ${\displaystyle k_{0}>kn}$.
Гамма с известной α[1]	β (inverse scale)	Гамма	${\displaystyle \alpha _{0},\,\beta _{0}}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}}$