Оценка апостериорного максимума

В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.

Введение

Предположим, что нам нужно оценить статистический параметр ${\displaystyle \theta }$ на основе наблюдений ${\displaystyle x}$. Пусть ${\displaystyle f}$ — выборочное распределение ${\displaystyle x}$, так что ${\displaystyle f(x|\theta )}$ — вероятность ${\displaystyle x}$ при условии, что параметр выборки принимает значение ${\displaystyle \theta }$. Тогда функция

${\displaystyle \theta \mapsto f(x|\theta )}$

— функция правдоподобия, а оценка

${\displaystyle {\hat {\theta }}_{\mathrm {ML} }(x)=\arg \max _{\theta }f(x|\theta )}$

— оценка максимального правдоподобия ${\displaystyle \theta }$.

Теперь предположим, что существует априорное распределение ${\displaystyle g}$ величины ${\displaystyle \theta }$. Это позволяет рассматривать ${\displaystyle \theta }$ как случайную величину в байесовской статистике. Тогда апостериорное распределение ${\displaystyle \theta }$:

${\displaystyle \theta \mapsto {\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}}$

где ${\displaystyle g}$ плотность распределения ${\displaystyle \theta }$, ${\displaystyle \Theta }$ — область определения ${\displaystyle g}$. Это прямое приложение Теоремы Байеса.

Метод оценки апостериорного максимального правдоподобия даёт оценку ${\displaystyle \theta }$ как моды апостериорного распределения этой случайной величины:

${\displaystyle {\hat {\theta }}_{\mathrm {MAP} }(x)=\arg \max _{\theta }{\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}=\arg \max _{\theta }f(x|\theta )\,g(\theta )}$

Знаменатель апостериорного распределения не зависит от ${\displaystyle \theta }$ и поэтому не играет роли в оптимизации. Заметим, что MAP-оценка ${\displaystyle \theta }$ соответствует ML-оценке, когда априорное распределение ${\displaystyle g}$ постоянно (то есть ${\displaystyle g}$ — константа).

Пример

Предположим, что у нас есть последовательность ${\displaystyle (x_{1},\dots ,x_{n})}$ i.i.d. ${\displaystyle N(\mu ,\sigma _{v}^{2})}$ случайных величин и априорное распределение ${\displaystyle \mu }$ задано ${\displaystyle N(0,\sigma _{m}^{2})}$. Мы хотим найти MAP оценку ${\displaystyle \mu }$.

Функция, которую нужно максимизировать задана

${\displaystyle \pi (\mu )L(\mu )={\frac {1}{\sqrt {2\pi \sigma _{m}}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{\sqrt {2\pi \sigma _{v}}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right),}$

что эквивалентно минимизации ${\displaystyle \mu }$ в

${\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu }{\sigma _{m}}}\right)^{2}.}$

Таким образом, мы видим, что MAP оценка для μ задана

${\displaystyle {\hat {\mu }}_{MAP}={\frac {\sigma _{m}^{2}}{n\sigma _{m}^{2}+\sigma _{v}^{2}}}\sum _{j=1}^{n}x_{j}.}$

См. также

• EM-алгоритм — один из способов вычисления MAP
• Метод максимального правдоподобия

Литература

• DeGroot, Morris H. Optimal Statistical Decisions. McGraw-Hill. 1970.
• Harold W. Sorenson. Parameter Estimation: Principles and Problems. Marcel Dekker. 1980.