Предельное правдоподобие

Функция предельного правдоподобия (англ. Marginal Likelihood Function) или интегрированное правдоподобие (англ. integrated likelihood) — это функция правдоподобия, в которой некоторые переменные параметры исключены. В контексте байесовской статистики, функция может называться обоснованностью (англ. evidence) или обоснованностью модели (англ. model evidence).

Концепция

Если дано множество независимых одинаково распределённых точек данных ${\displaystyle \mathbb {X} =(x_{1},\ldots ,x_{n}),}$, где параметр ${\displaystyle x_{i}\sim p(x_{i}|\theta )}$ согласно некоторому распределению вероятностей с параметром ${\displaystyle \theta }$, где параметр ${\displaystyle \theta }$ сам по себе является случайной величиной, заданной распределением, то есть ${\displaystyle \theta \sim p(\theta |\alpha )}$. Функция предельного правдоподобия в общем случае спрашивает, какова вероятность события ${\displaystyle p(\mathbb {X} |\alpha )}$, где ${\displaystyle \theta }$ исключено (путём интегрирования по этому параметру):

${\displaystyle p(\mathbb {X} |\alpha )=\int _{\theta }p(\mathbb {X} |\theta )\,p(\theta |\alpha )\ \operatorname {d} \!\theta }$

Определение выше сформулировано в контексте байесовской статистики. В классической (частотной^[англ.]) статистике концепция предельного правдоподобия появляется вместо этого в контексте совместного параметра ${\displaystyle \theta =(\psi ,\lambda )}$, где ${\displaystyle \psi }$ является фактическим параметром, а ${\displaystyle \lambda }$ является мешающим параметром^?!. Если существует распределение вероятности для ${\displaystyle \lambda }$, часто желательно рассмотреть функцию правдоподобия лишь в терминах ${\displaystyle \psi }$ путём исключения ${\displaystyle \lambda }$:

${\displaystyle {\mathcal {L}}(\psi$ ;\mathbb {X} )=p(\mathbb {X} |\psi )=\int _{\lambda }p(\mathbb {X} |\lambda ,\psi )\,p(\lambda |\psi )\ \operatorname {d} \!\lambda }

К сожалению, предельные правдоподобия, как правило, трудно вычислить. Точные решения известны для малого класса распределений, в частности, когда исключаемый параметр является сопряжённым априорным распределением распределения данных. В других случаях нужен некий метод численного интегрирования, либо общий метод интегрирования, такой как метод Гаусса или метод Монте-Карло, или метод, разработанный специально для статистических задач, такой как аппроксимация Лапласа, семплирование по Гиббсу/Метрополису, или EM-алгоритм.

Можно также применить вышеприведённые соглашения к отдельной случайной величине (точке данных) x, а не к множеству наблюдений. В контексте байесовской теории это эквивалентно априорному прогнозируемому распределению^[англ.] точки данных.

Приложения

Сравнение байесовских моделей

При сравнении байесовских моделей исключённые переменные являются параметрами для определённого типа модели, а оставшиеся переменные являются характеристиками модели. В этом случае предельное правдоподобие является вероятностью данных при заданном типе модели без предположения о значениях каких-либо конкретных параметров. Функция предельного правдоподобия для модели M равна

${\displaystyle p(x|M)=\int p(x|\theta ,M)\,p(\theta |M)\,\operatorname {d} \!\theta }$

Именно в этом контексте обычно используется термин обоснованность модели. Эта величина важна, поскольку отношение апостериорных шансов для модели M₁ и другой модели M₂ вовлекает отношение функций предельного правдоподобия, так называемый коэффициент Байеса:

${\displaystyle {\frac {p(M_{1}|x)}{p(M_{2}|x)}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(x|M_{1})}{p(x|M_{2})}}}$

что можно схематично сформулировать как

апостериорные шансы = априорные шансы × коэффициент Байеса

См. также

• Эмпирический байесовский метод^[англ.]
• Частное распределение
• Парадокс Линдли