Метод максимального правдоподобия

Ме́тод максима́льного правдоподо́бия или метод наибольшего правдоподобия (ММП, ML, MLE — англ. maximum likelihood estimation) в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия^[1]. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия.

Метод максимального правдоподобия был проанализирован, рекомендован и значительно популяризирован Р. Фишером между 1912 и 1922 годами (хотя ранее он был использован Гауссом, Лапласом и другими).

Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных и обеспечения оценки параметров модели.

Метод максимального правдоподобия соответствует многим известным методам оценки в области статистики. Например, вы интересуетесь таким антропометрическим параметром, как рост жителей России. Предположим, у вас имеются данные о росте некоторого количества людей, а не всего населения. Кроме того, предполагается, что рост является нормально распределённой величиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста в выборке являются максимально правдоподобными к среднему значению и дисперсии всего населения.

Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия даёт уникальный и простой способ определить решения в случае нормального распределения.

Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:

• линейные модели и обобщённые линейные модели;
• факторный анализ;
• моделирование структурных уравнений;
• многие ситуации, в рамках проверки гипотезы и формирования доверительного интервала;
• дискретные модели выбора.

Сущность метода

Пусть есть выборка ${\displaystyle X_{1},\ldots ,X_{n}}$ из распределения ${\displaystyle \mathbb {P} _{\theta }}$, где ${\displaystyle \theta \in \Theta }$ — неизвестные параметры. Пусть ${\displaystyle L(\mathbf {x} \mid \theta )\colon \Theta \to \mathbb {R} }$ — функция правдоподобия, где ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n}}$. Точечная оценка

${\displaystyle {\hat {\theta }}_{\mathrm {M\Pi } }={\hat {\theta }}_{\mathrm {M\Pi } }(X_{1},\ldots ,X_{n})=\mathop {\rm {argmax}} \limits _{\theta \in \Theta }L(X_{1},\ldots ,X_{n}\mid \theta )}$

называется оце́нкой максима́льного правдоподо́бия параметра ${\displaystyle \theta }$. Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Часто вместо функции правдоподобия ${\displaystyle L}$ используют логарифмическую функцию правдоподобия ${\displaystyle l=\ln L}$. Так как функция ${\displaystyle x\to \ln x,\;x>0}$ монотонно возрастает на всей области определения, максимум любой функции ${\displaystyle L(\theta )}$ является максимумом функции ${\displaystyle \ln L(\theta )}$ и наоборот. Таким образом,

${\displaystyle {\hat {\theta }}_{\mathrm {M\Pi } }=\mathop {\rm {argmax}} \limits _{\theta \in \Theta }l(X_{1},\ldots ,X_{n}\mid \theta )}$,

Если функция правдоподобия дифференцируема, то необходимое условие экстремума — равенство нулю её градиента:

${\displaystyle g(\theta )={\frac {\partial l(\mathbf {x} ,\theta _{0})}{\partial \theta }}=0}$

Достаточное условие экстремума может быть сформулировано как отрицательная определённость гессиана — матрицы вторых производных:

${\displaystyle H={\frac {\partial ^{2}l(\mathbf {x} ,\theta _{0})}{\partial \theta \partial \theta ^{T}}}}$

Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:

${\displaystyle I(\theta )=E[g(\theta )g(\theta )^{T}]}$

В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:

${\displaystyle I=-E(H_{0})}$

Свойства

• Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными (см. примеры), но являются состоятельными, асимптотически эффективными и асимптотически нормальными оценками. Асимптотическая нормальность означает, что

${\displaystyle {\sqrt {n}}({\hat {\theta }}-\theta ){\xrightarrow {d}}N(0,{\boldsymbol {I}}_{\infty }^{-1})}$

где ${\displaystyle {\boldsymbol {I}}_{\infty }=-\lim _{n\rightarrow \infty }{\frac {1}{n}}\mathbb {E} ({\boldsymbol {H}})}$ — асимптотическая информационная матрица.

Асимптотическая эффективность означает, что асимптотическая ковариационная матрица ${\displaystyle {\boldsymbol {I}}_{\infty }^{-1}}$ является нижней границей для всех состоятельных асимптотически нормальных оценок.

• Если ${\displaystyle {\hat {\theta }}}$ — оценка метода максимального правдоподобия, параметров ${\displaystyle \theta }$, то ${\displaystyle g({\hat {\theta }})}$ является оценкой максимального правдоподобия для ${\displaystyle g(\theta )}$, где g — непрерывная функция (функциональная инвариантность). Таким образом, законы распределения данных можно параметризовать различным образом.
• Также необходимым условием МП-оценок является выполнение системы вида:

  ${\displaystyle \left\{{\begin{matrix}{\frac {\partial }{\partial \theta _{1}}}\ln {L_{n}}\left({\vec {x}},{\vec {\theta }}\right)&=&0\\\cdots &\cdots &\\{\frac {\partial }{\partial \theta _{k}}}\ln {L_{n}}\left({\vec {x}},{\vec {\theta }}\right)&=&0\\\end{matrix}}\right.}$

где ${\displaystyle L_{n}\left({\vec {x}},{\vec {\theta }}\right)=\prod _{i=1}^{n}L_{1}\left(x_{i},{\vec {\theta }}\right)}$ — функция правдоподобия выборки ${\displaystyle {\vec {x}}}$ объёма ${\displaystyle n}$

Примеры

• Пусть ${\displaystyle X_{1},\ldots ,X_{n}\sim \mathrm {U} [0,\theta ]}$ — независимая выборка из непрерывного равномерного распределения на отрезке ${\displaystyle [0,\theta ]}$, где ${\displaystyle \theta >0}$ — неизвестный параметр. Тогда функция правдоподобия имеет вид

${\displaystyle f(\mathbf {x} \mid \theta )={\begin{cases}{\frac {1}{\theta ^{n}}},&\mathbf {x} \in [0,\theta ]^{n}\subset \mathbb {R} ^{n}\\0,&\mathbf {x} \not \in [0,\theta ]^{n}\end{cases}}.}$

Последнее равенство может быть переписано в виде:

${\displaystyle f(\mathbf {x} \mid \theta )={\begin{cases}{\frac {1}{\theta ^{n}}},&\theta \geq \max(x_{1},\ldots ,x_{n})\\0,&\theta <\max(x_{1},\ldots ,x_{n})\end{cases}},}$

где ${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{n})^{\top }}$, откуда видно, что своего максимума функция правдоподобия достигает в точке ${\displaystyle \theta =\max(x_{1},\ldots ,x_{n})}$. Таким образом

${\displaystyle {\hat {\theta }}_{\mathrm {M\Pi } }=\max(X_{1},\ldots ,X_{n})}$.

Такая оценка будет смещенной: ${\displaystyle P\{\max(X_{1},\ldots ,X_{n})\leq x\}=\left({\frac {x}{\theta }}\right)^{n}}$, откуда ${\displaystyle E{\hat {\theta }}_{\mathrm {M\Pi } }=\int _{0}^{\theta }xd\left({\frac {x}{\theta }}\right)^{n}={\frac {n}{n+1}}\theta }$

• Пусть ${\displaystyle X_{1},\ldots ,X_{n}\sim \mathrm {N} (\mu ,\sigma ^{2})}$ — независимая выборка из нормального распределения с неизвестными средним и дисперсией. Построим оценку максимального правдоподобия ${\displaystyle \left({\widehat {\mu }}_{\mathrm {M\Pi } },{\widehat {\sigma ^{2}}}_{\mathrm {M\Pi } }\right)^{\rm {T}}}$ для неизвестного вектора параметров ${\displaystyle \left(\mu ,\sigma ^{2}\right)^{\rm {T}}}$. Логарифмическая функция правдоподобия принимает вид

${\displaystyle L(\mathbf {x} \mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}}$.

Чтобы найти её максимум, приравняем к нулю частные производные:

${\displaystyle \left\{{\begin{matrix}\displaystyle {\frac {\partial }{\partial \mu }}L(\mathbf {x} \mid \mu ,\sigma ^{2})=0\\[10pt]\displaystyle {\frac {\partial }{\partial \sigma ^{2}}}L(\mathbf {x} \mid \mu ,\sigma ^{2})=0\\\end{matrix}}\right.\Rightarrow \left\{{\begin{matrix}\displaystyle {\frac {\sum \limits _{i=1}^{n}X_{i}-n\mu }{\sigma ^{2}}}=0\\[10pt]\displaystyle -{\frac {n}{2\sigma ^{2}}}+{\frac {\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}}{2\left(\sigma ^{2}\right)^{2}}}=0\\\end{matrix}}\right.,}$

откуда

${\displaystyle {\hat {\mu }}_{\mathrm {M\Pi } }={\overline {X}}}$ — выборочное среднее, а

${\displaystyle {\widehat {\sigma ^{2}}}_{\mathrm {M\Pi } }=S_{n}^{2}}$ — выборочная дисперсия.

Применение метода[2]

Обработка эксперимента

Предположим, что мы измеряем некоторую величину ${\textstyle a}$. Сделав одно измерение, получили её значение ${\textstyle x_{1}}$ с ошибкой ${\textstyle \sigma _{1}}$: ${\textstyle x_{1}\pm \sigma _{1}}$. Запишем плотность вероятности того, что величина ${\textstyle a}$ примет значение ${\textstyle x_{1}}$:

${\displaystyle W(a)={\frac {1}{\sqrt {2\pi \sigma _{1}^{2}}}}\exp \left[-{\frac {(x_{1}-a)^{2}}{2\sigma _{1}^{2}}}\right]}$.

Теперь предположим, что мы провели несколько таких измерений и получили ${\textstyle x_{1}\pm \sigma _{1},x_{2}\pm \sigma _{2}\ldots x_{n}\pm \sigma _{n}}$. Плотность вероятности того, что величина ${\textstyle a}$ примет значения ${\textstyle x_{1},x_{2}\ldots x_{n}}$, будет:

${\displaystyle W(a)=\prod _{i=1}^{n}{{\frac {1}{\sqrt {2\pi \sigma _{i}^{2}}}}\exp \left[-{\frac {(x_{i}-a)^{2}}{2\sigma _{i}^{2}}}\right]}}$.

Эта функция называется функцией правдоподобия. Наиболее вероятное значение измеряемой величины ${\textstyle a^{*}}$ определяется по максимуму функции правдоподобия. Более удобной является логарифмическая функция правдоподобия:

${\displaystyle L(a)=\ln W(a)=-\sum _{i=1}^{n}{\frac {(x_{i}-a)^{2}}{2\sigma _{i}^{2}}}+\sum _{i=1}^{n}{\ln {\frac {1}{\sqrt {2\pi \sigma _{i}^{2}}}}}}$.

Продифференцируем логарифмическую функцию правдоподобия по ${\textstyle a}$:

${\displaystyle {\frac {\partial {L}}{\partial {a}}}=\sum _{i=1}^{n}{\frac {x_{i}-a}{\sigma _{i}^{2}}}}$.

Приравняем ${\displaystyle {\frac {\partial {L}}{\partial {a}}}}$ к ${\textstyle 0}$ и получим некоторое значение ${\textstyle a=a^{*}}$:

${\displaystyle a^{*}={\frac {\sum \limits _{i=1}^{n}{\frac {x_{i}}{\sigma _{i}^{2}}}}{\sum \limits _{i=1}^{n}{\frac {1}{\sigma _{i}^{2}}}}}}$.

Крамер сформулировал следующую теорему:

Теорема: Не существует другого метода обработки результатов эксперимента, который дал бы лучшее приближение к истине, чем метод максимального правдоподобия.

Ошибки измерений

Предположим, что мы провели серию измерений и получили серию значений ${\textstyle a^{*}}$, естественно записать, что это распределение будет иметь гауссовский вид:

${\displaystyle W(a)={\frac {1}{\sqrt {2\pi \sigma _{a^{*}}^{2}}}}\exp \left[-{\frac {(a^{*}-a)^{2}}{2\sigma _{a^{*}}^{2}}}\right]}$.

Запишем логарифмическую функцию правдоподобия:${\displaystyle L(a)=\ln W(a)=-{\frac {(a^{*}-a)^{2}}{2\sigma _{a^{*}}^{2}}}+{\ln {\frac {1}{\sqrt {2\pi \sigma _{a^{*}}^{2}}}}}}$.

Возьмем первую производную:

${\displaystyle {\frac {\partial {L}}{\partial {a}}}={\frac {a^{*}-a}{\sigma _{a^{*}}^{2}}}}$.

Если ${\displaystyle {\frac {\partial {L}}{\partial {a}}}=0}$ , то ${\displaystyle a=a^{*}}$. Теперь возьмем вторую производную:

${\displaystyle {\frac {\partial ^{2}{L}}{\partial {a}^{2}}}=-{\frac {1}{\sigma _{a^{*}}^{2}}}}$, откуда

${\displaystyle \sigma _{a^{*}}=\left(-{\frac {\partial ^{2}{L}}{\partial {a}^{2}}}{\Big |}_{a=a^{*}}\right)^{-1/2}}$.

Это называется первой магической формулой^[2].

Условный метод максимального правдоподобия

Условный метод максимального правдоподобия (Conditional ML) используется в регрессионных моделях. Суть метода заключается в том, что используется не полное совместное распределение всех переменных (зависимой и регрессоров), а только условное распределение зависимой переменной по факторам, то есть фактически распределение случайных ошибок регрессионной модели. Полная функция правдоподобия есть произведение «условной функции правдоподобия» и плотности распределения факторов. Условный ММП эквивалентен полному варианту ММП в том случае, когда распределение факторов никак не зависит от оцениваемых параметров. Это условие часто нарушается в моделях временных рядов, например в авторегрессионной модели. В данном случае, регрессорами являются прошлые значения зависимой переменной, а значит их значения также подчиняются той же AR-модели, то есть распределение регрессоров зависит от оцениваемых параметров. В таких случаях результаты применения условного и полного метода максимального правдоподобия будут различаться.

См. также

• Правдоподобие принятой последовательности
• Метод моментов
• Обобщенный метод моментов
• Метод наименьших квадратов
• Метод инструментальных переменных
• EM-алгоритм