Метад максімальнай праўдападобнасці

Метад максімальнай праўдападобнасці (ММП) — метад ацэньвання^[en] параметраў^[en] меркаванага размеркавання імавернасцей на аснове выбаркі назіранняў. Ацэнка дасягаецца максімізацыяй^[en] функцыі праўдападобнасці^[en] такім чынам, каб згодна з меркаванай статыстычнай мадэллю^[en] назіранні^[en] былі найбольш праўдабадобнымі. Пункт^[en] у прасторы параметраў^[en], які максімізуе функцыю праўдападобнасці, называецца ацэнкай максімальнай праўдападобнасці^[1]. Логіка метаду адначасова інтуіцыйная і гнуткая, таму ён стаў дамінуючым сродкам статыстычнага высноўвання^{[en][2][3][4]}.

Калі функцыя праўдападобнасці дыферэнцавальная^[en], можна прымяніць метад вытворнай^[en] для знаходжання яе максімумаў. У некаторых выпадках максімум функцыі праўдападобнасці можна знайсці аналітычна; напрыклад, ацэнка звычайным метадам найменшых квадратаў^[en] для мадэлі лінейнай рэгрэсіі максімізуе праўдападобнасць, калі мяркуецца, што ўсе назіранні маюць нармальнае размеркаванне з роўнай дысперсіяй^[5].

З пункту гледжання баесаўскага высноўвання^[en], ацэнка максімальнай праўдападобнасці, як правіла, эквівалентная ацэнцы апастэрыёрнага максімуму^[en] з раўнамерным апрыёрным размеркаваннем (або нармальным апрыёрным размеркаваннем з бесканечным стандартным адхіленнем). У частотным высноўванні^[en] метад максімальнай праўдападобнасці — асаблівы выпадак экстрэмальнай ацэнкі^[en] з мэтавай функцыяй роўнай праўдападобнасці.

Прынцыпы

Набор назіранняў мадэлюецца як выпадковая выбарка^[en] з невядомага супольнага размеркавання, якое задаецца наборам параметраў^[en]. Мэта метаду максімальнай праўдападобнасці — знайсці параметры, для якіх назіранні маюць найбольшую супольную імавернасць. Параметры, якія задаюць супольнае размеркаванне, запісваюцца як вектар ${\displaystyle \;\theta =\left[\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{k}\right]^{\mathsf {T}}\;}$, таму кажуць, што гэтае размеркаванне адносяцца да параметрычнага сямейства^[en] ${\displaystyle \;\{f(\cdot \,;\theta )\mid \theta \in \Theta \}\;}$, дзе ${\displaystyle \,\Theta \,}$ — прастора параметраў^[en], канечнамернае падмноства Еўклідавай прасторы^[en]. Падстаўляючы назіранні ${\displaystyle \;\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})\;}$ у функцыю шчыльнасці супольнага размеркавання, атрымліваем рэчаісназначную функцыю

${\displaystyle {\mathcal {L}}_{n}(\theta )={\mathcal {L}}_{n}(\theta$ ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )\;,}

якая называецца функцыяй праўдападобнасці^[en]. Для незалежных і аднолькава размеркаваных выпадковых велічынь^[en], ${\displaystyle f_{n}(\mathbf {y}$ ;\theta )} можна запісаць як здабытак аднамерных функцый шчыльнасці імавернасці:

${\displaystyle f_{n}(\mathbf {y}$ ;\theta )=\prod _{k=1}^{n}\,f_{k}^{\mathsf {univar}}(y_{k};\theta )~.}

Мэта метаду максімальнай праўдападобнасці — знайсці такія значэнні параметраў мадэлі з прасторы параметраў, для якіх функцыя праўдападобнасці будзе максімальнай^[6]:

${\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.}$

Інтуітыўна, знойдзенае такім чынам значэнне параметраў робіць назіранні найбольш імавернымі. Значэнне ${\displaystyle ~{\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta ~}$, якое максімізуе функцыю праўдападобнасці ${\displaystyle \,{\mathcal {L}}_{n}\,}$, называецца значэннем ацэнкі максімальнай праўдападобнасці. Калі існуе вымерная функцыя^[en] ${\displaystyle \;{\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta \;}$, то такая функцыя называецца функцыяй ацэнкі^[en] максімальнай праўдападобнасці. Звычайна гэтая функцыя задаецца на прасторы элементарных падзей і яе аргументам выступае пэўная выбарка. Дастатковая, але не неабходная^[en] ўмова яе існавання — непарыўнасць функцыі праўдападобнасці на кампактнай прасторы^[en] параметраў^[7]. Для адкрытага мноства^[en] ${\displaystyle \,\Theta \,}$, функцыя праўдападобнасці можа павялічвацца не дасягаючы супрэмуму.

На практыцы часта бывае зручна працаваць з натуральным лагарыфмам функцыі праўдападобнасці, які называецца лагарыфмам праўдападобнасці^[en]:

${\displaystyle \ell (\theta \,;\mathbf {y} )=\ln {\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.}$

Праз тое што лагарыфм — манатонная функцыя^[en], максімум ${\displaystyle \;\ell (\theta \,;\mathbf {y} )\;}$ дасягаецца пры тым самым значэнні ${\displaystyle \theta }$, што і максімум ${\displaystyle \,{\mathcal {L}}_{n}~.}$^[8]. Калі ${\displaystyle \ell (\theta \,;\mathbf {y} )}$ — дыферэнцавальная функцыя^[en] на ${\displaystyle \,\Theta \,}$, то неабходныя^[en] для максімуму (мінімуму) умовы

${\displaystyle {\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0~}$

называюцца раўнаннямі праўдападобнасці. Для некаторых мадэляў удаецца знайсці іх аналітычныя развязкі ${\displaystyle \,{\widehat {\theta \,}}\,}$, але агульнага аналітычнага развязка задачы максімізацыі не існуе, і ацэнка максімальнай праўдападобнасці можа быць знойдзена толькі з дапамогай лікавай аптымізацыі^[en]. Іншая праблема ў тым, што для канечных выбарак можа існаваць некалькі каранёў раўнанняў праўдападобнасці^[9]. Гесіян^[en], матрыца частковых вытворных другога парадку, можа выкарыстоўвацца каб зразумець ці з’яўляецца знойдзены максімум ${\displaystyle \,{\widehat {\theta \,}}\,}$ лакальным:

${\displaystyle \mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}}~.}$

Калі гесіян адмоўна паўвызначаны^[en] ў ${\displaystyle {\widehat {\theta \,}}}$, то функцыя лакальна ўвагнутая^[en]. Зручна тое, што найбольш вядомыя размеркаванні — у прыватнасці экспанентавае сямейства^[en] — лагарыфмічна ўвагнутыя^[en][10][11].

Абмежаваная прастора параметраў

Хаця звычайна абсяг вызначэння функцыі праўдападобнасці (прастора параметраў^[en]) — канечнамернае падмноства Еўклідавай прасторы^[en], часам на яго могуць накладацца дадатковыя абмежаванні^[en]. У такім выпадку прастору параметраў можна запісаць як

${\displaystyle \Theta =\left\{\theta$ :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,}

дзе ${\displaystyle \;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;}$ — вектар-функцыя^[en] з ${\displaystyle \,\mathbb {R} ^{k}\,}$ у ${\displaystyle \;\mathbb {R} ^{r}~}$. Тады знайсці ацэнку максімальнай праўдападобнасці параметра ${\displaystyle \theta }$ з мноства ${\displaystyle \Theta }$ значыць знайсці ${\displaystyle \theta }$, для якога дасягаецца максімум функцыі праўдападобнасці пры выкананні ўмоў ${\displaystyle ~h(\theta )=0~}$.

Тэарэтычна, самы натуральны падыход да гэтай задачы ўмоўнай аптымізацыі^[en] — метад падстаноўкі. Гэта значыць дапаўненне ўмоў ${\displaystyle \;h_{1},h_{2},\ldots ,h_{r}\;}$ да мноства ${\displaystyle \;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;}$ такім чынам, што ${\displaystyle \;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;}$ — ін’екцыя з ${\displaystyle \mathbb {R} ^{k}}$ у ${\displaystyle \mathbb {R} ^{k}}$, і рэпараметрызацыя функцыі праўдападобнасці ўвядзеннем ${\displaystyle \;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.}$^[12]. Праз эквіварыянтнасць функцыі ацэнкі максімальнай праўдападобнасці, уласцівасці распаўсюджваюцца і на абмежаваныя ацэнкі^[13]. Напрыклад, для многавымернага нармальнага размеркавання матрыца каварыяцыі^[en] ${\displaystyle \,\Sigma \,}$ мусіць быць дадатна вызначанай матрыцай^[en]; гэта абмежаванне можна выканаць падстаноўкай ${\displaystyle \;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;}$, дзе ${\displaystyle \Gamma }$ — рэчаісная верхнетрохвугольная матрыца^[en], а ${\displaystyle \Gamma ^{\mathsf {T}}}$ — транспанаваная ${\displaystyle \Gamma }$ (гл. раскладанне Халецкага^[en] для доказу ін’ектыўнасці)^[14].

На практыцы ўмовы звычайна накладаюцца метадам множнікаў Лагранжа^[en], які прыводзіць да раўнанняў абмежаванай праўдападобнасці:

${\displaystyle {\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0}$ і ${\displaystyle h(\theta )=0\;,}$

дзе ${\displaystyle ~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~}$ — вектар-слупок множнікаў Лагранжа, а ${\displaystyle \;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;}$ — матрыца Якобі частковых вытворных памеру k × r ^[12]. Натуральна, калі абмежаванні не ўплываюць на максімум, множнікі Лагранжа маюць быць роўнымі нулю^[15]. Гэта, у сваю чаргу, дазваляе правесці статыстычную праверку валіднасці абмежавання, вядомую як тэст множнікаў Лагранжа^[en].

Уласцівасці

Ацэнка максімальнай праўдападобнасці — ацэнка экстрэмуму^[en], якая максімізуе па θ мэтавую функцыю^[en] ${\displaystyle {\widehat {\ell \,}}(\theta \,;x)}$. Калі назіранні незалежныя і аднолькава размеркаваныя^[en], маем

${\displaystyle {\widehat {\ell \,}}(\theta \,;x)={\frac {1}{n}}\sum _{i=1}^{n}\ln f(x_{i}\mid \theta ),}$

што ёсць выбаркавым аналагам матэматычнага спадзявання лагарыфму праўдападобнасці ${\displaystyle \ell (\theta )=\operatorname {\mathbb {E} } [\,\ln f(x_{i}\mid \theta )\,]}$, узятага па сапраўднай шчыльнасці.

Ацэнка максімальнай праўдападобнасці не мае аптымальных уласцівасцей для канечных выбарак у тым сэнсе, што іншыя ацэнкі на канечных выбарках могуць мець большую канцэнтрацыю вакол сапраўднага значэння параметру^[16]. Аднак, як і іншыя метады ацэнкі, ацэнка максімальнай праўдападобнасці мае шэраг прывабных абмежавальных уласцівасцей^[en]: калі памер выбаркі павялічваецца да бясконцасці, паслядоўнасць ацэнак максімальнай праўдападобнасці мае наступныя ўласцівасці:

• Слушнасць^[en]: паслядоўнасць ацэнак максімальнай праўдападобнасці збягаецца паводле імавернасці да ацэньваемага значэння.
• Функцыянальная інварыянтнасць: Калі ${\displaystyle {\hat {\theta }}}$ — ацэнка максімальнай праўдападобнасці для ${\displaystyle \theta }$, а ${\displaystyle g(\theta )}$ — адвольнае пераўтварэнне над ${\displaystyle \theta }$, то ацэнка максімальнай праўдападобнасці для ${\displaystyle \alpha =g(\theta )}$ роўная ${\displaystyle {\hat {\alpha }}=g({\hat {\theta }})}$.
• Эфектыўнасць^[en]: ацэнка дасягае ніжняй мяжы Крамера-Раа^[en], калі памер выбаркі імкнецца к бесканечнасці. Гэта значыць, што ніводная слушная ацэнка не мае меншай асімптатычнай сярэднеквадратычнай памылкі^[en], чым ацэнка максімальнай праўдападобнасці (або іншыя ацэнкі, якія дасягаюць гэтай мяжы). Гэта таксама значыць, што для ацэнкі максімальнай праўдападобнасці ўласцівая асімптатычная нармальнасць^[en].
• Эфектыўнасць другога парадку пасля карэкцыі ўхілу.

Слушнасць

Пры выкананні прыведзеных ніжэй умоў, ацэнка максімальнай праўдападобнасці слушная^[en]. Гэта значыць, што калі даныя былі ўтвораны функцыяй ${\displaystyle f(\cdot \,;\theta _{0})}$ і мы маем дастаткова вялікую колькасць назіранняў ${\displaystyle n}$, то магчыма знайсці значэнне ${\displaystyle \theta _{0}}$ з адвольнай дакладнасцю. У матэматычных тэрмінах гэта значыць, што калі ${\displaystyle n}$ імкнецца да бесканечнасці, ацэнка ${\displaystyle {\widehat {\theta \,}}}$ збягаецца паводле імавернасці^[en] да сапраўднага значэння:

${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.}$

Пры трохі стражэйшых умовах, ацэнка збягаецца амаль напэўна^[en] (або моцна):

${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.}$

На практыцы, даныя ніколі не ўтвараюцца ${\displaystyle f(\cdot \,;\theta _{0})}$. Наадварот, ${\displaystyle f(\cdot \,;\theta _{0})}$ — гэта мадэль, часта ў ідэалізаванай форме, працэсу, які ўтварае даныя. Паводле распаўсюджанага ў статыстыцы афарызму, усе мадэлі хібныя^[en]. Такім чынам, сапраўдная слушнасць ніколі не дасягаецца на практыцы. Тым не менш, слушнасць часта ўважаецца пажаданай уласцівасцю для ацэнак.

Для слушнасці дастаткова наступных умоў.^[17]

1. Ідэнтыфікавальнасць^[en] мадэлі: $${\displaystyle \theta \neq \theta _{0}\quad \Leftrightarrow \quad f(\cdot \mid \theta )\neq f(\cdot \mid \theta _{0}).}$$Іншымі словамі, розным параметрам ${\displaystyle \theta }$ адпавядаюць розныя размеркаванні мадэлі. Калі гэтая ўмова не выконваецца, існуе пэўнае значэнне ${\displaystyle \theta _{1}}$, такое што ${\displaystyle \theta _{0}}$ і ${\displaystyle \theta _{1}}$ утвараюць роўныя размеркаванні даных. Тады немагчыма адрозніць гэтыя параметры нават з бясконцай колькасцю даных. Такія параметры называюцца назіральна эквівалентнымі^[en].
   Ідэнтыфікавальнасць неабходная для слушнасці ацэнкі максімальнай праўдападобнасці. Калі гэтая ўмова выконваецца, абмежаваная функцыя лагарыфму праўдападобнасці ${\displaystyle \ell (\theta \mid \cdot )}$ мае адзіны глабальны максімум у ${\displaystyle \theta _{0}}$.
2. Кампактнасць: прастора параметраў ${\displaystyle \Theta }$ мадэлі кампактная^[en].

   

   
   Умова ідэнтыфікавальнасці гарантуе, што ў лагарыфма праўдападобнасці існуе адзіны глабальны максімум. Кампактнасць азначае, што праўдападобнасць не можа імкнуцца к максімальнаму значэнню ў нейкім іншым месцы (напрыклад як паказана на рысунку справа).
   Кампактнасць — толькі дастатковая, але не неабходная ўмова. Яна можа быць заменена некаторымі іншымі ўмовамі, такімі як:
   • адначасовая ўвагнутасць^[en] функцыі лагарыфму праўдападобнасці і кампактнасць некаторага з яе непустых мностваў узроўню^[en], або
   • існаванне кампактнага наваколля^[en] ${\displaystyle N}$ для ${\displaystyle \theta _{0}}$, такога што па-за наваколлем ${\displaystyle N}$ функцыя лагарыфму праўдападобнасці меншая за максімум прынамсі на некаторы ${\displaystyle \varepsilon >0}$.
3. Непарыўнасць: функцыя ${\displaystyle \ln f(x\mid \theta )}$ непарыўная ў ${\displaystyle \theta }$ для амаль усіх значэнняў ${\displaystyle x}$: $${\displaystyle \operatorname {\mathbb {P} } {\Bigl [}\;\ln f(x\mid \theta )\;\in \;C^{0}(\Theta )\;{\Bigr ]}=1.}$$ Непарыўнасць можа быць замененая слабейшай умовай верхняй паўнепарыўнасці^[en].
4. Дамінантнасць: існуе інтэгравальная па размеркаванні ${\displaystyle f(x\mid \theta _{0})}$ функцыя ${\displaystyle D(x)}$, такая што $${\displaystyle {\Bigl |}\ln f(x\mid \theta ){\Bigr |}<D(x)\quad \forall \theta \in \Theta .}$$ Паводле раўнамернага закона вялікіх лікаў, умова дамінантнасці разам з непарыўнасцю гарантуе раўнамерную збежнасць паводле імавернасці лагарыфма праўдападобнасці: $${\displaystyle \sup _{\theta \in \Theta }\left|{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\,\right|\ {\xrightarrow {\text{p}}}\ 0.}$$ Умова дамінантнасці можа быць выкарыстана ў выпадку незалежных аднолькава размеркаваных велічынь^[en]. Інакш, раўнамерная збежнасць паводле імавернасці можа быць забяспечана тым, што ${\displaystyle {\widehat {\ell \,}}(\theta \mid x)}$ стахастычна роўнаступенна непарыўная^[en].

Калі неабходна прадэманстраваць, што ацэнка максімальнай праўдападобнасці ${\displaystyle {\widehat {\theta \,}}}$ збягаецца да ${\displaystyle \theta _{0}}$ амаль напэўна^[en], то мае выконвацца стражэйшая ўмова непарыўнай збежнасці амаль напэўна:

${\displaystyle \sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.}$

Акрамя таго, у дапушчэнні што даныя былі ўтвораны функцыяй ${\displaystyle f(\cdot \,;\theta _{0})}$, пры пэўных умовах можна паказаць, што ацэнка максімальнай праўдападобнасці збягаецца паводле размеркавання^[en] к нармальнаму размеркаванню^[18]

${\displaystyle {\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)}$,

дзе ${\displaystyle I}$ — матрыца інфармацыі Фішэра^[en].

Функцыянальная інварыянтнасць

Калі ${\displaystyle {\widehat {\theta \,}}}$ — ацэнка максімальнай праўдападобнасці для ${\displaystyle \theta }$, а ${\displaystyle g(\theta )}$ — трансфармацыя над ${\displaystyle \theta }$, то ацэнка максімальнай праўдападобнасці для ${\displaystyle \alpha =g(\theta )}$ роўная^[19]

${\displaystyle {\widehat {\alpha }}=g({\widehat {\theta }}).\,}$

Яна максімізуе так званую профільную праўдападобнасць^[en]:

${\displaystyle {\bar {L}}(\alpha )=\sup _{\theta$ :\alpha =g(\theta )}L(\theta ).\,}

Акрамя таго, ацэнка максімальнай праўдападобнасці інварыянтная ў дачыненні некаторых трансфармацый даных. Калі ${\displaystyle y=g(x)}$, дзе ${\displaystyle g}$ — біекцыя, якая не залежыць ад ацэньваемых параметраў, то функцыя шчыльнасці адпавядае

${\displaystyle f_{Y}(y)={\frac {f_{X}(x)}{|g'(x)|}}}$

і функцыі праўдападобнасці для ${\displaystyle X}$ і ${\displaystyle Y}$ адрозніваюцца толькі множнікам, які не залежыць ад параметраў мадэлі.

Напрыклад, ацэнка максімальнай праўдападобнасці параметраў лог-нармальнага размеркавання такая самая як і ў нармальнага размеркавання, атрыманая на лагарыфмаваных даных.