Máxima verosimilitud

En estadística, la estimación por máxima verosimilitud (conocida tamién como EMV y, n'ocasiones, MLE poles sos sigles n'inglés) ye un métodu habitual p'afaer un modelu y envalorar los sos parámetros.

Historia

Ronald Fisher en 1913

Foi encamentáu, analizáu y popularizáu por R. A. Fisher ente 1912 y 1922, anque fuera utilizáu antes por Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele y Francis Edgeworth.^[1]

Fundamentu

Supóngase que se tien una muestra x₁, x₂, …, x_n de n observaciones independientes ya idénticamente distribuyíes estrayíes d'una función de distribución desconocida con función de densidá (o función de probabilidá) f₀(·). Sábese, sicasí, que f₀ pertenez a una familia de distribuciones { f(·|θ), θ ∈ Θ }, llamada modelu paramétrico, de manera que f₀ correspuende a θ = θ₀, que ye'l verdaderu valor del parámetru. Deseyar atopar el valor ${\displaystyle \scriptstyle {\hat {\theta }}}$ (o estimador) que tea lo más próximo posible al verdaderu valor θ₀.

Tanto x_i como θ pueden ser vectores.

La idea d'esti métodu ye la d'atopar primero la función de densidá conxunta de toles observaciones, que so condiciones d'independencia, ye : ${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\;|\;\theta )=f(x_{1}|\theta )\cdot f(x_{2}|\theta )\cdots f(x_{n}|\theta )\,}$

Reparando esta función so un ángulu llixeramente distintu, puede suponese que los valores reparaos x₁, x₂, …, x_n son fixos ente que θ puede variar llibremente. Esta ye la función de verosimilitud:

${\displaystyle {\mathcal {L}}(\theta \,|\,x_{1},\ldots ,x_{n})=\prod _{i=1}^{n}f(x_{i}|\theta ).}$

Na práutica, suelse utilizar el llogaritmu d'esta función:

${\displaystyle {\hat {\ell }}(\theta \,|\,x_{1},\ldots ,x_{n})=\ln {\mathcal {L}}=\sum _{i=1}^{n}\ln f(x_{i}|\theta ).}$

El métodu de la máxima verosimilitud envalora θ₀ buscando'l valor de θ que maximiza ${\displaystyle \scriptstyle {\hat {\ell }}(\theta |x)}$. Este ye'l llamáu estimador de máxima verosimilitud (MLE) de θ₀:

${\displaystyle {\hat {\theta }}_{\mathrm {mle} }={\underset {\theta \in \Theta }{\operatorname {arg\,max} }}\ {\hat {\ell }}(\theta \,|\,x_{1},\ldots ,x_{n}).}$

N'ocasiones esti estimador ye una función esplícita de los datos reparaos x₁, …, x_n, pero munches vegaes hai que recurrir a optimizaciones numbériques. Tamién puede asoceder que'l máximu nun sía únicu o nun esista.

Na esposición anterior asumióse la independencia de les observaciones, pero nun ye un requisitu necesariu: basta con poder construyir la función de probabilidá conxunta de los datos pa poder aplicar el métodu. Un contestu nel qu'esto ye habitual ye'l del analís de series temporales.

Propiedaes del estimador de máxima verosimilitud

En munchos casos, el estimador llográu por máxima verosimilitud tien un conxuntu de propiedaes asintóticas curioses:

• consistencia, *

normalidá asintótica, * eficiencia, * ya inclusive eficiencia de segundu orde en corrixendo'l sesgu.

Consistencia

So ciertes condiciones bastante habituales,^[2] el estimador de máxima verosimilitud ye consistente: si'l númberu d'observaciones n tiende a infinitu, el estimador ${\displaystyle \scriptstyle {\hat {\theta }}}$ converxe en probabilidá al so valor verdaderu:

${\displaystyle {\hat {\theta }}_{\mathrm {mle} }\ {\xrightarrow {p}}\ \theta _{0}\ .}$

So condiciones daqué más fuertes,^[2] la converxencia ye casi segura:

${\displaystyle {\hat {\theta }}_{\mathrm {mle} }\ {\xrightarrow {a.s.}}\ \theta _{0}\ .}$

Normalidá asintótica

Si les condiciones pa la consistencia cumplir y, amás, # ${\displaystyle \theta _{0}\in interior(\theta )}$ ;

1. ${\displaystyle f(x|\theta )>0}$ y ye dos veces de cutio diferenciable al respective de θ en dalguna redolada N de θ₀;
2. ∫ sup_θ∈N||∇_θf(x|θ)||dx < ∞, y ∫ sup_θ∈N||∇_θθf(x|θ)||dx < ∞;
3. I = Y[∇_θlnf(x|θ₀) ∇_θlnf(x|θ₀)′] esiste y nun ye singular;
4. ${\displaystyle Y[sup_{\theta \in N}\parallel \bigtriangledown _{\theta \theta }\ln(f(x|\theta ))\parallel ]<\infty }$,

entós el estimador de máxima verosimilitud tien una distribución asintótica normal:^[3]

${\displaystyle {\sqrt {n}}{\big (}{\hat {\theta }}_{\mathrm {mle} }-\theta _{0}{\big )}\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,I^{-1}).}$

Invariancia funcional

Si ${\displaystyle {\widehat {\theta }}}$ ye'l EMV de θ y g(θ) ye un tresformamientu de θ, entós el EMV de α = g(θ) ye

${\displaystyle {\widehat {\alpha }}=g({\widehat {\theta }}).\,\!}$

Amás, el EMV ye invariante frente a ciertos tresformamientos de los datos. N'efeutu, si ${\displaystyle Y=g(X)}$ y ${\displaystyle g}$ una aplicación biyectiva que nun depende de los parámetros que s'envaloren, entós la función de densidá de Y ye

${\displaystyle f_{Y}(y)=f_{X}(x)/|g'(x)|}$

Esto ye, les funciones de densidá de X y Y difieren namái nun términu que nun depende de los parámetros. Asina, por casu, el EMV pa los parámetros d'una distribución lognormal son los mesmos que los d'una distribución normal afecha sobre'l llogaritmu de los datos d'entrada.

Otres propiedaes

El EMV ye √n-consistente y asintóticamente eficiente. En particular, esto significa que'l sesgu ye cero hasta l'orde n^−1/2. Sicasí, al llograr los términos de mayor orde de la espansión de Edgeworth de la distribución del estimador, θ_emv tien un sesgu d'orde ⁻¹. Esti sesgu ye igual a^[4]

${\displaystyle b_{s}\equiv \operatorname {Y} [({\hat {\theta }}_{\mathrm {mle} }-\theta _{0})_{s}]={\frac {1}{n}}\cdot I^{si}I^{jk}{\big (}{\tfrac {1}{2}}K_{ijk}+J_{j,ik}{\big )},}$

fórmula onde s'adoptó la convención d'Einstein pa espresar sumes; I^jk representa la j,k-ésima componente de la inversa de la matriz d'información de Fisher y : ${\displaystyle {\tfrac {1}{2}}K_{ijk}+J_{j,ik}=\operatorname {Y} {\bigg [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(x_{t})}{\partial \theta _{i}\,\partial \theta _{j}\,\partial \theta _{k}}}+{\frac {\partial \ln f_{\theta _{0}}(x_{t})}{\partial \theta _{j}}}{\frac {\partial ^{2}\ln f_{\theta _{0}}(x_{t})}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\bigg ]}.}$

Gracies a estes fórmules ye posible envalorar el sesgu de segundu orde del estimador y correxilo por aciu substracción:

${\displaystyle {\hat {\theta }}_{\mathrm {mle} }^{*}={\hat {\theta }}_{\mathrm {mle} }-{\hat {b}}.}$

Esti estimador, insesgado hasta l'orde n⁻¹, llámase estimador de máxima verosimilitud con correición del sesgu.

Exemplos

Distribución uniforme discreta

Supóngase que n boles numberaes de 1 a n asitiar nuna urna y que una d'elles estrayer al azar. Si desconozse n, el so EMV ye'l númberu m qu'apaez na bola estrayida: la función de verosimilitud ye 0 pa n < m y 1/n pa n ≥ m; qu'algama'l so máximu cuando n = m. La esperanza matemática de ${\displaystyle {\hat {n}}}$ , ye (n + 1)/2. De resultes, el EMV de n infravalorará el verdaderu valor de n por (n − 1)/2.

Distribución discreta con parámetros discretos

Supóngase que se llanza una moneda sesgada al aire 80 vegaes. La muestra resultante pue ser daqué según x₁ = H, x₂ = T, ..., x₈₀ = T, y cúntase el númberu de cares, "H". La probabilidá de que sala cara ye p y la de que sala cruz, 1 − p (de cuenta que p ye'l parámetru θ). Supóngase que se llogren 49 cares y 31 cruces. Imaxínese que la moneda estrayer d'una caxa que contenía trés d'elles y que éstes tienen probabilidaes p iguales a 1/3, 1/2 y 2/3 anque nun se sabe cuál d'elles ye cuál.

A partir de los datos llograos del esperimentu puede llograse saber cuál ye la moneda cola máxima verosimilitud. Usando la función de probabilidá de la distribución binomial con una muestra de tamañu 80, númberu d'ésitos igual a 49 y distintos valores de p, la función de verosimilitud toma trés valores siguientes:

${\displaystyle {\begin{aligned}\Pr(\mathrm {H} =49\mid p=1/3)&={\binom {80}{49}}(1/3)^{49}(1-1/3)^{31}\approx 0.000,\\[6pt]\Pr(\mathrm {H} =49\mid p=1/2)&={\binom {80}{49}}(1/2)^{49}(1-1/2)^{31}\approx 0.012,\\[6pt]\Pr(\mathrm {H} =49\mid p=2/3)&={\binom {80}{49}}(2/3)^{49}(1-2/3)^{31}\approx 0.054.\end{aligned}}}$

La verosimilitud ye máxima cuando p = 2/3 y ésti ye, poro, el EMV de p.

Aplicaciones

El estimador de máxima verosimilitud úsase dientro d'un gran númberu de modelos estadísticos:

• modelos lliniales los modelos lliniales xeneralizaos;
• Analís factorial, tanto exploratorio como confirmatorio;
• analís d'ecuaciones estructurales;
• y otres munches situaciones nel contestu de los tests estadísticos

Ver tamién

• Función de verosimilitud
• Algoritmo esperanza-maximización