Локальная асимптотическая нормальность

В статистике локальная асимптотическая нормальность — это свойство последовательности статистических моделей, которое позволяет асимптотически аппроксимировать эту последовательность нормальной моделью сдвига, после необходимого масштабирования параметра. Выборка из независимых и одинаково распределённых наблюдений в рамках регулярной параметрической модели — это важный пример выполнения локальной асимптотической нормальности.

Понятие локальной асимптотической нормальности ввёл Ле Кам^{[англ.][1]} в 1960 году; локальная асимптотическая нормальность — основополагающее понятие в теории эффективности оценок и статистических тестов^{[англ.][2]}.

Определение

Последовательность параметрических статистических моделей ${\displaystyle \left\{P_{n,\theta }:\theta \in \Theta \right\}}$ является локально асимптотически нормальной в ${\displaystyle \theta }$, если существуют матрицы ${\displaystyle r_{n}}$ и ${\displaystyle I_{\theta }}$, а также случайный вектор ${\displaystyle \Delta _{n,\theta }\sim N(0,I_{\theta })}$ такие, что для каждой сходящейся последовательности ${\displaystyle h_{n}\to h}$^[3]:

${\displaystyle \ln {\frac {dP_{n,\theta +r_{n}^{-1}h_{n}}}{dP_{n,\theta }}}=h^{\prime }\Delta _{n,\theta }-1/2h^{\prime }I_{\theta }h+o_{p_{n,\theta }}(1)}$,

здесь производная это производная Радона — Никодима для формализации отношения правдоподобия, а ${\displaystyle o}$ — это o-малое в вероятностном обозначении^[англ.]. Другими словами локальное отношение правдоподобия сходится по распределению к нормальной случайной величине, чьё среднее равно половине дисперсии со знаком минус:

${\displaystyle \ln {\frac {dP_{n,\theta +r_{n}^{-1}h_{n}}}{dP_{n,\theta }}}\to {\mathcal {N}}(-{\frac {1}{2}}h^{\prime }I_{\theta }h,h^{\prime }I_{\theta }h)}$.

Последовательности распределений ${\displaystyle P_{n,\theta +r_{n}^{-1}h_{n}}}$ и ${\displaystyle P_{n,\theta }}$ — контигуальны^{[англ.][3][4]}.

Пример

Самый простой пример локальной асимптотической нормальной модели следующий: модель с независимыми и одинаково распределёнными наблюдениями, чья функция правдоподобия дважды непрерывно дифференцируема. Предположим, что ${\displaystyle \{X_{1},X_{2},\dots ,X_{n}\}}$ — выборка (независимая и одинаково распределённая), где у каждого ${\displaystyle X_{i}}$ есть функция плотности ${\displaystyle f(x,\theta )}$. Функция правдоподобности модели равна

${\displaystyle p_{n,\theta }(x_{1},\dots ,x_{n};\theta )=\prod _{i=1}^{n}f(x_{i},\theta )}$.

Если ${\displaystyle f}$ дважды непрерывно дифференцируема, то

${\displaystyle \ln p_{n,\theta +\delta \theta }\approx \ln p_{n,\theta }+\delta \theta ^{\prime }{\frac {\partial \ln p_{n,\theta }}{\partial \theta }}+{\frac {1}{2}}\delta \theta ^{\prime }{\frac {\partial ^{2}\ln p_{n,\theta }}{\partial \theta \,\partial \theta ^{\prime }}}\delta \theta =\ln p_{n,\theta }+\delta \theta ^{\prime }\sum _{i=1}^{n}{\frac {\partial \ln f(x_{i},\theta )}{\partial \theta }}+{\frac {1}{2}}\delta \theta ^{\prime }\left[\sum _{i=1}^{n}{\frac {\partial ^{2}\ln f(x_{i},\theta )}{\partial \theta \,\partial \theta ^{\prime }}}\right]\delta \theta }$.

Подставляя ${\displaystyle \delta \theta =h/{\sqrt {n}}}$, получаем:

${\displaystyle \ln {\frac {p_{n,\theta +h/{\sqrt {n}}}}{p_{n,\theta }}}=h^{\prime }\left({\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {\partial \ln f(x_{i},\theta )}{\partial \theta }}\right)-{\frac {1}{2}}h^{\prime }\left({\frac {1}{n}}\sum _{i=1}^{n}-{\frac {\partial ^{2}\ln f(x_{i},\theta )}{\partial \theta \,\partial \theta ^{\prime }}}\right)h+o_{p}(1).}$

По центральной предельной теореме первая часть (в скобочках) сходится по распределению к нормальной случайной величине ${\displaystyle \Delta _{\theta }\sim N(0,I_{\theta })}$, в то время как выражение во вторых скобочках по закону больших чисел сходится по вероятности к информационной матрице Фишера ${\displaystyle I_{\theta }}$:

${\displaystyle I_{\theta }=\mathbb {E} \left[-{\frac {\partial ^{2}\ln f(X_{i},\theta )}{\partial \theta \,\partial \theta ^{\prime }}}\right]=\mathbb {E} \left[\left({\frac {\partial \ln f(X_{i},\theta )}{\partial \theta }}\right)\left({\frac {\partial \ln f(X_{i},\theta )}{\partial \theta }}\right)^{\prime }\right]}$.

Таким образом, определение локальной асимптотической нормальности удовлетворено и мы подтвердили, что параметрическая модель с дважды непрерывно дифференцируемой функцией правдоподобия и с независимыми и одинаково распределёнными наблюдениями обладает свойством локальной асимптотической нормальности.

См. также

• Асимптотическое распределение