Критерий согласия Пирсона

Критерий согласия Пирсона или критерий согласия ${\displaystyle \chi ^{2}}$ (хи-квадрат) — непараметрический метод, который позволяет оценить значимость различий между фактическим (выявленным в результате исследования) количеством исходов или качественных характеристик выборки, попадающих в каждую категорию, и теоретическим количеством, которое можно ожидать в изучаемых группах при справедливости нулевой гипотезы. Выражаясь проще, метод позволяет оценить статистическую значимость различий двух или нескольких относительных показателей (частот, долей).

Является наиболее часто употребляемым критерием для проверки гипотезы о принадлежности наблюдаемой выборки ${\displaystyle x_{1},x_{2},...,x_{n}}$ объёмом ${\displaystyle n}$ некоторому теоретическому закону распределения ${\displaystyle F(x,\theta )}$.

Критерий хи-квадрат для анализа таблиц сопряжённости был разработан и предложен в 1900 году основателем математической статистики английским учёным Карлом Пирсоном.

Критерий может использоваться при проверке простых гипотез вида

${\displaystyle H_{0}:F_{n}(x)=F(x,\theta ),}$

где ${\displaystyle \theta }$ — известный вектор параметров теоретического закона, и при проверке сложных гипотез вида

${\displaystyle H_{0}:F_{n}(x)\in \left\{F(x,\theta ),\theta \in \Theta \right\},}$

когда оценка ${\displaystyle {\hat {\theta }}}$ скалярного или векторного параметра распределения ${\displaystyle F(x,\theta )}$ вычисляется по той же самой выборке.

Статистика критерия

Процедура проверки гипотез с использованием критериев типа ${\displaystyle \chi ^{2}}$ предусматривает группирование наблюдений. Область определения случайной величины разбивают на ${\displaystyle k}$ непересекающихся интервалов ${\displaystyle \Delta _{1},\Delta _{2},...,\Delta _{k}}$ необязательно одинаковой длины, которые задаются граничными точками

${\displaystyle x_{(0)},x_{(1)},...,x_{(k-1)},x_{(k)},}$

где ${\displaystyle x_{(0)}}$ — нижняя грань области определения случайной величины; ${\displaystyle x_{(k)}}$ — верхняя грань.

• количество интервалов ${\displaystyle k}$ должно быть не менее 8 (если число параметров ${\displaystyle \theta }$ больше 7, то требуется большее количество интервалов ${\displaystyle k\geqslant max(8,s+1)}$. Однако, чаще всего ${\displaystyle s=2}$, когда распределение определяется двумя параметрами - средним значением и параметром разброса );
• в каждый интервал ${\displaystyle \Delta _{i}}$ должно попасть не менее 7-8 значений, желательно одинаковое количество;
• если область определения бесконечна, то в качестве крайних интервалов берутся полупрямые.

В соответствии с заданным разбиением подсчитывают число ${\displaystyle n_{i}}$ выборочных значений, попавших в ${\displaystyle i}$-й интервал, и вероятности попадания в интервал

${\displaystyle P_{i}(\theta )=F(x_{(i)},\theta )-F(x_{(i-1)},\theta ),}$

соответствующие теоретическому закону с функцией распределения ${\displaystyle F(x,\theta ).}$

При этом

${\displaystyle n=\sum _{i=1}^{k}n_{i}}$ и ${\displaystyle \sum _{i=1}^{k}P_{i}(\theta )=1.}$

При проверке простой гипотезы известны как вид закона ${\displaystyle F(x,\theta )}$, так и все его параметры (известен скалярный или векторный параметр ${\displaystyle \theta }$).

В основе статистик, используемых в критериях согласия типа ${\displaystyle \chi ^{2}}$, лежит измерение отклонений ${\displaystyle n_{i}/n}$ от ${\displaystyle P_{i}(\theta )}$.

Статистика критерия согласия ${\displaystyle \chi ^{2}}$ Пирсона определяется соотношением

${\displaystyle \chi ^{2}=n\sum _{i=1}^{k}{\frac {\left(n_{i}/n-P_{i}(\theta )\right)^{2}}{P_{i}(\theta )}}.}$

В случае проверки простой гипотезы, в пределе при ${\displaystyle n\to \infty }$ эта статистика подчиняется ${\displaystyle \chi _{r}^{2}}$-распределению с ${\displaystyle r=k-1}$ степенями свободы, если верна проверяемая гипотеза ${\displaystyle H_{0}}$. Плотность ${\displaystyle \chi _{r}^{2}}$-распределения, которое является частным случаем гамма-распределения, описывается формулой

${\displaystyle g(s)={\frac {1}{2^{r/2}\Gamma (r/2)}}s^{r/2-1}e^{-s/2}.}$

Проверяемая гипотеза ${\displaystyle H_{0}}$ отклоняется при больших значениях статистики, когда вычисленное по выборке значение статистики ${\displaystyle \chi _{n}^{2}}$ больше критического значения ${\displaystyle \chi _{r,\alpha }^{2},}$

${\displaystyle P\left(\chi _{n}^{2}>\chi _{r,\alpha }^{2}\right)={\frac {1}{2^{r/2}\Gamma (r/2)}}\int _{\chi _{r,\alpha }^{2}}^{\infty }s^{r/2-1}e^{-s/2}ds}$

или достигнутый уровень значимости (p-значение) меньше заданного уровня значимости (заданной вероятности ошибки 1-го рода) ${\displaystyle \alpha }$.

Проверка сложных гипотез

При проверке сложных гипотез, если параметры закона ${\displaystyle F(x,\theta )}$ по этой же выборке оцениваются в результате минимизации статистики ${\displaystyle \chi _{n}^{2}}$ или по сгруппированной выборке методом максимального правдоподобия, то статистика ${\displaystyle \chi _{n}^{2}}$ при справедливости проверяемой гипотезы подчиняется ${\displaystyle \chi _{r}^{2}}$-распределению с ${\displaystyle r=k-m-1}$ степенями свободы, где ${\displaystyle m}$ — количество оценённых по выборке параметров.

Если параметры оцениваются по исходной негруппированной выборке, то распределение статистики не будет являться ${\displaystyle \chi _{k-m-1}^{2}}$-распределением^[1]. Более того, распределения статистики при справедливости гипотезы ${\displaystyle H_{0}}$ будут зависеть от способа группирования, то есть от того, как область определения разбивается на интервалы^[2].

При оценивании методом максимального правдоподобия параметров по негруппированной выборке можно воспользоваться модифицированными критериями типа ${\displaystyle \chi ^{2}}$^[3][4][5][6].

О мощности критерия

При использовании критериев согласия, как правило, не задают конкурирующих гипотез: рассматривается принадлежность выборки конкретному закону, а в качестве конкурирующей гипотезы — принадлежность любому другому. Естественно, что критерий по-разному будет способен отличать от закона, соответствующего ${\displaystyle H_{0}}$, близкие или далёкие от него законы. Если задать конкурирующую гипотезу ${\displaystyle H_{1}}$ и соответствующий ей некоторый конкурирующий закон ${\displaystyle F_{1}(x,\theta )}$, то можно рассуждать уже об ошибках двух видов: не только об ошибке 1-го рода (отклонении проверяемой гипотезы ${\displaystyle H_{0}}$ при её справедливости) и вероятности этой ошибки ${\displaystyle \alpha }$, но и об ошибке 2-го рода (неотклонении ${\displaystyle H_{0}}$ при справедливости ${\displaystyle H_{1}}$) и вероятности этой ошибки ${\displaystyle \beta }$.

Мощность критерия по отношению к конкурирующей гипотезе ${\displaystyle H_{1}}$ характеризуется величиной ${\displaystyle 1-\beta }$. Критерий тем лучше распознаёт пару конкурирующих гипотез ${\displaystyle H_{0}}$ и ${\displaystyle H_{1}}$, чем выше его мощность.

Мощность критерия согласия ${\displaystyle \chi ^{2}}$ Пирсона существенно зависит от способа группирования^[7][8] и от выбранного числа интервалов^[8][9].

При асимптотически оптимальном группировании, при котором максимизируются различные функционалы от информационной матрицы Фишера по группированным данным (минимизируются потери, связанные с группированием), критерий согласия ${\displaystyle \chi ^{2}}$ Пирсона обладает максимальной мощностью относительно «(очень) близких» конкурирующих гипотез^[10][8][9].

При проверке простых гипотез и использовании асимптотически оптимального группирования критерий согласия ${\displaystyle \chi ^{2}}$ Пирсона имеет преимущество в мощности по сравнению с непараметрическими критериями согласия. При проверке сложных гипотез мощность непараметрических критериев возрастает и такого преимущества нет^[11][12]. Однако для любой пары конкурирующих гипотез (конкурирующих законов) за счёт выбора числа интервалов и способа разбиения области определения случайной величины на интервалы можно максимизировать мощность критерия^[13].

Ограничения критерия

Критерий хи-квадрат Пирсона, хотя и является одним из наиболее распространённых методов для проверки связи между категориальными переменными или оценки соответствия наблюдаемых и ожидаемых частот, имеет ряд существенных ограничений. Во-первых, он требует достаточно большой выборки для получения надёжных результатов^[14][15] — ожидаемое количество наблюдений в каждой ячейке таблицы сопряжённости должно быть не менее 5^[16]. При малых объёмах выборки или наличии редких категорий приближение к распределению хи-квадрат становится неточным, что может привести к ошибочным выводам. Кроме того, тест предполагает независимость наблюдений.

Ещё одним ограничением критерия хи-квадрат является то, что он не показывает силу или направление связи, а лишь указывает на наличие статистически значимого различия. Также тест чувствителен к размеру выборки: при очень больших данных даже незначительные отклонения могут оказаться статистически значимыми.

Например, в тесте однородности Пирсона (Pearson's test of homogeneity), если все элементы таблицы сопряжённости ${\displaystyle A}$ умножаются на положительную константу ${\displaystyle c}$, то статистика хи-квадрат Пирсона также умножается на ${\displaystyle c}$:

${\displaystyle \chi _{\text{stat}}^{2}(cA)=c\chi _{\text{stat}}^{2}(A).}$

Следовательно, если все строки матрицы ${\displaystyle A}$ строго пропорциональны, то

${\displaystyle \chi _{\text{stat}}^{2}(cA)=c\chi _{\text{stat}}^{2}(A)=0}$

для любого ${\displaystyle c}$ и любого уровня значимости ${\displaystyle \alpha }$. В противном случае значение ${\displaystyle \chi _{\text{stat}}^{2}(cA)}$ может становиться сколь угодно большим или малым при увеличении или уменьшении ${\displaystyle c}$. Таким образом, при фиксированном уровне значимости ${\displaystyle \alpha }$ нулевая гипотеза ${\displaystyle H_{0}}$ будет отклонена с доверительной вероятностью ${\displaystyle 1-\alpha }$, если ${\displaystyle c}$ достаточно велико, и не будет отклонена, если ${\displaystyle c}$ достаточно мало^[15]. Иными словами, статистика хи-квадрат растёт линейно при умножении всей таблицы сопряжённости на постоянный множитель, что отражает пропорциональное масштабирование наблюдаемых и ожидаемых частот.

Наконец, метод неприменим напрямую к непрерывным данным — их необходимо предварительно категоризировать, что приводит к потере информации и снижению статистической мощности.

См. также

• Точный критерий Фишера