Топ питань
Часова шкала
Чат
Перспективи
Перевірка співвідношенням правдоподібностей
З Вікіпедії, вільної енциклопедії
Remove ads
У статистиці переві́рка співвідно́шенням правдоподі́бностей (англ. likelihood ratio test) — це статистична перевірка, яку застосовують для порівняння допасованості двох моделей, одна з яких (нульова модель) є окремим випадком іншої (альтернативної моделі). Ця перевірка ґрунтується на співвідношенні правдоподібностей, яке виражає, в скільки разів правдоподібніше, що дані відповідають одній моделі, а не іншій. Це співвідношення правдоподібностей, або, рівнозначно, його логарифм, можливо потім застосовувати для обчислення p-значення, або порівнювати з критичним значенням для ухвалення рішення, чи відкинути нульову модель на користь альтернативної моделі. При застосуванні логарифму співвідношення правдоподібностей така статистика відома як стати́стика логари́фму співвідно́шення правдоподі́бностей (англ. log-likelihood ratio statistic), а розподіл імовірності цієї перевірної статистики за припущення, що нульова модель істинна, можливо наближувати, застосовуючи теорему Уїлкса.
![]() | Ця стаття має кілька недоліків. Будь ласка, допоможіть удосконалити її або обговоріть ці проблеми на сторінці обговорення.
|
У випадку порівняння двох моделей, кожна з яких не має відомих параметрів, застосування перевірки співвідношенням правдоподібностей можливо обґрунтувати лемою Неймана — Пірсона , яка показує, що така перевірка має найвищу потужність серед усіх конкурентів.[1]
Remove ads
Застосування
Узагальнити
Перспектива
Кожну з двох порівнюваних моделей, нульову та альтернативну, окремо допасовують до даних, і записують логарифмічну правдоподібність. Ця перевірна статистика (яку часто позначують через D) є подвоєною різницею цих логарифмічних правдоподібностей:
Модель із більшою кількістю параметрів завжди допасовуватиметься щонайменше так же добре (матиме рівну або більшу логарифмічну правдоподібність). Чи є вона суттєво кращою, і чи слід їй тому віддавати перевагу, визначають виведенням імовірності або p-значення цієї різниці D. Там, де нульова гіпотеза являє собою окремий випадок альтернативної гіпотези, розподіл імовірності статистики критерію є приблизно хі-квадратним розподілом зі ступенями вільності, що дорівнюють df2 − df1.[2] Символи df1 та df2 подають кількості вільних параметрів моделей 1 та 2, відповідно, нульової та альтернативної.
Ось приклад застосування. Якщо нульова модель має 1 параметр та логарифмічну правдоподібність −8024, а альтернативна модель має 3 параметри та логарифмічну правдоподібність −8012, то ймовірністю цієї різниці є те, що й хі-квадрат значення +2·(8024 − 8012) = 24 з 3 − 1 = 2 ступенями вільності. Щоби статистика слідувала розподілові хі-квадрат, мусять виконуватися деякі припущення,[3] і часто обчислюють емпіричні p-значення.
Перевірка співвідношенням правдоподібностей вимагає вкладених моделей, тобто таких моделей, що складнішу може бути перетворено на простішу накладенням набору обмежень на її параметри. Якщо моделі не вкладені, то натомість зазвичай можливо застосовувати узагальнення перевірки співвідношенням правдоподібності: відносну правдоподібність.
Remove ads
Гіпотези проста-з-простою
Узагальнити
Перспектива
Детальніші відомості з цієї теми ви можете знайти в статті Лема Неймана — Пірсона .
Статистична модель часто є параметризованим сімейством функцій густини ймовірності або функцій маси ймовірності . Перевірка гіпотез проста-з-простою має повністю визначені моделі як за нульової гіпотези, так і за альтернативної, що для спрощення записуються в термінах фіксованих значень уявного параметра :
Зауважте, що за кожної з гіпотез розподіл даних повністю визначений; невідомих параметрів для оцінки немає. Перевірка співвідношенням правдоподібностей ґрунтується на співвідно́шенні правдоподі́бностей (англ. likelihood ratio), що часто позначують через (велика грецька літера лямбда). Співвідношення правдоподібностей визначають таким чином:[4][5]
або
де — функція правдоподібності, а — функція супремума. Зауважте, що деякі джерела можуть використовувати як визначення обернене.[6] У встановленому тут вигляді співвідношення правдоподібностей мале, якщо альтернативна модель краща за нульову, і перевірка співвідношенням правдоподібностей дає таке правило рішення:
- Якщо , не відхиляти ;
- Якщо , відхилити ;
- Відхилити з імовірністю , якщо
Значення зазвичай обирають задля отримання вказаного рівня значущості за допомогою співвідношення . Лема Неймана — Пірсона стверджує, що ця перевірка співвідношенням правдоподібностей найпотужніша серед усіх перевірок рівня для цієї задачі.[1]
Remove ads
Визначення (перевірка співвідношенням правдоподібностей для складених гіпотез)
Узагальнити
Перспектива
Нульову гіпотезу часто задають, кажучи, що параметр належить до вказаної підмножини простору параметрів .
Функцією правдоподібності є (де є ФГІ або ФМІ), що є функцією від параметра при , фіксованому на значенні, що фактично спостерігалося, тобто на даних. Стати́стика переві́рки співвідно́шенням правдоподі́бності (англ. likelihood ratio test statistic) це[7]
Через тут позначено функцію супремума.
Перевірка співвідношенням правдоподібностей — це будь-яка перевірка з критичною областю (або областю відхилення) вигляду , де є числом, що задовольняє . Багато поширених статистик критеріїв, як-от Z-критерію, F-критерію, критерію хі-квадрат Пірсона та G-критерію , є критеріями для вкладених моделей, і їх можливо сформулювати як логарифми співвідношень правдоподібностей або їхні наближення.
Інтерпретація
Будучи функцією від даних , співвідношення правдоподібностей є відтак статистикою. Перевірка співвідношенням правдоподібностей відхиляє нульову гіпотезу, якщо значення цієї статистики замале. Наскільки мале є замалим, залежить від рівня значущості перевірки, тобто від того, яку ймовірність помилок першого роду вважають терпимою (помилки першого роду складаються з відхилень нульової гіпотези, коли вона насправді істинна).
Чисельник відповідає максимальній правдоподібності спостережуваного виходу за нульової гіпотези. Знаменник відповідає максимальній правдоподібності спостережуваного виходу при варіюванні параметрів над усім параметричним простором. Чисельник цього співвідношення менший за знаменник. Отже, співвідношення правдоподібностей лежить між 0 та 1. Низькі значення співвідношення правдоподібностей означають, що трапляння спостережуваного результату було менш правдоподібним за нульової гіпотези в порівнянні з альтернативною. Високі значення цієї статистики означають, що трапляння спостережуваного виходу було майже настільки ж правдоподібним за нульової гіпотези, як і за альтернативної, й нульову гіпотезу не можна відкидати.
Розподіл: теорема Уїлкса
Якщо розподіл співвідношення правдоподібностей, що відповідає певним нульовій та альтернативній гіпотезам, можливо визначити явно, то його можливо безпосередньо застосовувати для формування областей рішень (для прийняття/відхилення нульової гіпотези). Проте в більшості випадків точний розподіл співвідношення правдоподібностей, що відповідає певним гіпотезам, визначити дуже складно. Зручний результат, що приписують Семюелові Уїлксу , каже, що з наближенням розміру вибірки до перевірна статистика для вкладених моделей ставатиме асимптотично -розподіленою зі ступенями вільності, що дорівнюють різниці в розмірності та .[3] Це означає, що для великого розмаїття гіпотез виконавець може обчислювати співвідношення правдоподібностей для даних, і порівнювати зі значенням , що відповідає бажаній статистичній значущості, в ролі наближеної статистичної перевірки.
Remove ads
Приклади
Узагальнити
Перспектива
Підкидання монети
Як приклад, у випадку перевірки Пірсона ми могли би спробувати порівняти дві монети, щоби визначити, чи вони мають однакову ймовірність випадіння аверсу. Наші спостереження може бути внесено до таблиці спряженості з рядками, що відповідають монетам, та стовпчиками, що відповідають аверсам (англ. heads) та реверсам (англ. tails). Елементами таблиці спряження будуть кількості разів, яку на монеті цього рядка випав аверс та реверс. Вміст цієї таблиці є нашим спостереженням .
Тут складається з можливих комбінацій значень параметрів , , та , що є ймовірністю того, що монети 1 та 2 впадуть аверсом або реверсом догори. Надалі та . Простір гіпотез обмежується звичайними обмеженнями на розподіл імовірності, та . Простір нульової гіпотези є підпростором, у якому . При позначенні через найкращих значень за гіпотези оцінка максимальної правдоподібності задається як
Аналогічно, оцінки максимальної правдоподібності за нульової гіпотези задаються як
що не залежить від монети .
Гіпотезу та нульову гіпотезу можливо злегка переписати так, щоби вони задовольняли такі обмеження, щоби логарифм співвідношення правдоподібностей мав бажаний гарний розподіл. Оскільки це обмеження спричиняє зведення двовимірної до одновимірної , то асимптотичним розподілом цієї перевірки буде , розподіл з одним ступенем вільності.
Для загального випадку таблиці спряженості статистику співвідношення логарифмічних правдоподібностей можливо переписати як
Remove ads
Примітки
Джерела
Посилання
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads