Баєсів інформаційний критерій

У статистиці, ба́єсів інформаці́йний крите́рій (БІК, англ. bayesian information criterion, BIC), або крите́рій Шва́рца (англ. Schwarz criterion, також англ. SBC, SBIC) — статистичний критерій для обирання моделі серед скінченної множини моделей; найприйнятнішою є модель із найнижчим БІК. Він ґрунтується, зокрема, на функції правдоподібності, і тісно пов'язаний з інформаційним критерієм Акаіке (ІКА).

При допасовуванні моделей можливо підвищувати правдоподібність шляхом додавання параметрів, але це може призводити до перенавчання. Як БІК, так і ІКА намагаються розв'язувати цю проблему введенням члена штрафу для числа параметрів у моделі; член штрафу в БІК є більшим, ніж в ІКА.

БІК було розроблено Ґідеоном Шварцем, і опубліковано в праці 1978 року,^[1] в якій він навів баєсове обґрунтування його застосування.

Визначення

БІК формально визначається як^[2]

${\displaystyle \mathrm {BIC} ={\ln(n)k-2\ln({\hat {L}})}.\ }$

де

• ${\displaystyle {\hat {L}}}$ = максимізоване значення функції правдоподібності моделі ${\displaystyle M}$, тобто, ${\displaystyle {\hat {L}}=p(x|{\hat {\theta }},M)}$, де ${\displaystyle {\hat {\theta }}}$ є значеннями параметрів, які максимізують функцію правдоподібності;
• ${\displaystyle x}$ = спостережувані дані;
• ${\displaystyle n}$ = число точок даних в ${\displaystyle x}$, число спостережень, або, рівнозначно, розмір вибірки;
• ${\displaystyle k}$ = число вільних параметрів, які належить оцінити. Якщо модель, що розглядають, є лінійною регресією, то ${\displaystyle k}$ є числом регресорів, включно з відтином;

БІК є асимптотичним результатом, виведеним за припущення, що розподіл даних належить до експоненційного сімейства^[en]. Тобто, інтеграл функції правдоподібності ${\displaystyle p(x|\theta ,M)}$, помножений на апріорний розподіл ймовірності ${\displaystyle p(\theta |M)}$ над параметрами ${\displaystyle \theta }$ моделі ${\displaystyle M}$, для незмінних спостережених даних ${\displaystyle x}$ наближується як

${\displaystyle {-2\cdot \ln {p(x|M)}}\approx \mathrm {BIC} ={-2\cdot \ln {\hat {L}}+k\cdot (\ln(n)-\ln(2\pi ))}.\ }$

Для великих ${\displaystyle n}$ це може бути наближено наведеною вище формулою. БІК використовують в задачах обирання моделі, що в них додавання сталої до БІК не змінює результату.

Властивості

• Він не залежить від апріорного, або апріорне є «невизначеним» (сталою).
• Він може вимірювати ефективність параметризованої моделі в термінах передбачування даних.
• Він штрафує складність моделі, де складність позначає кількість параметрів моделі.
• Він наближено дорівнює критерієві мінімальної довжини опису, але з протилежним знаком.
• Його можна застосовувати для обирання числа кластерів відповідно до внутрішньої складності, присутньої в певному наборі даних.
• Він тісно пов'язаний з іншими критеріями штрафованої правдоподібності, такими як RIC^{[прояснити: ком.]} та інформаційний критерій Акаіке.

Обмеження

Критерій БІК страждає на два головні обмеження^[3]

1. наведене вище наближення чинне лише для розміру вибірки ${\displaystyle n}$, який є набагато більшим за число параметрів моделі ${\displaystyle k}$.
2. БІК не може обробляти складні зібрання моделей, як у задачі обирання змінних (або обирання ознак) за високої розмірності.^[3]

Гаусів особливий випадок

За припущення, що похибки або збурення моделі є незалежними та однаково розподіленими згідно нормального розподілу, і граничної умови, що похідна логарифмічної правдоподібності щодо істинної дисперсії є нульовою, це перетворюється (з точністю до адитивної сталої, яка залежить від n, але не від моделі) на^[4]

${\displaystyle \mathrm {BIC} =n\cdot \ln({\widehat {\sigma _{e}^{2}}})+k\cdot \ln(n)\ }$

де ${\displaystyle {\widehat {\sigma _{e}^{2}}}}$ є дисперсією похибки. Дисперсію похибки в цьому випадку визначають як

${\displaystyle {\widehat {\sigma _{e}^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\hat {x_{i}}})^{2}}$

що є зсунутою оцінкою істинної дисперсії.

В термінах залишкової суми квадратів^[en] БІК є

${\displaystyle \mathrm {BIC} =n\cdot \ln(RSS/n)+k\cdot \ln(n)\ }$

При перевірці декількох лінійних моделей відносно насиченої моделі БІК може бути переписано в термінах девіантності^[en] ${\displaystyle \chi ^{2}}$ як^[5]

${\displaystyle \mathrm {BIC} =\chi ^{2}+k\cdot \ln(n)}$

де ${\displaystyle k}$ є числом параметрів моделі в перевірці.

При обиранні з декількох моделей найприйнятнішою є модель із найнижчим БІК. БІК є висхідною функцією дисперсії похибки ${\displaystyle \sigma _{e}^{2}}$, і висхідною функцією k. Тобто, незрозуміла дисперсія в залежній змінній та число описових змінних збільшують значення БІК. Отже, нижчий БІК означає або меншу кількість описових змінних, або кращу допасованість, або обидві. Силу свідчення проти моделі з вищим БІК може бути узагальнено наступним чином:^[5]

ΔБІК	Свідчення проти вищого БІК
0 to 2	Не варте більше ніж просто згадування
2 to 6	Позитивне
6 to 10	Сильне
>10	Дуже сильне

БІК зазвичай штрафує вільні параметри сильніше за Інформаційний критерій Акаіке, хоча це залежить від розміру n і відносної величини n і k.

Важливо мати на увазі, що БІК можна застосовувати для порівняння оцінюваних моделей лише якщо числові значення залежної змінної є однаковими для всіх порівнюваних оцінок. Порівнюваним моделям не потрібно бути вкладеними, на відміну від випадку, коли моделі порівнюють із застосуванням критерію Фішера або перевірки співвідношенням правдоподібностей.

Див. також

• Інформаційний критерій Акаіке
• Баєсове порівняння моделей
• Інформаційний критерій девіантності^[en]
• Інформаційний критерій Геннена — Куїнна^[en]
• Відстань Єнсена — Шеннона^[en]
• Відстань Кульбака — Лейблера
• Мінімальна довжина повідомлення
• Обирання моделі