Пробіт

У теорії ймовірностей та статистиці про́біт (англ. probit, від англ. probability unit) — це квантильна функція(інші мови), що відповідає стандартному нормальному розподілу. Її застосовують в аналізі даних і машинному навчанні, зокрема у розвідувальних статистичних графіках та спеціалізованому регресійному моделюванні бінарних змінних відгуку(інші мови).

Див. також: Про́бітова модель(інші мови)

Графік функції пробіта

Математично пробіт — це обернення інтегральної функції стандартного нормального розподілу, яку позначують через ${\displaystyle \Phi (z)}$, отже пробіт визначають як

${\displaystyle \operatorname {probit} (p)=\Phi ^{-1}(p)\quad }$ для ${\displaystyle \quad p\in (0,1)}$.

Значною мірою завдяки центральній граничній теоремі, стандартний нормальний розподіл відіграє фундаментальну роль у теорії ймовірностей та статистиці. Якщо врахувати загальновідомий факт, що стандартний нормальний розподіл зосереджує 95 % імовірності між −1.96 і 1.96 і є симетричним відносно нуля, виходить, що

${\displaystyle \Phi (-1.96)=0.025=1-\Phi (1.96).\,\!}$

Функція пробіта виконує «обернене» обчислення, повертаючи значення стандартної нормально розподіленої випадкової величини для заданої інтегральної ймовірності. Продовжуючи приклад,

${\displaystyle \operatorname {probit} (0.025)=-1.96=-\operatorname {probit} (0.975)}$.

Загалом:

${\displaystyle \Phi (\operatorname {probit} (p))=p}$

і

${\displaystyle \operatorname {probit} (\Phi (z))=z.}$

Розвиток концепції

Ідею функції пробіта опублікував 1934 року Честер Іттнер Блісс(інші мови) у журналі Science у статті про обробку таких даних як відсоток шкідників, знищених пестицидом.^[1] Блісс запропонував перетворювати відсоток знищених у англ. "probability unit" (або англ. "probit", «пробіт»), лінійно пов'язаний із сучасним визначенням (він визначив його довільно, як рівний 0 для 0.0001 і 1 для 0.9999):^[2]

Ці довільні одиниці ймовірності названо «пробітами» ...

Оригінальний текст (англ.)

These arbitrary probability units have been termed "probits" ...

Він додав таблицю для допомоги іншим дослідникам у перетворенні їхніх відсотків знищених у пробіти, які потім можливо було би відкласти навпроти логарифма дози і, як сподівалися, отримати більш-менш пряму лінію. Така так звана пробітова модель(інші мови) і досі є важливою в токсикології, а також в інших галузях. Цей підхід особливо виправданий, якщо дисперсію відгуку можливо пояснити логнормальним розподілом толерантності серед досліджуваних об'єктів, де толерантність конкретного об'єкта — це доза, достатня для отримання потрібного ефекту.

Метод, запропонований Бліссом, було розвинуто далі в книзі Probit Analysis, важливому тексті з токсикологічних застосувань авторства Д. Дж. Фінні(інші мови).^[3][4] Табличні значення, наведені Фінні, можливо отримати з пробітів, як їх визначено тут, додаванням 5. Цю відмінність підсумовує Коллетт (с. 55):^[5] «Початкове визначення пробіта [з доданою 5] було створено насамперед для уникнення роботи з від'ємними пробітами; … Це визначення все ще використовують у деяких колах, але в основних статистичних програмних пакунках для так званого про́бітового ана́лізу (англ. probit analysis) пробіти визначають без додавання 5.» Методологію пробітів, включно з чисельною оптимізацією для наближення функції пробіта, запровадили ще до широкого поширення електронних обчислень. При використанні таблиць було зручно мати завжди додатні пробіти. Звичні галузі застосування не вимагають додатних пробітів.

Діагностування відхилення розподілу від нормальності

Докладніше: Графік Q-Q

Окрім того, що вона є основою для важливих типів регресії, функція пробіта корисна в статистичному аналізі для діагностування відхилень від нормального розподілу за допомогою методу графіка Q-Q. Якщо набір даних насправді є вибіркою з нормального розподілу, графік цих значень, відкладених проти відповідних оцінок пробітів, буде приблизно лінійним. Конкретні відхилення від нормальності, як-от асиметрію, важкі хвости чи двомодовість, можливо діагностувати на основі виявляння характерних відхилень від лінійності. Хоча графік Q-Q можливо використовувати для порівняння з будь-яким типом розподілу (не лише нормальним), нормальний графік Q-Q є відносно стандартною процедурою розвідувального аналізу даних, оскільки припущення нормальності часто є відправною точкою аналізу.

Обчислення

ІФР нормального розподілу та її обернена функція не мають замкненого вигляду, тому їх обчислення вимагає обережного застосування чисельних методів. Водночас, ці функції широко доступні в програмному забезпеченні для статистики та ймовірнісного моделювання, а також у табличних редакторах. Наприклад, у Microsoft Excel функція пробіта доступна як norm.s.inv(p). В обчислювальних середовищах, де доступні чисельні втілення оберненої функції похибки, функцію пробіта можливо отримати так:

${\displaystyle \operatorname {probit} (p)={\sqrt {2}}\,\operatorname {erf} ^{-1}(2p-1).}$

Одним з прикладів є MATLAB, де доступна функція erfinv. Мова Mathematica втілює InverseErf. Інші середовища безпосередньо втілюють функцію пробіта, як показано в наступному сеансі мови програмування R:

> qnorm(0.025)
[1] -1.959964
> pnorm(-1.96)
[1] 0.02499790

Докладну інформацію щодо обчислення оберненої функції похибки можливо знайти в . Вічура пропонує швидкий алгоритм для обчислення функції пробіта з точністю до 16 знаків після коми; саме його втілено в R для породжування випадкових величин для нормального розподілу.^[6]

Звичайне диференціальне рівняння для функції пробіта

Інший підхід до обчислення ґрунтується на формуванні нелінійного звичайного диференціального рівняння (ЗДР) для пробіта за методом Штайнбрехера і Шоу.^[7] Якщо позначити функцію пробіта через ${\displaystyle w(p)}$, то це ЗДР:

${\displaystyle {\frac {dw}{dp}}={\frac {1}{f(w)}}}$

де ${\displaystyle f(w)}$ — функція густини ймовірності w.

У випадку гауссового розподілу:

${\displaystyle {\frac {dw}{dp}}={\sqrt {2\pi }}\ e^{\frac {w^{2}}{2}}}$

Диференціюємо ще раз:

${\displaystyle {\frac {d^{2}w}{dp^{2}}}=w\left({\frac {dw}{dp}}\right)^{2}}$

із початковими умовами

${\displaystyle w\left(1/2\right)=0,}$

${\displaystyle w'\left(1/2\right)={\sqrt {2\pi }}.}$

Це рівняння можна розв'язати кількома методами, включно з класичним підходом степеневого ряду. Відтак можна побудувати розв'язки довільно високої точності на основі підходу Штайнбрехера до цього ряду для оберненої функції похибки. Розв'язок у вигляді степеневого ряду задається як

${\displaystyle w(p)={\sqrt {\frac {\pi }{2}}}\sum _{k=0}^{\infty }{\frac {d_{k}}{(2k+1)}}(2p-1)^{(2k+1)}}$

де коефіцієнти ${\displaystyle d_{k}}$ задовольняють нелінійне рекурентне співвідношення

${\displaystyle d_{k+1}={\frac {\pi }{4}}\sum _{j=0}^{k}{\frac {d_{j}d_{k-j}}{(j+1)(2j+1)}}}$

при ${\displaystyle d_{0}=1}$. У такому вигляді ${\displaystyle d_{k+1}/d_{k}\rightarrow 1}$ при ${\displaystyle k\rightarrow \infty }$.

Логіт

Порівняння функції логіта з масштабованим пробітом (тобто оберненою ІФР нормального розподілу), яке порівнює ${\displaystyle \operatorname {logit} (x)}$ з ${\displaystyle \Phi ^{-1}(x)/{\sqrt {\frac {\pi }{8}}}}$, що забезпечує нахили похідні в початку координат.

Див. також: Логіт

Тісно пов'язані з функцією пробіта (та пробітовою моделлю(інші мови)) — функція логіта й логітова модель. Обернення логістичної функції задається як

${\displaystyle \operatorname {logit} (p)=\log \left({\frac {p}{1-p}}\right).}$

Аналогічно пробітовій моделі, можна припустити, що така величина лінійно пов'язана з набором предикторів, що дає в результаті логітову модель, яка, зокрема, лежить в основі логістичної регресії — найпоширенішої форми регресійного аналізу для категорійних даних відгуку. У сучасній статистичній практиці пробітові та логітові моделі регресії часто розглядають як випадки узагальненої лінійної моделі(інші мови).

Див. також

• Графіки компромісу помилок виявлення(інші мови) (англ. detection error tradeoff, DET, альтернатива графікам РХП)
• Логістична регресія (відома також як логітова модель)
• Логіт
• Пробітова модель(інші мови)
• Багатозначний пробіт(інші мови)
• Графік Q-Q
• Неперервна функція
• Монотонна функція
• Квантильна функція(інші мови)
• Сигмоїдна функція
• Рангітовий(інші мови) аналіз, також розроблений Честером Бліссом
• Рідітне оцінювання(інші мови)