Логістична регресія

Логістична регресія (англ. logistic regression) або лоґіт-регресія (англ. logit model^[1]) — статистичний регресійний метод, що застосовують у випадку, коли залежна змінна є бінарною^[en], тобто може набувати тільки двох значень (0 або 1). При запровадженні порогового значення може знаходити застосування у класифікуванні.

Приклади

Прикладом може слугувати класифікація електронних листів на «спам» або «не спам». Метод також використовується у медицині, наприклад, для визначення чи є пухлина злоякісною, чи доброякісною.

Визначення логістичної моделі

Нехай є деяка випадкова величина ${\displaystyle Y,\,}$ що може набувати лише двох значень, які, як правило, позначаються цифрами 0 і 1. Нехай ця величина залежить від деякої множини пояснювальних змінних ${\displaystyle x=(1,x_{1},\ldots ,x_{n})^{T}.}$ Залежність ${\displaystyle Y,\,}$ від ${\displaystyle x_{1},\ldots ,x_{n}.}$ можна визначити ввівши додаткову змінну y*, де ${\displaystyle y^{*}=\theta ^{T}x=\theta _{0}+\theta _{1}x_{1}+\ldots +\theta _{n}x_{n}+\varepsilon .}$ Тоді:

${\displaystyle Y={\begin{cases}0,&y^{*}\leqslant 0\\1,&y^{*}>0\end{cases}}}$

При визначенні логістичної моделі стохастичний доданок ${\displaystyle \varepsilon }$ вважається випадковою величиною з логістичним розподілом ймовірностей. Відповідно для певних конкретних значень змінних ${\displaystyle x^{*}=x_{1}^{*},\ldots ,x_{n}^{*}}$ одержується відповідне значення ${\displaystyle y^{*}}$ і ймовірність того, що ${\displaystyle Y=1,}$ така:

${\displaystyle p(Y=1)=p(y^{*}>0)=p(\theta ^{T}x^{*}+\varepsilon >0)=p(\varepsilon >-\theta ^{T}x^{*})=p(\varepsilon \leqslant \theta ^{T}x^{*})=\Lambda (\theta ^{T}x^{*}).}$

Передостання рівність випливає з симетричності логістичного розподілу, ${\displaystyle \Lambda }$ позначає логістичну функцію — функцію розподілу логістичного розподілу:

${\displaystyle \Lambda (x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}}$

Таким чином для конкретного значення ${\displaystyle x^{i}}$ випадкова величина ${\displaystyle Y^{i},\,}$ має розподіл Бернуллі: ${\displaystyle Y^{i}\ \sim B(1,\Lambda (\theta ^{T}x^{i})).}$

Логіт-модель задовольняє наступній умові:

${\displaystyle \ln {\frac {p(1|X)}{1-p(1|X)}}=\ln {\frac {p(1|X)}{p(0|X)}}=b_{0}+b_{1}x_{1}+...+b_{J}x_{J}}$

Оцінка параметрів

Оцінка параметрів ${\displaystyle \theta _{0},\theta _{1},...,\theta _{n}}$ на основі деякої вибірки ${\displaystyle (x^{(1)},Y^{(1)}),...,(x^{(m)},Y^{(m)})}$, де ${\displaystyle x^{(i)}\in \mathbb {R} ^{n}}$ — вектор значень незалежних змінних, а ${\displaystyle Y^{(i)}\in \{0,1\}}$ — відповідне їм значення ${\displaystyle Y,}$ як правило здійснюється за допомогою методу максимальної правдоподібності, згідно з яким вибираються параметри ${\displaystyle \theta }$, що максимізують значення функції правдоподібності на вибірці:

${\displaystyle {\hat {\theta }}={\mbox{argmax}}_{\theta }L(\theta )={\mbox{argmax}}_{\theta }\prod _{i=1}^{m}\Pr\{Y=Y^{(i)}|x=x^{(i)}\}.}$

Максимізація функції правдоподібності еквівалентна максимізації її логарифма:

${\displaystyle \log L(\theta )=\sum _{i=1}^{m}\log \Pr\{Y=Y^{(i)}|x=x^{(i)}\}=\sum _{i=1}^{m}Y^{(i)}\log \Lambda (\theta ^{T}x^{(i)})+(1-Y^{(i)})\log(1-\Lambda (\theta ^{T}x^{(i)})).}$

Для максимізації цієї функції може бути застосований, наприклад, метод градієнтного спуску, метод Ньютона чи стохастичний градієнтний спуск.