Логіт

Це стаття про функцію бінарного логіта. Щодо інших типів логіта, див. дискретний вибір(інші мови). Щодо базової регресійної методики, яка використовує функцію логіта, див. логістичну регресію. Щодо стандартних величин, отримуваних множенням, див. логіт (одиниця вимірювання)(інші мови)

Не плутати з логарифмічною ймовірністю.

У статистиці функція ло́гіт (англ. logit, [ˈloʊdʒɪt] LOH-jit, від англ. logistic unit) — це квантильна функція(інші мови), що відповідає стандартному логістичному розподілу. Вона має багато застосувань в аналізі даних та машинному навчанні, особливо в перетвореннях даних.

Графік logit(x) на інтервалі від 0 до 1, де основою логарифму є e.

Математично логіт — це обернення стандартної логістичної функції ${\displaystyle \sigma (x)=1/(1+e^{-x})}$, тому логіт визначають як

${\displaystyle \operatorname {logit} p=\sigma ^{-1}(p)=\ln {\frac {p}{1-p}}\quad }$ для ${\displaystyle \quad p\in (0,1).}$

Через це логіт також називають логарифмі́чними ша́нсами (англ. log-odds), оскільки він дорівнює логарифму шансів ${\displaystyle {\frac {p}{1-p}}}$, де p — це ймовірність. Таким чином, логіт є функцією, що відображує ймовірності з інтервалу ${\displaystyle (0,1)}$ у дійсні числа на інтервалі ${\displaystyle (-\infty ,+\infty )}$,^[1] подібно до функції пробіта.

Визначення

Якщо p — це ймовірність, то p/(1 − p)  — відповідні шанси; logit імовірності — це логарифм шансів, тобто

${\displaystyle \operatorname {logit} (p)=\ln \left({\frac {p}{1-p}}\right)=\ln(p)-\ln(1-p)=-\ln \left({\frac {1}{p}}-1\right)=2\operatorname {atanh} (2p-1).}$

Основа використовуваної функції логарифма не має великого значення в контексті цієї статті, допоки вона більша за 1, але найчастіше використовують натуральний логарифм з основою e. Вибір основи відповідає вибору логарифмічної одиниці(інші мови) для значення: основа 2 відповідає шеннону, основа e — нату, а основа 10 — гартлі; ці одиниці зокрема застосовують в інформаційно-теоретичних інтерпретаціях. Для кожної основи функція логіт набуває значень між від'ємною та додатною нескінченністю.

«Логістичну» функцію будь-якого числа ${\displaystyle \alpha }$ задають як обернення logit:

${\displaystyle \operatorname {logit} ^{-1}(\alpha )=\operatorname {logistic} (\alpha )={\frac {1}{1+\exp(-\alpha )}}={\frac {\exp(\alpha )}{\exp(\alpha )+1}}={\frac {\tanh({\frac {\alpha }{2}})+1}{2}}}$

Різниця між logit'ами двох імовірностей є логарифмом співвідношення шансів (R), що дозволяє спростити запис правильного поєднання співвідношень шансів лише додаванням та відніманням:

${\displaystyle \ln(R)=\ln \left({\frac {p_{1}/(1-p_{1})}{p_{2}/(1-p_{2})}}\right)=\ln \left({\frac {p_{1}}{1-p_{1}}}\right)-\ln \left({\frac {p_{2}}{1-p_{2}}}\right)=\operatorname {logit} (p_{1})-\operatorname {logit} (p_{2})\,.}$

Ряд Тейлора для функції логіта задає наступний вираз:

${\displaystyle \operatorname {logit} (x)=2\sum _{n=0}^{\infty }{\frac {(2x-1)^{2n+1}}{2n+1}}.}$

Історія

Для пристосування методів лінійної регресії до області, де виходом є значення ймовірності ${\displaystyle (0,1)}$, а не будь-яке дійсне число ${\displaystyle (-\infty ,+\infty )}$, розглядали декілька підходів. У багатьох випадках такі зусилля зосереджували на моделюванні цієї задачі шляхом відображення інтервалу ${\displaystyle (0,1)}$ у ${\displaystyle (-\infty ,+\infty )}$, з наступним виконанням лінійної регресії над цими перетвореними значеннями.^[2]

1934 року Честер Іттнер Блісс(інші мови) використав для виконання цього відображення інтегральну функцію нормального розподілу й назвав свою модель пробітом (англ. probit), скороченням від англ. "probability unit" (укр. одиниця ймовірності). Проте це є обчислювально витратнішим.^[2]

1944 року Джозеф Берксон(інші мови) використав логарифм шансів і назвав цю функцію логітом (англ. logit), скороченням від англ. "logistic unit", за аналогією до пробіту:

Я використовую цей термін [логіт] для ${\displaystyle \ln p/q}$ за прикладом Блісса, який назвав аналогічну функцію, лінійну за ${\displaystyle x}$ для нормальної кривої, «пробітом».

Оригінальний текст (англ.)

I use this term [logit] for ${\displaystyle \ln p/q}$ following Bliss, who called the analogous function which is linear on ${\displaystyle x}$ for the normal curve 'probit'.

— Джозеф Берксон (1944)^[3]

Логарифм шансів широко використовував Чарлз Сандерс Пірс (наприкінці XIX століття).^[4] 1949 року Джордж Альфред Барнард(інші мови) запровадив загальновживаний термін логарифмічні шанси (англ. log-odds);^[5][6] логарифмічні шанси події це логіт імовірності цієї події.^[7] Барнард також запропонував термін лоди (англ. lods) як абстрактний вигляд англ. "log-odds",^[8] але зазначив, що «на практиці слід зазвичай використовувати термін „шанси“, оскільки він знаніший у повсякденному житті».^[9]

Використання та властивості

• Логіт у логістичній регресії є окремим випадком функції зв'язку в узагальненій лінійній моделі(інші мови): він є канонічною функцією зв'язку(інші мови) для розподілу Бернуллі.
• В абстрактнішому сенсі логіт є натуральним параметром(інші мови) для біноміального розподілу, див. Експоненційне сімейство § Біноміальний розподіл(інші мови).
• Функція логіта є від'ємною похідною від функції бінарної ентропії(інші мови).
• Логіт також є центральним елементом імовірнісної моделі моделі Раша для вимірювання, яку, серед іншого, застосовують у психологічному та освітньому оцінюванні.
• Обернену до логіта функцію (тобто, логістичну функцію) іноді також називають функцією expit.^[10]
• В епідеміології рослинних захворювань логістична, ґомпертцева та мономолекулярна моделі сукупно відомі як моделі річардсонового сімейства.
• Функцію логарифмічних шансів імовірностей часто використовують в алгоритмах оцінювання стану^[11] через її числові переваги в разі малих імовірностей. Замість множення дуже малих чисел із рухомою комою, для обчислення спільної ймовірності (в логарифмічних шансах) імовірності в логарифмічних шансах можливо просто підсумовувати.^[12][13]

Порівняння з пробітом

Порівняння функції логіта з масштабованим про́бітом (тобто оберненою ІФР нормального розподілу), яке порівнює ${\displaystyle \operatorname {logit} (x)}$ з ${\displaystyle {\tfrac {\Phi ^{-1}(x)}{\,{\sqrt {\pi /8\,}}\,}}}$, що забезпечує однакові нахили в початку координат за y.

Тісно пов'язані з функцією logit (і логітовою моделлю) функція probit і про́бітова модель(інші мови). Як logit, так і probit — це сигмоїдні функції з областю визначення між 0 і 1, що робить їх квантильними функціями(інші мови), тобто оберненими до інтегральних функцій розподілів імовірності (ІФР). Насправді logit є квантильною функцією(інші мови) логістичного розподілу, а probit — квантильною функцією нормального розподілу. Функцію пробіт позначують через ${\displaystyle \Phi ^{-1}(x)}$, де ${\displaystyle \Phi (x)}$ — це ІФР стандартного нормального розподілу:

${\displaystyle \Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-y^{2}/2}dy.}$

Як показано на графіку праворуч, функції logit і probit надзвичайно подібні за умови масштабування функції probit так, щоб її нахил у точці y = 0 відповідав нахилу функції logit. У результаті пробітові моделі(інші мови) іноді використовують замість логітових моделей, оскільки для певних задач (наприклад, у теорії відгуку завдання) їх втілення простіше.^[14]

Див. також

• Сигмоїдна функція — обернена до логіта
• Дискретний вибір(інші мови): бінарний логіт, багатозначний логіт, умовний логіт, вкладений логіт, змішаний логіт, розгорнутий логіт, порядковий логіт
• Обмежена залежна змінна(інші мови)
• Логітовий аналіз у маркетингу(інші мови)
• Багатозначний логіт(інші мови)
• S-подібна крива(інші мови), має схожу форму
• Перцептрон
• Пробіт — інша функція з тими же областями визначення та значень, що й логіт
• Рідітне оцінювання(інші мови)
• Перетворення даних (статистика)
• Арксинус (перетворення)
• Модель Раша