Хибна кореляція

Хибна (уявна) кореляція (англ. spurious relationship) — це взаємозалежність (узгодженість або відповідність) між двома змінними, в основі якої лежить випадковість, а не причиново-наслідковий зв'язок.

Співвідношення кількості лелек та людської народжуваності: приклад хибної кореляції

Термін викликає непорозуміння, оскільки йдеться власне про уявну причинність. Проте існує не лише уявна, але й фактична кореляція (про розмежування цих понять див.: Кореляція та причиново-наслідковий зв'язок). У будь-якому випадку кореляція — це статистичне поняття, яке не передбачає причинно-наслідкового зв'язку.

Хибна кореляція розглядається у філософії як статистичний відповідник логічній хибі (Cum hoc ergo propter hoc).

Вона виникає, наприклад, під впливом прихованих змінних. Явище уявної кореляції було відоме ще з початку дослідження статистики, а сам термін «spurious correlation» був введений у 1954 році Гербертом А. Саймоном.

Приклад хибної кореляції

Відомим прикладом хибної кореляції є залежність між людською народжуваністю та кількістю пар лелек у різних регіонах Європи^[1]. Хоча між цими двома величинами існує відповідність (тобто чим більше лелек гніздиться біля оселі, тим більше дітей з'являється на світ), проте немає певного причинно-наслідкового зв'язку (хибний висновок, що дітей приносить лелека). Кореляція між новонародженими та парами птахів пояснюється через той факт, що зазвичай лелеки селяться в сільській місцевості, де переважають багатодітні сім'ї. Цей приклад хибної кореляції навів Єжи Нейман (1952)^[2]. Позначивши кількість жінок змінною ${\displaystyle X}$, народжених дітей ${\displaystyle Y}$, лелек ${\displaystyle Z}$, можна розрахувати значення величин за формулами: ${\displaystyle r_{1}=Y/X}$ і ${\displaystyle r_{2}=Z/X}$. Далі слід намалювати незалежно розподілені вибірки випадкових змінних і співвіднести показники ${\displaystyle r_{1}}$ і ${\displaystyle r_{2}}$, після чого отримуємо хибну кореляцію через спільний знаменник.

В історії траплялись випадки, коли хибні кореляції використовувались зловмисницьки. Наприклад, відомо, що статистик Дарелл Хафф, який отримував фінансування від тютюнових компаній, використовував явище хибної кореляції для висміювання зв'язку між цигарками та хворобами. 22 березня 1965 року Хафф дав свідчення на слуханнях Конгресу США з маркування та реклами цигарок, у яких він звинуватив головного лікаря в допущенні у медичному звіті багатьох «помилок» та «хиб». Свої нападки Хафф доповнював кумедними ремарками та висміював помилкові кореляції, і однією з них була згадана вище кореляція між кількістю лелек та дітей. Його слова мали ефект, на який Хафф розраховував. Сенатор Нойбергер, який модерував слухання, був приголомшений зауваженнями Хаффа:

Ви дійсно думаєте, що між палінням та хворобою існує такий же самий випадковий зв'язок, як і зв'язок стосовно лелек…?^[3]

Хибна (уявна) регресія

Хибна (уявна) регресія — це окремий випадок регресії, в якому можна визначити статистично значущий зв'язок між змінною ${\displaystyle Y_{t}}$ та ${\displaystyle X_{t}}$, який не можна логічно обґрунтувати. Такі явища зумовлені спільною тенденцією у релевантних змінних. Ознакою уявної регресії є високий коефіцієнт детермінації ${\displaystyle R^{2}}$ і майже нульовий коефіцієнт Дарбіна — Уотсона (висока позитивна автокореляція першого порядку). Крім того, докази хибної регресії надає тест Дікі-Фуллера, визначаючи часовий ряд як нестаціонарний.

Лінія регресії між двома незалежними AR (1)-процесами з коренем з одиниці, включаючи ${\displaystyle t}$-статистику.

Див. також

• Великі дані
• Cum hoc ergo propter ho