Важіль (статистика)

У статистиці та, зокрема, у регресійному аналізі важіль — це міра віддаленості значень незалежної змінної спостереження від значень інших спостережень.

Точки із великими значеннями важелів — крайні спостереження або викиди незалежної змінної, тобто такі точки, що нестача сусідніх спостережень спричинить проходження побудованої регресійної моделі дуже близько до даної точки^[1].

Сучасні пакети для статистичного аналізу включають до своїх властивостей різні кількісні міри виявлення впливових спостережень при проведенні регресійного аналізу; серед цих мір є частинний важіль, кількісна характеристика внеску змінної до важелів даних.

Лінійна регресійна модель

Означення

У лінійній регресійній моделі, оцінка важеля i-го спостереження визначається як:

${\displaystyle h_{ii}=\left[\mathbf {H} \right]_{ii},}$

де i-й діагональний елемент проєкційної матриці ${\displaystyle \mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}}$,

де ${\displaystyle \mathbf {X} }$ — матриця регресорів із одиничним стовпчиком на початку.

Якщо в матриці тільки 2 стовпці, то: ${\displaystyle h_{ii}={\frac {1}{n}}{\frac {\sum _{j}(x_{j}-x_{i})^{2}}{\sum _{j}(x_{j}-{\overline {x}})^{2}}}={\frac {1}{n}}+{\frac {(x_{i}-{\overline {x}})^{2}}{\sum _{j}(x_{j}-{\overline {x}})^{2}}}}$

Оцінка важеля також відома як самочутливість спостереження або самовпливовість^[2], як видно з

${\displaystyle h_{ii}={\frac {\partial {\hat {y}}_{i}}{\partial y_{i}}},}$

де ${\displaystyle {\hat {y}}_{i}}$ та ${\displaystyle {y}_{i}}$ — прогноз відгуку та відгук спостереження відповідно.

Межі важеля

${\displaystyle 0\leq h_{ii}\leq 1.}$

Доведення

Відмітимо, що матриця H — ідемпотентна: ${\displaystyle H^{2}=X(X^{\top }X)^{-1}X^{\top }X(X^{\top }X)^{-1}X^{\top }=XI(X^{\top }X)^{-1}X^{\top }=H}$, а також симетрична.

Тоді, прирівнюючи елементи ii матриці H до елементів ii матриці ${\displaystyle H^{2}}$, отримаємо

${\displaystyle h_{ii}=h_{ii}^{2}+\sum _{j\neq i}h_{ij}^{2}\geq 0}$

та

${\displaystyle h_{ii}\geq h_{ii}^{2}\implies h_{ii}\leq 1.}$

Вплив на дисперсію залишків

Якщо використовувати звичайний метод найменших квадратів із фіксованою матрицею X, регресійними похибками ${\displaystyle \epsilon _{i}}$, та

${\displaystyle Y=X\beta +\epsilon }$

${\displaystyle \operatorname {Var} (\epsilon )=\sigma ^{2}I}$

тоді ${\displaystyle \operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}}$ де ${\displaystyle e_{i}=Y_{i}-{\hat {Y}}_{i}}$ (i-й залишок регресії).

Іншими словами, якщо похибки моделі є гомоскедастичними, то оцінка важеля спостереження визначає ступінь шуму в помилковому передбаченні моделі.

Зауважимо, що ${\displaystyle I-H}$ — ідемпотентна та симетрична матриця. Із цього випливає, що

${\displaystyle \operatorname {Var} (e)=\operatorname {Var} ((I-H)Y)=(I-H)\operatorname {Var} (Y)(I-H)^{\top }=\sigma ^{2}(I-H)^{2}=\sigma ^{2}(I-H).}$

Таким чином ${\displaystyle \operatorname {Var} (e_{i})=(1-h_{ii})\sigma ^{2}.}$

Залишок Стьюдента

Відповідні стьюдентизовані залишки — залишки, скореговані спостереженнями — особлива дисперсія залишків має наступний вигляд:

${\displaystyle t_{i}={e_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}}$

де ${\displaystyle {\widehat {\sigma }}}$ — відповідна оцінка дисперсії ${\displaystyle \sigma .}$

Див. також

• Проекційна матриця — діагональні елементи головної діагоналі якої важелями спостережень
• Відстань Махаланобіса — міра важелів даних
• Відстань Кука — міра змін коефіцієнтів регресійної моделі у разі видалення спостереження