Коваріаційна матриця

Коваріаційна матриця (або коваріаційна таблиця) в теорії ймовірностей — це квадратна матриця, яка складена з попарних коваріацій і дисперсій двох або більше випадкових величин.

Двовимірна ґаусова функція густини ймовірності з центром в (0, 0) та коваріаційною матрицею [ 1.00, 0.50 ; 0.50, 1.00 ].

Точки вибірки з багатовимірного нормального розподілу зі стандартним відхиленням 3 у приблизно ліво-верхньому прямому напрямку та 1 у перпендикулярному напрямку. Оскільки складові x та y мають коваріацію, дисперсії x та y описують цей розподіл не повністю. Необхідна коваріаційна матриця 2×2; напрямки стрілок відповідають власним векторам цієї матриці коваріації, а їхні довжини — квадратним кореням власних значень.

Визначення

• нехай ${\displaystyle \mathbf {X}$ :\Omega \to \mathbb {R} ^{n}} , ${\displaystyle \mathbf {Y}$ :\Omega \to \mathbb {R} ^{m}}  — два випадкових вектора розмірності ${\displaystyle n}$ і ${\displaystyle m}$ відповідно. Нехай також випадкові величини ${\displaystyle X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m}$ мають скінченний другий момент, тобто ${\displaystyle X_{i},Y_{j}\in L^{2}}$. Тоді матрицею коваріації ${\displaystyle \mathbf {X} ,\mathbf {Y} }$ називається

${\displaystyle \Sigma =\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbb {E} \left[(\mathbf {X} -\mathbb {E} \mathbf {X} )(\mathbf {Y} -\mathbb {E} \mathbf {Y} )^{\top }\right],}$

тобто

${\displaystyle \Sigma =(\sigma _{ij})}$,

де

${\displaystyle \sigma _{ij}=\mathrm {cov} (X_{i},Y_{j})\equiv \mathbb {E} \left[(X_{i}-\mathbb {E} X_{i})(Y_{j}-\mathbb {E} Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m}$,

${\displaystyle \mathbb {E} }$ — Математичне сподівання.

• Якщо ${\displaystyle \mathbf {X} \equiv \mathbf {Y} }$, то ${\displaystyle \Sigma }$ називається матрицею коваріації вектора ${\displaystyle \mathbf {X} }$ і позначається ${\displaystyle \mathrm {cov} (\mathbf {X} )}$. Така матриця коваріацій є узагальненням дисперсії для багатовимірної випадкової величини, а її слід — скалярним виразом дисперсії багатовимірної випадкової величини. Власні вектори і власні значення цієї матриці дозволяють оцінити розміри і форму хмари розподілу випадкової величини, апроксимувавши її еліпсоїдом (або еліпсом у двовимірному випадку) .

Зауваження

• Цей термін має також інші значення. Наприклад, матрицею коваріації називається матриця, складена з попарних коваріацій різних елементів одного випадкового вектора.

Властивості

• Скорочена формула для обчислення матриці коваріації:

${\displaystyle \mathrm {cov} (\mathbf {X} )=\mathbb {E} \left[\mathbf {X} \mathbf {X} ^{\top }\right]-\mathbb {E} [\mathbf {X} ]\cdot \mathbb {E} \left[\mathbf {X} ^{\top }\right]}$.

• Матриця коваріації випадкового вектора невід'ємно визначена:

${\displaystyle \mathrm {cov} (\mathbf {X} )\geq 0}$.

• Зміна масштабу:

${\displaystyle \mathrm {cov} \left(\mathbf {a} ^{\top }\mathbf {X} \right)=\mathbf {a} ^{\top }\mathrm {cov} (\mathbf {X} )\mathbf {a} ,\;\forall \mathbf {a} \in \mathbb {R} ^{n}}$.

• Якщо випадкові вектори ${\displaystyle \mathbf {X} }$ і ${\displaystyle \mathbf {Y} }$ некорельовані (${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$), то

${\displaystyle \mathrm {cov} (\mathbf {X} +\mathbf {Y} )=\mathrm {cov} (\mathbf {X} )+\mathrm {cov} (\mathbf {Y} )}$.

• Матриця коваріації афінного перетворення:

${\displaystyle \mathrm {cov} \left(\mathbf {A} \mathbf {X} +\mathbf {b} \right)=\mathbf {A} \mathrm {cov} (\mathbf {X} )\mathbf {A} ^{\top }}$,

де ${\displaystyle \mathbf {A} }$ — довільна матриця розмірності ${\displaystyle n\times n}$, а ${\displaystyle \mathbf {b} \in \mathbb {R} ^{n}}$.

• Перестановка аргументів:

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathrm {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }}$

• Матриця коваріації адитивна за кожним аргументом:

${\displaystyle \mathrm {cov} (\mathbf {X} _{1}+\mathbf {X} _{2},\mathbf {Y} )=\mathrm {cov} (\mathbf {X} _{1},\mathbf {Y} )+\mathrm {cov} (\mathbf {X} _{2},\mathbf {Y} )}$,

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1}+\mathbf {Y} _{2})=\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1})+\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{2})}$.

• Якщо ${\displaystyle \mathbf {X} }$ і ${\displaystyle \mathbf {Y} }$ незалежні, то

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$.

Джерела

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
• Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)