Ковариационная матрица

Ковариацио́нная ма́трица (или ма́трица ковариа́ций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов.

Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами.

Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов — многомерный аналог ковариации между двумя случайными величинами.

В случае нормально распределённого случайного вектора ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределённой случайной величины полностью определяют её распределение)

Определения

• Пусть ${\displaystyle \mathbf {X}$ :\Omega \to \mathbb {R} ^{n}} , ${\displaystyle \mathbf {Y}$ :\Omega \to \mathbb {R} ^{m}}  — два случайных вектора размерности ${\displaystyle n}$ и ${\displaystyle m}$ соответственно. Пусть также случайные величины ${\displaystyle X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m}$ имеют конечный второй момент (дисперсию), то есть ${\displaystyle X_{i},Y_{j}\in L^{2}}$. Тогда матрицей ковариации векторов ${\displaystyle \mathbf {X} ,\mathbf {Y} }$ называется

${\displaystyle \Sigma =\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbb {E} \left[(\mathbf {X} -\mathbb {E} \mathbf {X} )(\mathbf {Y} -\mathbb {E} \mathbf {Y} )^{\top }\right],}$

то есть

${\displaystyle \Sigma =(\sigma _{ij}^{2})}$,

где

${\displaystyle \sigma _{ij}^{2}=\mathrm {cov} (X_{i},Y_{j})\equiv \mathbb {E} \left[(X_{i}-\mathbb {E} X_{i})(Y_{j}-\mathbb {E} Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m}$,

${\displaystyle \mathbb {E} }$ — математическое ожидание.

• Если ${\displaystyle \mathbf {X} \equiv \mathbf {Y} }$, то ${\displaystyle \Sigma }$ называется матрицей ковариации вектора ${\displaystyle \mathbf {X} }$ и обозначается ${\displaystyle \mathrm {cov} (\mathbf {X} )}$^[1]. Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а её след — скалярным выражением дисперсии многомерной случайной величины. В связи с этим используется также обозначение ${\displaystyle V(X)}$ — дисперсия случайного вектора. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае).

Свойства матриц ковариации

• Сокращённая формула для вычисления матрицы ковариации:

${\displaystyle \mathrm {cov} (\mathbf {X} )=\mathbb {E} \left[\mathbf {X} \mathbf {X} ^{\top }\right]-\mathbb {E} [\mathbf {X} ]\cdot \mathbb {E} \left[\mathbf {X} ^{\top }\right]}$.

• Матрица ковариации случайного вектора неотрицательно определена^[1]:

${\displaystyle \sum _{i,j=1}^{n}{\sigma _{ij}^{2}\lambda _{i}\lambda _{j}}\geq 0}$ для любых ${\displaystyle \lambda _{i}\in R}$.

• Смена масштаба:

${\displaystyle \mathrm {cov} \left(\mathbf {a} ^{\top }\mathbf {X} \right)=\mathbf {a} ^{\top }\mathrm {cov} (\mathbf {X} )\mathbf {a} ,\;\forall \mathbf {a} \in \mathbb {R} ^{n}}$.

• Если случайные векторы ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ некоррелированы (${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$), то

${\displaystyle \mathrm {cov} (\mathbf {X} +\mathbf {Y} )=\mathrm {cov} (\mathbf {X} )+\mathrm {cov} (\mathbf {Y} )}$.

• Матрица ковариации аффинного преобразования:

${\displaystyle \mathrm {cov} \left(\mathbf {A} \mathbf {X} +\mathbf {b} \right)=\mathbf {A} \mathrm {cov} (\mathbf {X} )\mathbf {A} ^{\top }}$,

где ${\displaystyle \mathbf {A} }$ — произвольная матрица размера ${\displaystyle n\times n}$, а ${\displaystyle \mathbf {b} \in \mathbb {R} ^{n}}$.

• Перестановка аргументов:

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathrm {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }}$

• Матрица ковариации аддитивна по каждому аргументу:

${\displaystyle \mathrm {cov} (\mathbf {X} _{1}+\mathbf {X} _{2},\mathbf {Y} )=\mathrm {cov} (\mathbf {X} _{1},\mathbf {Y} )+\mathrm {cov} (\mathbf {X} _{2},\mathbf {Y} )}$,

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1}+\mathbf {Y} _{2})=\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1})+\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{2})}$.

• Если ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ независимы, то

${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$.

Условная ковариационная матрица

Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица.

Пусть случайные векторы ${\displaystyle X}$ и ${\displaystyle Y}$ имеют совместное нормальное распределение с математическими ожиданиями ${\displaystyle \mu _{X},\mu _{Y}}$, ковариационными матрицами ${\displaystyle V_{X},V_{Y}}$ и матрицей ковариаций ${\displaystyle C_{XY}}$. Это означает, что объединенный случайный вектор ${\displaystyle {\boldsymbol {Z}}={\begin{bmatrix}{\boldsymbol {X}}\\{\boldsymbol {Y}}\end{bmatrix}}}$ подчиняется многомерному нормальному распределению с вектором математического ожидания ${\displaystyle {\boldsymbol {\mu }}_{Z}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}}}$ и ковариационной матрицей, которую можно представить в виде следующей блочной матрицы:

${\displaystyle {\boldsymbol {V}}_{Z}={\begin{bmatrix}{\boldsymbol {V}}_{X}&{\boldsymbol {C}}_{XY}\\{\boldsymbol {C}}_{YX}&{\boldsymbol {V}}_{Y}\end{bmatrix}}}$, где ${\displaystyle C_{YX}=C_{XY}^{T}}$

Тогда случайный вектор ${\displaystyle Y}$ при заданном значении случайного вектора ${\displaystyle X}$ имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей:

${\displaystyle E(Y|X=x)=\mu _{Y}+C_{YX}V_{X}^{-1}(x-\mu _{X}),\qquad V(Y|X=x)=V_{Y}-C_{YX}V_{X}^{-1}C_{XY}.}$

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора ${\displaystyle Y}$ от заданного значения x случайного вектора ${\displaystyle X}$), причем матрица ${\displaystyle C_{XY}V^{-1}}$ — матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора ${\displaystyle Y}$ на вектор ${\displaystyle X}$.

В случае если ${\displaystyle Y}$ — обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица — это условная дисперсия (по существу — случайной ошибки регрессии ${\displaystyle Y}$ на вектор ${\displaystyle X}$).