Multivarijantna normalna raspodela

U teoriji verovatnoće i statistici, multivarijantna normalna raspodela, multivarijantna Gausova raspodela, ili zajednička normalna raspodela je generalizacija jednodimenzionalne (univarijantne) normalne distribucije na više dimenzija. Jedna definicija je da se randomni vektor smatra k-varijantno normalno distribuiranim ako svaka linearna kombinacija njegovih komponenata ima univarijantnu normalnu distribuciju. Njen značaj proističe uglavnom iz multivarijantne centralne granične teoreme. Multivarijantna normalna distribucija često se koristi za opisivanje, barem približno, bilo kojeg skupa (mogućih) korelisanih realno-vrednosnih radomnih promenljivih, od kojih se svaka grupiše oko srednje vrednosti.

Multivarijantna normalna raspodela

Funkcija gustine verovatnoće Mnogštvo uzoraka sa multivarijantnom normalnom distribucijom sa ${\displaystyle {\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]}$ i ${\displaystyle {\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]}$, prikazani zajedno sa 3-sigma elipse, dve marginalne distribucije, i dva 1-d histograma.
Notacija	${\displaystyle {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})}$
Parametri	μ ∈ — lokacija Σ ∈ — kovarijansa (pozitivna poludefinitivna matrica)
Nositelj
PDF	${\displaystyle (2\pi )^{-{\frac {k}{2}}}\det({\boldsymbol {\Sigma }})^{\frac {1}{2}}}\,e^{\frac {1}{2}}(\mathbf {x} \boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} \boldsymbol {\mu }})},}$ postoji samo kad je Σ positivna-definitivna
Prosek	μ
Modus	μ
Varijansa	Σ
Entropija	${\displaystyle {\frac {1}{2}}\ln \det \left(2\pi \mathrm {e} {\boldsymbol {\Sigma }}\right)}$
MGF	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}$
CF	\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}"> exp ( i μ T t − 1 2 t T Σ t ) {\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}}
Kulbek-Lajblerova divergencija	pogledajte ispod

Notacija i parametrizacija

Multivarijantna normalna distribucija -dimenzionalnog randomnog vektora ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})}$ može se zapisati na sledeći način:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

ili da se naglasi da je X -dimenziono,

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),}$

sa -dimenzionim srednjim vektorom

${\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]),}$

i ${\displaystyle k\times k}$ kovarijantnom matricom

${\displaystyle \Sigma _{i,j}:=\operatorname {E} [(X_{i\mu _{i})(X_{j\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]}$

takvom da ${\displaystyle 1\leq i,j\leq k.}$ Inverzna matrica kovarijantne matrice se zove matrica preciznosti i označava se sa ${\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}}$.

Definicije

Standardni normalni randomni vektor

Realni randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ se zove standardni normalni randomni vektor ako su sve njegove komponente ${\displaystyle X_{n}}$ nezavisne i svaka je normalno distribuirana randomna promenljiva sa nultom srednjom vrednosti i jediničnom varijansom, i.e. ako ${\displaystyle X_{n}\sim \ {\mathcal {N}}(0,1)}$ za svako ${\displaystyle n}$.^{[1]‍:p. 454}

Centrirani normalni randomni vektor

Realni randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ se zove centrirani normalni randomni vektor ako postoji deterministička ${\displaystyle k\times \ell }$ matrica ${\displaystyle {\boldsymbol {A}}}$ takva da ${\displaystyle {\boldsymbol {A}}\mathbf {Z} }$ ima istu distribuciju kao ${\displaystyle \mathbf {X} }$ gde je ${\displaystyle \mathbf {Z} }$ standardni normalni randomni vektor sa ${\displaystyle \ell }$ komponenata.^{[1]‍:p. 454}

Normalni randomni vektor

Realni randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }}$ se zove normalni randomni vektor ako postoji randomni ${\displaystyle \ell }$-vektor ${\displaystyle \mathbf {Z} }$, koji je standardni normalni randomni vektor, ${\displaystyle k}$-vektor ${\displaystyle \mathbf {\mu } }$, i ${\displaystyle k\times \ell }$ matrica ${\displaystyle {\boldsymbol {A}}}$, takva da je ${\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } }$.^{[2]‍:p. 454[1]‍:p. 455}

Formalno:

${\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{postoji }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ takvo da je }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ za }}Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}}$

Kovarijantna matrica je ${\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }}$.

U degenerativnom slučaju gde je kovarijantna matrica singularna, korespondirajuća distribucija nema gustinu. Ovaj slučaj se često pojavljuje u statistici; na primer, u raspodeli vektora reziduala u regresiji običnih najmanjih kvadrata. Takođe treba imati na umu da ${\displaystyle X_{i}}$ uglavnom nisu nezavisni; oni se mogu videti kao rezultat primene matrice ${\displaystyle {\boldsymbol {A}}}$ na kolekciju nezavisnih Gausovih promenljivih ${\displaystyle \mathbf {Z} }$.

Ekvivalentne definicije

Sledeće definicije su ekvivalentne sa gornjom definicijom. Randomni vektor ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{T}}$ ima multivarijatnu normalnu distribuciju ako zadovoljava jedan od sledećih uslova.

• Svaka linearna kombinacija ${\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}}$ njegovih komponenti je normalno distribuirana. Drugim rečima, za svaki konstantni vektor ${\displaystyle \mathbf {a} \in \mathbb {R} ^{k}}$, randomna promenljiva ${\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} }$ ima univarijatnu normalnu distribuciju, gde je univarijatna normalna distribucija sa nultom varijansom tačka mase na svojoj srednjoj vrednosti.
• Postoji -vektor ${\displaystyle \mathbf {\mu } }$ i simetrična, pozitivna poludefinitivna ${\displaystyle k\times k}$ matrica ${\displaystyle {\boldsymbol {\Sigma }}}$, takva da karakteristična funkcija od ${\displaystyle \mathbf {X} }$ je

${\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.}$

Sferina normalna distribucija može da bude karakterisana kao jedinstvena distribucija, pri čemu su komponente nezavisne u svakom ortogonalnom koordinatnom sistemu.^[3][4]