Спільна ентропія

У теорії інформації спі́льна ентропі́я — це міра невизначеності, пов'язана з набором змінних.

Діаграма Венна різних мір інформації, пов'язаних із корельованими величинами X та Y. Область, яка міститься в обох колах, є спільною ентропією Η(X,Y). Коло ліворуч (червоний і фіолетовий) є особистою ентропією Η(X), в якому червоне є умовною ентропією Η(X|Y). Коло праворуч (синій та фіолетовий) є Η(Y), а синє в ньому є Η(Y|X). Фіолетове є взаємною інформацією I(X;Y).

Визначення

Спільна ентропія Шеннона (в бітах) двох змінних ${\displaystyle X}$ та ${\displaystyle Y}$ визначається як

${\displaystyle H(X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}$

де ${\displaystyle x}$ та ${\displaystyle y}$ є конкретними значеннями ${\displaystyle X}$ та ${\displaystyle Y}$ відповідно, ${\displaystyle P(x,y)}$ є спільною ймовірністю трапляння цих значень разом, а ${\displaystyle P(x,y)\log _{2}[P(x,y)]}$ визначається як 0, якщо ${\displaystyle P(x,y)=0}$.

Для понад двох змінних ${\displaystyle X_{1},...,X_{n}}$ це визначення розширюється до

${\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}$

де ${\displaystyle x_{1},...,x_{n}}$ є конкретними значеннями ${\displaystyle X_{1},...,X_{n}}$ відповідно, ${\displaystyle P(x_{1},...,x_{n})}$ є ймовірністю трапляння цих значень разом, а ${\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}$ визначається як 0, якщо ${\displaystyle P(x_{1},...,x_{n})=0}$.

Властивості

Більша за окремі ентропії

Спільна ентропія набору змінних є більшою за всі окремі ентропії змінних цього набору, або дорівнює їм.

${\displaystyle H(X,Y)\geq \max[H(X),H(Y)]}$

${\displaystyle H(X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}$

Менша або дорівнює сумі окремих ентропій

Спільна ентропія набору змінних є меншою за суму окремих ентропій змінних цього набору, або дорівнює їй. Це є прикладом субадитивності^[en]. Ця нерівність є рівністю, якщо і лише якщо ${\displaystyle X}$ та ${\displaystyle Y}$ є статистично незалежними.

${\displaystyle H(X,Y)\leq H(X)+H(Y)}$

${\displaystyle H(X_{1},...,X_{n})\leq H(X_{1})+...+H(X_{n})}$

Відношення до інших мір ентропії

Спільна ентропія використовується у визначенні умовної ентропії

${\displaystyle H(X|Y)=H(Y,X)-H(Y)\,}$,

і

${\displaystyle H(X_{1},\dots ,X_{n})=\sum _{k=1}^{N}H(X_{k}|X_{k-1},\dots ,X_{1})}$

Вона також використовується у визначенні взаємної інформації

${\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}$

У квантовій теорії інформації спільна ентропія узагальнюється до квантової спільної ентропії^[en].

Джерела

• Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. с. 613—614. ISBN 0-486-41147-8. (англ.)