אינפורמציה הדדית

בתורת ההסתברות בתורת האינפורמציה, אינפורמציה ההדדית (או מידע ההדדי^[1]; באנגלית: Mutual information) של שני משתנים אקראיים הוא מדד לתלות ההדדית בין שני המשתנים. ליתר דיוק, היא מכמתת את "כמות המידע" המתקבלת לגבי משתנה אקראי אחד על ידי צפייה במשתנה האקראי השני.

בערך זה נעשה שימוש בסימנים מוסכמים מתחום המתמטיקה. להבהרת הסימנים ראו סימון מתמטי.

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

הגדרה

האינפורמציה ההדדית בין שני משתנים בדידים ${\displaystyle X}$ ו-${\displaystyle Y}$ מוגדרת כך:

${\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\,\!}$

כאשר ${\displaystyle p(x,y)}$ היא ההתפלגות המשותפת שלהם, ו־${\displaystyle p(x),p(y)}$ היא ההתפלגות של כל אחד מהמשתנים בנפרד, בהתאמה.

במקרה של משתנים רציפים, הסכום מוחלף באינטגרל כפול:

${\displaystyle I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy}$

כאשר במקרה זה ${\displaystyle p(x,y)}$ היא הצפיפות המשותפת שלהם, ו־${\displaystyle p(x),p(y)}$ היא הצפיפות של כל אחד מהמשתנים בנפרד, בהתאמה.

למען הדיוק יש להגדיר גם את בסיסי הלוגריתמים בביטויים שלעיל. לרוב משתמשים בבסיס 2 או בבסיס ${\displaystyle e}$, ומציינים את הבסיס מראש.

הסבר אינטואיטיבי

האינפורמציה ההדדית מראה עד כמה ידיעת תוצאת ${\displaystyle X}$ מלמדת על תוצאת ${\displaystyle Y}$:

1. אם האינפורמציה ההדדית היא 0, המשתנים בלתי תלויים. המשתנה המקרי ${\displaystyle X}$ לא מספק כל אינפורמציה על המשתנה המקרי ${\displaystyle Y}$ ולהפך.
2. בקיצוניות השנייה, אם המשתנה המקרי ${\displaystyle X}$ הוא פונקציה חד-חד ערכית של המשתנה המקרי ${\displaystyle Y}$ (לדוגמה, אם ${\displaystyle Y=2X+1}$), אז האינפורמציה ההדדית היא האנטרופיה של כל אחד מהמשתנים, כלומר ${\displaystyle I(X;Y)=H(X)=H(Y)}$. מקרה פרטי הוא כאשר שני המשתנים המקריים ${\displaystyle X}$ ו־${\displaystyle Y}$ זהים.

הקשר לגדלים אחרים בתורת האינפורמציה

אפשר לקשר בין האינפורמציה ההדדית לאנטרופיה ולאנטרופיה מותנית בצורה הבאה:

${\displaystyle {\begin{aligned}I(X;Y)&{}=H(X)-H(X|Y)\\&{}=H(Y)-H(Y|X)\\&{}=H(X)+H(Y)-H(X,Y)\\&{}=H(X,Y)-H(X|Y)-H(Y|X)\end{aligned}}}$

תכונות

1. אי שליליות – מידע הדדי הוא תמיד לא שלילי.
2. סימטריות – מידע הדדי הוא סימטרי, כלומר המידע ההדדי בין המשתנים X ו-Y זהה למידע ההדדי בין המשתנים Y ו-X.
3. יחידות – מידע הדדי הוא אוניטרי, כלומר המידע ההדדי בין משתנה לעצמו שווה לערך המקסימלי האפשרי של המידע ההדדי.
4. מונוטוניות – המידע ההדדי עולה באופן מונוטוני, כלומר אם משתנה אחד הופך להיות תלוי יותר במשתנה אחר, המידע ההדדי בין שני המשתנים גדל.
5. בלתי משתנה תחת טרנספורמציות היפוכות – מידע הדדי הוא בלתי משתנה תחת טרנספורמציות היפוכות, כלומר הוא נשאר ללא שינוי כאשר המשתנים עוברים טרנספורמציה על ידי פונקציה הניתנת להפיכה.
6. תת-תוסף – מידע הדדי הוא תת-תוסף, כלומר המידע ההדדי בין שני משתנים קטן או שווה לסכום המידע ההדדי בין כל אחד מהמשתנים למשתנה שלישי.
7. סכום אפס למשתנים בלתי תלויים – אם שני משתנים בלתי תלויים, המידע ההדדי ביניהם שווה לאפס.

ראו גם

• אנטרופיה (סטטיסטיקה)
• אנטרופיה מותנית

קישורים חיצוניים

• אינפורמציה הדדית, באתר MathWorld (באנגלית)