מוויקיפדיה, האנציקלופדיה החופשית
בתורת ההסתברות בתורת האינפורמציה, האינפורמציה ההדדית (או המידע ההדדי[1]) (Mutual information) של שני משתנים אקראיים הוא מדד לתלות ההדדית בין שני המשתנים. ליתר דיוק, היא מכמתת את "כמות המידע" המתקבלת לגבי משתנה אקראי אחד על ידי צפייה במשתנה האקראי השני.
![]() בערך זה |
האינפורמציה ההדדית בין שני משתנים דיסקרטיים ו- מוגדרת כ:
כאשר היא ההתפלגות המשותפת שלהם, ו- היא ההתפלגות של כל אחד מהמשתנים בנפרד, בהתאמה.
במקרה של משתנים רציפים, הסכום מוחלף באינטגרל כפול:
כאשר במקרה זה היא הצפיפות המשותפת שלהם, ו- היא הצפיפות של כל אחד מהמשתנים בנפרד, בהתאמה.
למען הדיוק יש להגדיר גם את בסיסי הלוגריתמים בביטויים שלעיל. לרוב משתמשים בבסיס 2 או בבסיס , ומציינים את הבסיס מראש.
אינטואיטיבית, האינפורמציה ההדדית מראה עד כמה ידע על תוצאת מלמדת על תוצאת :
אפשר לקשר בין האינפורמציה ההדדית לאנטרופיה ולאנטרופיה מותנית בצורה הבאה:
Seamless Wikipedia browsing. On steroids.