מוויקיפדיה, האנציקלופדיה החופשית
אנטרופיה דיפרנציאלית (המכונה גם אנטרופיה רציפה) היא מושג בתורת האינפורמציה שהגה קלוד שאנון בניסיון להרחיב את מושג האנטרופיה של משתנה מקרי בדיד להתפלגויות הסתברות רציפות. שאנון הניח, בטעות, כי האנטרופיה הדיפרנציאלית כפי שהגדיר אותה מהווה הרחבה טבעית רציפה של אנטרופיה בדידה להתפלגויות רציפות.[1] האנטרופיה הדיפרנציאלית מופיעה לעיתים קרובות בספרות, למרות שהיא אינה מקיימת חלק מהתכונות של האנטרופיה המקורית של שאנון.[1]
יהי משתנה מקרי עם פונקציית צפיפות הסתברות שהתומך שלה היא קבוצה . האנטרופיה הדיפרנציאלית אוֹ מוגדרת כ:[2]
עבור התפלגויות הסתברות שלא ניתן לבטא באופן מפורש את פונקציית הצפיפות שלהן, אך ניתן לבטאן באמצעות פונקציית שברונים, , ניתן להגדיר את במונחים של הנגזרת של , כלומר , על ידי[3]
כמו במקרה הבדיד, היחידות של האנטרופיה הדיפרנציאלית תלויות בבסיס הלוגריתם, שהוא בדרך כלל 2 (כלומר, היחידה היא ביט). מושגים כגון אנטרופיה משותפת, אנטרופיה מותנית ואנטרופיה יחסית מוגדרים למשתנים מקרי רציף בדומה להגדרתם למשתנה מקרי בדיד.
שלא כמו במקרה הבדיד, לאנטרופיה הדיפרנציאלית יש היסט, שתלוי ביחידה המשמשת למדידת המשתנה המקרי .[4] לדוגמה, האנטרופיה הדיפרנציאלית של משתנה מקרי שנמדדת במילימטרים תהיה גדולה פי log(1000) מאשר אם ערך המשתנה נמדד במטרים.
יש להיזהר בניסיון ליישם תכונות של אנטרופיה בדידה לאנטרופיה דיפרנציאלית, שכן פונקציות צפיפות הסתברות יכולות להיות גדולות מ-1. למשל, להתפלגות האחידה הרציפה יש אנטרופיה דיפרנציאלית שלילית:
כלומר, פחות מהאנטרופיה הדיפרנציאלית של שהיא אפס.
קיימים ניסוחים אחרים של האנטרופיה למשתנים רציפים שמקיימים את התכונות הבסיסיות של האנטרופיה של שאנון.[1]
עם זאת, לאנטרופיה דיפרנציאלית חסרות כמה תכונות רצויות:
דיברגנץ קולבק-לייבלר, הידוע גם כאנטרופיה יחסית, הוא אלטרנטיבה לאנטרופיה דיפרנציאלית, שנותנת מענה לחסרונות אלו, כאשר כוללים בו רכיב של מידה אינווריאנטית.
עבור שונות נתונה, האנטרופיה הדיפרנציאלית של ההתפלגות נורמלית היא מקסימלית. כלומר, למשתנה מקרי המתפלג נורמלית יש את האנטרופיה הגדולה ביותר מבין כל המשתנים האקראיים בעלי אותה שונות.[2]
תהי פונקציית צפיפות של התפלגות נורמלית עם ממוצע μ ושונות , ותהי פונקציית צפיפות כלשהי עם אותה שונות. מכיוון שהאנטרופיה הדיפרנציאלית אינווריאנטית להוספה של קבוע למשתנה המקרי, ניתן להניח כי ל- ול- אותה תוחלת .
דיברגנץ קולבק-לייבלר בין שתי התפלגויות מקיים
נשתמש בביטוי המפורש של
מכיוון שהתוצאה תלויה אך ורק בשונות של . שילוב של שתי התוצאות מביא ל
ועל סמך התכונות של דיברגנץ קולבק-לייבלר שיויון יתקיים רק כאשר .
יהי משתנה מקרי המתפלג מעריכית עם פרמטר , כלומר, עם פונקציית צפיפות הסתברות
היות שהתומך של ההתפלגות כולל ערכים אי שליליים בלבד, האנטרופיה הדיפרנציאלית היא
כדי לפשט את החישוב נעשה שימוש בלוגריתם טבעי (בסיס ), ובהתאמה סומנה האנטרופיה הדיפרנציאלית כ- .
Seamless Wikipedia browsing. On steroids.