אנטרופיה (סטטיסטיקה)

בסטטיסטיקה ובתחומים נוספים, ובעיקר בתורת האינפורמציה, אנטרופיה (באנגלית: Entropy) היא מדד לגודלו האפקטיבי של מרחב הסתברות. האנטרופיה של התפלגות אחידה בדידה על n מצבים היא ${\displaystyle \ \log _{2}n}$. את מושג האנטרופיה המתמטית פיתח אבי תורת האינפורמציה קלוד שאנון ב־1948[1].

לדוגמה, הטלת מטבע מחזירה אחת מבין שתי אפשרויות, והטלת קובייה מחזירה אחת מבין שש אפשרויות. ברור שאת התוצאה של הטלת הקוביה קשה יותר לחזות מאשר את זו של המטבע. חיבור התוצאות של שתי קוביות מחזיר אחת מבין 11 אפשרויות, שבהן 7 היא השכיחה ביותר, ואילו 2 או 12 נדירות ביחס. כאן לא די לומר שגודל מרחב ההסתברות הוא 11 - ההסתברויות אינן אחידות, ולכן לא ניתן במבט ראשון לקבוע האם תוצאת החיבור קשה יותר לחיזוי מאשר, נאמר, בחירה של ספרה אקראית בין 1 ל־9 (בהתפלגות אחידה בדידה). הצורך להשוות באופן מדויק בין מרחבי התפלגות שונים קיים בכל תחומי המדע, ומדידת האנטרופיה באופן שיוצג להלן שכיחה בפיזיקה, בתורת האינפורמציה בביולוגיה (שם היא נקראת מדד שאנון-ויבר) ובתחומים נוספים.