בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי Y {\displaystyle Y} בהנחה שאנו יודעים את תוצאתו של משתנה אקראי אחר X {\displaystyle X} (התוחלת היא על שני המשתנים האקראיים). אנטרופיות של שני משתנים בעלי אינפורמציה משותפת הגדרהסכםפרספקטיבה אם נגדיר את האנטרופיה של Y {\displaystyle Y} בהינתן זאת שתוצאתו של משתנה אקראי X {\displaystyle X} היא x {\displaystyle x} כ- H ( Y | X = x ) {\displaystyle H(Y|X=x)} , אז נקבל את ההגדרה הבאה לאנטרופיה מותנית של משתנים בדידים: H ( Y | X ) ≡ ∑ x ∈ X p ( x ) H ( Y | X = x ) = ∑ x ∈ X p ( x ) ∑ y ∈ Y p ( y | x ) log 1 p ( y | x ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) log p ( y | x ) = − ∑ x ∈ X , y ∈ Y p ( x , y ) log p ( y | x ) = ∑ x ∈ X , y ∈ Y p ( x , y ) log p ( x ) p ( x , y ) . {\displaystyle {\begin{aligned}H(Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,H(Y|X=x)\\&{=}\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,{\frac {1}{p(y|x)}}\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}} במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים. תכונות לכל שני משתנים אקראיים X {\displaystyle X} ו- Y {\displaystyle Y} : H ( Y | X ) = H ( X , Y ) − H ( X ) {\displaystyle H(Y|X)\,=\,H(X,Y)-H(X)} H ( X , Y ) = H ( X | Y ) + H ( Y | X ) + I ( X ; Y ) {\displaystyle H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)} (כאשר I ( X ; Y ) {\displaystyle I(X;Y)} היא האינפורמציה ההדדית) H ( X | Y ) ≤ H ( X ) {\displaystyle H(X|Y)\leq H(X)} , ושוויון מתקבל רק כאשר המשתנים בלתי תלויים. בדומה, H ( Y | X ) ≤ H ( Y ) {\displaystyle H(Y|X)\leq H(Y)} , עם שוויון באותם תנאים. I ( X ; Y ) ≤ H ( X ) {\displaystyle I(X;Y)\leq H(X)} , ושוויון מתקבל רק כאשר Y = f ( X ) {\displaystyle Y=f(X)} ו- f {\displaystyle f} הפיכה על תחום הערכים ש-X מקבל. ראו גם אנטרופיה (סטטיסטיקה) אינפורמציה הדדית Wikiwand - on Seamless Wikipedia browsing. On steroids.