吉布斯不等式維基百科,自由的 encyclopedia 若 ∑ i = 1 n p i = ∑ i = 1 n q i = 1 {\displaystyle \sum _{i=1}^{n}p_{i}=\sum _{i=1}^{n}q_{i}=1} ,且 p i , q i ∈ ( 0 , 1 ] {\displaystyle p_{i},q_{i}\in (0,1]} ,則有: − ∑ i = 1 n p i log p i ≤ − ∑ i = 1 n p i log q i {\displaystyle -\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}} ,等號成立當且僅當 p i = q i ∀ i {\displaystyle p_{i}=q_{i}\forall i} 約西亞·吉布斯 吉布斯不等式說明: 在資訊論和概率論,它能應用在法諾不等式和訊號源編碼定理的證明。 約西亞·吉布斯在19世紀提出它。
若 ∑ i = 1 n p i = ∑ i = 1 n q i = 1 {\displaystyle \sum _{i=1}^{n}p_{i}=\sum _{i=1}^{n}q_{i}=1} ,且 p i , q i ∈ ( 0 , 1 ] {\displaystyle p_{i},q_{i}\in (0,1]} ,則有: − ∑ i = 1 n p i log p i ≤ − ∑ i = 1 n p i log q i {\displaystyle -\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}} ,等號成立當且僅當 p i = q i ∀ i {\displaystyle p_{i}=q_{i}\forall i} 約西亞·吉布斯 吉布斯不等式說明: 在資訊論和概率論,它能應用在法諾不等式和訊號源編碼定理的證明。 約西亞·吉布斯在19世紀提出它。