吉布斯不等式

若 ${\displaystyle \sum _{i=1}^{n}p_{i}=\sum _{i=1}^{n}q_{i}=1}$，且${\displaystyle p_{i},q_{i}\in (0,1]}$，则有：

${\displaystyle -\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}}$，等号成立当且仅当${\displaystyle p_{i}=q_{i}\forall i}$

约西亚·吉布斯

吉布斯不等式说明：

在信息论和概率论，它能应用在法诺不等式和讯号源编码定理的证明。

约西亚·吉布斯在19世纪提出它。

证明

吉布斯不等式等价于：

${\displaystyle 0\geq \sum _{i=1}^{n}p_{i}\log q_{i}-\sum _{i=1}^{n}p_{i}\log p_{i}=\sum _{i=1}^{n}p_{i}\log(q_{i}/p_{i})=-D_{\mathrm {KL} }(P\|Q)}$（见相对熵）

证明最右的项小于或等于0的方法有几种：

• 已知 ${\displaystyle \ln(x)\leq x-1}$，等号成立当且仅当 ${\displaystyle x=1}$：

${\displaystyle \sum _{i=1}^{n}p_{i}\log(q_{i}/p_{i})\leq \sum _{i=1}^{n}p_{i}(q_{i}/p_{i}-1)=\sum _{i=1}^{n}(q_{i}-p_{i})=\sum _{i=1}^{n}q_{i}-\sum _{i=1}^{n}p_{i}=0}$

• 根据对数求和不等式或延森不等式：

${\displaystyle \sum _{i}p_{i}\log {\frac {q_{i}}{p_{i}}}\leq \log \sum _{i}p_{i}{\frac {q_{i}}{p_{i}}}=\log \sum _{i}q_{i}\leq 0}$

引理

对于n个变量的概率分布P，其熵的最大值是：

${\displaystyle H(p_{1},\ldots ,p_{n})\leq \log n}$