热门问题
时间线
聊天
视角
吉布斯不等式
来自维基百科,自由的百科全书
Remove ads
若 ,且,則有:
- ,等號成立當且僅當

吉布斯不等式說明:
在資訊論和概率論,它能應用在法諾不等式和訊號源編碼定理的證明。
約西亞·吉布斯在19世紀提出它。
Remove ads
證明
吉布斯不等式等價於:
- (見相對熵)
證明最右的項小於或等於0的方法有幾種:
- 已知 ,等號成立當且僅當 :
Remove ads
引理
對於n個變數的概率分佈P,其熵的最大值是:
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads