熵 (資訊理論)
信息论中的熵 / 維基百科,自由的 encyclopedia
在資訊理論中,熵(英語:entropy)是接收的每條消息中包含的資訊的平均量,又被稱為資訊熵、信源熵、平均資訊本體量。這裏,「消息」代表來自分佈或數據流中的事件、樣本或特徵。(熵最好理解為不確定性的量度而不是確定性的量度,因為越隨機的信源的熵越大。)來自信源的另一個特徵是樣本的機率分佈。這裏的想法是,比較不可能發生的事情,當它發生了,會提供更多的資訊。由於一些其他的原因,把資訊(熵)定義為機率分佈的對數的相反數是有道理的。事件的機率分佈和每個事件的資訊量構成了一個隨機變量,這個隨機變量的均值(即期望)就是這個分佈產生的資訊量的平均值(即熵)。熵的單位通常為位元,但也用Sh、nat、Hart計量,取決於定義用到對數的底。
此條目需要補充更多來源。 (2018年2月25日) |
此條目可參照英語維基百科相應條目來擴充。 |
採用機率分佈的對數作為資訊的量度的原因是其可加性。例如,投擲一次硬幣提供了1 Sh的資訊,而擲m次就為m位。更一般地,你需要用log2(n)位來表示一個可以取n個值的變量。
在1948年,克勞德·艾爾伍德·山農將熱力學的熵,引入到資訊理論,因此它又被稱為山農熵(Shannon entropy)[1][2]。