此條目介紹的是信源編碼的數據壓縮理論。關於計算機編程術語,請見「
原始碼」。
在資訊理論中,山農的信源編碼定理(或無雜訊編碼定理)確立了數據壓縮的限度,以及山農熵的操作意義。
信源編碼定理表明(在極限情況下,隨着獨立同分佈隨機變量數據流的長度趨於無窮)不可能把數據壓縮得位元速率(每個符號的位元的平均數)比信源的山農熵還小,又不丟失資訊。但是有可能使位元速率任意接近山農熵,且損失的概率極小。
碼符號的信源編碼定理把碼字的最小可能期望長度看作輸入字(看作隨機變量)的熵和目標編碼表的大小的一個函數,給出了此函數的上界和下界。