剩餘度
直觀地說，除了在傳輸和恢復訊息時所需的最少、最必要的信息以外，其他部分都叫剩餘。而剩餘度則表示相對剩餘，即在信源中剩餘所占的比重。為了確切說明剩餘度就必須引入信息熵的概念。若用H0代表無記憶等機率信源的單個訊息熵，H1代表無記憶不等機率信源的單個訊息熵,Hm代表記憶長度為m的信源的單個訊息熵，H
代表記憶長度為無限時信源的單個訊息熵，則由熵的性質可得到下列表徵信源統計特性的不等式： logn＝H0≥H1≥H2≥…≥Hm≥…≥H∞≥0
因此對有記憶信源，理論上最小的單個訊息熵應為H∞。從理論上看,僅需傳送 H
即可。但實際上由於很難掌握全部信源的機率統計特性，只能多傳送一些，比如傳送Hm,這樣Hm-H∞越大,也就越不經濟。為了定量地描述信源的有效性,可規定信源的效率為
；規定信源的剩餘度為
。正是因為信源存在著剩餘，也就存在著壓縮信息率的可能性。剩餘越大，壓縮潛力也就越大。工程上所採用的數據壓縮、頻帶壓縮均基於這個原理。以英文信源為例:英文有26個字母,加上空檔共27個。於是,H0=log227=4.76比特。根據對英文字母出現機率的統計結果可算出：
比特,H2=3.32比特,H3=3.1比特,至於H∞,由於採用的統計逼近方法或所取樣本的不同,可以有不同值,一般認為H∞≈1.4比特，則有
這一結論說明英文信源是可以壓縮的。例如對 100頁的英文書，理論上僅需傳送29頁。至於中文，若按常用的6700個漢字考慮，這時,H0=log26700≈13比特。對漢字頻數進行統計，其工作量遠大於英文。中國已有不少人作了嘗試,大致估得H1≈9比特,H2≈8比特,…,H∞≈4比特，這些數字還有待於進一步精確化，但據估計中文剩餘不比英文小。至於語聲和電視信源的剩餘度，人們尚未測得確切數據，但估計比文字信源還要大。