內熵

一個信源輸出的符號前後有相關性時，信號輸出的熵將減少，這就是一種形式的剩餘。 信源的剩餘度，也稱為多餘度，與熵的減少有關。
首先得給出相對熵的定義，一個實際信源輸出的熵H(x)與其最大可能的熵Hmax(x)的比值定義為相對熵；
相對熵=H(x)/Hmax(x)
信源最大可能熵與實際熵的差定義為內熵，即
內熵=Hmax(x)-H(x)
相對熵，剩餘度（或多餘度），內熵都可以表示信源的剩餘情況。