自信息量

對於離散信源而言，信源機率空間的機率分別為P(x1),P(x2),P(x3),P(x4)...P(xn)。顯然信源這時輸出一個訊息提供的信息量就等於信源的不確定度。

自信息量

我們又知道，當機率P越小，x訊息出現的機率就越小，一旦出現所獲得的信息量就越大。因此，我們定義I(x)=,通常稱I(x)為訊息x的自信息量，它具有隨機變數的性質，但自信息量不能表示信源總體的不肯定度。