信源熵

基本內容

信源熵：是資訊理論中用來衡量信源信息量有序化程度的一個概念。信源熵值與信源有序化程度成反比；有序度越高，信源熵值越低，反之亦成立。

信源熵的定義：信源各個離散訊息的自信息量的數學期望（即機率加權的統計平均值）信源熵的單位是 Bit/sign