內容簡介
本書從離散機率人手,對離散資訊理論的基本知識進行了介紹,主要內容包括:緒論,離散信息的度量,數據壓縮,離散信源,數據糾錯,離散信道,數據保密,算法資訊理論與通用信源編碼,微分熵與最大熵原理。為拓寬讀者視野,培養學習興趣,提高人文素養,本書融人了一些歷史知識,還補充了資訊理論實驗內容。
本書可供信息安全、信息與計算科學、計算機科學與技術等本科專業的高年級學生使用,也可供從事相關專業的教學、科研和工程技術人員參考。
目錄
第1章
1.1 基本概念
1.1.1 信息的含義
1.1.2 信息的表達
1.1.3 信息的處理
1.2 資訊理論概覽
1.2.1 Shannon與資訊理論
1.2.2 通信系統的數學模型
本章小結
習題
第2章
離散信息的度量
2.1 基本概念
2.1.1 離散熵的定義
2.1.2 聯合熵與條件熵
2.1.3相對熵與互信息