內容簡介
《信息與計算科學專業系列教材:資訊理論基礎(第三版)》從基本概念和基本方法入手，儘量使用初等的數學工具，系統而又全面地介紹資訊理論的基礎理論、基本方法以及近年來發展的新成果，包括一些最新的、較為成熟的原理。
全書共分10章。第1章介紹香農信息理論的基本概念、基本內容和發展簡史。第2章討論信源、信息的度量等。第3章介紹互信息。第4章主要介紹有關信源編碼的一些基本概念和Huffman最優編碼。第5章主要介紹離散信道編碼定理。第6章介紹線性碼。第7章介紹有關率失真理論。第8章介紹最大熵原理和最小鑑別信息原理。在第9章中對非統計意義下的信息理論（組合信息與算法信息）作了介紹，同時給出通用編碼方法的代表——Lempel—Ziv編碼方法。第10章介紹密碼學的基礎知識。大部分內容附有習題。
《信息與計算科學專業系列教材:資訊理論基礎(第三版)》適用於信息與計算科學、套用數學、機率統計、計算機科學、自動控制、通信工程等專業的本科生作教材，也可作為這些專業的研究生的學習參考，並可供有關工程技術人員自學。
圖書目錄
前言
第1章概論
1.1信息理論的基本內容
1.2信息理論的發展簡史
1.3控制論、資訊理論與系統論
1.4信息理論的套用
第2章信息與熵
2.1信源熵
2.2聯合熵與條件熵
2.3熵函式的唯一性
2.4熵函式的性質
2.5連續型隨機變數的熵
2.6意義信息和加權熵
2.7Renyi熵與Tsallis熵
習題
第3章互信息
3.1平均互信息
3.1.1事件的互信息
3.1.2多隨機變數下條件互信息與聯合事件的互信息
3.1.3平均互信息
3.2互信息與其他熵之間的關係
3.2.1互信息的等價定義
3.2.2熵之間的關係
3.3多個隨機變數的互信息
3.3.1兩組隨機變數之間的互信息
3.3.2條件互信息
3.3.3隨機向量中各隨機變數之間的互信息
3.4互信息函式的性質
3.5連續型隨機變數的互信息
習題
第4章離散信源的無錯編碼
4.1信源與信源編碼簡介
4.1.1信源
4.1.2信源的分類
4.1.3信源編碼
4.2無記憶信源的漸近等同分割性與定長編碼定理
4.2.1漸近等同分割性（AEP）
4.2.2定長編碼定理
4.3離散無記憶信源的變長編碼
4.3.1前綴碼與Kraft不等式
4.3.2Huffman編碼與最優編碼定理
4.3.3常用變長編碼
4.4離散平穩信源及其編碼定理
4.4.1平穩信源的熵率及冗餘度
4.4.2平穩信源的編碼定理
4.5馬爾可夫信源及其編碼
4.5.1馬爾可夫信源
4.5.2馬爾可夫信源的編碼
習題
第5章離散無記憶信道的編碼理論
5.1信道容量
5.1.1信道容量的定義和例子
5.1.2離散無記憶信道容量的有關性質
5.1.3某些簡單情況下信道容量的計算
5.1.4轉移機率可逆時信道容量的計算
5.1.5離散無記憶信道容量的疊代計算
5.1.6達到信道容量時輸入輸出字母機率分布的唯一性
5.2信道編碼
5.2.1信道編碼概述
5.2.2聯合典型序列
5.3信道編碼定理
5.3.1信道編碼定理的證明
5.3.2Fano不等式和逆編碼定理
5.3.3信源—信道聯合編碼
5.4高斯信道
5.4.1高斯信道容量
5.4.2高斯信道編碼定理
5.4.3高斯信道編碼定理的逆定理
5.5級聯信道和並聯信息的信道容量
5.5.1級聯信道
5.5.2並聯信道
5.6信道編碼實例
5.6.1重複碼
5.6.2Hamming碼
習題
第6章線性碼
6.1線性分組碼的定義及表示
6.2系統編碼和校驗矩陣
6.3系統編碼及其最優解碼的實現
6.4線性碼的差錯機率及糾錯能力
第7章信源的率失真函式與熵壓縮編碼
7.1熵壓縮編碼和信源的率失真函式
7.2率失真函式的基本性質
7.3對離散信源求解率失真函式的疊代算法
習題
第8章最大熵原理與最小鑑別信息原理
8.1最大熵原理
8.1.1最大熵原理的提出
8.1.2最大熵原理的合理性
8.1.3最大熵譜估計
8.2鑑別信息
8.2.1鑑別信息的定義
8.2.2鑑別信息的性質
8.3最小鑑別信息原理
8.3.1最小鑑別信息原理
8.3.2獨立分量分析
習題
第9章組合信息與算法信息
9.1自適應統計編碼
9.2組合信息
9.2.1基於組合的信息度量
9.2.2Fitingof通用編碼
9.3算法信息
9.3.1Kolmogorov算法熵
9.3.2算法熵的不可計算性
9.3.3Lewpel—Ziv通用編碼
9.3.4Kieffer—Yang通用編碼
9.4近似熵與樣本熵
習題
第10章密碼學引論
10.1古典密碼學
10.1.1古典密碼舉例
10.1.2古典密碼分析
10.2基於資訊理論的密碼學
10.2.1完全保密
10.2.2唯一解距離
10.2.3實用安全性
10.3數據加密標準（DES）
10.3.1DES的描述
10.3.2DES的討論
10.4其他
10.4.1公開鑰密碼系統
10.4.2認證系統
10.4.3數字簽名
10.4.4密鑰的管理
4.5電子貨幣
部分習題解答或提示
參考文獻
