內容簡介
全書分為正文和附錄兩個部分。正文分為7章，內容包括：數學基礎回顧、信息的度量、信源與信源熵、信道與信道容量、信源編碼初步、信道編碼初步等；附錄分為5個部分，附錄A給出了各章習題的詳細解答，附錄B～E給出了若干定理的證明以及部分算法的源程式。與同類資訊理論書籍相比，《資訊理論簡明教程》閱讀門檻較低，習題解答詳細，可供獨立學院學生、自考生、成教生和廣大自學愛好者使用。
圖書目錄
第1章 緒論
1.1 信息的概念及香農資訊理論的發展史
1.2 香農資訊理論的研究對象、目的和內容
1.3 資訊理論的發展
1.4 如何學好資訊理論
第2章 數學基礎回顧
2.1 離散機率論
2.1.1 隨機事件的機率
2.1.2 條件機率、全機率公式與貝葉斯公式
2.1.3 離散型隨機變數及其分布
2.1.4 二維離散型隨機變數的聯合分布、邊緣分布和條件分布
2.1.5 離散型隨機變數函式的分布
2.1.6 離散型隨機變數的數字特徵
2.2 隨機過程初步
2.2.1 隨機過程與隨機序列
2.2.2 馬爾可夫鏈
第3章 信息的度量
3.1 自信息、平均自信息和熵
3.1.1 單個隨機事件的自信息
3.1.2 單個隨機事件集合的平均自信息(隨機變數的信息熵)
3.1.3 熵函式的性質
3.2 聯合熵與條件熵
3.2.1 兩個隨機事件的聯合自信息
3.2.2 兩個隨機事件集合(二維隨機變數)的聯合熵
3.2.3 兩個隨機事件的條件自信息
3.2.4 兩個隨機事件集合(二維隨機變數)的條件熵
3.3 互信息與平均互信息
3.3.1 兩個隨機事件的互信息
3.3.2 兩個隨機事件集合(二維隨機變數)的平均互信息
3.3.3 平均互信息的性質
3.4 平均自信息、聯合熵、條件熵和平均互信息的數量關係
3.4.1 數量關係總結
3.4.2 數量關係的證明
3.4.3 熵的鏈規則
3.5 本章小結
習題3
第4章 信源與信源熵
4.1 信源的分類及其數學模型
4.2 離散單符號信源
4.3 離散多符號信源
4.3.1 離散平穩無記憶信源
4.3.2 離散平穩有記憶信源
4.3.3 馬爾可夫信源
4.3.4 信源的相關性和剩餘度
4.4 連續信源簡介
4.5 本章小結
習題4
第5章 信道與信道容量
5.1 信道的分類與描述
5.1.1 信道的分類
5.1.2 信道描述
5.2 離散單符號信道及其信道容量
5.2.1 離散單符號信道的數學模型
5.2.2 信道容量的概念
5.2.3 無損信道和無噪信道的信道容量
5.2.4 離散對稱信道的信道容量
5.2.5 一般離散信道的信道容量與信道容量定理
5.3 離散多符號信道及其信道容量
5.3.1 離散多符號無記憶信道的數學模型
5.3.2 離散多符號無記憶信道的信道容量
5.4 組合信道及其信道容量
5.4.1 獨立並聯信道
5.4.2 串聯信道
5.5 連續信道及其信道容量介紹
5.6 本章小結
習題5
第6章 信源編碼初步
6.1 信源編碼的概念與分類
6.1.1 信源編碼的概念
6.1.2 信源編碼分類
6.2 無失真信源編碼
6.2.1 定長碼與定長編碼定理
6.2.2 變長碼與變長編碼定理
6.2.3 最佳變長編碼——霍夫曼編碼
6.2.4 其他無失真信源編碼介紹
6.3 本章小結
習題6
第7章 信道編碼初步
7.1 信道編碼的相關概念
7.2有噪信道編碼定理及其逆定理
7.3 信道編碼介紹
7.3.1 線性分組碼
7.3.2 卷積碼
7.3.3 Turbo碼
7.3.4 LDPC碼
7.4 本章小結
習題7
附錄A 各章習題答案
A.1 第3章習題答案
A.2 第4章習題答案
A.3 第5章習題答案
A.4 第6章習題答案
A.5 第7章習題答案
附錄BJensen不等式的證明
附錄C 熵的極值性的證明
附錄D 信息的凸函式性
附錄E霍夫曼編碼的編程實現
參考文獻
……
