內容簡介
《資訊理論基礎》是作者多年教學和科研實踐的積累，是在吸收國內外優秀教材優點的基礎上， 進一步最佳化整合教學內容，並進行改進和補充而成的。
全書共分為12章，內容包括：信息的基本概念、香農資訊理論研究的內容與進展，離散信息的度量，離散信源，連續信息與連續信源，無失真信源編碼，離散信道及其容量，有噪信道編碼，波形信道，信息率失真函式，有約束信道及其編碼，網路資訊理論初步，信息理論方法與套用，機率論的基礎知識，信源的基本編碼理論和信道的基本編碼理論。
本書強調定理中物理概念和結論的理解與掌握，簡化煩瑣的數學推導，注重使用明確、直觀的物理概念，增加實例，力求讓講述的內容更適合工科專業學生的學習。本書有*號的部分可以作為選學內容，有利於教師根據教學計畫進行調整。每章的思考題和習題可以作為課後的練習。
圖書目錄
第1章 緒論 1
1.1 信息的基本概念 1
1.2 香農資訊理論研究的內容 3
1.3 香農資訊理論研究的進展與套用 8
第2章 離散信息的度量 14
2.1 自信息和互信息 14
2.2 信息熵 18
2.3 平均互信息 27
本章小結 33
習題 34
第3章 離散信源 37
3.1 離散信源的分類與數學模型 37
3.2 離散無記憶信源的熵 39
3.3 離散平穩信源的熵 40
3.4 有限狀態馬爾可夫鏈 42
3.5 馬爾可夫信源 48
3.6 信源的相關性與剩餘度 55
本章小結 59
第4章 連續信息與連續信源 64
4.1 連續隨機變數集合的熵 64
4.2 離散時間高斯信源的熵 69
4.3 連續最大熵定理 70
4.4 連續隨機變數集的平均互信息 72
4.5 離散集與連續集之間的互信息 75
本章小結 77
第5章 無失真信源編碼 80
5.1 概述 80
5.2 定長碼 83
5.3 變長碼 88
5.4 哈夫曼編碼 93
*5.5 幾種實用的編碼方法 99
本章小結 101
第6章 離散信道及其容量 105
6.1 概述 105
6.2 單符號離散信道及其容量 109
6.3 級聯信道及其容量 116
6.4 多維矢量信道及其容量 118
6.5 信道容量的疊代計算 123
本章小結 125
第7章 有噪信道編碼 129
7.1 概述 129
7.2 最佳判決與解碼準則 132
7.3 信道編碼與最佳解碼 134
7.4 費諾(Fano)不等式 137
7.5 有噪信道編碼定理 139
7.6 糾錯編碼技術簡介 144
*7.7 信道編碼性能界限 150
本章小結 153
第8章 波形信道 159
8.1 離散時間連續信道 159
8.2 加性噪聲信道與容量 161
8.3 AWGN信道的容量 166
8.4 有色高斯噪聲信道 173
*8.5 數字調製系統的信道容量 176
本章小結 179
第9章 信息率失真函式 183
9.1 概述 183
9.2 離散信源信息率失真函式 185
9.3 限失真信源編碼定理 188
9.4 離散信源信息率失真函式的計算 190
9.5 連續信源信息率失真函式 195
9.6 高斯信源的R(D)函式 197
9.7 一般連續信源R(D)函式 201
*9.8 有損數據壓縮技術簡介 201
本章小結 204
第10章 有約束信道及其編碼 208
10.1 標號圖的性質 208
10.2 有約束信道容量 211
10.3 有約束序列的性質 215
10.4 有約束信道編碼定理 220
*10.5 有約束序列編碼與套用 222
本章小結 227
第11章 網路資訊理論初步 230
11.1 概述 230
11.2 多址接入信道 23
11.3 廣播信道 238
11.4 相關信源編碼 242
本章小結 247
*第12章 信息理論方法及其套用 250
12.1 信源熵的估計 250
12.2 最大熵原理 255
12.3 最小交叉熵原理 261
12.3.4 交叉熵法 265
12.4 信息理論方法的套用 265
本章小結 273
參考文獻 276
