資訊理論與編碼基礎[電子工業出版社出版書籍]

本書系統論述香農（shannon）資訊理論的基礎理論和編碼的基本理論及方法。 本書可作為高等院校高年級本科生的教材，也可供相關專業的研究生和從事信息理論、信息技術的科研、教學和工程技術人員參考。

圖書內容

本書系統論述香農（shannon）資訊理論的基礎理論和編碼的基本理論及方法。

內容包括：信息的定義、自信息、互信息、信息熵、平均互信息、信道容量與匹配信源、串接信道與數據處理；擴展信源的信息熵、平均符號熵、馬爾柯夫（Markov）信源的極限熵、剩餘度、擴展信道的平均互信息、獨立並列信道的信道容量；連續信源的相對熵、熵功率、高斯白噪聲加性信道的最高信息傳輸速率；單義可解碼的結構定理、信源符號速率極限定理、霍夫曼（Huffman）碼編碼方法及其性能評估、費諾（Fano）碼和香農（shannon）碼的編碼方法；最小平均誤碼率解碼規則、幾種糾錯碼的編碼方法及其最小誤碼率、誤碼率極限定理、線性分組碼的代數結構和編碼解碼方法、系統完備碼的最小平均誤碼率、漢明（Hamming）碼的最最佳化；信息率-失真函式R（D）的定義和性質、離散信源R（D）的表達式、擴展信源的R（D）與數據壓縮的關係等。

本書可作為高等院校高年級本科生的教材，也可供相關專業的研究生和從事信息理論、信息技術的科研、教學和工程技術人員參考。

目錄

引言

第1章單符號離散信源

11信源的信息熵

111信源的數學模型

112信源符號的自信量

113信源的信息熵

12信息熵的代數性質

121熵函式的對稱性

122熵函式的非負性和確定性

123熵函式的連續性和擴展性

124熵函式的可加性

125熵函式的遞推性

13信息熵的解析性質

131熵函式的極值性

132熵函式的上凸性

133熵函式的最大值

14熵函式的唯一性

習題

第2章單符號離散信道

21平均互信息

211信道的數學模型

212信道兩端符號的機率變化

213兩個符號之間的互信息

214兩個隨機變數之間的平均互信息

22平均互信息的數學特性

221平均互信息的非負性

222平均互信息的極值性

223平均互信息的上凸性

23信道容量與匹配信源

231信道容量的定義

232信道容量的一般算法

233匹配信源的等量平衡特性

24幾種特殊信道的信道容量

241無噪信道的信道容量

242強對稱信道的信道容量

243對稱信道的信道容量

244準對稱信道的信道容量

25串接信道的平均互信息

251串接信道的數學描述

252平均條件互信息

253平均聯合互信息

254數據處理定理

習題

第3章多符號離散信源與信道

31離散平穩信源的數學模型

311多符號離散信源的一般概念

312離散平穩信源的定義

313平穩信源的數學模型

32擴展信源的信息熵

321無記憶擴展信源的信息熵

322有記憶擴展信源的信息熵

323擴展信源信息熵的比較

33平均符號熵和極限熵

331平均符號熵

332極限熵

34馬爾柯夫信源的極限熵

341M信源的定義

342mM信源的數學模型

343各態歷經mM信源的極限熵

344剩餘度

35擴展信道的平均互信息

351擴展信道的由來

352擴展信道的數學描述

353擴展信道的平均互信息的數學特性

36無記憶擴展信道的信道容量

361無記憶擴展信道的獨立並列特性

362獨立並列信道的信道容量

習題

第4章連續信源與信道

41單維連續信道的平均互信息

411單維連續信道的數學描述

412連續信源的信息熵

413連續信道的疑義度

414信息熵差與相對熵差

415平均互信息的三種表達式

42連續信源的相對熵

421“相對”二字的由來及其內涵

422幾種連續信源的相對熵

43最大相對熵定理

431相對熵的數學特性

432最大相對熵定理

433熵功率與信息變差

434“相對熵”和“信息熵”稱呼的統一

44高斯白噪聲加性信道的信道容量

441加性信道的信道容量

442高斯加性信道的信道容量

443高斯白噪聲加性信道的信道容量

444香農公式的詮釋

習題

第5章無失真信源編碼

51單義可譯定理

511單義可解碼

512非延長碼及其構成

513單義可譯結構定理

52無記憶信源符號速率極限定理

521平均碼長與碼率

522平均碼長極限定理

523碼率極限定理

524符號速率極限定理

53有記憶信源符號速率極限定理

54霍夫曼碼

541霍夫曼編碼方法

542霍夫曼碼是非延長碼

543霍夫曼碼是有效碼

習題

第6章抗干擾信道編碼

61解碼規則和平均誤碼率

611解碼規則

612誤碼率和平均誤碼率

613最小平均誤碼率解碼規則

62編碼方法和最小平均誤碼率

621糾錯碼W（Ⅰ）的最小平均誤碼率

622糾錯碼W（Ⅱ）的最小平均誤碼率

623糾錯碼W（Ⅲ）的最小平均誤碼率

63抗干擾信道編碼定理

631漢明（Hamming）距離與檢糾能力

632漢明距離與最小平均誤碼率

633疑義度與平均誤碼率

634平均誤碼率與碼率

635誤碼率極限定理

64線性分組碼

641線性分組碼的代數結構

642生成矩陣

643一致校驗矩陣

644解碼表

645漢明碼的最最佳化

習題

第7章信息率—失真函式

71信息率—失真函式R（D）的定義

711平均互信息的下凸性

712平均失真度

713R(D)函式的定義

72R(D)函式的數學特性

721R(D）函式的連續性

722R(D)函式的下凸性

723R(D)函式的單調遞減性

73離散信源的R(D)函式

731R(D)函式的定義域

732R(D)函式的表達式

74擴展信源的R(D)函式

741擴展信道的平均失真度

742擴展信源R(D)函式的數學特徵

75R（D）與數據壓縮

751數據壓縮的一般運行機制

752R(D)與壓縮比

753通信系統最最佳化前景

習題

附錄A供熵函式計算用的幾種函式表