內容簡介
資訊理論及編碼理論《資訊理論與編碼理論》系統地講述了資訊理論與編碼論的基礎理論與技術。其內容包括信息及信息的度量、信道及其容量、無失真信源編碼、率失真理論與有失真信源編碼、信道編碼與信道編碼定理、線性分組碼、循環碼、卷積碼、Turbo碼等。《資訊理論與編碼理論》還介紹了編碼技術在通信工程實踐中的套用。《資訊理論與編碼理論》內容豐富，取材經典、新穎，概念清楚，文字通俗，深入淺出，各章後面配有大量習題。可作為高等院校信息安全、通信工程、信息工程、電子工程、計算機等專業本科生的教材，也可作為相關專業科技人員的參考書。
內容提要
本書主要介紹由香農理論發展起來的資訊理論與編碼理論，用於解決通信中的基本問題。首先簡要介紹編碼的概念；第一部分介紹香農理論、信道與信源編碼理論；第二部分詳細介紹幾種編碼方案，可用於信道與信源編碼。書中提供了大量實例，每章末均有習題與說明，以便於具有機率論與線性代數知識的讀者掌握和理解。
編輯推薦
本書主要介紹由香農理論發展起來的資訊理論與編碼理論，用於解決通信中的基本問題。首先簡要介紹編碼的概念；第一部分介紹香農理論、信道與信源編碼理論；第二部分詳細介紹幾種編碼方案，可用於信道與信源編碼。書中提供了大量實例，每章末均有習題與說明，以便於具有機率論與線性代數知識的讀者掌握和理解。
本書可用做信息、通信、電子工程等專業的相關課教材，也可作為有一定英語基礎的人員自學使用。資訊理論是運用機率論與數理統計的方法研究信息、信息熵、通信系統、數據傳輸、密碼學、數據壓縮等問題的套用數學學科。 資訊理論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是資訊理論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯繫。 香農被稱為是“資訊理論之父”。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作為現代資訊理論研究的開端。這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農給出了信息熵（以下簡稱為“熵”）的定義： H = - ∑ pilogpi i 這一定義可以用來推算傳遞經二進制編碼後的原信息所需的信道頻寬。熵度量的是訊息中所含的信息量，其中去除了由訊息的固有結構所決定的部分，比如，語言結構的冗餘性以及語言中字母、詞的使用頻度等統計特性。 資訊理論中熵的概念與物理學中的熱力學熵有著緊密的聯繫。玻耳茲曼與吉布斯在統計物理學中對熵做了很多的工作。資訊理論中的熵也正是受之啟發。 互信息(Mutual Information)是另一有用的信息度量，它是指兩個事件集合之間的相關性。兩個事件X和Y的互信息定義為： I(X,Y) = H(X) + H(Y) - H(X,Y) 其中H(X,Y) 是聯合熵(Joint Entropy)，其定義為： H(X,Y) = - ∑ p(x,y)logp(x,y) x,y 互信息與多元對數似然比檢驗以及皮爾森χ2校驗有著密切的聯繫。
目錄
第1章 緒論
1．1 信息
1．1．1 信息的概念
1．1．2 信息的性質
1．2 通信系統模型
1．2．1 信源和信宿
1．2．2 編碼器和解碼器
1．2．3 信道和噪聲
1．3 離散與連續
1．4 資訊理論和編碼理論的形成和發展
小結
習題
第2章 信息的統計度量
2．1 自信息和條件自信息
2．1．1 自信息的定義與含義
2．1．2 條件自信息的定義與含義
2．2 互信息
2．2．1 互信息的定義與含義
2．2．2 互信息的性質
2．3 平均自信息(熵)
2．3．1熵的定義與含義
2．3．2 熵函式的數學性質
2．3．3 條件熵
2．3．4 聯合熵
2．3．5 各種熵之間的關係
2．4 平均互信息
2．4．1 平均互信息的定義與含義
2．4．2 平均互信息的性質
2．4．3 各種熵和平均互信息量之間的關係
2．5 連續隨機變數的互信息和相對熵
2．5．1 連續隨機變數的統計特性
2．5．2 連續隨機變數的互信息
2．5．3 連續隨機變數的相對熵
小結
習題
第3章 離散信源
3．1 離散信源的數學模型
3．2 信源的分類
3．2．1 無記憶信源
3．2．2 有記憶信源
3．3 離散無記憶信源
3．3．1 離散無記憶信源及其熵
3．3．2 離散無記憶信源的擴展信源及其熵
3．4 馬爾可夫信源
3．4．1 馬爾可夫信源的定義
3．4．2 有限狀態馬爾可夫鏈
3．4．3 馬爾可夫信源的馬爾可夫鏈性質
3．4．4 馬爾可夫信源的熵
3．5 離散平穩信源
3．5．1 平穩信源的概念
3．5．2 平穩信源的熵
3．6 信源的相關性和剩餘度
小結
習題
第4章 離散信道
4．1 離散信道的數學模型
4．2 信道的分類
4．3 離散無記憶信道
4．3．1 離散無記憶信道的數學模型
4．3．2 信道疑義度和噪聲熵
4．3．3 信道的平均互信息及其含義
4．4 信道的組合
4．5 信道容量
4．5．1 信息傳輸率
4．5．2 信道容量的定義及含義
4．5．3 三種特殊信道的容量
4．5．4 對稱信道的容量
4．5．5 一般信道的容量
4．5．6 信源和信道的匹配
小結
習題
第5章 連續信源和連續信道
5．1 連續信源
5．1．1 連續信源的數學模型
5．1．2 連續信源的熵和互信息
5．2 連續信道及其信道容量
5．2．1 時間離散信道
5．2．2 連續信道
小結
習題
第6章 無失真信源編碼
6．1 編碼的基本概念
6．1．1 編碼器和解碼器
6．1．2 碼的分類
6．1．3 N次擴展碼
6．2 “無失真”的本質
6．3 定長碼
6．4 變長碼
6．4．1 變長碼的衡量指標
6．4．2 變長碼的特點
6．4．3 唯一可解碼和即時碼的判別
6．4．4 無失真信源編碼定理(香農第一定理)
6．5 霍夫曼碼
6．5．1 二元霍夫曼碼
6．5．2 多元霍夫曼碼
6．6 算術編碼
6．6．1 算術編碼的基本原理
6．6．2 算術編碼方法
6．6．3 算術解碼方法
6．7 LZW編碼
6．7．1 LZW基本原理
6．7．2 LZW編碼方法
小結
習題
第7章 限失真信源編碼
7．1 失真的度量
7．1．1 失真函式和失真矩陣
7．1．2 序列失真
7．1．3 平均失真和保真度準則
7．2 信息率失真函式
7．2．1 信息率失真函式的定義和含義
7．2．2 信息率失真函式的定義域和性質
7．2．3 信息率失真函式和信道容量的關係
7．2．4 限失真信源編碼定理(香農第三定理)
7．3 量化編碼
7．3．1 量化編碼的主要作用
7．3．2 均勻量化
7．3．3 最優量化
7．3．4 矢量量化編碼
7．4 預測編碼
7．4．1 預測編碼的基本原理和方法
7．4．2 預測編碼能夠限失真壓縮信源的原因
7．4．3 DPCM編解碼原理
7．5 變換編碼
7．5．1 變換編碼的基本原理
7．5．2 變換編碼能夠限失真壓縮信源的原因
7．5．3 離散餘弦變換
7．5．4 變換編碼的廣泛套用
小結
習題
第8章 信道編碼
8．1 信道編碼的基本概念
8．1．1 編解碼規則、檢糾錯能力
8．1．2 平均錯誤解碼機率
8．2 解碼規則
8．3有噪信道編碼定理(香農第二定理)
8．4 線性分組碼
8．4．1 基本概念
8．4．2 線性分組碼的性質
8．4．3 線性分組碼的兩個重要參數——編碼效率和最小漢明距離
8．4．4 生成矩陣和監督矩陣
