內容簡介
信息理論與編碼 《信息理論與編碼》以香農資訊理論為基礎，分兩大部分共8章向讀者系統介紹信息理論與編碼理論的基本思想：第一部分主要介紹了香農信息論的基本概念和性質，包括信息熵、信息率失真函式和信道容量，力求從基本概念上幫助讀者理解和掌握信息理論的基本內容；第二部分以三個基本概念相對應的香農三大編碼定理為基礎，從滿足通信系統的有效性、可靠性和安全性三項性能指標為出發點，詳細介紹了無失真信源編碼、限失真信源編碼和信道編碼的基本理論與方法。
《信息理論與編碼》內容結構清晰明了，以通俗語言敘述代替高深繁瑣的數學推導，強調信息理論與編碼方法在知識上的連貫性，以滿足工科類本科專業學生的學習要求。
《信息理論與編碼》可作為普通高等院校電氣信息類電子信息工程專業和通信專業的教材或教學參考書。
圖書目錄
第1章 概論
1.1 信息的概念
1.2 信息的分類
1.3 資訊理論的研究目的與意義
第2章 信源與信息熵
2.1 離散信源與信息熵
2.1.1 離散信源的數學模型與統計特徵
2.1.2自信息量和平均自信息量（熵）
2.1.3 熵函式的基本性質和最大熵定理
2.1.4 聯合熵與條件熵
2.1.5 互信息
2.2 離散序列信源：
2.2.1 離散序列信源的數學模型
2.2.2 離散序列信源的信息熵
2.2.3 馬爾可夫信源
2.2.4 信源冗餘度
2.3連續信源
2.3.1 連續信源的熵
2.3.2 連續信源的最大熵及熵功率
習題
第3章 信息率失真函式
3.1 失真測度
3.1.1 失真函式與平均失真度
3.1.2 信息率失真函式的定義
3.2 離散信源的信息率失真函式
3.2.1 信息率失真函式的性質
3.2.2 信息率失真函式的計算
3.3 連續信源的信息率失真函式
3.3.1 信息率失真函式的定義與性質
3.3.2 信息率失真函式的計算
習題
第4章 信道與信道容量
4.1 信道的分類與數學模型
4.1.1 信道的分類
4.1.2 信道的數學模型
4.1.3 信道容量的定義
4.2 信道容量的代價函式和信道冗餘度
4.2.1 信道容量的代價函式
4.2.2 信道冗餘度
4.3 離散信道及其容量計算
4.3.1 單符號離散信道的信道容量
4.3.2 多符號離散信道的信道容量
4.4 連續信道及其容量
4.4.1 時間離散信道的信道容量
4.4.2 時間連續信道的信道容量
4.4.3 限頻率、限時、限功率的AWGN信道容量
4.5 信道容量c與信息率失真函式R（D）的區別
4.6 多用戶信道
4.6.1 多址接入信道
4.6.2 廣播信道
習題
第5章香農三大定理
5.1 香農第一定理
5.2 香農第二定理
5.3 香農第三定理
第6章 無失真信源編碼
6.1 信源編碼概述
6.1.1 信源編碼的一般模型
6.1.2 信源產生冗餘的原因
6.2 無失真信源編碼概述
6.2.1 編碼的有關概念
6.2.2 幾個簡單的信源編碼器
6.2.3 幾種常見碼
6.3 等長碼與等長信源編碼定理
6.3.1 無失真編碼條件
6.3.2 信源序列漸近均分性
6.3.3 信源序列分組定理
6.3.4 漸近均分特性
6.3.5 等長編碼定理
6.4 變長編碼
6.4.1 碼樹
6.4.2 異前置碼
6.4.3 克拉夫特一麥克米倫不等式
6.4.4 變長編碼定理
6.5 最佳變長編碼（霍夫曼編碼）
6.5.1 二進制霍夫曼編碼
6.5.2 多進制霍夫曼編碼
習題
第7章 限失真信源編碼定理
7.1 限失真信源編碼概述
7.2 限失真信源編碼逆定理
7.3 保真度準則下的碼率壓縮標準
7.3.1 語音壓縮編碼標準
7.3.2 圖像壓縮編碼標準
7.4 幾種常用的有損壓縮編碼技術
7.4.1差分脈衝編碼調製（DPCM）
7.4.2 預測編碼
7.4.3 正交變換編碼
7.4.4 小波變換編碼
習題
第8章 信道編碼
8.1 信道編碼的基本概念
8.1.1 檢錯和糾錯原理
8.1.2 檢錯和糾錯能力的判斷
8.1.3 信道編碼的分類
8.1.4 常用的簡單檢錯糾錯碼
8.2 錯誤機率
8.2.1 解碼規則的概念
8.2.2 錯誤機率與解碼規則
8.2.3 三種解碼準則
8.2.4 錯誤機率與編碼方法
8.3 線性分組碼
8.3.1 線性分組碼的基本概念
8.3 12校驗矩陣和生成矩陣
8.3.3 漢明碼
8.3.4 線性分組碼的解碼
8.4 循環碼
8.4.1 循環碼的定義和多項式描述
8.4.2 碼多項式的運算
8.4.3 循環碼的生成多項式和生成矩陣
8.4.4 循環碼的校驗矩陣
8.4.5 循環碼的編碼和解碼方法
8.5 卷積碼
8.5.1 卷積碼的概念
8.5.2 卷積碼的編碼
8.5.3 卷積碼的圖形表示
8.5.4 卷積碼的解碼
習題
附錄A 常用機率公式
附錄B 詹森不等式
參考文獻
簡介
信息理論與編碼 本書系統地講述了資訊理論的基礎理論。全書分8章，分別討論了信息的度量、信源無失真編碼、信道編碼、信息率失真函式、網路資訊理論以及信息安全的理論與方法。
本書注重基本概念，論述力求簡明，可作為高等院校通信類、信息類、電子工程類及相關專業的教材，也可供有關科研人員參考。
目錄:
第一章 緒論
1.1 信息的基本概念
1.1.1 信息概念的複雜性
1.1.2 信息的定義
1.2 資訊理論的研究目的和內容
1.2.1 信息傳輸基本模型
1.2.2 資訊理論研究的內容
1.2.3 目前資訊理論的主要研究成果
1.3 資訊理論的發展歷程與套用概述
1.3.1 資訊理論發展簡史
1.3.2 資訊理論的套用
習題
第二章 信息的度量
2.1 信源模型
2.2 信息的描述
2.3 不確定性與信息
2.3.1 自信息量
2.3.2 聯合自信息量
2.3.3 條件自信息量
2.3.4 自信息量的性質和相互關係
2.3.5 互信息量及其性質
2.4離散隨機變數的(統計)平均不確定性度量--離散熵
2.4.1 離散熵
2.4.2 離散熵的性質
2.5 聯合熵和條件熵
2.5.1 聯合熵
2.5.2 條件熵
2.5.3 各類熵之間的關係
2.6 平均互信息量及其性質
2.7 離散無記憶信源的擴展
2.8 離散有記憶信源的熵
2.9 馬爾可夫信源的信息熵
2.9.1 馬爾可夫鏈
2.9.2 馬爾可夫信源
2.9.3 馬爾可夫信源的信息熵
2.10 離散信源的信息(速)率和信息含量效率
2.11 連續隨機變數的熵和平均互信息量
2.11.1 連續隨機變數的熵
2.11.2 連續隨機變數的聯合熵、條件熵以及平均互信息量
2.11.3 微分熵的極大化問題
2.11.4 連續信源的熵功率
本章主要概念
習題
第三章 信道模型和信道容量
3.1 信道模型與信道分類
3.2 離散無記憶信道的數學模型
3.3 機率的計算問題
3.4 信道的疑義度、散布度和平均互信息
3.4.1 信道的疑義度
3.4.2 信道的散布度
3.4.3 信道的平均互信息
3.5 信道容量
3.5.1 信道容量的定義
3.5.2 離散無噪信道的信道容量
3.5.3 離散對稱信道
3.5.4 一般DMC達到信道容量的充要條件
3.5.5 信道容量的疊代算法
3.6 擴展信道及其信道容量
3.6.1 擴展信道的數學模型
3.6.2 擴展信道的平均互信息量和信道容量
3.7 信道的組合
3.7.1 串聯信道
3.7.2 獨立並聯信道
3.8 信源與信道的匹配
3.9 連續信道及其信道容量
3.9.1 連續信道的數學模型
3.9.2 加性高斯噪聲信道的信道容量
3.9.3 一般加性噪聲信道的信道容量的界
3.10 波形信道及其信道容量
本章主要概念
習題
第四章 離散無記憶信源無失真編碼
4.1 信源編碼概論
4.2 碼的惟一可譯性
4.2.1 常見碼及其惟一可譯性
4.2.2 碼樹和Kraft不等式
4.3 定長編碼定理和定長編碼方法
4.4 變長編碼定理
4.5 變長編碼方法
4.5.1 霍夫曼編碼
4.5.2費諾編碼
4.5.3 香農編碼
4.6 幾種實用的無失真信源編碼
4.6.1 遊程編碼
4.6.2 算術編碼
4.6.3 基於字典的編碼
本章主要概念
習題
第五章 有噪信道編碼
5.1 解碼規則與錯誤機率
5.2 兩種典型的解碼規則
5.3 平均差錯率與信道編碼
5.3.1 "簡單重複"編碼
5.3.2 對符號串編碼
5.4漢明距離
5.5有噪信道編碼定理
5.5.1 聯合典型序列
5.5.2 有噪信道編碼定理的證明
5.6 Fano不等式和有噪信道編碼逆定理
5.7 線性分組碼
5.7.1 線性分組碼的生成矩陣和校驗矩陣
5.7.2 漢明距離和碼的糾、檢錯能力
5.7.3 線性碼的伴隨式與伴隨式解碼
本章主要概念
習題
第六章 限失真信源編碼
6.1 失真測度
6.2 信息率失真函式及其性質
6.2.1 信息率失真函式的定義
6.2.2 信息率失真函式的性質
6.3 限失真信源編碼定理
6.4 信息率失真函式的計算
6.4.1 離散信源信息率失真函式的參量表示計算方法
6.4.2 離散信源信息率失真函式的疊代計算方法
本章主要概念
習題
第七章 網路資訊理論基礎
7.1 概論
7.2 網路信道的分類
7.3 典型信源編碼模型
7.4 多隨機變數聯合典型序列
7.5 相關信源編碼
7.6 多址接入信道
7.7 高斯多址接入信道
7.8 廣播信道
7.9 中繼信道
7.10 具有邊信息的信源編碼和數據壓縮
本章主要概念
習題
第八章信息安全與密碼學基礎
8.1 信息安全概述
8.2 網路模型與安全服務功能
8.2.1 開放系統互聯OSI模型
8.2.2 安全分層原則
8.2.3 安全服務功能
8.2.4 網路安全對策
8.3 密碼學基礎知識
8.3.1 基本術語
8.3.2代替密碼
8.4 密碼算法的數學背景
8.4.1 資訊理論
8.4.2 複雜性理論
8.4.3數論基礎
8.5 數據加密標準(DES)
8.5.1 數據加密標準的開發
8.5.2 DES算法概要
8.5.3 初始置換
8.5.4 密碼運算函式f(R,K)
8.5.5 密鑰置換
8.5.6 擴展置換
8.5.7s盒替代
8.5.8 P盒置換
8.5.9 逆初始置換
8.5.10 DES的安全性
8.5.11 DES的硬體實現
8.6 公開密鑰算法
8.6.1 公開密鑰密碼體制
8.6.2 背包公鑰密碼
8.6.3 RSA公鑰加密
8.6.4 數字簽名
本章主要概念
習題
參考書目
