內容簡介
本書重點介紹資訊理論與糾錯編碼的基礎內容，全文共9章，主要內容包括信息及信息的度量、離散信源及信源熵、離散信道及信道容量、信源編碼定理和信道編碼定理、平均失真測度和信息率失真函式、率失真編碼定理、線性分組碼、循環碼和卷積碼，對一些較難理解的概念，輔有較多的例題，並配套免費電子課件、習題解答等教輔資料。
前言
20世紀以來，我們正處在一個資訊時代，計算機技術、微電子技術、雷射技術、多媒體技術、衛星通信和移動通信技術、計算機網路技術等各種新技術的興起、發展及廣泛套用，使得人們的空間距離、時間距離大大縮短，快速、強力地推動著人類社會的經濟、科學的高速發展，將人類社會推入到一個高度化的資訊時代。無論是在辦公室，還是置身於社會，或者是足不出戶在家，我們都受到各種信息的包圍。尤其是計算機網路的迅猛發展，使得綜合語音、視頻和數據等多媒體套用已經從精巧的技術概念變成市場現實。
資訊理論是套用近代機率統計方法研究信息傳輸、交換、存儲和處理的一門學科，也是源於通信實踐發展起來的一門新興套用科學。當前人類已步入信息社會，隨著信息處理技術的不斷深入套用，信息在科學技術上的重要性早已超越了狹義的通信工程的範疇，滲透到自然科學與社會科學的所有領域，與電子技術、計算機網路、信息安全、自動控制、生物醫學工程、遺傳工程、人工智慧等學科密切結合，受到各領域越來越多的關注，顯示出它的勃勃生機和不可估量的發展前景。
在高等學校中，信息工程類專業是最熱門的專業之一，信息技術已經改變了很多傳統學科的知識結構。在這種形式下，許多高校都在相關專業開設了資訊理論課程，一方面，這門課是信息類專業的核心課程，很多學校都把它作為必修課或必選課；但另一方面，這門課程涉及多門工程數學理論，如機率統計論、線性代數、近世代數等，一直有教師難教、學生難學的說法。本書力求在內容篩選及編排上以讀者最易接受的方式介紹信息理論的知識。
本書的內容分為兩部分：
一部分為資訊理論基礎，以香農（Claude E. Shannon）資訊理論為基礎，論述近代信息理論的基本概念和主要結論；另一部分為編碼部分，介紹幾種常用的信道編碼方法。
第1章為“資訊理論基礎”，介紹資訊理論的基本概念，最新發展，以及本書的研究對象—各種信源和信道。
第2～6章為資訊理論部分，介紹信息的度量，內容主要圍繞香農三大定理展開，研究在不允許失真的情況下信息傳輸率的極限值，以及給定信源且允許一定失真的條件下信息速率的極限值，並研究在誤碼率小於給定值的條件下如何最有效地利用信道的傳輸能力。
第7～9章為編碼部分，編碼是後人沿著香農指明的可行方向，為尋求有效而可靠的編解碼方法而發展起來的一門學科，主要研究在有噪信道條件下各種可行的編碼方案及實施技術。
與現有的各種“資訊理論與編碼”教材相比，本教材特色如下：
（1）本書力圖在編排上由淺入深，循序漸進，希望讀者以易於掌握的方式接受資訊理論與編碼的基本理論。
（2）對於部分具有結論性、指導性的定理，教材省去了冗長煩瑣的定理證明，注重物理概念的闡述以及對工作和實際套用的指導意義。
（3）增加了編碼部分的內容。教材第7～9章分別論述糾錯碼中最基本的線性分組碼、循環碼和卷積碼的編解碼理論，並列舉了幾種常用的碼，如漢明碼、BCH碼和卷積碼，介紹了它們主要的編解碼方法。
（4）對一些難以理解的概念，本書配有較多例題，以幫助讀者理解抽象定理。各章後面配有較多難易程度不等的思考題和習題，以供選用。
本書全部內容的教學約需60學時，不同專業可根據需要進行調整。
本書配有教學課件和配套輔助檔案。本書第1章、第9章、附錄A和附錄B由陳榮伶編寫，第2～8章由孫麗華編寫，由孫麗華負責全書的策劃、修改和統編。王磊劼、簡琪瑤、孫慶如也參與了本書的編寫工作。
本書在編寫過程中參閱了一些國內外相關著作，這些著作已在參考文獻中一一列出，在此謹向有關作者表示深深的謝意！本書在編寫過程中得到電子工業出版社的大力支持，王羽佳編輯做了大量的工作，使本書得以順利出版，在此一併表示衷心的感謝！
本書涉及知識領域廣泛，而今科技發展日新月異，由於時間和水平有限，書中難免有差錯和不足之處，敬請讀者批評、指正！
孫麗華
基本信息
作 譯 者：孫麗華,陳榮伶
出版時間：2016-07
千 字 數：409
版 次：01-01
頁 數：220
開 本：16開
I S B N ：9787121291227
目 錄
第1章 資訊理論基礎 （1）
1.1 信息的概念 （2）
1.2 數字通信系統 （4）
1.3 信源及其數學模型 （6）
1.3.1 離散無記憶信源 （6）
1.3.2 離散有記憶信源 （8）
1.3.3 波形信源 （9）
1.4 信道及其數學模型 （10）
1.4.1 離散無記憶單符號信道 （10）
1.4.2 離散無記憶擴展信道 （12）
本章小結 （13）
思考題與習題 （14）
第2章 信息的度量 （15）
2.1 自信息量和互信息量 （16）
2.1.1 自信息量和條件自信息量 （17）
2.1.2 互信息量和條件互信息量 （19）
2.2 離散集的平均自信息量 （24）
2.2.1 信息熵 （24）
2.2.2 熵函式的性質 （27）
2.3 離散集的平均互信息量 （32）
2.3.1 平均互信息量 （32）
2.3.2 平均互信息量的性質 （35）
2.3.3 有關平均互信息量的兩條
定理 （37）
2.4 N維擴展信源的熵和平均互
信息量 （41）
2.4.1 N維擴展信源的熵 （41）
2.4.2 N維擴展信源的平均互
信息量 （42）
2.4.3 有關N維平均互信息量的
兩條定理 （43）
本章小結 （45）
思考題與習題 （45）
第3章 離散信源無失真編碼 （49）
3.1 概述 （50）
3.1.1 碼的分類 （51）
3.1.2 平均碼長的計算 （54）
3.1.3 信息傳輸速率 （55）
3.2 等長碼及等長編碼定理 （57）
3.3 變長碼及變長編碼定理 （60）
3.3.1 變長碼 （60）
3.3.2 克拉夫特不等式 （60）
3.3.3 變長編碼定理 （63）
3.4 變長碼的編碼方法 （67）
3.4.1 香農編碼法 （67）
3.4.2 費諾編碼法 （69）
3.4.3 霍夫曼編碼法 （70）
本章小結 （74）
思考題與習題 （75）
第4章 離散信道的信道容量 （79）
4.1 信道容量的定義 （80）
4.2 離散無記憶信道容量的
計算 （80）
4.2.1 達到信道容量的充要
條件 （81）
4.2.2 幾類特殊的信道 （85）
4.3 組合信道的容量 （92）
4.3.1 獨立並行信道 （92）
4.3.2 和信道 （93）
4.3.3 串列信道 （94）
本章小結 （96）
思考題與習題 （97）
第5章 有噪信道編碼 （99）
5.1 信道編碼的基本概念 （100）
5.2 解碼規則及錯誤機率 （103）
5.3 信道編碼定理 （106）
5.4 費諾引理及信道編碼逆
定理 （109）
5.4.1 費諾不等式 （110）
5.4.2 信道編碼逆定理 （111）
本章小結 （112）
思考題與習題 （113）
第6章 率失真編碼 （116）
6.1 失真測度與平均失真 （117）
6.2 信息率失真函式R(D) （120）
6.2.1 率失真函式的定義 （120）
6.2.2 率失真函式的值域、
定義域 （121）
6.2.3 率失真函式的性質 （122）
6.3 率失真函式的計算 （125）
6.3.1 兩種特殊情況下的
求解 （125）
6.3.2 R(D)的參數表示法 （129）
6.4 率失真信源編碼定理 （133）
本章小結 （133）
思考題與習題 （134）
第7章 線性分組碼 （137）
7.1 糾錯碼的基本概念 （138）
7.1.1 信道糾錯編碼 （138）
7.1.2 差錯類型 （138）
7.1.3 差錯控制系統模型及分類 （139）
7.1.4 糾錯碼的分類 （140）
7.2 群與群陪集分解 （141）
7.2.1 群的概念 （141）
7.2.2 子群 （142）
7.2.3 群的陪集分解 （143）
7.3 線性分組碼的編碼 （143）
7.3.1 生成矩陣、校驗矩陣 （143）
7.3.2 系統碼 （147）
7.3.3 對偶碼 （149）
7.3.4 編碼的實現 （150）
7.4 線性碼的糾檢錯能力 （151）
7.4.1 碼的距離和重量 （151）
7.4.2 線性碼的糾錯、檢錯
能力 （152）
7.5 標準陣列和解碼 （155）
7.5.1 標準陣列 （155）
7.5.2 陪集分解 （156）
7.5.3 解碼 （159）
7.6 漢明碼 （160）
7.6.1 漢明碼的構造 （160）
7.6.2 漢明限與完備碼 （161）
本章小結 （162）
思考題與習題 （163）
第8章 循環碼 （166）
8.1 有限域及其結構 （167）
8.1.1 域的定義 （167）
8.1.2 有限域的本原元 （170）
8.1.3 有限域的結構 （171）
8.1.4 最小多項式的共軛
根組 （173）
8.1.5 有關有限域的小結 （175）
8.2 循環碼的一般概念 （176）
8.2.1 循環碼的定義 （176）
8.2.2 循環碼的多項式描述 （177）
8.3 循環碼的生成多項式和生成
矩陣 （177）
8.3.1 生成多項式 （177）
8.3.2 生成矩陣 （180）
8.4 循環碼的校驗多項式和校驗
矩陣 （181）
8.5 循環碼的編碼 （184）
8.5.1 利用g(x)實現編碼 （184）
8.5.2 利用h(x)實現編碼 （186）
8.6 循環碼的解碼 （188）
8.6.1 伴隨式計算 （188）
8.6.2 循環碼的糾錯解碼 （190）
8.6.3 Meggit解碼器 （192）
8.7 一些重要的循環碼 （194）
8.7.1 循環Hamming碼 （194）
8.7.2 BCH碼 （195）
本章小結 （198）
思考題與習題 （198）
第9章 卷積碼 （200）
9.1 卷積碼基本概念 （201）
9.2 卷積碼的數學描述 （202）
9.2.1 卷積碼的矩陣描述 （202）
9.2.2 卷積碼的多項式描述 （204）
9.3 卷積碼的圖形表示方法 （206）
9.3.1 狀態圖 （206）
9.3.2 樹圖 （206）
9.3.3 格線圖 （208）
9.4 Viterbi解碼 （208）
9.4.1 Viterbi解碼步驟 （209）
9.4.2 Viterbi解碼 （209）
本章小結 （210）
思考題與習題 （211）
附錄A GF(2m)中元素的最小多項式
和本原多項式(1<m≤8) （212）
附錄B 熵函式計算用簡明
對數表 （213）
參考文獻 （214）
