名稱
相關資料
香農三大定理是資訊理論的基礎理論。香農三大定理是存在性定理，雖然並沒有提供具體的編碼實現方法，但為通信信息的研究指明了方向。香農第一定理是可變長無失真信源編碼定理。香農第二定理是有噪信道編碼定理。香農第三定理是保失真度準則下的有失真信源編碼定理。具體如下，一:香農第一定理(可變長無失真信源編碼定理)
設信源S的熵H(S),無噪離散信道的信道容量為C,於是,信源的輸出可以進行這樣的編碼,使得信道上傳輸的平均速率為每秒(C/H(S)-a)個信源符號.其中a可以是任意小的正數, 要使傳輸的平均速率大於(C/H(S))是不可能的。
二:香農第二定理（有噪信道編碼定理）
設某信道有r個輸入符號,s個輸出符號,信道容量為C,當信道的信息傳輸率R碼長N足夠長,總可以在輸入的集合中(含有r^N個長度為N的碼符號序列),找到M (M<=2^(N(C-a))),a為任意小的正數)個碼字,分別代表M個等可能性的訊息,組成一個碼以及相應的解碼規則,使信道輸出端的最小平均錯誤解碼機率Pmin達到任意小。
三:香農第三定理（保失真度準則下的有失真信源編碼定理）
設R(D)為一離散無記憶信源的信息率失真函式,並且選定有限的失真函式,對於任意允許平均失真度D>=0,和任意小的a>0,以及任意足夠長的碼長N,則一定存在一種信源編碼W,其碼字個數為M<=EXP{N【R(D)+a】}，而編碼後碼的平均失真度D'(W)<=D+a。
