Shannon 編碼定理

"香農定理香農定理：描述了有限頻寬，有隨機熱噪聲信道的最大傳輸速率與信道頻寬，信號噪聲功率比之間的關係。 設信源S的熵H(S)

香農定理
香農定理：描述了有限頻寬，有隨機熱噪聲信道的最大傳輸速率與信道頻寬，信號噪聲功率比之間的關係。
在信號處理和信息理論的相關領域中，通過研究信號在經過一段距離後如何衰減以及一個給定信號能載入多少數據後得到了一個著名的公式，叫做香農（Shannon）定理。它以比特每秒（bps）的形式給出一個鏈路速度的上限，表示為鏈路信噪比的一個函式，鏈路信噪比用分貝（dB）衡量。因此我們可以用香農定理來檢測電話線的數據速率。
香農定理由如下的公式給出: C=Blog2(1＋S/N) ，其中C是信道容量，B是信道頻寬，S是平均信號功率,N是平均噪聲功率，信噪比（S/N）通常用分貝（dB）表示，分貝數=10×log10（S/N ）
信道容量(channel capacity): 是指存在一種方式可以以數據率和隨意的低誤差機率將數據通過含噪聲的有限頻帶信道傳送。
頻寬和信噪比是人們可以得勝的兩個自由度以提高通過一個信道傳送信息的數據率。
AWGN(Additive White Gaussian Noise 加性高斯白噪聲): 是指信號中包含從負無窮到正無窮之間的所有頻率分量，且各頻率分量在信號中的權值相同。白光包含各個頻率成分的光，白噪聲這個名稱是由此由此而來的。它在任意時刻的幅度是隨機的，但在整體上滿足高斯分布函式。
香農三大定理：
一:香農第一定理(可變長無失真信源編碼定理)
設信源S的熵H(S),無噪離散信道的信道容量為C,於是,信源的輸出可以進行這樣的編碼,使得信道上傳輸的平均速率為每秒(C/H(S)-a)個信源符號.其中a可以是任意小的正數, 要使傳輸的平均速率大於(C/H(S))是不可能的。
二:香農第二定理（有噪信道編碼定理）
設某信道有r個輸入符號,s個輸出符號,信道容量為C,當信道的信息傳輸率R碼長N足夠長,總可以在輸入的集合中(含有r^N個長度為N的碼符號 序列),找到M (M<=2^(N(C-a))),a為任意小的正數)個碼字,分別代表M個等可能性的訊息,組成一個碼以及相應的解碼規則,使信道輸出端的最小平均 錯誤解碼機率Pmin達到任意小。
三:香農第三定理（保失真度準則下的有失真信源編碼定理）
設R(D)為一離散無記憶信源的信息率失真函式,並且選定有限的失真函式,對於任意允許平均失真度D>=0,和任意小的a>0,以及 任意足夠長的碼長N,則一定存在一種信源編碼W,其碼字個數為M<=EXP{N[R(D)+a]}，而編碼後碼的平均失真度D'(W)<=D +a。