信息容量

信息容量指信道能傳輸信息的最大能力,在電氣工程學、計算機科學、資訊理論中,信道容量(Channel capacity,又譯通道容量)是指在一個信道中能夠可靠地傳送信息時可達速率的最小上界。所謂可靠傳輸指的是可以以任意小的錯誤率傳遞信息。根據有噪信道編碼定理,信道容量是可以誤差機率任意小地達到的給定信道的極限信息率。信道容量的單位為比特每秒、奈特每秒等等。

簡介

在電氣工程學、計算機科學、資訊理論中, 信道容量Channel capacity,又譯 通道容量)是指在一個信道中能夠可靠地傳送信息時可達速率的最小上界。所謂可靠傳輸指的是可以以任意小的錯誤率傳遞信息。根據有噪信道編碼定理,信道容量是可以誤差機率任意小地達到的給定信道的極限信息率。信道容量的單位為比特每秒、奈特每秒等等。

香農在第二次世界大戰期間發展出資訊理論,為信道容量提了定義,並且提供了計算信道容量的數學模型。香農指出,信道容量是信道的輸入與輸出的互信息量的最大值,而相應的輸入分布稱為 最佳輸入分布

定義

信息容量 信息容量

X代表已傳送信號的隨機變數, Y代表已收到信號的隨機變數。代表已知 X的情況下 Y的條件分布,為信道的內在固定屬性。於是依據如下性質

信息容量 信息容量
信息容量 信息容量
信息容量 信息容量
信息容量 信息容量

邊緣分布的選取完全決定了聯合分布,這就能導出互信息。 信道容量定義為

信息容量 信息容量
信息容量 信息容量

其中上確界針對對所有可能的值。

有噪信道編碼定理

有噪信道編碼定理表明,對任意的ε > 0以及傳輸速率 R小於信道容量 C,在塊長度足夠大的情況下,總有一種在速率為 R下傳輸的編碼和解碼方案,它的誤差機率小於ε。另外,對於任何大於信道容量的速率,隨著塊長度趨近於無窮,接受者的誤差機率也趨於1。

參見

•資訊理論

•信息熵

•信道

•有噪信道編碼定理

相關詞條

相關搜尋

熱門詞條

聯絡我們