信道容量
正文
信道能無錯誤傳送的最大信息率。對於只有一個信源和一個信宿的單用戶信道,它是一個數,單位是比特每秒或比特每符號。它代表每秒或每個信道符號能傳送的最大信息量,或者說小於這個數的信息率必能在此信道中無錯誤地傳送。對於多用戶信道,當信源和信宿都是兩個時,它是平面上的一條封閉線,如圖中的OC1ABC2O。坐標R1和R2分別是兩個信源所能傳送的信息率,也就是R1和R2落在這封閉線內部時能無錯誤地被傳送。當有m個信源和信宿時,信道容量將是m 維空間中一個凸區域的外界“面”。
當A或B是連續集時,相應的機率應理解為機率密度,求和號應改為積分,其他都相仿。
多用戶信道容量 多用戶信道容量問題要複雜一些。以二址接入信道為例, 這種信道有兩個輸入 X2∈A1和X2∈A2,分別與兩個信源聯結,傳送信息率分別為R1和R2;有一個輸出Y,用它去提取這兩個信源的信息。若信道的條件機率為P(y│x1,x2),則
當X1和X2相互獨立時,這些條件互信息要比相應的無條件互信息大,因此兩個信息率R1和R2的上界必為上面三個式子所限制。若調整P1(x1)和P2(x2)能使這些互信息都達到最大,就得到式中的C1,C2,C0。
要使信道容量有確切的含義,尚須證明相應的編碼定理,就是說當信息率低於信道容量時必存在一種編碼方法,使之在信道中傳輸而不發生錯誤或錯誤可任意逼近於零。已經過嚴格證明的只有無記憶單用戶信道和多用戶信道中的某些多址接入信道和退化型廣播信道。對某些有記憶信道,只能得到容量的上界和下界,確切容量尚不易規定。
計算 為了評價實際信道的利用率,應具體計算已給信道的容量。這是一個求最大值的問題。由於互信息對輸入符號機率而言是凸函式,其極值將為最大值,因此這也就是求極值的問題。對於離散信道,P(x)是一組數,滿足非負性和歸一性等條件,可用拉格朗日乘子法求得條件極值。對於連續信道,P(x)是一函式,須用變分法求條件極值。但是對於大部分信道,這些方法常常不能得到顯式的解,有時還會得到不允許的解,如求得的P(x)為負值等。為了工程目的,常把信道近似表示成某些易於解出容量的模式,如二元對稱信道和高斯信道。這兩種信道的容量分別為
C=1-H(ε)(比特/符號)
和 (比特/秒)
(比特/符號)
H(x)=-xlog2x-(1-x)log2(1-x)
高斯信道的輸入集和輸出集都是實數集(-∞,∞);干擾是加性正態白噪聲或稱為高斯白噪聲,其單邊功率譜密度為N0;信道是理想低通型的,通頻帶為F;S是允許的輸入平均功率的上限。對於其他信道的容量計算曾提出過一些方法,但都有較多的限制。比較通用的解法是疊代計算,可藉助計算機得到較精確的結果。運算公式是

這些疊代公式也是用求極值法獲得的,只是引入了反條件機率Q(x│y)作為一組新的自變數,且發現當互信息I(X;Y)取極值時,Q(x│y)恰好滿足作為反條件機率的條件。這種疊代運算最後一定收斂,而誤差將按疊代次數N的倒數趨向於零。也就是當N→∞時,計算誤差將為零而得到精確值。當N足夠大時,誤差就可小於允許值。此外,只要起始所設的P(x)滿足機率的非負性和歸一性條件,以後運算結果不會出現P(x)大於1或小於零的情況,因此所得結果總是有效的。
這一公式僅適用於離散無記憶信道,對P(x)除了非負性和歸一性外沒有其他限制。對於連續信道,只需把輸入集和輸出集離散化,就仍可用疊代公式來計算。當然如此形成的離散集,包含的元的數目越多,精度越高,計算將越繁。對於資訊理論中的其他量,如信息率失真函數,可靠性函式等,都可以用類似的方法得到的各種疊代公式來計算。