信道容量

信道容量

正文

信道能無錯誤傳送的最大信息率。對於只有一個信源和一個信宿的單用戶信道，它是一個數，單位是比特每秒或比特每符號。它代表每秒或每個信道符號能傳送的最大信息量，或者說小於這個數的信息率必能在此信道中無錯誤地傳送。對於多用戶信道，當信源和信宿都是兩個時,它是平面上的一條封閉線,如圖中的OC1ABC2O。坐標R1和R2分別是兩個信源所能傳送的信息率,也就是R1和R2落在這封閉線內部時能無錯誤地被傳送。當有m個信源和信宿時，信道容量將是m 維空間中一個凸區域的外界“面”。

信道容量

單用戶信道容量　信道是由輸入集A、輸出集B和條件機率P(y│x)，y∈B,x∈A所規定的。當B是離散集時，歸一性要求就是

當B是連續集時,P(y│x)應理解為條件機率密度，上式就成為積分形式。如A和B都是離散集，信道所傳送的信息率（每符號）就是輸出符號和輸入符號之間的互信息

互信息與P(y│x)有關，也與輸入符號的機率P(x)有關，後者可由改變編碼器來變動。若能改變P(x)使I(X;Y)最大，就能充分利用信道傳輸信息的能力，這個最大值就稱為單用戶信道容量C，即

式中∑為所有允許的輸入符號機率分布的集。
當A或B是連續集時，相應的機率應理解為機率密度，求和號應改為積分，其他都相仿。
多用戶信道容量　多用戶信道容量問題要複雜一些。以二址接入信道為例， 這種信道有兩個輸入 X2∈A1和X2∈A2，分別與兩個信源聯結,傳送信息率分別為R1和R2；有一個輸出Y,用它去提取這兩個信源的信息。若信道的條件機率為P(y│x1,x2)，則

式中I(X1;Y│X2)為條件互信息，就是當X2已確知時從Y中獲得的關於X1的信息； I（X2;Y│X1）的意義相仿；I(X1,X2;Y)為無條件互信息，就是從Y中獲得的關於X1和X2的信息。E1和 E2分別為所有允許的輸入符號的機率分布P1(x1)和P2(x2)的集。
當X1和X2相互獨立時,這些條件互信息要比相應的無條件互信息大,因此兩個信息率R1和R2的上界必為上面三個式子所限制。若調整P1(x1)和P2(x2)能使這些互信息都達到最大，就得到式中的C1，C2，C0。

因此R1和R2的範圍將如圖中的一個截角四邊形區域,其外圍封閉線就是二址接入信道的容量上界。m址接入信道有類似的結果。更一般的多用戶的情況還要複雜。
要使信道容量有確切的含義，尚須證明相應的編碼定理，就是說當信息率低於信道容量時必存在一種編碼方法，使之在信道中傳輸而不發生錯誤或錯誤可任意逼近於零。已經過嚴格證明的只有無記憶單用戶信道和多用戶信道中的某些多址接入信道和退化型廣播信道。對某些有記憶信道，只能得到容量的上界和下界，確切容量尚不易規定。
計算　為了評價實際信道的利用率，應具體計算已給信道的容量。這是一個求最大值的問題。由於互信息對輸入符號機率而言是凸函式，其極值將為最大值，因此這也就是求極值的問題。對於離散信道，P(x)是一組數，滿足非負性和歸一性等條件，可用拉格朗日乘子法求得條件極值。對於連續信道，P(x)是一函式，須用變分法求條件極值。但是對於大部分信道，這些方法常常不能得到顯式的解，有時還會得到不允許的解，如求得的P(x)為負值等。為了工程目的，常把信道近似表示成某些易於解出容量的模式，如二元對稱信道和高斯信道。這兩種信道的容量分別為

C＝1-H(ε)（比特／符號）

和

（比特／秒）

後者當F→∞時為

（比特／符號）

二元對稱信道的輸入集和輸出集都是二元集｛0,1｝,條件機率為P(0│0)＝P(1│1)＝1-ε,P(0│1)＝P(1│0)＝ε，是對稱的。ε一般稱為誤碼率或差錯機率,而H(x)是熵函式，即

H(x)＝-xlog2x-(1-x)log2(1-x)

高斯信道的輸入集和輸出集都是實數集(-∞,∞)；干擾是加性正態白噪聲或稱為高斯白噪聲，其單邊功率譜密度為N0；信道是理想低通型的，通頻帶為F；S是允許的輸入平均功率的上限。
對於其他信道的容量計算曾提出過一些方法，但都有較多的限制。比較通用的解法是疊代計算，可藉助計算機得到較精確的結果。運算公式是

式中 可先任設一組P(x)，例如等機率分布。用前一式求得各Q（x│y）,再用這些Q（x│y）代入後一式求得新的各P(x)；再用這些 P(x)代入前一式去求新的Q（x│y）；依此疊代下去,直到新的P(x)與前次的P(x)已經相等或差別小於允許值。用這時的P(x)去求I(X;Y),就是所需的信道容量C。
這些疊代公式也是用求極值法獲得的，只是引入了反條件機率Q（x│y）作為一組新的自變數,且發現當互信息I(X;Y)取極值時，Q(x│y)恰好滿足作為反條件機率的條件。這種疊代運算最後一定收斂，而誤差將按疊代次數N的倒數趨向於零。也就是當N→∞時，計算誤差將為零而得到精確值。當N足夠大時,誤差就可小於允許值。此外，只要起始所設的P(x)滿足機率的非負性和歸一性條件,以後運算結果不會出現P(x)大於1或小於零的情況，因此所得結果總是有效的。
這一公式僅適用於離散無記憶信道，對P(x)除了非負性和歸一性外沒有其他限制。對於連續信道，只需把輸入集和輸出集離散化，就仍可用疊代公式來計算。當然如此形成的離散集，包含的元的數目越多，精度越高，計算將越繁。對於資訊理論中的其他量，如信息率失真函數，可靠性函式等，都可以用類似的方法得到的各種疊代公式來計算。

配圖

相關連線