估計理論
正文
套用統計學方法來研究,用接收到的有噪聲的觀測數據估計實際參量或隨機變數、隨機過程或系統某些特性的理論,為資訊理論的一個分支。估計分為參量估計和狀態估計兩類。參量和狀態的區別是:前者隨著時間保持不變或只緩慢變化;後者則隨著時間連續變化。例如,根據雷達回波來估計每一時刻在連續變化的衛星的三個空間位置矢量和三個速度矢量,這是狀態估計。對衛星的質量和慣量等的估計則屬於參量估計。被估計的參量又可分為隨機變數和非隨機變數兩種。要估計的狀態則又有離散時間和連續時間的區別。發展概況 19世紀初,德國數學家C.F.高斯提出了最小二乘法估計(最小平方誤差估計)。從20世紀20年代到30年代,英國統計學家R.A.費歇耳系統地建立了經典估計理論。1941年蘇聯科學家H.柯爾莫戈洛夫首先論述離散時間情況下的預測問題。美國科學家N.維納於1942年推導出連續時間濾波。他們都把統計方法套用於解決與狀態估計有關的最佳線性濾波問題,為現代估計理論奠定了基礎。60年代初,R.E.卡爾曼等人發展了維納理論,把狀態變數法引入濾波理論,用時域微分方程表示濾波問題,得到遞歸濾波算法,適於用計算機求解和實時處理。這一突破使估計理論在許多領域得到實際套用。80年代初,光纖通信和雷射雷達等逐漸成為工程現實,量子信道與量子檢測和估計理論遂引起人們的注意。












估計方法 常用的估計方法有最小平方誤差估計、極大似然估計和貝葉斯估計。
① 最小平方誤差估計:對信號和噪聲的統計知識可以不作任何要求。它的基本點是使 n次觀測值與理論計算值的絕對誤差在平方和意義下最小,並由此求得估計量

u=f(θ1,θ2,…,θm;x,y,…)
對u和x,y,…作n次觀測,得(xi,yi,…,ui) (i=1,2,…,n)
於是u的理論計算值

媉θ/媉θi=0 (i=1,2,…,m)
由此可求得最小平方誤差估計量


②極大似然估計:以似然函式的概念為基礎。用Y表示一組觀測量,θ表示一組未知參量,則條件密度函式p(Y|θ)是Y 和θ兩者的函式。如果規定Y等於其觀測量Y*,則p(Y*│θ只是θ的函式,並稱為似然函式。其涵義是似然函式p(Y*|θ)的值越大,則θ是準確值的可能性也越大。使p(Y*θ)最大的θ就是極大似然估計量,通常用

③貝葉斯估計:對於單參量估計(多參量估計的情況相似)來說,首先要給定隨機參量 θ的機率密度函式p(θ)和因估計誤差而帶來的代價函式C(θ,



參考書目
H. L. Van Trees, Detection, Estimation and Modulation Theory, Part I, John Wiley,New York,1968.