廣義最小二乘估計
正文
用疊代的鬆弛算法對線性最小二乘估計的一種改進。線性最小二乘估計在模型誤差為相關噪聲時是有偏估計,即其估計值存在偏差。這時採用廣義最小二乘估計能獲得較精確的結果。假設所討論的單輸入單輸出系統的差分方程模型是



廣義最小二乘估計採用疊代的鬆弛算法:先行固定C(z-1),估計A(z-1)和B(z-1),使J 趨於極小;然後固定A(z-1)和B(z-1),估計C(z-1),使 J 趨於極小。如此反覆疊代,直至估計值收斂。這時每步只進行簡單的線性最小二乘估計運算,疊代的初值取扗(z-1)=1。
廣義最小二乘估計算法的估計精度高,已得到套用並獲得不少成果。它的缺點在於:當信噪比較小時,J可能有多個局部極小點,估計結果不能保證收斂到全局最小點,即參數真值;它的計算量也比線性最小二乘估計增加很多。
這種算法也可推廣到多輸入多輸出系統,並且有相應的近似遞推估計算法。當誤差{ek}為正態噪聲序列時,這種算法還可以解釋為極大似然估計的鬆弛算法。
參考書目
G.G.哥德溫、R.L.潘恩著,張永光、袁震東譯:《動態系統辨識:試驗設計與數據分析》,科學出版社,北京,1983。(G.C.Goodwin and R.L.Payne,dynamic system Identification:Experiment Design and Data Analysis, Academic Press, New York,1977.)