線性最小二乘估計

線性最小二乘估計，以誤差的平方和最小為準則根據觀測數據估計線性模型中未知參數的一種基本參數估計方法。1794年德國數學家C.F.高斯在解決行星軌道預測問題時首先提出最小二乘法。它的基本思路是選擇估計量使模型（包括靜態或動態的，線性或非線性的）輸出與實測輸出之差的平方和達到最小。

線性最小二乘估計

正文

以誤差的平方和最小為準則根據觀測數據估計線性模型中未知參數的一種基本參數估計方法。1794年德國數學家C.F.高斯在解決行星軌道預測問題時首先提出最小二乘法。它的基本思路是選擇估計量使模型（包括靜態或動態的，線性或非線性的）輸出與實測輸出之差的平方和達到最小。這種求誤差平方和的方式可以避免正負誤差相抵，而且便於數學處理（例如用誤差的絕對值就不便於處理）。線性最小二乘法是套用最廣泛的參數估計方法，它在理論研究和工程套用中都具有重要的作用，同時它又是許多其他更複雜方法的基礎。線性最小二乘法是最小二乘法最簡單的一種情況，即模型對所考察的參數是線性的。線性動態模型為

yk＝xθ＋εk

式中數據向量xk＝【yk-1，yk-2,…,yk-n，uk-1，uk-2,…，uk-n】T；參數向量θ＝【-a1,-a2,…,-an，b1,b2,…,bn】T；εk為誤差；n為模型階數；N為數據長度（N≥2n）。
選擇估計準則

使J為最小的參數估計，稱為模型的線性最小二乘估計，用符號孌LS表示。可以得出

孌LS＝(XTX)-1XTY

式中矩陣XT＝【xn+1，xn+2,…,xnn+N】；向量Y＝【yn+1，yn+2，…,ynn+N】T。
孌LS是數據的線性函式，因此稱為線性最小二乘估計。它的突出優點是：對於任何一組數據，只要孌LS存在，不要求了解誤差序列{εk}的統計特性，便能按照J求出孌LS；算法很簡單。
孌LS存在的條件是矩陣(XTX)滿秩,這要求{uk}為n階持續激勵輸入。
當誤差序列{εk}是零均值的白噪聲,並對輸入、輸出功率加以適當的限制時，孌LS是漸近無偏的強一致性估計,即當N →∞時,。但是對於有限的數據,上述結論不能成立,而且通常誤差{εk}也不是白噪聲,故一般情況下孌LS是有偏估計，這是它的缺點。為了克服這個缺點，可以採用其他改進的估計算法，例如廣義最小二乘估計、輔助變數估計和極大似然估計等。
上述單輸入單輸出系統的線性最小二乘估計算法還可推廣到多輸入多輸出系統，並且有相應的遞推估計算法。
參考書目
　G.C.哥德溫、R.L.潘恩著，張永光、袁震東譯：《動態系統辨識：試驗設計與數據分析》，科學出版社，北京，1983。(G.C.Goodwin and R.L. Payne，DynamicSystem　Identification: Experi-ment　Design and Data Analysis, Academic Press, NewYork,1977.)

配圖

相關連線