概述
最小平方法通常用於曲線擬合。很多其他的最佳化問題也可通過最小化能量或最大化熵用最小二乘形式表達。
歷史
1801義大利天文學家朱賽普·皮亞齊發現了第一顆小行星穀神星,在40天的跟蹤觀測後,穀神星運行至太陽背後。皮亞齊失去了穀神星的位置。隨後全世界的科學家通過皮亞齊的觀測數據開始了尋找穀神星的行動。但是大多數的計算都沒有結果,只有當時年僅24歲的高斯成功計算出了穀神星的軌道,奧地利天文學家海因里希·奧爾伯斯在高斯計算出的軌道上發現了重新發現了穀神星,從此高斯聞名世界。他的這個最小二乘的方法發表在1809年的著作《天體運動論》中。法國科學家勒讓德也於1806年獨立發明最小平方法。
1829年,高斯提供了這個方法較其它方法為優的證明:最小平方法在很大方面上最佳化效果犟於其它方法,被稱為高斯-莫卡夫定理。