高斯牛頓算法

高斯牛頓法的基本思想是使用泰勒級數展開式去近似地代替非線性回歸模型，然後通過多次疊代，多次修正回歸係數，使回歸係數不斷逼近非線性回歸模型的最佳回歸係數，最後使原模型的殘差平方和達到最小。高斯—牛頓法的一般步驟為：
(1)初始值的選擇。其方法有三種，一是根據以往的經驗選定初始值；二是用分段法求出初始值；三是對於可線性化的非線性回歸模型，通過線性變換，然後施行最小平方法求出初始值。
(2)泰勒級數展開式。設非線性回歸模型為：
i=1,2,…,n(3-68)其中r為待估回歸係數，誤差項～N(0,)