非參數化回歸

非參數化回歸是指並不需要知道總的分布的情況下進行的一種統計推斷回歸方法。

評價

優點

(1)回歸函式形式自由，受約束少，對數據的分布一般不做任何要求；

(2)適應能力強，穩健性高，回歸模型完全由數據驅動；

(3)模型的精度高；

(4)對於非線性、非齊次問題，有非常好的效果。

缺點

(1)不能進行外推運算；

(2)估計的收斂速度慢；

(3)一般只有在大樣本的情況下才能得到很好的效果，而小樣本的效果較差；

(4)高維詛咒, 光滑參數的選取一般較複雜。

參數的選取

理想的情況是希望選擇合適的光滑參數h，使得通過樣本數據擬合的回歸曲線能夠最好的逼近真實的回歸曲線(即達到風險最小)，這裡真實回歸函式m(x)一般是未知的。

但是這並不是一個好的估計，會導致過擬合（欠光滑），原因在於兩次利用了數據，一次估計函式，一次估計風險。我們選擇的函式估計就是使得殘差平方和達到最小，因此它傾向於低估了風險。

相關標準

(1)直接插入法(Direct Plug-In , DPI)；

(2)罰函式法(penalizing function) ；

(3)單邊交叉驗證(One Sided Cross Validation，OSCV)；

(4)拇指規則(Rule Of Thumb)。