LASSO[回歸模型]

LASSO是由1996年Robert Tibshirani首次提出，全稱Least absolute shrinkage and selection operator。該方法是一種壓縮估計。它通過構造一個懲罰函式得到一個較為精煉的模型，使得它壓縮一些回歸係數，即強制係數絕對值之和小於某個固定值；同時設定一些回歸係數為零。因此保留了子集收縮的優點，是一種處理具有復共線性數據的有偏估計。

LASSO回歸

LASSO[回歸模型]

LASSO是在RSS最小化的計算中加入一個範數作為罰約束。

LASSO[回歸模型]

LASSO[回歸模型]

範數的好處是當充分大時，可以把某些待估係數精確地收縮到零。

LASSO[回歸模型]

LASSO[回歸模型]

LASSO[回歸模型]

LASSO[回歸模型]

調整參數

的確定
通過交叉驗證法：對的給定值，進行交叉驗證，選取交叉驗證誤差最小的值。然後按照得到的值，用全部數據重新擬合模型即可。