對數幾率回歸

利用廣義線性模型解決二分類任務的一種方法。

對數幾率回歸 ,簡稱對率回歸,又稱邏輯回歸,是使用Sigmoid函式作為聯繫函式時的廣義線性模型,是廣義線性模型的一個特例。

定義

對數幾率回歸 對數幾率回歸
對數幾率回歸 對數幾率回歸
對數幾率回歸 對數幾率回歸

假設要用列向量 預測二分類結果,有數據集。

對數幾率回歸 對數幾率回歸
對數幾率回歸 對數幾率回歸
對數幾率回歸 對數幾率回歸

由廣義線性模型可知,只要找一個聯繫函式,其值域為即可。

對數幾率回歸 對數幾率回歸

最理想的聯繫函式是單位階躍函式(unit-step function)。

但是單位階躍函式不連續,難以求導,所以用對數幾率函式代替。

對數幾率回歸 對數幾率回歸

對數幾率函式(logistic function),簡稱對率函式,定義式為。

對數幾率回歸 對數幾率回歸

得到擬合模型。

對數幾率回歸 對數幾率回歸
對數幾率回歸 對數幾率回歸
對數幾率回歸 對數幾率回歸

為簡便起見,設,,則有。

對數幾率回歸 對數幾率回歸

下面將擬合模型的因變數看作的機率,使用極大似然法。

對數幾率回歸 對數幾率回歸

對於數據集的每一個樣本,有機率。

對數幾率回歸 對數幾率回歸
對數幾率回歸 對數幾率回歸

考慮到,則有

對數幾率回歸 對數幾率回歸
對數幾率回歸 對數幾率回歸

求出令損失函式最小時的值,就可求出模型參數。

性質

對數幾率回歸 對數幾率回歸
對數幾率回歸 對數幾率回歸

可使用梯度下降法、牛頓法等求損失函式最小時的參數值。

套用

二分類任務

相關詞條

熱門詞條

聯絡我們