簡介
理論的提出
LLE 是 S.T.Roweis 等人提出了一種針對非線性數據的無監督降維方法,它是流形學習算法中的一種用局部線性反映全局的非線性的算法,並能夠使降維的數據保持原有數據的拓撲結構。LLE 是一種用局部線性的非線性維數約簡方法,該算法在一定程度上擴大了對維數約簡的認識。
自從在 2000 年 Roweis 提出了局部線性嵌入(LLE)算法後,使得流行學習在最近幾年裡得到迅速發展,流行學習與傳統的線性降維方法相比,能夠非常有效地發現非線性高維空間的維數,有利於對高維數據的維數約簡和數據分析,在機器學習和認知科學領域受到廣大研究者的重視。
基本原理
LLE 算法假設在局部領域內數據點是線性的,所以鄰域內任意一點,都可用局部近鄰點來線性表示。LLE 算法是由重構成本函式最小化求出最優權值,各點的局部鄰域權值能夠在多尺度變換下仍保持不變。LLE 算法無疊代計算過程,可使計算複雜度大幅度的減小。
假設樣本集由 N 個 D 維矢量Xi 組成。每一樣本點都可以用它的近鄰域點帶權值線性組合表示,其中權值能反映出局部鄰域的信息。根據這些信息,可使這種低維空間中仍保留原高維空間中的幾何性質,通過重疊的局部鄰域,得到整體的信息。這種方法的關鍵就在於:用局部線性結構來反映全局的非線性結構。在每一小塊局部上,流行可近似的看成是平坦的,故這種算法不會產生較大的錯誤
將 N 個 D 維矢量組成的矩陣作為輸入,輸出矢量為一個 N 個 d 維矢量(d<D)組成的矩陣。矩陣 Y 的第 k 列對應是矩陣 X 中的第 k 列。
優缺點
優點
(1)LLE 算法能夠突破主元分析法在非線性數據的局限,可以處理、分析非線性信號。
(2)該算法可以很好表達數據的內在流形結構,能夠保留數據的本質特徵,這樣可以很好的保留原有數據特徵,這點在故障診斷中有重要的意義。
(3)該算法本身參數的選擇很少,故能更好的進行特徵參數最佳化,這為故障檢測和故障診斷打下堅實的基礎。
缺點
(1)LLE 算法需要進行稠密採樣;
(2)該算法的局部鄰域參數 k、嵌入維數 d 和信號中的噪聲,會影響高維空間的降維效果;
(3)LLE 無法處理等距流形等。
主要套用
LLE 主要套用在人臉識別,圖像處理等領域中,在故障診斷中套用較少,並且大部分是在信號處理中的套用。