核[數學名詞]

支持向量機通過某非線性變換 φ( x) ，將輸入空間映射到高維特徵空間。特徵空間的維數可能非常高。如果支持向量機的求解只用到內積運算，而在低維輸入空間又存在某個函式 K(x, x′) ，它恰好等於在高維空間中這個內積，即K( x, x′) =。那么支持向量機就不用計算複雜的非線性變換，而由這個函式 K(x, x′) 直接得到非線性變換的內積，使大大簡化了計算。這樣的函式 K(x, x′) 稱為核函式。

歷史

早在1964年Aizermann等在勢函式方法的研究中就將該技術引入到機器學習領域，但是直到1992年Vapnik等利用該技術成功地將線性SVMs推廣到非線性SVMs時其潛力才得以充分挖掘。而核函式的理論則更為古老，Mercer定理可以追溯到1909年，再生核希爾伯特空間(ReproducingKernel Hilbert Space, RKHS)研究是在20世紀40年代開始的。

定義

核函式包括線性核函式、多項式核函式、高斯核函式等，其中高斯核函式最常用，可以將數據映射到無窮維，也叫做徑向基函式（Radial Basis Function 簡稱 RBF），是某種沿徑向對稱的標量函式。通常定義為空間中任一點x到某一中心xc之間歐氏距離的單調函式，可記作 k（||x-xc||）， 其作用往往是局部的，即當x遠離xc時函式取值很小。

分類

核函式的選擇要求滿足Mercer定理（Mercer's theorem），即核函式在樣本空間內的任意格拉姆矩陣（Gram matrix）為半正定矩陣（semi-positive definite）。常用的核函式有：線性核函式，多項式核函式，徑向基核函式，Sigmoid核函式和複合核函式，傅立葉級數核，B樣條核函式和張量積核函式等。

平穩和各向同性核函式

具有平穩性（stationarity）的核函式僅是特徵空間下樣本間向量的函式，對指數集的平移變換保持不變（translation invariant）。若樣本的協方差與其向量的方向無關，即僅與距離有關，則可使用具有各向同性（isotropy）的核函式。很多核函式同時滿足平穩性和各向同性，這裡給出其常見例子：

1. 徑向基函式核（RBF kernel）

核[數學名詞]

核[數學名詞]

核[數學名詞]

式中 ， 為RBF核的超參數，定義了學習樣本間相似性的特徵長度尺度（characteristic length-scale），即權重空間視角下特徵空間映射前後樣本間距離的比例。

2. 馬頓核（Matérn kernel）

核[數學名詞]

核[數學名詞]

核[數學名詞]

核[數學名詞]

核[數學名詞]

核[數學名詞]

核[數學名詞]

式中 為核函式的超參數， 為修正貝塞爾函式（modified Bessel function）。由修正貝塞爾函式的定義可知，馬頓核是指數函式與多項式函式的乘積，其可導性，或平滑程度與 有關， 的常見選擇為1.5和2.5。當 時，馬頓核等價於以 為特徵尺度的RBF核。

3. 指數函式核（exponential kernel）

核[數學名詞]

核[數學名詞]

指數函式核是馬頓核在 的特殊形式，通常對應奧恩斯坦-烏倫貝克過程（Ornstein-Uhlenbeck Process, OU）。OU過程是一個連續但不平滑（均方不可導）的隨機過程。其對應的數學模型是維納過程（Wiener process）下質點運動的速度。

4. 二次有理函式核（rational quadratic kernel, RQ kernel）

核[數學名詞]

核[數學名詞]

核[數學名詞]

核[數學名詞]

式中 為超參數。可以證明，RQ核是無窮個RBF核的線性疊加，當 趨於無窮時，RQ核等價於以 為特徵尺度的RBF核。

其它

1. 周期核函式（periodickernel）

核[數學名詞]

核[數學名詞]

核[數學名詞]

平穩核函式可以用於構建周期核函式： 式中， 表示該核函式具有的周期，例如由RBF核得到的周期核的形式為： 。

2. 內積核函式（dot product kernel）

核[數學名詞]

核[數學名詞]

內積核函式也被稱為多項式核函式，其形式為： ，式中 表示多項式的階數。

3. 各向異性核函式

核[數學名詞]

核[數學名詞]

核[數學名詞]

核[數學名詞]

對各向同性核函式 ，定義 可將各向同性核函式轉化為各向異性核函式，式中 是表征各向異性的函式，其格拉姆矩陣的對角元素表示 對不同維度所取的不同尺度。

理論

根據模式識別理論，低維空間線性不可分的模式通過非線性映射到高維特徵空間則可能實現線性可分，但是如果直接採用這種技術在高維空間進行分類或回歸，則存在確定非線性映射函式的形式和參數、特徵空間維數等問題，而最大的障礙則是在高維特徵空間運算時存在的“維數災難”。採用核函式技術可以有效地解決這樣問題。

設x,z∈X,X屬於R（n）空間，非線性函式Φ實現輸入空間X到特徵空間F的映射，其中F屬於R（m），n<<m。根據核函式技術有：

K(x,z) =<Φ(x)，Φ(z) > (1)

其中：<, >為內積，K(x,z)為核函式。從式(1)可以看出，核函式將m維高維空間的內積運算轉化為n維低維輸入空間的核函式計算，從而巧妙地解決了在高維特徵空間中計算的“維數災難”等問題，從而為在高維特徵空間解決複雜的分類或回歸問題奠定了理論基礎。

性質

核函式具有以下性質：

（1）核函式的引入避免了“維數災難”，大大減小了計算量。而輸入空間的維數n對核函式矩陣無影響，因此，核函式方法可以有效處理高維輸入。

（2）無需知道非線性變換函式Φ的形式和參數.

（3）核函式的形式和參數的變化會隱式地改變從輸入空間到特徵空間的映射，進而對特徵空間的性質產生影響，最終改變各種核函式方法的性能。

（4）核函式方法可以和不同的算法相結合，形成多種不同的基於核函式技術的方法，且這兩部分的設計可以單獨進行，並可以為不同的套用選擇不同的核函式和算法。