簡介
相關向量機（RelevanceVectorMachine,RVM）是Tipping在2001年在貝葉斯框架的基礎上提出的，它有著與支持向量機（Supportvectormachine,簡稱SVM）一樣的函式形式，與SVM一樣基於核函式映射將低維空間非線性問題轉化為高維空間的線性問題。
相關向量機的訓練是在貝葉斯框架下進行的，在先驗參數的結構下基於主動相關決策理論（automaticrelevancedetermination，簡稱ARI）來移除不相關的點，從而獲得稀疏化的模型。由於在樣本數據的疊代學習過程中，大部分參數的後驗分布趨於零，而非零參數所對應的學習樣本，與決策域的樣本並不相關，只代表數據中的原型樣本，因此稱這些樣本為相關向量（RelevanceVectors），體現了數據中最核心的特徵。同支持向量機相比，相關向量機最大的優點就是極大地減少了核函式的計算量，並且也克服了所選核函式必須滿足Mercer條件的缺點。
相關向量機與支持向量機的比較
1.SVM基於結構風險最小化原則構建學習機，RVM基於貝葉斯框架構建學習機
2.與SVM相比，RVM不僅獲得二值輸出，而且獲得機率輸出
3.在核函式的選擇上，不受梅西定理的限制，可以構建任意的核函式
4.不需對懲罰因子做出設定。在SVM中懲罰因子是平衡經驗風險和置信區間的一個常數，實驗結果對該數據十分敏感，設定不當會引起過學習等問題。但是在RVM中參數自動賦值
5.與SVM相比，RVM更稀疏，從而測試時間更短，更適用於線上檢測。眾所周知，SVM的支持向量的個數隨著訓練樣本的增大成線性增長，當訓練樣本很大的時候，顯然是不合適的。雖然RVM的相關向量也隨著訓練樣本的增加而增加，但是增長速度相對SVM卻慢了很多。
6.學習機有一個很重要的能力是泛化能力，也就是對於沒有訓練過的樣本的測試能力。文章表明，RVM的泛化能力好於SVM。
7.無論是在回歸問題上還是分類問題上，RVM的準確率都不亞於SVM。
8.但是RVM訓練時間長
RVM原理步驟
RVM通過最大化後驗機率（MAP）求解相關向量的權重。對於給定的訓練樣本集{tn,xn}，類似於SVM,RVM的模型輸出定義為
y(x;w)=∑Ni=1wiK(X,Xi)+w0
其中wi為權重，K(X,Xi)為核函。因此對於,tn=y(xn,w)+εn,假設噪聲εn服從均值為0,方差為σ2的高斯分布,則p(tn|ω,σ2)=N(y(xi,ωi),σ2),設tn獨立同分布,則整個訓練樣本的似然函式可以表示出來。對w與σ2的求解如果直接使用最大似然法，結果通常使w中的元素大部分都不是0，從而導致過學習。在RVM中我們想要避免這個現像，因此我們為w加上先決條件：它們的機率分布是落在0周圍的常態分配:p(wi|αi)=N(wi|0,α?1i),於是對w的求解轉化為對α的求解，當α趨於無窮大的時候，w趨於0。
RVM的步驟可以歸結為下面幾步：
1.選擇適當的核函式，將特徵向量映射到高維空間。雖然理論上講RVM可以使用任意的核函式，但是在很多套用問題中，大部分人還是選擇了常用的幾種核函式，RBF核函式，Laplace核函式，多項式核函式等。尤其以高斯核函式套用最為廣泛。可能於高斯和核函式的非線性有關。選擇高斯核函式最重要的是頻寬參數的選擇，頻寬過小，則導致過學習，頻寬過大，又導致過平滑，都會引起分類或回歸能力的下降
2.初始化α，σ2。在RVM中α，σ2是通過疊代求解的，所以需要初始化。初始化對結果影響不大
3.疊代求解最優的權重分布。
4.預測新數據
套用
1、分類在人臉面部表情識別，人臉檢測，文本識別，圖形選擇，垃圾郵件識別中都有不俗表現
2、回歸主要套用在物體的跟蹤，3D姿態估計，3D模型恢復
3、最近研究SVM希望首先能夠儘快實現SVM之DEMO
