人物簡介
貝葉斯(ThomasBayes,1702 —1761)英國牧師、業餘數學家。生活在18世紀的貝葉斯生前是位受人尊敬英格蘭長老會牧師。為了證明上帝的存在，他發明了機率統計學原理，遺憾的是，他的這一美好願望至死也未能實現。貝葉斯在數學方面主要研究機率論。他首先將歸納推理法用於機率論基礎理論，並創立了貝葉斯統計理論，對於統計決策函式、統計推斷、統計的估算等做出了貢獻。1763年發表了這方面的論著，對於現代機率論和數理統計都有很重要的作用。貝葉斯的另一著作《機會的學說概論》發表於1758年。
貝葉斯所採用的許多術語被沿用至今。貝葉斯思想和方法對機率統計的發展產生了深遠的影響。今天，貝葉斯思想和方法在許多領域都獲得了廣泛的套用。從二十世紀20~30年代開始，機率統計學出現了“頻率學派”和“貝葉斯學派”的爭論，至今，兩派的恩恩怨怨仍在繼續。
理論概述
貝葉斯決策理論是主觀貝葉斯派歸納理論的重要組成部分。
貝葉斯決策就是在不完全情報下，對部分未知的狀態用主觀機率估計，然後用貝葉斯公式對發生機率進行修正，最後再利用期望值和修正機率做出最優決策。
貝葉斯決策理論方法是統計模型決策中的一個基本方法，其基本思想是：
1、已知類條件機率密度參數表達式和先驗機率。
2、利用貝葉斯公式轉換成後驗機率。
3、根據後驗機率大小進行決策分類。
他對統計推理的主要貢獻是使用了"逆機率"這個概念，並把它作為一種普遍的推理方法提出來。貝葉斯定理原本是機率論中的一個定理，這一定理可用一個數學公式來表達，這個公式就是著名的貝葉斯公式。 貝葉斯公式是他在1763年提出來的：
假定B1,B2,……是某個過程的若干可能的前提，則P(Bi)是人們事先對各前提條件出現可能性大小的估計，稱之為先驗機率。如果這個過程得到了一個結果A，那么貝葉斯公式提供了我們根據A的出現而對前提條件做出新評價的方法。P(Bi∣A)即是對以A為前提下Bi的出現機率的重新認識，稱 P(Bi∣A)為後驗機率。經過多年的發展與完善，貝葉斯公式以及由此發展起來的一整套理論與方法，已經成為機率統計中的一個冠以“貝葉斯”名字的學派，在自然科學及國民經濟的許多領域中有著廣泛套用。
貝葉斯公式
設
，
...，
為樣本空間S的一個劃分，如果以
表示事件
發生的機率，且
。對於任一事件
，
，則有：
理論分析
分析
（1）如果我們已知被分類類別機率分布的形式和已經標記類別的訓練樣本集合，那我們就需要從訓練樣本集合中來估計機率分布的參數。在現實世界中有時會出現這種情況。（如已知為常態分配了，根據標記好類別的樣本來估計參數，常見的是極大似然率和貝葉斯參數估計方法）（2）如果我們不知道任何有關被分類類別機率分布的知識，已知已經標記類別的訓練樣本集合和判別式函式的形式，那我們就需要從訓練樣本集合中來估計判別式函式的參數。在現實世界中有時會出現這種情況。（如已知判別式函式為線性或二次的，那么就要根據訓練樣本來估計判別式的參數，常見的是線性判別式和神經網路）
（3）如果我們既不知道任何有關被分類類別機率分布的知識，也不知道判別式函式的形式，只有已經標記類別的訓練樣本集合。那我們就需要從訓練樣本集合中來估計機率分布函式的參數。在現實世界中經常出現這種情況。（如首先要估計是什麼分布，再估計參數。常見的是非參數估計）
（4）只有沒有標記類別的訓練樣本集合。這是經常發生的情形。我們需要對訓練樣本集合進行聚類，從而估計它們機率分布的參數。（這是無監督的學習）
（5）如果我們已知被分類類別的機率分布，那么，我們不需要訓練樣本集合，利用貝葉斯決策理論就可以設計最優分類器。但是，在現實世界中從沒有出現過這種情況。這裡是貝葉斯決策理論常用的地方。
問題
問題：假設我們將根據特徵矢量x提供的證據來分類某個物體，那么我們進行分類的標準是什麼？decidewj，if（p(wj|x)>p(wi|x)）(i不等於j)套用貝葉斯展開後可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj)，決策規則就是似然率測試規則。結論
結論：對於任何給定問題，可以通過似然率測試決策規則得到最小的錯誤機率。此錯誤機率稱為貝葉斯錯誤率，且是所有分類器中可以得到的最好結果。最小化錯誤機率的決策規則就是最大化後驗機率判據。決策判據
貝葉斯(1)樣本(子樣)的數量(容量)不充分大，因而大子樣統計理論不適宜的場合。
(2)試驗具有繼承性，反映在統計學上就是要具有在試驗之前已有先驗信息的場合。用這種方法進行分類時要求兩點： 第一，要決策分類的參考總體的類別數是一定的。例如兩類參考總體(正常狀態Dl和異常狀態D2)，或L類參考總體D1，D2，…，DL(如良好、滿意、可以、不滿意、不允許、……)。
第二，各類參考總體的機率分布是已知的，即每一類參考總體出現的先驗機率P(Di)以及各類機率密度函式P(x/Di)是已知的。顯然，0≤P(Di)≤1，(i=l，2，…，L)，∑P(Di)=1。對於兩類故障診斷問題，就相當於在識別前已知正常狀態D1的機率P(D1)和異常狀態0：的機率P(D2)，它們是由先驗知識確定的狀態先驗機率。如果不做進一步的仔細觀測，僅依靠先驗機率去作決策，那么就應給出下列的決策規則：若P(D1)>P(D2)，則做出狀態屬於D1類的決策；反之，則做出狀態屬於D2類的決策。例如，某設備在365天中，有故障是少見的，無故障是經常的，有故障的機率遠小於無故障的機率。因此，若無特別，j明顯的異常狀況，就應判斷為無故障。顯然，這樣做對某一實際的待檢狀態根本達不到診斷的目的，這是由於只利用先驗機率提供的分類信息太少了。為此，我們還要對系統狀態進行狀態檢測，分析所觀測到的信息。
