簡介
貝葉斯估計貝葉斯估計將後驗機率（考慮相關證據或數據後，某一事件的條件機率）推導為二個前、先驗機率（考慮相關證據或數據前，某一事件不確定性的機率）及似然函式（由機率模型推導而得）的結果。貝葉斯推斷根據貝葉斯定理計算後驗機率：
其中，
貝葉斯估計
貝葉斯估計1) 表示將某事件成立作為條件（因此 表示假定B成立的A）
貝葉斯估計2)表示假說，其機率可能會受實驗數據（以下會稱為證據）影響。一般來說會有許多互相矛盾的
假說，任務是要確認哪一個假說可能性最高。
貝葉斯估計3)表示證據。證據對應新的數據，也就是還沒用來計算先驗機率的數據。
貝葉斯估計 貝葉斯估計 貝葉斯估計4)，先驗機率，是觀察到數據 （目前證據）之前，假說 的機率。
貝葉斯估計 貝葉斯估計 貝葉斯估計 貝葉斯估計5) ，後驗機率，是在給定證據 之後，假說 的機率，是希望求得的資訊，也就是在有目前證據時，假說 的機率。
貝葉斯估計 貝葉斯估計 貝葉斯估計 貝葉斯估計 貝葉斯估計 貝葉斯估計 貝葉斯估計6) 是假定 成立時，觀察到 的機率。在 不變時，這是 的函式，也是似然函式，指出在給定假設下假說和證據的相容程度。似然函式是證據 的函式，而後驗機率是假說 的函式。
貝葉斯估計7) 有時會稱為邊緣似然率。此係數對所有可能的假說都是定值，因此在判斷不同假說的相對機率時，不會用到這個係數中。
貝葉斯估計 貝葉斯估計 貝葉斯估計 貝葉斯估計針對不同的 數值，只有 和 （都在分子）會影響 的數值。假說的後驗機率和其先驗機率（固有似然率）和新產生的似然率（假說和新得到證據的相容性）乘積成正比。
貝葉斯定理也可以寫成下式：
貝葉斯估計
貝葉斯估計 貝葉斯估計 貝葉斯估計其中係數可以解釋成 對 機率的影響。
貝葉斯估計最關鍵的點是可以利用貝斯定理結合新的證據及以前的先驗機率，來得到新的機率（這和頻率論推論相反，頻率論推論只考慮證據，不考慮先驗機率） 。
而且貝葉斯估計可以疊代使用：在觀察一些證據後得到的後設機率可以當作新的先驗機率，再根據新的證據得到新的後設機率。因此貝斯定理可以套用在許多不同的證據上，不論這些證據是一起出現或是不同時出現都可以，這個程式稱為貝葉斯更新（Bayesian updating）。
定義
1.參數
貝葉斯估計1) 是數據點，可能是一個有許多數值形成的向量。
貝葉斯估計
貝葉斯估計2) 是數據點分布的參數，也就是說 。這也有可能是參數形成的向量。
貝葉斯估計
貝葉斯估計3) 是參數的超參數，也就是說 。這也有可能是超參數形成的向量。
貝葉斯估計
貝葉斯估計
貝葉斯估計4) ，由觀測到的 個數據點組成的一組數據，
貝葉斯估計5) ，需預測分布的新數據點。
2.定義描述
貝葉斯估計1） 先驗分布是在觀測資料前的參數分布 ；
2）先驗分布可能不容易確認，此時可以用傑佛里斯事前分配在更新較新的觀測值時，先獲得後驗分布；
貝葉斯估計
貝葉斯估計3） 取樣分布是以觀測資料的條件，其參數的分布 ，這也稱為似然函式，尤其是視為是參數的函式時，有時會寫成 ；
貝葉斯估計4） 邊緣似然率（有時也稱為證據）是觀測資料在參數上的邊緣分布 ；
5）後驗分布是考慮觀測資料後的參數分布。可以由貝葉斯法則確認，也是貝葉斯推斷的核心：
貝葉斯估計若用文字表示，即為“後驗和先驗及似然率的乘積成正比”，有時也會寫成“後驗 = 先驗 × 似然率，在有證據的情形下 。
歷史
貝葉斯是指托馬斯·貝葉斯（1702–1761），他證明了一個特例（現在知道是貝葉斯定理的特例），不過皮埃爾-西蒙·拉普拉斯（1749–1827）推導了此定理的一般版本，套用在天體力學、醫療統計學、可靠度及法學上。早期的貝葉斯推斷是用拉普拉斯不充分理由原則所得的均勻先驗，稱為 逆向機率（因為是由觀測值倒推參數的歸納推理，或是從結果倒推到原因）。在1920年代以後，逆向機率很大程度的被另一群稱為頻率論統計的方式取代。
二十世紀時，拉普拉斯的概念往下分支為二派，開始出現主觀貝葉斯方法及客觀貝葉斯方法。客觀貝葉斯方法（或是不提供信息的貝葉斯方法）中，統計分析只依照假設的模型、分析的資料以及給定先驗分布的方式（不同的客觀貝葉斯方法會有不同給定先驗分布的方式）。主觀貝葉斯方法（或是提供信息的貝葉斯方法）中，先驗的規格依信念（也是分析希望要呈現的主張）而定，信念可以由專家整理資訊後總結產生，也可以根據以往的研究等。
1980年代發現了馬爾科夫蒙特卡洛方法，讓貝葉斯方法的研究及套用有大幅的發展，除去了許多運算上的問題，也有越來越多人願意參與非標準的複雜問題。不過雖然貝葉斯方法的研究仍在成長，大部分大學本科的教學仍是以頻率論統計為基礎。不過貝葉斯方法也廣為許多領域接受及套用，例如在機器學習的領域中。
套用
貝葉斯估計有在人工智慧及專家系統上套用廣泛。自1950年代後期開始，貝葉斯估計技巧就是電腦模式識別技術中的基礎。現在也越來越多將貝葉斯估計和以模擬為基礎的蒙地卡羅方法合併使用的套用，因為一些模雜的模型無法用貝葉斯分析得到解析解，因圖模式結構可以配合一些快速的模擬方式（例如吉布斯抽樣或是其他Metropolis–Hastings算法）。因為上述理由，貝葉斯推斷在系統發生學研究社群中來越受到重視，許多的套用可以用同時估測許多人口和進化參數 。
舉例
例.一個醫療診斷問題有兩個可選的假設：病人有癌症、病人無癌症可用數據來自化驗結果：正+和負-。有先驗知識：在所有人口中，患病率是0.008，對確實有病的患者的化驗準確率為98%，對確實無病的患者的化驗準確率為97% 。總結如下：
P(cancer)=0.008，P(nocancer)=0.992， P(+|cancer)=0.98，
P(-|cancer)=0.02，P(+|noncancer)=0.03，P(-|noncancer)=0.97。
問題：假定有一個新病人，化驗結果為正，是否應將病人斷定為有癌症？求後驗機率P(cancer|+)和P(noncancer|+)。
因此極大後驗假設計算如下：
P(+|cancer)P(cancer)=0.0078，P(+|noncancer)P(noncancer)=0.0298。
確切的後驗機率可將上面的結果歸一化以使它們的和為1：
P(canner|+)=0.0078/(0.0078+0.0298)=0.21，P(noncancer|+)=0.79。
貝葉斯估計的結果很大程度上依賴於先驗機率，另外不是完全接受或拒絕假設，只是在觀察到較多的數據後增大或減小了假設的可能性。
相關知識
•極大似然估計
•貝葉斯定理
•貝葉斯機率
