貝葉斯機率

貝葉斯機率是由貝葉斯理論所提供的一種對機率的解釋，它採用將機率定義為某人對一個命題信任的程度的概念。貝葉斯理論同時也建議貝葉斯定理可以用作根據新的信息導出或者更新現有的置信度的規則。

歷史

貝葉斯機率

貝葉斯理論和貝葉斯機率以托馬斯·貝葉斯（1702－1761）命名，他證明了現在稱為貝葉斯定理的一個特例。術語貝葉斯卻是在1950年左右開始使用，很難說貝葉斯本人是否會支持這個以他命名的機率非常廣義的解釋。拉普拉斯證明了貝葉斯定理的一個更普遍的版本，並將之用於解決天體力學、醫學統計中的問題，在有些情況下，甚至用於法理學。但是拉普拉斯並不認為該定理對於機率論很重要。他還是堅持使用了機率的經典解釋。

Frank P. Ramsey在《數學基礎》（1931年）中首次建議將主觀置信度作為機率的一種解釋。Ramsey視這種解釋為機率的頻率解釋的一個補充，而頻率解釋在當時更為廣泛接受。統計學家Bruno de Finetti於1937年採納了Ramsey的觀點，將之作為機率的頻率解釋的一種可能的代替。L. J. Savage在《統計學基礎》（1954年）中拓展了這個思想。

有人試圖將“置信度”的直觀概念進行形式化的定義和套用。最普通的套用是基於打賭:置信度反映在行為主體願意在命題上下注的意願上。 當信任有程度的時候，機率計算的定理測量信任的理性程度，就像一階邏輯的定理測量信任的理性程度一樣。很多人將置信度視為經典的真值（真或假）的一種擴展。

Harold Jeffreys， Richard T. Cox， Edwin Jaynes和I. J. Good研探了貝葉斯理論。其他著名貝葉斯理論的支持者包括[[John Maynard Keynes和B.O. Koopman]]。

變種

貝葉斯機率

術語主觀機率， 個人機率， 認知機率和邏輯機率描述了通常成為貝葉斯學派的思想中的一些。這些概念互相重疊，但有不同的側重。這裡提到的一些人物不會自稱是貝葉斯學派的。

貝葉斯機率應該測量某一個體對於一個不確定命題的置信程度，因此在這個意義下是主觀的。有些自稱貝葉斯學派的人並不接受這種主觀性。客觀主義學派的主要代表是Edwin Thompson Jaynes和Harold Jeffreys。也許現在還在世的主要客觀貝葉斯學派人物是杜克大學的James Berger。Jose Bernardo和其他一些人接受一定程度的主觀性，但相信在很多實際情況中有使用"先驗參照（reference priors）"的需要。

邏輯（或者說，客觀認知）機率的推崇者，例如Harold Jeffreys， Rudolf Carnap， Richard Threlkeld Cox和Edwin Jaynes， 希望將能夠在兩個有相同關於某個不確定命題的真實性相關的信息的人計算出同樣的機率的技術規律化。這種機率不和個人相關，而只和認知情況相關，因此位於主觀和客觀之間。但是，他們推薦的方法有爭議。批評者對這個聲稱發起挑戰，在關於相關事實的信息缺乏的時候，更偏好某一個置信度是有現實依據的。另一個問題是迄今為止的技術對於處理實際問題還是不夠的。

頻率機率

貝葉斯機率

貝葉斯機率和頻率機率相對，它從確定的分布中觀測到的頻率或者在樣本空間中的比例來導出機率。

採用頻率機率的統計和機率的理論由R.A. Fisher， Egon Pearson和Jerzy Neyman在20世紀上半葉發展起來。A. N. Kolmogorov也採用頻率機率來通過勒貝格積分為測度論中的機率奠定數學基礎（《機率論基礎》(1933年)）。Savage， Koopman， Abraham Wald和其他一些學者自1950年以來發展了貝葉斯機率。

貝葉斯學派和頻率學派在機率解釋上的分歧在統計學實踐上有重要的結果。例如，在用同樣的數據比較兩個假設的時候，假設測試理論基於機率的頻率解釋，它允許基於錯誤推出數據更支持另外那個模型/假設的機率來否定或接受一個模型/假設（零假設）。出現這種錯誤的機率稱為一類誤差，它要求考慮從同樣的數據源導出的假想的數據集合要比實際觀測到的數據更為極端。這個方法允許論斷'或者兩個假設不同或者觀測到的數據是誤導性的集合'。相對應的是，貝葉斯方法基於實際觀測到的數據，因此能夠對於任何數量的假設直接賦予後驗機率。對於代表每個假設的模型的參數必須賦予機率的要求是這種直接方法的代價。

套用

貝葉斯機率

自1950年代以來，貝葉斯理論和貝葉斯機率通過考克斯定理， Jaynes的最大熵原理以及荷蘭書論證得到了廣泛的套用。在很多套用中，貝葉斯方法更為普適，也似乎較頻率機率能得出更好的結果。貝葉斯因子也和奧卡姆剃刀一起使用。數學套用請參看貝葉斯推論和貝葉斯定理。

有些人將貝葉斯推論視為科學方法的一種套用，因為通過貝葉斯推論來更新機率要求從對於不同假設的初始信任度出發，採集新的信息（例如通過做試驗），然後根據新的信息調整原有的信念。調整原有的信念可以意味著（更加接近）接受或者推翻初始的假設。

貝葉斯技術最近被套用於垃圾郵件的過濾上。貝葉斯垃圾郵件過濾器採用電子郵件的一個參考集合來定義什麼最初被認為是垃圾郵件。定義了參考之後，過濾器使用參考中的特點來將新的郵件判定為垃圾郵件或有效郵件。新電子郵件作為新的信息出現，並且如果用戶在垃圾郵件和有效郵件的判定中發現錯誤，這個新的信息會更新初始參考集合中的信息，以期將來的判定可以更為精確。

機率

對於貝葉斯機率解釋曾有過的一個批評是一個單獨的機率賦值不能給出信念的真實性——也即，它有多少科學實證。考慮如下的這些情況：

你有一個裝了白球和黑球的盒子，但是不知道它們的數量
你有一個盒子，你從中取了n個球，一半黑，一半白
你有一個盒子，你知道有同樣數量的黑球和白球
下一個取出的球是黑球的貝葉斯機率對於所有三種情況都是0.5。Keynes稱這為“證據的權重”問題。一個反映這些證據支持的區別的方法是對於這些機率本身賦予機率（所謂的“元機率”）如下：

1. 你有裝了白球和黑球的盒子，但是不知道數量情況
令θ = p代表下一球為黑的機率為p這一命題，一個貝葉斯機率論者會賦予一個Β先驗分布：

貝葉斯機率

假設取出的球用二項式分布建模，則後驗分布P(θ | m，n)，在取出m個黑球和n個白球之後依然是一個Β分布，其參數αB = 1 + m， αW = 1 + n。Β分布的參數的一個直觀的解釋是兩個事件的構想記數。
2. 你有一個盒子，你已經從中取了N個球，黑白各半
令θ = p 代表下一球為黑的機率為p這一命題，一個貝葉斯機率論者會賦予一個Β先驗分布，Β(N / 2 + 1，N / 2 + 1)。θ的極大後驗機率(MAP估計)是，恰好就是拉普拉斯逐次法則。
3. 你有一個盒子，並且你知道黑球和白球的數量相等
這個情況下，貝葉斯機率論者會定義先驗機率為

貝葉斯機率

其它貝葉斯機率論者辯解說機率不一定要是精確的數字。

因為頻率解釋中沒有元機率的容身之地，頻率論者必須用其它方式表達證據支持。Cedric Smith和Arthur Dempster分別發展了上下極限。Glenn Shafer進一步發展了Dempster的理論，現在它被稱為Dempster-Shafer理論。