概念
P(A|B) = P(AB)/P(B)
條件機率 示例:就是 事件A 在另外一個事件 B 已經發生條件下的發生 機率。條件機率表示為 P( A| B),讀作“在 B 條件下 A 的機率”。
聯合機率:表示兩個事件共同發生的機率。 A 與 B 的聯合機率表示為 P(AB) 或者 P( A, B)。
邊緣機率:是某個事件發生的機率,而與其它事件無關。邊緣機率是這樣得到的:在聯合機率中,把最終結果中不需要的那些事件合併成其事件的全機率而消失(對離散隨機變數用求和得全機率,對連續隨機變數用積分得全機率)。這稱為 邊緣化( marginalization)。 A的邊緣機率表示為 P( A), B 的邊緣機率表示為 P( B)。
需要注意的是,在這些定義中 A 與 B 之間不一定有 因果或者 時間順序關係。 A 可能會先於 B 發生,也可能相反,也可能二者同時發生。 A 可能會導致 B 的發生,也可能相反,也可能二者之間根本就沒有因果關係。例如考慮一些可能是新的信息的機率條件性可以通過 貝葉斯定理實現。
基本定理
定理1
設A,B是兩個事件,且A不是不可能事件,則稱為在事件A發生的條件下,事件B發生的條件機率。一般地,,且它滿足以下三條件:
(1)非負性;(2)規範性;(3)可列可加性。
定理2
設E為隨機試驗,Ω為樣本空間,A,B為任意兩個事件,設P(A)>0,稱為在“事件A發生”的條件下事件B的條件機率。
上述乘法公式可推廣到任意有窮多個事件時的情況。
設A1,A2,…An為任意n個事件(n2)且P(A1A2…An-1)>0,則P(A1A2…An)=P(A1)P(A2|A1)…P(An|A1A2…An-1)
定理3(全機率公式1)
設B1,B2,…Bn是一組事件,若(1)BiBj≠j,i≠j,i,j=1,2,…,n;(2)B1∪B2∪…∪Bn=Ω則稱B1,B2,…Bn樣本空間Ω的一個部分,或稱為樣本空間Ω的一個完備事件組。
定理4(全機率公式2)
設事件組B1,B2是樣本空間Ω的一個劃分,且P(Bi)>0(i=1,2,…n),則對任一事件B,有
定理5(貝葉斯公式)
設A1,A2,…An…是一完備事件組,則對任一事件B,P(B)>0,有
統計獨立性
若且唯若兩個隨機事件A與B滿足
P(A∩B)=P(A)P(B)
的時候,它們才是統計獨立的,這樣聯合機率可以表示為各自機率的簡單乘積。
同樣,對於兩個獨立事件A與B有
P(A|B)=P(A)
以及
P(B|A)=P(B)
換句話說,如果A與B是相互獨立的,那么A在B這個前提下的條件機率就是A自身的機率;同樣,B在A的前提下的條件機率就是B自身的機率。
互斥性
若且唯若 A 與 B 滿足 P(A ∪B)=P(A)+P(B)且 P(A∩B)=0, 的時候, A 與 B 是 互斥的。
因此,換句話說,如果 B 已經發生,由於 A 不能 B 在同一場合下發生,那么 A 發生的機率為零;同樣,如果 A 已經發生,那么 B 發生的機率為零。
其它
如果事件 B 的機率 P( B) > 0,那么 Q( A) = P( A | B) 在所有事件 A 上所定義的函式 Q 就是機率測度。 如果 P( B) = 0, P( A | B) 沒有定義。 條件機率可以用 決策樹進行計算。謬論
條件機率的 謬論是假設 P( A| B) 大致等於 P( B| A)。數學家John Allen Paulos 在他的《數學盲》一書中指出醫生、律師以及其他受過很好教育的非統計學家經常會犯這樣的錯誤。這種錯誤可以通過用實數而不是機率來描述數據的方法來避免。P( A| B) 與 P( B| A)的關係如下所示:
下面是一個虛構但寫實的例子, P( A| B) 與 P( B| A)的差距可能令人驚訝,同時也相當明顯。
若想分辨某些個體是否有重大疾病,以便早期治療,我們可能會對一大群人進行檢驗。雖然其益處明顯可見,但同時,檢驗行為有一個地方引起爭議,就是有檢出假陽性的結果的可能:若有個未得疾病的人,卻在初檢時被誤檢為得病,他可能會感到苦惱煩悶,一直持續到更詳細的檢測顯示他並未得病為止。而且就算在告知他其實是健康的人後,也可能因此對他的人生有負面影響。
這個問題的重要性,最適合用條件機率的觀點來解釋。
設人群中有1%的人罹患此疾病,而其他人是健康的。我們隨機選出任一個體,並將患病以disease、健康以well表示:
P(disease) = 1% = 0.01 and P(well) = 99% = 0.99. 假設檢驗動作實施在未患病的人身上時,有1%的機率其結果為假陽性(陽性以positive表示)。意即:
P(positive | well) = 1%,而且 P(negative | well) = 99%. 最後,假設檢驗動作實施在患病的人身上時,有1%的機率其結果為假陰性(陰性以negative表示)。意即:
P(negative | disease) = 1%且 P(positive | disease) = 99%。 現在,由計算可知:
是整群人中健康、且測定為 陰性者的比率。
是整群人中得病、且測定為 陽性者的比率。
是整群人中被測定為假陽性者的比率。
是整群人中被測定為假陰性者的比率。
進一步得出:
是整群人中被測出為陽性者的比率。
是某人被測出為陽性時,實際上真的得了病的機率。
這個例子裡面,我們很輕易可以看出 P(positive|disease)=99% 與 P(disease|positive)=50% 的差距:前者是你得了病,而被檢出為陽性的條件機率;後者是你被檢出為陽性,而你實際上真得了病的條件機率。由我們在本例中所選的數字,最終結果可能令人難以接受:被測定為陽性者,其中的半數實際上是假陽性。