機率論基礎知識
自然界和社會上發生的現象是多種多樣的。有一類現象,在一定條件下必然發生(或必然不發生),這類現象稱為確定性現象,如向上踢一足球,它必然下落,將一塊松木板扔在水中,它必然浮起。然而在自然界和社會中也還存在另一類現象,人們發現這類現象雖然就每次試驗或觀察的結果來說,它具有不確定性,但在大量重複試驗或觀察下,它的結果卻具有某種規律性,例如,二進制信息傳輸系統,按收端收到的碼元可能為“1”也可能為“0”值,收到碼元為“1”大致有半數。這類現象,我們稱之為隨機現象。機率論就是研究這種統計規律的數學工具。
隨機試驗
在機率論中,我們把具有下述三個特性的試驗稱為隨機試驗,簡稱試驗。
① 可以在相同的條件下重複進行。
② 每次試驗的可能結果不止一個,並且能在試驗前確定所有可能的結果。
③ 每次試驗前不能確定哪個結果會出現。
以下是一些隨機試驗的例子。
E1:拋一枚一元錢的硬幣,觀察正面(有花的一面)、反面出現的情況。
E2:擲一骰子,觀察出現的點數。
E3:一口袋中裝有紅白兩種顏色的桌球,從袋中任取一個,觀察其顏色。
通過隨機試驗可以對隨機現象進行研究。
隨機事件
在隨機試驗中,對一次試驗可能出現也可能不出現,而在大量重複試驗中卻有某種規律性的事情,稱為此隨機試驗的隨機事件。
在一隨機試驗中,每一個可能出現的結果都是一個隨機事件,它們是這個試驗的最簡單的隨機事件,我們稱之為基本事件。
例如,在試驗E2中,“出現1點”、“出現2點”、…、“出現6點”就是基本事件。一試驗中,除了基本事件之外還可能有其他的由基本事件組成的隨機事件。如在E2中“點數小於3”,是由“出現1點”、“出現2點”這兩個基本事件所組成,若且唯若兩個基本事件中有一個發生,“點數小於3”這一事件就發生。
在試驗中必然會發生的事件叫做必然事件,不可能發生的事件叫做不可能事件。必然事件和不可能事件,不是隨機事件,但為了討論方便,在機率論中,把它們作為一種特殊的隨機事件來處理。
樣本空間
隨機試驗E的所有基本事件所組成的集合稱為E的樣本空間,記為 S。前面提到的隨機試驗E1,E2,E3的樣本空間分別為:
S1:{ H, T}
S2:{1,2,3,4,5,6}
S3:{紅色,白色}
通過這樣的樣本空間可以形象化地表示事件和事件的關係與事件的運算。
設試驗E的樣本空間為 S, A和 B為其中的兩個事件。用面積為1的正方形表示樣本空間 S,圓 A和 B分別表示事件 A和 B,如圖1所示。
① 事件的相等
若事件 A發生必然導致事件 B發生,則稱事件 B包含事件 A。
若事件 B包含事件 A,事件 A也包含事件 B,則稱事件 A與事件 B相等,記為 A= B。
② 事件的和
事件 A與事件 B至少有一個發生所構成的事件,稱為事件 A和事件 B的和,記為,或 A+ B,圖2中的陰影部分表示 A+ B。
③ 事件的積
事件 A和事件 B同時發生所構成的事件,稱為事件 A和事件 B的積,記為,或 AB,圖3中的陰影部分為 A和 B的積。
④ 事件的差
事件 A發生而事件 B不發生,這一事件稱為事件 A與事件 B的差,記為 A- B。圖4的陰影部分表示 A- B。
⑤ 互不相容事件
事件 A和事件 B不可能同時發生,則稱事件 A與事件 B互不相容,即 AB=。基本事件是互不相容的。
圖5表示了 A和 B是互不相容的。
⑥ 對立事件
事件 A和事件 B必有一個發生,且僅有一個發生,即,且 AB=,則事件 A和 B為對立事件,又稱事件 A與事件 B互逆。記為,或。
圖6為事件 A和 B為對立事件。
顯然, A和 B互逆,必是互不相容事件,反之若 A和 B是互不相容的,則不一定是對立的。
⑦ 相互獨立事件
A事件的出現與 B事件無關,同樣 B事件的出現與 A事件也無關,則 A, B為相互獨立事件。反之,若 A的發生與 B的是否發生有關, B的發生也與 A的是否發生有關,則 A和 B為相關事件。
機率
一個隨機試驗的隨機事件 A,在 n次試驗中出現次,比值為:
叫做事件 A在這 n次試驗中出現的頻率。當 n增大時,它會在一個常數附近擺動,而且當 n趨於無窮大時,就會穩定於這個常數,我們把這個常數稱為隨機事件 A發生的機率,記為 P( A)。
① 等機率
設試驗E的樣本空間為 S={ e, e,…, e},如果每一個基本事件的機率相等,即 P( e)= P( e)=…= P( e),則稱其為等機率。
由於1= P( s)= P( e)+ P( e)+…+ P( e)= nP( e)
這就是等機率隨機事件的機率計算公式。
② 條件機率
設 A、 B為隨機試驗E的兩個事件,且 P( A)>0,事件 A發生條件下,事件 B發生的機率,我們稱為條件機率,記為 P( B|A)。
其中 P( AB)為 A和 B同時發生的機率,又稱為聯合機率。
③ 加法定理
A、 B為隨機試驗E的兩個事件,則:
P( A+ B)= P( A)+ P( B)- P( AB)
圖7為 P( A+ B)的直觀說明,設樣本空間的面積為1,則事件 A所占的面積為事件 A發生的機率,事件 B所占的面積為事件 B發生的機率。事件 A或事件 B發生的機率,即 P( A+ B)所占的面積應為圓 A的面積加上圓 B的面積減去它們相重疊的部分的面積,即 P( A+ B),當然如果 A、 B互斥,則:
P( A+ B)= P( A)+ P( B)
④ 乘法定理
由條件機率公式,設 P( A)>0,則有:
P( AB)= P( B|A) P( A)= P( A|B) P( B)
如果:
P( AB)= P( A) P( B)
則 A、 B為相互獨立事件,此時
P( B|A)= P( B)
P( A|B)= P( A)
⑤ 全機率公式
設 S為隨機試驗E的樣本空間, B, B,…, B為E中的互不相容事件,且 P( B)+ P( B)+…+ P( B)=1。 A為E的一個事件,則:
圖8給出了全機率公式的說明,陰影的圓為事件 A。
根據條件機率的定義和全機率公式,可得出有名的貝葉斯(Bayes)公式:
隨機變數
為了研究方便,對隨機試驗E的樣本空間 S={ e}中的每一個,我們可以賦予一個實數 X( e)和它對應,我們稱 X( e)為隨機變數。引入了隨機變數,隨機事件就可以通過隨機變數來表示。例如投擲一個硬幣的試驗中,事件“出現T”可以用{ X=1}來表示,事件“出現H”可以用{ X=0}來表示。事實上,隨機事件的不確定性往往也是表現在試驗中可能取某一值,或可能取另一值。
根據隨機變數取值的不同,隨機變數可分為離散型隨機變數和連續型隨機變數兩類。所謂離散型隨機變數,是指它的全部可能取到的值是有限多個或可列無限多個,反之則為連續型隨機變數。
隨機過程
自然界中事物變化的過程有兩類。
一類是變化過程具有確定的形式,或者說事物的變化過程可以用一個(或幾個)時間 t的確定的函式來描繪。例如,真空中的自由落體運動,可以用下式來描繪:,
這種過程稱為確定性過程。
另一類過程沒有必然的變化規律。對它變化的全過程進行一次觀察得到的結果是一個時間 t的函式,而且對它進行獨立的重複的多次觀察所得的結果都是不相同的。例如我們對一無線接收機的噪聲在相同條件下,獨立地進行多次長時間的測量,結果發現每一次試驗所得到的波形 x( t)都是不一樣的。這一類過程我們稱之為隨機過程。每一次試驗所得到的函式 x( t) , i=1,2,…, n為這個隨機過程的一個樣本函式。所有樣本函式的集合構成了它的樣本空間。和隨機變數相比,隨機變數的樣本空間是實數值的集合,而隨機過程的樣本空間則是時間函式的集合。對於某一個特定時刻 t, X( t)是一個隨機變數,而許許多多個時刻的隨機變數的集合則為隨機過程。