介紹
貝葉斯學習是利用參數的先驗分布和由樣本信息求來的後驗分布,直接求出總體分布。貝葉斯學習理論使用機率去表示所有形式的不確定性,通過機率規則來實現學習和推理過程。貝葉斯學習的結果表示為隨機變數的機率分布,它可以理解為我們對不同可能性的信任程度。據介紹,這種技術在分析故障信號模式時,套用了被稱為“貝葉斯學習”的自動學習機制,積累的故障事例越多,檢測故障的準確率就越高。根據郵件信號判斷垃圾郵件的垃圾郵件過濾器也採用了這種機制!
貝葉斯定理
貝葉斯定理用數學的方法來解釋生活中大家都知道的常識
形式最簡單的定理往往是最好的定理,比如說中心極限定理,這樣的定理往往會成為某一個領域的理論基礎。機器學習的各種算法中使用的方法,最常見的就是貝葉斯定理。
貝葉斯定理的發現過程我沒有找到相應的資料,不過要相信託馬斯.貝葉斯(1702-1761)是通過生活中的一些小問題去發現這個對後世影響深遠的定理的,而且我相信貝葉斯發現這個定理的時候,還不知道它居然有這么大的威力呢。下面用一個小例子來推出貝葉斯定理:
已知:有N個蘋果,和M個梨子,蘋果為黃色的機率為20%,梨子為黃色的機率為80%,問,假如在這堆水果中觀察到了一個黃色的水果,問這個水果是梨子的機率是多少。
用數學的語言來表達,就是已知P(apple) = N / (N + M), P(pear) = M / (N + M), P(yellow|apple) = 20%, P(yellow|pear) = 80%, 求P(pear|yellow).
要想得到這個答案,我們需要 1. 要求出全部水果中為黃色的水果數目。 2. 求出黃色的梨子數目
對於1) 我們可以得到 P(yellow) * (N + M), P(yellow) = p(apple) * P(yellow|apple) + P(pear) * p(yellow|pear)
對於2) 我們可以得到 P(yellow|pear) * M
2) / 1) 可得:P(pear|yellow) = P(yellow|pear) * p(pear) / [P(apple) * P(yellow|apple) + P(pear) * P(yellow|pear)]
化簡可得:P(pear|yellow) = P(yellow,pear) / P(yellow), 用簡單的話來表示就是在已知是黃色的,能推出是梨子的機率P(pear|yellow)是黃色的梨子占全部水果的機率P(yellow,pear)除上水果顏色是黃色的機率P(yellow). 這個公式很簡單吧。