概念
馬爾可夫過程
馬爾可夫過程
馬爾可夫過程
馬爾可夫過程
馬爾可夫過程
馬爾可夫過程1. 馬爾可夫性：設 為一隨機過程， E為其狀態空間，若對任意的 ，任意的 ，隨機變數 X(t)在已知變數 之下的條件分布函式只與 有關，而與 無關，即條件分布函式滿足等式
馬爾可夫過程即
馬爾可夫過程此性質稱為馬爾可夫性，亦稱無後效性或無記憶性。
若 X(t)為離散型隨機變數，則馬爾可夫性亦滿足等式
馬爾可夫過程2. 馬爾可夫過程的數學定義
馬爾可夫過程若隨機過程滿足馬爾可夫性，則稱為馬爾可夫過程。
簡述
在馬爾可夫性的定義中，"現在"是指固定的時刻，但實際問題中常需把馬爾可夫性中的“現在”這個時刻概念推廣為停時（見隨機過程）。例如考察從圓心出發的平面上的布朗運動，如果要研究首次到達圓周的時刻 τ以前的事件和以後的事件的條件獨立性，這裡τ為停時，並且認為τ是“現在”。如果把“現在”推廣為停時情形的“現在”，在已知“現在”的條件下，“將來”與“過去”無關，這種特性就叫強馬爾可夫性。具有這種性質的馬爾可夫過程叫強馬爾可夫過程。在相當一段時間內，不少人認為馬爾可夫過程必然是強馬爾可夫過程。首次提出對強馬爾可夫性需要嚴格證明的是J.L.杜布。直到1956年，才有人找到馬爾可夫過程不是強馬爾可夫過程的例子。馬爾可夫過程理論的進一步發展表明，強馬爾可夫過程才是馬爾可夫過程真正研究的對象。
歷史
1951年前後，伊藤清建立的隨機微分方程的理論，為馬爾可夫過程的研究開闢了新的道路。1954年前後，W.費勒將半群方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場等都是正待深入研究的領域。
一類重要的隨機過程，它的原始模型馬爾可夫鏈，由俄國數學家Α.Α.馬爾可夫於1907年提出。人們在實際中常遇到具有下述特性的隨機過程：在已知它所處的狀態的條件下，它未來的演變不依賴於它以往的演變。這種已知“現在”的條件下，“將來”與“過去”獨立的特性稱為馬爾可夫性，具有這種性質的隨機過程叫做馬爾可夫過程。荷花池中一隻青蛙的跳躍是馬爾可夫過程的一個形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上，因為青蛙是沒有記憶的，當所處的位置已知時，它下一步跳往何處和它以往走過的路徑無關。如果將荷葉編號並用X0,X1,X2，…分別表示青蛙最初處的荷葉號碼及第一次、第二次、……跳躍後所處的荷葉號碼，那么{Xn，n≥0} 就是馬爾可夫過程。液體中微粒所作的布朗運動，傳染病受感染的人數，原子核中一自由電子在電子層中的跳躍，人口增長過程等等都可視為馬爾可夫過程。還有些過程（例如某些遺傳過程）在一定條件下可以用馬爾可夫過程來近似。
關於馬爾可夫過程的理論研究，1931年Α.Η.柯爾莫哥洛夫發表了《機率論的解析方法》，首先將微分方程等分析方法用於這類過程，奠定了它的理論基礎。1951年前後，伊藤清在P.萊維和C.H.伯恩斯坦等人工作的基礎上，建立了隨機微分方程的理論，為研究馬爾可夫過程開闢了新的道路。1954年前後，W.弗勒將泛函分析中的半群方法引入馬爾可夫過程的研究中，Ε.Б.登金（又譯鄧肯）等並賦予它機率意義（如特徵運算元等）。50年代初，角谷靜夫和J.L.杜布等發現了布朗運動與偏微分方程論中狄利克雷問題的關係，後來G.A.亨特研究了相當一般的馬爾可夫過程（亨特過程）與位勢的關係。流形上的馬爾可夫過程、馬爾可夫場等都是正待深入研究的領域。
常見馬爾可夫過程
(1)獨立隨機過程為馬爾可夫過程。
(2)獨立增量過程為馬爾可夫過程：沒{X(t)，t∈[0，+∞)}為一獨立增量過程，且有P(X(0)=x0)=1，x0為常數，則X(t)為馬爾可夫過程。
(3)泊松過程為馬爾可夫過程。
(4)維納過程為馬爾可夫過程。
(5)質點隨機遊動過程為馬爾可夫過程。
