馬爾科夫過程

馬爾科夫過程(MarKov Process)是一個典型的隨機過程。設X(t)是一隨機過程，當過程在時刻t0所處的狀態為已知時，時刻t(t>t0)所處的狀態與過程在t0時刻之前的狀態無關，這個特性成為無後效性。無後效的隨機過程稱為馬爾科夫過程。馬爾科夫過程中的時同和狀態既可以是連續的，又可以是離散的。我們稱時間離散、狀態離散的馬爾科夫過程為馬爾科夫鏈。馬爾科夫鏈中，各個時刻的狀態的轉變由一個狀態轉移的機率矩陣控制