一、基本思想
關於馬爾可夫鏈蒙特卡洛方法需要首先理解以下幾個基本概念:隨機過程、馬爾可夫過程、馬爾可夫鏈、蒙特卡洛方法。
隨機過程研究的是隨時間演變的隨機現象。對於這種現象,一般來說,人們已不能用簡單的隨機變量或多維隨機變量進行合理地表達,而需要用一族隨機變量來描述。設T是一無限實數集,我們把依賴於參數t∈T的一族(無限多個)隨機變量稱為隨機過程,記為{X(t),t∈T},X(t)是一隨機變量,T叫作參數集。我們常把t看作時間,稱X(t)為時刻t時過程的狀態,對於一切t∈T,X(t)所有可能取的一切值的全體稱為隨機過程的狀態空間。對隨機過程{X(t),t∈T}進行一次實際試驗(即在T上進行一次全程觀測),其結果是t的函數,記為x(t),t∈T,稱它為隨機過程的一個樣本函數或樣本曲線。當然,試驗可以重複進行,所有不同的試驗結果構成一族樣本函數。因此,隨機過程與其樣本函數的關係就像數理統計中的總體與樣本的關係一樣。
關於馬爾可夫過程,設隨機過程{X(t),t∈T}的狀態空間為I,如果對時間t的任意n個數值t1<t2<…<tn,n≥3,ti∈T,在條件X(ti)=xi,xi∈I,i=1,2,…,n-1下,X(tn)的條件分布函數恰等於在條件X(tn-1)=xn-1下X(tn)的條件分布函數,即
則稱隨機過程{X(t),t∈T}具有馬爾可夫性或無後效性,並稱此過程為馬爾可夫過程。通俗地說,馬爾可夫過程是這樣一類隨機過程,就是在已經知道過程“現在”的條件下,其“將來”不依賴於“過去”。而時間和狀態都是離散取值的馬爾可夫過程稱為馬爾可夫鏈。蒙特卡洛方法是一種使用隨機數(或偽隨機數)來解決很多計算問題的方法。當所求解問題是某種隨機事件出現的概率,或者是某個隨機變量的期望值時,通過實際試驗的方法,以這種事件出現的頻率估計這一隨機事件的概率,或者得到這個隨機變量的某類數字特征,並將其作為問題的解。蒙特卡洛方法的求解過程可以歸結為三個主要步驟:構造或描述概率過程;從已知概率分布進行抽樣;建立各種估計量。對於那些由於計算過於複雜而難以得到解析解或者根本沒有解析解的問題,蒙特卡洛方法是一種求出數值解的有效的方法。