概念一/馬爾科夫模型:對于一組數(shù)列x（n），其變量xn是指在第n個時間下的狀態(tài)，馬爾科夫模型是指，xn與前面的j個狀態(tài)有關(guān)，與更前面的狀態(tài)無關(guān)時，我們稱它為j階馬爾科夫模型，一般討論一階馬爾科夫模型，即xn的狀態(tài)只與xn-1有關(guān) 概念二/馬爾科夫鏈:這組數(shù)列x（n） 概念三/狀態(tài)空間:xn有不同的取值，我們把xn的所有取值的集合叫做狀態(tài)空間 概念四/轉(zhuǎn)移概率:xn-1的狀態(tài)為s時，xn的狀態(tài)為t時的概率 概念五/轉(zhuǎn)移概率矩陣:假設(shè)一個時刻的狀態(tài)有n種，則xn-1對應(yīng)下的xn的轉(zhuǎn)移概率有nxn種，構(gòu)成n階方陣