マルコフ連鎖について詳しく解説

導入

著者らによると、マルコフ連鎖は一般に離散時間マルコフ過程、または離散状態空間をもつ離散時間マルコフ過程である。数学では、マルコフ過程はマルコフ特性を持つ確率過程です。単純化すると、現在を知っていても、過去に関する情報の追加要素によって将来の予測がより正確になるわけではありません。マルコフプロセスは、発見者のアンドレイ・マルコフにちなんで名付けられました。

離散時間マルコフ過程はシーケンスです

アンドレイ・マルコフは、有限状態空間マルコフ連鎖に関する最初の結果を 1906 年に発表しました。可算無限状態空間への一般化は1936 年にコルモゴロフによって発表されました。マルコフ過程はブラウン運動とエルゴード仮説に関連しており、統計物理学の 2 つのトピックは非常に重要でした。 20^世紀初頭には重要な役割を果たしました。

弱いマルコフ特性

定義

これはマルコフ連鎖の特徴的な性質です。未来の予測に役立つ情報はすべて現在の状態に含まれているため、現在からの未来の予測は、過去に関する情報の追加要素によってより正確になることはありません。プロセス。弱いマルコフ特性にはいくつかの等価な形式があり、それらはすべて次の条件法則を述べていることになります。

$$ {\begin{align}\forall n\ge 0, \forall (i_0,\ldots,i_{n-1},i,j)&\in E^{n+2}, \\ \mathbb{P}\Big(X_{n+1}=j&\mid\, X_0=i_0, X_1=i_1,\ldots, X_{n-1}=i_{n-1},X_n=i\Big) = \mathbb{P}\left(X_{n+1}=j\mid X_n=i\right). \end{align}} $$

私たちはほとんどの場合、均一なマルコフ連鎖を仮定します。つまり、遷移メカニズムは時間の経過とともに変化しないと仮定します。弱いマルコフ特性は次の形式になります。

$$ {\begin{align}\forall n\ge 0, \forall (i_0,\ldots,i_{n-1},i,j)&\in E^{n+2}, \\ \mathbb{P}\Big(X_{n+1}=j&\mid\, X_0=i_0, X_1=i_1,\ldots, X_{n-1}=i_{n-1},X_n=i\Big) = \mathbb{P}\left(X_{1}=j\mid X_0=i\right). \end{align} } $$

弱いマルコフ特性のこの形式は前の形式よりも強力であり、特に次のような結果につながります。

$$ {\forall n\ge 0, \forall (i,j)\in E^{2},\qquad\mathbb{P}\left(X_{n+1}=j\mid X_n=i\right) = \mathbb{P}\left(X_{1}=j\mid X_0=i\right).} $$

この記事の残りの部分では、同種マルコフ連鎖のみを考慮します。不均一マルコフ連鎖の組み合わせ最適化への興味深い応用については、「シミュレーテッド アニーリング」の記事を参照してください。時間停止の概念に関連した強力なマルコフ特性が存在します。この強力なマルコフ特性は、重要な結果 (さまざまな反復基準、マルコフ連鎖の強力な大数の法則) を実証するために非常に重要です。それは「マルコフ特性」という記事に記載されています。

基準