ベイズ推論について詳しく解説

ベイズ推論は、仮説の確率を計算または修正するために使用される論理的アプローチです。このアプローチは、ベイズの定理が導出される確率を組み合わせるための厳密なルールの使用によって管理されます。ベイジアンの観点では、確率は周波数の限界への通過として解釈されるのではなく、知識状態 (たとえば、仮説に与えられる信頼度。コックス・ジェインズの定理を参照) の数値的変換として解釈されます。）。

ジェインズは、このテーマについて生徒たちに帰納論理ロボットの比喩を使用しました。彼の著書へのリンクは、「人工知能」の記事にあります。

確率の操作: 表記法と論理規則

ベイズ推論は、確率的ステートメントの操作に基づいています。混乱を避けるために、これらの記述は明確かつ簡潔でなければなりません。ベイズ推論は帰納法問題で特に役立ちます。ベイズ手法は、確率を変換するための形式的な規則を体系的に適用することにより、いわゆる標準手法とは区別されます。これらのルールの説明に進む前に、使用される表記法について理解しておきましょう。

確率表記

妊娠しているかどうかを調べようとしている女性の例を見てみましょう。まず仮説Eを定義します。彼女は妊娠しています。その確率p ( E )を求めます。この確率の計算には、明らかに妊娠検査の分析が含まれます。妊娠中の女性の場合、10 回中 9 回の検査で陽性が示されることが研究で示されていると仮定します。妊娠していない女性の場合、検査では 19/20 の比率で陰性が示されるとします。仮説を定義すると、次のようになります。

T _P : 検査結果が陽性、
T _N : 検査結果は陰性、

以前の結果を確率的に解釈できます。

仮説 T _{P が}女性が妊娠していることを知る確率は 0.9 です。

確率言語では、このステートメントは式p ( T _P | E ) = 0.9で表されます。同じように

$$ {p(T_N|\bar{E})=0,95} $$

妊娠していない女性が検査で陰性となる確率を意味します (

$$ {\bar{E}} $$

）は0.95です。ここでは、確実に真であるステートメントまたは仮説の確率は 1 であるという規則に従っていることに注意してください。逆に、確実に偽であるステートメントの確率は 0 です。

条件演算子| に加えて、論理演算子 AND および OR には特別な表記法があります。したがって、2 つの仮説の同時確率は、次の符号で表されます。

$$ {\cap} $$

。表現

$$ {p(E \cap T_P)} $$

したがって、妊娠しており、かつ検査で陽性反応が得られる確率を表します。最後に、論理 OR 演算子の場合、記号

$$ {\cup} $$

が一般的に使用されます。表現

$$ {p(E \cup \bar{E})} $$

したがって、女性が妊娠しているかどうかの確率を意味します。明らかに、以前の規則によれば、妊娠しているか妊娠していない以外の状態になることは不可能であるため、この確率は 1 でなければなりません。

確率ロジックのルール

確率を組み合わせるルールは 2 つだけで、そこからベイズ分析の理論全体が構築されます。これらの規則は加算と乗算の規則です。

足し算の法則

$$ {p(A \cup B|C) = p(A|C) + p(B|C) – p(A \cap B|C)} $$

乗算のルール

$$ {p(A \cap B) = p(A|B)p(B) = p(B|A)p(A)} $$

ベイズの定理は乗算則の対称性を利用するだけで導出できる

$$ {p(A|B) = \frac{p(B|A)p(A)}{p(B)}.} $$

ベイズの定理により、確率を逆転させることができます。つまり、原因の結果がわかっている場合、結果を観察することで原因に戻ることができます。

前述の妊婦のケースでは、検査の結果がわかれば、ベイズの定理を使用して女性が妊娠している確率を計算することができます。実際、検査で陽性反応が出た場合には、

$$ {p(E|T_P) = \frac{p(T_P|E)p(E)}{p(T_P)}.} $$

確率の逆変換では、妊娠のアプリオリな確率 (しばしば事前確率と呼ばれる) という項p ( E )が導入されることに注意してください。事前確率は、テスト結果とは無関係に、仮説の確率を記述します。避妊をしている女性は、自分が妊娠していると信じる理由がないため、非常に低いp ( E )を選択します。一方で、最近避妊をしないセックスをしたことがあり、頻繁に嘔吐することに苦しんでいる女性は、より高い優先順位を採用するでしょう。したがって、検査結果は、妊娠の確率のこの独立した推定値によって重み付けまたは認定されます。

標準的な統計手法では体系的に無視されるのは、この事前推定です。

証拠の表記

この評価は IJ Good に起因することがよくあります。しかし、後者は、著者をアラン・チューリングに帰し、独立してジェフリーズを含む他の研究者に帰した。

実際には、確率が 0 または 1 に非常に近い場合、その変化を確認するには、それ自体が非常にありそうにないと考えられる要素を観察する必要があります。問題をより良く修正するために、次のような同等のデシベル (dB) で作業することがよくあります。

Ev(p) = 10 log ₁₀ p/(1-p)。

-40 dB の確率は 10 ^-4の確率に相当します。この表記法の興味深い点は、0 と 1 の近くの小数点以下の桁数が多すぎることを避けるという事実とは別に、ベイズ規則を加法形式で表現できることです。同じ重みの証言が必要です (重み証拠の) ) イベントを -10dB (0.1) から 0dB (0.5) に移動させるよりも、-40dB (10 ^-4 ) から -30dB (10 ^-3 ) に移動させるほうが、これは明白ではありませんでした。確率での表現。次の表は、いくつかの等価性を示しています。

確率の証拠 (dB) 証拠 (ビット)
0.0001 -40.0 -13.3
0.0010 -30.0 -10.0
0.0100 -20.0 -6.6
0.1000 -9.5 -3.2
0.2000 -6.0 -2.0
0.3000 -3.7 -1.2
0.4000 -1.8 -0.6
0.5000 0.0 0.0
0.6000 1.8 0.6
0.7000 3.7 1.2
0.8000 6.0 2.0
0.9000 9.5 3.2
0.9900 20.0 6.6
0.9990 30.0 10.0
0.9999 40.0 13.3

Ev は証拠の重みの略語で、フランス語では「明らか」という言葉として翻訳されることもあります。元の英語の表現と最も一致する定式化は、一言一句「証言の重み」になりますが、面白い偶然ですが、フランス語では「証拠」がこの正確な用法に非常に適しています。

ジェフリーズの出版物のすぐ後に、アラン・チューリングが個人的な著作の中で対応する量の対数オッズに名前を付けることで、すでにこの問題に取り組んでいたことが判明しました。

古典的な統計との比較

考え方の違い

ベイズ推論と、Myron Tribus によって示された、頻度主義とも呼ばれる古典的な統計の違いは次のとおりです。

ベイジアン手法は、主観的とも呼ばれる非個人的な手法を使用して個人的な確率を更新します(実際、確率は、その基礎を分析するときに常に主観的です)。
統計的手法は、非個人的な周波数を扱うために個人的な手法を使用します。

したがって、ベイズ主義者はプロセスの開始時に期待をモデル化することを選択します（たとえそれが観察が進むにつれて経験に照らしてこの最初の判断を修正することを意味するとしても）一方、古典的な統計学者は先験的な方法と任意の仮説を設定し、その後でデータを処理するだけです(それでも計算を簡素化するというメリットがありました)。

どちらかをいつ使用するべきですか?

2 つのアプローチは相互に補完し合い、情報が豊富で収集コストが低い場合には統計が一般的に好まれ、情報がまれで収集にコストがかかる場合にはベイジアンが推奨されます。データが大量にある場合、結果は各方法で漸近的に同じになりますが、ベイジアンの方が単純に計算コストが高くなります。一方、ベイジアンを使用すると、統計に極限定理を適用できるほど十分なデータがない場合に対処することができます。

ベイジアンpsi 検定(観測値に関する分布の妥当性を判断するために使用されます) は、観測値の数が大きくなるにつれて古典統計の χ² に漸近収束します。したがって、χ² におけるユークリッド距離の一見恣意的な選択は、ベイズ推論によって事後的に完全に正当化されます。

ベイズ推論の例: この Cookie はどこから来たのか?

ビスケットが 2 箱入っていると想像してみましょう。

1 人の A には、チョコレートクッキーが 30 枚と通常のクッキーが 10 枚あります。
もう一方の B にはそれぞれ 20 個あります。

目を閉じて、ランダムに箱を 1 つ選び、その箱からランダムにビスケットを 1 つ選びます。それはたまたまチョコレートです。どの箱から出てくる可能性が最も高く、どのくらいの確率でしょうか?直観的には、ボックス A が正しい可能性が高いと思われますが、どの程度なのでしょうか?

正確な答えはベイズの定理によって得られます。

「ケーキは箱 A から来る」という命題をH _Aと表し、「ケーキは箱 B から来る」という命題をH _{B と}表します。

目隠しをしているときにボックスがその名前だけで区別される場合、 P ( H _A ) = P ( H _B ) となり、ボックスを選択したため、合計は 1 になります。つまり、確率は 0.5 です。それぞれの提案に対して。

「ケーキはチョコレートです」という文によって指定されるイベントを D で表すことにします。箱の中身を知ると、次のことがわかります。

P( D | H _A ) = 30/40 = 0.75
P( D | HB ) = 20/40 = _0.5 。

注：「P( A | B )」は「 A がBを知っている確率」です。

確率表記を使用して解く

したがって、ベイズの公式は次のようになります。

$$ {\begin{matrix} P(H_A | D) &=& \frac{P(H_A) \cdot P(D | H_A)}{P(H_A) \cdot P(D | H_A) + P(H_B) \cdot P(D | H_B)} \\ \\ \ & =& \frac{0,5 \times 0,75}{0,5 \times 0,75 + 0,5 \times 0,5} \\ \\ \ & =& 0,6 \end{matrix}} $$

ケーキを見る前、ボックス A を選択した確率はP ( H _A )、つまり 0.5 でした。

それを確認した後、この確率をP ( HA | D )、_つまり0.6 に修正します。