独立性 (確率)について詳しく解説

導入

独立性とは、相互に影響を及ぼさないランダムなイベントを直観的に認定する確率的な概念です。これは統計や確率計算において非常に重要な概念です。

たとえば、サイコロの最初の目の値は、2 番目の目の値には影響しません。同様に、投げの場合、 4 以下の値を取得しても、結果が偶数か奇数である確率には影響しません。2 つのイベントは独立していると言われます。

2 つのイベントが独立しているかどうかを確立するのは必ずしも簡単ではありません。

2 つのイベントの独立性

2 つのイベントの独立性の数学的定義は次のとおりです。

定義– A と B は独立しています

$$ { \Leftrightarrow \mathbb{P}(A \cap B) = \mathbb{P}(A) \cdot \mathbb{P}(B).} $$

上記の数学的定義はあまり意味がありません。条件付き確率の概念を導入すると、独立性の直観的な概念と上記の「積の公式」の間のつながりがより明確になります。

定義—もし

$$ {\scriptstyle\ \mathbb{P}(B) \neq 0,} $$

A がB を知っている条件付き確率。

$$ {\scriptstyle\ \mathbb{P}(A\mid B),\ } $$

は以下の関係によって定義されます。

$$ {\mathbb{P}(A\mid B)={\mathbb{P}(A \cap B) \over \mathbb{P}(B)}. } $$

Bが不可能でBが確実であるという興味のない特定のケースを除外することにより、独立性の定義を次のように再定式化できます。

定義— Bの確率が0 でも 1 でもない場合、以下の条件のいずれか(すべて同等) が満たされれば、 AとBは独立しています。

$$ {\begin{align}\mathbb{P}(A\mid B)\ &=\ \mathbb{P}(A),\\\mathbb{P}(A\mid \overline{B})\ &=\ \mathbb{P}(A),\\\mathbb{P}(A\mid B)\ &=\ \mathbb{P}(A\mid \overline{B}).\end{align}} $$

したがって、イベントAに対する予測が同じであれば、イベントAとBは独立していると言われます。

イベントBが発生したことがわかっている場合 (予後
$$ {\scriptstyle\ \mathbb{P}(A\mid B)\ } $$
）、
イベントBが発生しなかったことがわかっている場合 (予後
$$ {\scriptstyle\ \mathbb{P}(A\mid \overline{B})\ } $$
）、
イベントBの状態 (予後) について何も知らない場合
$$ {\scriptstyle\ \mathbb{P}(A)\ } $$
）。

言い換えれば、事象Aに関する私たちの予後がBに関するいかなる情報にも影響されず、またBに関する情報の欠如によっても影響されない場合、 AはBから独立していると言われます。条件付き確率を使用して、定義におけるAとBの役割を交換できます。ただし、もちろん、 Aが不可能であり、 Aが確実であるという興味のない特定のケースを除外します。

条件付き確率を使用した定義はより直観的ですが、一般性が低く、2 つのイベントAとB が対称的な役割を果たさないという欠点があります。

また、特定のイベントA は、それがどのようなイベントBであっても独立していることにも注意してください。不可能な出来事は、他の出来事からも独立しています。特に、イベントAは、 Aが確実であるか不可能であるという条件で、それ自体から独立しています。実際、イベントAがそれ自体から独立している場合、次のように書くことができます。

$$ {\mathbb{P}(A) = \mathbb{P}(A \cap A) = \mathbb{P}(A)\mathbb{P}(A),\,} $$

そして、イベントAの確率は 0 または 1 であると推測します。

確率変数の独立性

定義

確率変数の有限族の独立性については、同等の定義がいくつかあります。特に部族の家族の独立性を定義し、イベントの独立性と確率変数の独立性を部族の独立性の特殊なケースとして見ることができます。これにより、部族について、独立性に関する特定の一般的な結果を 1 回だけ実証し、この一般的な結果の「イベント」バージョンと「確率変数」バージョンを即座に推定することが可能になります (グループ化補題がその例です)。ただし、アプリケーションに有効な確率変数の独立性に関する 2 つの定義といくつかの便利な基準を最初に与えることがおそらく好ましいでしょう。以下では、シーケンスを検討します

$$ {\scriptstyle\ (X_1, X_2, \dots,X_n)} $$

同じ確率空間上で定義された確率変数の数

$$ {\scriptstyle\ (\Omega, \mathcal{A}, \mathbb{P})} $$

、ただし、異なる空間の値を持つ可能性があります:

$$ {\scriptstyle\ X_i\ :\ (\Omega, \mathcal{A}, \mathbb{P})\ \rightarrow\ (E_i,\mathcal{E}_i),\quad 1\le i\le n.} $$

意味–

$$ {\scriptstyle\ (X_1, X_2, \dots,X_n)} $$

次の 2 つの条件のいずれかが満たされる場合、は独立確率変数のファミリーになります。

$$ {\forall (A_1,\dots,A_n)\in\mathcal{E}_1\times\dots\times\mathcal{E}_n,\quad\mathbb{P}(X_1\in A_1\text{ et }X_2\in A_2\text{ et }\dots\text{ et }X_n\in A_n)\ =\ \prod_{i=1}^n\mathbb{P}(X_i\in A_i),} $$
私たちには平等がある

$$ {\mathbb{E}\left[\prod_{i=1}^n\ \varphi_i(X_i)\right]\ =\ \prod_{i=1}^n\mathbb{E}\left[\varphi_i(X_i)\right],} $$

あらゆる関数スイートに対応

$$ {\scriptstyle\ \phi_i} $$

に定義されています

$$ {\scriptstyle\ (E_i,\mathcal{E}_i),} $$

の値を持つ

$$ {\scriptstyle\ \R,\ } $$

上記の期待が意味をなすようになるとすぐに。

上記の期待は、次の場合に意味を成します。

$$ {\scriptstyle\ \varphi_i\ } $$

測定可能であり、もし

$$ {\scriptstyle\ \prod_{i=1}^n\ \varphi_i(X_i)\ } $$

積分可能であるか、または

$$ {\scriptstyle\ \varphi_i\ } $$

は正またはゼロです。通常、アプリケーションでは、

$$ {\scriptstyle\ (E_i,\mathcal{E}_i)=(\mathbb{R}^{d_i},\mathcal{B}(\mathbb{R}^{d_i})).} $$

2 つの実際の確率変数の場合、次のようになります。

定義—次の 2 つの条件のいずれかが満たされる場合、2 つの実数確率変数XとYは独立しています。

$$ {\forall (A,B)\in\mathcal{B}(\mathbb{R})^{2},\quad\mathbb{P}(X\in A\text{ et }Y\in B)\ =\ \mathbb{P}(X\in A)\ \mathbb{P}(Y\in B),} $$
我々は持っています

$$ {\mathbb{E}\left[g(X)\cdot h(Y)\right] = \mathbb{E}[g(X)]\cdot \mathbb{E}[h(Y)]} $$

ボレリアン関数の任意のペアに対して

$$ {\scriptstyle\ g} $$

そして

$$ {\scriptstyle\ h,\ } $$

上記の期待が意味をなすようになるとすぐに。

前述の定義は、便宜上 1 からnまで番号を付けた確率変数の有限族を扱いますが、これによってステートメントの一般性が制限されることはありません。実際、確率変数の有限族の要素には常に 1 からnまでの番号を付けることができます。さらに、定義ではファミリーの各要素が対称的な役割を果たすため、どちらの番号を選択しても定義の検証には影響しません。

任意の (おそらく無限の) 確率変数族の独立性は次のとおりです。

定義–任意の家族

$$ {\scriptstyle\ (X_{j})_{j\in J}\ } $$

に定義された確率変数の数

$$ {\scriptstyle\ (\Omega,\mathcal{A},\mathbb{P})\ } $$

の有限サブファミリーが存在する場合に限り、独立確率変数のファミリーとなります。

$$ {\scriptstyle\ (X_{j})_{j\in J}\ } $$

は独立した確率変数の族です (つまり、 Jの任意の有限部分Iに対して、次の場合に限り、

$$ {\scriptstyle\ (X_{i})_{i\in I}\ } $$

は独立した確率変数のファミリーです)。

密度のある確率変数の場合

それとも続編か

$$ {\scriptstyle\ X=(X_1, X_2, \dots,X_n)} $$

同じ確率空間上で定義された実際の確率変数の数

$$ {\scriptstyle\ (\Omega, \mathcal{A}, \mathbb{P}).\ } $$

定理—

もし
$$ {\scriptstyle\ X\ } $$
確率密度がある
$$ {\scriptstyle\ f:\R^n\rightarrow [0,+\infty[\ } $$
これは「製品」形式で書かれています。

$$ {\forall x=(x_1,\dots,x_n)\in\R^n,\qquad f(x)\ =\ \prod_{i=1}^ng_i(x_i),} $$

関数はどこにあるのか

$$ {\scriptstyle\ g_i\ } $$

ボレリアンで正またはゼロの場合、

$$ {\scriptstyle\ X\ } $$

は一連の独立変数です。さらに、機能

$$ {\scriptstyle\ f_i\ } $$

によって定義される

$$ {f_i(x)\ =\ \frac{g_i(x)}{\int_{\R}g_i(u)du}} $$

は確率変数の確率密度です

$$ {\scriptstyle\ X_i.\ } $$

逆に、もし
$$ {\scriptstyle\ X\ } $$
それぞれの確率密度の独立した実確率変数のシーケンスです
$$ {\scriptstyle\ f_i,\ } $$
それで
$$ {\scriptstyle\ X\ } $$
は確率密度を持ち、関数は
$$ {\scriptstyle\ f\ } $$
によって定義される

$$ {\forall (x_1,\dots,x_n)\in\R^n,\qquad f(x_1,\dots,x_n)\ =\ \prod_{i=1}^nf_i(x_i),} $$

は確率密度です

$$ {\scriptstyle\ X.\ } $$

直接的な意味。

密度のようなもの

$$ {\scriptstyle\ f\ } $$

製品の形で、私たちは持っています

$$ {\begin{align} 1 &= \int_{\R^2}f(x_1,x_2) \, dx_1 \, dx_2\\ &=\left(\int g_1(x_1)\, dx_1\right) \, \left(\int g_2(x_2) \, dx_2\right) \end{align} } $$

そしてその後

$$ {\begin{align} f(x_1,x_2) &= g_1(x_1)\, g_2(x_2) \\ &= \frac{g_1(x_{1})}{\int_{\R}g_1(u)du}\ \frac{g_2(x_{2})}{\int_{\R}g_2(v)dv}\\ &= f_1(x_1) \,f_{2}(x_2). \end{align}} $$

構造による機能

$$ {\scriptstyle\ f_i\ } $$

は整数 1 なので、

$$ {\begin{align} \int_{\R} f(x_1,x_2) dx_2 &= f_1(x_1), \\ \int_{\R} f(x_1,x_2) dx_1 &= f_2(x_2). \end{align}} $$

したがって、関数は

$$ {\scriptstyle\ f_i\ } $$

は、次の 2 つの成分の周辺確率密度です。

$$ {\scriptstyle\ X.\ } $$

したがって、関数の任意のペアに対して、

$$ {\scriptstyle\ \varphi\ } $$

そして

$$ {\scriptstyle\ \psi\ } $$

以下の最初の項が意味を持つように、

$$ {\begin{align} \operatorname{E}[\varphi(X_1)\psi(X_2)] &= \int \int \varphi(x_1)\psi(x_2)f(x_1,x_2) \, dx_1 \, dx_2\\ &= \int \int \varphi(x_1)f_1(x_1)\psi(x_2)f_2(x_2) \, dx_1 \, dx_2\\ &= \int \varphi(x_1)f_1(x_1) \, dx_1 \int \psi(x_2)f_{2}(x_2) \, dx_2\\ &= \operatorname{E}[\varphi(X_1)] \operatorname{E}[\psi(X_2)]\end{align}} $$

これは変数の独立性につながります

$$ {\scriptstyle\ X_{1}\ } $$

そして

$$ {\scriptstyle\ X_{2}.\ } $$

相互的な意味。それを示すだけで十分です

$$ {\forall A\in \mathcal{B}(\R^2),\quad \mathbb{P}_{X}(A)=\mu(A),} $$

または

$$ {\scriptstyle\ \mathbb{P}_{X}\ } $$

の法則です

$$ {\scriptstyle\ X,\ } $$

そしてどこで

$$ {\scriptstyle\ \mu\ } $$

密度を持つメジャーです

$$ {\scriptstyle\ (x_1,x_2)\rightarrow f_1(x_1)f_{2}(x_2).\ } $$

金

$$ {\forall A\in \mathcal{C},\quad \mathbb{P}_{X}(A)=\mu(A),} $$

または

$$ {\scriptstyle\ \mathcal{C}\ } $$

ボレリアンタイルのクラスです。

$$ {\mathcal{C}\ =\ \{A_1\times A_2\ |\ A_i\in\mathcal{B}(\R),i\in\{1,2\}\}. } $$

確かに

$$ {\begin{align} \mathbb{P}_{X}(A_1\times A_2) &= \mathbb{P}(X_1\in A_1\text{ et }X_2\in A_2)\\ &= \mathbb{P}(X_1\in A_1)\mathbb{P}(X_2\in A_2)\\ &= \left(\int_{\R} 1_{A_1}(x_1)f_1(x_1) \, dx_1\right)\left(\int_{\R} 1_{A_2}(x_2)f_2(x_2) \, dx_2\right)\\ &= \int_{\R^2} 1_{A_1\times A_2}(x_1,x_2)f_1(x_1)f_2(x_2) \, dx_1 \, dx_2\\ &= \mu(A_1\times A_2)\end{align}.} $$

そのとき私たちはそれに気づきます

$$ {\scriptstyle\ \mathcal{C}\ } $$

は π システムであり、によって生成される部族であると考えられます。

$$ {\scriptstyle\ \mathcal{C}\ } $$

東

$$ {\scriptstyle\ \mathcal{B}(\R^2),\ } $$

したがって、確率測度の一意性の補題により、

$$ {\forall A\in \mathcal{B}(\R^2),\quad \mathbb{P}_{X}(A)=\mu(A).} $$

離散変数の場合

離散変数の場合、有用な独立性基準は次のとおりです。

離散の場合— X=(X ₁ , X ₂ , …, X _n )を離散確率変数のシーケンスとし、 (S ₁ , S ₂ , …, S _n )を有限集合のシーケンスとするまたは、すべてのi≤nについて、可算です。

$$ {\scriptstyle\ \mathbb{P}(X_i\in S_i)=1.\ } $$

この場合、ファミリー(X ₁ , X ₂ , … , X _n )は、すべての場合、独立した確率変数のシーケンスになります。

$$ {\scriptstyle\ x=(x_1,x_2, \dots, x_n)\in \prod_{i=1}^n\,S_i,\ } $$

$$ { \mathbb{P}\left(X= x\right)\ =\ \prod_{i=1}^n\,\mathbb{P}\left(X_i= x_i\right).} $$

デカルト積に関する統一法則:

(E ₁ , E ₂ , … , E _n ) をそれぞれの基数#E _iの有限集合のシーケンスとし、 X=(X ₁ , X ₂ , … , X _n )をランダムとします。デカルト積の値を持つ変数uniform：

$$ { E\ =\ E_1\times E_2\times E_3\times\ \dots\ \times E_n.} $$

この場合、シーケンスX は独立した確率変数のシーケンスであり、各iについて、確率変数X _{i は}E _iに関する一様法則に従います。実際に、各Y _{i が}対応するセットE _iにわたって均一である、独立確率変数のシーケンスY=(Y _i ) _1≤i≤nを考えてみましょう。次に、 Eの任意の要素x=(x ₁ , x ₂ , …, x _n )について、

$$ { \begin{align}\mathbb{P}\left(X= x\right)&=\frac1{\# E}\\ &=\prod_{i=1}^n\frac1{\# E_i}\\ &=\prod_{i=1}^n\,\mathbb{P}\left(Y_i= x_i\right)\\ &= \mathbb{P}\left(Y= x\right),\end{align}} $$

2 番目の等式は集合のデカルト積の要素の数を与える公式から得られ、4 番目はY _iの独立性から得られ、他の等式は一様法則の定義から得られます。したがって、シーケンスXとY は同じ法則を持ちます。これは、 Xが一連の独立した確率変数であり、その成分が均一の法則に従うことを意味します。

この基準の適用は、順列のレーマーコードのコンポーネントの独立性であり、これにより、第 1種スターリング数の母関数を簡単に取得することができます。
別の用途は、区間 [0,1] における均一な数値の10 進数展開からの桁の独立性です。

その他の独立性基準

例えば、

基準— XとY を確率空間上で定義された 2 つの実際の確率変数とする

$$ {\scriptstyle\ (\Omega,\mathcal{A},\mathbb{P}).\ } $$

実数の任意のペア(x,y)について、

$$ { \mathbb{P}\left(X\le x\text{ et }Y\le y\right)\ =\ \mathbb{P}\left(X\le x\right)\times\mathbb{P}\left(Y\le y\right),} $$

その場合、 XとY は独立しています。

Yに値がある場合
$$ {\scriptstyle\ \mathbb{N},\ } $$
そして、もし、どのカップルにとっても
$$ {\scriptstyle\ (x,n)\in\mathbb{R}\times\mathbb{N},\ } $$

$$ { \mathbb{P}\left(X\le x\text{ et }Y=n\right)\ =\ \mathbb{P}\left(X\le x\right)\times\mathbb{P}\left(Y=n\right),} $$

その場合、 XとY は独立しています。

もちろん、 XとYに値があれば、
$$ {\scriptstyle\ \mathbb{N},\ } $$
そして、もし、どのカップルにとっても
$$ {\scriptstyle\ (m,n)\in\mathbb{N}^2,\ } $$

$$ { \mathbb{P}\left(X=m\text{ et }Y=n\right)\ =\ \mathbb{P}\left(X=m\right)\times\mathbb{P}\left(Y=n\right),} $$

その場合、 XとY は独立しています。

たとえば、2 番目の基準を使用して、拒否法では反復回数が反復の最後に生成されるランダムオブジェクト(多くの場合乱数) から独立していることを実証できます。

これらの独立性基準を、実際の確率変数の有限族に一般化できます。その一部は、おそらく、有限または可算部分の値を持つ離散変数です。

$$ {\scriptstyle\ \mathbb{R},\ } $$

とは異なる可能性があります

$$ {\scriptstyle\ \mathbb{N}.\ } $$

これらの基準の証明は、「単調クラス補題」のページにあります。

独立性と相関性

独立性は、2 つの変数間の共分散、つまり相関がゼロであることを意味します。

定理— XとY は独立しています

$$ {\Rightarrow \operatorname{Cov}(X,Y)=\operatorname{Corr}(X,Y)=0} $$

この特性は、共分散を次のように表現すると非常に簡単に推定できます。

$$ {\operatorname{cov}(X, Y) = \operatorname{E}(X Y) – \operatorname{E}(X)\operatorname{E}(Y)} $$

。これまで見てきたように、 XとYの独立性は次のことを意味します。

$$ {\operatorname{E}(X Y)= \operatorname{E}(X)\operatorname{E}(Y)} $$

、それで

$$ {\operatorname{cov}(X, Y) = \operatorname{E}(X Y) – \operatorname{E}(X)\operatorname{E}(Y)=\operatorname{E}(X)E(Y)-\operatorname{E}(X)\operatorname{E}(Y)=0} $$

。

次の例が示すように、定理の逆は偽です。

例：

この例は、Ross (2004、p. 306) から引用したものです。

X を次のような離散確率変数とします。
$$ { \mathbb{P}(X=0)=\mathbb{P}(X=1)=\mathbb{P}(X=-1)=\frac{1}{3}} $$
。

Xに関連してY を定義しましょう。
$$ { \begin{cases} 0 & \text{si } X\neq 0\\ 1 & \text{si } X= 0\\ \end{cases}} $$

計算します
$$ {\operatorname{E}[XY]= \frac{1}{3}(0\cdot 1)+\frac{1}{3}(1\cdot 0)+\frac{1}{3}(-1\cdot 0)=0} $$
。

私たちもそれを見ています
$$ {\operatorname{E}[X]= \frac{1}{3}(0)+\frac{1}{3}(1)+\frac{1}{3}(-1)=0+1-1=0} $$
。

それで：
$$ {\operatorname{cov}(X, Y) = \operatorname{E}(X Y) – \operatorname{E}(X)\operatorname{E}(Y)=0-0=0} $$
。

ただし、2 つの変数は明らかに独立していません。

XとY間の無相関は、独立性よりも弱い特性です。実際、間の独立性は定義されています…)。

独立性 (確率)について詳しく解説

導入

2 つのイベントの独立性

確率変数の独立性

定義

密度のある確率変数の場合

離散変数の場合

その他の独立性基準

独立性と相関性

参考資料

独立性 (確率)について詳しく解説・関連動画