独立成分分析について詳しく解説

導入

独立成分分析は、統計、ニューラルネットワーク、および信号処理に分類されるデータ分析方法 (データマイニングも参照) です。これは歴史的にもブラインド音源分離の方法として悪名高く知られていますが、現在ではさまざまな問題に適用されています。

歴史的

この問題の最初の定式化は1985 年に神経科学と信号処理の研究者によって実行され、動きのコーディングを生物学的にモデル化しました。この研究により、ブラインド音源分離問題の定式化への道が開かれました。 1980 年代後半に、主にフランスとフィンランドでこのテーマを中心としたコミュニティが出現しました。フランスの信号処理コミュニティは統計形式主義を採用しましたが、フィンランドの研究者はコネクショニスト形式主義によって主成分分析を拡張することを目指していました。 1985 年に提案されたアルゴリズムは驚くほど堅牢でしたが、その特性の理論的説明は不完全でした。ブラインド音源分離問題の最初の形式化と、解を得ることができるアルゴリズムは、1991 年に C. Jutten と J. Hérault によって提案されました。最も単純なケース (線形混合スナップショット) での数学的形式化が実行されました。 1994 年に P. Common によって発表され、独立成分分析の概念につながりました。

この分野の研究は1990 年代から非常に活発になり、世界中の研究者がこの問題に興味を持つようになりました。前述のヨーロッパのチームに加えて、アメリカと日本の研究者も ACI とニューラルコーディングの関係に興味を持っていました。提案されている特定のソリューションの詳細と、関連する理論的展開を説明する専門的な著作がいくつかあります。

このテーマに特化した国際会議は 1999 年から存在しています。当初は 18 か月ごとに開催される予定でしたが、現在は毎年開催されています。初版はオーソワ (フランス、1999 年)、ヘルシンキ (フィンランド、2000 年)、サンディエゴ (カリフォルニア、2001 年)、奈良 (日本、2003 年)、グレナダ (スペイン、2004 年)、チャールストン (サウスカロライナ州、米国大学) で開催されました。、2006 年）、ロンドン（イギリス、2007 年）、パラチ（ブラジル、2009 年）。

数学的形式主義

最も単純なケース (ノイズの多い瞬間線形モデル) では、理論は非常によく理解されています。ただし、この混合モデルは実際のケースをモデル化するには制限が多すぎるように思われることがよくあります。より複雑な混合モデルの研究は、現在まで活発な研究の対象となっています。

ノンノイズ瞬時線形モデル

特定のコントラスト関数として相互情報量が選択された場合、ランダムベクトル独立成分分析

$$ {\underline{x}=\left(x_1,x_2,\dots,x_p\right )} $$

これは、ノイズのない次の瞬間線形生成モデルを特定することに相当します。

$$ {\underline{x}=A\underline{s}} $$

ここで、ベクトルの成分s _i

$$ {\underline{s}=\left(s_1,s_2,\dots,s_n\right )} $$

は相互に独立しており、行列Aは固定サイズです

$$ {p\times n} $$

。ただし、モデルが (理論的に) 見つかることを確認するには、次の識別可能性の条件を検証する必要があります。

せいぜい1 つのソース (コンポーネント)
$$ {\underline{s}} $$
) 正規 (ガウス) 分布に従うことができます。
行列Aのランクは、(検出される) ソースの数と等しくなければなりません。

最初の条件は、ガウス分布の次数が 2 より大きいモーメントとキュムラントが無効であることから生じます。したがって、独立性は単純な非相関になり、統計的独立性の仮説ではガウスソースを分離することはできません。ただし、他の非ガウスソースを見つけることは可能です。

2 番目の条件では、特定するソースと少なくとも同量のデータを観察する必要があります。しかし、スパース表現に関する研究により、利用可能な観測値よりも多くの情報源を抽出できることが示されました。逆に、主成分分析 (PCA) などを使用して、利用可能な観測値のサイズを減らすことはいつでも可能です。

ただし、これら 2 つの識別可能性の条件が検証されると、 2 つの不確定事項が残ります。

ソースの順序を変更しても、それらの相互の独立性は変更されません。その結果、ACI によって識別されたソースは順序付けされません (分散/共分散行列の固有値に従ってソースが順序付けされる PCA とは異なります)。
コンポーネントにゼロ以外の定数を乗算すると、統計的独立性が維持されます。言い換えれば、ソースの振幅には不確定性があります。

これら 2 つの不決定は、ノイズのない瞬間線形モデルに固有のものではなく、一般的なケースで検証されます。

ノイズの多い瞬間線形モデル

これは、前のモデルよりも現実的であり、次のモデルを特定することになります。

$$ {\underline{x}=A\underline{s}+\sigma} $$

ここで、 σはノイズです。

非瞬時線形モデル

混合は畳み込み状になる場合があります。ただし、その後、たとえばフーリエ変換を使用して、線形モデルに戻ることができます。

非線形混合

これは、観測値がソースの非線形変換から生じる最も一般的なケースです。

$$ {\underline{x}=F(\underline{s})} $$

ここで、 F (.) は任意の非線形関数です。この場合の一般的な方法はわかりません。それにも関わらず、一部の著者は特定のケース向けの方法を提案しています。これは非常に活発な研究分野です。最も一般的なケースでは、問題の提起が不十分であり、解決策は決してユニークなものではありません。