導入
人工ニューラル ネットワークは、生物学的ニューロンの機能から非常に概略的にインスピレーションを得て設計された計算モデルです。
ニューラル ネットワークは通常、確率学習手法、特にベイジアン手法によって最適化されます。これらは、一方では、迅速な分類 (特にコホーネン ネットワーク) の生成を可能にする一連のパラダイムで強化された統計アプリケーションのファミリーに配置され、他方では、人工知能の手法のファミリーに配置されます。これにより、実装者自身のアイデアから独立した知覚メカニズムが提供され、正式な論理的推論に入力情報が提供されます。
生物学的回路のモデル化では、神経生理学からのいくつかの機能仮説をテストしたり、これらの仮説の結果を現実と比較したりすることが可能になります。
歴史的
ニューラル ネットワークは、形式ニューロンの生物学的パラダイムに基づいて構築されます (遺伝的アルゴリズムが自然選択に基づいているのと同様)。このような種類の生物学的比喩は、サイバネティクスやバイオサイバネティクスの考え方で一般的になりました。これは、たとえば飛行機の翼が鳥の翼を模倣するのと同様に、脳を記述するものではありません。特に、グリア細胞の役割は現在シミュレーションされていません (2010)。
神経学者のウォーレン・マカロックとウォルター・ピッツは、1950 年代の終わりに、 「カエルの目はカエルの脳に伝えること」という基礎論文を含むニューラル ネットワークに関する最初の研究を発表しました。次に、彼らは一般に形式ニューロンと呼ばれる生物学的ニューロンの単純化されたモデルを作成しました。彼らは、単純な形式ニューラル ネットワークが理論的には複雑な論理関数、算術関数、および記号関数を実行できることを示しました。
形式ニューロンは、正確なルールに従って入力を出力に変換する伝達関数を備えたオートマトンとして設計されています。たとえば、ニューロンは入力を合計し、結果の合計をしきい値と比較し、この合計がこのしきい値以上の場合に信号を発して応答します (生物学的ニューロンの機能の超単純化モデル)。これらのニューロンは、プロアクティブ ネットワーク、リカレント ネットワークなど、接続トポロジが可変のネットワークにも関連付けられています。最後に、あるニューロンから別のニューロンへの信号の伝達効率は変化する可能性があります。私たちは「シナプスの重み」について話しますが、これらの重みは学習ルール (有機的なネットワークのシナプス可塑性を模倣する) によって調整できます。
フォーマル ニューラル ネットワークの機能の 1 つは、生きたモデルと同様に、迅速に分類を行い、それを改善する方法を学習することです。従来のコンピューターによる解決方法とは異なり、理解に基づいて段階的にプログラムを構築する必要はありません。このモデルの重要なパラメータは、各ニューロンのシナプス係数と閾値、およびそれらを調整する方法です。彼らは、入力情報に基づいてネットワークの進化を決定します。それらを計算できるメカニズムを選択し、可能であれば最適にできるだけ近い分類を保証する値に収束させる必要があります。これはネットワーク学習フェーズと呼ばれます。したがって、正式なニューラル ネットワーク モデルでは、学習は、提示された例を分類するのに最も適さないシナプス係数を決定することになります。
McCulloch と Pitts の研究では、シナプス係数を適応させる方法については何も示されていませんでした。学習についての考察の中心にあるこの疑問は、1949 年にカナダの生理学者ドナルド・ヘブが著書「行動の組織化」の中で説明した学習に関する研究のおかげで最初に答えられました。 Hebb は、シナプス係数の値を、それらが接続するユニットのアクティビティに基づいて変更できるようにする単純なルールを提案しました。現在「ヘッブの法則」として知られているこの規則は、最も洗練されたモデルであっても、現在のモデルのほぼすべての場所に存在します。
この記事から、このアイデアは時間をかけて人々の心に種を蒔かれ、1957 年にフランク ローゼンブラットの心の中でパーセプトロン モデルとして発芽しました。これは、講師がいくつかの間違いを犯した場合も含め、経験から学習できる初めての人工システムです (この点が、正式な論理学習システムとは明らかに異なります)。 1949 年のドナルド・ヘブの作品など、他の作品もこの分野に注目を集めました。
1969 年、ニューラル ネットワークを中心に展開する科学界に深刻な打撃が与えられました。マービン リー ミンスキーとシーモア パパートは、パーセプトロン、より一般的には線形分類器のいくつかの理論的限界、特に非線形処理の不可能性を強調する論文を発表しました。または接続の問題。彼らはこれらの制限を人工ニューラル ネットワークのすべてのモデルに暗黙的に拡張しました。行き詰まりを見せたように見えたニューラルネットワークの研究は公的資金の大部分を失い、産業界も研究から離れた。人工知能に向けられた資金は代わりに形式論理に振り向けられ、研究は10年間停滞した。しかし、適応問題における特定のニューラル ネットワーク (例: Adaline) の確かな性質により、それ自体が進化する現象を進化的な方法でモデル化できるため、多かれ少なかれ明示的な形式で適応システムのコーパスに統合されることになります。電気通信または産業プロセス制御の分野で使用されます。
1982 年、有名な物理学者であるジョン ジョセフ ホップフィールドは、新しい (完全にリカレントな) ニューラル ネットワーク モデルを紹介する記事を発表し、ニューロンに新しい命を吹き込みました。この記事はいくつかの理由で成功しましたが、その主な理由は、ニューラル ネットワークの理論に物理学者特有の厳密さを注入したことです。ニューラルは再び研究対象として受け入れられるようになりましたが、ホップフィールド モデルには 1960 年代のモデルの主な制限、特に非線形問題の処理が不可能であるという問題がありました。
同時に、人工知能へのアルゴリズム的アプローチは幻滅の対象となり、その応用は期待に応えられませんでした。この幻滅は、 人工知能の研究をニューラル ネットワークへと方向転換させるきっかけとなりました (ただし、これらのネットワークは厳密に言えば、人工知能よりも人工知覚に関係しています)。研究が再開され、産業界はニューラル技術（特に巡航ミサイル誘導などの用途）への関心を取り戻した。 1984 年 (?)、この分野で最も議論されていたのは誤差勾配逆伝播システムでした。
その後、人工ニューラル ネットワークの分野で革命が起こります。これは、非線形現象をうまく処理できる新世代のニューラル ネットワークです。多層パーセプトロンには、マービン ミンスキーによって強調された欠陥がありません。ウェルボスによって初めて提案された多層パーセプトロンは、1986 年に Rumelhart によって導入され、同時に、Yann le Cun によって同様の名前で導入されました。これらのシステムは、Rumelhart のパーセプトロンに近いバーナード ウィドローの Adaline タイプの複数の層を備えたシステムにおける誤差勾配の逆伝播に基づいています。
その後、ニューラル ネットワークは大幅な成長を遂げ、ソ連のウラジミール ヴァプニクによって導入され、壁崩壊以来西側で普及した「統計的正則化」理論の洞察から恩恵を受けた最初のシステムの 1 つとなりました。この理論は統計学の分野で最も重要なものの 1 つであり、過学習に関連する現象を予測、研究、制御することを可能にします。したがって、学習システムを調整して、不十分なモデリング (例: 平均) と、少数すぎる例で幻想的な方法で最適化され、例では効果がなくなる豊富すぎるモデリングの間で可能な限り最善の調停を行うことができます。まだ学んでいませんが、学んだ例に近いものさえあります。過学習は、直接最適化手法 (線形回帰など)、反復手法 (勾配アルゴリズムなど)、または半直接反復 (共役勾配、期待値最大化、など)、およびこれらが古典的な統計モデル、隠れマルコフ モデル、または形式的なニューラル ネットワークに適用されるかどうか。