ニューラルネットワーク 用語集
ニューラルネットワーク（神経回路網） Neural Network
ニューラルネットワークとは、人間の脳の構造をまねて作った情報処理機構です。
人間の脳は、「ニューロン」と呼ばれる神経細胞の組み合わさった構造（神経回路網）で 構成されています。この構造をまねることで、人間の得意とするような、パターン認識や、連想記憶などの処理を効率良く行うことができます。
ニューロンは、入力の和がしきい値を越えると出力をだします（発火）。このニューロンをたくさん組み合わせて、ニューロン間の接続に重みを付加することで情報処理を行います。ニューロンの学習はこの重みを変化させることによって学習を行います。
実際の脳の構造や動作原理には、まだ未知の部分が多いので様々なモデル化が提唱されています。また、実際の神経細胞とは異なる方法でモデル化されたニューラルネットワークでも、有効な情報処理手法である場合もあります。
ニューラルネットワークには、階層型と相互結合型があります。階層型の代表的なものにはパーセプトロン、バックプロパゲーション（ＢＰ）学習型、ネオコグニトロンなどがあります。相互結合型には、アソシアトロン、ホップフィールドネットワーク、ボルツマンマシンなどがあります。このほかにも実に様々なニューラルネットワークが提唱されています。
ニューロン（神経細胞素子） Neuron
ニューラルネットワークを構成する素子。一般的なものは多入力一出力になっています。
パーセプトロン Perceptron
一番最初に発表されたニューラルネットワークで、パターン認識を得意としています。
入力層、中間層、出力層の３層構造になっていて、ニューロンの接続は、入力層と中間層、中間層と出力層の間にのみあります。学習を行うと、ある一定のパターンに対して出力層の一つのニューロンのみが反応するようになります。また、入力されるパターンに対してある程度の許容性を持ち、多少違うパターンであっても、反応を返すことができます。
バックプロパゲーション法（ＢＰ法） Back Propagation algorithm
階層型ニューラルネットワークの学習法の一つで、日本語では、逆誤差伝搬法と言います。基本的にはパーセプトロンの拡張で、出力層に正しい解答を教師信号として与えてやることで、その教師信号と出力との誤差を求めて重みを変更します。この働きが、出力層側から入力層側に向かうため、バックなわけです。また、学習アルゴリズムは最急降下法が用いられています。
ＢＰ法は賛否両論で、基本的にはパーセプトロンより優れているといわれていますが、与えられる問題によっては局所最小解に陥ったり、学習が収束しなかったりすることもあるようです。
アソシアトロン Associatron
相互結合型のニューラルネットワークで、連想記憶を行うことができます。アソシアトロンのニューロンは -1,0,+1 の３値をとり、抑制、未知、興奮を意味します。また、３値をとるため、アソシアトロンは、ニューラルネットワークではないという人もいますが、（人間の神経細胞は、実際には２値）挙動としては、人間の連想を極めて自然に表現できているのではないでしょうか。
ホップフィールドネットワーク Hopfield Network
相互結合型のニューラルネットワークで、最適化問題を解くことができます。ホップフィールドネットワークでは、ニューロン間の結合をエネルギーに置き換えて考え、そのエネルギーを最小にするようにすることで解を求めることができます。しかし、このモデルは最急降下法を用いているため、局所最小解に陥る危険があります。
ボルツマンマシン Boltzmann machine
ボルツマンマシンは、ホップフィールドネットワークの改良版といったようなものです。基本的には、ホップフィールドネットワークと同じ考え方で、これに温度ゆらぎＴという概念を付加しています。ホップフィールドネットワークの最急降下法のアルゴリズムに温度Ｔでゆらぎを掛けることで、まっすぐ下っていくだけでなくある程度周辺の要素の影響を受けることになるため、局所最小に陥りそうになったときに、近くのよりエネルギーの低い点へ進むことができるようになります。（つまり、途中の少し高い点を乗り越えて最小解へと進むことができるわけです。）
温度Ｔはこのときにまわりへゆらぐ大きさを表しています。つまり、Ｔが大きいとより大きな壁を乗り越えることができるため、最小解を発見しやすくなりますが、その代わりゆらぎ幅が大きいため、収束までにかかる時間も大きくなります。また、Ｔ＝０のときはホップフィールドネットワークと等価になります。ボルツマンマシンは、確率的要素を付加することによって局所安定から抜け出ることができるわけです。