JPH05197821A - 階層型ニューラルネットの最適化方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】 中間層に配置されるニューロンの数並びに重
みをともに最適な値に近付けることのできる階層型ニュ
ーラルネットの最適化方法を提供すること。 【構成】 所定回数学習を行ったニューラルネットに対
し誤差２乗和の変化量，正答率並びにその変化量を検出
することにより、学習状況（最適解に収束しているか否
か，局所解に陥っていないか，並びにニューロン数は適
切か）を判断し、必要に応じて中間層にニューロンを追
加したり、不良ニューロンを削除したり或いはその不良
ニューロンの重みを初期化し直した後、再度学習を行
う。これにより、学習を行いつつ中間層に最適なニュー
ロンの数を設定し、かつ最適解が求まる。尚、上記不良
ニューロンとは、入力データの解析に対する影響力の低
いニューロンをいう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、階層型ニューラルネッ
トの最適化方法及び装置に関するもので、より具体的に
は階層型ニューラルネットワークにおける中間層の構造
の最適化を図るものに関する。

【０００２】

【従来の技術】階層型ニューラルネットワークは、入力
層，中間層（必要に応じ複数層から構成される）並びに
出力層から構成され、各層にはそれぞれ所定数のニュー
ロンが配置されるとともに、各層間のニューロンがシナ
プスにて連結されており、各シナプスには所定の結合係
数（以下、単にニューロンに付与された「重み」と称す
る）が付与されている。そして、その重みを適正な値に
設定するため、ニューラルネットワーク自身で自己学習
が行われる。

【０００３】この自己学習の一例としては、バックプロ
パゲーションと称されるものがある。この方法は、最初
に各シナプスに付与される重みを乱数にて初期設定し、
その状態で入力層にある入力データを入力し、その入力
データに基づいて入力層から出力層まで順次計算し、出
力データを得る。そして、その出力データを、上記入力
データにより得られるべき期待出力データとを比較し、
両者の差を求め、この差が小さくなるように、重みを変
更するようになっている。しかも、この学習処理中にお
いては、各層に配置したニューロンの数が固定されてい
る。

【０００４】

【発明が解決しようとする課題】ところで、中間層に設
置したニューロンの数が少ないと、入力データの特徴量
空間を旨く分割することができず、たとえ上記学習処理
を行ったとしても、十分な入出力関係を獲得することが
できない。一方、ニューロンの数が多くなると、正しい
入出力関係を得ることができるものの、実際にシステム
内に組み込んだ場合にメモリ容量が膨大になるだけでな
く、処理時間も長くなり、実用に供し得なくなる。しか
も、最適なニューロンの数をあらかじめ知得することは
できない。したがって、せっかく上記学習処理を行った
としても、ニューロンの数が最適でないために、中間層
におけるニューラルネットワークの構造を最適化するこ
とができないという問題がある。さらに、図１９に示す
ように、階層型ニューラルネットでは、学習により得ら
れた入出力関係が局所解となってしまい、最適解を得る
ことができないおそれがある。ここで、最適解とは、誤
差曲面において誤差２乗和が最小となる重みの値をい
い、局所解とは誤差曲面において局所的に誤差２乗和
（の変化量）が小さくなる（最適解ではない）ときの重
みの値を示す。

【０００５】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、中間層に配置される
ニューロンの数並びに重みをともに最適な値に近付けこ
とにより、最適なニューラルネットワークの構造を得る
ことのできる階層型ニューラルネットの最適化方法及び
装置を提供することにある。

【０００６】

【課題を解決するための手段】上記した目的を達成する
ために、本発明に係る階層型ニューラルネットの最適化
方法では、階層型ニューラルネットに対して所定の学習
を行っている途中で、中間層のニューロン間に付与され
ている重みが局所解に陥っているか否かを判断し、局所
解に陥っているときに中間層の所定位置に新たなニュー
ロンを追加するようにした。

【０００７】また、階層型ニューラルネットに対して所
定の学習を行っている途中で、中間層を構成する各ニュ
ーロンに対し入力データの認識に貢献している度合いを
あらわす不良ニューロン評価値を求め、その評価値に基
づいて不良ニューロンを決定し、その不良ニューロンを
所定のタイミングで削除したり、その不良ニューロンに
対し付与されている重みを初期化した後、学習を続行す
るようにしてもよい。

【０００８】さらには、上記各手法を組み合せて中間層
に対しニューロンの追加或いは削除を適宜行うようにし
ても良く、さらに一度削除した不良ニューロンを復帰さ
せた後、学習を続行させるようにしても良い。

【０００９】また、上記方法を実施するに適した本発明
に係る最適化装置では、階層型ニューラルネットに対し
て学習を行うニューラルネット学習装置と、そのニュー
ラルネット学習装置から出力される学習状況データに基
づいて中間層のニューロン間に付与されている重みが局
所解に陥っているか否かを判断する装置と、その判断す
る装置から送られる制御信号に基づいて前記中間層に新
たなニューロンを追加する中間層ニューロン追加装置と
を設けた。

【００１０】また、階層型ニューラルネットに対して学
習を行うニューラルネット学習装置と、そのニューラル
ネット学習装置から出力される学習状況データに基づい
て中間層を構成する各ニューロンに対し入力データの認
識に貢献している度合いをあらわす不良ニューロン評価
値を算出する不良ニューロン評価値算出装置と、前記ニ
ューラルネット学習装置から出力される学習状況データ
に基づいて学習が最適解に近付いている否かを判断する
装置と、その判断する装置から送られる制御信号と、前
記不良ニューロン評価値算出装置から送られる不良ニュ
ーロンの評価値データとに基づいて、前記中間層の不良
ニューロンを削除する中間層ニューロン削減装置とを設
けても良い。

【００１１】さらに、階層型ニューラルネットに対して
学習を行うニューラルネット学習装置と、そのニューラ
ルネット学習装置から出力される学習状況データに基づ
いて中間層を構成する各ニューロンに対し入力データの
認識に貢献している度合いをあらわす不良ニューロン評
価値を算出する不良ニューロン評価値算出装置と、その
ニューラルネット学習装置から出力される学習状況デー
タに基づいて中間層のニューロン間に付与されている重
みが局所解に陥っているか否かを判断する装置と、その
判断する装置から送られる制御信号と、前記不良ニュー
ロン評価値算出装置から送られる不良ニューロンの評価
値データとに基づいて、前記中間層の不良ニューロンの
重みを初期化する中間層ニューロン重み初期化装置とを
設けてもよい。そして好ましくは上記各装置を適宜組み
合わせて構成することである。

【００１２】さらに、上記各種の構成からなる階層型ニ
ューラルネットの最適化装置に対し、与えられる要求仕
様に基づいて設定される出力誤差重みデータを格納した
記憶手段を設け、前記各種の判断する装置が、前記記憶
手段に格納された出力誤差重みデータを考慮して前記各
種の判断を行うようにしてもよい。

【００１３】そして、係る出力誤差重みデータを格納し
た記憶手段を設けた場合には、さらにその出力誤差重み
データを修正する出力誤差重み調整手段を設け、前記判
断する手段が、前記出力誤差重みデータを修正するか否
かの判断機能を付与するのが好ましい。そして、そのよ
うに出力誤差重みデータを記憶する手段並びにそのデー
タを修正する調整手段を備えた場合には、上記中間層の
ニューロン削減，追加，重み初期化手段を設けなくて
も、最適化を図ることができる。

【００１４】

【作用】本発明では、階層型ニューラルネットの学習を
行っている途中で、その学習状況（効果）を監視し、局
所解に陥っていると判断したらニューロンを追加する。
すると、特徴量空間をより多くの曲面で分割することが
可能となり、認識率が向上し、局所解から脱出して最適
解が求まる。

【００１５】一方、不良ニューロンは、次段（出力側）
への影響力（入力データの認識に対する貢献度）が低
い。したがって、学習状況が局所解に陥っていると判断
された場合には、不良ニューロンの次段への影響力が大
きくなることにより局所解から脱出する可能性がある。
よって、係る影響力の低い不良ニューロンの重みを初期
化し直すとともに学習を続行する。一方、学習状況を判
断し、最適解にいたっていると判断した場合には、かか
る不良ニューロンがなくても正しい入出力関係を維持で
きると思量できる。よって、係る不良ニューロンを削除
するとともに学習を続行する。そして、削除後も最適解
の状態を維持できるならば、中間層を構成するニューロ
ン数が減少し、高速処理が行える。なお、不良ニューロ
ンを削除した結果、最適解が得られなくなった場合に
は、削除した不良ニューロンを復帰させたり或いは新た
なニューロンを追加することにより最適解が求められ
る。

【００１６】さらに、出力誤差重みデータを考慮して学
習後のニューラルネットに対する各種評価を行うことに
より、より高速に要求仕様を満たす最適解に達すること
ができる。そして、出力誤差重み調整手段を設けた場合
には、初期設定された出力誤差重みデータを、学習状況
に応じて修正し、修正後の出力誤差重みデータをも地位
各種評価を行う。よって、より高速に学習が終了するこ
とになる。

【００１７】

【実施例】以下、本発明に係る階層型ニューラルネット
最適化方法及び装置の好適な実施例を添付図面を参照に
して詳述する。まず、本発明の一実施例の概要について
説明すると、例えばバックプロパゲーション等を用いて
学習を行っている最中に、中間層を形成するニューロン
のうち、検出に貢献していない不良ニューロンを削除し
たり、新たなニューロンを追加することにより、ニュー
ロンの数を最適なものに設定し、また必要に応じて、不
良ニューロンの重みを初期化し直すこと等により各重み
が局所解に陥るのを抑制するようにしている。そして、
係る制御を行うための検出ファクターとして本例では、
誤差２乗和、誤差２乗和の変化量、正答率並びに正答率
の変化量等を用いている。

【００１８】そして、それらを実行するための具体的な
回路構成は、図１に示すようになっている。すなわち、
この図は本発明の第１実施例を示し、図示するようにま
ずニューラルネット学習装置１０に学習用データベース
１２，重みデータベース１４並びに中間層最適化パラメ
ータデータベース１６の出力がそれぞれ接続されてい
る。

【００１９】学習用データベース１２は、階層型ニュー
ラルネットの学習用データとして、階層型ニューラルネ
ットの入力層に与える入力データと、出力層に与える期
待出力データが記録保持されている。そして、具体的な
データ構造は、それぞれ図２（Ａ），（Ｂ）に示すよう
になっている。また、重みデータベース１４は、階層型
ニューラルネットのあるニューロンから他のニューロン
への結合状況を表す重みデータ並びに、ニューラルネッ
ト構造データ（各層のニューロンの数）を記憶保持して
おり、具体的なデータ構造はそれぞれ図３（Ａ），
（Ｂ）に示すようになっている。さらに、中間層最適化
パラメータデータベース１６は、階層型ニューラルネッ
トの中間層を最適化するために必要な各種パラメータが
格納されており、具体的なデータ構造は図４に示すよう
になっており、各閾値等は予め固定データとして登録さ
れている。そして、ニューラルネット学習装置１０で
は、各データベース１２，１４，１６からそれぞれのデ
ータを受けとり、階層型ニューラルネットを形成すると
ともに、バックプロパゲーションアルゴリズムを使用し
て最適化学習間隔で示された所定回数だけ学習させるよ
うになっている。

【００２０】ここで本発明では、上記ニューラルネット
学習装置１０並びに各データベース１２，１４，１６
に、階層型ニューラルネット最適化装置２０を接続して
いる。この階層型ニューラルネット最適化装置２０は、
誤差２乗和とその変化量算出装置２１，正答率とその変
化量算出装置２２，不良ニューロン評価値算出装置２
３，中間層ニューロン削減装置２４，中間層ニューロン
追加装置２５，中間層ニューロン重み初期化装置２６並
びに中間層ニューロン最適化判定装置２７とから構成さ
れている。そして、それら各装置２１〜２７と、ニュー
ラルネット学習装置１０並びに各データベース１２，１
４，１６との具体的な接続構成は以下のようになってい
る。

【００２１】すなわち、ニューラルネット学習装置１０
の出力が誤差２乗和とその変化量算出装置２１，正答率
とその変化量算出装置２２，不良ニューロン評価値算出
装置２３，中間層ニューロン削減装置２４，中間層ニュ
ーロン追加装置２５並びに中間層ニューロン重み初期化
装置２６に入力されている。

【００２２】また学習用データベース１２の出力が、誤
差２乗和とその変化量算出装置２１，正答率とその変化
量算出装置２２並びに不良ニューロン評価値算出装置２
３に入力されている。

【００２３】そして、誤差２乗和とその変化量算出装置
２１並びに正答率とその変化量算出装置２２の出力が、
中間層ニューロン最適化判定装置２７に入力されてい
る。また、不良ニューロン評価算出装置２３，中間層ニ
ューロン最適化判定装置２７並びに中間層最適化パラメ
ータデータベース１６の出力が、中間層ニューロン削減
装置２４，中間層ニューロン追加装置２５並びに中間層
ニューロン重み初期化装置２６にそれぞれ入力されてい
る。そしてそれら各装置２４，２５，２６の出力がニュ
ーラルネット学習装置１０並びに重みデータベース１４
に入力されている。

【００２４】さらに、中間層最適化パラメータデータベ
ース１６の出力は、中間層ニューロン最適化判定装置２
７にも入力されており、その中間層ニューロン最適化判
定装置２７の出力がニューラルネット学習装置１０に入
力されている。

【００２５】次に、上記階層型ニューラルネット最適化
装置２０を構成する各装置２１〜２７の機能について説
明する。 ＊誤差２乗和とその変化量算出装置 まず、本装置２１は、ニューラルネット学習装置１０に
おいて所定回数の学習をさせた後、そのニューラルネッ
ト学習装置１０よりその時の重みデータ並びにニューラ
ルネット構造データを受け取るとともに、学習用データ
（入力データ，期待出力データ）を学習用データベース
１２より受けとる。そして、その重みデータ並びにニュ
ーラルネット構造データより階層型ニューラルネットを
形成し、想起処理を行う。ここで想起処理とは、階層型
ニューラルネットの入力層のニューロンに入力データを
与え、学習による修正後の重みを使用して、階層型ニュ
ーラルネットの入力層から出力層に向かって想起の演算
処理を行い、階層型ニューラルネットの出力層のニュー
ロンから出力データを得ることをいう。

【００２６】そして、その得られた出力データと期待出
力データとを用いて誤差２乗和（Ｅ１）を計算するとと
もに保持し、さらに前回計算して得られた誤差２乗和
（Ｅ０）との差の絶対値の百分率を誤差２乗変化量（ｄ
Ｅ）として算出する。そして、その得られた誤差２乗和
並びに変化量を中間層ニューロン最適化判定装置２７に
供給する働きを成す。

【００２７】ここで、上記各値を得るための計算式を示
すと、以下の通りである。

【００２８】

【数１】＜誤差２乗和＞ ＜誤差２乗和変化量＞ ｄＥ＝｛｜Ｅ０−Ｅ１｜＊１００｝／Ｅ０ 但し、 ptn ：全パターン数，pe3 ：出力層ニューロン数，Ｌ：
全層数， ｄｉ［ｊ］：ｊ番目のパターン出力層ｉ番目のニューロ
ンに対する期待出力 ｙｉ［Ｌ］：出力層ｉ番面のニューロンの出力値であ
る。

【００２９】＊正答率とその変化量算出装置 本装置２２は、上記した誤差２乗和とその変化量算出装
置２１と同様に、ニューラルネット学習装置１０並びに
学習用データベース１２より所定のデータを受け取ると
ともに、階層型ニューラルネットを形成し、想起処理を
行って得られた出力データと期待出力データとを比較す
ることにより正答率（Ｃ０）を計算するとともに保持
し、さらにその値を前回計算して得られた正答率（Ｃ
０）との差の絶対値の百分率を正答率変化量（ｄＣ）と
して算出する。そして、その得られた正答率並びに変化
量を中間層ニューロン最適化判定装置２７に供給する働
きを成す。

【００３０】ここで、上記各値を得るための計算式を示
すと以下のようになる。すなわち、まずすべてのパター
ンptn について、＊ｙ［Ｌ］（出力データ）と＊ｄ
［ｐ］（期待出力データ）とを比較し、両者が等しい場
合にはそのパターンｐは正答パターンとして教える。

【００３１】

【数２】但し、＊ｙ［Ｌ］＝（ｙ１［Ｌ］，ｙ２
［Ｌ］，…，ｙ（peL ）［Ｌ］） ＊ｄ［ｐ］＝（ｄ１［ｐ］，ｄ２［ｐ］，…，ｄ（peL
）［ｐ］） とする。

【００３２】そして、その時の正答パターン数をptn1，
全パターン数をptn とすると、正答率Ｃ０が次式で得ら
れる。

【００３３】Ｃ０＝ptn1／ptn また、正答率変化量ｄＣは、 ｄＣ＝Ｃ０−Ｃ１ より求められる。

【００３４】＊不良ニューロン評価値算出装置 本装置２３は、中間層を構成する各ニューロンに対し、
その不良ニューロン評価値を求めるもので、本発明でい
う不良ニューロン評価値とは、パターンの認識に貢献し
ている度合いを意味する。そして、係る貢献度の少ない
ニューロンは、出力層への影響が小さいといえる。よっ
て、（１）仮に係る評価値の低いニューロンを削減した
としてもニューラルネットの能力を損なう可能性が少な
く、正しい出力データを得ることができると思量でき
る。（２）また、ニューラルネットが学習中に局所解に
陥った場合に、不良ニューロンの重みを初期化した後学
習を続行することにより、局所解から脱出し、最適解を
求めることができる。すなわち本装置２３は、係る効果
（１），（２）を得るための前処理として不良ニューロ
ン評価値を求めるもので、具体的手段は以下のようにな
っている。

【００３５】上記両装置２１，２２と同様に、所定回数
だけ階層型ニューラルネットを学習させた後、ニューラ
ルネット学習装置１０並びに学習用データベース１２よ
り所定のデータを受け取るとともに、階層型ニューラル
ネットを形成する。そして、本装置で２３では、入力層
並びに中間層に対して想起処理を行い、第ｍ層ｉ番目の
ニューロンの不良ニューロン評価値evalm ［ｉ］を以下
の式にて求める。

【００３６】

【数３】 ここでptn ：全パターン数 pe(m+1) ：第m+1 層のニューロン数 ｗij［ｍ］：第ｍ層第ｉ番面のニューロンと第m+1 層ｊ
番目のニューロンとの間の重み ｙｉ［ｍ］：第ｍ層第ｉ番面のニューロンの出力値 とする。

【００３７】そして、上記式にて得られた中間層を構成
する各ニューロンの不良ニューロン評価値を、中間層ニ
ューロン削減装置２４，中間層ニューロン重み初期化装
置２６に供給する働きを成す。

【００３８】また、上記式により求められる評価値eval
m ［ｉ］が小さいほど、中間層のｉ番目ニューロンの上
位層への重みの絶対値が小さい、または、その中間層ｉ
番面のニューロンの出力が小さいことを意味する。よっ
て、その評価値の低いニューロンに対して所定の処理を
行うことにより、上記した効果が期待でき、ニューラル
ネットの最適化が図れるのである。尚、上記式により求
められる不良ニューロン評価値は、図５に示すようなデ
ータ構造として記憶保持される。

【００３９】＊中間層ニューロン削減装置 本装置２４は、中間層ニューロン最適化判定装置２７か
ら送られてくる信号に基づき、所定のニューロンを削減
するもので、具体的な処理は以下のようになっている。

【００４０】まず、不良ニューロン評価値算出装置２３
より不良ニューロン評価値を受けとり、また、中間層最
適化パラメータデータベース１６より最適化パラメータ
を受けとる。そして、その最適化パラメータのうち、
「削減する不良ニューロンの数」だけ各中間層の不良ニ
ューロンを削減する。なお、上記削減する数値は、上記
のとおり、中間層最適化パラメータＤ／Ｂ１６内に格納
（del pe num[m] ）されている。またこの削減するニュ
ーロンの選択指標は、各層ごとに不良ニューロン評価値
の小さい順に削減する。

【００４１】ここで、ニューロンの削減とは、削除対象
となるニューロンに結合している重みを、重みデータベ
ース１４に格納されている重みデータから削除し、また
ニューラルネット構造データに格納されている各層のニ
ューロン数を削除分だけ減らす処理をする。そして、具
体例を示すと、例えば、第ｍ層ｊ番目ニューロンを削除
する場合、重みデータから、以下のデータを削除する。

【００４２】

【数４】ｗ1j［m-1 ］，ｗ2j［m-1 ］，…，ｗ(pe(m-
1))j［m-1 ］ ｗj1［ｍ］，ｗj2［ｍ］，…，ｗj(pe（m+1)) ［ｍ］ また、del pe num［ｍ］個だけ削減した場合、第ｍ層の
ニューロン数pem を pem ＝pem −del pe num［ｍ］ とする。

【００４３】そして、上記削減処理を行った後、すべて
の重みデータ並びにニューラルネット構造データをニュ
ーラルネット学習装置１０並びに重みデータベース１４
に送る。尚、上記削除の方法としては、該当する不良ニ
ューロンを物理的に削除しても良く、或いは、その不良
ニューロンの重みを「零」に設定し、出力側への影響を
なくすようにしても良い。

【００４４】＊中間層ニューロン追加装置 本装置２５は、中間層ニューロン最適化判定装置２７か
ら送られてくる信号に基づき、所定のニューロンを追加
するもので、具体的な処理は以下のようになっている。

【００４５】中間層最適化パラメータデータベース１６
から最適化パラメータを受け取る。そして、最適化パラ
メータのうち「追加するニューロンの数」だけ、各中間
層にニューロンを追加する。ここでニューロンの追加と
は、新たにニューロンを設置すると共に追加したニュー
ロンに結合する重みを、重みデータに追加し、ニューラ
ルネット構造データの各層のニューロン数を追加分だけ
増やすことにより行う。そして、上記追加する数値は、
中間層最適化パラメータＤ／Ｂ１６内に格納（add pe n
um[m] ）されている。また、追加した重みの値は、乱数
により決定させる。具体例を示すと、例えば、第ｍ層に
ｊ番目のニューロンを追加する場合、重みデータに、以
下のデータを追加する。

【００４６】

【数５】ｗ1j［m-1 ］，ｗ2j［m-1 ］，…，ｗ(pe(m-
1))j［m-1 ］ ｗj1［ｍ］，ｗj2［ｍ］，…，ｗj(pe（m+1)) ［ｍ］ また、add pe num［ｍ］個だけ追加した場合、第ｍ層の
ニューロン数pem を pem ＝pem ＋add pe num［ｍ］ とする。

【００４７】そして、上記追加処理を行った後、すべて
の重みデータ並びにニューラルネット構造データをニュ
ーラルネット学習装置１０並びに重みデータベース１４
に送る。このように、中間層にニューロンを追加するこ
とで、特徴量空間をより多くの曲面で分割することが可
能となり、認識率が向上する。

【００４８】＊中間層ニューロン重み初期化装置 本装置２６は、中間層ニューロン最適化判定装置２７か
ら送られてくる信号に基づき、所定の不良ニューロンの
重みを初期化するもので、具体的な処理は以下のように
なっている。

【００４９】すなわち、不良ニューロン評価値算出装置
２３から不良ニューロン評価値を、また、中間層最適化
パラメータデータベース１６から最適化パラメータを受
けとる。そして、最適化パラメータのうち、「初期化す
るニューロンの数」だけ、各中間層にニューロンの重み
を初期化する（乱数により新たに初期値を設定する）。
そして、この時初期化するニューロンの選択指標は、不
良ニューロン評価値の小さい順にニューロンの重みを初
期化する。具体例を示すと、例えば、第ｍ層にｊ番目の
ニューロンを初期化する場合、以下の重みの値を乱数で
与え直す。

【００５０】

【数６】ｗ1j［m-1 ］，ｗ2j［m-1 ］，…，ｗ（pe(m-
1) ）ｊ［m-1 ］ ｗj1［ｍ］，ｗj2［ｍ］，…，ｗｊ（pe(m+1) ）［ｍ］ そして、上記初期化処理を行った後、すべての重みデー
タ並びにニューラルネット構造データをニューラルネッ
ト学習装置１０並びに重みデータベース１４に送る。

【００５１】また、この中間層ニューロン重み初期化装
置２６の他の機能としては、上記中間層ニューロン削減
装置２４にて不良ニューロンの重みが「零」となり削除
されたものに対し、その重みを初期化し直すことで不良
ニューロンを復帰させる機能を付加しても良い。

【００５２】尚、初期化の方法としては、上記したごと
く乱数による設定のほかに、例えばある特定の値（大き
くても小さくても可）を初期値用重みデータとし、係る
値に設定するようにしても良く、種々の手段がとれる。
すなわち、要は初期化した結果、初期化後の重みと初期
化前の不良ニューロンと判断された時の重みとが一致す
る可能性が低くなるような初期化の方法であれば良い
（可能性が無いほうが望ましく、しかも、初期化前の重
みに対し、初期化後の重みが極端に違う値になるのが望
ましい）。

【００５３】＊中間層ニューロン最適化判定装置 本装置２７では、誤差２乗和とその変化量算出装置２１
並びに、正答率とその変化量算出装置２２から各種デー
タを受け取る。そして、与えられた誤差２乗和，誤差２
乗和の変化量、正答率並びに正答率の変化量、さらに
は、不良ニューロンの初期化をおこなった回数等に基づ
いて、階層型ニューラルネットの状態、すなわち、学習
の習熟度（最適解に近付いている度合い）や局所解に陥
っていないか等の学習状態を判断し、中間層のニューロ
ンの数を最適なものにし、かつ、各重みを最適なものに
すべく中間層ニューロン削減装置２４，中間層ニューロ
ン追加装置２５並びに中間層ニューロン重み初期化装置
２６に所定の命令信号を送るようになっている。また、
学習が十分か否かを判断し、学習続行信号をニューラル
ネット学習層１０に送る働きも有している。

【００５４】そして、本実施例ではこの中間層ニューロ
ン最適化判定装置２７並びに上述した誤差２乗和とその
変化量算出装置２１，正当率とその変化量算出装置２２
にて、本発明に係るニューラルネット学習装置から出力
される学習状況データに基づいて中間層のニューロン間
に付与されている重みが局所解に陥っているか否かを判
断する装置，学習が最適解に近付いている否かを判断す
る装置及び学習の状態を判断する装置を構成している。

【００５５】次に、上記した装置を用い、本発明に係る
ニューラルネット最適化方法について図６〜図７を参照
しつつ説明する。まず、すべてのニューロンの重みを初
期化し、リセット回数（初期化を行った回数）を０に設
定するとともに、初期データとして正答率Ｃ１並びに誤
差２乗和Ｅ０を算出する（Ｓ１０１〜１０４）。そし
て、ニューラルネット学習装置１０において所定回数学
習したなら（Ｓ１０５，１０６）、誤差２乗和Ｅ１を求
め（Ｓ１０７）、それと上記初期データの誤差２乗和Ｅ
０とから誤差２乗和の変化量ｄＥを算出し（Ｓ１０
８）、その値ｄＥが所定の値（閾値（最適化パラメータ
として与えられている））より小さいか否かを判断する
（Ｓ１０９）。尚、本例では、判断式として「ｄＥ＜閾
値」としたが、「ｄＥ≦閾値」としてもよいのはもちろ
んであり、以下同様に各種データと各閾値と比較するに
際し「＝」を含ませるようにしても良い。

【００５６】そして、変化量ｄＥが大きい場合にはニュ
ーラルネットの重みがダイナミックに変化しており、重
みが最適解に近付いていない（収束していない）ことを
意味し、学習が不十分であると判断できる。よって、ス
テップ１０４に戻り再度学習を続行する。なお、ステッ
プ１０７で得られた誤差２乗和Ｅ１の値がステップ１０
４にて次回の判断における比較対象の誤差２乗和Ｅ０と
なる。

【００５７】また、逆に上記変化量ｄＥが小さい場合に
はニューラルネットの重みが収束に向かいつつあると判
断できるため、不良ニューロン評価値を算出する（Ｓ１
１０）とともに、正答率Ｃ０を算出し（Ｓ１１１）、そ
の値Ｃ０が所定の値（閾値（最適化パラメータとして与
えられている））より小さいか否かを判断する（Ｓ１１
２）。

【００５８】そして、正答率Ｃ０が大きい場合には、最
適解に近付いていると判断できるため、現在の中間層の
ニューロンの数で十分である（ニューロンを追加する必
要はない）と判断できる。よって、これよりもニューロ
ン数が少なくとも最適解が得られるかどうかを試すた
め、そのときの評価値の低い不良ニューロンを幾つか削
除した後学習を続行する。具体的には、そのときの正答
率Ｃ０をＣ１に置き換えると共に、すべてのニューロン
の重みデータを重みデータベース１４に格納する（Ｓ１
１３，１１４）。そして、所定の不良ニューロンを削除
すると共にリセット回数Ｒを０に設定した後（Ｓ１１
５，１１６）、ステップ１０４に戻り、上記操作を繰り
返し行う。

【００５９】一方、正答率Ｃ０が小さい場合には、学習
が不十分か或るいは局所解に陥っている可能性があるた
め、正答率の変化量を算出しそれが所定の値（閾値（最
適化パラメータとして与えられている））より小さいか
否かを判断する（Ｓ１１７）。そして、変化量が大きい
場合には、学習が不十分であると判断できさらなる学習
で正答率が上がる可能性があるため、そのときの正答率
Ｃ０をＣ１に置き換えた（Ｓ１１８）後、ステップ１０
４に戻り学習を続行する。また、変化量が小さい場合に
は、局所解に陥っていると判断できるため、その状態か
ら打開して最適解を得るべく、評価値の低い不良ニュー
ロンの重みを初期化するか、或いは新たなニューロン中
間に追加する。そして、いずれの手段をとるかはリセッ
ト回数の多少により判断する。

【００６０】すなわち、そのときの正答率Ｃ０をＣ１に
置き換えた（Ｓ１１９）後、リセット数が所定の値（閾
値（最適化パラメータとして与えられている））より小
さいか否かを判断し（Ｓ１２０）、小さい場合（リセッ
ト回数が少ない）には、再度不良ニューロンに対して初
期化を行うことにより局所解から脱出する可能性がある
ため、その時のすべてのニューロンの重みデータを重み
データベース１４に格納し（Ｓ１２１）、所定の不良ニ
ューロンの重みを初期化すると共にリセット回数Ｒに１
を加えた後（Ｓ１２２，１２３）、ステップ１０４に戻
り、上記操作を繰り返し行う。

【００６１】一方、リセット回数が大きい場合には再度
不良ニューロンの初期化を行っても局所解から脱出でき
る可能性が低いため、中間層のニューロンの数が不十分
であると判断し、新たなニューロンを追加する。すなわ
ち、その時のすべてのニューロンの重みデータを重みデ
ータベース１４に格納し（Ｓ１２４）、所定数のニュー
ロンを中間層に追加すると共にその追加したニューロン
の重みを初期化し（Ｓ１２５，１２６）、次いでリセッ
ト回数Ｒを０に設定した後（Ｓ１２７）、ステップ１０
４に戻り、上記操作を繰り返し行う。なお、この追加の
態様としては、本例では、まったく新たにニューロンを
追加するものはもちろんのこと、ステップ１１５にて一
旦削除した不良ニューロンの重みに対して初期化を行う
ことにより係るニューロンを復帰させるものも含む。

【００６２】そして、上記した各処理を繰り返し行い、
ステップ１０６にてニューロン数並びに重みデータが十
分であると判断すると、ニューラルネット学習装置１０
での学習を終了する。なお、この図６中のＳ１０９，Ｓ
１１２〜Ｓ１１９並びに図７に示すフロー部分が、中間
層ニューロン最適化判定装置２７における、機能を示し
ている。

【００６３】また、上記した実施例では、中間層ニュー
ロン最適化判定装置２７の機能を、図６の一部並びに図
７に示すフローのようにしたが、それに替えて例えば図
９に示すような機能を有する装置とすることもできる。
すなわち、上記第１実施例では、作成された中間層ニュ
ーロンが最適か否かの判定装置２７における判断基準と
して、誤差２乗和の変化量ｄＥ，正答率Ｃ０並びにその
正答率の変化量ｄＣとしたが、本例ではそれに加えて、
まず誤差２乗和Ｅ１も判断基準に加えた。

【００６４】さらに、それら４つの判断基準の比較対象
となる閾値も、上記第１実施例のものでは、その後の処
理（ニューロンの追加，削除，重み初期化）の種類に関
係なく同一としたが、本例では、削除用の基準値と、そ
れ以外の基準値を設けた。すなわち、上記第１実施例で
は、誤差変化量の閾値として「th d sq err 」１つであ
ったのが、「ｄＥth+ 」と「ｄＥth- 」の２つに、正答
率の閾値として「th right」１つであったのが、「Ｃth
+ 」と「Ｃth- 」の２つに、正答率の変化量の閾値とし
て「th d right」１つであったのが、「ｄＣth+ 」と
「ｄＣth- 」の２つに設定し、さらに、新たに、誤差２
乗和の閾値として「Ｅth+ 」と「Ｅth- 」の２つが追加
された。それら各基準値は、図１０に示すように中間層
最適化パラメータＤ／Ｂ１６に格納されている。係る構
成としたことにより、本例では上記第１実施例に比し、
より高速かつ確実に最適解を得ることができるようにな
った。なお、図９中括弧で示した処理ステップは、実際
には中間層ニューロン最適化判定装置２７にて決定され
た処理を行う中間層ニューロン削減装置２４，中間層ニ
ューロン追加装置２５並びに中間層ニューロン重み初期
化装置２６の各装置で行われる。

【００６５】図１１は、本発明の第３実施例を示してい
る。この実施例は、上記第２実施例（判定装置２７にお
ける判断パラメータを４つにするとともに、各パラメー
タの閾値を判定後行う処理に応じて２つずつ設定したも
の）を基準にさらに改良を行ったものである。

【００６６】まず、本実施例の概念について説明する
と、入出力パターンの分離曲面が複雑になるほど階層型
ＮＮを構成する中間層のニューロン数が多く必要とな
り、必然的に学習速度並びに想起速度が遅くなってしま
う。ところで、例えば２入力１出力のシステムにおい
て、その入出力パターンが図１２（Ａ）に示すようにな
っているとすると、その分離曲面はＫ１となる。この
時、要求仕様として出力の種類（この例では「○」また
は「×」）に優先順位、すなわち、例えば誤判別しては
いけない領域（必然性領域）と、存在する可能性（誤判
別をしても良い）のある領域（可能性領域）があるとす
ると、各分離曲面Ｋ２，Ｋ３は同図（Ｂ）または同図
（Ｃ）に示すようになり、疑似的に簡単となる。したが
って、係る可能性・必然性領域を入力した状態で学習さ
せることにより、学習・想起速度を早くするようにして
いる。

【００６７】そして、実際には、出力誤差に乗算する係
数として出力誤差重みなる概念を設け、優先順位の高い
出力の属性の時は係る出力誤差重みを大きくし、優先順
位の低い出力の属性の時は逆に出力誤差重みを小さくす
ることにより、優先順位の高い出力の属性がニューラル
ネットの認識に与える影響を大きくし、その状態で学習
することにより優先順位の高い出力を確実に認識できる
ようになる。

【００６８】そして、具体例を示すと、ニューラルネッ
トが例えば良品・不良品の判別（認識）を行うような検
査装置に用いられるとすると、不良品に対して誤判別を
することは認められないが、良品を不良と誤判別するこ
とはある程度許容されるため、不良品の認識率は１００
％となるが、良品の認識率は例えば９９％というような
要求仕様が与えられこととなる。係る場合に、良品のカ
テゴリの学習用データの時は、出力誤差重みを小さく
（例えば０．８）とり、不良品のカテゴリの学習用デー
タの時は出力誤差重みを大きく（例えば１．０）とれば
よい。なお、本例では出力誤差重みの最大値が１．０
で、係る値を初期値としている。

【００６９】ここで、上記優先順位に基づく出力誤差重
みの概念を実行するために、本例では、図１１に示すよ
うにそれら所定の出力誤差重みデータＯＷを格納した出
力誤差重みデータベース１８を設け、その出力誤差重み
データＯＷを考慮して各種評価を行うようにし、さらに
本例では、そのデータベース１８に格納された重みデー
タＯＷを修正する出力誤差重み調整装置２８を設けてい
る。なお、出力誤差重みデータは、図１３（Ａ）に示す
ようなデータ構造となっている。また、このように出力
誤差重みデータＯＷを設けたことから最適化処理用パラ
メータＰも図１３（Ｂ）に示すように、上記第２実施例
のものに対してさらに、出力誤差重みのリセット回数の
閾値Nowth 並びに出力誤差重みの修正量ｄOWを加えた構
造となっている。さらにｄＥth+ ，ｄＣth+ は、出力誤
差重み調整時の各閾値を兼ねている。

【００７０】そして本例では、上記各実施例における学
習結果に伴う各種修正（不良ニューロンの削除，新規ニ
ューロンの追加等）に加えて出力誤差重みの修正処理が
追加されたことから、上記各実施例における中間層ニュ
ーロン最適化判定装置２７の機能に、出力誤差重みの修
正を行うか否かの判断機能を備える必要がある。そこで
図１１に示すように、第１，第２実施例における中間層
ニューロン最適化判定装置２７に替えて、最適化処理選
択装置２９を設け、その最適化処理選択装置２９の出力
を上記出力誤差重み調整装置２８並びに不良ニューロン
評価値算出装置２３′に入力し、さらにその不良ニュー
ロン評価値算出装置２３′の出力が各中間層ニューロン
削除，追加，重み初期化装置２４′，２５′，２６′に
接続された構成をとる。なお、この接続の仕方は、図１
に示すものと同様に最適化処理選択装置２９の出力を上
記各装置２４′，２５′，２６′に接続し、不良ニュー
ロン評価値算出装置２３′には、学習装置１０′等から
直接所定のデータを与えるようにしても同様の作用効果
が得られる。

【００７１】ここで、最適化処理選択装置２９について
説明すると、ニューラルネット学習装置１０′から出力
される階層型ニューラルネット重みデータＷ等、並びに
各種算出装置２１′，２２′で求められる誤差２乗和
Ｅ，正答率Ｃ及びその変化量ｄＥ，ｄＣ（具体的には図
１４に示すようなデータ構造の形）を読み込み、最適化
処理用パラメータデータベース１６′から最適化パラメ
ータＰを読み込む。そして、与えられたデータから最適
化するための処理方法を決定するもので、具体的には図
１５に示すフローチャートに従って判別処理がなされ、
次に行う処理（実行する装置）を決定する。なお、上記
求められる正答率変化量ｄＣ等、正答率に関するデータ
は図１４と同様のデータ構造（行列）から構成される。
そして、この図１５においても上記した図９の場合と同
様に、処理ステップ中括弧で示した処理は実際には次段
の各種装置（２４′〜２６′，２８）で行われる。

【００７２】そして、出力誤差の重み修正をすると決定
した場合には出力誤差重み調整装置２８に、また、他の
修正等を行うと決定したなら、不良ニューロン評価値算
出装置２３′にそれぞれ決定内容とともに所定のデータ
を送るようになっている。そして、不良ニューロン評価
値算出装置２３′では、上記第１実施例と同様の処理を
行う、各ニューロンの評価値を求め、求められて来た決
定内容にしたがって、所定の装置（２４′〜２６′の内
のいずれか１つ）にその評価値とともに所定のデータを
送り、各種処理を行うようになっているが、各装置２
４′〜２６′における具体的な処理内容は、上記実施例
と同様であるため、その説明を省略する。

【００７３】一方、出力誤差重み調整装置２８は、上記
のように最適化処理選択装置２９にて出力誤差重みを修
正すると判断された際に、係る装置２９から最適化パラ
メータＰ，ニューラルネット重みデータＷを読み込み、
出力誤差重みデータベース１８′から、出力誤差重みデ
ータＯＷを読み込み、係るデータに基づいて出力誤差重
みデータＯＷを修正後、データベース２８に修正後の内
容を保存・格納するもので、具体的には以下のようにな
っている。

【００７４】すなわち、基本的には、要求仕様を満たし
ている出力に対する出力誤差重みを、減少させるように
修正する。つまり、下記式に従って、左辺に該当する出
力誤差重みは、最適化パラメータＰに格納された出力誤
差重みの修正量ｄOWだけ、減算する。

【００７５】 if c lth+(i) ≦ C l(i) ＆ ｄOW ≦ ow l(i) then ow l(i) ＝ ow l(i) − ｄOW if c hth+(i) ≦ C h(i) ＆ ｄOW ≦ ow h(i) then ow h(i) ＝ ow h(i) − ｄOW 但し、「c l(i)」は、di[j] ＝0.0 の時のｉ番目の正答
率であり、「c h(i)」は、di[j] ＝1.0 の時のｉ番目の
正答率である。同様に、「c lth+(i) 」は、di[j] ＝0.
0 の時のｉ番目の正答率の閾値（要求仕様）であり、
「c hth+(i) 」は、di[j] ＝1.0 の時のｉ番目の正答率
の閾値（要求仕様）である（ともに、ニューロン重みリ
セット・追加・出力誤差重み修正時）。また、「ow h
(i) 」は、di[j] ＝1.0 の時のｉ番目の出力誤差重みで
ある。「ow l(i) 」は、di[j] ＝0.0の時のｉ番目の出
力誤差重みであり、「ow h(i) 」は、di[j] ＝1.0 の時
のｉ番目の出力誤差重みである。なお、ｉ＝1,2,…,pe3
で、出力層ニューロンの順番を示し（peL は、出力層
（第Ｌ層）のニューロン数）、di[j] は、ｊ番目のパタ
ーン出力層ｉ番目のニューロンに対する期待出力データ
である。

【００７６】そして、係る構成にすることにより、要求
仕様を満たしている出力、すなわち、それまでに学習さ
れたニューラルネットにて十分に正しく認識できるもの
に付いては、その出力誤差重みを減少させ、その後の学
習では、学習結果の好ましくない、つまり要求仕様を満
たしていない教師用入力データと期待出力データのペア
について重点的に学習をすることにより、より高速に学
習を行い、最適解を得ることができる。

【００７７】なお、その他の構成並びに作用は上記した
各実施例と同様であるためその説明を省略する。そし
て、本実施例における装置全体の作用の概略処理フロー
を図１６に示す。

【００７８】図１７は、本発明の第４実施例を示してい
る。この例では、本発明の最も簡単な構成の１つであ
り、上記した第３実施例と同様に可能性・必然性領域な
る概念を用い、出力誤差に出力誤差重みデータを乗算し
て得られた算出結果に基づいて、学習状況の評価を行う
ことを基本とし、出力誤差重みデータ調整装置２８′に
より、学習結果に応じて出力誤差重みデータを修正し、
修正後の出力誤差重みデータに基づいて次に行った学習
の評価を行うようにしている。そして、上記各実施例と
相違して、中間層ニューロンの追加・削減処理並びに重
みのリセット処理を行うための各種装置（上記の２４〜
２６や２４′〜２６′等）を設けないようにした。

【００７９】そして、中間層ニューロンに対する処理装
置を設置しないことから、所定の学習後次に学習をする
前に必要に応じて行う最適化処理としては、出力誤差重
みデータの修正だけとなるため、中間層ニューロン最適
化判定装置２７′における機能も図１８に示すように簡
略化される。なお、係る構成にすると、中間層ニューロ
ンの追加／削除などする上記した第３実施例に比較する
とその機能は低下するものの、出力誤差重みデータを修
正する機能を有することから、学習中の出力誤差重みを
自動的に決定でき、単に可能性・必然性領域を設定して
行うものに比しその学習速度が十分高速化する。

【００８０】なお、上記した各実施例は、本発明の一態
様例であり、本発明はこれに限ること無く、例えば、学
習処理を行いながらニューロンの数の適正化否かを判断
し、必要に応じて不良ニューロンを削除するだけでも良
い。また、それとは逆に学習中に中間層のニューロンの
数が不足であると判断した場合に、中間層に新たなニュ
ーロンを追加するようにするだけでも良い。さらには、
上記追加の作業に変えて、或いはそれと共に一度削除し
た不良ニューロンを復帰するようにしても良く、本発明
では任意の工程を適宜抽出し組み合わせて階層型ニュー
ラルネットの最適化を図ることができる。

【００８１】そして、上記のように所望の処理を行う場
合には、それに応じて使用する最適化装置の構成部材
（不良ニューロン評価値算出装置２３，中間層ニューロ
ン削減装置２４，中間層ニューロン追加装置２５並びに
中間層ニューロン重み初期化装置２６等）のうち処理に
不要な構成を除き、他の構成部材を適宜組み合わせるこ
とにより最適化装置を構成しても良いのはもちろんであ
る。

【００８２】さらには、第３実施例（図１１）で示した
構成のうち、例えば出力誤差重み調整装置を無くし、出
力誤差重みデータベース１８に格納された出力誤差重み
データＯＷを用いて各種評価を行い、次に行う中間層ニ
ューロンに対する所定の処理（追加，削減，重み初期
化）を決定するようにしても良い。さらに係る場合、上
記した各変形例と同様に、それら中間層ニューロンに対
して行う３つの処理のうち１または２個を行うための処
理装置をさらに設けなくても良い。

【００８３】さらにまた、上記第３実施例では、第２実
施例の構造の装置を基準としてそれに出力誤差重みデー
タ調整装置を設置した例について説明したが、第１実施
例のもの（中間層ニューロンが最適か否かの判断基準が
少ない）に、出力誤差重みデータベースとともに設置す
るようにしても良く、種々変更実施が可能である。

【００８４】さらに、上記した実施例では、ニューラル
ネットの学習方法としてバックプロパゲーションを用い
た例について説明したが、学習方法は任意のものを利用
することができる。また、不良ニューロンの抽出方法と
して、上記した実施例では、不良ニューロン評価値の低
いものから順に所定数だけ抽出するようにしたが、本発
明はこれに限ることなく、例えば係る不良ニューロン評
価値が所定値を超えるか否かで判断するなど種々の方法
を採ることができる。

【００８５】

【発明の効果】以上のように、本発明に係る階層型ニュ
ーラルネットの最適化方法及び装置では、学習の最中に
中間層にニューロンを追加し、再度学習を続行すること
により、たとえ学習により得られた重みが局所解に陥っ
ていたとしてもそれから脱出し、最適解を得ることがで
きる。

【００８６】また、中間層を構成する各ニューロンに対
し入力データの認識に貢献している度合いをあらわす不
良ニューロン評価値を求め、その評価値に基づいて不良
ニューロンを決定し、その不良ニューロンを所定のタイ
ミングで削除することにより、ニューロン数の削減に伴
い使用するメモリの容量を小さくすることができるとと
もに高速処理が可能となる。

【００８７】さらに、必要に応じて係る不良ニューロン
の重みを初期化し、学習を続行することにより、局所解
から脱出し、最適解を得ることができる。そして、学習
状況に応じてニューロン数を増減することにより、認識
率を上げつつ処理速度が増加し、しかもコストを下げる
ことができる。また、一度削除されたニューロンが復帰
するようにしたことにより、たとえ誤って削除してしま
い認識率の低下などの弊害が生じたとしても、元の状態
に復帰させることができる。さらにまた、出力誤差重み
調整装置等を設けることにより、より高速に学習を行
い、最適解を求めることができる。

【００８８】さらに、出力誤差重みデータを考慮して学
習後のニューラルネットに対する各種評価を行うように
した場合には、可能性／必然性領域の概念が導入され、
要求仕様を満たす最適解に、高速に達することができ
る。そして、出力誤差重み調整手段を設けた場合には、
初期設定された出力誤差重みデータを、学習状況に応じ
て修正し、自動的に決定することができ、修正後の出力
誤差重みデータを用い各種評価を行うことになり、より
高速に学習が終了させることができる。

【図面の簡単な説明】

【図１】本発明に係る階層型ニューラルネット最適化装
置の好適な一実施例を示すブロック構成図である。

【図２】学習用データベース内に格納されたデータ構造
の一例を示す図である。

【図３】重みデータベース内に格納されたデータ構造の
一例を示す図である。

【図４】中間層最適化パラメータデータベース内に格納
されたデータ構造の一例を示す図である。

【図５】不良ニューロン評価値のデータ構造の一例を示
す図である。

【図６】本発明に係る階層型ニューラルネットの最適化
方法の好適な一実施例を示すフローチャート図の一部で
ある。

【図７】図６に示されるフローチャート図の続きを示す
分図である。

【図８】図６，図７で示される作業手順の要部を示す工
程図である。

【図９】本発明に係る階層型ニューロンの最適化装置の
第２実施例の要部である、中間層ニューロン最適化判定
装置の機能を説明するフローチャート図である。

【図１０】本実施例に用いられる最適化パラメータのデ
ータ構造の一例を示す図である。

【図１１】本発明に係る階層型ニューロンの最適化装置
の第３実施例を示すブロック構成図である。

【図１２】出力誤差重みデータの機能を説明する図であ
る。

【図１３】本実施例における出力誤差重みデータ並びに
最適化パラメータのデータ構造の一例を示す図である。

【図１４】本実施例における正答率のデータ構造の一例
を示す図である。

【図１５】本実施例の最適化処理選択装置の機能を説明
するフローチャート図である。

【図１６】本実施例の装置の全体の作用を説明するフロ
ーチャート図である。

【図１７】本発明に係る階層型ニューロンの最適化装置
の第４実施例を示すブロック構成図である。

【図１８】本実施例の中間層ニューロン最適化判定装置
の機能を説明するフローチャート図である。

【図１９】局所解と最適解の関係の一例を示すグラフで
ある。

【符号の説明】

１０ ニューラルネット学習装置 １８′ 出力誤差重みデータＤ／Ｂ ２０，２０′，２０″ 階層型ニューラルネット最適化
装置 ２１，２１′，２１″ 誤差２乗和とその変化量算出装
置 ２２，２２′，２２″ 正答率とその変化量算出装置 ２３，２３′，２３″ 不良ニューロン評価値算出装置 ２４，２４′，２４″ 中間層ニューロン削減装置 ２５，２５′，２５″ 中間層ニューロン追加装置 ２６，２６′，２６″ 中間層ニューロン重み初期化装
置 ２７，２７′，２７″ 中間層ニューロン最適化判定装
置 ２８，２８″ 出力誤差重み調整装置 ２９ 最適化処理選択装置

Claims (12)

【特許請求の範囲】
1. 【請求項１】 階層型ニューラルネットに対して所定の
   学習を行っている途中で、中間層のニューロン間に付与
   されている重みが局所解に陥っているか否かを判断し、
   局所解に陥っているときに前記中間層の所定位置に新た
   なニューロンを追加するようにしたことを特徴とする階
   層型ニューラルネットの最適化方法。
2. 【請求項２】 階層型ニューラルネットに対して学習を
   行うニューラルネット学習装置と、 そのニューラルネット学習装置から出力される学習状況
   データに基づいて中間層のニューロン間に付与されてい
   る重みが局所解に陥っているか否かを判断する装置と、 その判断する装置から送られる制御信号に基づいて前記
   中間層に新たなニューロンを追加する中間層ニューロン
   追加装置とを備えたことを特徴とする階層型ニューラル
   ネットの最適化装置。
3. 【請求項３】 階層型ニューラルネットに対して所定の
   学習を行っている途中で、中間層を構成する各ニューロ
   ンに対し入力データの認識に貢献している度合いをあら
   わす不良ニューロン評価値を求め、その評価値に基づい
   て不良ニューロンを決定し、その不良ニューロンを所定
   のタイミングで削除した後、学習を続行するようにした
   ことを特徴とする階層型ニューラルネットの最適化方
   法。
4. 【請求項４】 階層型ニューラルネットに対して学習を
   行うニューラルネット学習装置と、 そのニューラルネット学習装置から出力される学習状況
   データに基づいて中間層を構成する各ニューロンに対し
   入力データの認識に貢献している度合いをあらわす不良
   ニューロン評価値を算出する不良ニューロン評価値算出
   装置と、 前記ニューラルネット学習装置から出力される学習状況
   データに基づいて学習が最適解に近付いている否かを判
   断する装置と、 その判断する装置から送られる制御信号と、前記不良ニ
   ューロン評価値算出装置から送られる不良ニューロンの
   評価値データとに基づいて、前記中間層の不良ニューロ
   ンを削除する中間層ニューロン削減装置とを備えたこと
   を特徴とする階層型ニューラルネットの最適化装置。
5. 【請求項５】 階層型ニューラルネットに対して所定の
   学習を行っている途中で、中間層を構成する各ニューロ
   ンに対し入力データの認識に貢献している度合いをあら
   わす不良ニューロン評価値を求め、その評価値に基づい
   て不良ニューロンを決定し、所定のタイミングでその不
   良ニューロンに対し付与されている重みを初期化した
   後、学習を続行するようにしたことを特徴とする階層型
   ニューラルネットの最適化方法。
6. 【請求項６】 階層型ニューラルネットに対して学習を
   行うニューラルネット学習装置と、 そのニューラルネット学習装置から出力される学習状況
   データに基づいて中間層を構成する各ニューロンに対し
   入力データの認識に貢献している度合いをあらわす不良
   ニューロン評価値を算出する不良ニューロン評価値算出
   装置と、 そのニューラルネット学習装置から出力される学習状況
   データに基づいて中間層のニューロン間に付与されてい
   る重みが局所解に陥っているか否かを判断する装置と、 その判断する装置から送られる制御信号と、前記不良ニ
   ューロン評価値算出装置から送られる不良ニューロンの
   評価値データとに基づいて、前記中間層の不良ニューロ
   ンの重みを初期化する中間層ニューロン重み初期化装置
   とを備えたことを特徴とする階層型ニューラルネットの
   最適化装置。
7. 【請求項７】 階層型ニューラルネットに対して所定の
   学習を行っている途中で、前記請求項１並びに前記請求
   項３に記載した手法を用い、中間層のニューロンの追加
   処理と削除処理を適宜使い分けながら実行するようにし
   たことを特徴とする階層型ニューラルネットの最適化方
   法。
8. 【請求項８】 前記請求項３または請求項７の処理を行
   って一度削除された不良ニューロンを復帰させた後、学
   習を続行させることを特徴とする階層型ニューラルネッ
   トの最適化方法。
9. 【請求項９】 階層型ニューラルネットに対して学習を
   行うニューラルネット学習装置と、 そのニューラルネット学習装置から出力される学習状況
   データに基づいて中間層を構成する各ニューロンに対し
   入力データの認識に貢献している度合いをあらわす不良
   ニューロン評価値を算出する不良ニューロン評価値算出
   装置と、 前記ニューラルネット学習装置から出力される学習状況
   データに基づいて学習の状態を判断する装置と、 その判断する装置から送られる制御信号に基づいて前記
   中間層に新たなニューロンを追加する中間層ニューロン
   追加装置と、 前記判断する装置から送られる制御信号と、前記不良ニ
   ューロン評価値算出装置から送られる不良ニューロンの
   評価値データとに基づいて、前記中間層の不良ニューロ
   ンを削除する中間層ニューロン削減装置と、 前記中間層のニューロンの重みを初期化する中間層ニュ
   ーロン重み初期化装置とを備えたことを特徴とする階層
   型ニューラルネットの最適化装置。
10. 【請求項１０】 請求項２，４，６，９のいずれか１項
    に記載された階層型ニューラルネットの最適化装置に対
    し、 与えられる要求仕様に基づいて設定される出力誤差重み
    データを格納した記憶手段を設け、 前記各種の判断する装置が、前記記憶手段に格納された
    出力誤差重みデータを考慮して前記各種の判断を行うよ
    うにしたことを特徴とする階層型ニューラルネットの最
    適化装置。
11. 【請求項１１】 請求項１０に記載の階層型ニューラル
    ネットの最適化装置に対し、 前記記憶手段に格納された出力誤差重みデータを修正す
    る出力誤差重み調整手段を設け、 前記判断する手段が、前記出力誤差重みデータを修正す
    るか否かの判断機能をさらに備えたことを特徴とする階
    層型ニューラルネットの最適化装置。
12. 【請求項１２】 階層型ニューラルネットに対して学習
    を行うニューラルネット学習装置と、 所定の出力誤差重みデータを格納した記憶手段と、その
    ニューラルネット学習装置から出力される学習状況デー
    タと、前記記憶手段から与えられる出力誤差重みデータ
    に基づいて、学習状況を判断し前記出力誤差重みデータ
    の修正の要否を判断する手段と、 前記判断する手段の判断結果に基づいて、前記出力誤差
    重みデータを修正するとともにその修正後の出力誤差重
    みデータ前記記憶手段に格納する出力誤差重み調整手段
    とを備えた階層型ニューラルネットの最適化装置。