JPH0991263A

JPH0991263A - ニューラルネットワーク構造最適化装置ならびに方法

Info

Publication number: JPH0991263A
Application number: JP7266386A
Authority: JP
Inventors: Kenji Suzuki; 賢治鈴木; Isao Horiba; 勇夫堀場
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 1995-09-20
Filing date: 1995-09-20
Publication date: 1997-04-04

Abstract

(57)【要約】【目的】階層型ニューラルネットワークや相互結合型ニ
ューラルネットワークあるいはその他各種のニューラル
ネットワーク全てにおいて最適化を行えるものはなく、
また階層型においては各層ごとでしか最適化を行えなか
った。そこで、任意のニューラルネットワークに対応で
きる構造最適化装置および方法を提供する。【構成】構造変更部６によりニューラルネットワーク部
１の構造を仮想的に変更させ、それぞれ変更した構造に
対して評価値算出部４にて評価値を算出する。この評価
値に基づいて構造判定部５では任意のニューラルネット
ワークを判定し、この判定結果を構造変更部６へ指示し
ニューラルネットワーク部１の構造を変更する。これに
より、ニューラルネットワークの演算時間の短縮や学習
速度の向上などニューラルネットワークの構造を最適化
することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はニューロンを層状に
結合した階層型ニューラルネットワーク、またはニュー
ロンを相互に結合した相互結合型ニューラルネットワー
ク、またはフィードバック結合を含むリカレントニュー
ラルネットワーク、またはファジーニューラルネットワ
ークなどの任意のニューラルネットワークに係り、特に
ニューラルネットワークの構造について、所望の構造に
するためのニューラルネットワーク構造最適化装置およ
び方法に関する。

【０００２】

【従来の技術】一般的にニューラルネットワークは、ニ
ューラルネットワークの出力が理想的な出力となる（目
的を達成する）よう評価を繰り返すいわゆる学習が行わ
れ、これによりさまざまな目的の機能を実現するように
なっている。しかしながら、学習だけでは演算時間の短
縮や学習自身の速度向上を行うことはできなかった。そ
のために、ニューラルネットワークの構造を変更、例え
ばニューロンを削減するなどして最適化を図っていた。

【０００３】従来ニューラルネットワークにおける構造
の最適化は、例えばニューラルネットワークのなかで最
も広く応用されている階層型のニューラルネットワーク
では、中間層ニューロン数の最適化、及び入力層ニュー
ロンの最適化の２種類が一般的に知られている。中間層
ニューロン数の最適化は、中間層ニューロンの出力分散
を分散基準と定義し、またある２つの中間層ニューロン
の出力値の相関を相関基準と定義し、この分散基準及び
相関基準に基づきニューロンを削減するものである。
（押野隆弘，他：誤差逆伝搬学習における中間層ユニッ
トの逐次削減法，電子情報通信学会論文誌, D-II, Vol.
J76-D-II, No.7, pp.1414-1424 (1993)参照）。

【０００４】また、入力層ニューロンの最適化は、入力
層のあるニューロンと結合されている入力層−中間層間
の結合係数の絶対値の総和を重要度として定義し、この
重要度に基づきニューロンを削減するものである。（片
山洋志，他：人工ニューラルネットワークを用いたラッ
トの味覚神経系データの解析，電子情報通信学会論文
誌, D-II, Vol. J75-D-II, No.2, pp.395-401 (1992)参
照）。

【０００５】

【発明が解決しようとする課題】しかし、上記中間層ニ
ューロン数、入力層ニューロンの最適化では、ニューラ
ルネットワークの各層ごとでしか最適化を行えなかっ
た。また、このような最適化は適用範囲が階層型のニュ
ーラルネットワークに限定されたものであり、相互結合
型のニューラルネットワークやその他各種のニューラル
ネットワークに対して適用できるものではなかった。

【０００６】また、分散基準や相関基準や重要度に基づ
いてネットワーク構造の最適化を行うものは、評価基準
が学習時の評価基準と異なるため、必ずしも所望の構造
への最適化を行えるものではなかった。

【０００７】そこで本発明は、上記問題点に鑑み、ニュ
ーロンを層状に結合した階層型ニューラルネットワー
ク、又はニューロンを相互に結合した相互結合型ニュー
ラルネットワークなどの任意のニューラルネットワーク
の構造について、所望の構造への最適化、つまりニュー
ラルネットワークの演算時間の短縮や学習速度の向上、
汎化能力の向上、入力情報の合理的選択、システムの同
定を行うニューラルネットワークの構築を行うことがで
きるニューラルネットワークの構造最適化装置ならびに
方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明の構造最適化装置は、少なくとも２つ以上のニ
ューロンが結合された構造のニューラルネットワークを
持つニューラルネットワーク部と、該ニューラルネット
ワーク部に対して入力信号を供給する入力信号供給部
と、教師信号を供給する教師信号供給部と、前記ニュー
ラルネットワーク部の出力信号と前記教師信号とにより
評価値を算出する評価値算出部と、この評価値を比較し
ニューラルネットワークを所望の構造に変更するよう判
定する構造判定部と、前記ニューラルネットワーク部に
対し構造変更を行う構造変更部とを有するものである。
また、上記構造変更したニューラルネットワーク部に対
して再学習をさせる再学習部を備えてもよい。さらに、
上記構造変更部は仮想的にニューラルネットワークの構
造を変更させ、仮想的に変更したそれぞれのニューラル
ネットワークに対応する評価値の判定結果に基づいてニ
ューラルネットワークの構造を変更するようにしてもよ
い。さらにまた、上記ニューラルネットワーク部は、階
層型のニューラルネットワークを用いてもよい。

【０００９】また、上記の評価値算出部の評価値は、ニ
ューラルネットワークの学習時に使用する評価関数に基
づいて算出するようにしてもよい。さらにまた、仮想的
なニューラルネットワークの構造変更は、任意のニュー
ロンの除去あるいは追加により行うようにしてもよい
し、任意のニューロン間の任意の結合を除去することに
より行うようにしてもよい。

【００１０】次に、本発明の構造最適化方法は、少なく
とも２つ以上のニューロンが結合されたニューラルネッ
トワークの構造を仮想的に異ならせて、構造の異なるそ
れぞれのニューラルネットワークに対応した評価値を算
出し、それぞれの評価値を比較判定し、この判定結果に
基づいて所望の構造のニューラルネットワークに変更す
ることにより最適化を行う。また、評価値に基づいて所
望の構造のニューラルネットワークに変更したあとに、
変更したニューラルネットワークに対して再学習を行っ
てもよい。

【００１１】

【発明の実施の形態】以下、本発明の実施形態を添付図
面に基づいて詳細に説明する。図１は、本発明によるニ
ューラルネットワークの構造最適化装置の実施形態を示
すブロック図である。このニューラルネットワークの構
造最適化装置は、図１に示すように、ニューラルネット
ワーク部１と、入力信号供給部２と、教師信号供給部３
と、評価値算出部４と，構造判定部５と、構造変更部６
とを備えて成る。

【００１２】ニューラルネットワーク部１は、ニューロ
ンを可塑性を持つ結合により多数相互に結合したもので
あり、構造を最適化する対象となるニューラルネットワ
ークであり、本実施形態では階層型ニューラルネットワ
ークを用いる。ここで、ニューラルネットワーク部１
は、バックプロパゲーション（誤差逆伝播学習）やヘブ
の学習則、相関学習、競合学習、ホップフィールド型学
習、ボルツマンマシン型学習などの任意の学習アルゴリ
ズムによって、学習が行われたものである。

【００１３】ここで、ニューラルネットワークを構成す
るニューロンについて図２により説明する。図２に示す
ように、ニューロン１１は生物の神経細胞素子の働きを
模した多入力一出力の情報処理素子で、入力Ｉi（Ｉ1〜
ＩN）１２と結合係数Ｗji（Ｗj1〜ＷjN）１３の積和に
より出力Ｏj１４が決定される。すなわち、入出力関数
ｆ（x）を用いて次式のように決定される。

【００１４】

【数１】

【００１５】ただし、θjはしきい値に相当する入出力
関数のオフセットであり、Nは入力の数である。

【００１６】次に、本実施形態のニューラルネットワー
ク部である階層型ニューラルネットワークを図３により
説明する。階層型ニューラルネットワークは、複数のニ
ューロン１１で構成された入力層及び中間層並びに出力
層の結合によりネットワークを構成し、信号処理及び情
報処理の機能を実現するように構成されている。また、
図３において、符号１５は入力層−中間層間結合を示
し、入力層の各ニューロン１１は中間層の全てのニュー
ロン１１とそれぞれ結合されている。また、符号１６は
中間層−出力層間結合を示し、中間層の各ニューロンモ
デル１１は出力層の全てのニューロン１１とそれぞれ結
合されている。そして、入力層に供給される入力情報を
変換して出力層から出力情報として出力するようになっ
ている。ここで、上記入力層においては、入出力関数と
して次式に示すような恒等関数が用いられている。

【００１７】

【数２】

【００１８】これにより、入力がそのまま出力される。
なお、この恒等関数の代わりに他の関数を用いて入力情
報に変調をかけてもよい。

【００１９】また、上記中間層においては、入出力関数
としてシグモイド関数が用いられている。もちろん、他
の関数を用いることもできる。シグモイド関数は次式の
ように表現される。

【００２０】

【数３】

【００２１】ただし、Ｕ0は傾きを制御するパラメータ
である。また、上記出力層においては、入出力関数とし
て上述のシグモイド関数が用いられている。もちろん、
この入出力関数は出力が入力に対して直線的に増減する
リニア関数などの他の関数を用いることもできる。

【００２２】本実施形態では、ニューラルネットワーク
部１に階層型ニューラルネットワークを用いたが、図４
に示すような相互結合型ニューラルネットワーク、ある
いは図５に示すようなリカレントニューラルネットワー
ク、さらにはファジーニューラルネットワークなどのニ
ューロンを任意に結合した任意のニューラルネットワー
クを用いてもよい。

【００２３】ここで、相互結合型ニューラルネットワー
ク及びリカレントニューラルネットワークについて簡単
に説明する。相互結合型ニューラルネットワークは図４
に示すように、各ニューロンを他の全てのニューロンと
結合した構造となっている。リカレントニューラルネッ
トワークは図５に示すように、フィードバック結合を持
つニューラルネットワークである。このリカレントニュ
ーラルネットワークの場合では、階層型のニューラルネ
ットワークにフィードバック結合を持つ構成となってお
り、出力層から入力層へのフィードバック結合を持つ構
成となっている。このような層間をまたぐフィードバッ
ク結合を持つリカレントニューラルネットワークを示し
たが、同ニューロンへのフィードバック結合を持つリカ
レントニューラルネットワークや、層内で結合を持つネ
ットワークなど任意の結合を持つリカレントニューラル
ネットワークでもよい。

【００２４】入力信号供給部２は、ニューラルネットワ
ーク部１を評価するための入力信号を供給するもので、
例えば入力信号データを計測する計測部、または入力信
号データを記憶しておき必要に応じて読み出す記憶装置
などから構成される。教師信号供給部３は、ニューラル
ネットワーク部１への入力信号に対する理想的な出力信
号である教師信号を供給するもので、例えば教師信号デ
ータを計測する計測部、または教師信号データを記憶し
ておき必要に応じて読み出す記憶装置などから構成され
る。

【００２５】評価値算出部４は、後述の構造変更部６に
より仮想的に変更されたニューラルネットワークの出力
信号と教師信号供給部３からの教師信号を入力して、ニ
ューラルネットワーク部１の最適化の程度を評価するた
めの評価値を構造の異なるニューラルネットワークに対
応してそれぞれ算出し、出力するものである。ここで、
評価値とは具体的にはニューラルネットワークの目的に
対する達成度または未達成度を表すもの、換言するとニ
ューラルネットワークの良さまたは悪さを表すものとな
っている。構造判定部５は、評価値算出部４からの仮想
的に変更したそれぞれのニューラルネットワークの評価
値を入力して比較判定する、つまりニューラルネットワ
ーク部１の構造をどのように変更するかを判定するもの
である。構造変更部６は、ニューラルネットワーク部１
の構造を仮想的に変更したり、構造判定部５からの判定
結果に基づいて実際にニューラルネットワーク部１の構
造を変更するものである。

【００２６】次に、このように構成されたニューラルネ
ットワークの構造最適化装置における動作を説明する。
まず、階層型のニューラルネットワークでの最適化動作
の前に行われるバックプロパゲーション学習法による学
習動作を図３及び図６を用いて説明する。ニューラルネ
ットワーク部１では入力信号に対して所望の出力が出力
されるように学習が行なわれる。換言すると、まずニュ
ーラルネットワーク部１の入力層−中間層間結合１５及
び中間層−出力層間結合１６の結合係数の初期化が行わ
れる。次に、このニューラルネットワーク部１に入力信
号が供給され、その結果出力信号が出力される。そし
て、この入力信号に対する理想的な出力である教師信号
との誤差が小さくなるように入力層−中間層結合１５及
び中間層−出力層結合１６の結合係数を変化させて、所
望の出力が得られるようにネットワークを自己組織化し
ていく。以上により学習が行われる。

【００２７】図６は、階層型のニューラルネットワーク
におけるバックプロパゲーション学習法を数式を用いて
示したものである。図６における個々の記号の意味は次
のとおりである。Ｉ；入力信号Ｏ（k）；第ｋ層のニューロンモデルの出力Ｗ（k）；第ｋ層と第ｋ＋１層間の結合係数 θ（k）；第ｋ層のニューロンモデルのオフセットＴ；教師信号 ηＷ；Ｗに対する学習定数 ηθ；θに対する学習定数 δ（k）；第ｋ−１層を修正するための誤差量ｆi；恒等関数ｆs；シグモイド関数なお、入力信号Ｉ、第k層のニューロンモデルの出力Ｏ
（k）、第ｋ層のニューロンモデルのオフセットθ
（k）、教師信号Ｔ、第k-1層を修正するための誤差量δ
（k）は１次元ベクトルで表されており、第k層と第k+1
層間の結合係数Ｗ（k）は２次元ベクトルで表されてい
る。また、本実施形態のニューラルネットワーク部１は
３層のものであり、ｆiに相当する部分が入力層であ
り、θ（2）を出力するｆsに相当する部分が中間層であ
り、θ（3）を出力するｆsに相当する部分が出力層とな
っている。

【００２８】この学習アルゴリズムについて以下に説明
する。教師信号Ｔと出力層の出力Ｏ（3）との平均二乗
誤差Ｅは、

【００２９】

【数４】

【００３０】である。これが減少するように第k層と第k
+1層間の結合係数Ｗ（k）を修正量

【００３１】

【数５】

【００３２】によって修正する。ただし、Ｘj（k+1）は
k+1層j番目のニューロンモデルの入出力関数への入力で
ある。次式のようにδを定義すると、

【００３３】

【数６】

【００３４】中間層と出力層間の修正量を決めるδは、

【００３５】

【数７】

【００３６】である。よって、修正量は、

【００３７】

【数８】

【００３８】となる。また、入力層と出力層間の修正量
を決めるδは、

【００３９】

【数９】

【００４０】となり、修正量は、

【００４１】

【数１０】

【００４２】となる。オフセットθ（k）についても同
様に求めることにより、図６に示すアルゴリズムとな
る。

【００４３】なお、ここでは３層のニューラルネットワ
ークについて例を示したが、中間層の数を増やすことに
よって３層以上のニューラルネットワークが構成可能で
あり、その場合の学習アルゴリズムは誤差量δを逆伝播
させ、漸化的に修正量を求めて上記同様に算出すること
ができる。

【００４４】上述のように学習されたニューラルネット
ワーク部１に対し、入力信号供給部２から評価するため
の入力信号が出力され、ニューラルネットワーク部１へ
供給される。また、教師信号供給部３からは、入力信号
に対して理想的な出力信号を示す教師信号を出力する。
そして、ニューラルネットワーク部１からの出力信号及
び教師信号を評価値算出部４へ供給する。ここで、入力
信号及び教師信号は、実際に計測されたデータでもよい
し、予め計測され記憶部に書き込まれたデータを読み出
したものでもよいし、記憶部に書き込まれたデータを処
理したデータを読み出したものでもよい。また、入力信
号および教師信号は、学習時に用いる信号をそのまま用
いてもよいし、さらに多いパターンを含んだ信号などの
学習時に用いた以外の信号でもよい。

【００４５】また、ニューラルネットワーク部１に対し
て構造変更部６は、任意のニューロンを仮想的に除去し
たり、新たなニューロンを仮想的に追加する。これによ
り、構造の異なるニューラルネットワーク部１が複数構
成されることとなる。そして、この複数のニューラルネ
ットワークそれぞれの出力信号と教師信号を評価値算出
部４に入力して、それぞれに対応する評価値を算出する
と共に構造判定部５へ出力する。すなわち、構造変更部
６により仮想的に変更されたいくつかのニューラルネッ
トワーク部１の中から目的とする機能を獲得した構造の
ニューラルネットワークを選択するための評価値が算出
される。これは次式に示すように、学習時のニューラル
ネットワークの評価尺度である誤差Eの平均が評価値と
して算出される。

【００４６】

【数１１】

【００４７】ただし、Ｎoは全出力層の出力数、Ｎpは全
パターン数を表す。なお、本実施形態では、評価値には
学習時に使用した誤差Eの定義である二乗誤差を用いた
が、この評価値はこれに限るものではなく出力信号と教
師信号を用いて算出される、例えば次式に示すような絶
対値誤差の平均値、あるいは標準偏差、さらには学習時
に使用する任意の評価関数を用いてもよい。

【００４８】

【数１２】

【００４９】また、ホップフィールドネットワークやボ
ルツマンマシンに代表される図４に示した相互結合型の
ニューラルネットワークにおいては、エネルギー関数が
ニューラルネットワークの良さすなわち目的に対する一
致度を表す評価関数であり、これを評価値として用いる
ことにより、このようなニューラルネットワークの学習
アルゴリズムに対応可能である。

【００５０】そして、評価値を入力した構造判定部５に
おいて、構造変更部６で仮想的に変更したニューラルネ
ットワークの評価値を個々に比較判定する。ここで、比
較判定について詳細に説明する。ニューラルネットワー
クは構造変更部６により仮想的にニューロンの除去ある
いは追加が行われ、構造を変更していく。そして、この
構造を変更したニューラルネットワークの評価値を評価
値算出部４で算出し、この評価値を構造判定部５に入力
する。構造判定部５では、所望の評価値を持つニューラ
ルネットワークを選び出す。評価値とは、ニューラルネ
ットワークの目的に対する達成度または未達成度を示す
ものであり、評価値が高いと達成度が高く、評価値が低
いと達成度が低いものである。また、所望の評価値と
は、ニューラルネットワークが目的とする必要な機能を
達成する評価値である。

【００５１】例えば、構造判定部５では、ニューロンａ
を仮想的に除去したときの評価値と、ニューロンｂを仮
想的に除去したときの評価値を比較して、ニューロンａ
を除去した方が評価値が高い場合には、ニューロンａを
除去したほうが目的に対する達成度が高いものが得られ
るため、ニューロンａを除去すると判定する。また、複
数のニューロンを同時に除去する場合においても同様
に、その中で評価値の高いニューロン群を除去すると判
定する。

【００５２】また、このほかに構造判定部５では、必要
かつ最小限の構造を持つニューラルネットワークを判定
するように、必要な機能を決定する基準の評価値を設け
判定する。例えば、ニューロンａ，ｂを共に除去したと
きの評価値とニューロンｃを除去したときの評価値とを
比較して、両者とも設定した基準評価値以下とならない
がニューロンｃを除去したときの評価値の方が高い場合
には、両者とも目的は達成されているがニューロンｃを
除去するよりニューロンａ，ｂを除去したほうが、構造
が単純かつ規模が小さくなることから、構造判定部５で
はニューロンａ，ｂを除去すると判定する。つまり、こ
のような判定の場合、構造が単純かつ目的を達成した構
造のニューラルネットワークが得られる。このような構
造判定部５からの判定結果は、構造変更部６へ入力して
ニューラルネットワーク部１の構造を変更する。

【００５３】次に、ニューラルネットワークの構造の変
更のうち、ニューロンの仮想的除去について図７により
説明する。符号２５は仮想的な除去対象である所定のニ
ューロンである。所定のニューロン２５と接続している
出力層側の結合の結合係数を０として、仮想的に切断す
ることにより、所定ニューロン２５の出力信号が伝わら
なくなり、仮想的にニューロン２５を除去した場合と同
じことになる。また、所定のニューロン２５の出力を０
とすることによっても同様に行うことができる。ニュ
ーロン間の結合除去を図２のニューロンの数値表現に従
い数式で示すと、次式のようになる。

【００５４】

【数１３】

【００５５】上式は、所定のニューロンの入力側に結合
している全ての結合係数Ｗ＝０とし、オフセットθ＝０
としても成り立ち、仮想的な除去を行うことができるこ
とは明らかである。また、上式は入力信号I＝０とし、
オフセットθ＝０としても成り立ち、さらに入出力関数
ｆが恒等関数などのオフセット＝０の関数の時は、Ｗ＝
０またはI＝０とすることにより、ニューロンの仮想的
な除去を行うことができる。ニューロンの仮想的除去に
おいて、任意のニューロン間の任意の結合だけを除去す
るときは、任意の結合を切断することで行われる。例え
ば、ｉ番目のニューロンとｊ番目のニューロンの結合を
除去するときは、結合係数Ｗji＝０にすることで行われ
る。

【００５６】このようなニューラルネットワークの構造
最適化をフローチャートにより説明する。まず、ニュー
ラルネットワーク部１に対して仮想的にニューロンを除
去あるいは追加することで構造を変更し（ステップ３
１）、仮想的に変更したニューラルネットワーク部１の
出力を算出し（ステップ３２）、この出力に対応した評
価値を算出し（ステップ３３）、変更可能な全ての構造
のニューラルネットワーク部１に対応した評価値を全て
算出したかを判定する（ステップ３４）。全ての構造に
対して評価値を算出していなければ、ステップ３１へ戻
り、全ての評価値が算出していれば、これらの評価値の
中から最大の評価値の構造を判定し、この判定結果に対
応した構造のニューラルネットワークに変更する（ステ
ップ３５）。つまり、目的の達成度が一番高い構造のニ
ューラルネットワークに変更する。また、ステップ３５
を図９に示すように、ニューロン数が少ないなどの単純
かつ評価値が基準評価値を下回らない評価値の構造を判
定し、変更（ステップ３５’）すれば、上述の方法に比
べてさらに構造の最適化となる。

【００５７】以上のような構造最適化装置及び方法によ
れば、所望の構造への最適化、つまりニューラルネット
ワークの演算時間の短縮や学習速度の向上、汎化能力の
向上、入力情報の合理的選択、システムの同定を行うニ
ューラルネットワークの構築などを行うことができる。

【００５８】次に、上述のニューラルネットワーク部１
に対して再学習を行う再学習部を備えた構造最適化装置
の実施形態を図１０により説明する。本実施形態におい
て、同一の符号の説明は省略する。再学習部７は、構造
判定部５からの判定結果により構造を変更したニューラ
ルネットワークに対して再学習を行い、再度構造判定す
るものである。つまり、構造変更部６にて仮想的にニュ
ーラルネットワークの構造を変更し、評価値算出部４で
この変更した構造に対する評価値を算出し、構造判定部
５により最大の評価値である構造、あるいは構造が単純
かつ基準評価値を下回らない評価値の構造を判定し、構
造変更部６により所望の構造に変更する。そして、所望
の構造に変更されたニューラルネットワークは、再学習
部７にて再学習を行うと共に評価値を算出し、この評価
値を基準評価値を比較し、基準評価値より下回る場合
は、再度仮想的な変更するよう指示する。ここで、再学
習は上述に示した各種学習アルゴリズムを用いてもよ
い。また、再学習は最適化したニューラルネットワーク
の構造のみを生かし、結合係数を初期値にしてから再学
習してもよいし、結合係数を継続してもよい。

【００５９】このような構造最適化をフローチャートで
説明する。まず、上述と同様にニューラルネットワーク
部１に対して仮想的にニューラルを除去あるいは追加す
ることで構造を変更し（ステップ３１）、仮想的に変更
したニューラルネットワーク部１の出力を算出し（ステ
ップ３２）、この出力に対応した評価値を算出し（ステ
ップ３３）、変更可能な構造のニューラルネットワーク
部１に対応した評価値を全て算出したかを判定する（ス
テップ３４）。全ての構造に対して評価値を算出してい
なければ、ステップ３１へ戻り、全ての評価値が算出し
ていれば、これらの評価値の中から最大の評価値の構造
あるいは構造が単純かつ基準評価値を下回らない評価値
の構造を判定し、この判定結果に対応した構造のニュー
ラルネットワークに変更する（ステップ３５”）。そし
て、変更したニューラルネットワークに対して再学習を
行い（ステップ３６）、再学習したニューラルネットワ
ークの評価値が基準評価値より下回るかを判定する（ス
テップ３７）。基準評価値より下回る場合、再度ステッ
プ３１から繰り返す。

【００６０】以上のような構造最適化装置及び方法によ
れば、ニューラルネットワークの演算時間の短縮や学習
速度の向上、汎化能力の向上、入力情報の合理的選択、
システムの同定を行うニューラルネットワークの構築な
どを行うことができるると共に、さらに目的とする機能
の向上を図ることができる。

【００６１】このほかに、図１２に示すようにニューロ
ンを１個ずつ除去あるいは結合を除去し、１個除去した
ニューラルネットワークの中から評価値が最大の構造に
変更し（ステップ４１〜ステップ４５）、変更したニュ
ーラルネットワークを再学習し（ステップ４６）、この
ニューラルネットワークの評価値と基準評価値とを比較
して（ステップ４７）、評価値の方が高い、つまり基準
評価値を下回らない場合はステップ４１へ戻り、評価値
の方が低い、基準評価値を下回る場合は構造をステップ
４５で変更する前の状態に戻して（ステップ４８）処理
を終了する。これは、例えば仮想的な変更がニューロン
を１個ずつ除去するような場合では、ニューロンを１個
除去したニューラルネットワークにおける最大評価値が
基準評価値より高ければ、他に除去してもよいニューロ
ンがあるので、再度仮想的変更を行う。次の仮想的変更
では既に１個除去している状態であり、この状態からさ
らに１個除去したつまり合計２個除去したニューラルネ
ットワークに仮想的に変更して最大の評価値を算出し
て、基準評価値と比較する。評価値が基準評価値より下
回らなければこれを繰り返し、下回れば２個のニューロ
ンを除去したものの中で一番高い評価値が基準評価値を
下回ったということから、ニューロンの除去は２個でき
ないと判定し、再び１個除去の状態に戻し、処理を終了
させる。また、ステップ４８のあとに再学習を行うよう
にすれば、さらに機能向上が図れる。以上のような方法
でも、構造を最適化することができる。また、評価値が
基準評価値を下回った時を終了としたが、除去するニュ
ーロン数が所定のニューロン数を越えた時を終了とする
など、別の終了条件を用いてもよい。

【００６２】ここで、再学習部７では、再学習を行うほ
かに評価値の算出及び比較判定を行うものとしている
が、評価値算出部４により評価値を算出し、構造判定部
により比較判定を行えることは言うまでもない。また、
上述の構造最適化は、入力層や中間層といった意味づけ
を持ったニューロンの集団ごとに行ってもよい。

【００６３】また、ニューラルネットワークの構造の変
更は、様々な構造の変更が存在する中で、その例とし
て、ニューロンの構成を変更して最適化する例について
説明したが、ニューロンとニューロンの結合を最適化す
ることもできる。すなわち、構造判定部５は、評価値算
出部４の評価値を入力し、この評価値に基づいて除去あ
るいは追加するニューロン間の結合を判定するものとな
る。構造変更部６は、ニューラルネットワーク部１のニ
ューロン間を結合している任意の結合を仮想的に切断あ
るいは任意の結合を追加し、構造判定部５からの判定結
果に基づいてニューラルネットワーク部１のニューロン
間の結合を切断あるいは任意のニューロンとの結合を行
うものとなる。これによれば、ニューロンとニューロン
の結合単位にニューラルネットワークの最適化を行うこ
とにより、きめ細かな最適化を実現できる。

【００６４】

【発明の効果】本発明は任意の構造のニューラルネット
ワークに関する評価値を算出し、この評価値からニュー
ラルネットワークの構造を変更することにより、目的に
一致した構造の最適化、つまりニューラルネットワーク
の演算時間の短縮や学習速度の向上、汎化能力の向上、
入力情報の合理的選択あるいはシステムの同定を行うニ
ューラルネットの構築などを行うことができる。また、
仮想的にニューラルネットワークの構造を変更させ、仮
想的に変更したそれぞれの構造に対応した評価値を算出
し、これらの評価値から所望の構造に変更することによ
っても、上述と同様の効果を得ることができる。さら
に、所望の構造に変更したあと、再学習をさせること
で、上述の効果を得ることができると共に、目的の機能
の向上を図ることができる。

【図面の簡単な説明】

【図１】本発明の第一の実施形態を示すブロック図

【図２】ニューラルネットワークを構成するニューロン
を示す説明図

【図３】階層型ニューラルネットワークを示す図

【図４】相互結合型ニューラルネットワークを示す図

【図５】フィードバック結合を含むリカレントニューラ
ルネットワークを示す図

【図６】バックプロパゲーション学習法を示す図

【図７】仮想的なニューロンの除去を示す図

【図８】本発明の第一の実施形態におけるフローチャー
トを示す図

【図９】本発明の第一の実施形態におけるフローチャー
トを示す図

【図１０】本発明の第二の実施形態を示すブロック図

【図１１】本発明の第二の実施形態におけるフローチャ
ートを示す図

【図１２】本発明の第三の実施形態におけるフローチャ
ートを示す図

【符号の説明】

１ニューラルネットワーク部２入力信号供給部３教師信号供給部４評価値算出部５構造判定部６構造変更部１１ニューロン１２ニューロンへの入力１３結合係数１４ニューロンの出力１５入力層−中間層間結合１６中間層−出力層間結合２５所定のニューロン

Claims

【特許請求の範囲】

【請求項１】少なくとも２つ以上のニューロンが結合さ
れた構造のニューラルネットワークを持つニューラルネ
ットワーク部と、該ニューラルネットワーク部に対して
入力信号を供給する入力信号供給部と、教師信号を供給
する教師信号供給部と、前記ニューラルネットワーク部
の出力信号と前記教師信号とにより評価値を算出する評
価値算出部と、この評価値を比較しニューラルネットワ
ークを所望の構造に変更するよう判定する構造判定部
と、前記ニューラルネットワーク部に対し構造変更を行
う構造変更部とを有することを特徴とするニューラルネ
ットワーク構造最適化装置。
【請求項２】上記所望の構造に変更したニューラルネッ
トワーク部に対して再学習をさせる再学習部を備えた請
求項１に記載のニューラルネットワーク構造最適化装
置。
【請求項３】上記構造変更部は仮想的にニューラルネッ
トワークの構造を変更させ、仮想的に変更したそれぞれ
のニューラルネットワークに対応する評価値の判定結果
に基づいてニューラルネットワークの構造を変更するこ
とを特徴とする請求項１及び２に記載のニューラルネッ
トワーク構造最適化装置。
【請求項４】上記ニューラルネットワーク部は、階層型
のニューラルネットワークで構成されていることを特徴
とする請求項１及び２に記載のニューラルネットワーク
構造最適化装置。
【請求項５】上記の評価値算出部の評価値は、ニューラ
ルネットワークの学習時に使用する評価関数に基づいて
算出することを特徴とする請求項１及び２に記載のニュ
ーラルネットワーク構造最適化装置。
【請求項６】仮想的なニューラルネットワークの構造変
更は、任意のニューロンを除去あるいは追加することに
より行うことを特徴とする請求項３に記載のニューラル
ネットワーク構造最適化装置。
【請求項７】仮想的なニューラルネットワークの構造変
更は、任意のニューロン間の任意の結合を除去あるいは
追加することにより行うことを特徴とする請求項３に記
載のニューラルネットワーク構造最適化装置。
【請求項８】少なくとも２つ以上のニューロンが結合さ
れたニューラルネットワークの構造を仮想的に変更し、
構造の異なるそれぞれのニューラルネットワークに対応
した評価値を算出し、それぞれの評価値を比較判定し、
この判定結果に基づいて所望の構造のニューラルネット
ワークに変更して最適化を行うことを特徴とするニュー
ラルネットワーク構造最適化方法。
【請求項９】上記評価値に基づいて所望の構造のニュー
ラルネットワークに変更したあとに、ニューラルネット
ワークの再学習を行い最適化を行うことを特徴とする請
求項８に記載のニューラルネットワーク構造最適化方
法。