JP3303032B2 - ニューラルネット学習装置 - Google Patents
ニューラルネット学習装置Info
- Publication number
- JP3303032B2 JP3303032B2 JP10677092A JP10677092A JP3303032B2 JP 3303032 B2 JP3303032 B2 JP 3303032B2 JP 10677092 A JP10677092 A JP 10677092A JP 10677092 A JP10677092 A JP 10677092A JP 3303032 B2 JP3303032 B2 JP 3303032B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- neural network
- random number
- teacher
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は多層ニュ−ラルネットの
学習を行なう装置、並びに多層ニュ−ラルネットの各種
応用装置（認識，予測，推定，関数近似，制御等を行な
う装置）の学習方法に関する。
学習を行なう装置、並びに多層ニュ−ラルネットの各種
応用装置（認識，予測，推定，関数近似，制御等を行な
う装置）の学習方法に関する。
【０００２】
【従来の技術】ニュ−ラルネットの学習は一般に、ある
信号（教師入力信号）をネットワ−クに入力して得られ
たネットワ−クの出力と、この教師入力信号に対応した
望ましい出力（教師出力信号）との偏差を求め、これを
小さくする方向にニュ−ロン間のシナプスの重みを修正
することにより行われる。この学習はバックプロパゲ−
ションと呼ばれ多くの文献で参照できるが、例えば“入
門と学習ニュ−ロコンピュ−タ”（技術評論社）P47に
フロ−チャ−トが記されている。
信号（教師入力信号）をネットワ−クに入力して得られ
たネットワ−クの出力と、この教師入力信号に対応した
望ましい出力（教師出力信号）との偏差を求め、これを
小さくする方向にニュ−ロン間のシナプスの重みを修正
することにより行われる。この学習はバックプロパゲ−
ションと呼ばれ多くの文献で参照できるが、例えば“入
門と学習ニュ−ロコンピュ−タ”（技術評論社）P47に
フロ−チャ−トが記されている。
【０００３】一方、ニュ−ラルネットの汎化能力（推論
能力、認識能力）向上を目差した学習方法の改善手段と
しては、インターナショナル・ニューラル・ネットワー
ク・ソサイアティ（International Neural Network Soc
iety）の論文誌であるニューラル・ネットワークス
（“Neural Networks”）Vol.4, Number 1, P67-P79(19
91)に記載の方法がある。この方法では、教師入力信号
に一定振幅の乱数を重畳するようにしている。
能力、認識能力）向上を目差した学習方法の改善手段と
しては、インターナショナル・ニューラル・ネットワー
ク・ソサイアティ（International Neural Network Soc
iety）の論文誌であるニューラル・ネットワークス
（“Neural Networks”）Vol.4, Number 1, P67-P79(19
91)に記載の方法がある。この方法では、教師入力信号
に一定振幅の乱数を重畳するようにしている。
【０００４】また、日本音響学会春期全国大会講演論文
集P29（平成３年、論文番号１−５−１３）にも趣旨を
同じくした記載があり、汎化を行なう環境で教師入力信
号に重畳されるノイズに一致した一定振幅のノイズをあ
らかじめ教師入力デ−タに加算して学習すると、最も汎
化能力の高いネットワ−クが得られるとされている。更
に、ロスアンジェルスのカリフォルニア大学の技術レポ
ート（University ofCalifornia, Los AngelesのTechni
cal Report）、CSD-910068(September 1991)には、汎化
能力を向上させるために乱数の値を一様に減少させ、最
終的に０に至らしめる手法が記されている。
集P29（平成３年、論文番号１−５−１３）にも趣旨を
同じくした記載があり、汎化を行なう環境で教師入力信
号に重畳されるノイズに一致した一定振幅のノイズをあ
らかじめ教師入力デ−タに加算して学習すると、最も汎
化能力の高いネットワ−クが得られるとされている。更
に、ロスアンジェルスのカリフォルニア大学の技術レポ
ート（University ofCalifornia, Los AngelesのTechni
cal Report）、CSD-910068(September 1991)には、汎化
能力を向上させるために乱数の値を一様に減少させ、最
終的に０に至らしめる手法が記されている。
【０００５】
【発明が解決しようとする課題】上述した従来技術で種
々検討されている学習方式は、ニュ−ラルネット演算手
段の性能を、あらゆる問題に対し万能的に向上させるも
のではない。例えば、バックプロパゲ−ションと、教師
入力信号に乱数を重畳させて改善する技法との比較をし
てみる。ネットワ−クで学習する問題が非線形関数の近
似の場合は、単純なバックプロパゲ−ションの方がネッ
トワ−クに高い汎化能力を与えられる。しかし、クラス
タリングやパタ−ン認識の場合は、逆に、教師入力信号
に適当な乱数を重畳することで汎化能力を向上させられ
るときがある。またクラスタリング問題であっても、教
師信号が各クラスタを包含する程度に十分備えられてい
る場合には、単純なバックプロパゲ−ションで高い汎化
能力が得られ、乱数の重畳は処理を煩雑化させるのみで
ある。これに対し、教師信号が不十分な場合には逆に汎
化能力向上に効果が大きい。さらに、中間層ニュ−ロン
数が多く、中間層の自由度が大きい場合には、乱数重畳
は汎化能力を向上させるが、中間層ニュ−ロン数が小さ
い場合には、ネットワ−クが限られた解に収れんするの
を妨げるため、乱数の加算が汎化能力を逆に低下させる
ことがある。
々検討されている学習方式は、ニュ−ラルネット演算手
段の性能を、あらゆる問題に対し万能的に向上させるも
のではない。例えば、バックプロパゲ−ションと、教師
入力信号に乱数を重畳させて改善する技法との比較をし
てみる。ネットワ−クで学習する問題が非線形関数の近
似の場合は、単純なバックプロパゲ−ションの方がネッ
トワ−クに高い汎化能力を与えられる。しかし、クラス
タリングやパタ−ン認識の場合は、逆に、教師入力信号
に適当な乱数を重畳することで汎化能力を向上させられ
るときがある。またクラスタリング問題であっても、教
師信号が各クラスタを包含する程度に十分備えられてい
る場合には、単純なバックプロパゲ−ションで高い汎化
能力が得られ、乱数の重畳は処理を煩雑化させるのみで
ある。これに対し、教師信号が不十分な場合には逆に汎
化能力向上に効果が大きい。さらに、中間層ニュ−ロン
数が多く、中間層の自由度が大きい場合には、乱数重畳
は汎化能力を向上させるが、中間層ニュ−ロン数が小さ
い場合には、ネットワ−クが限られた解に収れんするの
を妨げるため、乱数の加算が汎化能力を逆に低下させる
ことがある。
【０００６】従って、従来のニュ−ラルネットの学習装
置は、そのニューラルネット学習装置が解決しようとす
る問題毎に専用の装置として用意され、汎用のニューラ
ルネット学習装置というものは考えられていなかった。
置は、そのニューラルネット学習装置が解決しようとす
る問題毎に専用の装置として用意され、汎用のニューラ
ルネット学習装置というものは考えられていなかった。
【０００７】また、ニュ−ラルネットがクラスタリング
やパタ−ン認識に用いられる場合、従来学習法であるバ
ックプロパゲ−ションでは、ネットワ−ク出力の教師出
力からの誤差（出力誤差）を最小化する操作と、境界を
理想位置（たとえばクラスタの中間位置）に近づける操
作が直接対応しないため、一定の出力誤差に到達した後
さらに学習を進めて誤差を減少させても、汎化能力が向
上しないことがある。
やパタ−ン認識に用いられる場合、従来学習法であるバ
ックプロパゲ−ションでは、ネットワ−ク出力の教師出
力からの誤差（出力誤差）を最小化する操作と、境界を
理想位置（たとえばクラスタの中間位置）に近づける操
作が直接対応しないため、一定の出力誤差に到達した後
さらに学習を進めて誤差を減少させても、汎化能力が向
上しないことがある。
【０００８】この解決を目的として教師入力信号に乱数
を重畳する前記従来技術は、汎化を行なう環境のノイズ
があらかじめ分かっている場合には、その振幅を教師入
力信号に加算するノイズの振幅とすれば良い。しかし、
ノイズが不明の場合や、あるいは様々な振幅のノイズが
加わったデ−タが汎化の対象となる場合等については考
慮しておらず、このときに教師入力信号に加算すべき乱
数の振幅を容易に特定できないという問題がある。更
に、汎化能力を高める上で最適な乱数の重畳プログラム
が問題に応じて異なっているにもかかわらず、これを考
慮していないため、乱数を重畳することが汎化能力を逆
に低下させる虞がある。例えば、教師入力信号同士の類
似度と、加算する乱数の振幅の関係について考慮されて
いないため、類似した教師入力信号が異なったクラスタ
に属しているとき、過大な乱数の加算によって逆にこれ
らを識別できなくなる問題がある。更にまた、乱数の振
幅を学習の進行とともに漸減させる手法も、教師入出力
信号の特性やネットワ−クの中間層ニュ−ロン数により
最適な減少プログラムが異なるにもかかわらず、これに
ついて配慮していないため常に良好なネットワ−クが得
られないことが問題となる。
を重畳する前記従来技術は、汎化を行なう環境のノイズ
があらかじめ分かっている場合には、その振幅を教師入
力信号に加算するノイズの振幅とすれば良い。しかし、
ノイズが不明の場合や、あるいは様々な振幅のノイズが
加わったデ−タが汎化の対象となる場合等については考
慮しておらず、このときに教師入力信号に加算すべき乱
数の振幅を容易に特定できないという問題がある。更
に、汎化能力を高める上で最適な乱数の重畳プログラム
が問題に応じて異なっているにもかかわらず、これを考
慮していないため、乱数を重畳することが汎化能力を逆
に低下させる虞がある。例えば、教師入力信号同士の類
似度と、加算する乱数の振幅の関係について考慮されて
いないため、類似した教師入力信号が異なったクラスタ
に属しているとき、過大な乱数の加算によって逆にこれ
らを識別できなくなる問題がある。更にまた、乱数の振
幅を学習の進行とともに漸減させる手法も、教師入出力
信号の特性やネットワ−クの中間層ニュ−ロン数により
最適な減少プログラムが異なるにもかかわらず、これに
ついて配慮していないため常に良好なネットワ−クが得
られないことが問題となる。
【０００９】本発明の第１の目的は、学習すべき問題に
適したアルゴリズムでネットワ−クの学習を行い、汎化
能力に優れたニュ−ラルネットの構築を行うニューラル
ネット学習装置を提供することにある。
適したアルゴリズムでネットワ−クの学習を行い、汎化
能力に優れたニュ−ラルネットの構築を行うニューラル
ネット学習装置を提供することにある。
【００１０】本発明の第２の目的は、従来の学習方法で
汎化能力向上が困難なクラスタリング（パタ−ン認識、
識別）問題を解決し、ネットワ−クに最大の汎化能力を
与えることのできるニューラルネット学習装置を提供す
ることにある。すなわち、汎化の対象となるデ−タが教
師入力デ−タからどの程度異なっていた場合でも、また
類似な教師入力信号が異なった出力を与える場合であっ
ても、これらに依存せず、最大汎化能力を備えたネット
ワ−クを構築可能なニューラルネット学習装置を提供す
ることにある。
汎化能力向上が困難なクラスタリング（パタ−ン認識、
識別）問題を解決し、ネットワ−クに最大の汎化能力を
与えることのできるニューラルネット学習装置を提供す
ることにある。すなわち、汎化の対象となるデ−タが教
師入力デ−タからどの程度異なっていた場合でも、また
類似な教師入力信号が異なった出力を与える場合であっ
ても、これらに依存せず、最大汎化能力を備えたネット
ワ−クを構築可能なニューラルネット学習装置を提供す
ることにある。
【００１１】
【課題を解決するための手段】上記第１の目的は、ニュ
−ラルネット学習装置に学習アルゴリズムを複数種類設
け、さらにネットワ−クの構成や扱う問題，教師信号の
性質に対応した適当なアルゴリズムを選択し学習に供す
る学習アルゴリズム選択手段を設けることで、達成され
る。
−ラルネット学習装置に学習アルゴリズムを複数種類設
け、さらにネットワ−クの構成や扱う問題，教師信号の
性質に対応した適当なアルゴリズムを選択し学習に供す
る学習アルゴリズム選択手段を設けることで、達成され
る。
【００１２】上記第２の目的は、各教師信号とこれらが
属するクラスタの境界線との距離（空間距離）を検出す
る空間距離検出手段を設け、検出された距離が特定の教
師信号について小さい値とならないことを目標に学習を
行うことで、達成される。更に好適には、乱数発生手段
と、発生された乱数の振幅を修正したのち教師入力信号
に加算するデ−タ処理手段とを設けると共に、このデ−
タ処理手段に、教師信号の性質を解析する機能と、解析
結果から乱数振幅の初期値を決定する機能と、学習の進
行状況から乱数の振幅を望ましい値に修正する機能を設
けることで、達成される。
属するクラスタの境界線との距離（空間距離）を検出す
る空間距離検出手段を設け、検出された距離が特定の教
師信号について小さい値とならないことを目標に学習を
行うことで、達成される。更に好適には、乱数発生手段
と、発生された乱数の振幅を修正したのち教師入力信号
に加算するデ−タ処理手段とを設けると共に、このデ−
タ処理手段に、教師信号の性質を解析する機能と、解析
結果から乱数振幅の初期値を決定する機能と、学習の進
行状況から乱数の振幅を望ましい値に修正する機能を設
けることで、達成される。
【００１３】
【作用】ネットワ−クの学習アルゴリズムとして、教師
信号を繰り返し学習する従来型のバックプロパゲ−ショ
ン、教師信号に適当なノイズを重畳したものを新たに教
師入力信号として学習を行う修正型のバックプロパゲ−
ション、ベクトル量子化手法等の複数種類が用意されて
いるので、学習アルゴリズム選択手段は、これらのうち
実際に用いるアルゴリズムを選択する。この選択は、オ
ペレータが外部から操作して行っても良いし、学習アル
ゴリズム選択手段自身が、予想される学習結果の良否
（ネットワ−クの汎化能力）を基に、自動的に行っても
良い。またオペレータがネットワ−クの汎化能力や学習
の完了速度等から優先すべき項目を指示し、これに基づ
いて学習アルゴリズム選択手段が望ましいアルゴリズム
を選択しても良い。いずれにしてもネットワ−クが扱う
問題や、教師信号の性質に従って最善のアルゴリズムが
選択する機構が備えられる。
信号を繰り返し学習する従来型のバックプロパゲ−ショ
ン、教師信号に適当なノイズを重畳したものを新たに教
師入力信号として学習を行う修正型のバックプロパゲ−
ション、ベクトル量子化手法等の複数種類が用意されて
いるので、学習アルゴリズム選択手段は、これらのうち
実際に用いるアルゴリズムを選択する。この選択は、オ
ペレータが外部から操作して行っても良いし、学習アル
ゴリズム選択手段自身が、予想される学習結果の良否
（ネットワ−クの汎化能力）を基に、自動的に行っても
良い。またオペレータがネットワ−クの汎化能力や学習
の完了速度等から優先すべき項目を指示し、これに基づ
いて学習アルゴリズム選択手段が望ましいアルゴリズム
を選択しても良い。いずれにしてもネットワ−クが扱う
問題や、教師信号の性質に従って最善のアルゴリズムが
選択する機構が備えられる。
【００１４】空間距離検出手段は教師入力信号と、その
信号が属しているクラスタの境界線までの空間距離を検
出する。これを教師入力信号総てについて行い、この値
が特定の教師入力信号について小さくならないようにニ
ュ−ラルネットの内部状態を更新し、学習を行う。
信号が属しているクラスタの境界線までの空間距離を検
出する。これを教師入力信号総てについて行い、この値
が特定の教師入力信号について小さくならないようにニ
ュ−ラルネットの内部状態を更新し、学習を行う。
【００１５】デ−タ処理手段は教師信号について、各ク
ラスタ（パタ−ン）に属する教師信号数および異なるク
ラスタに属する教師信号の空間距離から、教師入力信号
に重畳する乱数振幅の初期値を決定する。また積算学習
回数やシナプスの重みの値からネットワ−クの出来上が
り具合を評価し、これを基に乱数振幅値を最適に修正す
る。
ラスタ（パタ−ン）に属する教師信号数および異なるク
ラスタに属する教師信号の空間距離から、教師入力信号
に重畳する乱数振幅の初期値を決定する。また積算学習
回数やシナプスの重みの値からネットワ−クの出来上が
り具合を評価し、これを基に乱数振幅値を最適に修正す
る。
【００１６】
【実施例】以下、本発明の一実施例を図面を参照して説
明する。図１は、本発明の一実施例に係るニュ−ラルネ
ット学習装置の構成図である。このニュ−ラルネット学
習装置１０１は、ニュ−ラルネット演算手段１０２、教
師信号メモリ１０３、複数の学習アルゴリズムが用意さ
れた学習アルゴリズム群１０４、この中から実際に学習
に供するアルゴリズムを選択する学習アルゴリズム選択
手段１０５からなる。ニュ−ラルネット演算手段１０２
として、図示する実施例では、３層構造のラメルハ−ト
型ネットワ−クを用いている。各層（入力層１０８，中
間層１０９，出力層１１０）は適当数のニュ−ロンによ
り構成され、層間のニュ−ロンはシナプス１１１で結合
されている。ネットワ−クにおける信号の流れ及び通常
用いられる学習アルゴリズム（バックプロパゲ−ショ
ン）の詳細は、たとえば技術評論社“入門と実習ニュ−
ロコンピュ−タ”のP15（信号の流れ）、P47（学習のア
ルゴリズム）など多数の文献で参照できる。
明する。図１は、本発明の一実施例に係るニュ−ラルネ
ット学習装置の構成図である。このニュ−ラルネット学
習装置１０１は、ニュ−ラルネット演算手段１０２、教
師信号メモリ１０３、複数の学習アルゴリズムが用意さ
れた学習アルゴリズム群１０４、この中から実際に学習
に供するアルゴリズムを選択する学習アルゴリズム選択
手段１０５からなる。ニュ−ラルネット演算手段１０２
として、図示する実施例では、３層構造のラメルハ−ト
型ネットワ−クを用いている。各層（入力層１０８，中
間層１０９，出力層１１０）は適当数のニュ−ロンによ
り構成され、層間のニュ−ロンはシナプス１１１で結合
されている。ネットワ−クにおける信号の流れ及び通常
用いられる学習アルゴリズム（バックプロパゲ−ショ
ン）の詳細は、たとえば技術評論社“入門と実習ニュ−
ロコンピュ−タ”のP15（信号の流れ）、P47（学習のア
ルゴリズム）など多数の文献で参照できる。
【００１７】教師信号メモリ１０３には、ニュ−ラルネ
ット演算手段１０２の学習に用いるデ−タが格納されて
いる。具体的には、ニュ−ラルネット演算手段１０２へ
の入力（教師入力信号１０６）と、教師入力信号に対応
した望ましい演算部の出力（教師出力信号１０７）との
ペアが、複数蓄えられている。
ット演算手段１０２の学習に用いるデ−タが格納されて
いる。具体的には、ニュ−ラルネット演算手段１０２へ
の入力（教師入力信号１０６）と、教師入力信号に対応
した望ましい演算部の出力（教師出力信号１０７）との
ペアが、複数蓄えられている。
【００１８】学習アルゴリズム群１０４には、教師信号
メモリ１０３の内容を用いて、ニュ−ラルネット演算手
段１０２を学習するアルゴリズムが夫々独立したアルゴ
リズムとして複数種類設けられている。アルゴリズムと
しては、（ａ）通常のバックプロパゲ−ション、（ｂ）
University of California, Los AngelesのTechnical R
eport、CSD-910068(September 1991)記載の、教師入力
信号に一様乱数を重畳してネットワ−クに入力しバック
プロパゲ−ションで学習する手法、（ｃ）Springer-Ver
lag の“Complex System and Cognitive Processes”の
P135-137 記載の、kohonenのLearning Vector Quantiza
tion を応用したアルゴリズム、（ｄ）本実施例で新た
に開発した図８に示す学習方法などが、必要に応じて種
々考えられる。尚、これらは必ずしも独立して設ける必
要はなく、共有できる部分は共用化した構成としても良
い。
メモリ１０３の内容を用いて、ニュ−ラルネット演算手
段１０２を学習するアルゴリズムが夫々独立したアルゴ
リズムとして複数種類設けられている。アルゴリズムと
しては、（ａ）通常のバックプロパゲ−ション、（ｂ）
University of California, Los AngelesのTechnical R
eport、CSD-910068(September 1991)記載の、教師入力
信号に一様乱数を重畳してネットワ−クに入力しバック
プロパゲ−ションで学習する手法、（ｃ）Springer-Ver
lag の“Complex System and Cognitive Processes”の
P135-137 記載の、kohonenのLearning Vector Quantiza
tion を応用したアルゴリズム、（ｄ）本実施例で新た
に開発した図８に示す学習方法などが、必要に応じて種
々考えられる。尚、これらは必ずしも独立して設ける必
要はなく、共有できる部分は共用化した構成としても良
い。
【００１９】学習アルゴリズム選択手段１０５は、学習
に用いるアルゴリズムを切り替えにより選択する。
に用いるアルゴリズムを切り替えにより選択する。
【００２０】ニュ−ラルネット学習装置１０１は、図２
のように計算装置（ワ−クステ−ション，パソコン，あ
るいは専用の計算装置）２０１の中のアプリケ−ション
ソフトウェアの一つとして実現されるのが一般的であ
る。実現形態としては、学習済みのニュ−ラルネット演
算手段１０２が計算装置２０１のＩ／Ｏ２０３に対して
演算結果を出力し、対象２０２の運転を行う「学習・演
算一体型」の構造と、図３のように学習結果として、た
とえばシナプス１１１の重みの値だけを演算装置３０１
にダウンロ−ドし、実際の運転はニュ−ラルネット演算
手段１０２を備えた演算装置３０１で行う「学習・演算
分離型」の構造が考えられる。演算の対象は制御，認
識，予測，診断など様々であり、演算装置３０１は場合
に応じて制御用のコントロ−ラ（ＰＩＤコントロ−ラ，
プログラマブルコントロ−ラ，プロセスコントロ−ラ）
や画像認識装置であり、対象２０２は制御プラントや各
種被認識システムである。
のように計算装置（ワ−クステ−ション，パソコン，あ
るいは専用の計算装置）２０１の中のアプリケ−ション
ソフトウェアの一つとして実現されるのが一般的であ
る。実現形態としては、学習済みのニュ−ラルネット演
算手段１０２が計算装置２０１のＩ／Ｏ２０３に対して
演算結果を出力し、対象２０２の運転を行う「学習・演
算一体型」の構造と、図３のように学習結果として、た
とえばシナプス１１１の重みの値だけを演算装置３０１
にダウンロ−ドし、実際の運転はニュ−ラルネット演算
手段１０２を備えた演算装置３０１で行う「学習・演算
分離型」の構造が考えられる。演算の対象は制御，認
識，予測，診断など様々であり、演算装置３０１は場合
に応じて制御用のコントロ−ラ（ＰＩＤコントロ−ラ，
プログラマブルコントロ−ラ，プロセスコントロ−ラ）
や画像認識装置であり、対象２０２は制御プラントや各
種被認識システムである。
【００２１】図４は、学習アルゴリズム選択手段１０２
を外部スイッチ４０１から操作できる構成としたニュー
ラルネット学習装置の例である。ニュ−ラルネット学習
装置１０１がワ−クステ−ション等で実現されている場
合、アルゴリズム選択メニュー画面の中から目的のアル
ゴリズムをキ−ボ−ドを使って選択し、アルゴリズム選
択手段を切り替える構造とするのが一般的であるが、専
用の学習装置で実現する場合には、専用の外部切替スイ
ッチを設けても良い。この場合、学習アルゴリズム選択
手段１０５は、オペレータが外部切替スイッチ４０１に
より設定したアルゴリズムを選択する。報知手段４０２
は、どのアルゴリズムが学習に用いられているかをオペ
レータに報知する。報知手段としては、ワ−クステ−シ
ョンのディスプレイを用いてオペレータに対して表示し
ても良いし、ＬＥＤ等を用いた専用の表示手段をニュ−
ラルネット学習装置に設置しても良い。また音声により
オペレータに知らせることも考えられる。
を外部スイッチ４０１から操作できる構成としたニュー
ラルネット学習装置の例である。ニュ−ラルネット学習
装置１０１がワ−クステ−ション等で実現されている場
合、アルゴリズム選択メニュー画面の中から目的のアル
ゴリズムをキ−ボ−ドを使って選択し、アルゴリズム選
択手段を切り替える構造とするのが一般的であるが、専
用の学習装置で実現する場合には、専用の外部切替スイ
ッチを設けても良い。この場合、学習アルゴリズム選択
手段１０５は、オペレータが外部切替スイッチ４０１に
より設定したアルゴリズムを選択する。報知手段４０２
は、どのアルゴリズムが学習に用いられているかをオペ
レータに報知する。報知手段としては、ワ−クステ−シ
ョンのディスプレイを用いてオペレータに対して表示し
ても良いし、ＬＥＤ等を用いた専用の表示手段をニュ−
ラルネット学習装置に設置しても良い。また音声により
オペレータに知らせることも考えられる。
【００２２】図５は、学習アルゴリズム選択手段１０５
が教師信号メモリ１０３およびニュ−ラルネット演算手
段１０２の内容を取り込み、これを解析して自動的にア
ルゴリズを選択する実施例の説明図である。今仮に、学
習アルゴリズム群１０４に通常のバックプロパゲ−ショ
ン（ＳＢＰ）と、University of California, Los Ange
lesのTechnical Report、CSD-910068(September 1991)
記載の、教師入力信号に一様乱数を重畳してネットワ−
クに入力するバックプロパゲ−ション（ＤＢＰ）で学習
する手法が備えられているとする。これらのバックプロ
パゲーションＳＢＰ，ＤＢＰには、図６に示すような優
劣関係がある。すなわちネットワ−クが学習する問題が
非線形関数近似の場合、ＳＢＰのほうが良好な汎化能力
（ネットワ−クが真の値に近い値を出力する能力）とな
る。一方、クラスタリング問題の場合、University of
California, Los AngelesのTechnical Report、CSD-910
068(September 1991)のP12に記載されているように、一
般にＤＢＰの方が汎化能力（ノイズの加わった文字等を
正しく認識する能力）が高くなるが、たとえば中間層ニ
ュ−ロン数が十分に備えられていない場合には、逆にＳ
ＢＰの汎化能力が高くなる。従って、ニュ−ラルネット
演算手段１０２の応答性やメモリ容量の問題の関係か
ら、中間層のニュ−ロン数に制約が加わる場合には、学
習アルゴリズムとしてＳＢＰを選択した方が良いことに
なる。このため、この優劣関係を勘案して使用する学習
アルゴリズムを選択する。
が教師信号メモリ１０３およびニュ−ラルネット演算手
段１０２の内容を取り込み、これを解析して自動的にア
ルゴリズを選択する実施例の説明図である。今仮に、学
習アルゴリズム群１０４に通常のバックプロパゲ−ショ
ン（ＳＢＰ）と、University of California, Los Ange
lesのTechnical Report、CSD-910068(September 1991)
記載の、教師入力信号に一様乱数を重畳してネットワ−
クに入力するバックプロパゲ−ション（ＤＢＰ）で学習
する手法が備えられているとする。これらのバックプロ
パゲーションＳＢＰ，ＤＢＰには、図６に示すような優
劣関係がある。すなわちネットワ−クが学習する問題が
非線形関数近似の場合、ＳＢＰのほうが良好な汎化能力
（ネットワ−クが真の値に近い値を出力する能力）とな
る。一方、クラスタリング問題の場合、University of
California, Los AngelesのTechnical Report、CSD-910
068(September 1991)のP12に記載されているように、一
般にＤＢＰの方が汎化能力（ノイズの加わった文字等を
正しく認識する能力）が高くなるが、たとえば中間層ニ
ュ−ロン数が十分に備えられていない場合には、逆にＳ
ＢＰの汎化能力が高くなる。従って、ニュ−ラルネット
演算手段１０２の応答性やメモリ容量の問題の関係か
ら、中間層のニュ−ロン数に制約が加わる場合には、学
習アルゴリズムとしてＳＢＰを選択した方が良いことに
なる。このため、この優劣関係を勘案して使用する学習
アルゴリズムを選択する。
【００２３】優劣関係の例として、図７に、電気学会論
文誌Ｄ,Vol111-D,No.1.P36-P44(Jan.,1991)記載の車番
認識システムにおいて、中間層ニュ−ロン数を変化さ
せ、ＳＢＰ，ＤＢＰで学習したネットワ−クで認識率を
評価した結果を示す。図７で、中間層ニュ−ロン数が６
個以上のときにはＤＢＰの認識率が勝っているが、ニュ
−ロン数が４個のときには逆にＳＢＰの認識率が上回っ
ている。学習アルゴリズム選択手段１０５は図６の優劣
関係をデ−タとして保持し、パス１により教師信号メモ
リ１０３に備えられている教師信号の数やバラツキ具
合、またパス２によりニュ−ラルネット演算手段１０２
の中間層ニュ−ロン数を検出した上で、選択すべきアル
ゴリズムを判定する。判定規準は、図７に例を示したシ
ミュレ−ションの結果から設定すれば良い。選択枝とし
て他の学習アルゴリズムが加わった場合にも、基本的に
は、条件に応じたこれらの優劣をシミュレ−ション等で
明らかにし、同様の考え方で選択規準を設定できる。ま
たこの場合にもニュ−ラルネット学習装置に図４のよう
な報知手段４０２を備えることが可能である。
文誌Ｄ,Vol111-D,No.1.P36-P44(Jan.,1991)記載の車番
認識システムにおいて、中間層ニュ−ロン数を変化さ
せ、ＳＢＰ，ＤＢＰで学習したネットワ−クで認識率を
評価した結果を示す。図７で、中間層ニュ−ロン数が６
個以上のときにはＤＢＰの認識率が勝っているが、ニュ
−ロン数が４個のときには逆にＳＢＰの認識率が上回っ
ている。学習アルゴリズム選択手段１０５は図６の優劣
関係をデ−タとして保持し、パス１により教師信号メモ
リ１０３に備えられている教師信号の数やバラツキ具
合、またパス２によりニュ−ラルネット演算手段１０２
の中間層ニュ−ロン数を検出した上で、選択すべきアル
ゴリズムを判定する。判定規準は、図７に例を示したシ
ミュレ−ションの結果から設定すれば良い。選択枝とし
て他の学習アルゴリズムが加わった場合にも、基本的に
は、条件に応じたこれらの優劣をシミュレ−ション等で
明らかにし、同様の考え方で選択規準を設定できる。ま
たこの場合にもニュ−ラルネット学習装置に図４のよう
な報知手段４０２を備えることが可能である。
【００２４】図８は、学習アルゴリズム群１０４が、ク
ラスタ（カテゴリ）の境界線を各クラスタから均等に隔
たらせるアルゴリズムを備えた例である。実施例ではア
ルゴリズム１として備えた例を示す。入力空間８０１の
ように各クラスタが複数の教師信号で定義されている場
合、クラスタと境界線との距離は、境界線に最も近接す
る信号と境界線との距離で代表できる。また境界線は各
入力に対応したニュ−ラルネット演算手段１０２の出力
から計算できる。検出手段８０２は各クラスタについて
近接した境界との間の距離（ａ，ｂ，ｃ，ｄ，・・・・
・）を計算し、これらをアルゴリズム１に転送する。こ
れを受けてアルゴリズム１は、クラスタ（カテゴリ）の
境界線を各クラスタから均等に隔たらせる。
ラスタ（カテゴリ）の境界線を各クラスタから均等に隔
たらせるアルゴリズムを備えた例である。実施例ではア
ルゴリズム１として備えた例を示す。入力空間８０１の
ように各クラスタが複数の教師信号で定義されている場
合、クラスタと境界線との距離は、境界線に最も近接す
る信号と境界線との距離で代表できる。また境界線は各
入力に対応したニュ−ラルネット演算手段１０２の出力
から計算できる。検出手段８０２は各クラスタについて
近接した境界との間の距離（ａ，ｂ，ｃ，ｄ，・・・・
・）を計算し、これらをアルゴリズム１に転送する。こ
れを受けてアルゴリズム１は、クラスタ（カテゴリ）の
境界線を各クラスタから均等に隔たらせる。
【００２５】図９は、学習アルゴリズム群１０４が、教
師信号メモリ１０３から取り込んだ信号を適当に修正
し、修正後の信号を用いて学習を行うアルゴリズムを備
えた例である。ここで乱数発生手段９０１は、教師信号
のペアが抽出されたタイミングであらかじめ定められた
仕様の乱数を発生する。教師入力信号が複数の要素を備
えたベクトルであるときは、要素の数に対応した数の乱
数が一度に発生される。本実施例では、学習監視手段９
０２が、学習に繰り返し回数を監視する。すなわち教師
信号のペアがニュ−ラルネット演算手段１０２に提示さ
れた回数が格納される。これはたとえば学習監視手段９
０２にカウンタを備えておき、教師信号メモリ１０３か
らペアが抽出される度にこのカウンタをインクリメント
することにより、容易に実現できる（パス１）。デ−タ
処理手段９０３には、教師信号メモリ１０３から抽出さ
れた教師入力（パス２）と、これに対応して乱数発生手
段９０１から出力された乱数の値が入力される（パス
３）。そして学習監視手段９０２の内容をもとに乱数の
値を修正し（パス４）、これを教師入力に加算する。修
正の内容として、乱数発生手段９０１が一定振幅の乱数
を発生させる場合であれば、たとえば次の第１式のよう
に乱数の振幅値を学習回数に比例して一様に減少させ
る。
師信号メモリ１０３から取り込んだ信号を適当に修正
し、修正後の信号を用いて学習を行うアルゴリズムを備
えた例である。ここで乱数発生手段９０１は、教師信号
のペアが抽出されたタイミングであらかじめ定められた
仕様の乱数を発生する。教師入力信号が複数の要素を備
えたベクトルであるときは、要素の数に対応した数の乱
数が一度に発生される。本実施例では、学習監視手段９
０２が、学習に繰り返し回数を監視する。すなわち教師
信号のペアがニュ−ラルネット演算手段１０２に提示さ
れた回数が格納される。これはたとえば学習監視手段９
０２にカウンタを備えておき、教師信号メモリ１０３か
らペアが抽出される度にこのカウンタをインクリメント
することにより、容易に実現できる（パス１）。デ−タ
処理手段９０３には、教師信号メモリ１０３から抽出さ
れた教師入力（パス２）と、これに対応して乱数発生手
段９０１から出力された乱数の値が入力される（パス
３）。そして学習監視手段９０２の内容をもとに乱数の
値を修正し（パス４）、これを教師入力に加算する。修
正の内容として、乱数発生手段９０１が一定振幅の乱数
を発生させる場合であれば、たとえば次の第１式のよう
に乱数の振幅値を学習回数に比例して一様に減少させ
る。
【００２６】
【数１】 Ｒm ＝Ｒ×（１−Ｎt／Ｎtotal） …（１） Ｒm ・・・・・・・ 修正された乱数の値 Ｒ ・・・・・・・・ 乱数発生手段１０３から出力された乱数の
値 Ｎt ・・・・・・・ 現在の学習回数 Ｎtotal ・・・ 学習の打切り回数。
値 Ｎt ・・・・・・・ 現在の学習回数 Ｎtotal ・・・ 学習の打切り回数。
【００２７】また、乱数の振幅を学習回数の２乗に比例
して減少させる場合であれば、次の第２式となる。
して減少させる場合であれば、次の第２式となる。
【００２８】
【数２】 Ｒm ＝Ｒ×［１−（Ｎt／Ｎtotal）・（Ｎt／Ｎtotal）］ …（２）。 教師信号を修正する方法としては、この他に、ゆらぎを
与えて減少させる方法を初め多数考えられる。また学習
監視手段９０２の監視内容としては、ネットワ−クの重
みの更新量や、学習回数に対する重みの増分等を検出し
ても良い。さらに乱数発生手段１０３に学習を監視する
機構を設け、乱数の振幅を直接修正して発生させること
もできる。教師入力信号が複数の要素を備えているとき
は、必要に応じて各要素ごとに異なった内容の修正を行
なってもよい。最終的にニュ−ラルネット演算手段１０
２には、Ｒmを加算された教師入力信号（パス５）と、
教師出力信号（パス６）がペアとして提示され、これに
従って学習が行なわれる。ここで教師信号解析手段９０
４は、教師信号メモリ１０３に蓄えられている信号の数
およびその拡がり具合を検出し（パス７）、この値から
乱数発生手段９０１が発生する乱数の値Ｒを決定する
（パス８）。例えば、クラスタ１とクラスタ２に属する
教師入力信号のうち、入力空間８０１で最も近接する信
号の距離がｒのとき、両クラスタを識別するのに最適な
乱数の振幅値はｒ／２である。そこで教師信号解析手段
９０２は、乱数発生手段９０１が発生する乱数の値を、
Ｒ＝ｒ／２に設定する。第１式，第２式にあるように、
デ−タ処理手段９０３は教師入力信号に対する修正の初
期値をＲ／２から開始することになり、汎化能力の点で
最適化される。
与えて減少させる方法を初め多数考えられる。また学習
監視手段９０２の監視内容としては、ネットワ−クの重
みの更新量や、学習回数に対する重みの増分等を検出し
ても良い。さらに乱数発生手段１０３に学習を監視する
機構を設け、乱数の振幅を直接修正して発生させること
もできる。教師入力信号が複数の要素を備えているとき
は、必要に応じて各要素ごとに異なった内容の修正を行
なってもよい。最終的にニュ−ラルネット演算手段１０
２には、Ｒmを加算された教師入力信号（パス５）と、
教師出力信号（パス６）がペアとして提示され、これに
従って学習が行なわれる。ここで教師信号解析手段９０
４は、教師信号メモリ１０３に蓄えられている信号の数
およびその拡がり具合を検出し（パス７）、この値から
乱数発生手段９０１が発生する乱数の値Ｒを決定する
（パス８）。例えば、クラスタ１とクラスタ２に属する
教師入力信号のうち、入力空間８０１で最も近接する信
号の距離がｒのとき、両クラスタを識別するのに最適な
乱数の振幅値はｒ／２である。そこで教師信号解析手段
９０２は、乱数発生手段９０１が発生する乱数の値を、
Ｒ＝ｒ／２に設定する。第１式，第２式にあるように、
デ−タ処理手段９０３は教師入力信号に対する修正の初
期値をＲ／２から開始することになり、汎化能力の点で
最適化される。
【００２９】
【発明の効果】本発明によれば、複数のニュ−ラルネッ
ト学習アルゴリズムを備え、これらを選択して学習に供
する機能を備えたため、ネットワ−クが実行する演算や
教師信号の特性、ネットワ−ク自身の構成により、最適
な学習アルゴリズムを用いることができる。従ってネッ
トワ−クの汎化能力を常に最大化できる。またクラスタ
の境界と教師入力信号の空間距離を検出する手段を設
け、この値をネットワ−クシナプスの重み更新に反映で
きるようにした。従ってクラスタの境界と特定の教師入
力信号の空間距離が小さくなることを防止でき、クラス
タリングにおける汎化能力を高めることができる。さら
に教師入力信号に乱数を加算してネットワ−クに入力す
る学習アルゴリズムに対して、教師信号の内容を解析
し、乱数振幅の初期値をネットワ−クの汎化能力が最大
になる値に設定する手段と、学習の進行状況を解析し、
振幅値を任意に変更する手段を設けた。これによりクラ
スタリングにおける汎化能力を高めることができる。
ト学習アルゴリズムを備え、これらを選択して学習に供
する機能を備えたため、ネットワ−クが実行する演算や
教師信号の特性、ネットワ−ク自身の構成により、最適
な学習アルゴリズムを用いることができる。従ってネッ
トワ−クの汎化能力を常に最大化できる。またクラスタ
の境界と教師入力信号の空間距離を検出する手段を設
け、この値をネットワ−クシナプスの重み更新に反映で
きるようにした。従ってクラスタの境界と特定の教師入
力信号の空間距離が小さくなることを防止でき、クラス
タリングにおける汎化能力を高めることができる。さら
に教師入力信号に乱数を加算してネットワ−クに入力す
る学習アルゴリズムに対して、教師信号の内容を解析
し、乱数振幅の初期値をネットワ−クの汎化能力が最大
になる値に設定する手段と、学習の進行状況を解析し、
振幅値を任意に変更する手段を設けた。これによりクラ
スタリングにおける汎化能力を高めることができる。
【図１】本発明の一実施例に係るニューラルネット学習
装置の構成図である。
装置の構成図である。
【図２】学習・演算一体化システムの構成図である。
【図３】学習・演算分離システムの構成図である。
【図４】学習アルゴリズム選択手段を外部切替スイッチ
で切り替える構成のニューラルネット学習装置の構成図
である。
で切り替える構成のニューラルネット学習装置の構成図
である。
【図５】学習アルゴリズムを自動選択する構成のニュー
ラルネット学習装置の構成図である。
ラルネット学習装置の構成図である。
【図６】学習方式による汎化能力の優劣関係図である。
【図７】シミュレ−ション結果の一例を示すグラフであ
る。
る。
【図８】学習アルゴリズム群中にクラスタ（カテゴリ）
の境界線を各クラスタから均等に隔たらせるアルゴリズ
ムを備えた例の説明図である。
の境界線を各クラスタから均等に隔たらせるアルゴリズ
ムを備えた例の説明図である。
【図９】本発明の一実施例に係るニューラルネット学習
装置の動作説明図である。
装置の動作説明図である。
１０１…ニュ−ラルネット学習装置、１０２…ニュ−ラ
ルネット演算手段、１０３…教師信号メモリ、１０４…
学習アルゴリズム群、１０５…学習アルゴリズム選択手
段、１０６…教師入力信号、１０７…教師出力信号、１
０８…入力層、１０９…中間層、１１０…出力層、１１
１…シナプス、２０１…計算装置、２０２…対象、２０
３…Ｉ／Ｏ、３０１…装置、４０１…外部スイッチ、４
０２…報知手段、８０１…入力空間、８０２…検出手
段、９０１…乱数発生手段、９０２…学習監視手段、９
０３…デ−タ処理手段、９０４…教師信号解析手段。
ルネット演算手段、１０３…教師信号メモリ、１０４…
学習アルゴリズム群、１０５…学習アルゴリズム選択手
段、１０６…教師入力信号、１０７…教師出力信号、１
０８…入力層、１０９…中間層、１１０…出力層、１１
１…シナプス、２０１…計算装置、２０２…対象、２０
３…Ｉ／Ｏ、３０１…装置、４０１…外部スイッチ、４
０２…報知手段、８０１…入力空間、８０２…検出手
段、９０１…乱数発生手段、９０２…学習監視手段、９
０３…デ−タ処理手段、９０４…教師信号解析手段。
フロントページの続き (56)参考文献 特開 平４−215171（ＪＰ，Ａ) 特開 平３−95666（ＪＰ，Ａ) 特開 平４−51354（ＪＰ，Ａ) 特開 平５−61848（ＪＰ，Ａ) 特開 平４−262453（ＪＰ，Ａ) ＮＥＵＲＯＳＩＭＴＭ／Ｌ−860使用 者の手引き 87ＡＲ−0490−１，日本, 富士通株式会社・発行，1992年 １月31 日，初版，ｐｐ．８−13，19−21，31− 35，45−52，特許庁ＣＳＤＢ文献番号： ＣＳＮＺ199900345001 鹿山・他，「クラスタリング用ニュー ラルネットの学習方式」，情報処理学会 第44回（平成４年前期）全国大会講演論 文集（第２分冊），日本，社団法人情報 処理学会，1992年 ２月24日，第２分 冊，ｐｐ．215−216 (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 1/00 - 7/00 G06G 7/60 ＣＳＤＢ（日本国特許庁) ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (5)
- 【請求項１】 いくつかのニューロンが多層に接続され
た構成を有し、予め教師信号により入力信号と出力信号
の関係を学習アルゴリズムに基づいて学習し、学習結果
を記憶し、入力信号に対して学習結果に基づいた演算を
行い出力するニューラルネット演算手段と、前記学習ア
ルゴリズムを複数種類備えこれらのうちから実際の学習
に用いるアルゴリズムを前記ニューラルネット演算手段
の解決する問題に合わせて選択する学習アルゴリズム選
択手段と、を備えたニューラルネット学習装置であっ
て、 前記学習アルゴリズム選択手段は、前記教師信号および
／または前記ニューラルネット演算手段の構造を解析し
解析結果から選択すべきアルゴリズムを自動決定する手
段を備えることを特徴とするニューラルネット学習装
置。 - 【請求項２】 請求項１において、自動決定する手段
は、教師信号の個数および／またはバラツキ具合を解析
するものであることを特徴とするニューラルネット学習
装置。 - 【請求項３】 請求項１において、自動決定する手段
は、前記ニューラルネット演算手段の中間層に存在して
いるニューロン数を解析するものであることを特徴とす
るニューラルネット学習装置。 - 【請求項４】 請求項１乃至請求項３のいずれかにおい
て、乱数発生機能を有する乱数発生手段と、前記ニュー
ラルネット演算手段の学習の進行状態を監視する学習監
視手段と、この監視結果に従って前記乱数発生手段が発
生した乱数の値を修正し修正された乱数と教師信号とか
ら実際にニューラルネット演算手段に入力する入力信号
を作成するデータ処理手段を備えたことを特徴とするニ
ューラルネット学習装置。 - 【請求項５】 請求項４において、前記データ処理手段
は、前記教師信号の内容および学習の進行状態を解析し
この解析結果から乱数の初期値および修正方法を決定す
る手段を備えることを特徴とするニューラルネット学習
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10677092A JP3303032B2 (ja) | 1992-04-24 | 1992-04-24 | ニューラルネット学習装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10677092A JP3303032B2 (ja) | 1992-04-24 | 1992-04-24 | ニューラルネット学習装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05298277A JPH05298277A (ja) | 1993-11-12 |
| JP3303032B2 true JP3303032B2 (ja) | 2002-07-15 |
Family
ID=14442147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10677092A Expired - Fee Related JP3303032B2 (ja) | 1992-04-24 | 1992-04-24 | ニューラルネット学習装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3303032B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007001024B4 (de) * | 2007-01-02 | 2008-10-02 | Siemens Ag | Verfahren zur rechnergestützten Regelung und/oder Steuerung eines technischen Systems insbesondere einer Gasturbine |
| JP2010176583A (ja) * | 2009-01-30 | 2010-08-12 | Dainippon Printing Co Ltd | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム |
| KR101910576B1 (ko) * | 2011-11-08 | 2018-12-31 | 삼성전자주식회사 | 인공신경망을 이용하여 신속하게 입력 패턴을 분류하는 방법 및 장치 |
| CN105095755A (zh) * | 2015-06-15 | 2015-11-25 | 安一恒通（北京）科技有限公司 | 文件识别方法和装置 |
| JP7498421B2 (ja) * | 2019-05-15 | 2024-06-12 | ブラザー工業株式会社 | 機械学習モデルのトレーニング方法、データ生成装置、および、学習済みの機械学習モデル |
| WO2021130915A1 (ja) * | 2019-12-25 | 2021-07-01 | 日本電気株式会社 | 学習装置、学習方法および学習プログラム |
| JP6774129B1 (ja) * | 2020-02-03 | 2020-10-21 | 望 窪田 | 解析装置、解析方法及び解析プログラム |
| JP2021177266A (ja) * | 2020-04-17 | 2021-11-11 | 株式会社鈴康 | プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法 |
| JP7010541B2 (ja) * | 2020-05-26 | 2022-01-26 | Ｎｅｃプラットフォームズ株式会社 | パターン認識装置、学習方法及び学習プログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0395666A (ja) * | 1989-09-07 | 1991-04-22 | Fujitsu Ltd | パターン学習装置 |
| JP2825939B2 (ja) * | 1990-06-20 | 1998-11-18 | 富士通株式会社 | ニューラルネットワーク学習装置 |
| JP3262340B2 (ja) * | 1990-12-14 | 2002-03-04 | 松下電器産業株式会社 | 情報処理装置 |
| JPH04262453A (ja) * | 1991-02-15 | 1992-09-17 | Hitachi Ltd | ニュ−ロ学習制御方法及び装置 |
| JPH0561848A (ja) * | 1991-09-02 | 1993-03-12 | Hitachi Ltd | 最適アルゴリズムの選定及び実行のための装置及び方法 |
-
1992
- 1992-04-24 JP JP10677092A patent/JP3303032B2/ja not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| ＮＥＵＲＯＳＩＭＴＭ／Ｌ−８６０使用者の手引き ８７ＡＲ−０４９０−１，日本，富士通株式会社・発行，１９９２年 １月３１日，初版，ｐｐ．８−１３，１９−２１，３１−３５，４５−５２，特許庁ＣＳＤＢ文献番号：ＣＳＮＺ１９９９００３４５００１ |
| 鹿山・他，「クラスタリング用ニューラルネットの学習方式」，情報処理学会第４４回（平成４年前期）全国大会講演論文集（第２分冊），日本，社団法人情報処理学会，１９９２年 ２月２４日，第２分冊，ｐｐ．２１５−２１６ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05298277A (ja) | 1993-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| MacKay | A practical Bayesian framework for backpropagation networks | |
| EP0454037B1 (en) | Neural network for processing a plurality of informations and learning method | |
| JP3334807B2 (ja) | ニュ−ラルネットを利用したパタ−ン分類方法および装置 | |
| JP3329806B2 (ja) | ニューラルネット構築装置 | |
| US5606646A (en) | Recurrent neural network-based fuzzy logic system | |
| JP2007505379A (ja) | 人工ニューラルネットワーク | |
| JP3303032B2 (ja) | ニューラルネット学習装置 | |
| EP0384709B1 (en) | Learning Machine | |
| Henseler | Back propagation | |
| JPH0438587A (ja) | 入力領域適応型ニューラルネットワーク文字認識装置 | |
| Porto | Neural-evolutionary systems | |
| JPH05225163A (ja) | ニューラルネットシステムおよびニューラルネットの学習方法 | |
| CN115759226A (zh) | 一种视觉网络模型的训练方法、装置、设备及存储介质 | |
| Pedrycz | Fuzzy control engineering: Reality and challenges | |
| JP2803283B2 (ja) | 予測型心電図波形認識装置 | |
| JPH05101028A (ja) | 複数特徴量の統合判定方法 | |
| JPH0490076A (ja) | 医用画像特徴抽出方法 | |
| Watts et al. | Evolutionary optimisation of evolving connectionist systems | |
| Petridis et al. | Predictive modular fuzzy systems for time-series classification | |
| Partridge et al. | Multiple classifier systems: Software engineered, automatically modular leading to a taxonomic overview | |
| JPH05128285A (ja) | ニユーロプロセツサ | |
| Belanche et al. | Fuzzy heterogeneous neural networks for signal forecasting | |
| Wu et al. | A novel learning algorithm for dynamic fuzzy neural networks | |
| JPH08249303A (ja) | 信号処理装置 | |
| JP3022630B2 (ja) | 入力領域適応型ニューラルネットワーク文字認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080510 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090510 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100510 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110510 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |