JPH0738186B2 - 自己拡張形ニユーラル・ネットワーク - Google Patents

自己拡張形ニユーラル・ネットワーク

Info

Publication number
JPH0738186B2
JPH0738186B2 JP1060329A JP6032989A JPH0738186B2 JP H0738186 B2 JPH0738186 B2 JP H0738186B2 JP 1060329 A JP1060329 A JP 1060329A JP 6032989 A JP6032989 A JP 6032989A JP H0738186 B2 JPH0738186 B2 JP H0738186B2
Authority
JP
Japan
Prior art keywords
learning
self
neural network
layer
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP1060329A
Other languages
English (en)
Other versions
JPH02238560A (ja
Inventor
康司 石塚
文雄 外川
徹 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP1060329A priority Critical patent/JPH0738186B2/ja
Priority to US07/489,508 priority patent/US5033006A/en
Publication of JPH02238560A publication Critical patent/JPH02238560A/ja
Publication of JPH0738186B2 publication Critical patent/JPH0738186B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)
  • Devices For Executing Special Programs (AREA)

Description

【発明の詳細な説明】 ＜産業上の利用分野＞ この発明は、学習結果に基づいて自己拡張することがで
きる自己拡張形ニューラル・ネットワークに関する。
＜従来の技術＞ 従来、誤差逆伝播（バックプロパゲーション）方式によ
って学習する多層パーセプトロン型ニューラル・ネット
ワークがある。この多層パーセプトロン型ニューラル・
ネットワークは、夫々ユニットを有する入力層，中間層
および出力層から成り、各層のユニット間はシナプス結
合によって結合されている。そして、入力層のユニット
に入力データが入力されると、このネートワークの構造
に応じた出力データを出力層の各ユニットから出力する
のである。その際に、上記入力層のユニット数は入力デ
ータの次数によって決まり、出力層のユニット数は識別
したいカテゴリ数によって設定される。しかしながら、
中間層の層数および各中間層に含まれるユニット数は用
途によって異なり、認識精度や処理時間等を考慮して試
行錯誤によって与えている。ところが、中間層数および
各中間層に含まれるユニット数が十分でなければ、上記
バックプロパゲーションによる学習においては望ましい
出力結果（すなわち、カテゴリ識別結果）を得ることが
できない。そのため、中間層の層数および各中間層に含
まれるユニットの数は、予め予想される必要数よりも多
く設定するのが一般的である。
また、自己組織化特徴写像によって学習するコホーネン
型ニューラル・ネットワークがある。このコホーネン型
ニューラル・ネットワークは、入力層と出力層の２層か
ら成り、出力層には同一カテゴリを表す複数の出力ノー
ドが存在する。そして、この一つのカテゴリを表す出力
ノード数によってカテゴリ識別性能が左右される。その
ため、一つのカテゴリを表す出力ノード数は予め予想さ
れる必要数よりも多く設定されるのが一般的である。
ここで、上記ノード（ユニット）は、他のノード（ユニ
ット）からの入力を受ける取入力部と、入力されたデー
タを所定のアルゴリズムによって演算する演算部と、演
算した結果を出力する出力部とから成る。
＜発明が解決しようとする課題＞ 上述のように、学習によってニューラル・ネットワーク
の構造を設定する場合には、多層パーセプトロン型ニュ
ーラル・ネットワークの中間層の層数や中間層のユニッ
ト数、あるいは、コホーネン型ニューラル・ネットワー
クの出力層のノード数はいずれも、予想必要数よりも多
く設定されるのが一般的である。
しかしながら、上記ニューラル・ネットワークのように
層の数や各層に含まれるノード（ユニット）数を多く設
定すると、各ノード（ユニット）間の結合が多くなり、
前のノード（ユニット）からの信号を所定のアルゴリズ
ムによって変換して次のノード（ユニット）に出力する
際の計算量が多くなり、学習動作あるいは識別動作が遅
くなるという問題がある。ところが、層の数や各層に含
まれるユニット数を必要数より少なく設定すると、学習
データに対して十分に学習しない（すなわち、学習が収
束しない）。また、ノード間の重み関数（エネルギー関
数）の局所最適値に陥って学習が収束しない場合が生じ
るという問題もある。
そこで、この発明の目的は、学習時において必要に応じ
てネートワーク構造を自己拡張することによって、中間
層の層数や各層内のノード（ユニット）数を必要最小限
の数に設定して学習時間および識別時間を短縮し、学習
が収束しない場合は収束に向かうようにして学習を効率
良くできる自己拡張形ニューラル・ネットワークを提供
することにある。
＜課題を解決するための手段＞ 上記目的を達成するため、この発明の自己拡張形ニュー
ラル・ネットワークは、神経回路網のニューロンに相当
して、入力されたデータに対して所定の重み係数で荷重
演算を行って演算結果を出力する荷重演算手段を有する
複数のノードを用いて、ネットワークを形成して成るニ
ューラル・ネットワークにおいて、入力ノードに学習デ
ータを入力した際に出力ノードから上記学習データが属
するカテゴリを表す出力データが出力されるように、結
合された両ノード間の上記重み係数であるノード間結合
重みの値を更新する学習時に、上記出力データ値と目標
値との差に基づいて学習が収束しているか否か判定し、
判定結果を表す信号を出力する収束判定部と、上記収束
判定部からの信号を受けて、学習が収束していない場合
には、上記出力データの変化の度合あるいは上記ノード
間結合重みの変化の度合が所定値を越えたか否かに基づ
いて、学習が進行しているか否かを判定し、学習が進行
していないと判定した場合には、ネットワーク構造の拡
張を指示する拡張指示信号を出力する学習進行判定部
と、上記学習進行判定部からの拡張指示信号に従って新
たなノードを設け、この新たに設けられたノードのノー
ド間結合の状態および新たに設けられたノード間結合の
ノード間結合重みの初期値を設定することによってネッ
トワークの構造を自己拡張する自己拡張部を設けて、上
記自己拡張部によってネットワーク構造が自己拡張され
た場合は、自己拡張されたネットワーク構造によって学
習を継続することを特徴としている。
また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、入力層，中
間層および出力層から成る多層ニューラル・ネットワー
クであって、上記自己拡張部がネットワーク構造を自己
拡張する際に、上記新たなノードを上記中間層内に設け
るようになっていることが望ましい。
また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、出力層の複
数のノードが同一のカテゴリを表すニューラル・ネット
ワークであって、上記自己拡張部がネットワーク構造を
自己拡張する際に、上記新たなノードを上記出力層内に
設けるようになっていることが望ましい。
また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、入力層，中
間層および出力層から成る多層ニューラル・ネットワー
クであって、上記自己拡張部がネットワーク構造を自己
拡張する際に、上記新たなノードで新たな中間層を構成
し、この新たな中間層を上記中間層に付加して設けるよ
うになっていることが望ましい。
また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、入力層，中
間層および出力層から成る多層ニューラル・ネットワー
クであって、上記自己拡張部がネットワーク構造を自己
拡張する際に、上記新たなノードで新たな出力層を構成
し、この新たな出力層を上記出力層の上層として設ける
と共に、上記出力層を新たな中間層として上記中間層に
付加して設けるようになっていることが望ましい。
また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、出力層の複
数のノードが同一のカテゴリに割り付けられて教師有り
学習によって学習が行われるニューラル・ネットワーク
であって、上記自己拡張部がネットワーク構造を自己拡
張する際に、上記新たなノードを上記出力層内に設け、
その際に最も誤りの程度の大きな学習データの各要素の
値を、その学習データが属するカテゴリに新たに割り付
けられたノードのノード間結合重みの各要素の初期値と
して設定するようになっていることが望ましい。
＜作用＞ 学習に際して、ニューラル・ネットワークの入力ノード
に学習データが入力されると、各ノードの荷重演算手段
によってこの入力された学習データに対してノード間結
合重みの値を用いて荷重演算が行われて演算結果が出力
される。その際に、収束判定部によって、出力ノードか
らの出力データと目標値との差に基づいて学習が収束し
ていないと判定された場合は、学習進行判定部によっ
て、上記出力データの変化の度合あるいは上記ノード間
結合重みの変化の度合が所定値を越えたか否かに基づい
て学習が進行しているか否かが判定される。その結果、
学習が進行していないと判定された場合は、ネットワー
ク構造の拡張を指示する拡張指示信号が出力される。そ
うすると、自己拡張部によって、上記拡張指示信号に従
って新たなノードが設けられ、この新たに設けられたノ
ードのノード間結合の状態および新たに設けられたノー
ド間結合のノード間結合重みの初期値が設定されてネッ
トワークの構造が自己拡張される。こうして、ネットワ
ーク構造が自己拡張された後は、自己拡張されたネット
ワーク構造によって学習が続行されるのである。したが
って、当初ノード数を予想される数より少なめに設定す
れば、ノード数を必要最小限の数に設定することができ
る。
また、上記自己拡張形ニューラル・ネットワークにおけ
る上記ニューラル・ネットワークは、入力層，中間層お
よび出力層から成る多層ニューラル・ネットワークであ
って、上記自己拡張部がネットワーク構造を自己拡張す
る際に、上記新たなノードが上記中間層内に設けられる
ようになっているので、上記中間層内のノード数を増加
することができる。したがつて、当初上記中間層内のノ
ード数を予想される数より少なめに設定すれば、中間層
内のノード数を必要最小限の数に設定することができ
る。
また、上記自己拡張形ニューラル・ネットワークにおけ
る上記ニューラル・ネットワークは、出力層の複数のノ
ードが同一のカテゴリを表すニューラル・ネットワーク
であって、上記自己拡張部がネットワーク構造を自己拡
張する際に、上記新たなノードを上記出力層内に設ける
ようになっているので、上記出力層内のノード数を増加
することができる。したがって、当初上記出力層内のノ
ード数を予想される数より少なめに設定すれば、出力層
内のノード数を必要最小限の数に設定することができ
る。
また、上記自己拡張形ニューラル・ネットワークにおけ
る上記ニューラル・ネットワークは、入力層，中間層お
よび出力層から成る多層ニューラル・ネットワークであ
って、上記自己拡張部がネットワーク構造を自己拡張す
る際に、上記新たなノードで新たな中間層を構成し、こ
の新たな中間層を上記中間層に付加して設けるようにな
っているので、上記中間層の層数を増加することができ
る。したがって、当初上記中間層を層数を予想される数
より少なめに設定すれば、中間層の層数を必要最小限の
数に設定することができる。
また、上記自己拡張形ニューラル・ネットワークにおけ
る上記ニューラル・ネットワークは、入力層，中間層お
よび出力層から成る多層ニューラル・ネットワークであ
って、上記自己拡張部がネットワーク構造を自己拡張す
る際に、上記新たなノードで新たな出力層を構成し、こ
の新たな出力層を上記出力層の上層として設けると共
に、上記出力層を新たな中間層として上記中間層に付加
して設けるようになっているので、上記中間層の層数を
増加することができる。したがって、当初上記中間層の
層数を予想される数より少なめに設定すれば、中間層の
層数を必要最小限の数に設定することができる。
また、上記自己拡張形ニューラル・ネットワークにおけ
る上記ニューラル・ネットワークは、出力層の複数のノ
ードが同一のカテゴリに割り付けられて教師有り学習に
よって学習が行われるニューラル・ネットワークであっ
て、上記自己拡張部がネットワーク構造を自己拡張する
際に、上記新たなノードを上記出力層内に設け、その際
に最も誤りの程度の大きな学習データの各要素の値を、
その学習データが属するカテゴリに新たに割り付けられ
たノードのノード間結合重みの各要素の初期値として設
定するようになっているので、上記出力層内に新たなノ
ードを設けることができると共に、最も誤りの程度の大
きな学習データに対して正しいカテゴリ識別結果が得ら
れるように、上記出力層内に新たに設けられたノードの
ノード間結合重みの初期値が設定される。
＜実施例＞ 以下、この発明を図示の実施例により詳細に説明する。
第１図はこの発明の自己拡張ニューラル・ネットワーク
のブロック図である。このブロック図における入力部1,
演算部２および出力部３は、バックプロパケーションに
よって学習する多層パーセプトロン型ニューラル・ネッ
トワークの場合には次のように考えればよい。すなわ
ち、入力部１は入力層におけるノードの入力部であり、
演算部２は入力層のノードから中間層の最上層のノード
までの演算部を一まとめにして表現したものであり、出
力部３は出力層における出力部である。
第１図において、学習時に際して学習サンプルのデータ
が入力部１に入力されて演算部２に送られる。そうする
と、演算部２は、学習制御部５の制御に従ってノード間
結合重み格納部４に格納されている各ノード間のノード
間結合重みの値を読み出し、上記学習データに対して各
ノード間結合重みの値を用いて荷重演算を行って演算結
果を出力値として算出し、算出された出力値を出力部３
に送出する。そして、出力部３は入力された出力値から
成る出力データを外部に出力する。
上記出力部３からの出力データが収束判定部６に入力さ
れる。そうすると、収束判定部６に入力された出力デー
タに基づいて、学習が収束したか否かを判定する。そし
て、その判定結果を学習制御部５および学習進行判定部
８に出力する。学習制御部５は収束判定部６からの判定
結果に基づいて、学習が収束していない場合には演算部
２に対してノード間結合重みの値を更新する指示信号を
出力する。そうすると、演算部２は所定のアルゴリズム
に従って新たなノード間結合重みの値を算出して、ノー
ド間結合重み格納部４の内容を更新する。一方、学習が
収束した場合には演算部２に対してノード間結合重みの
値を更新する指示信号を出力せず、学習を終了するので
ある。第１図において省略しているが、教師有り学習の
場合には収束判定部６に教師データが入力され、収束判
定部６は出力部３からの出力データと上記教師データと
に基づいて学習の収束を判定するのである。
上述のような学習過程において、学習進行判定部８は、
出力部３からの出力データ，収束判定部６からの判定結
果およびノード間結合重み格納部４からのノード間結合
重みの値を取り込んで、学習が進行しているか否かを判
定し、学習が進行しない場合にはニューラル・ネットワ
ークの構造を自己拡張する指示信号を自己拡張部７に出
力する。そうすると、後に詳述するように自己拡張部７
は予め決められた規則に従ってニューラル・ネットワー
クの構造を拡張（所定の層内におけるノード数の増加お
よび中間層の層数の増加等）すると共に、増設したノー
ドに対応するノード間結合重みの値の初期値を設定す
る。そして、学習制御部５および演算部２に対して自己
拡張したことを知らせる信号を出力し、新しく設定した
ノード間結合重みの初期値をノード間結合重み格納部４
に出力する。
そうすると、ノード間結合重み格納部４は新しく設定さ
れたノード間結合重みの初期値を格納する。そして、次
の学習データが入力された場合には、演算部２は学習制
御部５の制御に従ってノード間結合重み格納部４に格納
された新しいノード間結合重みの値をも用いて、自己拡
張部７からの信号に基づいて新設ノードあるいは新設層
にまで演算範囲を広げて出力値の算出等を実行するので
ある。上記学習進行判定部８および自己拡張部７がこの
発明に係る主要部分である。
その際に、第１図においては省略しているが、教師有り
学習の場合には学習進行判定部８に教師データが入力さ
れ、学習進行判定部８は収束判定部６からの判定結果，
出力部３からの出力値，ノード間結合重み格納部４から
のノード間結合重みの値および上記教師データとに基づ
いて学習の収束を判定するのである。
上記学習進行判定部８によって学習の進行の滞りを判定
する際には、以下に例示するような条件例を満たす場合
に学習の進行が滞っていると判定するのである。
条件例１ ｔ回学習時におけるノード間結合重みの値と（ｔ−ｎ）
回学習時におけるノード間結合重みの値との変化量の絶
対値の総和の値が閾値未満である。
条件例２ ｔ回学習時におけるノード間結合重みの値と（ｔ−ｎ）
回学習時におけるノード間結合重みの値との変化量の二
条和の値が閾値未満である。
条件例３ ｔ回学習時におけるノード間結合重みの値と（ｔ−ｎ）
回学習時におけるノード間結合重みの値との変化量と、
ｔ回学習時におけるノード間結合重みの値との比の二乗
和の値が閾値未満である。
条件例４ ｔ回学習時における出力値と（ｔ−ｎ）回学習時におけ
る出力値との変化量と、ｔ回学習時における出力値との
比の二乗和の値が閾値未満である。
条件例５ ｔ回学習時における出力値と（ｔ−ｎ）回学習時におけ
る出力値との変化量の二乗和の値が閾値未満である。
条件例６ 教師有り学習において、出力値と教師データの値との差
の二乗和の値が閾値以上である。
条件例７ ｔ回学習時における出力値と、ｔ回学習時における出力
値と（ｔ−ｎ）回学習時における出力値との変化量との
和の値が閾値未満である。
条件例８ 規定回数ｎ回学習を行ったとき、総ての学習サンプルに
対して正しい出力結果が得られない。
条件例９ 学習を行う条件にあてはまる学習サンプルの数が閾値未
満である。
条件例10 教師有り学習において、出力値と教師データの値との差
の変化量が閾値以上である。
上記学習の進行の滞りを検出する際の条件例は、単独で
用いても幾つか組み合わせて用いてもよい。
上記自己拡張形ニューラル・ネットワークは、学習時に
おいて目的とする出力値が得られず、かつ、学習の進行
が極端に滞っている状態になれば、自己拡張を行う。第
２図は自己拡張動作のフローチャートである。
ステップS1で、所定の学習アルゴリズムによって学習が
実行される。
ステップS2で、出力部３からの出力値（教師有り学習の
場合には、上記出力値と教師データ）に基づいて、学習
が収束に向かっているか否かが判別される。その結果収
束していれば自己拡張動作を含むニューラル・ネットワ
ークの学習を終了する。また、そうでなければステップ
S3に進む。
ステップS3で、学習が進行しているか否かが判別され
る。その結果進行していればステップS1に戻って学習が
続行され、そうでなければステップS4に進む。
ステップS4で、ニューラル・ネットワークの構造が自己
拡張された後、ステップS1に戻って学習が続行される。
次に、上記学習進行判定部８による学習進行の判定結果
とそれに基づくニューラル・ネットワークの自己拡張例
の一例について、具体的に説明する。自己拡張には大き
く分けて中間層のノード数増加，出力層のノード数増加
および中間層の層数増加がある。
（Ａ） 中間層のノード数増加 多層パーセプトロン型ニューラル・ネットワークのよう
な中間層を有するニューラル・ネットワークの学習時に
おいて、学習の進行が滞っている状態になった場合には
中間層のノード数を増加して学習を続行する。この場
合、中間層をもつニューラル・ネットワークであれば、
どのようなネットワーク構造あるいは学習アルゴリズム
であっても構わない。また、ノードを増加させる際のノ
ード間の結合状態やノード数は、必要に応じて任意設定
できる。通常は、同一層における他のノードのノード間
結合状態と同じノード間結合状態によって結合し、その
際のノード間結合重みの初期値は０に近い乱数を与え
る。
自己拡張例（Ａ）−１ 第３図はバックプロパゲーションによって学習を行う全
結合３層パーセプトロン型ニューラル・ネットワークの
概略図である。入力層のノードには学習データを入力す
る一方、出力ノードのノードには教師データを入力し、
その際の出力データが教師データと同じになるように学
習が実行される。
いま、総ての学習データに対して、（ｔ−ｎ）回目の学
習における中間層のｉ番目のノードと出力層のｊ番目の
ノードとの間の結合重みの値Wij（ｔ−ｎ）と、ｔ回目
の学習における中間層のｉ番目のノードと出力層のｊ番
目のノードとの間に結合重みの値Wij（ｔ）との変化量
の二乗和△Ｗ が、閾値Ａ未満になり、かつ、出力層のｊ番目のノード
からの出力値Oj（ｔ）とこのｊ番目のノードに入力され
る教師データの信号値Tiとの差の二乗和Ｅ が、閾値Ｂ以上の場合（すなわち、上記条件例２と条件
例６を満たす場合）に、次のようにネットワークを自己
拡張する。すなわち、自己拡張部７は中間層に含まれる
ノードの数をｍ％（任意に定めることができ、例えば少
数点以下は切り上げる）増加する。その際に、増加した
ノードは下側の層（この場合は入力層）の全ノードおよ
び上側の層（この場合は出力層）の全ノードと結合す
る。また、その際のノード間結合重みの初期値としては
０に近い乱数が与えられる。
自己拡張例（Ａ）−２ 上記バックプロパゲーションによって学習を行う全結合
３層パーセプトロン型ニューラル・ネットワークにおい
て、総ての学習データに対して、（ｔ−ｎ）回目の学習
における出力層のｊ番目のノードの出力値Oj（ｔ−ｎ）
とｔ回目の学習における出力層のｊ番目のノードの出力
値Oj（ｔ）との変化量と、ｔ回目の学習における出力層
のｊ番目のノードの出力値Oj（ｔ）との比の二乗和Ｈ。
が、閾値Ｃ未満になり、かつ、出力層のｊ番目のノード
からの出力値Oj（ｔ）とこのｊ番目のノードに入力され
る教師データの信号値Tiとの差の二乗和Ｅ が、閾値Ｂ以上の場合（すなわち、上記条件例４と条件
例６を満たす場合）に、次のようにネットワークを自己
拡張する。すなわち、自己拡張部７は中間層に含まれる
ノードの数をｎ個（ネットワーク構造によって所定値を
定める）増加する。その際に、増加したノードは下側の
層（この場合は入力層）の全ノードおよび上側の層（こ
の場合は出力層）の全ノードと結合する。また、その際
のノード間結合重みの初期値としては、ノード数を増加
する前の中間層におけるノード間結合重みの値の最大値
より小さい乱数が与えられる。
自己拡張例（Ａ）−３ 第４図はバックプロパゲーションによって学習を行う部
分結合３層パーセプトロン型ニューラル・ネットワーク
の概略図である。このニューラル・ネットワークは、入
力層の全ノードと中間層の全ノードが結合されることで
はなく、入力層に含まれる全ノードを幾つかのブロック
に分けると同時に、出力値に含まれる全ノードをも同じ
数のブロックに分ける。そして、入力層の任意のブロッ
ク内の各ノードは中間層の任意のブロック内の全ノード
と結合する。その際に、複数のブロックにまたがって結
合してもよい。ここで、上記ブロックのことを窓と呼
ぶ。学習の際には、入力層のノードには学習データを入
力する一方、出力ノードのノードには教師データを入力
し、その際の出力データが教師データと同じになるよう
に学習が実行される。
いま、総ての学習データに対して、（ｔ−ｎ）回目の学
習における出力層のｊ番目のノードの出力値Oj（ｔ−
ｎ）とｔ回目の学習における出力層のｊ番目のノードの
出力値Oj（ｔ）との変化量の値の二乗和△Ｏ が、閾値Ｃ未満になり、かつ、出力層のｊ番目のノード
からな出力値Oj（ｔ）とこのｊ番目のノードに入力され
る教師データの信号値Tiとの差の二乗和Ｅ が、閾値Ｂ以上の場合（すなわち、上記条件例５と条件
例６を満たす場合）に、次のようにネットワークを自己
拡張する。すなわち、自己拡張部７は中間層の各窓に含
まれるノードの数を夫々ｍ個（ネットワーク構造によっ
て所定値を定める）増加する。その際に、増加したノー
ドのノード間結合の状態はその中間層の窓に含まれるm0
個の他のノードと同じノード間結合の状態とする。ま
た、増加されたノードのノード間結合重みの初期値は次
のように与える。
いま、増加されたノードは、窓２の中間層におけるｎ番
目のノード（以下、ノードｎと表し、他のノードも同様
に表す）であるとする。そうすると、中間層の増加ノー
ドｎと出力層のノードｊとのノード間結合重みの値Wnj
として、窓２内の中間層の各非増加ノードと出力層のノ
ードｋとのノード間結合重みの値Wijの平均値 を与える。
一方、中間層の増加ノードｎと入力層のノードｋとのノ
ード間結合重みの値Wknとして、窓２内の中間層の各非
増加ノードと入力層のノードｋとのノード間結合重みの
値Wkiの平均値 を与えるのである。
（Ｂ） 出力層のノード数増加 コホーネン型ニューラル・ネットワークのように、出力
層の複数のノードが同一のカテゴリを表しているニュー
ラル・ネットワークの学習時において、学習の進行が滞
っている状態になった場合には出力層のノード数を増加
して学習を続行する。この場合、上述のような構造のニ
ューラル・ネットワークであれば、どのような学習アル
ゴリズムであっても構わない。また、ノードを増加させ
る際のノード間結合状態やノード数は、必要に応じて任
意に設定できる。
自己拡張例（Ｂ）−１ 第５図は自己組織化特徴写像によって学習を行うコホー
ネン型ニューラル・ネットワークの概略図である。入力
層の各ノードに学習データが入力されると出力層の各ノ
ードから出力値が出力される。その際に、最大値を出力
しているノードを中心とした所定領域に在るノードに対
応するノード間結合重みの値を大きくし、上記所定領域
付近が上記学習データが属するカテゴリを表すように学
習が実行される いま、規定回数ｎ回の学習が終了しても学習が終了しな
い（すなわち、総ての学習サンプルに対して正しくカテ
ゴリ分割が行われない：上記条件例８を満たす）場合
に、次のようにネットワークを自己拡張する。すなわ
ち、自己拡張部７は出力層のノードをｍ個新たに設け
る。その際に、この新設されたノードは入力層のノード
に全結合する。また、その際のノード間結合重みの初期
値としては０に近い乱数が与えられる。ここで、上記新
設ノード数ｍは、ニューラル・ネットワークの構造およ
びニューラル・ネットワークの規模によって予め設定し
ておく。
自己拡張例（Ｂ）−２ 第６図は学習ベクトル量子化２（LVQ2）によって学習を
行うコホーネン型ニューラル・ネットワークの概略図で
ある。入力層の各ノードに学習データが入力されると出
力層の各ノードから出力値が出力される。その際に、学
習データが属するカテゴリに割り付けられた出力層のノ
ードが最大値を出力するように学習が実行される いま、規定回数ｎ回の学習が終了しても学習が終了しな
い（すなわち、総ての学習データに対して学習データが
属するカテゴリに割り付けられた出力層のノードが最大
出力値を出力しない、換言すれば、正しい出力結果が得
られない：上記条件例８を満たす）場合に、次のように
ネットワークを自己拡張する。すなわち、自己拡張部７
は、総ての学習データに対して正しく識別されるカテゴ
リを除く全カテゴリに割り付けられる出力層のノード数
を、夫々のカテゴリにおいてｍ個新設する。そして、出
力層に新設されたノードは入力層のノードに全結合す
る。ここで、上記新設ノード数ｍは、ニューラル・ネッ
トワークの構造およびニューラル・ネットワークの規模
によって予め設定しておく。
また、その際のノード間結合重みの初期値は次のように
して与える。上述のように出力層にノードを新設した
後、入力層のノードにある学習データを入力する。そし
て、入力された学習データが属するカテゴリｉに割り付
けられた出力層のノードからの最大出力値Riと、他のカ
テゴリに割り付けられた出力層のノードからの最大出力
値Fj（ここで、Fjを出力するノードが割り付けられてい
るカテゴリをｊとする）との比Ｈ Ｈ＝Fj/Ri を算出する。このようにして、同一カテゴリに含まれる
総べての学習データに対してＨを算出して値の大きい順
に並べる。そして、まず最大のＨの値H1（＝Fj1/Ri1:j1
はH1が得られたときのｊの値、i1はH1が得られたときの
ｉの値である）が得らる学習データ（すなわち、最も誤
りの程度の大きな学習データ）のベクトル要素の値を、
その学習データが属するカテゴリi1に新たに割り付けら
れたノードのノード間結合重みのベクトル要素の初期値
とする。次に、２番目に大きなＨの値H2（＝Fj2/Ri2）
が得られる学習データのベクトル要素の値を、カテゴリ
i2に新たに割り付けられたノードのノード間結合重みの
ベクトル要素の初期値とする。以下、同様にして各新設
ノードのノード間結合重みの初期値が与えられる。
こうすることによって、上記誤りの程度の大きな学習デ
ータに対して正しい出力結果を得るように、新設ノード
のノード間結合重みの初期値を設定することができるの
である。
（Ｃ） 中間層の層数増加 上述のバックプロパゲーションによって学習を行う多層
パーセプトロン型ニューラル・ネットワークに代表され
るフィードフォワード型のニューラル・ネットワークの
学習において、学習の進行が滞っている状態になった場
合には中間層の層数を増加して学習を続行する。その際
に、中間層の層数を増加する方法として次の２つの方法
がある。
（ａ）出力層の上に新たな出力層を設け、旧出力層を中
間層の最上層とする。
（ｂ）入力層と出力層との間の任意の位置に新たな中間
層を設ける。その際に、新たな中間層を設ける位置およ
びこの新たな中間層のノード数は用途に応じて最適に設
定する。
自己拡張例（Ｃ）−１ 第７図はバックプロパゲーションによって学習を行う多
層パーセプトロン型ニューラル・ネットワークの概略図
である。学習時において、上記学習の進行の滞りを検出
するための条件例のいずれかが満たされて、学習の進行
が滞っていると判定された場合に、次のようにネットワ
ークを自己拡張する。すなわち、自己拡張部７は出力層
LOの上部に新たな出力層LEを設ける。新出力層LEのノー
ド数は新中間層LOと同じにし、新出力層LEと新中間層LO
との間の新ノード間結合の結合状態は全結合とする。ま
た、上記新ノード間結合におけるノード間結合重みの初
期値は０に近い乱数を与える。
その際に、新出力層LEと新中間層LOとの間の新ノード間
結合の状態および新ノード間結合重みの初期値は、必要
に応じて最適に設定できる。また、新中間層LOに含まれ
るノードのノード数を上述（Ａ）のように変更可能にで
きる。
自己拡張例（Ｃ）−２ 第８図はバックプロパゲーションによって学習を行う多
層パーセプトロン型ニューラル・ネットワークの概略図
である。学習時において、上述（Ａ）のようにして中間
層L1のノード数を規定回数ｎ回増加したにも拘わらず、
上記学習の進行の滞りを検出するための条件例のいずれ
かが満たされて学習の進行が滞っていると判定された場
合に、次のようにネットワークを自己拡張する。すなわ
ち、自己拡張部７は出力層LOと中間層L1との間に新たな
中間層LNを設ける。新中間層LNのノード数は中間層L1と
同じにし、新中間層LNと出力層LOとの間の新ノード間結
合の状態、および、新中間層LNと中間層L1との間の新ノ
ード間結合の状態は全結合とする。その際に、出力層LO
と中間層L1との間の旧ノード間結合は切らずに接続した
まましておく。そして、上記新中間層LNと中間層L1との
間の新ノード間結合重みの初期値は、出力層LOと中間層
L1との間の旧ノード間結合重みの値に０に近い乱数を加
算した値を与える。また、新中間層LNと出力層LOとの間
の新ノード間結合重みの初期値は０に近い乱数を与え
る。
その際に、新中間層LNと中間層L1との間の新ノード間結
合の状態と新ノード間結合重みの初期値、および、新中
間層LNと出力層LOとの間の新ノード間結合の状態と新ノ
ード間結合重みの初期値は、必要に応じて最適に設定で
きる。
上述のように、この発明の自己拡張ニューラル・ネット
ワークは、学習時に際して、学習進行判定部８によって
学習の進行が滞っていると判定された場合には、自己拡
張部７によって、中間層のノード数，出力層のノード
数，中間層の層数の増加し、あるいは、出力層の上層に
新たな出力層を設けるようにしたので、当初中間層のノ
ード数や出力層のノード数あるいは中間層の層数を必要
予想数より少なめに設定しておけば、中間層の層数や各
層内のノード数を必要最小限の数に設定することがで
き、学習時や識別時における計算量を少なくして、学習
時間および識別時間を短縮することができる。また、学
習が収束しない場合には強制的に学習が収束に向かうよ
うにして、学習の効率を良くすることができる。
この発明におけるニューラル・ネットワーク形状，学習
アルゴリズム，ノード間結合状態およびノード間結合重
みの初期値の与え方等の内容、および、それらの組み合
わせは、上記実施例に限定されるものではない。したが
って、上記実施例における自己拡張例（Ａ）−１または
自己拡張例（Ａ）−２と、自己拡張例（Ｃ）−１または
自己拡張例（Ｃ）−２とを組み合わせても何等差し支え
ない。
この発明において、学習の進行の滞りを判定するための
条件例は上記実施例に限定されるものではない。また、
上述の条件例の中から使用するニューラル・ネットワー
クの形状等によって最適な条件例を幾つか組み合わせて
もよい。
＜発明の効果＞ 以上より明らかなように、この発明の自己拡張形ニュー
ラル・ネットワークは、収束判定部が学習は収束してい
ないと判定し、学習進行判定部が学習は進行していない
と判定してネットワーク構造の拡張を指示する拡張指示
信号を出力すると、この拡張指示信号に従って、自己拡
張部は新たなノードを設け、この新たな設けられたノー
ドのノード間結合の状態および新たに設けられたノード
間結合のノード間結合重みの初期値を設定することによ
ってネットワーク構造を自己拡張し、更に学習を継続す
るようにしたので、当初のノード数を予想される数より
少なく設定すれば、学習によってノード数を必要最小限
の数に設定することができる。
したがって、この発明の自己拡張ニューラル・ネットワ
ークは、学習時や識別時における計算量を少なくでき、
学習時間および識別時間を短縮することができる。さら
に、学習が進行しないようになった場合に強制的に学習
が収束に向かうようにでき、効率よく学習を実行するこ
とができる。
また、この発明の自己拡張形ニューラル・ネットワーク
におけるニューラル・ネットワークは、中間層を有する
多層ニューラル・ネットワークであって、上記自己拡張
部がネットワーク構造を自己拡張する際に、上記新たな
ノードを上記中間層内に設けるようにしたものである。
したがって、当初上記中間層内のノード数を予想される
数より少なめに設定すれば、中間層内のノード数を必要
最小限の数に設定することができ、学習時間および識別
時間を短縮することができる。さらに、学習が進行しな
い場合に強制的に学習が収束に向かうようにでき、効率
よく学習を実行することができる。
また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、出力層の複
数のノードが同一のカテゴリを表すニューラル・ネット
ワークであって、上記自己拡張部がネットワーク構造を
自己拡張する際に、上記新たなノードを上記出力層内に
設けるようにしたものである。したがって、当初上記出
力層内のノード数を予想される数より少なめに設定すれ
ば、出力層内のノード数を必要最小限の数に設定するこ
とができ、学習時間および識別時間を短縮することがで
きる。さらに、学習が進行しない場合に強制的に学習が
収束に向かうようにでき、効率よく学習を実行すること
ができる。
また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、中間層を有
する多層ニューラル・ネットワークであって、上記自己
拡張部がネットワーク構造を自己拡張する際に、上記新
たなノードで新たな中間層を構成し、この新たな中間層
を上記中間層に付加して設けるようにしたものである。
したがって、当初上記中間層の層数を予想される数より
少なめに設定すれば、中間層の層数を必要最小限の数に
設定することができ、学習時間および識別時間を短縮す
ることができる。されに、学習が進行しない場合に強制
的に学習が収束に向かうようにでき、効率よく学習を実
行することができる。
また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、入力層，中
間層および出力層から成る多層ニューラル・ネットワー
クであって、上記自己拡張部がネットワーク構造を自己
拡張する際に、上記新たなノードで新たな出力層を構成
し、この新たな出力層を上記出力層の上層として設ける
と共に、上記出力層を新たな中間層として上記中間層に
付加して設けるようにしたものである。したがって、当
初上記中間層の層数を予想される数より少なめに設定す
れば、中間層の層数を必要最小限の数に設定することが
でき、学習時間および識別時間を短縮することができ
る。さらに、学習が進行しない場合に強制的に学習が収
束に向かうようにでき、効率よく学習を実行することが
できる。
また、この発明の自己拡張形ニューラル・ネットワーク
における上記ニューラル・ネットワークは、出力層の複
数のノードが同一のカテゴリに割り付けられて教師有り
学習によって学習が行われるニューラル・ネットワーク
であって、上記自己拡張部がネットワーク構造を自己拡
張する際に、上記新たなノードを上記出力層内に設け、
その際に最も誤りの程度の大きな学習データの各要素の
値を、その学習データが属するカテゴリに新たに割り付
けられたノードのノード間結合重みの各要素の初期値と
して設定するようにしたものである。したがって、当初
上記出力層内のノード数を予想される数より少なめに設
定すれば、出力層内のノード数を必要最小限の数に設定
することができると共に、最も誤りの程度の大きな学習
データに対して正しいカテゴリ識別結果が得られるよう
に、上記出力層内に新たに設けられたノードのノード間
結合重みの初期値が設定され、学習時間および識別時間
を短縮することができる。さらに、学習が進行しない場
合に強制的に学習が収束に向かうようにでき、効率よく
学習を実行することができる。
【図面の簡単な説明】
第１図はこの発明の自己拡張形ニューラル・ネットワー
クの一実施例におけるブロック図、第２図は自己拡張動
作のフローチャート、第３図は全結合３層パーセプトロ
ン型ニューラル・ネットワークの概略図、第４図は部分
結合３層パーセプトロン型ニューラル・ネットワークの
概略図、第５図は自己組織化特徴写像によって学習する
コホーネン型ニューラル・ネットワークの概略図、第６
図はLVQ2によって学習するコホーネン型ニューラル・ネ
ットワークの概略図、第７図は新たに出力層を設けた場
合の多層パーセプトラン型ニューラル・ネットワークの
概略図、第８図は新たに中間層を設けた場合の多層パー
セプトロン型ニューラル・ネットワークの概略図であ
る。 １……入力部、２……演算部、３……出力部、 ４……ノード間結合重み格納部、 ５……学習制御部、６……収束判定部、 ７……自己拡張部、８……学習進行判定部。

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】神経回路網のニューロンに相当して、入力
    されたデータに対して所定の重み係数で荷重演算を行っ
    て演算結果を出力する荷重演算手段を有する複数のノー
    ドを用いて、ネットワークを形成して成るニューラル・
    ネットワークにおいて、 入力ノードに学習データを入力した際に出力ノードから
    上記学習データが属するカテゴリを表す出力データが出
    力されるように、結合された両ノード間の上記重み係数
    であるノード間結合重みの値を更新する学習時に、上記
    出力データ値と目標値との差に基づいて学習が収束して
    いるか否か判定し、判定結果を表す信号を出力する収束
    判定部と、 上記収束判定部からの信号を受けて、学習が収束してい
    ない場合には、上記出力データの変化の度合あるいは上
    記ノード間結合重みの変化の度合が所定値を越えたか否
    かに基づいて、学習が進行しているか否かを判定し、学
    習が進行していないと判定した場合には、ネットワーク
    構造の拡張を指示する拡張指示信号を出力する学習進行
    判定部と、 上記学習進行判定部からの拡張指示信号に従って新たな
    ノードを設け、この新たに設けられたノードのノード間
    結合の状態および新たに設けられたノード間結合のノー
    ド間結合重みの初期値を設定することによってネットワ
    ークの構造を自己拡張する自己拡張部を設けて、 上記自己拡張部によってネットワーク構造が自己拡張さ
    れた場合は、自己拡張されたネットワーク構造によって
    学習を継続することを特徴とする自己拡張形ニューラル
    ・ネットワーク。
  2. 【請求項２】上記ニューラル・ネットワークは、入力
    層，中間層および出力層から成る多層ニューラル・ネッ
    トワークであって、上記自己拡張部がネットワーク構造
    を自己拡張する際に、上記新たなノードを上記中間層内
    に設けることを特徴とする請求項１に記載の自己拡張形
    ニューラル・ネットワーク。
  3. 【請求項３】上記ニューラル・ネットワークは、出力層
    の複数のノードが同一のカテゴリを表すニューラル・ネ
    ットワークであって、上記自己拡張部がネットワーク構
    造を自己拡張する際に、上記新たなノードを上記出力層
    内に設けることを特徴とする請求項１に記載の自己拡張
    形ニューラル・ネットワーク。
  4. 【請求項４】上記ニューラル・ネットワークは、入力
    層，中間層および出力層から成る多層ニューラル・ネッ
    トワークであって、上記自己拡張部がネットワーク構造
    を自己拡張する際に、上記新たなノードで新たな中間層
    を構成し、この新たな中間層を上記中間層に付加して設
    けることを特徴とする請求項１または請求項２に記載の
    自己拡張形ニューラル・ネットワーク。
  5. 【請求項５】上記ニューラル・ネットワークは、入力
    層，中間層および出力層から成る多層ニューラル・ネッ
    トワークであって、上記自己拡張部がネットワーク構造
    を自己拡張する際に、上記新たなノードで新たな出力層
    を構成し、この新たな出力層を上記出力層の上層として
    設けると共に、上記出力層を新たな中間層として上記中
    間層に付加して設けることを特徴とする請求項1,請求項
    ２または請求項４に記載の自己拡張形ニューラル・ネッ
    トワーク。
  6. 【請求項６】上記ニューラル・ネットワークは、出力層
    の複数のノードが同一のカテゴリに割り付けられて教師
    有り学習によって学習が行われるニューラル・ネットワ
    ークであって、上記自己拡張部がネットワーク構造を自
    己拡張する際に、上記新たなノードを上記出力層内に設
    け、その際に最も誤りの程度の大きな学習データの各要
    素の値を、その学習データが属するカテゴリに新たに割
    り付けられたノードのノード間結合重みの各要素の初期
    値として設定することを特徴とする請求項１またほ請求
    項３に記載の自己拡張形ニューラル・ネットワーク。
JP1060329A 1989-03-13 1989-03-13 自己拡張形ニユーラル・ネットワーク Expired - Lifetime JPH0738186B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP1060329A JPH0738186B2 (ja) 1989-03-13 1989-03-13 自己拡張形ニユーラル・ネットワーク
US07/489,508 US5033006A (en) 1989-03-13 1990-03-07 Self-extending neural-network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1060329A JPH0738186B2 (ja) 1989-03-13 1989-03-13 自己拡張形ニユーラル・ネットワーク

Publications (2)

Publication Number Publication Date
JPH02238560A JPH02238560A (ja) 1990-09-20
JPH0738186B2 true JPH0738186B2 (ja) 1995-04-26

Family

ID=13139023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1060329A Expired - Lifetime JPH0738186B2 (ja) 1989-03-13 1989-03-13 自己拡張形ニユーラル・ネットワーク

Country Status (2)

Country Link
US (1) US5033006A (ja)
JP (1) JPH0738186B2 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5195169A (en) * 1989-03-03 1993-03-16 Sharp Kabushiki Kaisha Control device for controlling learning of a neural network
JP2533942B2 (ja) * 1989-03-13 1996-09-11 株式会社日立製作所 知識抽出方法およびプロセス運転支援システム
DE68927675T2 (de) * 1989-08-23 1997-07-10 Philips Electronics Nv Verfahren zur Richtigstellung von Netzwerkwichtungsfaktoren in einer mehrschichtigen Perceptronvorrichtung und eine solche Vorrichtung mit Mitteln zur Ausführung dieses Verfahrens
JPH03167655A (ja) * 1989-11-28 1991-07-19 Toshiba Corp ニューラルネットワーク
GB8929146D0 (en) * 1989-12-22 1990-02-28 British Telecomm Neural networks
JPH03288258A (ja) * 1990-04-04 1991-12-18 Takayama:Kk データ処理装置の学習方法
DE69120854T2 (de) * 1990-04-24 1996-11-21 Yozan Inc Lernverfahren fÜr Datenverarbeitungssystem
US5265224A (en) * 1990-05-16 1993-11-23 Matsushita Electric Industrial Co., Ltd. Recognition unit and recognizing and judging apparatus employing same
DE69130656T2 (de) 1990-06-14 1999-06-17 Canon Kk Neuronale Netzwerke
JP2763182B2 (ja) * 1990-06-28 1998-06-11 株式会社東芝 ニューラル・ネットワークの学習方法
KR930009065B1 (ko) * 1990-08-18 1993-09-22 정호선 다층신경회로망 및 그 회로설계방법
US5181171A (en) * 1990-09-20 1993-01-19 Atlantic Richfield Company Adaptive network for automated first break picking of seismic refraction events and method of operating the same
US5308915A (en) * 1990-10-19 1994-05-03 Yamaha Corporation Electronic musical instrument utilizing neural net
JP3329806B2 (ja) * 1990-11-09 2002-09-30 株式会社日立製作所 ニューラルネット構築装置
US5214747A (en) * 1990-12-24 1993-05-25 Eastman Kodak Company Segmented neural network with daisy chain control
US5239594A (en) * 1991-02-12 1993-08-24 Mitsubishi Denki Kabushiki Kaisha Self-organizing pattern classification neural network system
JP3088171B2 (ja) * 1991-02-12 2000-09-18 三菱電機株式会社 自己組織型パタ−ン分類システム及び分類方法
JPH04262453A (ja) * 1991-02-15 1992-09-17 Hitachi Ltd ニュ−ロ学習制御方法及び装置
WO1992017849A1 (en) * 1991-04-02 1992-10-15 Massachusetts Institute Of Technology Automatic design of signal processors using neural networks
US5408588A (en) * 1991-06-06 1995-04-18 Ulug; Mehmet E. Artificial neural network method and architecture
US5357597A (en) * 1991-06-24 1994-10-18 International Business Machines Corporation Convolutional expert neural system (ConExNS)
JP3169635B2 (ja) * 1991-07-03 2001-05-28 本田技研工業株式会社 ニューラルネットワーク及びその学習方法
JP3242950B2 (ja) * 1991-08-14 2001-12-25 株式会社東芝 予測制御方法
US5852817A (en) * 1991-08-14 1998-12-22 Kabushiki Kaisha Toshiba Intelligent control apparatus
JP2722906B2 (ja) * 1991-12-27 1998-03-09 ダイキン工業株式会社 未知数量推定方法およびその装置
US5371809A (en) * 1992-03-30 1994-12-06 Desieno; Duane D. Neural network for improved classification of patterns which adds a best performing trial branch node to the network
DE69333664T2 (de) * 1992-06-19 2005-11-17 United Parcel Service Of America, Inc. Verfahren und Gerät zur Einstellung eines Neurons
US5438629A (en) * 1992-06-19 1995-08-01 United Parcel Service Of America, Inc. Method and apparatus for input classification using non-spherical neurons
GB9214514D0 (en) * 1992-07-08 1992-08-19 Massachusetts Inst Technology Information processing
JPH06203005A (ja) * 1992-10-27 1994-07-22 Eastman Kodak Co 高速区分化ニューラルネットワーク及びその構築方法
JP2737583B2 (ja) * 1992-11-26 1998-04-08 松下電器産業株式会社 ニューラルネットワーク回路
DE69314293T2 (de) * 1992-12-16 1998-04-02 Koninkl Philips Electronics Nv Neuronalanlage und -Bauverfahren
FR2704669B1 (fr) * 1993-04-29 1995-06-30 France Telecom Systeme a reseau neuronal pour le traitement de signaux, notamment pour l'analyse et la synthese d'images.
DE4430628C2 (de) * 1994-08-29 1998-01-08 Hoehn Marcus Dipl Wirtsch Ing Verfahren und Einrichtung einer intelligenten, lernfähigen Musikbegleitautomatik für elektronische Klangerzeuger
US5720003A (en) * 1994-10-27 1998-02-17 Lucent Technologies Inc. Method and apparatus for determining the accuracy limit of a learning machine for predicting path performance degradation in a communications network
US5684929A (en) * 1994-10-27 1997-11-04 Lucent Technologies Inc. Method and apparatus for determining the limit on learning machine accuracy imposed by data quality
US6745169B1 (en) * 1995-07-27 2004-06-01 Siemens Aktiengesellschaft Learning process for a neural network
US6052679A (en) * 1997-09-11 2000-04-18 International Business Machines Corporation Artificial neural networks including Boolean-complete compartments
DE10139682B4 (de) * 2001-08-11 2004-08-05 Deneg Gmbh Verfahren zum Generieren von neuronalen Netzen
US7777743B2 (en) * 2002-04-19 2010-08-17 Computer Associates Think, Inc. Viewing multi-dimensional data through hierarchical visualization
CA2481432A1 (en) * 2002-04-19 2003-10-30 Ronald Cass Processing mixed numeric and/or non-numeric data
US7483868B2 (en) * 2002-04-19 2009-01-27 Computer Associates Think, Inc. Automatic neural-net model generation and maintenance
MY138544A (en) * 2003-06-26 2009-06-30 Neuramatix Sdn Bhd Neural networks with learning and expression capability
CN101310294A (zh) * 2005-11-15 2008-11-19 伯纳黛特·加纳 神经网络的训练方法
US9165243B2 (en) * 2012-02-15 2015-10-20 Microsoft Technology Licensing, Llc Tensor deep stacked neural network
EP3026600B1 (en) * 2014-11-27 2021-06-30 Samsung Electronics Co., Ltd. Method and apparatus for extending neural network
US10832138B2 (en) 2014-11-27 2020-11-10 Samsung Electronics Co., Ltd. Method and apparatus for extending neural network
JP6453681B2 (ja) * 2015-03-18 2019-01-16 株式会社東芝 演算装置、演算方法およびプログラム
JP6784162B2 (ja) * 2016-12-13 2020-11-11 富士通株式会社 情報処理装置、プログラム及び情報処理方法
JP7107797B2 (ja) * 2018-01-29 2022-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法及び情報処理システム
EP3518153A1 (en) * 2018-01-29 2019-07-31 Panasonic Intellectual Property Corporation of America Information processing method and information processing system
US10634081B2 (en) 2018-02-05 2020-04-28 Toyota Jidosha Kabushiki Kaisha Control device of internal combustion engine
US10853727B2 (en) 2018-02-05 2020-12-01 Toyota Jidosha Kabushiki Kaisha Machine learning system
CN108985386A (zh) * 2018-08-07 2018-12-11 北京旷视科技有限公司 获得图像处理模型的方法、图像处理方法及对应装置
KR102219904B1 (ko) * 2018-12-13 2021-02-24 한동대학교 산학협력단 딥러닝 프레임워크를 활용한 뉴럴 네트워크 구조 확장 방법
JP6735862B1 (ja) * 2019-02-12 2020-08-05 三菱電機株式会社 ニューラルネットワークの学習方法
US11836600B2 (en) * 2020-08-20 2023-12-05 D5Ai Llc Targeted incremental growth with continual learning in deep neural networks

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4803736A (en) * 1985-11-27 1989-02-07 The Trustees Of Boston University Neural networks for machine vision
US4914708A (en) * 1987-06-19 1990-04-03 Boston University System for self-organization of stable category recognition codes for analog input patterns
US4874963A (en) * 1988-02-11 1989-10-17 Bell Communications Research, Inc. Neuromorphic learning networks
US4933872A (en) * 1988-11-15 1990-06-12 Eastman Kodak Company Method and system for wavefront reconstruction
US4912655A (en) * 1988-12-14 1990-03-27 Gte Laboratories Incorporated Adjusting neural networks

Also Published As

Publication number Publication date
JPH02238560A (ja) 1990-09-20
US5033006A (en) 1991-07-16

Similar Documents

Publication Publication Date Title
JPH0738186B2 (ja) 自己拡張形ニユーラル・ネットワーク
US5195169A (en) Control device for controlling learning of a neural network
US5606646A (en) Recurrent neural network-based fuzzy logic system
EP0454037B1 (en) Neural network for processing a plurality of informations and learning method
EP0591921B1 (en) Learning and recognition machine
Iranmanesh et al. Structural optimization by gradient‐based neural networks
CN114692310A (zh) 一种基于Dueling DQN的虚实融合一二级分离模型参数优化方法
US5265224A (en) Recognition unit and recognizing and judging apparatus employing same
US5845051A (en) Learning method for multilayer perceptron neural network with N-bit data representation
US5644681A (en) Learning method for neural network having discrete interconnection strengths
JPH0742055B2 (ja) エレベータの群管理制御方法
US5542005A (en) Recognition unit and recognition apparatus
JPH0991264A (ja) ニューラルネットワーク構造最適化装置ならびに方法
JPH0793160A (ja) 推論装置
JP2639028B2 (ja) 神経回路の学習装置および学習方法
JPH05204885A (ja) ニューラルネットワークの学習高速化装置及び方法
Tsoi et al. Building MLP networks by construction
Bobrowski Learning processes in multilayer threshold nets
JPH086916A (ja) リカレント型ニューラルネットワーク学習方法及びその装置
JPH10187649A (ja) ニューラルネットワーク
JPH07104849B2 (ja) ニューラル・ネットワークの学習方法
JPH02244255A (ja) ニユーロコンピユータ
JPH09101944A (ja) ニューラルネットワーク回路
JPH0329064A (ja) パターン認識装置
JPH11175494A (ja) ニューラルネットワーク