JPH02231670A - Learning device for neural network - Google Patents
Learning device for neural networkInfo
- Publication number
- JPH02231670A JPH02231670A JP1052684A JP5268489A JPH02231670A JP H02231670 A JPH02231670 A JP H02231670A JP 1052684 A JP1052684 A JP 1052684A JP 5268489 A JP5268489 A JP 5268489A JP H02231670 A JPH02231670 A JP H02231670A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- value
- weight
- neural network
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 105
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000000946 synaptic effect Effects 0.000 claims description 18
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 12
- 230000008878 coupling Effects 0.000 abstract 4
- 238000010168 coupling process Methods 0.000 abstract 4
- 238000005859 coupling reaction Methods 0.000 abstract 4
- 210000000225 synapse Anatomy 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
- Devices For Executing Special Programs (AREA)
Abstract
Description
【発明の詳細な説明】
く産業上の利用分野〉
この発明は、ニューラル・ネットワークの学習時におい
て、シナプス結合の重みの値を外郎より（強制的に）更
新することができるニューラル・ネットワークの学習装
置に関する。[Detailed Description of the Invention] Industrial Application Fields The present invention relates to a neural network learning method in which the weight values of synaptic connections can be (forcibly) updated during neural network learning. Regarding equipment.
く従来の技術〉
最近、誤差逆伝播学習方式によって学習する多層ニュー
ラル・ネットワークが、音声認識の分野や文字認識の分
野で利用されるようになってきている。従来、この分野
においてよく用いられているニューラル・ネットワーク
は３層（４層以上でも構わない）パーセプトロン型のニ
ューラル・ネットワークである。この３層パーセプトロ
ン型のニューラル・ネットワークは、第２図に示すよう
に入力層ｌ．中間層２および出力層３の３層から構成さ
れている。2. Description of the Related Art Recently, multilayer neural networks that learn using backpropagation learning methods have come to be used in the fields of speech recognition and character recognition. Conventionally, a neural network commonly used in this field is a three-layer (four or more layers may be used) perceptron-type neural network. As shown in FIG. 2, this three-layer perceptron type neural network has input layers l. It is composed of three layers: an intermediate layer 2 and an output layer 3.
上記入力層ｌの各ユニット５，５，・・・と中間層２の
各ユニット６，６，・・・と出力層３の各ユニット７，
７，・・・とはシナプス結合によって接続されてネット
ワークを構成している。そして、入力層ｌのユニット５
．５．・・・に入カデータが入力されると、このネット
ワークの構造に応じた出力データを出力層３のユニット
７．７．・・・から出力するのである。Each unit 5, 5, . . . of the input layer 1, each unit 6, 6, . . . of the intermediate layer 2, and each unit 7 of the output layer 3,
7,... are connected by synaptic connections to form a network. And unit 5 of input layer l
．． 5. . . . When input data is input to the units 7, 7, . It outputs from...
上記ユニットは、他のユニットからの入力を受け取る部
分と、入力されたデータを所定の規則で変換する部分と
、変換した結果を出力する部分とから成る。そして、他
のユニットとのシナプス結合部には結合の強さを表す重
みが付けられている。The unit consists of a part that receives input from other units, a part that converts the input data according to a predetermined rule, and a part that outputs the converted results. Synaptic connections with other units are weighted to indicate the strength of the connection.
この重みは、ユニット間の結合の強さを表すものであり
、この結合重みの値を変えるとネットワークの構造が変
わり、同じ入力データに対して異なる出力値を出力する
ようになるのである。This weight represents the strength of the connection between units, and changing the value of this connection weight changes the structure of the network, allowing it to output different output values for the same input data.
また、このニューラル・ネットワークは、所定の関係を
有する２つの事象の内の一方に属するデータを入力層ｌ
のユニット５，５．・・・に与え、上記入力データに対
応する他方の事象に属するデータ（教師データ）を出力
層３のユニット７．７，・・・に与えると、このニュー
ラル・ネットワークは誤差逆伝播法による学習を行う。Also, this neural network inputs data belonging to one of two events having a predetermined relationship to the input layer l.
Unit 5, 5. ..., and the data belonging to the other event corresponding to the above input data (teacher data) is given to units 7.7, ... of the output layer 3, then this neural network performs learning using backpropagation I do.
そして、やがて出力層３のユニット７．７，・・・から
上記教師データと同じデータを出力するように、各ユニ
ットに付加された結合重みの値を自ら設定し直して、ニ
ューラル・ネットワークの構造を決定するのである。そ
うすると、この学習済みのニューラル・ネットワークは
、上記２つの事象の内の上記一方に属する任意のデータ
を入力層ｌのユニット５，５，・・・に入力したときに
、この入力データに対応する他方の事象に属するデータ
を出力層３のユニット７，７．・・・から出力するよう
になるのである。Then, in order to eventually output the same data as the above-mentioned teacher data from units 7, 7, ... of the output layer 3, the connection weight values added to each unit are reset by themselves, and the structure of the neural network is changed. It is decided. Then, when arbitrary data belonging to one of the above two events is input to units 5, 5, ... of the input layer l, this trained neural network corresponds to this input data. The data belonging to the other event is sent to units 7, 7 . It will start outputting from...
上述のような３層バーセプトロン型のニューラル・ネッ
トワークにおける入力層ｌのユニット５，５，・・・の
数は入力データの値の次数で決まり、出力層３のユニッ
ト７．７，・・・の数は認識したいカテゴリーの数で決
まる。しかしながら、中間層２のユニット６，６．・・
・の散は出力層３のユニット数や認識の精度や処理時間
等によって異なり、試行錯誤によって決定される。The number of units 5, 5, . . . in the input layer l in the three-layer berseptron type neural network as described above is determined by the order of the input data value, and the number of units 7, 7, . The number is determined by the number of categories you want to recognize. However, units 6, 6 .・・・
The variance varies depending on the number of units in the output layer 3, recognition accuracy, processing time, etc., and is determined by trial and error.
〈発明が解決しようとする課題〉
このように、３層パーセブトロン型のニューラル・ネッ
トワークにおける中間層２のユニット６．６．・・・の
数は試行錯誤によって決定されるので、中間層２のユニ
ット数は、認識の精度等を考慮して予想される必要数よ
りもかなり多く設定されるのが普通である。<Problems to be Solved by the Invention> As described above, the unit 6.6 of the middle layer 2 in the three-layer persebutron type neural network. Since the number of units is determined by trial and error, the number of units in the intermediate layer 2 is usually set to be much larger than the expected required number taking recognition accuracy and the like into consideration.
ところが、各層のユニット数が増えれば各ユニット間の
結合数も増加し、ニューラル・ネットワーク全体の計算
時間が長くなるという問題がある。However, as the number of units in each layer increases, the number of connections between each unit also increases, causing the problem that the calculation time for the entire neural network increases.
また、ユニット数は多ければ良いというものでも無く、
ニット数を多くすると学習の過程においてあまり学習に
影響しない（換言すれば、認識にもあまり影響しない）
ユニットが生じ、学習や認識の効率が悪くなるという問
題もある。Also, it is not necessarily the case that the number of units is greater;
Increasing the number of knits does not affect learning very much during the learning process (in other words, it does not affect recognition too much)
There is also the problem that units are generated, which reduces the efficiency of learning and recognition.
そこで、この発明の目的は、ニューラル・ネットワーク
の学習時におけるシナプス結合の重みの値を監視し、必
要に応じてユニットの結合重みを選択的に更新すること
によって、ユニット数を最適に設定したり、ニューラル
・ネットワークの学習の効率を良くすることができるニ
ューラル・ネットワークの学習装置を提供することにあ
る。Therefore, the purpose of this invention is to monitor the weight values of synaptic connections during learning of a neural network and selectively update the connection weights of units as necessary, thereby optimizing the number of units. An object of the present invention is to provide a neural network learning device that can improve the efficiency of neural network learning.
〈課題を解決するための手段〉
上記目的を達成するため、この発明のニューラル・ネッ
トワークの学習装置は、学習時におけるニュニラル・ネ
ットワークの各ユニット間のシナプス結合の重みの値を
監視し、所定の条件を満たす重みの値が存在する場合は
、その重みの値を所定の値に更新するモニターを備えて
、上記ニューラル・ネットワークの構造を最適に決定す
ることを特徴としている。<Means for Solving the Problems> In order to achieve the above object, the neural network learning device of the present invention monitors the weight value of the synaptic connection between each unit of the neural network during learning, and calculates a predetermined value. If there is a weight value that satisfies the condition, a monitor is provided to update the weight value to a predetermined value, thereby optimally determining the structure of the neural network.
また、この発明のニューラル・ネットワークの学習装置
における上記モニターは、ニューラル・ネットワークの
学習時に際して、入力データの入力に応じて上記ニュー
ラル・ネットワークから出力される出力データと上記入
力データの教師データとを取り込んで、この出力データ
の値と教師データの値との誤差を算出する誤差計算郎と
、学習過程における上記ニューラル・ネットワークの各
ユニット間のシナプス結合の重みの値を取り込んで、上
記重みの値が所定の値より小さいユニットあるいは重み
の値が類似しているユニットを検出するための演算を、
所定のアルゴリズムに従って行う演算部と、上記誤差計
算部からの誤差値と上記演算部からの演算結果とに基づ
いて、上記重みの値を更新すべきか否かを判断し、重み
の値を更新すべきであると−判定した場合には指示信号
を出力する判定部と、上記判定部から出力される指示信
号に従って、重みの値が所定の値より小さいユニットあ
るいは重みの値が類似しているユニットに関する重みの
値を強制的に更新する重み更新部を有するようにするの
が望ましい。Further, the monitor in the neural network learning device of the present invention is configured to monitor output data outputted from the neural network in response to input data and training data of the input data during neural network learning. An error calculator that calculates the error between the value of this output data and the value of the teacher data, and an error calculator that takes in the weight value of the synaptic connection between each unit of the neural network in the learning process and calculates the value of the weight. is smaller than a predetermined value or units with similar weight values are calculated as follows:
A calculation section that performs according to a predetermined algorithm, and an error value from the error calculation section and a calculation result from the calculation section, determine whether or not the weight value should be updated, and update the weight value. a determination unit that outputs an instruction signal when it is determined that it is true; and a unit whose weight value is smaller than a predetermined value or a unit whose weight value is similar according to the instruction signal output from the determination unit. It is desirable to have a weight updating unit that forcibly updates the weight value related to the weight.
また、この発明のニューラル・ネットワークの学習装置
における上記重み更新部は、学習が収束に近付いている
のに重みの値が所定の値より小さいユニットがある場合
に、上記判定部からの指示信号に従って、上記ユニット
に関する重みの値を零に更新するようになっていること
が望ましい。Further, in the neural network learning device of the present invention, the weight updating unit may update the weight according to the instruction signal from the determining unit when there is a unit whose weight value is smaller than a predetermined value even though learning is approaching convergence. , it is desirable that the weight value for the unit be updated to zero.
また、この発明のニューラル・ネットワークの学習装置
における上記重み更新部は、学習が収束に近付いている
のに、重みの値が類似しているユニットが複数ある場合
に、上記判定部からの指示信号に従って、上記複数のユ
ニットのうち１つのユニットに関する結合の重みの値を
残し、池のユニットに関する結合の重みの値を零に更新
するようになっていることが望ましい。Further, in the neural network learning device of the present invention, the weight updating unit receives an instruction signal from the determining unit when there are a plurality of units with similar weight values even though learning is approaching convergence. Accordingly, it is desirable to leave the connection weight value for one unit among the plurality of units and update the connection weight value for the pond unit to zero.
また、この発明のニューラル・ネットワークの学習装置
における上記重み更新部は、学習が収束しない状態であ
って、重みの値が類似しているユニットが複数ある場合
に、上記判定部からの指示信号に従って、上記複数のユ
ニットのうち１つのユニットに関する結合の重みの値を
残し、他のユニットに関する結合の重みの値を、所定の
規則に従って求められた重みの値に更新するようになっ
ていることが望ましい。In addition, in the neural network learning device of the present invention, the weight updating unit may update the weight according to the instruction signal from the determining unit when learning has not converged and there are a plurality of units with similar weight values. , the connection weight value for one unit among the plurality of units is left, and the connection weight values for the other units are updated to weight values determined according to a predetermined rule. desirable.
く作用〉
学習時におけるニューラル・ネットワークの各ユニット
間のシナプス結合の重みの値がモニターに入力される。Effect> The value of the weight of the synaptic connection between each unit of the neural network during learning is input to the monitor.
そうすると、上記モニターは入力された上記重みの値を
監視し、所定の条件を満たす重みの値が存在する場合は
、その重みの値を所定の値に更新する。したがって、上
記ニューラル・ネットワークの構造が最適に決定される
。Then, the monitor monitors the input weight value, and if there is a weight value that satisfies a predetermined condition, updates the weight value to a predetermined value. Therefore, the structure of the neural network is optimally determined.
また、上記ニューラル・ネットワークの学旨装置は、ニ
ューラル・ネットワークの学習に際して、上記ニューラ
ル・ネットワークからの出力データの値と教師データの
値と上記各ユニット間のシナプス結合の重みの値とがモ
ニターに取り込まれると、上記出力データの値と教師デ
ータの値との誤差の値が誤差算出部によって算出される
と共に、上記重みの値が所定の値より小さいユニットあ
るいは重みの値が類似しているユニットを検出するため
の演算が演算部によって実行される。そして、上記誤差
値と演算結果とに基づいて、上記重みの値を更新すべき
か否かが判定部によって判断され、その結果重みの値を
更新すべきであると判定された場合には指示信号が出力
される。そうすると、重み更新部は、上記指示信号に従
って、重みの値が所定の値より小さいユニットあるいは
重みの値が類似しているユニットに関する重みの値を強
制的に更新する。したがって、上記ニューラル・ネット
ワークの構造が最適に決定される。Further, the neural network learning device monitors the values of the output data from the neural network, the values of the teacher data, and the weight values of the synaptic connections between the units when the neural network is learning. Once imported, the error calculation unit calculates the error value between the output data value and the teacher data value, and also calculates the error value of the unit whose weight value is smaller than a predetermined value or the unit whose weight value is similar. A computation for detecting is executed by the arithmetic unit. Based on the error value and the calculation result, the determination unit determines whether or not the weight value should be updated, and if it is determined that the weight value should be updated, an instruction signal is sent. is output. Then, the weight updating section forcibly updates the weight values of units whose weight values are smaller than a predetermined value or units whose weight values are similar, in accordance with the instruction signal. Therefore, the structure of the neural network is optimally determined.
また、上記ニューラル・ネットワークの学習装置は、学
習が収束に近付いているのに重みの値が所定の値より小
さいユニットがある場合には、上記判定部からの指示信
号に従って、上記重み更新部によって上記ユニットに関
する重みの値を零に更新するようにすれば、重みの値が
所定の値より小さいユニットを削除して上記ニューラル
・ネットワークの構造が必要最小限の規模に決定される
。Further, in the neural network learning device, if there is a unit whose weight value is smaller than a predetermined value even though the learning is approaching convergence, the neural network learning device causes the weight updating unit to perform a weight updating unit according to an instruction signal from the determining unit. By updating the weight values for the units to zero, units whose weight values are smaller than a predetermined value are deleted, and the structure of the neural network is determined to be the minimum necessary scale.
また、上記ニューラル・ネットワークの学習装置は、学
ロが収束に近付いているのに重みの値が類似しているユ
ニットが複数ある場合には、上記判定部からの指示信号
に従って、上記重み更新部によって、上記複数のユニッ
トのうち１つのユニットに関する結合の重みの値を残し
、他のユニットに関する重みの値を零に更新するように
すれば、重みの値が類似しているユニットを削除して上
記ニューラル・ネットワークの必要最小限の規模に決定
される。In addition, when the learning device for the neural network approaches convergence and there are multiple units with similar weight values, the learning device for the neural network updates the weight updating unit according to the instruction signal from the determining unit. By leaving the connection weight value for one unit among the above multiple units and updating the weight value for the other units to zero, units with similar weight values can be deleted. The scale is determined to be the minimum necessary size of the neural network.
また、上記ニューラル・ネットワークの学習装置は、学
冒が収束しない状態であって、重みの値が類似している
ユニットが複数ある場合には、上記判定部からの指示信
号に従って、上記重み更新部によって、上記複数のユニ
ットのうち１つのユニットに関する結合の重みの値を残
し、他のユニットに関する重みの値を、所定の規則に従
って求められた重みの値に更新するようにすれば、重み
の値が類似している各ユニットに関する重みの値を夫々
異なる値にして学習の収束を早め、効率良く学習を実行
できる。In addition, when the neural network learning device is in a state where the learning process has not converged and there are multiple units with similar weight values, the neural network learning device updates the weight updating unit according to the instruction signal from the determining unit. Accordingly, if the connection weight value for one of the plurality of units is left and the weight values for the other units are updated to the weight values determined according to a predetermined rule, the weight values can be By setting different weight values for units with similar values, the convergence of learning can be accelerated and learning can be performed efficiently.
〈実施例〉 以下、この発明を図示の実施例により詳細に説明する。<Example> Hereinafter, the present invention will be explained in detail with reference to illustrated embodiments.
第１図はこの発明のニューラル・ネットワークの学習装
置を用いて、ニューラル・ネットワークの学習を実施し
ている状態を示す概略図である。FIG. 1 is a schematic diagram showing a state in which neural network learning is performed using the neural network learning device of the present invention.
本実゜施例において用いたニューラル・ネットワークは
３層パーセプトロン型のニューラル・ネットワークであ
り、入力層１．中間層２および出力層３の３層から成る
。The neural network used in this embodiment is a three-layer perceptron-type neural network, with input layers 1. It consists of three layers: an intermediate layer 2 and an output layer 3.
上記３層パーセプトロン型のニューラル・ネットワーク
の入力層■よ、第２図に示すようにユニッ｝５，５，・
・・から構成され、中間層２はユニット６，６，・・・
から構成され、出力層３はユニット７．７．・・・から
構成されている。そして、上記入力層ｌの各ユニット５
，５．・・・は夫々中間層２の全ユニット６，６．・・
・とシナプス結合によって接続されている。The input layer of the above three-layer perceptron-type neural network is unit}5,5,...
..., and the middle layer 2 is composed of units 6, 6, ...
The output layer 3 consists of units 7.7. It is composed of... Then, each unit 5 of the input layer l
,5. . . . are all units 6, 6, . . . of the middle layer 2, respectively.・・・
・Connected by synaptic connections.
また、中間層２の各ユニット６．６，・・・は夫々出力
層３の全ユニット７．７．・・・とシナプス結合によっ
て接続されている。しかしながら、各層内のユニット間
は接続されない。ここで、入力層ｌのユニッ｝５，５．
・・・の数は入力データの値の次数によって決定され、
出力層７のユニット７，７．・・・の数は認濃したいカ
テゴリーの数で決定される。また、中間層２のユニット
６，６．・・・の数は予想される必要数よりもやや多く
設定される。Also, each unit 6.6, . . . of the intermediate layer 2 is connected to each unit 7. ...and are connected by synaptic connections. However, units within each layer are not connected. Here, the units of input layer l}5,5.
The number of ... is determined by the order of the input data values,
Units 7, 7 of the output layer 7. The number of ... is determined by the number of categories you want to check. Furthermore, the units 6, 6 . The number of ... is set to be slightly larger than the expected required number.
上記中間層２の各ユニット６，６．・・・における入カ
層ｌの全ユニット５．・・・，５とのシナプス結合部に
は結合の強さを表す結合重みＷｄが付けられ、出力層３
の各ユニット７，７，・・・における中間層２の全ユニ
ット６．・・・，６とのシナプス結合部には結合の強さ
を表す結合重みＷｕが付けられている。Each unit 6, 6 of the intermediate layer 2. All units of input layer l in...5. ..., 5 is attached with a connection weight Wd representing the strength of the connection, and the output layer 3
All units 6. of the intermediate layer 2 in each unit 7, 7, . ..., 6 is assigned a connection weight Wu that represents the strength of the connection.
そして、この結合重みＷｄ，Ｗｕの値、出力層３の各ユ
ニット７．７．・・・からの出力データおよび教師デー
タが学習装置のモニター４に入力され、ニューラル・ネ
ットワークの学習過程における結合重みＷｄ，Ｗｕの値
が監視される。そして、後に詳述するように、必要に応
じて中間層２のユニットの結合重みＷ ｄ ， Ｗ ｕ
の値を更新して学習の効率を良くすると共に、中間層２
のユニット数を最適に設定し直すことによって最適なニ
ューラル・ネットワークの構造を決定するのである。第
１図においては、第２図に示す３層パーセプトロン型ニ
ューラル・ネットワークの各層内の各ユニット、各ユニ
ット間の接続、結合重みＷｄ，Ｗｕ，入力データおよび
出力データを簡略化して表現している。Then, the values of the connection weights Wd and Wu are determined for each unit 7.7 of the output layer 3. ... and teacher data are input to the monitor 4 of the learning device, and the values of the connection weights Wd and Wu in the learning process of the neural network are monitored. Then, as will be described in detail later, the connection weights W d , W u of the units of the intermediate layer 2 are set as necessary.
In addition to updating the value of the middle layer 2 to improve learning efficiency,
The optimal neural network structure is determined by resetting the optimal number of units. In Fig. 1, each unit in each layer of the three-layer perceptron neural network shown in Fig. 2, connections between each unit, connection weights Wd, Wu, input data, and output data are simplified and expressed. .
第３図はこの発明の主要な部分である上記モニター４の
詳細なブロック図である。上記モニター４は誤差計算郎
１０，重み入力郎１１，演算部１２，判定部ｌ３および
重み更新部１４から構成されている。なお、第３図にお
ける３層パーセプトロン型ニューラル・ネットワークは
、第１図と同様に簡略化して表現してある。ただし、入
力層１のユニット数はＪ個であり、中間層２のユニット
数は１個であり、出力層３のユニット数はＫ個であると
する。FIG. 3 is a detailed block diagram of the monitor 4, which is the main part of the present invention. The monitor 4 is composed of an error calculation section 10, a weight input section 11, an arithmetic section 12, a judgment section 13, and a weight updating section 14. Note that the three-layer perceptron type neural network in FIG. 3 is simplified in the same way as in FIG. 1. However, it is assumed that the number of units in the input layer 1 is J, the number of units in the intermediate layer 2 is 1, and the number of units in the output layer 3 is K.
上記誤差計算部ＩＯにはニューラル・ネットワークにお
ける出力層３の全ユニット７．・・・，７からの出力デ
ータと、出力層３の全ユニット７，・・・．７への教師
データとが入力される。そして、後に詳述するように両
者間の誤差を計算して判定部１３に出力する。The error calculation unit IO includes all units 7 of the output layer 3 in the neural network. . . , 7 and all units 7, . . . of the output layer 3. 7 is input. Then, as will be described in detail later, the error between the two is calculated and output to the determination section 13.
また、上記重み入力部１１は、中間層２の全ユット６．
・・・．６に付加された結合重みＷｄの値Ｗｄ（ｉ，Ｄ
と出力層３の全ユニット７．・・・．７に付加された結
合重みＷｕの値Ｗｕ（ｉ，ｋ）を読み取り、この読み取
られた結合重みＷｄの値ｗｄ（ｉ，ｊ）と結合重みＷｕ
の値Ｗｕ（ｉ，ｋ）が演算部１２に出力される。ここで
、結合重みＷｄの値ｗｄ（ｉ，Ｄは、中間層２のｉ番目
（ｌ≦ｉ≦Ｉ）のユニット６における入力層１のｊ番目
（ｌ≦ｊ≦Ｊ）のユニット５との間の結合重みの値を表
す。同様に、結合重みＷｕの値Ｗｕ（ｉ，ｋ）は、中間
層２のｉ番目のユニット６における出力層３のｋ番目（
ｌ≦ｋ≦Ｋ）のユニット７との間の結合重みの値を表す
。そうすると、上記演算部Ｉ２は、結合重みＷｄの値Ｗ
ｄ（ｉ，ｊ）と結合重みＷｕの値Ｗｕ（ｉ，ｋ）に基づ
いて、後に詳述するように、中間層２において類似の結
合重みの値を有するユニットや結合重みの値が小さいユ
ニットを捜し出す際における各種の演算を実行する。Further, the weight input unit 11 inputs all units 6. of the intermediate layer 2.
・・・． The value Wd(i, D
and all units of output layer 37.・・・． The value Wu (i, k) of the connection weight Wu added to 7 is read, and the value wd (i, j) of the read connection weight Wd and the connection weight Wu
The value Wu(i,k) is output to the calculation unit 12. Here, the value wd(i,D) of the connection weight Wd is the connection between the i-th (l≦i≦I) unit 6 of the intermediate layer 2 and the j-th (l≦j≦J) unit 5 of the input layer 1. Similarly, the value Wu (i, k) of the connection weight Wu is the value of the connection weight Wu (i, k) of the output layer 3 in the i-th unit 6 of the hidden layer 2.
represents the value of the connection weight with unit 7 where l≦k≦K). Then, the calculation unit I2 calculates the value W of the connection weight Wd.
Based on d(i,j) and the value Wu(i,k) of the connection weight Wu, as will be detailed later, units having similar connection weight values or units having small connection weight values in the intermediate layer 2 are selected. Performs various calculations when searching for .
上記判定部ｌ３は演算郎ｌ２における演算結果と外部か
ら入力される設定条件とから、結合重みＷｄの値ｗｄ（
ｉ，Ｄあるいは結合重みＷｕの値Ｗｕ（ｉ，ｋ）を更新
する必要があるか否かを判断する。そして、更新する必
要があると判定した場合は、結合重みＷｄの値Ｗｄ（ｉ
，ｊ）あるいは結合重みＷｕの値Ｗｕ（ｉ，ｋ）の更新
を指示する指示信号を出力する。The determination unit l3 determines the value wd(
It is determined whether it is necessary to update i, D or the value Wu(i,k) of the connection weight Wu. If it is determined that it is necessary to update, the value Wd(i
, j) or an instruction signal instructing to update the value Wu(i,k) of the connection weight Wu.
上記重み更新部ｌ４は、判定部ｌ３からの指示信号に基
づいて、結合重みＷｄの値Ｗｄ’（ｉ．Ｄあるいは結合
重みＷｕの値Ｗｕ’（ｉ，ｋ）を出力して、中間層２の
ｉ番目のユニットの入力層１のｊ番目のユニットに対す
る結合重みＷｄの値ｗｄ（ｉ．Ｄ、あるいは、中間層２
のｉ番目のユニットの出力層３のｋ番目のユニットに対
する結合重みＷｕの値Ｗｕ（ｉ，ｋ）を更新するのであ
る。The weight updating unit l4 outputs the value Wd' (i.D) of the connection weight Wd or the value Wu'(i, k) of the connection weight Wu based on the instruction signal from the determination unit l3, and The value wd of the connection weight Wd of the i-th unit of the input layer 1 to the j-th unit
The value Wu (i, k) of the connection weight Wu for the k-th unit of the output layer 3 of the i-th unit is updated.
以下、上記モニター４を用いたニューラル・ネットワー
クの学習方法について詳細に説明する。The neural network learning method using the monitor 4 will be described in detail below.
上記３層バーセブトロン型ニューラル・ネットワークは
次のようにして学習が行われる。Learning of the three-layer bersebutron type neural network is performed as follows.
まず、正しい出力データ（すなわち、教師データ）の値
が既知の入力データが入力層ｌの各ユニット５．５．・
・・に入力される。そうすると、この入力データは各ユ
ニット５，５．・・・によって所定の変換式（一般には
、閾値関数やシグモイド関数）を用いて変換されて、中
間層２の全ユニット６，・・・，６に伝えられる。その
際に、中間層２の各ユニット６，６．・・・には、入力
層ｌの各出力値に対して上記結合重みＷｄを掛けた値の
総和が入力される。同様に、入力層ｌの各ユニット５．
５，・・・からのデータは中間層２の各ユニット６，６
，・・・によって上記変換式を用いて変換されて、出力
層３の全ユニット７．・・．７に伝えられる。その際に
、出力層３の各ユニット７，７，・・・には、中間層２
の各出力値に対して上記結合重みＷｕを掛けた値の総和
が入力される。さらに、中間層２の各ユニット６．６，
・・・からのデータは出力層３の各ユニット７，７．・
・・によって上記の変換式を用いて変換され、最終的な
出力データとして出力される。First, each unit 5.5. of input layer l has input data for which the value of correct output data (i.e., teacher data) is known.・
...is input. Then, this input data is for each unit 5, 5 . . . . using a predetermined conversion formula (generally a threshold function or a sigmoid function), and is transmitted to all units 6, . . . , 6 of the intermediate layer 2. At that time, each unit 6, 6 . ... is inputted with the sum of the values obtained by multiplying each output value of the input layer l by the connection weight Wd. Similarly, each unit 5. of input layer l.
Data from 5, . . . is sent to each unit 6, 6 of the middle layer 2.
, . . . using the above conversion formula, all units 7. of the output layer 3 are converted.・・・． 7 can be conveyed. At that time, each unit 7, 7, . . . of the output layer 3 has an intermediate layer 2
The sum of the values obtained by multiplying each output value by the connection weight Wu is input. Furthermore, each unit 6.6 of the intermediate layer 2,
... is sent to each unit 7, 7 . . . of the output layer 3.・
... is converted using the above conversion formula and output as final output data.
次に、上記入力データに対応する教師データを出力層３
の各ユニット７．７．・・・に入力する。そうすると、
誤差逆伝播法による学習によって、上記入力データを入
力層ｌの各ユニット３．３，・・・に入力した際に出力
層３の各ユニット７，７．・・・から出力されるデータ
が上記教師データと同じになるように、各ユニットの結
合重みＷｄ，Ｗｕを自ら設定するのである。Next, the teacher data corresponding to the above input data is transferred to the output layer 3.
Each unit of 7.7. Enter in... Then,
Through learning using the error backpropagation method, when the above input data is input to each unit 3.3, . . . of the input layer l, each unit 7, 7, . The connection weights Wd and Wu of each unit are set by themselves so that the data output from . . . is the same as the teacher data.
その際に、上述のように、モニター４の誤差計算郎１０
には出力層３の各ユニット７，７，・・・からの出力デ
ータＯｋと教師データＴｋとが入力される。At that time, as mentioned above, the error calculator 10 of the monitor 4
The output data Ok from each unit 7, 7, . . . of the output layer 3 and the teacher data Tk are input to the output layer 3.
ここで、Ｏｋは出力層３のｋ番目のユニットからの出力
データを示し、Ｔｋは出力層３のｋ番目のユニットへ入
力される教師データを示す。そうすると、誤差計算部１
０は入力された出力データＯｋと教師データＴｋとから
次式に示すＥＲを算出する。Here, Ok indicates output data from the k-th unit of the output layer 3, and Tk indicates teacher data input to the k-th unit of the output layer 3. Then, error calculation section 1
0 calculates the ER shown in the following equation from the input output data Ok and the teacher data Tk.
そして、この算出結果ＥＲを判定部１３に出力する。Then, this calculation result ER is output to the determination section 13.
また、重み入力部１ｌは学習過程における結合重みの値
ｗｄ（；，ｊ）とＷｕ（ｉ，ｋ）とを読み取り、この読
み取った結合重みの値Ｗｄ（ｉ，ｊ）とＷｕ（ｉ，ｋ）
とを演算部１２に出力する。そうすると、演算部ｌ２は
結合重みの値ｗｄ（ｉ．ＤとＷｕ（ｉ，ｋ）とに基づい
て、次式に示すＷＤ，ＷＵ，ＷＤ Ｉ ，ＷＵＩの値を
算出する。In addition, the weight input unit 1l reads the connection weight values wd(;, j) and Wu(i, k) in the learning process, and inputs the read connection weight values Wd(i, j) and Wu(i, k). )
is output to the calculation unit 12. Then, the calculation unit l2 calculates the values of WD, WU, WD I , and WUI shown in the following equations based on the connection weight value wd(i.D) and Wu (i, k).
そして、この演算結果ＷＤ，ＷＵ，ＷＤＩ，ＷＵ１を判
定部１３に出力する。Then, the calculation results WD, WU, WDI, and WU1 are output to the determination section 13.
そうすると、Ｉｆ定郎１３は入力されたＥＲ，ＷＤ，Ｗ
Ｕ，ＷＤ Ｉ，ＷＵＩの値に基づいて、後に述べるよう
な判定を行う。そして、重み更新部１４はこの判定結果
に基づいて結合重みＷ ｄ ． Ｗ ｕの値の更新を行
うのである。Then, if Sadarou 13 is the input ER, WD, W
Based on the values of U, WD I, and WUI, a determination as described later is made. Then, the weight updating unit 14 sets the connection weight W d . based on this determination result. The value of W u is updated.
以下、判定部１３による判定とその判定に対する結合重
みＷ ｄ ． Ｗ ｕの更新について詳細に説明する。Hereinafter, the determination by the determination unit 13 and the connection weight W d for the determination will be described. The update of W u will be explained in detail.
（Ａ）ＥＲ＜”Ｔ”であって
ＷＤ＜’Ａ’，ＷＵ＜“Ｂ”の場合
上述のようにして学習が進むと、出力層３の各ユニット
７，７，・・・から出力される出力データの値は教師デ
ータの値に近付いてくる。そして、出力データの値と教
師データの値との誤差の平均値（すなわち、ＥＲの値）
が、ある閾値“Ｔ゜未膚になると、ニューラル・ネット
ワークの学習が収束に近付いていると判定される。(A) When ER<'T' and WD<'A' and WU<'B' When learning proceeds as described above, the output from each unit 7, 7, ... of the output layer 3 is The value of the output data approaches the value of the teacher data. Then, the average value of the error between the value of the output data and the value of the teacher data (i.e., the value of ER)
However, when it reaches a certain threshold "T°," it is determined that the learning of the neural network is approaching convergence.
その場合に、中間層２におけるｉ番目の二二ット６にお
ける入力層１の全ユニッ斗５．・・・．５に対する結合
重みの値の平拘値（すなわち、ＷＤの値）がある閾値“
Ａ″未満であり、かつ、中間層２におけるｉ番目のユニ
ット６における出力層３の全ユニット７，・・・．７に
対する結合重みの値の平均値（すなわち、ＷＵの値）が
ある閾値“Ｂ″未満であるような中間層２のユニットが
存在する場合は、そのユニットは余り学習に影響しない
ことを意味する。In that case, all units of the input layer 1 in the i-th unit 6 of the hidden layer 2 5.・・・． A certain threshold “
A", and there is a threshold value ", which is the average value of the connection weight values (i.e., the value of WU) for all units 7, . . . 7 of the output layer 3 in the i-th unit 6 in the hidden layer 2 If there is a unit in the middle layer 2 whose value is less than B'', it means that the unit does not affect learning much.
したがって、中間層２にそのようなユニットが存在する
場合には、そのユニットの入力層菫の全ユニットとのシ
ナプス結合および出力層３の全ユニットとのシナプス結
合を切る（すなわち、結合重みＷｄ，Ｗｕの値を“０”
にする）ことによって、学習の効率化と適切な中間層２
のユニット数の設定ができるのである。Therefore, if such a unit exists in the intermediate layer 2, the synaptic connections of that unit with all units of the input layer violet and all the units of the output layer 3 are cut (that is, the connection weight Wd, Set the value of Wu to “0”
) to improve the efficiency of learning and create an appropriate middle layer 2
The number of units can be set.
そこで、判定部！３は重み更新部１４に、中間層２にお
けるｉ番目のユニット６の入力層ｌの全ユニット５．・
・・，５に対する結合重みの値と、中間層２におけるｉ
番目のユニット６の出力層３の全ユニット７．・・・．
７に対する結合重みの値とを“Ｏ”にする指示信号を出
力する。なお、上記閾値“Ｔ′．“Ａ”および“Ｂ“は
、夫々最適な値が図示しない記憶部に予め記憶されてい
る。So, the judgment department! 3 is sent to the weight update unit 14 to update all units 5.・
..., 5 and the value of the connection weight for i in the hidden layer 2
All units 7 of the output layer 3 of the unit 6.・・・．
An instruction signal is output to set the connection weight value for 7 to "O". The optimal values of the thresholds "T'.A" and "B" are stored in advance in a storage unit (not shown).
そうすると、重み更新部ｌ４は結合重みＷｄの値ｗｄ（
ｉ，Ｄ−０ （ｊ＝１−Ｊ）と、結合重みＷｕの値Ｗｕ
（ｉ，ｋ）一〇 （ｋ＝ ｌ−Ｋ）とを出力して、結合
重みＷｄ，Ｗｕの値を更新するのである。Then, the weight updating unit l4 outputs the value wd(
i, D-0 (j=1-J) and the value Wu of the connection weight Wu
(i, k) 10 (k=l-K) is output, and the values of the connection weights Wd and Wu are updated.
こうすることによって、中間層２における学習に影響し
ないユニットを切り捨てて、当初やや多く設定した中間
層２のユニット数を最適な数にして、ニューラル・ネッ
トワーク全体の計算時間を短縮することができる。By doing so, units that do not affect learning in the intermediate layer 2 are discarded, the number of units in the intermediate layer 2, which was initially set to be a large number, is set to an optimal number, and the calculation time of the entire neural network can be shortened.
（Ｂ）ＥＲ＜’Ｔ”であって
ＷＤＩ＜’Ｃ”，ＷＵ Ｉ ＜“Ｄ”の場合ニューラル
・ネットワークの学習が収束に近付いて、出力データの
値と教師データの値との誤差の平均値（すなわち、ＥＲ
の値）が、ある閾値“Ｔ”未満になる。その場合に、中
間層２におけるｉｌ番目のユニットの入力層ｌの全ユッ
ト５，・・・，５、に対す４結合重みの値と、ｉ，番目
のユニットの入力層ｌの全ユニット５，・・・，５に対
する結合重みの値との差の平均値（すなわち、ＷＤＩの
値）がある閾値“Ｃ”未満であり、かつ、中間Ｒ２にお
ける１１番目のユニットの出力層３の全ユット７．・・
・，７に対する結合重みの値と、ｉ，番目のユニットの
出力層３の全ユット７，・・・．７に対する結合重みの
値との差の平均値（すなわち、ＷＵＩの値）がある閾値
“Ｄ１未満であるような２つのユニットが存在する場合
には、このｉ１番目のユニットに関する結合重みＷｄ，
Ｗｕの値とｉｔ番目のユニットに関する結合重みＷｄ，
Ｗｕの値とが極めて類似していることになる。この場合
には１１番目のユニットあるいはｉ，番目のユニットの
いずれが一方のみがあれば良いことを意味する。したが
って、中間層２にそのような２つのユニットが存在する
場合には、そのいずれか一方のユニットの入力層ｌの全
ユニット５．５，・・・とのシナプス結合および出力層
３の全ユニット７，７，・・・とのシナプス結合を切る
ことによって、学習の効率化と適切な中間層２のユニッ
ト数の設定ができるのである。(B) When ER<'T', WDI<'C' and WU I<'D', the learning of the neural network approaches convergence, and the average error between the output data value and the teaching data value value (i.e. ER
) becomes less than a certain threshold "T". In that case, the value of 4 connection weights for all units 5, ..., 5, of input layer l of the il-th unit in hidden layer 2, and all units 5,..., 5, of input layer l of i-th unit, ..., 5, the average value of the difference (i.e., the value of WDI) is less than a certain threshold "C", and all units 7 of the output layer 3 of the 11th unit in intermediate R2 ．．・・・
. . , 7 and all units 7, . . . of the output layer 3 of the i,th unit. If there are two units for which the average value of the difference (that is, the value of WUI) from the value of the connection weight for 7 is less than a certain threshold “D1,” the connection weight Wd for this
The value of Wu and the connection weight Wd for the it-th unit,
This means that the value of Wu is extremely similar. In this case, it means that only one of the 11th unit or the i-th unit is required. Therefore, if there are two such units in the intermediate layer 2, synaptic connections of either one of the units with all units 5.5, . . . in the input layer l and all units in the output layer 3. By cutting the synaptic connections with 7, 7, . . . , learning efficiency can be improved and the number of units in the intermediate layer 2 can be set appropriately.
そこで、判定部１３は重み更新部１４に、中間層２のＬ
番目（あるいはｉ，番目）のユニットにおける入力層Ｉ
の全ユニット５．・・・，５に対する結合重みＷｄの値
と、中間層２のｉ，番目（あるいは１１番目）のユニッ
トにおける出力層３の全ユニット７，・・・７に対する
結合重みＷｕの値とを“０“にする指示信号を重み更新
部１４に出力する。なお、上記閾値“Ｃ”および“Ｄ”
は、夫々最適な値が上記記憶部に予め記憶されている。Therefore, the determining unit 13 asks the weight updating unit 14 to
Input layer I in the th (or i,th) unit
All units of 5. ..., 5 and the value of the connection weight Wu for all units 7, ... 7 of the output layer 3 in the i-th (or 11th) unit of the intermediate layer 2 are set to "0". An instruction signal to set the value to " is output to the weight updating unit 14. In addition, the above threshold values "C" and "D"
The optimum values of are stored in advance in the storage section.
そうすると、重み更新部ｌ４は、例えば結合重みＷｄの
値Ｗｄ（ｉ＊，ｊ）＝０ （ｊ＝ｌ−Ｊ）と、結合重み
Ｗｕの値Ｗｕ（Ｌ．ｋ）一〇 （ｋ＝ １−Ｋ）とを出
力して、結合重みＷ ｄ ， Ｗ ｕの値を更新するの
である。Then, the weight updating unit l4 sets the value Wd(i*,j)=0 (j=l−J) of the connection weight Wd and the value Wu(L.k)10 (k=1−) of the connection weight Wu, for example. K) to update the values of the connection weights W d and W u.
こうすることによって、さらに中間層２における無駄な
ユニットを切り捨てて、ニューラル・ネットワーク全体
の計算時間を早くすることができるのである。By doing so, it is possible to further cut out unnecessary units in the middle layer 2 and speed up the computation time of the entire neural network.
（Ｃ） 学旨時間が経過してもＥＲ＞“′ｒ”であっ
てＷＤＩ＜“Ｃ″，ＷＵ Ｉ ＜ ”Ｄ”ノ場合この場
合は、出力層３の各ユニット７，７，・・・から出力さ
れる出力データの値と教師データの値との誤差の平均値
（すなわち、ＥＲの値）が、学習時間が経過してもある
閾値“Ｔ”未満にならず、ニューラル・ネットワークの
学旨が収束しないと判定される。すなわち、この状態の
場合は、エネルギー関数の局所最適値に陥っていること
が考えられる。このような場合には、上述の（Ｂ）の場
合のように、極めて類似している結合重みＷｄ，Ｗｕの
値を有する１１番目のユニットあるいはｉ，番目のユニ
ットのいずれか一方のシナプス結合を切ることはできな
い。(C) If ER >“'r” and WDI < “C”, WUI < “D” even after the learning time has elapsed In this case, each unit 7, 7, . . . of the output layer 3・The average value of the error between the value of the output data output from and the value of the teacher data (that is, the value of ER) does not become less than a certain threshold “T” even after the learning time has passed, and the neural network It is determined that the academic objectives have not converged. That is, in this state, it is considered that the energy function has reached a local optimum value. In such a case, as in case (B) above, the synaptic connections of either the 11th unit or the i-th unit having extremely similar connection weights Wd and Wu are It cannot be cut.
そこで、中間層２にそのような２つのユニットが存在す
る場合は、判定部ｌ３は、ｉ，番目のユニットあるいは
ｉ，番目のユニットのいずれか一方のユニットの結合重
みＷ ｄ ， Ｗ ｕの値を、所定の規則に従って求め
られた他の値に強制的に更新する指示信号を重み更新部
１４に出力する。Therefore, when such two units exist in the intermediate layer 2, the determination unit 13 determines the values of the connection weights W d and W u of either the i,th unit or the i,th unit. An instruction signal is output to the weight updating unit 14 to forcibly update the value to another value determined according to a predetermined rule.
そうすると、重み更新部ｌ４は、例えばｉ，番目のユニ
ットの結合重みＷ ｄ ， Ｗ ｕの値を次のように更
新する。Then, the weight updating unit l4 updates the values of the connection weights W d and W u of the i-th unit, for example, as follows.
Ｗｄ（Ｌ．Ｄ←Ｗｄ（Ｌ ， Ｄ ＋ Ｈ Ｉ Ｘ Ｒ
（ＤＷ ｕ（ｔ ｔ ， ｋ）”− Ｈ ２ ｘ Ｒ
（ｋ）但し、ｊ＝ｌ〜Ｊ
ｋ＝１〜Ｋ
Ｈｌ，Ｈ２は定数、
Ｒ（Ｄ．Ｒ（ｋ）はランダム関数
なお、上記定数Ｈｌ，Ｈ２およびランダム関数値は、夫
々上記記憶部に予め記憶されている。Wd(L.D←Wd(L, D + H I X R
(DW u(t t , k)”− H 2 x R
(k) However, j=l~J k=1~K Hl, H2 is a constant, R(D.R(k) is a random function. Note that the constants Hl, H2 and random function values are stored in the storage unit It is stored in advance.
こうすることによって、ニューラル・ネットワークの学
習が収束に向かうようにして、効率良くニューラル・ネ
ットワークの学習を行うことができる。By doing so, the learning of the neural network can be directed toward convergence, and the learning of the neural network can be efficiently performed.
このとき、該当するユニット以外のユニットにおける結
合重みＷｄ，Ｗｕの値を以後余り変化させたくなければ
、重み更新部１４は、学習過程において該等ユニット以
外のユニットの結合重みＷｄ，Ｗｕの値を前回の学習に
よる結合重みＷ ｄ ， Ｗ ｕの値に基づいて算出す
る際のステップ幅を決定する定数（すなわち、学習定数
や安定化定数）の値を小さい値に設定すればよい。こう
することによって、以後の学習においては中間層２のｉ
，番目のユニット６の結合重みＷｄ，Ｗｕの値のみが大
きく変化するようになる。At this time, if it is not desired to change the values of the connection weights Wd and Wu of units other than the relevant unit too much from now on, the weight updating unit 14 changes the values of the connection weights Wd and Wu of units other than the relevant unit in the learning process. The value of a constant (that is, a learning constant or a stabilization constant) that determines the step width when calculating based on the values of the connection weights W d and W u from the previous learning may be set to a small value. By doing this, in the subsequent learning, i of the intermediate layer 2
, only the values of the connection weights Wd and Wu of the unit 6 change significantly.
上述のように、この発明においては、モニター４の誤差
計算郎１０で算出される出力データの値と教師データの
値との誤差の平均値と、演算部１２で算出される中間層
２のｉ番目のユニットにおける入力層１の全ユニット（
すなわち、総てのｊ）に対するｌ Ｗｄ（ｉ．Ｄ Ｉの
平均の値と、ｉ番目のユニットにおける出力層３の全ユ
ニットに対するｌ Ｗｕ（ｉ，ｋ） Ｉの平均の値とに
基づいて、ニューラル・ネットワークの学習が収束に近
付いているのに、あまり学習に影響しない中間層２のユ
ニットが存在すると判定部ｌ３が判定した場合には、重
み更新部ｌ４によって結合重みＷｄ，Ｗｕの値を強制的
に“０゜に更新して学習に影響しないユニヅトのシナプ
ス結合を切るようにしている。したがって、この発明に
よれば、中間層２における不必要なユニットを切り離す
ことによって、ニューラル・ネットワークの学習の効率
を良くすると共に、当初やや多く設定された中間層２の
ユニットの数を最適に設定することができる。As described above, in the present invention, the average value of the error between the value of the output data calculated by the error calculator 10 of the monitor 4 and the value of the teacher data, and the i of the intermediate layer 2 calculated by the calculation unit 12 are used. All units of input layer 1 in the th unit (
That is, based on the average value of l Wd(i.D I for all j) and the average value of l Wu(i,k) I for all units of output layer 3 in the i-th unit, If the determining unit l3 determines that there is a unit in the intermediate layer 2 that does not significantly affect the learning even though the learning of the neural network is approaching convergence, the weight updating unit l4 changes the values of the connection weights Wd and Wu. By forcibly updating to 0°, synaptic connections of units that do not affect learning are cut off. Therefore, according to this invention, by separating unnecessary units in the middle layer 2, the neural network is In addition to improving learning efficiency, it is possible to optimally set the number of units in the middle layer 2, which was initially set to be slightly large.
また、誤差計算部１０で算出される出力データの値と教
師データの値との誤差の平均値と、演算部ｌ２で算出さ
れる１１番目とｉ，番目のユニットにおける入力層ｌの
全ユニットに対するｌ Ｗｄ（ｉ．，ＤＷｄ（Ｌ．ＤＩ
の平均の値と、１１番目とｉ，番目のユニットにおける
出力層３の全ユニットに対するＷｕ（Ｌ．ｋ）−Ｗｕ（
ｉｔ，ｋ） ｌの平均の値とに基づいて、ニューラル・
ネットワークの学習が収束に近付いていて、中間層２に
結合重みＷｄ，Ｗｕの値が極めて類似しているユニット
が存在すると判定部！３が判定した場合には、重み更新
部１４によってその類似しているユニットのうち１つの
ユニットに関する結合重みＷｄ，Ｗｕの値を残し、他の
ユニットに関する結合重みＷｄ，Ｗｕの値を強制的に“
０”に更新してそのシナプス結合を切るようにしている
。したがって、この発明によれば、中間層２における不
必要なユニットを切り離すことによりて、ニューラル・
ネットワークの学習の効率を良くすると共に、中間層２
のユニット数を最適に設定することができる。In addition, the average value of the error between the value of the output data and the value of the teacher data calculated by the error calculation unit 10, and the average value of the error between the value of the output data and the value of the teacher data calculated by the calculation unit 12, and the value for all units of the input layer l in the 11th and l Wd(i., DWd(L.DI
and Wu(L.k)−Wu( for all units of output layer 3 in the 11th and i,th units
it,k) based on the average value of l, the neural
The determination unit determines that the learning of the network is approaching convergence and that there is a unit in the intermediate layer 2 whose connection weights Wd and Wu are extremely similar! 3, the weight updating unit 14 leaves the values of the connection weights Wd, Wu for one of the similar units and forcibly updates the values of the connection weights Wd, Wu for the other units. “
Therefore, according to the present invention, by separating unnecessary units in the intermediate layer 2, neural
In addition to improving the efficiency of network learning, the middle layer 2
The number of units can be set optimally.
また、ニューラル・ネットワークの学習がなかなか収束
しない状態であって、中間層２に結合重みＷｄ，Ｗｕの
値が極めて類似しているユニットが存在すると判定部ｌ
３が判定した場合には、重み更新部Ｈによってその類似
しているユニットのうち１つのユニットに関する結合重
みＷｄ，Ｗｕの値を残し、他のユニットに関する結合重
みＷ ｄ ， Ｗ ｕの値を強制的に他の値に更新する
ようにしている。In addition, if the learning of the neural network is not converging easily and there are units in the intermediate layer 2 whose connection weights Wd and Wu are extremely similar, the determination unit l
3, the weight update unit H leaves the values of the connection weights Wd and Wu for one of the similar units and forces the values of the connection weights Wd and Wu for the other units. I am trying to update it to another value.
したがって、この発明によれば、なかなか収束しない学
習を収束に向かうように導くことによって、効率良くニ
ューラル・ネットワークの学習を行うことができる。Therefore, according to the present invention, learning of a neural network can be efficiently performed by guiding learning that is difficult to converge toward convergence.
換言すれば、この発明は、モニター４によって学凹時に
おけるニューラル・ネットワークの各ユニット間のシナ
プス結合の重みＷｄ，Ｗｕの値を監視し、所定の条件を
満たす重みＷｄ，Ｗｕの値を所定の値に更新するので、
この発明によれば、ニューラル・ネットワークの構造を
最適に決定することができるのである。In other words, the present invention monitors the weights Wd and Wu of the synaptic connections between each unit of the neural network during learning using the monitor 4, and sets the values of the weights Wd and Wu that satisfy a predetermined condition to a predetermined value. Since we update to the value,
According to this invention, the structure of a neural network can be optimally determined.
この発明における学習の収束判定、学習に影響しないユ
ニットの検出、結合重みＷ ｄ ， Ｗ ｕの値が類似
したユニットの検出等のアルゴリズムは、上記実施例に
おけるアルゴリズムに限定されるものではない。要は、
学習の収束を判定し、結合重みＷ ｄ ， Ｗ ｕの値
が“０”に近い中間層２のユニットを検出し、結合重み
Ｗｄ，Ｗｕの値が極類似した中間層２のユニットを検出
するアルゴリズムであればよい。The algorithms for determining convergence of learning, detecting units that do not affect learning, detecting units with similar values of connection weights W d and W u, etc. in this invention are not limited to the algorithms in the above embodiments. In short,
Determine the convergence of learning, detect units in the middle layer 2 whose connection weights W d and W u are close to “0”, and detect units in the middle layer 2 whose connection weights W d and Wu are extremely similar. Any algorithm is fine.
上記実施例においては、３Ｈｉパーセプトロン型ニュー
ラル・ネットワークにおける学習について説明している
。しかしながら、この発明はこれに限定されるものでは
なく、４層以上のパーセプトロン型ニューラル・ネット
ワークであってもよい。In the above embodiment, learning in a 3Hi perceptron neural network is explained. However, the present invention is not limited to this, and may be a perceptron type neural network with four or more layers.
上記実施例においては、多層バーセプトロン型ニューラ
ル・ネットワークの学習について説明しているが、他の
ニューラル・ネットワークの学ｇに用いてもよい。Although the above embodiment describes learning of a multilayer berceptron type neural network, it may be used for learning other neural networks.
〈発明の効果〉
以上より明らかなように、この発明のニューラル・ネッ
トワークの学習装置は、各ユニット間のシナプス結合の
重みの値をモニターによって監視し、所定の条件を満た
す重みの値を所定の値に更新するものである。したがっ
て、この発明によれば、ニューラル・ネットワークの構
造を最適に設定することができる。<Effects of the Invention> As is clear from the above, the neural network learning device of the present invention uses a monitor to monitor the weight values of synaptic connections between each unit, and determines the weight values that satisfy a predetermined condition by a predetermined value. This is what is updated to the value. Therefore, according to the present invention, the structure of the neural network can be set optimally.
また、この発明のニューラル・ネットワークの学習装置
における上記モニターは、誤差計算部．演算部，判定部
および重み更新部を有して、ニューラル・ネットワーク
の学習時に際して、出力データの値と教師データの値と
の誤差を上記誤差計算部によって求め、学習過程におけ
るニューラル・ネットワークの結合の重みの値が所定の
値より小さいユニットあるいは重みの値が類似している
ユニットを検出するための演算を上記演算部で行い、上
記誤差値と演算結果とに基づいて重みの値を更新すべき
であると上記判定部が判定した場合には、この判定部か
らの指示信号に従って、重みの値が所定の値より小さい
ユニットあるいは重みの値か類似しているユニットに関
する重みの値を、上記重み更新部によって強制的に更新
するようにしたものである。したがって、この発明によ
れば、効率の良い学習によってニューラル・ネットワー
クの構造を最適に設定することができる。Further, the monitor in the neural network learning device of the present invention is an error calculation section. It has an arithmetic unit, a judgment unit, and a weight update unit, and when the neural network is learning, the error calculation unit calculates the error between the output data value and the teaching data value, and the neural network connection in the learning process is performed. The calculation unit performs calculations to detect units whose weight values are smaller than a predetermined value or units whose weight values are similar, and update the weight values based on the error value and the calculation result. If the determination unit determines that the above-mentioned The weight update unit is configured to forcibly update the weight. Therefore, according to the present invention, the structure of the neural network can be optimally set through efficient learning.
また、この発明のニューラル・ネットワークの学習装置
における重み更新部は、学習が収束に近付いているのに
重みの値が小さいユニットがある場合に、上記判定部か
らの指示信号に従って、上記ユニットに関する重みの値
を零に更新するようにしたものである。したがって、こ
の発明によれば、不必要なユニットを切り離すことによ
って、ニューラル・ネットワークの学習の効率を良くす
ると共に、ニューラル・ネットワークの構造を最適に設
定することができる。Furthermore, when there is a unit with a small weight value even though learning is approaching convergence, the weight updating unit in the neural network learning device of the present invention updates the weight of the unit according to the instruction signal from the determining unit. The value of is updated to zero. Therefore, according to the present invention, by separating unnecessary units, it is possible to improve the learning efficiency of the neural network and to optimally set the structure of the neural network.
また、この発明のニューラル・ネットワークの学習装置
における重み更新部は、学習が収束に近付いているのに
重みの値が類似しているユニットが複数ある場合に、上
記判定部からの指示信号に従って、上記複数のユニット
のうち１つのユニットに関する重みの値を残し、他のユ
ニットに関する重みの値を零に更新するようにしたもの
である。Further, in the neural network learning device of the present invention, when there are a plurality of units with similar weight values even though learning is approaching convergence, the weight updating unit, in accordance with the instruction signal from the determining unit, The weight value for one unit among the plurality of units is left, and the weight values for the other units are updated to zero.
したがって、この発明によれば、不必要なユニットを切
り離すことによって、ニューラル・ネットワークの学習
の効率を良くすると共に、ニューラル・ネットワークの
構造を最適に設定することができる。Therefore, according to the present invention, by separating unnecessary units, it is possible to improve the learning efficiency of the neural network and to optimally set the structure of the neural network.
また、この発明のニューラル・ネットワークの学習装置
における重み更新部は、学習が収束しない状態であって
、重みの値が類似しているユニットが複数ある場合に、
上記判定部からの指示信号に従って、上記複数のユニッ
トのうち１つのユニットに関する重みの値を残し、他の
ユニットに関する重みの値を、所定の規則に従って求め
た重みの値に更新するようにしたものである。したがっ
て、この発明によれば、なかなか収束しない学習を収束
に導くことができ、ニューラル・ネットワークの学置の
効率をより良くすることができる。Further, the weight updating unit in the neural network learning device of the present invention, when learning has not converged and there are a plurality of units with similar weight values,
According to the instruction signal from the determination section, the weight value for one of the plurality of units is left, and the weight values for the other units are updated to the weight values determined according to a predetermined rule. It is. Therefore, according to the present invention, learning that is difficult to converge can be guided to convergence, and the efficiency of neural network storage can be improved.
第１図はこの発明のニューラル・ネットワークの学習装
置によってニューラル・ネットワークの学習を実施して
いる状態を示す概略図、第２図は第１図におけるニュー
ラル・ネットワークの構造の説明図、第３図は第ｌ図に
おけるモニターの詳細なブロック図である。
１・・・入力層、 ２・・・中間層、３・
・・出力層、 ４・・・モニター５・・・
入力層のユニット、
６・・・中間層のユニット、
７・・・出力層のユニット、
ＩＯ・・・誤差計算部、 ｌ１・・・重み入力部
、ｌ２・・・演算部、 １３・・・判定部、ｌ
４・・・重み更新部。Fig. 1 is a schematic diagram showing a state in which neural network learning is performed by the neural network learning device of the present invention, Fig. 2 is an explanatory diagram of the structure of the neural network in Fig. 1, and Fig. 3 1 is a detailed block diagram of the monitor in FIG. 1... Input layer, 2... Middle layer, 3...
...Output layer, 4...Monitor 5...
Input layer unit, 6... Middle layer unit, 7... Output layer unit, IO... Error calculation unit, l1... Weight input unit, l2... Arithmetic unit, 13... Judgment part, l
4... Weight update section.
Claims (5)
ユニット間のシナプス結合の重みの値を監視し、所定の
条件を満たす重みの値が存在する場合は、その重みの値
を所定の値に更新するモニターを備えて、上記ニューラ
ル・ネットワークの構造を最適に決定することを特徴と
するニューラル・ネットワークの学習装置。(1) A monitor that monitors the weight values of synaptic connections between each unit of the neural network during learning, and if there is a weight value that satisfies a predetermined condition, updates the weight value to a predetermined value. A neural network learning device, comprising: optimally determining the structure of the neural network.
学習装置において、 上記モニターは、 ニューラル・ネットワークの学習時に際して、入カデー
タの入力に応じて上記ニューラル・ネットワークから出
力される出力データと上記入力データの教師データとを
取り込んで、この出力データの値と教師データの値との
誤差を算出する誤差計算部と、 学習過程における上記ニューラル・ネットワークの各ユ
ニット間のシナプス結合の重みの値を取り込んで、上記
重みの値が所定の値より小さいユニットあるいは重みの
値が類似しているユニットを検出するための演算を、所
定のアルゴリズムに従って行う演算部と、 上記誤差計算部からの誤差値と上記演算部からの演算結
果とに基づいて、上記重みの値を更新すべきか否かを判
断し、重みの値を更新すべきであると判定した場合には
指示信号を出力する判定部と、 上記判定部から出力される指示信号に従って、重みの値
が所定の値より小さいユニットあるいは重みの値が類似
しているユニットに関する重みの値を強制的に更新する
重み更新部を有することを特徴とするニューラル・ネッ
トワークの学習装置。(2) In the neural network learning device according to claim 1, when the neural network is trained, the monitor monitors the output data output from the neural network according to the input data and the input data. an error calculation section that takes in the training data of and calculates the error between the value of this output data and the value of the training data; , an arithmetic unit that performs an operation according to a predetermined algorithm to detect units whose weight values are smaller than a predetermined value or units whose weight values are similar; and an error value from the error calculation unit and the arithmetic operation. a determination unit that determines whether or not the weight value should be updated based on the calculation result from the unit, and outputs an instruction signal when it is determined that the weight value should be updated; A neural network characterized in that it has a weight updating section that forcibly updates the weight values of units whose weight values are smaller than a predetermined value or whose weight values are similar, according to an instruction signal output from the neural section.・Network learning device.
学習装置において、 上記重み更新部は、学習が収束に近付いているのに重み
の値が所定の値より小さいユニットがある場合に、上記
判定部からの指示信号に従って、上記ユニットに関する
重みの値を零に更新するようになっていることを特徴と
するニューラル・ネットワークの学習装置。(3) In the neural network learning device according to claim 2, when there is a unit whose weight value is smaller than a predetermined value even though learning is approaching convergence, the weight updating section updates the determining section. A learning device for a neural network, characterized in that the weight value for the unit is updated to zero according to an instruction signal from the neural network.
学習装置において、 上記重み更新部は、学習が収束に近付いているのに、重
みの値が類似しているユニットが複数ある場合に、上記
判定部からの指示信号に従って、上記複数のユニットの
うち１つのユニットに関する結合の重みの値を残し、他
のユニットに関する結合の重みの値を零に更新するよう
になっていることを特徴とするニューラル・ネットワー
クの学習装置。(4) In the neural network learning device according to claim 2, the weight updating unit performs the judgment when there are a plurality of units with similar weight values even though learning is approaching convergence. The neural network is configured to leave a connection weight value for one unit among the plurality of units and update connection weight values for other units to zero according to an instruction signal from the unit.・Network learning device.
学習装置において、 上記重み更新部は、学習が収束しない状態であって、重
みの値が類似しているユニットが複数ある場合に、上記
判定部からの指示信号に従って、上記複数のユニットの
うち１つのユニットに関する結合の重みの値を残し、他
のユニットに関する結合の重みの値を、所定の規則に従
って求められた重みの値に更新するようになっているこ
とを特徴とするニューラル・ネットワークの学習装置。(5) In the neural network learning device according to claim 2, when the weight updating section is in a state where learning has not converged and there are a plurality of units having similar weight values, the weight updating section is configured to update the determining section. According to an instruction signal from the unit, the connection weight value for one unit among the plurality of units is left, and the connection weight value for the other units is updated to the weight value determined according to a predetermined rule. A neural network learning device characterized by:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1052684A JPH02231670A (en) | 1989-03-03 | 1989-03-03 | Learning device for neural network |
| US07/827,494 US5195169A (en) | 1989-03-03 | 1992-01-30 | Control device for controlling learning of a neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1052684A JPH02231670A (en) | 1989-03-03 | 1989-03-03 | Learning device for neural network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02231670A true JPH02231670A (en) | 1990-09-13 |
Family
ID=12921715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1052684A Pending JPH02231670A (en) | 1989-03-03 | 1989-03-03 | Learning device for neural network |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02231670A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1991014226A1 (en) * | 1990-03-12 | 1991-09-19 | Fujitsu Limited | Neuro-fuzzy fusion data processing system |
| JPH04199259A (en) * | 1990-11-26 | 1992-07-20 | Hitachi Ltd | Neural network and methods or device for remembering and learning neural network |
| EP0521643A1 (en) * | 1991-07-04 | 1993-01-07 | Hitachi, Ltd. | Method of automated learning, an apparatus therefor, and a system incorporating such an apparatus |
| US5287533A (en) * | 1990-06-28 | 1994-02-15 | Sharp Kabushiki Kaisha | Apparatus for changing individual weight value of corresponding synaptic connection for succeeding learning process when past weight values satisfying predetermined condition |
| US5313559A (en) * | 1991-02-15 | 1994-05-17 | Hitachi, Ltd. | Method of and system for controlling learning in neural network |
| US5555345A (en) * | 1991-03-25 | 1996-09-10 | Atr Interpreting Telephony Research Laboratories | Learning method of neural network |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63255761A (en) * | 1987-04-14 | 1988-10-24 | Mitsubishi Heavy Ind Ltd | Time series rule inductive inference device |
-
1989
- 1989-03-03 JP JP1052684A patent/JPH02231670A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63255761A (en) * | 1987-04-14 | 1988-10-24 | Mitsubishi Heavy Ind Ltd | Time series rule inductive inference device |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1991014226A1 (en) * | 1990-03-12 | 1991-09-19 | Fujitsu Limited | Neuro-fuzzy fusion data processing system |
| US5875284A (en) * | 1990-03-12 | 1999-02-23 | Fujitsu Limited | Neuro-fuzzy-integrated data processing system |
| US6456989B1 (en) | 1990-03-12 | 2002-09-24 | Fujitsu Limited | Neuro-fuzzy-integrated data processing system |
| US5287533A (en) * | 1990-06-28 | 1994-02-15 | Sharp Kabushiki Kaisha | Apparatus for changing individual weight value of corresponding synaptic connection for succeeding learning process when past weight values satisfying predetermined condition |
| JPH04199259A (en) * | 1990-11-26 | 1992-07-20 | Hitachi Ltd | Neural network and methods or device for remembering and learning neural network |
| US5313559A (en) * | 1991-02-15 | 1994-05-17 | Hitachi, Ltd. | Method of and system for controlling learning in neural network |
| US5555345A (en) * | 1991-03-25 | 1996-09-10 | Atr Interpreting Telephony Research Laboratories | Learning method of neural network |
| EP0521643A1 (en) * | 1991-07-04 | 1993-01-07 | Hitachi, Ltd. | Method of automated learning, an apparatus therefor, and a system incorporating such an apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9639802B2 (en) | Multi-modal neural network for universal, online learning | |
| US8799199B2 (en) | Universal, online learning in multi-modal perception-action semilattices | |
| US10580432B2 (en) | Speech recognition using connectionist temporal classification | |
| CN107729999A (en) | Consider the deep neural network compression method of matrix correlation | |
| CN111445010B (en) | Distribution network voltage trend early warning method based on evidence theory fusion quantum network | |
| US11977972B2 (en) | Residual semi-recurrent neural networks | |
| Anochi et al. | Self-configuring two types of neural networks by mpca | |
| JPH02231670A (en) | Learning device for neural network | |
| CN113298231A (en) | Graph representation space-time back propagation algorithm for impulse neural network | |
| Anderson et al. | Reinforcement learning with modular neural networks for control | |
| CN108538301A (en) | A kind of intelligent digital musical instrument based on neural network Audiotechnica | |
| Khalil | Comparison of four neural network learning methods based on genetic algorithm for non-linear dynamic systems identification | |
| Looney | Neural networks as expert systems | |
| CN115204350A (en) | Training method and training device for impulse neural network | |
| JP2540654B2 (en) | Learning device for neural network | |
| JPH05342189A (en) | Learning system for network type information processor | |
| KR102090109B1 (en) | Learning and inference apparatus and method | |
| Lawrence et al. | The gamma MLP-using multiple temporal resolutions for improved classification | |
| RU2774625C1 (en) | Modified intelligent controller with fuzzy rules and neural network training unit | |
| JPH05204885A (en) | Device and method for accelerating learning of neural network | |
| JPH11175494A (en) | Neural network | |
| JPH0981535A (en) | Learning method for neural network | |
| JP2813567B2 (en) | Inference rule determination apparatus and inference rule determination method | |
| NURMAGAMBETOV et al. | A GROWING FEEDFORWARD NEURAL NETWORK | |
| Georgieva | Generalized Net Model of the Deep Convolutional Neural Network |