JPH01173257A - Network constituting data processor - Google Patents
Network constituting data processorInfo
- Publication number
- JPH01173257A JPH01173257A JP62333484A JP33348487A JPH01173257A JP H01173257 A JPH01173257 A JP H01173257A JP 62333484 A JP62333484 A JP 62333484A JP 33348487 A JP33348487 A JP 33348487A JP H01173257 A JPH01173257 A JP H01173257A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- layer
- input
- output
- units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000013016 learning Effects 0.000 abstract description 26
- 230000006870 function Effects 0.000 abstract description 18
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 21
- 239000013598 vector Substances 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 238000003672 processing method Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- OVSKIKFHRZPJSS-UHFFFAOYSA-N 2,4-D Chemical compound OC(=O)COC1=CC=C(Cl)C=C1Cl OVSKIKFHRZPJSS-UHFFFAOYSA-N 0.000 description 1
- 241000122205 Chamaeleonidae Species 0.000 description 1
- 241000238557 Decapoda Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Abstract
Description
【発明の詳細な説明】
〔概 要〕
累算部と閾値処理部とを有する基本ユニ・ノドを単位ユ
ニットとして、少なくとも入力層と中間層と出力層とを
構成した階層ネットワーク構成のデータ処理装置におい
て。[Detailed Description of the Invention] [Summary] A data processing device having a hierarchical network configuration in which at least an input layer, an intermediate layer, and an output layer are configured using a basic uni-node having an accumulation section and a threshold processing section as a unit unit. In.
階層ネットワークの適応性を低下させずに、しかも、簡
単な入力方法で内部結合の重みと閾値との同時自動調節
を可能にする技術を実現することを目的としており。The purpose of this study is to realize a technology that enables simultaneous automatic adjustment of internal connection weights and thresholds using a simple input method without reducing the adaptability of a hierarchical network.
上記入力層を構成する単位ユニットに、入力信号とは別
に常に値「１」を入力値としてもつ閾値入カニニットを
１つ以上設け、当該閾値入カニニットからの出力によっ
て中間層以降の層を構成する単位ユニットの閾値を設定
するよう構成している。The unit forming the input layer is provided with one or more threshold-input crab units that always have the value "1" as an input value in addition to the input signal, and the layers after the middle layer are configured by the output from the threshold-input crab units. It is configured to set a threshold value for each unit.
本発明は、コンピュータの適応的なデータ処理に関する
。The present invention relates to adaptive data processing in computers.
近年の人工知能（ＡＩ）の進展に伴い、工場。With the advancement of artificial intelligence (AI) in recent years, factories.
オフィス等へのＡＩ技術の導入が盛んに行われている。AI technology is being actively introduced into offices and other areas.
ＡＩ技術は、使い易いコンピュータの実現技術として大
きい期待が持たれている。この期待に応えるため、エキ
スパートシステム等を適用したＡＩコンピュータが提供
されているが、従来の逐次データ処理を基本とするコン
ピュータ技術では、ロボットの制御、パターン認識、自
然言語処理、不十分な情報による推論など多様化する使
用方法や環境の変化に応えることが難しくなって来てい
る。このため、使用方法や環境の変化に応じてコンピュ
ータの特性を適応的に調整する技術の開発が必須となっ
ている。There are great expectations for AI technology as a technology for realizing easy-to-use computers. In order to meet this expectation, AI computers that apply expert systems etc. are being provided, but conventional computer technology based on sequential data processing cannot control robots, pattern recognition, natural language processing, etc. It is becoming difficult to respond to diversifying usage methods such as inference and changes in the environment. For this reason, it is essential to develop technology that adaptively adjusts computer characteristics in response to changes in usage and environment.
従来の逐次処理コンピュータ（ノイマン型コンピュータ
）では、使用方法や環境の変化に応じてコンピュータの
特性を適応的に調整することが難しいので、コンピュー
タに適応機能を与えるデータ処理方式として新たに階層
ネットワークによる並列分散処理方式が提唱されている
。特に、ハック・プロパゲーション法と呼ばれる処理方
式（Ｄ。With conventional sequential processing computers (Neumann type computers), it is difficult to adaptively adjust the characteristics of the computer according to changes in usage or environment, so a new data processing method that gives computers adaptive functions is based on hierarchical networks. A parallel distributed processing method has been proposed. In particular, a processing method called the hack propagation method (D.
Ｅ、 Ｒｕｍｅｌｈａｒｔ、 Ｇ、 Ｅ、 Ｈｉｎｔ
ｏｎ、 ａｎｄ Ｒ，Ｊ。E, Rumelhart, G, E, Hint
on, and R,J.
Ｗｉｌｌｉａｍｓ、” Ｌｅａｒｎｉｎｇ Ｉｎｔ
ｅｒｎａｌＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ Ｅ
ｒｒｏｒ Ｐｒｏｐａｇａｔｉｏｎ、 ”ＰＡＲＡＬＬ
ＥＬ 旧５ＴＲＩＢＵＴＥＤ ＰＲＯＣＥＳＳＩＮ
Ｇ、 Ｖｏｌ、Ｌ ｐｐ。Williams, “Learning Int.
ernalRepresentations by E
rror Propagation, “PARALL
EL Old 5TRIBUTED PROCESSIN
G, Vol, L pp.
３１８−３６４． Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ、 １
９８６）がその実用性の高さから注目されている。この
バンク・プロパゲーション法を説明すると次のようにな
る。318-364. The MIT Press, 1
986) is attracting attention due to its high practicality. This bank propagation method is explained as follows.
バンク・プロパゲーション法ではユニ・ットと呼ぶ一種
のノードと重みを持つ内部結合とから階層ネットワーク
を構成している。第１３図は、ユニットの内部構成を示
したもので基本ユニ・７トと呼ふ。In the bank propagation method, a hierarchical network is constructed from a type of node called a unit and internal connections with weights. FIG. 13 shows the internal configuration of the unit, which is called the basic unit 7.
この基本ユニット３は、多大カー出力系となっている。This basic unit 3 is a large car output system.
このユニットでは、複数の各々の入力に対し各々の内部
結合の重みを乗じてこれらの全乗算結果を和算する累算
部１と、更に閾値処理を施して一つの出力を出す閾値処
理部２とをもっている。This unit includes an accumulator 1 that multiplies each of a plurality of inputs by the weight of each internal connection and sums up all the multiplication results, and a threshold processor 2 that further performs threshold processing to produce a single output. I have this.
即ちハック・プロパゲーション法における基本ユニット
でのデータ処理は、入力と重みとの積和演算および閾値
処理からなっている。ここで、バンク・プロパゲーショ
ン法では閾値の関数として。That is, data processing in the basic unit in the Huck propagation method consists of a product-sum calculation of an input and a weight, and threshold processing. where as a function of the threshold in the bank propagation method.
式（２）で示される８字関数を用いている。The 8-character function shown in equation (2) is used.
基本ユニットで行われる演算を数式で示すと以下のよう
になる。The calculations performed in the basic unit are expressed as follows.
Ｘｐｉ−ΣｙｐｈＷｔｈ 式（１）
Ｖｅｒ＝ １／（１＋ｅｘｐ（−Ｘｐｉ＋θ、））
式（２）但し。Xpi−ΣyphWth Formula (1)
Ver= 1/(1+exp(-Xpi+θ,))
Formula (2) However.
ｈ ｚｈ層のユニット番号
ｉ ：ｉ層のユニット番号
ｐ ：入カバターン番号
θ、＝ｉ層のｉ番目のユニットの閾値
ｗｌｈ：ｈ−４層間の内部結合の重み
ｚｐ、Ｈｈ層の各ユニットからｉ層の１番ユニットへの
入力の積和
ｙｐｈ’ｌｌ）パターン入力に対するｈ層の出力Ｖｐｉ
＃パターン入力に対するｉ層の出力バック・プロパゲー
ション法では、この積和と閾値処理を基本とする基本ユ
ニット３を第１４図のような誤差フィードハックを持つ
階層ネットワーク構造として２重めと閾値とを誤差のフ
ィードハックにより適応的に自動調節するアルゴリズム
を用い、所望のデータ処理方法をネットワークに学習さ
せることにより適応的なデータ処理を実行する。第１図
は入力層と１つまたは複数層よりなる中間層と出力層と
で構成されている状態を表わしている。h zh layer unit number i: i layer unit number p: input cover turn number θ, = threshold value of the i-th unit of the i layer wlh: weight zp of internal connection between h-4 layers, i from each unit of the Hh layer Sum of products of the inputs to the first unit of the layer yph'll) Output Vpi of the h layer for the pattern input
# In the i-layer output back propagation method for pattern input, the basic unit 3, which is based on sum of products and threshold processing, is converted into a hierarchical network structure with error feed hack as shown in Fig. 14, with double layer and threshold processing. Adaptive data processing is performed by making the network learn the desired data processing method using an algorithm that adaptively and automatically adjusts the data processing method using error feed-hacking. FIG. 1 shows a state in which the device is composed of an input layer, an intermediate layer consisting of one or more layers, and an output layer.
第１５図は、ハック・プロパゲーション法により一種の
パリティチエツク処理をネットワークに学習（重みと閾
値との自動調整）させた結果のネットワークを示してい
る。ここで、第１５図（Ａ）図示のＮｅｔｌと第１５図
（Ｂ）図示のＮｅ ｔ２とは夫々奇数パリティをチエツ
クする同一の特性、即ち、 「Ｏ」または「１」をとる
３つの入力に対して「１」の数が奇数個のとき出力層は
「１」を出力するようになっている。第１５図では、内
部結合線の隣の数字が重みであり、ユニットを表す○の
中の数字が閾値である。ＮｅｔｌとＮｅｔ２とを比較す
ると１重めと閾値とが全く異なることが分かる。これは
、ネットワークに冗長性があるため、こうした差異が生
ずることになる。FIG. 15 shows a network resulting from learning a type of parity check processing (automatic adjustment of weights and thresholds) in the network using the hack propagation method. Here, Netl shown in FIG. 15(A) and Net2 shown in FIG. 15(B) each have the same characteristic of checking odd parity, that is, three inputs that take "O" or "1". On the other hand, when the number of "1"s is odd, the output layer outputs "1". In FIG. 15, the numbers next to the internal connection lines are weights, and the numbers inside circles representing units are thresholds. Comparing Netl and Net2, it can be seen that the 1st weight and the threshold value are completely different. This difference occurs because there is redundancy in the network.
このようなネットワーク構造を持つ処理装置の適応性は
、識別しようとする数基上に設定した中間層ユニット数
の冗長性（余分なユニットの数）により決まるもので、
この適応性を高めるには中間層ユニット数を冗長な値と
せざるを得ない。このことは１重みと閾値とを一意に決
めることが出来ない（正解となる重みと閾値との組み合
わせが多数ある）ことを意味している。また１式（１）
および式（２）から、ハック・プロパゲーション法では
重みと閾値との調節が同時に実行される必要があり１重
みと閾値との設定は相互に干渉する難しい作業となる。The adaptability of a processing device with such a network structure is determined by the redundancy (number of extra units) of the number of middle layer units set above the number of units to be identified.
In order to improve this adaptability, the number of intermediate layer units must be set to a redundant value. This means that one weight and threshold cannot be uniquely determined (there are many combinations of weight and threshold that are correct). Also 1 set (1)
From Equation (2), in the hack propagation method, it is necessary to adjust the weight and the threshold value simultaneously, and setting the weight and the threshold value is a difficult task that interferes with each other.
従来の方法では、ユニット毎に閾値を与えていたが、ユ
ニット数が多数となると各ユニット毎に閾値を与えるこ
とが煩雑で面倒な作Ｑ−
業となるため、閾値の自動設定が切望されていた。In the conventional method, a threshold value was assigned to each unit, but when the number of units increases, assigning a threshold value to each unit becomes a complicated and troublesome task, so automatic setting of threshold values is highly desired. Ta.
本発明は９階層ネットワークの適応性を低下させずに、
しかも、Ｎ単な入力方法で内部結合の重みと閾値との同
時自動調節を可能とする技術を実現することを目的とし
ている。The present invention does not reduce the adaptability of the 9-layer network, and
Moreover, the present invention aims to realize a technique that enables simultaneous automatic adjustment of the weights of internal connections and the threshold values using N simple input methods.
第１図は２本発明の原理説明図である。このデータ処理
装置では、入力層に入力信号数の入カニニット３−ｈの
外に閾値調節用の閾値人カユニノ）３’−ｈが設けであ
る。この閾値入カニニット３′−ｈには、常に「１」が
入力されている。中間層の各々のユニット３−４の閾値
は、閾値入力のユニット３’−ｈからの「１」と内部結
合の重みとの積により自動的に調節される。また、中間
層のユニット３−１の数は、出力層のユニット３−ｊの
閾値を入力層の閾値入カニニット３′−りにより調節す
ることを目的に、ユニット数に冗長性を持たせている。FIG. 1 is an explanatory diagram of the principle of the present invention. In this data processing device, in addition to the input signal input unit 3-h for inputting the number of input signals, the input layer is provided with a threshold value adjustment unit 3'-h for adjusting the threshold value. "1" is always input to this threshold input crab unit 3'-h. The threshold of each unit 3-4 of the hidden layer is automatically adjusted by the product of the "1" from the threshold input unit 3'-h and the weight of the inner connection. In addition, the number of units 3-1 in the intermediate layer is set to have redundancy in order to adjust the threshold value of the unit 3-j in the output layer by the threshold value input unit 3'-input layer in the input layer. There is.
本発明の中間層のユニット３−４の数は。The number of units 3-4 in the intermediate layer of the present invention is as follows.
中間層のユニット数−２＊入カニニツト数＋１としてい
る。The number of units in the middle layer - 2 * the number of incoming crabs + 1.
本発明では、第１図に示したように入力層に常に「１」
を入力信号として持つ閾値入カニニット３’−ｈを設け
、また中間層ユニソＩ−３−ｉの数に冗長性を持たせて
いるため、中間層ユニ・シト３−１の閾値も出力層ユニ
ット３−ｊの閾値も一つの閾値入カニニット３′−ｈに
より自動調節される。In the present invention, as shown in FIG. 1, the input layer always has "1".
Since a threshold-input unit 3'-h is provided which has the input signal as an input signal, and redundancy is provided in the number of intermediate layer unit I-3-i, the threshold value of the intermediate layer unit 3-1 is also equal to the output layer unit. The threshold value of 3-j is also automatically adjusted by one threshold value input crab unit 3'-h.
従って、各ユニットの閾値を全く意識しないで。Therefore, don't be conscious of the threshold value of each unit at all.
且つネットワークの適応性を低下させずにただ重みのみ
の調節という簡単な操作により重みと閾値の自動調節が
可能となる。In addition, weights and thresholds can be automatically adjusted by simply adjusting only the weights without reducing the adaptability of the network.
なお本発明において、上述の如く入力層に閾値入カユニ
ッ）３”−ｈを設けたことによって中間層の各ユニット
３−ｉの閾値を、中間層に対する重みＷｌを設定するこ
とと同等の処理にて設定できる理由は次の如きものと考
えてよい。即ち。In the present invention, by providing the threshold value input unit 3''-h in the input layer as described above, the threshold value of each unit 3-i of the intermediate layer can be set to the same processing as setting the weight Wl for the intermediate layer. The reason why this can be set can be considered as follows.
中間層の各ユニット３−４においては、入力層内の１つ
余分にもうけたユニット３’−ｈからの値ｙｐｈが常に
「１」であることから、値Ｘｐｉば式％式％
（但し、は入力層の閾値人カニニットの番号）で与えら
れる。この結果からθｉ −ｗ、ｈ−とじて弐（２）に
代入すると。In each unit 3-4 of the intermediate layer, since the value yph from the extra unit 3'-h in the input layer is always "1", the value Xpi is expressed as is given by the threshold value of the input layer. From this result, divide θi -w, h- and substitute it into 2 (2).
ｙｐ、＝ １ ／（１＋ｅｘｐ（−ＸｐｌＷｔｈ・））
となり２式（２）に示されている閾値θ、を実質的に（
θ１−Ｗｉ、／）に設定変更したことに対応する。yp, = 1/(1+exp(-XplWth・))
Then, the threshold value θ shown in Equation (2) is essentially (
This corresponds to changing the setting to θ1−Wi,/).
即ち、中間層における各ユニットの閾値をいちいち設定
する煩雑さが解消される。That is, the complexity of setting the threshold value for each unit in the intermediate layer one by one is eliminated.
上記入力層における閾値入カニニット３′−ｈをもうけ
て中間層における各ユニット３−４の閾値をいわば自動
設定した結果を元に出力層の閾値を自動設定すべく閾値
入カユニットｌ−ｈの影響を出力層の各ユニソＩ−３−
ｊに伝播させるために。In order to automatically set the threshold value of the output layer based on the result of automatically setting the threshold value of each unit 3-4 in the intermediate layer by creating the threshold value input unit 3'-h in the input layer, the threshold value input unit l-h The influence of each Uniso I-3 on the output layer
to propagate to j.
中間層のユニット３−ｉの個数に識別すべき数より大き
い数となる冗長性をもたせるようにしてい第１図に示し
た階層ネットワークの重みの更新のアルゴリズムを以下
に説明する。式（１）９式（２）からの類推によって次
の式が得られる。即ち。An algorithm for updating the weights of the hierarchical network shown in FIG. 1, in which the number of units 3-i in the intermediate layer is made to have redundancy that is larger than the number to be identified, will be described below. By analogy with Equation (1)9 and Equation (2), the following equation can be obtained. That is.
ｘｐｌ−ΣＶ ｐｈ ｗ＝ ｈ 式
（９）ｙｐｉ ＝ １ ／ （１＋ｅｘｐ（ｘ ｐｉ＋
θ、）） 式（１０）ｘｐＪ−Σｙｐｉ Ｗ ｊｉ
式（１１）ｙｐＪ＝ １／（１＋ｅｘ
ｐ（−Ｘ、。＋θ、））式（１２）但し。xpl−ΣV ph w= h Equation (9) ypi = 1 / (1+exp(x pi+
θ, )) Formula (10) xpJ−Σypi W ji
Formula (11) ypJ= 1/(1+ex
p(-X, .+θ,)) Formula (12) However.
３’ｐｈ：Ｉ）番目パターン入力値に対するｈ層（ここ
では入力層）のｈ番目のユニットからの出力
ｙｐｉ’ｐ番目パターン入力値に対するｉ層（ここては
中間層）のｉ番目のユニ・７トからの出力
ｙｐｊ’ｌ）番目パターン入力値に対するｊ層（ここて
は出力層）のｊ番目のユニットからの出力
ｘｌ）ｉ層１層のｉ番目のユニットへのｐ番目パターン
入力に対する総和
Ｘｐｊ’Ｊ層のｊ番目のユニットへのｐ番目パターン入
力に対する総和
ｖｔ、、：ｈ層り番目ユニットとｉ層ｉ番目ユニット間
の重み
ｗＪ、＝ｉＮｉ番目ユニットとｊ層ｊ番目ユニット間の
重み
次に、これらの値から、教師入力ベクトルとネットワー
クの出力ムク１〜ルとの誤差の二乗和Ｅｐをネットワー
クの誤差として計算する。3'ph: Output from the h-th unit of the h-layer (input layer here) for the I)-th pattern input value ypi' the i-th uni-unit of the i-layer (here the intermediate layer) for the p-th pattern input value Output from the 7th layer ypj'l) Output from the jth unit of the j layer (output layer here) for the input value of the 1st layer Xpj' Total sum vt for the p-th pattern input to the j-th unit of the J layer, , : Weight wJ between the h-th unit and the i-th unit of the i-th layer wJ, = i Weight between the Ni-th unit and the j-th unit of the j layer Next, from these values, the sum of squares Ep of the errors between the teacher input vector and the outputs of the network is calculated as the error of the network.
Ｅｐ−’ＡΣ（ｙｐ、＋−ｄｐｉ）２式（１３）％式％
Ｅｐ ：ｐ番目パターン入力に対する誤差ベクトル
Ｅ ：全パターン入力に対する誤差ベクトルの総和
ｄｐＪ：ｐ番目パターン入力に対するｊ層ｊ番目ユニッ
トへの教師信号
ここで誤差ヘクトルと出力層ベクトルとの関係を求める
ため、弐α３）をｙｐＪに関して偏微分すると。Ep-'AΣ(yp, +-dpi)2 Equation (13) % Equation % Ep: Error vector for p-th pattern input E: Sum of error vectors for all pattern inputs dpJ: j-th layer, j-th unit for p-th pattern input Here, in order to find the relationship between the error hector and the output layer vector, we partially differentiate 2α3) with respect to ypJ.
ｙｐＪ
を得る。更に、誤差ベクトルとｊ層への入力との関係を
求めるため、誤差部をｘ、、４で偏微分すると。Obtain ypJ. Furthermore, in order to find the relationship between the error vector and the input to the j layer, the error part is partially differentiated by x, 4.
ａＥｐ ａＥｐ ａｙ□８ Ｘｐｊ
ａ’Ｉｐｉ ａＸｐｊ−６９゜ ｙ ｐ、
（１−ｙｐ り 弐（１５）を得る。aEp aEp ay□8 Xpj
a'Ipi aXpj-69゜y p,
(1-yp ri 2 (15) is obtained.
但し９本実施例では入力層に１つの入カニニット３′−
ｈを設けこのユニット３’−ｈに常に「１」の値を入力
する方式を採用することで、他の各ユニットの閾値θの
自動調節を実現しているので弐にθの値は出てこない。However, in this embodiment, one input layer 3'-
h is provided and a value of "1" is always input to this unit 3'-h, thereby realizing automatic adjustment of the threshold value θ of each other unit, so that the value of θ does not appear in 2. Not coming.
更に、誤差ベクトルとｉ−ｊ層間の重みとの関係をもと
めるため。Furthermore, to find the relationship between the error vector and the weight between layers ij.
誤差ベクトルをＷｊｉで偏微分すると。When the error vector is partially differentiated by Wji.
ａＥｐ ａ Ｅ ｐ ｆ３ Ｘ ｐｊ
θＷ、 θＸ、ｊ ａＷ＝を−６２、ｙｐＪ
（１ｙｐＪ） Ｖｐ＝ 弐（１６）の積和で表される
解を得る。aEp a E p f3 X pj
θW, θX, j aW=-62, ypJ
(1ypJ) Vp= 2 Obtain the solution expressed as the sum of products (16).
次に、ｉ層の出力ｙｐｉに対する誤差ベクトルＥ９の変
化を求めると。Next, find the change in the error vector E9 with respect to the output ypi of the i layer.
θｙｐ； ｊ ａＸｐｉ θＹｐｉを得る
。更に、１屑入カニニットへの総和Ｘｐｉの変化に対す
る誤差ベタ１−ルＥｐの変化を計算すると。θyp; j aXpi θYpi is obtained. Furthermore, if we calculate the change in the error value Ep with respect to the change in the total sum Xpi for 1 piece of crab knit.
ａＥｐ ａＥｐ ａｙｐ＋８ ｘＰｉ
ａ ｙｐｉ ａ Ｘｐｉ−（Σδ１、ｙｐＪ
（１−ｙｐｊ）Ｗｙ；）ｙｐｔ（１−ｙｐ＝）式（１８
）
の積和で表される解を得る。更に、ｈ−ｉ層間の重みの
変化に対する誤差ベクトルの変化の関係を求めると。aEp aEp ayp+8 xPi
a ypi a Xpi-(Σδ1, ypJ
(1-ypj)Wy;)ypt(1-yp=)Formula (18
) to obtain the solution expressed as the sum of products. Furthermore, the relationship between the change in the error vector and the change in the weight between the h-i layers is determined.
ａＥｐ ａＥｐ ’ ａＸａ８８ｖＨ，
８ｘｐ＝ ８ｗ４゜
−（ΣδｐＪｙｐＪ（１ｙｐり Ｗ＝□） ｙｐｉ
（Ｉ Ｖ ｐ；） ｙ ｐｈ式（１９）
の積和で表される解を得る。aEp aEp' aXa88vH,
8xp= 8w4゜-(ΣδpJypJ(1ypri W=□) ypi
(I V p;) y ph A solution expressed by the sum of products of equation (19) is obtained.
これらから、全入カバターンに対する誤差ベクトルとｉ
−ｊ層間の重みとの関係を求めると以下のようになる。From these, the error vector for the full input cover pattern and i
The relationship with the weight between −j layers is as follows.
ａＷｊｉ ｐ ａＷ・・
また、全入カバターンに対する誤差ベクトルとｈ−１層
間の重みとの関係を求めると以下のようになる。aWji p aW... Furthermore, the relationship between the error vector for the full input cover pattern and the weight between the h-1 layers is as follows.
ａｗｌｈ ｐ ａＷｉｈ
式（２０）および式（２１）は、各層間の重みの変化に
対する誤差ベクトルの変化率を示していることから、こ
の値が常に負になるように重みを変化させると公知の勾
配法により、誤差の２乗和であるＥを漸近的に０とする
ことができる。そこで本実施例では１重みの一回当たり
の変化量ΔＷｊｉを以下のように設定し、勾配法に基づ
き繰り返しこの操作を行い、Ｅを零に収束させている。awlh p aWih Equations (20) and (21) indicate the rate of change of the error vector with respect to changes in the weight between each layer, so if the weight is changed so that this value is always negative, the known gradient By using the method, E, which is the sum of squares of errors, can be asymptotically set to 0. Therefore, in this embodiment, the amount of change ΔWji per weight is set as follows, and this operation is repeated based on the gradient method to converge E to zero.
８Ｗ１゜ 但し。8W1゜ however.
ε：学習率（勾配法の勾配率と同じ機能）更に３本発明
では、勾配法における収束時の振動を抑制する目的で学
習速度を弐（２２）および式（２３）に適用して、ΔＷ
ｉｈとΔＷｊｉを以下のように設定している。ε: Learning rate (same function as the gradient rate of the gradient method) In addition, in the present invention, in order to suppress vibrations at the time of convergence in the gradient method, the learning rate is applied to (22) and Equation (23), and ΔW
ih and ΔWji are set as follows.
但し。however.
α：学習速度定数
ｔ：回数
なお、上述の重ゐｗ、□、、やＷｊｉは各ユニット３−
１や３−ｊに夫々対応する記憶装置内に格納され。α: Learning speed constant t: Number of times The above-mentioned weights w, □, , and Wji are for each unit 3-
1 and 3-j, respectively.
その内容が上述の学習の間フィードバンクによって修正
される。そして実際の処理に当ってはその学習結果の重
みＷｉ、やｗｊｉが読出されて利用される。Its contents are modified by the feedbank during the learning described above. In actual processing, the weights Wi and wji of the learning results are read out and used.
以下、実施例を挙げて説明する。ここで、中間層ユニッ
ト数の冗長性を説明する。第２図は、排他ＯＲ機能を実
現するネットワークであり、中間層ユニット数の冗長性
を持たせない場合の例である。排他ＯＲでは、第３図に
おいて、入カバターンの直線による識別（線形識別）に
関して、−本の直線では不可能で少なくとも第３図（Ｂ
）図示の如く二本の直線を要する。従って、この識別に
は第３図（Ａ）図示の如く２つの中間層ユニットが最小
限必要となっている。ところが９本発明では中間層ユニ
ットと出力層ユニットの閾値を自動節制するのに入力層
に常時「１」を入力信号として持つ閾値入カユニット３
’−ｈが設けられていることから、第２図図示のネット
ワークにおいては１識別すべき数に対して中間層ユニッ
トの数に冗長性がない。この場合、２つの中間層ユニッ
ト３−１は出力層ユニット３−ｊの閾値を含めた自動調
節をしなければならず、排他ＯＲ特性に適応するまでの
繰り返し学習回数が増大することになる。Examples will be described below. Here, redundancy in the number of middle layer units will be explained. FIG. 2 shows a network that implements the exclusive OR function, and is an example in which redundancy in the number of middle layer units is not provided. In exclusive OR, in Fig. 3, it is impossible to identify the input pattern using a straight line (linear identification), and at least in Fig. 3 (B
) Requires two straight lines as shown. Therefore, this identification requires at least two intermediate layer units as shown in FIG. 3(A). However, in the present invention, in order to automatically control the threshold values of the intermediate layer unit and the output layer unit, the threshold input unit 3 that always has "1" as an input signal in the input layer is used.
'-h is provided, there is no redundancy in the number of intermediate layer units in the network shown in FIG. 2 relative to the number of units to be identified. In this case, the two intermediate layer units 3-1 must perform automatic adjustment including the threshold value of the output layer unit 3-j, and the number of iterative learnings required to adapt to the exclusive OR characteristic increases.
第４図は冗長性をもつネットワークの例を示す。FIG. 4 shows an example of a network with redundancy.
図に示したように、中間層ユニット数に冗長性を持たせ
ると、余ったユニットが出力層のユニット３−ｊの閾値
の調節に専念できることから繰り返し学習回数は、冗長
なユニットがない場合に比し大幅に低減できる。As shown in the figure, when redundancy is provided in the number of units in the hidden layer, the remaining units can be used to adjust the threshold of unit 3-j in the output layer, so the number of iterative learning is reduced compared to when there are no redundant units. It can be significantly reduced compared to the previous year.
第５図は３ビソトバリテイチ工ソク機能をもつ３層ネッ
トワークの一実施例構成図である。ここでは、前述の３
ビツトのパリティチエツク機能をハック・プロパゲーシ
ョン法によりネットワークに学習させている。ネットワ
ーク構成は、入力層に関しては４ユニツト（３ビツトの
入力と１つの閾値入力）、中間層に関しては９ユニツト
、出力層に関しては１ユニツトとなっている。３ビツト
のパリティチエツク機能の学習手順を以下に述べる。FIG. 5 is a configuration diagram of an embodiment of a three-layer network having a three-bit variable function. Here, the above 3
The network is trained to use BIT's parity check function using the hack propagation method. The network configuration is 4 units (3 bit input and 1 threshold input) for the input layer, 9 units for the middle layer, and 1 unit for the output layer. The learning procedure for the 3-bit parity check function is described below.
まず、内部結合の重みの初期値を決める。この初期値は
、１以下の乱数により決める。これは。First, determine the initial value of the weight of the inner connection. This initial value is determined by a random number of 1 or less. this is.
重みの値が全て同じか、あるいはユニットに関して対称
となると、ハック・プロパゲーション法では重みの変化
が生じないことになるので、即ち。If the weight values are all the same or symmetrical with respect to the unit, no change in weight will occur in the Huck propagation method.
学習が進行しなくなってしまうのでこれを避ける目的で
乱数を用いている。Random numbers are used to prevent learning from progressing.
次に、第６図に示した８つの入カバターンと各々の入カ
バターンに対応する所望の出力値８つを入力する。Next, the eight input cover turns shown in FIG. 6 and eight desired output values corresponding to each input cover turn are input.
次に、ハック・プロパゲーション法に関わる制御パラメ
ータを入力する。ここでは、インクリメンタルな繰り返
し学習の一回当たりの重みの変化量の係数である学習率
と収束時の振動を抑えるための学習速度を制御パラメー
タとしている。尚。Next, input the control parameters related to the hack propagation method. Here, the control parameters are the learning rate, which is a coefficient of the amount of change in weight per incremental learning, and the learning speed, which is used to suppress vibrations at the time of convergence. still.
入力層ユニット（入カニニットおよび閾値ユニット）、
中間層ユニット、出力層ユニットの各々の数と内部結合
は自動設定される。input layer unit (input unit and threshold unit),
The number and internal connections of each of the intermediate layer units and output layer units are automatically set.
次に、ハック・プロパゲーション法のアルゴリズムに従
って出力層ユニットの出力値が所望の出力と一致するよ
うにインクリメンタルに内部結合−２〇−
の重みを学習する。Next, according to the Huck propagation algorithm, the weights of the internal connections -20- are learned incrementally so that the output value of the output layer unit matches the desired output.
次に、出力層ユニット３−ｊの出力値と所望の出力値と
の誤差が全ての入力パラメータに関して所定の値より少
なくなったら、学習を終了する。Next, when the error between the output value of the output layer unit 3-j and the desired output value becomes smaller than a predetermined value for all input parameters, learning is terminated.
奇数パリティチエツク機能の学習を終了した時の各ユニ
ット間の内部結合重みを第７図および第９図に示す。第
７図および第９図の重みは異なるが機能は同じである。FIGS. 7 and 9 show the internal connection weights between each unit when the learning of the odd parity check function is completed. Although the weights in FIGS. 7 and 9 are different, the functions are the same.
これは、学習率と学習速度パラメータが異なることと中
間層ユニット数の冗長性とによる。第８図（Ａ）（Ｂ）
（Ｃ）は夫々。This is due to the different learning rates and learning speed parameters and the redundancy of the number of hidden layer units. Figure 8 (A) (B)
(C) respectively.
第７図で示した学習終了後に、任意のパターンを入力し
た場合の入力と出力を示している。第１０図（Ａ）（Ｂ
）（Ｃ）は夫々、第９図で示した学習終了後に、任意の
パターンを人力した場合の入力と出力を示している。This shows the input and output when an arbitrary pattern is input after the learning shown in FIG. 7 is completed. Figure 10 (A) (B
) and (C) respectively show the input and output when an arbitrary pattern is created manually after the learning shown in FIG. 9 is completed.
本データ処理装置では、演算をアナログ値で行うため、
出力値は完全なｌまたは０となっていないが、閾値を用
いるなどすれば第８図および第１０図図示の出力値から
１または０を判断することは容易であることは明らかで
ある。This data processing device performs calculations using analog values, so
Although the output value is not completely 1 or 0, it is clear that it is easy to determine 1 or 0 from the output values shown in FIGS. 8 and 10 by using a threshold value.
また、第１１図は奇数パリティチエツク機能を学習させ
たのと全く同しネットワークに偶数パリティチエツク機
能を学習させた結果を示すものであり、各内部結合の重
みを示している。第１２図（Ａ）（Ｂ）（Ｃ）は夫々、
第１１図で示した学習終了後に、任意のパターンを入力
した場合の入力と出力を示している。Furthermore, FIG. 11 shows the result of having the same network trained for the odd parity check function learn the even parity check function, and shows the weight of each internal connection. Figure 12 (A), (B), and (C) are respectively,
This shows the input and output when an arbitrary pattern is input after the learning shown in FIG. 11 is completed.
この結果から９本発明によりネットワークの適応性を低
下させずに、しかも重みと閾値の同時且つ自動調節が簡
単な方法でできること、また、カメレオンのように様々
な機能を持つデータ処理装置に変身できることが示され
た。From this result9, the present invention allows simultaneous and automatic adjustment of weights and thresholds without reducing the adaptability of the network, and can transform into a data processing device with various functions like a chameleon. It has been shown.
以上説明したように９本発明によれば５ハツク・プロパ
ゲーション法によるデータ処理装置の適応機能に対して
は、入力層に閾値ユニットをもうけ、また中間層のユニ
ットの個数に識別すべき数基上の冗長性を持たセでいる
ことから、各ユニット間の内部結合重みと各ユニットの
閾値との調節が自動的且つ簡便な方法で実行でき、閾値
を全く意識せず、またネットワークの適応性を低下させ
ることなく学習を遂行出来る。また、所望機能を持□つ
処理装置に変化出来るなど、係るデータ処理装置の性能
向上に寄与するところが大きい。As explained above, according to the present invention, for the adaptive function of a data processing device using the five-hack propagation method, a threshold value unit is provided in the input layer, and a number of units to be identified are set in the number of units in the intermediate layer. Since the network has the above redundancy, adjustment of the internal connection weight between each unit and the threshold of each unit can be performed automatically and in a simple manner, without being aware of the threshold at all, and the adaptability of the network is improved. Learning can be accomplished without degrading the performance. In addition, it can be changed into a processing device with desired functions, which greatly contributes to improving the performance of such data processing devices.
第１図は本発明の原理説明図、第２図は中間層の数が冗
長性を持たない排他ＯＲのネットワーク。
第３図は排他ＯＲと中間層ユニットの役割、第４図は中
間層の数□が冗長性を持つ排他ＯＲのネットワーク、第
５図は３ビツトパリティチエツク機能を持つ３層ネット
ワーク、第６図は人カバターンと教師信号、第７図は学
習結果を示す内部結合の重みを示すもの、第８図は第７
図の処理例、第９図は学習結果を示す内部結合の重みを
示すもの。
第１０図は第９図の処理例、第１１図は学習結果を示す
内部結合の重みを示すもの、第１２図は第１１図の処理
例、第１３図は基本ユニットの構成。
第１４図は階層ネットワーク構造、第１５図は奇数パリ
ティチェック機能を持つ３層ネットワークを示す
図中、３は基本ユニット、３′は閾値入カニニットであ
る。FIG. 1 is a diagram explaining the principle of the present invention, and FIG. 2 is an exclusive OR network with no redundancy in the number of intermediate layers. Figure 3 shows the role of exclusive OR and intermediate layer units, Figure 4 shows an exclusive OR network where the number of intermediate layers is redundant, Figure 5 shows a 3-layer network with a 3-bit parity check function, and Figure 6 Figure 7 shows the weights of the internal connections showing the learning results, and Figure 8 shows the 7
The processing example shown in the figure, FIG. 9, shows the weights of internal connections showing the learning results. FIG. 10 shows an example of the processing shown in FIG. 9, FIG. 11 shows the weights of internal connections showing learning results, FIG. 12 shows an example of the processing shown in FIG. 11, and FIG. 13 shows the configuration of the basic unit. FIG. 14 shows a hierarchical network structure, and FIG. 15 shows a three-layer network with an odd parity check function, in which 3 is a basic unit and 3' is a threshold-input crab unit.
Claims (2)
当該層への入力に対して乗算されるべき重みとを受取っ
て積和を得る累算部（１）と、当該累算部（１）からの
出力を閾値関数によって変換して最終出力を得る閾値処
理部（２）とを有する基本ユニット（３）を単位ユニッ
トとし、 複数個の当該単位ユニット（３−ｈ）を入力層とし、か
つ複数個の上記単位ユニット（３−ｉ）を中間層として
１つまたは複数段の中間層をそなえ、かつ１つまたは複
数個の上記単位ユニット（３−ｊ）を出力層とし、 上記入力層と最前段の中間層との間、中間層相互間、お
よび最終段の中間層と出力層との間で内部結合を構成し
、当該内部結合に対応して、上記入力のパターンに対応
した形で上記重みが設定される 階層ネットワーク構成のデータ処理装置において、 上記入力層を構成する単位ユニットのみに、入力信号と
は別に常に値「１」を入力値としてもつ閾値入力ユニッ
ト（３′−ｈ）を１つ以上設け、当該閾値入力ユニット
（３′−ｈ）の出力にもとづいて、少なくとも上記最前
段の中間層および出力層を構成する単位ユニット（３−
ｉ）（３−ｊ）における上記閾値関数を設定するように
した ことを特徴とするネットワーク構成データ処理装置。(1) An accumulating unit (1) that receives one or more inputs from the previous layer and a weight to be multiplied by the input to the layer from the previous layer to obtain a sum of products, and the accumulating unit A basic unit (3) having a threshold processing section (2) that converts the output from (1) by a threshold function to obtain a final output is used as a unit unit, and a plurality of the unit units (3-h) are used as an input layer. and one or more intermediate layers are provided with a plurality of the unit units (3-i) as an intermediate layer, and one or more of the unit units (3-j) as an output layer, Configure internal connections between the input layer and the first intermediate layer, between the intermediate layers, and between the final intermediate layer and the output layer, and correspond to the above input pattern according to the internal connection. In a data processing device having a hierarchical network configuration in which the above-mentioned weights are set in such a manner, a threshold input unit (3' -h), and based on the output of the threshold input unit (3'-h), the unit unit (3'-h) constituting at least the foremost intermediate layer and output layer is provided.
i) A network configuration data processing device characterized in that the threshold function in (3-j) is set.
当該層への入力に対して乗算されるべき重みとを受取っ
て積和を得る累算部（１）と、当該累算部（１）からの
出力を閾値関数によって変換して最終出力を得る閾値処
理部（２）とを有する基本ユニット（３）を単位ユニッ
トとし、 複数個の当該単位ユニット（３−ｈ）を入力層とし、か
つ複数個の上記単位ユニット（３−ｉ）を中間層として
１つまたは複数段の中間層をそなえ、かつ１つまたは複
数個の上記単位ユニット（３−ｊ）を出力層とし、 上記入力層と最前段の中間層との間、中間層相互間、お
よび最終段の中間層と出力層との間で内部結合を構成し
、当該内部結合に対応して、上記入力のパターンに対応
した形で上記重みが設定される 階層ネットワーク構成のデータ処理装置において、 上記入力層を構成する単位ユニットのみに、入力信号と
は別に常に値「１」を入力値としてもつ閾値入力ユニッ
ト（３′−ｈ）を１つ以上設け、当該閾値入力ユニット
（３′−ｈ）の出力にもとづいて、上記中間層および出
力層を構成する単位ユニット（３−ｉ）（３−ｊ）にお
ける上記閾値関数を設定するようにし、 更に上記中間層を構成する単位ユニット（３−ｉ）の個
数に識別に必要とする個数以上の冗長性を与えた ことを特徴とするネットワーク構成データ処理装置。(2) an accumulating unit (1) that receives one or more inputs from the previous layer and a weight to be multiplied by the input to the layer from the previous layer and obtains a sum of products; and the accumulating unit A basic unit (3) having a threshold processing section (2) that converts the output from (1) by a threshold function to obtain a final output is used as a unit unit, and a plurality of the unit units (3-h) are used as an input layer. and one or more intermediate layers are provided with a plurality of the unit units (3-i) as an intermediate layer, and one or more of the unit units (3-j) as an output layer, Configure internal connections between the input layer and the first intermediate layer, between the intermediate layers, and between the final intermediate layer and the output layer, and correspond to the above input pattern according to the internal connection. In a data processing device having a hierarchical network configuration in which the above-mentioned weights are set in such a manner, a threshold input unit (3' -h), and based on the output of the threshold input unit (3'-h), the threshold function in the unit units (3-i) (3-j) constituting the intermediate layer and the output layer is determined. A network configuration data processing device characterized in that the number of units (3-i) constituting the intermediate layer is set to have redundancy greater than the number required for identification.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62333484A JPH0736183B2 (en) | 1987-12-28 | 1987-12-28 | Network configuration data processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62333484A JPH0736183B2 (en) | 1987-12-28 | 1987-12-28 | Network configuration data processor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01173257A true JPH01173257A (en) | 1989-07-07 |
| JPH0736183B2 JPH0736183B2 (en) | 1995-04-19 |
Family
ID=18266575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP62333484A Expired - Fee Related JPH0736183B2 (en) | 1987-12-28 | 1987-12-28 | Network configuration data processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0736183B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0442120A2 (en) * | 1989-12-20 | 1991-08-21 | Fujitsu Limited | Data processing device with neural network and adaptive learning method |
| JPH04111185A (en) * | 1989-12-29 | 1992-04-13 | Ricoh Co Ltd | Signal processing network |
-
1987
- 1987-12-28 JP JP62333484A patent/JPH0736183B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0442120A2 (en) * | 1989-12-20 | 1991-08-21 | Fujitsu Limited | Data processing device with neural network and adaptive learning method |
| JPH04111185A (en) * | 1989-12-29 | 1992-04-13 | Ricoh Co Ltd | Signal processing network |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0736183B2 (en) | 1995-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hagan et al. | Training feedforward networks with the Marquardt algorithm | |
| Song et al. | Robust backpropagation training algorithm for multilayered neural tracking controller | |
| Gorinevsky et al. | Comparison of some neural network and scattered data approximations: The inverse manipulator kinematics example | |
| Jung et al. | Pattern classification of back-propagation algorithm using exclusive connecting network | |
| Shamsuddin et al. | An improved error signal for the backpropagation model for classification problems | |
| JPH01173257A (en) | Network constituting data processor | |
| An et al. | Comparative aspects of neural network algorithms for on-line modelling of dynamic processes | |
| JP3168204B2 (en) | Network configuration data processing device | |
| JPH01173202A (en) | Robot control system | |
| JPH04237388A (en) | Neuro processor | |
| JP2699447B2 (en) | Signal processing device | |
| Dadios et al. | Application of neural networks to the flexible pole-cart balancing problem | |
| JP2606317B2 (en) | Learning processing device | |
| JPH05128285A (en) | Neuro-processor | |
| JPH03268077A (en) | Centroid deciding element output device using neural network | |
| Isaac et al. | Learning performance of linear and exponential activity function with multi-layered neural networks | |
| Reis et al. | Modified fuzzy-CMAC networks with clustering-based structure | |
| Bebis et al. | BACK-PROPAGATIONleCREASING RATE OF CONVERGENCE BY PREDICTABLE PATTERN LOADING | |
| JPH0421060A (en) | Sequential learning system for group unit of coupling in neural network | |
| Nikravesh et al. | Process control of nonlinear time variant processes via artificial neural network | |
| JP2607351B2 (en) | Error Signal Generation Method for Efficient Learning of Multilayer Perceptron Neural Network | |
| Lan | Learning tracking controllers for unknown dynamical systems using neural networks | |
| JPH04102163A (en) | Learning processing system for network constitutive data processor | |
| Gock et al. | BACKWARDS NEURAL NETWORK OPTIMISATION | |
| Petrović et al. | A cascade-correlation learning network with smoothing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |