JPH02285462A - Neural network system - Google Patents

Abstract

PURPOSE:To constitute this system so that even a pattern which cannot be brought to linear separation can be classified by executing not only a linear operation of each input and weight but also a nonlinear operation and varying each weight by learning. CONSTITUTION:An input part 1 calculates each input with weight corresponding to each of them, an adding part 2 adds a result of each operation, and a determining part 3 determines an output by comparing a result of addition with a threshold. Subsequently, the determined output is compared with a desired output, and as a result, in the case they do not coincide with each other, weight is corrected by learning by a learning part 4, and converged to the desired output so that the desired output is outputted. In this case, not only each input and weight are brought to linear operation but also a nonlinear operation of each input and weight is executed. In such a way, even in the case the desired output is that which cannot be brought to linear separation such as exclusive OR with respect to an input pattern, the input pattern can be classified as per the desired output.

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、動物の中枢神経系の細胞すなわちニューロン
のもつ機能を模擬的に結合させて構成されたニューラル
ネットワークシステムに関し、特にパターン認識などの
分野に利用されるニューラルネットワークシステムに関
する。[Detailed Description of the Invention] [Industrial Application Field] The present invention relates to a neural network system configured by simulating the functions of cells, or neurons, in the central nervous system of animals, and in particular, relates to a neural network system configured by simulating the functions of cells, that is, neurons, in the central nervous system of animals, and in particular, to Concerning neural network systems used in the field.

〔従来の技術〕[Conventional technology]

近年、従来のノイマン型コンピュータでは膨大な計算量
を必要とする分野１例えば巡回セールスマン問題等に代
表される最適化問題やパターン認識などの分野において
、問題をより高速にかつ精度良く解決するためにニュー
ラルネットワークシステムが着目されている。ニューラ
ルネットワークシステムは、本来、動物の中枢神経系の
細胞が行なっている動作を模擬的にソフトウェアまたは
ハードウェアによって実現しようとするものであリ、従
来のニューラルネットワークシステムでは、複数の素子
（神経細胞）の各出力ｘ−（ｉ＝ｌ〜ｎ）と一つの素子
の入力とを個々の結合（シナプス結合）に割当てられた
重みＷ、を介して線形的に結合させていた。In recent years, conventional von Neumann computers have been using computers to solve problems faster and more accurately in fields such as optimization problems and pattern recognition, such as the traveling salesman problem, which require a huge amount of calculation. Neural network systems are attracting attention. Neural network systems are originally intended to simulate the actions performed by cells in the central nervous system of animals using software or hardware. ) and the input of one element were linearly coupled via weights W assigned to individual connections (synaptic connections).

第１４図はこのような線形結合をもつニューラルネット
ワークシステムの一例としての線形学習機械の概念図で
ある。この線形学習機械において、一つの素子には、複
数の素子からの各出力Ｘ・が唇 入力するようになっており、一つの素子は、これらの入
力Ｘ・に個々の結合の重みＷ・を乗算した言ｌ 結果を得る入力部５０と、入力部５０からの各乗算結果
を加算する加算部５１と、加算結果をその素子固有の閾
値ＴＨと比較してその素子の出力を決定する決定部５２
とが備わっており、重みＷ。FIG. 14 is a conceptual diagram of a linear learning machine as an example of a neural network system having such linear combinations. In this linear learning machine, each output X from a plurality of elements is input into one element, and one element assigns weights W of individual connections to these inputs X. An input unit 50 that obtains the result of multiplication, an addition unit 51 that adds the multiplication results from the input unit 50, and a determination unit that compares the addition result with a threshold value TH specific to the element to determine the output of the element. 52
It is equipped with a weight W.

を学習部５３において希望出力としての教師信号Ｔによ
り学習によって変化させることができるようになってい
る。can be changed by learning in the learning section 53 using a teacher signal T as a desired output.

このような構成では複数の素子の出力ｘＨ（ｉ＝１〜ｎ
）が一つの素子に入力すると、この素子の加算部５１の
出力は次式のようになる。In such a configuration, the outputs xH (i=1 to n
) is input to one element, the output of the adder 51 of this element is as shown in the following equation.

Σ　ｘ−ｗ−＝ＷＯ＋：Ｅ　　Ｊ　ＶＪ　　−（Ｕｉ・
ｏ　　”　　　　　＋＝ｉ ここでｗｏは、この素子の閾値を相対的に変化させるた
めのこの素子固有の重みとして定義されており、ＸＯは
“１ｎとなっている。（１）式で与えられる加算部５１
の出力が決定部５２に入力すると、決定部５２では、こ
の出力を一定の閾値ＴＨと比較し、出力２を決定する。Σ x−w−=WO+:E J VJ−(Ui・
o ” +=i Here, wo is defined as a weight specific to this element for relatively changing the threshold value of this element, and XO is "1n." Addition unit 51 given by equation (1)
When the output is input to the determining unit 52, the determining unit 52 compares this output with a certain threshold TH and determines the output 2.

すなわち出力２は、 Ｚ＝ｓｇｎ　（Σ　ｘｌｗ、−ＴＩ）　　　−（２）ｉ
・Ｏ１１ として決定され、加算部５１の出力が闇値Ｔ　Ｈよりも
大きいときには、出力２は“＋１”として決定され、閾
値ＴＨよりも小さいときには“−１”として決定される
。学習部５３ではこの素子からの出力Ｚを希望出力すな
わち教師信号′ｒと比較し、もし誤差があれば、閾値を
変化させる重みＷ。。In other words, output 2 is Z=sgn (Σ xlw, -TI) - (2)i
- O11, and when the output of the adder 51 is larger than the dark value TH, the output 2 is determined as "+1", and when it is smaller than the threshold value TH, it is determined as "-1". The learning section 53 compares the output Z from this element with the desired output, that is, the teacher signal 'r, and if there is an error, the weight W is used to change the threshold value. .

各結合の重みＷ１〜ｗｏをある学習規則に従って変化さ
せる。この学習を繰返すことによって複数の素子からの
入力パターンを望み通りのクラスに分類することができ
る。The weights W1 to wo of each connection are changed according to a certain learning rule. By repeating this learning, input patterns from multiple elements can be classified into desired classes.

いよ簡単のため、上記線形学習機械への入力がＸ□、Ｘ
ｌ、Ｘ２の３つだけであるとじＸＯが、′１″に固定さ
れ、ｘ　　、ｘ　　が“１”と“０”の２値をとり、４
１″を真に、　−１”を偽とみなした論理和が最終的な
出力２として得られるように希望出力すなわち教師信号
Ｔを与えて学習を行なう場合を考える。但し、決定部５
２の閾値ＴＨは“０″とする。For simplicity, the inputs to the above linear learning machine are X□,
The binding XO, which has only three elements, l and
Consider a case where learning is performed by giving a desired output, that is, a teacher signal T, such that a logical sum in which 1'' is considered true and -1'' is false is obtained as the final output 2. However, the decision section 5
The threshold value TH of 2 is set to "0".

最初、重みＶｔＦ　　、　ＶＶ　　、　ＶＶ２を“１”
に初期膜定すると、この状態では、入力Ｘ１　、Ｘ２が
どのような値をとっても加算部５１からの出力は“１”
以上となるので、決定部５２の出力Ｚは全て“＋１”と
なる、ところが、学習部５３は、決定部５２の出力２と
教師信号′ｒとを比較し、比較の結果これらが異なって
いた場合のみ、重みＷｏ。Initially, the weights VtF, VV, and VV2 are set to “1”
In this state, the output from the adder 51 is "1" no matter what values the inputs X1 and X2 take.
Therefore, the output Z of the determining unit 52 is all “+1”. However, the learning unit 53 compares the output 2 of the determining unit 52 and the teacher signal 'r, and as a result of the comparison, it is found that they are different. Only if the weight Wo.

ＶＩＦ　　、　ＶＶ２を ｗ、←ｗ、＋５（Ｉｎ（Ｔ）Ｘｘ、（ｉ＝０．１．２）
・・・・・・（３） のように所謂固定増分法によって変化させ学習させるよ
うになっており、この学習の結果、上記重みを最終的に
はＶＶ　　＝　　１　、　Ｗｌ　＝　ＶＶ　２　＝　２
にずることができる、なお（３）式においてｓｃ＋ｎ（
Ｔ　）は教師信号Ｔの符号を表わす、これにより、入力
Ｘ　１　、　Ｘ　２に対する線形学習機械の出力すなわ
ち決定部５２の出力Ｚは最終的には第１５図のようにな
り、ｘｌとｘｌとの論理和をとった結果を得ることがで
きる。これは、平面（ｘ　　、　ｘｌ　）上では、第１
６図のような直線Ｃ（“２Ｘ１＋２ｘ　　＋１＝０”）
を用いて、平面（ｘｌ　、　Ｘ２　）を正、負の２領域
に分割することに対応する。この線形学習機械を用いれ
ば、教師信号Ｔを変えて垂みＶＶ　　、　ＶＶｌ　、　
ＷＦ２に所定の学習を施すことにより同様にして論理積
の出力を得るようにもすることができる。VIF, VV2 as w, ←w, +5(In(T)Xx, (i=0.1.2)
As shown in (3), the weights are changed and learned using the so-called fixed increment method, and as a result of this learning, the above weights are finally set to VV = 1, Wl = VV 2 = 2.
In equation (3), sc+n(
T ) represents the sign of the teacher signal T. As a result, the output of the linear learning machine for the inputs X 1 and The result can be obtained by taking the logical sum of . This means that on the plane (x, xl), the first
Straight line C as shown in Figure 6 (“2X1+2x +1=0”)
This corresponds to dividing the plane (xl, X2) into two areas, positive and negative, using . If we use this linear learning machine, we can change the teacher signal T and obtain the sag VV, VVl,
By subjecting WF2 to predetermined learning, it is also possible to obtain the output of a logical product in a similar manner.

〔発明が解決しようとする課題〕[Problem to be solved by the invention]

しかしながら上述した線形学習機械に代表されるような
線形結合をもつニューラルネットワークシステムでは、
上述したような線形分離可能な問題にしか適用すること
ができず、例えば排他的論理和をとることができないと
いう欠点があった。However, in neural network systems with linear combinations, such as the linear learning machine mentioned above,
It has the disadvantage that it can only be applied to linearly separable problems such as those mentioned above, and that, for example, exclusive OR cannot be taken.

すなわち、第１７図に示すような排他的論理和は、平面
（ｘｌ　、　Ｘ２　）上では第１８図のようになり、“
＋１”の２つの真の点ｐ１．ｐ２と、　−１”の２つの
偽の点ｐ、ｐ４とを超平面（ここでは直線）で分けるこ
とができない。In other words, the exclusive OR shown in FIG. 17 becomes as shown in FIG. 18 on the plane (xl, X2), and “
The two true points p1.p2 of +1" and the two false points p and p4 of -1" cannot be separated by a hyperplane (here, a straight line).

このような場合に線形学習機械を用いようとするときに
は、一般に、Ｘ　１　、　Ｘ　２の２人力からＸ　　、
　Ｘ　　、　Ｘ３の３人力に入力パターンを増やし、上
述したようなアルゴリズムを用いて３次元空間（Ｘ　　
、　Ｘ２　、　Ｘ３　）で入力パターンを線形分離を行
なう仕方が取られる。しかし、次元を増加する場合に、
その仕方が問題となり、常に適切な形で次元を増やすこ
とができるとは限らない。When trying to use a linear learning machine in such a case, generally speaking, from the two human forces of X 1 and X 2,
By increasing the number of input patterns to the three manpower of X and X3 and using the algorithm described above, we can create a three-dimensional space
, X2, X3) to linearly separate the input pattern. However, when increasing the dimension,
The problem is how to do so, and it is not always possible to increase dimensions in an appropriate manner.

例えば、１つの線形学習機械において第１９図（ａ）の
ような入力パターンを（ｘｌ　、　Ｘ２　、　Ｘ３　）
の３次元空間でｘ　３＝　１　／　２の平面により２つ
のグループに分離することができるが、第１９図（ｂ）
のような入力パターンを２つのグループに分離すること
ができない。For example, in one linear learning machine, if the input pattern as shown in Fig. 19(a) is (xl, X2, X3)
In the three-dimensional space of , it can be separated into two groups by the plane of x 3 = 1 / 2, but as shown in Fig. 19 (b)
It is not possible to separate input patterns such as ``input patterns'' into two groups.

本発明は、上述した従来の欠点を解決し、次元を増加さ
せることなく線形分離のできないパターンをも分離する
ことの可能なニューラルネットワークシステムを提供す
ることを目的としている。The present invention aims to solve the above-mentioned conventional drawbacks and provide a neural network system capable of separating patterns that cannot be linearly separated without increasing the dimensionality.

〔課題を解決するための手段〕[Means to solve the problem]

上記目的を達成するために、本発明は、各入力をそれぞ
れに対応した重みと演算させる入力手段と、入力手段か
らの各演算結果を加算する加算手段と、加算手段からの
加算結果と閾値とを比較し比較結果に基づいて出力を決
定する決定手段と、決定手段で決定された出力と希望出
力とを比較して前記入力手段の重みを学習し変化させる
学習手段とを備え、前記入力手段は、入力と重みとの線
形演算のみならず入力と重みとの非線形演算をも行なう
ようになっている。In order to achieve the above object, the present invention includes an input means for calculating each input with a weight corresponding to each input means, an addition means for adding each calculation result from the input means, and an addition result from the addition means and a threshold value. and a learning means that learns and changes the weight of the input means by comparing the output determined by the determination means and the desired output, the input means is designed to perform not only linear calculations between inputs and weights, but also nonlinear calculations between inputs and weights.

またさらに発展させて、入力と重みとの線形演算のみな
らず非線形演算を行ない前記各市みを学習によって変化
させる機能を備えた複数のネットワークと、前記複数の
ネットワークからの出力に基づいて入力パターンの判別
を行なう判別部とを備えた構成にしても良い。In addition, it has been further developed to include a plurality of networks that have the function of performing not only linear calculations between inputs and weights but also nonlinear calculations to change each market through learning, and a function that changes input patterns based on the outputs from the plurality of networks. A configuration may also be provided including a discriminating section that performs discrimination.

〔作用〕[Effect]

上記のような構成のニューラルネットワークシステムで
は、各入力をそれぞれに対応した重みと演算し、各演算
結果を加算して加算結果を閾値と比較することによって
出力を決定する。決定された出力を希望出力と比較し、
この結果、一致しない場合には学習によって重みを修正
し、希望出力に収束させ希望出力が出力されるようにす
る。この際に本発明では、各入力と重みとを線形演算さ
せるのみならず各入力と重みとの非線形演算をも行なう
ようになっているので、入力パターンに対して希望出力
が排他的論理和のような線形分離のできないものである
場合にも入力パターンを希望出力通りに分類することが
できる。In the neural network system configured as described above, an output is determined by calculating each input with a corresponding weight, adding the results of each calculation, and comparing the addition result with a threshold value. Compare the determined output with the desired output,
As a result, if they do not match, the weights are corrected through learning so that they converge to the desired output and the desired output is output. At this time, the present invention not only performs linear calculations on each input and weight, but also performs nonlinear calculations on each input and weight, so that the desired output for the input pattern is an exclusive OR. Even if the input pattern cannot be linearly separable, it is possible to classify the input pattern according to the desired output.

また上記構成のネットワークを複数用いることにより、
入力パターンによって張られる空間を複数の領域に分け
ることができて、入力パターンに対する希望出力をより
複雑なものにする場合にも入力パターンを希望出力通り
に分類することかできる。In addition, by using multiple networks with the above configuration,
The space spanned by the input pattern can be divided into a plurality of regions, and even when the desired output for the input pattern is made more complex, the input pattern can be classified according to the desired output.

〔実方龜例〕[Actual example]

以下、本発明の一実施例を図面に基づいて説明する。 Hereinafter, one embodiment of the present invention will be described based on the drawings.

第１図は本発明に係るニューラルネットワークシステム
の一例としての非線形学習機械の概念図である。FIG. 1 is a conceptual diagram of a nonlinear learning machine as an example of a neural network system according to the present invention.

この非線形学習機械には、３つの入力Ｘ。。This nonlinear learning machine has three inputs X. .

Ｘ　１　＊　Ｘ　２が入力し入力Ｘ□　、Ｘｌ　、Ｘ２
と重み’Ｖ’ｔｒ　　、　Ｗ　　、　ＶＶ２とをそれぞ
れ線形的に乗算した結果を得ることの池に入力ｘ　　、
ｘ　　の２次の項すなわちＸ　　　、Ｘ２　　、Ｘｌ　
Ｘ２の３つの項と重みＶＶ　　、　ＶＶ　　、　ＶＶ５
とをそれぞれ乗算した結果を得る入力部１と、入力部１
からの各乗算結果を加算する加算部２と、加算部２で加
算された結果と一定の閾値ＴＨとを比較して加算結果が
閾値ＴＨよりも大きいときに“＋１”、小さいときに−
１”の出力Ｚを決定する決定部３と、決定部３の出力Ｚ
と希望出力すなわち教師信号Ｔとを比較し、もし誤差が
あれば、この誤差がなくなるように重みＷｏ、Ｗｌ、Ｗ
ｌ、Ｗ３．Ｗ４１ｗ５をある学習規則によって変化させ
る学習部４とを備えている。なお、入力部１における重
みＷｏは、決定部３における閾値を相対的に変化させる
ためのものである。X 1 * X 2 is input and input X□ , Xl , X2
and the weights 'V'tr, W, VV2, respectively.
The quadratic terms of x, that is, X, X2, Xl
Three terms of X2 and weights VV, VV, VV5
and an input unit 1 that obtains the result of multiplying
An adder 2 that adds the results of each multiplication from the adder 2 compares the result added by the adder 2 with a certain threshold TH, and when the addition result is larger than the threshold TH, it is "+1", and when it is smaller, it is -
a determining unit 3 that determines the output Z of 1”, and an output Z of the determining unit 3
and the desired output, that is, the teacher signal T, and if there is an error, weights Wo, Wl, W are set to eliminate this error.
l, W3. The learning section 4 changes W41w5 according to a certain learning rule. Note that the weight Wo in the input section 1 is used to relatively change the threshold value in the determination section 3.

第２図は第１図に示した非線形学習機械の入力部１．加
算部２．決定部３を実現する回路構成の一例を示す図で
あって、この回路では、入力部１は、乗算部２１，２２
．２３．２４．２５．２６から構成されている０乗算部
２１，２２．２３はそれぞれ３つのｎチャネルＭＯ８）
ランジスタが縦続接続された乗算ユニットからなってお
り、第１段目のＭＯＳトランジスタのソースにはそれぞ
れ入力ＸＯ、Ｘｌ　、Ｘ２が加わり、またゲートには重
みＶＶｇ　、　Ｗｌ　、　ＶＶ２が加わってこれらの線
形的な乗算結果Ｖ１７ｏＸ６　、　ＶＶＩ　Ｘ　１　、
　ＶＩｌ’２　Ｘ２がドレインから電荷の形で出力され
、２段目、３段目のＭＯＳトランジスタのゲートに加わ
る電荷転送信号ψ　、ψ３によって順次に転送され出力
されるようになっている、また乗算部２４，２５゜２６
は基本的にはそれぞれ２つの乗算ユニット４０．４１　
；４２，４３；４４．４５から構成されており、乗算部
２４．２５．２６の最初の乗算ユニット４０．４２．４
４では、それぞれ人力Ｘ１．Ｘ、Ｘ　　と重みＶＶ３　
、　’ＶＶ４　、　ＶＶ５とを乗算した結果Ｖｒ　　Ｘ
　　、　ＶＶ　　Ｘ　　、　Ｗ５　Ｘｌを電荷転送信号
ψ０．ψ１によって電荷の形で転送し出力し、次の乗算
ユニット４１．４３．４５では、それぞれ人力Ｘ１　、
Ｘ２　、Ｘ２と最初の乗算ユニット４０．４２．４４か
らの乗算結果Ｖｌ／　３　Ｘ　１　。FIG. 2 shows the input section 1 of the nonlinear learning machine shown in FIG. Addition section 2. 2 is a diagram illustrating an example of a circuit configuration for realizing a determining section 3; in this circuit, an input section 1 includes multiplication sections 21 and 22;
．． Each of the 0 multipliers 21, 22, and 23 consisting of 23, 24, 25, and 26 has three n-channel MO8)
It consists of a multiplication unit in which transistors are connected in cascade, and inputs XO, Xl, and X2 are applied to the sources of the first stage MOS transistors, and weights VVg, Wl, and VV2 are applied to the gates, so that these linear Multiplication results V17oX6 , VVI X 1 ,
VIl'2 Part 24, 25゜26
are basically two multiplication units each 40.41
;42,43;44.45, and the first multiplication unit 40.42.4 of the multiplication section 24.25.26
4, human power X1. X, X and weight VV3
, 'The result of multiplying VV4 and VV5 is Vr
, VV X , W5 Xl as a charge transfer signal ψ0. ψ1 transfers and outputs it in the form of charge, and the next multiplication units 41, 43, and 45 generate human power X1, respectively.
X2, X2 and the multiplication result Vl/3X1 from the first multiplication unit 40.42.44.

４２　　＋　ＶＩＦ　５　Ｘ　１Ｘ　２を電荷転送信号
ψ２゜ψ３により順次に転送して出力するようになって
いる。42 + VIF 5 x 1 x 2 are sequentially transferred and outputted using a charge transfer signal ψ2°ψ3.

加算部２は、入力部１の各乗算部２１乃至２６から転送
され出力された電荷の和をとる加算回路により実現され
ており、また決定部３は、ｎチャネルＭＯＳトランジス
タとＰチャネルＭＯ８）ランジスタとを組合せて構成さ
れている。The adder 2 is realized by an adder circuit that sums the charges transferred and output from each of the multipliers 21 to 26 of the input section 1, and the determiner 3 is implemented by an n-channel MOS transistor and a P-channel MO transistor. It is composed of a combination of

また、乗算部２４．２５，２６．加算回路２８において
信号Ｄ　１　、　Ｄ　２は電荷消去用のものであって、
それぞれＰチャネルＭＯＳトランジスタに入力するよう
になっている。Also, multiplication units 24, 25, 26 . In the adder circuit 28, the signals D 1 and D 2 are for erasing charges,
Each of these signals is input to a P-channel MOS transistor.

なお第２図では、説明を簡単にするため、乗算結果が正
確に得られるような構成としたが、実際には必ずしも厳
密な計算結果を得る必要はない。In addition, in FIG. 2, in order to simplify the explanation, a configuration is used in which a multiplication result can be obtained accurately, but in reality, it is not always necessary to obtain an exact calculation result.

これはニューラルネットワークシステムの本質的な柔軟
性に起因するものであって、従って乗算回路としては精
度の良い結果を与えるような複雑な回路構成にする必要
はない。This is due to the inherent flexibility of the neural network system, and therefore there is no need for the multiplication circuit to have a complex circuit configuration that provides highly accurate results.

このような構成の非線形学習機械において、入力が上述
のようにＸｏ、Ｘｌ　、Ｘ３の３つだけであるとし、Ｘ
Ｏが“１″に固定され、Ｘ　１　、　Ｘ　２が“１”と
“０”の２値をとり、“＋１″を真に。In a nonlinear learning machine with such a configuration, assume that there are only three inputs, Xo, Xl, and X3, as described above, and
O is fixed to "1", X 1 and X 2 take two values of "1" and "0", and "+1" is true.

−１″を偽とみなした排他的論理和が出力として得られ
るように学習を行なう場合を考える。但し、決定部３の
閾値ＴＨは“０”とし、決定部３は加算部２からの出力
が正の値のときに“＋１″負の値のときに“−１″の値
をとるものとする。Let's consider a case where learning is performed so that the exclusive OR is obtained as an output, with ``-1'' regarded as false. However, the threshold TH of the determining unit 3 is set to ``0'', and the determining unit 3 outputs the output from the adding unit 2. It is assumed that the value is "+1" when the value is positive, and the value is "-1" when the value is negative.

最初、重みｗ、（ｉ＝０〜５）を全て“１”に初期設定
し、第３図に示すように入力パターンＸ、Ｘ２と希望出
力が排他的論理和である教師信号Ｔとを与えて、学習部
４において前述の（３）式で示されるような固定増分法
により２次の項をも含めた形で学習させ重みＷｉ　（１
＝０〜５）を変化させる。この学習の結果、重みＷｉは
第４図に示すような値に収束し、その結果最終的には、
入力パターンＸ１　、Ｘ２に対して加算部２の加算結果
Ｓは、第５図に示したような値となり、決定部３の出力
２は、加算結果Ｓが正のものに対して真である“＋１”
、負のものに対して偽である一１″となる。これにより
、排他的論理和をとることが可能となる。これは、第６
図に示すように、平面（ｘｌ、ｘ２）上で楕円曲線Ｅ（
Ｗ１Ｘ　　＋Ｖｌｒ　　Ｘ　　十ＶＶ　　Ｘ　　　＋　
Ｗ４　Ｘ　２　　＋Ｖ１７５ｘ　　ｘ　　＋ｗ　　＝Ｏ
）により平面（Ｘｌ　、　ｘ２　）を内と外とに２分す
ることに対応する。First, the weights w, (i = 0 to 5) are all initialized to "1", and a teacher signal T whose input patterns X, X2 and the desired output are exclusive ORs is given as shown in FIG. Then, in the learning unit 4, the weight Wi (1
=0 to 5). As a result of this learning, the weight Wi converges to the value shown in Figure 4, and as a result, finally,
The addition result S of the addition unit 2 for the input patterns X1 and X2 becomes a value as shown in FIG. +1”
, which is false for negative ones. This makes it possible to take an exclusive OR. This is the sixth
As shown in the figure, on the plane (xl, x2), the elliptic curve E(
W1X +Vlr X 10VV X +
W4 X 2 +V175x x +w =O
) corresponds to dividing the plane (Xl, x2) into two parts: inside and outside.

また、第３図に示した入力パターンＸ、Ｘ２と教師信号
Ｔとの関係にさらに、入力Ｘ、Ｘ２がそれぞれ０．５″
、′０．５″のときに出力Ｚが“＋１”となるような条
件を教師信号Ｔに付加し学習を行なわせると、重みＷｉ
　（１＝０〜５）は第７図に示すような値に収束する。Furthermore, in addition to the relationship between the input patterns X and X2 and the teacher signal T shown in FIG. 3, the input patterns X and X2 are each 0.5"
, '0.5'', the output Z becomes "+1" when learning is performed by adding a condition to the teacher signal T, the weight Wi
(1=0 to 5) converges to a value as shown in FIG.

このときには、第８図に示すように２次元平面（ｘＩ　
Ｔ　Ｘ２　）上で双曲線Ｆにより平面（Ｘ、Ｘ）を分割
することができる。At this time, as shown in FIG.
The plane (X, X) can be divided by a hyperbola F on T X2 ).

このようにして入力Ｘ、Ｘ２の２次の項をも考慮した非
線形学習Ｒ械によれば、入力パターンにより張られる２
次元空間を２次の超曲線で分割することができて、入力
パターンによって張られる空間の次元すなわち入力ｘｉ
の個数を増加させることなく線形学習機械では区別不能
であった排他的論理和などの複雑なパターン分類を可能
にすることができる。In this way, according to the nonlinear learning R machine that also considers the quadratic terms of the inputs X and X2, the 2
The dimensional space can be divided by a quadratic hypercurve, and the dimension of the space spanned by the input pattern, that is, the input xi
It is possible to perform complex pattern classification such as exclusive OR, which was indistinguishable by linear learning machines, without increasing the number of patterns.

この実施例では、所謂２次の非線形学習機械を例にとっ
て説明したが、さらに３次、４次、・・・・・・と高次
の項をも含む３次、４次、・・・・・・の非線形学習機
械を横築しても良く、これによってより分類能力を向上
させることができて、入力パターンによって張られる空
間を複数の領域に分割するような２次の線形学習機械で
は得ることのできない分類をも行なうこともできる０例
えば第９図に示すような０″と“ビの２値以外の入力Ｘ
１゜ｘ２に対する出力２を得るようにすることもできる
。In this embodiment, a so-called second-order nonlinear learning machine was explained as an example, but the third-order, fourth-order, etc. It is also possible to build a nonlinear learning machine horizontally, which can further improve the classification ability, which is not possible with a quadratic linear learning machine that divides the space spanned by the input pattern into multiple regions. For example, inputs other than binary values such as 0" and "B" as shown in Figure 9.
It is also possible to obtain an output of 2 for 1°×2.

なお第９図に示すような分類を行なうのに３次や４次の
非線形学習機械を用いるかわりに、第１０図に示すよう
に２次の非線形学習機械を複数用いることも可能である
。Note that instead of using a third-order or fourth-order nonlinear learning machine to perform classification as shown in FIG. 9, it is also possible to use a plurality of second-order nonlinear learning machines as shown in FIG.

第１０図の学習機械では、同一の入力パターンＸＯ、Ｘ
２　、・・・・・・Ｘｎが入力する２次の非線形学習機
械すなわちネットワークを複数個並列に並べて、各非線
形学習機械Ｍ　乃至Ｍ　の出力Ｚ１乃至Ｚ、を判別器１
０へ入力させるようになっている０判別器１０は、各非
線形学習機械Ｍ１乃　至Ｍ　の出力ｚｌ乃至Ｚｌｌの全
てが“＋１″の正の値のときに“＋１”を出力し、それ
以外のときには“−１″を出力することによって、分類
を行なうようになっている。これにより、各非線形学習
機械Ｍ１乃至Ｍ１は、それぞれの学習を終了した後は、
希望出力すなわち教師信号Ｔが“＋１”のときには出力
ｚｌ乃至Ｚ１の全てが“十Ｆ、教師信号Ｔが一１ｎのと
きには出力ｚｌ乃至Ｚ。In the learning machine of Fig. 10, the same input patterns XO,
2, . . . A plurality of second-order nonlinear learning machines, that is, networks inputted by
The 0 discriminator 10, which is designed to input 0, outputs "+1" when all of the outputs zl to Zll of each nonlinear learning machine M1 to M are positive values of "+1", and otherwise When this happens, classification is performed by outputting "-1". As a result, after each nonlinear learning machine M1 to M1 finishes their respective learning,
When the desired output, that is, the teacher signal T is "+1," all of the outputs zl to Z1 are "10F," and when the teacher signal T is 11n, the outputs zl to Z.

のうちのいずれか１つが“−１″となるように構成され
ている。Any one of them is configured to be "-1".

第１０図のような構成をとることによって、入力パター
ンｘ１〜Ｘｎによって張られる空間を複数の領域に分割
することができて、第９図に示した分類を実現すること
が可能となる。但し、この場合に分類すべき領域の数ず
なわち、非線形学習機械Ｍｌ乃至Ｍｌの個数ｍを予め知
ることができるとは限らないので、実際には第１１図に
示すようなアルゴリズムを用いるのが良い。By adopting the configuration shown in FIG. 10, the space defined by the input patterns x1 to Xn can be divided into a plurality of regions, and the classification shown in FIG. 9 can be realized. However, in this case, it is not always possible to know in advance the number of regions to be classified, that is, the number m of nonlinear learning machines Ml to Ml, so in reality, the algorithm shown in Fig. 11 is not used. is good.

すなわち第１１図では、最初に、複数の２次の非線形学
習機械Ｍｌ乃至Ｍ１のうちの１番目の機械Ｍ１を用意し
くステップＳ１）、機械Ｍｌ乃至Ｍ１の識別番号ｋを“
１″に初期設定する（ステップ５２）０次いでに番目、
いまの場合１番目の機械Ｍ１をある所定回数だけ全ての
入力パターンｘ１〜Ｘｎにわたって学習させ（ステップ
Ｓ３）、この学習が終わった時点でこの機械Ｍ１の出力
Ｚ１を全学習パターンにわたってチエツクしくステップ
Ｓ４）、教師信号Ｔが“＋１”の点で出力Ｚ１が“＋１
”となっていれば（ステップ８５゜Ｓ６）、この機械Ｍ
１の学習を完了する６次いで、教師信号Ｔが“−１″の
点で出力Ｚ１が“−１″でなければ（ステップＳ７）、
新たな機械Ｍ２を用意しくステップＳ８）、識別番号ｋ
を“＋１”だけ歩進しくステップＳ９）、ステップＳ３
に戻って、新たな機械Ｍ２の学習を同様にして行なう。That is, in FIG. 11, first, the first machine M1 among the plurality of second-order nonlinear learning machines Ml to M1 is prepared, step S1), and the identification number k of the machines Ml to M1 is set as "
Initialize to 1″ (step 52) 0 then th,
In this case, the first machine M1 is made to learn over all input patterns x1 to Xn a certain predetermined number of times (step S3), and when this learning is finished, the output Z1 of this machine M1 is checked over all the learning patterns in step S4. ), the output Z1 is “+1” at the point where the teacher signal T is “+1”
” (step 85゜S6), this machine M
6. Next, if the output Z1 is not "-1" at the point where the teacher signal T is "-1" (step S7),
Prepare a new machine M2 (step S8), identification number k
step S9) by "+1", step S3
Returning to , learning of the new machine M2 is performed in the same manner.

このような処理を繰返し、教師信号Ｔが“−１”の点で
出力Ｍにが“−１″になっていない点が残っているとき
にはさらに新たな機械を用意しくステップ８７．８８）
、全て“−１″になっているときにはさらに新たな機械
を用意することなく、学習が全て完了したと判断して処
理を終了する（ステップＳ７）。Such processing is repeated, and if there remains a point where the output M is not "-1" at a point where the teacher signal T is "-1", a new machine is prepared (steps 87 and 88).
, are all "-1", it is determined that all learning has been completed and the process ends without preparing a new machine (step S7).

なお上述の処理において、新たな機械を用意する際に、
教師信号Ｔが“−１″で出力も“−１″になっている点
に関しては教師信号Ｔを“＋１″に変更しても良いし、
あるいはこの点に関しては以後の学習の際に無視するよ
う教師信号Ｔを“０″にしても良い。In addition, in the above process, when preparing a new machine,
Regarding the point that the teacher signal T is "-1" and the output is also "-1", the teacher signal T may be changed to "+1",
Alternatively, regarding this point, the teacher signal T may be set to "0" so as to be ignored during subsequent learning.

第１２図はこのような処理によって第９図に示したよう
な入力パターンＸ　〜ｘ２に対する出力２を得る場合の
機械Ｍ　　、Ｍ２における最終的な重みＷＪの値を示し
ている。この例では１つの機械ＭＫの学習回数を１０回
としており、これにより第１３図に示すように平面（ｘ
ｌ　、　Ｘ２　）上で機械Ｍ１により領域Ｇ１が与えら
れ、機械Ｍ２により領域Ｇ２が与えられ、これにより平
面（ｘｌ。FIG. 12 shows the value of the final weight WJ in the machines M2 and M2 when output 2 is obtained for the input patterns X1 to x2 as shown in FIG. 9 through such processing. In this example, the number of learning times for one machine MK is 10 times, so that the plane (x
l ,

Ｘ２）を２つの楕円曲線Ｅ１．Ｅ２によって分割するこ
とができる。X2) into two elliptic curves E1. It can be divided by E2.

なお第１−１図の処理では、教師信号Ｔが“−１”の点
が複数あって、これらの点が平面（ｘｌ。In the process shown in FIG. 1-1, there are a plurality of points where the teacher signal T is "-1", and these points are on the plane (xl.

Ｘ２）上で互いにかけ離れた位置にあるときに、複数の
機械がこれらの点を自分の領域に取り込もうとして振動
してしまう恐れがある。これを避けるためには、前述の
（３）式で与えられる固定増分法の学習式を少し変形し Ｗ・←Ｗ・＋５ｏｎ（Ｔ） Ｉ ・Ｘ・／（ｌ　Ｓｌ＋１） 瞼 （ｉ＝０．１．２・・・・・・）・・・・・・（４）と
するのが良い、なお上記（４）式において、ＩＳＩは非
線形学習機械の加算部の出力である。X2) When the points are far apart from each other on the top, there is a risk that multiple machines will try to incorporate these points into their area and vibrate. In order to avoid this, the learning formula for the fixed increment method given by equation (3) above is slightly modified to write W・←W・+5on(T) I・X・/(l Sl+1) eyelids (i=0. 1.2...) (4). In the above equation (4), ISI is the output of the addition section of the nonlinear learning machine.

このように学習式を変形することによって、教師信号Ｔ
への収束性はいくらか悪くなるが、振動による問題をあ
る程度避けることができる。By transforming the learning formula in this way, the teacher signal T
Although the convergence is somewhat worse, problems caused by vibration can be avoided to some extent.

この第１１図の処理によれば、原理的にはどのような分
布をもったパターン空間の点をも分類することが可能で
あり、また分類に要する非線形学習機械の数も非線形学
習機械自ら決定することができる。According to the process shown in Figure 11, it is possible in principle to classify points in a pattern space with any distribution, and the number of nonlinear learning machines required for classification can also be determined by the nonlinear learning machine itself. can do.

以上、入力が２つの場合、すなわちＸ　１　、　Ｘ　２
（Ｘ　Ｏは除く）の場合の単純な構成のニューラルネッ
トワークシステムについて説明したが、これを入力が３
つ以上の学習機械や多段に構成されたパーセプトロンを
用いたニューラルネットワークシステムに容易に適用す
ることができる。なお、入力数が多いときに全ての入力
間の積を含む２次形式、３次形式等の高次の項を考慮し
ようとすると、膨大な数の入力をもつネットワークとな
る可能性があるが、この場合には例えば特に相関が重要
と思われる入力間の積を除いて、全て１次の項とするか
あるいは入力の２乗、３項等の項のみにするなど、必要
に応じてネットワークシステムを簡略化して構成してい
くのが良い。Above, when there are two inputs, that is, X 1 and X 2
(excluding XO), we have explained a neural network system with a simple configuration,
It can be easily applied to neural network systems using two or more learning machines or perceptrons configured in multiple stages. Note that when the number of inputs is large, if you try to consider high-order terms such as quadratic and cubic forms that include products between all inputs, you may end up with a network with a huge number of inputs. In this case, for example, except for products between inputs where correlation is considered to be particularly important, use all first-order terms, or use only terms such as the square or triple of the inputs, etc., as necessary. It is better to simplify the system configuration.

〔発明の効果〕〔Effect of the invention〕

以上に説明したように、本発明によれば、各入力と重み
との線形演算のみならず非線形演算をも行なわせ各重み
を学習によって変化させるようにしているので、入力パ
ターンの次元を増加させることなく線形分離のできない
パターンをも分類することができる。またこのような機
能を備えたネットワークを複数用いることによって、希
望出力がより複雑なものである場合にもパターンを希望
出力通りに分類することができる。As explained above, according to the present invention, not only linear calculations but also nonlinear calculations are performed between each input and the weight, and each weight is changed by learning, so that the dimensionality of the input pattern can be increased. It is also possible to classify patterns that cannot be linearly separable. Furthermore, by using a plurality of networks equipped with such functions, patterns can be classified according to the desired output even when the desired output is more complex.

【図面の簡単な説明】[Brief explanation of drawings]

第１図は本発明に係るニューラルネットワークシステム
の一例としての非線形学習機械の概念図、第２図は第１
図に示した非線形学習機械の入力部ｌ、加算部２．決定
部３を実現する回路構成の一例を示す図、第３図は入力
Ｘ１．Ｘ２と排他的論理和の学習を行なわせる希望出力
Ｔとの関係を示す図、第４図は第３図の関係で学習させ
たときの重みＷ、の最終的な値を示す図、第５図は第４
図の重みとなったときの加算結果Ｓを示す図、第６図は
第４図、第５図で示した結果によって入力パターンが平
面（Ｘ１１　Ｘ２）上で楕円曲線Ｅによって分類される
様子を示す図、第７図は第３図に示した入力Ｘ、Ｘ２と
希望出力Ｔとの関係にさらに入力ｘ　　、ｘ　　がそれ
ぞれ“０．５”　、　　０゜５”のときに出力Ｚが“＋
１”となるような条件を希望出力Ｔに付加して学習を行
なわせたときの重みＷ、の最終的な値を示す図、第８図
は第７図で示した結果によって入力パターンが平面（ｘ
ｌ。 Ｘ２）上で双曲線Ｆによって分類される様子を示す図、
第９図は“０”と“１”の２値以外の入力Ｘ　１　、　
Ｘ　２と希望出力Ｔとの関係を示す図、第１０図は２次
の非線形学習機械を複数用いて構成されたニューラルネ
ットワークシステムを示す図、第１１図は第１０図に示
したニューラルネットワークシステムにおいて各非線形
学習機械の学習の処理流れを示すフローチャート、第１
２図は第１１図に示す処理の結果非線形学習機械Ｍ１゜
Ｍ２においてそれぞれ学習された重みＷｉの最終的な値
の一例を示す図、第１３図は第１２図で示した結果によ
って入力パターンが平面（ｘｌ。 Ｘ２）上で複数の楕円曲線Ｅ１．Ｅ２によって複数に分
類される様子を示す図、第１４図は従来のニューラルネ
ットワークシステムの一例としての線形学習機械の概念
図、第１５図は入力Ｘ１゜ｘ２と論理和の出力２との関
係を示す図、第１６図は第１５図で示す結果を与えるよ
うに第１４図の線形学習機械が入力パターンを平面（ｘ
ｌ。 Ｘ２）上で直線Ｃによって分類する様子を示す図、第１
７図は入力Ｘ、Ｘ２と排他的論理和の出力Ｚとの関係を
示す図、第１８図は平面（ｘｌ。 Ｘ２）上での排他的論理和め出力２の位置を示す図、第
１９図（ａ）　、　（ｂ）はそれぞれ３次元の入力パタ
ーンＸ　　＊　Ｘ２　、Ｘ３を示す図である。 １・・・入力部、２・・・加算部、３・・・決定部、４
・・・学習部、１０・・・判別部、Ｘ、・・・入力、Ｗ
ｉ・・・重み、Ｚ・・・出力、 Ｔ・・・希望出力（教師信号）、 Ｍｌ乃至Ｍ、・・・非線形学習機械 特許出願人　　株式会社　リ　コ　− 第 第 図 図 第 図 第 図 第 図Figure 1 is a conceptual diagram of a nonlinear learning machine as an example of a neural network system according to the present invention, and Figure 2 is a conceptual diagram of a nonlinear learning machine as an example of a neural network system according to the present invention.
The input section 1, addition section 2, of the nonlinear learning machine shown in the figure. FIG. 3 is a diagram showing an example of a circuit configuration for realizing the determining unit 3. A diagram showing the relationship between X2 and the desired output T for which exclusive OR learning is performed, FIG. 4 is a diagram showing the final value of the weight W when learning is performed using the relationship shown in FIG. 3, and FIG. The figure is number 4
Figure 6 shows how the input pattern is classified by the elliptic curve E on the plane (X11 X2) according to the results shown in Figures 4 and 5. The diagram shown in FIG. 7 shows the relationship between the inputs X, X2 and the desired output T shown in FIG.
Figure 8 shows the final value of the weight W when learning is performed by adding a condition such that the desired output T becomes 1''. (x
l. A diagram showing how classification is performed by hyperbola F on X2),
FIG. 9 shows an input X 1 other than binary values of “0” and “1”,
A diagram showing the relationship between X 2 and desired output T, Figure 10 is a diagram showing a neural network system configured using multiple second-order nonlinear learning machines, and Figure 11 is the neural network system shown in Figure 10. Flowchart showing the processing flow of learning of each nonlinear learning machine in 1st
Figure 2 shows an example of the final values of the weights Wi learned by the nonlinear learning machines M1 and M2 as a result of the processing shown in Figure 11, and Figure 13 shows how the input pattern is determined by the results shown in Figure 12. A plurality of elliptic curves E1. on the plane (xl. X2). Fig. 14 is a conceptual diagram of a linear learning machine as an example of a conventional neural network system, and Fig. 15 shows the relationship between the input X1゜x2 and the output 2 of the logical sum. Figure 16 shows that the linear learning machine in Figure 14 transforms the input pattern into a plane (x
l. X2) Diagram showing how to classify by straight line C, 1st
7 is a diagram showing the relationship between the inputs X, X2 and the exclusive OR output Z, FIG. 18 is a diagram showing the position of the exclusive OR output 2 on the plane (xl. Figures (a) and (b) are diagrams showing three-dimensional input patterns X*X2 and X3, respectively. 1... Input section, 2... Addition section, 3... Determination section, 4
... Learning section, 10... Discrimination section, X, ... Input, W
i...Weight, Z...Output, T...Desired output (teacher signal), Ml to M,...Nonlinear learning machine patent applicant Ricoh Co., Ltd. - Fig. Fig. Fig. Fig. figure

Claims (1)

【特許請求の範囲】 １）各入力をそれぞれに対応した重みと演算させる入力
手段と、入力手段からの各演算結果を加算する加算手段
と、加算手段からの加算結果と閾値とを比較して出力を
決定する決定手段と、決定手段で決定された出力と希望
出力とを比較し比較結果に基づいて前記入力手段の重み
を学習し変化させる学習手段とを備え、前記入力手段は
、入力と重みとの線形演算のみならず入力と重みとの非
線形演算をも行なうようになっていることを特徴とする
ニューラルネットワークシステム。 ２）入力と重みとの線形演算のみならず非線形演算を行
ない前記各重みを学習によって変化させる機能を備えた
複数のネットワークと、前記複数のネットワークからの
出力に基づいて入力パターンの判別を行なう判別部とを
備えていることを特徴とするニューラルネットワークシ
ステム。[Claims] 1) An input means for calculating each input with a weight corresponding to each input means, an addition means for adding each calculation result from the input means, and a comparison between the addition result from the addition means and a threshold value. The input means includes a determining means for determining an output, and a learning means for comparing the output determined by the determining means with a desired output and learning and changing the weight of the input means based on the comparison result. A neural network system characterized in that it performs not only linear calculations with weights but also nonlinear calculations with inputs and weights. 2) A plurality of networks equipped with a function of performing not only linear calculations on inputs and weights but also nonlinear calculations and changing each of the weights through learning, and discrimination that discriminates input patterns based on outputs from the plurality of networks. A neural network system comprising: