JPH02108179A - Pattern discrimination and learning device - Google Patents
Pattern discrimination and learning deviceInfo
- Publication number
- JPH02108179A JPH02108179A JP63259422A JP25942288A JPH02108179A JP H02108179 A JPH02108179 A JP H02108179A JP 63259422 A JP63259422 A JP 63259422A JP 25942288 A JP25942288 A JP 25942288A JP H02108179 A JPH02108179 A JP H02108179A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- neural network
- output
- input
- input signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 abstract description 11
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 230000002950 deficient Effects 0.000 abstract 1
- 230000014509 gene expression Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 208000027697 autoimmune lymphoproliferative syndrome due to CTLA4 haploinsuffiency Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
この発明はニューラルネットワークを用いた例えば、文
字読取、音声認識２画像認識、信号理解などにおけるパ
ターン分別・パターン学習装置に関するものである。The present invention relates to a pattern classification/pattern learning device using a neural network, for example, in character reading, voice recognition, two-image recognition, signal understanding, etc.
第５図は、例えば「概念の学習分散表現」 〔ジー・イ
ー・ヒントン著、第８回認知科学会国際会議予稿集、１
９８６年発行） （Ｇ、Ｅ、Ｈｉｎｔｏｎ、”Ｌｅａ
ｒ−ｎｉｎｇ Ｄｉｓｔｒｉｂｕｔｅｄ Ｒｅｐｒｅｓ
ｅｎｔａｔｉｏｒ＋ｓ ｏｆ ｃｏｎｃｅｐｔｓｌ”Ｐ
ｒｏｃｅｅｄｉｎｇｓ ｏｆ ８ｔｈ Ａｎｎｕａｌ
Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅＣｏｇｎｉｔｉｖ
ｅ ５ｃｉｅｎｃｅ ５ｏｃｉｅｔｙ、 １９８６＋
ｐｐｌ−ｐｐｌ２）に示された従来の手法にもとづくパ
ターン分別・学習装置の構成図である。図においてｌは
人力信号中にいかなるパターンが存在するかを示す出力
信号を後述のニューラルネットワーク３を用いて生成す
るパターン分別装置、２はパターン分別装置１が望まし
い出力信号を出力しなかったときに望ましい出力を外部
より受け取ってニューラルネットワーク３に学習させる
パターン学習装置、３はニューラルネットワーク、４は
入力信号、５は出力信号、６は望ましい出力、７はニュ
ーラルネットワーク３を用いてパターン分別装置１が出
力信号５を計算するための入力信号の正規化情報である
。
次に第５図の動作を第６図のフローチャートを参照して
以下に説明する。まずパターンを分別する機能について
説明する。第２図は一般的なニューラルネットワーク３
の構成例である。図においてニューラルネットワーク３
は１つの入力層１２と１つ以上の中間層１３．１つの出
力層１４とより構成されている。各層に対して入力層１
２に近い層を下位の層、出力層１４に近い層を上位の層
と呼ぶことにする。各層は１つ以上のユニット１０から
できている。各ユニット１０からは１つ上位の層のすべ
て、もしくは一部のユニットｌＯに向けて任意の値の重
みをもった結合１１が伸びている。各ユニット１０には
（０，１）の範囲の連続した値が入力される。ユニッ）
ｕｊの入力（ｉ ｘ ｊは、このユニット１０への結合
１１をもつ１つ下位の層中のユニットをＵム、入力値を
Ｘ、出力値をｙ、ユニットｕｉからユニットｕ４への結
合１１の重みをＷｊ！とすると（１）式が成立する。
Ｘｊ＝ΣＷ ｊ ｉ・ｙ ｔ−−−−−−・・−・−・
・−・−−−−−・・−・・・（１）このときある関数
ｇ （ｘ）を使い、出力値ｙｊはｙｊ＝ｇ （ＸＪ ）
によって決定される。一般に関数ｇ （ｘ）には（２）
式％式％
入力層１２のユニット１０に与えられる入力値のベクト
ルが入力信号１５であり、出力層１４のユニット１０か
ら得られる出力値のベクトルが出力信号１６である。各
ユニット１０の出力値を入力Ｊｉ１２から出力Ｊｉ１４
に向かって順に計算して行くことにより出力信号１６が
得られる。ただし、入力層１２中のユニッｌ−１０の出
力値を計算するさいには入力信号１５は（０，１３の範
囲の値に正規化されなければならない（ステップ、５Ｔ
Ｉ）。
すなわち、入力信号１５がとりうる値の範囲である制限
を知った上でこの制限内での相対値として入力信号１５
は入力層１２の各ユニッ）１０に与えられる（ステップ
、５Ｔ２）。第５図における正規化情報７はこのために
使用される。出力値の解釈は、例えばニューラルネット
ワーク３が分別すべきパターンがｎ個あるとき出力層１
４にｎ個のユニット１０を設けてこれをパターン１つ１
つに対応させ、出力値が一定値以上のユニット１０に対
応するパターンが入力信号中に含まれていたと解釈した
りする。
学習は、例えば後向き誤差伝播アルゴリズムを用いて実
現される。この学習アルゴリズムのための基本方針は、
入力信号１５をニューラルネットワーク３に与えて出力
信号１６を計算しこの出力信号１６と望ましい出力信号
１６との誤差を山登り法により重みＷＢを設定し、これ
を変えて最小化していく（ステップ、５Ｔ３）。次に入
出力信号の組である例題の集合に対して学習を繰り返す
（ステップ、ＳＴ４〜５）。誤差Ｅは
と定義する。ここでＣは例題のインデックス、ｊは出力
層１４のユニットＩＯのインデックス、ｙは出力値、ｄ
は望ましい出力６である。誤差Ｅを最小化するために誤
差Ｅの重みＷに関する変微分係数を求めることにする。
第一にθＥ／θｙｊを各出カニニットに対して求める。
Ｃを固定するとθＥ／θＶｔ ＝’ｊｔ ｄｊ ’
−−−−−・−・・−・−−−−一−−・（４）ここで
、θＥ／θＸｊを求めるためにｃｈａｉｎ辷ｕｌｅθＥ
／θＸ、＝（θＥ／θｙ、）（θｙｊ／θＸｊ）と式（
２）の微分を用いると（５）式が得られる。
θＥ／θＸ、＝（θＥ／θｙ＝）ｙａ（ｙ＝ １）・
−（５）これは誤差Ｅが出カニニット１０への入力によ
り影響されることを示しているがＸｊは下位レベルのユ
ニット１０の出力と重みＷの線型関数で表されるので、
誤差Ｅが下位レベルのユニッ）１０（７）出力と重みＷ
の影響をいかに受けるかが簡単に計算できる。ｃｈａｉ
ｎ ｒｕｌｅにより（θ Ｅ／θ ｗ ｊｔ）＝（θ
Ｅ／θ Ｘ Ｊ）（ａ ｘ ｊ／ θ Ｗ ｊｉ）
Ｘ ｊ ” Ｗ ｊ ｉ ’／ １ とかけるが、Ｗｊ
、を変化させてもｙｉはＸＪに影響しないのでｙｌは定
数とみなせる。よって
（θＥ／θＷｊ正）＝（θＥ／θＸＪ）Ｖ正 ・−・−
（６）また、ｉ番目のユニット１０の出力値ｙが誤差已
にもたらす影響は同様にして
θＥ／θｙ、＝（θＥ／θｘｊ）（θＸｊ／θｙｚ）＝
（θＥ／θＸｊ）Ｗｊ五
となる。そこでｉ番目のユニットｌＯから放射されてい
るすべての結合を考慮すると
θＥ／θｙｔ ＝Σ（θＥ／θｘ Ｊ） ＷＪ＝ ・
−−−（７）となり、出力層１４より１つ下位レベルの
ユニット１０に対する誤差Ｅの変動θＥ／θｙ、は、（
５）式と（７）式とより、出力層１４でのユニットｌＯ
の出力ｙｊに関する誤差Ｅの変動θＥ／θ’ｉｊで次の
ように表される。
θＥ／θｙｉ＝Σ（θＥ／θｙ ｉ） ｙ ｊ（ｙ ｉ
１） ｗｊ！・・−・・ −（χ）
式（ｘ）はある下位のレベルのユニット１０の出力の変
動が誤差已に及ぼす影響はその１つ上位のレベルのユニ
ットｌＯの出力の変動が誤差に及ぼす影響により表され
ることを示している。この手続きは出力Ｊｉｉ１４のユ
ニット１０とその１つ下位レベルのユニット１０との結
合１１以外の結合の場合も使える。
今度は重みＷの変動が誤差Ｅに及ぼす影響について考え
る。もっとも簡単な山登りの方式として重みＷをθＥ／
θＷに比例した量だけ変動させることを考える。つまり
、
ΔＷ＝−ε （θＥ／θＷ）・・−・−−−−一−・−
・・−・−（８）式（８）に弐（５）（６）を適用する
とΔＷ ｊ ！ ＝−ε（θＥ／θｘ＝）ｙｔ＝−ε（
θＥ／θ）’ｉ））’ｊＯ’＝ １）ｙｔ−（Ｙ）と
なる。この式（Ｙ）と（Ｘ）とよりユニットｉからユニ
ットｊへの重みＷｉｊの変動分ΔＷＪ、はユニットｊよ
りルベル上位のユニットにおけるθＥ／θｙを計算する
ことにより求めることができることが判明する。
実際に重みＷを更新する手続きは出力層１４から人力層
１２に向けて、出力値を求める手続きとは逆向きに行わ
れる。ニューラルネットワーク３がｎ層からできている
場合で考える。第ｎ層（出力層）におけるユニット１０
のθＥ／θｙは（４）式より出力値と望ましい出力との
差である。これと（Ｙ）式により第ｎ層のユニットと第
ｎ−１層のユニットの間の結合の重みＷを更新する。さ
らに更新前の重みＷと第ｎ層におけるユニットのθＥ／
θｙを用いて（Ｘ）式より第ｎ−１層のユニットのθＥ
／θｙを求める。以後ｎを減少させる方向にこの操作を
繰り返すことにより重みＷが順次更新されていく。
このアルゴリズムを実現するために第２図に示されたニ
ューラルネットワーク３中の各ユニット１０と結合１１
は例えば、ＩＣメモリなどの記憶素子で構成される。各
ユニットｌＯは自らの出力値ｙと出力の変動に対する誤
差Ｅの変動分θＥ／ａｙを記憶している。各結合は重み
Ｗと重みの変化分ΔＷを記憶している。ただし各結合中
のＷの初期値は全く任意に決められる。このようにして
、各パターンに対し、例題の生成と学とが行われ、全て
のパターンをこの方法で分別可能か否か繰り返し判別す
る（ステップ、５Ｔ６）。第５図に示されたパターン分
類装置は、前記ステップ、 ＳＴ６を実行するもので
、例えばマイクロプロセッサのような計算機構を用いて
（１）（２）式より各ユニット１０の出力値ｙを計算す
る。この処理が完了したときに出力層１４の各ユニット
ｌＯから得られた出力信号１６が望ましい出力と異なっ
ている場合、第５図に示されたパターン学習装置が起動
される。
パターン学習装置はユニットｌＯ中のθＥ／θｙと結合
中の誤差ΔＷを例えばマイクロプロセッサのような計算
機構を用いて（Ｘ） （Ｙ）式にもとづいて計算する。
以上のように、第６図のフローチャートに基いてパター
ンの分別と学習とが行われる。Figure 5 shows, for example, "Learning Distributed Representation of Concepts" [G.E. Hinton, Proceedings of the 8th International Conference of the Cognitive Science Society, 1
Published in 1986) (G. E. Hinton, “Lea
r-ning Distributed Repres
entatio+s of conceptsl”P
roceedings of 8th Annual
Conference of the Cognitive
e 5science 5ociety, 1986+
FIG. 2 is a configuration diagram of a pattern classification/learning device based on the conventional method shown in ppl-ppl2). In the figure, l is a pattern sorting device that uses a neural network 3 (described later) to generate an output signal indicating what kind of pattern exists in a human signal; 2 is a pattern sorting device that generates an output signal indicating what kind of pattern exists in a human signal; 3 is a neural network, 4 is an input signal, 5 is an output signal, 6 is a desired output, 7 is a pattern classification device 1 that receives a desired output from the outside and makes the neural network 3 learn it; This is normalization information of the input signal for calculating the output signal 5. Next, the operation shown in FIG. 5 will be explained below with reference to the flowchart shown in FIG. First, the function for separating patterns will be explained. Figure 2 shows a general neural network 3
This is a configuration example. In the figure, neural network 3
is composed of one input layer 12, one or more intermediate layers 13, and one output layer 14. Input layer 1 for each layer
A layer close to output layer 14 will be called a lower layer, and a layer closer to output layer 14 will be called an upper layer. Each layer is made up of one or more units 10. A connection 11 with a weight of an arbitrary value extends from each unit 10 toward all or part of the units IO in the next higher layer. Continuous values in the range (0, 1) are input to each unit 10. unit)
Input uj (i When the weight is Wj!, equation (1) holds true.
(1) At this time, using a certain function g (x), the output value yj is determined by yj=g (XJ). Generally, the function g (x) has (2)
Formula % Formula % The vector of input values given to the unit 10 of the input layer 12 is the input signal 15 , and the vector of output values obtained from the unit 10 of the output layer 14 is the output signal 16 . Output value of each unit 10 from input Ji12 to output Ji14
The output signal 16 is obtained by performing calculations in order toward . However, when calculating the output value of unit l-10 in the input layer 12, the input signal 15 must be normalized to a value in the range of (0, 13 (step, 5T
I). That is, knowing the limits of the range of values that the input signal 15 can take, the input signal 15 can be calculated as a relative value within this limit.
is applied to each unit (10) of the input layer 12 (step 5T2). The normalization information 7 in FIG. 5 is used for this purpose. The interpretation of the output value is, for example, when the neural network 3 has n patterns to classify, the output layer 1
4 with n units 10 and combine them into one pattern.
It may be interpreted that the input signal contains a pattern corresponding to the unit 10 whose output value is greater than or equal to a certain value. Learning is realized using, for example, a backward error propagation algorithm. The basic policy for this learning algorithm is
The input signal 15 is given to the neural network 3 to calculate the output signal 16, and the error between this output signal 16 and the desired output signal 16 is minimized by setting the weight WB using the hill climbing method and changing this (step, 5T3). ). Next, learning is repeated for a set of examples that are input/output signal sets (steps ST4 to ST5). The error E is defined as. Here, C is the index of the example, j is the index of the unit IO of the output layer 14, y is the output value, and d
is the desired output 6. In order to minimize the error E, a variable differential coefficient of the error E with respect to the weight W is determined. First, θE/θyj is determined for each output unit. If C is fixed, θE/θVt = 'jt dj'
−−−−−・−・・−・−−−−1−−・(4) Here, in order to obtain θE/θXj, chain length θE
/θX, = (θE/θy,) (θyj/θXj) and the formula (
Using the differentiation of 2), equation (5) is obtained. θE/θX, = (θE/θy=)ya (y= 1)・
-(5) This shows that the error E is influenced by the input to the output unit 10, but since Xj is expressed as a linear function of the output of the lower level unit 10 and the weight W,
Unit with error E at lower level) 10 (7) Output and weight W
It is easy to calculate how much it will be affected by chai
n rule, (θ E/θ w jt) = (θ
E/θ X J) (a x j/ θ W ji)
It is multiplied by X j ” W j i '/1, but Wj
Even if , is changed, yi does not affect XJ, so yl can be regarded as a constant. Therefore, (θE/θWj positive) = (θE/θXJ) V positive ・−・−
(6) Similarly, the influence of the output value y of the i-th unit 10 on the error value is θE/θy, = (θE/θxj) (θXj/θyz) =
(θE/θXj)Wj5. Therefore, considering all the bonds radiated from the i-th unit IO, θE/θyt = Σ(θE/θx J) WJ= ・
---(7), and the variation θE/θy of the error E for the unit 10 one level lower than the output layer 14 is (
From equations (5) and (7), the unit lO in the output layer 14
The variation θE/θ'ij of the error E with respect to the output yj is expressed as follows. θE/θyi=Σ(θE/θy i) y j(y i
1) wj! ... - (χ) Equation (x) is the effect that the fluctuation in the output of the unit 10 at a certain lower level has on the error, and the influence that the fluctuation in the output of the unit 10 at the next higher level has on the error. This shows that it is expressed by This procedure can also be used for connections other than the connection 11 between the unit 10 of the output Jii 14 and the unit 10 one level below it. Next, let us consider the influence that fluctuations in the weight W have on the error E. The easiest way to climb a mountain is to set the weight W to θE/
Consider varying the amount by an amount proportional to θW. In other words, ΔW=−ε (θE/θW)・−・−−−−−・−
...--(8) Applying (5) and (6) to equation (8) yields ΔW j ! =-ε(θE/θx=)yt=-ε(
θE/θ)'i))'jO'= 1)yt-(Y). From these equations (Y) and (X), it is found that the variation ΔWJ in the weight Wij from unit i to unit j can be obtained by calculating θE/θy in a unit higher in level than unit j. The procedure for actually updating the weight W is performed from the output layer 14 to the human layer 12 in the opposite direction to the procedure for calculating the output value. Let us consider the case where the neural network 3 is made up of n layers. Unit 10 in the nth layer (output layer)
θE/θy is the difference between the output value and the desired output from equation (4). Using this and equation (Y), the weight W of the connection between the n-th layer unit and the (n-1)th layer unit is updated. Furthermore, the weight W before updating and θE/ of the unit in the nth layer
Using θy, θE of the n-1th layer unit is calculated from equation (X).
Find /θy. Thereafter, by repeating this operation in the direction of decreasing n, the weight W is sequentially updated. To realize this algorithm, each unit 10 and connection 11 in the neural network 3 shown in FIG.
is composed of a storage element such as an IC memory, for example. Each unit IO stores its own output value y and a variation amount θE/ay of the error E with respect to the output variation. Each connection stores a weight W and a change in weight ΔW. However, the initial value of W in each connection can be determined completely arbitrarily. In this way, example problems are generated and studied for each pattern, and it is repeatedly determined whether all patterns can be separated using this method (step 5T6). The pattern classification device shown in FIG. 5 executes the step ST6, and calculates the output value y of each unit 10 from equations (1) and (2) using a calculation mechanism such as a microprocessor. do. If, at the completion of this process, the output signal 16 obtained from each unit IO of the output layer 14 differs from the desired output, the pattern learning device shown in FIG. 5 is activated. The pattern learning device calculates θE/θy in the unit IO and the error ΔW during connection based on the equation (X) (Y) using a calculation mechanism such as a microprocessor. As described above, pattern classification and learning are performed based on the flowchart of FIG.
従来のパターン分別・学習装置は以上のように構成され
ているので、パターン分別装置が複数のパターンを正し
く分別できるようになるまで、使用者が絶えず望ましい
出力６をパターン学習装置に入力してやる必要がありニ
ューラルネットワーク３中の結合１１の重みを学習させ
ていかなければならないという課題があった。また、従
来のパターン分別・学習装置では入力信号を（０，１）
の範囲に正規化するために正規化情報をパターン分別の
度に入力しなければならないという課題があった。
この発明は上記のような課題を解消するためになされた
もので、分別すべき入カバターンの特徴を予め一定の規
則に従って指定しておくことによりこれを分別するよう
なニューラルネットワーク３中の結合１１の重みを自動
的に生成するパターン分別・学習装置を得ることを目的
とする。Since the conventional pattern sorting/learning device is configured as described above, the user has to constantly input the desired output 6 to the pattern learning device until the pattern sorting device can correctly sort a plurality of patterns. There was a problem in that the weights of the connections 11 in the neural network 3 had to be learned. In addition, in conventional pattern classification/learning devices, the input signal is (0, 1)
There was a problem in that normalization information had to be input each time a pattern was classified in order to normalize it to the range of . This invention was made in order to solve the above-mentioned problem, and it is a combination 11 in the neural network 3 that sorts the input patterns by specifying the characteristics of the input patterns to be sorted in advance according to a certain rule. The purpose of this study is to obtain a pattern classification/learning device that automatically generates the weights of .
この発明に係るパターン分別・学習装置はパターン記述
変換装置にパターン記述を入力し、そのパターン記述に
特徴が記述されたパターンを分別できるニューラルネッ
トワークを自動的に生成するようにし、前記パターン記
述より入力信号を正規化するための正規化情報の両方を
自動的に生成する前記パターン記述変換装置を従来のパ
ターン分別・学習装置に付加しニューラルネットワーク
の結合の重みを自動的に生成するようにしたものである
。A pattern classification/learning device according to the present invention inputs a pattern description to a pattern description conversion device, automatically generates a neural network capable of classifying patterns whose features are described in the pattern description, and inputs the pattern description from the pattern description. The pattern description conversion device that automatically generates both normalization information for normalizing signals is added to a conventional pattern classification/learning device to automatically generate connection weights for neural networks. It is.
この発明におけるパターン分別・学習装置はパターン記
述により分別すべきパターンの特徴と入力信号の制限が
指定されるので、前記パターン記述に指定されたパター
ンを分別するニューラルネットワークを自動的に生成で
き、また、入力信号の正規化情報をオンライン記憶化し
てこれをパターン分別装置にかけ、入力信号の正規化を
自動的に行う。更に、この発明におけるパターン分別・
学習装置にはパターン学習装置も備えているのでパター
ン記述に指定されたパターンの特徴に不備があった場合
でも学習によりニューラルネットワークを自動的に修正
する。Since the pattern classification/learning device according to the present invention specifies the characteristics of the pattern to be classified and the limitations of the input signal by the pattern description, it can automatically generate a neural network that classifies the pattern specified in the pattern description. , the normalization information of the input signal is stored online and is applied to the pattern classification device to automatically normalize the input signal. Furthermore, pattern classification and
Since the learning device is also equipped with a pattern learning device, even if there are deficiencies in the characteristics of the pattern specified in the pattern description, the neural network is automatically corrected through learning.
以下、この発明の一実施例を図について説明する。図中
、第５図と同一の部分は同一の符号をもって図示した第
１図において、８はパターン記述変換装置、９はパター
ン記述である。入力信号４の正規化情報７と第５図に示
す入力信号との相違点は、オンライン記憶化されている
ことにある。
第１図のパターン記述９は、第３図に示すように、人力
信号４の特徴を指定した変数宣言９Ａと、パターンの特
徴を指定したスケルトン宣言９Ｂとからなる。変数宣言
９Ａは入力信号１５を表現する変数名と人力信号１５が
とりうる値の制限範囲を指定した制限とからなる。制限
はたとえば、第４図に示したような規則にもとづいてい
る。ただし制限Ａは一意的制限Ｂと集合的制限Ｃとに分
けられる。集合的制限は外延的表現りと内包的表現Ｅと
に分けられる。そして例えば
変数１＝・５．２：
変数２ ： ｅｎｕｍ（２，４，８）；変数３：〉・１
６３．２．＜ ６１１．２８；のように書かれる。各式
の意味は順に「変数１の値は５．２でなければならない
。」 「変数２の値は２．４．８のいづれかでなければ
ならない。」 「変数３の値は１６３．２以上で６１１
．２８未満である。」これらを順にＢ−一意的制限Ｄ外
延的表現、Ｅ内包的表現と呼ぶことにする。スケルトン
宣言９Ｂとは先に宣言された変数の値に対して満足され
るべき条件を付加することにより認識すべきパターンの
特徴を記述したものである。スケルトンは分別すべきパ
ターンに１対１に対応して宣言される。
スケルトン宣言９Ｂは第４図に示したように変数名とそ
の値に対する制限、さらに複数の変数間で満足されるべ
き条件を示した制約からなる。制限は先と同様の手法で
指定される。制約は例えば第４図に示したような規則に
したがって指定される。
制約中の論理式とは変数間で満足されるべき条件を表し
た、真と偽の２値をもつ式である。これは例えば
ｄｏｕｂｌｅ（変数１．変数２）へＮＤ変数２＝＝８−
＞変数２＝＝４；変数１ ＞＝ １００ ＯＲ変数２＜
＝ ３．３＜−＞変数３・・１．０；のように書かれ、
順に「変数１の値の２倍が変数２の値であり、かつ変数
２の値が８であるなら変数１の値は４である。」 「変
数１が１００以上であるかまたは変数２が３．３以下で
あることは変数３が１．０であることと等価である。」
という意味である。
次に第１図の動作について説明する。まず従来のパター
ン分別・学習装置ではニューラルネットワーク３の各結
合１１の重みＷの初期値は任意の値を設定しているが、
本方式ではパターン分別・学習装置の使用者がパターン
記述９に入力信号１５から分別すべきパターンの特徴を
スケルトンとして記述しておきこれをもとにパターン記
述変換装置８がニューラルネットワーク３の各結合の重
みの初期値を設定する。その後、入力信号４がパターン
分別装置１に与えられ、パターン分別装置１はニューラ
ルネットワーク３を用いてこの入力信号４を分別する。
さらに、もしパターン記述９に不備があって使用者の意
図にそくわない分別が行われたときは、使用者はパター
ン学習装置２にニューラルネットワーク３と望ましい出
力を与えニューラルネットワーク３をトレーニングする
。
パターン記述変換装置８は入力信号４の正規化情報７と
ニューラルネットワーク３の構造および各結合の重みを
生成する。入力信号４の正規化情報７は先の変数の制限
にもとづいて生成される。
一意的制限Ｂの場合は入力信号４は［０，１）の範囲中
の一定値に正規化される。外延的表現りの場合は［０，
１）の範囲中の離散した値に対応づけられて正規化され
る。したがって、これら２つの場合には制限として与え
られた値とそれに対応する正規化値との組が正規化情報
として出力される。内包的表現Ｅの場合には
正規化値＝（入力値−最小値）／最大値の計算式が正規
化情報７として出力される。この正規化情報７はパター
ン分別装置１が入力信号４を正規化するための手段とし
てオンライン的に用いられる。ネットワークについては
第２図に示すように入力層１２．中間層１３．出力層１
４の３層からできているものと仮定し、パターン記述変
換装置８はニューラルネットワーク３のユニット１０と
各結合１１の重みを生成する。入力層１２中の各ユニッ
ト１０はパターン記述で指定された変数１つ１つに対応
するものとして、入力層１２中のユニット１０は変数の
数だけつくられる。出力層１４中のユニット１０の数は
分別すべきパターンの数だけ、すなわちスケルトンの数
だけ用意される。中間層１３のユニット数は出力層１４
のユニット数をＮとして
ｌｏｇｚＮ≦Ｘ ＜ １０ｇｚ （Ｎ ＋ １ ）を満
足する整数Ｘに設定される。これらのユニット間の結合
の重みは全く任意に設定される。次にパターン記述変換
装置８はスケルトンによって指定された制限・制約を満
たすような例題を発生させる。すなわち、制限が指定さ
れた変数に対してはその制限を満足するような値を、制
限が指定されていない変数に対しては全く任意な値を設
定し、さらにこれらのうち制約を満足するものだけを取
り出す。このようにしてできた例題をパターン記述変換
装置８はパターン分別装置１に与え出力信号１６を計算
させる。、さらに、パターン記述変換装置８はこの出力
信号１６と望ましい出力６、ニューラルネットワーク３
をパターン学習装置２に入力してニューラルネットワー
ク３を学習させる。
この操作はパターン記述に指定されたすべてのパターン
をパターン分別装置１が分別できるようになるまで続け
られる。このようにして指定されたパターンを分別でき
るニューラルネットワーク３が自動生成される。
なお、上記実施例ではニューラルネットワーク３は記憶
装置、パターン分別装置１とパターン学習装置２はマイ
クロプロセッサなどの計算機構として別々に実現されて
いたが、ニューラルネットワーク３の各ユニット１０が
メモリとマイクロプロセッサを持ち合わせたようなマル
チマイクロプロセッサなどの並列計算機を用いても同様
の効果が期待できる。An embodiment of the present invention will be described below with reference to the drawings. In FIG. 1, the same parts as in FIG. 5 are shown with the same reference numerals. In FIG. 1, 8 is a pattern description conversion device, and 9 is a pattern description. The difference between the normalized information 7 of the input signal 4 and the input signal shown in FIG. 5 is that it is stored online. The pattern description 9 in FIG. 1, as shown in FIG. 3, consists of a variable declaration 9A specifying the characteristics of the human input signal 4 and a skeleton declaration 9B specifying the characteristics of the pattern. The variable declaration 9A consists of a variable name expressing the input signal 15 and a restriction specifying a range of values that the human input signal 15 can take. The restrictions are based on rules such as those shown in FIG. 4, for example. However, restriction A is divided into unique restriction B and collective restriction C. Collective restrictions are divided into extensional expressions and intensional expressions E. For example, variable 1 = 5.2: variable 2: enum (2, 4, 8); variable 3: > 1
63.2. It is written as <611.28; The meaning of each expression is, in order, ``The value of variable 1 must be 5.2.'' ``The value of variable 2 must be one of 2.4.8.'' ``The value of variable 3 must be 163.2 or more.'' 611
．． It is less than 28. ” These will be called, in order, B-unique restriction D-extensional expression and E-intensive expression. The skeleton declaration 9B describes the characteristics of the pattern to be recognized by adding conditions to be satisfied to the values of the previously declared variables. Skeletons are declared in one-to-one correspondence with the patterns to be classified. As shown in FIG. 4, the skeleton declaration 9B consists of variable names, restrictions on their values, and constraints indicating conditions to be satisfied among a plurality of variables. Limits are specified in the same manner as before. The constraints are specified according to rules such as those shown in FIG. 4, for example. A logical expression in a constraint is an expression that has two values, true and false, and represents a condition that must be satisfied between variables. This is, for example, ND variable 2 = = 8- to double (variable 1. variable 2)
＞Variable 2==4; Variable 1 ＞= 100 OR Variable 2<
= 3.3<->variable 3...1.0;
"If the value of variable 2 is twice the value of variable 1, and the value of variable 2 is 8, then the value of variable 1 is 4.""If variable 1 is 100 or more, or variable 2 is 3.3 or less is equivalent to variable 3 being 1.0.
That is what it means. Next, the operation shown in FIG. 1 will be explained. First, in the conventional pattern classification/learning device, the initial value of the weight W of each connection 11 of the neural network 3 is set to an arbitrary value.
In this method, the user of the pattern classification/learning device describes the features of the pattern to be classified from the input signal 15 as a skeleton in the pattern description 9, and based on this, the pattern description conversion device 8 converts each connection of the neural network 3 into a pattern description 9. Set the initial value of the weight. Thereafter, the input signal 4 is given to the pattern sorting device 1, and the pattern sorting device 1 sorts this input signal 4 using the neural network 3. Furthermore, if the pattern description 9 is incomplete and classification is performed that does not meet the user's intention, the user provides the neural network 3 and a desired output to the pattern learning device 2 to train the neural network 3. The pattern description conversion device 8 generates normalization information 7 of the input signal 4, the structure of the neural network 3, and the weights of each connection. The normalization information 7 of the input signal 4 is generated based on the previous variable restrictions. For unique constraint B, the input signal 4 is normalized to a constant value in the range [0, 1). In case of extensional expression, [0,
1) is normalized in association with discrete values within the range. Therefore, in these two cases, a set of a value given as a restriction and a normalized value corresponding thereto is output as normalized information. In the case of the connotative expression E, the calculation formula of normalized value=(input value-minimum value)/maximum value is output as normalized information 7. This normalization information 7 is used online as a means for the pattern classification device 1 to normalize the input signal 4. Regarding the network, as shown in FIG. 2, the input layer 12. Middle layer 13. Output layer 1
The pattern description conversion device 8 generates the weights of the units 10 and each connection 11 of the neural network 3. Assuming that each unit 10 in the input layer 12 corresponds to each variable specified in the pattern description, as many units 10 as there are variables in the input layer 12 are created. The number of units 10 in the output layer 14 is equal to the number of patterns to be classified, that is, the number of skeletons. The number of units in the middle layer 13 is the output layer 14.
It is set to an integer X that satisfies logzN≦X<10gz (N + 1), where N is the number of units of . The weights of the connections between these units are set quite arbitrarily. Next, the pattern description conversion device 8 generates an example problem that satisfies the limitations and constraints specified by the skeleton. In other words, a value that satisfies the constraint is set for a variable with a specified limit, a completely arbitrary value is set for a variable that has no specified limit, and furthermore, a value that satisfies the constraint is set for a variable that has no specified limit. Take out only. The pattern description conversion device 8 supplies the example problem created in this manner to the pattern classification device 1 to calculate the output signal 16. , furthermore, the pattern description conversion device 8 converts this output signal 16 and the desired output 6 into the neural network 3
is input into the pattern learning device 2 to cause the neural network 3 to learn. This operation is continued until the pattern sorting device 1 can sort all the patterns specified in the pattern description. In this way, a neural network 3 capable of classifying the specified pattern is automatically generated. In the above embodiment, the neural network 3 is realized as a storage device, and the pattern classification device 1 and pattern learning device 2 are realized separately as a calculation mechanism such as a microprocessor, but each unit 10 of the neural network 3 is realized as a memory and a microprocessor. A similar effect can be expected by using a parallel computer such as a multi-microprocessor that has the following functions.
この発明は以上説明したとおり、予め指定されたパター
ンを自動的にパターン分別装置で分別できるように予め
ニューラルネットワークにパターンを記憶させておき、
そのパターンをパターン記述変換装置によって学習させ
ておくので、使用者が望ましい出力をパターン学習装置
に入力してやる必要もなくニューラルネットワークの重
みを学習させる必要がないという効果がある。また、こ
の発明にはパターン学習装置も付加されているので、パ
ターン記述に不備があった場合でもニューラルネットワ
ークの使用時にこれを使用者が修正して行くことができ
る。さらに、パターン記述から抽出された正規化情報が
オンライン記憶化されているのでパターン分別のさいの
入力信号の正規化も自動化できるという効果がある。As explained above, this invention stores patterns in advance in a neural network so that pre-specified patterns can be automatically separated by a pattern sorting device,
Since the pattern is learned by the pattern description conversion device, there is an advantage that there is no need for the user to input a desired output into the pattern learning device, and there is no need for the neural network to learn the weights. Further, since a pattern learning device is added to the present invention, even if there is a defect in the pattern description, the user can correct it when using the neural network. Furthermore, since the normalization information extracted from the pattern description is stored online, the normalization of input signals during pattern classification can also be automated.
第１図は本発明の一実施例によるパターン分別・学習装
置の構成図、第２図は一般的なニューラルネットワーク
の構成図、第３図はこの発明によるパターン記述の構成
図、第４図は第３図のパターン記述のための規則を示し
た説明図、第５図は従来のパターン分別・学習装置の構
成図、第６図は第５図の動作フローチャートである。
図において、１はパターン分別装置、２はパターン学習
装置、３はニューラルネットワーク、８はパターン記述
変換装置である。第１図、第５図において、楕円は処理
を行う各ブロックを、各ブロックに左から入る矢印はそ
のブロックに対する入力を、下から入る矢印はそのブロ
ックが自己の処理の中で使用する手段を、右から出る矢
印はそのブロックの出力を、矢印機に付けられた枠はそ
の矢印によって選ばれる情報の内容をそれぞれ表してい
る。
なお、各図中同一符号は同一または相当部分を示す。
ｉｉ４図
手
続
補
正
２、発明の名称
パターン分別・学習装置
３、補正をする者
代表者
ｄブ
書
昭和
岐
寸
（自 発）
６３１つ１９
年“月°日
哉
６、補正の内容
（１）明細書第２頁第１Ｏ行目のｒｏｆ８ｔｈＪとある
のをｒｏｆ ｔｈｅ ８ｔｈＪと補正する。
（２）明細書第２頁第１１行目のｒ ｐｐｌ−ｐｐ１２
Ｊとあるのをｒｐｐ、１−１２ Ｊと補正する。
（３）明細書第３頁第２０行目から第４頁第１行目にか
けて「人力値をＸ、出力値をｙ、」とあるのをｒｕ＋の
出力値をｙ＋、Ｊと補正する。
（４）明細書第４頁第８行目の
ｒ ｌ ／ （１＋ ｅｘｐ（ｘｌ） Ｊとあるのをｒ
１ ／ （１＋ｅｘｐ（−に））」と補正する６（５
）明細書第５頁第１３行目から同頁筒１４行目にかけて
「誤差を山登り法」とあるのを「差を誤差とし、山登り
法」と補正する。
（６）明細書筒５亘第１４の行目の「最小」とあるのを
「誤差を最小」と補正する。
（７）明細書第９頁第１６行目の「学とが」とあるのを
「学習とが」と補正する。
（８）明細書第１１頁第１４行目から同頁筒１５行目に
かけて「生成するようにし、」とあるのを「生成し、さ
らに、」と補正する。
（９）明細書第１１頁第１６行目の「正規化情報の両方
を自動的に」とあるのを「正規化情報を自動的に」と補
正する。
（１０）明細書第１１頁第１９行目の「生成するように
」とあるのを「生成・修正するようにＪと補正する。
（１１）明細書第１３頁第１６行目の「いづれかで」と
あるのを「いずれかで」と補正する。
（１２）明細書第１７頁第１行目の［ユニット数は出力
層」とあるのを［ユニット数は５例えば。
出力層」と補正する。
以 上Fig. 1 is a block diagram of a pattern classification/learning device according to an embodiment of the present invention, Fig. 2 is a block diagram of a general neural network, Fig. 3 is a block diagram of a pattern description according to the present invention, and Fig. 4 is a block diagram of a pattern classification/learning device according to an embodiment of the present invention. FIG. 3 is an explanatory diagram showing rules for pattern description, FIG. 5 is a configuration diagram of a conventional pattern classification/learning device, and FIG. 6 is an operation flowchart of FIG. 5. In the figure, 1 is a pattern classification device, 2 is a pattern learning device, 3 is a neural network, and 8 is a pattern description conversion device. In Figures 1 and 5, the ellipses indicate each block that performs processing, the arrows entering each block from the left indicate the input to that block, and the arrows entering from the bottom indicate the means used by that block in its own processing. , the arrow coming out from the right represents the output of that block, and the frame attached to the arrow represents the content of the information selected by that arrow. Note that the same reference numerals in each figure indicate the same or corresponding parts. ii 4 Figure Procedural Amendment 2, Invention Name Pattern Classification/Learning Device 3, Representative of the person making the amendment d Book Showa Gisun (self-sponsored) 631 19th year “Monday 6, Contents of the Amendment (1) Details (2) r ppl-pp12 on page 2, line 11 of the specification.
J is corrected to rpp, 1-12 J. (3) From the 20th line on page 3 of the specification to the 1st line on page 4, the statement ``manpower value is X, output value is y'' is corrected to y+, J for the output value of ru+. (4) r l / (1+ exp(xl) J on page 4, line 8 of the specification)
1/(1+exp(-))"6(5
) From page 5, line 13 of the specification to line 14 of the cylinder on the same page, the phrase ``the error is the hill-climbing method'' is corrected to ``the difference is the error and the hill-climbing method''. (6) The word "minimum" in the 14th line of the five specification cylinders is corrected to "minimize error." (7) "Gakutoga" on page 9, line 16 of the specification is corrected to "Gakutoga." (8) From the 14th line of the 11th page of the specification to the 15th line of the cylinder on the same page, the phrase "to be generated," has been amended to "to be generated, and furthermore." (9) The phrase "both normalized information automatically" on page 11, line 16 of the specification is corrected to "normalized information automatically." (10) The phrase “to generate” on page 11, line 19 of the specification is amended to “J to generate/modify.” (11) The phrase “in any case” on page 13, line 16 of the specification Correct "at" to "at either". (12) In the first line of page 17 of the specification, the phrase [the number of units is the output layer] should be changed to [the number of units is 5, for example. Correct it as "output layer". that's all
Claims (1)
結合してなるニューラルネットワークと、前記入力信号
中にいかなるパターンが存在するかを示す出力信号を前
記ニューラルネットワークを用いて生成するパターン分
別装置と、前記パターン分別装置が望ましい出力信号を
出力しなかったときに該望ましい出力を外部より受け取
って同一の入力信号が入力された時には前記望ましい出
力信号が得られるようにニューラルネットワークに学習
させるパターン学習装置と、前記パターンの判別すべき
特徴のパターン記述を解釈し、これよりニューラルネッ
トワークを自動的に生成するパターン記述変換装置とか
らなるパターン分別・学習装置。A neural network formed by connecting an input signal and an output signal through an input layer, an intermediate layer, and an output layer, and a pattern that uses the neural network to generate an output signal indicating what pattern exists in the input signal. A sorting device and a neural network are trained to receive the desired output from the outside when the pattern sorting device does not output a desired output signal, and to obtain the desired output signal when the same input signal is input. A pattern classification/learning device comprising a pattern learning device and a pattern description conversion device that interprets a pattern description of a feature to be determined in the pattern and automatically generates a neural network from the pattern description.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63259422A JPH02108179A (en) | 1988-10-17 | 1988-10-17 | Pattern discrimination and learning device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63259422A JPH02108179A (en) | 1988-10-17 | 1988-10-17 | Pattern discrimination and learning device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02108179A true JPH02108179A (en) | 1990-04-20 |
Family
ID=17333879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63259422A Pending JPH02108179A (en) | 1988-10-17 | 1988-10-17 | Pattern discrimination and learning device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02108179A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03279178A (en) * | 1990-03-28 | 1991-12-10 | Mitsubishi Electric Corp | Control device for elevator |
| JPH0432472A (en) * | 1990-05-29 | 1992-02-04 | Mitsubishi Electric Corp | Elevator control device |
| JPH0439277A (en) * | 1990-05-31 | 1992-02-10 | Mitsubishi Electric Corp | Elevator control device |
| JPH0449183A (en) * | 1990-06-19 | 1992-02-18 | Mitsubishi Electric Corp | Elevator control device |
-
1988
- 1988-10-17 JP JP63259422A patent/JPH02108179A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03279178A (en) * | 1990-03-28 | 1991-12-10 | Mitsubishi Electric Corp | Control device for elevator |
| JP2573715B2 (en) * | 1990-03-28 | 1997-01-22 | 三菱電機株式会社 | Elevator control device |
| JPH0432472A (en) * | 1990-05-29 | 1992-02-04 | Mitsubishi Electric Corp | Elevator control device |
| JP2573722B2 (en) * | 1990-05-29 | 1997-01-22 | 三菱電機株式会社 | Elevator control device |
| JPH0439277A (en) * | 1990-05-31 | 1992-02-10 | Mitsubishi Electric Corp | Elevator control device |
| JP2573723B2 (en) * | 1990-05-31 | 1997-01-22 | 三菱電機株式会社 | Elevator control device |
| JPH0449183A (en) * | 1990-06-19 | 1992-02-18 | Mitsubishi Electric Corp | Elevator control device |
| JP2573726B2 (en) * | 1990-06-19 | 1997-01-22 | 三菱電機株式会社 | Elevator control device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hajela et al. | Neurobiological computational models in structural analysis and design | |
| JP3329806B2 (en) | Neural network construction device | |
| Anderson et al. | Artificial neural networks technology | |
| EP0569549B1 (en) | Predictive self-organizing neural network | |
| US7069257B2 (en) | Pattern recognition method for reducing classification errors | |
| CN112115687A (en) | Problem generation method combining triples and entity types in knowledge base | |
| CN114743020A (en) | Food identification method combining tag semantic embedding and attention fusion | |
| CN110991601A (en) | Neural network recommendation method based on multi-user behaviors | |
| Jumanov et al. | Optimization of identification of images of micro-objects taking into account systematic error based on neural networks | |
| JPH02108179A (en) | Pattern discrimination and learning device | |
| Vaughn | Interpretation and knowledge discovery from the multilayer perceptron network: opening the black box | |
| Wang | Artificial neural networks versus natural neural networks: A connectionist paradigm for preference assessment | |
| Jagielska | Linguistic rule extraction from neural networks for descriptive data mining | |
| Kulkarni | Neural-fuzzy models for multispectral image analysis | |
| Villalobos et al. | Learning capability assessment and feature space optimization for higher-order neural networks | |
| Cho et al. | Parallel, self-organizing, hierarchical neural networks with competitive learning and safe rejection schemes | |
| Kulkarni et al. | Fuzzy neural network models for supervised classification: multispectral image analysis | |
| Park | Bankruptcy prediction of banks and insurance companies: an approach using inductive methods | |
| Pedrycz | Fuzzy logic in development of fundamentals of pattern recognition | |
| Guan | Development of optimal network structures for back-propagation-trained neural networks | |
| Parekh et al. | Pruning strategies for the MTiling constructive learning algorithm | |
| JPH05342255A (en) | Document retrieving method/device using syntax information of natural language | |
| Chin et al. | Fuzzy logic and neural networks | |
| Williams et al. | Improving classification performance in the bumptree network by optimising topology with a genetic algorithm | |
| Koutroumbas et al. | Nearest neighbor pattern classification neural networks |