JPH07325797A - Learning type recognition and judgment device - Google Patents
Learning type recognition and judgment deviceInfo
- Publication number
- JPH07325797A JPH07325797A JP6120187A JP12018794A JPH07325797A JP H07325797 A JPH07325797 A JP H07325797A JP 6120187 A JP6120187 A JP 6120187A JP 12018794 A JP12018794 A JP 12018794A JP H07325797 A JPH07325797 A JP H07325797A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- output
- recognition
- input
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、対象物の各種特徴デー
タに応じて対象物の認識判断を学習により構築する学習
型認識判断装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a learning type recognition / judgment apparatus for constructing recognition judgment of an object by learning according to various characteristic data of the object.
【０００２】[0002]
【従来の技術】従来の、認識判断を学習により構築する
学習型認識判断装置としては、例えば文献「ネイチャー
第３２３巻第５３３頁〜第５３６頁１９８６年１０月
９日」（D. E. Rumelhart, G. E.Hinton and R. J. Wil
liams ："Learning Representations by Back-Propagat
ing Errors," Nature, vol.323, pp.533-536, Oct. 9,1
986）に示されている。2. Description of the Related Art A conventional learning-type recognition / judgment device for constructing recognition judgment by learning is disclosed in, for example, "Nature Vol. 323, pp. 533-536, October 9, 1986" (DE Rumelhart, GE Hinton and RJ Wil
liams: "Learning Representations by Back-Propagat
ing Errors, "Nature, vol.323, pp.533-536, Oct. 9,1
986).
【０００３】図６は従来の学習型認識判断装置の構成図
を示すものである。図６において、１０は出力信号算出
部、２０は出力信号算出部１０で得られた出力信号をも
とに出力信号算出部１０の重み係数の値を更新する重み
係数更新部である。出力信号算出部１０は、図７に示す
ように階層構成をしており、３０は多入力一出力信号処
理部、４０は出力信号算出部１０の入力部である。この
ような出力信号算出部１０を構成する多入力一出力信号
処理部３０の構成を具体的に示したものが図８である。FIG. 6 is a block diagram of a conventional learning type recognition / judgment device. In FIG. 6, 10 is an output signal calculation unit, and 20 is a weight coefficient update unit that updates the value of the weight coefficient of the output signal calculation unit 10 based on the output signal obtained by the output signal calculation unit 10. The output signal calculation unit 10 has a hierarchical structure as shown in FIG. 7, 30 is a multi-input / one output signal processing unit, and 40 is an input unit of the output signal calculation unit 10. FIG. 8 specifically shows the configuration of the multi-input / single-output signal processing unit 30 that constitutes the output signal calculation unit 10.
【０００４】図８において、５０は多入力一出力信号処
理部３０の入力部、６０は入力部５０からの複数入力を
重み付ける重み係数を格納するメモリ、７０はメモリ６
０の重み係数と入力部５０からの入力を各々掛け合わせ
る乗算器、８０は乗算器７０の各々の出力を足し合わせ
る加算器、９０は加算器８０の出力を一定範囲の値に制
限するしきい値処理部である。ここでしきい値処理部９
０の入出力特性を図９に示す。例えば、出力を（０，
１）の範囲に制限するしきい値処理部９０の入出力特性
は（数１）に示すように数式的に表現できる。 （数１） ｆ（Ｉ） = 1 / (1 + exp(-Ｉ+θ)) （数１）において、Ｉはしきい値処理部９０の入力であ
る。なお、しきい値処理部９０の入出力特性としては上
記以外のしきい値関数でもよい。In FIG. 8, 50 is an input section of the multi-input / single-output signal processing section 30, 60 is a memory for storing weighting factors for weighting a plurality of inputs from the input section 50, and 70 is a memory 6
A multiplier that multiplies the weighting coefficient of 0 and the input from the input unit 50, 80 is an adder that adds the outputs of the multiplier 70, and 90 is a threshold that limits the output of the adder 80 to a value in a certain range. It is a value processing unit. Here, the threshold processing unit 9
The input / output characteristic of 0 is shown in FIG. For example, the output is (0,
The input / output characteristics of the threshold value processing unit 90 that is limited to the range of 1) can be expressed mathematically as shown in (Equation 1). (Equation 1) f (I) = 1 / (1 + exp (−I + θ)) In (Equation 1), I is an input of the threshold processing unit 90. The input / output characteristic of the threshold processing unit 90 may be a threshold function other than the above.
【０００５】図６は、重み係数更新部２０の構成を示し
ており、図中１００は教師信号発生部、１１０は誤差信
号算出部、１２０は重み変更量算出部である。以上のよ
うに構成された従来の学習型認識判断装置について、以
下その動作を説明する。FIG. 6 shows the configuration of the weighting factor updating unit 20, in which 100 is a teacher signal generating unit, 110 is an error signal calculating unit, and 120 is a weighting change amount calculating unit. The operation of the conventional learning-type recognition / judgment device configured as described above will be described below.
【０００６】まず、出力信号算出部１０の入力部４０に
入力信号が入力されると、各多入力一出力信号処理部３
０は、多入力一出力信号処理部３０に接続されている下
層の多入力一出力信号処理部３０の出力とメモリ６０に
記憶されているその接続の度合である重み係数とを乗算
器７０により掛け合わせ、乗算器７０の各々の出力の総
和を加算器８０で計算した後、しきい値処理部９０で変
換しその値を上層の多入力一出力信号処理部３０へ出力
する。First, when an input signal is input to the input unit 40 of the output signal calculation unit 10, each multi-input one-output signal processing unit 3
0 is output by the multiplier 70 between the output of the lower-layer multi-input single-output signal processing unit 30 connected to the multi-input single-output signal processing unit 30 and the weighting coefficient stored in the memory 60, which is the degree of the connection. After multiplication, the sum of the respective outputs of the multiplier 70 is calculated by the adder 80, and then the threshold value processing unit 90 converts the sum and outputs the value to the multi-input one-output signal processing unit 30 in the upper layer.
【０００７】つまり、図８に示す多入力一出力信号処理
部３０は、入力部５０への入力値をｏj（下層のｊ番目
の多入力一出力信号処理部３０の出力） 、メモリ６０
に格納されている重み係数をｗij（ｉ番目の多入力一出
力信号処理部３０と下層のｊ番目の多入力一出力信号処
理部３０との結合重み）とすれば、以下の（数２）を計
算しているわけである。 （数２） ｏi ＝ ｆ（Σj ｗij ｏj） ここで、Σi はｉ番目の多入力一出力信号処理部３０に
接続される重み係数に関する総和である。That is, the multi-input one-output signal processing unit 30 shown in FIG. 8 stores the input value to the input unit 50 as o j (the output of the j-th multi-input one-output signal processing unit 30 in the lower layer) and the memory 60.
Let w ij (the connection weight between the i-th multi-input one-output signal processing unit 30 and the j-th multi-input one-output signal processing unit 30 in the lower layer) be the weighting coefficient stored in ) Is calculated. (Equation 2) o i = f (Σ j w ij o j ) Here, Σ i is the sum of weighting factors connected to the i-th multi-input one-output signal processing unit 30.
【０００８】出力信号算出部１０の入力部４０から入力
される信号に応じて、教師信号発生部１００が前記入力
信号に対する望ましい出力信号を教師信号ｔi（"０" ま
たは"１"）として発生し、誤差信号算出部１１０におい
て出力信号算出部１０から出力される実際の出力信号ｏ
i と前記教師信号との誤差(ｔi−ｏi)が計算され、重み
変更量算出部１２０に出力される。In response to a signal input from the input unit 40 of the output signal calculation unit 10, the teacher signal generator 100 generates a desired output signal for the input signal as a teacher signal t i ("0" or "1"). Then, in the error signal calculation unit 110, the actual output signal o output from the output signal calculation unit 10
An error (t i −o i ) between i and the teacher signal is calculated and output to the weight change amount calculation unit 120.
【０００９】重み変更量算出部１２０は、上記出力信号
ｏi と前記教師信号との誤差(ｔi−ｏi)から、最上位層
における多入力一出力信号処理部３０の二乗誤差Ｅ （数３） Ｅ＝0.5Σi（ｔiーｏi）2 を算出した後、この二乗誤差Ｅをもとに出力信号算出部
１０のメモリ６０に記憶されている重み係数の変更量△
ｗij を（数４）に基づいて計算し、該重み係数を変更
する。 （数４） △ｗij ＝ −ε＊∂Ｅ／∂ｗij ＋ α＊△
ｗ'ij ここで、Σi は出力信号算出部１０における最上位層の
全ての多入力一出力信号処理部３０に関する総和、εは
学習レートと呼ばれる正の定数、αは加速パラメータと
呼ばれる正の定数であり、△ｗ'ij は前回の学習におけ
る重み係数の変更量である。The weight change amount calculation unit 120 calculates the squared error E (number) of the multi-input one-output signal processing unit 30 in the uppermost layer from the error (t i −o i ) between the output signal o i and the teacher signal. 3) After calculating E = 0.5Σ i (t i −o i ) 2 , the change amount Δ of the weighting coefficient stored in the memory 60 of the output signal calculation unit 10 based on the squared error E.
w ij is calculated based on ( Equation 4), and the weighting factor is changed. (Equation 4) Δw ij = −ε * ∂E / ∂w ij + α * Δ
w ′ ij where Σ i is the sum of all the multi-input one-output signal processing units 30 in the uppermost layer in the output signal calculation unit 10, ε is a positive constant called a learning rate, and α is a positive parameter called an acceleration parameter. It is a constant, and Δw ′ ij is the change amount of the weighting coefficient in the previous learning.
【００１０】以上のようにして、重みの更新を繰り返す
ことによって、誤差を小さくしてゆき、誤差が十分小さ
くなると、出力信号が望ましい値に十分近くなったもの
として学習を終了する。この時点で、この学習型認識判
断装置は入力される特徴データを認識判断し、その結果
を出力することが出来る認識判断装置となっている。As described above, the weight is updated repeatedly to reduce the error, and when the error becomes sufficiently small, the learning is terminated assuming that the output signal is sufficiently close to the desired value. At this point, the learning type recognition determining device is a recognition determining device capable of recognizing and determining the input feature data and outputting the result.
【００１１】[0011]
【発明が解決しようとする課題】しかしながら上記のよ
うな従来の構成では、学習時に全ての層の重み係数を変
更する必要があり、学習に非常に時間がかかるだけでな
く、誤認識した際、その場で追加的に学習する場合にも
学習に非常に時間がかかる。However, in the conventional configuration as described above, it is necessary to change the weighting coefficients of all layers during learning, which not only takes a very long time for learning, but also when erroneous recognition occurs, Even if additional learning is performed on the spot, it takes a long time to learn.
【００１２】更に１つのカテゴリに対して最上位層の１
つの多入力一出力信号処理部しか割り当てられないの
で、入力データの変動が激しい場合その変動を学習しき
れず認識性能が劣化するとういう課題を有していた。[0012] Furthermore, one of the highest layers for one category
Since only one multi-input one-output signal processing unit is assigned, there is a problem that when the input data fluctuates significantly, the fluctuation cannot be learned and the recognition performance deteriorates.
【００１３】本発明はかかる従来の学習型認識判断装置
の課題に鑑み、入力データの変動が激しい場合でも、高
速かつ効率的な学習及び追加学習が可能で、認識性能が
劣化しない学習型認識判断装置を提供することを目的と
する。In view of the problems of the conventional learning type recognition / judgment apparatus, the present invention enables fast and efficient learning and additional learning even when the input data fluctuates significantly, and the learning type recognition judgment does not deteriorate the recognition performance. The purpose is to provide a device.
【００１４】[0014]
【課題を解決するための手段】第１の発明は、複数のカ
テゴリからなる学習データの属性情報を記憶する学習デ
ータ記憶部と、複数の階層からなり、最下層を複数の第
３の単位認識ユニット、最下層の前層を複数の第２の単
位認識ユニット、それ以外の層を複数の第１の単位認識
ユニットにより構成したネットワークと、前記属性情報
から入力データに対応する最下層の第３の単位認識ユニ
ットの番号である教師信号を発生する第１の教師信号発
生部と、最下層の各単位認識ユニットの中で最大出力を
発生する単位認識ユニットを検出する最大出力ユニット
検出器と、前記検出された最大出力を発生する単位認識
ユニットの番号を認識結果に変換し表示部に出力する認
識結果表示部と、該認識結果が間違っている場合に正解
の認識結果を入力する正解入力部と、該入力された正解
の認識結果を入力データに対応する最下層の第３の単位
認識ユニットの番号である教師信号に変換する第２の教
師信号発生部と、最下層の第３の単位認識ユニットの中
でどのユニットが最も大きい値を出力する事が望ましい
かを示す信号を選択する教師信号選択器と、前記最大出
力ユニット検出器によって検出された単位認識ユニット
番号と最下層の第３の単位認識ユニットの中でどのユニ
ットが最も大きい値を出力することが望ましいかを示す
信号とを比較する比較判定器とを備えた構成である。A first invention comprises a learning data storage unit for storing attribute information of learning data consisting of a plurality of categories, a plurality of hierarchies, and a plurality of third unit recognitions at the bottom layer. A unit, a network formed by a plurality of second unit recognition units in the front layer of the lowermost layer and a plurality of first unit recognition units in the other layers, and a third layer of the lowermost layer corresponding to the input data from the attribute information. A first teacher signal generator that generates a teacher signal that is the number of the unit recognition unit of, and a maximum output unit detector that detects the unit recognition unit that generates the maximum output among the unit recognition units in the lowest layer, A recognition result display unit that converts the number of the unit recognition unit that generates the detected maximum output into a recognition result and outputs the recognition result to the display unit, and input a correct recognition result when the recognition result is incorrect. A correct answer input section, a second teacher signal generating section for converting the input correct answer recognition result into a teacher signal which is the number of the third unit recognition unit in the lowermost layer corresponding to the input data, and the lowermost layer A teacher signal selector for selecting a signal indicating which unit of the third unit recognition units should output the largest value, and the unit recognition unit number and the unit recognition unit number detected by the maximum output unit detector. This is a configuration including a comparison / determination unit that compares a signal indicating which of the third unit recognition units in the lower layer outputs the largest value.
【００１５】第２の発明は、最下層の各単位認識ユニッ
トの内前記第２の教師信号発生部の出力により指定され
るカテゴリ中で一定値以上の出力を発生する単位認識ユ
ニットを検出する出力判定部と、前記出力判定部の出力
の内少なくとも１つの出力を選択する出力選択部と、最
大出力ユニット検出器により検出された最下層の第３の
単位認識ユニットの最大出力に対してＸ％以上の値を出
力している単位認識ユニットの出力をカテゴリ毎に加算
する出力加算器と、前記出力加算器の出力から最大出力
を発生しているカテゴリ番号を検出する最大出力検出器
を備えた構成である。According to a second aspect of the present invention, an output for detecting a unit recognition unit that generates an output of a certain value or more in a category designated by the output of the second teacher signal generation unit among the unit recognition units of the lowest layer. X% with respect to the maximum output of the determination unit, the output selection unit that selects at least one of the outputs of the output determination unit, and the maximum output of the lowermost third unit recognition unit detected by the maximum output unit detector. An output adder that adds the output of the unit recognition unit that outputs the above values for each category, and a maximum output detector that detects the category number generating the maximum output from the output of the output adder are provided. It is a composition.
【００１６】[0016]
【作用】以上のように構成した第１の発明の学習型認識
判断装置の各木分岐構造の各階層の単位認識ユニットの
信号入力部に、対象物の各種一連の特徴デ−タを入力す
る。学習モードでは、各木分岐構造の各階層の単位認識
ユニットは、量子化器の出力に応じてネットワ−クのよ
り下層に位置する単位認識ユニットとの結合経路を切り
換え、最下層までの選択経路を決定することにより最下
層の第３の単位認識ユニットの出力を算出し、最大出力
ユニット検出器により検出された最大出力を発生する最
下層の第３の単位認識ユニットの番号を、入力データに
対して最大出力をすべき最下層の第３の単位認識ユニッ
トの番号である教師信号と比較する事により、認識結果
が判定され、誤認識の場合（前記番号の比較結果が異な
る場合）のみ、最下層の前層の第２の単位認識ユニット
の経路入力端子に入力された値に応じて経路入力端子と
量子化器の出力値が指し示す経路出力端子との連結強度
を学習器によって増加させるだけで学習が行えるので、
全ての層の荷重値を変更する必要がなく、高速学習が可
能である。According to the learning type recognition / judgment device of the first aspect of the invention configured as described above, various series of feature data of the object are input to the signal input section of the unit recognition unit of each layer of each tree branch structure. . In the learning mode, the unit recognition unit of each layer of each tree branch structure switches the connection route with the unit recognition unit located in the lower layer of the network according to the output of the quantizer, and the selection route to the lowermost layer. By calculating the output of the third unit recognition unit of the lowermost layer and determining the number of the third unit recognition unit of the lowermost layer that generates the maximum output detected by the maximum output unit detector as the input data. On the other hand, the recognition result is determined by comparing with the teacher signal which is the number of the third unit recognition unit in the lowermost layer that should output the maximum, and only in the case of erroneous recognition (when the comparison result of the numbers is different), The learner increases the connection strength between the path input terminal and the path output terminal indicated by the output value of the quantizer according to the value input to the path input terminal of the second unit recognition unit of the lowermost layer. Since only perform learning to,
High-speed learning is possible without changing the weight values of all layers.
【００１７】また、学習していないデータが入力され認
識結果が間違っている場合、正解入力部から入力された
正しい認識結果が第２の教師信号発生部で入力データに
対して最大出力をすべき最下層の第３の単位認識ユニッ
トの番号に変換され、最大出力ユニット検出器の出力と
そのユニット番号が一致するまで追加的に学習する事に
より高速に追加学習が可能となる。If unrecognized data is input and the recognition result is incorrect, the correct recognition result input from the correct answer input unit should be output at the maximum to the input data in the second teacher signal generation unit. It is converted into the number of the third unit recognition unit in the lowermost layer, and additional learning can be performed at high speed by additionally learning until the output of the maximum output unit detector matches the unit number.
【００１８】更に、第２の発明は、同一カテゴリを複数
のクラスに分類し、１クラスにつき１つの第３の単位認
識ユニットを割当てて学習することにより、より高い精
度で学習ができ、認識時には、出力加算器によりある程
度以上の出力即ち信頼性が高い出力のみをカテゴリ毎に
加算した後、その加算結果を最大出力検出器により認識
結果を判定しているので、入力データの変動が大きい場
合でも認識性能が劣化するする事なく柔軟に認識でき
る。Further, according to the second invention, the same category is classified into a plurality of classes, and one third unit recognition unit is assigned to each class for learning, so that learning can be performed with higher accuracy. The output adder adds a certain level of output, that is, only highly reliable output for each category, and the maximum output detector determines the recognition result, so even if the input data fluctuates significantly. Flexible recognition is possible without deteriorating recognition performance.
【００１９】[0019]
【実施例】以下、本発明の実施例について図面を参照し
て説明する。図２は本発明の学習型認識判断装置に用い
る第１の単位認識ユニットの一実施例を示すものであ
る。Embodiments of the present invention will be described below with reference to the drawings. FIG. 2 shows an embodiment of the first unit recognition unit used in the learning type recognition and judgment apparatus of the present invention.
【００２０】図２において、１は信号入力部で、信号入
力端子１ａを介して入力した、認識判断の対象となる特
徴データを量子化器２に入力する。量子化器２は入力さ
れた特徴データを量子化し、量子化したレベルを示す値
を経路荷重部３ｃと隣接区間選択部４に入力する。隣接
区間選択部４は、前記入力信号（特徴データ）の量子化
区間に隣接する量子化区間を選択し経路荷重部３ｃに出
力する。In FIG. 2, reference numeral 1 denotes a signal input section, which inputs to the quantizer 2 the feature data which is input through the signal input terminal 1a and which is the object of recognition judgment. The quantizer 2 quantizes the input feature data and inputs a value indicating the quantized level to the path weighting unit 3c and the adjacent section selecting unit 4. The adjacent section selection unit 4 selects a quantization section adjacent to the quantization section of the input signal (feature data) and outputs it to the path weighting unit 3c.
【００２１】３ａ０は経路入力端子、３ｂ１〜３ｂ５は
経路出力端子で、単位認識ユニットを組み合わせてネッ
トワークを構成するときに、これらの端子を相互に連結
するものである。経路荷重部３ｃは、経路入力部３ａと
経路出力部３ｂとの間を接続する荷重３ｃ１〜３ｃ５
と、後述する荷重テーブル３ｄに記憶されている荷重値
を前記量子化結果に応じて荷重３ｃ１〜３ｃ５に設定す
る荷重設定部３ｃ０とで構成される。Reference numeral 3a0 is a path input terminal, and 3b1 to 3b5 are path output terminals, which are connected to each other when the unit recognition units are combined to form a network. The route load unit 3c loads the routes 3c1 to 3c5 connecting the route input unit 3a and the route output unit 3b.
And a load setting unit 3c0 that sets the load values stored in the load table 3d described below to the loads 3c1 to 3c5 according to the quantization result.
【００２２】荷重テーブル３ｄには、入力信号の属する
量子化区間に対する荷重値と該隣接量子化区間に対する
荷重値が記憶されており、経路荷重部３ｃでは、荷重設
定部３ｃ０が、前記量子化結果に基づいて、前記荷重値
をそれぞれの量子化区間に対応する位置に設定する。荷
重３ｃ１〜３ｃ５は、経路入力部から入力された経路信
号を重み付けし、経路出力部３ｂは、この重み付けした
経路信号を経路出力端子３ｂ１〜３ｂ５に出力する。The weight table 3d stores the weight value for the quantization interval to which the input signal belongs and the weight value for the adjacent quantization interval. In the path weighting unit 3c, the weight setting unit 3c0 causes the quantization result to be obtained. Based on the above, the load value is set to a position corresponding to each quantization interval. The loads 3c1 to 3c5 weight the route signals input from the route input unit, and the route output unit 3b outputs the weighted route signals to the route output terminals 3b1 to 3b5.
【００２３】図３は本発明の学習型認識判断装置の、ネ
ットワ−クの最下層の前層に用いる第２の単位認識ユニ
ットの実施例を示すものである。図２に示した第１の単
位認識ユニットと同様に、信号入力部１と、量子化器２
と、１個の経路入力端子３ａ１を有する経路入力部３ａ
と、３個の経路出力端子３ｂ１〜３ｂ６を有する経路出
力部３ｂと、経路荷重部３ｃとによって構成してある。FIG. 3 shows an embodiment of a second unit recognition unit used in the lowermost front layer of the learning type recognition and judgment apparatus of the present invention. Similar to the first unit recognition unit shown in FIG. 2, the signal input unit 1 and the quantizer 2
And a path input section 3a having one path input terminal 3a1
And a path output section 3b having three path output terminals 3b1 to 3b6, and a path load section 3c.
【００２４】荷重３ｃ１〜３ｃ６は、経路出力部３ｂの
経路出力端子３ｂ１〜３ｂ６に出力する経路出力信号に
加える重みで、学習過程においては、学習器３ｃ６によ
り、経路入力端子３ａ１に入力された値に応じて経路入
力端子３ａ１と量子化器２の出力値が指し示す経路出力
端子との荷重が更新される。認識過程においては、量子
化器２には信号が入力されず、荷重３ｃ１〜３ｃ６は、
経路入力部３ａから入力された経路信号を重み付けし、
経路出力部３ｂは、この重み付けした経路信号を経路出
力端子３ｂ１〜３ｂ３に出力する。The loads 3c1 to 3c6 are weights to be added to the route output signals output to the route output terminals 3b1 to 3b6 of the route output unit 3b. In the learning process, the values input to the route input terminal 3a1 by the learning device 3c6. Accordingly, the weights of the path input terminal 3a1 and the path output terminal indicated by the output value of the quantizer 2 are updated. In the recognition process, no signal is input to the quantizer 2, and the weights 3c1 to 3c6 are
The path signal input from the path input unit 3a is weighted,
The route output unit 3b outputs the weighted route signal to the route output terminals 3b1 to 3b3.
【００２５】図４は本発明の学習型認識判断装置のネッ
トワ−クの最下層に用いる第３の単位認識ユニットの実
施例を示すものである。３ａ０は、複数の経路入力端子
からの入力信号を加算する加算器、３ｂ０は、経路信号
をしきい値処理するしきい値処理器である。FIG. 4 shows an embodiment of a third unit recognition unit used in the lowermost layer of the network of the learning type recognition and judgment apparatus of the present invention. Reference numeral 3a0 is an adder for adding input signals from a plurality of path input terminals, and reference numeral 3b0 is a threshold value processor for thresholding the path signals.
【００２６】図１は第１の発明の学習型認識判断装置の
一実施例を示すものである。本実施例では、２個からな
る２種類の特徴データ（第１特徴データ、第２特徴デー
タ）に基づいて、３種類のカテゴリを認識するもので、
単位認識ユニットを複数個組み合わせて、２個の木分岐
構造を有し、一つの木分岐構造中に４層の階層を有する
ようにネットワークを構成してある。第１層、第２層を
構成している単位認識ユニットｋ１１，ｋ１２、ｋ２１
〜ｋ３０は、例えば、図２に示した第１の単位認識ユニ
ットを用い、第３層を構成している単位認識ユニットｐ
３１〜ｐ３５０は、例えば、図３に示した第２の単位認
識ユニットを用い、第４層を構成している単位認識ユニ
ットｑ４１、ｑ４２、ｑ４３は、図４に示した第３の単
位認識ユニットを用いている。FIG. 1 shows an embodiment of a learning type recognition judgment apparatus of the first invention. In this embodiment, three types of categories are recognized based on two types of two types of characteristic data (first characteristic data, second characteristic data).
A plurality of unit recognition units are combined to have a two-branch structure, and a network is configured so that one tree-branch structure has four layers of hierarchy. Unit recognition units k11, k12, k21 forming the first layer and the second layer
-K30 is, for example, the first unit recognition unit shown in FIG. 2, the unit recognition unit p that constitutes the third layer.
31 to p350 use, for example, the second unit recognition unit shown in FIG. 3, and the unit recognition units q41, q42, q43 forming the fourth layer are the third unit recognition unit shown in FIG. Is used.
【００２７】各木分岐構造中の１、２層目を構成する第
１の単位認識ユニットの信号入力端子には、判断すべき
特徴データを入力し、３層目を構成する第２の単位認識
ユニットの信号入力端子には、学習及び追加学習過程の
み入力データの教師信号を入力する。Feature data to be judged is input to the signal input terminal of the first unit recognition unit constituting the first and second layers in each tree branch structure, and the second unit recognition constituting the third layer is inputted. The teacher signal of the input data is input to the signal input terminal of the unit only during the learning and additional learning processes.
【００２８】５は、学習、追加学習及び認識モード信号
を入力することにより、動作モードを切り替える動作モ
ード選択部、６は、前記第３の単位認識ユニットの出力
の中から最大出力を発生するユニットを検出する第１の
最大出力ユニット検出部、７は、第１の最大出力ユニッ
ト検出部６の出力と後述する第１の教師信号発生部９ま
たは、第２の教師信号発生部１４の出力を比較すること
により認識結果を判定する比較判定器、８は、学習デー
タの各種特徴量と該学習データの属するカテゴリ番号を
記憶した第１の学習データ記憶部、９は、前記カテゴリ
番号に対応する最終層の単位認識ユニット番号、すなわ
ち、最終層の単位認識ユニットの中でのどれが最も大き
い値を出力することが望ましいかを示す信号である教師
信号を発生する第１の教師信号発生部である。Reference numeral 5 is an operation mode selection section for switching operation modes by inputting learning, additional learning and recognition mode signals, and 6 is a unit for generating the maximum output from the outputs of the third unit recognition unit. The first maximum output unit detection section 7 for detecting the output of the first maximum output unit detection section 6 and the output of the first teacher signal generation section 9 or the second teacher signal generation section 14 described later. A comparison / determination unit that determines a recognition result by comparing, a first learning data storage unit 8 stores various feature amounts of learning data and a category number to which the learning data belongs, and 9 corresponds to the category number. The unit recognition unit number of the final layer, that is, a teacher signal that is a signal indicating which of the unit recognition units of the final layer is desired to output the largest value is generated. It is a teacher signal generator.
【００２９】１２は、第１の最大出力ユニット検出部６
により検出された最大出力を発生する第３の単位認識ユ
ニットの番号、即ちカテゴリ番号を認識結果（例えば文
字認識の場合文字情報）に変換し表示面に出力する認識
結果表示部、１３は、前記表示された認識結果が間違っ
ている場合に正解の認識結果を入力する正解入力部、１
４は、前記入力された認識結果を入力データのカテゴリ
に対応する最終層の第３の単位認識ユニットの番号（教
師信号）に変換する第２の教師信号発生部、１５は、動
作モードに応じて第１の教師信号発生部９の出力と第２
の教師信号発生部１４の出力を切り換える教師信号選択
部である。Reference numeral 12 denotes the first maximum output unit detection section 6
The recognition result display unit for converting the number of the third unit recognition unit that generates the maximum output detected by, that is, the category number into a recognition result (for example, character information in the case of character recognition) and outputting the result on the display surface, Correct answer input section for inputting the correct recognition result when the displayed recognition result is incorrect, 1
Reference numeral 4 is a second teacher signal generator for converting the input recognition result into the number (teacher signal) of the third unit recognition unit in the final layer corresponding to the category of the input data, and 15 is dependent on the operation mode. The output of the first teacher signal generator 9 and the second
Is a teacher signal selection unit that switches the output of the teacher signal generation unit 14 of FIG.
【００３０】次に、このように構成した学習型認識判断
装置の学習動作を説明する。まず、動作モード選択部５
に、学習モード信号が入力され、学習動作モードに切り
替えられる。学習動作は、フォワード処理と荷重変更処
理から成り、まずフォワード処理について説明する。Next, the learning operation of the learning type recognition / judgment device configured as described above will be described. First, the operation mode selection unit 5
Then, the learning mode signal is input to switch to the learning operation mode. The learning operation includes a forward process and a load changing process. First, the forward process will be described.
【００３１】各木分岐構造の第１層目の単位認識ユニッ
トｋ１１〜ｋ１２の経路入力端子への経路信号として、
まず１を与える。又、これらのユニットの量子化器への
信号入力端子には、第１の学習データ記憶部８から読み
出された認識対象物の第１特徴デ−タをｄ１１、ｄ１２
を入力する（この図の場合には、２個の第１特徴デ−タ
を、それぞれ２個の単位認識ユニットに入力する）。As a route signal to the route input terminals of the unit recognition units k11 to k12 of the first layer of each tree branch structure,
Give 1 first. Further, the signal input terminals to the quantizers of these units are provided with the first feature data of the recognition object read from the first learning data storage unit d11 and d12.
(In the case of this figure, the two first feature data are respectively input to the two unit recognition units).
【００３２】各単位認識ユニットは、第１特徴デ−タを
量子化器２で量子化し、量子化結果を荷重設定部３ｃ０
及び、隣接区間選択部４に出力する。隣接区間選択部４
は、前記入力信号（特徴データ）の量子化区間に隣接す
る量子化区間を選択し、経路荷重部３ｃに出力する。荷
重設定部３ｃ０は、予め設定されている入力データに対
応する前記荷重値ならびに、隣接区間の荷重値を荷重テ
ーブル３ｄから読みだし、対応する量子化レベル位置に
設定する。このように１つの単位認識ユニットにおいて
複数の経路が選択され、第２層目の単位認識ユニットｋ
２１〜ｋ３０の経路入力端子へ、経路信号と前記荷重値
を掛けた値が送られる。第２層目の単位認識ユニットの
信号入力端子には、第１の学習データ記憶部８から読み
出された認識対象物の第２特徴デ−タを入力する（この
図の場合には、２個の第２特徴デ−タを、それぞれｋ２
１〜ｋ２５、ｋ２６〜ｋ３０に入力する。）。第１層目
の場合と同様にして複数の経路信号が選択され、第３層
目の単位認識ユニットｐ３１〜ｐ３５０の経路入力端子
へ経路信号と前記荷重の値を掛けた値が送られる。In each unit recognition unit, the first feature data is quantized by the quantizer 2, and the quantized result is set by the load setting unit 3c0.
And output to the adjacent section selection unit 4. Adjacent section selection unit 4
Selects a quantization interval adjacent to the quantization interval of the input signal (feature data) and outputs it to the path weighting unit 3c. The load setting unit 3c0 reads the load value corresponding to the preset input data and the load value of the adjacent section from the load table 3d, and sets it to the corresponding quantization level position. In this way, a plurality of paths are selected in one unit recognition unit, and the unit recognition unit k of the second layer is selected.
A value obtained by multiplying the route signal by the load value is sent to the route input terminals 21 to k30. The second feature data of the recognition object read from the first learning data storage unit 8 is input to the signal input terminal of the unit recognition unit of the second layer (2 in the case of this figure). The second feature data of each is k2
Input to 1 to k25 and k26 to k30. ). Similar to the case of the first layer, a plurality of route signals are selected, and a value obtained by multiplying the route signal and the value of the load is sent to the route input terminals of the unit recognition units p31 to p350 of the third layer.
【００３３】フォワード処理の場合、第３層の単位認識
ユニットｐ３１からｐ３５０の信号入力端子には、教師
入力信号は入力されない。従って、荷重の変更は行われ
ず、学習時の荷重の状態が保持されており、各単位認識
ユニットの経路入力信号にこれらの荷重を乗じて、第４
層目の全単位認識ユニットの経路入力端子へ、経路信号
が送られる。In the case of forward processing, no teacher input signal is input to the signal input terminals of the unit recognition units p31 to p350 of the third layer. Therefore, the load is not changed, the state of the load at the time of learning is held, and the route input signal of each unit recognition unit is multiplied by these loads to obtain the fourth load.
A route signal is sent to the route input terminals of all the unit recognition units in the layer.
【００３４】第４層目の各単位認識ユニットの加算器３
ａ０は、入力された経路信号を加算する。しきい値処理
器３ｂ０は、この信号をしきい値処理し、経路出力端子
に出力する。ここで、しきい値処理をする関数として
は、シグモイド関数、ステップ関数等を用いることが出
来る。Adder 3 of each unit recognition unit in the fourth layer
a0 adds the input route signals. The threshold processor 3b0 thresholds this signal and outputs it to the path output terminal. Here, a sigmoid function, a step function, or the like can be used as the function for performing the threshold processing.
【００３５】このようにして、入力した認識対象物の特
徴デ−タに基づき、その時点の荷重値による最終層の単
位認識ユニットの出力が計算され、第１の最大出力ユニ
ット検出器６に出力される。第１の最大出力ユニット検
出器６は、最も大きな出力を出しているユニット番号を
検出し、認識結果として比較判定器７に出力する。In this way, the output of the unit recognition unit of the final layer is calculated according to the load value at that time based on the input characteristic data of the recognition object, and is output to the first maximum output unit detector 6. To be done. The first maximum output unit detector 6 detects the unit number producing the largest output, and outputs it to the comparison / determination unit 7 as a recognition result.
【００３６】次に、学習動作における荷重変更処理につ
いて説明する。第１の教師信号発生部９は、現在入力さ
れているデータのカテゴリ番号に対応する最終層の単位
認識ユニットの番号即ち、ｑ４１、ｑ４２、ｑ４３のど
れが最も大きい値を出力することが望ましいかを示す信
号である教師信号を発生し、比較判定器７と教師信号選
択部１５を経由して第３層目の単位認識ユニットの信号
入力端子１ａに出力する。単位認識ユニットｐ３１〜ｐ
３５０の量子化器２は、例えばｑ４１が最も大きい出力
をする場合には、量子化レベル値が単位認識ユニットｑ
４１につながる経路に対応する値となる様に設定されて
いる。Next, the load changing process in the learning operation will be described. Which of the number of the unit recognition unit of the final layer corresponding to the category number of the currently input data, that is, q41, q42, or q43, which outputs the largest value is desirable for the first teacher signal generation unit 9? Is output to the signal input terminal 1a of the unit recognition unit of the third layer via the comparison / determination unit 7 and the teacher signal selection unit 15. Unit recognition units p31 to p
The quantizer 2 of 350, for example, when q41 gives the largest output, the quantization level value is the unit recognition unit q.
It is set to have a value corresponding to the route connected to 41.
【００３７】比較判定器７は、前記認識結果と前記教師
信号とを比較し、比較結果が異なる場合、学習器３ｃ６
は、経路入力部３ａの経路入力端子３ａ１と量子化器２
の出力が示す経路出力部３ｂの経路出力端子（ここで
は、単位認識ユニットｑ４１ー１につながる経路３ｂ
１）との連結強度である荷重値３ｃ１を経路入力端子３
ａ１から入力された値だけ増加させる。このようにし
て、全ての入力データについて、前記フォワード処理の
認識結果と教師信号が一致するまで以上の学習動作を行
う。The comparison / determination unit 7 compares the recognition result with the teacher signal, and if the comparison result is different, the learning unit 3c6.
Is the path input terminal 3a1 of the path input unit 3a and the quantizer 2
The route output terminal of the route output unit 3b indicated by the output of (the route 3b connected to the unit recognition unit q41-1 in this case).
1) Load value 3c1 which is the connection strength with the route input terminal 3
Increase by the value input from a1. In this way, the above learning operation is performed on all the input data until the recognition result of the forward process and the teacher signal match.
【００３８】次に、学習型認識判断装置の認識動作につ
いて説明する。まず、動作モード選択部５に、認識モー
ド信号が入力され、認識動作モードに切り替えられる。
１、２、３層目の各単位認識ユニットは、学習動作のフ
ォワード処理と同様にして、各経路に伝達された信号に
荷重値を掛けながら次層に出力し、最終層の単位認識ユ
ニットの出力が計算される。第１の最大出力ユニット検
出器６は、最も大きな出力を出しているユニット番号
（ここでは、ｑ４１とｑ４２、ｑ４３の中から１個）を
検出し、認識結果として認識結果表示部１２に出力す
る。認識結果表示部１２は、該検出されたユニット番号
を、認識結果（例えば文字認識の場合文字情報）に変換
し表示する。Next, the recognition operation of the learning type recognition determining device will be described. First, a recognition mode signal is input to the operation mode selection unit 5 to switch to the recognition operation mode.
Each unit recognition unit of the first, second, and third layers outputs the signal transmitted to each path to the next layer while multiplying the weight value to the signal transmitted to each unit recognition unit of the final layer, similarly to the forward processing of the learning operation. The output is calculated. The first maximum output unit detector 6 detects the unit number (in this case, one from q41, q42, and q43) producing the largest output, and outputs it as a recognition result to the recognition result display unit 12. . The recognition result display unit 12 converts the detected unit number into a recognition result (for example, character information in the case of character recognition) and displays it.
【００３９】次に、学習認識判断装置の追加学習動作に
ついて説明する。前記認識動作モードで出力された認識
結果が間違っている場合、まず、動作モード選択部５
に、追加学習モード信号が入力され、追加学習動作モー
ドに切り替えられる。Next, the additional learning operation of the learning recognition determining device will be described. If the recognition result output in the recognition operation mode is incorrect, first, the operation mode selection unit 5
Then, the additional learning mode signal is input to switch to the additional learning operation mode.
【００４０】入力データのカテゴリに対応する正しい認
識結果がキーボード等の正解入力部から入力されると、
第２の教師信号発生部１４により入力データのカテゴリ
に対応する最終層の第３の単位認識ユニットの番号（教
師信号）に変換された後、比較判定器７と教師信号選択
部１５を経由して第３層目の単位認識ユニットの信号入
力端子１ａに出力され、学習動作の荷重変更処理と同様
にして荷重値が更新される。以後フォワード処理の認識
結果と第２の教師信号発生部１４の出力が一致するまで
以上のフォワード処理と荷重変更処理が繰り返され追加
学習動作が行われる。When a correct recognition result corresponding to a category of input data is input from the correct answer input section such as a keyboard,
After being converted into the number (teacher signal) of the third unit recognition unit in the final layer corresponding to the category of the input data by the second teacher signal generation unit 14, it is passed through the comparison / determination unit 7 and the teacher signal selection unit 15. Is output to the signal input terminal 1a of the unit recognition unit of the third layer, and the load value is updated in the same way as the load changing process of the learning operation. Thereafter, the above forward processing and load changing processing are repeated until the recognition result of the forward processing and the output of the second teacher signal generating unit 14 match, and the additional learning operation is performed.
【００４１】以上説明したように、第１の発明の一実施
例による学習型認識判断装置は、フォワード処理により
認識結果が算出され、その認識結果が誤認識の場合、３
層目の第２の単位認識ユニットの荷重値のみを学習器３
ｃ６よって経路入力端子３ａ１に伝達された値だけ増加
させるだけで学習が行えるので、全ての層の荷重値を変
更する必要がなく高速学習が可能である。As described above, the learning-type recognition / judgment apparatus according to the first embodiment of the present invention calculates the recognition result by the forward process, and when the recognition result is erroneous recognition,
Only the weight value of the second unit recognition unit of the layer is learned by the learning device 3
Since learning can be performed only by increasing the value transmitted to the route input terminal 3a1 by c6, high-speed learning is possible without changing the load values of all layers.
【００４２】また、学習していない未学習データが入力
され認識結果が間違っている場合においても、正解入力
部から入力された正しい認識結果が第２の教師信号発生
部で入力データに対して最大出力をすべき最下層の第３
の単位認識ユニットの番号に変換され、第１の最大出力
ユニット検出器６の出力とそのユニット番号が一致する
まで追加的に学習することにより、上記と同様の理由で
高速に追加学習が行える。Further, even when unlearned data that has not been learned is input and the recognition result is incorrect, the correct recognition result input from the correct answer input unit is the maximum with respect to the input data in the second teacher signal generation unit. Third of the lowest layer that should output
Is converted into the number of the unit recognition unit and additional learning is performed until the output of the first maximum output unit detector 6 and the unit number match, whereby the additional learning can be performed at high speed for the same reason as above.
【００４３】図５は、第２の発明の学習型認識判断装置
の一実施例を示すものである。同図において、第１層、
第２層を構成している単位認識ユニットｋ１１，ｋ１
２、ｋ２１〜ｋ３０は、図２に示した第１の単位認識ユ
ニット、第３層を構成している単位認識ユニットｐ３１
〜ｐ３５０は、図３に示した第２の単位認識ユニット、
第４層を構成している単位認識ユニットｑ４１ー１、
２、３、ｑ４２ー１、２、３は図４に示した第３の単位
認識ユニットを用いて、認識対象が２種類で各カテゴリ
が３つのクラスに分類されている以外は、図１と同様の
ネットワーク構成をしており、動作モード選択部５、第
１の最大出力ユニット検出部６、比較判定器７、認識結
果表示部１２、正解入力部１３、第２の教師信号発生部
１４、教師信号選択部１５は図１と同様の構成である。FIG. 5 shows an embodiment of the learning type recognition judgment apparatus of the second invention. In the figure, the first layer,
Unit recognition units k11 and k1 forming the second layer
2, k21 to k30 are the first unit recognition unit p31 shown in FIG. 2 and the unit recognition unit p31 forming the third layer.
~ P350 is the second unit recognition unit shown in FIG.
A unit recognition unit q41-1, which constitutes the fourth layer,
2, 3 and q42-1, 2, and 3 are the same as those in FIG. 1 except that the recognition target is two types and each category is classified into three classes by using the third unit recognition unit shown in FIG. With the same network configuration, the operation mode selection unit 5, the first maximum output unit detection unit 6, the comparison and determination unit 7, the recognition result display unit 12, the correct answer input unit 13, the second teacher signal generation unit 14, The teacher signal selection unit 15 has the same configuration as in FIG.
【００４４】図１と異なる構成は、第１の最大出力ユニ
ット検出器６により検出された最下層の単位認識ユニッ
トの最大出力に対して、Ｘ％以上（Ｘは任意のある値）
の値を出力している単位認識ユニットの出力をカテゴリ
毎に加算する出力加算器１０と、出力加算器１０の出力
から最大出力を発生しているカテゴリを検出する最大出
力検出器１１と、最下層の各単位認識ユニットの内第２
の教師信号発生部１４の出力により指定されるカテゴリ
中で最大出力を発生する単位認識ユニットを検出する第
２の最大出力ユニット検出器１６と、学習データの各種
特徴量と該学習データの属するカテゴリ番号と該学習デ
ータを予め各カテゴリ毎に、例えば、ｋ平均アルゴリズ
ムまたはＬＢＧアルゴリズム等により複数のクラスに分
類した分類結果を表すクラス番号を記憶した第２の学習
データ記憶部１７と、前記カテゴリ番号とクラス番号に
対応する最終層の単位認識ユニット番号、すなわち、最
終層の単位認識ユニットの中でのどれが最も大きい値を
出力することが望ましいかを示す信号である教師信号を
発生する第３の教師信号発生部１８を設けた点である。
その学習動作は、第１の発明の実施例と同様の動作をす
るのでその説明は省略する。The configuration different from that of FIG. 1 is X% or more (X is an arbitrary value) with respect to the maximum output of the unit recognition unit in the lowermost layer detected by the first maximum output unit detector 6.
An output adder 10 that adds the output of the unit recognition unit that outputs the value for each category, a maximum output detector 11 that detects the category that generates the maximum output from the output of the output adder 10, Second of each unit recognition unit in the lower layer
Second maximum output unit detector 16 that detects a unit recognition unit that generates the maximum output in the category designated by the output of the teacher signal generating unit 14, various kinds of learning data, and the category to which the learning data belongs. A second learning data storage unit 17 that stores a number and a class number indicating the classification result obtained by classifying the learning data for each category in advance by, for example, a k-means algorithm or an LBG algorithm, and the category number. And a third layer for generating a teacher signal, which is a signal indicating which unit recognition unit number of the last layer corresponding to the class number, that is, which one of the unit recognition units of the last layer should output the largest value. The point is that the teacher signal generator 18 is provided.
The learning operation is similar to that of the first embodiment of the present invention, and therefore its explanation is omitted.
【００４５】次に、認識動作について説明する。第１の
発明の実施例の認識動作と同様にして、最下層の単位認
識ユニットの出力が算出され、第１の最大出力ユニット
検出器６に出力される。第１の最大出力ユニット検出器
６は、最も大きな出力を出しているユニット番号（ここ
では、ｑ４１−１、２、３とｑ４２−１、２、３の中か
ら１個）を検出し、出力加算器１０に出力する。出力加
算器１０は、該検出された最大出力に対して、Ｘ％以上
の値を出力している第３の単位認識ユニットの出力をカ
テゴリ毎に加算し、最大出力検出器１１に出力する。記
最大出力検出部１１は、出力加算器１０から出力される
各カテゴリの出力値から最大出力を発生するカテゴリ番
号を算出し、認識結果表示部１２に出力する。認識結果
表示部１２は、第１の発明の実施例と同様にして認識結
果を表示する。Next, the recognition operation will be described. Similar to the recognition operation of the embodiment of the first invention, the output of the unit recognition unit in the lowermost layer is calculated and output to the first maximum output unit detector 6. The first maximum output unit detector 6 detects a unit number (here, one from q41-1, 2, 3 and q42-1, 2, 3) that outputs the largest output, and outputs it. Output to the adder 10. The output adder 10 adds the output of the third unit recognition unit outputting a value of X% or more to the detected maximum output for each category, and outputs it to the maximum output detector 11. The maximum output detection unit 11 calculates the category number generating the maximum output from the output value of each category output from the output adder 10, and outputs it to the recognition result display unit 12. The recognition result display unit 12 displays the recognition result in the same manner as the first embodiment of the invention.
【００４６】次に、追加学習動作について説明する。前
記認識動作モードで出力された認識結果が間違っている
場合、まず、動作モード選択部５に、追加学習モード信
号が入力され、追加学習動作モードに切り替えられる。Next, the additional learning operation will be described. When the recognition result output in the recognition operation mode is incorrect, first, the additional learning mode signal is input to the operation mode selection unit 5 to switch to the additional learning operation mode.
【００４７】入力データのカテゴリに対応する正しい認
識結果がキーボード等の正解入力部から入力されると、
第２の教師信号発生部１４により入力データのカテゴリ
に対応する番号（ここでは、ｑ４１またはｑ４２のいず
れか）に変換された後、第２の最大出力ユニット検出器
１６において、第２の教師信号発生部１４の出力により
指定されたカテゴリ中で最大出力を発生する単位認識ユ
ニットの番号（教師信号）が検出される。該検出された
ユニット番号は、比較判定器７と教師信号選択部１５を
経由して第３層目の単位認識ユニットの信号入力端子１
ａに出力され、学習動作の荷重変更処理と同様にして荷
重値が更新される。When a correct recognition result corresponding to the category of input data is input from the correct input section such as a keyboard,
After being converted by the second teacher signal generator 14 into a number (here, either q41 or q42) corresponding to the category of the input data, the second teacher signal is converted by the second maximum output unit detector 16. The number (teacher signal) of the unit recognition unit that generates the maximum output in the category specified by the output of the generation unit 14 is detected. The detected unit number is passed through the comparison / determination unit 7 and the teacher signal selection unit 15 to the signal input terminal 1 of the unit recognition unit of the third layer.
It is output to a and the load value is updated in the same manner as the load changing process of the learning operation.
【００４８】以後第１の最大出力ユニット検出部６の出
力と第２の最大出力ユニット検出部１６の出力の比較判
定器７による比較結果が一致するまでフォワード処理と
荷重変更処理が繰り返され、追加学習動作が行われる。Thereafter, the forward process and the load changing process are repeated until the output of the first maximum output unit detecting unit 6 and the output of the second maximum output unit detecting unit 16 are compared by the comparing and determining unit 7, and the addition process is repeated. A learning operation is performed.
【００４９】以上説明したように、第２の発明の一実施
例による学習型認識判断装置は、フォワード処理により
認識結果が算出され、その認識結果が誤認識の場合、３
層目の第２の単位認識ユニットの荷重値のみを学習器３
ｃ６よって経路入力端子３ａ１に伝達された値だけ増加
させるだけで学習が行えるので、全ての層の荷重値を変
更する必要がなく高速学習が可能である。As described above, the learning-type recognition / judgment apparatus according to the embodiment of the second aspect of the present invention calculates the recognition result by the forward process, and if the recognition result is erroneous recognition, 3
Only the weight value of the second unit recognition unit of the layer is learned by the learning device 3
Since learning can be performed only by increasing the value transmitted to the route input terminal 3a1 by c6, high-speed learning is possible without changing the load values of all layers.
【００５０】また、学習していない未学習データが入力
され認識結果が間違っている場合においても、正解入力
部１３から入力された正しい認識結果が第２の教師信号
発生部で入力データに対して最大出力をすべき最下層の
第３の単位認識ユニットの番号に変換され、最大出力ユ
ニット検出器の出力とそのユニット番号が一致するまで
追加的に学習する事により、上記と同様の理由で高速に
追加学習が行える。Even when unlearned data that has not been learned is input and the recognition result is incorrect, the correct recognition result input from the correct answer input unit 13 is applied to the input data in the second teacher signal generation unit. It is converted to the number of the third unit recognition unit in the lowermost layer that should give the maximum output, and additional learning is performed until the output of the maximum output unit detector matches that unit number. Additional learning can be done.
【００５１】更に、同一カテゴリを複数のクラスに分類
し、１クラスにつき１つの第３の単位認識ユニットを割
当てて学習することにより、より高い精度で学習ができ
るだけでなく、未学習データの認識時には、出力加算器
１０により最下層の最大出力に対してある程度以上の出
力、即ち信頼性が高い出力のみをカテゴリ毎に加算した
後、その加算結果を最大出力検出器１１により認識結果
を判定しているので、最下層における最大出力を発生し
ている単位認識ユニットが属するカテゴリが入力データ
のカテゴリと異なっている場合でも、上述した様に出力
を加算することにより認識結果が正しい方に逆転する可
能性があり、入力データの変動が大きい場合でも認識性
能が劣化するする事なく柔軟に認識できる。Furthermore, by classifying the same category into a plurality of classes and assigning one third unit recognition unit to each class for learning, not only learning can be performed with higher accuracy, but also when unlearned data is recognized. The output adder 10 adds a certain level of output to the maximum output of the lowest layer, that is, only the highly reliable output for each category, and the maximum output detector 11 determines the result of the addition as a recognition result. Therefore, even if the category to which the unit recognition unit generating the maximum output in the lowest layer belongs is different from the category of the input data, it is possible to reverse the recognition result to the correct one by adding the outputs as described above. It is possible to recognize flexibly without deteriorating the recognition performance even if the input data varies greatly.
【００５２】なお、本発明の各手段は、コンピュータを
用いてソフトウェア的に実現し、あるいはそれら各機能
を有する専用のハード回路を用いて実現する事が出来
る。Each means of the present invention can be realized by software using a computer, or can be realized by using a dedicated hardware circuit having each of these functions.
【００５３】[0053]
【発明の効果】以上のように本発明は、単位認識ユニッ
トを複数個組み合わせた木分岐構造を複数個有し、各木
分岐構造の各階層の単位認識ユニットは、量子化器の出
力に応じて、ネットワ−クのより下層に位置する単位認
識ユニットとの結合経路を切り換え、最下層までの選択
経路を決定しながら、最下層の出力を算出し、第１の最
大出力ユニット検出器により検出された入力データに対
する認識結果が異なる場合のみ、最下層の前層の第２の
単位認識ユニットの連結強度だけを経路入力端子に入力
された値に応じて学習器によって変化させるだけで学習
が行えるので、全ての層の荷重値を変更する必要がな
く、高速学習が可能である。As described above, the present invention has a plurality of tree branching structures in which a plurality of unit recognition units are combined, and the unit recognition unit of each layer of each tree branching structure responds to the output of the quantizer. , The connection path with the unit recognition unit located in the lower layer of the network is switched, the output of the lowermost layer is calculated while determining the selection path to the lowermost layer, and detected by the first maximum output unit detector. Only when the recognition result with respect to the input data is different, the learning can be performed only by changing the connection strength of the second unit recognition unit of the frontmost layer of the lowermost layer by the learning device according to the value input to the path input terminal. Therefore, high-speed learning is possible without changing the weight values of all layers.
【００５４】また、学習していないデータが入力され認
識結果が間違っている場合、正解入力部から入力された
正しい認識結果が第２の教師信号発生部で入力データに
対して最大出力をすべき最下層の第３の単位認識ユニッ
トの番号に変換され、最大出力ユニット検出器の出力と
そのユニット番号が一致するまで追加的に学習する事に
より高速に追加学習が可能となる。When unlearned data is input and the recognition result is incorrect, the correct recognition result input from the correct answer input unit should output the maximum output to the input data in the second teacher signal generation unit. It is converted into the number of the third unit recognition unit in the lowermost layer, and additional learning can be performed at high speed by additionally learning until the output of the maximum output unit detector matches the unit number.
【００５５】更に、同一カテゴリを複数のクラスに分類
し、そのクラスに１つの第３の単位認識ユニットを割当
てて学習することにより、より高い精度で学習ができ、
認識時には、出力加算器によりある程度以上の出力、即
ち信頼性が高い出力のみをカテゴリ毎に加算した後、そ
の加算結果を最大出力検出器により認識結果を判定して
いるので、入力データの変動が大きい場合でも認識性能
が劣化するする事なく柔軟に認識できる。Further, by classifying the same category into a plurality of classes and assigning one third unit recognition unit to the class for learning, learning can be performed with higher accuracy,
At the time of recognition, the output adder adds more than a certain level of output, that is, only the highly reliable output for each category, and the maximum output detector determines the result of the addition to determine the recognition result. Even if it is large, it can be recognized flexibly without deteriorating the recognition performance.
【図１】本発明の学習型認識判断装置の一実施例を示す
ブロック図FIG. 1 is a block diagram showing an embodiment of a learning type recognition / judgment device of the present invention.
【図２】本発明の学習型認識判断装置に用いる第１の単
位認識ユニットの一実施例を示すブロック図FIG. 2 is a block diagram showing an embodiment of a first unit recognition unit used in the learning type recognition and judgment apparatus of the present invention.
【図３】本発明の学習型認識判断装置に用いる第２の単
位認識ユニットの一実施例を示すブロック図FIG. 3 is a block diagram showing an embodiment of a second unit recognition unit used in the learning type recognition and judgment apparatus of the present invention.
【図４】本発明の学習型認識判断装置に用いる第３の単
位認識ユニットの一実施例を示すブロック図FIG. 4 is a block diagram showing an embodiment of a third unit recognition unit used in the learning type recognition and judgment apparatus of the present invention.
【図５】本発明の学習型認識判断装置の他の実施例を示
すブロック図FIG. 5 is a block diagram showing another embodiment of the learning type recognition and judgment apparatus of the present invention.
【図６】従来の学習型認識判断装置の全体構成図FIG. 6 is an overall configuration diagram of a conventional learning type recognition determination device.
【図７】従来の学習型認識判断装置の出力信号算出部の
構成図FIG. 7 is a configuration diagram of an output signal calculation unit of a conventional learning type recognition determination device.
【図８】従来の学習型認識判断装置の出力信号算出部の
多入力一出力算出部の構成図FIG. 8 is a configuration diagram of a multi-input / single-output calculation unit of an output signal calculation unit of a conventional learning type recognition determination device.
【図９】同多入力一出力算出部のしきい値処理部の特性
関数の実施例を示す図FIG. 9 is a diagram showing an embodiment of a characteristic function of a threshold value processing unit of the same multi-input one-output calculation unit.
１ 信号入力部 ２ 量子化器 ３ａ 経路入力部 ３ａ０ 加算器 ３ｂ 経路出力部 ３ｂ０ しきい値処理器 ３ｃ 経路荷重部 ３ｃ０ 荷重設定部 ３ｃ１〜３ｃ６ 荷重 ３ｃ６ 学習器 ３ｄ 荷重テーブル ４ 隣接区間選択部 ５ 動作モード選択部 ６ 第１の最大出力ユニット検出器 ７ 比較判定器 ８ 第１の学習データ記憶部 ９ 第１の教師信号発生部 １０ 出力加算器 １１ 最大出力検出器 １２ 認識結果表示部 １３ 正解入力部 １４ 第２の教師信号発生部 １５ 教師信号選択部 １６ 第２の最大出力ユニット検出部 １７ 第２の学習データ記憶部 １８ 第３の教師信号発生部 1 signal input unit 2 quantizer 3a route input unit 3a0 adder 3b route output unit 3b0 threshold value processor 3c route load unit 3c0 load setting unit 3c1 to 3c6 load 3c6 learner 3d weight table 4 adjacent interval selection unit 5 operation Mode selection unit 6 First maximum output unit detector 7 Comparison decision unit 8 First learning data storage unit 9 First teacher signal generation unit 10 Output adder 11 Maximum output detector 12 Recognition result display unit 13 Correct answer input unit 14 Second Teacher Signal Generator 15 Teacher Signal Selector 16 Second Maximum Output Unit Detector 17 Second Learning Data Storage 18 Third Teacher Signal Generator
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小島 良宏 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Yoshihiro Kojima 1006 Kadoma, Kadoma City, Osaka Prefecture Matsushita Electric Industrial Co., Ltd.
Claims (14)
情報を記憶する学習データ記憶部と、複数の階層からな
り、最下層を複数の第３の単位認識ユニット、最下層の
前層を複数の第２の単位認識ユニット、それ以外の層を
複数の第１の単位認識ユニットにより構成したネットワ
ークと、前記属性情報から入力データに対応する最下層
の第３の単位認識ユニットの番号である教師信号を発生
する第１の教師信号発生部と、最下層の各単位認識ユニ
ットの中で最大出力を発生する単位認識ユニットを検出
する最大出力ユニット検出器と、前記検出された最大出
力を発生する単位認識ユニットの番号を認識結果に変換
し表示部に出力する認識結果表示部と、該認識結果が間
違っている場合に正解の認識結果を入力する正解入力部
と、該入力された正解の認識結果を入力データに対応す
る最下層の第３の単位認識ユニットの番号である教師信
号に変換する第２の教師信号発生部と、最下層の第３の
単位認識ユニットの中でどのユニットが最も大きい値を
出力する事が望ましいかを示す信号を選択する教師信号
選択器と、前記最大出力ユニット検出器によって検出さ
れた単位認識ユニット番号と最下層の第３の単位認識ユ
ニットの中でどのユニットが最も大きい値を出力するこ
とが望ましいかを示す信号とを比較する比較判定器とを
備えた学習型認識判断装置。1. A learning data storage unit for storing attribute information of learning data consisting of a plurality of categories, and a plurality of hierarchies, wherein the lowermost layer is a plurality of third unit recognition units, and the lowermost front layer is a plurality of layers. A second unit recognition unit, a network in which the other layers are composed of a plurality of first unit recognition units, and a teacher signal which is the number of the third unit recognition unit in the lowest layer corresponding to the input data from the attribute information. A first teacher signal generating unit, a maximum output unit detector for detecting a unit recognition unit generating a maximum output among the unit recognition units in the lowermost layer, and a unit generating the detected maximum output. A recognition result display unit that converts the number of the recognition unit into a recognition result and outputs it to the display unit; a correct answer input unit that inputs the recognition result of the correct answer when the recognition result is incorrect; Which of the second teacher signal generator, which converts the recognition result of the solution into the teacher signal which is the number of the third unit recognition unit of the lowest layer corresponding to the input data, and the third unit recognition unit of the lowest layer A teacher signal selector for selecting a signal indicating whether it is desirable for the unit to output the largest value; a unit recognition unit number detected by the maximum output unit detector and a third unit recognition unit in the lowest layer In the learning type recognition judgment device, a comparison judgment device for comparing with a signal indicating which unit is desirable to output the largest value.
と、入力信号の出力に応じて量子化を行なう量子化器
と、前記入力信号の量子化結果から量子化区間に隣接す
る量子化区間を選択する隣接区間選択部と、前記入力信
号の属する量子化区間並びに、該量子化区間に隣接する
量子化区間に対する荷重値を記憶する荷重テーブルと、
単一または複数の経路入力端子を有する経路入力部と、
単一または複数の経路出力端子を有する経路出力部と、
量子化結果に応じて経路にかける荷重の設定位置を変え
ることで前記経路入力部の経路入力端子と前記経路出力
部の経路出力端子との連結強度を変化させる経路荷重部
とで構成したことを特徴とする請求項１記載の学習型認
識判断装置。2. A first unit recognition unit, a signal input section, a quantizer for quantizing according to an output of an input signal, and a quantizer adjacent to a quantizing section from a quantizing result of the input signal. An adjoining section selecting unit for selecting a section, a quantizing section to which the input signal belongs, and a weight table for storing a weight value for a quantizing section adjacent to the quantizing section,
A path input section having a single or a plurality of path input terminals;
A path output section having a single or a plurality of path output terminals,
It is configured with a route load unit that changes the connection strength between the route input terminal of the route input unit and the route output terminal of the route output unit by changing the setting position of the load applied to the route according to the quantization result. The learning type recognition and determination device according to claim 1, wherein
と、前記入力信号の出力に応じて量子化を行う量子化器
と、単一または複数の経路入力端子を有する経路入力部
と、単一または複数の経路出力端子を有する経路出力部
と、前記比較判定器の比較結果が異なる場合前記経路入
力部の経路入力端子に伝達された値に応じて該経路入力
端子と前記量子化器の出力値が指し示す経路出力部の経
路出力端子との連結強度を増加する学習器とで構成した
ことを特徴とする請求項１記載の学習型認識判断装置。3. A second unit recognition unit, a signal input section, a quantizer for quantizing according to the output of the input signal, and a path input section having a single or a plurality of path input terminals. When the comparison result of the path determiner and the path output section having a single or a plurality of path output terminals are different, the path input terminal and the quantizer according to the value transmitted to the path input terminal of the path input section. The learning type recognition and determination device according to claim 1, wherein the learning type recognition and determination device comprises a learning device that increases a connection strength with a route output terminal of a route output unit indicated by the output value of.
力端子からの入力信号を加算する加算器と、前記加算器
の出力信号をしきい値処理するしきい値処理部とで構成
したことを特徴とする請求項１記載の学習型認識判断装
置。4. A third unit recognition unit is composed of an adder for adding input signals from a plurality of path input terminals and a threshold processing unit for thresholding an output signal of the adder. The learning type recognition and determination device according to claim 1, wherein
よって検出された単位認識ユニット番号と第１または第
２の教師信号発生部から出力される教師信号とを比較す
ることを特徴とする請求項１記載の学習型認識判断装
置。5. The comparison / determination unit compares the unit recognition unit number detected by the maximum output unit detector with the teacher signal output from the first or second teacher signal generator. The learning type recognition and determination device according to Item 1.
及び第２の教師信号発生部から出力される教師信号のい
ずれか１つを選択することを特徴とする請求項１記載の
学習型認識判断装置。6. The teacher signal selector selects one of the teacher signals output from the first teacher signal generating section and the second teacher signal generating section. Learning type recognition and judgment device.
の教師信号発生部の出力により指定されるカテゴリ中で
一定値以上の出力を発生する単位認識ユニットを検出す
る出力判定部と、前記出力判定部の出力の内少なくとも
１つの出力を選択する出力選択部と、最大出力ユニット
検出器により検出された最下層の第３の単位認識ユニッ
トの最大出力に対してＸ％以上の値を出力している単位
認識ユニットの出力をカテゴリ毎に加算する出力加算器
と、前記出力加算器の出力から最大出力を発生している
カテゴリ番号を検出する最大出力検出器を備えたことを
特徴とする請求項１記載の学習型認識判断装置。7. The second of the unit recognition units in the lowermost layer
An output determination unit that detects a unit recognition unit that generates an output equal to or greater than a certain value in a category specified by the output of the teacher signal generation unit, and an output selection that selects at least one of the outputs of the output determination unit Section and output addition of adding the output of the unit recognition unit that outputs a value of X% or more to the maximum output of the third unit recognition unit in the lowest layer detected by the maximum output unit detector for each category 2. The learning type recognition and determination apparatus according to claim 1, further comprising: a detector and a maximum output detector that detects a category number generating the maximum output from the output of the output adder.
大出力を発生している単位認識ユニットを検出すること
を特徴とする請求項７記載の学習型認識判断装置。8. The learning type recognition and determination apparatus according to claim 7, wherein the output selection unit detects the unit recognition unit generating the maximum output among the outputs of the output determination unit.
よって検出した単位認識ユニット番号または、最大出力
検出器の出力と第１の教師信号発生部から出力される教
師信号または、出力選択部の出力とを比較することを特
徴とする請求項７記載の学習型認識判断装置。9. The comparison / determination unit is a unit recognition unit number detected by the maximum output unit detector, or the output of the maximum output detector and the teacher signal output from the first teacher signal generating unit or the output selecting unit. The learning type recognition and determination apparatus according to claim 7, wherein the output is compared with the output.
部から出力される教師信号及び、出力選択部の出力の内
いずれか１つを選択することを特徴とする請求項７記載
の学習型認識判断装置。10. The teacher signal selector selects one of the teacher signal output from the first teacher signal generator and the output of the output selector. Learning type recognition and judgment device.
ゴリ情報と該学習データを予め各カテゴリ毎に複数のク
ラスに分類した分類結果を表すクラス情報を記憶したこ
とを特徴とする請求項１記載の学習型認識判断装置。11. The learning data storage unit stores category information of the learning data and class information indicating a classification result obtained by classifying the learning data into a plurality of classes for each category in advance. Learning-type recognition and judgment device.
カテゴリ情報とクラス情報から該データに対応する最下
層の第３の単位認識認識ユニットの番号である教師信号
を発生する事を特徴とする請求項１記載の学習型認識判
断装置。12. The first teacher signal generator generates a teacher signal which is the number of the third unit recognition recognition unit in the lowest layer corresponding to the category information and class information of the learning data. The learning type recognition determination device according to claim 1.
第３の単位認識ユニットを学習データのカテゴリ数と前
記各カテゴリ毎のクラス数の積の数だけ備えたことを特
徴とする請求項１記載の学習型認識判断装置。13. A multi-layered hierarchical structure, wherein a third unit recognition unit located at the bottom is provided as many as the product of the number of categories of learning data and the number of classes for each category. The learning type recognition and determination device according to Item 1.
置する第２の単位認識ユニットの信号入力部に、教師信
号選択器の出力を入力するようにしたことを特徴とする
請求項１記載の学習型認識判断装置。14. The output of the teacher signal selector is input to the signal input unit of the second unit recognition unit located in the front layer of the lowermost layer in the multi-layer hierarchical structure. The learning type recognition and determination device according to Item 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6120187A JPH07325797A (en) | 1994-06-01 | 1994-06-01 | Learning type recognition and judgment device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6120187A JPH07325797A (en) | 1994-06-01 | 1994-06-01 | Learning type recognition and judgment device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07325797A true JPH07325797A (en) | 1995-12-12 |
Family
ID=14780070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6120187A Pending JPH07325797A (en) | 1994-06-01 | 1994-06-01 | Learning type recognition and judgment device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07325797A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5864819A (en) * | 1996-11-08 | 1999-01-26 | International Business Machines Corporation | Internal window object tree method for representing graphical user interface applications for speech navigation |
| JP2011198181A (en) * | 2010-03-23 | 2011-10-06 | Fujifilm Corp | Classifier generation device, method, and program |
-
1994
- 1994-06-01 JP JP6120187A patent/JPH07325797A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5864819A (en) * | 1996-11-08 | 1999-01-26 | International Business Machines Corporation | Internal window object tree method for representing graphical user interface applications for speech navigation |
| JP2011198181A (en) * | 2010-03-23 | 2011-10-06 | Fujifilm Corp | Classifier generation device, method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0591921B1 (en) | Learning and recognition machine | |
| US5485547A (en) | Recognition unit and recognizing and judging apparatus employing same | |
| EP0579341A2 (en) | Learning machine with multi-input single output circuits connected in hierarchical structure | |
| JPH07325797A (en) | Learning type recognition and judgment device | |
| JP2779119B2 (en) | Learning recognition device | |
| JPH06111038A (en) | Neural network and operating method thereof | |
| JPH07325795A (en) | Learning type recognition and judgment device | |
| JPH07325796A (en) | Learning type recognition and judgment device | |
| JP3337597B2 (en) | Learning type recognition judgment device | |
| JP2924442B2 (en) | Pattern recognition device | |
| US5329594A (en) | Recognizing and judging apparatus | |
| JP2001142867A (en) | Learning type recognizing and judging device | |
| JPH0683798A (en) | Learning recognizing device | |
| JPH06149769A (en) | Learning type recognizing and judging device | |
| JP3318958B2 (en) | Learning type waveform recognition processor | |
| US5542005A (en) | Recognition unit and recognition apparatus | |
| JPH05225165A (en) | Learning machine | |
| JPH06301659A (en) | Unit recognizing device and learning type recognition judging device | |
| JP3344873B2 (en) | Learning type recognition judgment device | |
| JP2684857B2 (en) | Recognition judgment device | |
| JP2762735B2 (en) | Unit recognition unit and learning type recognition judgment device | |
| JPH05225168A (en) | Unit recognizing unit and learning type recognizing/ deciding device | |
| JPH10187651A (en) | Learning type recognition and judgement device | |
| JPH03294983A (en) | Character recognizing device | |
| JPH06295292A (en) | Learning recognition device |