JP2779119B2 - Learning recognition device - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【産業上の利用分野】本発明は、入力されたパターンデ
ータの学習及び認識を行う学習認識装置に関するもので
ある。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a learning and recognizing device for learning and recognizing input pattern data.

【０００２】[0002]

【従来の技術】従来の、入力されたパターンデータに対
して、まず大分類を行って入力データが属するカテゴリ
群を選択し、つぎに選択されたカテゴリ群において、細
分類を行なうことによって入力データの認識を行なうパ
ターン認識装置の例としては、たとえば、電子情報通信
学会論文誌Ｄ−II Vol.J75-D-II No.3 pp545-553「大規
模ニューラルネット”ＣｏｍｂＮＥＴ−II”」に示され
ている。2. Description of the Related Art Conventionally, a large grouping is performed on input pattern data to select a category group to which the input data belongs, and then a subclassification is performed on the selected category group to thereby obtain the input data. An example of a pattern recognition apparatus that performs recognition of a pattern is disclosed in, for example, IEICE Transactions on Electronics, D-II Vol.J75-D-II No.3 pp545-553, “Large-Scale Neural Network“ CombNET-II ””. ing.

【０００３】図２５はこの従来のパターン認識装置の構
成図を示すものであり、101は大分類部であり、入力パ
ターン信号を各カテゴリ群に大分類するものである。10
2は細分類部であり、入力パターン信号を各カテゴリ群
内で細分類するものである。103は群選択部であり、大
分類部101の出力値（以下、適合度と呼ぶ。）から複数
個のカテゴリ群を選択するものである。104は細分類部
入力信号選択部であり、群選択部103で得られる群選択
情報に基づいて入力パターン信号を入力する細分類部10
2を選択するものである。105は識別部であり、群選択部
103で選択されたカテゴリ群の適合度と細分類部102の出
力値から入力パターン信号の識別を行なうものである。FIG. 25 is a diagram showing the configuration of this conventional pattern recognition apparatus. Reference numeral 101 denotes a large classification unit which classifies an input pattern signal into various categories. Ten
Reference numeral 2 denotes a sub-classification unit, which sub-classifies the input pattern signal in each category group. Reference numeral 103 denotes a group selection unit that selects a plurality of category groups from output values (hereinafter, referred to as “fitness”) of the large classification unit 101. Reference numeral 104 denotes a sub-classification unit input signal selection unit, and a sub-classification unit 10 for inputting an input pattern signal based on group selection information obtained by the group selection unit 103.
Is to select 2. 105 is an identification unit, and a group selection unit
The input pattern signal is identified based on the degree of conformity of the category group selected in 103 and the output value of the sub-classification unit 102.

【０００４】大分類部101において、106は入力部であ
り、入力パターン信号を入力するものである。107は多
入力一出力信号処理部であり、入力パターン信号に対す
る各カテゴリ群の適合度を計算するものである。In the large classification section 101, an input section 106 inputs an input pattern signal. Reference numeral 107 denotes a multi-input / one-output signal processing unit for calculating the degree of conformity of each category group to an input pattern signal.

【０００５】細分類部102において、108は入力部であ
り、細分類部入力信号選択部104から出力した入力パタ
ーン信号を入力するものである。109は多入力一出力信
号処理部であり、それに接続されている下層の入力部10
8、または多入力一出力信号処理部109の出力と、その連
結の度合である重み係数とを各々掛け合わせて総和した
ものをしきい値処理して出力するものである。ここで
は、これら複数個の多入力一出力信号処理部を層構造を
持ち、各層内相互の結合がなく、上位層にのみ信号が伝
搬するようにネットワーク接続することによって、入力
パターン信号に対するカテゴリ群内の各カテゴリに類似
する度合が求められる。110は最大値選択部であり、最
上位層の複数個の前記多入力ー出力信号処理部の出力の
中から最大値を選択するものである。In the sub-classifying section 102, reference numeral 108 denotes an input section for inputting an input pattern signal output from the sub-classifying section input signal selecting section 104. Reference numeral 109 denotes a multi-input / one-output signal processing unit, and a lower-layer input unit 10 connected thereto.
8, or the output of the multi-input / one-output signal processing unit 109 is multiplied by a weighting factor indicating the degree of connection, and the sum is summed to output the result. Here, the plurality of multi-input / one-output signal processing units have a layered structure and are connected to a network such that there is no mutual connection in each layer and the signal propagates only to the upper layer. The degree of similarity to each category in is determined. Reference numeral 110 denotes a maximum value selection unit which selects the maximum value from the outputs of the plurality of multi-input / output signal processing units in the uppermost layer.

【０００６】識別部105において、111は類似度計算部で
あり、群選択部103で選択されたカテゴリ群の適合度
と、そのカテゴリ群に対応する細分類部102の出力値か
ら各カテゴリの類似度を計算するものである。112はカ
テゴリ識別部であり、類似度計算部111から得られた各
カテゴリの類似度の最大値を求めることによって、入力
パターン信号の識別を行なうものである。In the identification unit 105, a similarity calculation unit 111 is used to determine the similarity of each category from the fitness of the category group selected by the group selection unit 103 and the output value of the subclassification unit 102 corresponding to the category group. Calculate the degree. Reference numeral 112 denotes a category identification unit for identifying the input pattern signal by obtaining the maximum value of the similarity of each category obtained from the similarity calculation unit 111.

【０００７】以上のように構成された従来のパターン認
識装置について、以下その動作を説明する。認識対象物
のｎ個の特徴データからなる入力パターン信号ＸThe operation of the conventional pattern recognition device configured as described above will be described below. An input pattern signal X composed of n pieces of feature data of the object to be recognized

【０００８】[0008]

【数１】 Ｘ＝（ｘ₁，ｘ₂，…，ｘ_n） （１） を、まず、大分類部101の入力部106に入力する。入力部
106はパターンデータの特徴データ数に等しくｎ個用意
されており、各特徴データｘ_iはそれぞれ対応する入力
部106に入力する。大分類部101の各多入力一出力信号処
理部107は、それに接続されている入力部101の入力ｘ_j
とその連結の度合である重み係数ｖ_ij （１≦ｉ≦ｍ_r；
ｍ_rはカテゴリ群の数、１≦j≦ｎ）とを乗算したものの
総和を計算した後、これを入力パターン信号Ｘ及び、各
多入力一出力信号処理部107の重み係数ベクトルＶ_i（数
２）X = (x ₁ , x ₂ ,..., X _n ) (1) First, input to the input unit 106 of the large classification unit 101. Input section
106 is equal to n pieces prepared wherein the number of data of the pattern data, each feature data x _i is inputted to the input unit 106 corresponding. Each multi-input / one-output signal processing unit 107 of the large classification unit 101 is connected to the input x _{j of the} input unit 101 connected thereto.
And a weight coefficient v _ij (1 ≦ i ≦ m _r ;
m _r is the number of category groups, 1 ≦ j ≦ n, and after calculating the sum, this is calculated as the input pattern signal X and the weight coefficient vector V _i (number) of each multi-input one-output signal processing unit 107. 2)

【０００９】[0009]

【数２】 Ｖ_i＝（ｖ_i1，ｖ_i2，…，ｖ_in） （２） のノルム｜Ｘ｜、｜Ｖ_i｜の積で割り算したものを出力
する。つまり、重み係数ベクトルＶ_iをもつ多入力一出
力信号処理部107の出力値sim(Ｘ，Ｖ_i)は（数３）X | | [number 2] _{V i = (v i1, v} i2, ..., v in) the norm of (2), | and outputs the things that were divided by the product of | V _i. That is, the output value sim (X, V _i ) of the multi-input one-output signal processing unit 107 having the weight coefficient vector V _i is represented by (Equation 3).

【００１０】[0010]

【数３】 sim(Ｘ，Ｖ_i) ＝(Ｘ・Ｖ_i) / (｜Ｘ｜｜Ｖ_i｜) （３） 但し、 Ｘ・Ｖ_i ＝ Σ_j(ｘ_j・ｖ_ij) ｜Ｘ｜ ＝ ( Σｘ_j ² )^1/2 ｜Ｖ_i｜ ＝ ( Σｖ_ij ² )^1/2 と表わすことができる。ここで、Σ_jはｊについての総
和を表わす。[Number 3] _{sim (X, V i) =} (X · V i) / (| X || V i |) (3) _{However, X · V i = Σ j} (x j · v ij) | X | = (Σx _j ² ) ^1/2 | V _i | = (Σv _ij ² ) ^1/2 . Here, Σ _j represents the sum of j.

【００１１】なお、重み係数ベクトルＶ_iについては、
類似した入力パターン信号に対して決まった多入力一出
力信号処理部１０７が最大出力を発生するように、あら
かじめ設計しておく。Note that the weight coefficient vector V _i is:
The multi-input one-output signal processing unit 107 is designed in advance so as to generate the maximum output for a similar input pattern signal.

【００１２】これらの重み係数ベクトルＶ_i は、従来例
によると、以下のような手法で設計する。まず第１過程
では、重み係数ベクトル設計用の入力パターン信号Ｘを
入力する毎に、最もsim(Ｘ，Ｖ_i)の大きいＶ_Cを求め
（このとき、ＸはＶ_Cに最適整合するという。）、Ｖ_C
をＸに近づける。また、１つの重み係数ベクトルに最適
整合する入力パターン信号がある一定数以上になった時
には、その重み係数ベクトルが担当する領域を２つに分
割する。第２過程では、重み係数ベクトル設計用の全入
力パターン信号に対して、最適整合するＶ_i を求め、そ
れが前回と変化したかどうかを調べる。そして、変更が
あれば、そのＶ_i を修正する。このとき、第１過程と同
様に、重み係数ベクトルの***も行なう。これを重み係
数ベクトルの修正、***がなくなるまで繰り返す。According to the conventional example, these weight coefficient vectors V _i are designed by the following method. First, in the first step, to each input of the input pattern signal X for weighting coefficient vector design, most sim (X, V _i) determined a large V _C (in this case, X is that optimally matched to V _C. ), V _C
To X. When an input pattern signal that optimally matches one weight coefficient vector becomes equal to or more than a certain number, the area assigned to the weight coefficient vector is divided into two. In the second step, the total input pattern signal for weighting coefficient vectors designed to obtain the V _i for optimum matching to see if it has changed from the previous. And, if there is a change, to correct the V _i. At this time, similarly to the first process, the division of the weight coefficient vector is also performed. This is repeated until the correction and division of the weight coefficient vector are eliminated.

【００１３】このようにして、重み係数ベクトルの設計
を行なうことによって、入力パターン信号は複数のカテ
ゴリ群に大分類する。そして、各多入力一出力信号処理
部107の出力値は、入力パターン信号Ｘに対する各カテ
ゴリ群の適合度として群選択部103に出力する。By designing the weight coefficient vector in this way, the input pattern signals are roughly classified into a plurality of category groups. Then, the output value of each multi-input / one-output signal processing unit 107 is output to the group selection unit 103 as the degree of conformity of each category group to the input pattern signal X.

【００１４】群選択部103では、大分類部101で得られた
適合度の大きい順に任意個のカテゴリ群を選び、どのカ
テゴリ群が選択されたかを示す群選択情報とそれに対応
する適合度を出力する。The group selection unit 103 selects an arbitrary number of category groups in descending order of the degree of matching obtained by the large classification unit 101, and outputs group selection information indicating which category group has been selected and the corresponding degree of matching. I do.

【００１５】群選択部103から得られる群選択情報に基
づいて、細分類入力信号選択部104は、入力パターン信
号を入力する細分類部102を選択し、入力パターン信号
をこれらの細分類部102へ出力する。On the basis of the group selection information obtained from the group selection section 103, the sub-classification input signal selection section 104 selects the sub-classification section 102 for inputting the input pattern signal, and converts the input pattern signal into these sub-classification sections 102. Output to

【００１６】群選択部103で選択されたカテゴリ群に対
応する各々の細分類部102（即ち、細分類入力信号選択
部104から入力パターン信号を入力された細分類部）で
は、まず、入力部108に、入力パターン信号Ｘが入力す
る。入力部108は、パターン信号の特徴データ数に等し
くＮ個用意されており、各特徴データｘ_iはそれぞれ対
応する入力部108に入力する。細分類部102の各多入力一
出力信号処理部109はそれに接続されている下層の入力
部108、または多入力一出力信号処理部109の出力とその
連結の度合である重み係数とを掛け合わせたものの総和
をしきい値関数で変換した後、その値を上層へ出力す
る。ここで、各細分類部102の最上位層の多入力一出力
信号処理部109は、各カテゴリ群に含まれるパターンデ
ータのカテゴリ数と同じ個数に設定され、最上位層の各
多入力一出力信号処理部109は、これらの各カテゴリに
対応している。最大値選択部80は最上位層の各多入力一
出力信号処理部109の出力値の中で最大のものを選び、
この多入力一出力信号処理部109に対応するカテゴリ
と、その最大出力値を出力する。In each of the sub-classification units 102 corresponding to the category group selected by the group selection unit 103 (that is, the sub-classification unit to which the input pattern signal is input from the sub-classification input signal selection unit 104), first, the input unit The input pattern signal X is input to 108. The input unit 108 is equal to the N prepared wherein the number of data of the pattern signal, each feature data x _i is input to the input unit 108, respectively corresponding. Each multi-input / one-output signal processing unit 109 of the sub-classification unit 102 multiplies the output of the lower-layer input unit 108 connected thereto or the output of the multi-input / one-output signal processing unit 109 by a weight coefficient which is a degree of connection thereof. After converting the sum of the data by a threshold function, the value is output to the upper layer. Here, the multi-input one-output signal processing unit 109 of the top layer of each sub-classification unit 102 is set to the same number as the number of categories of the pattern data included in each category group, and The signal processing unit 109 corresponds to each of these categories. The maximum value selection unit 80 selects the maximum value among the output values of each multi-input one-output signal processing unit 109 of the highest layer,
The category corresponding to the multi-input one-output signal processing unit 109 and the maximum output value are output.

【００１７】なお、各多入力一出力信号処理部109の重
み係数は、カテゴリ群内の各カテゴリをもつ入力パター
ン信号に対して、その各カテゴリに対応する最上位層の
多入力一出力信号処理部109が最大出力を発生するよう
に、あらかじめ学習されている。The weight coefficient of each multi-input / one-output signal processing unit 109 is such that, for an input pattern signal having each category in a category group, the multi-input / one-output signal processing of the highest layer corresponding to each category is performed. The unit 109 has been learned in advance so as to generate the maximum output.

【００１８】具体的には、このような重み係数の学習方
法は、誤差逆伝搬法と呼ばれる学習アルゴリズムによっ
て行われる。誤差逆伝搬法については、たとえばネイチ
ャー323(1986)、第533頁〜第536頁掲載のもの。（ D.E.
Rumelhart , G.E.Hintonand R.J.Williams " Learning
Representations by Back-Propagating Errors", Natu
re, vol.323. pp.533-536, Oct. 9, 1986）に示されて
いる。Specifically, such a weight coefficient learning method is performed by a learning algorithm called an error back propagation method. The error back propagation method is described, for example, in Nature 323 (1986), pp. 533 to 536. (DE
Rumelhart, GEHintonand RJWilliams "Learning
Representations by Back-Propagating Errors ", Natu
re, vol.323. pp.533-536, Oct. 9, 1986).

【００１９】以下、その誤差逆伝搬法の概略について説
明する。Hereinafter, an outline of the error back propagation method will be described.

【００２０】まず、重み係数学習用のパターン信号Ｘが
細分類部102の入力部108に入力する。各多入力一出力信
号処理部109は、既に説明したように、各々それに接続
されている下層の入力部108、または多入力一出力信号
処理部109の出力とその連結の度合である重み係数とを
掛け合わせたものの総和をしきい値関数で変換した後、
その値を上層へ出力する。ここで、全ての最上位層の多
入力一出力信号処理部109の出力信号ｏ_k と望ましい出
力信号ｔ_k（これを教師信号と呼ぶ）との誤差Ｅは（数
４）のように求められる。First, a pattern signal X for weight coefficient learning is input to an input unit 108 of the sub-classification unit 102. As described above, each multi-input one-output signal processing unit 109 includes a lower-layer input unit 108 connected thereto, or a weight coefficient which is a degree of connection between the output of the multi-input one-output signal processing unit 109 and its connection. After converting the sum of the products obtained by multiplying by the threshold function,
The value is output to the upper layer. It is where the error E with all of the output signal o _k and the desired output signal t _k multiple-input first output signal processing section 109 of the top layer (referred to as a teacher signal) is obtained as equation (4) .

【００２１】[0021]

【数４】 Ｅ＝0.5Σ_pΣ_k（ｔ_k−ｏ_k）² （４） 但し、Σ_p は教師信号のパターン数に関する総和であ
る。学習の目的は、誤差Ｅを最小にする重み係数の値を
決定することであり、各多入力一出力信号処理部間109
の重み係数の変更量△ｗ_ij は（数５）に基づいて計算
する。Equation 4] _{E = 0.5Σ p Σ k (t} k -o k) 2 (4) However, sigma _p is the total sum related to the number of patterns of the teacher signal. The purpose of the learning is to determine the value of the weighting coefficient that minimizes the error E.
Is calculated based on ( _Equation 5).

【００２２】[0022]

【数５】 △ｗ_ij ＝ −ε∂Ｅ／∂ｗ_ij （５） 但し、εは学習レートと呼ばれる正の定数である。この
ような（数５）に基づいた重み係数の更新を、学習用の
パターン信号が入力するたびに繰り返すことにより、誤
差Ｅを小さくすることができる。誤差Ｅが十分小さくな
ると、出力信号が望ましい値に十分近くなったものとし
て、学習を終了する。Δw _ij = −ε∂E / ∂w _ij (5) where ε is a positive constant called a learning rate. The error E can be reduced by repeating such updating of the weight coefficient based on (Equation 5) every time a learning pattern signal is input. When the error E becomes sufficiently small, the learning is terminated on the assumption that the output signal has become sufficiently close to the desired value.

【００２３】このような重み係数の学習方法によって、
カテゴリ群内の各カテゴリをもつ入力パターン信号に対
し、その各カテゴリに対応する最上位層の多入力一出力
信号処理部109が最大出力を発生するようにすることが
できる。従って、最上位層の複数個の多入力一出力信号
処理部109の中で、最大出力を発生するものを最大値選
択部80で選ぶことにより、各カテゴリ群内において、即
ち、各細分類部において入力パターン信号のカテゴリを
認識することができる。According to such a weight coefficient learning method,
For an input pattern signal having each category in the category group, the multi-input / one-output signal processing unit 109 of the highest layer corresponding to each category can generate the maximum output. Therefore, by selecting the one that generates the maximum output from the plurality of multi-input one-output signal processing units 109 in the uppermost layer by the maximum value selection unit 80, within each category group, Can recognize the category of the input pattern signal.

【００２４】識別部105では、まず、類似度計算部111に
おいて、群選択部103で選択されたカテゴリ群の適合度
と、そのカテゴリ群に対応する細分類部102の出力値か
ら（数６）数を用いて細分類部102で得られた各カテゴ
リの類似度を計算し、これらの類似度をカテゴリ識別部
112に出力する。In the identification section 105, first, in the similarity calculation section 111, the degree of conformity of the category group selected by the group selection section 103 and the output value of the subclassification section 102 corresponding to the category group are expressed by (Equation 6). Calculate the similarity of each category obtained by the sub-classification unit 102 using the
Output to 112.

【００２５】[0025]

【数６】 （類似度）＝（適合度）^a（出力値）^b （６） 但し、ａ，ｂは実定数とする。(Similarity) = (fitness) ^a (output value) ^b (6) where a and b are real constants.

【００２６】最後に、カテゴリ識別部112は、類似度計
算部111から得られる各カテゴリの類似度を比較し、そ
れらの中で最大となる類似度に対応するカテゴリを識別
結果として出力する。Finally, the category identifying section 112 compares the similarities of the respective categories obtained from the similarity calculating section 111 and outputs the category corresponding to the maximum similarity among them as the identification result.

【００２７】[0027]

【発明が解決しようとする課題】しかしながら、上記の
ような従来の認識装置では、各細分類部の学習は、入力
パターン信号が各カテゴリ群に属する度合すなわち群帰
属度を考慮せず、単一の細分類部でまったく独立に行わ
れるので、カテゴリ群間の境界に位置する入力パターン
に対する認識精度が劣化する。However, in the conventional recognition apparatus as described above, the learning of each of the sub-classification units does not take into account the degree to which the input pattern signal belongs to each category group, that is, the degree of belonging to the group, and the learning is performed in a single manner. , The recognition accuracy for input patterns located at boundaries between category groups is degraded.

【００２８】また、未学習パターンを誤認識した時に再
度そのパターンを学習する際（追加学習）、大分類部で
群帰属度が最大と判断された細分類部にそのパターンの
カテゴリが属しているとは限らず、どの細分類部を学習
すべきかの判断が出来ないので、追加学習が出来ないと
いう課題を有していた。When an unlearned pattern is misrecognized and the pattern is learned again (additional learning), the category of the pattern belongs to the sub-classification unit which is determined to have the maximum group membership in the large classification unit. However, since it is not always possible to determine which sub-classification unit should be learned, there is a problem that additional learning cannot be performed.

【００２９】本発明はかかる従来の認識装置の課題に対
し、必要に応じて新しいカテゴリを細分類部に追加する
とともに、入力パターンに対する群帰属度を用いて各細
分類部を協調的に学習を行ない、カテゴリ群の境界に位
置するパターンの認識率の向上が可能で、しかも効率的
に追加学習が行える学習認識装置を提供することを目的
とする。In order to solve the problems of the conventional recognition device, the present invention adds a new category to the sub-classification unit as needed, and learns the sub-classification units cooperatively using the degree of group membership for the input pattern. An object of the present invention is to provide a learning / recognition apparatus capable of improving the recognition rate of a pattern located at the boundary of a category group and performing efficient additional learning.

【００３０】[0030]

【課題を解決するための手段】本発明は上記目的を達成
するために、類似パターンの集合から成るカテゴリ群に
対して入力パターン信号がカテゴリ群に属する度合であ
る群帰属度を計算する手段を複数のカテゴリ群に対して
設けた大分類部と、入力パターン信号が各カテゴリ群に
含まれるカテゴリに属する度合である群内類似度を計算
する手段を設けた群内類似度算出部と、群内類似度と群
帰属度の積を計算する複数の乗算器から成り、群内類似
度の重み付けを行う識別信号荷重部と、識別信号荷重部
から出力する重み付した群内類似度信号の比較を行うカ
テゴリ識別部と、学習に必要な教師信号を発生する教師
信号発生部と、教師信号発生部から出力する教師信号と
識別信号荷重部の出力とカテゴリ識別部との出力にもと
づいて群内類似度算出部の重み変更量を制御する学習制
御部と、学習制御信号と大分類部から出力する群帰属度
の積を演算する複数の乗算器から成り、学習制御部から
出力した学習制御信号の重み付けを行う学習制御信号荷
重部と、学習制御信号荷重部の出力と群内類似度算出部
との出力にもとづき群内類似度算出部の重み係数を更新
する重み係数更新部と群内類似度算出部とからなる複数
の細分類部とによって構成した学習認識装置である。SUMMARY OF THE INVENTION In order to achieve the above object, the present invention provides a means for calculating a group membership degree, which is a degree to which an input pattern signal belongs to a category group, for a group of similar pattern sets. A large classification unit provided for a plurality of category groups, an intra-group similarity calculation unit provided with a unit for calculating an intra-group similarity that is a degree to which the input pattern signal belongs to a category included in each category group, Comparison of an identification signal weighting unit consisting of multiple multipliers that calculate the product of the intra-similarity and group membership and weighting the intra-group similarity, and a weighted intra-group similarity signal output from the identification signal weighting unit , A teacher signal generator for generating a teacher signal necessary for learning, a teacher signal output from the teacher signal generator, an output of the identification signal loader, and an output of the category identifier based on the output of the category identifier. Degree of similarity A learning control unit for controlling the weight change amount of the output unit; and a plurality of multipliers for calculating a product of the learning control signal and the group membership output from the large classification unit, and weighting the learning control signal output from the learning control unit. A weighting factor updating unit for updating the weighting factor of the intra-group similarity calculating unit based on the output of the learning control signal loading unit and the output of the intra-group similarity calculating unit; And a plurality of sub-classifying units.

【００３１】[0031]

【作用】本発明は上記の構成において、学習の進み具合
いを反映した学習制御信号を、大分類部が出力する群帰
属度で重み付けした信号にもとづいて細分類部の重み修
正を行なうため、各細分類部が協調して学習し、カテゴ
リ群の境界に位置するパターンの認識率の向上が可能で
ある。According to the present invention, in the above configuration, the learning control signal reflecting the progress of the learning is weight-corrected by the fine classification unit based on the signal weighted by the degree of group membership output from the large classification unit. The fine classification unit learns in cooperation, and the recognition rate of the pattern located at the boundary of the category group can be improved.

【００３２】また、カテゴリ追加部が必要に応じて細分
類部に新たなカテゴリを追加するため効率的に追加学習
を行なうことが可能である。Further, since the category adding section adds a new category to the sub-classifying section as needed, it is possible to efficiently perform additional learning.

【００３３】さらに、学習の推移に従って群帰属度の算
出方法を変化させることで初期の学習と追加学習のそれ
ぞれの場合において適切な群帰属度算出を行ない効果的
な学習が可能となる。Further, by changing the calculation method of the group membership according to the transition of learning, an appropriate group membership is calculated in each of the initial learning and the additional learning, and effective learning can be performed.

【００３４】[0034]

【実施例】以下、本発明の実施例について図面を参照し
て説明する。Embodiments of the present invention will be described below with reference to the drawings.

【００３５】一般に学習認識装置に入力するパターン信
号としては、音声等の時系列パターン、文字・画像等の
空間パターン等などがあるが、本発明においては、いず
れのパターン信号でも構わない。In general, the pattern signal input to the learning / recognition apparatus includes a time-series pattern such as voice, a spatial pattern such as characters and images, and the like. In the present invention, any pattern signal may be used.

【００３６】図１は本発明の学習認識装置の第一の実施
例のブロック図を示すものである。図１において、１は
細分類部であり、入力パターン信号がカテゴリ群内に含
まれる各カテゴリに類似する度合である群内類似度を計
算する群内類似度算出部１ａと、前記群内類似度算出部
１ａの出力と後述する学習制御信号荷重部６の出力に応
じて前記群内類似度算出部１ａの重み係数を更新する重
み係数更新部１ｂからなる。２は大分類部であり、類似
したパターンから成るカテゴリ群に対して入力パターン
信号が各カテゴリ群に属する度合である群帰属度を計算
するものである。２ａはカテゴリ群を代表する参照用パ
ターン信号が複数記憶されている群辞書である。２ｂは
前記群辞書２ａからの群参照用パターン信号を用いて群
帰属度を計算する群参照用パターン類似度算出部、７は
識別信号荷重部であり、細分類部１で得られた群内類似
度を前記大分類部２で計算された群帰属度により重み付
けするものである。前記識別信号荷重部７において、７
ａは乗算器であり、大分類部２で計算された群帰属度と
細分類部１から得られる群内類似度を乗算するものであ
る。３はカテゴリ識別部であり、各カテゴリ毎に乗算器
７ａの出力値の大きいものを複数個選択しそれらの出力
値の総和（カテゴリ類似度）を計算した後、カテゴリ類
似度の中から最大値を求めることによって、入力パター
ン信号のカテゴリの識別を行なうものである。４は教師
信号発生部である。５は学習制御部で、５ｂは比較器で
前記教師信号発生部４の出力と前記カテゴリ識別部３の
出力との比較を行い、５ａは重み変更量制御部で前記比
較器５ｂの比較結果にもとづき学習を行うための指示信
号として、両者が一致せずかつ入力パターン信号のカテ
ゴリーが存在する細分類部に対しては１を、一致する場
合には０を出力する。６は学習制御信号荷重部で、前記
学習算出部５から出力する指示信号を群帰属度により重
み付けするものである。FIG. 1 is a block diagram showing a first embodiment of the learning and recognition apparatus according to the present invention. In FIG. 1, reference numeral 1 denotes a sub-classification unit, and an intra-group similarity calculation unit 1a for calculating an intra-group similarity, which is a degree of similarity of an input pattern signal to each category included in the category group, A weighting factor updating unit 1b updates a weighting factor of the intra-group similarity calculating unit 1a in accordance with an output of the degree calculating unit 1a and an output of a learning control signal loading unit 6 described later. Reference numeral 2 denotes a large classification unit, which calculates a group belonging degree, which is a degree to which an input pattern signal belongs to each category group, for a category group composed of similar patterns. 2a is a group dictionary in which a plurality of reference pattern signals representing the category group are stored. Reference numeral 2b denotes a group reference pattern similarity calculation unit for calculating a group membership using the group reference pattern signal from the group dictionary 2a. Reference numeral 7 denotes an identification signal load unit. The similarity is weighted by the group membership calculated by the large classification unit 2. In the identification signal loading section 7, 7
a is a multiplier that multiplies the group membership calculated by the large classification unit 2 and the intra-group similarity obtained from the fine classification unit 1. Reference numeral 3 denotes a category identification unit which selects a plurality of multipliers having large output values for each category, calculates the sum of the output values (category similarity), and then selects the maximum value from the category similarities. To determine the category of the input pattern signal. Reference numeral 4 denotes a teacher signal generator. Reference numeral 5 is a learning control unit, and 5b is a comparator for comparing the output of the teacher signal generation unit 4 with the output of the category identification unit 3, and 5a is a weight change amount control unit for comparing the comparison result of the comparator 5b. As an instruction signal for performing base learning, 1 is output to a sub-classification unit where the two do not match and the category of the input pattern signal exists, and 0 is output when they match. Reference numeral 6 denotes a learning control signal load unit which weights the instruction signal output from the learning calculation unit 5 by the degree of group membership.

【００３７】図２は、大分類部２の構成の一実施例を示
すブロック図である。２aは類似パターンの集合から成
るカテゴリ群を代表する群参照用パターン信号を複数個
記憶する群辞書、２bは前記群辞書からの群参照用パタ
ーン信号を用いて群帰属度を計算する群参照用パターン
類似度算出部、21は入力部であり、入力パターン信号を
入力するものである。22は距離計算部であり、群辞書２
aの全ての群参照用パターン信号と入力パターン信号と
の距離を計算するものである。23は割算器であり、距離
計算部22の出力の逆数を計算するものである。24は加算
器であり、各々の割算器23の出力の総和を求めるもので
ある。25は乗算器であり、加算器24の出力と距離計算部
22の出力を乗算するものである。26は割算器であり、乗
算器25の出力の逆数を計算するものである。FIG. 2 is a block diagram showing an embodiment of the configuration of the large classification unit 2. As shown in FIG. 2a is a group dictionary for storing a plurality of group reference pattern signals representing a category group composed of a set of similar patterns, and 2b is a group reference for calculating group membership using the group reference pattern signals from the group dictionary. The pattern similarity calculating section 21 is an input section for inputting an input pattern signal. Reference numeral 22 denotes a distance calculator, which is a group dictionary 2
The distance between all group reference pattern signals a and the input pattern signal is calculated. Reference numeral 23 denotes a divider for calculating the reciprocal of the output of the distance calculator 22. Numeral 24 denotes an adder for calculating the sum of the outputs of the respective dividers 23. Reference numeral 25 denotes a multiplier, which is an output of the adder 24 and a distance calculator.
It multiplies the 22 outputs. 26 is a divider for calculating the reciprocal of the output of the multiplier 25.

【００３８】図３は、細分類部１の類似度算出部１ａの
第一の実施例を示すブロック図である。31は入力部であ
り、入力パターン信号を入力するものである。32はカテ
ゴリ辞書であり、入力パターン信号の各カテゴリの代表
値を示すカテゴリ参照用パターン信号が複数個記憶され
ているものである。33は距離計算部であり、カテゴリ辞
書32の全てのカテゴリ参照用パターン信号と入力パター
ン信号との距離を計算するものである。34は割算器であ
り、距離計算部33の出力の逆数を計算するものである。
35は加算器であり、各々の割算器34の出力の総和を求め
るものである。36は乗算器であり、加算器35の出力と距
離計算部33の出力を乗算するものである。37は割算器で
あり、乗算器36の出力の逆数を計算するものである。FIG. 3 is a block diagram showing a first embodiment of the similarity calculating section 1a of the sub-classifying section 1. An input unit 31 inputs an input pattern signal. Reference numeral 32 denotes a category dictionary in which a plurality of category reference pattern signals indicating a representative value of each category of the input pattern signal are stored. Reference numeral 33 denotes a distance calculation unit that calculates the distance between all the category reference pattern signals in the category dictionary 32 and the input pattern signals. 34 is a divider for calculating the reciprocal of the output of the distance calculator 33.
Reference numeral 35 denotes an adder for calculating the sum of outputs from the respective dividers 34. A multiplier 36 multiplies the output of the adder 35 by the output of the distance calculator 33. A divider 37 calculates the reciprocal of the output of the multiplier 36.

【００３９】以上のように構成された学習認識装置につ
いて、以下その動作を説明する。認識対象物のｎ個の特
徴データからなる入力パターン信号Ｘ（数７）をThe operation of the learning / recognition device configured as described above will be described below. An input pattern signal X (Formula 7) composed of n pieces of feature data of a recognition target is

【００４０】[0040]

【数７】 Ｘ＝（ｘ₁，ｘ₂，…，ｘ_n） （７） 大分類部２に入力する。大分類部２では、入力部21が入
力パターン信号Ｘをｒ個の距離計算部22へ出力する。各
々の距離計算部22は、群辞書２ａに記憶されている各カ
テゴリ群を代表する群参照用パターン信号Ｖ_i （１≦ｉ
≦ｒ；ｒは群参照用パターン信号の数、すなわちカテゴ
リ群数）を読みだし、（数８）に示すＸとＶ_i の距離ｄ
_i を計算し、各々対応する割算器23、及び乗算器25へ出
力する。但し、ｆはｆ＞１を満たす実数とする。X = (x ₁ , x ₂ ,..., X _n ) (7) Input to the large classification unit 2. In the large classification unit 2, the input unit 21 outputs the input pattern signal X to the r distance calculation units 22. Each distance calculation unit 22 generates a group reference pattern signal V _i (1 ≦ i) representing each category group stored in the group dictionary 2a.
≦ r; r is the number of group reference pattern signals, i.e. reads the category number group), a distance d between X and V _i shown in equation (8)
_i is calculated and output to the corresponding divider 23 and multiplier 25, respectively. Here, f is a real number satisfying f> 1.

【００４１】[0041]

【数８】 ｄ_i＝‖Ｘ−Ｖ_i‖^2/(f-1) （１≦ｉ≦ｒ） （８） 各々の割算器23は、距離ｄ_iの逆数を計算し、その出力
を加算器24へ出力する。加算器24は、全ての割算器23の
出力の総和を計算し、その出力をｒ個の乗算器25へ出力
する。各々の乗算器25では、対応する距離計算部22と加
算器24の出力を乗算し、その出力を対応する割算器26に
入力する。各々の割算器26では、対応する乗算器25の出
力の逆数を計算する。最終的に大分類部２では、この各
割算器26の出力が入力パターン信号Ｘに対する各カテゴ
リ群の群帰属度μ_i （１≦ｉ≦ｒ）として出力する。つ
まり、各カテゴリ群の群帰属度μ_i （１≦ｉ≦ｒ）は
（数９）のように表わすことができる。D _i = {X−V _i } ^{2 / (f−1)} (1 ≦ i ≦ r) (8) Each divider 23 calculates the reciprocal of the distance d _i and outputs the reciprocal of the distance d _i. Output to the adder 24. The adder 24 calculates the sum of outputs of all the dividers 23 and outputs the output to r multipliers 25. Each multiplier 25 multiplies the output of the corresponding distance calculation unit 22 and the output of the adder 24, and inputs the output to the corresponding divider 26. Each divider 26 calculates the reciprocal of the output of the corresponding multiplier 25. Finally, the large classifying unit 2 outputs the output of each divider 26 as the degree of group membership μ _i (1 ≦ i ≦ r) of each category group with respect to the input pattern signal X. That is, the group membership μ _i (1 ≦ i ≦ r) of each category group can be expressed as in (Equation 9).

【００４２】[0042]

【数９】 μ_i ＝ １ ／ Σ_k=1 ^r（ｄ_i/ ｄ_k） （９） ここで、Σ_k=1 ^rはｋについて１からｒまでの和を表わ
す。Μ _i = 1 / Σ _{k = 1} ^r (d _i / d _k ) (9) Here, Σ _{k = 1} ^r represents the sum of k from 1 to r.

【００４３】なお、群辞書２ａに記憶されている各カテ
ゴリ群を代表する群参照用パターン信号は、あらかじ
め、従来のクラスタリング手法、たとえば、電子情報通
信学会編長尾真著「パターン情報処理」（コロナ社）に
示されているＫ平均アルゴリズム、及びIsodataアルゴ
リズムや、Y.Linde, A.Buzo, and R.M.Gray による"An
Algorithm for Vector Quantizer design," IEEE Tran
s. Commun.,COM-28,1, pp.84-95, Jan.1980 に示されて
いるＬＢＧアルゴリズムを用いて設計する。The group reference pattern signal representative of each category group stored in the group dictionary 2a is prepared in advance by a conventional clustering method, for example, "Pattern Information Processing" (Corona, edited by IEICE Nagano). K-means algorithm, Isodata algorithm, and "An" by Y. Linde, A. Buzo, and RMGray.
Algorithm for Vector Quantizer design, "IEEE Tran
s. Commun., COM-28, 1, pp. 84-95, Jan. 1980.

【００４４】以下、Ｋ平均アルゴリズムを用いて群辞書
２ａを設計する方法について簡単に説明する。 １．認識対象物の群辞書設計用のパターン信号の集合か
ら、ｒ個（但し、ｒはあらかじめ定められたカテゴリ群
数）のパターン信号を適当に選び、これらをｒ個の群参
照用パターン信号Ｖ_i（１≦ｉ≦ｒ）とする。 ２．全ての群辞書設計用のパターン信号Ｘについて、そ
れぞれ、（数１０）に示す距離ｄ_i Hereinafter, a method of designing the group dictionary 2a using the K-means algorithm will be briefly described. 1. From a set of pattern signals for a group dictionary design recognition object, the r (where, r is a predetermined number of group category) suitably select the pattern signal, these r pieces pattern signal for references group of V _i (1 ≦ i ≦ r). 2. For all group dictionary design pattern signals X, distances d _i shown in (Equation 10) are respectively given.

【００４５】[0045]

【数１０】 ｄ_i＝‖Ｘ−Ｖ_i‖ （１０） を最小にするＶ_iを求める。このとき、Ｘはカテゴリ群
Ｓ_i（１≦ｉ≦ｒ）に属するものとする。 ３．各Ｓ_iに属するパターン信号Ｘの平均値を求め、こ
れをＶ_i’とする。 ４．Ｖ_i’＝Ｖ_iが全てのｉについて成立すれば、このと
きの群参照用パターン信号Ｖ_iを群辞書２ａに記憶す
る。そうでなければ、Ｖ_i’を新たな群参照用パターン
信号Ｖ_iとして、２．に戻る。 このようにして、群参照用パターン信号を設計すること
によって、全てのパターン信号はいくつかの類似したパ
ターン信号の部分集合（カテゴリ群）に分割することが
できる。なお、Isodataアルゴリズム及び、ＬＢＧアル
ゴリズムもこのＫ平均アルゴリズムと基本的にはほぼ同
じ手法である。Equation 10] Request d _i = ‖X-V _i ‖ V _i to the (10) to a minimum. At this time, X belongs to the category group S _i (1 ≦ i ≦ r). 3. The average value of the pattern signals X belonging to each S _i is obtained, and this is set as V _i ′. 4. If satisfied V _i '= V _i is for all i, store the group reference pattern signal V _i at this time to the group dictionary 2a. Otherwise, let V _i ′ be a new group reference pattern signal V _i . Return to By designing the group reference pattern signal in this way, all the pattern signals can be divided into some similar pattern signal subsets (category groups). Note that the Isodata algorithm and the LBG algorithm are basically almost the same as the K-means algorithm.

【００４６】各細分類部１の類似度算出部１ａは入力部
31が入力パターン信号Ｘをｃ個の距離計算部33へ出力す
る。各々の距離計算部33は、カテゴリ辞書32に記憶され
ている各カテゴリの代表値を示すカテゴリ参照用パター
ン信号（重み係数）Ｗ_j （１≦ｊ≦ｃ；ｃはカテゴリ参
照用パターン信号の数）を読みだし、（数１１）に示す
ＸとＷ_jの距離ｄ_jを計算し、各々対応する割算器34、及
び乗算器36へ出力する。The similarity calculating section 1a of each sub-classifying section 1 has an input section
31 outputs the input pattern signal X to the c distance calculators 33. Each of the distance calculation sections 33 is a category reference pattern signal (weight coefficient) W _j (1 ≦ j ≦ c; c is the number of category reference pattern signals) indicating a representative value of each category stored in the category dictionary 32. ) Is read out, and the distance d _j between X and W _j shown in (Equation 11) is calculated, and is output to the corresponding divider 34 and multiplier 36, respectively.

【００４７】[0047]

【数１１】 ｄ_j＝‖Ｘ−Ｗ_j‖^2/(f-1) （１≦j≦ｃ） （１１） 但し、ｆはｆ＞１を満たす実数とする。D _j = _{ X−W _j } ^{2 / (f−1)} (1 ≦ j ≦ c) (11) where f is a real number satisfying f> 1.

【００４８】各々の割算器34は、距離ｄ_jの逆数を計算
し、その出力を加算器35へ出力する。加算器35は、全て
の割算器34の出力の総和を計算し、その出力をｃ個の乗
算器36へ出力する。各々の乗算器36では、対応する距離
計算部33と加算器35の出力を乗算し、その出力を対応す
る割算器37に入力する。各々の割算器37では、対応する
乗算器36の出力の逆数を計算する。最終的に、細分類部
１では、この各割算器37の出力が入力パターン信号Ｘに
対する各カテゴリの群内類似度ベクトル（ν₁,ν₂,…,
ν_c）として、識別信号荷重部７に出力する。つまり、
細分類部１における各カテゴリの群内類似度は（数１
２）のように表す。[0048] Each of the divider 34, the reciprocal of the distance d _j is calculated, and its output to the adder 35. The adder 35 calculates the sum of the outputs of all the dividers 34 and outputs the output to c multipliers 36. Each multiplier 36 multiplies the output of the corresponding distance calculator 33 and the output of the adder 35, and inputs the output to the corresponding divider 37. Each divider 37 calculates the reciprocal of the output of the corresponding multiplier 36. Finally, in the sub-classification unit 1, the output of each divider 37 is the in-group similarity vector (ν ₁ , ν ₂ ,.
ν _c ) is output to the identification signal loading unit 7. That is,
The in-group similarity of each category in the sub-classification unit 1 is expressed as
Expressed as 2).

【００４９】[0049]

【数１２】 ν_j ＝ １ ／ Σ_k=1 ^c（ｄ_j/ ｄ_k） （１２） ここで、Σ_k=1 ^cはｋについて１からｃまでの和を表わ
す。Ν _j = 1 / Σ _{k = 1} ^c (d _j / d _k ) (12) where Σ _{k = 1} ^c represents the sum of 1 to c for k.

【００５０】識別信号荷重部７では、乗算器７ａが大分
類部２で計算したｉ番めのカテゴリ群の群帰属度μ
_iと、そのカテゴリ群に対応する細分類部１から得られ
る群内類似度ベクトル（ν₁,ν₂,…,ν_c）を乗算し、そ
れらの出力をカテゴリ識別部３に出力する。つまり、乗
算器７ａは、（群参照用パターン信号の数×各細分類部
におけるカテゴリ参照用パターン信号数の総和）個用意
されており、カテゴリ群ｐの群帰属度μ_p（１≦ｐ≦
ｒ；ｒはカテゴリ群の数）とそのカテゴリ群ｐに対応す
る細分類部１から得られたあるカテゴリｑの群内類似度
ν_pq（１≦ｑ≦ｃ；ｃはカテゴリ群に属するカテゴリ
数）が入力する乗算器７ａの出力値ξ_pqは（数１３）の
ように表する。In the discrimination signal loading section 7, the multiplier 7a calculates the group membership degree μ of the i-th category group calculated by the large classification section 2.
_i is multiplied by the intra-group similarity vector (ν ₁ , ν ₂ ,..., ν _c ) obtained from the subclassification unit 1 corresponding to the category group, and the output is output to the category identification unit 3. In other words, (7) the number of multipliers 7a (the number of group reference pattern signals x the sum of the number of category reference pattern signals in each sub-classification unit) is prepared, and the degree of group membership μ _p (1 ≦ p ≦
r; r is the number of category groups) and the similarity ν _pq within a group of a certain category q obtained from the subclassification unit 1 corresponding to the category group p (1 ≦ q ≦ c; c is the number of categories belonging to the category group) ) Is input to the output value ξ _pq of the multiplier 7a as shown in ( _Expression 13).

【００５１】[0051]

【数１３】 ξ_pq＝μ_p・ν_pq （１３） カテゴリ識別部３では、全ての乗算器７ａの出力値を、
各カテゴリ毎にまとめて分類し、その出力値の大きいも
のを複数個選択する。そして、各カテゴリ毎に、これら
の選択された出力値の総和をカテゴリ類似度ｒ_s（1≦s
≦N_C；N_Cはカテゴリの数）として求め、それらの中で最
大となる類似度に対応するカテゴリを認識結果として出
力する。なお、乗算器７ａの出力値を各カテゴリ毎に複
数個選択する方法としては、乗算器７ａの出力値がある
しきい値以上のものを選択するとしてもよい。１３ _pq = μ _p · ν _pq (13) In the category identification unit 3, the output values of all the multipliers 7 a are
Classification is performed for each category, and a plurality of output values having a large output value are selected. Then, for each category, the sum of these selected output values is calculated as the category similarity r _s (1 ≦ s
≦ N _C; N _C is calculated as the number of categories) and outputs the category that corresponds to the degree of similarity becomes the maximum among them as a recognition result. As a method of selecting a plurality of output values of the multiplier 7a for each category, a method of selecting a plurality of output values of the multiplier 7a that are equal to or more than a certain threshold value may be selected.

【００５２】教師信号算出部４は、入力パターン信号Ｘ
に同期して、パターンＸのカテゴリに対応する要素の
み"1" でそれ以外は"0" の教師信号ベクトルＴ=( t₁,
t₂,…,tN_C)を生成する。学習制御部５は識別信号荷重部
７の出力値と教師信号との比較結果にもとづき学習を行
うための指示信号Ｅとして、両者が一致せずかつ入力パ
ターン信号のカテゴリーが存在する細分類部にに対して
は１を、一致する場合には０を出力する。The teacher signal calculator 4 calculates the input pattern signal X
And only the elements corresponding to the category of the pattern X are "1" and the other elements are "0" in the teacher signal vector T = (t ₁ ,
t ₂ , ..., tN _C ). The learning control unit 5 provides an instruction signal E for performing learning based on a comparison result between the output value of the identification signal load unit 7 and the teacher signal to a sub-classification unit in which the two do not match and the category of the input pattern signal exists. Is output, and if they match, 0 is output.

【００５３】学習制御信号荷重部６は、（数１４）のよ
うに指示信号Ｅ_p（ｐ番目の細分類部に対する指示信
号）と前記群帰属度を乗算器６ａで乗算し対応する細分
類部１の重み係数更新部１ｂに出力し、重み係数更新部
１ｂは群類似度算出部１ａのカテゴリ参照用パターン信
号（重み係数）を、前記類似度算出部１ａの出力と前記
学習制御信号荷重部の出力とから、たとえば、学習ベク
トル量子化法（ＬＶＱ）と呼ばれる学習アルゴリズムに
類した手法を用いて更新する。The learning control signal weighting unit 6 multiplies the instruction signal E _p (instruction signal for the p-th subclassification unit) by the group membership degree by the multiplier 6a as shown in (Equation 14), and the corresponding subclassification unit. 1 to the weight coefficient update unit 1b, and the weight coefficient update unit 1b outputs the category reference pattern signal (weight coefficient) of the group similarity calculation unit 1a to the output of the similarity calculation unit 1a and the learning control signal load unit. Is updated using a method similar to a learning algorithm called a learning vector quantization method (LVQ).

【００５４】[0054]

【数１４】 Ｅ'_p＝ Ｅ_p・ μ_p （１４） ここでＥ'_pはp番目の細分類部に対する荷重学習制御信
号、Ｅ_pはｐ番目のカテゴリに対する学習制御信号、μ_p
は荷重学習制御信号が入力する細分類部ｐに対する群類
似度を表す。Equation 14] _{E 'p = E p · μ} p (14) where E' _p is the load learning control signal to the p-th fine classification section, E _p is the learning control signal to the p-th category, mu _p
Represents the group similarity with respect to the subclassification unit p to which the load learning control signal is input.

【００５５】学習ベクトル量子化法については、たとえ
ば、T.Kohonenによる"LearningVector Quantization fo
r Pattern Recognition"，Helsinki University ofTech
nology, Report TKK-F-A601(1986.11)に示されている。The learning vector quantization method is described, for example, in “Learning Vector Quantization fo” by T. Kohonen.
r Pattern Recognition ", Helsinki University of Tech
nology, Report TKK-F-A601 (1986.11).

【００５６】以下、ｐ番目の細分類部を例に学習ベクト
ル量子化法について簡単に説明する。カテゴリ参照用パ
ターン信号Ｗ_jの初期値は、各カテゴリ群に含まれる入
力パターン信号の集合からなるカテゴリ辞書設計用のパ
ターン信号から、各カテゴリ毎に任意に選択されたもの
及び、群辞書２ａの設計の際に説明したＫ平均アルゴリ
ズム等の従来のクラスタリング法等によりあらかじめ用
意しておき、入力パターン信号Ｘが入力する度に以下の
ステップを各細分類部に実行する。Hereinafter, the learning vector quantization method will be briefly described using the p-th subclassification unit as an example. The initial value of the category reference pattern signal W _j from the pattern signal for the category dictionary design consisting of a set of input pattern signals contained in each category group, and those arbitrarily selected for each category, the group dictionary 2a It is prepared in advance by a conventional clustering method such as the K-means algorithm described in the design and the like, and the following steps are executed for each sub-classification unit every time the input pattern signal X is input.

【００５７】１． 前記群内類似度ν_jの中で類似度が
最大のカテゴリ参照用パターン信号Ｗ_kを選択し、Ｗkの
カテゴリをＣkとする。1. The category reference pattern signal W _k having the largest similarity among the intra-group similarities ν _j is selected, and the category of W _k is set as C _k .

【００５８】２．・入力パターン信号ＸのカテゴリとＣ
kが一致する場合、Ｗ_kを学習制御信号荷重部６の出力
Ｅ'_pに比例してＸに近付ける。同様に両者が一致しない
場合はＷ_kをＥ'_pに比例してＸから遠ざける。2. .Category of input pattern signal X and C
When k matches, W _k is made closer to X in proportion to the output E ′ _p of the learning control signal load unit 6. Similarly, if they do not match away from X proportionally to W _k in E _'p.

【００５９】・Ｗ_k以外のカテゴリ参照用パターン信号
は更新されない。 ただし、群帰属度の小さい細分類部に対しては上記の手
続きを省略することができる。The category reference pattern signals other than W _k are not updated. However, the above procedure can be omitted for the fine classification unit having a small degree of group membership.

【００６０】このようにして、全ての入力パターン信号
Ｘに対する識別結果が、そのカテゴリに一致するまで上
記学習動作を繰り返すことにより、この学習認識装置は
入力パターンに対する認識が可能となる。As described above, the learning operation is repeated until the classification results for all the input pattern signals X match the category, whereby the learning and recognition apparatus can recognize the input pattern.

【００６１】以上のように本実施例によれば、大分類部
が出力する群帰属度で重み付けした学習制御信号にもと
づいて各細分類部の重み修正を行なうため、入力パター
ン信号が属するカテゴリの存在する細分類部が協調して
学習し、カテゴリ群の境界に位置するパターンの認識率
の向上が可能である。As described above, according to this embodiment, the weight of each sub-classification unit is corrected based on the learning control signal weighted by the degree of group membership output from the large classification unit. The existing sub-classification units learn in cooperation, and the recognition rate of the pattern located at the boundary of the category group can be improved.

【００６２】図４は本発明の学習認識装置の第二の実施
例で、群選択部および入力信号選択部を有するものを示
す。図４において、細分類部１、類似度算出部１ａ、重
み係数更新部１ｂ、大分類部２、群辞書２ａ、カテゴリ
識別部３、教師信号発生部４、学習制御部５、学習制御
号荷重部６、識別信号荷重部７、乗算器６ａ、７ａは、
上述した第一の実施例のものと同様である。本実施例で
は上記に加え、群選択部８は大分類部２が出力する群帰
属度にもとづき複数個のカテゴリ群を選択するものであ
る。入力信号選択部９は前記群選択部８の選択結果にも
とづき入力パターン信号を入力する細分類部を選択する
ものである。FIG. 4 shows a second embodiment of the learning and recognizing apparatus according to the present invention, which has a group selecting section and an input signal selecting section. In FIG. 4, a sub-classification unit 1, a similarity calculation unit 1a, a weight coefficient update unit 1b, a large classification unit 2, a group dictionary 2a, a category identification unit 3, a teacher signal generation unit 4, a learning control unit 5, a learning control signal load. The unit 6, the identification signal load unit 7, and the multipliers 6a, 7a
This is the same as that of the first embodiment described above. In this embodiment, in addition to the above, the group selecting unit 8 selects a plurality of category groups based on the degree of group belonging output from the large classifying unit 2. The input signal selector 9 selects a sub-classifier for inputting an input pattern signal based on the selection result of the group selector 8.

【００６３】以上のように構成された学習認識装置につ
いて、以下その動作を説明する。学習認識動作に関して
は上述した学習認識装置の第一の実施例と同様である
が、群選択部８は群帰属度の大きいカテゴリ群を選択
し、その結果を入力信号選択部９に出力する。また選択
したカテゴリ群についてのみ群帰属度を学習制御信号荷
重部６ならびに識別信号荷重部７に出力する。The operation of the learning / recognition device configured as described above will be described below. The learning recognition operation is the same as that of the first embodiment of the learning recognition apparatus described above, but the group selecting unit 8 selects a category group having a high degree of group membership, and outputs the result to the input signal selecting unit 9. In addition, only for the selected category group, the group belonging degree is output to the learning control signal loading unit 6 and the identification signal loading unit 7.

【００６４】このように本実施例によれば、群選択部８
が選択した群帰属度の大きいカテゴリ群についてのみ細
分類部の認識と学習を行うため、高速で効果的な学習認
識が可能となる。As described above, according to the present embodiment, the group selecting unit 8
Since the recognition and the learning of the sub-classification unit are performed only for the category group selected with a large group belonging degree, high-speed and effective learning recognition can be performed.

【００６５】図５は本発明の学習認識装置の第三の実施
例で、限定群選択部８ａと群帰属度切り替え部１１を更
に有するものを示す。図５において、細分類部１、類似
度算出部１ａ、重み係数更新部１ｂ、大分類部２、群辞
書２ａ、カテゴリ識別部３、教師信号発生部４、学習制
御部５、学習制御号荷重部６、識別信号荷重部７、乗算
器６ａ、７ａ、群選択部８、入力信号選択部９は上述し
た第二の実施例のものと同様である。本実施例では上記
に加え、カテゴリ情報記憶部１０が各細分類部１に属す
るカテゴリの情報を記憶し、限定群選択部８ａが前記カ
テゴリ情報記憶部１０の記憶内容にもとづき、入力パタ
ーン信号のカテゴリが存在する細分類部の中で群帰属度
の大きい方から少なくとも１つの群帰属度を選択する。
また、群帰属度切り替え部１１は群選択部６の出力と限
定群選択部８ａの出力を切り替えて学習制御信号荷重部
６に出力する。FIG. 5 shows a third embodiment of the learning and recognizing apparatus according to the present invention, which further includes a limited group selecting section 8a and a group membership switching section 11. In FIG. 5, the fine classification unit 1, the similarity calculation unit 1a, the weight coefficient update unit 1b, the large classification unit 2, the group dictionary 2a, the category identification unit 3, the teacher signal generation unit 4, the learning control unit 5, the learning control load The section 6, the identification signal load section 7, the multipliers 6a and 7a, the group selection section 8, and the input signal selection section 9 are the same as those in the second embodiment. In the present embodiment, in addition to the above, the category information storage unit 10 stores information on the categories belonging to each of the sub-classification units 1, and the limited group selection unit 8a stores the input pattern signal based on the storage contents of the category information storage unit 10. At least one group belonging degree is selected from the smaller group belonging degree in the sub-classification part where the category exists.
Further, the group membership switching unit 11 switches between the output of the group selection unit 6 and the output of the limited group selection unit 8a, and outputs the output to the learning control signal load unit 6.

【００６６】以上のように構成された学習認識装置につ
いて、以下その動作を説明する。学習認識動作に関して
は上述した学習認識装置の第二の実施例と同様である
が、初期の学習時には群帰属度切り替え部１１が群選択
部６の群帰属度を学習制御信号荷重部６に出力し、追加
学習時には限定群選択部６ａの群帰属度を学習制御信号
荷重部６に出力するように切り替える。The operation of the learning / recognition device configured as described above will be described below. The learning recognition operation is the same as that of the above-described second embodiment of the learning recognition apparatus, but the group membership switching unit 11 outputs the group membership of the group selector 6 to the learning control signal loading unit 6 during the initial learning. Then, at the time of additional learning, switching is performed so as to output the group membership degree of the limited group selecting unit 6a to the learning control signal loading unit 6.

【００６７】このように本実施例によれば、未学習の入
力パターン信号を学習する場合、限定群選択部６ａが入
力パターン信号のカテゴリの存在する細分類部に選択的
に群帰属度を出力するため、未学習パターンの追加学習
が可能となる。また、入力パターン信号に関連ある細分
類部のみ学習を行うため、追加学習が学習認識装置全体
に影響を与えにくく、学習済みのパターンに対する認識
性能に影響がでにくい追加学習が可能となる。As described above, according to the present embodiment, when learning an unlearned input pattern signal, the limited group selecting unit 6a selectively outputs the group membership degree to the sub-classifying unit in which the category of the input pattern signal exists. Therefore, additional learning of an unlearned pattern becomes possible. Further, since only the sub-classification unit related to the input pattern signal is trained, the additional learning hardly affects the entire learning and recognition device, and the additional learning that hardly affects the recognition performance of the learned pattern can be performed.

【００６８】図６は本発明の学習認識装置の第四の実施
例で群帰属度荷重部１２を有するものを示す。図６にお
いて、細分類部１、類似度算出部１ａ、重み係数更新部
１ｂ、大分類部２、群辞書２ａ、カテゴリ識別部３、教
師信号発生部４、学習制御部５、学習制御号荷重部６、
識別信号荷重部７、乗算器６ａ、７ａ、カテゴリ情報記
憶部１０は上述した第三の実施例のものと同様である。
本実施例では上記に加え、群帰属度荷重部１２がカテゴ
リ情報記憶部１０の記憶内容にもとづき大分類部２の出
力の重み付けを行う。FIG. 6 shows a fourth embodiment of the learning / recognition apparatus according to the present invention, which has a group membership load unit 12. In FIG. 6, a fine classification unit 1, a similarity calculation unit 1a, a weight coefficient update unit 1b, a large classification unit 2, a group dictionary 2a, a category identification unit 3, a teacher signal generation unit 4, a learning control unit 5, a learning control signal load. Part 6,
The identification signal load unit 7, multipliers 6a and 7a, and category information storage unit 10 are the same as those in the third embodiment described above.
In the present embodiment, in addition to the above, the group belonging degree load unit 12 weights the output of the large classification unit 2 based on the storage content of the category information storage unit 10.

【００６９】図７は、その群帰属度荷重部１２の一実施
例を示すブロック図である。FIG. 7 is a block diagram showing one embodiment of the group belonging degree load section 12. As shown in FIG.

【００７０】91は荷重部で、大分類部２の出力を重み付
けするものである。92は荷重調整部で、カテゴリ情報記
憶部１０に記憶された各細分類部に属するカテゴリの情
報により、入力パターンのカテゴリが存在するカテゴリ
群を選択し、その群帰属度が大きくなる様に前記荷重部
92の荷重を調整するものである。Reference numeral 91 denotes a load section for weighting the output of the large classification section 2. Reference numeral 92 denotes a load adjustment unit which selects a category group in which the category of the input pattern exists based on the information on the category belonging to each of the sub-classification units stored in the category information storage unit 10 and increases the group membership so as to increase the group membership. Load section
It adjusts the load of 92.

【００７１】以上のように構成された学習認識装置につ
いて、以下その動作を説明する。学習認識動作に関して
は上述した学習認識装置の第三の実施例と同様である
が、群帰属度荷重部１２が、カテゴリ情報記憶部１０の
記憶内容にもとづき、入力パターンのカテゴリが存在す
る細分類部の群帰属度がより大きくなるように荷重を調
整しながら群帰属度を重み付けを行う。The operation of the learning / recognition device configured as described above will be described below. The learning recognition operation is the same as that of the above-described third embodiment of the learning recognition device. However, the group belonging degree load unit 12 performs a subclassification in which the category of the input pattern exists based on the storage content of the category information storage unit 10. The degree of group membership is weighted while adjusting the load so that the degree of group membership of the part becomes larger.

【００７２】このように本実施例によれば、群帰属度荷
重部１２が入力パターン信号のカテゴリの存在する細分
類部に対する群帰属度を大きくすることで、入力パター
ン信号に関連ある細分類部の学習が強調され効果的な未
学習パターンの追加学習が可能となる。As described above, according to the present embodiment, the group belonging degree loading unit 12 increases the group belonging degree for the sub-classifying unit in which the category of the input pattern signal exists, so that the sub-classifying unit related to the input pattern signal is obtained. Learning is emphasized, and effective additional learning of unlearned patterns becomes possible.

【００７３】図８は本発明の学習認識装置の第五の実施
例でカテゴリ追加部１３を有するものを示す。図８にお
いて、細分類部１、類似度算出部１ａ、重み係数更新部
１ｂ、大分類部２、群辞書２ａ、カテゴリ識別部３、教
師信号発生部４、学習制御部５、学習制御信号荷重部
６、識別信号荷重部７、乗算器６ａ、７ａは、カテゴリ
情報記憶部１０は上述した第三の実施例のものと同様で
ある。本実施例では上記に加え、カテゴリ追加部１３
が、細分類部１に対して新たなカテゴリに対する群内類
似度を計算する手段を付加し、カテゴリ情報記憶部１０
は各細分類部１に属するカテゴリ情報を記憶する。FIG. 8 shows a fifth embodiment of the learning and recognizing apparatus according to the present invention, which has a category adding unit 13. 8, a detailed classification unit 1, a similarity calculation unit 1a, a weight coefficient update unit 1b, a large classification unit 2, a group dictionary 2a, a category identification unit 3, a teacher signal generation unit 4, a learning control unit 5, a learning control signal load The section 6, the identification signal load section 7, and the multipliers 6a, 7a have the same category information storage section 10 as that of the third embodiment described above. In this embodiment, in addition to the above, the category adding unit 13
Adds a means for calculating the intra-group similarity with respect to a new category to the sub-classification unit 1, and the category information storage unit 10
Stores category information belonging to each sub-classification unit 1.

【００７４】以上のように構成された学習認識装置につ
いて、以下その動作を説明する。ここでは、細分類部１
の類似度算出部１ａとしては、図３に示す構成のものを
例にとって説明する。認識動作に関しては上述した学習
認識装置の第一の実施例と同様である。学習動作に関し
ても上述した学習認識装置の第一の実施例と同様である
が、カテゴリ追加部１３はカテゴリ情報記憶部１０のカ
テゴリ情報と教師信号発生部４から出力する教師信号を
比較して、学習すべき入力パターン信号の属するカテゴ
リが学習を行なう細分類部に属していない場合に、新た
に前記入力パターン信号の属するカテゴリに対する群内
類似度を計算する手段を細分類部１に付加する。図３に
おいて説明すると、対象となる細分類部１に含まれる群
内類似度算出部１ａのカテゴリ辞書32に、現在入力され
ている入力パターン信号をカテゴリ参照用パターンとし
て追加し、追加したカテゴリに対する距離計算部33、割
算器34、加算器35、乗算器36、割算器37を新たに設け
る。同時に新たなカテゴリ情報をカテゴリ情報記憶部１
０に記憶する。The operation of the learning / recognition device configured as described above will be described below. Here, the sub-classification unit 1
The similarity calculation unit 1a of FIG. 3 will be described with an example of the configuration shown in FIG. The recognition operation is the same as in the first embodiment of the learning recognition apparatus described above. The learning operation is the same as that of the first embodiment of the learning recognition apparatus described above, but the category adding unit 13 compares the category information of the category information storage unit 10 with the teacher signal output from the teacher signal generation unit 4, If the category to which the input pattern signal to be learned belongs does not belong to the sub-classification unit for learning, a means for newly calculating the intra-group similarity to the category to which the input pattern signal belongs is added to the sub-classification unit 1. Referring to FIG. 3, an input pattern signal that is currently input is added as a category reference pattern to the category dictionary 32 of the intra-group similarity calculation unit 1a included in the target sub-classification unit 1, and the added category A distance calculator 33, a divider 34, an adder 35, a multiplier 36, and a divider 37 are newly provided. At the same time, new category information is stored in the category information storage unit 1.
Store to 0.

【００７５】このように本実施例によれば、カテゴリ追
加部１３が細分類部１に新たなカテゴリに対する群内類
似度算出手段１ａを付加するため、大分類部２で正確に
分類できないような新たな変動の大きいパターンを効率
良く追加学習することが可能となる。As described above, according to the present embodiment, since the category adding unit 13 adds the intra-group similarity calculating means 1a for the new category to the sub-classifying unit 1, it is difficult for the large classifying unit 2 to classify accurately. It is possible to efficiently perform additional learning on a new pattern having a large fluctuation.

【００７６】図９は本発明の学習認識装置の第六の実施
例で帰属度依存カテゴリ追加制御部１４を有するものを
示す。図９において細分類部１、類似度算出部１ａ、重
み係数更新部１ｂ、大分類部２、群辞書２ａ、カテゴリ
識別部３、教師信号発生部４、学習制御部５、学習制御
信号荷重部６、識別信号荷重部７、乗算器６ａ、７ａ、
カテゴリ情報記憶部１０、カテゴリ追加部１３は、上述
した第五の実施例のものと同様である。本実施例では上
記に加え、帰属度依存カテゴリ追加制御部１４が大分類
部２の出力する群帰属度の値に応じてカテゴリ追加部１
３がカテゴリ追加を行なうか行なうか否かを細分類部１
ごとに切替える。FIG. 9 shows a sixth embodiment of the learning / recognition apparatus according to the present invention, which has a belonging degree dependent category addition control unit 14. In FIG. 9, the fine classification unit 1, the similarity calculation unit 1a, the weight coefficient update unit 1b, the large classification unit 2, the group dictionary 2a, the category identification unit 3, the teacher signal generation unit 4, the learning control unit 5, the learning control signal load unit 6, identification signal loading unit 7, multipliers 6a, 7a,
The category information storage unit 10 and category addition unit 13 are the same as those in the fifth embodiment described above. In this embodiment, in addition to the above, in addition to the above, the belonging degree dependent category addition control unit 14 controls the category adding unit 1 according to the value of the group belonging degree output from the large classification unit 2.
3 specifies whether to add a category or not.
Switch every time.

【００７７】図１０は本発明の学習認識装置に用いる帰
属度依存カテゴリ追加制御部１４の一実施例を示す。１
４aは入力した複数の群帰属度信号の最大値を検出する
最大値検出器、１４bはカテゴリ追加の基準となる群帰
属度の値を記憶する記憶部、１４cは前記最大値検出器
１４aが検出した群帰属度の最大値と前記記憶部１４bが
記憶する基準となる群帰属度とを比較する比較器、１４
dは前記比較器の比較結果にもとづき、群帰属度の最大
値が基準となる群帰属度を越えた場合にカテゴリ追加の
指示信号を出力するカテゴリ追加指示部である。FIG. 10 shows one embodiment of the belonging degree dependent category addition control unit 14 used in the learning and recognition apparatus of the present invention. 1
4a is a maximum value detector for detecting the maximum value of the input plurality of group membership signals, 14b is a storage unit for storing the value of the group membership which is a reference for adding a category, and 14c is detected by the maximum value detector 14a. A comparator 14 for comparing the maximum value of the group membership degree obtained and the reference group membership degree stored in the storage unit 14b.
Reference numeral d denotes a category addition instruction unit that outputs a category addition instruction signal when the maximum value of the group membership exceeds a reference group membership based on the comparison result of the comparator.

【００７８】以上のように構成された学習認識装置につ
いて、以下その動作を説明する。ここでは、細分類部の
類似度算出部１ａとしては、図３に示す構成のものを例
にとって説明する。認識動作に関しては上述した学習認
識装置の第一の実施例と同様である。学習動作に関して
は上述した学習認識装置の第五の実施例と同様である
が、帰属度依存カテゴリ追加制御部１４は、学習すべき
入力パターン信号の属するカテゴリが学習を行なう細分
類部１に属していない場合に、常に対象となる細分類部
１全てにカテゴリ追加を行なうのではなく、対象となる
細分類部に属するカテゴリ群の群帰属度があらかじめ定
めた基準を越えた場合にのみ追加を行なうようにカテゴ
リ追加部１３を制御する。また、群帰属度の大きい方か
ら一部の細分類部１のみをカテゴリ追加の対象とするこ
とも可能である。The operation of the learning / recognition device configured as described above will be described below. Here, as the similarity calculation unit 1a of the sub-classification unit, the configuration shown in FIG. 3 will be described as an example. The recognition operation is the same as in the first embodiment of the learning recognition apparatus described above. The learning operation is the same as that of the fifth embodiment of the learning recognition apparatus described above, but the belonging degree dependent category addition control unit 14 belongs to the subclassification unit 1 in which the category to which the input pattern signal to be learned belongs belongs to the learning. If not, the category is not always added to the entire target sub-classification unit 1, but is added only when the degree of group membership of the category group belonging to the target sub-classification unit exceeds a predetermined standard. The category adding unit 13 is controlled to perform the process. In addition, it is possible to add only some of the sub-classification units 1 from the group having a higher degree of belonging to the category.

【００７９】このように本実施例によれば、大分類部２
の分類基準から大きく外れた場合にのみカテゴリ追加を
行ない、その他の場合には群内類似度算出部１ａの重み
変更による学習と切替えることで効率の良い追加学習が
可能となる。As described above, according to the present embodiment, the large classification unit 2
The category is added only when the classification criterion greatly deviates from the above, and in other cases, the additional learning can be efficiently performed by switching from the learning by changing the weight of the intra-group similarity calculation unit 1a.

【００８０】図１１は本発明の学習認識装置の第七の実
施例で誤差依存カテゴリ追加制御部１５を有するものを
示す。図１１において細分類部１、類似度算出部１ａ、
重み係数更新部１ｂ、大分類部２、群辞書２ａ、カテゴ
リ識別部３、教師信号発生部４、学習制御信号荷重部
６、識別信号荷重部７、乗算器６ａ、７ａ、カテゴリ情
報記憶部１０、カテゴリ追加部１３は、上述した第五の
実施例のものと同様である。本実施例では上記に加え、
誤差算出器５ｃと重み変更量制御部５ａで学習制御部５
を構成し、誤差依存カテゴリ追加制御部１５が学習制御
部５の出力する学習制御信号の値に応じて前記カテゴリ
追加を行なうか行なうか否かを切替える。FIG. 11 shows a seventh embodiment of the learning / recognition apparatus of the present invention having an error-dependent category addition control unit 15. In FIG. 11, the sub-classification unit 1, the similarity calculation unit 1a,
Weight coefficient updating unit 1b, large classification unit 2, group dictionary 2a, category identification unit 3, teacher signal generation unit 4, learning control signal loading unit 6, identification signal loading unit 7, multipliers 6a, 7a, category information storage unit 10. The category adding unit 13 is the same as that of the fifth embodiment described above. In this embodiment, in addition to the above,
The learning control unit 5 includes the error calculator 5c and the weight change amount control unit 5a.
The error dependent category addition control unit 15 switches whether or not to add the category according to the value of the learning control signal output from the learning control unit 5.

【００８１】図１２は本発明の学習認識装置に用いる誤
差依存カテゴリ追加制御部１５の一実施例を示す。１５
aはカテゴリ追加の基準となる誤差の値を記憶する記憶
部、１５bは誤差信号と前記記憶部１５bが記憶する基準
となる誤差値とを比較する比較器、１５cは前記比較器
の比較結果にもとづき、誤差信号が基準となる誤差値を
越えた場合にカテゴリ追加の指示信号を出力するカテゴ
リ追加指示部である。FIG. 12 shows an embodiment of the error-dependent category addition control section 15 used in the learning and recognition device of the present invention. Fifteen
a is a storage unit that stores an error value serving as a reference for adding a category, 15b is a comparator that compares an error signal with a reference error value that is stored in the storage unit 15b, and 15c is a comparison result of the comparator. A category addition instruction unit that outputs a category addition instruction signal when the error signal exceeds a reference error value.

【００８２】図１３は、類似度算出部１ａの第二の実施
例の構成を具体的に示すブロック図である。41は入力部
であり、入力パターン信号を入力するものである。42は
多入力一出力信号処理部であり、それに接続されている
下層の入力部41、または多入力一出力信号処理部42の出
力と、その連結の度合である重み係数とを各々掛け合わ
せて総和したものをしきい値処理して出力するものであ
る。ここでは、これら複数個の多入力一出力信号処理部
を層構造を持ち、上位層にのみ信号が伝搬するようにネ
ットワーク接続することによって、入力パターン信号に
対するカテゴリ群内の各カテゴリに類似する度合である
類似度が求められる。FIG. 13 is a block diagram specifically showing the configuration of the second embodiment of the similarity calculating section 1a. An input unit 41 inputs an input pattern signal. Reference numeral 42 denotes a multi-input / one-output signal processing unit.The output of the lower-layer input unit 41 or the multi-input / one-output signal processing unit 42 connected to the multi-input / one-output signal processing unit is multiplied by a weight coefficient which is a degree of the connection. The sum is output after threshold processing. Here, the degree of similarity to each category in the category group with respect to the input pattern signal is established by connecting the plurality of multi-input / one-output signal processing units to each other in a layer structure and by network connection so that the signal propagates only to the upper layer. Is obtained.

【００８３】図１４は、前記多入力一出力信号処理部42
の構成を具体的に示すブロック図である。図１４におい
て、51は入力部あり、入力パターン信号を入力するもの
である。52は重み係数記憶部であり、入力部51からの複
数の入力信号を重み付ける重み係数を記憶するものであ
る。53は乗算器であり、重み係数記憶部52の重み係数と
入力部51からの入力信号を乗算するものである。54は加
算器であり、全ての乗算器53の出力値を総和するもので
ある。55はしきい値処理部であり、加算器54の出力値を
一定範囲の値に制限するものである。FIG. 14 shows the multi-input / one-output signal processing section 42.
FIG. 3 is a block diagram specifically showing the configuration of FIG. In FIG. 14, reference numeral 51 denotes an input section for inputting an input pattern signal. Reference numeral 52 denotes a weight coefficient storage unit that stores a weight coefficient for weighting a plurality of input signals from the input unit 51. 53 is a multiplier for multiplying the weight coefficient of the weight coefficient storage unit 52 by the input signal from the input unit 51. An adder 54 sums the output values of all the multipliers 53. A threshold processing unit 55 limits the output value of the adder 54 to a value within a certain range.

【００８４】以上のように構成された細分類部１の類似
度算出部１ａの第二の実施例を示すブロック図につい
て、以下その動作を説明する。第一の実施例同様に、細
分類部１では、入力部31に、入力パターン信号Ｘを入力
する。入力部41は、パターンデータの特徴データ数に等
しくＮ個用意されており、各特徴データｘ_iはそれぞれ
対応する入力部41に入力する。各々の多入力一出力信号
処理部42は、図４に示すようにそれに接続されている下
層の入力部41、または多入力一出力信号処理部42の出力
と重み係数記憶部52に記憶されているその接続の度合で
ある重み係数ｗ_ijとを乗算器53により掛け合わせ、各々
の乗算器53の出力の総和を加算器54で計算した後、しき
い値処理部55で変換し、その出力値を上層へ出力する。
つまり、図４に示すある層のｉ番目の多入力一出力信号
処理部42の出力値Ｉ_iは、入力部51への入力値をＩ_j 、
それに接続されている入力とその接続の度合である重み
係数をｗ_ij（ｉ番目の多入力一出力信号処理部とｊ番目
の入力との結合重み）とすれば、（数１５）のように表
する。The operation of the similarity calculator 1a of the sub-classifier 1 configured as described above will be described below with reference to a block diagram showing a second embodiment. As in the first embodiment, the sub-classification unit 1 inputs the input pattern signal X to the input unit 31. The input unit 41 is equal to the N prepared wherein the number of data of the pattern data, each feature data x _i is input to the input unit 41 corresponding. Each multi-input / one-output signal processing unit 42 is stored in a lower-layer input unit 41 or an output of the multi-input / one-output signal processing unit 42 and a weight coefficient storage unit 52, as shown in FIG. Is multiplied by a weight coefficient w _ij, which is the degree of the connection, by a multiplier 53, the sum of the outputs of the respective multipliers 53 is calculated by an adder 54, then converted by a threshold value processing unit 55, and the output Output the value to the upper layer.
That is, the output value I _i of the i-th multi-input first output signal processing unit 42 of a layer shown in Figure 4, the input value to the input unit 51 I _j,
Assuming that the input connected thereto and the weighting factor indicating the degree of the connection are w _ij (the connection weight of the i-th multi-input one-output signal processing unit and the j-th input), as shown in (Equation 15) Express.

【００８５】[0085]

【数１５】 Ｉ_i ＝ ｆ（Σ_jｗ_ij・Ｉ_j） （１５） ここで、Σ_jはｊについての総和を表わす。なお、しき
い値処理部55の入出力特性を図１５に示す。たとえば、
出力を（０，１）の範囲に制限するしきい値処理部55の
入出力特性は（数１６）のようになる。I _i = f (Σ _j w _ij · I _j ) (15) Here, Σ _j represents the sum of j. FIG. 15 shows the input / output characteristics of the threshold value processing unit 55. For example,
The input / output characteristics of the threshold value processing unit 55 for limiting the output to the range of (0, 1) are as shown in (Equation 16).

【００８６】[0086]

【数１６】 ｆ（ａ） = 1 / (1 + exp(-ａ+θ)) （１６） 但し、ａはしきい値処理部55、の入力である。なお、し
きい値処理部55の入出力特性としては上記以外のしきい
値関数でもよい。F (a) = 1 / (1 + exp (−a + θ)) (16) where a is an input to the threshold value processing unit 55. Note that the input / output characteristics of the threshold processing unit 55 may be threshold functions other than those described above.

【００８７】最上位層の多入力一出力信号処理部42は、
各カテゴリ群に含まれるパターン信号のカテゴリの数と
同じ個数に設定されており、最上位層の各多入力一出力
信号処理部42は、これらの各カテゴリに対応している。
つまり、最上位層の各多入力一出力信号処理部42の出力
が、入力パターン信号に対するカテゴリ群内の各カテゴ
リに類似する度合である類似度として、識別信号荷重部
７に出力する。The multi-input one-output signal processing unit 42 of the uppermost layer
The number is set to be the same as the number of categories of the pattern signal included in each category group, and each multi-input / one-output signal processing unit 42 in the uppermost layer corresponds to each of these categories.
That is, the output of each multi-input / one-output signal processing unit 42 of the highest layer is output to the identification signal loading unit 7 as a similarity which is a similarity of the input pattern signal to each category in the category group.

【００８８】以上のように構成された学習認識装置につ
いて、以下その動作を説明する。認識動作に関しては上
述した学習認識装置の第一の実施例と同様である。学習
動作に関しては上述した学習認識装置の第五の実施例と
同様であるが、誤差算出器５ｃは識別信号荷重部７の出
力値と教師信号との誤差をカテゴリ毎に計算し誤差信号
ベクトルＥ=（e₁, e₂,…, e_Nc）を（数１７）のように
計算する。The operation of the learning / recognition device configured as described above will be described below. The recognition operation is the same as in the first embodiment of the learning recognition apparatus described above. The learning operation is the same as that of the fifth embodiment of the learning and recognition apparatus described above, but the error calculator 5c calculates the error between the output value of the identification signal loader 7 and the teacher signal for each category, and calculates the error signal vector E. = (E ₁ , e ₂ ,..., E _Nc ) is calculated as ( _Equation 17).

【００８９】[0089]

【数１７】 Ｅ_i＝Ｔ_i−Σξ_i (1≦i≦Nc；Ncはカテゴリの数) （１７） ここで、Ｅ_iはｉ番目のカテゴリに対する誤差、Ｔ_iはｉ
番目のカテゴリに対する教師信号、Σξ_iはｉ番目のカ
テゴリに対応する全ての乗算器７ａの出力の和を表す。
重み変更量制御部５ａは前記誤差算出器５ｃで計算した
誤差を学習制御信号として学習制御信号荷重部６に出力
する。E _i = T _i −Σξ _i (1 ≦ i ≦ Nc; Nc is the number of categories) (17) where E _i is the error with respect to the i-th category, and T _i is i
Th teacher signal for the category, Shigumakushi _i represents the sum of the outputs of all the multipliers 7a that correspond to the i-th category.
The weight change amount control section 5a outputs the error calculated by the error calculator 5c to the learning control signal load section 6 as a learning control signal.

【００９０】学習制御信号荷重部６は、（数１８）のよ
うに前記学習制御信号Ｅと前記群帰属度を乗算器６ａで
乗算し対応する細分類部１の重み係数更新部１ｂに出力
する。The learning control signal loading unit 6 multiplies the learning control signal E and the group membership degree by the multiplier 6a as shown in (Equation 18) and outputs the result to the weight coefficient updating unit 1b of the corresponding sub-classification unit 1. .

【００９１】[0091]

【数１８】 Ｅ'_ip＝ Ｅ_i・ μ_p （１８） ここでＥ'_ipはi番目のカテゴリのp番目の細分類部に対
する荷重学習制御信号、Ｅ_iはi番目のカテゴリに対する
学習制御信号、μ_pは荷重学習制御信号を入力する細分
類部pに対する群類似度を表す。E ′ _ip = E _i · μ _p (18) where E ′ _ip is a weight learning control signal for the p-th subclassification unit of the i-th category, and E _i is a learning control signal for the i-th category. , Μ _p represent the group similarity to the subclassification unit p to which the load learning control signal is input.

【００９２】誤差依存カテゴリ追加制御部１５は、学習
すべき入力パターン信号の属するカテゴリが学習を行な
う細分類部に属していない場合に、常に対象となる細分
類部にカテゴリ追加を行なうのではなく、学習制御信号
の値があらかじめ定めた基準を越えた場合にのみ追加を
行なうようにカテゴリ追加部１３を制御する。When the category to which the input pattern signal to be learned belongs does not belong to the sub-classification unit for learning, the error-dependent category addition control unit 15 does not always add the category to the target sub-classification unit. The category adding unit 13 is controlled so that the addition is performed only when the value of the learning control signal exceeds a predetermined reference.

【００９３】重みの修正手法については、各細分類部に
おいて学習制御信号荷重部６の出力を誤差信号として扱
い、前記誤差逆伝搬法を用いて誤差を減少する方向に重
みを更新することができる。As to the method of correcting the weight, the output of the learning control signal loading unit 6 can be treated as an error signal in each subclassification unit, and the weight can be updated in the direction of decreasing the error by using the error back propagation method. .

【００９４】このように本実施例によれば、本学習認識
装置の識別基準から大きく外れた場合にのみカテゴリ追
加を行ない、その他の場合には群内類似度算出部の重み
変更による学習と切替えることで効率の良い追加学習が
可能となる。なお、誤差依存カテゴリ追加制御部１５
は、上述した帰属度依存カテゴリ追加制御部１４と併用
することも可能である。As described above, according to the present embodiment, a category is added only when the identification criterion of the present learning / recognition apparatus largely deviates, and in other cases, the learning is switched to the learning by changing the weight of the intra-group similarity calculating unit. This enables efficient additional learning. The error-dependent category addition control unit 15
Can be used in combination with the above-described belonging degree dependent category addition control unit 14.

【００９５】図１６は本発明の学習認識装置の第八の実
施例で帰属度制御部１６を有するものを示す。図１６に
おいて細分類部１、類似度算出部１ａ、重み係数更新部
１ｂ、大分類部２、群辞書２ａ、カテゴリ識別部３、教
師信号発生部４、学習制御信号荷重部６、識別信号荷重
部７、乗算器６ａ、７ａ、カテゴリ情報記憶部１０、カ
テゴリ追加部１３、誤差依存カテゴリ追加制御部１５は
上述した第七の実施例のものと同様であり、学習制御部
５としては図１１に示す構成のものと同様であり、大分
類部の類似度算出部としては、図２に示す構成のものと
同様である。本実施例では上記に加え、学習監視部１６
aが誤差算出部５ｃの誤差変化とパターンを入力する回
数を監視し、定数制御部１６bは前記１６aの監視結果に
もとづき大分類部２の距離計算部22の計算に用いる定数
の値を変化させる。FIG. 16 shows an eighth embodiment of the learning and recognizing device according to the present invention, which has a membership control unit 16. In FIG. 16, the fine classification unit 1, the similarity calculation unit 1a, the weight coefficient update unit 1b, the large classification unit 2, the group dictionary 2a, the category identification unit 3, the teacher signal generation unit 4, the learning control signal load unit 6, the identification signal load The unit 7, the multipliers 6a, 7a, the category information storage unit 10, the category adding unit 13, and the error-dependent category adding control unit 15 are the same as those in the above-described seventh embodiment. The similarity calculation unit of the large classification unit is the same as that of the configuration shown in FIG. In this embodiment, in addition to the above, the learning monitoring unit 16
a monitors the error change of the error calculation unit 5c and the number of times the pattern is input, and the constant control unit 16b changes the value of the constant used in the calculation of the distance calculation unit 22 of the large classification unit 2 based on the monitoring result of 16a. .

【００９６】図１７は本発明の大分類部に用いる距離計
算部の一実施例を示す。２２a₀〜２２a_n( n はパターン
データの特徴データ数)は群参照用パターン信号と入力
パターン信号との差を計算する減算器、２２b₀〜２２b_n
は前記減算器の出力のべき乗を計算するべき乗器、２
２cは前記べき乗器の出力の和を計算する加算器、２２d
は前記加算器の出力のべき乗を計算するべき乗器であ
る。FIG. 17 shows an embodiment of the distance calculation unit used in the large classification unit of the present invention. 22a _{0 to} 22a _n (where n is the number of feature data of the pattern data) is a subtractor for calculating the difference between the group reference pattern signal and the input pattern signal, 22b _{0 to} 22b _n
Is a multiplier for calculating a power of the output of the subtractor, 2
2c is an adder for calculating the sum of the outputs of the exponentiator, 22d
Is a multiplier for calculating a power of the output of the adder.

【００９７】以上のように構成された学習認識装置につ
いて、以下その動作を説明する。認識動作に関しては上
述した学習認識装置の第一の実施例と同様である。学習
動作に関しては上述した学習認識装置の第七の実施例と
同様であるが、帰属度制御部１６は少数のカテゴリ群が
相対的に大きな群帰属度を有するように群帰属度を算出
し、学習が推移するに従いより多くのカテゴリ群が相対
的に大きな群帰属度を有するように群帰属度の算出方法
を変化させる。学習の推移は学習監視部１６aによって
監視する。学習監視部１６aは入力されたパターンの数
があらかじめ定めた基準を越えるまたは、誤差算出部５
ｃの出力をもとに誤差の変化量があらかじめ定めた基準
を下回った場合には、定数制御部１６bに定数変更の指
示を出す。定数制御部１６bは学習監視部１６aから指示
を受けると、大分類部の距離計算部22のべき乗器２２b₀
〜２２b_n、２２dのべき乗計算の指数を２２b₀〜２２b_n
については増加させ、２２dについては２２b₀〜２２b_n
の逆数に設定する。（数８）においてはｆを変化させる
ことで実現することができる。すなわち学習初期におい
てはｆを１に非常に近い値を持たせることで一つのカテ
ゴリ群についてのみ群帰属度が大きい値を有し、他のカ
テゴリ群は相対的に小さい値を有するようになる。学習
が進むにつれてｆの値を大きくすることで、複数のカテ
ゴリ群が相対的に大きな群帰属度を有するようになる。
学習時の重みの変更量は群帰属度に比例した値となるた
め、学習初期においては少数のカテゴリ群のみを強く選
択するため一つの入力パターン信号に対して一部の細分
類部のみが学習し、学習が進むにつれて多くの細分類部
が学習を行なう協調的な学習へ滑らかに移行することに
なる。 本実施例によれば、各細分類部において適切な
重みが獲得れていない学習初期には局所的な学習で効率
良く学習を進め、学習後期あるいは追加学習を行なう段
階で協調的な学習を行なうことで、局所的な重みの変更
で全体としての重み係数のバランスを壊すことを防ぎ、
効果的な追加学習が可能となる。The operation of the learning / recognition device configured as described above will be described below. The recognition operation is the same as in the first embodiment of the learning recognition apparatus described above. The learning operation is the same as in the seventh embodiment of the learning recognition device described above, but the membership control unit 16 calculates the group membership so that a small number of category groups have a relatively large group membership, As the learning progresses, the method of calculating the degree of group membership is changed so that more category groups have a relatively large degree of group membership. The learning transition is monitored by the learning monitoring unit 16a. The learning monitoring unit 16a determines whether the number of input patterns exceeds a predetermined reference or the error calculating unit 5
If the amount of change in the error falls below a predetermined reference based on the output of c, an instruction to change the constant is issued to the constant control unit 16b. Upon receiving the instruction from the learning monitoring unit 16a, the constant control unit 16b receives an instruction from the power monitoring unit 22b ₀ of the distance calculation unit 22 of the large classification unit.
22b _n , the exponent of exponentiation calculation of 22d is 22b ₀ to 22b _n
Increase for, for 22d 22b ₀ ~22b _n
Set to the reciprocal of. Equation (8) can be realized by changing f. That is, in the initial stage of learning, by making f a value very close to 1, only one category group has a large value of group membership, and the other category groups have a relatively small value. By increasing the value of f as the learning progresses, the plurality of category groups have a relatively large group membership.
Since the amount of change in weight during learning is proportional to the degree of group membership, only a small number of category groups are strongly selected at the beginning of learning. Then, as learning progresses, a smooth transition to cooperative learning in which many sub-classification units perform learning will be made. According to the present embodiment, in the initial stage of learning when an appropriate weight is not obtained in each sub-classification unit, learning is efficiently advanced by local learning, and cooperative learning is performed at a later stage of learning or at a stage of performing additional learning. This prevents local weight changes from breaking the balance of weight factors as a whole,
Effective additional learning becomes possible.

【００９８】図１８は、類似度算出部１ａの第三の実施
例を示すブロック図である。本実施例では、パターン入
力信号２組（第一特徴データ、第二特徴データ）を三つ
のカテゴリーに対する類似度を算出するもので、経路選
択単位ｎを複数個組み合わせて分岐構造を構築し、一つ
の分岐構造中に二層の層構造を構成してある。下位層、
を経路選択単位ｎ１１〜ｎ１２で構成し、上位層を学習
認識単位ｑ３１〜ｑ３３で構成する。各経路選択単位の
信号入力部には判断すべき特徴データを、教師信号入力
部には教師信号を入力する。FIG. 18 is a block diagram showing a third embodiment of the similarity calculating section 1a. In this embodiment, two sets of pattern input signals (first feature data and second feature data) are used to calculate the similarity for three categories, and a plurality of route selection units n are combined to form a branch structure. A two-layer structure is formed in one branch structure. Lower layer,
Is composed of route selection units n11 to n12, and the upper layer is composed of learning recognition units q31 to q33. The characteristic data to be determined is input to the signal input unit of each path selection unit, and the teacher signal is input to the teacher signal input unit.

【００９９】図１９は本発明の類似度算出部１ａの第三
の実施例に用いる経路選択単位の一実施例を示すもので
ある。ｎ１は信号入力部で、信号入力端子ｎ１ａを介し
て入力された認識の対象となる信号を量子化器ｎ２に入
力する。量子化器ｎ２は入力された信号を量子化し、量
子化した結果を経路荷重部ｎ３ｂに出力する。ｎ３ａは
経路入力部で、経路入力端子ｎ３ａ０を介して入力され
た経路信号を経路荷重部ｎ３ｂに入力する。ｎ３ｅ１〜
ｎ３ｅ５は経路出力端子で、経路選択単位または学習認
識単位を階層的に組合せるときに、これらの端子を互い
に連結するものである。FIG. 19 shows an embodiment of the route selection unit used in the third embodiment of the similarity calculating section 1a of the present invention. Reference numeral n1 denotes a signal input unit, which inputs a signal to be recognized, which is input through the signal input terminal n1a, to the quantizer n2. The quantizer n2 quantizes the input signal, and outputs the result of the quantization to the path load unit n3b. Reference numeral n3a denotes a path input unit which inputs a path signal input via the path input terminal n3a0 to the path load unit n3b. n3e1-
n3e5 is a path output terminal that connects these terminals to one another when hierarchically combining path selection units or learning recognition units.

【０１００】経路荷重部ｎ３ｂは、経路入力部ｎ３ａと
経路出力部ｎ３ｅとの間を接続する荷重ｎ３ｂ０１〜ｎ
３ｂ０５と、前記荷重の値を前記量子化結果に応じて荷
重ｎ３ｂ０１〜３ｂ０５に設定する荷重設定部ｎ３ｂ０
とで構成する。経路荷重部ｎ３ｂでは、荷重設定部ｎ３
ｂ０が入力信号の量子器ｎ２の量子化結果に基づいて、
前記荷重値をそれぞれの量子化レベルに対応する荷重に
設定する。すなわち荷重設定部ｎ３ｂ０は量子化結果に
もとづき各荷重の値の振り分けを行う。荷重ｎ３ｂ０１
〜ｎ３ｂ０５は、経路入力部から入力された経路信号を
重み付けし、経路出力部ｎ３ｅは、この重み付けした経
路信号を経路出力端子ｎ３ｅ１〜ｎ３ｅ５に出力する。
ｎ４は量子化制御部で内部状態記憶部ｎ５に記憶する経
路選択単位の内部状態にもとづき前記量子化器２の量子
化する範囲の変更および経路設定部ｎ３ｂ０がいくつの
荷重に荷重値を振り分けるかを変化させる。すなわち、
経路荷重部ｎ３ｂに含まれる荷重は全て使われるのでは
なく、必要に応じて量子化制御部ｎ４は内部状態記憶部
ｎ５の記憶内容にもとづいて必要な数を変化させる。The path load section n3b includes loads n3b01-n connecting the path input section n3a and the path output section n3e.
3b05, and a load setting unit n3b0 that sets the value of the load to the loads n3b011 to 3b05 according to the quantization result.
And In the path load section n3b, the load setting section n3
b0 is based on the quantization result of the quantizer n2 of the input signal,
The weight value is set to a weight corresponding to each quantization level. That is, the load setting unit n3b0 sorts the value of each load based on the quantization result. Load n3b01
To n3b05 weight the route signal input from the route input unit, and the route output unit n3e outputs the weighted route signal to the route output terminals n3e1 to n3e5.
n4 is a quantization control unit that changes the quantization range of the quantizer 2 based on the internal state of the path selection unit stored in the internal state storage unit n5 and determines how many loads the path setting unit n3b0 assigns the load value to. To change. That is,
All the loads included in the path load unit n3b are not used, and the quantization control unit n4 changes the required number based on the storage contents of the internal state storage unit n5 as necessary.

【０１０１】図２０は本発明の類似度算出部１ａの第三
の実施例に用いる学習認識単位の一実施例を示す。ｑ１
は教師信号入力部、ｑ３ａは経路入力部、ｑ３ｂは経路
荷重部で、経路入力部ｑ３ａの出力値に重み付けを行な
う荷重ｑ３ｂ０１〜ｑ３ｂ０１０及び前記結合荷重を変
更する学習器ｑ３ｂ１から成る。ｑ３ｃは重み付けされ
た荷重の出力を加算する加算器である。FIG. 20 shows an embodiment of the learning recognition unit used in the third embodiment of the similarity calculating section 1a of the present invention. q1
Is a teacher signal input unit, q3a is a route input unit, and q3b is a route load unit, which is composed of loads q3b01 to q3b010 for weighting the output value of the route input unit q3a and a learning unit q3b1 for changing the connection load. q3c is an adder for adding the output of the weighted load.

【０１０２】学習器ｑ３ｂ１は学習認識単位の出力と教
師信号入力部ｑ１からの入力値とにもとづいて、荷重ｑ
３ｂ０１〜３ｂ０５０の値を決定する。The learning unit q3b1 calculates the weight q based on the output of the learning recognition unit and the input value from the teacher signal input unit q1.
The values of 3b01 to 3b050 are determined.

【０１０３】次に、このように構成した類似度算出部２
ｂの学習動作を説明する。各分岐構造の下層の経路選択
単位ｎ１１〜ｎ１２の経路入力端子への経路入力信号と
して、"１"を与える。又、これらの経路選択単位の量子
化器への信号入力端子には、認識対象物の特徴デ−タを
入力する（この図の場合には、二個の特徴デ−タをの経
路選択単位に入力する）。Next, the similarity calculator 2 configured as described above
The learning operation of b will be described. "1" is given as a route input signal to the route input terminals of the route selection units n11 to n12 in the lower layer of each branch structure. Also, the characteristic data of the object to be recognized is input to the signal input terminal to the quantizer of these path selection units (in the case of this figure, the two characteristic data of the path selection unit). To enter).

【０１０４】各経路選択単位は、これらの特徴デ−タを
量子化器ｎ２で量子化し、この量子化した値にもとづい
て、荷重設定部ｑ３ｂ０はそれぞれのデータに対応する
荷重値をその量子化レベルに基づいて設定する。このよ
うに一つの経路選択単位において複数の経路が選択さ
れ、上層へ前記荷重の値を掛けた値が送られる。このと
き内部状態記憶部ｎ５は入力した特徴データの統計量を
内部状態として保持し、特徴データを入力するごとに記
憶内容を更新する。量子化制御部ｎ４は内部状態記憶部
ｎ５の記憶内容にもとづき、過去に入力した特徴データ
の分散が大きいときには経路荷重部ｎ３ｂで用いる荷重
と経路の数を増し、より精度の高い経路の選択を可能に
する。同時に量子化制御部ｎ４は経路荷重部ｎ３ｂの経
路の増加にあわせて、量子化器ｎ２の量子化基準を変更
する。In each path selection unit, these characteristic data are quantized by the quantizer n2, and based on the quantized value, the load setting unit q3b0 quantizes the weight value corresponding to each data. Set based on level. In this manner, a plurality of routes are selected in one route selection unit, and a value obtained by multiplying the load value is sent to the upper layer. At this time, the internal state storage unit n5 holds the statistics of the input feature data as the internal state, and updates the stored content every time the feature data is input. Based on the contents stored in the internal state storage unit n5, the quantization control unit n4 increases the number of loads and paths used in the path load unit n3b when the variance of the previously input feature data is large, and selects a path with higher accuracy. to enable. At the same time, the quantization control unit n4 changes the quantization criterion of the quantizer n2 in accordance with the increase in the path of the path load unit n3b.

【０１０５】上層の学習認識単位ｑの教師信号入力端子
ｑ１ａには認識対象の信号が分類したい三つのカテゴリ
ーの内どのカテゴリーに属するかを示す教師入力信号、
すなわち、学習認識単位ｑ３１〜ｑ３３の内で最も大き
い値を出力することが望ましい学習認識単位に対して”
１”を入力し、他の学習認識単位に対しては０を入力す
る。重みの変更方法については前述の誤差逆伝搬法など
を用いることができる。A teacher input signal indicating which of the three categories the signal to be recognized belongs to is input to the teacher signal input terminal q1a of the upper learning recognition unit q.
That is, for the learning recognition unit for which it is desired to output the largest value among the learning recognition units q31 to q33, "
1 "is input, and 0 is input for the other learning recognition units. As the weight changing method, the above-described error back propagation method or the like can be used.

【０１０６】次に、図１８に示した類似度算出部の認識
動作を説明する。学習の動作と全く同様に、各分岐構造
の下層の経路選択単位ｎ１１〜ｎ１２の経路入力端子へ
の経路信号として、まず”１”を与える。又、これらの
経路選択単位の量子化器への信号入力端子には、認識対
象物の特徴デ−タを入力する。（この図の場合には、二
個の特徴デ−タを、それぞれの経路選択単位に入力す
る。）各経路選択単位は、特徴デ−タを量子化器ｎ２で
量子化し、この量子化した値に基づいて、荷重設定部ｎ
３ｂ０は特徴データに対応する前記荷重値を、その量子
化レベル位置に基づいて設定する。このように、認識時
には一つの経路が選択され、上層の学習認識単位ｑ３１
〜ｑ３３の入力端子へ、経路信号と前記荷重の値をかけ
た値が送られる。Next, the recognition operation of the similarity calculating section shown in FIG. 18 will be described. Just like the learning operation, "1" is first given as a path signal to the path input terminals of the path selection units n11 to n12 in the lower layer of each branch structure. Also, the characteristic data of the object to be recognized is input to the signal input terminal to the quantizer of each path selection unit. (In the case of this figure, two feature data are input to each path selection unit.) In each path selection unit, the feature data is quantized by a quantizer n2, and the quantized data is obtained. Based on the value, the load setting unit n
3b0 sets the load value corresponding to the feature data based on the quantization level position. In this way, one path is selected at the time of recognition, and the upper-layer learning recognition unit q31
A value obtained by multiplying the path signal and the value of the load is sent to the input terminals of q33.

【０１０７】最上位層の学習認識単位は、経路入力部か
らの入力値に対して結合荷重を乗じ、加算器で総和を求
めた値を出力する。このとき、複数の学習認識単位の中
で最大値を出力した学習認識単位が表わすカテゴリーが
認識結果となる。また、認識時には荷重およびしきい値
の変更は行なわれない。このようにして前記学習認識装
置は、入力した認識対象物特徴デ−タに基づき、認識対
象物の分類、認識判断を行なうことができる。The learning recognition unit of the uppermost layer multiplies the input value from the path input unit by the connection weight, and outputs a value obtained by summing up by the adder. At this time, the category represented by the learning recognition unit that has output the maximum value among the plurality of learning recognition units is the recognition result. At the time of recognition, the load and the threshold value are not changed. In this way, the learning recognition device can perform classification and recognition judgment of the recognition target based on the input recognition target object feature data.

【０１０８】図２１は本発明の学習認識装置の第九の実
施例で量子化基準記憶部１７と量子化基準制御部１８を
有するものを示す。図２１において細分類部１、類似度
算出部１ａ、重み係数更新部１ｂ、大分類部２、群辞書
２ａ、カテゴリ識別部３、教師信号発生部４、学習制御
部５、学習制御信号荷重部６、識別信号荷重部７、乗算
器６ａ、７ａ、カテゴリ情報記憶部１０、カテゴリ追加
部１３は上述した第七の実施例のものと同様であり、大
分類部の類似度算出部としては図２に示す構成のものと
同様であり、細分類部の類似度算出部としては図１８に
示す構成のものと同様である。本実施例では上記に加
え、類似度算出部１ａの量子化制御部ｎ４が内部状態記
憶部ｎ５の記憶内容と比較に用いる定数を量子化基準記
憶部１７が記憶する。量子化基準制御部１８は前記量子
化基準記憶部の記憶する定数を変化させる。FIG. 21 shows a ninth embodiment of the learning / recognition apparatus of the present invention having a quantization reference storage section 17 and a quantization reference control section 18. In FIG. 21, the fine classification unit 1, the similarity calculation unit 1a, the weight coefficient update unit 1b, the large classification unit 2, the group dictionary 2a, the category identification unit 3, the teacher signal generation unit 4, the learning control unit 5, the learning control signal load unit 6, the identification signal loading unit 7, the multipliers 6a and 7a, the category information storage unit 10, and the category addition unit 13 are the same as those in the above-described seventh embodiment. 2 and the similarity calculation unit of the sub-classification unit is the same as that of the configuration shown in FIG. In this embodiment, in addition to the above, the quantization reference storage unit 17 stores constants used by the quantization control unit n4 of the similarity calculation unit 1a for comparison with the storage contents of the internal state storage unit n5. The quantization reference control unit 18 changes a constant stored in the quantization reference storage unit.

【０１０９】図２２は、本発明の学習認識装置の第九の
実施例に用いる量子化基準制御部１８の第一の実施例を
示すブロック図である。図２２において１８ａは量子化
定数制御部で、１８ｂは誤差監視部である。誤差監視部
１８ｂは誤差算出部５ｃの出力する誤差信号を監視し、
誤差の減少あるいは誤差変化の減少を検出する。量子化
定数制御部１８ａは誤差監視部１８ｂで検出した結果に
もとづき量子化基準記憶部１７に記憶する定数を変化さ
せる。FIG. 22 is a block diagram showing a first embodiment of the quantization criterion controller 18 used in the ninth embodiment of the learning and recognition apparatus of the present invention. In FIG. 22, reference numeral 18a denotes a quantization constant control unit, and 18b denotes an error monitoring unit. The error monitor 18b monitors the error signal output from the error calculator 5c,
A decrease in error or a decrease in error change is detected. The quantization constant control unit 18a changes the constant stored in the quantization reference storage unit 17 based on the result detected by the error monitoring unit 18b.

【０１１０】図２３は、本発明の学習認識装置の第九の
実施例に用いる量子化基準制御部１８の第二の実施例を
示すブロック図である。図２３において１８ａは量子化
定数制御部で、１８ｃは学習回数監視部である。学習回
数監視部１８ｃは入力する入力パターン信号の入力回数
を監視する。量子化定数制御部１８ａは学習回数監視部
１８ｃで検出した学習回数にもとづき量子化基準記憶部
１７に記憶する定数を変化させる。FIG. 23 is a block diagram showing a second embodiment of the quantization criterion controller 18 used in the ninth embodiment of the learning and recognition apparatus of the present invention. In FIG. 23, 18a is a quantization constant control unit, and 18c is a learning number monitoring unit. The learning number monitoring unit 18c monitors the number of times the input pattern signal is input. The quantization constant control unit 18a changes the constant stored in the quantization reference storage unit 17 based on the number of learnings detected by the learning number monitoring unit 18c.

【０１１１】図２４は、本発明の学習認識装置の第九の
実施例に用いる量子化基準制御部１８の第三の実施例を
示すブロック図である。図２４において１８ａは量子化
定数制御部で、１８ｄはカテゴリ追加監視部である。カ
テゴリ追加監視部１８ｄはカテゴリ追加部１３のカテゴ
リ追加動作を監視する。量子化定数制御部１８ａはカテ
ゴリ追加監視部１８ｄがカテゴリ追加を検出した場合に
量子化基準記憶部１７に記憶する定数を変化させる。FIG. 24 is a block diagram showing a third embodiment of the quantization criterion control unit 18 used in the ninth embodiment of the learning and recognition apparatus of the present invention. In FIG. 24, reference numeral 18a denotes a quantization constant control unit, and 18d denotes a category addition monitoring unit. The category addition monitoring unit 18d monitors the category addition operation of the category addition unit 13. The quantization constant control unit 18a changes the constant stored in the quantization criterion storage unit 17 when the category addition monitoring unit 18d detects the category addition.

【０１１２】以上のように構成された学習認識装置につ
いて、以下その動作を説明する。認識動作に関しては上
述した学習認識装置の第七の実施例と同様である。学習
動作に関しても上述した学習認識装置の第七の実施例と
同様であるが、誤差の大きい場合、あるいは学習回数の
少ない場合、あるいはカテゴリ追加動作が行われた場合
には各細分類部の経路荷重部ｎ３ｂにおいて詳細な経路
選択が行えるように量子化基準制御部１８が各細分類部
ごとに量子化制御部ｎ４が用いる比較基準を変化させ
る。The operation of the learning / recognition device configured as described above will be described below. The recognition operation is the same as in the seventh embodiment of the learning and recognition device described above. The learning operation is the same as that of the seventh embodiment of the learning recognition apparatus described above, except that when the error is large, when the number of times of learning is small, or when the category adding operation is performed, The quantization criterion control unit 18 changes the comparison criterion used by the quantization control unit n4 for each sub-classification unit so that a detailed route selection can be performed in the load unit n3b.

【０１１３】本実施例によれば、誤差信号・学習回数・
カテゴリ追加動作に応じて各細分類部において経路選択
の精度を変化させることで細分類部ごとに効果的な学習
・追加学習が可能となる。According to this embodiment, the error signal, the number of times of learning,
By changing the accuracy of route selection in each sub-classification unit according to the category addition operation, effective learning / additional learning can be performed for each sub-classification unit.

【０１１４】なお、本発明の各手段は、コンピュータを
用いてソフトウェア的に実現し、あるいはそれら各機能
を有する専用のハード回路を用いて実現する事が出来
る。Each means of the present invention can be realized by software using a computer, or can be realized by using a dedicated hardware circuit having these functions.

【０１１５】[0115]

【発明の効果】以上述べたところから明らかなように、
本発明の学習認識装置は、上記したように、大分類部が
出力する群帰属度で重み付けした誤差信号に基づいて細
分類部の重み修正を行なうため、入力パターン信号が属
するカテゴリの存在する細分類部が協調して学習し、カ
テゴリ群の境界に位置するパターンの認識率の向上が可
能である。As is apparent from the above description,
As described above, the learning recognition apparatus of the present invention corrects the weight of the fine classification unit based on the error signal weighted by the degree of group membership output from the large classification unit, so that the fine classification in which the category to which the input pattern signal belongs exists. The classification unit learns in cooperation, and the recognition rate of the pattern located at the boundary of the category group can be improved.

【０１１６】また、大分類部の分類基準から大きく外れ
たパターンに対しては、カテゴリ追加部が必要に応じて
細分類部に新たなカテゴリを追加するため効率的に追加
学習を行なうことが可能である。Further, for a pattern largely deviating from the classification criterion of the large classification unit, the category adding unit adds a new category to the fine classification unit as necessary, so that additional learning can be efficiently performed. It is.

【０１１７】また、学習の推移に従って群帰属度の算出
方法を変化させることで初期の学習と追加学習のそれぞ
れの場合において適切な群帰属度算出を行ない効果的な
学習が可能である。Further, by changing the method of calculating the degree of group membership according to the transition of learning, an appropriate degree of group membership can be calculated in each of the initial learning and the additional learning, and effective learning can be performed.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の学習認識装置の第一の実施例を示すブ
ロック図である。FIG. 1 is a block diagram showing a first embodiment of a learning and recognition device of the present invention.

【図２】同じく学習認識装置に用いる大分類部の一実施
例を示すブロック図である。FIG. 2 is a block diagram showing an embodiment of a large classification unit used in the learning recognition device.

【図３】同じく学習認識装置に用いる類似度算出部の第
一の実施例を示すブロック図である。FIG. 3 is a block diagram showing a first embodiment of a similarity calculation unit used in the learning recognition apparatus.

【図４】同じく学習認識装置の第二の実施例を示すブロ
ック図である。FIG. 4 is a block diagram showing a second embodiment of the learning recognition apparatus.

【図５】同じく学習認識装置の第三の実施例を示すブロ
ック図である。FIG. 5 is a block diagram showing a third embodiment of the learning recognition apparatus.

【図６】同じく学習認識装置の第四の実施例を示すブロ
ック図である。FIG. 6 is a block diagram showing a fourth embodiment of the learning recognition apparatus.

【図７】同じく学習認識装置に用いる群帰属度荷重部の
一実施例を示すブロック図である。FIG. 7 is a block diagram showing an embodiment of a group belonging degree load unit used in the learning and recognition device.

【図８】同じく学習認識装置の第五の実施例を示すブロ
ック図である。FIG. 8 is a block diagram showing a fifth embodiment of the learning recognition apparatus.

【図９】同じく学習認識装置の第六の実施例を示すブロ
ック図である。FIG. 9 is a block diagram showing a sixth embodiment of the learning recognition apparatus.

【図１０】同じく学習認識装置に用いる帰属度依存カテ
ゴリ追加制御部の一実施例を示すブロック図である。FIG. 10 is a block diagram showing one embodiment of a belonging degree dependent category addition control unit used in the learning recognition device.

【図１１】同じく学習認識装置の第七の実施例を示すブ
ロック図である。FIG. 11 is a block diagram showing a seventh embodiment of the learning recognition apparatus.

【図１２】同じく学習認識装置に用いる誤差依存カテゴ
リ追加制御部の一実施例を示すブロック図である。FIG. 12 is a block diagram showing an embodiment of an error-dependent category addition control unit used in the learning and recognition device.

【図１３】同じく学習認識装置に用いる類似度算出部の
第二の実施例を示すブロック図である。FIG. 13 is a block diagram showing a second embodiment of the similarity calculation unit used in the learning recognition apparatus.

【図１４】同じく学習認識装置に用いる類似度算出部の
第二の実施例の多入力一出力信号処理部の一実施例を示
すブロック図である。FIG. 14 is a block diagram showing one embodiment of a multiple-input one-output signal processing unit according to a second embodiment of the similarity calculation unit used in the learning recognition apparatus.

【図１５】同じく学習認識装置に用いる類似度算出部の
第二の実施例の多入力一出力信号処理部のしきい値処理
部の入出力特性の一実施例を示す図である。FIG. 15 is a diagram illustrating an example of input / output characteristics of a threshold value processing unit of a multi-input / one-output signal processing unit according to a second embodiment of the similarity calculation unit used in the learning and recognition apparatus.

【図１６】同じく学習認識装置の第八の実施例を示すブ
ロック図である。FIG. 16 is a block diagram showing an eighth embodiment of the learning recognition apparatus.

【図１７】同じく学習認識装置に用いる距離計算部の一
実施例を示すブロック図である。FIG. 17 is a block diagram showing one embodiment of a distance calculation unit used in the learning recognition device.

【図１８】同じく学習認識装置に用いる細分類部の第三
の実施例を示すブロック図である。FIG. 18 is a block diagram showing a third embodiment of the sub-classification unit used in the learning recognition device.

【図１９】同じく学習認識装置に用いる細分類部の第三
の実施例の経路選択単位の一実施例を示すブロック図で
ある。FIG. 19 is a block diagram showing one embodiment of a route selection unit of a third embodiment of the sub-classification unit used in the learning and recognition device.

【図２０】同じく学習認識装置に用いる細分類部の第三
の実施例の学習認識単位の一実施例を示すブロック図で
ある。FIG. 20 is a block diagram showing one embodiment of a learning recognition unit according to a third embodiment of the fine classification unit used in the learning recognition device.

【図２１】同じく学習認識装置の第九の実施例を示すブ
ロック図である。FIG. 21 is a block diagram showing a ninth embodiment of the learning recognition device.

【図２２】同じく学習認識装置に用いる量子化基準制御
部の第一の実施例を示すブロック図である。FIG. 22 is a block diagram showing a first embodiment of a quantization criterion control unit used in the learning recognition apparatus.

【図２３】同じく学習認識装置に用いる量子化基準制御
部の第二の実施例を示すブロック図である。FIG. 23 is a block diagram showing a second embodiment of the quantization criterion control unit used in the learning and recognition device.

【図２４】同じく学習認識装置に用いる量子化基準制御
部の第三の実施例を示すブロック図である。FIG. 24 is a block diagram illustrating a third embodiment of the quantization criterion control unit used in the learning and recognition device.

【図２５】従来の学習認識装置の実施例を示すブロック
図である。FIG. 25 is a block diagram showing an embodiment of a conventional learning recognition apparatus.

【符号の説明】 １ 細分類部 24 加算器 １ａ 群内類似度算出部 25 乗算器 １ｂ 重み係数更新部 26 割算器 ２ 大分類部 31 入力部 ２ａ 群辞書 32 カテゴリ辞書 ２ｂ 群参照用パターン 33 距離計算部 類似度算出部 34 割算器 ３ カテゴリ識別部 35 加算器 ４ 教師信号発生部 36 乗算器 ５ 学習制御部 37 割算器 ５ａ 重み変更量制御部 41 入力部 ５ｂ 比較器 42 多入力一出力信号処理部 ６ 学習制御信号荷重部 51 入力部 ６ａ 乗算器 52 重み係数記憶部 ７ 識別信号荷重部 53 乗算器 ７ａ 乗算器 54 加算器 ８ 群選択部 55 しきい値処理部 ９ 入力信号選択部 91 荷重部 10 カテゴリ情報記憶部 92 荷重調整部 11 群帰属度切り替え部 n 経路選択単位 12 群帰属度荷重部 n1 信号入力部 13 カテゴリ追加部 n11〜n12 経路選択単位 14 帰属度依存カテゴリ n1a 信号入力単位 追加制御部 n2 量子化器 14a 最大値検出器 n3a 経路入力部 14b 記憶部 n3b 経路選択部 14c 比較器 n3b0 荷重設定部 14d カテゴリ追加指示部 n3b01〜n3b05 荷重 15 誤差依存カテゴリ n3e 経路出力部 追加制御部 n3e1〜n3e5 経路出力端子 15a 記憶部 n4 量子化制御部 15b 比較器 n5 内部状態記憶部 15c カテゴリ追加指示部 q 学習認識単位 16 帰属度制御部 q11〜q12 学習認識単位 16a 学習監視部 q1 教師信号入力部 16b 定数制御部 q3a 経路入力部 17 量子化基準制御部 q3b01〜q3b010 荷重 18 量子化基準記憶部 q3ｃ 加算器 18a 量子化定数制御部 101 大分類部 18b 誤差監視部 102 細分類部 18c 学習回数監視部 103 群選択部 18d カテゴリ追加監視部 104 細分類部入力信号選択部 21 入力部 105 識別部 22 距離計算部 106 入力部 22a₀〜22a_n 減算器 107 多入力一出力信号処理部 22b₀〜22b_n べき乗器 108 入力部であ 22c 加算器 109 多入力一出力信号処理部 22d べき乗器 110 最大値選択部 23 割算器 111 類似度計算部 112 カテゴリ識別部[Description of Signs] 1 Sub-classification unit 24 Adder 1a In-group similarity calculation unit 25 Multiplier 1b Weight coefficient updating unit 26 Divider 2 Large classification unit 31 Input unit 2a Group dictionary 32 Category dictionary 2b Group reference pattern 33 Distance calculation unit Similarity calculation unit 34 Divider 3 Category identification unit 35 Adder 4 Teacher signal generation unit 36 Multiplier 5 Learning control unit 37 Divider 5a Weight change amount control unit 41 Input unit 5b Comparator 42 Multiple input 1 Output signal processing unit 6 Learning control signal load unit 51 Input unit 6a multiplier 52 Weight coefficient storage unit 7 Identification signal load unit 53 Multiplier 7a Multiplier 54 Adder 8 Group selection unit 55 Threshold processing unit 9 Input signal selection unit 91 Load unit 10 Category information storage unit 92 Load adjustment unit 11 Group membership switching unit n Route selection unit 12 Group membership load unit n1 signal input unit 13 Category addition unit n11 to n12 Route selection unit 14 Membership degree dependent category n1a Signal input Unit addition Control unit n2 quantizer 14a maximum value detector n3a route input unit 14b storage unit n3b route selection unit 14c comparator n3b0 load setting unit 14d category addition instruction unit n3b01 to n3b05 load 15 error dependent category n3e route output unit additional control unit n3e1 ~ N3e5 Path output terminal 15a Storage unit n4 Quantization control unit 15b Comparator n5 Internal state storage unit 15c Category addition instruction unit q Learning recognition unit 16 Membership degree control unit q11 ~ q12 Learning recognition unit 16a Learning monitoring unit q1 Teacher signal input unit 16b Constant control unit q3a Path input unit 17 Quantization reference control unit q3b01 to q3b010 Weight 18 Quantization reference storage unit q3c Adder 18a Quantization constant control unit 101 Large classification unit 18b Error monitoring unit 102 Fine classification unit 18c Learning frequency monitoring unit 103 group selection unit 18d category addition monitoring unit 104 sub-classification unit input signal selection unit 21 input unit 105 identification unit 22 distance calculation unit 106 input unit 22a _{0 to} 22a _n subtractor 107 multi-input one-output signal processing unit 22b _{0 to} 22b _n Exponentiator 108 input 22c adder 109 multi-input one-output signal processing unit 22d exponentiator 110 maximum value selection unit 23 divider 111 similarity calculation unit 112 category identification unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 丸野 進 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (72)発明者 〆木 泰治 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平２−235170（ＪＰ，Ａ) 特開 平２−238588（ＪＰ，Ａ) 特開 平３−31975（ＪＰ，Ａ) 特開 平４−143872（ＪＰ，Ａ) 特開 平４−184686（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 520 G06T 7/00 ＥＰＡＴ（ＱＵＥＳＴＥＬ) ＪＩＣＳＴファイル（ＪＯＩＳ) ＷＰＩ（ＤＩＡＬＯＧ)──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Susumu Maruno 1006 Kadoma Kadoma, Osaka Prefecture Matsushita Electric Industrial Co., Ltd. (72) Inventor Taiji Taiji 1006 Odaka Kadoma Kadoma, Osaka Matsushita Electric Industrial Co., Ltd. In-company (56) References JP-A-2-235170 (JP, A) JP-A-2-238588 (JP, A) JP-A-3-31975 (JP, A) JP-A-4-143872 (JP, A) JP-A-4-184686 (JP, A) (58) Fields investigated (Int. Cl. ⁶ , DB name) G06F 15/18 520 G06T 7/00 EPAT (QUESTEL) JICST file (JOIS) WPI (DIALOG)

Claims (24)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】類似パターンの集合から成るカテゴリ群に
対して入力パターン信号が前記カテゴリ群に属する度合
である群帰属度を計算する手段を複数のカテゴリ群に対
して設けた大分類部と、前記入力パターン信号が各カテ
ゴリ群に含まれるカテゴリに属する度合である群内類似
度を計算する手段を設けた群内類似度算出部と、前記群
内類似度と前記群帰属度の積を計算する複数の乗算器を
有し、前記群内類似度の重み付けを行う識別信号荷重部
と、前記識別信号荷重部から出力する重み付した群内類
似度信号の比較を行うカテゴリ識別部と、学習に必要な
教師信号を発生する教師信号発生部と、前記教師信号発
生部から出力する教師信号と前記識別信号荷重部の出力
と前記カテゴリ識別部との出力にもとづいて前記群内類
似度算出部の重み変更量を制御する学習制御部と、前記
学習制御部から出力する学習制御信号と前記大分類部か
ら出力した群帰属度の積を演算する複数の乗算器を有
し、前記学習制御信号の重み付けを行う学習制御信号荷
重部と、前記学習制御信号荷重部の出力と前記群内類似
度算出部との出力にもとづき前記群内類似度算出部の重
み係数を更新する重み係数更新部とを備え、その重み係
数更新部と前記群内類似度算出部とで構成される細分類
部が複数個備えられていることを特徴とする学習認識装
置。A large classifying unit provided for a plurality of category groups with means for calculating a group membership degree, which is a degree to which an input pattern signal belongs to the category group, for a category group consisting of a set of similar patterns; An intra-group similarity calculator provided with means for calculating an intra-group similarity that is a degree to which the input pattern signal belongs to a category included in each category group, and calculates a product of the intra-group similarity and the group membership degree An identification signal weighting unit having a plurality of multipliers for performing the weighting of the intra-group similarity, a category identification unit performing comparison of the weighted intra-group similarity signal output from the identification signal weighting unit, and learning. A teacher signal generator for generating a teacher signal required for the group, the in-group similarity calculator based on a teacher signal output from the teacher signal generator, an output of the identification signal loader, and an output of the category identifier. Weight of A learning control unit for controlling the amount of addition, and a plurality of multipliers for calculating a product of a learning control signal output from the learning control unit and a group membership degree output from the large classification unit, and weighting the learning control signal. And a weight coefficient update unit that updates a weight coefficient of the intra-group similarity calculation unit based on an output of the learning control signal weight unit and an output of the intra-group similarity calculation unit. A plurality of sub-classifying units each including a weight coefficient updating unit and the intra-group similarity calculating unit. 【請求項２】 教師信号発生部から出力した教師信号と
前記カテゴリ識別部の識別結果の比較を行う比較器と、
前記比較器の比較結果に応じて前記群内類似度算出部の
重み変更量を決定する重み変更量制御部とによって、前
記学習制御部を構成したことを特徴とする請求項１記載
の学習認識装置。2. A comparator for comparing a teacher signal output from a teacher signal generator with an identification result of the category identifier,
The learning recognition unit according to claim 1, wherein the learning control unit includes a weight change amount control unit that determines a weight change amount of the intra-group similarity calculation unit according to a comparison result of the comparator. apparatus. 【請求項３】 教師信号発生部から出力した教師信号と
前記識別信号荷重部の出力との差を計算する誤差算出部
と、前記誤差算出部の出力に応じて前記群内類似度算出
部の重み変更量を決定する重み変更量制御部とによっ
て、前記学習制御部を構成したことを特徴とする請求項
１又は、２記載の学習認識装置。3. An error calculator for calculating a difference between a teacher signal output from a teacher signal generator and an output of the identification signal loader, and an intra-group similarity calculator according to an output of the error calculator. The learning recognition device according to claim 1, wherein the learning control unit includes a weight change amount control unit that determines a weight change amount. 【請求項４】 大分類部の出力する群帰属度にもとづき
複数個のカテゴリ群を選択する群選択部と、前記群帰属
度にもとづき入力パターン信号を入力する細分類部を選
択する、前記入力信号選択部とを設けたことを特徴とす
る請求項１〜３記載のいずれかの学習認識装置。4. A group selecting unit for selecting a plurality of category groups based on a group membership degree output from a large classification unit, and a sub-classification unit for inputting an input pattern signal based on the group membership degree. The learning recognition device according to any one of claims 1 to 3, further comprising a signal selection unit. 【請求項５】 各カテゴリ群に属するカテゴリの種類を
記憶したカテゴリ記憶部と、前記カテゴリ記憶部の記憶
内容と大分類部の出力する群帰属度とにもとづき、複数
のカテゴリ群を選択する限定群選択部と、前記群選択部
と前記限定群選択部とを切り替える群選択部切り替え部
とを設けたことを特徴とする請求項４記載の学習認識装
置。5. A limitation for selecting a plurality of category groups based on a category storage unit storing the types of categories belonging to each category group, and a group membership output from the large storage unit. The learning recognition device according to claim 4, further comprising a group selection unit, and a group selection unit switching unit that switches between the group selection unit and the limited group selection unit. 【請求項６】 群帰属度荷重部を設け、前記群帰属度荷
重部がカテゴリ記憶部の記憶内容にもとづき、群帰属度
を重み付けすることを特徴とする請求項１〜５記載のい
ずれかの学習認識装置。6. The group membership load unit is provided, and the group membership load unit weights the group membership based on the contents stored in the category storage unit. Learning recognition device. 【請求項７】 カテゴリ記憶部の記憶内容と教師信号と
にもとづき、各細分類部の群内類似度算出部に新たなカ
テゴリに対する類似度を計算する手段を付加するカテゴ
リ追加部を設けたことを特徴とする請求項１〜６記載の
いずれかの学習認識装置。7. A category adding section for adding means for calculating a similarity to a new category is provided in the intra-group similarity calculating section of each sub-classifying section based on the contents stored in the category storing section and the teacher signal. The learning recognition device according to any one of claims 1 to 6, wherein 【請求項８】 大分類部が出力する群帰属度にもとづ
き、前記カテゴリ追加部がカテゴリ追加を行なうか否か
をカテゴリ群ごとに切り替える帰属度依存カテゴリ追加
制御部を設けたことを特徴とする請求項７記載の学習認
識装置。8. A category addition control unit that switches whether or not a category is added by the category addition unit for each category group based on the group membership output from the large classification unit. The learning recognition device according to claim 7. 【請求項９】 群帰属度の最大値を求める最大値検出器
と、基準となる群帰属度を記憶する記憶部と、前記最大
値検出器で検出した群帰属度の最大値と前記記憶部に記
憶させた群帰属度とを比較する比較器と、前記比較器の
比較結果に基づき群帰属度の最大値が前記基準となる群
帰属度を越えた場合に、前記カテゴリ追加部にカテゴリ
追加を行なうよう指示を出すカテゴリ追加指示部とによ
って、前記帰属度依存カテゴリ追加制御部を構成したこ
とを特徴とする請求項８記載の学習認識装置。9. A maximum value detector for obtaining a maximum value of the group membership degree, a storage unit for storing a reference group membership degree, a maximum value of the group membership degree detected by the maximum value detector, and the storage unit And a comparator for comparing the group membership degree stored in the storage unit with the category addition unit when the maximum value of the group membership degree exceeds the reference group membership degree based on the comparison result of the comparator. 9. The learning recognition device according to claim 8, wherein the belonging degree dependent category addition control unit is configured by a category addition instruction unit that issues an instruction to perform the learning. 【請求項１０】 誤差算出部が出力する誤差信号に基づ
き、前記カテゴリ追加部がカテゴリ追加を行なうか否か
をカテゴリ群ごとに切替える誤差依存カテゴリ追加制御
部を設けたことを特徴とする請求項７〜９記載のいずれ
かの学習認識装置。10. An error-dependent category addition control unit that switches whether or not the category addition unit performs category addition for each category group based on an error signal output by an error calculation unit. 10. The learning recognition device according to any one of claims 7 to 9. 【請求項１１】 基準となる誤差の値を記憶する記憶部
と、前記誤差算出部の出力と前記記憶部に記憶させた誤
差とを比較する比較器と、前記比較器の比較結果にもと
づき誤差が前記基準となる誤差を越えた場合に前記カテ
ゴリ追加部がカテゴリ追加を行なうよう指示を出すカテ
ゴリ追加指示部とによって誤差依存カテゴリ追加制御部
を構成したことを特徴とする請求項１０記載の学習認識
装置。11. A storage unit for storing a reference error value, a comparator for comparing an output of the error calculation unit with the error stored in the storage unit, and an error based on a comparison result of the comparator. 11. The learning according to claim 10, wherein an error-dependent category addition control unit is configured by a category addition instruction unit that issues an instruction to perform a category addition when the category exceeds the reference error. Recognition device. 【請求項１２】 類似パターンの集合から成るカテゴリ
群を代表する群参照用パターン信号を複数個記憶させた
群辞書と、前記群参照用パターン信号を用いて群帰属度
を計算する群参照用パターン類似度算出部とによって、
前記大分類部を構成したことを特徴とする請求項１〜１
１記載のいずれかの学習認識装置。12. A group dictionary storing a plurality of group reference pattern signals representative of a group of categories composed of a set of similar patterns, and a group reference pattern for calculating a group membership using the group reference pattern signal. By the similarity calculation unit,
2. The large classification unit is configured.
2. The learning / recognition device according to any one of claims 1 to 3. 【請求項１３】 帰属度制御部を設け、前記大分類部の
群帰属度の算出に用いる計算定数を変化させることを特
徴とする請求項１〜１２記載のいずれかの学習認識装
置。13. The learning recognition apparatus according to claim 1, further comprising: a membership control unit, wherein a calculation constant used for calculating a group membership of the large classification unit is changed. 【請求項１４】 学習の回数を測る学習監視部と定数を
制御する定数制御部とによって帰属度制御部を構成し、
前記定数制御部が前記学習監視部の出力にもとづき大分
類部の群帰属度の算出に用いる計算定数を変化させるこ
とを特徴とする請求項１３記載の学習認識装置。14. A membership control unit comprising a learning monitoring unit for measuring the number of times of learning and a constant control unit for controlling a constant,
14. The learning recognition apparatus according to claim 13, wherein the constant control unit changes a calculation constant used for calculating a degree of group membership of the large classification unit based on an output of the learning monitoring unit. 【請求項１５】 誤差算出部の出力変化を計算する学習
監視部と定数を制御する定数制御部とによって帰属度制
御部を構成し、前記定数制御部が前記学習監視部の出力
にもとづき大分類部の群帰属度の計算定数を変化させる
ことを特徴とする請求項１３又は、１４記載の学習認識
装置。15. A membership control unit comprising a learning monitoring unit that calculates an output change of an error calculation unit and a constant control unit that controls a constant, wherein the constant control unit performs a large classification based on an output of the learning monitoring unit. The learning recognition device according to claim 13, wherein a calculation constant of a group membership degree of a unit is changed. 【請求項１６】 入力パターン信号と群辞書に記憶させ
た全ての群参照用パターン信号との距離を計算する複数
個の距離計算部と、前記距離計算部の出力の逆数を計算
する複数個の割算器と、前記割算器の各出力を加算する
加算器と、前記加算器の出力と前記距離計算部の出力を
乗算する複数個の乗算器と、前記乗算器の出力の逆数を
計算する複数個の割算器とによって、前記大分類部を構
成したことを特徴とする請求項１〜１５記載のいずれか
の学習認識装置。16. A plurality of distance calculators for calculating a distance between an input pattern signal and all group reference pattern signals stored in a group dictionary, and a plurality of distance calculators for calculating a reciprocal of an output of the distance calculator. A divider, an adder for adding the outputs of the divider, a plurality of multipliers for multiplying the output of the adder by the output of the distance calculator, and calculating the reciprocal of the output of the multiplier The learning recognition device according to any one of claims 1 to 15, wherein the large classifying unit is constituted by a plurality of dividers. 【請求項１７】 入力した複数の信号の差を計算する複
数の減算器と、加算器とべき乗器とを複数設けた信号強
調器とにより、前記大分類部の距離計算部を構成し、前
記信号強調器のべき乗器のべき乗計算の指数の値を変化
させる定数制御部によって、前記帰属度制御部を構成し
たことを特徴とする請求項１６記載の学習認識装置。17. A distance calculation unit of the large classification unit, comprising: a plurality of subtracters for calculating a difference between a plurality of input signals; and a signal enhancer provided with a plurality of adders and exponentiators. 17. The learning recognition apparatus according to claim 16, wherein the membership control unit is configured by a constant control unit that changes a value of an exponent of exponentiation calculation of the exponentiator of the signal enhancer. 【請求項１８】 複数の重み係数を保持する重み係数記
憶部と、複数の入力信号を入力する入力部と、前記重み
係数記憶部に貯えられた重み係数で前記入力部からの入
力信号を重み付けする乗算手段と、前記乗算手段で重み
付けされた複数の入力信号を加え合わせる加算手段と、
前記加算手段の出力を一定範囲の値に制限するしきい値
処理部とからなる多入力ー出力信号処理部を複数個層構
造に配置し、信号が下位層から上位層に伝搬するように
接続して、前記細分類部を構成したことを特徴とする請
求項１〜１７記載のいずれかの学習認識装置。18. A weight coefficient storage unit for holding a plurality of weight coefficients, an input unit for inputting a plurality of input signals, and weighting an input signal from the input unit with a weight coefficient stored in the weight coefficient storage unit. Multiplying means, and adding means for adding a plurality of input signals weighted by the multiplying means,
A multi-input / output signal processing section comprising a threshold processing section for limiting the output of the adding means to a value within a certain range is arranged in a multi-layer structure, and connected so that a signal propagates from a lower layer to an upper layer. The learning recognition apparatus according to any one of claims 1 to 17, wherein the fine classification unit is configured. 【請求項１９】 入力パターン信号の各カテゴリの代表
値を示すカテゴリ参照用パターン信号が複数個記憶され
ているカテゴリ辞書と、入力パターン信号と前記カテゴ
リ辞書に記憶されている全てのカテゴリ参照用パターン
信号との距離を計算する複数個の距離計算部と、前記距
離計算部の出力の逆数を計算する複数個の割算器と、前
記割算器の各出力を加算する加算器と、前記加算器の出
力と前記距離計算部の出力を乗算する複数個の乗算器
と、前記乗算器の出力の逆数を計算する複数個の割算器
とを設けて、前記細分類部を構成したことを特徴とする
請求項１〜１７記載のいずれかの学習認識装置。19. A category dictionary storing a plurality of category reference pattern signals indicating a representative value of each category of the input pattern signal, and all the category reference patterns stored in the input pattern signal and the category dictionary. A plurality of distance calculators for calculating a distance to a signal; a plurality of dividers for calculating a reciprocal of an output of the distance calculator; an adder for adding each output of the divider; A plurality of multipliers for multiplying the output of the distance calculator and the output of the distance calculator, and a plurality of dividers for calculating the reciprocal of the output of the multiplier are provided to constitute the fine classification unit. The learning recognition device according to any one of claims 1 to 17, wherein 【請求項２０】 経路選択単位は、信号入力部と、前記
信号入力部からの入力信号を量子化する量子化器と、単
一または複数の経路入力端子を有する経路入力部と、単
一または複数の経路出力端子を有する経路出力部と、前
記量子化器の量子化出力に応じて経路を選択する経路荷
重部と、経路選択単位の内部状態を記憶させる内部状態
記憶部と、前記内部状態記憶部の記憶内容にもとづいて
前記量子化器の量子化する数と量子化範囲を変化させる
量子化制御部と、経路選択単位の構成を記憶させる構造
記憶部とにより構成し、 学習認識単位は、教師信号入力部と、複数の経路入力端
子を有する経路入力部と、前記経路入力部からの入力に
対して重み付けを行なう荷重と、前記荷重からの出力を
加算する加算器と、荷重の値を決定する学習器とにより
構成し、 前記経路選択単位を階層的に組み合わせて複数の分岐構
造を構成し、その上層に前記学習認識単位を配置して、
前記細分類部を構成したことを特徴とする請求項１〜１
７記載のいずれかの学習認識装置。20. A path selection unit includes: a signal input unit; a quantizer for quantizing an input signal from the signal input unit; a path input unit having one or a plurality of path input terminals; A path output unit having a plurality of path output terminals, a path load unit that selects a path according to the quantized output of the quantizer, an internal state storage unit that stores an internal state of a path selection unit, and the internal state A quantization control unit that changes the number of quantizations and a quantization range of the quantizer based on the storage content of a storage unit; and a structure storage unit that stores a configuration of a path selection unit. A teacher signal input unit, a path input unit having a plurality of path input terminals, a load for weighting an input from the path input unit, an adder for adding an output from the load, and a value of the load. Learning device to determine More constructed by combining the routing unit hierarchically configured multiple branching structure, by placing the learning and recognition units thereon,
2. The method according to claim 1, wherein the sub-classification unit is configured.
8. The learning / recognition device according to any one of claims 7 to 7. 【請求項２１】 内部状態記憶部の記憶内容に対する比
較基準を記憶する量子化基準記憶部と、前記量子化基準
記憶部の記憶内容を前記細分類部ごとに変化させる量子
化基準制御部とを設けたことを特徴とする請求項２０記
載の学習認識装置。21. A quantization reference storage unit for storing a comparison reference for the storage contents of the internal state storage unit, and a quantization reference control unit for changing the storage contents of the quantization reference storage unit for each of the sub-classification units. The learning recognition device according to claim 20, wherein the learning recognition device is provided. 【請求項２２】 誤差算出部の出力変化を計算する誤差
監視部と、前記誤差監視部の出力にもとづき量子化基準
を変化させる量子化定数制御部とによって量子化基準制
御部を構成したことを特徴とする請求項２１記載の学習
認識装置。22. An image processing apparatus comprising: an error monitoring unit that calculates an output change of an error calculation unit; and a quantization constant control unit that changes a quantization criterion based on an output of the error monitoring unit. 22. The learning recognition device according to claim 21, wherein 【請求項２３】 学習回数を監視する学習回数監視部
と、前記学習回数監視部の出力にもとづき量子化基準を
変化させる量子化定数制御部とによって、前記量子化基
準制御部を構成したことを特徴とする請求項２１又は、
２２記載の学習認識装置。23. A system according to claim 23, wherein the number-of-learning monitoring unit that monitors the number of learning times and a quantization-constant control unit that changes a quantization reference based on an output of the number-of-learning times monitoring unit. Claim 21 or the feature,
23. The learning recognition device according to claim 22. 【請求項２４】 カテゴリ追加部のカテゴリ追加を監視
するカテゴリ追加監視部を設け、前記カテゴリ追加監視
部の出力にもとづき量子化基準を変化させる量子化定数
制御部とによって、前記量子化基準制御部を構成したこ
とを特徴とする請求項２１〜２３記載のいずれかの学習
認識装置。24. A quantization reference control unit, comprising: a category addition monitoring unit that monitors category addition by the category addition unit; and a quantization constant control unit that changes a quantization reference based on an output of the category addition monitoring unit. The learning recognition apparatus according to any one of claims 21 to 23, wherein: