JP3303253B2 - Pattern matching method and apparatus - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明はパターンマッチング
装置に係り、ニューラルネットワークを利用することに
より手書き文字の認識や音声認識、あるいは情報信号等
をパターンとして捉らえ、検出されるパターンに対応す
る最終出力を教示し、以後はマッチング処理を自動的に
行わせるようにしたパターンマッチング装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a pattern matching apparatus, which uses a neural network to recognize handwritten characters, voice recognition, or information signals, etc., as a pattern. The present invention relates to a pattern matching apparatus that teaches an output and thereafter automatically performs a matching process.

【０００２】[0002]

【従来の技術】従来、手書き文字の認識や各種情報信号
に対応する制御出力を得るように識別すべきパターンを
入力し、対応する出力を教師パターンと対比することに
よって修正する学習作業を繰り返した後、以後は任意の
識別パターンを入力することで自動判別させるようにし
たパターンマッチング装置が知られている。このような
パターンマッチング装置は、一般に、多入力１出力型の
素子（ユニット）を結合素子により他のユニットと結合
することにより構成されたニューラルネットワークを利
用した構成とされている。2. Description of the Related Art Conventionally, a learning operation of recognizing handwritten characters and inputting a pattern to be identified so as to obtain a control output corresponding to various information signals and correcting the corresponding output by comparing it with a teacher pattern has been repeated. Thereafter, there is known a pattern matching apparatus which automatically performs an identification by inputting an arbitrary identification pattern. In general, such a pattern matching apparatus is configured to use a neural network configured by connecting a multiple-input one-output type element (unit) to another unit by a connecting element.

【０００３】この種のパターンマッチング装置に用いら
れるニューラルネットワークは、生物の大脳の情報処理
機能を模倣する情報処理技術で、応用の容易なことや非
線形問題への適用が可能なことなど、有用な特性を有し
ている。また、従来のノイマン型の計算機と異なる方法
であるため、ノイマン型計算機で困難とされてきた問題
への適用に期待が寄せられている。A neural network used in this type of pattern matching device is an information processing technology that imitates the information processing function of the cerebrum of an organism, and is useful in that it is easy to apply and can be applied to nonlinear problems. Has characteristics. Further, since the method is different from that of the conventional Neumann computer, application to a problem that has been difficult in the Neumann computer is expected.

【０００４】ニューラルネットワークの構成要素は図６
（１）に示すように生物の神経細胞に相当するユニット
１と、このユニット１の入力部と出力部を結ぶ、神経繊
維に相当する結合素子２からなっている。通常、単一の
ユニットを用いただけでは有効な情報処理を行わないた
め、複数のユニットを結合素子とを用いて適当に結合し
てネットワークを構成する。The components of the neural network are shown in FIG.
As shown in (1), the unit 1 includes a unit 1 corresponding to a nerve cell of an organism, and a coupling element 2 corresponding to a nerve fiber, which connects an input unit and an output unit of the unit 1. Normally, effective information processing is not performed if only a single unit is used. Therefore, a network is formed by appropriately combining a plurality of units using a coupling element.

【０００５】各ユニットは、他の複数のユニットと結合
素子２を介して結合され、下記数式１に示すように、他
のユニットの出力を結合素子毎に割り当てられた重み係
数を乗じた後、加えあわせて入力とし、この入力値と与
えられたしきい値の差を独立変数とする入出力関数の値
を出力し、出力用の結合素子を介して他のユニットへの
入力となる。[0005] Each unit is connected to a plurality of other units via a coupling element 2, and after multiplying the output of the other unit by a weighting factor assigned to each coupling element as shown in the following equation 1, In addition, an input and output value of an input / output function using the difference between the input value and a given threshold value as an independent variable is output, and becomes an input to another unit via an output coupling element.

【数１】 ただし、Ｏ_i：第ｉ番目のユニットの出力値、 ｆ：入出力関数 ｗ_ji：第ｊ番目のユニットから第ｉ番目のユニットへの
結合の強さ（結合係数）、 ｏ_j：第ｊ番目のユニットの出力値、 θ_i：第ｉ番目のユニットのしきい値、 である。また、定義によっては数式１を、(Equation 1) Here, O _i : the output value of the i-th unit, f: the input / output function w _ji : the strength of the connection from the j-th unit to the i-th unit (coupling coefficient), and o _j : the j-th unit The output value of the unit of θ _i is the threshold value of the i-th unit. Also, depending on the definition, Equation 1 is

【数２】 とする場合もある。(Equation 2) In some cases,

【０００６】このとき入出力関数ｆとしては図６（２）
に示すようなシグモイド関数と呼ばれる飽和型の関数が
よく用いられている。この関数は生物の神経細胞の機能
を模したもので、０から１の値をとる単調増加型の関数
で、入力値がしきい値に等しいとき（または入力値がし
きい値と絶対値が等しく異符号の時）に０．５となる。At this time, the input / output function f is shown in FIG.
A saturated function called a sigmoid function as shown in FIG. This function simulates the function of nerve cells of a living organism, and is a monotonically increasing function that takes a value from 0 to 1. When the input value is equal to the threshold value (or when the input value is equal to the threshold value and the absolute value is (When equal signs are different).

【０００７】次に、以上のような機能を有するユニット
を用いてネットワークを構成することにより有用な情報
処理が可能となるが、代表的なネットワークとしては図
７に示すようなものが考えられている。図７（１）は階
層型のネットワークで１が入力層を構成するユニット、
２、３がそれぞれ第１、第２中間層を構成するユニッ
ト、４が出力層を構成するユニット、５、６、７、が結
合素子である。このような階層型のネットワークは階層
構造をなしており、異なる層間のユニット同士の結合は
あるが同一層内のユニット同士は結合されておらず、ま
た情報が入力部から出力部へ一方向に伝達される。いわ
ばフィード・フォワード型のネットワークである。この
モデルは小脳のモデルとして知られていると同時に、パ
ターンマッチングや制御など多くの分野で実用されてい
る重要なネットワークである。[0007] Next, useful information processing becomes possible by configuring a network using the units having the above functions. A typical network shown in FIG. 7 is considered. I have. FIG. 7A shows a hierarchical network in which 1 constitutes an input layer.
Units 2 and 3 are units constituting the first and second intermediate layers, respectively, and 4 is a unit constituting the output layer, and 5, 6, and 7 are coupling elements. Such a hierarchical network has a hierarchical structure, in which units between different layers are connected but units in the same layer are not connected, and information is transmitted in one direction from an input unit to an output unit. Is transmitted. It is a feed-forward network. This model is known as a cerebellar model, and is also an important network used in many fields such as pattern matching and control.

【０００８】このモデルでは入力層に識別したいパター
ンや時系列信号などが与えられる。例えば、手書き文字
の認識のようなパターマッチングへ応用する場合は、入
力層には手書き文字または手書き文字に何等かの特徴抽
出処理を行った後の特徴パターンを与える。一方、出力
層の各ユニットは学習すべきカテゴリーに対する判定結
果を与えるように設定される。すなわち、ユニット１の
出力が例えば０．５以上であればニューラルネットワー
クは与えられたパターンをカテゴリー１のパターンと識
別したと考えることができるように設定される。In this model, a pattern or a time-series signal to be identified is given to the input layer. For example, when applied to putter matching such as recognition of a handwritten character, the input layer is provided with a handwritten character or a feature pattern obtained by performing some kind of feature extraction processing on the handwritten character. On the other hand, each unit in the output layer is set so as to give a determination result for a category to be learned. That is, if the output of the unit 1 is, for example, 0.5 or more, the neural network is set so that the given pattern can be considered to have been identified as a category 1 pattern.

【０００９】図７（２）は相互結合型のネットワーク
で、１がユニット、２が結合素子である。このように相
互結合型のネットワークは全てのユニットが相互結合さ
れている。尚、ネットワークにはこれ以外にもフィード
バックを有するものや、同一層間で部分的に結合を有す
るものなども存在する。FIG. 7B shows a mutual connection type network, where 1 is a unit and 2 is a coupling element. As described above, in the interconnected network, all units are interconnected. It should be noted that, in addition to the above, there are networks having feedback and networks having a partial connection between the same layers.

【００１０】次に、以上のようなネットワークに有用な
機能を保有させるために、ネットワークに学習用のデー
タを与えることにより学習を実行する。学習方法やネッ
トワークの種類が多数あるため、学習方法も多数存在す
る。ここでは、現在最も典型的な学習方法である、バッ
クプロパゲーション・アルゴリズムを用いた学習方法
を、図８に示す３層の階層型ニューラルネットワークに
適用する例を示す。Next, learning is performed by giving learning data to the network so that the network has useful functions as described above. Since there are many learning methods and types of networks, there are also many learning methods. Here, an example is shown in which a learning method using a back propagation algorithm, which is the most typical learning method at present, is applied to a three-layer hierarchical neural network shown in FIG.

【００１１】学習は、最初、結合係数やしきい値を小さ
な値に設定しておき、入力層に学習用パターンを与えた
ときの出力を計算し、その結果と当該パターンに対する
妥当な出力を指定した教師パターンと比較し、与えた学
習パターンに対して出力層の出力が教師信号に近づくよ
うに結合係数としきい値の値とを変化させることによっ
て行う。学習の詳細なステップは以下のようである。In the learning, first, a coupling coefficient and a threshold value are set to small values, an output when a learning pattern is given to an input layer is calculated, and the result and an appropriate output for the pattern are designated. This is performed by changing the coupling coefficient and the threshold value so that the output of the output layer approaches the teacher signal with respect to the given learning pattern. The detailed steps of the learning are as follows.

【００１２】（ステップ１）ネットワークの状態を決め
る結合係数行列｛Ｗ_ij｝、｛Ｖ_jk｝としきい値ベクトル
｛θ_j｝、｛γ_k｝をそれぞれ小さな値の乱数値で初期化
する。 （ステップ２）最初のパターンを学習パターンとする。 （ステップ３）学習パターンの値を入力層ユニットの出
力｛Ｉ_i｝に入れ、入力層から中間層への結合係数行列
｛Ｗ_ij｝と中間層ユニットｊのしきい値θ_jとを用い
て、中間層ユニットｊへの入力Ｕ_jを求め、入力Ｕ_jと図
６（２）に示すシグモイド関数ｆにより中間層ユニット
ｊの出力Ｈ_jを求める。(Step 1) The coupling coefficient matrices {W _ij }, {V _jk } and the threshold vectors {θ _j }, {γ _k } which determine the state of the network are initialized with small random numbers. (Step 2) The first pattern is set as a learning pattern. (Step 3) Put the value of the learning pattern into the output {I _i } of the input layer unit and use the coupling coefficient matrix {W _ij } from the input layer to the intermediate layer and the threshold θ _j of the intermediate layer unit j. , An input U _j to the intermediate layer unit j, and an output H _j of the intermediate layer unit j is obtained from the input U _j and the sigmoid function f shown in FIG.

【数３】 (Equation 3)

【００１３】（ステップ４）中間層ユニットの出力｛Ｈ
_j｝と、中間層から出力層への結合係数行列｛Ｖ_jk｝と
出力層ユニットｋのしきい値γ_kとを用いて、出力層ユ
ニットｋへの入力Ｓ_kを求め、入力Ｓ_kとシグモイド関数
ｆにより、出力層ユニットｋの出力Ｏ_kを求める。(Step 4) Output ΔH of the intermediate layer unit
and _j}, by using the threshold value gamma _k of the output layer unit k from the coupling coefficient matrices {V _jk} from the intermediate layer to the output layer, prompted S _k to the output layer unit k, the input S _k The output O _k of the output layer unit k is obtained by the sigmoid function f.

【数４】 （ステップ５）学習パターンに対応した教師信号Ｔ_Kと
出力層の出力Ｏ_kとの差から、出力層のユニットｋにつ
ながる結合係数と出力層ユニットｋのしきい値に対する
誤差δ_kを求める。(Equation 4) (Step 5) From the difference between the teacher signal T _K corresponding to the learning pattern and the output O _k of the output layer, a coupling coefficient connected to the unit k of the output layer and an error δ _k with respect to the threshold value of the output layer unit k are _obtained .

【数５】 （ステップ６）誤差δ_kと中間層から出力層への結合係
数行列｛Ｖ_jk｝と、中間層の出力Ｈ_jから、中間層ユニ
ットｊにつながる結合係数と中間ユニットのしきい値に
対する誤差δ_jを求める。(Equation 5) (Step 6) From the error δ _k , the coupling coefficient matrix {V _jk } from the intermediate layer to the output layer, and the output H _j of the intermediate layer, the error δ for the coupling coefficient connected to the intermediate layer unit j and the threshold value of the intermediate unit _{Find j} .

【００１４】（ステップ７）ステップ５で求めた出力層
ユニットｋでの誤差δ_kと中間層ユニットｊの出力Ｈ_jと
定数αとの積を従来の中間層と出力層との間の結合係数
に加算することで、中間層ユニットｊから出力層のユニ
ットｋにつながる結合係数Ｖ_jkを修正する。また、誤差
δ_kと定数βとの積を従来の出力層ユニットｋのしきい
値に加算することで、出力層ユニットｋのしきい値γ_k
を修正する。[0014] coupling coefficient between the (Step 7) a product of the output H _j and constants α error [delta] _k and the intermediate layer unit j in the output layer unit k obtained in step 5 with the conventional intermediate layer output layer To correct the coupling coefficient V _jk from the intermediate layer unit j to the output layer unit k. Further, by adding the product of the error δ _k and the constant β to the threshold value of the conventional output layer unit k, the threshold value γ _k of the output layer unit k is _obtained.
To correct.

【数６】 （ステップ８）中間層ユニットｊでの誤差δ_jと、入力
層ユニットｉの出力Ｉ_iと定数αとの積を従来の入力層
と中間層との間の結合係数加算することで、入力層ユニ
ットｉから中間層ユニットｊにつながる結合係数Ｗ_ijを
修正する。また誤差δ_jと定数βの積を従来の中間層ユ
ニットｊのしきい値に加算することで、中間層ユニット
ｊのしきい値θ_jを修正する。(Equation 6) (Step 8) and the error [delta] _j in the intermediate layer unit j, the product of the output I _i and a constant α of the input layer unit i by adding coupling coefficient between the conventional input layer and the intermediate layer, the input layer Correct the coupling coefficient W _ij from the unit i to the intermediate layer unit j. Further, the threshold θ _j of the intermediate layer unit _j is corrected by adding the product of the error δ _j and the constant β to the threshold value of the conventional intermediate layer unit j.

【数７】 (Equation 7)

【００１５】（ステップ９）次ぎのパターンを学習パタ
ーンとする。 （ステップ１０）学習パターンが終了するまでステップ
３に戻る。 （ステップ１１）学習の繰り返し回数を更新する。 （ステップ１２）学習の繰り返し回数が制限回数以下で
あればステップ２に戻る。(Step 9) The next pattern is set as a learning pattern. (Step 10) Return to Step 3 until the learning pattern ends. (Step 11) The number of times of learning is updated. (Step 12) If the number of repetitions of the learning is equal to or less than the limit number, the process returns to Step 2.

【００１６】このような学習によってニューラルネット
ワークはパターンマッチング能力を獲得し、既に学習し
たパターンの識別や、学習したカテゴリーに属する未学
習パターンの識別を行うことができるようになる。By such learning, the neural network acquires the pattern matching ability, and can identify the already learned patterns and the unlearned patterns belonging to the learned category.

【００１７】[0017]

【発明が解決しようとする課題】ところが、従来のニュ
ーラルネットワーク処理を用いたパターンマッチング装
置では、学習していないカテゴリーに属するパターンを
識別させると、学習したカテゴリーのどれかであると誤
判定出力する場合がしばしば存在する。この問題は未学
習データに対する応答ということで一般に問題になって
いるものである。However, in a conventional pattern matching apparatus using neural network processing, when a pattern belonging to an unlearned category is identified, it is erroneously determined to be one of the learned categories. There are often cases. This problem is generally a problem in response to unlearned data.

【００１８】すなわち、従来のパターンマッチング装置
では、図９に示すようなカテゴリーＡとＢとを識別する
場合、この２つのカテゴリーＡ、Ｂに属するパターン
（「○」または「×」で示したもの）を用いて学習を行
っている。この学習結果として、図９に示す破線のよう
な境界線Ｄが設定される。そして、入力されたパターン
がこの境界線Ｄのどちら側にあるかによって、どちらの
カテゴリーに属するパターンかを判定しているのであ
る。したがって、ＡまたはＢに属するデータを識別させ
ると正しく判定できるが、これらのカテゴリーに属しな
いパターンが入力された場合、このパターンを無理やり
どちらかのカテゴリーと判定することとなるのである。That is, in the conventional pattern matching device, when categories A and B as shown in FIG. 9 are identified, the patterns belonging to these two categories A and B (the ones indicated by "O" or "X"). ) Is used for learning. As a result of this learning, a boundary line D such as a broken line shown in FIG. 9 is set. Then, it is determined which category the pattern belongs to, based on which side of the boundary line D the input pattern is. Therefore, it can be correctly determined if the data belonging to A or B is identified, but if a pattern that does not belong to these categories is input, this pattern is forcibly determined to be either category.

【００１９】ちなみに、誤判定する理由は、従来の入出
力関数の場合、しきい値より相当大きい値ないしは小さ
い値が入力されると、その値の如何にかかわらず１ない
しは０という値を出力する、いわゆる飽和型の関数を用
いているため、単に学習したカテゴリー間に境界面を設
定するだけの作用しかしないためと考えられる。Incidentally, the reason for the erroneous determination is that, in the case of the conventional input / output function, when a value considerably larger or smaller than the threshold value is input, a value of 1 or 0 is output regardless of the value. It is considered that since a so-called saturated type function is used, there is only an operation of simply setting a boundary between the learned categories.

【００２０】本発明は、上記従来の問題点に着目し、ニ
ューラルネットワーク処理を用いたパターンマッチング
装置で、未学習パターンを適格に識別して出力すること
ができるようにすることを目的とし、特に個々のユニッ
トにおける重み係数を乗じた入力信号加算値がしきい値
の近傍のみならずしきい値から大きく離れている場合で
あっても適正な出力信号を出力し、もってパターンマッ
チングの判定精度を向上させることができるパターンマ
ッチング装置を提供することを目的とする。An object of the present invention is to provide a pattern matching apparatus using neural network processing, which can appropriately identify and output an unlearned pattern, focusing on the above-mentioned conventional problems. Even if the sum of the input signals multiplied by the weight coefficient in each unit is not only close to the threshold but also greatly deviated from the threshold, an appropriate output signal is output, thereby improving the accuracy of the pattern matching judgment. It is an object to provide a pattern matching device that can be improved.

【００２１】[0021]

【課題を解決するための手段】本発明は、例えば、図９
に示すようなカテゴリーＡ、Ｂの周辺境界を与えるデー
タ（「◎」で示す）を学習用データから合成し、これら
のデータを入力層に与えたときに出力層の全細胞（ユニ
ット）の出力値を「０」または小さな値となるように学
習させればよいとの知見によりなされたものである。す
なわち、境界パターンに対応する入力信号に対する教師
信号を全細胞にわたり小さな値とするのである。これに
より両カテゴリーの境界に位置するパターンが学習パタ
ーンとして用いられ、結果として、学習用データの周囲
を取り囲む実線で示している範囲が識別すべきカテゴリ
ーの範囲であることを認識することになるので、誤認識
率が大幅に低下するのである。According to the present invention, for example, FIG.
The data (indicated by “」 ”) that gives the peripheral boundaries of categories A and B as shown in (1) are synthesized from the learning data, and when these data are given to the input layer, the output of all cells (units) in the output layer This is based on the knowledge that learning should be performed so that the value becomes “0” or a small value. That is, the teacher signal for the input signal corresponding to the boundary pattern is set to a small value over all cells. As a result, the pattern located at the boundary between the two categories is used as the learning pattern, and as a result, the range indicated by the solid line surrounding the learning data is recognized as the range of the category to be identified. However, the misrecognition rate is greatly reduced.

【００２２】そこで、本発明は、入力ユニット群に複数
の学習用入力パターンを入力するとともに、入力した学
習用入力パターンに対応した出力ユニット群の出力パタ
ーンを予め定めた教師パターンと比較して両者の誤差を
求め、この誤差に基づいて各ユニット群を構成している
ユニットのしきい値と各ユニット群を連結している結合
素子の重み係数とを補正する操作を繰り返して前記学習
用入力パターンを学習させたのち、識別すべきパターン
を前記入力ユニット群に入力して識別すべきパターンに
対応した前記出力ユニット群の出力パターンを、記憶し
ているパターンと対比するパターンマッチング方法にお
いて、前記各学習用入力パターンのそれぞれに属する要
素群の各境界を定める境界パターンを前記各学習用入力
パターンに基づいて前記各学習用入力パターンの周囲に
作成し、これらの境界パターンに対応した前記出力ユニ
ット群の各ユニットの出力の教師信号を０または小さな
値に設定し、前記各境界パターンを前記各学習用入力パ
ターンとともに学習させたのち、任意のパターンを前記
入力ユニット群に入力することにより、上記目的を達成
するようにしたものである。Therefore, according to the present invention, a plurality of learning input patterns are input to an input unit group, and an output pattern of an output unit group corresponding to the input learning input pattern is compared with a predetermined teacher pattern to compare the input patterns. And repeating the operation of correcting the threshold value of the unit constituting each unit group and the weight coefficient of the coupling element connecting each unit group based on this error, After train the, output pattern of the output unit group corresponding to a pattern to be identified by entering the pattern to be identified to the input unit group, in the pattern matching method of comparing the stored and that pattern, each Required to belong to each of the learning input patterns
<br/> created around the respective learning input pattern based on the boundary pattern defining each boundary pixel group in each learning input pattern, of each unit of the output unit group corresponding to these boundary pattern By setting an output teacher signal to 0 or a small value, learning each of the boundary patterns together with each of the learning input patterns, and inputting an arbitrary pattern to the input unit group, the above object is achieved. It was made.

【００２３】境界パターンは、同一カテゴリーに属する
学習用入力パターンのすべてを含む円や楕円、矩形の領
域を設定し、この領域の外側の値を境界パターンとして
設定してもよい。また、境界パターンは、同一のカテゴ
リーに属する複数の学習用入力パターンの各要素の最大
値に予め定めた値を加算した最大境界値と、前記各要素
の最小値から予め定めた値を減算した最小境界値とを含
むように設定すると、境界パターンの作成を容易に行う
ことができる。As the boundary pattern, a circle, an ellipse, or a rectangular area including all the learning input patterns belonging to the same category may be set, and a value outside this area may be set as the boundary pattern. Further, the boundary pattern is obtained by subtracting a predetermined value from a maximum boundary value obtained by adding a predetermined value to a maximum value of each element of a plurality of learning input patterns belonging to the same category, and a minimum value of each element. Setting to include the minimum boundary value facilitates creation of a boundary pattern.

【００２４】[0024]

【００２５】また、本発明に係るパターンマッチング装
置は、識別すべきパターンが入力される入力ユニット群
と、前記入力パターンに対応するパターンを出力する出
力ユニット群と、前記入力ユニット群と前記出力ユニッ
ト群との間に介在させた少なくとも１つ以上の中間ユニ
ット群と、これら各ユニット群を連結する結合素子と、
前記入力ユニット群に入力する複数の学習用入力パター
ンと、これらの学習用入力パターンに対応して作成し
た、前記出力ユニット群の出力パターンと対比する教師
パターンとを保持する学習信号保持部とを備え、前記各
ユニット群の各ユニットは、結合素子毎に割り当てられ
た重み係数を乗じた前段のユニットの出力を加算し、こ
の加算値と設定されたしきい値との差を独立変数とする
入出力関数に基づく演算結果を出力し、前記学習用入力
パターンを前記入力ユニット群に入力して得た前記出力
ユニット群の出力パターンと対応する前記教師パターン
との誤差に基づいて、前記結合素子の重み係数と前記し
きい値との補正を繰り返して前記学習用入力パターンを
学習させたのち、任意のパターンを前記入力ユニット群
に入力してパターンマッチングを行うようにしたパター
ンマッチング装置において、前記学習信号保持部は、前
記複数の学習用入力パターンに基づいて、各学習用入力
パターンのそれぞれに属する要素群の各境界を定める境
界パターンを前記各学習用入力パターンの周囲に生成す
る境界信号合成部と、前記各境界パターンに対応した、
前記出力ユニット群の各ユニットの出力と対比する教師
信号を０または小さな値にする境界教師信号合成部とを
有する構成にしてある。境界パターンに対応した教師信
号の小さな値は、例えば０．１程度の値である。Further, a pattern matching device according to the present invention is provided.
Is the input unit group to which the pattern to be identified is input
And an output for outputting a pattern corresponding to the input pattern.
Force unit group, the input unit group and the output unit
At least one intermediate unit interposed between
And a coupling element for connecting these unit groups,
A plurality of learning input patterns to be input to the input unit group, and a learning signal holding unit that holds a teacher pattern created in correspondence with these learning input patterns and compared with the output pattern of the output unit group. Each unit of each unit group adds the output of the preceding unit multiplied by a weighting factor assigned to each coupling element, and sets the difference between the added value and the set threshold value as an independent variable. The coupling element outputs an operation result based on an input / output function, and based on an error between an output pattern of the output unit group obtained by inputting the learning input pattern to the input unit group and the corresponding teacher pattern. After the learning input pattern is learned by repeating the correction of the weight coefficient and the threshold value, an arbitrary pattern is input to the input unit group, and In the pattern matching apparatus that performs etching, the learning signal holding unit, said plurality of based on learning input pattern, the input each learning
A boundary that defines each boundary of the group of elements belonging to each of the patterns
A boundary signal synthesizing unit that generates a field pattern around each of the learning input patterns, and corresponding to each of the boundary patterns,
A boundary teacher signal synthesizing unit for setting a teacher signal to be compared with the output of each unit of the output unit group to 0 or a small value is provided. The small value of the teacher signal corresponding to the boundary pattern is, for example, about 0.1.

【００２６】[0026]

【作用】上記構成によれば、カテゴリーの範囲外となる
その周囲の境界パターンが入力ユニット群に入力された
ときに、出力ユニット群の各ユニットの出力を「０」ま
たは小さな値となるように学習させることにより、結果
的にそのカテゴリーから遠くはなれたパターンに対して
も出力ユニットの出力を小さな値とすることが可能とな
る。そして、そのカテゴリーに属するパターンの入力に
対する出力ユニットの出力が大きくなるように学習させ
ることにより、入力された任意のパターンに対応した出
力を学習させた出力と対比することにより、そのパター
ンがカテゴリーに属するか否かを容易、的確に判断する
ことができ、誤判定をなくすことが可能となる。なお、
境界パターンは各カテゴリーに属する学習用パターンを
元に合成するが、この合成方法は識別対象に応じて個別
に行うようにすればよい。According to the above arrangement, when a boundary pattern outside the category is input to the input unit group, the output of each unit of the output unit group is set to "0" or a small value. As a result, the output of the output unit can be reduced to a small value even for a pattern far from the category. Then, by learning so that the output of the output unit with respect to the input of the pattern belonging to the category becomes large, and comparing the output corresponding to the input arbitrary pattern with the learned output, the pattern is classified into the category. Whether or not they belong can be easily and accurately determined, and erroneous determination can be eliminated. In addition,
The boundary patterns are synthesized based on the learning patterns belonging to each category, and this synthesizing method may be individually performed according to the identification target.

【００２７】[0027]

【発明の実施の形態】以下、本発明の実施形態例を図面
に基づいて説明する。図１は、実施例に係るパターンマ
ッチング装置の全体構成を示すブロック図である。図示
のように、この装置は、パターンマッチングを行おうと
する文字や各種信号波形等の認識対象画像を取り込む受
像装置１０を有している。受像装置１０は認識対象画像
を直接表示できるものとなっており、この画像表示信号
をパターン入力部１２に出力するようにしてある。パタ
ーン入力部１２は、受像装置１０の画像表示領域を二次
元マトリックスに分割し、各分割領域に対応した個々の
画像信号を信号量の大きさ、例えば信号の強度や濃度等
に応じて後段の変換処理部１４に出力するものとしてい
る。これにより、受像装置１０に入力された画像信号
は、パターン信号として変換処理部１４に入力される。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram illustrating the entire configuration of the pattern matching apparatus according to the embodiment. As shown in the figure, the apparatus has an image receiving apparatus 10 for capturing an image to be recognized such as characters or various signal waveforms to be subjected to pattern matching. The image receiving device 10 can directly display the recognition target image, and outputs this image display signal to the pattern input unit 12. The pattern input unit 12 divides an image display area of the image receiving apparatus 10 into a two-dimensional matrix, and separates individual image signals corresponding to each divided area into a subsequent stage in accordance with the magnitude of a signal amount, for example, signal intensity or density. It is to be output to the conversion processing unit 14. As a result, the image signal input to the image receiving device 10 is input to the conversion processing unit 14 as a pattern signal.

【００２８】上記パターン入力部１２の出力信号が入力
する変換処理部１４は、識別すべきパターンが入力され
るユニット群としての入力層１６と、前記入力パターン
に対応するパターンを出力するユニット群としての出力
層２０と、前記入力層１６と出力層２０との間に介在
し、複数の結合素子によってこれらの層１６、２０と連
結される中間ユニット群としての中間層１８とから構成
してある。これらの入力層１６、中間層１８、および出
力層２０は、それぞれ生物の神経細胞に相当する複数の
多入力１出力型の素子（ユニット）を有し、各層のユニ
ットを神経繊維に相当する結合素子を介して他の層のユ
ニットと結合することにより構成されたニューラルネッ
トワークを利用した構成とされている。The conversion processing unit 14 to which the output signal of the pattern input unit 12 is input includes an input layer 16 as a unit group to which a pattern to be identified is input, and a unit group to output a pattern corresponding to the input pattern. And an intermediate layer 18 as an intermediate unit group interposed between the input layer 16 and the output layer 20 and connected to these layers 16 and 20 by a plurality of coupling elements. . Each of the input layer 16, the intermediate layer 18, and the output layer 20 has a plurality of multi-input, one-output elements (units) each corresponding to a nerve cell of a living organism, and the unit of each layer is connected to a nerve fiber. It is configured to use a neural network configured by coupling to units in other layers via elements.

【００２９】すなわち、図２に中間層１８を例に示した
ように、中間層１８を構成している各ユニット２２は、
結合素子２３を介して入力層１６の各ユニットと結合さ
れていて、入力層１６の各ユニットの出力信号Ｉが各結
合素子２３に割り当てられた重み係数Ｗを乗じた値とし
て入力するようになっている。そして、中間層ユニット
２２は、所定の演算をして求めた出力信号を結合素子２
４を介して出力層２０の各ユニット２５に出力するよう
になっている。また、出力層２０のユニット２５は、中
間層ユニット２２と同様の演算を行ってその演算結果を
結合素子２７を介して出力する。That is, as shown in the example of the intermediate layer 18 in FIG. 2, each unit 22 constituting the intermediate layer 18
It is connected to each unit of the input layer 16 via the coupling element 23, and the output signal I of each unit of the input layer 16 is input as a value multiplied by the weight coefficient W assigned to each coupling element 23. ing. Then, the intermediate layer unit 22 outputs the output signal obtained by performing the predetermined operation to the coupling element 2.
4 to each unit 25 of the output layer 20. The unit 25 of the output layer 20 performs the same operation as that of the intermediate layer unit 22 and outputs the operation result via the coupling element 27.

【００３０】このように入力層１６、中間層１８、出力
層２０からなる変換処理部１４の回路構成は、図３のよ
うになっていて、入力層１６の出力計算回路４０、中間
層１８の入力計算回路４２、中間層１８の出力計算回路
４４、出力層２０の入力計算回路４６、出力層２０の出
力計算回路４８が直列的に接続してある。As described above, the circuit configuration of the conversion processing unit 14 including the input layer 16, the intermediate layer 18, and the output layer 20 is as shown in FIG. An input calculation circuit 42, an output calculation circuit 44 of the intermediate layer 18, an input calculation circuit 46 of the output layer 20, and an output calculation circuit 48 of the output layer 20 are connected in series.

【００３１】入力層出力計算回路４０は、入力パターン
に基づいて入力層１６の各ユニットの出力を求めるもの
で、本例においては出力値を演算する入出力関数が一般
的に用いられている線形関数となっている。このため、
入力層１６の各ユニットは、パターン入力部１２の対応
する出力値と同じ値（Ｉ₁ 〜Ｉ_n ）を出力する。また、
中間層１８の入力計算回路４２は、入力層出力計算回路
４０の出力Ｉと入力層１６と中間層１８とを結合してい
る結合素子２３の結合係数Ｗとを用いて中間層１８の各
ユニット２２への入力値Ｕを計算し、中間層１８の出力
計算回路４４は、入力計算回路４２によって求めた入力
値Ｕと後述する入出力関数とにより、中間層１８の各ユ
ニット２２の出力Ｈを計算する。そして、出力層２０の
入力計算回路４６は、中間層出力計算回路４４の出力Ｈ
と、中間層１８と出力層２０とを結合している結合素子
２４の結合係数Ｖとを用いて出力層２０の各ユニット２
５へ供給される入力Ｓを計算し、出力層出力計算回路４
８は、出力層入力計算回路４６の計算値Ｓと入出力関数
とにより出力層２０の出力Ｏを求める。The input layer output calculation circuit 40 calculates the output of each unit of the input layer 16 based on the input pattern. In this example, an input / output function for calculating the output value is used. Function. For this reason,
Each unit of the input layer 16 output the same values as the corresponding output value of the pattern input section 12 (I ₁ ~I _n). Also,
The input calculation circuit 42 of the intermediate layer 18 calculates each unit of the intermediate layer 18 using the output I of the input layer output calculation circuit 40 and the coupling coefficient W of the coupling element 23 that connects the input layer 16 and the intermediate layer 18. The input value U to the intermediate layer 18 is calculated, and the output calculation circuit 44 of the intermediate layer 18 calculates the output H of each unit 22 of the intermediate layer 18 based on the input value U obtained by the input calculation circuit 42 and an input / output function described later. calculate. Then, the input calculation circuit 46 of the output layer 20 outputs the output H of the intermediate layer output calculation circuit 44.
Each unit 2 of the output layer 20 is obtained by using the coupling coefficient V of the coupling element 24 connecting the intermediate layer 18 and the output layer 20.
5 to calculate the input S supplied to the output layer 5 and output layer output calculation circuit 4
8 obtains the output O of the output layer 20 based on the calculated value S of the output layer input calculation circuit 46 and the input / output function.

【００３２】変換処理部１４の出力、すなわち出力層２
０の各ユニット２５の出力Ｏは、基本的にはパターン出
力部２６に入力される。そして、パターン入力部２６
は、各ユニット２５の出力値Ｏによって得られるパター
ン（ベクトル）をメモリ２８に格納してパターンと比較
し、出力層２０の出力信号にマッチングした出力パター
ンをメモリ２８から読み出して表示装置３０に表示す
る。The output of the conversion processing unit 14, that is, the output layer 2
The output O of each unit 25 of 0 is basically input to the pattern output unit 26. Then, the pattern input unit 26
Stores the pattern (vector) obtained by the output value O of each unit 25 in the memory 28, compares the pattern with the pattern, reads out the output pattern matching the output signal of the output layer 20 from the memory 28, and displays the output pattern on the display device 30 I do.

【００３３】しかし、本実施形態においては、バックプ
ロパゲーションによる学習機能を持たせており、このた
め、前記変換処理部１４の後段に、出力層２０からの出
力信号を入力する誤差検出部３２が設けてある。この誤
差検出部３２には、教師装置３４が接続してあり、パタ
ーンマッチング装置のパターンマッチング能力を修得さ
せる学習時に、受像装置１０に与えた学習用入力パター
ン（入力信号）に対応した教師信号が教師装置３４から
与えられるようになっている。However, in the present embodiment, a learning function by back propagation is provided. Therefore, an error detection unit 32 that inputs an output signal from the output layer 20 is provided downstream of the conversion processing unit 14. It is provided. A teacher device 34 is connected to the error detection unit 32, and a teacher signal corresponding to a learning input pattern (input signal) given to the image receiving device 10 at the time of learning for acquiring the pattern matching ability of the pattern matching device. It is provided from the teacher device 34.

【００３４】受像装置１０と教師装置３４とには、学習
信号保持部５０が接続してある。この学習信号保持部５
０は、学習入力信号メモリ５１、教師信号メモリ５２、
パターン境界設定器５４、初期学習入力信号メモリ５
６、初期教師信号メモリ５８とから構成してある。そし
て、パターン境界設定器５４は、初期学習入力信号メモ
リ５６に書き込まれたデータ（学習用入力パターン）に
基づいて、詳細を後述するように、境界パターンを作成
し、この境界パターンを初期学習入力信号メモリに書き
込まれたデータとともに学習入力信号メモリ５１に書き
込み、また初期教師信号メモリ５８に書き込まれた初期
教師信号に基づいて境界パターンに対応した教師信号
（境界教師信号）を作成し、初期教師信号と境界教師信
号とを教師信号メモリ５２に書き込む。また、パターン
マッチング装置の学習時に、学習入力メモリ５１から学
習用の入力信号（入力パターン）が受像装置１０に与え
られ、この入力信号に対応した教師信号が教師信号メモ
リ５２から教師装置３４に与えられる。A learning signal holding unit 50 is connected to the image receiving device 10 and the teacher device 34. This learning signal holding unit 5
0 is a learning input signal memory 51, a teacher signal memory 52,
Pattern boundary setting unit 54, initial learning input signal memory 5
6, an initial teacher signal memory 58. The pattern boundary setting unit 54 creates a boundary pattern based on the data (learning input pattern) written in the initial learning input signal memory 56, as will be described in detail later. The data is written to the learning input signal memory 51 together with the data written to the signal memory, and a teacher signal (boundary teacher signal) corresponding to the boundary pattern is created based on the initial teacher signal written to the initial teacher signal memory 58. The signal and the boundary teacher signal are written into the teacher signal memory 52. Further, at the time of learning of the pattern matching device, a learning input signal (input pattern) is provided from the learning input memory 51 to the image receiving device 10, and a teacher signal corresponding to the input signal is provided from the teacher signal memory 52 to the teacher device 34. Can be

【００３５】パターン境界設定器５４は、同一のカテゴ
リーに属する１群の初期学習入力信号の周囲に境界を定
めるもので、図４に示したように、初期学習入力信号が
入力する最大値・最小値演算部６０を有している。この
最大値・最小値演算部は、各カテゴリー毎に初期学習入
力信号の各要素の最大値と最小値とを求める。そして、
最大値・最小値演算部６０の求めた最大値と最小値と
は、代替値演算部６２に入力するようになっている。代
替値演算部６２は、入力された最大値に予め定めた値を
加算した値（最大境界値）と、入力された最小値から予
め定めた値を減算した値（最小境界値）とを求めて境界
信号合成部６４に送出する。これらの代替値演算部６２
が加算または減算する予め定めた値は、各カテゴリー間
の距離などによって異ならせることができ、シミュレー
ション等によって決定される。そして、代替値演算部６
２の求めた値は、境界信号合成部６４に送られる。The pattern boundary setting unit 54 defines a boundary around a group of initial learning input signals belonging to the same category. As shown in FIG. It has a value calculator 60. The maximum value / minimum value calculation unit obtains the maximum value and the minimum value of each element of the initial learning input signal for each category. And
The maximum value and the minimum value obtained by the maximum value / minimum value calculation unit 60 are input to an alternative value calculation unit 62. The substitute value calculator 62 calculates a value obtained by adding a predetermined value to the input maximum value (maximum boundary value) and a value obtained by subtracting a predetermined value from the input minimum value (minimum boundary value). To the boundary signal synthesizing section 64. These alternative value calculation units 62
The predetermined value to be added or subtracted can differ depending on the distance between the categories and the like, and is determined by simulation or the like. Then, the substitute value calculator 6
The calculated value of 2 is sent to the boundary signal synthesis unit 64.

【００３６】境界信号合成部６４は、初期学習入力信号
のいずれかの要素を、代替値演算部６２が求めた値と入
替えたカテゴリーの境界を定める境界信号（境界パター
ン）を作成し、初期学習入力信号とともに学習入力信号
メモリ５０に書き込む。また、パターン境界設定器５４
の境界用教師信号合成部６６は、入力した初期教師信号
に基づいて、境界信号合成部６４が求めた境界信号に対
応した境界用教師信号を合成する。この境界信号用教師
信号合成部６６が求める境界教師信号は、境界信号合成
部６４が求めた境界パターンが受像装置１０に与えられ
たときに、変換処理部１４の出力層２０の各ユニット２
５の出力値が「０」または小さな小さな値となるような
もので、原則として「０」である。The boundary signal synthesizing section 64 creates a boundary signal (boundary pattern) for defining a boundary of a category in which one of the elements of the initial learning input signal is replaced with the value obtained by the alternative value calculating section 62. It is written into the learning input signal memory 50 together with the input signal. Further, the pattern boundary setting device 54
The boundary teacher signal synthesizing unit 66 synthesizes a boundary teacher signal corresponding to the boundary signal obtained by the boundary signal synthesizing unit 64 based on the input initial teacher signal. When the boundary pattern determined by the boundary signal synthesis unit 64 is given to the image receiving device 10, each of the units 2 of the output layer 20 of the conversion processing unit 14 is determined by the boundary teacher signal determined by the boundary signal teacher signal synthesis unit 66.
The output value of “5” is “0” or a small small value, and is “0” in principle.

【００３７】このように構成した実施形態においては、
受像装置１０に識別すべきパターン（入力信号）が与え
られると、パターン入力部１２は、受像装置１０の画像
表示領域を二次元マトリックスに分割し、各分割領域に
対応した画像信号に応じた信号を変換処理部１４に出力
する。変換処理部１４の入力層１６を構成している各ユ
ニットに設けた入力層出力計算回路４０は、入出力関数
が線形関数となっているため、各ユニットに入力したパ
ターン入力部１２の出力値に等しい値Ｉ_i を出力する。In the embodiment configured as described above,
When a pattern (input signal) to be identified is given to the image receiving apparatus 10, the pattern input unit 12 divides the image display area of the image receiving apparatus 10 into a two-dimensional matrix, and outputs a signal corresponding to the image signal corresponding to each divided area. Is output to the conversion processing unit 14. The input layer output calculation circuit 40 provided in each unit constituting the input layer 16 of the conversion processing unit 14 has a linear input / output function. and outputs a value equal I _i in.

【００３８】中間層１８の各ユニット２２は、入力層１
６の各ユニットが出力した値Ｉ_i を結合素子２３を介し
て受け取る。そして、中間層１８の各ユニット２２は、
入力計算回路４２が前記した数式３と同様に、次の数式
８により入力Ｕ_j を演算し、出力計算回路４４に送出す
る。Each unit 22 of the intermediate layer 18 is connected to the input layer 1
The value I _i of each unit has an output of 6 receives via coupling element 23. And each unit 22 of the middle layer 18
The input calculation circuit 42 calculates the input U _j by the following expression 8 in the same manner as the above expression 3, and sends it to the output calculation circuit 44.

【数８】 (Equation 8)

【００３９】ただし、Ｕ_j は中間層１８の第ｊ番目のユ
ニット２２の入力値であり、Ｗ_ijは入力層１６の第ｉ番
目のユニットと中間層１８の第ｊ番目のユニットとの結
合の強さを表す結合係数（結合素子２３の重み係数）、
Ｉ_i は入力層１６の第ｉ番目のユニットの出力である。
また、θ_jは、中間層１８の第ｊ番目のユニット２２のR
>しきい値である。Where U _j is the input value of the j-th unit 22 of the intermediate layer 18, and W _ij is the coupling value between the i-th unit of the input layer 16 and the j-th unit of the intermediate layer 18. A coupling coefficient representing the strength (weight coefficient of the coupling element 23),
I _i is the output of the ith unit of the input layer 16.
Θ _j is the R of the j-th unit 22 of the intermediate layer 18.
> Threshold.

【００４０】各ユニット２２は、入力計算回路４２が上
記数式８によって求めた入力値を受け取ると、入出力関
数を用いて出力値Ｈ_j を演算する。この演算に用いる入
出力関数は、図５（２）に示した飽和型のシグモイド関
数を用いてもよいが、本実施形態においては下記数式９
に示した入出力関数ｆを用いている。[0040] Each unit 22 has an input calculation circuit 42 receives an input value obtained by the above equation 8, and calculates an output value H _j with input and output functions. The saturation sigmoid function shown in FIG. 5B may be used as the input / output function used for this calculation.
The input / output function f shown in FIG.

【数９】 (Equation 9)

【００４１】この入出力関数ｆは、入力値の絶対値がし
きい値と等しいときに最大値出力をなし、しきい値と異
なる入力値に対しては前記最大値を越えない正の出力と
なる入出力特性としたもので、ｃは係数、θはしきい値
であり、定数または変数である。そして、ｘが入力値で
ある。This input / output function f outputs a maximum value when the absolute value of the input value is equal to the threshold value, and outputs a positive output not exceeding the maximum value for an input value different from the threshold value. Here, c is a coefficient, θ is a threshold, and is a constant or a variable. X is an input value.

【００４２】すなわち、中間層１８の出力計算回路４４
は、上記数式８により計算された入力値Ｕを基に、上記
数式９に基づいて演算し、この演算値を中間層１８にお
ける各ユニット２２の次層への出力値Ｈ_jとしている。
これは、具体的には、That is, the output calculation circuit 44 of the intermediate layer 18
, Based on the input value U calculated by the equation 8, it is calculated based on the above Equation 9, and the output value H _j to the next layer of each unit 22 the calculated value in the intermediate layer 18.
This is, specifically,

【数１０】 として、演算される。 ただし、Ｈ_j：第ｊ番目のユニットの出力値、 Ｕ_j：第ｊ番目のユニットの入力値、 θ_j：第ｊ番目のユニットのしきい値、 である。(Equation 10) Is calculated as Here, H _{j is} the output value of the j-th unit, U _{j is} the input value of the j-th unit, and θ _j is the threshold value of the j-th unit.

【００４３】更に、このようにして得られた中間層１８
からの出力Ｈ_i は結合素子２４を介して出力層２０に入
力されるが、この出力層２０への入力部分における入力
計算回路４６で、まず、中間層１８の出力Ｈ_i と、中間
層１８と出力層２０と接続する結合素子２４の結合係数
Ｖを用いて出力層２０の各ユニット２５へ供給される入
力Ｓを計算する。この演算処理は、上記した数式８と同
様に、Further, the thus obtained intermediate layer 18
The output H _i is input to the output layer 20 via the coupling element 24 from, the input calculation circuit 46 at the input portion to the output layer 20, first, the output H _i of the intermediate layer 18, intermediate layer 18 Then, the input S supplied to each unit 25 of the output layer 20 is calculated using the coupling coefficient V of the coupling element 24 connected to the output layer 20. This arithmetic processing is performed in the same manner as in the above-described Expression 8.

【数１１】 [Equation 11]

【００４４】ただし、Ｖ_jkは中間層１８の第ｊ番目のユ
ニット２２と出力層２０の第ｋ番目のユニット２５とを
接続する結合素子２４の結合係数（重み係数）、γ_kは
出力層の第ｋ番目のユニット２５のしきい値、Ｓ_kが出
力層２０の第ｋ番目のユニット２５への入力値である。Here, V _jk is a coupling coefficient (weighting coefficient) of the coupling element 24 connecting the j-th unit 22 of the intermediate layer 18 and the k-th unit 25 of the output layer 20, and γ _k is a value of the output layer. The threshold value of the k-th unit 25, S _k, is the input value to the k-th unit 25 of the output layer 20.

【００４５】次いで、出力層２０の各ユニット２５は、
前記数式９の入出力関数ｆに基づき、出力値Ｏを算出す
るものとしている。すなわち、出力層２０では、出力計
算回路４８により、上記１１式で計算された入力値Ｓを
基に、上記数式９に基づいて演算し、出力層２０を構成
している複数のユニット２５の出力値を算出する（出力
信号Ｏ）。これは、具体的には、Next, each unit 25 of the output layer 20
The output value O is to be calculated based on the input / output function f of Equation 9 above. That is, in the output layer 20, the output calculation circuit 48 performs an operation based on the input value S calculated by the above equation 11 based on the above equation 9, and outputs the outputs of the plurality of units 25 forming the output layer 20. A value is calculated (output signal O). This is, specifically,

【数１２】 によって演算する。(Equation 12) Is calculated by

【００４６】このようにして得られた出力信号Ｏは、出
力層２０の各ユニット２５毎にパターン出力部２６から
出力され、出力層２０の出力信号にマッチングする出力
パターンがパターン出力部２６によってメモリ２８から
読み出され、受像装置１０に入力されたパターンの対応
パターンとして表示装置３０等に表示される。The output signal O thus obtained is output from the pattern output unit 26 for each unit 25 of the output layer 20, and an output pattern matching the output signal of the output layer 20 is stored in the memory by the pattern output unit 26. 28, and is displayed on the display device 30 or the like as a pattern corresponding to the pattern input to the image receiving device 10.

【００４７】パターンマッチング装置のバックプロパゲ
ーションによる学習は、次のように行われる。初期学習
入力信号メモリ５６には、パターンマッチング装置に学
習させるための初期学習入力信号（初期学習入力パター
ン）が書き込まれ、初期教師信号メモリ５８には、初期
学習入力信号メモリ５６に書き込んだ入力信号に対応し
た教師信号（教師パターン）が書き込まれる。各メモリ
５６、５８に書き込まれた信号は、パターン境界設定器
５４に読み込まれる。パターン境界設定器５４は、読み
込んだ入力信号と教師信号とから境界信号と境界信号用
教師信号とを作成し、これら作成した信号を初期学習入
力信号と初期教師信号とともに学習入力信号、教師信号
として学習入力信号メモリ５１、教師信号メモリ５２に
書き込む。The learning by the back propagation of the pattern matching apparatus is performed as follows. In the initial learning input signal memory 56, an initial learning input signal (initial learning input pattern) for learning by the pattern matching device is written, and in the initial teacher signal memory 58, the input signal written in the initial learning input signal memory 56 is written. The teacher signal (teacher pattern) corresponding to is written. The signals written in the memories 56 and 58 are read into the pattern boundary setting unit 54. The pattern boundary setting unit 54 generates a boundary signal and a boundary signal teacher signal from the read input signal and the teacher signal, and uses these generated signals together with the initial learning input signal and the initial teacher signal as a learning input signal and a teacher signal. Writing to the learning input signal memory 51 and the teacher signal memory 52 is performed.

【００４８】すなわち、パターン境界設定器５４は、最
大値・最小値演算部６０が初期学習入力信号メモリ５６
に書き込まれた初期学習入力信号を読み出し、各カテゴ
リー毎の入力信号の最大値と最小値とを求めて代替値演
算部６２に入力する。例えば初期学習入力信号が二次元
のベクトル（二次元座標ｘ、ｙ）によって表される場
合、最大値・最小値演算部６０は、各カテゴリーについ
てのｘ、ｙの最大値と最小値ｘ_qmax、ｘ_qmin、ｙ_qmax、
ｙ_qminを求める。ただし、添字ｑは、初期学習入力信号
の属するカテゴリーを示し、カテゴリーが異なるごとに
異なった数値または記号となる。That is, in the pattern boundary setting unit 54, the maximum value / minimum value calculation unit 60 has an initial learning input signal memory 56.
Is read out, and the maximum value and the minimum value of the input signal for each category are obtained and input to the alternative value calculation unit 62. For example, when the initial learning input signal is represented by a two-dimensional vector (two-dimensional coordinates x, y), the maximum value / minimum value calculation unit 60 calculates the maximum value and the minimum value x _q max of x and y for each category. , X _q min, y _q max,
Find y _q min. Here, the suffix q indicates the category to which the initial learning input signal belongs, and is a different numerical value or symbol for each different category.

【００４９】代替値演算部６２は、入力された最大値に
予め定めた値を加算した座標値ｘ_qmax＋φ、ｙ_qmax＋ψ
を求め、また入力された最小値から予め定めた値を減算
した座標値ｘ_qmin−χ、ｙ_qmin−ωを求め、この求めた
座標値を境界信号合成部６４に入力する。境界信号合成
部６４は、初期学習入力信号メモリ５６に書き込まれた
初期学習入力信号のいずれか一方の座標値を、代替値演
算部６２が求めた座標値と入替えたカテゴリーの境界を
定める境界信号（ｘ_qmax＋φ，ｙ_qi）、（ｘ_qi，ｙ_qmin
−ω）等を作成し、初期学習入力信号とともに学習入力
信号メモリ５０に書き込む。また、パターン境界設定器
５４の境界用教師信号合成部６６は、入力した初期教師
信号に基づいて、境界信号合成部６４が求めた境界信号
に対応した教師信号を合成し、この合成した境界信号用
教師信号を初期教師信号とともに教師信号メモリ５２に
書き込む。また、各結合素子の結合係数としきい値とを
一様乱数による小さな値に設定する。The substitute value calculating section 62 calculates coordinate values x _q max + φ and y _q max + ψ obtained by adding a predetermined value to the input maximum value.
Are obtained, and coordinate values x _q min−χ and y _q min−ω are obtained by subtracting a predetermined value from the input minimum value, and the obtained coordinate values are input to the boundary signal synthesis unit 64. The boundary signal synthesizing unit 64 is a boundary signal that determines the boundary of the category in which one of the coordinate values of the initial learning input signal written in the initial learning input signal memory 56 is replaced with the coordinate value obtained by the alternative value calculating unit 62. _{(x q max + φ, y} qi), (x qi, y q min
−ω) and the like, and write them into the learning input signal memory 50 together with the initial learning input signal. The boundary teacher signal synthesizing unit 66 of the pattern boundary setting unit 54 synthesizes a teacher signal corresponding to the boundary signal obtained by the boundary signal synthesizing unit 64 based on the input initial teacher signal, and generates the synthesized boundary signal. The teacher signal is written into the teacher signal memory 52 together with the initial teacher signal. Also, the coupling coefficient and the threshold value of each coupling element are set to small values based on uniform random numbers.

【００５０】このようにして学習入力信号と教師信号と
からなる学習信号が作成され、結合係数としきい値とが
設定されたならば、最初の学習入力信号（学習入力パタ
ーン）を受像装置１０に与える。受像装置１０に与えら
れた学習入力信号は、前記したようにパターン入力部１
２を介して変換処理部１４に入力され、出力層２０の各
ユニット２５から出力信号Ｏが出力され、誤差検出部３
２に入力される。また、誤差検出部３２には、最初の学
習入力信号に対応した教師信号（教師パターン）が教師
装置３４を介して入力される。誤差検出部３２は、出力
層２０の各ユニット２５の出力Ｏと教師装置３４を介し
て与えられた教師信号とを比較し、両者の誤差を求めて
表示装置３０等に出力する。そして、バックプロパゲー
ションの所定のアルゴリズムに従って出力層２０の出力
と教師信号との誤差が最小となるように各ユニットのし
きい値や各結合素子の結合係数を変化させて修正する。When the learning signal including the learning input signal and the teacher signal is created in this way, and the coupling coefficient and the threshold are set, the first learning input signal (learning input pattern) is transmitted to the image receiving apparatus 10. give. The learning input signal given to the image receiving device 10 is transmitted to the pattern input unit 1 as described above.
2, the output signal O is output from each unit 25 of the output layer 20, and the error detection unit 3
2 is input. Further, a teacher signal (teacher pattern) corresponding to the first learning input signal is input to the error detection unit 32 via the teacher device 34. The error detector 32 compares the output O of each unit 25 of the output layer 20 with the teacher signal given via the teacher device 34, finds an error between the two, and outputs it to the display device 30 or the like. Then, the threshold value of each unit and the coupling coefficient of each coupling element are changed and corrected according to a predetermined algorithm of back propagation so that the error between the output of the output layer 20 and the teacher signal is minimized.

【００５１】このようにして最初の学習入力信号に対す
る学習が終了したならば、次の学習入力信号を受像装置
１０に入力して同様に学習させる。そして、この学習
は、学習入力信号メモリ５１に書き込まれたすべての学
習入力信号について行われ、境界設定器５４の境界信号
合成部６４が求めた境界信号に対しても同様にである。
ただし、境界信号合成部６４が求めた境界信号の教師信
号（境界信号用教師信号）は、出力層２０の各ユニット
２５の出力Ｏが「０」または小さな値となるように設定
される。そして、上記の学習を、出力値と教師信号との
誤差が所定値以下になるまで、または予め定めた学習回
数に達するまで行って学習入力信号（学習入力パター
ン）を学習させる。When the learning for the first learning input signal is completed in this way, the next learning input signal is input to the image receiving device 10 and similarly learned. This learning is performed for all the learning input signals written in the learning input signal memory 51, and the same applies to the boundary signal obtained by the boundary signal synthesis unit 64 of the boundary setting unit 54.
However, the teacher signal of the boundary signal (the teacher signal for the boundary signal) obtained by the boundary signal synthesis unit 64 is set so that the output O of each unit 25 of the output layer 20 becomes “0” or a small value. Then, the learning is performed until the error between the output value and the teacher signal becomes equal to or less than a predetermined value or until a predetermined number of times of learning is reached, thereby learning the learning input signal (learning input pattern).

【００５２】[0052]

【実施例】このように構成されたパターンマッチング装
置を利用して二次元ベクトルで表されるパターンを識別
する作業を行った。DESCRIPTION OF THE PREFERRED EMBODIMENTS An operation for identifying a pattern represented by a two-dimensional vector was performed by using the pattern matching apparatus thus constructed.

【００５３】図５は、学習に用いた二次元ベクトルであ
る。カテゴリー１に属する学習用パターンは記号「＊」
で示し、カテゴリー２に属する学習用パターンは記号
「＋」で示してある。このカテゴリー１、２に属するパ
ターンデータ（座標）を表１に示す。FIG. 5 shows two-dimensional vectors used for learning. The learning pattern belonging to category 1 is the symbol "*"
, And the learning pattern belonging to category 2 is indicated by a symbol “+”. Table 1 shows pattern data (coordinates) belonging to the categories 1 and 2.

【００５４】[0054]

【表１】 [Table 1]

【００５５】カテゴリー１に属するｘの最大値ｘ₁maxは
０．７５、最小値ｘ₁minは０．２５、またｙの最大値ｙ
₁maxは０．７５、最小値ｙ₁minは０．２５である。そこ
で、カテゴリー１の境界信号（境界パターン）を求める
ために、これらの最大値に加算するφ、ψおよび最小値
から減算するχ、ωをそれぞれ０．１５とすると、The maximum value x ₁ max of x belonging to category 1 is 0.75, the minimum value x ₁ min is 0.25, and the maximum value y of y is y
₁ max is 0.75 and the minimum value y ₁ min is 0.25. Then, in order to obtain the boundary signal (boundary pattern) of category 1, φ, す る added to these maximum values, and χ, ω subtracted from the minimum value are set to 0.15, respectively.

【数１３】 (Equation 13)

【数１４】 [Equation 14]

【数１５】 (Equation 15)

【数１６】 が得られる。(Equation 16) Is obtained.

【００５６】そこで、表１のデータと数式１３〜１６と
から境界信号をもとめると、データＡについての境界信
号は、ａ₁ （０．９，０．７５）、ａ₂ （０．１，０．
７５）、ａ₃ （０．７５，０．９）、ａ₄ （０．７５，
０．１）となる。以下、同様にしてカテゴリー１のデー
タＢ〜Ｉ、カテゴリー２のデータＡ’〜Ｉ’についても
境界信号を求めた。このようにして求めた境界信号の一
例を図５に○印によって示した。Therefore, when a boundary signal is obtained from the data in Table 1 and Equations 13 to 16, the boundary signal for data A is a ₁ (0.9, 0.75) and a ₂ (0.1, 0). .
75), a ₃ (0.75, 0.9), a ₄ (0.75,
0.1). Hereinafter, similarly, boundary signals were obtained for the data BI of category 1 and the data A ′ to I ′ of category 2. An example of the boundary signal obtained in this way is shown by a circle in FIG.

【００５７】そして、これらの境界信号と表１に示した
初期学習入力信号とを用いてパターンの学習をさせてパ
ターン識別能力を獲得させたのち、学習させていない検
定用データを用いてパターンマッチングの検定を行っ
た。表２にその検定用データと検定結果を示す。また、
検定用データを図５に■を用いて示す。Then, a pattern is learned by using these boundary signals and the initial learning input signals shown in Table 1 to obtain a pattern discriminating ability. Then, pattern matching is performed by using unlearned test data. Was performed. Table 2 shows the test data and test results. Also,
The test data is shown in FIG.

【００５８】[0058]

【表２】 [Table 2]

【００５９】これらの結果を比較すると、本実施例によ
る境界パターン学習による識別結果が極めて良好な判断
結果となっている。すなわち、境界信号による学習を行
わない従来法では、識別すべきカテゴリーに属しない未
学習データパターンに対する出力値が大きくなって誤認
識率が高いのに対し、境界パターンを学習させた本実施
例では極めて低い誤認率となっている。例えば０．７以
上の出力が得られた場合には設定したカテゴリーに属す
ると判定されたものとすると、実際には設定されたカテ
ゴリー１、２のいずれにも属しないデータに対して、従
来法では、データ番号２、３を除いてその他のパターン
はカテゴリー１もしくは２に属していると識別している
のに対して、本実施例に係るパターンマッチング装置を
用いた場合は、いずれのパターンに対しても、出力値が
０．３６以下となっており、学習したカテゴリーに属さ
ないと判定している。従って、学習したカテゴリーに属
さないデータの正当率は１００％で従来法と比較して高
い正当率が得られている。When these results are compared, the discrimination result by the boundary pattern learning according to the present embodiment is a very good judgment result. That is, in the conventional method in which learning using the boundary signal is not performed, the output value for an unlearned data pattern that does not belong to the category to be identified increases and the false recognition rate is high. It has a very low false positive rate. For example, if an output of 0.7 or more is obtained, it is determined that the data belongs to the set category. Then, while the other patterns except for data numbers 2 and 3 are identified as belonging to category 1 or 2, when the pattern matching apparatus according to the present embodiment is used, In contrast, the output value is 0.36 or less, and it is determined that the output does not belong to the learned category. Accordingly, the validity rate of data that does not belong to the learned category is 100%, which is higher than that of the conventional method.

【００６０】なお、前記実施例においては、境界パター
ンを初期学習入力信号の要素の最大値に所定値を加算し
たものと、要素の最小値から所定値を減算したものとを
用いて作成する場合について説明したが、同一カテゴリ
ーに属する初期学習入力信号を包含する円形等の領域を
求め、その外側の点を境界パターンとしてもよい。In the above embodiment, the case where the boundary pattern is created by using a value obtained by adding a predetermined value to the maximum value of the element of the initial learning input signal and a value obtained by subtracting the predetermined value from the minimum value of the element is used. However, an area such as a circle including the initial learning input signals belonging to the same category may be obtained, and points outside the area may be used as the boundary pattern.

【００６１】[0061]

【発明の効果】以上説明したように、本発明によれば、
カテゴリーの範囲外となるその周囲の境界パターンが入
力ユニット群に入力されたときに、出力ユニット群の各
ユニットの出力を「０」または小さな値となるように学
習させることにより、結果的にそのカテゴリーから遠く
はなれたパターンに対しても出力ユニットの出力を小さ
な値とすることが可能となり、入力されたパターンがカ
テゴリーに属するか否かを容易、的確に判断することが
でき、誤判定をなくすことが可能となる。As described above, according to the present invention,
By learning the output of each unit of the output unit group to be "0" or a small value when a boundary pattern around the outside of the category is input to the input unit group, the result is that It is possible to make the output of the output unit a small value even for a pattern far from the category, and it is possible to easily and accurately determine whether or not the input pattern belongs to the category, eliminating erroneous determination. It becomes possible.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の実施形態に係るパターンマッチング装
置のブロック図である。FIG. 1 is a block diagram of a pattern matching device according to an embodiment of the present invention.

【図２】本発明の実施形態に係るユニットの説明図であ
る。FIG. 2 is an explanatory diagram of a unit according to the embodiment of the present invention.

【図３】本発明の実施形態に係る変換処理部の回路構成
例である。FIG. 3 is a circuit configuration example of a conversion processing unit according to the embodiment of the present invention.

【図４】本発明の実施形態に係る学習信号保持部に設け
たパターン境界設定器の構成ブロック図である。FIG. 4 is a configuration block diagram of a pattern boundary setting unit provided in a learning signal holding unit according to the embodiment of the present invention.

【図５】学習データ、境界データ、および検定に用いた
データをｘ−ｙ座標にプロットした図である。FIG. 5 is a diagram in which learning data, boundary data, and data used for a test are plotted on xy coordinates.

【図６】ニューラルネットワーク素子（ユニット）の模
式図、並びにこのユニットに用いられる入出力関数の一
種であるシグモイド関数を示す。FIG. 6 shows a schematic diagram of a neural network element (unit) and a sigmoid function which is a kind of input / output function used in this unit.

【図７】ネットワークの構成例で、（１）は階層型ネッ
トワーク、（２）は相互結合型ネットワークの模式図で
ある。FIGS. 7A and 7B are schematic diagrams of a network configuration example, in which FIG. 7A is a schematic diagram of a hierarchical network, and FIG.

【図８】３層階層型ネットワークの模式像である。FIG. 8 is a schematic image of a three-layer hierarchical network.

【図９】従来のパターンマッチングの説明図である。FIG. 9 is an explanatory diagram of conventional pattern matching.

【符号の説明】[Explanation of symbols]

１０ 受像装置 １２ パターン入力部 １４ 変換処理部 １６ 入力層 １８ 中間層 ２０ 出力層 ２２、２５ ユニット ２３、２４、２７ 結合素子 ２６ パターン出力部 ２８ メモリ ３０ 表示装置 ３２ 誤差検出部 ３４ 教師装置 ５０ 学習信号保持部 ５４ パターン境界設定器 ６０ 最大値・最小値演算部 ６４ 境界信号合成部 ６６ 境界用教師信号合成部 Reference Signs List 10 image receiving device 12 pattern input unit 14 conversion processing unit 16 input layer 18 intermediate layer 20 output layer 22, 25 unit 23, 24, 27 coupling element 26 pattern output unit 28 memory 30 display device 32 error detection unit 34 teacher device 50 learning signal Holding unit 54 Pattern boundary setting unit 60 Maximum / minimum value calculation unit 64 Boundary signal synthesis unit 66 Boundary teacher signal synthesis unit

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/00 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int. Cl. ⁷ , DB name) G06N 1/00-7/00 JST file (JOIS) CSDB (Japan Patent Office)

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 入力ユニット群に複数の学習用入力パタ
ーンを入力するとともに、入力した学習用入力パターン
に対応した出力ユニット群の出力パターンを予め定めた
教師パターンと比較して両者の誤差を求め、この誤差に
基づいて各ユニット群を構成しているユニットのしきい
値と各ユニット群を連結している結合素子の重み係数と
を補正する操作を繰り返して前記学習用入力パターンを
学習させたのち、識別すべきパターンを前記入力ユニッ
ト群に入力して識別すべきパターンに対応した前記出力
ユニット群の出力パターンを、記憶しているパターンと
対比するパターンマッチング方法において、前記各学習
用入力パターンのそれぞれに属する要素群の各境界を定
める境界パターンを前記各学習用入力パターンに基づい
て前記各学習用入力パターンの周囲に作成し、これらの
境界パターンに対応した前記出力ユニット群の各ユニッ
トの出力の教師信号を０または小さな値に設定し、前記
各境界パターンを前記各学習用入力パターンとともに学
習させたのち、任意のパターンを前記入力ユニット群に
入力することを特徴とするパターンマッチング方法。An input unit group is input with a plurality of learning input patterns, and an output pattern of an output unit group corresponding to the input learning input pattern is compared with a predetermined teacher pattern to determine an error between the two. Based on this error, the learning input pattern was learned by repeating the operation of correcting the threshold value of the unit constituting each unit group and the weight coefficient of the coupling element connecting each unit group. later, the output pattern of the output unit group corresponding to a pattern to be identified by entering the pattern to be identified to the input unit group, in the pattern matching method of comparing the stored and that pattern, each learning
Of each element group belonging to each input pattern
Based mel boundary pattern to each learning input pattern created around the respective learning input pattern, the teacher signal output of each unit of the output unit group corresponding to these <br/> boundary pattern set to 0 or a small value, the
A pattern matching method comprising: learning each boundary pattern together with each of the learning input patterns; and inputting an arbitrary pattern to the input unit group. 【請求項２】 前記各境界パターンは、対応する学習用
入力パターンに属する要素群の最大値に予め定めた値を
加算した最大境界値と、前記要素群の最小値から予め定
めた値を減算した最小境界値とを含むことを特徴とする
請求項１に記載のパターンマッチング方法。2. The method according to claim 1, wherein each of the boundary patterns is a corresponding learning pattern .
2. The method according to claim 1, further comprising: a maximum boundary value obtained by adding a predetermined value to a maximum value of an element group belonging to the input pattern; and a minimum boundary value obtained by subtracting a predetermined value from a minimum value of the element group. The pattern matching method described in 1. 【請求項３】 識別すべきパターンが入力される入力ユ
ニット群と、 前記入力パターンに対応するパターンを出力する出力ユ
ニット群と、 前記入力ユニット群と前記出力ユニット群との間に介在
させた少なくとも１つ以上の中間ユニット群と、 これら各ユニット群を連結する結合素子と、 前記入力ユニット群に入力する複数の学習用入力パター
ンと、これらの学習用入力パターンに対応して作成し
た、前記出力ユニット群の出力パターンと対比する教師
パターンとを保持する学習信号保持部とを備え、 前記各ユニット群の各ユニットは、結合素子毎に割り当
てられた重み係数を乗じた前段のユニットの出力を加算
し、この加算値と設定されたしきい値との差を独立変数
とする入出力関数に基づく演算結果を出力し、 前記学習用入力パターンを前記入力ユニット群に入力し
て得た前記出力ユニット群の出力パターンと対応する前
記教師パターンとの誤差に基づいて、前記結合素子の重
み係数と前記しきい値との補正を繰り返して前記学習用
入力パターンを学習させたのち、任意のパターンを前記
入力ユニット群に入力してパターンマッチングを行うよ
うにしたパターンマッチング装置において、 前記学習信号保持部は、前記複数の学習用入力パターン
に基づいて、各学習用入力パターンのそれぞれに属する
要素群の各境界を定める境界パターンを前記各学習用入
力パターンの周囲に生成する境界信号合成部と、前記各
境界パターンに対応した、前記出力ユニット群の各ユニ
ットの出力と対比する教師信号を０または小さな値にす
る境界教師信号合成部とを有していることを特徴とする
パターンマッチング装置。3. An input unit group to which a pattern to be identified is input, an output unit group that outputs a pattern corresponding to the input pattern, and at least a unit interposed between the input unit group and the output unit group. One or more intermediate unit groups, coupling elements connecting these unit groups, a plurality of learning input patterns to be input to the input unit group, and the output created in correspondence with these learning input patterns. A learning signal holding unit that holds an output pattern of the unit group and a teacher pattern to be compared with each other, wherein each unit of each unit group adds an output of a preceding unit multiplied by a weight coefficient assigned to each coupling element. And outputting an operation result based on an input / output function using the difference between the added value and the set threshold value as an independent variable, Based on an error between an output pattern of the output unit group obtained by inputting the input unit group to the corresponding teacher pattern and a correction of the weight coefficient of the coupling element and the threshold value by repeating the learning. After learning the input pattern for learning, in a pattern matching device configured to perform pattern matching by inputting an arbitrary pattern to the input unit group, the learning signal holding unit, based on the plurality of learning input patterns Belongs to each of the learning input patterns
The boundary pattern that defines each boundary of the element group
A boundary signal synthesizing unit generated around a force pattern, and a boundary teacher signal synthesizing unit that adjusts a teacher signal corresponding to each of the boundary patterns to an output of each unit of the output unit group to 0 or a small value. And a pattern matching device.