JPH08314879A - Method for learning neural network and neural network type pattern recognition device - Google Patents

Abstract

PURPOSE: To prevent the excess learning of a neural network. CONSTITUTION: Data for learning of high quality (data for teacher) is surely learned and data for learning which is low in quality and is difficult to be discriminated is fuzzily learned (fuzzy learning processing). This fuzzy learning processing is, for instance, controlled by a changing means changing the value of an teacher signal. For instance, the processing is controlled by a changing means 21a changing the criterion of judgment (a prescribed error sum value G) for judging the necessary time of learning.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】本発明は、ニュ−ラルネットの学習方法及
びニュ−ラルネット型パターン認識装置に関する。The present invention relates to a neural net learning method and a neural net pattern recognition device.

【０００２】[0002]

【従来の技術】ニュ−ラルネットに関しては、以下の文
献等により極めて周知である。 （ａ）．産業図書株式会社1994年9月12日発行の「ニュ
−ロ・ファジィ・遺伝的アルゴリズム」。 （ｂ）．オ−ム社平成5年1月25日発行の「ニュ−ロ・フ
ァジィ・カオス」。2. Description of the Related Art A neural net is extremely well known from the following documents. (A). Sangyo Tosho Co., Ltd. “Neuro-fuzzy genetic algorithm” published on September 12, 1994. (B). "Neuro Fuzzy Chaos" issued by Ormesha on January 25, 1993.

【０００３】ニュ−ラルネットの実用的使用分野には、
音声認識・文字認識等のパターン認識の分野がある。文
字認識装置にニュ−ラルネットを用いた従来例を図１〜
図１１を参照しつつ、説明する。尚、公知の事項なので
「発明が解決しようとする課題」の項まで、読み飛ばし
てもらっても結構である。In the field of practical use of the neural net,
There is a field of pattern recognition such as voice recognition and character recognition. A conventional example using a neural net for a character recognition device is shown in FIGS.
This will be described with reference to FIG. Since this is a publicly known matter, you may skip the section "Problems to be solved by the invention".

【０００４】この例のニュ−ラルネット型文字認識装置
は、「０」〜「９」までの数字を認識するものである。
そして、時間のかかる学習を、予め高性能なコンピュー
タにより行う。そして、この学習結果である結合係数を
ＲＯＭに覚え込ませる。商品に、このＲＯＭを搭載し
て、結合係数による演算を行い文字認識を行うものであ
る。つまり、商品後には、学習を行わないタイプであ
る。The neural net type character recognizing device of this example recognizes the numbers "0" to "9".
Then, time-consuming learning is performed in advance by a high-performance computer. Then, the coupling coefficient as the learning result is stored in the ROM. This ROM is installed in a product, and a character is recognized by performing an operation using a coupling coefficient. In other words, it is a type where learning is not performed after the product is sold.

【０００５】図１は、第１従来例の学習用のニュ−ラル
ネット型文字認識装置の構成を示す図である。図２は、
ＲＯＭを搭載したニュ−ラルネット型文字認識装置（商
品）の構成を示す図である。図３は、学習用のサンプル
データを示す図であり、この例では、「０」〜「９」を
１セットとし、１０００セット（計１万個）のサンプル
データである。FIG. 1 is a diagram showing a structure of a neural net type character recognition device for learning of a first conventional example. Figure 2
It is a figure which shows the structure of the neural net type character recognition device (commodity) which mounts ROM. FIG. 3 is a diagram showing sample data for learning. In this example, “0” to “9” are set as one set, and there are 1000 sets (10,000 pieces in total) of sample data.

【０００６】図４は、「その他」用の１０個の学習用の
サンプルデータである。図５は、正規化の１例を示す図
であり、ここでは８×８画素のデータとしている。図６
は、ニュ−ラルネット型文字認識部（１６）周辺を示す
図である。図７は、この第１従来例の教師信号を示す図
である。FIG. 4 shows 10 pieces of learning sample data for "others". FIG. 5 is a diagram showing an example of normalization, and here, data of 8 × 8 pixels is used. Figure 6
FIG. 6 is a diagram showing the vicinity of a neural net type character recognition unit (16). FIG. 7 is a diagram showing the teacher signal of the first conventional example.

【０００７】図８は、この第１従来例とは、異なる従来
の教師信号の一例を示す図である。図９は、この第１従
来例の動作を示す図である。図１０は、数を増やした学
習用のサンプルデータを示す図であり、ここでは、
「０」〜「９」を２０００セット（計２万個）のサンプ
ルデータを学習することになる。FIG. 8 is a diagram showing an example of a conventional teacher signal different from the first conventional example. FIG. 9 is a diagram showing the operation of the first conventional example. FIG. 10 is a diagram showing sample data for learning in which the number is increased, and here,
2000 sets (total of 20,000) of sample data of "0" to "9" will be learned.

【０００８】図１１は、この第１従来例とは、異なる従
来のニュ−ラルネット型文字認識部（１６）周辺を示す
図である。まず、この第１従来例について、説明する。
尚、パターン認識等については、特開平4-219883号公報
(G06K9/66)、特開平5-324838号公報(G06K9/66)等にも示
されるように周知技術であるので、説明は簡単なものと
する。FIG. 11 is a diagram showing the periphery of a conventional neural net type character recognition unit (16) different from the first conventional example. First, the first conventional example will be described.
Regarding pattern recognition, etc., Japanese Patent Laid-Open No. 4-219883
(G06K9 / 66) and Japanese Patent Application Laid-Open No. 5-324838 (G06K9 / 66), which are well-known techniques, the description will be simple.

【０００９】図１において、１０は学習用サンプルデー
タ（教師用サンプルデータ）が、格納された記憶部であ
る。この教師用サンプルデータ記憶部１０には、図３及
び図４に示されるように予かじめ正解の分かっているサ
ンプルデータが、１００１０個格納されている。１２
は、入力されたサンプルデータを正規化する正規化部で
ある。ここでは、図５に示される様に、８×８画素のデ
ータに揃える。In FIG. 1, reference numeral 10 denotes a storage unit in which learning sample data (teacher sample data) is stored. The teacher sample data storage unit 10 stores 10010 pieces of sample data whose pre-correct answer is known as shown in FIGS. 3 and 4. 12
Is a normalization unit that normalizes the input sample data. Here, as shown in FIG. 5, the data is aligned to 8 × 8 pixels.

【００１０】図１の１４は、認識処理を容易にするため
の特徴抽出部である。この特徴抽出部１４は、前処理部
とも呼ばれる。この特徴抽出部１４の処理としては、骨
格化（細線化）、平均輝度抽出、方向成分の抽出等の種
々の処理が、従来から提案されている。この部１４は、
認識処理を容易にするためのものであり、削除しても動
作するが、一般的には、認識率は低下する。当然、この
特徴抽出部での抽出する特徴を下手に選ぶと、反対に認
識率は低下する。Reference numeral 14 in FIG. 1 is a feature extraction unit for facilitating the recognition process. The feature extraction unit 14 is also called a preprocessing unit. As the processing of the feature extraction unit 14, various processing such as skeletonization (thinning), average luminance extraction, and direction component extraction have been conventionally proposed. This part 14
This is for facilitating the recognition process, and even if it is deleted, it operates, but in general, the recognition rate is lowered. Naturally, if the feature to be extracted by the feature extracting unit is poorly selected, the recognition rate will be lowered.

【００１１】１６は、ニュ−ラルネット型文字認識部で
ある。この詳細は、図６で述べる。図１の１８は、教師
信号出力部である。この教師信号出力部１８には、サン
プルデータの正解データが、入力され、この正解データ
に対応する図７の教師信号を出力する。尚、この例で
は、ニュ−ラルネット型文字認識部１６の出力層の端子
数は、図６の如く、１１端子である。従って、図７の如
く、設計したが、端子数が４ならば、図８の如く設計す
ることも考えられる。Reference numeral 16 is a neural net type character recognition unit. The details will be described with reference to FIG. Reference numeral 18 in FIG. 1 is a teacher signal output unit. Correct data of the sample data is input to the teacher signal output unit 18, and the teacher signal of FIG. 7 corresponding to the correct data is output. In this example, the number of terminals in the output layer of the neural net type character recognition unit 16 is 11, as shown in FIG. Therefore, although it is designed as shown in FIG. 7, if the number of terminals is 4, it is also possible to design as shown in FIG.

【００１２】図１の２０は、学習を制御する学習制御部
である。この学習制御部２０は、ニュ−ラルネット型文
字認識部１６の出力信号と、教師信号との差（誤差）に
より、学習を制御する。そして、バックプロパゲ−ショ
ン法（ＢＰ法）により、ニュ−ラルネット型文字認識部
１６内の各階層間の結合係数（重み係数）を少しずつ修
正する。Reference numeral 20 in FIG. 1 is a learning control unit for controlling learning. The learning control unit 20 controls learning based on the difference (error) between the output signal of the neural net type character recognition unit 16 and the teacher signal. Then, the back-propagation method (BP method) is used to gradually correct the coupling coefficient (weighting coefficient) between the layers in the neural net type character recognition unit 16.

【００１３】２２は、ＲＯＭである。このＲＯＭ２２に
は、学習終了後にニュ−ラルネット型文字認識部１６内
の各階層間の結合係数（重み係数）が、記憶される。図
２は、商品を示す図である。２４は、文字列データの入
力部である。２６は、文字列データを１字に切り分ける
文字切り出し部である。Reference numeral 22 is a ROM. The ROM 22 stores the coupling coefficient (weighting coefficient) between layers in the neural net type character recognition unit 16 after learning is completed. FIG. 2 is a diagram showing products. Reference numeral 24 is an input unit for character string data. Reference numeral 26 is a character cutout unit that divides the character string data into one character.

【００１４】１２ａは、切り出された文字データを正規
化する正規化部である。ここでは、図５に示される様
に、８×８画素のデータに揃える。図１の正規化部１２
と全く同じ処理を行う。１４ａは、認識処理を容易にす
るための特徴抽出部である。この特徴抽出部１４ａは、
前述の特徴抽出部１４と全く同じ処理を行う。もし、図
１の特徴抽出部１４が設けられていなければ、当然、こ
の特徴抽出部１４ａも設けない。Reference numeral 12a is a normalization unit for normalizing the cut out character data. Here, as shown in FIG. 5, the data is aligned to 8 × 8 pixels. Normalization unit 12 in FIG.
Do exactly the same as. Reference numeral 14a is a feature extraction unit for facilitating the recognition process. This feature extraction unit 14a
The same processing as the above-mentioned feature extraction unit 14 is performed. If the feature extraction unit 14 of FIG. 1 is not provided, naturally, the feature extraction unit 14a is not provided.

【００１５】１６ａは、ニュ−ラルネット型文字認識部
である。ニュ−ラルネット型文字認識部１６ａは、ニュ
−ラルネット型文字認識部１６と同じ構成であり、且
つ、結合係数は前記ＲＯＭ２２により、設定される。２
４は、文字認識結果を出力する出力部である。図６は、
学習時のニューラルネット型認識部１６の周辺を示す図
である。Reference numeral 16a is a neural net type character recognition unit. The neural net type character recognition unit 16a has the same configuration as the neural net type character recognition unit 16, and the coupling coefficient is set by the ROM 22. Two
An output unit 4 outputs a character recognition result. FIG.
It is a figure which shows the periphery of the neural network type recognition part 16 at the time of learning.

【００１６】ここでは、正規化部１２の８×８画素の文
字データをそのまま特徴抽出データとしている。つま
り、８×８＝６４個のデータを出力している。ニューラ
ルネット型認識部１６は、３層である。認識部１６の入
力層の端子数は、６４個である。出力層の端子数は、１
１個であり、左から「０」〜「９」「ＥＸ（その他）」
に対応している。Here, the character data of 8 × 8 pixels of the normalization unit 12 is directly used as the feature extraction data. That is, 8 × 8 = 64 pieces of data are output. The neural network type recognition unit 16 has three layers. The number of terminals in the input layer of the recognition unit 16 is 64. The number of terminals in the output layer is 1
1 from the left, "0" to "9""EX(other)"
It corresponds to.

【００１７】２０ａは、認識部１６の出力信号と、教師
信号との差を出力する誤差出力部である。２０ｂは、こ
の誤差に応じて、ＢＰ法により、各層間の結合係数（Ｗ
ｈｏ，Ｖｉｊ）を少しずつ補正する修正部である。２０
ｃは、この誤差の総和が所定値より大きな場合に、前記
修正部２０ｂによる補正を行わしめる誤差総和検出部で
ある。言い換えれば、誤差総和検出部２０ｃは、誤差の
総和が所定値より小さな場合は、修正部２０ｂによる学
習処理（結合係数の修正処理）を停止させる。Reference numeral 20a is an error output unit for outputting the difference between the output signal of the recognition unit 16 and the teacher signal. 20b, according to this error, by the BP method, the coupling coefficient (W
ho, Vij) is a correction unit for correcting little by little. 20
Reference numeral c is an error sum detection unit for performing correction by the correction unit 20b when the sum of the errors is larger than a predetermined value. In other words, the error sum total detection unit 20c stops the learning process (coupling coefficient correction process) by the correction unit 20b when the error sum is smaller than the predetermined value.

【００１８】この誤差出力部２０ａ，修正部２０ｂ，誤
差総和検出部２０ｃが、前述の学習制御部２０を構成し
ている。この第１従来例での学習時の動作を図９を参照
しつつ、説明する。尚、第１従来例の学習は、巡回回数
（繰り返し回数）を設定するタイプである。このタイプ
は、所定回数巡回すると、学習を終了する。尚、当然、
収束条件を満たす場合に、学習を終了する様にしてもよ
い。The error output unit 20a, the correction unit 20b, and the error sum detection unit 20c constitute the learning control unit 20 described above. The operation during learning in the first conventional example will be described with reference to FIG. The learning of the first conventional example is a type in which the number of rounds (the number of repetitions) is set. With this type, learning is completed after a predetermined number of rounds. Of course,
The learning may be terminated when the convergence condition is satisfied.

【００１９】まず、図９のＳ１に示すように、巡回回数
ｍを設定する。そして、図９のＳ２に示すように、サン
プルデータを入力する。つまり、図１の教師用サンプル
データ記憶部１０は、図３又は図４に示すサンプルデー
タを図１の正規化部１２に順次出力し、対応する正解デ
ータを教師信号出力部１８に出力する。First, as shown in S1 of FIG. 9, the number of rounds m is set. Then, as shown in S2 of FIG. 9, sample data is input. That is, the teacher sample data storage unit 10 of FIG. 1 sequentially outputs the sample data shown in FIG. 3 or 4 to the normalization unit 12 of FIG. 1, and outputs the corresponding correct answer data to the teacher signal output unit 18.

【００２０】サンプルデータは、正規化部１２で正規化
され、特徴抽出部１４を介して、認識部１６に入力され
る。認識部１６は、結合係数に基づいて演算処理を行
い、出力層から出力信号を出す。図９のＳ３に示すよう
に、出力信号と教師信号とを比較して、誤差を求める。The sample data is normalized by the normalization unit 12 and input to the recognition unit 16 via the feature extraction unit 14. The recognition unit 16 performs arithmetic processing based on the coupling coefficient and outputs an output signal from the output layer. As shown in S3 of FIG. 9, the error is obtained by comparing the output signal with the teacher signal.

【００２１】つまり、図６の誤差出力部２０ａは、出力
信号と教師信号とを比較して、誤差を出力する。図９の
Ｓ４，Ｓ５に示す様に、誤差の総和が、０．５以下か否
かを求める。０．５以下であれば、学習の必要無しとす
る。０．５より大きければ、Ｓ５でＢＰ法により、誤差
が小さくなるように、結合係数を微調整する。That is, the error output unit 20a in FIG. 6 compares the output signal with the teacher signal and outputs the error. As shown in S4 and S5 of FIG. 9, it is determined whether the total error is 0.5 or less. If it is 0.5 or less, learning is not required. If it is larger than 0.5, the coupling coefficient is finely adjusted in S5 by the BP method so that the error becomes small.

【００２２】つまり、図６の誤差総和検出部２０ｃは、
誤差の総和が、０．５以下であれば、修正部２０ｂの動
作を停止させる。これにより、不必要な学習を除外出
来、学習効率が上がる。図９のＳ６に示すように、最後
のデータ（１万１０個目のデータ）でなければ、次のサ
ンプルデータで同様に処理する。That is, the error sum detection unit 20c shown in FIG.
If the total error is 0.5 or less, the operation of the correction unit 20b is stopped. As a result, unnecessary learning can be excluded and learning efficiency is improved. As shown in S6 of FIG. 9, if it is not the last data (10th data), the next sample data is similarly processed.

【００２３】図９のＳ７，Ｓ８に示すように、この１万
１０個目のデータによる学習をｍ回繰り返した後に、Ｓ
９の如く、学習を終了し、結合係数をＲＯＭ２２に取り
出す。そして、図２に示すように、このＲＯＭ２２を使
用すれば、学習済みの図１のニュ−ラルネット型認識部
１６を図２のニュ−ラルネット型認識部１６ａにそっく
り再生出来るので、これを用いて文字認識を行う。As shown in S7 and S8 of FIG. 9, after learning with the 10th data is repeated m times, S
As shown in 9, the learning is finished and the coupling coefficient is taken out to the ROM 22. As shown in FIG. 2, if the ROM 22 is used, the learned neural net type recognition unit 16 of FIG. 1 can be reproduced exactly like the neural net type recognition unit 16a of FIG. Performs character recognition.

【００２４】このようなニュ−ラルネット型認識部の認
識率を上げるには、図１０に示すようにサンプルデータ
数を増やせば良い。又、この図６の例では、特徴抽出部
１４は不動作であったが、図１１のように、正規化後の
データを８方向の４×４画素の方向成分に変換する特徴
抽出部１４を設けて、これを入力してもよい。尚、この
図１１の認識部１６の入力層の端子数は、８×４×４＝
１２８個となる。To increase the recognition rate of such a neural net type recognition unit, the number of sample data may be increased as shown in FIG. Further, in the example of FIG. 6, the feature extracting unit 14 is inoperative, but as shown in FIG. 11, the feature extracting unit 14 that converts the normalized data into the directional components of 4 × 4 pixels in eight directions. May be provided and this may be input. The number of terminals in the input layer of the recognition unit 16 in FIG. 11 is 8 × 4 × 4 =
It will be 128.

【００２５】[0025]

【発明が解決しようとする課題】認識の性能を上げるた
めには、前述の図１０のように、学習するサンプル数を
増加する。そして、学習するサンプル数を増加しても、
十分に学習できるように、巡回（繰り返し学習）の回数
を増やす。In order to improve the recognition performance, the number of samples to be learned is increased as shown in FIG. And even if you increase the number of samples to learn,
Increase the number of cycles (repetitive learning) so that you can fully learn.

【００２６】しかし、このような手法は、新たな問題を
引き起こす。増加した多くのサンプルデータの中には、
正解データは異なるが、サンプルデータは非常に類似し
ているものがある。このようなサンプルデータで学習を
行うと、以下の問題が発生しやすくなる。However, such a method causes a new problem. Among the many increased sample data,
Although the correct data are different, some sample data are very similar. When learning is performed using such sample data, the following problems are likely to occur.

【００２７】．学習に時間がかかる。 ．認識率が低下する。 ．さらに、認識時に、学習時のサンプルと同じデータ
が入力されると、正確な答えを出力する。しかし、認識
時に、学習時のサンプルのデータと近い他のデータが入
力されると、大きくかけ離れた（とんでもない）答えを
出力する可能性が高まる。[0027] It takes time to learn. ． The recognition rate decreases. ． Furthermore, when the same data as the sample at the time of learning is input at the time of recognition, an accurate answer is output. However, at the time of recognition, if other data that is close to the sample data at the time of learning is input, there is an increased possibility of outputting an answer that is far apart (ridden).

【００２８】このように、ニューラルネットも、人間と
同様に、一般的には、時間をかけて学習すればするほ
ど、「賢く」なるが、教師の与える練習問題に矛盾があ
ると、ニューラルネットは混乱を起こして、認識率が低
下したり、独特な認識処理を行うようになる。このた
め、このようなことを引き起こすサンプルデータの学習
を停止することが、考えられている。As described above, the neural network generally becomes "wiser" as it takes more time to learn, like a human, but if the training problem given by the teacher is inconsistent, the neural network is Causes confusion, the recognition rate is reduced, and unique recognition processing is started. Therefore, it is considered to stop the learning of the sample data that causes such a thing.

【００２９】しかし、これでは、いままでの学習によっ
て得た知識に合致しやすいデータだけ学習し、いままで
の学習によって得た知識と合致しにくい（矛盾する可能
性を持つ）データは、学習しないこととなる。この手法
は、自分の殻に閉じこもる学習であり、「自閉的学習」
である。本願は、上記の欠点（過剰学習、又は、過学習
と呼ばれている）を「自閉的学習」とは、異なる手法
で、改善することを、目的とする。However, in this case, only the data that is easy to match the knowledge acquired by the previous learning is learned, and the data that is difficult to match the knowledge acquired by the previous learning (possibly inconsistent) is not learned. It will be. This method is learning that stays in your own shell, and is called "autistic learning".
Is. The present application aims to remedy the above-mentioned drawbacks (which are referred to as over-learning or over-learning) by a method different from “autistic learning”.

【００３０】つまり、本願は、矛盾する可能性を持つデ
ータを含む数多くのデータを学習しても、学習が収束し
やすいニューラルネットの学習法及び装置を提案するも
のである。That is, the present application proposes a learning method and apparatus for a neural network in which learning is likely to converge even if a large number of data including data having a possibility of inconsistency are learned.

【００３１】[0031]

【課題を解決するための手段】本発明は、ニュ−ラルネ
ットの学習方法において、品質の高い学習用のデータは
確実に学習し、品質の低い学習用のデータは曖昧に学習
することを特徴とする。本発明は、出力信号と教師信号
との誤差が所定値（Ｇ）より大きな場合に学習を行うニ
ュ−ラルネットの学習方法において、品質の低い学習用
のデータが入力された場合、品質の高い学習用のデータ
が入力された場合に比べて、前記所定値（Ｇ）の値を上
げることを特徴とする。The present invention is characterized in that, in a neural net learning method, high-quality learning data is surely learned, and low-quality learning data is ambiguously learned. To do. The present invention is a method of learning a neural net that performs learning when an error between an output signal and a teacher signal is larger than a predetermined value (G), and when high-quality learning data is input, high-quality learning is performed. It is characterized in that the value of the predetermined value (G) is increased as compared with the case where data for input is input.

【００３２】本発明は、出力信号と教師信号との誤差が
所定値より大きな場合に学習を行うニュ−ラルネットの
学習方法において、品質の高い学習用のデータが入力さ
れた場合と、品質の低い学習用のデータが入力された場
合とで、前記教師信号の値を変更することを特徴とす
る。本発明は、学習用のサンプルデータと、この学習用
のサンプルデータの正解データにより、学習を行うニュ
ーラルネットの学習方法において、前記サンプルデータ
を品質に応じて分類し、学習時に、前記正解データより
作成される教師信号の値を、前記分類によって変更する
ことを特徴とする。According to the present invention, in a learning method of a neural net which performs learning when an error between an output signal and a teacher signal is larger than a predetermined value, a case where high quality learning data is input and a quality is low. The value of the teacher signal is changed when learning data is input. The present invention, in a learning method of a neural network that performs learning by using sample data for learning and correct answer data of the sample data for learning, classifies the sample data according to quality, and at the time of learning, from the correct answer data It is characterized in that the value of the teacher signal created is changed according to the classification.

【００３３】本発明は、学習用のサンプルデータを入力
した結果の出力信号と、この学習用のサンプルデータの
正解データより作成した教師信号との誤差が、所定値
（Ｇ）より大きな場合に学習を行うニュ−ラルネットの
学習方法において、前記サンプルデータを品質に応じて
分類し、学習時に、前記分類によって前記所定値（Ｇ）
の値を変更することを特徴とする。According to the present invention, learning is performed when an error between an output signal obtained as a result of inputting learning sample data and a teacher signal created from correct data of the learning sample data is larger than a predetermined value (G). In the learning method of a neural net, the sample data is classified according to quality, and at the time of learning, the predetermined value (G) is classified by the classification.
It is characterized by changing the value of.

【００３４】本発明は、ニューラルネット型認識装置に
おいて、上述のいずれかの学習方法で求めたニューラル
ネットの結合係数（Ｖｉｈ，Ｗｈｏ）により、認識処理
を行うことを特徴とする。本発明は、学習用のサンプル
データ及びこのデータに対応する正解データを備えるデ
ータ入力手段（１０）と、前記サンプルデータから作成
した情報データを入力とするニューラルネット型認識部
（１６）と、前記正解データから教師信号を作成する教
師信号出力手段（１８）と、前記ニューラルネット型認
識部（１６）の出力信号と前記教師信号とを比較する誤
差出力手段（２０ａ）と、この誤差に応じて前記結合係
数を調整する修正手段（２０ｂ）とを備えるニューラル
ネット型認識装置において、前記サンプルデータの品質
に応じた分類により、前記学習の程度を変更する変更手
段（２１ａ，２１ｂ）を備えることを特徴とする。The present invention is characterized in that, in the neural network type recognition apparatus, the recognition processing is performed by the coupling coefficient (Vih, Who) of the neural network obtained by any one of the learning methods described above. The present invention provides a data input means (10) comprising sample data for learning and correct data corresponding to this data, a neural network type recognition section (16) which inputs information data created from the sample data, Teacher signal output means (18) for creating a teacher signal from correct data, error output means (20a) for comparing the output signal of the neural network type recognition section (16) with the teacher signal, and the error output means (20a) according to this error. A neural net type recognition device comprising a correction means (20b) for adjusting the coupling coefficient, and a change means (21a, 21b) for changing the degree of learning by classification according to the quality of the sample data. Characterize.

【００３５】本発明は、学習用のサンプルデータ及びこ
のデータに対応する正解データを備えるデータ入力手段
（１０）と、前記サンプルデータから作成した情報デー
タを入力とするニューラルネット型認識部（１６）と、
前記正解データから教師信号を作成する教師信号出力手
段（１８）と、前記ニューラルネット型認識部（１６）
の出力信号と前記教師信号を比較する誤差出力手段（２
０ａ）と、この誤差が所定値（Ｇ）より大きな場合に、
この誤差に応じて前記結合係数を調整する修正手段（２
０ｂ，２０ｃ）とを備えるニューラルネット型パターン
認識装置において、前記サンプルデータの品質に応じた
分類により、前記所定値（Ｇ）を変更する変更手段（２
１ａ）を備えることを特徴とする。According to the present invention, data input means (10) having sample data for learning and correct data corresponding to this data, and a neural network type recognition unit (16) which receives information data created from the sample data as input. When,
Teacher signal output means (18) for generating a teacher signal from the correct answer data, and the neural network type recognition unit (16)
Error output means (2) for comparing the output signal of
0a) and this error is larger than a predetermined value (G),
Correction means for adjusting the coupling coefficient according to this error (2
0b, 20c), the changing means (2) for changing the predetermined value (G) according to the classification according to the quality of the sample data.
1a).

【００３６】本発明は、学習用のサンプルデータ及びこ
のデータに対応する正解データを備えるデータ入力手段
（１０）と、前記サンプルデータから作成した情報デー
タを入力とするニューラルネット型認識部（１６）と、
前記正解データから教師信号を作成する教師信号出力手
段（１８）と、前記ニューラルネット型認識部（１６）
の出力信号と前記教師信号を比較する誤差出力手段（２
０ａ）と、この誤差に応じて前記結合係数を調整する学
習制御手段（２０ｂ）とを備えるニューラルネット型パ
ターン認識装置において、前記サンプルデータの品質に
応じて、前記教師信号の値を変更する変更手段（２１
ｂ）を備えることを特徴とする。According to the present invention, data input means (10) having sample data for learning and correct data corresponding to this data, and a neural network type recognition unit (16) which receives information data created from the sample data as input. When,
Teacher signal output means (18) for generating a teacher signal from the correct answer data, and the neural network type recognition unit (16)
Error output means (2) for comparing the output signal of
0a) and a learning control means (20b) for adjusting the coupling coefficient according to the error, a change for changing the value of the teacher signal according to the quality of the sample data. Means (21
b) is provided.

【００３７】本発明は、前述のデータ入力手段（１０）
は、更に前記サンプルデータに対応し、このサンプルデ
ータの品質を示す品質データを格納し、前記変更手段
（２１ａ）は、この品質データにより制御されることを
特徴とする。本発明は、前述のデータ入力手段（１０）
は、前記データ入力手段（１０）は、更に前記サンプル
データに対応し、このサンプルデータの品質を示す品質
データを格納し、前記変更手段（２１ｂ）は、この品質
データにより制御されることを特徴とする。The present invention provides the above-mentioned data input means (10).
Further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21a) is controlled by the quality data. The present invention provides the above-mentioned data input means (10).
The data input means (10) further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21b) is controlled by the quality data. And

【００３８】[0038]

【作用】本発明によれば、品質の高い（信頼性の高い）
教師用データは真面目に学習し、品質の低い（信頼性の
低い）教師用データは曖昧に学習するので、信頼性の低
い教師用データにより、ニューラルネットが、不必要に
混乱することを防止できる。According to the present invention, high quality (high reliability)
Since the teacher data is learned seriously and the low-quality (low-reliability) teacher data is vaguely learned, the unreliable teacher data can prevent the neural network from being confused unnecessarily. .

【００３９】本発明によれば、所定値（Ｇ）の値を上げ
ることにより、ニューラルネットが、不必要に混乱する
（過学習する）ことを防止できる。本発明によれば、品
質の高い学習用のデータが入力された場合と、品質の低
い学習用のデータが入力された場合とで、前記教師信号
の値を変更することにより、ニューラルネットが不必要
に混乱する（過学習する）ことを防止できる。According to the present invention, by increasing the value of the predetermined value (G), it is possible to prevent the neural network from being unnecessarily confused (overlearned). According to the present invention, the neural network is disabled by changing the value of the teacher signal depending on whether high-quality learning data is input or low-quality learning data is input. It can prevent you from being confused (over-learning) when necessary.

【００４０】本発明によれば、サンプルデータを品質に
応じて分類し、学習時に、教師信号の値を、前記品質の
分類によって変更することにより、ニューラルネットが
不必要に混乱する（過学習する）ことを防止できる。本
発明によれば、サンプルデータを品質に応じて分類し、
学習時に、前記分類によって誤差総和所定値（Ｇ）の値
を、前記分類した品質に応じて変更することにより、ニ
ューラルネットが不必要に混乱する（過学習する）こと
を防止できる。According to the present invention, the sample data is classified according to the quality and the value of the teacher signal is changed at the time of learning by the classification of the quality, so that the neural network is unnecessarily confused (over-learning). ) Can be prevented. According to the present invention, sample data is classified according to quality,
By changing the value of the error sum predetermined value (G) according to the classified quality at the time of learning, it is possible to prevent the neural network from being unnecessarily confused (overlearned).

【００４１】本発明によれば、ニューラルネット型認識
装置は、上述の学習法により、得られたニューラルネッ
トの結合係数（Ｖｉｈ，Ｗｈｏ）により、認識処理を行
う。本発明によれば、変更手段（２１ａ，２１ｂ）によ
り、サンプルデータの品質に応じて、学習が為される。
本発明によれば、変更手段（２１ａ）により、サンプル
データの品質に応じて誤差総和所定値（Ｇ）が変更され
る。According to the present invention, the neural network type recognition apparatus performs the recognition processing by the coupling coefficient (Vih, Who) of the obtained neural network by the above learning method. According to the present invention, the changing unit (21a, 21b) performs learning according to the quality of the sample data.
According to the present invention, the changing means (21a) changes the error sum predetermined value (G) according to the quality of the sample data.

【００４２】本発明によれば、変更手段（２１ｂ）によ
り、サンプルデータの品質に応じて、前記教師信号の値
が変更される。更に、本発明によれば、データ入力手段
（１０）は、更に前記サンプルデータに対応しこのサン
プルデータの品質を示す品質データを格納し、前記変更
手段（２１ａ）は、この品質データにより制御される。According to the present invention, the changing means (21b) changes the value of the teacher signal according to the quality of the sample data. Furthermore, according to the present invention, the data input means (10) further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21a) is controlled by the quality data. It

【００４３】更に、本発明によれば、データ入力手段
（１０）は、更に前記サンプルデータに対応しこのサン
プルデータの品質を示す品質データを格納し、前記変更
手段（２１ｂ）は、この品質データにより制御される。Furthermore, according to the present invention, the data input means (10) further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21b) stores the quality data. Controlled by.

【００４４】[0044]

【実施例】図１２〜図１４、図１を参照しつつ、本発明
の第１実施例を説明する。まず、学習するデータを示す
図１３を説明する。従来の図１０で示した２０００セッ
トの「０」〜「９」のデータを品質に応じてセット単位
で並べ替える。DESCRIPTION OF THE PREFERRED EMBODIMENTS A first embodiment of the present invention will be described with reference to FIGS. First, FIG. 13 showing data to be learned will be described. The 2000 sets of “0” to “9” data shown in FIG. 10 of the related art are rearranged in set units according to quality.

【００４５】この並び替えたデータが、図１３である。
ここで、１０１セット目（１０１０個目のデータ）まで
は、品質が良いものとする。それ以降は、品質は悪いも
のとする。このデータを図１の教師用サンプルデータ記
憶部１０に記憶させる。図１２の説明をする。なお、図
６，図１１と同一部分には同一符号を付した。The rearranged data is shown in FIG.
Here, up to the 101st set (1010th data), the quality is good. After that, the quality will be poor. This data is stored in the teacher sample data storage unit 10 of FIG. 12 will be described. The same parts as those in FIGS. 6 and 11 are designated by the same reference numerals.

【００４６】図１２において、１４は特徴抽出部であ
る。この特徴抽出部１４は、正規化部１２の８×８画素
のデータをそのまま出力すると共に、このデータから抽
出した４方向の成分を４×４画素のデータとして出力す
る。つまり、８×８＋４×４×４＝１２８個のデータを
出力する。ニューラルネット認識部１６は、これらの１
２８画素のデータにより、文字認識のための学習を行
う。In FIG. 12, 14 is a feature extraction unit. The feature extraction unit 14 outputs the data of 8 × 8 pixels of the normalization unit 12 as it is, and outputs the components in four directions extracted from this data as data of 4 × 4 pixels. That is, 8 × 8 + 4 × 4 × 4 = 128 pieces of data are output. The neural network recognition unit 16 uses these 1
Learning for character recognition is performed using 28-pixel data.

【００４７】２１ａは、第１実施例の特徴である学習特
性切替回路（変更手段）である。この切替回路２１ａ
は、１０１０個目までのデータには誤差総和所定値を
０．５とし、１０１１個目以降の誤差総和所定値を１．
０に切り替える。この第１実施例の動作を図１４を参照
しつつ、説明する。図１４のＳ１に示すように、巡回回
数ｍを設定する。Reference numeral 21a is a learning characteristic switching circuit (changing means) which is a feature of the first embodiment. This switching circuit 21a
The predetermined error sum total value is 0.5 for the 1010th data, and the error sum predetermined value after the 1011th data is 1.
Switch to 0. The operation of the first embodiment will be described with reference to FIG. As shown in S1 of FIG. 14, the number of rounds m is set.

【００４８】図１４のＳ１１に示すように、誤差総和所
定値Ｇを０．５に設定する。つまり、図１２の切替回路
２１ａは、誤差総和部２０ｃの誤差総和所定値Ｇを０．
５に設定する。図１４のＳ２に示すように、サンプルデ
ータを入力する。つまり、図１３又は図４に示すサンプ
ルデータを正規化部１２に出力し、正解データを教師信
号出力部１８に出力する。As shown in S11 of FIG. 14, the error sum predetermined value G is set to 0.5. That is, the switching circuit 21a in FIG. 12 sets the error sum predetermined value G of the error summation unit 20c to 0.
Set to 5. As shown in S2 of FIG. 14, sample data is input. That is, the sample data shown in FIG. 13 or 4 is output to the normalization unit 12, and the correct answer data is output to the teacher signal output unit 18.

【００４９】サンプルデータは、正規化部１２で正規化
され、特徴抽出部１４を介して、認識部１６に入力され
る。認識部１６は、結合係数に基づいて演算処理を行
い、出力層から出力信号を出す。図１４のＳ３に示すよ
うに、出力信号と教師信号とを比較して、誤差を求め
る。図１２の誤差出力部２０ａは、出力信号と教師信号
とを比較して、誤差を出力する。The sample data is normalized by the normalization unit 12 and input to the recognition unit 16 via the feature extraction unit 14. The recognition unit 16 performs arithmetic processing based on the coupling coefficient and outputs an output signal from the output layer. As shown in S3 of FIG. 14, the error is obtained by comparing the output signal with the teacher signal. The error output unit 20a in FIG. 12 compares the output signal with the teacher signal and outputs the error.

【００５０】図１４のＳ４，Ｓ５に示す様に、誤差の総
和が、Ｇ以下か否かを求める。ここで、Ｇ＝０．５なの
で、０．５以下であれば、学習の必要無しとする。０．
５より大きければ、Ｓ５でＢＰ法により、誤差が小さく
なるように、結合係数を微調整する。つまり、図１２の
誤差総和検出部２０ｃは、誤差の総和が、０．５以下で
あれば、修正部２０ｂの動作を停止させる。As shown in S4 and S5 of FIG. 14, it is determined whether the total sum of the errors is G or less. Here, since G = 0.5, if 0.5 or less, learning is not required. 0.
If it is larger than 5, the coupling coefficient is finely adjusted by the BP method in S5 so that the error becomes small. That is, the error sum total detection unit 20c in FIG. 12 stops the operation of the correction unit 20b when the error sum total is 0.5 or less.

【００５１】これにより、不必要な学習を除外出来、学
習効率が上がる。図１４のＳ６に示すように、最後のデ
ータ（２万１０個目のデータ）でなければ、次のサンプ
ルデータで同様に処理する。しかし、図１４のＳ５１，
Ｓ５２に示すように、１０１１番目のデータ以降のは、
Ｇ＝１．０として、サンプルデータを処理している。As a result, unnecessary learning can be excluded and learning efficiency is improved. As shown in S6 of FIG. 14, if it is not the last data (20th data), the next sample data is similarly processed. However, S51 of FIG.
As shown in S52, after the 1011th data,
The sample data is processed with G = 1.0.

【００５２】つまり、図１２の切替回路２１ａは、１０
１１番目のサンプルデータ以降は、誤差総和検出部２０
ｃの誤差総和所定値Ｇを１．０に設定変更する。１０１
１番目以降のサンプルデータは、図１４のＳ４，Ｓ５に
示す様に、誤差の総和が、Ｇ以下か否かを求める。ここ
で、Ｇ＝１．０なので、１．０以下であれば、学習の必
要無しとする。１．０より大きければ、Ｓ５でＢＰ法に
より、誤差が小さくなるように、結合係数を微調整す
る。That is, the switching circuit 21a of FIG.
After the 11th sample data, the error sum detection unit 20
The error sum predetermined value G of c is changed to 1.0. 101
For the first and subsequent sample data, as shown in S4 and S5 of FIG. 14, it is determined whether the total error is G or less. Here, since G = 1.0, if 1.0 or less, learning is not required. If it is larger than 1.0, the coupling coefficient is finely adjusted in S5 by the BP method so that the error becomes small.

【００５３】つまり、図１２の誤差総和検出部２０ｃ
は、誤差の総和が、１．０以下であれば、修正部２０ｂ
の動作を停止させる。これにより、低品質のデータに対
しては、学習する基準を低く設定することにより、曖昧
な学習が出来、学習効率が上がる。図１４のＳ７，Ｓ８
に示すように、この２万１０個目のデータによる学習を
ｍ回繰り返した後に、Ｓ９の如く、学習を終了し、結合
係数をＲＯＭ２２に取り出す。That is, the error sum detection unit 20c of FIG.
If the sum of the errors is 1.0 or less, the correction unit 20b
Stop the operation of. As a result, ambiguous learning can be performed and learning efficiency can be improved by setting a low learning standard for low-quality data. S7 and S8 of FIG.
As shown in FIG. 5, after repeating the learning with the 2010th data m times, the learning is ended and the coupling coefficient is taken out to the ROM 22 as in S9.

【００５４】尚、この第１実施例では、データを品質を
２種類に分けたが、本願は、別にこれに限定される訳で
はなく、多くの種類に分類してもよい。また、データの
品質を「０」〜「９」のセット単位で分類したが、本願
はこれに限定される訳ではなく、１データ単位で分類し
てもよい。また、本願では、予めデータを品質順に並び
替え、１０１１個目から切替回路２１ａにより、誤差総
和所定値Ｇを切り替えたが、本願は別にこれに限定され
る訳ではない。つまり、１データ毎にこのデータの品質
を表す品質データを予め付与し、この品質データによ
り、誤差総和所定値Ｇを切り替えるようにしてもよい。Although the quality of the data is divided into two types in the first embodiment, the present invention is not limited to this and may be classified into many types. Further, although the quality of data is classified in set units of “0” to “9”, the present application is not limited to this, and may be classified in one data unit. Further, in the present application, the data is rearranged in order of quality in advance, and the error sum predetermined value G is switched by the switching circuit 21a from the 1011th item, but the present application is not limited to this. That is, quality data representing the quality of this data may be provided in advance for each data, and the error sum predetermined value G may be switched according to this quality data.

【００５５】また、曖昧学習を誤差総和所定値Ｇを切り
替えずに行ってもよい。このような例を図１５〜図１
７，図１，図７，図１３を参照しつつ、本発明の第２実
施例として説明する。尚、第１実施例と同一部分には同
一符号を付して説明を省略する。まず、第１実施例と同
様に学習するデータは、図１３のものである。Further, the ambiguity learning may be performed without switching the error sum predetermined value G. Such an example is shown in FIGS.
A second embodiment of the present invention will be described with reference to FIG. 7, FIG. 1, FIG. 7, and FIG. The same parts as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted. First, the data to be learned in the same manner as in the first embodiment is that of FIG.

【００５６】ここでも、１０１セット目（１０１０個目
のデータ）までは、品質が良いものとする。それ以降
は、品質は悪いものとする。このデータを図１の教師用
サンプルデータ記憶部１０に記憶させる。図１５におい
て、１４は特徴抽出部である。この特徴抽出部１４は、
８×８画素のデータと、このデータから抽出した４方向
の４×４画素のデータを出力する。Here again, the quality is good up to the 101st set (1010th data). After that, the quality will be poor. This data is stored in the teacher sample data storage unit 10 of FIG. In FIG. 15, 14 is a feature extraction unit. This feature extraction unit 14
The data of 8 × 8 pixels and the data of 4 × 4 pixels in four directions extracted from this data are output.

【００５７】ニューラルネット認識部１６は、これらの
１２８画素のデータにより、文字認識のための学習を行
う。１８は、教師信号出力部である。この教師信号出力
部１８は、正解データに対応して、教師信号を出力す
る。この出力テーブルとして、図７以外に図１６のテー
ブルも備えている。The neural network recognition unit 16 carries out learning for character recognition based on these 128 pixel data. Reference numeral 18 is a teacher signal output unit. The teacher signal output unit 18 outputs a teacher signal corresponding to the correct answer data. As this output table, the table of FIG. 16 is also provided in addition to FIG. 7.

【００５８】２１ｂは、第２実施例の特徴である教師特
性切替回路（変更手段）である。この切替回路２１ｂ
は、１０１０個目までのデータには、図７の教師信号を
教師信号出力回路１８より出力させる。そして、１０１
１個目以降のデータに対しては、図１６の教師信号を教
師信号出力回路１８より出力させる。この第２実施例の
動作を図１７を参照しつつ、説明する。Reference numeral 21b is a teacher characteristic switching circuit (changing means) which is a feature of the second embodiment. This switching circuit 21b
Causes the teacher signal output circuit 18 to output the teacher signal of FIG. 7 for up to the 1010th data. And 101
The teacher signal output circuit 18 outputs the teacher signal shown in FIG. 16 for the first and subsequent data. The operation of the second embodiment will be described with reference to FIG.

【００５９】図１７のＳ１に示すように、巡回回数ｍを
設定する。図１７のＳ１２に示すように、教師信号のテ
ーブルを図７のものに設定する。つまり、図１５の切替
回路２１ｂは、教師信号出力部１８のテーブルを図７の
ものに設定する。図１７のＳ２に示すように、サンプル
データを順次入力する。つまり、図１３又は図４に示す
サンプルデータを正規化部１２に出力し、正解データを
教師信号出力部１８に出力する。As shown in S1 of FIG. 17, the number of rounds m is set. As shown in S12 of FIG. 17, the teacher signal table is set to that of FIG. That is, the switching circuit 21b of FIG. 15 sets the table of the teacher signal output unit 18 to that of FIG. As shown in S2 of FIG. 17, sample data is sequentially input. That is, the sample data shown in FIG. 13 or 4 is output to the normalization unit 12, and the correct answer data is output to the teacher signal output unit 18.

【００６０】サンプルデータは、正規化部１２で正規化
され、特徴抽出部１４を介して、認識部１６に入力され
る。認識部１６は、結合係数に基づいて演算処理を行
い、出力層から出力信号を出す。図１７のＳ３に示すよ
うに、出力信号と教師信号とを比較して、誤差を求め
る。図１５の誤差出力部２０ａは、出力信号と教師信号
とを比較して、誤差を出力する。The sample data is normalized by the normalization unit 12 and input to the recognition unit 16 via the feature extraction unit 14. The recognition unit 16 performs arithmetic processing based on the coupling coefficient and outputs an output signal from the output layer. As shown in S3 of FIG. 17, the error is obtained by comparing the output signal and the teacher signal. The error output unit 20a in FIG. 15 compares the output signal with the teacher signal and outputs the error.

【００６１】図１７のＳ４，Ｓ５に示す様に、誤差の総
和が、０．５以下であれば、学習の必要無しとする。
０．５より大きければ、Ｓ５でＢＰ法により、誤差が小
さくなるように、結合係数を微調整する。つまり、図１
５の誤差総和部２０ｃは、誤差の総和が、０．５以下で
あれば、修正部２０ｂの動作を停止させる。As shown in S4 and S5 of FIG. 17, if the total error is 0.5 or less, learning is not required.
If it is larger than 0.5, the coupling coefficient is finely adjusted in S5 by the BP method so that the error becomes small. That is, FIG.
The error summation unit 20c of 5 stops the operation of the correction unit 20b when the sum of the errors is 0.5 or less.

【００６２】これにより、不必要な学習を除外出来、学
習効率が上がる。図１７のＳ６に示すように、最後のデ
ータ（２万１０個目のデータ）でなければ、次のサンプ
ルデータで同様に処理する。しかし、図１７のＳ５１，
Ｓ５３に示すように、１０１１番目のデータ以降のは、
教師信号を図１６のものに、設定変更して、サンプルデ
ータを処理している。As a result, unnecessary learning can be excluded and learning efficiency is improved. As shown in S6 of FIG. 17, if it is not the last data (20th data), the same processing is performed with the next sample data. However, S51 of FIG.
As shown in S53, after the 1011th data,
The sample signal is processed by changing the setting of the teacher signal to that of FIG.

【００６３】つまり、図１５の切替回路２１ｂは、１０
１１番目のサンプルデータ以降は、教師信号出力部１８
のテ−ブルを図１６のものに設定変更する。つまり、１
０１１番目以降のサンプルデータは、図１６に示す様
に、教師信号の正解得点が低く（１．０→０．７）設定
変更され、不正解得点が高く（０．０→０．１，０．
２，０．３）設定変更されている。That is, the switching circuit 21b of FIG.
After the 11th sample data, the teacher signal output unit 18
The table is changed to that shown in FIG. That is, 1
As shown in FIG. 16, the correct answer score of the teacher signal is low (1.0 → 0.7), and the incorrect answer score is high (0.0 → 0.1, 0) for the sample data after the 011th. ．
2, 0.3) The setting has been changed.

【００６４】これにより、低品質のデータに対しては、
学習する基準を低く設定することにより、曖昧な学習が
出来、学習効率が上がる。図１７のＳ７，Ｓ８に示すよ
うに、この２万１０個目のデータによる学習をｍ回繰り
返した後に、Ｓ９の如く、学習を終了し、結合係数をＲ
ＯＭ２２に取り出す。As a result, for low quality data,
By setting a low learning standard, ambiguous learning can be performed and learning efficiency can be improved. As shown in S7 and S8 of FIG. 17, after repeating the learning by the 210,000th data m times, the learning is terminated and the coupling coefficient is set to R as shown in S9.
Take out to OM22.

【００６５】この第２実施例では、１０１０個目のデー
タまでは、高得点の回答が認識部１６より出力されない
と（教師信号の正解得点が高く、教師信号の不正解得点
が低い）、高得点を出力するように、学習を行ってい
た。しかし、１０１１個目以降のデータでは、中得点
（教師信号の正解得点を少し低くし、教師信号の不正解
得点を少し高くする）の回答が認識部１６より出力され
ないと、学習を行う。つまり、認識部１６が、高得点の
回答を出力したり、低得点の回答を出力すると、中得点
になるように学習を行う。In the second embodiment, up to the 1010th data, if the answer of high score is not output from the recognition unit 16 (the correct answer score of the teacher signal is high and the incorrect answer score of the teacher signal is low), it is high. Learning was performed so as to output the score. However, in the 1011th and subsequent data, if the answer of the medium score (the correct answer score of the teacher signal is slightly lowered and the incorrect answer score of the teacher signal is slightly raised) is not output from the recognition unit 16, the learning is performed. That is, when the recognition unit 16 outputs a high-scoring response or a low-scoring response, the recognition unit 16 performs learning so as to have a medium score.

【００６６】尚、第２実施例でも、教師信号のテーブル
を品質に応じて２種類に分けたが、本願は、別にこれに
限定される訳ではなく、多くの種類に分類してもよい。
また、データの品質をセット単位で分類したが、本願は
これに限定される訳ではなく、１データ単位で分類して
もよい。また、第１，２実施例では、予めデータを品質
順に並び替え、１０１１個目から切り換え回路２１ａ，
２１ｂにより、特性を切り替えたが、本願は別にこれに
限定される訳ではない。つまり、１データ毎にこのデー
タの品質を表す品質データを予め付与し、この品質デー
タにより、教師信号テーブルを切り替えるようにしても
よい。In the second embodiment as well, the table of teacher signals is divided into two types according to quality, but the present invention is not limited to this and may be classified into many types.
Further, although the quality of data is classified in units of sets, the present application is not limited to this, and may be classified in units of one data. Further, in the first and second embodiments, the data is rearranged in order of quality in advance, and the switching circuit 21a from the 1011 th
21b, the characteristics are switched, but the present application is not limited to this. That is, quality data representing the quality of this data may be added in advance for each data, and the teacher signal table may be switched according to this quality data.

【００６７】また、この品質データとしては、単に、高
品質、中品質、低品質だけでなく、他の正解データへの
類似度をも示すようにしてもよい。この一例を図１８に
示す。図１８において、図１，図１２，図１５と同一部
分には、同一符号を付して、重複説明を省略する。Further, as the quality data, not only high quality, medium quality and low quality but also the degree of similarity to other correct answer data may be shown. An example of this is shown in FIG. 18, the same parts as those in FIGS. 1, 12 and 15 are designated by the same reference numerals, and the duplicate description will be omitted.

【００６８】１０は学習用サンプルデータ（教師用サン
プルデータ）が、格納された記憶部である。この教師用
サンプルデータ記憶部１０には、サンプルデータに対応
する正解データが、格納されている。さらに、サンプル
データに対応する品質データも格納されている。２１ｂ
は、教師特性切替回路（変更手段）である。Reference numeral 10 denotes a storage unit in which learning sample data (teacher sample data) is stored. Correct data corresponding to the sample data is stored in the teacher sample data storage unit 10. Further, quality data corresponding to the sample data is also stored. 21b
Is a teacher characteristic switching circuit (changing means).

【００６９】２１ｂは、学習特性切替回路（変更手段）
である。この切替回路２１ａは、品質データにより、教
師信号の特性を変更している。切替回路２１ｂは、品質
データにより、誤差総和所定値Ｇを変更している。とこ
ろで、上記実施例１，２，３では、曖昧学習を、誤差総
和所定値Ｇを変更したり、教師用テーブルを変更するこ
とにより、行った。Reference numeral 21b is a learning characteristic switching circuit (changing means).
Is. The switching circuit 21a changes the characteristics of the teacher signal according to the quality data. The switching circuit 21b changes the error sum predetermined value G according to the quality data. By the way, in the above-mentioned Examples 1, 2, and 3, the ambiguity learning is performed by changing the error sum predetermined value G or changing the teacher table.

【００７０】本願は、別にこれに限定される訳でなく、
例えば、曖昧学習時に、正解データに対応する認識部１
６の出力端子の値が他の出力端子の値に比べて、一番大
きい場合（又は２番以内の場合）に、学習を行わず、そ
れ以外の場合に学習を行うようにしてもよい。尚、上記
実施例は、図１の学習時の装置と図２の認識時の装置と
は、別々の装置であるが、本願は、これに限定されるも
のでない。The present application is not limited to this, and
For example, at the time of fuzzy learning, the recognition unit 1 corresponding to the correct answer data
If the value of the output terminal 6 is larger than the values of the other output terminals (or within 2), learning may not be performed, and learning may be performed in other cases. In the above embodiment, the learning device of FIG. 1 and the recognition device of FIG. 2 are separate devices, but the present application is not limited to this.

【００７１】また、上記実施例は、商品化後は、学習を
行わない例を示したが、本願は、これに限定されるもの
でない。また、本願は、ソフトウエアにより、実現して
もよい。また、本実施例では、基本的な３層の階層型ニ
ュ−ラルネットについて、述べたが、当然、本願は、３
層型に限定されるものではなく、教師付き学習を行うニ
ュ−ラルネットに適用可能である。Further, although the above-described embodiment shows an example in which learning is not performed after commercialization, the present application is not limited to this. Further, the present application may be realized by software. Further, in this embodiment, a basic three-layer hierarchical neural net has been described.
The present invention is not limited to the layer type, but can be applied to a neural net that performs supervised learning.

【００７２】又、特開平2-306387号公報(G06K9/66),特
開平4-155480号公報(G06F15/70)等の如く、教師用デー
タを予め複数のグループに分類し、この分類毎に個別に
学習させるものに、本願を用いても良い。また、本願で
は、文字認識について述べたが、本願は、当然、これに
限定されるものではない。Further, as in Japanese Patent Laid-Open No. 2-306387 (G06K9 / 66) and Japanese Patent Laid-Open No. 4-155480 (G06F15 / 70), teacher data is classified into a plurality of groups in advance, and each class is divided into groups. The present application may be used for learning individually. Although the present application describes character recognition, the present application is not limited to this.

【００７３】また、本願では、ニュ−ラルネットだけに
より文字認識を行う文字認識装置について述べたが、当
然、本願は、他の文字認識手法と組み合わせて、文字認
識を行う文字認識装置に用いても良い。Further, although the present application describes a character recognition device that performs character recognition only by a neural net, the present application can be naturally used in a character recognition device that performs character recognition in combination with another character recognition method. good.

【００７４】[0074]

【発明の効果】本願によれば、教師用データとして、矛
盾するようなデータが学習の対象となっても、認識率を
下げることなく、学習時間をいたずらに長くすること無
く学習することが出来る。つまり、本願によれば、過学
習を防止できる。According to the present invention, even if inconsistent data is targeted for learning as teacher data, it is possible to perform learning without lowering the recognition rate and without unnecessarily lengthening the learning time. . That is, according to the present application, overlearning can be prevented.

【図面の簡単な説明】[Brief description of drawings]

【図１】文字認識にニューラルネットを用いた場合の学
習時の回路を示す図である。FIG. 1 is a diagram showing a circuit at the time of learning when a neural network is used for character recognition.

【図２】文字認識にニューラルネットを用いた場合の認
識時の回路を示す図である。FIG. 2 is a diagram showing a circuit at the time of recognition when a neural network is used for character recognition.

【図３】学習用の１万個のサンプルデータを示す図であ
る。FIG. 3 is a diagram showing 10,000 sample data for learning.

【図４】学習用の１０個のサンプルデータを示す図であ
る。FIG. 4 is a diagram showing 10 sample data for learning.

【図５】正規化の１例を示す図である。FIG. 5 is a diagram showing an example of normalization.

【図６】ニューラルネット型文字認識部周辺を示す図で
ある。FIG. 6 is a diagram showing the vicinity of a neural net type character recognition unit.

【図７】従来の教師信号を示す図である。FIG. 7 is a diagram showing a conventional teacher signal.

【図８】出力層の端子が４個の場合の、教師信号の他の
一例を示す図である。FIG. 8 is a diagram showing another example of the teacher signal when the number of terminals of the output layer is four.

【図９】学習時の動作を説明するための図である。FIG. 9 is a diagram for explaining an operation during learning.

【図１０】学習用の２万個のサンプルデータを示す図で
ある。FIG. 10 is a diagram showing 20,000 sample data for learning.

【図１１】従来の他のニューラルネット型文字認識部周
辺を示す図である。FIG. 11 is a diagram showing the vicinity of another conventional neural net type character recognition unit.

【図１２】本発明の第１実施例を示す図である。FIG. 12 is a diagram showing a first embodiment of the present invention.

【図１３】この第１実施例の学習用の２万個のサンプル
データを示す図である。FIG. 13 is a diagram showing 20,000 sample data for learning according to the first embodiment.

【図１４】この第１実施例の動作を説明するための図で
ある。FIG. 14 is a diagram for explaining the operation of the first embodiment.

【図１５】本発明の第２実施例を示す図である。FIG. 15 is a diagram showing a second embodiment of the present invention.

【図１６】この第２実施例での追加された教師信号を示
す図である。FIG. 16 is a diagram showing an added teacher signal in the second embodiment.

【図１７】この第２実施例の動作を説明するための図で
ある。FIG. 17 is a diagram for explaining the operation of the second embodiment.

【図１８】本発明の第３実施例を示す図である。FIG. 18 is a diagram showing a third embodiment of the present invention.

【符号の説明】[Explanation of symbols]

(10)・・・・・・教師用サンプルデータ記憶部（データ
入力手段）、 (16)・・・・・・ニューラルネット型認識部、 (18)・・・・・・教師信号出力部（教師信号出力手
段）、、 (20)・・・・・・学習制御部（学習制御手段）、 (20a)・・・・・・誤差出力部（誤差出力手段）、 (20b)・・・・・・修正部（修正手段）、 (20c)・・・・・・誤差総和検出部、 (Ｇ)・・・・・・誤差総和所定値、 (21a)・・・・・・学習特性切替回路（変更手段）、 (21b)・・・・・・教師特性切替回路（変更手段）。(10) --- Teacher sample data storage unit (data input means) (16) --- Neural network type recognition unit (18) --- Teacher signal output unit ( Teacher signal output means), (20) ... Learning control section (learning control means), (20a) ... Error output section (error output means), (20b) ... ..Correction unit (correction means), (20c) ..... Total error detection unit, (G) ........ Predetermined total error value, (21a) ........ Learning characteristic switching circuit (Changing means), (21b) ... Teacher characteristic switching circuit (changing means).

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀井 洋 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 真鍋 圭三 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 ─────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Hiroi Horii 2-5-5 Keihan Hondori, Moriguchi-shi, Osaka Sanyo Electric Co., Ltd. (72) Inventor Keizo Manabe 2-chome, Keihanhondori, Moriguchi-shi, Osaka No. 5 Sanyo Electric Co., Ltd.

Claims (11)

【特許請求の範囲】[Claims] 【請求項１】 ニュ−ラルネットの学習方法において、 品質の高い学習用のデータは確実に学習し、品質の低い
学習用のデータは曖昧に学習することを特徴とするニュ
−ラルネットの学習方法。1. A method of learning a neural net, wherein learning data of high quality is surely learned, and learning data of low quality is ambiguously learned. 【請求項２】 出力信号と教師信号との誤差が所定値
（Ｇ）より大きな場合に学習を行うニュ−ラルネットの
学習方法において、 品質の低い学習用のデータが入力された場合、品質の高
い学習用のデータが入力された場合に比べて、前記所定
値（Ｇ）の値を上げることを特徴とするニュ−ラルネッ
トの学習方法。2. A neural net learning method for learning when an error between an output signal and a teacher signal is larger than a predetermined value (G). When a learning data of low quality is input, high quality is obtained. A method of learning a neural net, comprising increasing the value of the predetermined value (G) as compared with a case where learning data is input. 【請求項３】 出力信号と教師信号との誤差が所定値よ
り大きな場合に学習を行うニュ−ラルネットの学習方法
において、 品質の高い学習用のデータが入力された場合と、品質の
低い学習用のデータが入力された場合とで、前記教師信
号の値を変更することを特徴とするニュ−ラルネットの
学習方法。3. A neural net learning method for performing learning when an error between an output signal and a teacher signal is larger than a predetermined value, in the case where high-quality learning data is input and when a low-quality learning data is input. The method of learning a neural net, characterized in that the value of the teacher signal is changed depending on whether the data is input. 【請求項４】 学習用のサンプルデータと、この学習用
のサンプルデータの正解データにより、学習を行うニュ
ーラルネットの学習方法において、 前記サンプルデータを品質に応じて分類し、 学習時に、前記正解データより作成される教師信号の値
を、前記分類によって変更することを特徴とするニュー
ラルネット学習方法。4. A learning method of a neural network for learning using sample data for learning and correct answer data of the sample data for learning, wherein the sample data is classified according to quality, and the correct answer data at the time of learning. A method of learning a neural network, characterized in that the value of the teacher signal created by the above is changed according to the classification. 【請求項５】 学習用のサンプルデータを入力した結果
の出力信号と、この学習用のサンプルデータの正解デー
タより作成した教師信号との誤差が、所定値（Ｇ）より
大きな場合に学習を行うニュ−ラルネットの学習方法に
おいて、 前記サンプルデータを品質に応じて分類し、学習時に、
前記分類によって前記所定値（Ｇ）の値を変更すること
を特徴とするニューラルネット学習方法。5. Learning is performed when an error between an output signal obtained as a result of inputting learning sample data and a teacher signal created from correct data of the learning sample data is larger than a predetermined value (G). In a neural net learning method, the sample data is classified according to quality, and at the time of learning,
A method for learning a neural network, wherein the value of the predetermined value (G) is changed according to the classification. 【請求項６】 ニューラルネット型認識装置において、 請求項１〜５のいずれか１項の学習方法で求めたニュー
ラルネットの結合係数（Ｖｉｈ，Ｗｈｏ）により、認識
処理を行うニューラルネット型認識装置。6. A neural network type recognition device for performing recognition processing by means of a coupling coefficient (Vih, Who) of a neural net obtained by the learning method according to claim 1. 【請求項７】 学習用のサンプルデータ及びこのデータ
に対応する正解データを備えるデータ入力手段（１０）
と、 前記サンプルデータから作成した情報データを入力とす
るニューラルネット型認識部（１６）と、 前記正解データから教師信号を作成する教師信号出力手
段（１８）と、 前記ニューラルネット型認識部（１６）の出力信号と前
記教師信号とを比較する誤差出力手段（２０ａ）と、 この誤差に応じて前記結合係数を調整する修正手段（２
０ｂ）とを備えるニューラルネット型認識装置におい
て、 前記サンプルデータの品質に応じた分類により、前記学
習の程度を変更する変更手段（２１ａ，２１ｂ）を備え
ることを特徴とするニューラルネット型認識装置。7. A data input means (10) comprising sample data for learning and correct data corresponding to this sample data.
A neural network type recognition unit (16) that receives information data created from the sample data, a teacher signal output unit (18) that creates a teacher signal from the correct answer data, and the neural network type recognition unit (16) Error output means (20a) for comparing the output signal of (1) with the teacher signal, and correction means (2) for adjusting the coupling coefficient according to the error.
0b), a neural network type recognition device comprising: changing means (21a, 21b) for changing the degree of learning by classification according to the quality of the sample data. 【請求項８】 学習用のサンプルデータ及びこのデータ
に対応する正解データを備えるデータ入力手段（１０）
と、 前記サンプルデータから作成した情報データを入力とす
るニューラルネット型認識部（１６）と、 前記正解データから教師信号を作成する教師信号出力手
段（１８）と、 前記ニューラルネット型認識部（１６）の出力信号と前
記教師信号を比較する誤差出力手段（２０ａ）と、 この誤差が所定値（Ｇ）より大きな場合に、この誤差に
応じて前記結合係数を調整する修正手段（２０ｂ，２０
ｃ）とを備えるニューラルネット型パターン認識装置に
おいて、 前記サンプルデータの品質に応じた分類により、前記所
定値（Ｇ）を変更する変更手段（２１ａ）を備えること
を特徴とするニューラルネット型認識装置。8. A data input means (10) comprising sample data for learning and correct data corresponding to the sample data.
A neural network type recognition unit (16) that receives information data created from the sample data, a teacher signal output unit (18) that creates a teacher signal from the correct answer data, and the neural network type recognition unit (16) Error output means (20a) for comparing the output signal of (4) with the teacher signal, and correction means (20b, 20) for adjusting the coupling coefficient according to the error when the error is larger than a predetermined value (G).
A neural network type pattern recognition device comprising: c) and a change means (21a) for changing the predetermined value (G) according to the classification according to the quality of the sample data. . 【請求項９】 学習用のサンプルデータ及びこのデータ
に対応する正解データを備えるデータ入力手段（１０）
と、 前記サンプルデータから作成した情報データを入力とす
るニューラルネット型認識部（１６）と、 前記正解データから教師信号を作成する教師信号出力手
段（１８）と、 前記ニューラルネット型認識部（１６）の出力信号と前
記教師信号を比較する誤差出力手段（２０ａ）と、 この誤差に応じて前記結合係数を調整する学習制御手段
（２０ｂ）とを備えるニューラルネット型パターン認識
装置において、 前記サンプルデータの品質に応じて、前記教師信号の値
を変更する変更手段（２１ｂ）を備えることを特徴とす
るニューラルネット型パターン認識装置。9. A data input means (10) comprising sample data for learning and correct data corresponding to this sample data.
A neural network type recognition unit (16) that receives information data created from the sample data, a teacher signal output unit (18) that creates a teacher signal from the correct answer data, and the neural network type recognition unit (16) In the neural net type pattern recognition device, the sample data is provided with an error output means (20a) for comparing the output signal of (1) with the teacher signal, and a learning control means (20b) for adjusting the coupling coefficient according to the error. A neural net type pattern recognition device comprising a changing means (21b) for changing the value of the teacher signal according to the quality of the pattern. 【請求項１０】 前記データ入力手段（１０）は、更に
前記サンプルデータに対応し、このサンプルデータの品
質を示す品質データを格納し、 前記変更手段（２１ａ）は、この品質データにより制御
されることを特徴とする請求項８のニューラルネット型
認識装置。10. The data input means (10) further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21a) is controlled by the quality data. 9. The neural network type recognition device according to claim 8, wherein 【請求項１１】 前記データ入力手段（１０）は、更に
前記サンプルデータに対応し、このサンプルデータの品
質を示す品質データを格納し、 前記変更手段（２１ｂ）は、この品質データにより制御
されることを特徴とする請求項９のニューラルネット型
認識装置。11. The data input means (10) further stores quality data corresponding to the sample data and indicating the quality of the sample data, and the changing means (21b) is controlled by the quality data. 10. The neural network type recognition device according to claim 9, wherein.