JP3469677B2 - Character recognition device and learning method thereof - Google Patents
Character recognition device and learning method thereofInfo
- Publication number
- JP3469677B2 JP3469677B2 JP13349795A JP13349795A JP3469677B2 JP 3469677 B2 JP3469677 B2 JP 3469677B2 JP 13349795 A JP13349795 A JP 13349795A JP 13349795 A JP13349795 A JP 13349795A JP 3469677 B2 JP3469677 B2 JP 3469677B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- input data
- teacher
- learning method
- reference data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Discrimination (AREA)
Description
【0001】[0001]
【産業上の利用分野】この発明は文字認識装置およびそ
の学習方法に関し、特にたとえば入力データを複数のグ
ループの特定のものに分類する前段部と、その複数のグ
ループにそれぞれ対応する複数の認識部からなる後段部
とを含むニューラルネットワークを用いた文字認識装置
およびその学習方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a character recognition device and a learning method therefor, and more particularly to a front part for classifying input data into specific ones of a plurality of groups and a plurality of recognition parts respectively corresponding to the plurality of groups. The present invention relates to a character recognition device using a neural network including a rear part composed of and a learning method thereof.
【0002】[0002]
【従来の技術】この種の文字認識装置の一例が、「Co
mbNet−II」として知られている。「CombNe
t−II」は、たとえば、平成4年5月28日付で出願公
開された特開平4−155480号〔G06F 15/
70,15/18〕に開示されている。2. Description of the Related Art One example of this type of character recognition device is "Co
mbNet-II ". "CombNe
"t-II" refers to, for example, Japanese Patent Application Laid-Open No. 4-155480 [G06F 15 /
70, 15/18].
【0003】特開平4−155480号に開示されてい
る従来技術には、ステムネット(Stem Net)と呼ばれる前
段部と、ブランチネット(Branch Net)と呼ばれる後段部
とが存在する。そして、ステムネットにおいて、1つの
ニューロンと最適整合するグループの数が所定値を超え
たときにグループ群を2分割してニューロンを生成する
自己増殖機能を備えることが開示されている。In the prior art disclosed in Japanese Patent Laid-Open No. 4-155480, there is a front stage portion called a Stem Net and a rear stage portion called a Branch Net. Then, it is disclosed that the stem net has a self-proliferation function of dividing a group into two to generate neurons when the number of groups optimally matching one neuron exceeds a predetermined value.
【0004】この従来技術では、図1に示すように、ス
テムネットにおける各グループすなわち特徴空間の境界
が決められる。図1でいえば、たとえばその中央部分の
1つの参照ベクトル(基準データ)は、文字「1」,
「5」,「6」,「7」および「9」のパターンデータ
をその参照ベクトルと類似する1つのグループに分類す
ることを示している。このようにして前段部におけるグ
ループが決定され、次いで、ブランチネットすなわち後
段部の認識部が学習される。すなわち、認識部では、た
とえば図2に示すように、複数のグループに分散した同
一文字のパターンデータを1つの参照データに関連付け
るように学習する。図2でいえば、3つの参照ベクトル
と類似するとされていたたとえば「0」の文字は、
「0」を表す参照ベクトル(図2では左端の白丸)に関
連付けられる。したがって、認識時に文字「0」が
「0」として正しく認識できるのである。In this prior art, as shown in FIG. 1, the boundaries of each group in the stem net, that is, the feature space are determined. In FIG. 1, for example, one reference vector (standard data) in the central portion is the character "1",
It shows that the pattern data of "5", "6", "7" and "9" are classified into one group similar to the reference vector. In this way, the group in the front stage is determined, and then the branch net, that is, the recognition unit in the rear stage is learned. That is, in the recognition unit, for example, as shown in FIG. 2, learning is performed so that pattern data of the same character dispersed in a plurality of groups is associated with one reference data. In FIG. 2, for example, the character “0”, which is said to be similar to the three reference vectors, is
It is associated with a reference vector (a leftmost white circle in FIG. 2) representing “0”. Therefore, the character "0" can be correctly recognized as "0" at the time of recognition.
【0005】[0005]
【発明が解決しようとする課題】ところが、従来技術の
文字認識装置では、後段部の学習において決定された識
別境界(図2の曲線)が不連続になる場合があり、この
ような場合には、入力パターンが誤ったグループに分類
されるために誤認識され、したがって、十分な認識精度
が得られない、という問題がある。However, in the character recognition device of the prior art, the discrimination boundary (curve in FIG. 2) determined in the learning of the latter part may become discontinuous. In such a case, However, there is a problem in that the input patterns are erroneously recognized because they are classified into the wrong group, and therefore sufficient recognition accuracy cannot be obtained.
【0006】それゆえに、この発明の主たる目的は、認
識精度をよくすることができる、ニューラルネットワー
クを用いた文字認識装置およびその学習方法を提供する
ことである。Therefore, a main object of the present invention is to provide a character recognition device using a neural network and a learning method thereof, which can improve the recognition accuracy.
【0007】[0007]
【課題を解決するための手段】第1の発明は、入力デー
タを所定の複数の基準データと比較して入力データを分
類する前段部と複数の基準データに対応して設けられた
複数の認識部からなる後段部とからなるニューラルネッ
トワークを用いた文字認識装置の後段部のバックプロパ
ゲーション法に従った学習方法において、教師用入力デ
ータと基準データとの類似度に応じて、後段部の複数の
認識部に教師用データを学習させるようにしたことを特
徴とする、学習方法である。According to a first aspect of the present invention, a plurality of recognition units provided corresponding to a plurality of reference data and a front part for classifying the input data by comparing the input data with a plurality of predetermined reference data. In a learning method according to the back-propagation method of the rear part of a character recognition device using a neural network composed of a rear part composed of parts, a plurality of parts of the rear part are divided according to the similarity between the teacher input data and the reference data. The learning method is characterized in that the recognition unit is made to learn the teacher data.
【0008】第2の発明は、入力データを所定の複数の
基準データと比較して入力データを分類する前段部と複
数の基準データに対応して設けられた複数の認識部から
なる後段部とを含むニューラルネットワークを用いた文
字認識装置の学習方法であって、(a) 教師用入力データ
に基づいて自己増殖によって複数のグループに分類して
前段部における複数の基準データを作成し、(b) 複数の
基準データのそれぞれに対応する後段部の複数の認識部
を作成し、(c) 教師用入力データが複数の基準データに
類似するとき教師用入力データが複数のグループに重複
して分類されるように教師用入力データを再分類し、そ
して(d) バックプロパゲーション法によって教師用入力
データを複数の認識部に学習させる、学習方法である。According to a second aspect of the present invention, there is provided a front stage section for comparing the input data with a predetermined plurality of reference data to classify the input data, and a rear stage section comprising a plurality of recognition sections provided corresponding to the plurality of reference data. A learning method for a character recognition device using a neural network including (a) creating a plurality of reference data in the preceding stage by classifying into a plurality of groups by self-propagation based on teacher input data, and (b) ) Create a plurality of recognition units in the latter part corresponding to each of the reference data, and (c) When the teacher input data is similar to the reference data, the teacher input data is classified into multiple groups. As described above, the learning input data is reclassified, and (d) the learning input data is learned by a plurality of recognition units by the backpropagation method.
【0009】[0009]
【作用】この発明では、ニューラルネットワークの学習
時にたとえば教師用入力データを再分類する等して一定
以上の類似度を有する2以上のグループ(認識部)に重
複して登録するようにした。したがって、各グループの
境界すなわち特徴空間の境界の不連続性が改善される。In the present invention, when learning the neural network, for example, the input data for teacher is reclassified so as to be redundantly registered in two or more groups (recognition units) having a certain degree of similarity. Therefore, the discontinuity of the boundary of each group, that is, the boundary of the feature space is improved.
【0010】[0010]
【発明の効果】この発明によれば、特徴空間の境界の不
連続性が改善されるので、認識時において、入力文字が
正しいグループに分類でき、認識精度が向上する。この
発明の上述の目的,その他の目的,特徴および利点は、
図面を参照して行う以下の実施例の詳細な説明から一層
明らかとなろう。According to the present invention, since the discontinuity of the boundary of the feature space is improved, the input character can be classified into the correct group at the time of recognition, and the recognition accuracy is improved. The above objects, other objects, features and advantages of the present invention are
It will become more apparent from the following detailed description of the embodiments with reference to the drawings.
【0011】[0011]
【実施例】図3の機能ブロック図に示されるこの発明の
一実施例の文字認識装置10は、ニューラルネットワー
ク12を含み、このニューラルネットワーク12はステ
ムネットと呼ばれる前段部14と、ブランチネットと呼
ばれる後段部16とを含む。前段部14は多数のカテゴ
リを有する入力パターンを特定のグループに分類するた
めのものであり、入力パターンを予め設定された複数の
基準データ(参照ベクトル)と比較することによって分
類する。また、後段部16は認識部またはブランチネッ
トと呼ばれるもので、前段部14のグループの各々に対
応して設けられ、それぞれ、入力層16a,中間層16
bおよび出力層16cを含む。入力層16aと中間層1
6bとは結合係数Nih で結合されていて、中間層16b
と出力層16cとは結合係数who で結合されている。後
段部16の入力層16aには、前段部14で分類され
た、たとえば8つの4×4ドットの特徴パターンデータ
が入力される。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A character recognition apparatus 10 according to an embodiment of the present invention shown in the functional block diagram of FIG. 3 includes a neural network 12, which is called a stem net 14 and a branch net. The latter part 16 is included. The pre-stage unit 14 is for classifying an input pattern having a large number of categories into a specific group, and classifies the input pattern by comparing it with a plurality of preset standard data (reference vectors). The rear part 16 is called a recognition part or a branch net, and is provided corresponding to each of the groups of the front part 14, and the input layer 16a and the intermediate layer 16 are respectively provided.
b and output layer 16c. Input layer 16a and middle layer 1
6b is coupled with a coupling coefficient Nih, and the intermediate layer 16b
And the output layer 16c are coupled with a coupling coefficient who. To the input layer 16a of the rear part 16, the characteristic pattern data of, for example, eight 4 × 4 dots classified by the front part 14 are input.
【0012】特徴パターンデータは図4に従って求めら
れる。すなわち、ステップS1では、たとえば図5で示
すように、8×8ドットの正規化パターンデータの周囲
に1ドットの「0」を加え、10×10ドットのパター
ンデータに変換する。次いで、ステップS2において、
8方向の直線成分フィルタを用いてフィルタ処理を実行
する。すなわち、このステップS2では、数1に従っ
て、8つの8×8ドットのパターンデータ(中間データ
Hk(x,y) )を計算する。The characteristic pattern data is obtained according to FIG. That is, in step S1, as shown in FIG. 5, for example, 1 dot of "0" is added to the periphery of the normalized pattern data of 8 × 8 dots and converted into pattern data of 10 × 10 dots. Then, in step S2,
The filter processing is executed using the linear component filters in eight directions. That is, in this step S2, eight pattern data of 8 × 8 dots (intermediate data Hk (x, y) ) are calculated according to equation 1 .
【0013】[0013]
【数1】 [Equation 1]
【0014】数1において、中間データHk(x,y) の添
字x,yは図5における各ドット(座標)位置を示し、
I(x+i-1,y+i-1) は入力データであり、fk(i,j) は直
線成分フィルタを示す。直線成分フィルタf1は、水平
方向成分を抽出するためのフィルタであり、直線成分フ
ィルタf2,f3,f4,f5,f6,f7およびf8
は、それぞれ、垂直成分,右45°成分,右30°成
分,左30°成分,右60°成分および左60°成分を
抽出するフィルタである。In Equation 1, the subscripts x and y of the intermediate data Hk (x, y) indicate the position of each dot (coordinate) in FIG.
I (x + i-1, y + i-1) is input data, and fk (i, j) is a linear component filter. The linear component filter f1 is a filter for extracting a horizontal component, and the linear component filters f2, f3, f4, f5, f6, f7 and f8.
Are filters for extracting a vertical component, a right 45 ° component, a right 30 ° component, a left 30 ° component, a right 60 ° component and a left 60 ° component, respectively.
【0015】ただし、図5において最も外側の各ドット
の入力データは「0」として計算する。つまり、However, the input data of each outermost dot in FIG. 5 is calculated as "0". That is,
【0016】[0016]
【数2】I(x,-1)=0 I(x,8) =0 I(-1,y)=0 I(8,y) =0 x=0,1,2,3,4,5,6,7 y=0,1,2,3,4,5,6,7 である。## EQU2 ## I (x, -1) = 0 I (x, 8) = 0 I (-1, y) = 0 I (8, y) = 0 x = 0, 1, 2, 3, 4, 5,6,7 y = 0,1,2,3,4,5,6,7.
【0017】数1に従って計算した中間データHk
(x,y) は max{Hk(x,y) }で割ることによって「0〜
1」の値に正規化する。次に、ステップS3で、ステッ
プS2において求めた8つの中間データ(8×8ドッ
ト)の周囲に1ドットの「0」を加え、8つの10×1
0ドットの中間データに変換する。Intermediate data Hk calculated according to Equation 1
(x, y) is divided by max {Hk (x, y) } to obtain "0-
Normalize to a value of "1". Next, in step S3, 1 dot of “0” is added around the eight intermediate data (8 × 8 dots) obtained in step S2 to obtain eight 10 × 1
Convert to 0 dot intermediate data.
【0018】そして、ステップS4において、ぼかし圧
縮フィルタを用いたフィルタ処理を実行し、特徴パター
ンデータを計算する。すなわち、数3に従った出力デー
タOk(p,q) を得る。Then, in step S4, filter processing using a blur compression filter is executed to calculate the characteristic pattern data. That is, the output data Ok (p, q) according to Equation 3 is obtained.
【0019】[0019]
【数3】 [Equation 3]
【0020】ただし、中間データの最も外側の各ドット
は「0」として計算する。つまり、However, the outermost dots of the intermediate data are calculated as "0". That is,
【0021】[0021]
【数4】Hk(x,-1)=0 Hk(x,8) =0 Hk(-1,y)=0 Hk(8,y) =0 x=0,1,2,3,4,5,6,7 y=0,1,2,3,4,5,6,7 である。## EQU00004 ## Hk (x, -1) = 0 Hk (x, 8) = 0 Hk (-1, y) = 0 Hk (8, y) = 0 x = 0, 1, 2, 3, 4, 5,6,7 y = 0,1,2,3,4,5,6,7.
【0022】なお、gk(i,j) はぼかし圧縮フィルタを
示す。ぼかし圧縮フィルタg1は、水平方向成分を抽出
するためのフィルタであり、ぼかし圧縮フィルタg2,
g3,g4,g5,g6,g7およびg8は、それぞ
れ、垂直成分,右45°成分,右30°成分,左30°
成分,右60°成分および左60°成分を抽出するフィ
ルタである。Note that gk (i, j) represents a blur compression filter. The blur compression filter g1 is a filter for extracting a horizontal component, and is a blur compression filter g2.
g3, g4, g5, g6, g7 and g8 are a vertical component, a right 45 ° component, a right 30 ° component and a left 30 °, respectively.
It is a filter that extracts a component, a right 60 ° component, and a left 60 ° component.
【0023】そして、数3に従って計算した出力データ
Ok(p,q) は max{Ok(p,q) }で割ることによって
「0〜1」の値に正規化する。このようにして、それぞ
れが4×4ドットである8方向の直線成分すなわち特徴
パターンデータが計算され、それが前段部14へ入力さ
れる。図3に示す文字認識装置10において、ブランチ
ネットすなわち後段部16の学習時には、このようにし
て入力される128(=8×4×4)次元のデータに従
って、結合係数Vih およびWho が決定される。すなわ
ち、教師用サンプルデータの特徴データが、前段部14
に入力される。したがって、ニューラルネットワーク1
2では、適宜の結合係数Vih およびWho に従って、出力
層16cから出力値を出力する。つまり、教師用サンプ
ルとの類似度に応じた出力値を出力する。Then, the output data Ok (p, q) calculated according to the equation 3 is normalized by a value of "0 to 1" by dividing by max {Ok (p, q) }. In this way, straight line components in 8 directions, each of which is 4 × 4 dots, that is, characteristic pattern data, are calculated and input to the pre-stage unit 14. In the character recognition apparatus 10 shown in FIG. 3, when learning the branch net, that is, the rear stage section 16, the coupling coefficients Vih and Who are determined according to the 128 (= 8 × 4 × 4) -dimensional data thus input. . That is, the feature data of the teacher sample data is
Entered in. Therefore, the neural network 1
In 2, the output value is output from the output layer 16c according to the appropriate coupling coefficients Vih and Who. That is, the output value according to the similarity with the teacher sample is output.
【0024】ニューラルネットワーク12からの上述の
出力値は誤差出力回路18に与えられる。この誤差出力
回路18には、また、教師信号出力回路20から、正解
出力値、すなわちそのとき学習させようとした文字に相
当する出力値をたとえば「0.9」とし、残余の文字に
相当する出力値をたとえば「0.2」とした教師信号が
与えられる。したがって、誤差出力回路18では、ニュ
ーラルネットワーク12からの出力値と教師信号出力回
路20からの教師信号との誤差を計算し、誤差データを
誤差総和回路22に与える。The above-mentioned output value from the neural network 12 is given to the error output circuit 18. In this error output circuit 18, the correct output value from the teacher signal output circuit 20, that is, the output value corresponding to the character to be learned at that time is set to, for example, "0.9", and corresponds to the remaining characters. A teacher signal whose output value is, for example, "0.2" is given. Therefore, the error output circuit 18 calculates the error between the output value from the neural network 12 and the teacher signal from the teacher signal output circuit 20, and supplies the error data to the error summing circuit 22.
【0025】誤差総和回路22は、誤差データの総和を
計算し、誤差総和が所定値たとえば「0.5」を超える
と、修正回路24に修正指令信号を与える。修正回路2
4では、修正指令信号を受けると、そのとき誤差出力回
路18から出力されている誤差データに基づいて、結合
係数Vih およびWho を修正する。つまり、バックプロパ
ゲーション法に従って結合係数Vih およびWho が修正さ
れる。The error summation circuit 22 calculates the summation of error data, and when the error summation exceeds a predetermined value, for example, "0.5", gives a correction command signal to the correction circuit 24. Correction circuit 2
In 4, when the correction command signal is received, the coupling coefficients Vih and Who are corrected based on the error data output from the error output circuit 18 at that time. That is, the coupling coefficients Vih and Who are modified according to the backpropagation method.
【0026】次に、図6および図7を参照して、図3実
施例におけるニューラルネットワーク12の学習方法に
ついて説明する。まず、図6の最初のステップS11で
は、サンプル番号tが「1」の教師サンプルの特徴パタ
ーンデータをニューラルネットワーク12の前段部14
に入力する。次のステップS12では、グループ数nを
「1」として、前段部14におけるグループを作成し、
そのグループの基準データすなわち参照ベクトルをセッ
トする。次のステップS13では、サンプル番号tをイ
ンクリメントし、「t+1」のサンプル番号の教師サン
プルの特徴パターンデータを前段部14に与える。Next, the learning method of the neural network 12 in the embodiment of FIG. 3 will be described with reference to FIGS. 6 and 7. First, in the first step S11 of FIG. 6, the characteristic pattern data of the teacher sample having the sample number t of “1” is set to the front stage unit 14 of the neural network 12.
To enter. In the next step S12, the number of groups n is set to "1" to create groups in the pre-stage section 14,
Set the standard data or reference vector for that group. In the next step S13, the sample number t is incremented, and the characteristic pattern data of the teacher sample having the sample number “t + 1” is given to the pre-stage unit 14.
【0027】そして、次のステップS14では、サンプ
ル番号「t+1」の教師サンプルと先のステップS12
で設定した参照ベクトルとの類似度SM(これは特開平
4−155480号の(1) 式のようにして求めることが
できる)を求め、その類似度SMが所定の閾値αより小
さいかどうか、すなわち教師サンプルt+1がn=1の
グループの参照ベクトルと類似しているかどうかを判断
する。このステップS14において“YES”が判断さ
れるということは、教師サンプルt+1とn=1の参照
ベクトルとが類似していないことを意味し、この場合に
は、次のステップS15において、全グループ数Nをイ
ンクリメントするとともに、この教師サンプルt+1の
参照ベクトルをセットする。逆に、このステップS14
において“NO”が判断されるということは、教師サン
プルt+1がステップS12の参照ベクトルに類似して
いることを示し、したがって、この場合には、ステップ
S16において、そのときのグループ番号kに教師サン
プルt+1を分類するとともに、n=1の参照ベクトル
を教師サンプルt+1を考慮して変更する。具体的に
は、2つの参照ベクトルの平均値をとる。Then, in the next step S14, the teacher sample of the sample number "t + 1" and the previous step S12.
The similarity SM with the reference vector set in (which can be obtained by the equation (1) of Japanese Patent Laid-Open No. 4-155480) is obtained, and whether the similarity SM is smaller than a predetermined threshold value α, That is, it is determined whether the teacher sample t + 1 is similar to the reference vector of the group of n = 1. The fact that “YES” is determined in this step S14 means that the teacher sample t + 1 and the reference vector of n = 1 are not similar, and in this case, in the next step S15, the total number of groups is N is incremented and the reference vector of this teacher sample t + 1 is set. On the contrary, this step S14
The determination of “NO” in indicates that the teacher sample t + 1 is similar to the reference vector in step S12. Therefore, in this case, in step S16, the teacher sample is assigned to the group number k at that time. While classifying t + 1, the reference vector of n = 1 is changed in consideration of the teacher sample t + 1. Specifically, the average value of two reference vectors is taken.
【0028】次のステップS17では、教師サンプル番
号tが全サンプル数Tと等しくなったかどうか、すなわ
ち、全ての教師サンプルを分類したかどうかを判断す
る。したがって、このステップS17において“NO”
が判断された場合には、先のステップS13〜S16が
繰り返し実行される。ステップS17において、“YE
S”が判断されるということは、全ての教師サンプルを
分類したことを意味し、この場合には、続くステップS
18において、再びサンプル番号tを「1」に設定し、
次のステップS19に進む。In the next step S17, it is determined whether the teacher sample number t has become equal to the total sample number T, that is, whether all teacher samples have been classified. Therefore, in this step S17, "NO"
If it is determined that the above steps S13 to S16 are repeated. In step S17, "YE
The determination of S ″ means that all teacher samples have been classified, and in this case, the following step S
At 18, again set the sample number t to "1",
It proceeds to the next step S19.
【0029】このステップS19では、全グループ1〜
Nの参照ベクトルとサンプル番号t(=1)の教師サン
プルとの類似度SMが最大となるグループ番号k′が、
先のグループ番号kと同じかどうかが判断される。すな
わち、このステップS19では、サンプル番号tの教師
サンプルが、ステップS16で分類した同じグループに
属するかどうかを判断する。したがって、このステップ
S19において“NO”が判断されると、教師パターン
tの分類をグループkからk′に移動するとともに、グ
ループの移動があったことを示すフラグをセットする。
また、ステップS19において“YES”が判断される
とき(t=k′)、ステップS20を処理したときと同
様に、ステップS21において、サンプル番号tをイン
クリメントし、ステップS22において、全サンプルt
についてグループ移動の有無が確認されたかどうかを判
断する。In step S19, all groups 1 to
The group number k ′ that maximizes the similarity SM between the N reference vector and the teacher sample of the sample number t (= 1) is
It is determined whether it is the same as the previous group number k. That is, in this step S19, it is determined whether or not the teacher sample with the sample number t belongs to the same group classified in step S16. Therefore, if "NO" is determined in this step S19, the classification of the teacher pattern t is moved from the group k to k ', and a flag indicating that the group is moved is set.
When "YES" is determined in step S19 (t = k '), the sample number t is incremented in step S21, and all the samples t in step S22, as in step S20.
It is determined whether the presence or absence of group movement has been confirmed.
【0030】このように、ステップS18からステップ
S22において全ての教師サンプルのグループ移動の有
無を判断するのは、先のステップS16において、グル
ープkに類似した教師サンプルを取り込むときに参照ベ
クトルを変更するからである。したがって、このステッ
プS22において“NO”が判断されると、ステップS
19〜S21が繰り返し実行される。As described above, the presence / absence of group movement of all the teacher samples in steps S18 to S22 is determined by changing the reference vector when the teacher sample similar to the group k is fetched in the previous step S16. Because. Therefore, if "NO" is determined in this step S22, a step S
19 to S21 are repeatedly executed.
【0031】そして、ステップS23において、先のス
テップS20によって移動を示すフラグがオンされてい
るかどうかを判断する。このフラグがオンされていると
いうことは、教師サンプルのグループ間移動があったこ
とを示し、この場合には、ステップS18〜S23が、
フラグがオンされなくなるまで、繰り返し実行される。Then, in step S23, it is determined whether or not the flag indicating the movement is turned on in step S20. The fact that this flag is turned on indicates that the teacher sample has moved between groups, and in this case, steps S18 to S23 are
It is repeatedly executed until the flag is turned off.
【0032】このようにして、図6のステップS11〜
S23において、ニューラルネットワーク12の前段部
14における分類が決定される。そして、図7のステッ
プS24〜S31が実行され、教師サンプルの再分類が
行われる。すなわち、ステップS24では、サンプル番
号tを「1」にセットし、ステップS25では、類似し
ているかどうかを判断するグループ数mを「2」に設定
する。そして、ステップS26において、「SM1 −S
Mm 」が所定の閾値βより小さいかどうかを判断する。
SM1 は、その教師サンプルtが最も類似する参照ベク
トルとの類似度、すなわち第1位の類似度を示す。した
がって、SMm は、教師サンプルtが第m位に類似する
参照ベクトルとの類似度を示す。m=2がセットされて
いる場合には、ステップS26では、(SM1 −S
M2 )>βが判断される。つまり、教師サンプルtの第
1位の類似度と第2位の類似度との差が所定の閾値βよ
り小さいかどうかが判断される。In this way, steps S11 to S11 of FIG.
In S23, the classification in the pre-stage unit 14 of the neural network 12 is determined. Then, steps S24 to S31 of FIG. 7 are executed to reclassify the teacher sample. That is, in step S24, the sample number t is set to "1", and in step S25, the group number m for determining whether or not they are similar is set to "2". Then, in step S26, "SM 1 -S
M m ”is smaller than a predetermined threshold β.
SM 1 indicates the degree of similarity with the reference vector to which the teacher sample t is most similar, that is, the first degree of similarity. Therefore, SM m indicates the degree of similarity with the reference vector in which the teacher sample t is similar to the m-th place. If m = 2 is set, (SM 1 -S
It is determined that M 2 )> β. That is, it is determined whether the difference between the first-rank similarity and the second-rank similarity of the teacher sample t is smaller than a predetermined threshold β.
【0033】ステップS26において“YES”が判断
されるということは、教師サンプルtが、第1位の類似
度を示す参照ベクトルと第m位の類似度を示す参照ベク
トルとの両方に類似していることを意味し、この場合に
は、ステップS27において、教師サンプルtをグルー
プ番号mのグループに追加的に分類する。すなわち、こ
のステップS27において、教師サンプルtが少なくと
も2つのグループに重複して登録されることになる。The fact that "YES" is determined in step S26 means that the teacher sample t is similar to both the reference vector indicating the first similarity and the reference vector indicating the mth similarity. In this case, the teacher sample t is additionally classified into the group of the group number m in step S27. That is, in this step S27, the teacher sample t is redundantly registered in at least two groups.
【0034】次のステップS28では、グループ数mを
インクリメントし、続くステップS29では、グループ
数mが全グループ数Mと等しくなったかどうかすなわ
ち、第M位の類似度を示す参照ベクトルの全てについて
ステップS26が実行されたかどうかを判断する。した
がって、このステップS29において“NO”が判断さ
れればステップS26に戻り、ステップS26〜S29
を繰り返し実行する。そして、ステップS30でサンプ
ル番号tをインクリメントし、ステップS31において
全ての教師サンプルについて再分類の可能性のチェック
が行われたかどうかを判断する。したがって、このステ
ップS31において“NO”が判断されれば、先のステ
ップS25に戻る。In the next step S28, the number of groups m is incremented, and in the following step S29, it is determined whether the number of groups m is equal to the total number of groups M, that is, for all the reference vectors indicating the Mth similarity. It is determined whether S26 has been executed. Therefore, if "NO" is determined in this step S29, the process returns to step S26 and steps S26 to S29.
Is repeatedly executed. Then, in step S30, the sample number t is incremented, and it is determined in step S31 whether or not the possibility of reclassification has been checked for all the teacher samples. Therefore, if "NO" is determined in this step S31, the process returns to the previous step S25.
【0035】このようにして、ステップS24〜S31
において、全ての教師サンプルtが複数のグループに重
複して登録されるべきであるかどうかが判断される。そ
して、ステップS32〜S35において、ニューラルネ
ットワーク12の後段部16の先に説明した学習が実行
される。この実施例によれば、図7のステップS27に
おいて、1つの教師サンプルtが複数の参照ベクトルに
同等程度に類似する場合には、その教師サンプルtを複
数のグループに重複して登録するようにしている。した
がって、ブランチネットすなわち後段部16において
は、図8に示すようにグループの境界すなわち識別境界
が連続する。したがって、この実施例によれば、図9お
よび図10で示す認識時における認識精度が向上する。In this way, steps S24 to S31 are performed.
At, it is determined whether all teacher samples t should be registered redundantly in multiple groups. Then, in steps S32 to S35, the above-described learning of the post-stage portion 16 of the neural network 12 is executed. According to this embodiment, in step S27 of FIG. 7, when one teacher sample t is similar to a plurality of reference vectors to the same degree, the teacher sample t is registered in a plurality of groups in duplicate. ing. Therefore, in the branch net, that is, the rear part 16, the group boundaries, that is, the identification boundaries are continuous as shown in FIG. Therefore, according to this embodiment, the recognition accuracy at the time of recognition shown in FIGS. 9 and 10 is improved.
【0036】図9に示す文字認識においては、最初のス
テップS41において、入力文字パターンを正規化して
8×8ドットのパターンデータを作成する。そして、次
のステップS42では、先に詳細に説明したように、直
線成分フィルタを用いて、特徴抽出を行うとともに、ス
テップS43において、ニューラルネットワーク12の
前段部14に入力するための特徴パターンデータ(12
8次元)を作成する。そして、ステップS44に示す1
文字認識のサブルーチンを実行する。In the character recognition shown in FIG. 9, in the first step S41, the input character pattern is normalized to create pattern data of 8 × 8 dots. Then, in the next step S42, as described in detail above, the feature extraction is performed using the linear component filter, and in the step S43, the feature pattern data (input to the pre-stage portion 14 of the neural network 12 ( 12
8 dimensions). Then, in step S44, 1
Execute a character recognition subroutine.
【0037】このサブルーチンにおいては、図10の最
初のステップS101に示すように、ステップS43で
入力された特徴パターンデータをニューラルネットワー
ク12のステムネットすなわち前段部14の各グループ
の参照ベクトルとの類似度によって、その入力文字がど
のグループに属するかを決定する。そして、参照ベクト
ルとの類似度が大きい方から2つまでのグループ出力を
ソートする(ステップS102)。次のステップS10
3においては、グループカウンタiをクリアする。そし
て、ステップS104では、ニューラルネットワーク1
2の後段部16すなわち認識部を用いて、文字認識を実
行する。その結果、文字コードcおよび文字レベルbp-o
utを出力する。そしてステップS105では、その文字
レベルbp-outが第1位の文字レベルであるかどうかを判
断する。そして、ステップS104で出力される文字レ
ベルbp-outが第1位のものであれば、次のステップS1
06において、その文字レベルbp-outが一定値以上かど
うかを判断する。文字レベルbp-outが一定値以上ないと
いうことは出力を確定できるほど文字レベルが大きくな
いことを意味し、この場合には、グループカウンタiを
インクリメントし、再び先のステップS104を実行す
る。ただし、このステップS106で“YES”が判断
されると、そのとき出力された文字レベルbp-outをニュ
ーラルネットワーク12の出力値として出力する。In this subroutine, as shown in the first step S101 in FIG. 10, the feature pattern data input in step S43 is similar to the stem net of the neural network 12, that is, the reference vector of each group of the front stage section 14. Determines which group the input character belongs to. Then, up to two group outputs with the highest similarity to the reference vector are sorted (step S102). Next step S10
In 3, the group counter i is cleared. Then, in step S104, the neural network 1
Character recognition is executed by using the latter stage unit 16 of 2, ie, the recognition unit. As a result, character code c and character level bp-o
Output ut. Then, in step S105, it is determined whether the character level bp-out is the first character level. Then, if the character level bp-out output in step S104 is the first one, the next step S1
At 06, it is determined whether the character level bp-out is equal to or higher than a certain value. The fact that the character level bp-out is not more than a certain value means that the character level is not large enough to confirm the output. In this case, the group counter i is incremented and the previous step S104 is executed again. However, if "YES" is determined in this step S106, the character level bp-out output at that time is output as an output value of the neural network 12.
【0038】ステップS105において“NO”が判断
されることは、ステップS104において出力された文
字レベルbp-outが第2位のものであることを意味し、こ
の場合には、ステップS109において、第1位の文字
レベルを示す文字コードc1と第2位の文字レベルを示
す文字コードc2とが等しいかどうかを判断する。第1
位と第2位との文字コードが異なる場合には、ステップ
S110において、第2位の文字レベルbp-out(c2)が一
定値以上であるかどうかを判断する。このステップS1
10において“YES”が判断されるということは、第
2位の文字レベルを示す文字を認識結果とすることを意
味し、この場合には、ステップS111において、文字
コードcとしてc2を出力するとともに、出力値として
bp-out(c2)を出力する。ただし、ステップS110にお
いて“NO”が判断されるときには、ステップS112
において、文字コードcとして第1位の文字コードc1
を出力し、文字レベルとして第1位の文字レベルbp-out
(c1)を出力する。The determination of "NO" in step S105 means that the character level bp-out output in step S104 is the second highest. In this case, in step S109, It is determined whether the character code c1 indicating the first character level and the character code c2 indicating the second character level are equal. First
If the character code of the second rank is different from that of the second rank, it is determined in step S110 whether the second character level bp-out (c2) is equal to or greater than a certain value. This step S1
The determination of “YES” in 10 means that the character indicating the second character level is used as the recognition result. In this case, in step S111, c2 is output as the character code c and , As output value
Output bp-out (c2). However, when “NO” is determined in step S110, step S112
, The first character code c1 as the character code c
Is output and the first character level bp-out as the character level
Output (c1).
【0039】さらに、第1位の文字コードと第2位の文
字コードとが同じ場合には、ステップS113におい
て、第2位の文字レベルbp-out(c2)が設定値たとえば
「0.8」以上あるかどうかを判断する。このステップ
S113において“YES”が判断されると、ステップ
S114において、出力値として「0.9」を出力す
る。また、ステップS113において“NO”が判断さ
れると、ステップS115において、第1位の文字レベ
ルbp-out(c1)と第2位の文字レベルbp-out(c2)の大きい
方を求め、次のステップS116において、その大きい
方の文字レベルがステップS113の設定値の半分以上
あるかどうかを判断する。このステップS116におい
て“YES”が判断されると、先のステップS114に
進み、出力値「0.9」が出力される。ただし、ステッ
プS116において“NO”が判断されると、ステップ
S117では、出力値として、ステップS115で求め
た大きい方の文字レベルを出力する。Further, when the first-ranked character code and the second-ranked character code are the same, in step S113, the second-ranked character level bp-out (c2) is set to, for example, "0.8". Determine if there is more. If "YES" is determined in this step S113, "0.9" is output as an output value in step S114. If "NO" is determined in step S113, the larger one of the first character level bp-out (c1) and the second character level bp-out (c2) is determined in step S115, and In step S116, it is determined whether or not the larger character level is half or more of the set value in step S113. If "YES" is determined in this step S116, the process proceeds to the previous step S114, and the output value "0.9" is output. However, if "NO" is determined in step S116, the larger character level obtained in step S115 is output as the output value in step S117.
【0040】このようにして、ステップS44すなわち
図10のサブルーチンを実行することによって、ニュー
ラルネットワーク12によって認識した文字コードcと
文字レベルout とが出力される。なお、ステップS44
において出力される文字レベルout が所定の閾値以上な
いときには、ステップS45において必要なエラー処理
を行う。In this manner, the character code c and the character level out recognized by the neural network 12 are output by executing step S44, that is, the subroutine of FIG. Note that step S44
When the character level out output at is not equal to or more than the predetermined threshold value, necessary error processing is performed at step S45.
【図面の簡単な説明】[Brief description of drawings]
【図1】従来技術のステムネットすなわち前段部におけ
る特徴空間を示す図解図である。FIG. 1 is an illustrative view showing a feature space in a prior art stem net, that is, a front stage portion.
【図2】従来技術におけるブランチネットすなわち後段
部を含む分類すなわち特徴空間を示す図解図である。FIG. 2 is an illustrative view showing a classification, that is, a feature space including a branch net, that is, a latter stage portion in the conventional technique.
【図3】この発明の一実施例を示す機能ブロック図であ
る。FIG. 3 is a functional block diagram showing an embodiment of the present invention.
【図4】特徴パターンデータを作成する動作を示すフロ
ー図である。FIG. 4 is a flowchart showing an operation of creating characteristic pattern data.
【図5】8×8ドットの周囲に1ドットの「0」を追加
した10×10ドットのパターンを示す図解図である。FIG. 5 is an illustrative view showing a pattern of 10 × 10 dots in which 1 dot of “0” is added around 8 × 8 dots.
【図6】図1実施例のニューラルネットワークの学習動
作の一例を示すフロー図である。FIG. 6 is a flowchart showing an example of a learning operation of the neural network of FIG. 1 embodiment.
【図7】図6に続く動作を示すフロー図である。FIG. 7 is a flowchart showing an operation following FIG.
【図8】実施例における後段部を含むグループの境界す
なわち特徴空間を示す図解図である。FIG. 8 is an illustrative view showing a boundary of a group including a latter part, that is, a feature space in the example.
【図9】図3実施例を用いた文字認識の動作を示すフロ
ー図である。9 is a flowchart showing the operation of character recognition using the embodiment in FIG.
【図10】図9の1文字認識サブルーチンを示すフロー
図である。FIG. 10 is a flowchart showing a one-character recognition subroutine of FIG.
10 …文字認識装置 12 …ニューラルネットワーク 14 …前段部 16 …後段部 10 ... Character recognition device 12 ... Neural network 14 ... Front part 16 ... Rear part
フロントページの続き (72)発明者 堀井 洋 大阪府守口市京阪本通2丁目5番5号 三洋電機株式会社内 (72)発明者 田中 淳司 鳥取県鳥取市南吉方3丁目201番地 鳥 取三洋電機株式会社内 (56)参考文献 大規模ニューラルネット”CombN ET−II”,電子情報通信学会論文誌 J75−D−II,日本,1992年 3月 25日,第J75−D−II巻 第3号,p p.545−553 パターンの非類似性を用いたバックプ ロパゲーション学習法,電子情報通信学 会技術研究報告 NC93−75,日本, 1994年 2月28日,Vol.93 No. 490,pp.57−63 CombNET−IIによる中国語 1000単語音声認識,電子情報通信学会論 文誌 J75−D−II,日本,1992年 4月25日,第J75−D−II巻 第4 号,pp.689−696 (58)調査した分野(Int.Cl.7,DB名) G06K 9/00 - 9/82 G06N 3/00 - 3/08 Front Page Continuation (72) Inventor Hiroshi Horii 2-5-5 Keihan Hondori, Moriguchi City, Osaka Sanyo Electric Co., Ltd. (72) Inventor Junji Tanaka 3-201 Minamiyoshikata, Tottori City, Tottori Sanyo Denki Incorporated (56) References Large-scale neural network "CombNET-II", IEICE Transactions J75-D-II, Japan, March 25, 1992, Vol. J75-D-II, No. 3. , Pp. 545-553 Back-propagation learning method using dissimilarity of patterns, IEICE technical report NC93-75, Japan, February 28, 1994, Vol. 93 No. 490, pp. 57-63 Chinese 1000-Word Speech Recognition by CombNET-II, The Institute of Electronics, Information and Communication Engineers, J75-D-II, Japan, April 25, 1992, Vol. J75-D-II, No. 4, pp. 689-696 (58) Fields surveyed (Int.Cl. 7 , DB name) G06K 9/00-9/82 G06N 3/00-3/08
Claims (6)
較して入力データを分類する前段部と前記複数の基準デ
ータに対応して設けられた複数の認識部からなる後段部
とからなるニューラルネットワークを用いた文字認識装
置の前記後段部のバックプロパゲーション法に従った学
習方法において、 教師用入力データと基準データとの類似度に応じて、前
記後段部の複数の認識部に前記教師用データを学習させ
るようにしたことを特徴とする、学習方法。1. A neural network comprising a front part for classifying the input data by comparing the input data with a plurality of predetermined reference data and a rear part including a plurality of recognition parts provided corresponding to the plurality of reference data. In a learning method according to the backpropagation method of the latter part of a character recognition device using a network, according to the similarity between the teacher input data and the reference data, A learning method characterized in that data is learned.
との間の類似度の差が所定値以下のとき、前記教師用入
力データを前記複数の基準データに対応する複数の認識
部に学習させる、請求項1記載の学習方法。2. When the difference in similarity between the teacher input data and a plurality of reference data is less than or equal to a predetermined value, the teacher input data is learned by a plurality of recognition units corresponding to the plurality of reference data. The learning method according to claim 1, wherein the learning method is performed.
較して入力データを分類する前段部と前記複数の基準デ
ータに対応して設けられた複数の認識部からなる後段部
とを含むニューラルネットワークを用いた文字認識装置
の学習方法であって、 (a) 教師用入力データに基づいて自己増殖によって複数
のグループに分類して前記前段部における複数の基準デ
ータを作成し、 (b) 前記複数の基準データのそれぞれに対応する前記後
段部の複数の認識部を作成し、 (c) 前記教師用入力データが複数の基準データに類似す
るとき前記教師用入力データが複数のグループに重複し
て分類されるように前記教師用入力データを再分類し、
そして (d) バックプロパゲーション法によって前記教師用入力
データを複数の認識部に学習させる、学習方法。3. A neural network comprising a pre-stage section for classifying the input data by comparing the input data with a plurality of predetermined reference data and a post-stage section comprising a plurality of recognition sections provided corresponding to the plurality of reference data. A learning method for a character recognition device using a network, comprising: (a) creating a plurality of reference data in the preceding stage by classifying into a plurality of groups by self-propagation based on input data for teacher, (b) Creating a plurality of recognition units in the latter part corresponding to each of the plurality of reference data, and (c) when the teacher input data is similar to the plurality of reference data, the teacher input data is duplicated in a plurality of groups. Reclassify the teacher input data to be classified as
And (d) a learning method in which the plurality of recognition units are made to learn the teacher input data by the back propagation method.
と複数の基準データのそれぞれとの類似度に従って再分
類する、請求項4記載の学習方法。4. The learning method according to claim 4, wherein in the step (c), reclassification is performed according to the degree of similarity between the teacher input data and each of the plurality of reference data.
と複数の基準データとの間の類似度の差が所定値以下の
とき再分類する、請求項5記載の学習方法。5. The learning method according to claim 5, wherein said step (c) reclassifies when the difference in similarity between the teacher input data and a plurality of reference data is less than or equal to a predetermined value.
方法に従って学習した、文字認識装置。6. A character recognition device learned according to the learning method according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13349795A JP3469677B2 (en) | 1995-05-31 | 1995-05-31 | Character recognition device and learning method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13349795A JP3469677B2 (en) | 1995-05-31 | 1995-05-31 | Character recognition device and learning method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08329196A JPH08329196A (en) | 1996-12-13 |
JP3469677B2 true JP3469677B2 (en) | 2003-11-25 |
Family
ID=15106159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13349795A Expired - Fee Related JP3469677B2 (en) | 1995-05-31 | 1995-05-31 | Character recognition device and learning method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3469677B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030071600A (en) * | 2003-07-16 | 2003-09-03 | 쓰리지디코리아 주식회사 | Filtering Method and Recorded Medium which can automatically recognize the constituents and pattern of experimental data, Filtering system which can automatically recognize the constituents and pattern of experimental data |
JP6751235B2 (en) | 2016-09-30 | 2020-09-02 | 富士通株式会社 | Machine learning program, machine learning method, and machine learning device |
JP6898562B2 (en) | 2017-09-08 | 2021-07-07 | 富士通株式会社 | Machine learning programs, machine learning methods, and machine learning equipment |
JP6562121B1 (en) | 2018-06-07 | 2019-08-21 | 富士通株式会社 | Learning data generation program and learning data generation method |
JP6832329B2 (en) | 2018-12-18 | 2021-02-24 | 富士通株式会社 | data structure |
WO2022269885A1 (en) * | 2021-06-25 | 2022-12-29 | 三菱電機株式会社 | Learning data collection device, learning data collection method, and learning data collection program |
-
1995
- 1995-05-31 JP JP13349795A patent/JP3469677B2/en not_active Expired - Fee Related
Non-Patent Citations (3)
Title |
---|
CombNET−IIによる中国語1000単語音声認識,電子情報通信学会論文誌 J75−D−II,日本,1992年 4月25日,第J75−D−II巻 第4号,pp.689−696 |
パターンの非類似性を用いたバックプロパゲーション学習法,電子情報通信学会技術研究報告 NC93−75,日本,1994年 2月28日,Vol.93 No.490,pp.57−63 |
大規模ニューラルネット"CombNET−II",電子情報通信学会論文誌 J75−D−II,日本,1992年 3月25日,第J75−D−II巻 第3号,pp.545−553 |
Also Published As
Publication number | Publication date |
---|---|
JPH08329196A (en) | 1996-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Baltzakis et al. | A new signature verification technique based on a two-stage neural network classifier | |
JP2940933B2 (en) | Pattern recognition method | |
EP0587861A1 (en) | Method and apparatus for cursive script recognition | |
CN107491729B (en) | Handwritten digit recognition method based on cosine similarity activated convolutional neural network | |
US5422981A (en) | Pattern recognition method and apparatus using a neural network | |
CN113378676A (en) | Method for detecting figure interaction in image based on multi-feature fusion | |
US7233692B2 (en) | Method and computer program product for identifying output classes with multi-modal dispersion in feature space and incorporating multi-modal structure into a pattern recognition system | |
CN113033567A (en) | Oracle bone rubbing image character extraction method fusing segmentation network and generation network | |
JP3469677B2 (en) | Character recognition device and learning method thereof | |
US7181062B2 (en) | Modular classification architecture for a pattern recognition application | |
US5257342A (en) | Learning method for a data processing system with neighborhoods | |
CN114863242B (en) | Deep learning network optimization method and system for image recognition | |
Chi et al. | Image segmentation using fuzzy rules derived from K-means clusters | |
CN112084867A (en) | Pedestrian positioning and tracking method based on human body skeleton point distance | |
EP0450521B1 (en) | A learning method for a data processing system | |
CN116645727B (en) | Behavior capturing and identifying method based on Openphase model algorithm | |
JPH0535710A (en) | Learning method/device for neural network | |
JP2778194B2 (en) | Pattern recognition method and apparatus | |
JP3243313B2 (en) | Fuzzy neuron for pattern recognition | |
JPH04260987A (en) | Character recognizing device | |
Sadek | Neural Network-Based Face Detection Using Genetic Algorithm | |
Fukushima | Neural network models for vision | |
Anisimov et al. | Bank check reading: Recognizing the courtesy amount | |
Alaswad et al. | Off-Line Recognition System for Handwritten Arabic Words Using Artificial Intelligence | |
Nuidel et al. | Construction of complex images by an adaptive neuronlike research system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030819 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |