JP2005182660A - Recognition method of character/figure - Google Patents
Recognition method of character/figure Download PDFInfo
- Publication number
- JP2005182660A JP2005182660A JP2003425853A JP2003425853A JP2005182660A JP 2005182660 A JP2005182660 A JP 2005182660A JP 2003425853 A JP2003425853 A JP 2003425853A JP 2003425853 A JP2003425853 A JP 2003425853A JP 2005182660 A JP2005182660 A JP 2005182660A
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- line
- character
- approximate
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、対象物に印刷したり刻印したりした文字・図形をTVカメラやスキャナのような画像入力装置で読み取り、画像入力装置で得た画像に画像処理を施すことによって文字・図形を認識する文字・図形の認識方法に関するものである。 The present invention reads characters / graphics printed or engraved on an object with an image input device such as a TV camera or a scanner, and recognizes the characters / graphics by performing image processing on the image obtained by the image input device. The present invention relates to a method for recognizing characters and figures to be performed.
従来から、文字・図形(「文字・図形」とは、キャラクタジェネレータで生成できるような、文字や図形を意味しており、以下では単に「文字」と呼ぶ)をTVカメラやスキャナのような画像入力装置で読み取り、画像入力装置で得た画像に画像処理を施すことによって文字を認識する技術が種々提案されている。文字を認識する技術は、あらかじめ指定されたカテゴリに対応付けるパターン認識の技術であるから、カテゴリの対応付けが容易になるような文字の構造の記述、文字の変形に対する補正、対象物に表記された文字を1文字ずつ切り出すセグメンテーションなどの技術が必要になる。 Conventionally, a character / graphic (“character / graphic” means a character or graphic that can be generated by a character generator, and hereinafter simply referred to as “character”) is an image like a TV camera or a scanner. Various techniques for recognizing characters by reading with an input device and applying image processing to an image obtained with the image input device have been proposed. Since the technology for recognizing characters is a pattern recognition technology that associates with categories specified in advance, description of the structure of characters that makes it easy to associate categories, correction for deformation of characters, written on the object A technique such as segmentation that cuts out characters one by one is required.
たとえば、手書き文字のように複雑に変形する文字を認識するために、文字の構造を以下の形で記述することが提案されている(たとえば、特許文献1、特許文献2参照)。特許文献1、2に記載の技術では、文字の画像を細線化して分岐点あるいは交差点を特異点として抽出し、特異点の周囲の構造を、「X」のような交差、「K」のような接触、「T」のような分岐の3種類に分類することによって、特異点で接続される線を複数のストロークに分割し、さらに、プリミティブと呼ぶ単調曲線の連結構造であるプリミティブ系列を用いて各ストロークを表し、プリミティブ系列と特異点との組により、文字の構造を記述している。ストロークは文字を手書きする際のひとつながりの部分(一筆で書く部分にほぼ一致する)に相当し、プリミティブとは、2次元画像内においてx、y座標が単調に変化する単調曲線を意味している。また、プリミティブの連結構造は、2つのプリミティブを連結することにより形成される凸の方向と、連結点の回りでのプリミティブの右手系での配置順序とで表され、プリミティブ系列は1つのストロークを構成するプリミティブの連結構造の集合になる。
For example, in order to recognize a complicatedly deformed character such as a handwritten character, it has been proposed to describe the character structure in the following form (for example, refer to
また、特許文献1、2では、文字の変形に対する補正のために、バウンディングボックス(文字を囲む最小の直立長方形)を用い、バウンディングボックスの縦横比を変更せずに長い方の辺を単位長にするようにスケールを正規化し、さらにアフィン変換による補正を行う技術も開示されている。
In
すなわち、特許文献1、2に記載の技術では、入力画像について文字のセグメンテーションを行った後に、細線化してプリミティブ系列と特異点とで表される構造を解析し、次に入力画像から切り出した部分画像とモデルとの構造についてのマッチングによりカテゴリの候補を抽出し、さらに部分画像を正規化してモデルとの距離計算を行い類似度を評価することで、部分画像をモデルの文字のカテゴリに対応付けている。このように、文字の構造的情報と定量的情報とを用いることによりロバストなパターン認識が可能になっている。
That is, in the techniques described in
ところで、特許文献1、2にはセグメンテーションの技術については、とくに説明されていないが、セグメンテーションの技術としては、入力された文字列画像を細線化して得られる骨格線図形を単純弧や単純閉曲線を用いて部分曲線に分割した後、部分曲線における分岐点あるいは交差点の有無と部分曲線の横幅と文字列の高さとを用いて、文字の接触の可能性を推定する技術が提案されている(たとえば、特許文献3参照)。また、特許文献3には、骨格線図形を分割して得られた部分曲線を組合せることにより生成される文字列について特許文献1、2と同様の技術を用いて文字を認識し、認識結果の組合せのうち文字として認識された部分図形をノードとするネットワークを構成し、ネットワークから最適経路を選択することにより、ノードの認識文字の組合せを出力する技術も開示されている。さらに、文字数が既知である場合には、ネットワークから文字数と一致するノード数の経路から最適経路を選択することも記載されている。
ところで、上述した特許文献1、2に記載の技術では、文字の構造的情報を用いて入力画像のカテゴリを絞り込んではいるものの、構造的情報として線図形の分岐点と交差点を基準に用いており、文字を構成する線が連続していることが前提になっている。このことは、特許文献3に記載の技術においても同様である。
By the way, in the techniques described in
したがって、対象物に印刷したり刻印したりした文字のように変形の比較的少ない文字であっても、食品の賞味期限や消費期限の表示などにおいて広く用いられているドット文字、印刷装置の不具合などに起因して生じるかすれた文字(以下、「かすれ文字」という)、文字を構成する連続すべき線が不連続に分断した文字(以下、「分断文字」という)などでは、文字の構造的情報を正確に抽出することができず、特許文献1〜3に記載された技術を採用したとしても、文字を正確に認識することができない可能性がある。
Therefore, even for characters with relatively little deformation, such as characters printed or engraved on the object, dot characters widely used for displaying the expiration date or expiry date of food, defects in the printing device For characters that are faint due to the above (hereinafter referred to as “faint characters”), characters that are discontinuously separated from the lines that constitute the characters (hereinafter referred to as “divided characters”), etc. Information cannot be extracted accurately, and even if the techniques described in
本発明は上記事由に鑑みて為されたものであり、その目的は、ドット文字、かすれ文字、分断文字であっても認識することが可能な文字・図形の認識方法を提供することにある。 The present invention has been made in view of the above reasons, and an object of the present invention is to provide a method for recognizing characters and figures that can be recognized even for dot characters, faint characters, and divided characters.
請求項1の発明は、認識対象として入力された文字・図形の画像から文字・図形の骨格線を抽出し、次に骨格線を単純形状である近似線の集合として近似するとともに、連続している近似線を1つの近似線群に加え、かつ連続していない各一対の近似線間の距離を評価することにより当該近似線群の近傍にある近似線も当該近似線群に加えて、1単位として扱う近似線群をターゲットクラスタとして抽出するターゲットデータ抽出過程と、文字・図形の標準になる形状の骨格線を近似線の集合として近似した近似線群からなるマスタクラスタと前記ターゲットクラスタとの形状の類似度を評価する形状類似度算出過程とを有し、マスタクラスタおよびターゲットクラスタは、近似線の位置および形状を特定する近似線データを含んでおり、形状類似度算出過程では、ターゲットクラスタについて設定した外接矩形に対してマスタクラスタについて設定した外接矩形の位置を合わせた後に、ターゲットクラスタとマスタクラスタとに含まれる骨格線同士の距離から形状類似度を求め、形状類似度の高いマスタクラスタを着目するターゲットクラスタのカテゴリに対応付けることを特徴とする。
The invention of
この方法によれば、認識対象となる文字・図形および認識対象に照合する文字・図形を単純形状の近似線の集合であるターゲットクラスタおよびマスタクラスタとして表現しておき、認識対象として入力された文字・図形の画像については近似線の距離を評価することによって1単位として扱う近似線群をターゲットクラスタとしているから、たとえばドットにより表現されている文字・図形、かすれた文字・図形、分断された文字・図形であってもターゲットクラスタの1単位として扱うことが可能になり、従来方法では認識できなかったこれらの文字・図形の認識が可能になる。また、ターゲットクラスタについて設定した外接矩形に対してマスタクラスタについて設定した外接矩形の位置を合わせて形状類似度を求めるから、通常のパターンマッチングのようにテンプレートを1画素ずつずらして照合する場合に比較すると、画像内において照合を行う領域が制限されることになり、従来構成に比較して処理負荷を大幅に低減させることができ、結果的に高速な処理が期待できる。 According to this method, a character / graphic to be recognized and a character / graphic to be matched with the recognition target are expressed as a target cluster and a master cluster that are a set of approximate lines of simple shapes, and the character input as the recognition target・ As for the graphic image, the approximate line group treated as one unit by evaluating the distance of the approximate line is set as the target cluster. For example, characters / graphics represented by dots, blurred characters / graphics, divided characters, etc. Even a figure can be handled as one unit of the target cluster, and these characters and figures that cannot be recognized by the conventional method can be recognized. Also, since the shape similarity is obtained by aligning the circumscribed rectangle set for the master cluster with the circumscribed rectangle set for the target cluster, it is compared with the case where the template is shifted by one pixel as in normal pattern matching. Then, the area to be collated in the image is limited, and the processing load can be greatly reduced as compared with the conventional configuration, and as a result, high-speed processing can be expected.
請求項2の発明は、請求項1の発明において、前記近似線として、直線と楕円弧とを用いることを特徴とする。
The invention of
この方法によれば、ベジェ曲線やスプライン曲線のような複雑な曲線を用いずに、直線と楕円弧とを文字・図形の近似線に用いているから、近似線を表現するためのパラメータがベジェ曲線やスプライン曲線に比べて少なくなって近似線を表現するためのデータ量を低減することができる上に、マスタクラスタとターゲットクラスタとから形状類似度を算出する演算のような照合処理における処理負荷を軽減でき、結果的に高速な処理が期待できる。 According to this method, straight lines and elliptical arcs are used as approximate lines for characters and figures without using complex curves such as Bezier curves and spline curves, so the parameters for expressing approximate lines are Bezier curves. In addition to reducing the amount of data required to represent approximate lines, compared to spline curves, the processing load in collation processing such as computation for calculating shape similarity from the master cluster and target cluster can be reduced. As a result, high-speed processing can be expected.
請求項3の発明は、請求項1または請求項2の発明において、前記形状類似度算出過程において、ターゲットクラスタについて設定した外接矩形とマスタクラスタについて設定した外接矩形との高さ寸法および幅寸法の寸法比を求めることにより、ターゲットクラスタに含まれる高さ方向および幅方向における文字・図形の個数を推定し、ターゲットクラスタについて設定した外接矩形に対して、推定した個数に対応した位置ごとにマスタクラスタについて設定した外接矩形を位置合わせし、各位置で形状類似度を求めることを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the invention, in the shape similarity calculation process, height dimensions and width dimensions of a circumscribed rectangle set for the target cluster and a circumscribed rectangle set for the master cluster are set. By determining the size ratio, the number of characters and figures in the height and width directions included in the target cluster is estimated, and for each circumscribed rectangle set for the target cluster, the master cluster for each position corresponding to the estimated number The circumscribing rectangle set for is aligned, and the shape similarity is obtained at each position.
この方法によれば、ターゲットクラスタに複数個の文字・図形が含まれている場合でも、マスタクラスタにおける文字・図形の単位ごとに切り出して形状類似度を求めることができる。すなわち、ターゲットクラスタとして融合した近似線の集合は、ドットで構成された文字・図形、かすれた文字・図形、分断された文字・図形を1文字として扱うことができるものの複数文字を結合している場合もあるのに対して、本方法によりターゲットクラスタに含まれる文字・図形の個数を評価することができ、ターゲットクラスタに複数個の文字・図形が含まれるときには1個ずつ切り分けることが可能になる。 According to this method, even when a plurality of characters / graphics are included in the target cluster, the shape similarity can be obtained by cutting out each unit of characters / graphics in the master cluster. In other words, a set of approximate lines fused as a target cluster combines a plurality of characters that can be treated as a single character / graphic composed of dots, faint characters / graphics, and divided characters / graphics as one character. On the other hand, the number of characters / graphics included in the target cluster can be evaluated by this method, and when a plurality of characters / graphics are included in the target cluster, it can be separated one by one. .
請求項4の発明は、請求項1ないし請求項3の発明において、前記マスタクラスタおよび前記ターゲットクラスタとにおいて、近似線の接続されていない孤立点と、近似線の開放端である端点と、2本の近似線を一直線上で接続する線接続点と、2本の近似線を180度以内の角度で接続する屈曲点と、3本以上の近似線を接続する分岐点との少なくとも1種類をノードに用い、マスタクラスタおよびターゲットクラスタは、近似線の位置および形状を特定する近似線データのほかにノードの位置を特定するノードデータを含んでおり、前記形状類似度算出過程において、前記骨格線同士の距離を求める前に、前記マスタクラスタの各ノードの種類と当該ノードから規定の距離範囲内に存在する前記ターゲットクラスタの各ノードの種類とを判断し、マスタクラスタに含まれるノードの少なくとも1個がターゲットクラスタのノードの種類と一致しない場合には、当該マスタクラスタとターゲットクラスタとの形状類似度を求めないことを特徴とする。 According to a fourth aspect of the present invention, in the first to third aspects of the invention, in the master cluster and the target cluster, an isolated point to which no approximate line is connected, an end point that is an open end of the approximate line, and 2 At least one kind of a line connection point that connects two approximate lines on a straight line, a bending point that connects two approximate lines at an angle within 180 degrees, and a branch point that connects three or more approximate lines The master cluster and the target cluster used for the node include node data for specifying the position of the node in addition to the approximate line data for specifying the position and shape of the approximate line. Before determining the distance between each other, the type of each node of the master cluster and the type of each node of the target cluster existing within a prescribed distance range from the node Cross, and at least one of the nodes included in the master cluster does not match the type of the target cluster node, characterized in that it does not seek the shape similarity between the master cluster and target cluster.
この方法によれば、ターゲットクラスタとマスタクラスタとにおいてノードの種類が一致していないときには文字・図形のトポロジが異なっていると判断して形状類似度を求めないようにしているから、一致する可能性のないマスタクラスタとの形状類似度の演算を回避する前処理を行うことになり、処理負荷を大幅に軽減することができる。 According to this method, when the node type does not match between the target cluster and the master cluster, it is judged that the topology of the character / figure is different, and the shape similarity is not calculated, so that they can be matched. Preprocessing that avoids calculation of the shape similarity with the inferior master cluster is performed, and the processing load can be greatly reduced.
請求項5の発明は、請求項1ないし請求項3の発明において、前記マスタクラスタおよび前記ターゲットクラスタとにおいて、近似線の接続されていない孤立点と、近似線の開放端である端点と、2本の近似線を一直線上で接続する線接続点と、2本の近似線を180度以内の角度で接続する屈曲点と、3本以上の近似線を接続する分岐点との少なくとも1種類をノードに用い、マスタクラスタおよびターゲットクラスタは、近似線の位置および形状を特定する近似線データのほかにノードの位置を特定するノードデータを含んでおり、前記形状類似度算出過程において、前記骨格線同士の距離を求める前に、前記ターゲットクラスタの各ノードごとに周囲の近似線の近似線データと周囲のノードのノードデータとを用いることにより、前記マスタクラスタの各ノードから規定の距離範囲内に存在するターゲットクラスタのノードの種類のベイズ確率を求め、マスタクラスタのノードの種類とターゲットクラスタのノードの種類との類似度であるノード類似度をベイズ確率を用いて求め、、マスタクラスタに含まれるノードの少なくとも1個に対応するターゲットクラスタのノードのノード類似度が規定の閾値以上でない場合には、当該マスタクラスタとターゲットクラスタとの形状類似度を求めないことを特徴とする。 According to a fifth aspect of the present invention, in the first to third aspects of the invention, in the master cluster and the target cluster, an isolated point to which no approximate line is connected, an end point that is an open end of the approximate line, and 2 At least one kind of a line connection point that connects two approximate lines on a straight line, a bending point that connects two approximate lines at an angle within 180 degrees, and a branch point that connects three or more approximate lines The master cluster and the target cluster used for the node include node data for specifying the position of the node in addition to the approximate line data for specifying the position and shape of the approximate line. Before determining the distance between each other, by using the approximate line data of the surrounding approximate line and the node data of the surrounding node for each node of the target cluster, The Bayes probability of the node type of the target cluster existing within the specified distance range from each node of the host cluster is obtained, and the node similarity, which is the similarity between the node type of the master cluster and the node type of the target cluster, is bayed. If the node similarity of the node of the target cluster corresponding to at least one of the nodes included in the master cluster is not equal to or greater than the prescribed threshold, the shape similarity between the master cluster and the target cluster is calculated. It is characterized by not seeking.
この方法によれば、ノードの種類をベイズ確率で表すことにより、骨格線を抽出する際に文字・図形のトポロジが変化した場合であっても、元の文字・図形におけるノードの種類を比較的信頼性よく求めることができる。このようにして求めたノードの種類を用いることによって、請求項5の方法と同様に、ターゲットクラスタとマスタクラスタとにおいてノードの種類が一致していないときには文字・図形のトポロジが異なっていると判断して形状類似度を求めないことで、一致する可能性のないマスタクラスタとの形状類似度の演算を回避する前処理を行うことになり、処理負荷を大幅に軽減することができる。
According to this method, by expressing the node type as a Bayesian probability, even when the topology of the character / graphic changes when extracting the skeleton line, the node type in the original character / graphic is relatively It can be obtained with high reliability. By using the node type obtained in this way, as in the method of
請求項6の発明では、請求項1ないし請求項5の発明において、前記形状類似度算出過程において、前記形状類似度は、前記マスタクラスタに含まれる近似線から前記ターゲットクラスタに含まれる近似線までの距離が規定の距離内である近似線の総延長がマスタクラスタに含まれる近似線の総延長に占める割合と、前記距離から前記距離内である近似線間の平均距離を減算した値を前記距離で除算することにより得られる近似線間の接近程度の評価値とを乗じた値に比例することを特徴とする。 According to a sixth aspect of the present invention, in the first to fifth aspects of the invention, in the shape similarity calculation process, the shape similarity is measured from an approximate line included in the master cluster to an approximate line included in the target cluster. The ratio of the total length of the approximate lines whose distance is within the specified distance to the total length of the approximate lines included in the master cluster, and the value obtained by subtracting the average distance between the approximate lines within the distance from the distance It is proportional to a value obtained by multiplying an evaluation value of the degree of approach between approximate lines obtained by dividing by a distance.
この方法によれば、ターゲットクラスタとマスタクラスタとの近似線間の距離が近く、かつ近似線間が近接している部分がマスタクラスタの近似線の全長に対して占める割合が多いほど形状類似度が高いと評価するから、類似している形状を適切に評価することができる。また、文字・図形にノイズが重畳している場合でも骨格線の部分についてのみ類似性を評価することができる。 According to this method, the degree of shape similarity increases as the distance between the approximate lines of the target cluster and the master cluster is close and the portion where the approximate lines are close to each other occupies the total length of the approximate line of the master cluster. Therefore, it is possible to appropriately evaluate a similar shape. Further, even when noise is superimposed on characters / graphics, similarity can be evaluated only for the portion of the skeleton line.
請求項7の発明は、請求項1ないし請求項6の発明において、前記形状類似度算出過程において、前記外接矩形を用いてターゲットクラスタにマスタクラスタの位置を合わせた後に、マスタクラスタに含まれる近似線をターゲットクラスタに含まれる近似線に重ねるように位置と回転とスケールと線形歪との少なくとも1要素を変換する変換式のパラメータを最小自乗法により求め、当該変換の適用後に形状類似度を求めることを特徴とする。 According to a seventh aspect of the present invention, in the first to sixth aspects of the invention, in the shape similarity calculation process, after the master cluster is aligned with the target cluster using the circumscribed rectangle, the approximation included in the master cluster The least square method is used to obtain parameters of a transformation equation that transforms at least one element of position, rotation, scale, and linear distortion so that the line is superimposed on the approximate line included in the target cluster, and the shape similarity is obtained after the transformation is applied. It is characterized by that.
この方法によれば、ターゲットクラスタとマスタクラスタとに含まれる文字・図形の骨格線において、位置がずれていたり、互いに回転していたり、スケールが異なっていたり、マスタクラスタに対してターゲットクラスタに線形歪が生じていたりする場合でも、両者が一致するように補正することができ、外接矩形の位置を合わせるだけでは吸収できない誤差分を少なくし、文字・図形のカテゴリの対応付けの精度を高めることができる。言い換えると、斜体などの変形した文字・図形と変形していない文字・図形とに対して、同じマスタクラスタを用いてカテゴリの対応付けが可能になる。 According to this method, the skeleton lines of the characters and figures included in the target cluster and the master cluster are misaligned, rotated relative to each other, have different scales, or are linear to the target cluster with respect to the master cluster. Even if distortion occurs, it can be corrected so that they match, reducing the amount of error that cannot be absorbed by just aligning the circumscribed rectangles, and improving the accuracy of character / graphic category matching Can do. In other words, categories can be associated with deformed characters / graphics such as italics and unmodified characters / graphics using the same master cluster.
請求項8の発明は、請求項1の発明において、認識対象として入力された文字・図形が複数個であり、かつ個数および配列が既知である場合に、前記形状類似度算出過程において、異なる2個以上の外接矩形から1個ずつの角位置を代表点として選択するとともに、マスタクラスタの代表点の位置をターゲットクラスタの代表点の位置に重ねることにより外接矩形の位置を合わせることを特徴とする。
The invention of claim 8 is different in the shape similarity calculation process in the case of the invention of
この方法によれば、認識対象が複数個の文字・図形を含むときに、ターゲットクラスタにおける文字・図形の配列を利用し比較的離れた位置の複数点でマスタクラスタの位置を合わせるから、マスタクラスタの外接矩形の位置をターゲットクラスタの外接矩形の位置に精度よく合わせることができる。とくに、代表点の距離を大きくとれば、ターゲットクラスタの回転角度を正確に検出することができ、このことによってマスタクラスタの位置合わせをより精度よく行うことが可能になる。 According to this method, when the recognition target includes a plurality of characters / graphics, the master cluster is aligned at a plurality of points relatively distant from each other using the character / graphic arrangement in the target cluster. It is possible to accurately match the position of the circumscribed rectangle to the position of the circumscribed rectangle of the target cluster. In particular, if the distance between the representative points is increased, the rotation angle of the target cluster can be accurately detected, which makes it possible to align the master cluster more accurately.
請求項9の発明は、請求項1の発明において、認識対象として入力された文字・図形が複数個であり、かつ個数および配列が既知である場合に、前記形状類似度算出過程において、各ターゲットクラスタについてそれぞれ面積が最小になるように回転位置を調節した外接矩形を求め、当該外接矩形の角を一つの軸上に写像したときに角の度数が最大になる軸の角度を用いてターゲットクラスタの角度を検出し、当該角度でマスタクラスタを回転させることにより外接矩形の位置を合わせることを特徴とする。 According to a ninth aspect of the present invention, in the first aspect of the invention, when there are a plurality of characters / figures input as recognition targets, and the number and arrangement are known, each target is calculated in the shape similarity calculation process. Obtain a circumscribed rectangle whose rotation position is adjusted so that the area of each cluster is minimized, and use the angle of the axis that maximizes the frequency of the angle when the corner of the circumscribed rectangle is mapped on one axis. The circumscribed rectangle is aligned by rotating the master cluster at this angle.
この方法によれば、面積が最小になるように外接矩形を設定するから、文字・図形が正立している方向に合致した外接矩形を設定することができる上に、複数個のターゲットクラスタの外接矩形における角を1つの軸上に写像したときの度数に基づいて、外接矩形の角度を検出するから、比較的簡単な処理ながら文字列の傾きを正確に求めることができる。 According to this method, since the circumscribed rectangle is set so that the area is minimized, it is possible to set the circumscribed rectangle that matches the direction in which the characters / graphics are upright, and in addition, a plurality of target clusters can be set. Since the angle of the circumscribed rectangle is detected based on the frequency when the corners of the circumscribed rectangle are mapped on one axis, the inclination of the character string can be accurately obtained with relatively simple processing.
請求項10の発明は、請求項1ないし請求項9の発明において、前記骨格線を抽出するにあたり、濃淡画像を用いて文字・図形の輪郭線を抽出し、輪郭線上から選択した起点エッジ点の周囲における明度の変化方向を求め、起点エッジ点から既知である文字・図形の内側向きの明度の変化方向の一直線上を探索して得られる輪郭線上の他の画素を終点エッジ点として求め、起点エッジ点と終点エッジ点との中点を骨格線上の画素とすることを特徴とする。 According to a tenth aspect of the present invention, in extracting the skeleton line in the first to ninth aspects of the present invention, a contour line of a character / figure is extracted using a grayscale image, and the origin edge point selected from the contour line is extracted. Find the brightness change direction in the surrounding area, and find another pixel on the contour line obtained by searching on the straight line of the brightness change direction inward from a known character or figure from the start edge point as the end point edge. A middle point between the edge point and the end point edge point is a pixel on the skeleton line.
この方法によれば、濃淡画像から求めた輪郭線を用いて骨格線を抽出するから、認識対象として入力された画像に明度のむらがある場合のように2値化すると文字・図形の情報が正常に抽出できなくなるような場合であっても、正しい骨格線を抽出することができる。 According to this method, since the skeleton line is extracted using the contour line obtained from the grayscale image, if the image input as a recognition target is binarized as in the case of uneven brightness, the character / graphic information is normal. Even if it is impossible to extract the correct skeleton line, the correct skeleton line can be extracted.
請求項11の発明は、請求項1ないし請求項9の発明において、前記骨格線を抽出するにあたり、濃淡画像を用いて文字・図形の輪郭線を抽出し、輪郭線上から選択した起点エッジ点の周囲における明度の変化方向を求め、起点エッジ点から既知である文字・図形の内側向きの明度の変化方向の一直線上を探索して規定の距離範囲内において得られる輪郭線上の他の画素を終点エッジ点として求め、起点エッジ点と終点エッジ点との中点を骨格線上の画素とすることを特徴とする。
In the invention of
この方法によれば、濃淡画像から求めた輪郭線を用いて骨格線を抽出するから、認識対象として入力された画像に明度のむらがある場合のように2値化すると文字・図形の情報が正常に抽出できなくなるような場合であっても、正しい骨格線を抽出することができる。しかも、規定の距離範囲(つまり、規定の幅範囲)の線図形だけを選んで骨格線を抽出するから、文字・図形とは考えられない広幅の領域からは骨格線を抽出することがなく、骨格線を正確に抽出することができる。 According to this method, since the skeleton line is extracted using the contour line obtained from the grayscale image, if the image input as a recognition target is binarized as in the case of uneven brightness, the character / graphic information is normal. Even if it is impossible to extract the correct skeleton line, the correct skeleton line can be extracted. Moreover, since skeleton lines are extracted by selecting only line figures within a specified distance range (that is, a specified width range), skeletal lines are not extracted from wide areas that cannot be considered as characters and figures. Skeletal lines can be accurately extracted.
請求項12の発明は、請求項1ないし請求項9の発明において、前記骨格線を抽出するにあたり、濃淡画像を用いて文字・図形の輪郭線を抽出し、輪郭線上から選択した起点エッジ点の周囲における明度の変化方向を求め、起点エッジ点から明度の変化方向における両向きの一直線上を探索して規定の距離範囲内において得られる輪郭線上の他の画素を終点エッジ点として求め、起点エッジ点と終点エッジ点との中点を骨格線上の画素とすることを特徴とする。 According to a twelfth aspect of the present invention, in extracting the skeleton line according to the first to ninth aspects of the present invention, a contour line of a character / figure is extracted using a grayscale image, and an origin edge point selected from the contour line is extracted. Find the brightness change direction in the surrounding area, search the straight line in both directions in the brightness change direction from the starting edge point, and find other pixels on the contour line within the specified distance range as the end edge point, and start edge The midpoint between the point and the end point edge point is a pixel on the skeleton line.
この方法によれば、濃淡画像から求めた輪郭線を用いて骨格線を抽出するから、認識対象として入力された画像に明度のむらがある場合のように2値化すると文字・図形の情報が正常に抽出できなくなるような場合であっても、正しい骨格線を抽出することができる。しかも、輪郭線の両側に骨格線を探索するから、白文字か黒文字かにかかわらず骨格線を抽出することができる。 According to this method, since the skeleton line is extracted using the contour line obtained from the grayscale image, if the image input as a recognition target is binarized as in the case of uneven brightness, the character / graphic information is normal. Even if it is impossible to extract the correct skeleton line, the correct skeleton line can be extracted. In addition, since the skeleton line is searched on both sides of the contour line, the skeleton line can be extracted regardless of whether the character is white or black.
請求項13の発明は、請求項1ないし請求項9の発明において、前記骨格線を抽出するにあたり、濃淡画像を用いて文字・図形の輪郭線を抽出し、輪郭線上の画素の周囲における明度の変化方向を求め、明度の勾配が最大である2方向のうちの少なくとも一方に輪郭線を膨張させる膨張処理を行い、異なる2方向から膨張してきた画素が衝突する画素を骨格線上の画素とすることを特徴とする。 According to a thirteenth aspect of the present invention, in extracting the skeletal line according to the first to ninth aspects of the present invention, a contour line of a character / figure is extracted using a grayscale image, and the brightness around the pixels on the contour line is extracted. The change direction is obtained, and an expansion process is performed to expand the contour line in at least one of the two directions where the gradient of the brightness is maximum, and pixels that collide with pixels expanded from different two directions are determined as pixels on the skeleton line. It is characterized by.
この方法によれば、濃淡画像から求めた輪郭線上の画素を膨張させて骨格線を抽出するから連続した骨格線を抽出することができる。すなわち、請求項10〜12のように輪郭線から選択した起点エッジ点を選択する場合には、得られる骨格線は不連続になるから補間処理が必要になるが、膨張処理で骨格線を求めることにより補間することなく連続した骨格線が得られる。しかも、認識対象として入力された画像に明度のむらがある場合のように2値化すると文字・図形の情報が正常に抽出できなくなるような場合であっても、正しい骨格線を抽出することができる
According to this method, since the skeleton line is extracted by expanding the pixels on the contour line obtained from the grayscale image, the continuous skeleton line can be extracted. That is, when the starting edge point selected from the contour line is selected as in
本発明によれば、認識対象となる文字・図形および認識対象に照合する文字・図形を単純形状の近似線の集合であるターゲットクラスタおよびマスタクラスタとして表現しておき、認識対象として入力された文字・図形の画像については近似線の距離を評価することによって1単位として扱う近似線群をターゲットクラスタとしているから、たとえばドットにより表現されている文字・図形、かすれた文字・図形、分断された文字・図形であってもターゲットクラスタの1単位として扱うことが可能になり、従来方法では認識できなかったこれらの文字・図形の認識が可能になるという利点がある。また、ターゲットクラスタについて設定した外接矩形に対してマスタクラスタについて設定した外接矩形の位置を合わせて形状類似度を求めるから、通常のパターンマッチングのようにテンプレートを1画素ずつずらして照合する場合に比較すると、画像内において照合を行う領域が制限されることになり、従来構成に比較して処理負荷を大幅に低減させることができ、結果的に高速な処理が期待できるという利点がある。 According to the present invention, characters / graphics to be recognized and characters / graphics to be compared with the recognition target are expressed as a target cluster and a master cluster that are a set of approximate lines of simple shapes, and characters input as recognition targets・ As for the graphic image, the approximate line group treated as one unit by evaluating the distance of the approximate line is set as the target cluster. For example, characters / graphics represented by dots, blurred characters / graphics, divided characters, etc. Even if it is a graphic, it can be handled as one unit of the target cluster, and there is an advantage that it is possible to recognize these characters / graphics which could not be recognized by the conventional method. Also, since the shape similarity is obtained by aligning the circumscribed rectangle set for the master cluster with the circumscribed rectangle set for the target cluster, it is compared with the case where the template is shifted by one pixel as in normal pattern matching. Then, the region to be collated in the image is limited, and the processing load can be greatly reduced as compared with the conventional configuration. As a result, there is an advantage that high-speed processing can be expected.
本実施形態に用いる装置の一例を図2に示す。図示例では、シート状あるいは立体形状の対象物11の画像を入力する画像入力装置としてTVカメラ12を備える。対象物11には、文字(従来構成と同様に文字・図形を意味する)が印字あるいは刻印(対象物11の表面がエンボス状に陥没あるいは***)され、TVカメラ12では文字を含む画像を撮像する。本実施形態は、主として印字あるいは刻印による文字の認識を行うものであり、手書き文字の認識については想定していない。TVカメラ12で撮像されたアナログ信号の画像は、デジタル画像生成装置13に入力されてデジタル信号に変換され、デジタル画像生成装置13からは画素値が濃度値である濃淡画像が生成される。この濃淡画像は記憶装置14に格納され、記憶装置14に格納された濃淡画像に対して画像処理装置15において以下に説明する画像処理が施される。
An example of an apparatus used in this embodiment is shown in FIG. In the illustrated example, a
画像処理装置15において行う画像処理の基本的な処理手順は、図1に示す通りであって、まずマスタデータ生成登録過程(S1)においては、文字の認識を行う対象物11に表記される全文字について、標準になる形状を有した文字を撮像し、文字を含む画像から文字の属性を抽出するとともに文字に属性を対応付けたマスタデータを登録する。マスタデータが登録されるとマスタデータとの照合による文字の認識が可能になるから、まずターゲットデータ抽出過程(S2)において、文字の認識を行う対象物11を撮像し、この画像からマスタデータと比較すべき文字の属性をターゲットデータとして抽出する。従来の技術では、ターゲットデータを抽出する前処理としてセグメンテーションを行い、セグメンテーションにより1文字ずつに切り分けているが、本実施形態ではターゲットデータ抽出過程においてはセグメンテーションを行わず、ドット文字、分断文字、不連続部分を含む文字などに対してターゲットデータ抽出過程においてひとまとまりに扱うことで、1文字よりも小さい単位に分割されることを抑制している。つまり、分離された部分同士の距離が規定した閾値以内であれば、分離された部分同士を1つの単位として扱う。このような単位を以下ではクラスタと呼ぶ。ターゲットデータから抽出したクラスタはターゲットクラスタと呼び、ターゲットクラスタは大抵の場合において1文字以上を含み、複数文字を含む場合もある。また、マスタデータでのクラスタは1文字単位であって、マスタデータのクラスタはマスタクラスタと呼ぶ。
The basic processing procedure of the image processing performed in the
マスタデータ生成登録過程においてマスタデータが登録され、ターゲットデータ抽出過程においてターゲットクラスタに区分されたターゲットデータが得られると、ターゲットクラスタにマスタクラスタを照合する形状類似度算出過程(S3)が実施される。形状類似度算出過程においては、ターゲットクラスタにマスタクラスタの位置を合わせ、ターゲットクラスタとマスタクラスタとの類似度が算出される。ターゲットクラスタとマスタクラスタとの位置合わせには、ターゲットクラスタとマスタクラスタとのそれぞれに設定した外接矩形同士の位置を合わせる。ただし、ターゲットクラスタは複数文字を含む場合があるから、マスタクラスタとターゲットクラスタとの高さ寸法と幅寸法とのそれぞれの寸法比を用いてターゲットクラスタに含まれる文字数を推定し、推定した文字数に応じてターゲットクラスタ内でマスタクラスタを移動させ、それぞれの位置で形状類似度を求める。この処理により複数文字を含むターゲットクラスタにおける文字の切り分けがなされる。なお、上述した各過程は適宜のプログラムをコンピュータで実行することにより実現される。このように、マスタクラスタとターゲットクラスタとの外接矩形の位置を合わせて形状類似度を求めることにより、画像内においてテンプレートを1画素ずつずらして照合する場合に比較すると、照合すべき領域が大幅に少なくなり、処理負荷を軽減することができる。 When master data is registered in the master data generation registration process and target data divided into target clusters is obtained in the target data extraction process, a shape similarity calculation process (S3) for collating the master cluster with the target cluster is performed. . In the shape similarity calculation process, the position of the master cluster is aligned with the target cluster, and the similarity between the target cluster and the master cluster is calculated. For the alignment of the target cluster and the master cluster, the positions of the circumscribed rectangles set in the target cluster and the master cluster are aligned. However, since the target cluster may contain multiple characters, the number of characters included in the target cluster is estimated using the ratio of the height dimension to the width dimension of the master cluster and the target cluster, and the estimated number of characters is used. Accordingly, the master cluster is moved in the target cluster, and the shape similarity is obtained at each position. By this process, characters are separated in the target cluster including a plurality of characters. Each process described above is realized by executing an appropriate program on a computer. In this way, by obtaining the shape similarity by matching the positions of the circumscribed rectangles of the master cluster and the target cluster, the area to be collated is significantly larger than when collating by shifting the template by one pixel in the image. As a result, the processing load can be reduced.
以下では、上述した個々の過程における処理手順を具体的に説明する。 Below, the process sequence in each process mentioned above is demonstrated concretely.
マスタデータ生成登録過程では、認識対象として標準になる形状を有した文字を印字したシート状の対象物11、すなわち図3に示すようなマスタシート11aをTVカメラ12により撮像する。マスタシート11aは、認識対象となる文字を印字したものであって、図示例では「0」〜「9」の数字と「A」「B」「C」「R」のアルファベットとを認識対象にしており、認識対象となる全文字を1枚のマスタシート11aに適宜の間隔で配列してある。ただし、マスタシート11aは1枚に限らず、複数毎のマスタシート11aを順に撮像するようにしてもよい。マスタシート11aを撮像した画像からは、以下の手順で各文字の構造に関する特徴量を属性に持つ単位図形であるクラスタ(以下、「マスタクラスタ」と呼ぶ)が生成される。マスタクラスタには属性としてのマスタデータが対応付けられる。
In the master data generation / registration process, a sheet-
マスタデータ生成登録過程では、図2に示すように、マスタシート11aの画像について1文字単位の領域を指定する(S11)。領域の指定は、マスタシート11aの画像をCRTのようなディスプレイ装置の画面上に表示し、マウスのようなポインティングデバイスを用いてオペレータが手作業で行う。すなわち、マスタデータを作成する際には、オペレータの指示により1文字の範囲を画像処理装置15に認識させる。1文字単位の領域を指定した後、各領域ごとに濃度値を適宜の閾値で2値化し(S12)、2値画像から骨格線を抽出する(S13)。骨格線の抽出には、Hilditch法のような周知の技術を用いる。図3に示したマスタシート11aにおいて下段右端の「R」の画像から骨格線を抽出すると図5のような2値の骨格線画像が得られる。
In the master data generation / registration process, as shown in FIG. 2, an area of one character unit is designated for the image of the
1文字単位の骨格線が抽出されると、各文字単位の骨格線について特徴量としてのマスタデータが抽出される。マスタデータの作成にあたっては、まず、骨格線画像において1文字単位の領域内をラスタ走査し、骨格線から端点と分岐点(交差点を含む)とをノードとして抽出する(S14)。たとえば、図5(a)の骨格線画像についてノードを抽出すると、図5(b)のように、端点t1,t2と分岐点j1,j2とが抽出される。ノードの抽出後には、各ノード間を結ぶ線要素を抽出する(S15)。すなわち、各端点t1,t2と各分岐点j1,j2とをそれぞれ始点として他の端点t1,t2または他の分岐点j1,j2に到達するまで線の追跡を行い(S15b)、線要素e1〜e4を抽出して記録する(S15c)。線要素e1〜e4は、一端が開いている場合には、他の端点t1,t2または分岐点j1,j2に到達するまでの追跡経路を1つの線要素とし(たとえば、線要素e3,e4)、両端が閉じている場合は始点となった端点t1,t2または分岐点j1,j2に到達するまでの追跡経路を1つの線要素とする(たとえば、線要素e1,e2)。追跡を終了したノードが端点t1,t2であれば追跡を終了し、追跡を行っていない端点t1,t2から追跡を行い、また、追跡を終了したノードが分岐点j1,j2であれば、当該分岐点t1,t2からさらに追跡する(S15a,S15d)。 When one character unit skeleton line is extracted, master data as a feature amount is extracted for each character unit skeleton line. In creating the master data, first, raster scanning is performed within an area of one character unit in the skeleton line image, and end points and branch points (including intersections) are extracted from the skeleton line as nodes (S14). For example, when nodes are extracted from the skeleton line image of FIG. 5A, end points t1 and t2 and branch points j1 and j2 are extracted as shown in FIG. 5B. After extracting the nodes, line elements connecting the nodes are extracted (S15). That is, the line is traced from the end points t1 and t2 and the branch points j1 and j2 to the other end points t1 and t2 or the other branch points j1 and j2 (S15b). e4 is extracted and recorded (S15c). When one end of the line elements e1 to e4 is open, the tracking path to reach the other end points t1 and t2 or the branch points j1 and j2 is one line element (for example, line elements e3 and e4). When both ends are closed, the tracking path to reach the end points t1 and t2 or the branch points j1 and j2 that are the start points is set as one line element (for example, line elements e1 and e2). If the node that has finished tracking is the end points t1 and t2, the tracking is terminated, and the tracking is performed from the end points t1 and t2 that are not being tracked. Further tracking is performed from the branch points t1 and t2 (S15a, S15d).
上述のようにして線要素e1〜e4が抽出されると、各線要素e1〜e4を単純形状(直線、楕円のような幾何形状)である「近似線」の集合として近似する。ここでは、単純形状として簡単な数式で表される近似線を用いる。また、近似線としては、直線と楕円の一部(以下、「楕円弧」と呼ぶ)との2種類を用いる。このように近似線として直線と楕円弧とを用いることによって、ベジェ曲線やスプライン曲線を用いる場合に比較して近似線の表現のためのパラメータを少なくすることができ、種々演算に対する処理負荷も小さくなる。図5(b)に示す形状では、線要素e1は、「R」の文字の左上角を形成する2本の直線と、上辺の直線の右端から分岐点j2までの1本の楕円弧とで近似することができる。つまり、図5(c)のように、線要素e1を2本の直線である近似線l1,l2と1本の楕円弧である近似線l3とで近似し、直線である2本の近似線l1,l2を接続する屈曲点c1と、直線である一方の近似線l2に楕円弧である他方の近似線l3と接続する線接続点d1とをノードとして導入する。線要素e2〜e4は直線であるから、そのまま近似線l4〜l6に用いる。
When the line elements e1 to e4 are extracted as described above, the line elements e1 to e4 are approximated as a set of “approximate lines” which are simple shapes (geometric shapes such as straight lines and ellipses). Here, an approximate line represented by a simple mathematical expression is used as a simple shape. Two types of approximate lines are used: a straight line and a part of an ellipse (hereinafter referred to as an “elliptical arc”). By using straight lines and elliptical arcs as approximate lines in this way, parameters for expressing approximate lines can be reduced as compared to the case of using Bezier curves and spline curves, and the processing load for various operations is also reduced. . In the shape shown in FIG. 5B, the line element e1 is approximated by two straight lines that form the upper left corner of the character “R” and one elliptical arc from the right end of the upper straight line to the branch point j2. can do. That is, as shown in FIG. 5C, the line element e1 is approximated by the
本発明におけるクラスタは各文字単位の骨格線からなる図形であって、クラスタの構造は、近似線l1〜l6とノード(端点t1,t2、分岐点j1,j2、屈曲点c1、線接続点d1)との属性で表される。すなわち、「R」の文字に関するマスタクラスタmcは、6本の近似線l1〜l6と6個のノード(端点t1,t2、分岐点j1,j2、屈曲点c1、線接続点d1)との組からなる図形であって、マスタクラスタmcには、1つのノード(たとえば、左上のノードである屈曲点c1)を基準にした相対座標を用いて表した各ノードの座標および各近似線l1〜l6のパラメータが対応付けられる。楕円弧の近似線l3が存在する場合には楕円の中心もノードに含まれ、また領域内に孤立点(たとえば、「i」の文字の上の点)が含まれる場合には孤立点もノードになる。ノードの座標はノードの識別符号(ノード名)に対応付けられ、また近似線のパラメータは近似線の識別符号(近似線名)に対応付けられる。さらに、ノード名にはノードに接続される近似線の近似線名が対応付けられる。たとえば、図5(c)に示す分岐点j1には、ノードである分岐点j1に接続されている近似線l1,l4,l5が対応付けられる。また、近似線名には近似線の両端のノード名が対応付けられる。たとえば、図5(c)に示す近似線l2には、近似線l2の両端のノードである屈曲点c1と線接続点d1とが対応付けられる。上述した近似線のパラメータとは、近似線がαx+βy−1=0で表される直線であるときには係数α、βを意味し、近似線がax2+by2+cxy+dx+ey−1=0で表される楕円弧であるときには係数a〜eを意味する。
The cluster in the present invention is a figure made up of skeleton lines for each character unit, and the structure of the cluster consists of
以上説明したように、マスタクラスタmcには、{ノード名(ノードの座標、ノードに接続される近似線名)、近似線名(近似線のパラメータ、近似線の両端のノード名)}の情報が対応付けられる。以下では、ノード名(ノードの座標、ノードに接続される近似線名)を「ノードデータ」と呼び、近似線名(近似線のパラメータ、近似線の両端のノード名)を「近似線データ」と呼び、マスタクラスタmcに対応付けたノードデータと近似線データとの組をマスタデータと呼ぶ。図6は図2に示したマスタシート11aに表記した文字から生成したマスタクラスタmc1〜mc14におけるノード(白丸)を示している。なお、図6では楕円の中心のノードは省略している。
As described above, the master cluster mc includes information of {node name (node coordinates, approximate line name connected to the node), approximate line name (approximate line parameters, node names at both ends of the approximate line)}. Are associated. In the following, node names (node coordinates, approximate line names connected to nodes) are referred to as “node data”, and approximate line names (approximate line parameters, node names at both ends of the approximate line) are referred to as “approximate line data”. A set of node data and approximate line data associated with the master cluster mc is called master data. FIG. 6 shows nodes (white circles) in the master clusters mc1 to mc14 generated from the characters written on the
上述のようにして、図4のステップS15で得られた線要素e1〜e4を直線と楕円弧とで近似するとともに、必要に応じて屈曲点、線接続点、孤立点、楕円の中心を抽出し(S16)、さらにノードデータおよび近似線データの組からなるクラスタを生成し、このクラスタをマスタクラスタとし、マスタクラスタに対応するマスタデータを登録する(S17)。上述の処理は各文字単位で行い、マスタシート11aを撮像して得たすべての文字についてマスタクラスタを生成し、マスタデータを登録すれば(S18)、マスタデータ生成登録過程を終了する。
As described above, the line elements e1 to e4 obtained in step S15 in FIG. 4 are approximated by straight lines and elliptical arcs, and the bend points, line connection points, isolated points, and ellipse centers are extracted as necessary. (S16) Further, a cluster composed of a set of node data and approximate line data is generated, and this cluster is set as a master cluster, and master data corresponding to the master cluster is registered (S17). The above-described processing is performed for each character, and when a master cluster is generated for all characters obtained by imaging the
以上説明したように、骨格線からノードと近似線とを抽出し、上述したノードデータおよび近似線データの組をマスタデータに用いているから、比較的少ないデータ量で文字の構造を記述することができ、しかも近似線が数式で表されているから、後述する形状類似度算出過程において回転とスケールと変形とに関する補正を行う際に、近似線のパラメータを補正するだけで対応でき、個々の画素に対して補正を行う必要がなく処理が簡単になる。 As described above, nodes and approximate lines are extracted from the skeleton line, and the above-described set of node data and approximate line data is used as master data, so the character structure can be described with a relatively small amount of data. In addition, since the approximate line is represented by a mathematical expression, when correcting for rotation, scale, and deformation in the shape similarity calculation process described later, it is possible to cope with the problem by simply correcting the parameters of the approximate line. It is not necessary to perform correction on the pixels, and the processing is simplified.
次に、認識対象の文字からクラスタを抽出するとともにマスタデータと照合するターゲットデータを抽出するターゲットデータ抽出過程について説明する。ターゲットデータ抽出過程では、認識対象である文字を印字したシート状の対象物11、すなわち図7に示すようなターゲットシート11bをTVカメラ12により撮像する。図示例では、ターゲットシート11bに、「03 06 25」と「3A87B」の各文字列が上下2段に表記されている。また、上段の左側3文字である「030」はかすれ文字かつ左右に2分された分断文字になっている。すなわち、これらの3文字は、マスタシート11aにおいては、いずれも連続した線からなる1要素を持つ文字であるが、ターゲットシート11bでは連続すべき部分が不連続に分断されており、2要素の文字になっている。さらに、上段の中央の2文字である「06」は接触した文字(以下、「接触文字」という)になっている。すなわち、これらの文字は、2文字であるが、接触によって1文字と誤認される可能性を有している。
Next, a description will be given of a target data extraction process for extracting a cluster from characters to be recognized and extracting target data to be collated with master data. In the target data extraction process, the
ターゲット抽出過程においては、オペレータが1文字の範囲を指定する手作業はなく、図8に示すように、TVカメラ12で撮像した画像の全体を2値化し(S21)、この2値画像から骨格線を抽出する(S22)。この骨格線画像に対して、マスタデータ生成登録過程と同様に、端点および分岐点を抽出し(S23)、さらに同様の手順(S24a〜S24d)により線要素を抽出する(S24)。また、線要素を直線および楕円弧で近似した近似線を抽出し、さらに屈曲点、孤立点、楕円の中心を含むノードを抽出する(S25)。すなわち、クラスタの要素となるノードおよび近似線を、セグメンテーションを行うことなく抽出する。図7に示したターゲットシート11bに対しては、図9(a)のようにノード(白丸で表している)と近似線とを抽出することができる。マスタデータと同様に、ノードには座標および近似線名が対応付けられ、近似線にはパラメータおよびノード名が対応付けられる。つまり、ノードデータおよび近似線データが生成される。
In the target extraction process, there is no manual operation for the operator to specify the range of one character. As shown in FIG. 8, the entire image captured by the
ただし、図7に示したターゲットシート11bに表記された文字には、かすれ文字、分断文字、接触文字が含まれているから、上述のようにして得られたノードデータおよび近似線データは、1文字単位ではなく、1文字が複数に分割されていたり、複数文字が1つに結合されていたりすることがある。すなわち、セグメンテーションを行っていないから、ノードデータと近似線データとの組が1文字分であることが保証されないものであり、このままマスタデータと照合しても、対応するものを見出すことができず、誤ったカテゴリに対応付けられることになる。ただし、接触文字については、後述する別の過程で各文字に分離可能であるから、ターゲットデータ抽出過程では処理対象にしない。
However, since the characters written on the
そこで、マスタデータとの照合を可能とするために、ターゲットシート11bから得たノードデータおよび近似線データを用いて1つの単位として扱うノードデータおよび近似線データごとにまとめたターゲットクラスタを生成する。この処理は、図8においてステップS26とステップS27とで表される手順で行われる。まず、適宜に選択したノードを起点ノードとし(S26b)、起点ノードを一端とする近似線の他端のノードを検出する(S26d)。他端のノードの種類を端点と分岐点とその他に分類し(S26e)、端点であれば起点ノードに接続された別の近似線について同様の処理を行い(S26c)、分岐点であれば当該分岐点を新たな起点ノードにし(S26g)、同様の処理を行う。また、他端のノードが端点でも分岐点でもない場合には、当該ノードを新たな起点ノードにし(S26f)、当該ノードが一端に接続された近似線の他端のノードについて種類を分類する。この処理を行うと最初に選択した起点ノードに対して近似線を介して接続されているすべてのノードを抽出することができる。ただし、最初に選択した起点ノードと他のノードとの間には近似線が何本介在していてもよい。したがって、上述の処理が未処理である近似線がなくなれば(S26c)、最初に選択した起点ノードを含み1文字分とみなされるノードデータおよび近似線データの組が生成されるから、このノードデータおよび近似線データの組をクラスタ候補として一次的に記憶する(S26h)。クラスタ候補の生成および記憶の作業は画像内のすべてのノードがいずれかのクラスタ候補に含まれるようになるまで繰り返される(S26a)。図9(a)に示すようにノードおよび近似線を抽出すると、図9(b)のようにクラスタ候補pc1〜pc14が抽出される。図9(b)では各クラスタ候補pc1〜pc14を外接矩形で囲んである。
Accordingly, in order to enable collation with the master data, node data and approximate line data handled as one unit are generated using the node data and approximate line data obtained from the
上述のようにして得られるクラスタ候補pc1〜pc14は、図9(b)を見れば明らかなように、必ずしも1文字分ごとのクラスタを形成していない。そこで、図8に示すステップS27では、1文字分に相当するクラスタ候補を結合する処理を行う。クラスタ候補pc1〜pc14を結合するか否かは、各一対のクラスタ候補pc1〜pc14に含まれるノードおよび近似線の距離によって評価する。すなわち、各クラスタ候補pc1〜pc14から2個のクラスタ候補pc1〜pc14を抽出し、互いに他方のクラスタ候補pc1〜pc14に含まれるすべてのノード間の距離と近似線間の距離との最短距離を求める(S27b)。この最短距離が規定した閾値以下であるときには(S27c)、両クラスタ候補pc1〜pc14は1つの単位として扱うべきであると判断し、両クラスタ候補pc1〜pc14を1つのクラスタとして扱ってターゲットデータとして登録する(S27e)。また、上述した最短距離が規定した閾値よりも大きいときには、両クラスタ候補pc1〜pc14は各別の文字と判断し、各別のクラスタとして扱ってターゲットデータを登録する(S27d)。たとえば、図9(b)のクラスタ候補pc3,pc5におけるノード間の最短距離が閾値よりも小さくなるように閾値を設定することによって、両クラスタ候補pc3、pc5を、図9(c)のように1つの単位として扱うことになる。ただし、クラスタ候補pc2,pc3のようにノードと近似線との距離が近い場合に、複数文字が1文字として扱われる場合があり、図9(c)のように、クラスタ候補pc1〜pc4の評価により得られるターゲットクラスタtc1〜tc9の一部には複数文字を含む場合が生じる。 The cluster candidates pc1 to pc14 obtained as described above do not necessarily form a cluster for each character, as is apparent from FIG. 9B. Therefore, in step S27 shown in FIG. 8, processing for combining cluster candidates corresponding to one character is performed. Whether or not the cluster candidates pc1 to pc14 are to be combined is evaluated based on the distance between the nodes and approximate lines included in each pair of cluster candidates pc1 to pc14. That is, two cluster candidates pc1 to pc14 are extracted from each cluster candidate pc1 to pc14, and the shortest distance between the distances between all the nodes included in the other cluster candidates pc1 to pc14 and the distance between approximate lines is obtained. (S27b). When the shortest distance is equal to or less than the prescribed threshold (S27c), it is determined that both cluster candidates pc1 to pc14 should be treated as one unit, and both cluster candidates pc1 to pc14 are treated as one cluster as target data. Register (S27e). When the shortest distance is larger than the prescribed threshold, both cluster candidates pc1 to pc14 are determined as different characters, and are treated as different clusters and target data is registered (S27d). For example, by setting a threshold value so that the shortest distance between nodes in the cluster candidates pc3 and pc5 in FIG. 9B is smaller than the threshold value, both cluster candidates pc3 and pc5 are changed as shown in FIG. 9C. It will be handled as one unit. However, when the distance between the node and the approximate line is short like the cluster candidates pc2 and pc3, a plurality of characters may be treated as one character, and the evaluation of the cluster candidates pc1 to pc4 as shown in FIG. 9C. In some cases, the target clusters tc1 to tc9 obtained by the above include a plurality of characters.
上述した処理によって、クラスタ候補の結合を行うことにより、「i」や「は」のように不連続に分離された部位を含む文字、食品の賞味期限ないし消費期限の印字などにおいて広く用いられているドット文字のように、1つの文字が隣接した2個以上の部分で構成されている場合であっても、1文字のクラスタにまとめることが可能になる。このことは、かすれ文字や分断文字であっても同様である。 By combining the cluster candidates by the above-described processing, it is widely used for printing characters including discontinuously separated parts such as “i” and “ha”, food expiry date or expiry date. Even in the case where one character is composed of two or more adjacent parts, such as a dot character, it can be grouped into a cluster of one character. This is the same even if it is a faint character or a divided character.
次に、形状類似度算出過程では、ターゲットデータにマスタデータを照合して両者の骨格線の形状の類似度を評価することにより、ターゲットデータに含まれる各クラスタをマスタクラスタのカテゴリに対応付ける処理が行われる。つまり、マスタデータに含まれるいずれかの文字にターゲットデータを対応付けることによって、ターゲットデータに含まれる文字の認識を行う。 Next, in the shape similarity calculation process, the process of associating each cluster included in the target data with the category of the master cluster by collating the master data with the target data and evaluating the similarity between the shapes of both skeleton lines. Done. That is, the character included in the target data is recognized by associating the target data with any character included in the master data.
形状類似度算出過程では、図10に示すように、ターゲットクラスタとマスタクラスタとの位置合わせを行い、ターゲットクラスタに対応するターゲットデータと、マスタクラスタに対応するマスタデータとを照合する。すなわち、ターゲットクラスタとマスタクラスタとの位置合わせの後に、ターゲットデータとマスタデータとを用いて近似線間の距離を算出し、この距離をターゲットクラスタとマスタクラスタとの形状に関する類似度の評価値に用いる。 In the shape similarity calculation process, as shown in FIG. 10, the target cluster and the master cluster are aligned, and the target data corresponding to the target cluster and the master data corresponding to the master cluster are collated. That is, after the alignment of the target cluster and the master cluster, the distance between the approximate lines is calculated using the target data and the master data, and this distance is used as the evaluation value of the similarity regarding the shape of the target cluster and the master cluster. Use.
マスタクラスタは1文字単位の図形であり、ターゲットクラスタは1文字単位と推定される図形であるから、ターゲットクラスタとマスタクラスタとの位置合わせには、まずターゲットクラスタとマスタクラスタとを重ねたときに、重なり面積を最大にするように位置を合わせる。そこで、ターゲットクラスタとマスタクラスタとの位置および大きさを二次元的に定義し大きさを比較するために、ターゲットクラスタおよびマスタクラスタについてそれぞれ外接矩形を求める(S31)。ターゲットクラスタおよびマスタクラスタに対して外接矩形を設定するには、各ターゲットクラスタあるいは各マスタクラスタに含まれるすべてのノードデータおよび近似線データについて、X方向とY方向との最大値および最小値をそれぞれ求め、(X方向の最小値、Y方向の最小値)で表される座標位置を左上点とし、(X方向の最大値、Y方向の最大値)で表される座標位置を右下線とする矩形を生成する。さらに、ターゲットクラスタおよびマスタクラスタについて設定された外接矩形を重ね合わせたときに、重なり面積が最大になるように位置を合わせる。この方法で位置合わせが可能になるのは、ターゲットクラスタとマスタクラスタとについて、同じ文字であれば高さおよび幅の寸法がほぼ一致し、またターゲットクラスタとマスタクラスタとの書体に大きな差異がないという条件を満たすときである。後者の条件は、工場製品において対象物11に印刷された文字や刻印された文字であれば容易に満たすことができる。
Since the master cluster is a figure in units of one character and the target cluster is a figure presumed to be in units of one character, when aligning the target cluster and the master cluster, first the target cluster and the master cluster are overlapped Align the position to maximize the overlap area. Therefore, in order to define the positions and sizes of the target cluster and the master cluster two-dimensionally and compare the sizes, circumscribed rectangles are obtained for the target cluster and the master cluster (S31). To set a circumscribed rectangle for the target cluster and the master cluster, the maximum value and the minimum value in the X direction and the Y direction are set for each node data and approximate line data included in each target cluster or each master cluster. The coordinate position represented by (minimum value in the X direction, minimum value in the Y direction) is the upper left point, and the coordinate position represented by (maximum value in the X direction, maximum value in the Y direction) is the lower right line. Generate a rectangle. Further, when the circumscribed rectangles set for the target cluster and the master cluster are overlapped, the positions are aligned so that the overlapping area is maximized. Alignment is possible with this method. For the target cluster and master cluster, the height and width dimensions are almost the same for the same character, and there is no significant difference in the typeface between the target cluster and the master cluster. When the condition is satisfied. The latter condition can be easily satisfied as long as it is a character printed or stamped on the
もっとも、図9(c)に示したように、1つのターゲットクラスタtc1,tc2に複数文字(図示例では2文字)を含んでいる場合があるから、上記条件のうち前者の条件が満たされないことがある。そこで、ターゲットクラスタとマスタクラスタとの高さ寸法と幅寸法とについてそれぞれ比を求め、求めた比を高さ方向あるいは幅方向における文字数とみなす(S32)。ただし、文字数は整数値であるから求めた比は四捨五入する。たとえば、図11に示すように、図9(c)に示したターゲットクラスタtc1と、図6に示したマスタクラスタmc4とを照合する場合では、ターゲットクラスタtc1の幅寸法(左右寸法)がマスタクラスタmc4の略2倍であるから、ターゲットクラスタtc1に2文字含まれていると推定される。 However, as shown in FIG. 9C, since one target cluster tc1, tc2 may include a plurality of characters (two characters in the illustrated example), the former condition among the above conditions is not satisfied. There is. Therefore, a ratio is obtained for each of the height dimension and the width dimension of the target cluster and the master cluster, and the obtained ratio is regarded as the number of characters in the height direction or the width direction (S32). However, since the number of characters is an integer value, the calculated ratio is rounded off. For example, as shown in FIG. 11, when the target cluster tc1 shown in FIG. 9C and the master cluster mc4 shown in FIG. 6 are collated, the width dimension (left-right dimension) of the target cluster tc1 is the master cluster. Since it is approximately twice mc4, it is estimated that the target cluster tc1 contains two characters.
上述のようにしてターゲットクラスタの高さ寸法および幅寸法をそれぞれマスタクラスタの高さ寸法および幅寸法で除算することにより得られた値は、着目する1つのターゲットクラスに対してマスタクラスタの位置合わせが何回必要であるかを示している。次に、ターゲットクラスタとマスタクラスタとの形状の類似度を求める(S34)。類似度を求めるには、まずターゲットクラスタにマスタクラスタの位置を合わせる(S34a)。ここで、上述のように求めた値が2以上であれば、以下のようにして形状の類似度を評価した後、ターゲットクラスタに対してマスタクラスタを1文字分だけ移動させて形状の類似度を評価する処理を繰り返す。つまり、類似度の評価はターゲットクラスタに含まれると推定される文字数分(上述した比で表される個数分)の回数だけ行われる。 The value obtained by dividing the height dimension and width dimension of the target cluster by the height dimension and width dimension of the master cluster as described above is the alignment of the master cluster with respect to one target class of interest. Shows how many times are needed. Next, the shape similarity between the target cluster and the master cluster is obtained (S34). In order to obtain the similarity, first, the position of the master cluster is aligned with the target cluster (S34a). Here, if the value obtained as described above is 2 or more, after evaluating the similarity of the shape as follows, the master cluster is moved by one character relative to the target cluster, and the similarity of the shape The process of evaluating is repeated. That is, the similarity is evaluated as many times as the number of characters estimated to be included in the target cluster (the number of characters represented by the above-described ratio).
たとえば、図11に示す例では、「0」と「3」との文字が1つのターゲットクラスタtc1に含まれており、高さ寸法はマスタクラスタmc4と略等しいが、幅寸法がマスタクラスタmc4の略2倍であるから、ターゲットクラスタtc1のクラスタには2文字分のデータが含まれていると推定される。そこで、ターゲットクラスタtc1の左半分にマスタクラスタmc4を位置合わせして類似度を評価し、さらにターゲットクラスタtc1の右半分にマスタクラスタmc4を位置合わせして類似度を評価する。図示例ではマスタクラスタmc4をターゲットクラスタtc1の右半分に位置合わせしたときに類似度が高くなるから、類似度に適宜の閾値を設定しておけば、ターゲットクラスタtc1を「0」の部分と「3」の部分に分割することが可能になる。 For example, in the example shown in FIG. 11, the characters “0” and “3” are included in one target cluster tc1, the height dimension is substantially equal to the master cluster mc4, but the width dimension is the same as that of the master cluster mc4. Since it is approximately double, it is estimated that the data of two characters is included in the cluster of the target cluster tc1. Therefore, the master cluster mc4 is aligned with the left half of the target cluster tc1, and the similarity is evaluated, and the master cluster mc4 is aligned with the right half of the target cluster tc1, and the similarity is evaluated. In the illustrated example, when the master cluster mc4 is aligned with the right half of the target cluster tc1, the degree of similarity increases. Therefore, if an appropriate threshold is set for the degree of similarity, the target cluster tc1 is set to “0” and “ 3 "can be divided.
ところで、ターゲットクラスタは通常は1文字以上の領域になるが、1文字分のターゲットクラスタが複数個に分断されている場合もある。この場合には、上述のようにして比を求めると1より小さくなるから、比が1より小さくなったときには、着目しているターゲットクラスタの周辺において比が略整数値にならず、着目しているターゲットクラスタと結合すれば比が略整数値になるようなターゲットクラスタを探し、そのようなターゲットクラスタが存在していれば、着目しているターゲットクラスタに融合し、マスタクラスタとの照合を行う。 By the way, the target cluster is usually an area of one character or more, but the target cluster for one character may be divided into a plurality of parts. In this case, since the ratio is smaller than 1 when the ratio is obtained as described above, when the ratio is smaller than 1, the ratio does not become an almost integer value around the target cluster of interest. If the target cluster is found, the target cluster whose ratio is approximately an integer value is found. If such a target cluster exists, it is merged with the target cluster of interest and collated with the master cluster. .
ターゲットクラスタとマスタクラスタとの形状の類似度の評価には、図12に示すように、マスタクラスタに含まれる近似線(破線)とターゲットクラスタに含まれる近似線(二点鎖線)との各部位での距離を求め、当該距離が規定値d以下である(つまり、実質的に重なっているとみなしてよい距離の)近似線の総延長T1と、ターゲットクラスタに含まれる近似線とマスタクラスタに含まれる近似線との間の距離の平均値Daとを用いる。ここで、マスタクラスタに含まれる近似線の総延長をM1とすれば、形状類似度Saを次式で表すことができる(S34b,S34c)。
Sa=(1−Da/d)×(T1/M1)
上式から明らかなように、形状類似度Saは、マスタクラスタに含まれる近似線とターゲットクラスタの近似線とが距離d内である近接部位の平均距離の距離dに対する割合が小さいほど大きく(上式では距離dに対する平均距離Daの割合を1から減じた値を接近程度の評価値に用いている)、距離d内である近接部位の総延長がマスタクラスタの近似線の総延長に占める割合が大きいほど大きくなる。また、形状類似度Saの値は、文字を構成する近似線の数や長さにかかわらず、0〜1の間の値をとるように正規化されるから、異なる文字に対しても統一された基準で認識結果の判断が可能になる。ここに、着目するターゲットクラスタに対して各マスタクラスタごとに上述の処理を繰り返すことにより得られる形状類似度Saのうち値(スコア)が最大になるものを求める(S33、S35〜S38)。
As shown in FIG. 12, each part of the approximate line (broken line) included in the master cluster and the approximate line (two-dot chain line) included in the target cluster is used to evaluate the similarity in shape between the target cluster and the master cluster. And the total distance T1 of the approximate line whose distance is equal to or less than the specified value d (that is, the distance that can be regarded as substantially overlapping), the approximate line included in the target cluster, and the master cluster The average value Da of the distance between the included approximate lines is used. Here, if the total extension of the approximate lines included in the master cluster is M1, the shape similarity Sa can be expressed by the following equations (S34b, S34c).
Sa = (1-Da / d) × (T1 / M1)
As is clear from the above equation, the shape similarity Sa increases as the ratio of the average distance of the adjacent parts where the approximate line included in the master cluster and the approximate line of the target cluster are within the distance d to the distance d decreases (above In the equation, the value obtained by subtracting the ratio of the average distance Da to the distance d from 1 is used as the evaluation value of the approach degree), and the ratio of the total length of the adjacent portion within the distance d to the total length of the approximate line of the master cluster The larger the value, the larger. Further, the value of the shape similarity Sa is normalized so as to take a value between 0 and 1 regardless of the number and length of the approximate lines constituting the character. The recognition result can be judged based on the standard. Here, the shape similarity Sa having the maximum value (score) obtained by repeating the above-described processing for each master cluster with respect to the target cluster of interest is obtained (S33, S35 to S38).
上述のようにして形状類似度Saを求めることにより、ターゲットクラスタ内に文字を構成する線以外の線(すなわち、マスタクラスタにはない線)が含まれていたとしても、通常は近似線の距離同士の距離が大きくなり、形状類似度Saに影響を与えないから、文字にノイズが重畳しているような場合であっても、文字の欠落や文字違いは的確に判断できる。もっとも、たとえば、光学式文字読取装置(OCR)などに用いる場合に、「C」と「O」、あるいは「3」と「8」とのように図形的に見ると他の文字の一部になっている場合には、形状類似度Saが比較的大きくなり正しい判断ができない場合がある。このような場合には、ターゲットクラスタ近似線の総延長Taに対する距離d以下の近似線の総延長T1を上式に乗じた下式を用いるとよい。
Sa=(1−Da/d)×(T1/M1)×(T1/Ta)
ところで、上述の手順では、ターゲットクラスタとマスタクラスタとの形状の類似度を求めるために、近似線同士の距離を算出する必要があるから、近似線が数式で表されているとは言え、比較的複雑な計算を必要とし、マスタクラスタの種類が少ない場合には処理負荷が大幅に増加することはないが、光学式文字読取装置のように、マスタクラスタの種類が多く類似度を求める対象が多い場合には処理負荷が非常に大きくなると考えられる。そこで、図10のステップS34aにおいて外接矩形を用いた位置合わせを行った後、ステップS34bに移行せずに、前処理としてターゲットクラスタとマスタクラスタとのノードの類似度を評価する。すなわち、マスタクラスタに含まれるノード数をMn、マスタクラスタに含まれるノードから距離d以内に存在するターゲットクラスタのノード数をTn、当該ターゲットクラスタのノードとマスタクラスタに含まれるノードとの距離の平均値をDnとして、下式で表されるノード類似度Sdを求め、ノード類似度Sdが規定した閾値以下であるときには、当該マスタクラスタについては形状類似度Saを求める処理を行わないようにする。
Sd=(1−Dn/d)×(Tn/Mn)
ノード類似度Sdを求める際に用いる距離Dnの平均値はノード(点)間の距離であるから、近似線間の距離を求める演算に比較すると処理負荷が格段に小さくなる。しかも、あらかじめ形状類似度Saの小さいマスタクラスタについては、処理負荷の大きくなる近似線間の距離の演算を回避するから、図10に示す形状類似度算出過程の全体における処理負荷の大幅な軽減になる。
By obtaining the shape similarity Sa as described above, even if a line other than a line constituting a character (that is, a line not in the master cluster) is included in the target cluster, the distance of the approximate line is usually obtained. Since the distance between them does not affect the shape similarity Sa, it is possible to accurately determine missing or different characters even when noise is superimposed on the characters. However, for example, when used in an optical character reader (OCR) or the like, if it is viewed graphically as “C” and “O” or “3” and “8”, it is part of other characters. If it is, the shape similarity Sa may be relatively large and a correct determination may not be made. In such a case, it is preferable to use the following equation obtained by multiplying the above equation by the total extension T1 of the approximate line less than the distance d with respect to the total extension Ta of the target cluster approximate line.
Sa = (1-Da / d) × (T1 / M1) × (T1 / Ta)
By the way, in the above procedure, since it is necessary to calculate the distance between the approximate lines in order to obtain the similarity of the shape between the target cluster and the master cluster, the approximate lines are expressed by mathematical formulas. However, if the number of types of master clusters is small, the processing load will not increase significantly. However, there are many types of master clusters that require similarities, such as optical character readers. If there are many, the processing load will be very large. Therefore, after performing alignment using the circumscribed rectangle in step S34a of FIG. 10, the similarity between the nodes of the target cluster and the master cluster is evaluated as preprocessing without proceeding to step S34b. That is, the number of nodes included in the master cluster is Mn, the number of nodes in the target cluster existing within a distance d from the nodes included in the master cluster is Tn, and the average distance between the nodes of the target cluster and the nodes included in the master cluster The node similarity Sd represented by the following equation is obtained with the value Dn, and when the node similarity Sd is equal to or less than a prescribed threshold, the process for obtaining the shape similarity Sa is not performed for the master cluster.
Sd = (1-Dn / d) × (Tn / Mn)
Since the average value of the distances Dn used when determining the node similarity Sd is the distance between nodes (points), the processing load is significantly reduced as compared with the calculation for determining the distance between approximate lines. In addition, for a master cluster having a small shape similarity Sa in advance, calculation of the distance between approximate lines that increases the processing load is avoided, so that the processing load in the entire shape similarity calculation process shown in FIG. Become.
また、ノード類似度Sdを求める際に、マスタクラスタについて回転とスケールと変形とに関するパラメータを変更して照合を行うことで、マスタクラスタとターゲットクラスタとの間の回転とスケールと変形とに関する補正を行えば、形状類似度Saを求める際にターゲットクラスタにおいて文字が回転していたり、マスタクラスタとのスケールが異なっていたり、マスタクラスタに対して変形が生じていたりする場合でも正しく認識することができる。 Further, when determining the node similarity Sd, the parameters related to the rotation, scale, and deformation of the master cluster are changed and collation is performed, thereby correcting the rotation, scale, and deformation between the master cluster and the target cluster. In this case, when the shape similarity Sa is obtained, it can be correctly recognized even if the characters are rotated in the target cluster, the scale of the master cluster is different, or the master cluster is deformed. .
なお、上述した実施形態では、ノードの種類(端点、屈曲点、分岐点、線接続点、孤立点、楕円中心)を考慮していないが、分断文字や接触文字でなければ、ターゲットクラスタに含まれる文字とマスタクラスタの文字とはトポロジに共通部分が多いはずであるから、ノード類似度Sdを求める際には、マスタクラスタに含まれるノードから距離d以内に存在するターゲットクラスタのノードとして同種類のノードのみに着目すれば、ノード類似度Sdの信頼性を向上させることができる。つまり、形状類似度を求める前に、マスタクラスタの各ノードの種類と、当該ノードから規定の距離範囲内に存在するターゲットクラスタの各ノードの種類とを判断し、マスタクラスタに含まれるノードの少なくとも1個がターゲットクラスタのノードの種類と一致しない場合には、当該マスタクラスタとターゲットクラスタとの形状類似度を求めないようにする。このような前処理を行うことにより、形状類似度を求める際の処理負荷が大幅に軽減される。 In the above-described embodiment, the node type (end point, bending point, branch point, line connection point, isolated point, ellipse center) is not considered, but if it is not a division character or a contact character, it is included in the target cluster. The characters of the master cluster and the characters of the master cluster should have many common parts in the topology. Therefore, when obtaining the node similarity Sd, the same type as the nodes of the target cluster existing within the distance d from the nodes included in the master cluster. If attention is paid only to the nodes, the reliability of the node similarity Sd can be improved. In other words, before obtaining the shape similarity, determine the type of each node of the master cluster and the type of each node of the target cluster that is within a specified distance range from the node, and at least of the nodes included in the master cluster If one node does not match the node type of the target cluster, the shape similarity between the master cluster and the target cluster is not obtained. By performing such preprocessing, the processing load for obtaining the shape similarity is greatly reduced.
一方、分断文字や接触文字であって、ターゲットクラスタに含まれる文字とマスタクラスタの文字とのトポロジが異なる場合には、各ノードごとに、周囲の近似線(形状、長さ、方向)、周囲のノードの情報を用いることによって、ノードの種類についてベイズ確率を求め、ノードの照合の際にベイズ確率を用いてノードの種類を評価してもよい。ここに、ノードの種類に関するベイズ確率は、ノードの種類ごとの確率の合計が100%になるように設定される確率を意味する。以下に、ベイズ確率を用いてノードの種類を推定する方法について説明する。 On the other hand, if the topology of the character included in the target cluster and the character of the master cluster is different, such as a split character or contact character, the surrounding approximate line (shape, length, direction), The node information may be used to obtain a Bayes probability for the node type, and the node type may be evaluated using the Bayes probability when the nodes are collated. Here, the Bayesian probability relating to the node type means a probability that the total probability for each node type is set to 100%. Hereinafter, a method for estimating the node type using the Bayes probability will be described.
図13(a)は、ターゲットクラスタに含まれるの文字「3」の一部に分断が生じ、連続すべき線の中間に端点t3,t4が生じ、また、分岐点の近傍に端点t5と屈曲点c2とが生じた例を示している。また、図13(b)は、ターゲットシート11bに表記された文字「4」が太字であって、骨格線を抽出したときに、上端部の屈曲点となるべき部分にヒゲ状の骨格線が出現し、屈曲点となるべきノードが分岐点j3になり、ヒゲ状の骨格線の先端に端点t6が生じた例を示している。
In FIG. 13A, a part of the character “3” included in the target cluster is divided, end points t3 and t4 are generated in the middle of the continuous line, and the end point t5 and the bend are bent near the branch point. An example in which the point c2 occurs is shown. In FIG. 13B, the character “4” written on the
いま、図13(a)の例に着目すると、2個の端点t3,t4が接近しており、しかも端点t3,t4にそれぞれ接続された近似線l7,l8の接線方向がほぼ一致しているから、両端点t3,t4が連続すると、ノードが存在しないか、ノードが存在するとすればノードの種類は線接続点になると推定できる。また、端点t5と屈曲点c2とについては、比較的長い近似線l9を接続した端点t5が屈曲点c2に近接しているから、端点t5と屈曲点c2とが連続すると、分岐点になると推定できる。ベイズ確率は、上述のような推定の結果で得られるトポロジを文字の元のトポロジとみなし、図14に示す手順でノードの種類ごとに求められる。なお、上述のような推定には、あらかじめ推定用のルールを決めておく。 Now, paying attention to the example of FIG. 13A, the two end points t3 and t4 are close to each other, and the tangential directions of the approximate lines l7 and l8 respectively connected to the end points t3 and t4 are substantially the same. From the above, it can be estimated that if both end points t3 and t4 are continuous, the node does not exist or if the node exists, the type of the node becomes a line connection point. Further, regarding the end point t5 and the bending point c2, the end point t5 connecting the relatively long approximate line l9 is close to the bending point c2, and therefore it is estimated that the end point t5 and the bending point c2 become a branch point. it can. The Bayes probability is obtained for each type of node according to the procedure shown in FIG. 14 with the topology obtained as a result of the estimation as described above being regarded as the original topology of the characters. For estimation as described above, a rule for estimation is determined in advance.
ノードの種類の確率を求めるカテゴリ確率計算は、図14に示すように、まずターゲットクラスタにおいて、2つのノードの距離が規定した閾値D以内であるものを1つのグループとし(S41)、グループの重心位置に仮ノードを設定するとともに、グループ内の各ノードに接続されている近似線の長さ寸法を計測する(S42)。また、ノードが端点であって距離D以内にノードに接続された近似線以外の近似線が存在する場合には(S43)、このノードを仮ノードとし、仮ノードに接続されている近似線の長さ寸法と仮ノードに近接する近似線の長さ寸法とを計測する(S44)。 As shown in FIG. 14, the category probability calculation for determining the probability of the node type is performed by first setting a group in which the distance between two nodes is within a prescribed threshold D in the target cluster (S41). A temporary node is set at the position, and the length dimension of the approximate line connected to each node in the group is measured (S42). If an approximate line other than the approximate line connected to the node is present within the distance D at the end point of the node (S43), this node is set as a temporary node, and the approximate line connected to the temporary node The length dimension and the length dimension of the approximate line close to the temporary node are measured (S44).
次に、各近似線の長さ寸法のうち規定した長さ寸法L以上の近似線の本数を求め(S45)、1本であれば仮ノードが端点である確率を100%とする(S46)。また、2本であれば仮ノードが線接続点である確率をζ/2π、屈曲点である確率を1−ζ/2πとする(S47)。さらに、3本以上であれば仮ノードが分岐点である確率を100%とする。ここに、ζは2本の近似線の間の角度であって、右手系で0<ζ<2πの範囲に設定され、線接続点の確率がζ/2πと設定される。 Next, the number of approximate lines equal to or greater than the defined length dimension L is obtained from the length dimensions of each approximate line (S45), and if it is 1, the probability that the temporary node is an end point is set to 100% (S46). . If there are two, the probability that the temporary node is a line connection point is ζ / 2π, and the probability that the temporary node is a bending point is 1-ζ / 2π (S47). Further, if there are three or more, the probability that the temporary node is a branch point is set to 100%. Here, ζ is an angle between two approximate lines, and is set in the range of 0 <ζ <2π in the right-handed system, and the probability of the line connection point is set as ζ / 2π.
仮ノードについて、端点、屈曲点、線接続点、分岐点の確率を求めた後、グループ内の各ノードについて仮ノードとの距離dを求める(S49)。この距離dと距離Dとを用いて、以下のように各ノードのベイズ確率を設定する。すなわち、ノードの各種類ごとの確率を、グループ内のノードが当該種類である確率×(d/D)+仮ノードが当該種類である確率×(1−d/D)という演算で求める。たとえば、孤立点の確率は、グループ内のノードが孤立点である確率×(d/D)+仮ノードが孤立点である確率×(1−d/D)になる。この演算により、図13(a)に示す例では、端点t3,t4は線接続点である確率が高くなり、t5,c2は分岐点である確率が高くなる。また、同様にして図13(b)に示す例では、分岐点j3,端点t3は屈曲点である確率が高くなる。つまり、文字の本来のトポロジが復元される。 After determining the probabilities of end points, bending points, line connection points, and branch points for the temporary node, the distance d from the temporary node is determined for each node in the group (S49). Using this distance d and distance D, the Bayes probability of each node is set as follows. That is, the probability for each type of node is obtained by the calculation of the probability that the node in the group is the type × (d / D) + the probability that the temporary node is the type × (1−d / D). For example, the probability of an isolated point is the probability that a node in the group is an isolated point × (d / D) + the probability that a temporary node is an isolated point × (1−d / D). By this calculation, in the example shown in FIG. 13A, the probabilities that the end points t3 and t4 are line connection points are high, and the probabilities that t5 and c2 are branch points are high. Similarly, in the example shown in FIG. 13B, there is a high probability that the branch point j3 and the end point t3 are bending points. That is, the original topology of the character is restored.
上述のようにして、各ノードごとにノードの種類に関するベイズ確率を求めた場合には、ノード類似度Sdは下式で求める。すなわち、マスタクラスタに含まれるノード数をMn、マスタクラスタに含まれるノードから距離d以内に存在するターゲットクラスタのノード数をTn、当該ターゲットクラスタのノードとマスタクラスタに含まれるノードとの距離をds、マスタクラスタのノードの種類と同じ種類に属するターゲットクラスタのノードのベイズ確率をpsとして、ノード類似度Sdを下式で表す。
Sd=Σ[{(1−ds/d)×ps}/Tn]×(Tn/Mn)
上式を用いてノード類似度Sdを求めると、マスタクラスタとターゲットクラスタとにおいて、人には同文字と認識される形状であるにもかかわらず、トポロジが不完全にしか一致していない場合であっても、正しいノードの種類を推定することが可能になる。
As described above, when the Bayes probability relating to the node type is obtained for each node, the node similarity Sd is obtained by the following equation. That is, the number of nodes included in the master cluster is Mn, the number of nodes of the target cluster existing within a distance d from the node included in the master cluster is Tn, and the distance between the node of the target cluster and the node included in the master cluster is ds. The node similarity Sd is expressed by the following equation, where ps is the Bayes probability of the node of the target cluster belonging to the same type as the node type of the master cluster.
Sd = Σ [{(1-ds / d) × ps} / Tn] × (Tn / Mn)
When the node similarity Sd is obtained using the above equation, the topology is incompletely matched in the master cluster and the target cluster even though the shape is recognized as the same character by humans. Even so, it is possible to estimate the correct node type.
ノード類似度を求めることによってマスタクラスタのノードから規定の距離範囲ds内に存在するターゲットクラスタのノードとのノード類似度を求めることができるから、マスタクラスタに含まれるノードの少なくとも1個に対応するターゲットクラスタのノード類似度が規定の閾値以上でない場合には、当該マスタクラスタとターゲットクラスタとの形状類似度を求めないようにする。このような前処理によって形状類似度を求める回数を大幅に低減することができ、処理負荷の軽減になる。 By obtaining the node similarity, it is possible to obtain the node similarity with the target cluster nodes existing within the prescribed distance range ds from the master cluster node, and therefore corresponds to at least one of the nodes included in the master cluster. When the node similarity of the target cluster is not equal to or greater than a predetermined threshold, the shape similarity between the master cluster and the target cluster is not obtained. Such pre-processing can greatly reduce the number of times the shape similarity is obtained, thereby reducing the processing load.
ところで、上述した形状類似度Saの演算の際には、マスタクラスタおよびターゲットクラスタに関してそれぞれ設定した外接矩形の位置を合わせているが、マスタクラスタとターゲットクラスタとは各別に外接矩形を設定するから、マスタクラスタとターゲットクラスタとの外接矩形の位置を合わせても、図15に示すように、両者に含まれる文字が完全には重ならずにずれていることがある(図15の破線がマスタクラスタの文字、実線がターゲットクラスタの文字)。文字同士の位置のずれが大きいときには、両者の近似線同士の距離が比較的大きくなるから、形状類似度算出過程において求める形状類似度Saの値(スコア)が小さくなり、形状類似度Saが小さくなる可能性がある。また、上述したように、ターゲットクラスタに含まれる文字は、マスタクラスタに含まれる文字に対して回転していたり、スケールが異なっていたり、変形していたりすることがあり、このような場合にも外接矩形の位置を合わせただけでは、形状類似度Saが小さくなる可能性がある。 By the way, in the calculation of the shape similarity Sa described above, the position of the circumscribed rectangle set for each of the master cluster and the target cluster is matched, but the circumscribed rectangle is set for each of the master cluster and the target cluster. Even if the positions of the circumscribed rectangles of the master cluster and the target cluster are aligned, the characters included in both may be shifted without completely overlapping (the broken line in FIG. 15 indicates the master cluster). Character, solid line is the character of the target cluster). When the positional deviation between the characters is large, the distance between the two approximate lines becomes relatively large. Therefore, the value (score) of the shape similarity Sa obtained in the shape similarity calculation process is small, and the shape similarity Sa is small. There is a possibility. In addition, as described above, characters included in the target cluster may be rotated relative to the characters included in the master cluster, may have different scales, or may be deformed. There is a possibility that the shape similarity Sa is reduced only by aligning the circumscribed rectangles.
このような問題を解消するには、外接矩形では大まかな位置合わせに用い、さらに外接矩形を相対的に上下左右に移動させながら形状類似度Saを複数回求めることにより、形状類似度Saが最大になる位置を採用することが考えられる。しかしながら、1つの文字について形状類似度Saを複数回求めることが必要になるから、形状類似度Saを求める回数が爆発的に増大し、処理負荷が大きくなるという問題が生じる。 To solve this problem, the circumscribed rectangle is used for rough alignment, and the shape similarity Sa is maximized by obtaining the shape similarity Sa a plurality of times while relatively moving the circumscribed rectangle up and down and left and right. It is conceivable to adopt a position that becomes. However, since it is necessary to obtain the shape similarity Sa for a single character a plurality of times, the number of times the shape similarity Sa is obtained increases explosively, resulting in a problem that the processing load increases.
そこで、図23に示すように、マスタクラスタの文字の近似線上で少なくとも6点のサンプル点sp1〜sp6を設定し、各サンプル点sp1〜sp6から当該近似線の法線方向においてもっとも近い距離にあるターゲットクラスタの文字の近似線の上の対応点tp1〜tp6を求め、サンプル点sp1〜sp6の座標と対応点tp1〜tp6の座標とを数1で示すアフィン変換の変換式に適用し、マスタクラスタに含まれる文字をターゲットクラスタに含まれる文字に重ね合わせるようにアフィン変換の変換式のパラメータα1,β1,α2,β2,dx,dyを最小自乗法で決定する。なお、ノードにおいては近似線の接線方向を定義できないから、サンプル点sp1〜sp6は近似線の上において適宜の間隔で設定する。以下に示す数1、数2において、X,Yはターゲットクラスタ上の座標を示し、x,yはマスタクラスタ上の座標を示す。
Therefore, as shown in FIG. 23, at least six sample points sp1 to sp6 are set on the approximate line of the characters of the master cluster, and the closest distance in the normal direction of the approximate line from each sample point sp1 to sp6. Corresponding points tp1 to tp6 on the approximate line of the target cluster character are obtained, and the coordinates of the sample points sp1 to sp6 and the coordinates of the corresponding points tp1 to tp6 are applied to the conversion formula of the affine transformation expressed by
数1に示すアフィン変換の変換式は、X軸回りおよびY軸回りの回転、X軸方向およびY軸方向の拡大縮小(スケール)、X軸方向およびY軸方向の位置の合計6自由度のパラメータについての座標変換であるから、数1の6個のパラメータα1,β1,α2,β2,dx,dyを最小自乗法で求めることにより、回転の補正とスケールの補正と文字の位置とのほか、文字が斜体になっているような線形歪の補正も可能になる。なお、文字が斜体になっているような線形歪を考慮しないのであれば、数2のようにスケールα、回転角θ、移動量(dx,dy)の合計4自由度のヘルマート変換のパラメータを求めてもよい。ヘルマート変換を行う場合には、サンプル点は4個以上あればよい。
The conversion formula of the affine transformation shown in
上述の方法において、サンプル点をマスタクラスタに含まれる近似線ごとに設定すれば、ターゲットクラスタに含まれる文字の一部分の変形にも対応することが可能である。たとえば、文字「8」について、マスタクラスタでは上下の「○」が同じ大きさに設定され、ターゲットクラスタでは上の「○」が下の「○」よりも小さいとすれば、マスタクラスタの全体のスケールの変更ではターゲットクラスタに重ね合わせることができない。このような場合に、上の「○」の近似線と下の「○」の近似線とについて、それぞれサンプル点を設定すれば、上の「○」と下の「○」とを各別に拡大縮小することが可能になる。ただし、文字を構成する近似線ごとにアフィン変換(ないしヘルマート変換)が施されることになり、異なる近似線を接続するノードが整合しなくなる(同じ位置のノードであるにもかかわらず、ノードの位置がずれる)可能性があるから、このような場合には補間処理を行ってノードの座標データを補正する必要が生じる。なお、アフィン変換(ないしヘルマート変換)による補正を行った後は、形状類似度Saは当然ながら再計算することになる。 In the above-described method, if a sample point is set for each approximate line included in the master cluster, it is possible to cope with deformation of a part of characters included in the target cluster. For example, for the character “8”, if the upper and lower “o” are set to the same size in the master cluster, and the upper “o” is smaller than the lower “o” in the target cluster, the entire master cluster The scale cannot be overlaid on the target cluster. In such a case, if the sample points are set for the approximate line of the upper “○” and the approximate line of the lower “○”, the upper “○” and the lower “○” are enlarged separately. It becomes possible to reduce. However, affine transformation (or Helmart transformation) will be performed for each approximate line constituting the character, and nodes connecting different approximate lines will not match (although the nodes of the same position will not match) In such a case, it is necessary to correct the coordinate data of the node by performing an interpolation process. Note that, after correction by affine transformation (or Helmart transformation), the shape similarity Sa is naturally recalculated.
次に、上述のようにして求めた形状類似度Saを用いてターゲットシート11bを撮像した画像に含まれる文字を認識する技術について説明する。この種の文字認識には、ターゲットシート11bを撮像した画像に含まれる各文字をマスタデータのカテゴリに対応付ける場合と、ターゲットシート11bを撮像した画像に含まれる既知の文字が正しく表記されているか否かを検査する場合とがある。前者は文字読取装置(たとえば、OCR)に用いる技術であって、この場合には、1つのターゲットクラスタに対して複数のマスタクラスタをそれぞれ位置合わせして形状類似度をそれぞれ求め、形状類似度のもっとも大きいマスタクラスタを、ターゲットクラスタの画像の当該位置におけるカテゴリに対応付けることができる。一方、文字の表記を検査する場合には、1つのターゲットクラスタに当該位置に表記されていなければならない文字に対応するマスタクラスタを位置合わせして形状類似度を求め、形状類似度が規定した閾値以上であるかどうかを評価することにより文字が正しく表記されているか否かを検査することができる。
Next, a technique for recognizing characters included in an image obtained by capturing the
ところで、文字の表記が正しいか否かを検査する場合であって、表記されている文字が複数個であり、かつ文字の配列が既知である場合には、以下の方法によりターゲットクラスタにマスタクラスタの位置を合わせるようにすれば位置合わせが容易になる。 By the way, in the case of checking whether the character notation is correct, when there are a plurality of characters and the character arrangement is known, the master cluster is set as the target cluster by the following method. If the positions of these are matched, the positioning becomes easy.
いま、図16に示すように、TVカメラ12で撮像する対象物11に文字が上下2段に表記され、上段には「2003.10.02」という日付を示す文字列が表記され、下段には「AB8560」という文字列が表記されているものとする。この種の表記は工業製品などにおいてなされており、表記された文字について、文字種、文字サイズ、文字間隔、行間隔、文字数のような文字の配列に関する情報は既知と考えられる。この場合には、まず基準となる文字列を表記した対象物11をマスタとして、図17に示すように、対象物11を撮像した画像からオペレータが1文字ずつ切り出したマスタクラスタ(図17に破線で示す外接矩形の領域がそれぞれマスタクラスタになる)にノードデータおよび近似線データを対応付けた文字列マスタを生成する。文字列マスタでは、文字の配列に関する情報も保存される。
Now, as shown in FIG. 16, characters are written in the upper and lower rows on the
上述の例では、文字列に含まれる各文字の位置は拘束されているから、文字列マスタと検査対象である文字列とに含まれる複数の文字の位置を対応付けることによって、他の文字の対応付けが可能になる。たとえば、図18(a)に示す文字列マスタにおいて、異なる2文字以上(図示例では2文字)の外接矩形の角位置から1点ずつ代表点P1,P2を選択し、ターゲットクラスタについては、図18(b)〜(d)に示すように、2個のターゲットクラスタを選択するすべての組合せについて、各ターゲットクラスタの角位置に文字列マスタの代表点P1,P2を重ね、文字列マスタとターゲットクラスタとの外接矩形の重なり面積が大きくなるように、文字列マスタを回転させたり、スケールを調節したり、位置を変化させたりする。つまり、文字列マスタに対してアフィン変換(ないしヘルマート変換)を施す。このようにして、文字列マスタとターゲットクラスタとにそれぞれ設定した外接矩形(文字列マスタの外接矩形を破線で示し、ターゲットクラスタの外接矩形を実線で示している)の重なり面積が最大になる位置(図18(c)の位置)を検出すれば、ターゲットクラスタと文字列マスタとを容易に照合することができる。 In the above example, the position of each character included in the character string is constrained. Therefore, by associating the positions of multiple characters included in the character string master and the character string to be inspected, Can be attached. For example, in the character string master shown in FIG. 18A, representative points P1 and P2 are selected one by one from the corner positions of circumscribed rectangles of two or more different characters (two characters in the illustrated example). As shown in 18 (b) to (d), for all combinations for selecting two target clusters, the representative points P1 and P2 of the character string master are overlapped at the corner positions of each target cluster, and the character string master and the target are overlapped. The character string master is rotated, the scale is adjusted, or the position is changed so that the overlapping area of the circumscribed rectangle with the cluster increases. That is, affine transformation (or Helmart transformation) is performed on the character string master. The position where the overlapping area of circumscribed rectangles set for the character string master and the target cluster in this way (the circumscribed rectangle of the character string master is indicated by a broken line and the circumscribed rectangle of the target cluster is indicated by a solid line) is maximized. If (the position in FIG. 18C) is detected, the target cluster and the character string master can be easily collated.
文字列マスタの代表点P1,P2は、文字列マスタに含まれる全文字を包含する外接矩形のうち対角線上に位置する2個のマスタクラスタの角部の2点を選択するのが望ましい。このように選択した代表点P1,P2は、文字列マスタに含まれる文字列クラスタから選択可能な2点のうちで最大距離になり、位置合わせの精度が高くなるからある。 As the representative points P1 and P2 of the character string master, it is desirable to select two points at the corners of the two master clusters located on the diagonal line among the circumscribed rectangles including all the characters included in the character string master. This is because the representative points P1 and P2 selected in this way are the maximum distance among the two points that can be selected from the character string cluster included in the character string master, and the alignment accuracy is increased.
なお、文字列マスタをターゲットクラスタに位置合わせする際に、検査対象となる文字列全体が文字列マスタに対して回転している場合には、あらかじめ回転角度を求めることによって、回転に関する補正が不要になり、文字列マスタをターゲットクラスタに位置合わせする処理が簡単になる。そこで、図19(a)(b)に示すように、各ターゲットクラスタについて面積が最小になる外接矩形を抽出する。つまり、外接矩形の方向を変化させると外接矩形の面積は変化するのであって、文字の縦横と外接矩形の縦横とが一致するときに外接矩形の面積が最小になると考えられる。そこで、面積が最小になる外接矩形を抽出するのである。このようにして得られた外接矩形は同じ向きを向いていると考えられるから、各ターゲットクラスタの外接矩形の角を適宜方向に写像して度数を求めると、図19(a)のように写像した方向が外接矩形の各辺の方向に一致していない場合には度数の最大値が小さくなるのに対して、図19(b)のように写像した方向が外接矩形の並ぶ方向(つまり、文字の並ぶ方向)に一致する場合には度数の最大値が大きくなり、複数の明確なピークが現れることになる。したがって、図19(b)のように度数の最大値が大きく、明確なピークが現れる方向をターゲットクラスタの向きとして求めることができる。要するに、文字列マスタに対するターゲットクラスタの回転角度を知ることができ、文字列マスタをターゲットクラスタに位置合わせする処理での処理負荷が軽減される。なお、写像させる方向は、たとえば10度間隔で変化させることによって角度の範囲の目安を得た後に、目安が得られた角度の近辺において、さらに小さい角度間隔で変化させるようにすればよい。上述のように、文字列が既知である場合には、文字を個々に認識する場合に比較すると、複数の文字の位置が拘束されていることを利用することで、さらに処理負荷を軽減することができる。 When aligning the character string master to the target cluster, if the entire character string to be inspected is rotated with respect to the character string master, correction for rotation is unnecessary by obtaining the rotation angle in advance. Thus, the process of aligning the character string master with the target cluster is simplified. Therefore, as shown in FIGS. 19A and 19B, a circumscribed rectangle having a minimum area is extracted for each target cluster. That is, when the direction of the circumscribed rectangle is changed, the area of the circumscribed rectangle changes, and it is considered that the area of the circumscribed rectangle is minimized when the length and width of the character coincide with the length and width of the circumscribed rectangle. Therefore, the circumscribed rectangle having the smallest area is extracted. Since the circumscribed rectangles obtained in this way are considered to be oriented in the same direction, when the corners of the circumscribed rectangles of the respective target clusters are mapped in an appropriate direction, the frequency is obtained as shown in FIG. The maximum value of the frequency becomes small when the direction does not match the direction of each side of the circumscribed rectangle, whereas the mapped direction as shown in FIG. In the case of matching with the (character alignment direction), the maximum value of the frequency increases, and a plurality of distinct peaks appear. Therefore, as shown in FIG. 19B, the direction in which the maximum value of the frequency is large and a clear peak appears can be obtained as the direction of the target cluster. In short, the rotation angle of the target cluster with respect to the character string master can be known, and the processing load in the process of aligning the character string master with the target cluster is reduced. Note that the direction of mapping may be changed at a smaller angle interval in the vicinity of the angle at which the guideline is obtained after the guideline of the angle range is obtained, for example, by changing at an interval of 10 degrees. As described above, when the character string is known, the processing load can be further reduced by using the fact that the positions of a plurality of characters are constrained as compared with the case where the characters are individually recognized. Can do.
上述した実施形態において、Hilditch法のような技術を用いることを説明したが、背景の明度が均一でないような場合に、文字を背景から分離するための2値化に用いる閾値の設定が難しく、設定された閾値が不適当であると、文字の一部と背景とが区別できなくなるおそれがある。そこで、骨格線を以下の手順で抽出すれば、背景の明度と文字の明度との差が小さい場合でも骨格線を抽出することができる。すなわち、文字程度の幅を有する線図形では、文字を構成している線の幅方向における一方側の輪郭線と他方側の輪郭線とでは明度の変化方向(明度の勾配が最大になる方向)がほぼ逆向きになることを利用して骨格線を抽出するのであって、2値画像からではなく濃淡画像から骨格線を抽出する。 In the above-described embodiment, the use of a technique such as the Hilditch method has been described. However, when the brightness of the background is not uniform, it is difficult to set a threshold value used for binarization for separating characters from the background. If the set threshold value is inappropriate, there is a possibility that a part of the character cannot be distinguished from the background. Therefore, if the skeleton line is extracted by the following procedure, the skeleton line can be extracted even when the difference between the lightness of the background and the lightness of the characters is small. That is, in a line figure having a width about the character, the change direction of lightness (direction in which the lightness gradient is maximized) between the contour line on one side and the contour line on the other side in the width direction of the lines constituting the character. The skeleton line is extracted by utilizing the fact that the direction is substantially opposite, and the skeleton line is extracted from the grayscale image instead of the binary image.
この方法では、まずターゲットシート11bを撮像した画像に対してSobelフィルタなどのエッジ抽出フィルタを用いることにより、図20に示すように文字の1本の線(「文字線」と呼ぶ)について、幅方向に離間した2本の輪郭線k1,k2を抽出することが可能である。輪郭線k1,k2を求めた後には輪郭線k1,k2上の画素から適宜に起点エッジ点Ps1,Ps2,……とするサンプル点を抽出し、起点エッジ点Ps1,Ps2,……の周囲における明度の変化方向を求める。ここでは、黒地の背景に白文字である場合を想定する。この場合、起点エッジ点Ps1,Ps2,……から文字線の内側に向かう向きは明度が大きくなる向きであるから、起点エッジ点Ps1,Ps2,……の周囲で明度の勾配が最大になる向きの一直線上を探索し文字線の反対側の輪郭線に到達した点を終点エッジ点Pe1,Pe2,……とする。ここにおいて、白地の背景に黒文字である場合には、文字線の内側に向かう向きは明度が小さくなる向きになる。要するに、起点エッジ点から終点エッジ点への探索は既知である文字の内側向きの明度の変化方向について行う。
In this method, by using an edge extraction filter such as a Sobel filter on an image obtained by imaging the
起点エッジ点Ps1,Ps2,……と終点エッジ点Pe1,Pe2,……とは明度の変化によって求めており、閾値を用いて2値化するのではないから、背景と文字との間に明度差があれば検出することができる。図20(b)に示すように、上述のようにして得られた起点エッジ点Ps1,Ps2,……と終点エッジ点Pe1,Pe2,……との中点を骨格点Pm1,Pm2,……に用いることによって、2値化を行う場合に比較して背景と文字とを分離できる可能性が高くなる。また、得られた骨格点Pm1,Pm2,……の間隔が大きい(規定した閾値以上)の場合には、骨格点Pm1,Pm2,……の間を直線で結ぶ補間処理を行うことにより骨格線を連続させる。 The starting edge points Ps1, Ps2,... And the ending edge points Pe1, Pe2,... Are obtained by a change in brightness, and are not binarized using a threshold value. If there is a difference, it can be detected. As shown in FIG. 20B, the midpoints of the starting edge points Ps1, Ps2,... And the ending edge points Pe1, Pe2,. By using this, the possibility that the background and the characters can be separated is higher than in the case of binarization. Further, when the obtained skeleton points Pm1, Pm2,... Are large in distance (greater than a prescribed threshold), the skeleton lines are obtained by performing an interpolation process connecting the skeleton points Pm1, Pm2,. Continue.
ここに、起点エッジ点Ps1,Ps2,……と終点エッジ点Pe1,Pe2,……との距離範囲を制限すれば、認識する文字線の幅を制限することができる。たとえば、回路パターン上に細い線で書かれた文字を読み取るような場合には、回路パターンを文字線と誤認するのを防止することができる。 If the distance range between the starting edge points Ps1, Ps2,... And the ending edge points Pe1, Pe2,... Is limited, the width of the recognized character line can be limited. For example, when a character written with a thin line on a circuit pattern is read, it is possible to prevent the circuit pattern from being mistaken as a character line.
さらに、上述の手順は文字線の明度の変化方向が一定である場合、すなわち白地の背景に黒文字か黒地の背景に白文字かの場合を想定しているが、文字に対応する部位において白地と黒地との背景が混在しており、文字の明度が白地と黒地との背景の中間値であるような場合には、文字線の明度変化方向が部分的に変化することになり上記手順を適用することができない。 Furthermore, the above procedure assumes that the direction of change in the brightness of the character line is constant, that is, the case where the white background is black or the white background is white. If the background of the black background is mixed and the lightness of the character is an intermediate value between the background of the white background and the black background, the lightness change direction of the character line partially changes and the above procedure is applied. Can not do it.
このような場合には、起点エッジ点Ps1,Ps2,……に対して文字線の内側の向きを明度の変化では特定できないから、起点エッジ点Ps1,Ps2,……から明度の増加する向きと減少する向きとの両方に向かって終点エッジ点Pe1,Pe2,……を探索し、起点エッジ点Ps1,Ps2,……から終点エッジ点Pe1,Pe2,……までの距離の範囲を制限しておいて骨格線を抽出することにより、文字に重なる部位で背景に明暗の関係が反転する場合や、金属のように光沢がある物体に文字が打刻されている場合のように、白地に黒文字か黒字に白抜き文字かを特定できない場合にも骨格線を正しく抽出することができる。 In such a case, the direction inside the character line with respect to the starting edge points Ps1, Ps2,... Cannot be specified by the change in brightness, so the direction in which the brightness increases from the starting edge points Ps1, Ps2,. Searching for the end point edge points Pe1, Pe2,... In both the decreasing direction and limiting the range of distances from the start point edge points Ps1, Ps2,... To the end point edge points Pe1, Pe2,. By extracting the skeletal line in the background, the black and white characters on the white background, such as when the relationship of light and darkness is reversed in the background where the character overlaps, or when the character is engraved on a shiny object such as metal The skeleton line can be correctly extracted even if it cannot be specified whether the character is black or white.
骨格線を抽出する技術としては、輪郭線の抽出後に、輪郭線を明度の変化方向(明度の勾配が最大である方向)を求め、明度の勾配が最大である2方向に輪郭線を膨張させる膨張処理を行い、異なる2方向から膨張してきた画素が衝突した画素位置を骨格線上の画素位置としてもよい。 As a technique for extracting a skeleton line, after extracting the contour line, the contour line is searched for the direction of lightness change (direction in which the lightness gradient is maximum), and the contour line is expanded in two directions where the lightness gradient is maximum. The pixel position on which the pixel which expanded from two different directions collided may be used as the pixel position on the skeleton line.
なお、上述した実施形態では、基準となる文字を表記したマスタシート11aをTVカメラ12で撮像した画像からマスタデータを生成する例を示したが、文字のフォントデータからマスタデータを生成したり、CADなどで作成された文字データからマスタデータを生成したりすることも可能である。フォントデータやCADなどで作成した文字データを用いてマスタデータを作成すれば、画像からマスタデータを生成する場合に比較すると不要なノイズが混入せず、マスタデータの生成が容易になる。
In the above-described embodiment, an example is shown in which master data is generated from an image obtained by capturing the
11 対象物
11a マスタシート
11b ターゲットシート
12 TVカメラ
13 デジタル画像生成装置
14 記憶装置
15 画像処理装置
DESCRIPTION OF
Claims (13)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003425853A JP4543675B2 (en) | 2003-12-22 | 2003-12-22 | How to recognize characters and figures |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003425853A JP4543675B2 (en) | 2003-12-22 | 2003-12-22 | How to recognize characters and figures |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005182660A true JP2005182660A (en) | 2005-07-07 |
JP4543675B2 JP4543675B2 (en) | 2010-09-15 |
Family
ID=34785578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003425853A Expired - Fee Related JP4543675B2 (en) | 2003-12-22 | 2003-12-22 | How to recognize characters and figures |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4543675B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009048417A (en) * | 2007-08-20 | 2009-03-05 | A T Communications Co Ltd | Character recognition device, character recognition method and program |
JP2009069953A (en) * | 2007-09-11 | 2009-04-02 | Fuji Xerox Co Ltd | Image processing device and image processing program |
JP2010198308A (en) * | 2009-02-25 | 2010-09-09 | Fujitsu Ltd | Character recognition program, character recognition method, and character recognition device |
JP2014131277A (en) * | 2012-12-28 | 2014-07-10 | Konicaminolta Laboratory Usa Inc | Document image compression method and application of the same to document authentication |
JP5950317B1 (en) * | 2016-02-25 | 2016-07-13 | 有限会社Ics Sakabe | Code recognition system, code recognition method, code recognition program, and package sorting system |
CN111310579A (en) * | 2020-01-19 | 2020-06-19 | 徐庆 | Image skeleton node feature descriptor acquisition method and device |
WO2021073311A1 (en) * | 2019-10-15 | 2021-04-22 | 华为技术有限公司 | Image recognition method and apparatus, computer-readable storage medium and chip |
CN112966318A (en) * | 2021-04-12 | 2021-06-15 | 青矩技术股份有限公司 | Method for displaying characters in CAD file and terminal equipment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH064671A (en) * | 1992-06-22 | 1994-01-14 | Ricoh Co Ltd | Pattern processing method |
JPH0668305A (en) * | 1992-08-18 | 1994-03-11 | Ricoh Co Ltd | Feature extracting method for linear graphic |
JPH0676114A (en) * | 1992-08-25 | 1994-03-18 | Ricoh Co Ltd | Character recognizing method |
JPH1091724A (en) * | 1996-09-10 | 1998-04-10 | Riibuson:Kk | Pattern recognizer |
-
2003
- 2003-12-22 JP JP2003425853A patent/JP4543675B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH064671A (en) * | 1992-06-22 | 1994-01-14 | Ricoh Co Ltd | Pattern processing method |
JPH0668305A (en) * | 1992-08-18 | 1994-03-11 | Ricoh Co Ltd | Feature extracting method for linear graphic |
JPH0676114A (en) * | 1992-08-25 | 1994-03-18 | Ricoh Co Ltd | Character recognizing method |
JPH1091724A (en) * | 1996-09-10 | 1998-04-10 | Riibuson:Kk | Pattern recognizer |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009048417A (en) * | 2007-08-20 | 2009-03-05 | A T Communications Co Ltd | Character recognition device, character recognition method and program |
JP2009069953A (en) * | 2007-09-11 | 2009-04-02 | Fuji Xerox Co Ltd | Image processing device and image processing program |
JP2010198308A (en) * | 2009-02-25 | 2010-09-09 | Fujitsu Ltd | Character recognition program, character recognition method, and character recognition device |
JP2014131277A (en) * | 2012-12-28 | 2014-07-10 | Konicaminolta Laboratory Usa Inc | Document image compression method and application of the same to document authentication |
JP5950317B1 (en) * | 2016-02-25 | 2016-07-13 | 有限会社Ics Sakabe | Code recognition system, code recognition method, code recognition program, and package sorting system |
WO2021073311A1 (en) * | 2019-10-15 | 2021-04-22 | 华为技术有限公司 | Image recognition method and apparatus, computer-readable storage medium and chip |
CN111310579A (en) * | 2020-01-19 | 2020-06-19 | 徐庆 | Image skeleton node feature descriptor acquisition method and device |
CN111310579B (en) * | 2020-01-19 | 2023-06-23 | 徐庆 | Image skeleton node feature descriptor acquisition method and device |
CN112966318A (en) * | 2021-04-12 | 2021-06-15 | 青矩技术股份有限公司 | Method for displaying characters in CAD file and terminal equipment |
CN112966318B (en) * | 2021-04-12 | 2022-06-10 | 青矩技术股份有限公司 | Method for displaying characters in CAD file and terminal equipment |
Also Published As
Publication number | Publication date |
---|---|
JP4543675B2 (en) | 2010-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cheung et al. | An Arabic optical character recognition system using recognition-based segmentation | |
EP1497787B1 (en) | System and method for identifying and extracting character strings from captured image data | |
US5410611A (en) | Method for identifying word bounding boxes in text | |
JP2951814B2 (en) | Image extraction method | |
JP2002133426A (en) | Ruled line extracting device for extracting ruled line from multiple image | |
JPH08305796A (en) | Pattern extracting device, table preparing device for pattern recognition and pattern recognition device | |
JP3830998B2 (en) | Ruled line removal method and character recognition apparatus using the same | |
US6947596B2 (en) | Character recognition method, program and recording medium | |
JP4543675B2 (en) | How to recognize characters and figures | |
JP4492258B2 (en) | Character and figure recognition and inspection methods | |
JP3923474B2 (en) | Character reader | |
CN111027521B (en) | Text processing method and system, data processing device and storage medium | |
Valveny et al. | Application of deformable template matching to symbol recognition in handwritten architectural drawings | |
JP4810853B2 (en) | Character image cutting device, character image cutting method and program | |
CN113537216A (en) | Dot matrix font text line inclination correction method and device | |
JPH10222587A (en) | Method and device for automatically discriminating slip or the like | |
JP2775807B2 (en) | Character recognition method | |
JP3183949B2 (en) | Pattern recognition processing method | |
JP3077929B2 (en) | Character extraction method | |
JPH0877293A (en) | Character recognition device and generating method for dictionary for character recognition | |
JP3998439B2 (en) | Image processing apparatus, image processing method, and program causing computer to execute these methods | |
JP3278247B2 (en) | Character recognition method | |
JP4878057B2 (en) | Character recognition method, program, and recording medium | |
JP2975067B2 (en) | Character recognition method | |
JP3662967B2 (en) | Character loop candidate extraction device and character completion device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100621 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |