JPH11232387A - Character recognition device - Google Patents
Character recognition deviceInfo
- Publication number
- JPH11232387A JPH11232387A JP10028761A JP2876198A JPH11232387A JP H11232387 A JPH11232387 A JP H11232387A JP 10028761 A JP10028761 A JP 10028761A JP 2876198 A JP2876198 A JP 2876198A JP H11232387 A JPH11232387 A JP H11232387A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- character
- information
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Input (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、帳票類に予め印刷
された定形情報（罫線、枠線やプレ印刷文字など）を含
む記入領域の画像を参照画像として記憶し、認識対象と
なる帳票類の記入領域の入力画像を参照画像と対比して
該記入領域に記入された記入文字を認識する文字認識装
置に関し、特に、解析的な形（パラメータ）で表現でき
ない多種多様な定型情報が、非ドロップアウトカラーで
印刷され、画像入力系の機差、帳票搬送時の変動、帳票
上の定型情報に印刷ズレが生じた場合でも、処理に要す
るメモリを少なく、処理時間を低減しつつ、入力画像か
ら正確に定型情報の除去を行い、高い精度の文字認識を
行う文字認識装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for storing an image of an entry area including fixed-form information (ruled lines, frame lines, preprinted characters, etc.) preprinted on a form as a reference image, and recognizing the form or the like to be recognized. In particular, the present invention relates to a character recognition device for recognizing a character entered in an entry area by comparing an input image of the entry area with a reference image, and in particular, various types of standard information that cannot be expressed in an analytical form (parameters). Even if the image is printed in drop-out color, even if there is a difference in the image input system, fluctuations when transporting the form, or print misalignment in the fixed information on the form, the memory required for processing is reduced, and the input image is reduced while reducing the processing time. The present invention relates to a character recognition device that accurately removes fixed form information from characters and performs character recognition with high accuracy.
【０００２】[0002]
【従来の技術】従来、罫線、枠線又はプレ印刷文字など
の非ドロップアウトカラーで予め印刷された定型情報を
含む帳票上に記入された文字を読み取る技術が知られて
いる。2. Description of the Related Art Conventionally, there is known a technique of reading characters written on a form including fixed information pre-printed in a non-dropout color such as a ruled line, a frame line, or a preprinted character.
【０００３】例えば、特開平９−３４９９５号公報に
は、黒ランレングス情報に基づき、定型情報の構造を解
析し、抽出された定型情報を入力画像から消去した後、
残りの画像を用いて文字切り出し及び文字認識を行うよ
う構成した画像処理装置が開示されている。For example, Japanese Patent Application Laid-Open No. 9-34995 discloses that after analyzing the structure of the fixed form information based on the black run length information and deleting the extracted fixed form information from the input image,
There is disclosed an image processing apparatus configured to perform character segmentation and character recognition using the remaining images.
【０００４】ところが、かかる従来技術は、解析的な形
（パラメータ）で表現できる定型情報を取り扱う場合に
は有効であるが、パラメータで表現できない定形情報を
取り扱う場合には適用が難しい。However, such a conventional technique is effective when handling fixed information that can be expressed in an analytical form (parameters), but is difficult to apply when handling fixed information that cannot be expressed by parameters.
【０００５】このため、パラメータで表現できない定形
情報を取り扱う場合には、定形情報を参照画像としてあ
らかじめ準備しておき、入力画像から参照画像を減算す
ることになる。For this reason, when dealing with fixed information that cannot be represented by parameters, fixed information is prepared in advance as a reference image, and the reference image is subtracted from the input image.
【０００６】例えば、特開昭５８−２０７１８４号公報
には、定型情報を参照画像として登録保存しておき、そ
の参照画像を入力画像から減算し、残りの画像で文字切
り出し及び文字認識を行うよう構成した記録情報認識装
置が開示されている。For example, in Japanese Patent Application Laid-Open No. 58-207184, fixed information is registered and stored as a reference image, the reference image is subtracted from the input image, and character extraction and character recognition are performed on the remaining images. A configured recorded information recognition device is disclosed.
【０００７】[0007]
【発明が解決しようとする課題】しかしながら、この従
来技術を用いて例えば定形情報を含む帳票上の文字を読
み取る場合には、精密な位置合わせ（照合）を行わない
ので、定型情報の残骸が生じたり、定型情報に近接した
記入文字が非接触にも関わらず消去され、結果的に認識
精度が低下するという問題が生ずる。However, when reading characters on a form including fixed-form information using this conventional technique, for example, precise alignment (collation) is not performed, so that debris of fixed-form information is generated. In addition, there is a problem that characters written near the fixed information are erased in spite of non-contact, resulting in a reduction in recognition accuracy.
【０００８】その理由は、伸縮及び傾斜等の画像入力系
の機差や、搬送速度のバラツキによる画像の伸縮や回転
等の帳票搬送時の変動や、枠線の伸縮、枠線とプレ印刷
文字がともに平行移動する変動、枠線とプレ印刷文字の
相対位置関係の変動などの帳票上の定形情報の印刷ズレ
が生じるからである。[0008] The reason for this is that differences in image input systems such as expansion and contraction and inclination, fluctuations in image transfer due to expansion and contraction and rotation of images due to variations in transfer speed, expansion and contraction of frame lines, and the occurrence of frame lines and pre-printed characters. This is because there is a printing shift of the fixed form information on the form, such as a fluctuation in the parallel movement of both, and a fluctuation in the relative positional relationship between the frame line and the preprinted character.
【０００９】このため、定型情報を有する参照画像と入
力画像とを位置合わせ（照合）する際に、図形相互の回
転角と平行移動量を得る一般化ハフ（Hough）変換を用
いて、回転角及び平行移動量に限定し、その変動を吸収
して位置合わせを行う技術が知られている。Therefore, when aligning (collating) the reference image having the standard information with the input image, the generalized Hough transform for obtaining the rotation angle and the parallel movement amount between the figures is used. In addition, there is known a technique in which the position is limited to the amount of parallel movement and the fluctuation is absorbed to perform the alignment.
【００１０】しかし、かかる技術を用いるためには、ハ
フ空間を形成するための膨大なメモリが必要になるとい
う問題が生じる。However, in order to use such a technique, there arises a problem that an enormous memory for forming the Huff space is required.
【００１１】例えば、平行移動の分解能が１画素、回転
角の分解能が１度である場合において、２５６画素×２
５６画素からなる画像の照合を行う際には、パラメータ
空間用に数十メガバイトのメモリ容量が必要となる。For example, when the resolution of the translation is 1 pixel and the resolution of the rotation angle is 1 degree, 256 pixels × 2
When collating an image composed of 56 pixels, a memory capacity of several tens of megabytes is required for the parameter space.
【００１２】また、この一般化ハフ変換では、参照画像
と入力画像の各エッジ点間の全ての組み合わせから回転
量及び平行移動量を求めるため、エッジ数が増加すれば
増加する程処理時間が累増するという問題もある。In this generalized Hough transform, the amount of rotation and the amount of translation are obtained from all combinations between the edge points of the reference image and the input image. Therefore, the processing time increases as the number of edges increases. There is also the problem of doing.
【００１３】そこで、本発明では、上記問題点を解決
し、解析的な形（パラメータ）で表現できない多種多様
な定型情報が、非ドロップアウトカラーで印刷され、画
像入力系の機差、帳票搬送時の変動、帳票上の定型情報
に印刷ズレが生じた場合でも、処理に要するメモリを少
なく、処理時間を低減しつつ、入力画像から正確に定型
情報の除去を行い、高い精度の文字認識を行う文字認識
装置を提供することを目的とする。また、定型情報が文
字で構成され、その文字と記入文字が接触、重畳した場
合であっても、定型情報と記入文字との接触箇所を正確
に抽出し、接触、重畳による欠損部分を修復すること
で、文字認識の精度を高める文字認識装置を提供するこ
とを目的とする。Therefore, the present invention solves the above-mentioned problems, and prints various types of standard information that cannot be expressed in an analytical form (parameters) in a non-dropout color. Even if the printing time fluctuates or the template information on the form is misaligned, the memory required for processing is reduced, the processing time is reduced, and the template information is accurately removed from the input image to achieve highly accurate character recognition. It is an object of the present invention to provide a character recognition device that performs the operation. In addition, even when the fixed form information is composed of characters, and the character and the entered character are in contact with or superimposed on each other, the contact point between the fixed form information and the entered character is accurately extracted, and the defective portion due to the contact and superimposition is repaired. Thus, an object of the present invention is to provide a character recognition device that improves the accuracy of character recognition.
【００１４】[0014]
【課題を解決するための手段】上記目的を達成するた
め、第１の発明は、帳票類に予め印刷された定形情報を
含む記入領域の画像を参照画像として記憶し、認識対象
となる帳票類の記入領域の入力画像を前記参照画像と対
比して該記入領域に記入された記入文字を認識する文字
認識装置において、画像入力系の機差及び帳票の傾き角
度に関する情報に基づいて前記入力画像の回転、伸縮又
は傾斜を吸収した後に、前記入力画像と参照画像の平行
移動量を算出して該入力画像と参照画像のずれを補正す
る補正手段と、前記入力画像から参照画像の画素情報を
除いた差分画像を生成し、前記記入文字と定形情報との
接触による欠落を補完して該記入文字を修復する修復手
段と、前記修復手段が修復した差分画像から各記入文字
を切り出して認識する認識手段とを具備することを特徴
とする。According to a first aspect of the present invention, an image of an entry area including fixed-form information preprinted on a form is stored as a reference image, and the form and the like to be recognized are recorded. In the character recognition device for recognizing the characters entered in the entry area by comparing the input image of the entry area with the reference image, the input image is input based on the information on the machine difference of the image input system and the inclination angle of the form. After absorbing the rotation, expansion, contraction, or inclination of the input image, a correction unit that calculates a translation amount of the input image and the reference image to correct a shift between the input image and the reference image, and obtains pixel information of the reference image from the input image. A restoration means for generating a subtracted difference image, compensating for the missing characters due to the contact between the entered characters and the fixed-form information, and restoring the entered characters, and cutting out and recognizing each entered character from the restored difference image. Characterized by comprising a recognition means.
【００１５】また、第２の発明は、前記補正手段は、画
像入力系の光学系設定情報を記憶する記憶手段と、前記
記憶手段に記憶した光学系設定情報と帳票の傾き角度に
基づいて、前記参照画像を回転、伸縮又は傾斜する第１
の変形手段と、前記第１の変形手段により変形された変
形画像と前記入力画像との平行移動量を算出して、前記
変形画像を平行移動する第２の変形手段とを具備するこ
とを特徴とする。According to a second aspect of the present invention, the correction means includes a storage means for storing optical system setting information of an image input system, and the optical system setting information stored in the storage means and a tilt angle of a form. First to rotate, expand or contract the reference image
And a second deforming means for calculating the amount of translation between the deformed image deformed by the first deforming means and the input image, and translating the deformed image in parallel. And
【００１６】また、第３の発明は、前記第２の変形手段
は、前記変形画像を２値化処理した２値画像から、連結
した黒画素を包含するブロックを抽出するブロック抽出
手段と、前記ブロック抽出手段が抽出したブロックのう
ち、所定のしきい値よりも小さいブロックをそのまま単
位領域とし、該所定のしきい値以上の大きさを有するブ
ロックを所定数のブロックに分割して単位領域とする単
位領域抽出手段と、前記単位領域抽出手段が抽出した単
位領域ごとに入力画像の対応部分との平行移動量を算定
し、算定した平行移動量に基づいて前記単位領域をそれ
ぞれ平行移動する平行移動手段とを具備することを特徴
とする。In a third aspect of the present invention, the second transforming means comprises: a block extracting means for extracting a block including connected black pixels from a binary image obtained by binarizing the transformed image; Of the blocks extracted by the block extracting means, a block smaller than a predetermined threshold is used as a unit area as it is, a block having a size equal to or larger than the predetermined threshold is divided into a predetermined number of blocks, A unit region extracting unit that calculates a translation amount of a corresponding portion of the input image for each unit region extracted by the unit region extraction unit, and translates the unit regions based on the calculated translation amount. And moving means.
【００１７】また、第４の発明は、前記単位領域抽出手
段は、前記ブロック抽出手段が抽出したブロックのう
ち、所定のしきい値以上の大きさを有するブロックを分
割して単位領域とする際、分割された領域が重複するよ
うにブロックを組み合わせて単位領域とすることを特徴
とする。According to a fourth aspect of the present invention, the unit area extracting means divides a block having a size equal to or larger than a predetermined threshold from the blocks extracted by the block extracting means into a unit area. The blocks are combined so that the divided areas overlap to form a unit area.
【００１８】また、第５の発明は、前記修復手段は、前
記入力画像を形成する画素のうち、前記記入文字と定形
情報とが交差又は重複する画素に接触属性を付与し、該
接触属性を有する複数の画素列が互いに所定の位置関係
にある場合に、画素列相互間に所在する画素を黒画素に
して有効属性を付与することを特徴とする。According to a fifth aspect of the present invention, the restoration means assigns a contact attribute to a pixel of the pixels forming the input image where the entered character intersects or overlaps with the fixed information, and assigns the contact attribute to the pixel. When a plurality of pixel columns have a predetermined positional relationship with each other, pixels located between the pixel columns are set as black pixels and an effective attribute is provided.
【００１９】[0019]
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。なお、本実施の形態では、
文字認識装置に入力される帳票種類は、該装置の操作者
が予め指定することとする。Embodiments of the present invention will be described below with reference to the drawings. In the present embodiment,
The form type input to the character recognition device is specified in advance by the operator of the device.
【００２０】まず最初に、本実施の形態で用いる帳票及
び認識対象領域の一例について説明する。First, an example of a form and a recognition target area used in the present embodiment will be described.
【００２１】図２は、本実施の形態で用いる帳票及び認
識対象領域の一例を示す図である。FIG. 2 is a diagram showing an example of a form and a recognition target area used in the present embodiment.
【００２２】同図に示すように、この帳票３０は、○○
○○○○株式会社が使用する帳票であり、払込通知票３
１及び収入金額領収書控３２を切り取り線で結合したも
のである。As shown in the figure, this form 30 is
This is a form used by ○○○○ Co., Ltd.
1 and the income receipt 32 are connected by a cut line.
【００２３】ここで、この帳票３０の払込通知票３１に
は、請求金額欄３１ａ及び支払期限欄３１ｂ等があるた
め、文字認識装置は、これらの欄に記入された記入文字
を認識する必要がある。Here, since the payment notification form 31 of the form 30 includes a billing amount field 31a and a payment term field 31b, the character recognition device needs to recognize characters entered in these fields. is there.
【００２４】ここで、請求金額欄３１ａの枠線は矩形で
あるため、解析的な形（パラメータ）で表現できる定型
情報となるが、支払期限欄３１ｂは、矩形の四角を丸く
しているため、解析的な形（パラメータ）で表現しずら
い定型情報となる。Here, since the frame line of the billing amount column 31a is a rectangle, it becomes fixed form information that can be expressed in an analytical form (parameter). However, the payment term column 31b is formed by rounding the square of the rectangle. , Becomes fixed information that is difficult to express in an analytical form (parameter).
【００２５】このため、以下では、この支払期限欄３１
ｂに記入される文字を認識する場合に焦点を当てて説明
することとする。Therefore, in the following, this payment term column 31
The description will focus on the case of recognizing the character to be entered in b.
【００２６】図１は、本実施の形態で用いる文字認識装
置の構成を示す機能ブロック図である。FIG. 1 is a functional block diagram showing the configuration of the character recognition device used in the present embodiment.
【００２７】同図に示すように、この文字認識装置は、
多値画像入力部１１と、帳票位置検出部１２と、書式情
報記憶部１３と、画像切出部１４と、参照画像記憶部１
５と、機差情報記憶部１６と、参照画像補正部１７と、
照合部１８と、減算処理部１９と、接触有無判定部２０
と、文字切出部２１と、欠損補正処理部２２と、文字認
識部２３と、辞書格納部２４と、後処理部２５とからな
る。As shown in FIG.
Multi-value image input unit 11, form position detection unit 12, format information storage unit 13, image cutout unit 14, reference image storage unit 1
5, a machine difference information storage unit 16, a reference image correction unit 17,
Collation unit 18, subtraction processing unit 19, contact presence / absence determination unit 20
, A character extraction unit 21, a loss correction processing unit 22, a character recognition unit 23, a dictionary storage unit 24, and a post-processing unit 25.
【００２８】多値画像入力部１１は、帳票を光学的に読
み取って該帳票に対応する多値画像を取得するイメージ
スキャナ等の入力装置であり、帳票位置検出部１２は、
多値画像入力部１１が取得した入力画像に含まれる帳票
の４頂点の座標を検出する処理部である。The multi-value image input unit 11 is an input device such as an image scanner for optically reading a form and acquiring a multi-value image corresponding to the form.
This is a processing unit that detects the coordinates of four vertices of a form included in the input image acquired by the multi-value image input unit 11.
【００２９】書式情報記憶部１３は、認識対象領域の位
置及び大きさ並びに文字種などの帳票の書式に係わるパ
ラメータを記憶する記憶部であり、画像切出部１４は、
書式情報記憶部１３に記憶された書式情報に基づいて、
入力画像から認識対象領域を切り出す処理部である。The format information storage unit 13 is a storage unit for storing parameters relating to the format of the form, such as the position and size of the recognition target area and the character type.
Based on the format information stored in the format information storage unit 13,
This is a processing unit that cuts out a recognition target area from an input image.
【００３０】参照画像記憶部１５は、認識対象領域に対
応する参照画像を記憶する記憶部であり、機差情報記憶
部１６は、ＣＣＤの取付角度θccd や像倍率α等の光学
的設定情報を記憶する記憶部である。The reference image storage unit 15 is a storage unit for storing a reference image corresponding to the recognition target area. The machine difference information storage unit 16 stores optical setting information such as the mounting angle θccd of the CCD and the image magnification α. It is a storage unit for storing.
【００３１】参照画像補正部１７は、機差情報記憶部１
６が記憶する機差情報と、帳票位置検出部１２が検出し
た帳票の傾き角度θdoc とを用いて、参照画像記憶部１
５に記憶した参照画像の画像変換を行う処理部である。The reference image correction unit 17 stores the machine difference information storage unit 1
6 and the inclination angle θdoc of the form detected by the form position detection unit 12, using the reference image storage unit 1.
5 is a processing unit that performs image conversion of the reference image stored in the storage unit 5.
【００３２】照合部１８は、入力画像と参照画像を照合
して、入力画像中での定形情報の平行移動量を算出する
処理部であり、減算処理部１９は、入力画像から参照画
像を減算して、記入文字のみからなる差分画像を作成す
る処理部である。The collating unit 18 is a processing unit for collating the input image with the reference image and calculating the amount of translation of the fixed-form information in the input image. The subtracting unit 19 subtracts the reference image from the input image. Then, the processing unit creates a difference image consisting of only the entered characters.
【００３３】接触有無判定部２０は、減算処理後の差分
画像について、記入文字と参照画像の接触判定及び接触
している位置の抽出を行う処理部である。The contact presence / absence determination unit 20 is a processing unit that determines the contact between the entered character and the reference image and extracts the contact position from the difference image after the subtraction processing.
【００３４】文字切出部２１は、書式情報記憶部１３に
記憶した書式情報に基づいて差分画像から輪郭抽出を行
い、連結した黒画素を包含する矩形ブロックを抽出する
処理部であり、欠損補正処理部２２は、文字切出部２１
が切り出した矩形ブロックに含まれる記入文字の欠損を
補完する補正を行う処理部である。The character extracting section 21 is a processing section for extracting a contour from the difference image based on the format information stored in the format information storage section 13 and extracting a rectangular block including connected black pixels. The processing unit 22 includes a character extracting unit 21
Is a processing unit that performs correction to compensate for missing characters included in the cut-out rectangular blocks.
【００３５】文字認識部２３は、書式情報記憶部１３に
記憶した書式情報及び辞書格納部２４に記憶した文字認
識辞書を用いて文字切出部２１が切り出した矩形ブロッ
クに含まれる文字の認識を行う処理部であり、後処理部
２５は、認識結果を整理して出力する処理部である。The character recognition unit 23 uses the format information stored in the format information storage unit 13 and the character recognition dictionary stored in the dictionary storage unit 24 to recognize characters included in the rectangular blocks cut out by the character cutout unit 21. The post-processing unit 25 is a processing unit that organizes and outputs recognition results.
【００３６】なお、多値画像入力部１１と、帳票位置検
出部１２と、書式情報記憶部１３と、画像切出部１４
と、参照画像記憶部１５と、機差情報記憶部１６と、参
照画像補正部１７と、照合部１８とで請求項１の補正手
段を構成し、減算処理部１９と、接触有無判定部２０
と、文字切出部２１と、欠損補正処理部２２とで請求項
１の修復手段を構成し、文字認識部２３と、辞書格納部
２４とで請求項１の認識手段を構成している。The multi-valued image input unit 11, the form position detecting unit 12, the format information storage unit 13, and the image extracting unit 14
The reference image storage unit 15, the machine difference information storage unit 16, the reference image correction unit 17, and the collation unit 18 constitute the correction unit according to claim 1, and include a subtraction processing unit 19, a contact presence / absence determination unit 20
, The character cutout unit 21 and the loss correction processing unit 22 constitute the restoration means of claim 1, and the character recognition unit 23 and the dictionary storage unit 24 constitute the recognition means of claim 1.
【００３７】次に、上記構成を有する文字認識装置の処
理内容及び動作について処理手順に沿って具体的に説明
する。Next, the processing contents and operation of the character recognition device having the above configuration will be specifically described along the processing procedure.
【００３８】まず、文字認識処理に先だって、書式情報
記憶部１３、参照画像記憶部１５及び機差情報記憶部１
６に、帳票に関する書式、認識対象領域に対応する参照
画像及び機差情報を格納するとともに、辞書格納部２４
に文字認識辞書を格納する。First, prior to the character recognition processing, the format information storage unit 13, the reference image storage unit 15, and the machine difference information storage unit 1
6 stores the format relating to the form, the reference image corresponding to the recognition target area, and the machine difference information.
To store the character recognition dictionary.
【００３９】なお、本実施の形態では、説明の便宜上、
これら情報の格納は操作者による設定操作によって、帳
票の文字認識を実際にさせる前に、予め行なっておく。In this embodiment, for convenience of explanation,
Such information is stored in advance by the setting operation by the operator before the character recognition of the form is actually performed.
【００４０】そして、かかる準備が完了したならば、多
値画像入力部が、ローラー又はベルト等の搬送手段によ
って搬送された帳票等の原稿を読み取り、図示しない多
値画像メモリへ一旦格納する。When the preparation is completed, the multi-valued image input unit reads a document such as a form conveyed by conveying means such as a roller or a belt, and temporarily stores it in a multi-valued image memory (not shown).
【００４１】次に、帳票位置検出部１２が、図３（ａ）
に示すように、多値画像メモリに記憶された入力画像の
４辺（上下左右辺）から各軸に垂直な方向に画素値を走
査し、同図（ｂ）に示すように、 Ｅ(i)＝ｆ(i+2)＋ｆ(i+1)−ｆ(i-1)−ｆ(i-2) の計算式にしたがって、注目画素の近傍での濃度値Ｅが
しきい値以上となる座標値列を算出する。Next, the form position detecting section 12 performs the operation shown in FIG.
As shown in (b), the pixel values are scanned from four sides (upper, lower, left and right sides) of the input image stored in the multi-valued image memory in a direction perpendicular to each axis, and as shown in FIG. ) = F (i + 2) + f (i + 1) -f (i-1) -f (i-2), the density value E in the vicinity of the pixel of interest becomes equal to or larger than the threshold value. Calculate a coordinate value sequence.
【００４２】そして、この上下左右辺ごとに算出した画
素値列から帳票の上下左右端の４本の回帰直線を算出す
るとともに、かかる回帰直線の傾きから帳票の傾き角度
θdoc を算定し、これらの回帰直線の交点から帳票の４
頂点の座標を得る。Then, four regression lines at the upper, lower, left, and right ends of the form are calculated from the pixel value sequence calculated for each of the upper, lower, left, and right sides, and the inclination angle θdoc of the form is calculated from the inclination of the regression line. 4 from the intersection of the regression line
Get vertex coordinates.
【００４３】なお、この帳票位置検出部１２は、算定し
た帳票の傾き角度θdoc を参照画像の補正部１７へ出力
するとともに、帳票の傾き角度θdoc 及び帳票の４頂点
の座標を画像切出部１４へ出力する。The form position detection unit 12 outputs the calculated form inclination angle θdoc to the reference image correction unit 17 and also calculates the form inclination angle θdoc and the coordinates of the four vertices of the form. Output to
【００４４】次に、参照画像記憶部１５及び機差情報記
憶部１６から、認識対象領域に対応する参照画像及び機
差情報をそれぞれ読み出し、参照画像補正部１７に対し
て出力する。ここで、ＣＣＤの取付角度θccd が正常で
ない場合には、画像入力時に画像に傾斜が生じ、像倍率
が1.0でない場合には、画像入力時に画像に伸縮が生じ
ることになるが、これらは予め基準帳票を用いて情報を
収集し、機差情報記憶部１６に記憶してある。Next, the reference image and the machine difference information corresponding to the recognition target area are read from the reference image storage unit 15 and the machine difference information storage unit 16 and output to the reference image correction unit 17. Here, if the CCD mounting angle θccd is not normal, the image will be tilted when the image is input, and if the image magnification is not 1.0, the image will be expanded or contracted when the image is input. Information is collected using a form and stored in the machine difference information storage unit 16.
【００４５】そして、参照画像補正部１７では、光学系
設定情報（ＣＣＤ取付角度θccd 、像倍率α）及び帳票
位置検出部１２が算定した帳票の傾き角度θdoc に基づ
いて、図４（ａ）に示す変換式により画像変換を行う。
ただし、補正前の画像をｆ(Xin,Yin)とし、補正後の画
像をg(Xout,Yout)とすることとする。4A based on the optical system setting information (CCD mounting angle θccd, image magnification α) and the form inclination angle θdoc calculated by the form position detector 12. Image conversion is performed using the conversion formula shown below.
However, the image before correction is f (Xin, Yin), and the image after correction is g (Xout, Yout).
【００４６】例えば、図４（ｂ）に示す参照画像が参照
画像記憶部１５に記憶されている場合には、かかる画像
変換の結果により、図４（ｃ）に示すように参照画像が
変換されることになる。For example, when the reference image shown in FIG. 4B is stored in the reference image storage unit 15, the reference image is converted as shown in FIG. Will be.
【００４７】このようにして、照合部１８及び減算処理
部１９で問題となる変形（回転、伸縮、傾斜、平行移
動）のうち、回転、伸縮及び傾斜に関する変形が参照画
像補正部１７で吸収されることになる。なお、作成され
た参照画像は、照合部１８に出力される。As described above, among the deformations (rotation, expansion, contraction, inclination, and parallel movement) that are problematic in the matching unit 18 and the subtraction processing unit 19, the deformations related to rotation, expansion, contraction, and inclination are absorbed by the reference image correction unit 17. Will be. Note that the created reference image is output to the matching unit 18.
【００４８】次に、画像切出部１４は、指定された帳票
種類及び認識対象領域に対応する書式情報（認識対象領
域の位置と大きさ、文字種などのパラメータ）を書式情
報記憶部１３から読み出し、帳票位置検出部１２で検出
した帳票の傾き角度θdoc 及び帳票の４頂点の座標に基
づいて入力画像から認識対象領域を切り出し、これを２
値化処理して、図示しない認識対象領域メモリに格納す
る。Next, the image cutout unit 14 reads from the format information storage unit 13 format information (parameters such as the position and size of the recognition target area and the character type) corresponding to the specified form type and recognition target area. Based on the form inclination angle θdoc detected by the form position detection unit 12 and the coordinates of the four vertices of the form, a recognition target area is cut out from the input image.
It is converted into a value and stored in a recognition target area memory (not shown).
【００４９】なお、かかる２値化処理では、文字部や定
型情報部を黒画素に変換し、背景部分を白画素へ変換す
る。この際、黒画素の属性を「有効」、白画素の属性を
「無効」として記憶しておく。In the binarization process, the character portion and the fixed information portion are converted into black pixels, and the background portion is converted into white pixels. At this time, the attribute of the black pixel is stored as “valid” and the attribute of the white pixel is stored as “invalid”.
【００５０】次に、照合部１８は、図５に示す手順で、
入力画像中での定型情報の平行移動量を算出する。Next, the collating unit 18 performs the procedure shown in FIG.
The amount of translation of the fixed form information in the input image is calculated.
【００５１】図５に示すように、この照合部１８は、ま
ず最初に入力画像の輪郭点の座標及びその方向性（以下
「輪郭点情報」と言う。）と、参照画像の輪郭点情報と
をそれぞれ抽出する（ステップ４０１及び４０２）。例
えば、参照画像補正部１７から受け取った参照画像が図
６（ａ）に示すものである場合には、その輪郭点情報は
図６（ｂ）のようになる。As shown in FIG. 5, first, the collating unit 18 determines the coordinates of the contour points of the input image and the directionality thereof (hereinafter referred to as "contour point information"), and the contour point information of the reference image. Are extracted (steps 401 and 402). For example, when the reference image received from the reference image correction unit 17 is the one shown in FIG. 6A, the contour point information is as shown in FIG. 6B.
【００５２】その後、参照画像から抽出した輪郭点情報
から２値画像上の連結した黒画素を包含する矩形（以下
「ブロック」と言う。）を抽出する（ステップ４０
３）。なお、参照画像の輪郭点情報が図６（ｂ）に示す
ものである場合には、図６（ｃ）に示すように７個のブ
ロックが抽出される。Thereafter, a rectangle (hereinafter, referred to as a "block") containing connected black pixels on the binary image is extracted from the contour point information extracted from the reference image (step 40).
3). When the contour point information of the reference image is as shown in FIG. 6B, seven blocks are extracted as shown in FIG. 6C.
【００５３】次に、かかるブロックのうち、ブロックの
大きさが所定のしきい値以下のブロックをそれぞれ単位
領域として抽出する（ステップ４０４）。例えば、図６
（ｃ）に示すブロックのうち、ブロック１〜ブロック６
までの６個のブロックが単位領域として抽出される。Next, of these blocks, blocks whose size is equal to or smaller than a predetermined threshold are extracted as unit areas (step 404). For example, FIG.
Of the blocks shown in (c), block 1 to block 6
The six blocks up to are extracted as unit areas.
【００５４】また、図６（ｃ）に示すブロック７のよう
に、ブロックの大きさが所定のしきい値以上の場合に
は、ブロック７自体を単位領域とみなすのではなく、こ
のブロック７を領域分割して各領域を単位領域とみな
す。When the size of a block is equal to or larger than a predetermined threshold value, as in block 7 shown in FIG. 6C, the block 7 is not regarded as a unit area, but is regarded as a unit area. The area is divided and each area is regarded as a unit area.
【００５５】具体的には、図７（ａ）に示すように、垂
直軸および水平軸方向の輪郭点の周辺分布を作成し、そ
の周辺分布の度数がＮ等分される座標を算出し、同図
（ｂ）に示すように、Ｎ×Ｎの領域に分割する。そし
て、分割された領域が重複するように４個の分割領域を
用いて１個の単位領域を構成し、同図（ｃ）に示すよう
に（Ｎ−１）×（Ｎ−１）個の単位領域を抽出する。な
お、ここではＮ＝４の場合を示している。Specifically, as shown in FIG. 7A, a peripheral distribution of contour points in the vertical axis and horizontal axis directions is created, and coordinates at which the frequency of the peripheral distribution is equally divided by N are calculated. As shown in FIG. 3B, the image is divided into N × N areas. Then, one unit area is formed by using the four divided areas so that the divided areas are overlapped, and as shown in FIG. Extract unit area. Here, a case where N = 4 is shown.
【００５６】このようにして、単位領域の作成が終了し
たならば、単位領域番号を示す変数ｉをインクリメント
しつつ、参照画像の各単位領域ごとに入力画像中での定
型情報の平行移動量を算出する（ステップ４０５〜４０
７）。When the creation of the unit area is completed in this way, the variable i indicating the unit area number is incremented, and the translation amount of the fixed information in the input image is determined for each unit area of the reference image. Calculation (steps 405 to 40
7).
【００５７】例えば、図６（ａ）に示す参照画像が存在
する場合には、同図（ｃ）に示すブロック１〜６と、図
７（ｃ）に示す９個のブロックの合計１５個の単位領域
について入力画像中での平行移動量を算出することにな
る。For example, when the reference image shown in FIG. 6A exists, a total of 15 blocks of blocks 1 to 6 shown in FIG. 6C and nine blocks shown in FIG. The translation amount in the input image for the unit area is calculated.
【００５８】具体的には、第ｉ番目の単位領域をセット
し（ステップ４０５）、参照画像の輪郭点の方向成分と
一致する入力画像上の輪郭点を、水平、垂直方向ともに
(−δ)画素から(＋δ)画素の範囲を探索し、一致する位
置に対応する２次元（２δ＋１）×（２δ＋１）のマッ
プ上の座標へ加点する（ステップ４０６）。そして、全
ての輪郭点についての処理が終了した時点で、マップ上
で最高得点となる位置を算出し、平行移動量を得る（ス
テップ４０７）。ただし、ここでは、平行移動量の範囲
を水平、垂直方向共に(−δ)画素から(＋δ)画素に制限
することとする。Specifically, the i-th unit area is set (step 405), and the contour points on the input image that match the direction components of the contour points of the reference image are set in both the horizontal and vertical directions.
The range from (−δ) pixels to (+ δ) pixels is searched, and points are added to the coordinates on the two-dimensional (2δ + 1) × (2δ + 1) map corresponding to the matching position (step 406). Then, when the processing for all the contour points is completed, the position at which the highest score is obtained on the map is calculated, and the translation amount is obtained (step 407). However, here, the range of the amount of parallel movement is limited from (−δ) pixels to (+ δ) pixels in both the horizontal and vertical directions.
【００５９】このように、参照画像をブロック化し、そ
の大きさに従って単位領域を決定し、個々のブロックで
の平行移動量を抽出することにより、印刷ズレを吸収す
ることが可能になる。As described above, the reference image is divided into blocks, the unit area is determined according to the size of the reference image, and the amount of translation in each block is extracted.
【００６０】例えば、定型情報の枠線部と文字部で印刷
ズレ量が異なる場合や定型情報の枠線部のみが伸縮して
いる場合などでも高精度な位置合わせが可能になる。For example, high-accuracy positioning can be performed even when the print misalignment differs between the frame portion of the standard information and the character portion, or when only the frame portion of the standard information expands and contracts.
【００６１】また、この照合部１８では、参照画像補正
部１７において回転、伸縮、傾斜の変動を吸収した後に
入力画像と参照画像の照合を行うこととしているので、
平行移動量を算出する構成が可能になり、照合に必要な
メモリサイズを抑制でき、処理時間も低減できる。In the collating unit 18, the input image and the reference image are collated after the reference image correcting unit 17 absorbs the rotation, expansion, contraction, and tilt fluctuations.
A configuration for calculating the amount of parallel movement is made possible, the memory size required for collation can be suppressed, and the processing time can be reduced.
【００６２】次に、減算処理部１９は、入力画像から参
照画像を減算することにより、記入文字のみで構成され
た差分画像を作成する。ここでは、照合部１８が抽出し
た単位領域ごとの平行移動量に従って補正された参照画
像を、単位領域ごとに入力画像から減算する。なお、照
合は輪郭点情報を用いて行なうが、減算は元の画像から
画素を取り除くことにより行なう。Next, the subtraction processing section 19 subtracts the reference image from the input image to create a difference image composed only of the entered characters. Here, the reference image corrected according to the parallel movement amount for each unit area extracted by the matching unit 18 is subtracted from the input image for each unit area. Note that the matching is performed using the contour point information, while the subtraction is performed by removing pixels from the original image.
【００６３】ただし、入力画像の画素属性が「有効」の
画素については、その位置に対応する参照画像上の画素
属性が「有効」である場合には、入力画像の画素属性を
「仮接触境界」へ変更し、入力画像の画素属性が「無
効」の画素については、画素属性を変更しない。単なる
画像間の減算を行うと、罫線に接触する文字の欠落を招
くからである。However, if the pixel attribute of the input image is “valid”, the pixel attribute of the input image is set to “temporary contact boundary” if the pixel attribute on the reference image corresponding to that position is “valid”. ”, And the pixel attribute of the input image having the pixel attribute“ invalid ”is not changed. This is because a mere subtraction between images may cause a loss of characters in contact with ruled lines.
【００６４】具体的には、図８（ａ）に示す入力画像と
同図（ｂ）に示す参照画像とが得られた場合には、入力
画像から参照画像を減算した差分画像は、同図（ｃ）に
示すように、「有効」「仮接触境界」「無効」の３種の
属性を持つ画素から形成される。Specifically, when the input image shown in FIG. 8A and the reference image shown in FIG. 8B are obtained, a difference image obtained by subtracting the reference image from the input image is obtained. As shown in (c), it is formed from pixels having three attributes of “valid”, “temporary contact boundary”, and “invalid”.
【００６５】次に、接触有無判定部２０は、減算処理部
１９が作成した差分画像を用いて記入文字と定形情報の
接触の有無を調べる。Next, the contact presence / absence judging section 20 examines the presence / absence of contact between the entered characters and the fixed form information using the difference image created by the subtraction processing section 19.
【００６６】例えば、入力画像及び参照画像の一部が図
９（ａ）及び（ｂ）に示すような画素構成となっている
場合には、同図（ｃ）に示す差分画像が得られることに
なるため、この接触有無判定部２０では、画素属性が
「仮接触境界」である画素に注目し、該注目画素の４近
傍に「有効」属性の画素が存在する場合には、注目画素
の属性を「接触境界」へ変更し、注目画素の４近傍に
「有効」属性の画素が存在しない場合には、該注目画素
の属性を「無効」へと変更する。For example, when a part of the input image and the reference image has a pixel configuration as shown in FIGS. 9A and 9B, a difference image as shown in FIG. 9C is obtained. Therefore, the contact presence / absence determining unit 20 focuses on a pixel whose pixel attribute is “temporary contact boundary”, and when there is a pixel of “valid” attribute in the vicinity of four pixels of the pixel of interest, The attribute is changed to “contact boundary”, and if there is no pixel with the “valid” attribute in the vicinity of four of the target pixel, the attribute of the target pixel is changed to “invalid”.
【００６７】なお、「接触境界」に属性変更された画素
が無い場合には、記入文字と定型情報との「接触なし」
と判定し、属性変更された画素がある場合には、「接触
有り」と判定する。When there is no pixel whose attribute has been changed at the “contact boundary”, the “no contact” between the entered character and the fixed form information
When there is a pixel whose attribute has been changed, it is determined that “there is a contact”.
【００６８】かかる接触判定処理を行うことにより、記
入文字と参照画像の接触判定及び接触している位置（接
触面）つまり「接触境界」の画素を容易に抽出できるこ
とになり、その結果、図８（ｄ）及び図９（ｄ）に示す
ような「有効」、「接触境界」、「無効」の３種の属性
を持つ画素で形成された差分画像が得られる。By performing such a contact determination process, it is possible to easily determine the contact between the entered character and the reference image and easily extract the contact position (contact surface), that is, the pixel at the “contact boundary”. As a result, FIG. As shown in FIG. 9D and FIG. 9D, a difference image formed by pixels having three kinds of attributes of “valid”, “contact boundary”, and “invalid” is obtained.
【００６９】次に、文字切出部２１は、接触有無判定部
２０が接触判定した「接触境界」を有する差分画像から
輪郭抽出を行い、抽出した差分画像の輪郭点情報を用い
て、その連結情報から２値画像上の連結した黒画素を包
含する矩形（ブロック）を抽出する。Next, the character extracting section 21 extracts a contour from the differential image having the “contact boundary” determined by the contact presence / absence determining section 20 to make a contact, and uses the extracted contour point information of the differential image to perform a concatenation. A rectangle (block) including connected black pixels on the binary image is extracted from the information.
【００７０】ここで、差分画像に「接触境界」の属性を
有する画素が存在しない場合には、抽出結果をそのまま
文字切り出し結果として文字認識部２３へ転送し、「接
触境界」の属性を有する画素が存在する場合には、欠損
補正処理部２２へ抽出結果を転送する。Here, if there is no pixel having the attribute of “contact boundary” in the difference image, the extraction result is directly transferred to the character recognition unit 23 as a character extraction result, and the pixel having the attribute of “contact boundary” is extracted. If there is, the extraction result is transferred to the loss correction processing unit 22.
【００７１】欠損補正処理部２２は、「接触境界」の画
素属性を有する差分画像上の接触面に対して、図１０に
示すように、接触面の２つの端点の近傍輪郭点の座標列
から２本の回帰直線を算出し、得られた２本の直線方程
式を接触面の情報として記憶する。As shown in FIG. 10, the loss correction processing unit 22 calculates the coordinates of the contact surface on the difference image having the pixel attribute of “contact boundary” from the coordinate sequence of the contour points near the two end points of the contact surface. Two regression lines are calculated, and the obtained two line equations are stored as contact surface information.
【００７２】そして、接触面の組合せが図１１に示す５
種類の欠損パターンのいずれかのパターンに該当するか
否かを照らし合わせ、図１２に示す計算式を用いて該組
合せが接触面を形成するか否かを評価する。The combination of the contact surfaces is 5 as shown in FIG.
Whether or not the combination forms a contact surface is evaluated using a calculation formula shown in FIG.
【００７３】具体的には、図１１に示す欠損パターン１
は、文字をなす直線又は曲線の線分と罫線等の定形情報
とが交差する場合に生ずる欠損を示し、欠損パターン２
は、文字をなす線分が分岐する箇所で定形情報と交差す
る場合に生ずる欠損を示す。Specifically, the defect pattern 1 shown in FIG.
Indicates a loss that occurs when a line segment of a straight line or a curve forming a character intersects with fixed information such as a ruled line.
Indicates a defect that occurs when a line segment forming a character intersects with the fixed form information at a branching point.
【００７４】また。欠損パターン３は、文字をなす円弧
状の線分が定形情報と重複する場合に生ずる欠損を示
し、欠損パターン４は、文字をなす線分の端部が定形情
報と重複する場合に生ずる欠損を示し、欠損パターン５
は、文字をなす線分が途切れることなくその一部が定形
情報と重複する場合に生ずる欠損を示す。Also, Loss pattern 3 indicates a loss that occurs when an arc-shaped line segment forming a character overlaps with the fixed-form information, and loss pattern 4 indicates a loss that occurs when the end of the line segment that forms the character overlaps with the fixed-form information. Shown, missing pattern 5
Indicates a defect that occurs when a part of a line segment forming a character overlaps with the fixed form information without interruption.
【００７５】そして、これらの欠損が判明した場合に
は、図１１及び図１３に点線で示すように接触面の端点
同士を結合し、この結合線と２つの接触面に囲まれた内
側を黒画素すなわち「有効」に変換する。When these defects are found, the end points of the contact surfaces are connected to each other as shown by dotted lines in FIGS. 11 and 13, and the inside surrounded by the connection line and the two contact surfaces is black. The pixel is converted to “valid”.
【００７６】上記処理を行うことにより、修復された文
字画像が得られ、例えば図８（ｄ）に示す差分画像は、
同図（ｅ）に示すような、定型情報の文字と記入文字が
接触した部分及び定型情報の枠線と記入文字が接触した
部分が修復された状態となる。By performing the above processing, a restored character image is obtained. For example, the difference image shown in FIG.
As shown in FIG. 7E, the portion where the characters of the fixed information and the written characters are in contact, and the portion where the frame of the fixed information and the written characters are in contact are restored.
【００７７】そして、欠損補正処理部２２は、かかる欠
損部の修復を終了したならば、文字切出部２１が修復後
の差分画像から文字を切り出し、文字認識部２３が１文
字ごとに文字認識処理し、後処理部２５が結果を整理し
て出力する。When the loss correction processing unit 22 completes the restoration of the defective part, the character extraction unit 21 extracts characters from the restored difference image, and the character recognition unit 23 performs character recognition for each character. After processing, the post-processing unit 25 arranges and outputs the result.
【００７８】上述してきたように、本実施の形態では、
解析的な形（パラメータ）で表現できない多種多様な定
型情報が、非ドロップアウトカラーで印刷され、帳票の
画像入力時の変動（回転、伸縮、傾斜など）や定型情報
の印刷ズレ（平行移動など）が生じた場合でも、入力画
像から正確に定型情報の除去を行い、記入文字のみを抽
出することができるため、高い精度の文字認識が実現で
きる。As described above, in the present embodiment,
A wide variety of standard information that cannot be expressed in analytical form (parameters) is printed in non-dropout color, and changes in form image input (rotation, expansion / contraction, tilt, etc.) and misregistration of standard information (translation, etc.) ) Occurs, the fixed form information can be accurately removed from the input image and only the entered characters can be extracted, so that highly accurate character recognition can be realized.
【００７９】また、定型情報が文字で構成され、その文
字と記入文字が接触、重畳した場合でも、定型情報と記
入文字との接触箇所が正確に抽出できるため、接触、重
畳による欠損部分の修復も可能となり、文字認識の精度
を更に向上させることができる。Further, even when the fixed form information is composed of characters, and the character and the entered character are in contact with or superimposed on each other, the contact point between the fixed form information and the entered character can be accurately extracted. And the accuracy of character recognition can be further improved.
【００８０】なお、本実施の形態では、解析的な形（パ
ラメータ）で表現できない多種多様な定型情報を例に挙
げて説明したが、本発明はこれに限定されるものではな
く、パラメータ表現できる場合であっても画像照合によ
って文字認識を行う場合には、同様に適用することがで
きる。In the present embodiment, various types of fixed information that cannot be expressed in an analytical form (parameters) have been described as an example. However, the present invention is not limited to this, and parameters can be expressed. Even in this case, the same applies when character recognition is performed by image matching.
【００８１】また、文字認識装置に入力される帳票種類
は、該装置の操作者がその都度、予め指定することとし
たが、帳票種別を別途自動的に読取って判断してもよ
い。Although the form type input to the character recognition device is specified in advance by the operator of the device each time, the form type may be automatically read and determined separately.
【００８２】[0082]
【発明の効果】以上詳細に説明したように、第１の発明
は、画像入力系の機差及び帳票の傾き角度に関する情報
に基づいて入力画像の回転、伸縮又は傾斜を吸収した後
に、入力画像と参照画像の平行移動量を算出して該入力
画像と参照画像のずれを補正した後、入力画像から参照
画像の画素情報を除いた差分画像を生成し、記入文字と
定形情報との接触による欠落を補完して該記入文字を修
復し、修復した差分画像から各記入文字を切り出してそ
の種別を認識するよう構成したので、下記に示す効果が
得られる。As described in detail above, the first aspect of the present invention relates to a method of absorbing the rotation, expansion, contraction, or inclination of an input image based on information on the machine difference of an image input system and information on the inclination angle of a form. After calculating the parallel movement amount of the reference image and correcting the displacement between the input image and the reference image, a difference image is generated by removing the pixel information of the reference image from the input image, and the difference image is generated by contact between the written characters and the fixed-form information. Since the input characters are repaired by compensating for the missing portions, and each input character is cut out from the restored difference image to recognize its type, the following effects can be obtained.
【００８３】１）解析的な形（パラメータ）で表現でき
ない多種多様な定型情報が、非ドロップアウトカラーで
印刷され、画像入力系の機差、帳票搬送時の変動、帳票
上の定型情報に印刷ズレが生じた場合でも、処理に要す
るメモリを少なく、処理時間を低減しつつ、入力画像か
ら正確に定型情報の除去を行い、高い精度の文字認識を
行うことができる。1) A wide variety of standard information that cannot be expressed in an analytical form (parameters) is printed in a non-dropout color, and is printed on an image input system due to machine differences, variation in form conveyance, and fixed information on the form. Even if a deviation occurs, it is possible to accurately remove fixed-form information from an input image while reducing the memory required for processing and reducing the processing time, and perform highly accurate character recognition.
【００８４】２）定型情報が文字で構成され、その文字
と記入文字が接触、重畳した場合であっても、定型情報
と記入文字との接触箇所を正確に抽出し、接触、重畳に
よる欠損部分を修復することで、文字認識の精度を高め
ることができる。2) Even when the fixed form information is composed of characters, and the character and the entered character are in contact with or superimposed on each other, the contact point between the fixed form information and the entered character is accurately extracted, and the defective portion due to the contact and superimposition is obtained. By repairing, the accuracy of character recognition can be improved.
【００８５】また、第２の発明は、画像入力系の光学系
設定情報を記憶しておき、記憶した光学系設定情報と帳
票の傾き角度に基づいて、参照画像を回転、伸縮又は傾
斜し、その後変形された変形画像と入力画像との平行移
動量を算出して、該変形画像を平行移動するよう構成し
たので、ハフ変換を行う場合と比べてメモリ容量を大幅
に低減しつつ、文字認識を行うことができる。According to the second invention, the optical system setting information of the image input system is stored, and the reference image is rotated, expanded, contracted, or inclined based on the stored optical system setting information and the inclination angle of the form. Then, the amount of translation between the transformed image and the input image is calculated and the transformed image is translated, so that the memory capacity is significantly reduced as compared with the case of performing the Hough transform, and the character recognition is performed. It can be performed.
【００８６】また、第３の発明は、変形画像を２値化処
理した２値画像から、連結した黒画素を包含するブロッ
クを抽出し、抽出したブロックのうち、所定のしきい値
よりも小さいブロックをそのまま単位領域とし、該所定
のしきい値以上の大きさを有するブロックを所定数のブ
ロックに分割して単位領域をさらに抽出し、この単位領
域ごとに入力画像の対応部分との平行移動量を算定し、
算定した平行移動量に基づいて単位領域をそれぞれ平行
移動するよう構成したので、搬送速度のばらつき等によ
って画像の伸び縮みが生じた場合であっても対応するこ
とができる。According to a third aspect of the present invention, a block including connected black pixels is extracted from a binary image obtained by binarizing a deformed image, and the extracted block is smaller than a predetermined threshold. A block is used as a unit area as it is, and a block having a size equal to or larger than the predetermined threshold is divided into a predetermined number of blocks to further extract a unit area, and a parallel movement of each unit area with a corresponding portion of the input image is performed. Calculate the quantity,
Since the unit regions are configured to translate in parallel based on the calculated translation amount, it is possible to cope with a case where the image expands or contracts due to a variation in the transport speed or the like.
【００８７】また、第４の発明は、抽出したブロックの
うち、所定のしきい値以上の大きさを有するブロックを
分割して単位領域とする際、分割された領域が重複する
ようにブロックを組み合わせて単位領域とするよう構成
したので、印刷文字だけでなく、罫線等の定形情報に幅
広く適用することができる。According to a fourth aspect of the present invention, when a block having a size equal to or greater than a predetermined threshold value among the extracted blocks is divided into unit areas, the blocks are divided so that the divided areas overlap. Since it is configured to be combined into a unit area, it can be widely applied not only to printed characters but also to fixed information such as ruled lines.
【００８８】また、第５の発明は、入力画像を形成する
画素のうち、記入文字と定形情報とが交差又は重複する
画素に接触属性を付与し、該接触属性を有する複数の画
素列が互いに所定の位置関係にある場合に、画素列相互
間に所在する画素を黒画素にして有効属性を付与するよ
う構成したので、記入文字が定形情報と接触（交差、重
複）する場合であっても、精度良く文字認識を行うこと
ができる。According to a fifth aspect of the present invention, of the pixels forming the input image, a contact attribute is assigned to a pixel where the entered character and the fixed information intersect or overlap with each other, and a plurality of pixel rows having the contact attribute are assigned to each other. When the pixels are located in a predetermined positional relationship, the pixels located between the pixel columns are set as black pixels and an effective attribute is provided. Therefore, even when the entered character contacts (intersects, overlaps) with the fixed form information. Character recognition can be performed with high accuracy.
【図１】本実施の形態で用いる文字認識装置の構成を示
す機能ブロック図。FIG. 1 is a functional block diagram showing a configuration of a character recognition device used in the present embodiment.
【図２】本実施の形態で用いる帳票及び認識対象領域の
一例を示す図。FIG. 2 is a diagram showing an example of a form and a recognition target area used in the present embodiment.
【図３】図１に示す帳票位置検出部の検出処理を説明す
るための図。FIG. 3 is a view for explaining a detection process of a form position detection unit shown in FIG. 1;
【図４】図１に示す参照画像補正部が用いる変換式等を
示す図。FIG. 4 is a view showing a conversion formula and the like used by the reference image correction unit shown in FIG. 1;
【図５】図１に示す照合部における定形情報の平行移動
量の算出手順を示すフローチャート。5 is a flowchart showing a procedure for calculating a parallel movement amount of fixed form information in the collating unit shown in FIG. 1;
【図６】図１に示す照合部が参照画像から抽出するブロ
ックの一例を示す図。FIG. 6 is a diagram showing an example of a block extracted from a reference image by a matching unit shown in FIG. 1;
【図７】ブロックの大きさが所定のしきい値以上である
場合の単位領域生成手順を示す図。FIG. 7 is a diagram showing a unit area generation procedure when a block size is equal to or larger than a predetermined threshold.
【図８】差分画像の欠損部を修復するまでの流れの一例
を示す図。FIG. 8 is a diagram showing an example of a flow until a defective portion of a difference image is repaired.
【図９】仮接触属性及び接触属性付与の一例を示す図。FIG. 9 is a diagram illustrating an example of provisional contact attributes and provision of contact attributes.
【図１０】図１に示す欠損補正処理部が行う回帰直線の
算出の説明に用いる図。FIG. 10 is a view used to explain the calculation of a regression line performed by the loss correction processing unit shown in FIG. 1;
【図１１】図１に示す欠損補正処理部が補正対象とする
接触面相互の組合せパターンを示す図。FIG. 11 is a view showing a combination pattern of contact surfaces to be corrected by the loss correction processing unit shown in FIG. 1;
【図１２】図１に示す欠損補正処理部が用いる計算式を
示す図。FIG. 12 is a diagram showing a calculation formula used by the loss correction processing unit shown in FIG. 1;
【図１３】図１に示す欠損補正処理部による補正前後の
一例を示す図。FIG. 13 is a diagram showing an example before and after correction by a loss correction processing unit shown in FIG. 1;
１１…多値画像入力部、 １２…帳票位置検出部、１３
…書式情報記憶部、 １４…画像切出部、 １５…参照
画像記憶部、１６…機差情報記憶部、 １７…参照画像
補正部、 １８…照合部、１９…減算処理部、 ２０…
接触有無判定部、 ２１…文字切出部、２２…欠損補正
処理部、 ２３…文字認識部、 ２４…辞書格納部、２
５…後処理部、３０…帳票、 ３１…払込通知票、 ３
１ａ…請求金額欄、３１ｂ…支払期限欄、 ３２…収入
金額領収書控11: Multi-valued image input unit, 12: Form position detection unit, 13
... Format information storage unit, 14 ... Image extraction unit, 15 ... Reference image storage unit, 16 ... Machine difference information storage unit, 17 ... Reference image correction unit, 18 ... Collation unit, 19 ... Subtraction processing unit, 20 ...
Contact presence / absence determination unit, 21: character extraction unit, 22: loss correction processing unit, 23: character recognition unit, 24: dictionary storage unit, 2
5 Post-processing unit, 30 Form, 31 Payment notice form, 3
1a: billing amount column, 31b: payment term column, 32: receipt of income amount
Claims (5)
記入領域の画像を参照画像として記憶し、認識対象とな
る帳票類の記入領域の入力画像を前記参照画像と対比し
て該記入領域に記入された記入文字を認識する文字認識
装置において、 画像入力系の機差及び帳票の傾き角度に関する情報に基
づいて前記入力画像の回転、伸縮又は傾斜を吸収した後
に、前記入力画像と参照画像の平行移動量を算出して該
入力画像と参照画像のずれを補正する補正手段と、 前記入力画像から参照画像の画素情報を除いた差分画像
を生成し、前記記入文字と定形情報との接触による欠落
を補完して該記入文字を修復する修復手段と、 前記修復手段が修復した差分画像から各記入文字を切り
出して認識する認識手段とを具備することを特徴とする
文字認識装置。An image of an entry area including fixed-form information pre-printed on a form is stored as a reference image, and an input image of the entry area of the form to be recognized is compared with the reference image and the entry area is compared with the reference image. In the character recognition device for recognizing characters entered in the input image, after absorbing the rotation, expansion, contraction, or inclination of the input image based on information on the machine difference of the image input system and the inclination angle of the form, the input image and the reference image Correction means for calculating the amount of parallel movement of the input image and correcting the displacement between the input image and the reference image; and generating a difference image by removing the pixel information of the reference image from the input image, and A character recognition device comprising: a repairing unit that repairs the entered character by complementing the lack of the input character; and a recognizing unit that cuts out and recognizes each entered character from the difference image restored by the repairing unit.
度に基づいて、前記参照画像を回転、伸縮又は傾斜する
第１の変形手段と、 前記第１の変形手段により変形された変形画像と前記入
力画像との平行移動量を算出して、前記変形画像を平行
移動する第２の変形手段とを具備することを特徴とする
請求項１記載の文字認識装置。2. The correction means includes: storage means for storing optical system setting information of an image input system; and rotating the reference image based on the optical system setting information stored in the storage means and a tilt angle of a form. A first deforming unit that expands and contracts or tilts; a second deforming unit that calculates a parallel movement amount between the input image and the deformed image deformed by the first deforming unit, and translates the deformed image; The character recognition device according to claim 1, comprising:
黒画素を包含するブロックを抽出するブロック抽出手段
と、 前記ブロック抽出手段が抽出したブロックのうち、所定
のしきい値よりも小さいブロックをそのまま単位領域と
し、該所定のしきい値以上の大きさを有するブロックを
所定数のブロックに分割して単位領域とする単位領域抽
出手段と、 前記単位領域抽出手段が抽出した単位領域ごとに入力画
像の対応部分との平行移動量を算定し、算定した平行移
動量に基づいて前記単位領域をそれぞれ平行移動する平
行移動手段とを具備することを特徴とする請求項２記載
の文字認識装置。3. A block extracting unit for extracting a block containing connected black pixels from a binary image obtained by binarizing the deformed image, wherein the block extracting unit extracts A unit area extracting means for setting a block smaller than a predetermined threshold as a unit area as it is, and dividing a block having a size equal to or larger than the predetermined threshold into a predetermined number of blocks to form a unit area; A translation unit for calculating a translation amount of a corresponding portion of the input image for each unit region extracted by the unit region extraction unit, and translating each of the unit regions based on the calculated translation amount. 3. The character recognition device according to claim 2, wherein:
のしきい値以上の大きさを有するブロックを分割して単
位領域とする際、分割された領域が重複するようにブロ
ックを組み合わせて単位領域とすることを特徴とする請
求項３記載の文字認識装置。4. The unit area extracting unit, when dividing a block having a size equal to or more than a predetermined threshold value from the blocks extracted by the block extracting unit into a unit area, the divided area is 4. The character recognition device according to claim 3, wherein blocks are combined so as to be overlapped to form a unit area.
形情報とが交差又は重複する画素に接触属性を付与し、
該接触属性を有する複数の画素列が互いに所定の位置関
係にある場合に、画素列相互間に所在する画素を黒画素
にして有効属性を付与することを特徴とする請求項１記
載の文字認識装置。5. The method according to claim 1, wherein, among the pixels forming the input image, a contact attribute is assigned to a pixel where the entered character intersects or overlaps with the fixed information.
2. The character recognition according to claim 1, wherein when the plurality of pixel rows having the contact attribute are in a predetermined positional relationship with each other, a pixel located between the pixel rows is set as a black pixel and an effective attribute is given. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02876198A JP3756309B2 (en) | 1998-02-10 | 1998-02-10 | Character recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02876198A JP3756309B2 (en) | 1998-02-10 | 1998-02-10 | Character recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11232387A true JPH11232387A (en) | 1999-08-27 |
| JP3756309B2 JP3756309B2 (en) | 2006-03-15 |
Family
ID=12257403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02876198A Expired - Fee Related JP3756309B2 (en) | 1998-02-10 | 1998-02-10 | Character recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3756309B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074269A (en) * | 2000-08-28 | 2002-03-15 | Nippon Digital Kenkyusho:Kk | Method for recognizing character |
| CN111325182A (en) * | 2020-03-19 | 2020-06-23 | 四川骏逸富顿科技有限公司 | OCR-based medical insurance reimbursement fraud detection method |
-
1998
- 1998-02-10 JP JP02876198A patent/JP3756309B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074269A (en) * | 2000-08-28 | 2002-03-15 | Nippon Digital Kenkyusho:Kk | Method for recognizing character |
| JP4580520B2 (en) * | 2000-08-28 | 2010-11-17 | 株式会社日本デジタル研究所 | Character recognition method and character recognition apparatus |
| CN111325182A (en) * | 2020-03-19 | 2020-06-23 | 四川骏逸富顿科技有限公司 | OCR-based medical insurance reimbursement fraud detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3756309B2 (en) | 2006-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3580670B2 (en) | Method for associating input image with reference image, apparatus therefor, and storage medium storing program for implementing the method | |
| JP4170441B2 (en) | Document image inclination detection apparatus and storage medium for document image inclination detection program | |
| JP4375523B2 (en) | Image processing apparatus, image processing method, image processing program, printed material inspection apparatus, printed material inspection method, printed material inspection program | |
| US5915039A (en) | Method and means for extracting fixed-pitch characters on noisy images with complex background prior to character recognition | |
| JP3636809B2 (en) | Image processing method | |
| US7969631B2 (en) | Image processing apparatus, image processing method and computer readable medium storing image processing program | |
| JP2008217833A (en) | Document image recognition system and storage medium for document image recognition program | |
| US6683983B1 (en) | Document-inclination detector | |
| US7079265B2 (en) | Distortion correction device for correcting imaged object to produce plane image without distortion | |
| US6658166B1 (en) | Correction of distortions in form processing | |
| JP3006466B2 (en) | Character input device | |
| JP3756309B2 (en) | Character recognition device | |
| JP3230334B2 (en) | Image processing device | |
| JP2005182660A (en) | Recognition method of character/figure | |
| JPH03232100A (en) | Number plate reader | |
| JP2009025992A (en) | Two-dimensional code | |
| Lerch et al. | Knowledge-based line-correction rules in a machine-vision system for the leather industry | |
| JP4635845B2 (en) | OCR device, form-out method, and form-out program | |
| JP2022184098A (en) | Image processing device, image processing method and program | |
| JPS63158676A (en) | Area extracting device | |
| JP3330769B2 (en) | Pattern recognition device | |
| JPH11250179A (en) | Character reocognition device and its method | |
| CN117671715A (en) | Image information extraction method, device, computer equipment and storage medium | |
| JP2004013188A (en) | Business form reading device, business form reading method and program therefor | |
| JPH0483467A (en) | Inclination correcting system for reading image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050406 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051221 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090106 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100106 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100106 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110106 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120106 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120106 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130106 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130106 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140106 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140106 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |