JP3463008B2 - Medium processing method and medium processing apparatus - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、例えば金融機関に
おける帳票処理に用いて好適な、媒体処理方法及び媒体
処理装置であって、特に、帳票を光学式文字読み取り装
置（ＯＣＲ装置）等で読み取り、認識結果と比較しなが
ら、認識不能文字，誤認識文字を確認及び修正する場合
に用いて好適な媒体処理方法及び媒体処理装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a medium processing method and medium processing apparatus suitable for use in, for example, processing a form in a financial institution, and in particular, a form is read by an optical character reading device (OCR device) or the like. The present invention relates to a medium processing method and a medium processing apparatus suitable for use when confirming and correcting unrecognizable characters and erroneously recognized characters while comparing them with recognition results.

【０００２】[0002]

【従来の技術】近年、文字情報をイメージデータ（イメ
ージ）として読み取ってから文字認識する装置として、
光学式文字読み取り装置（ＯＣＲ装置）等のイメージデ
ータ読取装置が開発され、各種産業においてはこのイメ
ージデータ読取装置を幅広く利用することにより、業務
の効率化等を図っている。2. Description of the Related Art In recent years, as a device for recognizing characters after reading character information as image data (image),
Image data readers such as optical character readers (OCR devices) have been developed, and in various industries, the image data readers are widely used to improve work efficiency.

【０００３】例えば、金融機関等における窓口業務を行
なうオペレータは、上述のイメージデータ読取装置を用
いて、帳票媒体（帳票）を効率的に処理することを通じ
て、業務の効率化を図っている。特に、上述のような帳
票処理を行なうような業務の効率化を図るためには、同
一種類の帳票媒体（認識処理専用媒体）の多量処理を行
なうだけでなく、多種多様なフォーマットを有する帳票
媒体を自動的に処理することが要求されている。For example, an operator who performs window service in a financial institution or the like seeks to improve business efficiency by efficiently processing a form medium (form) using the above-mentioned image data reading device. In particular, in order to improve the efficiency of the work such as the above-described form processing, not only the large amount of processing of the same type of form medium (medium dedicated to recognition processing) but also the form medium having various formats is performed. Is required to be processed automatically.

【０００４】そこで、例えば図１１５に示すような帳票
処理装置１０００を用いることにより、複数種類の帳票
媒体について、イメージデータ読取装置を用いた帳票媒
体の処理を行なうことができる。即ち、この図１１５に
おいて、１００１は帳票についてのイメージデータを読
み取るイメージデータ読取装置であり、このイメージデ
ータ読取装置１００１は、電子計算機１００２に接続さ
れて、電子計算機１００２からの制御に基づいたイメー
ジデータの読取動作を行なえるようになっている。な
お、このイメージデータ読取装置１００１としては、例
えばイメージスキャナやＦＡＸが用いられている。Therefore, for example, by using the form processing apparatus 1000 as shown in FIG. 115, it is possible to process the form medium using the image data reading device for a plurality of types of form media. That is, in FIG. 115, 1001 is an image data reading device for reading image data of a form, and the image data reading device 1001 is connected to the electronic computer 1002, and image data based on control from the electronic computer 1002. Can be read. As the image data reading apparatus 1001, for example, an image scanner or FAX is used.

【０００５】また、イメージデータ読取装置１００１を
制御する制御装置としての電子計算機１００２は、オペ
レータからの命令，データ等を入力するキーボードある
いはマウス等の入力部（図１１５においてはキーボード
のみ図示）１００２−１，計算機本体１００２−２及び
データあるいは制御情報等を表示するディスプレイ１０
０２−３により構成されている。なお、イメージデータ
読取装置１００１により読み取られたイメージデータの
文字認識処理は、電子計算機本体１００２−２により行
なわれる。An electronic computer 1002 as a control device for controlling the image data reading device 1001 has an input unit such as a keyboard or a mouse for inputting commands and data from an operator (only the keyboard is shown in FIG. 115) 1002-. 1, computer main body 1002-2 and display 10 for displaying data or control information
02-3. The character recognition processing of the image data read by the image data reading device 1001 is performed by the computer main body 1002-2.

【０００６】さらに、１００３はハードディスクであ
り、このハードディスク１００３は、電子計算機１００
２に接続され、例えば図１１６に示すように、予め帳票
種類毎に認識すべき文字データの位置情報および文字の
種類、桁数等を指定した情報（以下「定義体情報」と称
す）１００３Ａ〜１００３Ｃ，…を格納しておくもので
ある。Further, 1003 is a hard disk, and this hard disk 1003 is a computer 100.
116, information (hereinafter referred to as "definition information") 1003A, which specifies the position information of the character data to be recognized and the character type, the number of digits, etc. in advance for each form type, as shown in FIG. 1003C, ... Are stored.

【０００７】なお、上述のイメージデータ読取装置１０
０１の代わりに、図１１６，図１１７に示すような、イ
メージデータ読取認識装置１００５を用いることもでき
る。このイメージ読取認識装置１００５は、イメージデ
ータ読取装置１００１と同様のイメージデータの読取動
作を行なうとともに文字認識をも行なうことができる。The image data reading device 10 described above is used.
Instead of 01, an image data reading / recognizing device 1005 as shown in FIGS. 116 and 117 can be used. The image reading / recognizing device 1005 can perform the same image data reading operation as the image data reading device 1001 and can also perform character recognition.

【０００８】このイメージデータ読取認識装置１００５
を用いて、例えば図１１６に示すように、電気料金払込
通知書１００４上に記載された文字データを認識する際
には、まず、オペレータによるキーボード１００２−１
の操作により帳票種別（この場合は電気料金払込通知書
（帳票Ｂ）１００４に対応する定義体情報１００３Ｂ）
を指示する。This image data reading / recognizing device 1005
When recognizing the character data written on the electricity bill payment notice 1004 using, for example, as shown in FIG. 116, first, the operator operates the keyboard 1002-1.
By the form operation (in this case, the definition information 1003B corresponding to the electricity bill payment notice (form B) 1004)
Instruct.

【０００９】続いて、電子計算機１００２では、ハード
ディスク１００３のアクセスを通じて、指示された帳票
の定義体情報１００３Ｂを引出してイメージデータ読取
認識装置１００５に通知する。これにより、イメージデ
ータ読取認識装置１００５では、電子計算機１００２か
らの制御情報としての定義体情報１００３Ｂに基づい
て、イメージデータの読み取りと文字認識処理を行なう
ことができる。Subsequently, in the electronic computer 1002, the definition data 1003B of the instructed form is retrieved through the access to the hard disk 1003 and the image data reading and recognizing device 1005 is notified. As a result, the image data read / recognition device 1005 can read image data and perform character recognition processing based on the definition information 1003B as control information from the electronic computer 1002.

【００１０】しかしながら、上述の図１１６に示すよう
な帳票を処理する手法においては、オペレータの指示に
より読み取りたい帳票毎に定義体情報を指示するので、
オペレータに負担がかるほか、定義体が多くなると指示
を間違えたり、数千種類もの帳票を処理することが要求
される場合にはオペレータが指示することは現実的に困
難となる。However, in the method for processing the form as shown in FIG. 116, the definition information is specified for each form to be read by the operator's instruction.
In addition to burdening the operator, it becomes difficult for the operator to give an instruction when the number of definitions is incorrect or when it is required to process thousands of types of forms.

【００１１】このため、図１１７に示すように、帳票１
００４の定められた位置１００４ａに、予め帳票毎に異
なった帳票を識別するためのＩＤ番号（この場合は‘０
１０２’）を記載しておくことにより、上述したように
オペレータが帳票種別を指示することなく、自動的に帳
票の読取処理を行なう方法も考えられている。この方法
によれば、イメージデータ読取認識装置１００５にて帳
票のイメージデータを読み取る際に、最初に定められた
位置１００４ａに記されたＩＤ番号を認識し、続いて認
識したＩＤ番号に対応した定義体情報（この場合は１０
０３Ｂ）を使用することにより、文字認識を行なうこと
ができる。Therefore, as shown in FIG. 117, the form 1
At a position 1004a defined in 004, an ID number (in this case, "0" in order to identify a form different for each form in advance).
102 ') is described, a method of automatically performing the form reading process without the operator instructing the form type as described above is also considered. According to this method, when the image data reading and recognizing device 1005 reads the image data of the form, the ID number written in the position 1004a initially determined is recognized, and subsequently the definition corresponding to the recognized ID number is recognized. Body information (10 in this case)
03B), character recognition can be performed.

【００１２】ところが、イメージデータを読み取る際
に、イメージデータ読取装置１００１やイメージデータ
読取認識装置１００５等の光学的読取装置（例えば帳票
処理装置）において帳票等をセットする位置が変動する
と、例えばハードディスク１００３に定義体情報が予め
格納されている帳票と同一の帳票が読み取られた場合で
も、文字データの領域や図形領域等のイメージの基準点
（物理原点）からの座標が定義体情報におけるものと同
一にならないため、帳票処理装置等においては、同一の
レイアウトではないと判定される。However, when the image data is read, if the position for setting a form or the like in an optical reading device (such as a form processing device) such as the image data reading device 1001 or the image data reading and recognizing device 1005 changes, for example, the hard disk 1003. Even if the same form as the form in which the definition information is stored in advance is read, the coordinates from the reference point (physical origin) of the image of the character data area or figure area are the same as those in the definition information. Therefore, the form processing apparatus or the like determines that the layouts are not the same.

【００１３】帳票処理装置等においては、読み取られた
イメージデータのレイアウトと定義体情報におけるレイ
アウトとを一致させてからイメージデータの文字認識を
行なわないと、文字認識処理が正常に行なわれないこと
があるため、まず各々のイメージの基準点を抽出して各
々のイメージの基準点からの座標を比較してレイアウト
の一致の判定を行なっている。In the form processing apparatus or the like, unless the character recognition of the image data is performed after the layout of the read image data and the layout in the definition information are matched, the character recognition processing may not be performed normally. Therefore, first, the reference point of each image is extracted, and the coordinates from the reference point of each image are compared to determine whether the layouts match.

【００１４】ここで、イメージデータの基準点の抽出方
法は、以下の２つの方法が主流となっている。なお、前
提条件として、読み取り対象の帳票は予め印刷された帳
票であり、用紙における帳票の印刷位置が高い精度で管
理されているものとする。１つめの方法は、図１１８
（ａ）に示すように、読み取られる帳票の用紙端面１０
０６と読取背景１００７とが識別できるようなイメージ
データ読取装置により帳票のイメージデータを読み取る
場合には、用紙端面１００６の左上端位置Ｐを基準点と
するものである。The following two methods are mainstream as the method of extracting the reference points of the image data. As a precondition, it is assumed that the form to be read is a form printed in advance, and the print position of the form on the paper is managed with high accuracy. The first method is shown in FIG.
As shown in (a), the sheet end surface 10 of the form to be read
When the image data of the form is read by the image data reading device that can distinguish the 06 and the reading background 1007, the upper left end position P of the sheet end surface 1006 is used as the reference point.

【００１５】また、２つめの方法は、イメージスキャナ
やＦＡＸにより帳票のイメージデータを読み取る場合に
は、図１１８（ｂ）に示すように、読取背景１００９と
読み取られた用紙端面１００８とが識別できないため、
予め読み取り対象の帳票用紙に基準マークＲを印刷して
おき、この基準マークＲをイメージデータから抽出して
基準点とするものである。In the second method, when the image data of the form is read by an image scanner or FAX, the read background 1009 and the read sheet end surface 1008 cannot be identified as shown in FIG. 118 (b). For,
The reference mark R is printed on the form sheet to be read in advance, and the reference mark R is extracted from the image data and used as the reference point.

【００１６】この２つめの方法においては、予め基準点
位置が基準マークＲとして印刷されているため、読取装
置に帳票をセットする位置が変動した場合でも、安定し
て基準点を抽出することが可能である利点がある。とこ
ろが、帳票処理装置等においては、上述の方法により基
準点が正確に抽出された場合でも、イメージデータの読
取方向が正しい方向でなければ、イメージデータの文字
記述方向が正しい方向とならないため、文字認識処理を
行なうことができない。In the second method, since the reference point position is printed as the reference mark R in advance, the reference point can be stably extracted even when the position for setting the form on the reading device changes. There are advantages that are possible. However, in the form processing device, even if the reference points are accurately extracted by the above-mentioned method, if the reading direction of the image data is not the correct direction, the character description direction of the image data will not be the correct direction. The recognition process cannot be performed.

【００１７】例えば図１１９に示すように、横方向で情
報が記述された振込伝票（帳票Ｃ）１０１０が、イメー
ジデータ読取装置１００１により誤った方向（図１１９
では縦方向）から読み取られた場合には、読み取られた
振込伝票１０１０のイメージデータは、ディスプレイ１
００２−３に符号１０１０Ａで示すように誤った向きで
表示される。For example, as shown in FIG. 119, a transfer slip (form C) 1010 in which information is written in the horizontal direction is in the wrong direction by the image data reading device 1001 (see FIG. 119).
When read from the vertical direction), the image data of the read transfer slip 1010 is displayed on the display 1
002-3 is displayed in the wrong direction as indicated by reference numeral 1010A.

【００１８】このため、帳票処理装置等による文字認識
処理の際には、オペレータが、ディスプレイ１００２−
３を目視して帳票の読み取り方向が正しいか否かを判断
して、帳票の読み取り方向が正しくない場合には、読み
取られた帳票のイメージデータを９０度又は１８０度回
転させる指示をキーボード１００２−１から入力して、
帳票のイメージデータがディスプレイ１００２−３に符
号１０１０Ｂで示すように正しい方向に表示されるよう
に、イメージデータの回転補正処理を行なう必要があ
る。Therefore, when performing character recognition processing by the form processing device or the like, the operator is required to display 1002-
3 is visually checked to determine whether the reading direction of the form is correct, and if the reading direction of the form is not correct, an instruction to rotate the image data of the read form by 90 degrees or 180 degrees is issued by the keyboard 1002-. Enter from 1,
It is necessary to perform rotation correction processing of the image data so that the image data of the form is displayed on the display 1002-3 in the correct direction as indicated by reference numeral 1010B.

【００１９】ところで、従来より銀行での各口座への送
金業務においては、オペレータが、送金依頼表である帳
票に記載されている口座番号，氏名及び金額等の情報
を、帳票処理装置１０００のキーボード１００２−１等
から入力しているが、このとき、オペレータは帳票とデ
ィスプレイ１００２−３とを交互に目視して入力操作を
行なっていた。By the way, conventionally, in the remittance business to each account in a bank, an operator uses the keyboard of the form processing apparatus 1000 to obtain information such as an account number, a name and an amount described in a form which is a remittance request table. Input is made from 1002-1 and the like, but at this time, the operator alternately visually checked the form and the display 1002-3 to perform the input operation.

【００２０】しかしながら、このように帳票とディスプ
レイ１００２−３とを交互に目視して入力操作を行なう
場合には、視線の移動が多くなるため、視認性が悪くな
り、帳票の項目と画面の項目との対応を誤るおそれがあ
るという課題があった。このため、イメージデータ読取
装置１００１等で帳票を読み取って、読み取られたイメ
ージデータの文字認識結果とともにイメージデータその
ものをディスプレイ１００２−３に表示するような帳票
処理装置が提案されている。However, when an input operation is performed by visually observing the form and the display 1002-3 alternately in this way, the line of sight is moved a lot, so that the visibility is deteriorated, and the form item and the screen item are displayed. There was a problem that there is a risk that the correspondence with Therefore, a form processing apparatus has been proposed in which the form is read by the image data reading device 1001 and the like, and the image data itself is displayed on the display 1002-3 together with the character recognition result of the read image data.

【００２１】これにより、帳票に記載されている情報が
ディスプレイ１００２−３上で直接見られるようになる
ため、視線の移動が少なくなり、文字認識結果の確認及
び修正の際の、文字認識結果とイメージデータとの対応
の誤りを少なくすることができる。一方で、近年、金融
機関等においては、クライアント−サーバシステムを用
いて、サーバで集中的且つ高速にデータ処理を行なう方
式が主流となっている。As a result, since the information described in the form can be directly viewed on the display 1002-3, the movement of the line of sight is reduced, and the character recognition result at the time of confirming and correcting the character recognition result is Errors in correspondence with image data can be reduced. On the other hand, in recent years, in financial institutions and the like, a method in which a client-server system is used to perform centralized and high-speed data processing in a server has become mainstream.

【００２２】例えば金融機関における各支店（営業店）
毎に設置されたクライアントと地区センタに設置された
サーバとを、専用回線や交換回線等を介して接続するこ
とにより、クライアント−サーバシステムを構成して、
サーバにより帳票処理を一括して行なうことにより、業
務の効率化を図ることが提案されている。このようにサ
ーバにより帳票処理を一括して行なう際には、サーバに
集中するデータ量が膨大になることから、サーバでの帳
票処理をオペレータが行なうことは不可能となるため、
オペレータが介在することなく、サーバが自動的に帳票
処理を行なうようなシステムを設計する必要がある。[0022] For example, each branch (sales office) in a financial institution
A client-server system is configured by connecting the client installed for each and the server installed in the district center via a dedicated line or an exchange line.
It has been proposed to improve the efficiency of business by collectively performing form processing by a server. In this way, when the form processing is collectively performed by the server, the amount of data concentrated on the server becomes huge, so that it becomes impossible for the operator to perform the form processing on the server.
It is necessary to design a system in which the server automatically performs the form processing without operator intervention.

【００２３】そこで、図１１７を用いて説明したよう
な、ＩＤ番号が記載された帳票を用いた帳票識別処理を
このクライアント−サーバシステムに適用すれば、サー
バが自動的に帳票種別を識別して帳票の読取処理を行な
うことができる。また、このクライアント−サーバシス
テムでのクライアントにおいても、前述したように、イ
メージデータ読取装置により読み取られたイメージデー
タの文字認識結果とともに、イメージデータそのものを
ディスプレイに表示させることにより、帳票に記載され
ている情報をディスプレイ上で直接見られるようにし
て、文字認識結果の確認及び修正の際の文字認識結果と
イメージデータとの対応の誤りを少なくすることができ
る。Therefore, if the form identification process using the form in which the ID number is described as described with reference to FIG. 117 is applied to this client-server system, the server automatically identifies the form type. It is possible to read the form. Also, in the client in this client-server system, as described above, the image data itself is displayed on the display together with the character recognition result of the image data read by the image data reading device, so that it is written on the form. By making it possible to directly view the displayed information on the display, it is possible to reduce the error in correspondence between the character recognition result and the image data when confirming and correcting the character recognition result.

【００２４】しかし、上述したようなイメージデータの
文字認識結果とイメージデータそのものをディスプレイ
に表示させて、文字認識結果の確認及び修正を行なう方
法においては、イメージデータと確認項目との対応は目
視によって行なわれるため、イメージデータ中に確認す
べき項目が多い場合にはやはり誤認識は避けられないと
いう課題がある。However, in the above-described method of displaying the character recognition result of the image data and the image data itself on the display and confirming and correcting the character recognition result, the correspondence between the image data and the confirmation item is visually confirmed. Therefore, if there are many items to be confirmed in the image data, there is a problem that erroneous recognition is inevitable.

【００２５】これに対し、入力項目間をカーソル表示が
移動する際に、同時に参照すべき項目のイメージデータ
部分を強調表示することにより、イメージデータを参照
する際の対応の誤認識を防ぐとともに、入力操作におけ
る労力及び時間を削減し、誤入力を防止するようなイメ
ージデータ表示装置が提案されている。また、このイメ
ージデータ表示装置では、オペレータが、読み取ったイ
メージデータを目視して、入力操作を行なうようになっ
ているが、例えば帳票をＯＣＲ装置等のイメージデータ
入力装置で読み取る際に、自動的に文字認識を行なうよ
うにすることにより、誤認識及び認識不能文字について
のみオペレータが入力操作を行なうようにすれば、入力
操作における労力及び時間を大幅に削減することができ
る。On the other hand, when the cursor display moves between input items, the image data portion of the item to be referred to is highlighted at the same time to prevent erroneous recognition of correspondence when referring to the image data, and An image data display device has been proposed which reduces labor and time in input operation and prevents erroneous input. Further, in this image data display device, an operator visually checks the read image data and performs an input operation. For example, when an operator reads a form with an image data input device such as an OCR device, it is automatically operated. If the operator performs the input operation only for the erroneous recognition and the unrecognizable character by performing the character recognition, the labor and time in the input operation can be significantly reduced.

【００２６】[0026]

【発明が解決しようとする課題】しかしながら、このよ
うな文字認識を行なうためのイメージデータ表示装置に
おいては、イメージデータの編集表示は複数の文字から
構成される項目を単位としているため、自動文字認識の
結果の正誤の確認の際には、イメージデータ中の連続す
る異なった文字の中から、目視によって確認対象の認識
文字に対応する文字の選別を行なうため、視線の移動及
び比較する対象が多く、正誤の確認作業に労力及び時間
を要するという課題がある。However, in the image data display device for performing such character recognition, since the edit display of the image data is performed in units of items composed of a plurality of characters, automatic character recognition is performed. When confirming the correctness of the result, the character corresponding to the recognized character to be confirmed is visually selected from the consecutive different characters in the image data, so the line of sight is often moved and compared. However, there is a problem that labor and time are required for checking the correctness.

【００２７】また、誤認識文字の修正及び認識不能文字
の入力を行なった場合に、再入力された項目全体を強調
表示し、再入力操作の終了した箇所を明確にすることも
考えられるが、このようにした場合でも、この強調表示
は項目単位で行なわれるため、特定の項目内に複数の再
入力対象文字があった場合に、全ての再入力処理が行な
われたか否かの確認の際には、イメージデータ中の項目
全体と、認識された文字及び再入力された文字との照合
は、目視により行なうため、視線の移動及び比較する対
象が多く、正誤の確認作業に労力及び時間を要するとい
う課題がある。Further, when the erroneously recognized character is corrected and the unrecognizable character is input, the entire re-input item may be highlighted to clarify the end point of the re-input operation. Even in this case, since this highlighting is performed for each item, when there are multiple reentry target characters in a particular item, it is necessary to check whether all reentry processes have been performed. In addition, since all the items in the image data are collated with the recognized characters and the re-entered characters visually, there are many objects to move and compare the line of sight, and it takes time and effort to confirm correctness. There is a problem of cost.

【００２８】本発明は、このような課題に鑑み創案され
たもので、帳票単位又は項目単位のイメージデータから
文字単位としての文字イメージを抽出し、この文字イメ
ージを編集することにより、視線の移動及び比較する対
象を少なくするとともに、精度の高い確認を行なえるよ
うにして、正誤の確認作業に要する労力及び時間を大幅
に削減できるようにした、媒体処理方法及び媒体処理装
置を提供することを目的とする。The present invention was devised in view of the above problems, and extracts a character image as a character unit from image data in form units or item units, and edits the character image to move the line of sight. It is also possible to provide a medium processing method and a medium processing apparatus that can reduce the number of objects to be compared and can perform highly accurate confirmation, thereby significantly reducing the labor and time required for correct / incorrect confirmation work. To aim.

【００２９】[0029]

【００３０】[0030]

【００３１】[0031]

【００３２】[0032]

【００３３】[0033]

【００３４】[0034]

【００３５】[0035]

【００３６】[0036]

【課題を解決するための手段】このため、本発明の媒体
処理装置は、標章情報を有する媒体のイメージを読み取
るイメージ読み取り部と、該イメージ読み取り部で読み
取られたイメージ中の標章イメージ情報を認識してこの
標章イメージ情報に対応するコード情報に変換する標章
認識部とをそなえるとともに、上記標章イメージ情報を
読み取ったイメージの状態で表示するディスプレイと、
該イメージ中におけるコード情報に変換されるべき最小
構成単位の標章イメージ情報を該最小構成単位の標章イ
メージ情報毎に抽出する最小構成単位標章イメージ情報
抽出部と、該最小構成単位標章イメージ情報抽出部で抽
出された該最小構成単位の標章イメージ情報をこの標章
イメージ情報を変換したコード情報の意味する標章情報
に対応させて、同一の標章情報を意味するコード情報に
変換された標章イメージ情報が同一エリアに複数個表示
されるようにディスプレイ上に表示させる最小構成単位
標章イメージ表示制御部とをそなえて構成されたことを
特徴としている。Therefore, in the medium processing apparatus of the present invention, the image reading section for reading the image of the medium having the mark information and the mark image information in the image read by the image reading section. And a display for displaying the above-mentioned mark image information in the state of the read image, as well as having a mark recognition unit for recognizing and converting into the code information corresponding to this mark image information.
A minimum constituent unit mark image information extraction unit for extracting the mark image information of the minimum constituent unit to be converted into the code information in the image for each of the mark image information of the minimum constituent unit, and the minimum constituent unit mark The mark image information of the minimum constituent unit extracted by the image information extraction unit is made to correspond to the mark information that means the code information obtained by converting the mark image information, and converted into code information that means the same mark information. It is characterized in that it is configured so as to display a plurality of converted mark image information on the display so as to be displayed in the same area.

【００３７】ここで、該最小構成単位標章イメージ表示
制御部が、同一エリアに表示されている複数個の同種の
最小構成単位の標章イメージ情報のうち、所望の１つの
標章イメージ情報についてのみ強調表示を行なう強調表
示手段をそなえていてもよい。また、該１つの標章イメ
ージ情報をこの標章イメージ情報と連関する標章イメー
ジ情報とともにディスプレイ上に読み取ったイメージの
状態で表示する連関標章イメージ表示手段が設けられる
とともに、該連関標章イメージ表示手段が、該１つの標
章イメージ情報については強調表示を施す強調表示手段
をそなえていてもよい。Here, the minimum unit image mark image display control unit is configured to display a plurality of similar types of images displayed in the same area.
A highlighting means for highlighting only one desired mark image information among the mark image information of the minimum constitutional unit may be provided. Further, a related mark image display means for displaying the one mark image information together with the mark image information related to the mark image information in a state of an image read on the display is provided, and the related mark image is displayed. The display means may include highlighting means for highlighting the one mark image information.

【００３８】さらに、該１つの標章イメージ情報に対応
する正解データを入力するデータ入力装置をそなえ、該
データ入力装置の操作により該正解データを入力すると
該正解データを上記１つの標章イメージ情報とこの標章
イメージ情報と連関する標章イメージ情報とを表示して
いるエリアとは別の正解データ表示エリアに表示させる
正解データ表示手段を設けてもよい。Furthermore, a data input device for inputting correct answer data corresponding to the one mark image information is provided, and when the correct answer data is inputted by operating the data input device, the correct answer data is converted into the one mark image information. Correct answer data display means for displaying the correct answer data display area different from the area displaying the mark image information related to the mark image information may be provided.

【００３９】また、該１つの標章イメージ情報に対応す
る正解データを入力するデータ入力装置をそなえ、該デ
ータ入力装置の操作により該正解データを入力すると今
まで強調表示されていた該１つの標章イメージ情報につ
いては修正済みを意味する別の強調表示を施す強調表示
変更手段を設けてもよい。さらに、該１つの標章イメー
ジ情報に対応する正解データを入力するデータ入力装置
をそなえ、該データ入力装置の操作により該正解データ
を入力すると該正解データを上記１つの標章イメージ情
報とこの標章イメージ情報と連関する標章イメージ情報
とを表示しているエリアとは別の正解データ表示エリア
に表示させる正解データ表示手段と、該データ入力装置
の操作により該正解データを入力すると今まで強調表示
されていた該１つの標章イメージ情報については修正済
みを意味する別の強調表示を施す強調表示変更手段とを
設けてもよい。Further, a data input device for inputting correct answer data corresponding to the one mark image information is provided, and when the correct answer data is inputted by operating the data input device, the one mark which has been highlighted until now is displayed. The chapter image information may be provided with a highlighted display changing means for performing another highlighted display that means that the chapter image information has been corrected. Further, a data input device for inputting correct answer data corresponding to the one mark image information is provided, and when the correct answer data is inputted by operating the data input device, the correct answer data is combined with the one mark image information and the mark image information. Correct answer data display means for displaying the correct answer data display area different from the area displaying the mark image information associated with the chapter image information and the correct answer data input by operating the data input device You may provide the highlighting change means which performs another highlighting which means that it was corrected about the one said mark image information displayed.

【００４０】[0040]

【００４１】更に、該１つの標章イメージ情報に対応す
る正解データを入力するデータ入力装置と、該データ入
力装置の操作により該正解データを入力すると今まで強
調表示されていた該１つの標章イメージ情報については
修正済みを意味する別の強調表示を施す強調表示変更手
段と、該データ入力装置の操作により該正解データを入
力すると該正解データに基づいて該１つの標章イメージ
情報に対応する誤認識情報を修正する認識情報修正手段
とをそなえてもよい。 Further, a data input device for inputting correct answer data corresponding to the one mark image information , and the one mark which has been highlighted until now when the correct answer data is inputted by operating the data input device. With respect to the image information, another highlighted display changing means for indicating that the image information has been corrected, and when the correct answer data is input by operating the data input device, the correct answer data corresponds to the one mark image information based on the correct answer data. It may be provided with recognition information correction means for correcting misrecognition information.

【００４２】また、本発明の媒体処理方法によれば、標
章情報を有する媒体のイメージを読み取りこの読み取ら
れたイメージ中の標章イメージ情報を認識してこの標章
イメージ情報に対応するコード情報に変換する際に、該
イメージ中におけるコード情報に変換されるべき最小構
成単位の標章イメージ情報をこの標章イメージ情報を変
換したコード情報の意味する標章情報に対応させて、同
一の標章情報を意味するコード情報に変換された標章イ
メージ情報が同一エリアに複数個表示されるようにディ
スプレイ上に表示する。Further, according to the medium processing method of the present invention, the image of the medium having the mark information is read, the mark image information in the read image is recognized, and the code information corresponding to the mark image information is recognized. At the time of conversion, the mark image information of the minimum constitutional unit to be converted into the code information in the image is made to correspond to the mark information which means the code information obtained by converting the mark image information, and the same mark information is obtained. The mark image information converted into code information, which means chapter information, is displayed on the display so that a plurality of mark image information is displayed in the same area.

【００４３】また、同一エリアに表示されている複数個
の同種の最小構成単位の標章イメージ情報のうち、所望
の１つの標章イメージ情報についてのみ強調表示を行な
う。さらに、所望の１つの標章イメージ情報をこの標章
イメージ情報と連関する標章イメージ情報とともにディ
スプレイ上に読み取ったイメージの状態で表示するとと
もに、該１つの標章イメージ情報については強調表示を
施す。 A plurality of images displayed in the same area
Only one desired mark image information among the mark image information of the same type of minimum constitutional unit is highlighted. Further, desired one mark image information is displayed on the display together with the mark image information associated with this mark image information in the state of the read image, and the one mark image information is highlighted. .

【００４４】また、該１つの標章イメージ情報に対応す
る正解データをデータ入力装置の操作により入力する
と、該正解データが上記１つの標章イメージ情報とこの
標章イメージ情報と連関する標章イメージ情報とを表示
しているエリアとは別の正解データ表示エリアに表示さ
れる。さらに、該１つの標章イメージ情報に対応する正
解データをデータ入力装置の操作により入力すると、今
まで強調表示されていた該１つの標章イメージ情報につ
いては修正済みを意味する別の強調表示が施される。When correct data corresponding to the one mark image information is input by operating the data input device, the correct data is associated with the one mark image information and the mark image information. It is displayed in the correct answer data display area different from the area displaying information and. Further, when the correct answer data corresponding to the one mark image information is input by operating the data input device, another highlighting indicating that the one mark image information which has been highlighted until now is corrected is displayed. Is given.

【００４５】また、該１つの標章イメージ情報に対応す
る正解データをデータ入力装置の操作により入力する
と、該正解データが上記１つの標章イメージ情報とこの
標章イメージ情報と連関する標章イメージ情報とを表示
しているエリアとは別の正解データ表示エリアに表示さ
れるとともに、今まで強調表示されていた該１つの標章
イメージ情報については修正済みを意味する別の強調表
示が施される。更に、該１つの標章イメージ情報に対応
する正解データをデータ入力装置の操作により入力する
と、今まで強調表示されていた該１つの標章イメージ情
報については修正済みを意味する別の強調表示が施され
るとともに該正解データに基づいて該１つの標章イメー
ジ情報に対応する誤認識情報が修正される。 When the correct answer data corresponding to the one mark image information is input by operating the data input device, the correct answer data is associated with the one mark image information and the mark image information. Information is displayed in a correct data display area different from the area displaying information, and another highlighting indicating that the one mark image information that has been highlighted up to now is corrected is applied. It Furthermore, it corresponds to the one mark image information
Enter the correct answer data by operating the data input device
And the image information of the one mark that has been highlighted until now.
The report has another highlight that means it has been fixed.
And the image of the one mark based on the correct answer data.
The misrecognition information corresponding to the error information is corrected.

【００４６】[0046]

【発明の実施の形態】（ａ）本発明の一実施形態の説明 （ａ１）媒体処理装置の説明 図１は、本発明の一実施形態にかかる媒体処理装置の全
体構成を示す機能ブロック図である。BEST MODE FOR CARRYING OUT THE INVENTION (a) Description of an embodiment of the present invention (a1) Description of a medium processing apparatus FIG. 1 is a functional block diagram showing an overall configuration of a medium processing apparatus according to an embodiment of the present invention. is there.

【００４７】ここで、図１に示す媒体処理装置３０は、
私製伝票等のように多種多様なフォーマットを有する帳
票媒体（帳票）から読み取ったイメージデータ（イメー
ジ）に基づいて、この情報の認識を行なうものである。
この媒体処理装置３０は、具体的には、図６に示すよう
に、例えば金融機関の各支店（営業店）毎に設置された
クライアント（ＣＬ）３５と、地区センタに設置された
サーバ（ＳＶ）３９とが、交換回線３６等を介して接続
されることにより構成され、各営業店における帳票処理
を地区センタのサーバ３９により一括して行なうもので
ある。Here, the medium processing device 30 shown in FIG.
This information is recognized based on image data (image) read from a form medium (form) having various formats such as privately-made slips.
Specifically, as shown in FIG. 6, the medium processing device 30 includes a client (CL) 35 installed in each branch (business office) of a financial institution and a server (SV) installed in a district center. ) 39 is connected via the exchange line 36, etc., and the form processing at each sales office is collectively performed by the server 39 at the district center.

【００４８】即ち、この媒体処理装置３０は、帳票のイ
メージデータのレイアウトを解析することにより処理対
象の帳票のフォーマットを認識し、この帳票のフォーマ
ットの認識結果に基づいて帳票の文字認識を行なうこと
により、帳票処理装置専用に作成された帳票だけでな
く、任意のフォーマットで情報が記入された帳票の認識
処理を行なうことができるものである。That is, the medium processing device 30 recognizes the format of the form to be processed by analyzing the layout of the image data of the form, and performs character recognition of the form based on the recognition result of the format of the form. Thus, not only the form created only for the form processing apparatus but also the form recognition processing for the form in which the information is written in an arbitrary format can be performed.

【００４９】ここで、媒体処理装置３０は、機能的には
図１に示すように、レイアウト認識処理ブロック１６，
文字認識処理ブロック１７及びオペレータ確認／修正処
理ブロック１８をそなえている。レイアウト認識処理ブ
ロック１６は、イメージデータ読取装置により読み取ら
れたイメージデータ１９のレイアウト認識処理を行なう
ブロックであり、解析前処理部１，レイアウト解析処理
部２，レイアウト照合処理部３及びレイアウト編集処理
部４をそなえている。Here, as shown in FIG. 1, the medium processing device 30 functionally includes the layout recognition processing block 16,
A character recognition processing block 17 and an operator confirmation / correction processing block 18 are provided. The layout recognition processing block 16 is a block that performs layout recognition processing of the image data 19 read by the image data reading device, and includes a pre-analysis processing unit 1, a layout analysis processing unit 2, a layout collation processing unit 3, and a layout editing processing unit. 4 is provided.

【００５０】ここで、解析前処理部１は、レイアウト解
析処理に先立って、レイアウトの変動要因を少なくして
解析精度を高めるために、認識対象イメージデータ１９
の形式変換後に、解析処理用の低密度イメージの作成を
行うとともに、解析処理時に精度低下の要因となるイメ
ージデータ上のゴミ等の除去を行うものである。また、
レイアウト解析処理部２は、解析用辞書１３を参照し
て、読み取ったイメージデータからレイアウトの特徴で
ある罫線項目及び項目データを抽出して、レイアウトの
構成を解析し、この抽出した罫線項目及び項目データに
よりレイアウトを論理的に表現するものである。Here, the analysis preprocessing unit 1 prior to the layout analysis processing, recognizes the recognition target image data 19 in order to reduce the factors of the layout variation and improve the analysis accuracy.
After the format conversion, the low density image for the analysis processing is created, and the dust and the like on the image data, which causes the accuracy decrease during the analysis processing, are removed. Also,
The layout analysis processing unit 2 refers to the analysis dictionary 13 to extract ruled line items and item data, which are layout features, from the read image data, analyzes the layout configuration, and extracts the extracted ruled line items and items. The layout is logically represented by data.

【００５１】即ち、レイアウト解析処理部２は、読み取
ったイメージデータから、帳票媒体固有の特徴を抽出
し、この特徴により認識すべき情報の存在する位置を特
定する手段として機能するものである。具体的には、レ
イアウト解析処理部２は、認識対象イメージのレイアウ
トを解析して、レイアウトを構成している各種の構成要
素（罫線項目及び項目データ）をレイアウト特徴として
抽出するとともに、後段のレイアウト照合処理部３での
レイアウト照合処理時に登録済レイアウト情報を検索す
るために、この抽出されたレイアウト特徴からレイアウ
トの大まかな制約条件であるレイアウトのキー情報を作
成するものである。That is, the layout analysis processing unit 2 functions as a means for extracting the characteristic peculiar to the form medium from the read image data and specifying the position where the information to be recognized exists based on this characteristic. Specifically, the layout analysis processing unit 2 analyzes the layout of the image to be recognized, extracts various constituent elements (ruled line items and item data) making up the layout as layout features, and the layout in the subsequent stage. In order to retrieve the registered layout information at the time of the layout collation processing in the collation processing unit 3, layout key information, which is a rough constraint condition of the layout, is created from the extracted layout features.

【００５２】このレイアウト解析処理部２は、図５に示
すように、イメージのレイアウトの特徴を抽出するレイ
アウト特徴抽出部２Ａと、レイアウト特徴抽出部２Ａで
抽出されたレイアウトの特徴に基づいてレイアウトの構
成を解析するレイアウト解析部２Ｂとを少なくとも含ん
で構成されている。また、レイアウト特徴抽出部２Ａは
罫線抽出部２Ｃ及び項目データ抽出部２Ｄをそなえてお
り、レイアウト解析部２Ｂは表構造解析部２Ｅをそなえ
ている。As shown in FIG. 5, the layout analysis processing unit 2 extracts a layout feature of the image and a layout feature extraction unit 2A, and a layout feature extraction unit 2A extracts the layout feature based on the layout feature extracted by the layout feature extraction unit 2A. The layout analysis unit 2B that analyzes the configuration is included at least. The layout feature extraction unit 2A has a ruled line extraction unit 2C and an item data extraction unit 2D, and the layout analysis unit 2B has a table structure analysis unit 2E.

【００５３】ここで、レイアウトが罫線により構成され
る表構造を有している場合には、罫線抽出部２Ｃでレイ
アウトの罫線から形成される最小矩形である罫線項目が
抽出され、抽出された罫線項目に基づいて、表構造解析
部２Ｅで罫線項目により構成される表構造が解析される
ようになっている。また、レイアウトが罫線を持たない
無罫線表構造を有している場合には、項目データ抽出部
２Ｄでレイアウトの項目データが抽出され、抽出された
レイアウトの項目データに基づいて、表構造解析部２Ｅ
で無罫線表構造が解析されるようになっている。Here, when the layout has a table structure composed of ruled lines, the ruled line extraction unit 2C extracts a ruled line item which is the smallest rectangle formed from the ruled lines of the layout, and the extracted ruled lines are extracted. Based on the items, the table structure analysis unit 2E analyzes the table structure constituted by the ruled line items. When the layout has a ruled line table structure without ruled lines, the item data extraction unit 2D extracts layout item data, and based on the extracted layout item data, the table structure analysis unit 2E
The unlined ruled table structure is analyzed in.

【００５４】さらに、レイアウト解析処理部２が、罫線
項目や項目データを抽出してから、レイアウトの論理的
な原点（論理原点）を抽出するように構成されている。
具体的には、レイアウト解析処理部２においては、（２
−１）ラベリング処理によるラベル画像の作成，（２−
２）レイアウト照合用の帳票イメージの論理原点及び斜
度情報の抽出，（２−３）罫線項目の抽出と罫線項目に
より構成される表構造の解析（前述にて説明済），（２
−４）項目データの抽出と無罫線表時の項目表構造の解
析（前述にて説明済）及び（２−５）見出し領域の決定
と見出し項目の認識，対応する項目データの決定（見出
し解析処理）、が行なわれている。Furthermore, the layout analysis processing unit 2 is configured to extract the ruled line items and item data and then the logical origin of the layout (logical origin).
Specifically, in the layout analysis processing unit 2, (2
-1) Creation of label image by labeling process, (2-
2) Extraction of logical origin and slope information of form image for layout collation, (2-3) Extraction of ruled line items and analysis of table structure composed of ruled line items (described above), (2)
-4) Extraction of item data and analysis of item table structure in case of no-ruled line table (explained above) and (2-5) Determination of heading area and recognition of heading item, determination of corresponding item data (heading analysis) Processing) is performed.

【００５５】なお、（２−１）のラベリング処理による
ラベル画像の作成処理は、入力されたイメージデータ
（２値画像データ）から連結成分（２値画像において１
つに繋がった画像の成分）を算出して、各連結成分毎に
ラベルを付けたラベル画像を作成する処理のことであ
る。なお、このラベリング処理については、例えば「連
結領域の抽出装置及び方法」（特開平０８−５５２１９
号）が公知である。In the label image creating process by the labeling process (2-1), the connected component (1 in the binary image is changed from the input image data (binary image data)).
This is a process of calculating a component of an image connected to each other) and creating a label image with a label for each connected component. Regarding the labeling process, for example, “Connected area extracting device and method” (Japanese Patent Laid-Open No. 08-55219).
No.) is known.

【００５６】また、（２−３）の罫線項目の抽出処理
は、罫線に囲まれた文字や図形等のデータから罫線部分
を抽出して、罫線部分とデータ部分とを分離する処理の
ことである。なお、この罫線項目の抽出処理について
は、例えば「画像抽出方式」（特開平０６−３０９４９
８号）が公知である。さらに、（２−５）の見出し解析
処理は、イメージ中の見出し領域（見出し項目）を決定
して、この見出し領域中の見出し項目情報を認識して、
対応する項目データを決定するものである。The ruled line item extraction process (2-3) is a process of extracting the ruled line portion from the data such as characters and figures surrounded by the ruled line and separating the ruled line portion and the data portion. is there. Note that this ruled line item extraction processing is described in, for example, "Image Extraction Method" (Japanese Patent Laid-Open No. 06-30949).
No. 8) is known. Further, in the heading analysis processing of (2-5), the heading area (heading item) in the image is determined, the heading item information in the heading area is recognized,
It determines the corresponding item data.

【００５７】即ち、本実施形態においては、レイアウト
解析処理部２において見出し項目及び見出し項目と対応
する項目データを識別することにより、文字認識処理ブ
ロック１７において見出し項目の文字認識処理を行なう
ことなく直ちに項目データの文字認識を行なえるように
している。また、上述の処理（２−２）については（ａ
２）原点抽出照合処理の説明にて、処理（２−５）につ
いては（ａ６）見出し解析処理の説明にて、それぞれ詳
細に説明する。That is, in the present embodiment, the layout analysis processing section 2 identifies the headline item and the item data corresponding to the headline item, so that the character recognition processing block 17 does not perform the character recognition process of the headline item immediately. Characters of item data can be recognized. Regarding the above processing (2-2), (a
2) In the description of the origin extraction matching process, the process (2-5) will be described in detail in (a6) Description of the heading analysis process.

【００５８】ところで、レイアウト照合処理部３は、レ
イアウト解析処理部２で抽出されたレイアウトの特徴
（罫線項目及び項目データ）を制約検索条件として、レ
イアウトデータベース（レイアウトＤＢ）１４から候補
レイアウトを検索して、一致している候補レイアウトが
あるかどうかを照合することにより、レイアウト解析処
理部２で特定された位置でのイメージを認識して、特定
された位置における情報を判別するイメージ認識手段と
して機能するものである。The layout collation processing unit 3 searches the layout database (layout DB) 14 for candidate layouts using the layout characteristics (ruled line items and item data) extracted by the layout analysis processing unit 2 as a constraint search condition. Function as an image recognition means for recognizing the image at the position specified by the layout analysis processing unit 2 by checking whether there is a matching candidate layout and discriminating the information at the specified position. To do.

【００５９】ここで、レイアウトＤＢ１４は、候補レイ
アウト情報を記憶している候補レイアウト記憶部であ
り、本実施形態においては、候補レイアウト情報として
圧縮された候補レイアウト情報を記憶している。なお、
このときのレイアウト情報の圧縮処理については、後述
にて詳細に説明する。また、レイアウトＤＢ１４には、
レイアウト解析処理部２でのレイアウト解析結果を補正
するためのレイアウト補正情報が格納されており、本実
施形態においては、後述するレイアウト編集処理部４に
おいて、このレイアウト補正情報を用いてレイアウト解
析結果を補正することにより、その後の処理を高い精度
で行なえるようになっている。Here, the layout DB 14 is a candidate layout storage unit that stores candidate layout information, and in the present embodiment, it stores compressed candidate layout information as candidate layout information. In addition,
The compression process of the layout information at this time will be described later in detail. In addition, the layout DB14,
Layout correction information for correcting the layout analysis result in the layout analysis processing unit 2 is stored. In the present embodiment, the layout editing processing unit 4 described later uses this layout correction information to obtain the layout analysis result. By performing the correction, the subsequent processing can be performed with high accuracy.

【００６０】さらに、レイアウトＤＢ１４の内容は、後
述するように、候補レイアウト情報を、レイアウト認識
処理ブロック１６やオペレータ確認／修正処理ブロック
１８での処理結果に基づいて学習，更新されるようにな
っており、これにより、オペレータ等による候補レイア
ウト情報のレイアウトＤＢ１４への登録操作を不要とし
て操作の簡素化を図っている。Further, as will be described later, the contents of the layout DB 14 are such that the candidate layout information is learned and updated based on the processing results of the layout recognition processing block 16 and the operator confirmation / correction processing block 18. Therefore, the operation of registering the candidate layout information in the layout DB 14 by an operator or the like is not required and the operation is simplified.

【００６１】また、レイアウト照合処理部３は、レイア
ウト解析処理部２で抽出された論理原点を基準にして、
一致している候補レイアウトがあるかどうかを照合する
ようになっている。即ち、レイアウト照合処理部３は、
レイアウト解析処理部２で作成されたレイアウトキー情
報を使用して、レイアウトＤＢ１４に格納されているレ
イアウト情報を検索照合し、一致するレイアウト情報を
取得するものである。The layout collation processing unit 3 also uses the logical origin extracted by the layout analysis processing unit 2 as a reference.
It is designed to check whether there is a matching candidate layout. That is, the layout matching processing unit 3
The layout key information created by the layout analysis processing unit 2 is used to search and collate the layout information stored in the layout DB 14 to obtain the matching layout information.

【００６２】また、上述のレイアウト照合処理部３にお
いて、レイアウトの検索照合を行なう際には、先ず大ま
かな制約条件であるレイアウトキー情報を制約条件とし
てレイアウトＤＢ１４を検索し、検索の結果得られた複
数の候補レイアウトに対して、更に詳細な照合を行うこ
とにより一致するレイアウトを決定するようになってい
る。In the layout collation processing unit 3 described above, when performing layout collation, the layout DB 14 is first searched with layout key information, which is a rough constraint, as the constraint, and the result of the search is obtained. The matching layout is determined by performing more detailed matching on a plurality of candidate layouts.

【００６３】具体的には、レイアウト照合処理部３にお
いては、候補レイアウトに対する詳細な照合処理の際
に、制約条件の大まかなものから順に、（３−１）罫線
項目ビットマトリクスの照合，（３−２）罫線項目位置
と罫線項目属性の詳細な照合，（３−３）項目データ位
置の照合，（３−４）見出し位置と見出し内容の照合及
び（３−５）領域イメージ（ユニークイメージ）の特徴
データ照合、が行なわれている。Specifically, in the layout collation processing unit 3, in the detailed collation processing with respect to the candidate layout, (3-1) collation of ruled line item bit matrix and (3 -2) Detailed collation of ruled line item position and ruled line item attribute, (3-3) Collation of item data position, (3-4) Collation of heading position and heading content, and (3-5) Area image (unique image) Feature data collation is being performed.

【００６４】ここで、（３−１）の罫線項目ビットマト
リクスの照合処理とは、レイアウト解析処理部２で抽出
されたレイアウトの特徴を圧縮処理し、この圧縮したレ
イアウトの特徴を制約検索条件として、レイアウトＤＢ
１４から圧縮した候補レイアウトを検索することによ
り、一致している候補レイアウトがあるかどうかを照合
するものである。Here, the collation processing of the ruled line item bit matrix of (3-1) means that the layout feature extracted by the layout analysis processing unit 2 is compressed, and the compressed layout feature is used as a constraint search condition. , Layout DB
By searching the compressed candidate layouts from 14, it is checked whether there is a matching candidate layout.

【００６５】即ち、本実施形態においては、レイアウト
ＤＢ１４が圧縮した候補レイアウト情報を記憶して、レ
イアウト照合処理部３において圧縮処理したレイアウト
情報を作成して圧縮したレイアウト情報同士を照合する
ことにより、レイアウト照合処理の高速化を図っている
のである。なお、処理（３−１）については（ａ４）マ
トリックス照合処理の説明にて、処理（３−２）〜（３
−４）については（ａ６）見出し解析処理の説明にて、
処理（３−５）については（ｂ）本発明の一実施形態の
変形例の説明にて、それぞれ詳細に説明する。That is, in the present embodiment, the layout DB 14 stores the compressed candidate layout information, the layout collation processing unit 3 creates the compressed layout information, and collates the compressed layout information. The layout matching process is speeded up. Regarding the process (3-1), the processes (3-2) to (3) will be described in the description of the (a4) matrix matching process.
Regarding -4), in (a6) description of heading analysis processing,
The processing (3-5) will be described in detail in (b) the description of the modified example of the embodiment of the present invention.

【００６６】さらに、レイアウト編集処理部４は、レイ
アウト照合処理部３でレイアウトＤＢ１４を検索照合し
た結果、レイアウトＤＢ１４に一致するレイアウトが存
在する場合には、前述のごとく、レイアウトＤＢ１４か
ら取得したレイアウト補正情報に基づいてレイアウト解
析結果を補正した後に、補正されたレイアウト情報をレ
イアウト認識結果２０として出力するものである。Furthermore, when the layout editing processing unit 4 searches the layout DB 14 by the layout matching processing unit 3 and there is a layout that matches the layout DB 14, the layout editing processing unit 4 obtains the layout correction acquired from the layout DB 14 as described above. After the layout analysis result is corrected based on the information, the corrected layout information is output as the layout recognition result 20.

【００６７】なお、レイアウト補正情報を用いた補正内
容は、見出し位置と見出し内容の補正と、見出しにリン
クする項目データ位置及び項目データ属性の補正であ
る。また、レイアウト編集処理部４は、レイアウト照合
処理部３でレイアウトＤＢ１４を検索照合した結果、レ
イアウトＤＢ１４に一致するレイアウトが存在しない場
合には、新規レイアウトとして、レイアウト解析結果を
そのままレイアウト情報（レイアウト認識結果２０）と
して出力するものである。The correction contents using the layout correction information are correction of the heading position and the heading contents, and correction of the item data position and item data attribute linked to the heading. Further, when the layout collation processing unit 3 searches the layout DB 14 and collates the layout DB 14 as a result of the layout collation processing unit 3, the layout editing processing unit 4 determines that the layout analysis result is the layout information (layout recognition) as a new layout. It is output as a result 20).

【００６８】ところで、文字認識処理ブロック１７は、
レイアウト認識処理ブロック１６からのレイアウト認識
結果２０の文字認識処理を行なうブロックであり、文字
認識用定義体作成部５，文字認識処理部６及び知識処理
部７をそなえている。ここで、文字認識用定義体作成部
５は、レイアウト認識結果２０として出力されるレイア
ウト情報をもとに、文字認識処理部６で使用する文字認
識対象の項目データ位置と項目データ属性を定義した文
字認識用定義体（一時定義体）２１を作成するものであ
る。By the way, the character recognition processing block 17
This is a block for performing character recognition processing of the layout recognition result 20 from the layout recognition processing block 16, and includes a character recognition definition creating section 5, a character recognition processing section 6, and a knowledge processing section 7. Here, the character recognition definition creating unit 5 defines the item data position and the item data attribute of the character recognition target used by the character recognition processing unit 6 based on the layout information output as the layout recognition result 20. A character recognition definition body (temporary definition body) 21 is created.

【００６９】レイアウト認識結果２０の項目データ情報
は、解析対象イメージの左上端からの絶対座標で出力す
るが、イメージ読み取り時の用紙位置の変動により、解
析対象イメージの左上端が常に一定の位置になるとは限
らない。このため、文字認識用定義体処理部５では、解
析対象イメージに合わせてその都度、文字認識用定義体
２１を動的に作成しているのである。The item data information of the layout recognition result 20 is output in absolute coordinates from the upper left end of the analysis target image, but the upper left end of the analysis target image is always at a constant position due to the variation of the paper position when reading the image. Not necessarily. Therefore, the character recognizing definition processing unit 5 dynamically creates the character recognizing definition 21 according to the analysis target image.

【００７０】また、文字認識処理部６は、文字認識定義
体作成処理部５で、レイアウト情報より作成された文字
認識用定義体２１を使用して、文字認識対象の項目デー
タについて文字認識処理を行ない、認識結果のコードデ
ータを取得するものである。さらに、知識処理部７は、
文字認識処理部６の認識結果コードデータを、認識結果
の補正情報を記録した知識データベース（知識ＤＢ）１
５を参照して補正し、文字認識結果２２として出力する
ものである。Further, the character recognition processing section 6 uses the character recognition definition object 21 created from the layout information in the character recognition definition object creation processing section 5 to perform character recognition processing on the item data of the character recognition object. The code data of the recognition result is obtained. Furthermore, the knowledge processing unit 7
A knowledge database (knowledge DB) 1 in which the recognition result code data of the character recognition processing unit 6 is recorded as correction information of the recognition result.
5 is corrected and output as the character recognition result 22.

【００７１】そして、オペレータ確認／修正処理ブロッ
ク１８は、レイアウト認識結果２０及び文字認識結果２
２が、端末装置（例えば図１におけるクライアント１
０）に表示されて、オペレータによりイメージデータの
処理結果の確認及び修正処理が行なわれるブロックであ
り、レイアウト画面表示処理部８及び文字認識結果画面
表示処理部９をそなえている。Then, the operator confirmation / correction processing block 18 determines the layout recognition result 20 and the character recognition result 2
2 is a terminal device (for example, the client 1 in FIG. 1)
0), the operator confirms and corrects the processing result of the image data, and includes a layout screen display processing unit 8 and a character recognition result screen display processing unit 9.

【００７２】ここで、レイアウト画面表示処理部８は、
オペレータによるレイアウト認識結果２０及び文字認識
結果２２の修正及び確認のため、レイアウト認識結果２
０のレイアウト情報をもとに、認識対象イメージと見出
し位置や見出し内容及び対応する項目位置等の解析結果
をクライアント１０のディスプレイに表示するものであ
る。Here, the layout screen display processing unit 8
In order to correct and confirm the layout recognition result 20 and the character recognition result 22 by the operator, the layout recognition result 2
Based on the layout information of 0, the analysis result of the recognition target image, the heading position, the heading content and the corresponding item position is displayed on the display of the client 10.

【００７３】本実施形態においては、後述の（ａ７）認
識文字の確認及び修正処理の説明にて詳細に説明するよ
うに、従来の修正及び確認処理を拡張して、認識結果の
コードデータと、対応する帳票イメージ上の見出し内容
や項目データとをリンクしてクライアント１０のディス
プレイに表示することにより、レイアウト情報の修正及
び確認処理を行えるようになっている。In the present embodiment, as will be described in detail in (a7) Confirmation and correction processing of recognized characters described below, the conventional correction and confirmation processing is expanded to include code data of the recognition result, By linking the heading contents and item data on the corresponding form image and displaying them on the display of the client 10, layout information correction and confirmation processing can be performed.

【００７４】また、文字認識結果画面表示処理部９は、
レイアウト画面表示処理部８の表示に合わせて、文字認
識対象イメージの認識項目に対応する文字認識結果のコ
ードデータを画面表示するものである。さらに、クライ
アント１０においては、ディスプレイ表示された認識対
象イメージと対応するレイアウト認識結果２０や文字認
識結果２２がオペレータにより確認され、必要に応じて
レイアウト認識結果２０及び文字認識結果２２の修正が
行なわれる。Further, the character recognition result screen display processing section 9
In accordance with the display of the layout screen display processing unit 8, the code data of the character recognition result corresponding to the recognition item of the character recognition target image is displayed on the screen. Furthermore, in the client 10, the layout recognition result 20 and the character recognition result 22 corresponding to the recognition target image displayed on the display are confirmed by the operator, and the layout recognition result 20 and the character recognition result 22 are corrected as necessary. .

【００７５】なお、図１に示す媒体処理装置３０は、上
述したレイアウト認識処理ブロック１６，文字認識処理
ブロック１７及びオペレータ確認／修正処理ブロック１
８のほかに、レイアウトログ情報作成処理部１１及び知
識ログ情報作成処理部１２もそなえている。ここで、レ
イアウトログ情報作成処理部１１は、レイアウト認識結
果２０のレイアウト情報に、オペレータによる修正内容
を補正データとして付加してレイアウトＤＢ学習情報２
５（後述する図４では、これを学習用レイアウト情報２
８で示している）を作成することにより、レイアウトＤ
Ｂ１４に格納されるレイアウト補正情報を作成するもの
である。なお、作成されたレイアウト補正情報は、補正
内容が判断された上、レイアウトＤＢ１４に学習登録さ
れる。The medium processing device 30 shown in FIG. 1 has a layout recognition processing block 16, a character recognition processing block 17, and an operator confirmation / correction processing block 1 described above.
In addition to 8, the layout log information creation processing unit 11 and the knowledge log information creation processing unit 12 are also provided. Here, the layout log information creation processing unit 11 adds the correction content by the operator as correction data to the layout information of the layout recognition result 20 to obtain the layout DB learning information 2
5 (in FIG. 4 described later, this is the learning layout information 2
Layout D by creating
The layout correction information stored in B14 is created. The created layout correction information is learned and registered in the layout DB 14 after the correction content is determined.

【００７６】また、レイアウトログ情報作成処理部１１
は、レイアウト認識結果２０のレイアウト情報に、オペ
レータによる修正内容を補正データとして付加して解析
用辞書学習情報２４（後述する図４では、これを登録用
レイアウト情報２９で示している）を作成するものであ
り、作成された解析用辞書学習情報２４は、補正内容が
判断された上、解析用辞書１３に学習登録される。Further, the layout log information creation processing unit 11
Creates the analysis dictionary learning information 24 (which is shown as registration layout information 29 in FIG. 4 to be described later) by adding the correction content by the operator as correction data to the layout information of the layout recognition result 20. The analysis dictionary learning information 24 thus created is registered in the analysis dictionary 13 for learning after the correction content is determined.

【００７７】さらに、知識ログ情報作成処理部１２は、
文字認識結果２２のコードデータに、オペレータによる
修正内容を補正データとして付加して知識ＤＢ１５用の
知識学習情報２３を作成するものであり、作成された学
習データは、知識ＤＢ１５に学習登録される。上述の構
成により、本発明の一実施形態にかかる媒体処理装置３
０においては、任意のフォーマットを有する帳票のイメ
ージデータ１９が読み取られると、このイメージデータ
１９のレイアウトが解析されることにより処理対象の帳
票のフォーマットが認識され、この帳票のフォーマット
の認識結果に基づいて帳票の文字認識が行なわれる。Furthermore, the knowledge log information creation processing unit 12
The content of correction by the operator is added as correction data to the code data of the character recognition result 22 to create the knowledge learning information 23 for the knowledge DB 15, and the created learning data is learned and registered in the knowledge DB 15. With the above configuration, the medium processing device 3 according to the embodiment of the present invention
In 0, when the image data 19 of the form having an arbitrary format is read, the layout of the image data 19 is analyzed to recognize the format of the form to be processed, and based on the recognition result of the format of this form. Character recognition of the form is performed.

【００７８】そして、レイアウト認識結果２０及び文字
認識結果２２は、オペレータにより確認され、必要に応
じて修正される。このときの、媒体処理装置３０におけ
る処理を、図２〜図４を用いて説明する。まず、処理対
象の帳票のレイアウトが、新規出現したレイアウトであ
る場合の処理について図２に基づいて説明する。Then, the layout recognition result 20 and the character recognition result 22 are confirmed by the operator and corrected if necessary. The processing in the medium processing device 30 at this time will be described with reference to FIGS. First, the processing in the case where the layout of the form to be processed is the newly appearing layout will be described with reference to FIG.

【００７９】はじめに、レイアウト認識処理ブロック１
６の解析前処理部１では、処理対象の帳票のイメージデ
ータ１９の解析前処理が施される（ステップＡ１）。ま
た、レイアウト解析処理部２では、認識対象イメージか
らレイアウトの構成要素である罫線項目や項目データが
抽出され、レイアウト解析辞書１３を参照してレイアウ
ト内の見出し項目位置及びその内容と対応する項目デー
タ位置が解析結果として出力される（ステップＡ２）。First, the layout recognition processing block 1
The pre-analysis processing unit 1 of 6 performs pre-analysis processing of the image data 19 of the form to be processed (step A1). Further, the layout analysis processing unit 2 extracts ruled line items and item data that are the constituent elements of the layout from the recognition target image, refers to the layout analysis dictionary 13 and refers to the heading item position in the layout and the item data corresponding to the contents thereof. The position is output as the analysis result (step A2).

【００８０】ここで、ステップＡ２のレイアウト解析処
理ステップは、読み取ったイメージデータから、帳票媒
体固有の特徴を抽出し、この特徴により認識すべき情報
の存在する位置を特定する情報存在位置特定ステップで
あり、読み取ったイメージのレイアウトの特徴を抽出し
て、レイアウトの構成を解析し、抽出した特徴によりレ
イアウトを論理的に表現するものである。Here, the layout analysis processing step of step A2 is an information existing position specifying step for extracting the characteristic peculiar to the form medium from the read image data and specifying the position where the information to be recognized is based on this characteristic. Yes, the layout feature of the read image is extracted, the layout configuration is analyzed, and the layout is logically expressed by the extracted feature.

【００８１】また、このレイアウト解析処理ステップＡ
２は、レイアウトの罫線項目や項目データを抽出してか
ら、レイアウトの論理原点を抽出するステップを含むと
ともに、読み取ったイメージのレイアウトが所定の方向
であるかどうかを判定するステップと、このステップで
の判定結果に基づきレイアウトが所定の方向となるよう
に読み取ったイメージデータを変換するステップとを含
んでいる。なお、読み取ったイメージデータの変換処理
は、レイアウトを回転させるような処理であり、この処
理については、後述する（ａ３）イメージデータの回転
補正処理の説明にて詳細に説明する。Also, this layout analysis processing step A
2 includes a step of extracting a ruled line item and item data of the layout and then extracting a logical origin of the layout, and a step of determining whether or not the layout of the read image is in a predetermined direction. And converting the read image data so that the layout is in a predetermined direction based on the determination result. The conversion process of the read image data is a process of rotating the layout, and this process will be described in detail in (a3) Description of image data rotation correction process described later.

【００８２】ここで、レイアウトが罫線により構成され
る表構造を有している場合には、レイアウト解析処理ス
テップＡ２は、イメージデータから罫線項目を抽出する
ステップと、このステップで抽出された罫線項目に基づ
いて罫線により構成される表構造を解析するステップと
を含んでいる。また、レイアウトが罫線を持たない無罫
線表構造を有している場合には、レイアウト解析処理ス
テップＡ２が、イメージデータから項目データを抽出す
るステップと、このステップで抽出された項目データに
基づいて無罫線表構造を解析するステップとを含んでい
る。If the layout has a table structure composed of ruled lines, the layout analysis processing step A2 includes a step of extracting ruled line items from the image data and a ruled line item extracted in this step. And analyzing the table structure composed of ruled lines based on the above. If the layout has a ruled line table structure without ruled lines, the layout analysis processing step A2 extracts the item data from the image data, and based on the item data extracted in this step. Analyzing the ruled line table structure.

【００８３】さらに、このレイアウト解析処理ステップ
Ａ２は、イメージ中の見出し領域を決定しこの見出し領
域中の見出し項目情報を認識して対応する項目データを
決定するステップを含んでいる。続いて、レイアウト照
合処理部３では、抽出されたレイアウト構成要素（罫線
項目や項目データ）を検索条件としてレイアウトＤＢ１
４を検索するが、処理対象の帳票が新規のものであるた
め、該当するレイアウトはレイアウトＤＢ１４に存在せ
ず、候補レイアウト情報及びレイアウトの補正情報は取
得されない（ステップＡ３）。Further, the layout analysis processing step A2 includes a step of determining a heading area in the image, recognizing heading item information in the heading area, and determining corresponding item data. Subsequently, in the layout collation processing unit 3, the layout DB 1 is set with the extracted layout constituent elements (ruled line items and item data) as search conditions.
4 is searched, but since the form to be processed is new, the corresponding layout does not exist in the layout DB 14, and the candidate layout information and the layout correction information are not acquired (step A3).

【００８４】ここで、ステップＡ３のレイアウト照合処
理ステップは、ステップＡ２で特定された位置でのイメ
ージデータを認識して、特定された位置における情報を
判別するイメージ認識ステップであり、ステップＡ２で
抽出されたレイアウトの特徴を制約検索条件として、レ
イアウトＤＢ１４に記憶されている候補レイアウトを検
索することにより、一致している候補レイアウトがある
かどうかを照合するものである。The layout collation processing step of step A3 is an image recognition step of recognizing the image data at the position specified in step A2 and discriminating the information at the specified position, which is extracted in step A2. By searching the candidate layouts stored in the layout DB 14 using the characteristics of the layout thus obtained as a constraint search condition, it is checked whether there is a matching candidate layout.

【００８５】また、このレイアウト照合処理ステップＡ
３は、ステップＡ２で抽出された論理的な原点を基準に
して、情報を判別するステップを含むとともに、ステッ
プＡ２で抽出されたレイアウトの特徴を圧縮処理する圧
縮処理ステップと、このステップで圧縮したレイアウト
の特徴を制約検索条件としてレイアウトＤＢ１４から圧
縮した候補レイアウトを検索するステップと、このステ
ップでの検索結果に基づいて一致している候補レイアウ
トがあるかどうかを照合するステップとを含んでいる。Further, this layout collation processing step A
3 includes a step of discriminating information on the basis of the logical origin extracted in step A2, a compression processing step of compressing the layout feature extracted in step A2, and the compression processing step. It includes a step of searching for a compressed candidate layout from the layout DB 14 using layout characteristics as a constraint search condition, and a step of checking whether there is a matching candidate layout based on the search result in this step.

【００８６】さらに、レイアウト編集処理部４では、レ
イアウト照合の結果、ステップＡ３において候補レイア
ウト情報及びレイアウトの補正情報が取得されないこと
から、レイアウト認識結果２０が補正情報なしの状態で
作成される（ステップＡ４）。文字認識処理ブロック１
７の文字認識用定義体作成部５では、ステップＡ４にお
いて作成されたレイアウト認識結果２０のレイアウト情
報をもとに、一時定義体２１が作成される（図４のステ
ップＡ１４）。Further, in the layout editing processing unit 4, since the candidate layout information and the layout correction information are not acquired in step A3 as a result of the layout collation, the layout recognition result 20 is created without correction information (step S3). A4). Character recognition processing block 1
In the character recognition definition creating unit 5 of 7, a temporary definition 21 is created based on the layout information of the layout recognition result 20 created in step A4 (step A14 in FIG. 4).

【００８７】続いて、文字認識処理部６では、ステップ
Ａ１４において作成された一時定義体２１を使用して、
文字認識対象の項目データについて文字認識処理が行わ
れ、認識結果のコードデータが取得される（図４のステ
ップＡ１５）。さらに、知識処理部７では、ステップＡ
１５において取得された認識結果コードデータが、認識
結果の補正情報が記録された知識ＤＢ１５を参照して補
正され、文字認識結果２２が作成される（図４のステッ
プＡ１６）。Subsequently, the character recognition processing section 6 uses the temporary definition body 21 created in step A14,
Character recognition processing is performed on the character recognition target item data, and the code data of the recognition result is acquired (step A15 in FIG. 4). Further, in the knowledge processing unit 7, step A
The recognition result code data acquired in 15 is corrected by referring to the knowledge DB 15 in which the correction information of the recognition result is recorded, and the character recognition result 22 is created (step A16 in FIG. 4).

【００８８】ここで、オペレータ確認／修正処理ブロッ
ク１８のレイアウト画面表示処理部８では、ステップＡ
４において作成されたレイアウト認識結果２０を参照し
て、見出し項目内容及びその位置と対応する項目データ
位置（図４に示すレイアウト解析情報２６）がクライア
ント１０のディスプレイに出力されるとともに、読み取
られたイメージデータ（図４に示す画面表示イメージ２
７）がクライアント１０のディスプレイに出力される
（ステップＡ５）。Here, in the layout screen display processing section 8 of the operator confirmation / correction processing block 18, step A
4, the headline item contents and the item data position (layout analysis information 26 shown in FIG. 4) corresponding to the headline item content are output to the display of the client 10 and read. Image data (screen display image 2 shown in FIG. 4
7) is output to the display of the client 10 (step A5).

【００８９】また、文字認識結果画面表示処理部９で
は、レイアウト画面表示処理部８による表示に合わせ
て、文字認識対象イメージの認識項目に対応する文字認
識結果２２（この文字認識結果２２はステップＡ１６に
おいて作成される）のコードデータがクライアント１０
のディスプレイに出力される。ここで、クライアント１
０のディスプレイに表示されたレイアウト認識結果２０
や文字認識結果２２の確認及び修正操作がオペレータに
より行なわれる（ステップＡ６）。Further, in the character recognition result screen display processing unit 9, in accordance with the display by the layout screen display processing unit 8, the character recognition result 22 corresponding to the recognition item of the character recognition target image (this character recognition result 22 is step A16). (Created in) is the client 10
Output to the display. Where client 1
Layout recognition result displayed on display 0
The operator confirms and corrects the character recognition result 22 and the character recognition result 22 (step A6).

【００９０】また、レイアウトログ情報作成処理部１１
では、オペレータによるレイアウトの確認及び修正操作
の結果からレイアウトの補正情報（レイアウトログ情
報）が作成される（ステップＡ７）。なお、ステップＡ
７において作成されたレイアウトログ情報は、レイアウ
トの補正情報〔レイアウトＤＢ学習情報２５（学習用レ
イアウト情報２８）及び解析辞書学習情報２４（登録用
レイアウト情報２９）〕としてレイアウトＤＢ１４及び
解析辞書１３に反映され、レイアウト学習処理が行なわ
れる（ステップＡ８）。Also, the layout log information creation processing unit 11
Then, layout correction information (layout log information) is created from the result of the layout confirmation and correction operation by the operator (step A7). In addition, step A
The layout log information created in 7 is reflected in the layout DB 14 and the analysis dictionary 13 as layout correction information [layout DB learning information 25 (learning layout information 28) and analysis dictionary learning information 24 (registration layout information 29)]. Then, the layout learning process is performed (step A8).

【００９１】即ち、ステップＡ８においては、候補レイ
アウト情報をレイアウトＤＢ１４に学習により更新して
いくように構成されているのである。続いて、処理対象
の帳票のレイアウトが、再出現したレイアウトである場
合の処理について図２に基づいて説明する。はじめに、
上述したようにレイアウト認識処理ブロック１６の解析
前処理部１では、処理対象の帳票のイメージデータ１９
の解析前処理が施される（ステップＡ１）。That is, in step A8, the candidate layout information is configured to be updated in the layout DB 14 by learning. Next, processing in the case where the layout of the form to be processed is the layout that has reappeared will be described with reference to FIG. First,
As described above, in the pre-analysis processing unit 1 of the layout recognition processing block 16, the image data 19 of the form to be processed is processed.
The analysis pre-processing is performed (step A1).

【００９２】続いて、レイアウト解析処理部２では、前
述したステップＡ２と同様にレイアウトが解析され、レ
イアウトの解析結果が出力される（ステップＡ９）。さ
らに、レイアウト照合処理部３では、抽出されたレイア
ウト構成要素（罫線項目や項目データ）を検索条件とし
てレイアウトＤＢ１４を検索することにより、一致する
レイアウトの詳細情報及びレイアウト補正情報が取得さ
れる（ステップＡ１０）。Subsequently, the layout analysis processing section 2 analyzes the layout in the same manner as in step A2 described above, and outputs the layout analysis result (step A9). Further, the layout collation processing unit 3 searches the layout DB 14 by using the extracted layout constituent elements (ruled line items and item data) as search conditions, thereby obtaining detailed information and layout correction information of the matching layout (steps). A10).

【００９３】このとき、処理対象の帳票が再出現したも
のであるため、レイアウトＤＢ１４検索の結果、該当す
る候補レイアウト情報が通知され、通知された候補レイ
アウトに対してレイアウトの詳細情報を照合してレイア
ウトの一致性が判定される。なお、レイアウトが一致す
ると判定された場合には、レイアウト編集処理部４では
既存レイアウトとしてステップＡ１１〜ステップＡ１３
までの処理が行われる。また、照合の結果で不一致と判
定された場合には、レイアウト編集処理部４では新規レ
イアウトとしてステップＡ４〜ステップＡ８までの処理
が行われる。At this time, since the form to be processed has reappeared, as a result of the layout DB 14 search, the corresponding candidate layout information is notified, and the detailed layout information is collated with the notified candidate layout. Layout consistency is determined. If it is determined that the layouts match each other, the layout editing processing unit 4 determines that the existing layouts are the same as those in steps A11 to A13.
The processing up to is performed. If the result of the collation indicates that they do not match, the layout editing processing unit 4 performs the processing from step A4 to step A8 as a new layout.

【００９４】ここで、レイアウト編集処理部４では、レ
イアウトＤＢ１４の検索の結果、取得されたレイアウト
補正情報をもとに、レイアウト解析結果の見出し項目内
容及びその位置と対応するデータ位置が補正され、レイ
アウト認識結果２０が作成される（ステップＡ１１）。
また、文字認識処理ブロック１７における処理は、図４
のステップＡ１４〜ステップＡ１５により説明したもの
と同様である。Here, the layout editing processing unit 4 corrects the heading item contents of the layout analysis result and the data position corresponding to the position based on the layout correction information acquired as a result of the search of the layout DB 14, The layout recognition result 20 is created (step A11).
Further, the processing in the character recognition processing block 17 is as shown in FIG.
This is the same as that described in steps A14 to A15.

【００９５】ここで、オペレータ確認／修正処理ブロッ
ク１８のレイアウト画面表示処理部８では、ステップＡ
１１において作成されたレイアウト認識結果２０を参照
して、見出し項目内容及びその位置と対応する項目デー
タ位置（図４に示すレイアウト解析情報２６）がクライ
アント１０のディスプレイに出力されるとともに、読み
取られたイメージデータ（図４に示す画面表示イメージ
２７）がクライアント１０のディスプレイに出力される
（ステップＡ１２）。Here, in the layout screen display processing unit 8 of the operator confirmation / correction processing block 18, step A
With reference to the layout recognition result 20 created in 11, the headline item contents and the item data position (layout analysis information 26 shown in FIG. 4) corresponding to the position are output to the display of the client 10 and read. The image data (screen display image 27 shown in FIG. 4) is output to the display of the client 10 (step A12).

【００９６】また、文字認識結果画面表示処理部９で
は、レイアウト画面表示処理部８による表示に合わせ
て、文字認識対象イメージの認識項目に対応する文字認
識結果２２（この文字認識結果２２はステップＡ１６に
おいて作成される）のコードデータがクライアント１０
のディスプレイに出力される。ここで、クライアント１
０のディスプレイ表示されたレイアウト認識結果２０の
確認操作や文字認識結果２２の確認及び修正操作がオペ
レータにより行なわれる（ステップＡ１３）。Further, in the character recognition result screen display processing unit 9, in accordance with the display by the layout screen display processing unit 8, the character recognition result 22 corresponding to the recognition item of the character recognition target image (this character recognition result 22 is step A16). (Created in) is the client 10
Output to the display. Where client 1
The operator confirms the layout recognition result 20 displayed on the display 0 and confirms and corrects the character recognition result 22 (step A13).

【００９７】なお、処理対象の帳票のレイアウトが既存
レイアウトである場合には、ステップＡ１３のレイアウ
トの確認操作が終了した時点で、解析対象イメージに対
する処理は完了するため、レイアウトログ情報作成処理
部１１でのレイアウトログ情報の作成は行なわれない。
最後に、図６に示す媒体処理装置３０における帳票処理
について説明する。If the layout of the form to be processed is an existing layout, the process for the analysis target image is completed when the layout confirmation operation in step A13 is completed, so the layout log information creation processing unit 11 Layout log information is not created in.
Finally, the form process in the medium processing device 30 shown in FIG. 6 will be described.

【００９８】ここで、各営業店においては、まず、イメ
ージデータ読取装置（例えば図６に示すＦＡＸ３１，イ
メージスキャナ３２，ＤＡＴＡ−ＥＹＥ３３及び図６，
図７に示すイメージリーダ３４）により帳票のイメージ
データが読み取られる。ここで、イメージスキャナ３
２，ＤＡＴＡ−ＥＹＥ３３及びイメージリーダ３４によ
り読み取られたイメージデータは、クライアント３５に
送信される。Here, in each sales office, first, an image data reading device (for example, FAX 31, image scanner 32, DATA-EYE 33 shown in FIG. 6 and FIGS.
The image data of the form is read by the image reader 34) shown in FIG. Here, the image scanner 3
2, the image data read by the DATA-EYE 33 and the image reader 34 is transmitted to the client 35.

【００９９】次いで、ＦＡＸ３１からのイメージデータ
は、交換回線（ＩＳＤＮ／公衆網）３６及びＦＡＸアダ
プタ３７を介して、また、クライアント３５からのイメ
ージデータは、交換回線（ＩＳＤＮ／公衆網）３６及び
通信アダプタ３８を介して、それぞれ地区センタのサー
バ３９へ送信される。ここで、サーバ３９は、各営業店
から送信された帳票のイメージデータの解析処理を自動
的に一括して行なうものであり、私製伝票認識ソフトコ
ンポーネント４０を格納するとともに、知識データベー
ス（知識ＤＢ）１５，レイアウトデータベース（レイア
ウトＤＢ）１４及び集中文字認識装置６をそなえてい
る。Next, the image data from the FAX 31 is transmitted via the exchange line (ISDN / public network) 36 and the FAX adapter 37, and the image data from the client 35 is transmitted via the exchange line (ISDN / public network) 36 and communication. It is transmitted to the server 39 of each district center via the adapter 38. Here, the server 39 automatically and collectively analyzes the image data of the form transmitted from each sales office, stores the private slip recognition software component 40, and stores the knowledge database (knowledge DB). 15, a layout database (layout DB) 14 and a centralized character recognition device 6 are provided.

【０１００】即ち、サーバ３９は、上述した図１に示す
レイアウト認識処理ブロック１６及び文字認識処理ブロ
ック１７に相当する機能を有するものであり、これらの
機能を与えるようなソフトウェアである私製伝票認識ソ
フトコンポーネント４０が、図示しないハードディスク
又はその他のメモリにインストールされることにより、
相当する処理が行なわれている。That is, the server 39 has functions corresponding to the layout recognition processing block 16 and the character recognition processing block 17 shown in FIG. 1 described above, and is a private slip recognition software that is software that gives these functions. By installing the component 40 on a hard disk (not shown) or other memory,
Corresponding processing is being performed.

【０１０１】また、地区センタにおいては、サーバ３９
によるイメージデータの解析処理結果の確認及び修正を
するために、クライアント（ＣＬ）１０も設置されてい
る。即ち、クライアント１０は、上述した図１に示すオ
ペレータ確認／修正処理ブロック１８に相当する機能を
有するものであり、クライアント１０においては、この
ような機能を与えるような適宜のソフトウェアが、図示
しないハードディスク又はその他のメモリにインストー
ルされることにより、相当する処理が行なわれている。In the district center, the server 39
A client (CL) 10 is also installed in order to confirm and correct the analysis result of the image data by. That is, the client 10 has a function corresponding to the operator confirmation / correction processing block 18 shown in FIG. 1 described above, and in the client 10, appropriate software that gives such a function is stored in a hard disk (not shown). Alternatively, the corresponding process is performed by being installed in another memory.

【０１０２】そして、このクライアント１０のディスプ
レイには、イメージデータのレイアウトや文字認識結果
が表示され、オペレータはこのディスプレイを参照する
ことにより、イメージデータの解析処理結果の確認及び
修正を行なうことができる。なお、このクライアント１
０には、地区センタへの持ち込み伝票等の帳票の処理を
行なうために、イメージデータ読取装置としてのイメー
ジリーダ３４及びＤＡＴＡ−ＥＹＥ３３が接続されてお
り、これらのイメージデータ読取装置により読み取られ
た帳票のイメージデータを、サーバ３９へ送信するよう
になっている。The layout of the image data and the character recognition result are displayed on the display of the client 10, and the operator can confirm and correct the analysis result of the image data by referring to the display. . In addition, this client 1
To 0, an image reader 34 and DATA-EYE 33 as image data reading devices are connected in order to process forms such as slips brought in to the district center, and forms read by these image data reading devices are connected. The image data of is transmitted to the server 39.

【０１０３】また、サーバ３９により解析された帳票の
解析結果は、ブランチサーバ（ＢＳ）４１を介して上位
装置であるホスト（図示せず）へ送信される。このよう
に、本発明の一実施形態にかかる媒体処理装置３０によ
れば、日常発生する様々な帳票や帳票イメージを電子的
に自動解析することにより、従来のエントリシステム
（ＯＣＲエントリシステムやデータエントリシステム
等）を利用したエントリ業務を飛躍的に効率化すること
ができる。The analysis result of the form analyzed by the server 39 is transmitted to a host (not shown) which is a higher-level device via the branch server (BS) 41. As described above, according to the medium processing device 30 according to the embodiment of the present invention, by automatically electronically analyzing various forms and form images that occur every day, the conventional entry system (OCR entry system or data entry system) can be used. It is possible to dramatically improve the efficiency of entry work using a system or the like).

【０１０４】即ち、本実施形態にかかる媒体処理装置３
０によれば、従来のエントリシステムの専用帳票だけで
なく、現存する各種任意の帳票をそのまま対象としたエ
ントリシステムを構築することが可能となるのである。
具体的には、金融機関等のエントリ業務で対象とする私
製総合振込（エンドユーザ作成の総合振込帳票）を自動
的にレイアウト解析することにより、そのまま文字認識
処理及びエントリ処理が可能となり、私製総合振込帳票
の完全な自動認識処理を行なうことができる。That is, the medium processing device 3 according to the present embodiment.
According to 0, it is possible to construct not only the dedicated form of the conventional entry system but also the entry system that directly targets various existing forms.
Specifically, by automatically analyzing the layout of a private transfer made by a financial institution (entry user-made comprehensive transfer form), character recognition processing and entry processing can be performed as it is. It is possible to perform a completely automatic recognition process of the transfer form.

【０１０５】また、各種任意帳票のレイアウト認識結果
２０に基づいて、レイアウトログ情報を作成してレイア
ウトＤＢ１４に学習登録することにより、以降は自動的
に同一レイアウトを有する帳票の判別が可能となるた
め、専用帳票作成にかかる労力やコストを削減するとと
もに、学習後はすぐにエントリが可能となるため、本装
置３０によるシステムの導入期間の短縮を図ることがで
きる。Further, since the layout log information is created based on the layout recognition result 20 of various arbitrary forms and the learning log is registered in the layout DB 14, it is possible to automatically determine the forms having the same layout thereafter. The labor and cost for creating the dedicated form can be reduced, and the entry can be made immediately after learning, so that the introduction period of the system by the device 30 can be shortened.

【０１０６】さらに、帳票のイメージデータを常に解析
処理しているため、裁断誤差や印刷誤差の少ない高価な
専用ＯＣＲ帳票以外の帳票の自動認識処理を行なうこと
ができる。 （ａ２）原点抽出照合処理の説明 図１４は、本発明の一実施形態にかかる媒体処理装置に
おける原点抽出照合処理の適用を示す処理説明図であ
る。Furthermore, since the image data of the form is always analyzed, it is possible to perform automatic recognition processing of forms other than expensive dedicated OCR forms with less cutting error and printing error. (A2) Description of Origin Extraction Collation Process FIG. 14 is a process explanatory diagram showing application of the origin extraction collation process in the medium processing device according to the embodiment of the present invention.

【０１０７】一般的に、光学的読取装置（スキャナ，Ｆ
ＡＸ等）を使用して読み取ったイメージは、読み取り時
の位置ズレにより、同一レイアウトの場合でも、個々の
レイアウトの構成要素（罫線項目や項目データ）のイメ
ージの物理原点からの座標は同一にならない。従って、
レイアウトの構成要素を比較してレイアウトの一致を判
定する場合、それぞれのレイアウトから抽出した論理原
点位置を突き合わせ、レイアウト構成要素について論理
原点からの相対座標を求め、その相対座標を使用して照
合する必要がある。Generally, an optical reader (scanner, F
The image read using AX etc. does not have the same coordinates from the physical origin of the image of the constituent elements (ruled line items and item data) of each layout due to the positional shift at the time of reading, even in the case of the same layout. . Therefore,
When comparing the layout components to determine whether the layouts match, the logical origin positions extracted from the respective layouts are matched, relative coordinates from the logical origin are calculated for the layout components, and matching is performed using the relative coordinates. There is a need.

【０１０８】この論理原点は、イメージ読み取り時のゴ
ミや掠れ等のイメージの変動に対しても、安定して抽出
される必要があるため、十分な精度を持ち安定して抽出
可能な座標位置を論理原点として選定する必要がある。
このため、本実施形態においては、複数の抽出方法を併
用して論理原点を抽出することにより、任意のレイアウ
トを有する帳票を処理する際にも、常に安定した論理原
点を抽出しているのである。Since this logical origin needs to be stably extracted even with respect to image fluctuations such as dust and blurring at the time of image reading, a coordinate position with sufficient accuracy and stable extraction is possible. It is necessary to select it as the logical origin.
Therefore, in the present embodiment, a plurality of extraction methods are used together to extract the logical origin, so that a stable logical origin is always extracted even when processing a form having an arbitrary layout. .

【０１０９】ここで、本発明の一実施形態にかかる媒体
処理装置３０は、図１４に示すように、レイアウト解析
処理部２におけるレイアウト解析処理ステップＡ２（及
びＡ９）は、フォーマットの論理的な原点を抽出する論
理原点抽出ステップＭ１と、このステップＭ１で抽出さ
れた論理的な原点を基準にしてフォーマットを含む媒体
固有の特徴を抽出し抽出された特徴から認識すべき情報
の存在する位置を特定する情報存在位置特定ステップと
をそなえている。Here, in the medium processing device 30 according to one embodiment of the present invention, as shown in FIG. 14, the layout analysis processing step A2 (and A9) in the layout analysis processing unit 2 is performed by the logical origin of the format. And a logical origin extraction step M1 for extracting a characteristic origin of the medium including the format based on the logical origin extracted in the step M1 and specifying the position where the information to be recognized exists from the extracted characteristic. And an information existing position specifying step.

【０１１０】また、レイアウト照合処理部３におけるレ
イアウト照合処理ステップＡ３（及びＡ１０）は、この
情報存在位置特定ステップで特定された位置でのイメー
ジを認識する際に、論理原点抽出ステップＭ１で抽出さ
れた論理的な原点を基準にしてレイアウト照合処理を行
なうことにより（ステップＭ２）、抽出された特徴にお
ける情報を判別するイメージ認識ステップをそなえてい
る。The layout collation processing step A3 (and A10) in the layout collation processing unit 3 is extracted in the logical origin extraction step M1 when recognizing the image at the position specified in the information existing position specifying step. By performing layout collation processing with the logical origin as a reference (step M2), an image recognition step for discriminating information in the extracted features is provided.

【０１１１】また、レイアウト解析処理部２の論理原点
抽出ステップＭ１では、フォーマットの論理的な原点を
抽出するほかに、論理的な原点に対して補助的な情報を
付与する論理原点補助座標情報を抽出するようになって
おり、レイアウト照合処理部３のイメージ認識ステップ
では、論理的な原点及び論理原点補助座標情報を基準に
してレイアウト照合処理を行なうことにより（ステップ
Ｍ２）、抽出された特徴における情報を判別するように
なっている。Further, in the logical origin extraction step M1 of the layout analysis processing section 2, in addition to extracting the logical origin of the format, the logical origin auxiliary coordinate information for giving auxiliary information to the logical origin is obtained. In the image recognition step of the layout matching processing unit 3, the layout matching processing is performed based on the logical origin and the logical origin auxiliary coordinate information (step M2). It is designed to discriminate information.

【０１１２】ここで、本実施形態においては、レイアウ
トが罫線により構成される表構造を有している場合に
は、図１５（ａ）に示すように、フォーマットの論理原
点として、表構造を構成する角部のうち最小Ｘ座標，最
小Ｙ座標を有する角部の座標情報〔図１５（ａ）に示す
座標Ａ〕が抽出されるとともに、論理原点補助座標情報
として、それぞれ最大Ｘ座標，最小Ｙ座標を有する角
部、最小Ｘ座標，最大Ｙ座標を有する角部、最大Ｘ座
標，最大Ｙ座標を有する角部の座標情報〔それぞれ図１
５（ａ）に示す座標Ａａ，Ａｂ，Ａｃ〕が抽出される。Here, in the present embodiment, when the layout has a table structure composed of ruled lines, the table structure is configured as the logical origin of the format as shown in FIG. The coordinate information [coordinate A shown in FIG. 15A] of the corner having the minimum X coordinate and the minimum Y coordinate is extracted, and the maximum X coordinate and the minimum Y are respectively set as the logical origin auxiliary coordinate information. Coordinate information of a corner having coordinates, a corner having a minimum X coordinate, a maximum Y coordinate, a corner having a maximum X coordinate, and a maximum Y coordinate [see FIG. 1 respectively.
Coordinates Aa, Ab, Ac] shown in 5 (a) are extracted.

【０１１３】また、レイアウトが罫線を持たない無罫線
表構造を有している場合には、例えば図１７に示すよう
に、フォーマットの論理的原点として、外接矩形の角部
のうち最小Ｘ座標，最小Ｙ座標を有する角部の座標情報
（図１７に示す座標Ｄ）が抽出されるとともに、論理原
点補助座標情報として、外接矩形における最大Ｘ座標，
最小Ｙ座標を有する角部、最小Ｘ座標，最大Ｙ座標を有
する角部、最大Ｘ座標，最大Ｙ座標を有する角部の座標
情報（それぞれ図１７に示す座標Ｄａ，Ｄｂ，Ｄｃ）が
抽出される。When the layout has a ruled line table structure having no ruled lines, the minimum X coordinate of the corners of the circumscribed rectangle is set as the logical origin of the format, as shown in FIG. The coordinate information of the corner portion having the minimum Y coordinate (coordinate D shown in FIG. 17) is extracted, and the maximum X coordinate of the circumscribed rectangle is extracted as the logical origin auxiliary coordinate information.
The coordinate information of the corner having the minimum Y coordinate, the minimum X coordinate, the corner having the maximum Y coordinate, the maximum X coordinate, and the corner having the maximum Y coordinate (coordinates Da, Db, and Dc shown in FIG. 17, respectively) is extracted. It

【０１１４】ここで、まず、論理原点抽出処理について
説明する。この論理原点抽出処理は、具体的には、図５
に示すレイアウト解析部２Ｂの表構造解析部２Ｅにおい
て行なわれる。この表構造解析部２Ｅは、詳細には、レ
イアウト特徴抽出部２Ａの罫線抽出部２Ｃで抽出された
罫線項目及びレイアウト特徴抽出部２Ａの項目データ抽
出部２Ｄで抽出された項目データに基づいて、罫線項目
の外接矩形，罫線項目から形成される表構造の最大外接
矩形及び項目データの外接矩形を解析し、これらの矩形
から角部の座標を抽出して所定の座標を論理原点座標及
び補正座標として設定するものである。First, the logical origin extraction processing will be described. This logical origin extraction processing is specifically shown in FIG.
The table structure analysis unit 2E of the layout analysis unit 2B shown in FIG. The table structure analysis unit 2E, in detail, based on the ruled line items extracted by the ruled line extraction unit 2C of the layout feature extraction unit 2A and the item data extracted by the item data extraction unit 2D of the layout feature extraction unit 2A, The circumscribed rectangle of the ruled line item, the maximum circumscribed rectangle of the table structure formed from the ruled line item, and the circumscribed rectangle of the item data are analyzed, the corner coordinates are extracted from these rectangles, and the predetermined coordinates are set to the logical origin coordinates and the corrected coordinates. Is set as.

【０１１５】このときのレイアウト解析処理部２におけ
る動作を、図１８に示すフローチャートにより説明す
る。まず、処理対象レイアウトが罫線を有する場合は、
論理原点抽出処理の前処理として、レイアウト特徴抽出
部２Ａの罫線抽出部２Ｃでは、抽出対象であるイメージ
データから罫線が抽出され（ステップＢ１）、続いて、
抽出された罫線により構成される最小矩形が罫線項目と
して抽出される（ステップＢ２）。The operation of the layout analysis processing section 2 at this time will be described with reference to the flowchart shown in FIG. First, if the layout to be processed has ruled lines,
As a pre-process of the logical origin extraction process, the ruled line extraction unit 2C of the layout feature extraction unit 2A extracts a ruled line from the image data to be extracted (step B1).
The smallest rectangle formed by the extracted ruled lines is extracted as a ruled line item (step B2).

【０１１６】そして、レイアウト解析部２Ｂの表構造解
析部２Ｅでは、罫線項目が抽出されたか否かが判断され
（ステップＢ３）、罫線項目が抽出された場合であっ
て、抽出された罫線項目同士が隣接または近傍に同じ幅
または高さで位置する場合には、これらの罫線項目が論
理的な関係を持つ罫線項目群とみなされてグループ化さ
れる（ステップＢ４）。Then, the table structure analysis unit 2E of the layout analysis unit 2B determines whether or not the ruled line item is extracted (step B3). When the ruled line item is extracted, the extracted ruled line items are Are located adjacently or in the vicinity with the same width or height, these ruled line items are regarded as a ruled line item group having a logical relationship and are grouped (step B4).

【０１１７】さらに、表構造解析部２Ｅでは、このグル
ープ中に表構造（ここで表構造とは２行×２列以上の罫
線項目群により構成される領域を指す）が存在するか否
かが判定される（ステップＢ５）。ここで、表構造が存
在する場合には、表構造解析部２Ｅでは、図１５（ａ）
に斜線部Ｉとして示すような表構造内の最大矩形領域が
抽出され、矩形領域の４隅の座標が取得される（ステッ
プＢ６）。Further, the table structure analysis unit 2E determines whether or not there is a table structure (here, the table structure refers to an area formed by ruled line item groups of 2 rows × 2 columns) in this group. It is determined (step B5). Here, if the table structure exists, the table structure analysis unit 2E displays the table shown in FIG.
The maximum rectangular area in the table structure as shown by the shaded area I is extracted, and the coordinates of the four corners of the rectangular area are acquired (step B6).

【０１１８】そして、その矩形の左上座標Ａ（Ｘo ，Ｙ
o ）が論理原点として、残りの右上座標Ａａ，左下座標
Ａｂ，右下座標Ａｃの３箇所が論理原点の補正座標とし
て設定される（ステップＢ７，Ｂ８）。また、図１５
（ｂ）に示すように、レイアウト中に複数の表構造が存
在する場合には、表構造解析部２Ｅでは、個々の表構造
が抽出され（斜線部Ｉ参照）、各矩形領域の４隅の座標
が取得される（ステップＢ６）。Then, the upper left coordinate A (Xo, Y
o) is the logical origin, and the remaining upper right coordinates Aa, lower left coordinates Ab, and lower right coordinates Ac are set as the corrected coordinates of the logical origin (steps B7 and B8). In addition, FIG.
As shown in (b), when there are a plurality of table structures in the layout, the table structure analysis unit 2E extracts individual table structures (see the shaded area I), and the four corners of each rectangular area are extracted. The coordinates are acquired (step B6).

【０１１９】そして、各表構造の論理原点を水平方向及
び垂直方向に投影した際の座標Ｂ（最小Ｘ座標，最小Ｙ
座標）〔即ち（Ｘo ，Ｙo ）〕が論理原点として、座標
Ｂａ（最大Ｘ座標，最小Ｙ座標），座標Ｂｂ（最小Ｘ座
標，最大Ｙ座標），座標Ｂｃ（最大Ｘ座標，最大Ｙ座
標）の３箇所が論理原点の補正座標として設定される
（ステップＢ７，Ｂ８）。Coordinates B (minimum X coordinate, minimum Y coordinate) when the logical origin of each table structure is projected in the horizontal and vertical directions.
Coordinates [that is, (Xo, Yo)] are logical origins, coordinates Ba (maximum X coordinate, minimum Y coordinate), coordinates Bb (minimum X coordinate, maximum Y coordinate), coordinates Bc (maximum X coordinate, maximum Y coordinate). Are set as correction coordinates of the logical origin (steps B7 and B8).

【０１２０】さらに、罫線項目のグループ中に表構造が
存在しない場合には、表構造解析部２Ｅでは、図１６に
斜線部Ｉとして示すような最も外側に位置する罫線項目
の矩形領域が抽出され、各矩形領域の４隅の座標が取得
される（ステップＢ１２）。そして、各矩形の論理原点
を水平方向及び垂直方向に投影した際の座標Ｃ〔（最小
Ｘ座標，最小Ｙ座標），即ち（Ｘo ，Ｙo ）〕が論理原
点として、座標Ｃａ（最大Ｘ座標，最小Ｙ座標），座標
Ｃｂ（最小Ｘ座標，最大Ｙ座標），座標Ｃｃ（最大Ｘ座
標，最大Ｙ座標）の３箇所が論理原点の補正座標として
設定される（ステップＢ１３，Ｂ１４）。Further, when the table structure does not exist in the group of ruled line items, the table structure analysis unit 2E extracts the rectangular area of the ruled line item located at the outermost side as shown by the hatched portion I in FIG. , The coordinates of the four corners of each rectangular area are acquired (step B12). The coordinates C [(minimum X coordinate, minimum Y coordinate), that is, (Xo, Yo)] when the logical origin of each rectangle is projected in the horizontal and vertical directions are used as the logical origin, and the coordinates Ca (maximum X coordinate, The three coordinates of the minimum Y coordinate), the coordinate Cb (minimum X coordinate, maximum Y coordinate), and the coordinate Cc (maximum X coordinate, maximum Y coordinate) are set as the correction coordinates of the logical origin (steps B13 and B14).

【０１２１】ところで、また罫線項目が全く存在しない
レイアウトの場合には、レイアウト特徴抽出部２Ａの項
目データ抽出部２Ｄでは、レイアウト中の項目データが
抽出され、表構造解析部２Ｅでは、図１７に斜線部Ｉと
して示すような最も外側に位置する項目データの矩形領
域が抽出され、各矩形領域の４隅の座標が取得される
（ステップＢ９）。By the way, in the case of a layout in which there are no ruled line items, the item data extraction unit 2D of the layout feature extraction unit 2A extracts the item data in the layout, and the table structure analysis unit 2E displays it in FIG. The rectangular area of the item data located at the outermost position as shown by the shaded area I is extracted, and the coordinates of the four corners of each rectangular area are acquired (step B9).

【０１２２】そして、各矩形の論理原点を水平方向及び
垂直方向に投影した際の座標Ｄ〔（最小Ｘ座標，最小Ｙ
座標），即ち（Ｘo ，Ｙo ）〕が論理原点として、座標
Ｄａ（最大Ｘ座標，最小Ｙ座標），座標Ｄｂ（最小Ｘ座
標，最大Ｙ座標），座標Ｄｃ（最大Ｘ座標，最大Ｙ座
標）の３箇所が論理原点の補正座標として設定される
（ステップＢ１０，Ｂ１１）。Coordinates D [(minimum X coordinate, minimum Y coordinate when the logical origin of each rectangle is projected in the horizontal direction and the vertical direction).
Coordinate), that is, (Xo, Yo)] as a logical origin, coordinate Da (maximum X coordinate, minimum Y coordinate), coordinate Db (minimum X coordinate, maximum Y coordinate), coordinate Dc (maximum X coordinate, maximum Y coordinate). Are set as correction coordinates of the logical origin (steps B10 and B11).

【０１２３】さらに、表構造解析部２Ｅでは、上述のよ
うにして抽出された論理原点座標及び論理原点の補正座
標のほかに、論理原点の抽出の際に採用した方法につい
て記録した情報（即ち、論理原点が表構造，罫線項目及
び項目データのいずれから抽出されたかを示す情報）で
ある論理原点抽出方法も取得される。なお、以下では、
この論理原点抽出方法を示した各論理原点を表論理原
点，罫線項目論理原点及び項目データ論理原点と呼称す
る場合がある。 そして、レイアウト解析処理部２にお
いては、論理原点抽出方法，論理原点座標及び論理原点
補正座標が論理原点情報としてレイアウト照合処理部３
へ送出される。Further, in the table structure analysis unit 2E, in addition to the logical origin coordinates and the corrected coordinates of the logical origin extracted as described above, the information recorded about the method adopted at the time of extracting the logical origin (ie, A logical origin extraction method, which is information indicating whether the logical origin is extracted from the table structure, the ruled line item, or the item data) is also acquired. In the following,
Each logical origin showing this logical origin extraction method may be referred to as a table logical origin, a ruled line item logical origin, and an item data logical origin. In the layout analysis processing unit 2, the layout collation processing unit 3 uses the logical origin extraction method, the logical origin coordinates, and the logical origin correction coordinates as logical origin information.
Sent to.

【０１２４】続いて、論理原点照合処理について説明す
る。この論理原点照合処理は、前述のごとく、図１に示
すレイアウト照合処理部３において行なわれる。ここ
で、レイアウトの照合の際には、それぞれのレイアウト
におけるレイアウト構成要素の座標を論理原点からの相
対座標に変換して、これらの相対座標同士を突き合わせ
ることにより、それぞれのレイアウトから抽出された論
理原点同士の突き合わせが行なわれる。Next, the logical origin matching process will be described. This logical origin collation processing is performed in the layout collation processing unit 3 shown in FIG. 1 as described above. Here, at the time of collating layouts, the coordinates of the layout constituent elements in each layout are converted into relative coordinates from the logical origin, and the relative coordinates are abutted against each other to be extracted from each layout. The logical origins are matched.

【０１２５】しかし、実際にはイメージの掠れや汚れ等
の読み取り時の変動要因により、同一レイアウトの場合
でも論理原点の一致が取れない場合があり得る。この場
合には、一方の論理原点の情報をもとに他方の論理原点
を動的に再度抽出し、その上で論理原点の一致を判定す
る。このときのレイアウト照合処理部３における動作を
図２１に示すフローチャートにより説明する。However, in reality, there may be cases where the logical origins cannot be matched even in the case of the same layout due to fluctuation factors at the time of reading such as blurring of images and stains. In this case, the other logical origin is dynamically re-extracted based on the information of one logical origin, and the coincidence of the logical origins is determined based thereon. The operation of the layout collation processing unit 3 at this time will be described with reference to the flowchart shown in FIG.

【０１２６】まず、本実施形態においては、前述のごと
く、レイアウト解析処理部２での論理原点の抽出には複
数の方法があるため、論理原点の照合に先立って、論理
原点の抽出方法の一致の判定が行われる（ステップＣ
１，Ｃ２）。論理原点の抽出方法が一致した場合には、
図１９に示すように、レイアウトＬ１とレイアウトＬ２
のそれぞれの論理原点補正座標同士が比較されて、論理
原点補正座標の一致が判定される（ステップＣ３〜Ｃ
５）。First, in the present embodiment, as described above, since there are a plurality of methods for extracting the logical origin in the layout analysis processing unit 2, prior to the matching of the logical origin, the extraction method of the logical origin is matched. Is determined (step C
1, C2). If the extraction method of the logical origin matches,
As shown in FIG. 19, the layout L1 and the layout L2
The respective logical origin correction coordinates are compared to determine whether the logical origin correction coordinates match (steps C3 to C).
5).

【０１２７】ここで、補正座標の一致の判定の際には、
レイアウトＬ１の論理原点座標Ｅ（最小Ｘ座標，最小Ｙ
座標）及びレイアウトＬ２の論理原点座標Ｆ（最小Ｘ座
標，最小Ｙ座標）に基づいて、レイアウトＬ１の補正座
標Ｅａ〜Ｅｃ及びレイアウトＬ２の補正座標Ｆａ〜Ｆｃ
の相対座標（Ｅａ′〜Ｅｃ′及びＦａ′〜Ｆｃ′）がそ
れぞれ求められ、これらの相対座標の一致判定により補
正座標の一致判定が行なわれる。Here, when it is determined that the correction coordinates match,
Logical origin coordinate E of layout L1 (minimum X coordinate, minimum Y
Coordinates) and the logical origin coordinates F (minimum X coordinate, minimum Y coordinate) of the layout L2, and the corrected coordinates Ea to Ec of the layout L1 and the corrected coordinates Fa to Fc of the layout L2.
Relative coordinates (Ea 'to Ec' and Fa 'to Fc') are respectively obtained, and the coincidence determination of the corrected coordinates is performed by the coincidence determination of these relative coordinates.

【０１２８】即ち、論理原点座標情報が加味された補正
座標の一致判定を行なうことにより、論理原点の一致が
判定され、レイアウトの照合が行なわれるのである（ス
テップＣ６）。なお、相対座標の算出式を、以下に式
（１）〜式（６）として示す。 （相対座標Ｅａ′）＝（補正座標Ｅａ）−（論理原点座標Ｅ） ・・・（１） （相対座標Ｅｂ′）＝（補正座標Ｅｂ）−（論理原点座標Ｅ） ・・・（２） （相対座標Ｅｃ′）＝（補正座標Ｅｃ）−（論理原点座標Ｅ） ・・・（３） （相対座標Ｆａ′）＝（補正座標Ｆａ）−（論理原点座標Ｆ） ・・・（４） （相対座標Ｆｂ′）＝（補正座標Ｆｂ）−（論理原点座標Ｆ） ・・・（５） （相対座標Ｆｃ′）＝（補正座標Ｆｃ）−（論理原点座標Ｆ） ・・・（６） また、相対座標の一致条件を、以下に式（７）〜式
（９）として示す。That is, by determining whether the corrected coordinates match the logical origin coordinate information, it is determined whether the logical origins match and the layout is collated (step C6). The formulas for calculating the relative coordinates are shown below as formulas (1) to (6). (Relative coordinate Ea ') = (Corrected coordinate Ea)-(Logical origin coordinate E) ... (1) (Relative coordinate Eb') = (Corrected coordinate Eb)-(Logical origin coordinate E) ... (2) (Relative coordinate Ec ') = (corrected coordinate Ec)-(logical origin coordinate E) (3) (relative coordinate Fa') = (corrected coordinate Fa)-(logical origin coordinate F) (4) (Relative coordinates Fb ′) = (Corrected coordinates Fb) − (Logical origin coordinates F) (5) (Relative coordinates Fc ′) = (Corrected coordinates Fc) − (Logic origin coordinates F) (6) In addition, the matching condition of the relative coordinates is shown below as Expressions (7) to (9).

【０１２９】 ｜（相対座標Ｅａ′）−（相対座標Ｆａ′）｜ ≦ε （ε：一致範囲）・・・（７） ｜（相対座標Ｅｂ′）−（相対座標Ｆｂ′）｜≦ ε （ε：一致範囲）・・・（８） ｜（相対座標Ｅｃ′）−（相対座標Ｆｃ′）｜≦ ε （ε：一致範囲）・・・（９） ところで、論理原点の抽出方式が不一致である場合（ス
テップＣ２参照）や、補正座標が不一致である場合（ス
テップＣ４参照）には、一方のレイアウトの論理原点情
報をもとに、他方のレイアウトの論理原点の再抽出が行
なわれる。| (Relative coordinate Ea ′) − (relative coordinate Fa ′) | ≦ ε (ε: coincidence range) (7) | (relative coordinate Eb ′) − (relative coordinate Fb ′) | ≦ ε ( ε: Matching range) (8) | (Relative coordinate Ec ′) − (Relative coordinate Fc ′) | ≦ ε (ε: Matching range) (9) By the way, the extraction method of the logical origin does not match. In some cases (see step C2) or when the corrected coordinates do not match (see step C4), the logical origin of the other layout is re-extracted based on the logical origin information of one layout.

【０１３０】ここで、図２０（ａ）に示すように、レイ
アウトＬ１の一部分が罫線の掠れにより抽出できなかっ
た場合には、レイアウトＬ１の論理原点情報（論理原点
抽出方法，論理原点座標Ｇ，補正座標Ｇａ〜Ｇｃ）を使
用して、図２０（ｂ）に示すように、レイアウトＬ２に
おける新たな論理原点座標Ｈ′，補正座標Ｈ′ａ，Ｈ
ｂ，Ｈｃが抽出される（ステップＣ７，Ｃ８）。Here, as shown in FIG. 20A, when a part of the layout L1 cannot be extracted due to the blurring of the ruled lines, the logical origin information of the layout L1 (logical origin extraction method, logical origin coordinates G, 20 (b) by using the corrected coordinates Ga to Gc), a new logical origin coordinate H ', corrected coordinates H'a, H in the layout L2.
b and Hc are extracted (steps C7 and C8).

【０１３１】このときの論理原点情報の再抽出の際に
は、まず、レイアウトＬ１及びレイアウトＬ２の論理原
点座標及び補正座標から、図２０（ａ），（ｂ）におい
て図示すように、Ｘ座標間の差分Ｘａ，Ｘｂ，Ｘ′ａ，
Ｘ′ｂ及びＹ座標間の差分Ｙａ，Ｙｂ，Ｙ′ａ，Ｙ′ｂ
がそれぞれ算出される。なお、差分の算出式を、以下に
式（１０）〜式（１７）として示す。 （レイアウトＬ１） 差分Ｘａ＝ ｜（補正座標ＧａのＸ座標）−（論理原点座標ＧのＸ座標）｜ ・・・（１０） 差分Ｘｂ＝ ｜（補正座標ＧｃのＸ座標）−（補正座標ＧｂのＸ座標）｜ ・・・（１１） 差分Ｙａ＝ ｜（補正座標ＧｂのＹ座標）−（論理原点座標ＧのＹ座標）｜ ・・・（１２） 差分Ｙｂ＝ ｜（補正座標ＧｃのＹ座標）−（補正座標ＧａのＹ座標）｜ ・・・（１３） （レイアウトＬ２） 差分Ｘ′ａ＝ ｜（補正座標ＨａのＸ座標）−（論理原点座標ＨのＸ座標）｜ ・・・（１４） 差分Ｘ′ｂ＝ ｜（補正座標ＨｃのＸ座標）−（補正座標ＨｂのＸ座標）｜ ・・・（１５） 差分Ｙ′ａ＝ ｜（補正座標ＨｂのＹ座標）−（論理原点座標ＨのＹ座標）｜ ・・・（１６） 差分Ｙ′ｂ＝ ｜（補正座標ＨｃのＹ座標）−（補正座標ＨａのＹ座標）｜ ・・・（１７） 続いて、算出された差分が比較されて、一致しない差分
があるか否かが判定される。At the time of re-extracting the logical origin information at this time, first, from the logical origin coordinates and the corrected coordinates of the layout L1 and the layout L2, as shown in FIGS. Differences between Xa, Xb, X'a,
Differences between X'b and Y coordinates Ya, Yb, Y'a, Y'b
Are calculated respectively. The formulas for calculating the difference are shown below as formulas (10) to (17). (Layout L1) Difference Xa = | (X coordinate of corrected coordinate Ga) − (X coordinate of logical origin coordinate G) | (10) Difference Xb = | (X coordinate of corrected coordinate Gc) − (corrected coordinate Gb X coordinate) | ... (11) Difference Ya = | (Y coordinate of corrected coordinate Gb)-(Y coordinate of logical origin coordinate G) | ... (12) Difference Yb = | (Y of corrected coordinate Gc) (Coordinate)-(Y coordinate of corrected coordinate Ga) | ... (13) (Layout L2) Difference X'a = | (X coordinate of corrected coordinate Ha)-(X coordinate of logical origin coordinate H) | (14) Difference X′b = | (X coordinate of corrected coordinate Hc) − (X coordinate of corrected coordinate Hb) | (15) Difference Y′a = | (Y coordinate of corrected coordinate Hb) − (logical (Y coordinate of origin coordinate H) | ... (16) Difference Y'b = | (Y coordinate of corrected coordinate Hc)-(corrected coordinate Ha Y-coordinate) | ··· (17) Subsequently, the comparison is the calculated difference, whether there does not match the difference is determined.

【０１３２】ここで、レイアウトＬ１及びレイアウトＬ
２においては、差分Ｙａと差分Ｙ′ａとが一致しないと
ともに、差分Ｙｂと差分Ｙ′ｂとが一致しないため、レ
イアウトＬ１の差分Ｙａ，Ｙｂと一致する差分をレイア
ウトＬ２の各座標から探索する。換言すれば、レイアウ
トＬ１の論理原点抽出方法に従って、レイアウトＬ２か
ら論理原点及び補正座標が探索されるのである（ステッ
プＣ７，Ｃ８参照）。Here, the layout L1 and the layout L
In No. 2, since the difference Ya and the difference Y′a do not match and the difference Yb and the difference Y′b do not match, a difference matching the differences Ya and Yb of the layout L1 is searched from each coordinate of the layout L2. . In other words, the logical origin and the corrected coordinates are searched from the layout L2 according to the logical origin extraction method of the layout L1 (see steps C7 and C8).

【０１３３】探索の結果、一致する座標が検出できた場
合には、図２０（ｂ）に示すように、その座標を論理原
点Ｈ′及び補正座標Ｈ′ａとしてとして使用する。ま
た、探索の結果、一致する座標が検出できない場合に
は、レイアウトＬ２の論理原点抽出方法に従って、レイ
アウトＬ１から論理原点及び補正座標が上述の場合と同
様に探索される（ステップＣ９，Ｃ１０）。As a result of the search, when a coincident coordinate can be detected, the coordinate is used as the logical origin H'and the corrected coordinate H'a as shown in FIG. 20 (b). Further, as a result of the search, when the coincident coordinates cannot be detected, the logical origin and the corrected coordinates are searched from the layout L1 in the same manner as in the above case according to the logical origin extraction method of the layout L2 (steps C9 and C10).

【０１３４】なお、このようにしても一致する座標が検
出できない場合は、レイアウトの照合は行なわれない
（ステップＣ１１）。このように、本発明の一実施形態
にかかる媒体処理装置における原点抽出照合処理によれ
ば、イメージデータから抽出された罫線項目や項目デー
タに基づいて処理対象の帳票のレイアウト解析を行な
い、レイアウト解析により得られた領域の角部の座標の
うちの所定の座標を論理原点座標及び補正座標とするこ
とにより、基準マーク等が印字された専用帳票以外の一
般帳票のイメージデータからでも論理原点座標及び補正
座標を抽出することができる。If the coincident coordinates cannot be detected even in this way, the layout collation is not performed (step C11). As described above, according to the origin extraction collation process in the medium processing apparatus according to the embodiment of the present invention, the layout analysis of the form to be processed is performed based on the ruled line items and item data extracted from the image data. By using the predetermined coordinates among the corner coordinates of the area obtained as above as the logical origin coordinates and the corrected coordinates, the logical origin coordinates and the coordinate coordinates can be obtained even from the image data of the general form other than the special form on which the reference marks and the like are printed. Corrected coordinates can be extracted.

【０１３５】また、複数の論理原点抽出方法の中から最
適の方法を動的に選択することにより、処理対象の帳票
のレイアウトに適した論理原点抽出を行なうことができ
る。さらに、論理原点抽出時に、論理原点の付加情報と
して補正座標を同時に抽出することにより、レイアウト
照合処理での論理原点の照合時に、確実に一致を取るこ
とが可能となる。Further, by dynamically selecting the optimum method from a plurality of logical origin extraction methods, the logical origin extraction suitable for the layout of the form to be processed can be performed. Further, when the logical origin is extracted, the correction coordinates are simultaneously extracted as the additional information of the logical origin, so that the matching can be surely obtained when the logical origin is collated in the layout collation processing.

【０１３６】即ち、論理原点座標が加味された補正座標
の相対座標を照合することを通じて論理原点の照合を行
なっているので、イメージ読み取り時の位置ズレが起こ
った場合でも確実にレイアウトの照合処理を行なえるよ
うになる。また、ゴミや掠れ等により論理原点が正しく
抽出できない場合でも、他のレイアウトの論理原点抽出
方法に従い、補正座標を使用して論理原点の再抽出を行
なうことにより、確実に抽出できる別の点を論理原点と
することが可能となる。That is, since the logical origin is collated by collating the relative coordinates of the correction coordinates to which the logical origin coordinate is added, the layout collation processing is surely performed even if the position shift occurs during image reading. You will be able to do it. Even if the logical origin cannot be correctly extracted due to dust or blurring, another point that can be reliably extracted by re-extracting the logical origin using the corrected coordinates according to the method for extracting the logical origin of other layouts is provided. It becomes possible to set it as a logical origin.

【０１３７】なお、本実施形態においては、レイアウト
の左上端の点を論理原点としたが、これに限定されず、
右上端，左下端及び右下端の点を論理原点としてもよ
い。 （ａ３）イメージデータの回転補正処理の説明 一般的に、帳票処理装置等においては、処理対象の帳票
の読取方向が正しい方向でなければ、イメージデータ
（イメージ）の文字記述方向が正しい方向とならないた
め、文字認識処理を行なうことができない。In the present embodiment, the upper left point of the layout is set as the logical origin, but the logical origin is not limited to this.
The upper right, lower left, and lower right points may be used as the logical origin. (A3) Description of Image Data Rotation Correction Processing Generally, in a form processing apparatus or the like, the character description direction of image data (image) is not correct unless the reading direction of the form to be processed is correct. Therefore, character recognition processing cannot be performed.

【０１３８】このため、本発明の一実施形態にかかる媒
体処理装置３０においては、例えば前述した原点抽出処
理時に、読み取られたイメージの方向を判定して、イメ
ージの方向が誤っていた場合には、正しい方向となるよ
うにイメージの回転補正処理を行なうことにより、処理
対象の帳票の読取方向が誤っていた場合でも、後述する
イメージのレイアウト解析処理や文字認識処理を行なう
ことができるようになっている。Therefore, in the medium processing device 30 according to the embodiment of the present invention, the direction of the read image is judged at the time of the above-mentioned origin extraction process, and if the direction of the image is wrong, By performing the image rotation correction processing so that the orientation is correct, the image layout analysis processing and character recognition processing described later can be performed even if the reading direction of the processing target document is incorrect. ing.

【０１３９】ここで、このイメージデータの回転補正処
理は、前述のごとく、図１及び図５に示すレイアウト解
析処理部２において行なわれており、レイアウト解析処
理部２は、イメージデータの回転補正処理を実現するた
めに、読み取ったイメージのレイアウトが所定の方向で
あるかどうかを判定するステップと、このステップでの
判定結果に基づきレイアウトが所定の方向となるように
読み取ったイメージデータのレイアウトを回転させるス
テップとを含んでいる。The rotation correction processing of the image data is performed by the layout analysis processing unit 2 shown in FIGS. 1 and 5 as described above, and the layout analysis processing unit 2 performs the rotation correction processing of the image data. In order to realize, the step of determining whether the layout of the read image is in a predetermined direction and rotating the layout of the read image data so that the layout is in the predetermined direction based on the result of the determination in this step. And the step of causing.

【０１４０】ここで、本実施形態にかかる媒体処理装置
３０におけるイメージデータの回転補正処理に着目した
機能ブロック図を図８及び図９に示す。図８は罫線項目
のある帳票を処理する場合の、図９は罫線項目のない帳
票を処理する場合の機能ブロック図である。罫線項目の
ある帳票を処理する場合には、媒体処理装置３０におい
ては、図８に示すように、イメージ入力部３０１，イメ
ージデータ格納メモリ３０２，回転イメージデータ格納
メモリ３０３，罫線項目抽出部（罫線抽出部）２Ｃ，罫
線項目情報格納部３０４，罫線項目解析部（表構造解析
部）２Ｅ，縦／横判定設定部３０５，横長罫線項目格納
部３０６，イメージ９０度回転部３０７，イメージ１８
０度回転部３０８及び文字列認識部（文字認識処理ブロ
ック）１７が機能する。Here, FIG. 8 and FIG. 9 show functional block diagrams focusing on the rotation correction processing of the image data in the medium processing device 30 according to the present embodiment. FIG. 8 is a functional block diagram when processing a form with ruled line items, and FIG. 9 is a functional block diagram when processing a form without ruled line items. When processing a form with ruled line items, in the medium processing device 30, as shown in FIG. 8, an image input unit 301, an image data storage memory 302, a rotated image data storage memory 303, a ruled line item extraction unit (ruled line items). Extraction unit) 2C, ruled line item information storage unit 304, ruled line item analysis unit (table structure analysis unit) 2E, vertical / horizontal determination setting unit 305, horizontally long ruled line item storage unit 306, image 90-degree rotation unit 307, image 18
The 0 degree rotation unit 308 and the character string recognition unit (character recognition processing block) 17 function.

【０１４１】イメージ入力部３０１は、帳票等のイメー
ジデータを読み取るものであり、イメージデータ格納メ
モリ３０２は、読み取ったイメージデータを一端格納し
ておくメモリである。また、回転イメージデータ格納メ
モリ３０３は、回転補正処理が施されたイメージデータ
を格納しておくメモリであり、この回転イメージデータ
格納メモリ３０３に格納されたイメージデータを用い
て、以降のレイアウト認識処理や文字認識処理等が行な
われることになる。The image input unit 301 is for reading image data such as a form, and the image data storage memory 302 is a memory for temporarily storing the read image data. The rotation image data storage memory 303 is a memory for storing the image data that has been subjected to the rotation correction processing. Using the image data stored in the rotation image data storage memory 303, the subsequent layout recognition processing is performed. And character recognition processing will be performed.

【０１４２】さらに、罫線項目抽出部（罫線抽出部）２
Ｃは、読み取られたイメージデータを探索して、罫線か
ら形成される最小矩形である罫線項目を自動的に抽出す
るものであり、罫線項目情報格納部３０４は、罫線項目
抽出部２Ｃにより抽出された罫線項目情報を格納してお
くメモリである。また、罫線項目解析部（表構造解析
部）２Ｅは、罫線項目情報格納部３０４に格納される罫
線項目の形状が縦長／横長のいずれであるかを解析する
ことにより、イメージデータの読取方向が縦読み／横読
みのいずれであるかを判定するものである。Furthermore, a ruled line item extraction unit (ruled line extraction unit) 2
C searches the read image data and automatically extracts the ruled line item which is the smallest rectangle formed from the ruled lines. The ruled line item information storage unit 304 is extracted by the ruled line item extraction unit 2C. This is a memory for storing the ruled line item information. Further, the ruled line item analysis unit (table structure analysis unit) 2E analyzes whether the shape of the ruled line item stored in the ruled line item information storage unit 304 is vertically long or horizontally long, so that the reading direction of the image data is It is to determine whether it is vertical reading or horizontal reading.

【０１４３】ここで、銀行や企業等で取り扱う帳票や文
書類は、通常は横方向に記述されたものが多い。このた
め、罫線項目も横長となることが多く、横長の罫線項目
が縦長の罫線項目より多いという条件を判定条件とし
て、縦／横判定設定部３０５に設定して、設定された判
定条件に基づいてイメージデータの読取方向を判定する
ようになっている。Many forms and documents handled by banks, companies, etc. are usually written horizontally. Therefore, the ruled line items are also often horizontally long, and the condition that there are more horizontally long ruled line items than vertically long ruled line items is set as the determination condition in the vertical / horizontal determination setting unit 305, and based on the set determination conditions. Then, the reading direction of the image data is determined.

【０１４４】さらに、横長罫線項目格納部３０６は、罫
線項目解析部２Ｅで横長であると判定された罫線項目を
格納するものである。また、イメージ９０度回転部３０
７は、罫線項目解析部２Ｅで罫線項目が縦長であると判
定された場合には、イメージデータを９０度回転させて
イメージデータの回転補正を行なうものである。Further, the horizontally long ruled line item storage unit 306 stores the ruled line items determined by the ruled line item analysis unit 2E to be horizontally long. Also, the image 90-degree rotating unit 30
When the ruled line item analysis unit 2E determines that the ruled line item is vertically long, the number 7 rotates the image data by 90 degrees to correct the rotation of the image data.

【０１４５】さらに、文字列認識部１７は、罫線項目内
の文字を認識するものであり、イメージ１８０度回転部
３０８は、文字列認識部１７において文字認識ができな
い場合には、イメージデータを１８０度回転させてイメ
ージデータの回転補正を行なうものである。なお、回転
補正されたイメージデータは、イメージデータ格納メモ
リ３０２及び回転イメージデータ格納メモリ３０３に格
納され、上述の場合と同様に、罫線項目抽出部２Ｃ，罫
線項目解析部２Ｅ及び文字列認識部１７における処理が
施される。Furthermore, the character string recognition unit 17 is for recognizing the characters in the ruled line item, and the image 180-degree rotation unit 308 determines that the image data is 180 when the character string recognition unit 17 cannot recognize the character. The image data is rotated once to correct the rotation of the image data. The rotation-corrected image data is stored in the image data storage memory 302 and the rotated image data storage memory 303, and the ruled line item extraction unit 2C, the ruled line item analysis unit 2E, and the character string recognition unit 17 are stored in the same manner as in the above case. Is processed.

【０１４６】また、罫線項目のない帳票を処理する場合
には、媒体処理装置３０においては、図９に示すよう
に、イメージ入力部３０１，イメージデータ格納メモリ
３０２，回転イメージデータ格納メモリ３０３，ラベリ
ング部３０９，ラベリング情報格納部３１０，文字領域
統合部３１１，文字領域統合ルール部３１２，統合結果
格納部３１３，文字列縦／横判定部３１４，イメージ９
０度回転部３０７，イメージ１８０度回転部３０８及び
文字列認識部（文字認識処理ブロック）１７が機能す
る。In the case of processing a form without ruled line items, in the medium processing device 30, as shown in FIG. 9, the image input unit 301, the image data storage memory 302, the rotation image data storage memory 303, and the labeling. Unit 309, labeling information storage unit 310, character region integration unit 311, character region integration rule unit 312, integration result storage unit 313, character string vertical / horizontal determination unit 314, image 9
The 0-degree rotation unit 307, the image 180-degree rotation unit 308, and the character string recognition unit (character recognition processing block) 17 function.

【０１４７】イメージ入力部３０１，イメージデータ格
納メモリ３０２及び回転イメージデータ格納メモリ３０
３は、前述したものと同様の機能及び構成を有するもの
である。また、ラベリング部３０９は、画素情報から連
続するドット情報を抽出するラベリング処理を行なうも
のであり、ラベリング情報格納部３１０は、ラベリング
部３０９により抽出された連続するドット情報を格納し
ておくメモリである。The image input section 301, the image data storage memory 302 and the rotation image data storage memory 30
3 has the same function and configuration as those described above. Further, the labeling unit 309 performs a labeling process for extracting continuous dot information from the pixel information, and the labeling information storage unit 310 is a memory for storing the continuous dot information extracted by the labeling unit 309. is there.

【０１４８】さらに、文字領域統合部３１１は、文字領
域統合ルール部３１２により設定される統合ルールに基
づいて、ラベリング部３０９により抽出されたドット情
報に基づいて連続した文字を文字列として統合すること
により項目データを抽出するものであり、統合結果格納
部３１３は、文字領域統合部３１１により抽出された項
目データを格納しておくものである。Further, the character area integration unit 311 integrates consecutive characters as a character string based on the dot information extracted by the labeling unit 309 based on the integration rule set by the character area integration rule unit 312. The item data is extracted by the item data, and the integration result storage unit 313 stores the item data extracted by the character region integration unit 311.

【０１４９】即ち、ラベリング部３０９，ラベリング情
報格納部３１０，文字領域統合部３１１，文字領域統合
ルール部３１２及び統合結果格納部３１３により、項目
データ抽出部２Ｄが構成されているのである。また、文
字列縦／横判定部３１４は、文字領域統合部３１１によ
り抽出された項目データの形状が縦長／横長のいずれで
あるかを解析することにより、イメージデータの読取方
向が縦読み／横読みのいずれであるかを判定するもので
ある。That is, the labeling unit 309, the labeling information storage unit 310, the character region integration unit 311, the character region integration rule unit 312, and the integration result storage unit 313 constitute the item data extraction unit 2D. In addition, the character string vertical / horizontal determination unit 314 analyzes whether the shape of the item data extracted by the character area integration unit 311 is vertical / horizontal, so that the reading direction of the image data is vertical / horizontal. It is to determine which of the readings.

【０１５０】さらに、イメージ９０度回転部３０７は、
文字列縦／横判定部３１４で項目データが縦長であると
判定された場合には、イメージデータを９０度回転させ
てイメージデータの回転補正を行なうものである。さら
に、文字列認識部１７は、項目データ内の文字を認識す
るものであり、イメージ１８０度回転部３０８は、文字
列認識部１７において文字認識ができない場合には、イ
メージデータを１８０度回転させてイメージデータの回
転補正を行なうものである。Further, the image 90-degree rotating unit 307 is
When the character string vertical / horizontal determination unit 314 determines that the item data is vertically long, the image data is rotated by 90 degrees to correct the rotation of the image data. Further, the character string recognition unit 17 is for recognizing characters in the item data, and the image 180-degree rotation unit 308 rotates the image data 180 degrees when the character string recognition unit 17 cannot recognize the characters. The image data is rotated and corrected.

【０１５１】なお、回転補正されたイメージデータは、
イメージデータ格納メモリ３０２及び回転イメージデー
タ格納メモリ３０３に格納され、上述の場合と同様に、
ラベリング部３０９，文字領域統合部３１１，文字列縦
／横判定部３１４及び文字列認識部１７における処理が
施される。上述の構成により、本発明の一実施形態にか
かる媒体処理装置３０においては、イメージ入力部３０
１からイメージデータが入力されると、イメージデータ
から罫線項目又は項目データが抽出される。The rotation-corrected image data is
It is stored in the image data storage memory 302 and the rotated image data storage memory 303, and as in the case described above,
The processes in the labeling unit 309, the character region integration unit 311, the character string vertical / horizontal determination unit 314, and the character string recognition unit 17 are performed. With the configuration described above, in the medium processing device 30 according to the embodiment of the present invention, the image input unit 30 is provided.
When the image data is input from 1, ruled line items or item data are extracted from the image data.

【０１５２】ここで、イメージデータに罫線項目がある
場合には、罫線項目抽出部２Ｃにより罫線項目が抽出さ
れ、罫線項目解析部２Ｅにより抽出された罫線項目の形
状が縦長／横長のいずれであるかが解析される。そし
て、罫線項目の形状が縦長であると解析された場合に
は、イメージ９０度回転部３０７によりイメージデータ
が９０度回転補正される。Here, when the image data has a ruled line item, the ruled line item extraction unit 2C extracts the ruled line item, and the ruled line item analysis unit 2E extracts the shape of the ruled line item from either portrait or landscape. Is analyzed. If the ruled line item is analyzed to be vertically long, the image 90-degree rotation unit 307 corrects the image data by 90 degrees.

【０１５３】また、罫線項目の形状が横長であると解析
された場合には、文字列認識部１７により罫線項目の文
字認識が行なわれ、文字認識ができない場合には、イメ
ージ１８０度回転部３０８によりイメージデータが１８
０度回転補正される。さらに、イメージデータに罫線項
目がない場合には、文字領域統合部３１１により項目デ
ータが抽出され、文字領域統合部３１１により抽出され
た項目データの形状が縦長／横長のいずれであるかが解
析される。If the shape of the ruled line item is analyzed to be horizontally long, the character string recognition unit 17 recognizes the character of the ruled line item. If the character recognition cannot be performed, the image 180 ° rotation unit 308. Image data is 18
It is corrected by 0 degree rotation. Further, when there is no ruled line item in the image data, the character area integration unit 311 extracts the item data, and the character area integration unit 311 analyzes whether the shape of the item data is portrait / landscape. It

【０１５４】ここで、項目データの形状が縦長であると
解析された場合には、イメージ９０度回転部３０７によ
りイメージデータが９０度回転補正される。また、項目
データの形状が横長であると解析された場合には、文字
列認識部１７により罫線項目の文字認識が行なわれ、文
字認識ができない場合には、イメージ１８０度回転部３
０８によりイメージデータが１８０度回転補正される。Here, when the shape of the item data is analyzed to be vertically long, the image data is rotated by 90 degrees and corrected by the image 90-degree rotation unit 307. Further, when the shape of the item data is analyzed to be horizontally long, the character string recognition unit 17 recognizes the character of the ruled line item, and when the character recognition cannot be performed, the image 180 ° rotation unit 3 is used.
08, the image data is rotated and corrected by 180 degrees.

【０１５５】このときの媒体処理装置３０におけるイメ
ージデータ回転補正処理について、図１２及び図１３に
示すフローチャートを用いて更に説明する。まず、イメ
ージ認識処理したい帳票や文書等のイメージデータの読
み取りが行なわれる（ステップＧ１）。なお、帳票や文
書等の用紙は、どの方向から読み取られてもよい。The image data rotation correction processing in the medium processing device 30 at this time will be further described with reference to the flowcharts shown in FIGS. 12 and 13. First, image data such as a form or a document to be subjected to image recognition processing is read (step G1). Note that sheets such as forms and documents may be read from any direction.

【０１５６】例えば図１０に示すような罫線項目のある
帳票３２０が読み取られた場合には、読み取られたイメ
ージデータが、イメージデータ格納メモリ３０２に一端
格納される（ステップＧ２）。なお、最初のみ回転イメ
ージデータ格納メモリ３０３にも同じイメージデータが
格納される（ステップＧ３）。次に、罫線項目抽出部２
Ｃにより、イメージデータ中の罫線項目（例えば図１０
には罫線項目Ｍが図示されている）が抽出される（ステ
ップＧ４）。For example, when the form 320 having ruled line items as shown in FIG. 10 is read, the read image data is once stored in the image data storage memory 302 (step G2). The same image data is stored in the rotated image data storage memory 303 only at the beginning (step G3). Next, the ruled line item extraction unit 2
By C, the ruled line item in the image data (see, for example, FIG.
(A ruled line item M is shown in the figure) is extracted (step G4).

【０１５７】ここで、罫線項目が抽出できた場合には、
罫線項目情報格納部３０４に罫線項目情報が格納される
（ステップＧ５，Ｇ６）。罫線項目解析部２Ｅでは、罫
線項目情報格納部３０４に格納された罫線項目情報に基
づいて罫線項目の形状が解析され、罫線項目が縦長であ
るか横長であるかが判定され分類され（ステップＧ７，
Ｇ８）、横長である罫線項目情報が、横長罫線項目格納
部３０６に格納される（ステップＧ９）。Here, when the ruled line item can be extracted,
Ruled line item information is stored in the ruled line item information storage unit 304 (steps G5 and G6). The ruled line item analysis unit 2E analyzes the shape of the ruled line item based on the ruled line item information stored in the ruled line item information storage unit 304, determines whether the ruled line item is vertically long or horizontally long, and classifies it (step G7). ，
G8), the horizontally long ruled line item information is stored in the horizontally long ruled line item storage unit 306 (step G9).

【０１５８】さらに、罫線項目解析部２Ｅでは、縦／横
判定設定部３０５により設定される判定条件に基づい
て、横長の罫線項目が縦長の罫線項目より多いか否かの
判定により、イメージデータの読み取り方向の正誤が判
定される（ステップＧ１０）。ここで、罫線項目解析部
２Ｅで横長罫線項目の方が多いと判定された場合には、
文字列認識部１７で文字認識が行なわれる（ステップＧ
１０のＹＥＳルートからステップＧ１１）。Further, the ruled line item analysis unit 2E determines whether the number of horizontally long ruled line items is greater than that of vertically long ruled line items based on the determination condition set by the vertical / horizontal determination setting unit 305. Whether the reading direction is right or wrong is determined (step G10). Here, when the ruled line item analysis unit 2E determines that there are more horizontally long ruled line items,
Character recognition is performed by the character string recognition unit 17 (step G).
From YES route 10 to step G11).

【０１５９】文字列認識部１７で文字認識が可能であれ
ば、イメージデータの読取方向が正常であると判断され
る（ステップＧ１２のＹＥＳルート）。また、文字列認
識部１７で文字認識が不可能であれば、イメージが１８
０度回転している（イメージの上下が逆転している）可
能性があるため、イメージ１８０度回転部３０８によ
り、回転イメージデータ格納メモリ３０３のイメージデ
ータが一端イメージデータ格納メモリ３０２に移動され
た後１８０度回転補正され（ステップＧ１４）、１８０
度回転された後のイメージデータが回転イメージデータ
格納メモリ３０３に格納されて、上述した処理と同様の
処理が行なわれる（ステップＧ４〜Ｇ１２）。If the character string recognizing unit 17 can recognize the character, it is determined that the reading direction of the image data is normal (YES route in step G12). If the character string recognition unit 17 cannot recognize the character, the image is
Since there is a possibility that the image is rotated 0 degrees (the image is turned upside down), the image 180-degree rotation unit 308 once moved the image data in the rotated image data storage memory 303 to the image data storage memory 302. After that, the rotation is corrected by 180 degrees (step G14), 180
The image data after being rotated once is stored in the rotated image data storage memory 303, and the same processing as the above-mentioned processing is performed (steps G4 to G12).

【０１６０】さらに、罫線項目解析部２Ｅで縦長罫線項
目の方が多いと判定された場合には、イメージ９０度回
転部３０８により、イメージデータ格納メモリ３０２に
格納されるイメージデータが９０度回転補正され（ステ
ップＧ１３）、回転イメージデータ格納メモリ３０３に
回転後のイメージデータが格納されて、上述した処理と
同様の処理が行なわれる（ステップＧ４〜ステップＧ１
２）。Furthermore, when the ruled line item analysis unit 2E determines that there are more vertically elongated ruled line items, the image 90 ° rotation unit 308 corrects the image data stored in the image data storage memory 302 by 90 °. Then, the rotated image data is stored in the rotated image data storage memory 303 (step G13), and the same processing as the above-described processing is performed (step G4 to step G1).
2).

【０１６１】そして、９０度回転補正処理を施した後の
イメージデータについても、文字列認識部１７で文字認
識が不可能であれば、イメージが１８０度回転している
可能性があるため、イメージ１８０度回転部３０８によ
り、回転イメージデータ格納メモリ３０３のイメージデ
ータが一端イメージデータ格納メモリ３０２に移動され
た後１８０度回転補正され（ステップＧ１４）、１８０
度回転された後のイメージデータが回転イメージデータ
格納メモリ３０３に格納されて、上述した処理と同様の
処理が行なわれる（ステップＧ４〜Ｇ１２）。As for the image data after the 90-degree rotation correction process, if the character string recognition unit 17 cannot recognize the character, the image may be rotated by 180 degrees. The 180 ° rotation unit 308 temporarily moves the image data in the rotated image data storage memory 303 to the image data storage memory 302, and then 180 ° rotation correction is performed (step G14).
The image data after being rotated once is stored in the rotated image data storage memory 303, and the same processing as the above-mentioned processing is performed (steps G4 to G12).

【０１６２】また、上述のステップＧ５において罫線項
目が抽出できない場合は、例えば図１１に示すような罫
線項目のない帳票３２１が読み取られた場合であるた
め、項目データを抽出するために以下の処理が行なわれ
る。まず、ラベリング部３０９では、回転イメージデー
タ格納メモリ３０３に格納されているイメージデータか
らラベリング情報（例えば図１１にはラベリング情報Ｎ
が図示されている）が抽出され（ステップＧ５のＮＯル
ートから図１３のステップＧ１５）、抽出されたラベリ
ング情報はラベリング情報格納部３１０に格納される
（ステップＧ１６）。Further, if the ruled line item cannot be extracted in the above step G5, for example, the form 321 having no ruled line item as shown in FIG. 11 is read, and therefore the following process is performed to extract the item data. Is performed. First, in the labeling unit 309, labeling information (for example, the labeling information N in FIG. 11 is calculated from the image data stored in the rotation image data storage memory 303.
Is extracted) (from the NO route of step G5 to step G15 of FIG. 13), and the extracted labeling information is stored in the labeling information storage unit 310 (step G16).

【０１６３】次に、文字領域統合部３１１では、文字領
域統合ルール部３１２のルールに基づいて、ラベリング
情報格納部３１０に格納されるラベリング情報における
個々のラベリング情報が文字列として統合されることに
より項目データ（例えば図１１には、７つのラベリング
情報“出”，“張”，“旅”，“費”，“精”，
“算”，“書”が文字列として統合された文字領域統合
結果（“出張旅費精算書”；Ｏ）が項目データとして図
示されている）が抽出され（ステップＧ１７）、統合結
果が統合結果格納部３１３に格納される（ステップＧ１
８）。Next, in the character area integration unit 311, the individual labeling information in the labeling information stored in the labeling information storage unit 310 is integrated as a character string based on the rule of the character area integration rule unit 312. Item data (for example, in FIG. 11, seven labeling information items “output”, “Zhang”, “travel”, “cost”, “fine”,
A character area integration result (“business trip travel expense report”; O) shown as item data) in which “calculation” and “writing” are integrated as a character string is extracted (step G17), and the integration result is the integration result. Stored in the storage unit 313 (step G1)
8).

【０１６４】さらに、文字縦／横判定部３１４では、横
長の項目データが縦長の項目データより多いか否かの判
定により、イメージデータの読み取り方向の正誤が判定
される（ステップＧ１９）。ここで、文字縦／横判定部
３１４で横長項目データの方が多いと判定された場合に
は、文字列認識部１７で文字認識が行なわれる（ステッ
プＧ２０）。Further, the character vertical / horizontal judging section 314 judges whether the reading direction of the image data is right or wrong by judging whether the horizontally long item data is larger than the vertically long item data (step G19). If the character vertical / horizontal determination unit 314 determines that there is more horizontally long item data, the character string recognition unit 17 performs character recognition (step G20).

【０１６５】文字列認識部１７で文字認識が可能であれ
ば、イメージデータの読取方向が正常であると判断され
る（ステップＧ２１）。また、文字列認識部１７で文字
認識が不可能であれば、イメージが１８０度回転してい
る可能性があるため、イメージ１８０度回転部３０８に
より、回転イメージデータ格納メモリ３０３のイメージ
データが一端イメージデータ格納メモリ３０２に移動さ
れた後１８０度回転補正され（ステップＧ２３）、１８
０度回転された後のイメージデータが回転イメージデー
タ格納メモリ３０３に格納されて、上述した処理と同様
の処理が行なわれる（ステップＧ１５〜Ｇ２１）。If the character string recognizing unit 17 can recognize the character, it is determined that the reading direction of the image data is normal (step G21). If the character string recognizing unit 17 cannot recognize the character, the image may have been rotated by 180 degrees. Therefore, the image 180-degree rotating unit 308 causes the image data in the rotated image data storage memory 303 to temporarily After being moved to the image data storage memory 302, rotation correction is performed by 180 degrees (step G23), 18
The image data after being rotated by 0 degrees is stored in the rotated image data storage memory 303, and the same processing as the above-mentioned processing is performed (steps G15 to G21).

【０１６６】さらに、文字縦／横判定部３１４で縦長項
目データの方が多いと判定された場合には、イメージ９
０度回転部３０８により、イメージデータ格納メモリ３
０２に格納されたイメージデータが９０度回転補正され
（ステップＧ２２）、回転イメージデータ格納メモリ３
０３に回転後のイメージデータが格納されて、上述した
処理と同様の処理が行なわれる（ステップＧ１５〜ステ
ップＧ２１）。Furthermore, when the character vertical / horizontal determining unit 314 determines that there are more vertically long item data, the image 9
The 0 ° rotation unit 308 allows the image data storage memory 3
The image data stored in 02 is rotated by 90 degrees (step G22), and the rotated image data storage memory 3
The rotated image data is stored in 03, and the same processing as the above-mentioned processing is performed (step G15 to step G21).

【０１６７】そして、９０度回転補正処理を施した後の
イメージデータについても、文字列認識部１７で文字認
識が不可能であれば、イメージが１８０度回転している
可能性があるため、イメージ１８０度回転部３０８によ
り、回転イメージデータ格納メモリ３０３のイメージデ
ータが一端イメージデータ格納メモリ３０２に移動され
た後１８０度回転補正され（ステップＧ２３）、１８０
度回転された後のイメージデータが回転イメージデータ
格納メモリ３０３に格納されて、上述した処理と同様の
処理が行なわれる（ステップＧ１５〜Ｇ２１）。As for the image data after the 90-degree rotation correction process, if the character string recognition unit 17 cannot recognize the character, the image may be rotated by 180 degrees. The 180 ° rotation unit 308 temporarily moves the image data in the rotated image data storage memory 303 to the image data storage memory 302, and then 180 ° rotation correction is performed (step G23).
The image data after being rotated once is stored in the rotated image data storage memory 303, and the same processing as that described above is performed (steps G15 to G21).

【０１６８】このように、本発明の一実施形態にかかる
媒体処理装置３０によれば、読み取られたイメージデー
タから罫線項目又は項目データを抽出して、抽出された
罫線項目又は項目データの形状が横長であるか縦長であ
るかを判断して、罫線項目又は項目データの形状が縦長
である場合には、イメージデータの９０度回転補正を行
ない、罫線項目又は項目データの形状が横長であっても
文字認識できない場合には、イメージデータの１８０度
回転補正を行なうことにより、イメージデータがどのよ
うな方向から読み取られてもイメージデータの読取方向
を自動的に判定でき、イメージデータの読取方向が誤っ
ている場合には自動的にイメージデータを回転補正し
て、オペレータによる確認及び回転補正操作を不要にで
き、クライアント−サーバシステムでの帳票の自動処理
を効率的に行なうことができる利点がある。 （ａ４）マトリックス照合処理の説明 一般的に、帳票処理装置等においては、処理対象の帳票
のレイアウトとレイアウトＤＢ等に格納されるレイアウ
トとの照合処理の際に、個々のレイアウトの構成要素
（罫線項目や項目データ等）を順次照合して座標やサイ
ズ等の比較を行なうため、レイアウトの構成要素数
（Ｎ）の増加に伴い照合回数が非常に多くなり、大量の
帳票のレイアウトの照合処理を高速に行なうことができ
ない。As described above, according to the medium processing device 30 of the embodiment of the present invention, the ruled line item or item data is extracted from the read image data, and the shape of the extracted ruled line item or item data is determined. If the shape of the ruled line item or item data is vertical, it is determined whether it is horizontal or vertical, and 90-degree rotation correction of the image data is performed, and the shape of the ruled line item or item data is horizontal. If the characters cannot be recognized, the image data reading direction can be automatically determined by correcting the image data 180 degrees by correcting the image data rotation from any direction. If it is incorrect, the image data can be automatically corrected for rotation, eliminating the need for operator confirmation and rotation correction operations. There is an advantage that can perform automatic processing of the form in the chromatography server system efficiently. (A4) Description of Matrix Matching Process Generally, in a form processing apparatus or the like, at the time of a matching process between a layout of a form to be processed and a layout stored in a layout DB or the like, a component of each layout (ruled line Items, item data, etc.) are sequentially collated to compare the coordinates, sizes, etc., so the number of collations increases significantly as the number of layout components (N) increases, and the collation processing of a large number of layouts is performed. I can't do it fast.

【０１６９】このため、本発明の一実施形態にかかる媒
体処理装置３０においては、レイアウトの構成要素の一
つである罫線項目のレイアウトを圧縮処理してマトリッ
クステーブルとして表現し、レイアウトの照合時にその
マトリックステーブル同士を照合することにより、大量
の帳票のレイアウトの照合処理を高速に行なうことがで
きるようになっている。Therefore, in the medium processing device 30 according to one embodiment of the present invention, the layout of the ruled line item, which is one of the constituent elements of the layout, is compressed and expressed as a matrix table, and the layout table is checked at the time of collation. By collating the matrix tables with each other, it is possible to perform collation processing of layouts of a large amount of forms at high speed.

【０１７０】ここで、本発明の一実施形態にかかる媒体
処理装置３０は、レイアウト照合処理部３が、レイアウ
ト解析処理部２により抽出された罫線項目のレイアウト
を圧縮処理してマトリックステーブルとして表現し、こ
のマトリックステーブルを制約検索条件としてレイアウ
トＤＢ１４に記憶されている参照用のマトリックステー
ブルを検索し、一致しているマトリックステーブルがあ
るかどうかを照合するようになっており、文字認識処理
ブロック１７が、この照合結果に基づき、特定された位
置でのイメージにおける情報を判別するようになってい
る。Here, in the medium processing device 30 according to one embodiment of the present invention, the layout collation processing unit 3 compresses the layout of the ruled line items extracted by the layout analysis processing unit 2 and expresses it as a matrix table. The matrix table for reference stored in the layout DB 14 is searched by using this matrix table as a constraint search condition to check whether there is a matching matrix table. The information in the image at the specified position is discriminated based on the collation result.

【０１７１】ここで、本実施形態にかかる媒体処理装置
３０におけるマトリックス照合処理に着目した処理説明
図を図２２に示す。媒体処理装置３０においては、図２
２に示すように、まず、処理対象の帳票が読み取られて
解析対象のイメージデータ１９が入力されると、レイア
ウト解析処理部２では、入力されたイメージデータを解
析して罫線線分が抽出され、罫線線分により構成される
矩形が罫線項目として抽出される。Here, FIG. 22 shows a processing explanatory diagram focusing on the matrix collation processing in the medium processing apparatus 30 according to the present embodiment. In the medium processing device 30, FIG.
As shown in FIG. 2, first, when the form to be processed is read and the image data 19 to be analyzed is input, the layout analysis processing unit 2 analyzes the input image data and extracts ruled line segments. , A rectangle formed by ruled line segments is extracted as a ruled line item.

【０１７２】このとき、罫線線分等からイメージの斜度
が算出されて、抽出された個々の罫線項目の座標位置の
斜行補正が施されるとともに、レイアウトの論理原点及
び補正座標が抽出されて、補正された罫線項目の座標位
置や論理原点及び補正座標がレイアウト情報に設定され
る（ステップＦ１）。続いて、レイアウト照合処理部３
では、入力されたイメージデータに対応する１０ＤＰＩ
（Dot Per Inch）相当のビットテーブルが作成され、レ
イアウト情報における個々の罫線項目の左上座標及び最
下行の罫線項目の右下座標がビットテーブル上の対応す
る位置にプロットされる。At this time, the inclination of the image is calculated from the ruled line segment and the like, the skew correction of the coordinate position of each extracted ruled line item is performed, and the logical origin of the layout and the corrected coordinate are extracted. Then, the coordinate position of the corrected ruled line item, the logical origin, and the corrected coordinate are set in the layout information (step F1). Then, the layout collation processing unit 3
Then, 10 DPI corresponding to the input image data
A bit table corresponding to (Dot Per Inch) is created, and the upper left coordinates of the individual ruled line items and the lower right coordinates of the lowermost line ruled line item in the layout information are plotted at corresponding positions on the bit table.

【０１７３】さらに、作成されたビットテーブルが、行
内のデータの有無に基づいて圧縮処理されるとともに、
行構成の規則性に基づいて行方向に圧縮処理されて、マ
トリックステーブルが作成される（ステップＦ２）。こ
のように圧縮されたマトリックステーブルが、他のレイ
アウト情報とともにレイアウトＤＢ１４に格納される
（ステップＦ３）。Further, the created bit table is compressed based on the presence / absence of data in the row, and
A matrix table is created by performing compression processing in the row direction based on the regularity of the row configuration (step F2). The matrix table compressed in this way is stored in the layout DB 14 together with other layout information (step F3).

【０１７４】なお、上述のステップＦ１は図２に示すス
テップＡ２に相当し、上述のステップＦ２及びステップ
Ｆ３は図２に示すステップＡ３に相当する。また、媒体
処理装置３０においては、照合対象の帳票が読み取られ
て解析対象のイメージデータ１９が入力されると、レイ
アウト解析処理部２では、入力されたイメージデータに
ついて上述のステップＦ１と同様の処理が施され、罫線
項目の座標位置や論理原点及び補正座標がレイアウト情
報に設定される（ステップＦ４）。The above step F1 corresponds to step A2 shown in FIG. 2, and the above steps F2 and F3 correspond to step A3 shown in FIG. Further, in the medium processing device 30, when the form to be collated is read and the image data 19 to be analyzed is input, the layout analysis processing unit 2 performs the same processing as the above step F1 on the input image data. Then, the coordinate position of the ruled line item, the logical origin, and the corrected coordinate are set in the layout information (step F4).

【０１７５】続いて、レイアウト照合処理部３では、入
力されたイメージデータについて上述のステップＦ２と
同様の処理が施され、マトリックステーブルが作成され
る（ステップＦ５）。ここで、レイアウト照合処理部３
では、レイアウトＤＢ１４から照合対象のマトリックス
テーブルが読み出され、読み出された照合対象のマトリ
ックステーブルと上述のステップＦ５で作成されたマト
リックステーブルとの照合が、個々のレイアウトの論理
原点を基準としてビット位置が行単位で照合されること
により行なわれる。Subsequently, the layout collation processing unit 3 performs the same processing as the above-mentioned step F2 on the input image data to create a matrix table (step F5). Here, the layout matching processing unit 3
Then, the matrix table to be collated is read out from the layout DB 14, and the matrix table read out to be collated with the matrix table created in the above step F5 is bit-matched based on the logical origin of each layout. This is done by matching the positions line by line.

【０１７６】また、マトリックステーブルのビット位置
の照合結果から、全照合ビット数に対する一致ビット数
が算出され、マトリックステーブルの一致率として照合
結果２００が出力される（ステップＦ６）。なお、上述
のステップＦ４は図２に示すステップＡ９に相当し、上
述のステップＦ５及びステップＦ６は図２に示すステッ
プＡ１０に相当する。Further, the number of matching bits with respect to the total number of matching bits is calculated from the matching result of the bit positions in the matrix table, and the matching result 200 is output as the matching rate of the matrix table (step F6). The above-mentioned step F4 corresponds to step A9 shown in FIG. 2, and the above-mentioned steps F5 and F6 correspond to step A10 shown in FIG.

【０１７７】ここで、上述のステップＦ２及びステップ
Ｆ５におけるマトリックステーブル作成処理について図
２３を用いて説明する。まず、マトリックステーブルの
作成対象であるイメージから罫線が抽出され、抽出され
た罫線から罫線項目（罫線により構成される最小の矩形
領域）が抽出される。このとき、レイアウトの斜度情報
に基づいて、抽出された罫線項目における各座標の斜行
補正が行われる（ステップＦ２１）。Now, the matrix table creation processing in the above-mentioned steps F2 and F5 will be described with reference to FIG. First, ruled lines are extracted from the image for which the matrix table is to be created, and ruled line items (the smallest rectangular area formed by the ruled lines) are extracted from the extracted ruled lines. At this time, skew correction of each coordinate in the extracted ruled line item is performed based on the layout skewness information (step F21).

【０１７８】続いて、レイアウト上の罫線の直線性を調
べることにより罫線の歪み率が取得され、ステップＦ２
１で斜行補正された罫線項目における各座標の歪み補正
が行なわれる（ステップＦ２２）。さらに、図２４
（ａ）に示すように、罫線項目を構成する水平罫線を参
照して、罫線項目の上側罫線が同一の罫線を共有する罫
線項目について、左上Ｙ座標の値が全て同じ値となるよ
うに設定されて、Ｙ座標の正規化が行なわれるとともに
（ステップＦ２３）、図２４（ｂ）に示すように、罫線
項目を構成する垂直罫線を参照して、罫線項目の左側罫
線が同一の罫線を共有する罫線項目について、左上Ｘ座
標の値が全て同じ値となるように設定されて、Ｘ座標の
正規化が行なわれる（ステップＦ２４）。Subsequently, the distortion rate of the ruled line is acquired by checking the linearity of the ruled line on the layout.
The distortion correction of each coordinate in the ruled line item that has been skew-corrected in 1 is performed (step F22). Furthermore, FIG.
As shown in (a), referring to the horizontal ruled lines that make up the ruled line item, the ruled line items that share the same upper ruled line of the ruled line item are set so that the upper left Y coordinate values are all the same value. Then, the Y coordinate is normalized (step F23), and as shown in FIG. 24B, the left ruled lines of the ruled line items share the same ruled line by referring to the vertical ruled lines that form the ruled line item. For the ruled line items to be set, the values of the upper left X coordinates are set to be the same, and the X coordinates are normalized (step F24).

【０１７９】即ち、本実施形態においては、罫線項目の
レイアウトが反映されたビットテーブルの圧縮処理に先
立って、読み取られたイメージデータについて、斜行補
正及び歪み補正処理を施すとともに（ステップＦ２１，
Ｆ２２参照）、罫線項目を構成する水平罫線を参照し
て、罫線項目の上側罫線が同一罫線を共有する罫線項目
に対して、同一Ｙ座標化処理を施し（ステップＦ２３参
照）、罫線項目を構成する垂直罫線を参照して、罫線項
目の左側罫線が同一罫線を共有する罫線項目に対して、
同一Ｘ座標化処理を施すことにより（ステップＦ２４参
照）、イメージデータの読み取り時に生じるレイアウト
の変動を吸収するようになっている。That is, in this embodiment, the skew correction and the distortion correction processing are performed on the read image data prior to the compression processing of the bit table in which the layout of the ruled line items is reflected (step F21,
(Refer to F22), referring to the horizontal ruled lines forming the ruled line item, the same Y coordinate conversion process is performed on the ruled line items whose upper ruled lines of the ruled line item share the same ruled line (see step F23) to configure the ruled line item. Refer to the vertical ruled line, and for the ruled line item where the left ruled line of the ruled line item shares the same ruled line,
By performing the same X-coordinate processing (see step F24), it is possible to absorb the layout variation that occurs when the image data is read.

【０１８０】また、図２５に示すように、レイアウト上
の全ての罫線項目について、同一のＹ座標を持つ罫線項
目単位毎に、罫線項目左上座標がビットテーブルの指定
解像度に合わせて座標変換（ビット列変換）され、テー
ブルの該当位置にビットが設定される。このとき、図２
６に示すように、行管理情報Ｊに、変換された罫線項目
のＹ座標の間隔が設定される（ステップＦ２５）。Also, as shown in FIG. 25, for all ruled line items on the layout, the ruled line item upper left coordinates are coordinate-converted in accordance with the designated resolution of the bit table (bit string) for each ruled line item unit having the same Y coordinate. Is converted) and the bit is set at the corresponding position in the table. At this time,
As shown in FIG. 6, the Y coordinate interval of the converted ruled line item is set in the line management information J (step F25).

【０１８１】ここで、図２７に示すように、ステップＦ
２５で変換作成されたビットテーブルが、先頭行より順
次比較処理され、継続して同一ビット構成を持つ行が１
行に行方向に圧縮されて圧縮済行ビット情報Ｋが作成さ
れ、行管理情報Ｊに行圧縮情報として圧縮済フラグＱが
設定される（ステップＦ２６）。そして、図２８に示す
ように、作成された圧縮済行ビット情報Ｋ及び行管理情
報Ｊからなるマトリックステーブル情報Ｓが、マトリッ
クステーブルとして設定される（ステップＦ２７）。Here, as shown in FIG. 27, step F
The bit table converted and created in step 25 is sequentially compared from the first row, and the row having the same bit configuration continues to be 1
Compressed row bit information K is created for each row in the row direction, and a compressed flag Q is set as row compression information in the row management information J (step F26). Then, as shown in FIG. 28, the matrix table information S including the created compressed row bit information K and row management information J is set as a matrix table (step F27).

【０１８２】即ち、本実施形態においては、罫線項目の
レイアウトの圧縮処理に際して、罫線項目のレイアウト
が相当するビット列に変換され、このビット列を圧縮処
理して、この圧縮処理されたビットテーブルをマトリッ
クステーブルとして設定することにより、レイアウト照
合時の照合回数が、レイアウトの構成要素数（Ｎ）に依
存せず、照合対象のレイアウト数に直線的に比例するだ
けとなり、大量の帳票のレイアウトの照合処理を高速に
行なうことができるのである。That is, in the present embodiment, when the layout of ruled line items is compressed, the layout of ruled line items is converted into a corresponding bit string, this bit string is compressed, and this compressed bit table is converted into a matrix table. By setting as, the number of collations at the time of layout collation does not depend on the number of layout components (N) and is linearly proportional to the number of layouts to be collated. It can be done at high speed.

【０１８３】さらに、上述のステップＦ６におけるマト
リックステーブル照合処理について図２９及び図３０に
示すフローチャートを用いて説明する。まず、レイアウ
ト照合処理部３においては、例えば図３１（ａ）に示す
ような照合元マトリクス情報が作成されて取得され、こ
の照合元マトリックス情報の圧縮済行ビット情報（Ｋ
１）が照合元ワーク領域に設定される（ステップＤ
１）。Further, the matrix table matching process in step F6 will be described with reference to the flow charts shown in FIGS. 29 and 30. First, in the layout collation processing unit 3, for example, collation source matrix information as shown in FIG. 31A is created and acquired, and the compressed row bit information (K
1) is set to the collation source work area (step D)
1).

【０１８４】また、例えば図３１（ｂ）に示すような照
合先マトリクス情報がレイアウトＤＢ１４から取得さ
れ、この照合先マトリックス情報の圧縮済行ビット情報
（Ｋ′１）が照合先ワーク領域に設定される（ステップ
Ｄ２）。続いて、レイアウト照合処理部３においては、
圧縮済行ビット情報（Ｋ１），（Ｋ′１）が先頭ビット
より順に比較照合され、１行分の照合が行われる（ステ
ップＤ３）。Further, for example, collation destination matrix information as shown in FIG. 31B is acquired from the layout DB 14, and the compressed row bit information (K'1) of this collation destination matrix information is set in the collation destination work area. (Step D2). Then, in the layout collation processing unit 3,
The compressed row bit information (K1) and (K'1) are compared and collated in order from the first bit to collate one row (step D3).

【０１８５】ここで、圧縮済行ビット情報（Ｋ１），
（Ｋ′１）が不一致である場合は、照合結果２００（図
２２参照）として不一致が設定されるが（ステップＤ
４，ステップＤ１０）、ここでは圧縮済行ビット情報
（Ｋ１），（Ｋ′１）が一致しているため、照合元圧縮
済行ビット情報Ｋが、行管理情報Ｊに基づいて、照合元
ワーク領域に設定される（ステップＤ４，ステップＤ
５）。Here, the compressed row bit information (K1),
If (K′1) does not match, the mismatch is set as the matching result 200 (see FIG. 22) (step D).
4, step D10), in which the compressed row bit information (K1) and (K'1) match, so the collation source compressed row bit information K is based on the row management information J and is the collation source work. Set to area (step D4, step D
5).

【０１８６】このステップＤ５では、行管理情報Ｊを参
照することにより（ステップＥ１）、行管理情報Ｊの該
当行に圧縮済フラグＱが設定されている場合には圧縮行
であると判断されて、直前の照合行の圧縮済行ビット情
報Ｋが照合元ワーク領域に設定され（ステップＥ２，ス
テップＥ４）、行管理情報Ｊの該当行に圧縮済フラグＱ
が設定されていない場合には非圧縮行であると判断され
て新規に該当する行の圧縮済行ビット情報Ｋが照合元ワ
ーク領域に設定される（ステップＥ２，ステップＥ
３）。In this step D5, by referring to the line management information J (step E1), if the compressed flag Q is set in the corresponding line of the line management information J, it is judged to be a compressed line. , The compressed row bit information K of the preceding collation row is set in the collation source work area (steps E2 and E4), and the compressed flag Q is set in the corresponding row of the row management information J.
Is set, the compressed row bit information K of the new row is set in the collation source work area (step E2, step E).
3).

【０１８７】また、照合先圧縮済行ビット情報Ｋ′も、
行管理情報Ｊ′に基づいて、照合先ワーク領域に設定さ
れる（ステップＤ６）。このステップＤ６でも、上述の
ステップＤ５での場合と同様に、行管理情報Ｊ′を参照
することにより（ステップＥ１）、行管理情報Ｊ′の該
当行に圧縮済フラグＱ′が設定されている場合には圧縮
行であると判断されて、直前の照合行の圧縮済行ビット
情報Ｋ′が照合元ワーク領域に設定され（ステップＥ
２，ステップＥ４）、行管理情報Ｊ′の該当行に圧縮済
フラグＱ′が設定されていない場合には非圧縮行である
と判断されて新規に該当する行の圧縮済行ビット情報
Ｋ′が照合元ワーク領域に設定される（ステップＥ２，
ステップＥ３）。Further, the collation destination compressed row bit information K'is also
Based on the line management information J ', it is set in the collation target work area (step D6). Also in this step D6, similarly to the case of the above-mentioned step D5, by referring to the row management information J '(step E1), the compressed flag Q'is set in the corresponding row of the row management information J'. In this case, it is judged to be a compressed row, and the compressed row bit information K'of the preceding collation row is set in the collation source work area (step E).
2, step E4), when the compressed flag Q'is not set in the corresponding row of the row management information J ', it is determined to be an uncompressed row and the compressed row bit information K'of the newly corresponding row. Is set in the collation source work area (step E2
Step E3).

【０１８８】このようにして、全行について圧縮済行ビ
ット情報Ｋ，Ｋ′を比較した結果、全ての行が一定範囲
内で一致する場合には、照合結果２００として一致が設
定される（ステップＤ７〜ステップＤ９）。また、比較
処理中に不一致となった場合や、比較終了前に一方の行
ビット情報が終了した場合には、照合結果２００として
不一致が設定される（ステップＤ７，ステップＤ８，ス
テップＤ１０）。In this way, as a result of comparing the compressed row bit information K and K'for all the rows, if all the rows match within a certain range, the matching is set as the matching result 200 (step). D7-step D9). Further, if there is a mismatch during the comparison process, or if one row bit information ends before the comparison ends, a mismatch is set as the matching result 200 (step D7, step D8, step D10).

【０１８９】このように、本発明の一実施形態にかかる
媒体処理装置におけるマトリックス照合処理によれば、
レイアウトの構成要素の一つである罫線項目のレイアウ
トを圧縮処理してマトリックステーブルとして表現し、
レイアウトの照合時にそのマトリックステーブル同士を
照合することにより、レイアウト照合処理速度が罫線項
目の数に依存せず、照合対象レイアウト数に直線的に比
例するだけになり、大量の帳票のレイアウトの照合処理
を高速に行なうことができる。As described above, according to the matrix matching process in the medium processing device according to the embodiment of the present invention,
The layout of ruled line items, which is one of the components of the layout, is compressed and expressed as a matrix table,
By collating the matrix tables during layout collation, the layout collation processing speed does not depend on the number of ruled line items, but is linearly proportional to the number of layouts to be collated. Can be performed at high speed.

【０１９０】このとき、照合対象レイアウトを、そのレ
イアウトを構成する罫線項目により表現することによ
り、レイアウトを安定して表現することが可能となるの
である。また、罫線項目のレイアウトが反映されたビッ
トテーブルの圧縮処理に先立って、読み取られたイメー
ジデータについて、斜行補正及び歪み補正処理を施すと
ともに、各罫線項目に対して同一Ｙ座標化処理及び同一
Ｘ座標化処理を施して、間引きされたビットテーブルを
作成することにより、イメージデータの読み取り時に生
じるレイアウトの変動を吸収することができる。At this time, by expressing the layout to be collated by the ruled line items forming the layout, the layout can be stably expressed. Further, before the compression process of the bit table reflecting the layout of the ruled line items, the skew correction and the distortion correction process are performed on the read image data, and the same Y coordinate conversion process and the same process are performed on each ruled line item. By performing the X-coordinate processing and creating the thinned-out bit table, it is possible to absorb the variation in the layout that occurs when the image data is read.

【０１９１】さらに、帳票の一次元方向の特性に合わせ
てビットテーブルを圧縮することにより、帳票内のレイ
アウト構成要素数を効率良く圧縮表現することが可能と
なる。 （ａ５）特徴データ認識処理の説明 一般的に、文字認識装置においては、一般の文字を認識
対象とするため、認識率を考慮して認識対象に合わせて
作成された辞書を使用する必要があり、動的に指定され
た任意の図形を認識することはできない。Furthermore, by compressing the bit table in accordance with the one-dimensional characteristic of the form, the number of layout constituent elements in the form can be efficiently expressed in a compressed manner. (A5) Description of feature data recognition processing Generally, in a character recognition device, since a general character is a recognition target, it is necessary to consider the recognition rate and use a dictionary created in accordance with the recognition target. , It is not possible to recognize any dynamically specified shape.

【０１９２】また、認識対象は文字であることが前提で
あることから、認識対象の領域の制約や認識用定義体の
設定上の制約等があり、任意の領域を認識対象として設
定することはできない。このため、本発明の一実施形態
にかかる媒体処理装置３０においては、文字認識処理に
おいて認識不可能な文字や図形等を含む領域イメージ
（レイアウト）を特徴データとして記録するとともに、
この特徴データに対応するコードデータをレイアウトの
付属情報として記録して、レイアウト照合処理時にレイ
アウトの特徴データの照合を行い、一致する特徴データ
がある場合にはこの特徴データに対応するコードデータ
を取得して認識結果としてディスプレイ表示することに
より、文字認識処理において認識不可能な文字や図形等
を認識することができるようになっている。Since the recognition target is assumed to be a character, there are restrictions on the area of the recognition target, restrictions on the setting of the recognition definition structure, etc., and it is not possible to set any area as the recognition target. Can not. Therefore, in the medium processing device 30 according to the embodiment of the present invention, an area image (layout) including unrecognizable characters and figures in the character recognition process is recorded as characteristic data, and
The code data corresponding to this characteristic data is recorded as the additional information of the layout, the characteristic data of the layout is collated at the time of the layout collation processing, and if there is the characteristic data that matches, the code data corresponding to this characteristic data is acquired. Then, by displaying the recognition result on the display, it is possible to recognize the unrecognizable character or figure in the character recognition process.

【０１９３】ここで、本発明の一実施形態にかかる媒体
処理装置３０における特徴データ認識処理に着目した処
理説明図を図３２に示す。本実施形態にかかる媒体処理
装置３０においては、特徴データ認識処理を、図３２に
示すように、特徴データを学習処理によりレイアウトＤ
Ｂ１４に登録する登録ステップ（ステップＨ１，ステッ
プＡ６，ステップＨ２）と、別に読み取ったイメージに
登録された特徴データと一致するものがあるか照合する
照合ステップ（ステップＨ３）とにより行なうようにな
っている。Here, FIG. 32 shows a processing explanatory view focusing on the characteristic data recognition processing in the medium processing apparatus 30 according to the embodiment of the present invention. In the medium processing device 30 according to the present embodiment, as shown in FIG. 32, the characteristic data recognition process is performed by the layout D by the characteristic data learning process.
The registration step of registering in B14 (step H1, step A6, step H2) and the collation step of collating the separately read image with the feature data registered (step H3) are performed. There is.

【０１９４】ここで、登録ステップは、読み取ったイメ
ージのレイアウトの特徴を抽出してレイアウトの構成を
解析し（ステップＨ１）、解析されたレイアウト構成を
ディスプレイ４０３上に表示して（ステップＡ６）、図
３３に示すように、この表示されたレイアウト構成につ
いて所定の特徴データ認識領域Ｔ（図３３の斜線部）を
設定して、この領域Ｔ内の標章情報（図３３では“富士
通株式会社”）に対応するコードデータＵ〔図３３では
下線部に示された“フジツウ（カ”〕を外部入力装置４
０４を通じて入力し、更に上記の特徴データ認識領域Ｔ
とコードデータＵとから領域特徴データを作成して、こ
の領域特徴データを上記で解析されたレイアウト構成と
をリンクさせて登録するレイアウト学習処理（ステップ
Ｈ２）を行なうものである。Here, in the registration step, the layout characteristics of the read image are extracted to analyze the layout configuration (step H1), and the analyzed layout configuration is displayed on the display 403 (step A6). As shown in FIG. 33, a predetermined feature data recognition area T (hatched portion in FIG. 33) is set for this displayed layout configuration, and the mark information (“FUJITSU LIMITED” in FIG. 33) in this area T is set. ) Corresponding to the code data U [in FIG. 33, the underlined portion "Fujitsu"] is input to the external input device 4
04, and the characteristic data recognition area T
A layout learning process (step H2) is performed in which area characteristic data is created from the code data U and the area characteristic data is linked with the layout configuration analyzed above and registered.

【０１９５】本実施形態にかかる媒体処理装置３０にお
いては、領域特徴データの登録の際に、特徴データ認識
領域Ｔに正規化処理を施すことにより、後述する照合ス
テップにおいて確実に領域特徴データの照合を行なえる
ようになっている。この登録ステップにおいては、上記
領域Ｔ内の標章情報に対応するコードデータＵを入力す
る際に、標章情報に対応する意味付けをもったコードデ
ータを入力することにより、媒体処理装置３０では、特
徴データ認識領域Ｔを認識すれば、対応するコードデー
タを認識結果として画面表示できるようになっている。In the medium processing device 30 according to the present embodiment, when the region characteristic data is registered, the characteristic data recognition region T is normalized so that the region characteristic data is surely collated in the collating step described later. You can do In this registration step, when the code data U corresponding to the mark information in the area T is input, the code data having the meaning corresponding to the mark information is input, so that the medium processing device 30 If the characteristic data recognition area T is recognized, the corresponding code data can be displayed on the screen as the recognition result.

【０１９６】また、照合ステップは、上述の登録ステッ
プの後、別に読み取ったイメージの特徴を抽出してレイ
アウトの構成を解析し、その後登録ステップで登録され
た領域特徴データとレイアウト構成とを参照データとし
てレイアウトＤＢ１４を検索し、一致するものがあるか
どうかを照合するものである。上述の構成により、本発
明の一実施形態にかかる媒体処理装置３０において特徴
データ認識処理を行なう際には、特徴データが学習処理
によりレイアウトＤＢ１４に登録されるとともに、別に
読み取ったイメージに登録された特徴データと一致する
ものがあるかどうかが照合されて、一致する特徴データ
がある場合にはこの特徴データに対応するコードデータ
が取得されて、認識結果としてディスプレイ４０３に表
示される。In the collating step, after the above-mentioned registration step, the characteristics of the separately read image are extracted to analyze the layout configuration, and then the area feature data and the layout configuration registered in the registration step are used as reference data. As a result, the layout DB 14 is searched to check whether there is a match. With the above configuration, when the characteristic data recognition processing is performed in the medium processing device 30 according to the embodiment of the present invention, the characteristic data is registered in the layout DB 14 by the learning processing and is also registered in the separately read image. It is checked whether or not there is a match with the feature data. If there is a match with the feature data, the code data corresponding to this feature data is acquired and displayed on the display 403 as a recognition result.

【０１９７】このときの媒体処理装置３０における動作
を、図３２〜図３４を用いて更に説明する。即ち、図３
２に示すように、新規にレイアウト解析対象の帳票イメ
ージ１９が読み取られると、レイアウト解析処理部２に
おいて、対象帳票のレイアウトが解析されてレイアウト
情報が作成される（ステップＨ１）。The operation of the medium processing device 30 at this time will be further described with reference to FIGS. 32 to 34. That is, FIG.
As shown in FIG. 2, when the form image 19 which is the layout analysis target is newly read, the layout analysis processing unit 2 analyzes the layout of the target form and creates layout information (step H1).

【０１９８】ここで、オペレータ確認／修正処理ブロッ
ク１８（図１参照）では、帳票イメージ及び解析された
レイアウト情報がディスプレイ４０３に表示され、図３
３に示すように、オペレータにより特徴データ認識領域
Ｔ（“富士通株式会社”）が設定され、対応するコード
データＵ〔“フジツウ（カ”〕が外部入力装置４０４か
ら入力される（ステップＡ６）。Here, in the operator confirmation / correction processing block 18 (see FIG. 1), the form image and the analyzed layout information are displayed on the display 403.
As shown in FIG. 3, the operator sets the characteristic data recognition area T (“Fujitsu Limited”), and the corresponding code data U [“Fujitsu (ka)”] is input from the external input device 404 (step A6).

【０１９９】さらに、レイアウトログ情報作成処理部１
１では、オペレータにより指定された領域Ｔと入力され
たコードデータＵから領域特徴データが作成され、レイ
アウト認識処理ブロック１６にて取得したレイアウト情
報とともにレイアウトＤＢ１４にレイアウト補正情報と
して学習登録される（ステップＨ２）。従って、上述の
オペレータ確認／修正処理ブロック１８及びレイアウト
ログ情報作成処理部１１により、登録ステップの動作が
行なわれることになる。Further, the layout log information creation processing unit 1
In 1, the area feature data is created from the area T designated by the operator and the code data U input, and learning registration is performed as layout correction information in the layout DB 14 together with the layout information acquired in the layout recognition processing block 16 (step H2). Therefore, the operation of the registration step is performed by the operator confirmation / correction processing block 18 and the layout log information creation processing unit 11 described above.

【０２００】このように、レイアウトＤＢ１４に領域特
徴データが登録された後に、レイアウト解析処理部２で
は、上述において処理されたものと同一の帳票イメージ
１９が再度読み取られると、対象帳票のレイアウトが解
析されてレイアウト情報が作成される。さらに、レイア
ウト照合処理部３では、解析されたレイアウト情報を検
索条件として用いてレイアウトＤＢ１４を検索すること
により、ステップＨ２において学習登録された該当帳票
のレイアウト補正情報が取得される。In this way, after the area feature data is registered in the layout DB 14, the layout analysis processing section 2 reads the same form image 19 as the one processed in the above, and the layout of the target form is analyzed. Then, the layout information is created. Further, the layout collation processing unit 3 searches the layout DB 14 by using the analyzed layout information as a search condition, thereby acquiring the layout correction information of the corresponding form registered for learning in step H2.

【０２０１】ここで、取得されたレイアウト補正情報の
うちの領域特徴データについて、解析中の帳票のイメー
ジに該当するものがあるかが照合されて、照合の結果、
解析中の帳票のイメージに一致条件を満たすものがある
場合には、この領域特徴データに対応するコードデータ
Ｕがレイアウト認識結果２０として設定される（ステッ
プＨ３）。Here, with respect to the area feature data of the acquired layout correction information, it is collated whether or not there is one corresponding to the image of the form being analyzed, and as a result of the collation,
If there is an image of the form being analyzed that satisfies the matching condition, the code data U corresponding to this area feature data is set as the layout recognition result 20 (step H3).

【０２０２】そして、オペレータ確認／修正処理ブロッ
ク１８では、読み取られた帳票イメージ及びレイアウト
認識結果２０がディスプレイ４０３に表示されるととも
に、図３４に示すように、通常の文字認識結果２２と同
様に特徴データの認識結果として特徴データ認識領域Ｔ
及び対応するコードデータＵがディスプレイ４０３に表
示される（ステップＡ１３）。Then, in the operator confirmation / correction processing block 18, the read form image and layout recognition result 20 are displayed on the display 403, and as shown in FIG. As a data recognition result, the characteristic data recognition area T
And the corresponding code data U is displayed on the display 403 (step A13).

【０２０３】このように、本発明の一実施形態にかかる
媒体処理装置における特徴データ認識処理によれば、文
字認識装置と同様の領域イメージ特徴抽出機構及び特徴
照合機構を機能拡張して、レイアウト認識システムと組
み合わせて、登録ステップでオペレータにより指定され
た特徴データ認識領域Ｔ及び対応するコードデータＵ
（認識結果コード）を、レイアウト解析結果とともにレ
イアウトＤＢ１４に動的に学習登録するとともに、学習
済のレイアウトと同一のレイアウトを持つ帳票の認識を
行なう場合に、照合ステップでレイアウトＤＢ１４から
レイアウト情報とともに領域特徴データを取得して、認
識対象の帳票イメージの該当領域との照合を行い、照合
の結果、対応するコードデータＵを取得して認識結果と
して設定し出力することにより、指定された領域におけ
る任意の図形イメージの認識処理をレイアウト認識処理
と連動して行なうことが可能となる。As described above, according to the feature data recognition processing in the medium processing device according to the embodiment of the present invention, the layout image recognition is performed by expanding the functions of the area image feature extraction mechanism and the feature matching mechanism similar to those of the character recognition device. In combination with the system, the feature data recognition area T and the corresponding code data U designated by the operator in the registration step
(Recognition result code) is dynamically learned and registered in the layout DB 14 together with the layout analysis result, and when a form having the same layout as the learned layout is to be recognized, the area including the layout information is acquired from the layout DB 14 in the collation step. By acquiring the characteristic data and matching it with the corresponding area of the form image to be recognized, and as a result of the matching, acquiring the corresponding code data U, setting it as the recognition result, and outputting it It is possible to perform the graphic image recognition processing in conjunction with the layout recognition processing.

【０２０４】即ち、指定された任意の領域イメージを認
識対象領域として登録することにより、文字に限定され
ずに任意の領域を認識して対応するコードデータを取得
することが可能となるのであり、認識対象領域をレイア
ウト情報とともにレイアウトＤＢ１４に動的に学習する
ことにより、レイアウトの再出現時に認識対象領域の認
識処理をレイアウト認識処理と連動して行なうことが可
能となるのである。That is, by registering a designated arbitrary area image as a recognition target area, it is possible to recognize any area without being limited to characters and obtain corresponding code data. By dynamically learning the recognition target area in the layout DB 14 together with the layout information, the recognition processing of the recognition target area can be performed in conjunction with the layout recognition processing when the layout reappears.

【０２０５】また、本実施形態においては、照合対象の
領域特徴データがレイアウト情報にリンクして記録され
るため、レイアウト単位で照合対象を限定することが可
能となり、これにより、通常の文字認識装置のように大
量の照合処理を行なう必要がなくなるとともに、高い認
識率を実現することが可能となる。さらに、同一帳票内
において、認識対象領域のデータにリンク関係を持たせ
て複数設定することが可能であるため、レイアウト内の
認識対象領域の位置情報とデータ構造とを対応させて登
録することが可能となる。なお、上述したような特徴デ
ータ認識処理は、漢字項目のカナ認識処理や、為替総合
振込帳票の依頼人／受取人の認識処理にも適用すること
ができる。Further, in the present embodiment, since the region characteristic data of the collation target is recorded by being linked to the layout information, it is possible to limit the collation target on a layout unit basis. It is not necessary to perform a large amount of collation processing as described above, and a high recognition rate can be realized. Further, since it is possible to set a plurality of data in the recognition target area in a link relation in the same form, it is possible to register the position information of the recognition target area in the layout and the data structure in association with each other. It will be possible. The feature data recognition processing as described above can be applied to kana recognition processing of kanji items and client / recipient recognition processing of a comprehensive exchange transfer form.

【０２０６】即ち、帳票上の漢字項目を特徴データとし
て認識する場合には、漢字で記入された項目の領域を特
徴領域として指定し、対応するコードデータをカナで入
力して、帳票のレイアウト情報とともに特徴データ及び
コードデータを学習登録させる。このようにすれば、学
習登録された帳票と同一レイアウトの帳票のレイアウト
認識を行なう場合には、漢字項目の特徴領域の認識結果
としてカナのコードデータを取得することができる。That is, when recognizing a kanji item on a form as characteristic data, the area of the item written in kanji is specified as the characteristic region, and the corresponding code data is entered in kana to obtain the form layout information. At the same time, the characteristic data and the code data are learned and registered. In this way, when performing layout recognition of a form having the same layout as the learned and registered form, kana code data can be acquired as the recognition result of the characteristic region of the kanji item.

【０２０７】また、この漢字項目の特徴データ認識処理
の場合と同様に、ゴム印やサイン等の項目を特徴データ
認識項目として指定すれば、通常の文字認識では認識で
きないゴム印やサイン等の項目を認識することができ、
ゴム印やサイン等の項目の特徴領域の認識結果として対
応するコードデータを取得することができる。さらに、
為替総合振込帳票においては、記載される依頼人姓名や
受取人姓名の項目は任意の組み合わせを持つ訳ではな
く、その帳票に依存した関係を持つ（図３５及び図３６
参照）。As in the case of the characteristic data recognition processing for Kanji items, if items such as rubber stamps and signs are designated as characteristic data recognition items, items such as rubber stamps and signs that cannot be recognized by normal character recognition are recognized. You can
Corresponding code data can be acquired as the recognition result of the characteristic regions of items such as rubber stamps and signatures. further,
In the total money transfer form, the items of the surname and surname of the client and the surname and surname of the recipient do not have an arbitrary combination, but have a relationship depending on the form (FIGS. 35 and 36).
reference).

【０２０８】従って、依頼人及び受取人姓名を特徴デー
タ認識項目として学習登録する際に、それぞれの関係を
リンクして学習登録することにより、特徴データ照合時
に更に精度の高い認識が可能となる。 （ａ６）見出し解析処理の説明 本発明の一実施形態にかかる媒体処理装置３０において
は、解析対象の帳票イメージの罫線項目構成から見出し
位置を探索照合して、帳票上に記載された見出しと対応
する項目情報を自動的に解析する見出し解析処理が行な
われようになっている。Therefore, when the client and recipient's first and last names are learned and registered as characteristic data recognition items, the respective relationships are linked and learned and registered, so that recognition with higher accuracy can be performed at the time of collating the characteristic data. (A6) Description of Heading Analysis Process In the medium processing device 30 according to the embodiment of the present invention, the heading position is searched and collated from the ruled line item configuration of the form image to be analyzed, and the heading described in the form is matched. A headline analysis process for automatically analyzing item information to be performed is performed.

【０２０９】ここで、本実施形態にかかる媒体処理装置
３０は、読み取ったイメージのレイアウトを論理的に表
現するレイアウト解析処理ステップＡ２（又はＡ９）
と、読み取ったイメージのレイアウトと一致するレイア
ウトがレイアウトＤＢ１４にあるかどうかを照合するレ
イアウト照合処理ステップＡ３（又はＡ１０）とをそな
えている。Here, the medium processing device 30 according to the present embodiment is a layout analysis processing step A2 (or A9) for logically expressing the layout of the read image.
And a layout collation processing step A3 (or A10) for collating whether or not there is a layout matching the layout of the read image in the layout DB 14.

【０２１０】レイアウト解析処理ステップＡ２（又はＡ
９）は、読み取ったイメージのレイアウトの罫線項目を
抽出して、レイアウトの構成を解析し、抽出した罫線項
目によりイメージ中の見出し領域を決定し、この見出し
領域中の見出し項目情報を認識して、対応する項目デー
タを決定して、レイアウトを論理的に表現するものであ
り、レイアウト解析処理部２のレイアウト解析部２Ｂで
行なわれている。Layout analysis processing step A2 (or A
9) extracts the ruled line items of the read image layout, analyzes the layout configuration, determines the heading region in the image by the extracted ruled line items, and recognizes the heading item information in the heading region. The layout analysis unit 2B of the layout analysis processing unit 2 determines the corresponding item data and logically expresses the layout.

【０２１１】このレイアウト解析処理ステップＡ２（又
はＡ９）は、レイアウトの構成解析結果に基づいて見出
し位置候補を決定する見出し位置候補決定ステップと、
このステップで決定された見出し位置候補に対し見出し
領域中の見出し項目情報を照合する見出し項目照合ステ
ップとを含んでいる。なお、この見出し項目照合ステッ
プでの見出し項目の照合処理は、この見出し項目照合ス
テップにおいて、図４９を用いて後述にて説明するよう
に、照合させるべきイメージデータに正規化処理が施さ
れてから行なわれるようになっている。The layout analysis processing step A2 (or A9) includes a heading position candidate deciding step for deciding a heading position candidate based on the layout structure analysis result.
And a heading item collating step of collating the heading item information in the heading area with the heading position candidate determined in this step. It should be noted that the matching process of the heading items in the heading item matching step is performed after the image data to be matched is normalized in the heading item matching step, as will be described later using FIG. 49. It is supposed to be done.

【０２１２】また、レイアウト照合処理ステップＡ３
（又はＡ１０）は、レイアウト解析処理ステップで抽出
されたレイアウトの罫線項目を制約検索条件として、レ
イアウトＤＢ１４に記憶されている候補レイアウトを検
索することにより、一致している候補レイアウトがある
かどうかを照合するものであり、レイアウト照合処理部
３で行なわれている。Layout collation processing step A3
(Or A10) searches for a candidate layout stored in the layout DB 14 using the ruled line items of the layout extracted in the layout analysis processing step as a constraint search condition to determine whether there is a matching candidate layout. The collation is performed by the layout collation processing unit 3.

【０２１３】ここで、本実施形態にかかる媒体処理装置
３０のレイアウト解析処理部２のレイアウト解析部２Ｂ
における見出し解析処理に着目した処理説明図を図３７
に示す。レイアウト解析部２Ｂは、図３７に示すよう
に、罫線項目構成解析処理（ステップＫ１）及び項目見
出し位置探索処理（ステップＫ２）からなる見出し位置
候補決定ステップＫ９としての処理を行なうとともに、
項目見出し照合処理（ステップＫ３），多元特徴データ
抽出照合処理（ステップＫ４），見出し照合結果補正処
理（ステップＫ５），項目データ位置探索処理（ステッ
プＫ６），項目データ部リンク処理（ステップＫ７）及
び金額項目リンク処理（ステップＫ８）からなる見出し
項目照合ステップＫ１０としての処理を行なうようにな
っている。Here, the layout analysis section 2B of the layout analysis processing section 2 of the medium processing device 30 according to the present embodiment.
37 is a process explanatory diagram focusing on the headline analysis process in FIG.
Shown in. As shown in FIG. 37, the layout analysis unit 2B performs processing as a heading position candidate determination step K9 including ruled line item configuration analysis processing (step K1) and item heading position search processing (step K2).
Item headline collation processing (step K3), multi-dimensional feature data extraction collation processing (step K4), headline collation result correction processing (step K5), item data position search processing (step K6), item data section link processing (step K7), and The process is performed as a heading item collation step K10 including a price item link process (step K8).

【０２１４】なお、解析用辞書１３は、見出し探索ルー
ル５０５，項目見出し辞書５０７，見出し補正ルール５
０８及びデータ探索ルール５０９を格納するようになっ
ている。ここで、罫線項目構成解析処理（ステップＫ
１）は、レイアウトの解析により得られた罫線項目情報
５０２と表構造情報（図示せず）を参照して、後述する
見出し位置探索ルールにより評価されるルールキー情報
としての罫線項目構成情報テーブル（罫線項目構成情報
ＴＢＬ）５０３を作成するものである。The analysis dictionary 13 includes the heading search rule 505, the item heading dictionary 507, and the heading correction rule 5.
08 and the data search rule 509 are stored. Here, ruled line item configuration analysis processing (step K
1) refers to the ruled line item information 502 and the table structure information (not shown) obtained by the layout analysis, and refers to the ruled line item configuration information table (rule key information as rule key information evaluated by the heading position search rule described later). Ruled line item configuration information TBL) 503 is created.

【０２１５】レイアウト解析部２Ｂの表構造解析部２Ｅ
による表構造解析の結果、個々の罫線項目には図３８に
示すような構成情報が付加される。罫線項目情報５０２
について、図３８を用いて説明すると、罫線項目ＩＤ
は、個々の罫線項目を識別するＩＤ情報であって罫線項
目抽出時にユニークに採番されるものであり、グループ
ＩＤは、罫線項目をグループ化した場合に同一グループ
に対して付加する識別ＩＤであり、ブロックＩＤは、同
一グループ内で同一の罫線項目構成を持つ単位に分割し
た個々の識別用のＩＤである。The table structure analysis unit 2E of the layout analysis unit 2B
As a result of the table structure analysis by, the configuration information as shown in FIG. 38 is added to each ruled line item. Ruled line item information 502
38 will be described with reference to FIG. 38. Ruled line item ID
Is the ID information for identifying each ruled line item and is uniquely numbered when the ruled line item is extracted. The group ID is an identification ID added to the same group when the ruled line items are grouped. The block ID is an ID for individual identification divided into units having the same ruled line item configuration in the same group.

【０２１６】また、表構成は、グループＩＤで識別され
る罫線項目の表構成の有無を示すものであり、表構成の
有無の判断を固定としないために、表構成の有無の判断
は項目行数／項目列数で行なわれる。なお、項目行数
は、グループ内の表矩形に存在する罫線項目表の行構成
を示すものであり、項目列数は、グループ内の表矩形に
存在する罫線項目表の列構成を示すものである。The table structure indicates whether or not there is a table structure for the ruled line item identified by the group ID. Since the determination as to whether or not there is a table structure is not fixed, the presence or absence of the table structure is determined by item line. The number / number of item columns is used. The number of item rows indicates the line configuration of the ruled line item table existing in the table rectangle in the group, and the item column number indicates the column configuration of the ruled line item table existing in the table rectangle in the group. is there.

【０２１７】さらに、罫線属性は、個々の罫線項目につ
いてのレイアウトの構成要素としての属性情報であり、
帳票レイアウトへの対応を図３９に示す。図３９に示す
ように、表構造以外の罫線項目としては、以下に示すも
のがある。 （ａ）１罫線項目〔１〕 （ｂ）２罫線項目〔２〕 （ｃ）ブロック罫線項目〔Ｂ〕 （ｄ）入れ子罫線項目〔Ｉ〕 また、図３９に示すように、表構造の罫線項目として
は、以下に示すものがある。 （ｅ）見出し行に属する罫線項目〔Ｈ〕 （ｆ）フッタ行に属する罫線項目〔Ｆ〕 （ｇ）ボディ行に属する罫線項目〔Ｄ〕 （ｈ）上凸部に属する罫線項目〔Ｕ〕 （ｉ）下凸部に属する罫線項目〔Ｌ〕 なお、図３９に示す帳票レイアウトには、フッタ行が存
在しないため、（ｆ）フッタ行に属する罫線項目も存在
しない。Furthermore, the ruled line attribute is attribute information as a component of the layout for each ruled line item,
The correspondence to the form layout is shown in FIG. As shown in FIG. 39, there are the following ruled line items other than the table structure. (A) 1 ruled line item [1] (b) 2 ruled line item [2] (c) block ruled line item [B] (d) nested ruled line item [I] Also, as shown in FIG. 39, a table structured ruled line item There are the following. (E) Ruled line item [H] that belongs to the heading line (f) Ruled line item that belongs to the footer line [F] (g) Ruled line item that belongs to the body line [D] (h) Ruled line item that belongs to the upward convex portion [U] ( i) Ruled line item belonging to the downward convex portion [L] Since there is no footer line in the form layout shown in FIG. 39, (f) no ruled line item also belongs to the footer line.

【０２１８】また、（ａ）〜（ｉ）の〔〕内にそれぞれ
示す１，２，Ｂ，Ｉ，Ｈ，Ｆ，Ｄ，Ｕ，Ｌは、各罫線属
性が符号化されたものである。ところで、行情報は、罫
線項目表内の罫線項目の行番号を示すものであり、列情
報は、罫線項目表内の罫線項目の列番号を示すものであ
る。また、階層情報は、例えば図３９の（ｄ）に示すよ
うに、罫線項目属性として入れ子構造を持つ罫線項目の
階層関係を示すものである。さらに、先頭／最終は、同
一グループ内での罫線項目の位置情報を示すものであ
る。Further, 1, 2, B, I, H, F, D, U and L shown in [] of (a) to (i) respectively are the ruled line attributes encoded. By the way, the line information indicates the line number of the ruled line item in the ruled line item table, and the column information indicates the column number of the ruled line item in the ruled line item table. In addition, the hierarchical information indicates a hierarchical relationship of ruled line items having a nested structure as a ruled line item attribute, as shown in (d) of FIG. 39, for example. Furthermore, the head / final indicates position information of ruled line items in the same group.

【０２１９】そして、レイアウトの解析により得られた
上述のような罫線項目情報５０２及び表構造情報を参照
して、罫線項目構成情報ＴＢＬ５０３が作成される〔図
４０及び図４１（ａ）〜（ｄ）参照〕 また、項目見出し位置探索処理（ステップＫ２）は、ス
テップＫ１において作成された罫線項目構成情報ＴＢＬ
５０３における各罫線項目を、見出し位置探索ルール
〔図４２及び図４３（ａ），（ｂ）参照〕により評価し
て、見出し位置候補を決定するものである。Then, the ruled line item configuration information TBL 503 is created by referring to the ruled line item information 502 and the table structure information as described above obtained by the layout analysis [FIGS. 40 and 41 (a) to (d). )] Further, the item heading position searching process (step K2) is performed by the ruled line item configuration information TBL created in step K1.
Each ruled line item in 503 is evaluated by a heading position search rule [see FIGS. 42 and 43 (a) and (b)] to determine a heading position candidate.

【０２２０】見出し位置探索ルール５０５は、解析対象
の帳票に合わせて上位より指定されるものであり、対象
帳票を為替総合振込帳票（一次元表）とした場合の見出
し位置探索ルール５０５の一例を以下に示す。まず、表
構造以外の見出し位置探索ルールについて説明する。表
構造以外の罫線項目には、表構造部分と同一グループで
ある上凸，下凸，フッタ行を含む罫線項目や、表構造部
分と別グループであり表を構成しない罫線項目が該当
し、このような罫線項目についての見出し位置探索ルー
ルを以下に示す。 （ａ）１個の罫線項目から構成される場合、その罫線項
目内に見出し部が存在する（※データ部共存）。 （ｂ）１個の入れ子罫線項目から構成される場合、入れ
子の左側罫線項目に見出し部が存在する。 （ｃ）１個の入れ子罫線項目から構成される場合、入れ
子の上側罫線項目に見出し部が存在する。 （ｄ）２個以上の罫線項目から構成される場合、先頭罫
線項目に見出し部が存在する。 （ｅ）２個以上の罫線項目から構成される場合、先頭罫
線項目および継続する罫線項目に見出し部が存在する。The heading position searching rule 505 is specified from the top according to the form to be analyzed, and an example of the heading position searching rule 505 when the target form is a general exchange transfer form (one-dimensional table) It is shown below. First, the heading position search rule other than the table structure will be described. The ruled line items other than the table structure include ruled line items that include the upward convex, downward convex, and footer rows that are in the same group as the table structure part, and the ruled line items that are in a different group from the table structure part and do not form a table. The heading position search rule for such ruled line items is shown below. (A) When it is composed of one ruled line item, a headline part exists in the ruled line item (* data part coexists). (B) When it is composed of one nested ruled line item, a heading portion exists in the nested left ruled line item. (C) When it is composed of one nested ruled line item, the heading portion exists in the nested upper ruled line item. (D) When it is composed of two or more ruled line items, the heading part exists in the leading ruled line item. (E) When it is composed of two or more ruled line items, the heading part exists in the leading ruled line item and the continued ruled line item.

【０２２１】また、表構造部分の見出し位置探索ルール
５０５について説明する。表構造の罫線項目は、同一グ
ループ内の罫線項目内で２行×２列以上の表矩形を含む
最大矩形部分に存在し、最大矩形部分の先頭行にヘッダ
部が存在し、継続する行部分にボディ部が存在する。こ
のような罫線項目についての見出し位置探索ルールを以
下に示す。 （ｆ）表構成部分のヘッダ行に、複数データ部を持つ見
出し項目が存在する。 （ｇ）表構成部分のヘッダ行に入れ子罫線項目が存在す
る場合、その罫線項目の上側に複合見出しが存在する。 （ｈ）表構成部分のヘッダ行に入れ子罫線項目が存在す
る場合、その罫線項目の下側に子見出しが存在する。The index position search rule 505 for the table structure portion will be described. The table-structured ruled line item exists in the maximum rectangular part including the table rectangle of 2 rows x 2 columns or more in the ruled line item in the same group, the header part exists in the first row of the maximum rectangular part, and the continuous line part There is a body part in. The heading position search rule for such ruled line items is shown below. (F) There is a heading item having a plurality of data parts in the header row of the table constituent part. (G) When there is a nested ruled line item in the header row of the table constituent part, a compound heading exists above the ruled line item. (H) When a nested ruled line item exists in the header line of the table constituent part, a child heading exists below the ruled line item.

【０２２２】レイアウト解析部２Ｂが、ステップＫ２の
項目見出し位置探索処理を行なう場合においては、例え
ば上述したような見出し位置探索ルール５０５に基づい
て、見出し照合対象となる見出し位置候補の決定が行な
われ、このときの処理を図４４に示すフローチャートを
用いて説明する。まず、ステップＫ１において作成され
た罫線項目構成情報ＴＢＬ５０３から罫線項目情報が取
り出される（ステップＪ１）。When the layout analysis section 2B performs the item heading position searching process at step K2, the heading position candidate to be a heading collation target is determined based on the heading position searching rule 505 as described above, for example. The process at this time will be described with reference to the flowchart shown in FIG. First, ruled line item information is extracted from the ruled line item configuration information TBL 503 created in step K1 (step J1).

【０２２３】続いて、見出し位置探索ルール５０５に基
づいて見出し位置の評価が行われ（ステップＪ２）、評
価結果が罫線項目構成情報ＴＢＬ５０３に記録される
（ステップＪ３）。ここで、全ての見出し位置探索ルー
ル５０５に基づいて見出し位置の評価が行なわれたか判
定され、見出し位置の評価に用いていないルールがあれ
ばそのルールに基づいて見出し位置の評価が行なわれる
（ステップＪ４からステップＪ２，ステップＪ３）。Subsequently, the heading position is evaluated based on the heading position search rule 505 (step J2), and the evaluation result is recorded in the ruled line item configuration information TBL 503 (step J3). Here, it is determined based on all the headline position search rules 505 whether or not the headline position is evaluated, and if there is a rule that is not used in the evaluation of the headline position, the headline position is evaluated based on that rule (step From J4 to step J2 and step J3).

【０２２４】さらに、全ての罫線項目情報について見出
し位置の評価が行なわれたか判定され、評価されていな
い罫線項目情報があればその罫線項目情報について評価
が行われる（ステップＪ５からステップＪ１〜ステップ
Ｊ４）。そして、全ての罫線項目情報についての見出し
位置の評価が終了したら、動作パラメタ情報５０１内の
評価基準値を参照して見出し位置候補が決定される（ス
テップＪ６）。Further, it is judged whether the heading positions have been evaluated for all ruled line item information, and if there is ruled line item information that has not been evaluated, the ruled line item information is evaluated (steps J5 to J1 to J4). ). Then, when the evaluation of the heading position for all ruled line item information is completed, the heading position candidate is determined by referring to the evaluation reference value in the operation parameter information 501 (step J6).

【０２２５】例えば図３９に示す帳票においては、図４
５に示す網かけ表示された罫線項目（網かけ部分Ｖ）が
見出し位置候補として決定される。さらに、項目見出し
照合処理（ステップＫ３）は、見出し位置探索ルール５
０５に基づいて決定された見出し位置候補について、多
元特徴データの抽出照合処理により罫線項目内に存在す
る項目データが項目見出し辞書５０７と照合され（ステ
ップＫ４）、その結果により、見出し位置候補の罫線項
目の位置とその見出しに対応する機能項目とが決定され
るものである。For example, in the form shown in FIG. 39, the form shown in FIG.
The shaded ruled line item (shaded portion V) shown in 5 is determined as a heading position candidate. Further, the item headline matching process (step K3) is performed by the headline position search rule 5
For the heading position candidate determined based on 05, the item data existing in the ruled line item is collated with the item heading dictionary 507 by the extraction and collation processing of the multi-dimensional feature data (step K4), and the result is the ruled line of the heading position candidate. The position of the item and the function item corresponding to the heading are determined.

【０２２６】ここで、照合対象となる見出し項目データ
（見出し罫線項目内の項目データ）について説明する
と、見出し位置候補の罫線項目には、複数の見出し項目
データが含まれる場合がある。このとき照合対象となる
見出し項目データは、以下の方式により決定される。ま
ず、照合対象となる見出し項目データは、例えば図４６
（ａ）に示すように、見出し位置候補の罫線項目内で最
大の項目データとする。The heading item data (item data in the heading ruled line item) to be collated will now be described. The ruled line item of the heading position candidate may include a plurality of heading item data. At this time, the heading item data to be collated is determined by the following method. First, the index item data to be matched is, for example, as shown in FIG.
As shown in (a), the maximum item data is set in the ruled line item of the heading position candidate.

【０２２７】ここで、単一機能見出しの場合には、照合
時に有効となる見出し項目データは１つしかないはずで
あるため、図４６（ｂ）に示すように、残りの項目デー
タはゴミまたは単位等の飾り文字であると仮定し、複合
機能見出しの場合にも、図４６（ｃ）に示すように、通
常は見出し項目データは続けて存在すると仮定する。ま
た、図４７（ａ）に示すような縦書き見出しの場合や、
図４７（ｂ），（ｃ）に示すような複数行から構成され
る見出しの場合には、照合対象の見出し項目データは継
続する項目データを合わせた領域に存在すると仮定す
る。Here, in the case of a single function heading, since there should be only one heading item data that is valid at the time of collation, as shown in FIG. 46 (b), the remaining item data is dust or It is assumed that it is a decorative character such as a unit, and even in the case of a composite function headline, normally, headline item data continuously exists, as shown in FIG. 46 (c). In the case of a vertical heading as shown in FIG. 47 (a),
In the case of a headline composed of a plurality of lines as shown in FIGS. 47 (b) and (c), it is assumed that the headline item data to be collated exists in the area where the continuous item data are combined.

【０２２８】即ち、縦書きの項目データは、先頭行の項
目データと同一のＸ座標付近から始まると仮定して、継
続する項目データを統合した領域とするのである。しか
しながら、図４８（ａ），（ｂ）に示すような複合見出
しの場合や、図４８（ｃ）に示すような複数行見出しの
場合には、見出し項目データを正しく決定することはで
きない。That is, it is assumed that the vertically written item data starts near the same X coordinate as that of the item data of the first line, and is set as an area in which continuous item data are integrated. However, in the case of the composite headline as shown in FIGS. 48 (a) and 48 (b) or the multi-line headline as shown in FIG. 48 (c), the headline item data cannot be correctly determined.

【０２２９】従って、本処理においては、あくまでも先
の条件で統合された領域を、項目データと見なして処理
される。ところで、見出し項目照合ステップＫ１０の多
元特徴データ抽出照合処理（ステップＫ４）において
は、見出し項目に正規化処理を施すようになっており、
これにより、各種帳票に表記の違いや印字フォント／印
字ピッチ等の相違があっても、見出し照合時に突き合わ
せる見出し項目データのイメージを、全て項目見出し辞
書５０７に格納できるようになっている。Therefore, in this processing, the area integrated under the previous condition is regarded as item data and processed. By the way, in the multi-dimensional feature data extraction and collation processing (step K4) of the heading item collation step K10, the heading items are normalized.
Thereby, even if there is a difference in notation or print font / print pitch in various forms, all the image of the index item data to be matched at the time of index matching can be stored in the item index dictionary 507.

【０２３０】印字フォントの相違については、見出し項
目の照合を重心４分割による正規化処理後（手書き文字
認識手法）、多元特徴による照合を行うことにより対応
する。また、印字ピッチの相違については、図４９に示
すように、照合する見出し項目データの文字間の空白
を、一定量（例えば１ドット）となるように正規化する
ことにより対応する。The difference in the print fonts is dealt with by collating the heading items after normalization processing by dividing the center of gravity into four (handwriting character recognition method) and then collating by the multidimensional feature. Further, as shown in FIG. 49, the difference in the printing pitch is dealt with by normalizing the space between characters of the heading item data to be collated so as to be a fixed amount (for example, 1 dot).

【０２３１】さらに、項目見出しの表記の違いについて
は、項目見出し辞書５０７内に代表的な見出し文言の表
記を予め複数種類持つことにより対応する。この項目見
出し辞書５０７には、予めサンプル帳票から取得した見
出し項目データのイメージを、正規化処理した後に多元
特徴情報として格納してある。また、見出しの表記の違
いを吸収するため、図５０に示すように、同一機能を示
す項目見出しはすべて同一カテゴリとして分類して格納
されている。Further, the difference in the notation of the item headline is dealt with by having a plurality of types of representative notation of the headline wording in advance in the item headline dictionary 507. In this item heading dictionary 507, an image of heading item data acquired from a sample form in advance is stored as multi-dimensional feature information after being normalized. Further, in order to absorb the difference in the notation of the headline, as shown in FIG. 50, all item headlines having the same function are classified and stored as the same category.

【０２３２】そして、ステップＫ４おいて特徴照合抽出
処理により見出し項目データを照合した場合、その照合
結果として各候補見出しのカテゴリＩＤ，見出しイメー
ジＩＤ及び相違度が、図５１（ａ），（ｂ）に示すよう
に、候補順に通知される。さらに、動作パラメタ情報５
０１の見出し照合パラメタ（Ｔｈ１，Ｔｈ２）を参照し
て、見出し項目位置の見出し内容が決定される。When the heading item data is collated by the characteristic collating and extracting process in step K4, the category ID, the heading image ID and the dissimilarity of each candidate heading are shown in FIG. 51 (a), (b) as the collation result. As shown in, notification is made in the order of candidates. Furthermore, operation parameter information 5
The headline content at the headline item position is determined by referring to the headline matching parameter 01 (Th1, Th2).

【０２３３】即ち、照合結果の第１位の候補見出しにつ
いてその相違度が照合パラメタ（Ｔｈ１）以下である相
違度条件と、照合結果の第１位候補とカテゴリＩＤの異
なる（機能項目が異なる）候補との相違度差が照合パラ
メタ（Ｔｈ２）以上である相違度差条件とを満たすもの
を、見出し項目位置の見出し内容とするのである。例え
ば、図５１に示す例においては、Ｔｈ１＝１０００及び
Ｔｈ２＝２０００と仮定して評価すると以下のようにな
り、照合結果は上述の２つの条件（相違度条件及び相違
度差条件）を満たしていることがわかる。That is, with respect to the first candidate headline of the matching result, the difference degree condition that the degree of difference is less than or equal to the matching parameter (Th1) and the category ID of the first candidate of the matching result and the category ID are different (function items are different). What satisfies the difference level difference condition that the difference level with the candidate is greater than or equal to the matching parameter (Th2) is the index content at the index item position. For example, in the example shown in FIG. 51, when Th1 = 1000 and Th2 = 2000 are evaluated and evaluated, the result is as follows, and the collation result satisfies the above two conditions (difference degree condition and difference degree difference condition). You can see that

【０２３４】 相違度条件 ：（３５０）≦（Ｔｈ１＝１０００）→Ｏ
Ｋ 相違度差条件：｜（２７００−３５０）｜≧（Ｔｈ２＝
２０００）→ＯＫ このように見出し項目データの照合を行った結果、想定
されるケースには、全ての照合結果がＯＫであり見出し
項目の解析が１００％成功したと思われるケース（ケー
ス１），一部の見出し項目の解析を失敗したケース（ケ
ース２）及びほとんどの項目見出しの解析を失敗したケ
ース（ケース３）がある。Dissimilarity condition: (350) ≦ (Th1 = 1000) → O
K difference degree difference condition: | (2700-350) | ≧ (Th2 =
2000) → OK In this way, as a result of collating the heading item data in this way, all collation results are OK, and it seems that the heading item analysis is 100% successful (case 1), There are cases in which analysis of some headline items failed (case 2) and cases in which analysis of most item headlines failed (case 3).

【０２３５】ここで、ケース１の場合には、そのまま照
合結果を見出し解析結果として通知し、ケース３の場合
には、見出し解析結果が失敗したとして通知してその帳
票の認識結果はリジェクトとして依頼元に通知される。
また、ケース２の場合には、見出し照合結果補正処理
（ステップＫ５）を施すことにより、その中である特定
の場合については、解析できなかった見出し項目を解析
することができる。Here, in case 1, the collation result is notified as it is as the headline analysis result, and in case 3, the headline analysis result is notified as failure and the recognition result of the form is requested as a reject. The original will be notified.
Further, in case 2, by performing the headline collation result correction process (step K5), the headline item that could not be analyzed can be analyzed in a specific case among them.

【０２３６】見出し項目の照合の結果、表構造部分の見
出し行で定義される必須の見出し項目について、以下の
場合に見出し補正ルール５０８により補正が行なわれる
（見出し補正ルール５０８による見出し照合結果補正処
理，ステップＫ５）。なお、見出し補正ルール５０８
は、照合結果が未確定の場合にのみ適用するものであ
り、照合結果を否定するような使い方はできないものと
する。As a result of the matching of the heading items, the essential heading items defined in the heading row of the table structure portion are corrected by the heading correction rule 508 in the following cases (heading matching result correction processing by the heading correction rule 508). , Step K5). The headline correction rule 508
Applies only when the collation result is unconfirmed, and cannot be used to deny the collation result.

【０２３７】ここで、図５２（ａ）に示すように、入れ
子構造を持つ複合見出し項目のうちのいずれか一方の見
出し項目が未確定である場合に、見出し補正ルール５０
８により補正が行なわれると、複合見出し項目の機能項
目内容から残りの機能項目が一意に決定するため（複合
見出し項目の“金融機関名”の場合、入れ子の見出し項
目には必ず“銀行名”と“支店名”の見出しが対応する
ため）、解析できなかった見出し項目（網かけ部分Ｗ）
を解析することができる。Here, as shown in FIG. 52 (a), when one of the composite heading items having a nested structure is unconfirmed, the heading correction rule 50 is set.
When the correction is performed according to item 8, the remaining function items are uniquely determined from the function item contents of the composite heading item (in the case of the “financial institution name” of the composite heading item, the nested heading item must be “bank name” And the heading of "branch name" correspond to each other), the heading item that could not be analyzed (shaded portion W)
Can be analyzed.

【０２３８】また、図５２（ｂ）に示すように、例えば
総合振込帳票において見出し行にある必須項目の見出し
が１つだけ未確定である場合に、見出し補正ルール５０
８により補正が行なわれると、見出し行にあるべき機能
項目が機能名情報テーブルから一意に決定するため、解
析できなかった見出し項目（網かけ部分Ｗ）を解析する
ことができる。Further, as shown in FIG. 52 (b), for example, when only one heading of an essential item in the heading row in the general transfer form is unconfirmed, the heading correction rule 50
When the correction is performed by 8, the function item that should be in the heading row is uniquely determined from the function name information table, so that the heading item (shaded portion W) that cannot be analyzed can be analyzed.

【０２３９】さらに、図５２（ｃ）に示すように、見出
し行以外に存在するべき必須の見出し項目が１つだけ未
確定であり、未確定の見出し候補位置も１つだけ存在す
る場合に、見出し補正ルール５０８により補正が行なわ
れると、見出し位置候補と必須の見出し項目の数が一致
する場合は確定した見出しの消去法で決定することがで
きるため、解析できなかった見出し項目（網かけ部分
Ｗ）を解析することができる。Further, as shown in FIG. 52 (c), when only one indispensable heading item that should exist other than the heading row is unconfirmed and only one unconfirmed heading candidate position exists, When the headline correction rule 508 corrects the number of headline position candidates and the number of required headline items, the headline items that could not be analyzed can be determined by the fixed headline elimination method. W) can be analyzed.

【０２４０】なお、図５２（ａ）〜（ｃ）では、解析で
きなかった見出し項目を網かけ部分Ｗで示し、見出し照
合結果補正処理により解析された見出し項目を網かけ部
分Ｗ′で示している。また、項目データ位置探索処理
（ステップＫ６）は、見出し項目照合の結果、確定した
見出し項目に対して対応する項目データの罫線項目位置
を探索するものである。In FIGS. 52 (a) to 52 (c), a headline item that could not be analyzed is shown by a shaded portion W, and a headline item analyzed by the headline collation result correction process is shown by a shaded portion W '. There is. The item data position searching process (step K6) is to search the ruled line item position of the item data corresponding to the heading item confirmed as a result of the heading item collation.

【０２４１】まず、見出し部に対応する項目データの罫
線項目位置の探索は、見出し項目（見出し罫線項目）位
置探索の場合と同様に、罫線項目構成情報ＴＢＬ５０３
の個々の罫線項目について、項目データ探索ルール５０
９により評価されることにより行なわれる。ここで、項
目データ位置探索と見出し項目位置探索との相違点は、
項目データ位置探索の場合は、既に見出し項目が決定し
ているため、最初に見出しを評価して探索ルールを選択
した後に個々の罫線項目に対してそのルールを適用する
点と、見出し項目位置探索の場合は、見出し項目の照合
処理があるためまず見出し位置候補を決定したが、項目
データ位置探索の場合は、探索処理の結果として項目デ
ータ位置を決定する必要がある点である。First, the ruled line item position of the item data corresponding to the index part is searched for, as in the case of the index item (heading ruled line item) position search.
Item data search rule 50 for each individual ruled line item
It is performed by being evaluated by 9. Here, the difference between the item data position search and the heading item position search is
In the case of item data position search, since the heading item has already been determined, the rule is applied to each ruled line item after first evaluating the heading and selecting the search rule. In the case of 1, the heading position candidate is first determined because there is the matching processing of the heading item, but in the case of the item data position search, it is necessary to determine the item data position as a result of the search processing.

【０２４２】そして、項目データ位置の探索において
は、決定された見出し項目について、罫線項目構成情報
ＴＢＬ５０３及び項目データ探索ルール５０９に基づい
て、見出し項目に対応する項目データ位置（項目データ
の罫線項目位置）が決定される。このときの動作を図５
３に示すフローチャートを用いて説明すると、まず、見
出し解析により決定された見出し項目情報が取り出され
（ステップＬ１）、取り出された見出し項目に対応する
項目データ探索ルール５０９が決定される（ステップＬ
２）。In the search for the item data position, the item data position (the ruled line item position of the item data) corresponding to the heading item is determined for the determined heading item based on the ruled line item configuration information TBL 503 and the item data search rule 509. ) Is determined. The operation at this time is shown in FIG.
This will be described with reference to the flowchart shown in FIG. 3. First, the headline item information determined by the headline analysis is extracted (step L1), and the item data search rule 509 corresponding to the extracted headline item is determined (step L).
2).

【０２４３】続いて、罫線項目構成情報ＴＢＬ５０３か
ら罫線項目情報が取り出され（ステップＬ３）、項目デ
ータ探索ルール５０９による評価が行われる（ステップ
Ｌ４）。そして、評価結果により項目データ位置が決定
され、決定された項目データ位置の罫線項目ＩＤが機能
名情報に設定される（ステップＬ５）。Then, ruled line item information is extracted from the ruled line item configuration information TBL 503 (step L3), and evaluation is performed by the item data search rule 509 (step L4). Then, the item data position is determined based on the evaluation result, and the ruled line item ID of the determined item data position is set in the function name information (step L5).

【０２４４】また、全ての罫線項目情報について評価が
終了したか判定され、終了していなければ、次の罫線項
目情報についての評価が継続して行われる（ステップＬ
６，ステップＬ３〜ステップＬ５）。さらに、全ての見
出し項目情報に対応する項目データ位置が決定されたか
判定され、項目データ位置が決定されていない見出し項
目があれば、次の見出し項目情報について処理が行われ
る（ステップＬ７，ステップＬ２〜ステップＬ６）。Further, it is determined whether the evaluation has been completed for all ruled line item information, and if not completed, the evaluation for the next ruled line item information is continued (step L).
6, step L3 to step L5). Further, it is determined whether the item data positions corresponding to all the headline item information have been determined, and if there is a headline item for which the item data position has not been determined, the process is performed on the next headline item information (steps L7 and L2). ~ Step L6).

【０２４５】ここで、見出し部罫線項目とデータ部罫線
項目との接続ルールは、表構造以外の場合には、以下に
示すように定義される。 （ａ）データ部の罫線項目は、見出し部に続く罫線項目
である〔図５４（ａ），（ｂ）参照〕 （ｂ）見出し部に続く罫線項目が無い場合には、見出し
部と同一の罫線項目にデータ部が存在する〔図５４
（ｃ）参照〕 （ｃ）見出し部に続く罫線項目が複数存在する場合、別
の独立した見出しが出現するまでの罫線項目に、データ
部が存在する〔図５４（ｄ），（ｅ）参照〕 （ｄ）見出し部が入れ子罫線項目の親に存在する場合、
子の罫線項目にデータ部が存在する〔図５４（ｆ），
（ｇ）参照〕 （ｅ）２罫線項目の場合には、見出しとデータ部が同一
罫線項目に存在する可能性がある〔図５４（ｈ）参照〕 また、見出し部罫線項目とデータ部罫線項目との接続ル
ールは、表構造の場合には、以下に示すように定義され
る。 （ｆ）縦方向の１次元表の場合、見出し罫線項目の列方
向の罫線項目にデータ部が続く〔図５５（ａ）参照〕 （ｇ）縦方向の１次元表で２段組見出しの場合、見出し
罫線項目の列方向の罫線項目にデータ部が続く〔図５５
（ｂ）参照〕 （ｈ）縦方向の１次元表で入れ子項目の見出しの場合、
親見出し罫線項目の方向の罫線項目にデータ部が続く
〔図５５（ｃ）参照〕 （ｉ）縦方向の１次元表で複合見出しの場合、複合見出
し罫線項目の列方向の罫線項目にデータ部が続く〔図５
５（ｄ）参照〕 （ｊ）横方向の１次元表の場合、見出し罫線項目の行方
向の罫線項目にデータ部が続く〔図５５（ｅ）参照〕 （ｋ）２次元表の場合、見出し項目の列／行方向の罫線
項目にデータ部が続く〔図５５（ｆ）参照〕 ここで、見出し項目に対応する項目データ位置が決定さ
れた例を、図５６に示す。なお、図５６においては、見
出し項目決定位置を網かけ部分Ｘで示し、項目データ位
置をＸ′で示すとともに、見出し項目決定位置と項目デ
ータ位置とのリンク関係を矢印により示している。Here, the connection rule between the headline part ruled line item and the data part ruled line item is defined as shown below in the case of other than the table structure. (A) The ruled line item in the data part is a ruled line item following the heading part [see FIGS. 54 (a) and 54 (b)]. (B) If there is no ruled line item following the heading part, it is the same as the heading part. There is a data part in the ruled line item [Fig. 54
(C) Reference] (c) When there are a plurality of ruled line items following the heading part, the data part exists in the ruled line item until another independent heading appears [see FIGS. 54 (d) and (e)]. ] (D) When the heading part exists in the parent of the nested ruled line item,
There is a data part in the child ruled line item [Fig. 54 (f),
(G)] (e) In the case of two ruled line items, the headline and the data part may exist in the same ruled line item [see FIG. 54 (h)]. Also, the headline part ruled line item and the data part ruled line item In the case of a table structure, the connection rule with and is defined as shown below. (F) In the case of a one-dimensional table in the vertical direction, the data part follows the ruled line item in the column direction of the heading ruled line item [see FIG. 55 (a)] (g) In the case of a two-column set heading in the one-dimensional table in the vertical direction , The data part follows the ruled line item in the column direction of the heading ruled line item [FIG. 55.
(B) Reference] (h) In the case of a nested item heading in a vertical one-dimensional table,
The data part follows the ruled line item in the direction of the parent heading ruled line item (see FIG. 55 (c)). Continues [Fig. 5
5 (d)] (j) In the case of a one-dimensional table in the horizontal direction, the data part follows the ruled line item in the row direction of the heading ruled line item (see FIG. 55 (e)) (k) In the case of a two-dimensional table The data part follows the ruled line item in the column / row direction of the item [see FIG. 55 (f)] Here, FIG. 56 shows an example in which the item data position corresponding to the heading item is determined. In FIG. 56, the heading item determination position is indicated by a shaded portion X, the item data position is indicated by X ′, and the link relationship between the heading item determination position and the item data position is indicated by an arrow.

【０２４６】さらに、項目データ部リンク処理（ステッ
プＫ７）は、見出し罫線項目と対応するデータ部罫線項
目位置を参照して、データ部罫線項目内の項目データ位
置を決定し、そのリンク関係を設定するものである。見
出し部から対応する項目データ部までのリンク関係を、
図５７及び図５８に示す。Further, the item data section link processing (step K7) refers to the data section ruled line item position corresponding to the heading ruled line item, determines the item data position in the data section ruled line item, and sets the link relationship. To do. The link relationship from the heading section to the corresponding item data section,
This is shown in FIGS. 57 and 58.

【０２４７】ここで、項目データ部が存在する罫線項目
または矩形領域内に、１個以上の項目データが存在する
場合には、動作パラメタ情報５０１に従って、機能項目
にリンクする項目データが決定される。単一機能項目よ
りリンクする場合には、動作パラメタ情報５０１に従っ
て、指定行桁位置から指定行数，指定桁数の項目データ
をリンクする〔図５９（ａ）参照〕。If one or more item data exists in the ruled line item or the rectangular area in which the item data section exists, the item data linked to the function item is determined according to the operation parameter information 501. . When linking from a single function item, the item data of the designated line number and the designated digit number are linked from the designated line digit position according to the operation parameter information 501 [see FIG. 59 (a)].

【０２４８】ここで、単一機能項目よりリンクする場合
には、項目データリンクの動作パラメタ情報５０１は、
以下に示すようなものがある。 （ａ）指定行より指定行数リンク（※デフォルト：指定
行＝１行目、指定行数＝１行），ただし、指定行数に項
目データ行数が満たない場合には、領域内の全ての項目
データ行をリンク （ｂ）指定列より指定列数リンク（※デフォルト：指定
列＝１列目、指定行数＝全列数），ただし、指定列数に
項目データ列数が満たない場合には、領域内の全ての項
目データ列をリンクまた、複合機能項目よりリンクする
場合には、動作パラメタ情報５０１に従って、機能項目
の定義順に指定行桁位置から指定行数，指定桁数の項目
データをリンクし、継続する機能項目は、続きの項目デ
ータを同様にリンクする〔図５９（ｂ）参照〕。Here, when linking from a single function item, the operation parameter information 501 of the item data link is
There are the following. (A) Link from specified line to specified number of lines (* Default: specified line = 1st line, specified number of lines = 1 line), but if the specified number of lines is less than the number of item data lines, all in the area Link the item data rows of (b) from the specified column to the specified number of columns (* Default: specified column = first column, specified number of rows = total number of columns), provided that the number of item data columns does not reach the specified number of columns In the case of linking all item data strings in the area, or in the case of linking from the composite function item, according to the operation parameter information 501, the items of the specified line number and the specified number of digits from the specified line digit position in the function item definition order. Functional items that link data and continue are similarly linked to subsequent item data [see FIG. 59 (b)].

【０２４９】ここで、複合機能項目よりリンクする場合
には、項目データリンクの動作パラメタ情報５０１は、
以下に示すようなものがある。 （ｃ）Ｎ≧ＫかつＭ＜Ｋの場合、機能項目リンク順に項
目データ行を割り当てる （ｄ）Ｎ＜ＫかつＭ≧Ｋの場合、機能項目リンク順に項
目データ桁を割り当てる （ｅ）Ｎ≧ＫかつＭ≧Ｋの場合、機能項目リンク順に項
目データ行を割り当てる （ｆ）Ｎ≧ＫかつＭ≧Ｋの場合、機能項目リンク順に項
目データ列を割り当てる （ｇ）Ｎ＜ＫかつＭ＜Ｋの場合、割当て不可として、項
目データをリンクしない なお、上述において、Ｎは項目行数，Ｍは項目桁数及び
Ｋは機能項目数である。Here, when linking from a composite function item, the operation parameter information 501 of the item data link is
There are the following. (C) If N ≧ K and M <K, allocate item data rows in the order of function item links. (D) If N <K and M ≧ K, allocate item data digits in order of function item links (e) N ≧ K. If M ≧ K, the item data rows are assigned in the function item link order (f) If N ≧ K and M ≧ K, the item data string is assigned in the function item link order (g) If N <K and M <K , Item data is not linked as unassignable. In the above description, N is the number of item rows, M is the number of item digits, and K is the number of functional items.

【０２５０】そして、金額項目リンク処理（ステップＫ
８）は、解析した見出し項目の機能項目が金額や手数料
等の場合には、対応する項目データの属する罫線項目構
成を調べ、構成が１桁区切り罫線項目となっている場合
には、個々の１桁罫線項目を連結して１つの項目データ
情報を作成し、その項目データを機能項目にリンクする
ものである。Then, the amount item link processing (step K)
8) checks the ruled line item configuration to which the corresponding item data belongs when the function item of the analyzed heading item is a monetary amount or a fee, and when the configuration is a one-digit grouping ruled line item, The one-digit ruled line item is linked to create one item data information, and the item data is linked to the function item.

【０２５１】ここで、見出し部に対応する項目データ部
が、３個以上（動作パラメタ指定値に従う）の罫線項目
に分割されている場合であって、個々の罫線項目のサイ
ズが動作パラメタ設定値以下のサイズで、かつ見出し機
能が金額と確定した場合には、該当の罫線項目が１桁区
切りの罫線項目であると判定される〔図６０（ａ），
（ｂ）参照〕。Here, when the item data section corresponding to the heading section is divided into three or more ruled line items (according to the operation parameter specification value), the size of each ruled line item is set to the operation parameter set value. When the size is as follows and the heading function is determined to be the amount of money, it is determined that the corresponding ruled line item is a ruled line item of one-digit division [Fig. 60 (a),
(B)].

【０２５２】そして、項目データ部の罫線項目が、１桁
区切りの罫線項目により構成されていると判定された場
合には、個々の罫線項目のリンクを関係を先頭桁の罫線
項目より順に設定し、連続した罫線項目として扱うこと
により、罫線項目が連結される〔図６０（ｃ）参照〕。
さらに、項目データ部の罫線項目が、１桁区切りの罫線
項目により構成されている場合には、個々の罫線項目内
の項目データも分割されているため、各々の項目データ
を統合処理して１つの項目データとして設定することに
より、項目データが連結される〔図６０（ｄ）参照〕。
なお、上述においては、罫線項目が１桁区切りの罫線項
目である場合について説明したが、３桁区切りの罫線項
目についても同様に処理される。If it is determined that the ruled line item in the item data section is composed of ruled line items separated by one digit, the links of the individual ruled line items are set in order from the ruled line item of the first digit. , The ruled line items are linked by treating them as continuous ruled line items [see FIG. 60 (c)].
Further, when the ruled line item in the item data section is composed of ruled line items that are separated by one digit, the item data within each ruled line item is also divided. By setting the item data as one item data, the item data are linked [see FIG. 60 (d)].
In the above description, the case where the ruled line item is a ruled line item with one-digit division is described, but the ruled line item with three-digit division is processed in the same manner.

【０２５３】３桁区切りの金額欄についても、１桁区切
りの金額欄の場合と同様に、罫線項目及び項目データの
連結が行われるが、３桁区切りの場合には桁幅および罫
線項目数が少ないため、１桁区切りとは別条件が設定さ
れる〔図６０（ｅ），（ｆ）参照〕。上述の構成によ
り、本発明の一実施形態にかかる媒体処理装置３０にお
いて見出し解析処理を行なう際には、レイアウト解析処
理ステップＡ２（又はＡ９）では、読み取ったイメージ
のレイアウトの特徴を抽出してレイアウトの構成を解析
し、抽出した特徴によりイメージ中の見出し領域を決定
し、この見出し領域中の見出し項目情報を認識して対応
する項目データを決定してレイアウトを論理的に表現す
る。In the case of the 3-digit break amount field, the ruled line items and item data are concatenated in the same manner as in the 1-digit break amount field. Since the number is small, a condition different from the one-digit division is set [see (e) and (f) of FIG. 60]. With the above configuration, when performing the heading analysis process in the medium processing device 30 according to the embodiment of the present invention, in the layout analysis process step A2 (or A9), the layout feature of the read image is extracted to perform the layout. The heading area in the image is determined based on the extracted features, the heading item information in the heading area is recognized, the corresponding item data is determined, and the layout is logically expressed.

【０２５４】続いて、レイアウト照合処理ステップＡ３
（又はＡ１０）では、レイアウト解析処理ステップＡ２
（又はＡ９）で抽出されたレイアウトの特徴を制約検索
条件として、レイアウトＤＢ１４に記憶されている候補
レイアウトを検索することにより、一致している候補レ
イアウトがあるかどうかを照合する。このように、本発
明の一実施形態にかかる媒体処理装置３０によれば、解
析対象の帳票イメージの罫線項目構成から見出し位置を
探索照合して、帳票上に記載された見出しと対応する項
目情報を自動的に解析する見出し解析処理を行なうこと
により、レイアウト認識処理により見出し項目及び見出
し項目と対応する項目データが識別できるので、見出し
項目の文字認識処理を行なうことなく直ちに項目データ
の文字認識を行なうことができる。 （ａ７）認識結果の確認及び修正処理の説明 （１）イメージデータ表示装置の説明 図６１は本発明の一実施形態におけるイメージデータ表
示装置６４０の構成を示す模式図であり、このイメージ
データ表示装置６４０は、送金すべき者（この者は氏名
で特定される）の口座番号（口番）や送金金額等が記載
された帳票をイメージデータとして表示し、この口番，
氏名及び送金金額等の送金データをオペレータがキーボ
ード等を介して入力することにより送金依頼処理を施し
たり、オペレータが他の装置等によるイメージデータ
（送金データ）の文字認識結果の正誤の確認を目視によ
り行なうとともに必要に応じて文字認識結果の修正を行
なうことにより送金依頼処理を施すものであり、図６に
示す媒体処理装置３０のクライアント１０に相当するも
のである。Subsequently, layout collation processing step A3
(Or A10), the layout analysis processing step A2
By checking the candidate layout stored in the layout DB 14 using the layout feature extracted in (or A9) as a constraint search condition, it is checked whether there is a matching candidate layout. As described above, according to the medium processing device 30 of the embodiment of the present invention, the headline position is searched and collated from the ruled line item configuration of the form image to be analyzed, and the item information corresponding to the headline described on the form is obtained. By performing the heading analysis processing that automatically analyzes the heading items and the item data corresponding to the heading items can be identified by the layout recognition processing, the character recognition of the item data can be immediately performed without performing the character recognition processing of the heading items. Can be done. (A7) Description of Confirmation and Correction of Recognition Result (1) Description of Image Data Display Device FIG. 61 is a schematic diagram showing the configuration of the image data display device 640 according to the embodiment of the present invention. Reference numeral 640 displays, as image data, a form in which the account number (bit number) of the person to be remitted (this person is identified by his / her name) and the amount of remittance are described as image data.
The operator performs remittance request processing by inputting remittance data such as name and remittance amount through the keyboard, etc., and the operator visually confirms whether the character recognition result of image data (remittance data) by another device etc. is correct or incorrect. In addition, the remittance request process is performed by correcting the character recognition result as necessary and corresponds to the client 10 of the medium processing device 30 shown in FIG.

【０２５５】即ち、このイメージデータ表示装置６４０
では、オペレータが、ディスプレイ表示されたイメージ
データを目視して入力操作を行なうこともできるが、例
えば帳票をＯＣＲ装置等のイメージデータ入力装置で読
み取る際に自動的に文字認識を行なうようにして、誤認
識及び認識不能文字についてのみオペレータが入力操作
を行なうこともできるようになっている。In other words, this image data display device 640
Then, the operator can perform an input operation by visually observing the image data displayed on the display. For example, when the form is read by an image data input device such as an OCR device, character recognition is automatically performed, The operator can also perform an input operation only for erroneous recognition and unrecognizable characters.

【０２５６】ここで、図６１に示すイメージデータ表示
装置６４０は、イメージデータ入力装置としてのイメー
ジスキャナ６２１Ａ及び光学式文字読み取り装置（ＯＣ
Ｒ装置）６２１Ｂ，データ入力手段としてのキーボード
６３１，表示制御装置としてのコンピュータ本体６２
９，ディスプレイ６３０及びハードディスク６２２をそ
なえて構成されている。The image data display device 640 shown in FIG. 61 includes an image scanner 621A as an image data input device and an optical character reading device (OC).
R device) 621B, keyboard 631 as data input means, computer main body 62 as display control device
9, a display 630 and a hard disk 622.

【０２５７】なお、このイメージデータ表示装置６４０
は、図６に示すサーバ３９と接続されており、イメージ
スキャナ６２１Ａからのイメージデータ（送金データ）
をサーバ３９に出力して、サーバ３９で文字認識された
イメージデータの文字認識結果が入力されてこれをディ
スプレイ６３０に表示するようになっているとともに、
オペレータにより確認及び修正された送金データをサー
バ３９に出力するワークステーションとして機能するよ
うになっている。It should be noted that this image data display device 640
Is connected to the server 39 shown in FIG. 6, and image data (remittance data) from the image scanner 621A.
Is output to the server 39, the character recognition result of the image data subjected to character recognition by the server 39 is input, and this is displayed on the display 630.
It functions as a workstation for outputting the remittance data confirmed and corrected by the operator to the server 39.

【０２５８】ここで、イメージスキャナ６２１Ａは、銀
行の送金依頼表等の帳票のような複数の項目情報を含ん
だイメージデータを読み取り、イメージデータ表示装置
６４０に入力するものである。また、ＯＣＲ装置６２１
Ｂは、イメージスキャナ６２１Ａと同様にイメージデー
タを読み取るとともに読み取ったイメージデータの文字
認識を行なうものである。Here, the image scanner 621A reads image data including a plurality of item information such as a form such as a remittance request table of a bank and inputs it to the image data display device 640. Also, the OCR device 621
Similarly to the image scanner 621A, B is for reading image data and performing character recognition of the read image data.

【０２５９】本実施形態においては、イメージスキャナ
６２１Ａ及びＯＣＲ装置６２１Ｂの両方をイメージデー
タ表示装置６４０に設けることにより、様々な様式のイ
メージデータを扱えるようになっている。なお、ＯＣＲ
装置６２１Ｂによりイメージデータを読み取った場合
は、イメージデータの文字認識結果は直接イメージデー
タ表示装置６４０のディスプレイ６３０に表示される。In this embodiment, by providing both the image scanner 621A and the OCR device 621B in the image data display device 640, it is possible to handle image data of various formats. In addition, OCR
When the image data is read by the device 621B, the character recognition result of the image data is directly displayed on the display 630 of the image data display device 640.

【０２６０】また、ディスプレイ６３０は、イメージデ
ータ表示エリア６１１と項目表示エリア６１４とを有す
るものであり、入力された帳票のイメージデータを表示
すると、例えば図７０のようになるのである。ここで、
イメージデータ表示エリア６１１は、イメージスキャナ
６２１Ａ又はＯＣＲ装置６２１Ｂから入力された帳票の
イメージデータを表示するエリア部分である。The display 630 has an image data display area 611 and an item display area 614, and when the image data of the input form is displayed, it becomes as shown in FIG. 70, for example. here,
The image data display area 611 is an area portion for displaying image data of a form input from the image scanner 621A or the OCR device 621B.

【０２６１】イメージデータ表示エリア６１１では、複
数の項目情報を含んだイメージデータが表示されるよう
になっており、図７０では、「口座番号（口番）」，
「氏名」，「取引先（取引）」及び「金額」の４つの項
目６１２に情報を含んだイメージデータが表示されるよ
うになっている。さらに、項目表示エリア６１４は、イ
メージデータ表示エリア６１１の所望の項目６１２のイ
メージデータ部分に対応する送金データを、キーボード
６３１を用いて入力するために設けられたエリアであ
る。Image data including a plurality of item information is displayed in the image data display area 611. In FIG. 70, "account number (unit number)",
Image data including information is displayed in four items 612 of “name”, “customer (transaction)”, and “amount”. Further, the item display area 614 is an area provided for inputting remittance data corresponding to the image data portion of the desired item 612 of the image data display area 611 using the keyboard 631.

【０２６２】この項目表示エリア６１４は、複数のデー
タ入力表示エリア部分６１５を有している。図７０で
は、「項目１〜４」の４つのデータ入力表示エリア部分
６１５を有しており、それぞれ「項目１」は「口番」
に、「項目２」は「氏名」に、「項目３」は「取引」
に、「項目４」は「金額」に対応している。また、所望
のデータ入力表示エリア部分６１５にはカーソル表示６
１６がなされるようになっており、これと対応する所望
の項目６１２のイメージデータ部分に表示された送金デ
ータを入力できるようになっている。なお、データ入力
は、データ入力手段としてのキーボード６３１を用いて
行なうようになっている。The item display area 614 has a plurality of data input display area portions 615. In FIG. 70, there are four data input display area portions 615 of "items 1 to 4", and "item 1" is a "mouth number", respectively.
"Item 2" is "Name" and "Item 3" is "Transaction"
In addition, "item 4" corresponds to "amount". Further, the cursor display 6 is displayed in the desired data input display area portion 615.
16 is performed, and the remittance data displayed in the image data portion of the desired item 612 corresponding thereto can be input. Note that data input is performed using a keyboard 631 as a data input means.

【０２６３】さらに、図６１に示すイメージデータ表示
装置６４０は、前述のごとく、ハードディスク６２２を
そなえており、このハードディスク６２２は、定義体情
報としてのイメージデータ分割情報を格納する定義体格
納部である。なお、イメージデータ分割情報とは、イメ
ージスキャナ６２１Ａ又はＯＣＲ装置６２１Ｂから入力
された帳票のイメージデータを、複数の項目６１２のイ
メージデータ部分に分割するための情報をいう。Further, the image data display device 640 shown in FIG. 61 has a hard disk 622 as described above, and this hard disk 622 is a definition storage unit for storing image data division information as definition information. . The image data division information is information for dividing the image data of the form input from the image scanner 621A or the OCR device 621B into image data parts of a plurality of items 612.

【０２６４】図６１に示すコンピュータ本体６２９は、
表示制御装置として機能し（以下コンピュータ本体６２
９を表示制御装置６２９と表記する場合がある）、イメ
ージデータ表示エリア６１１に、イメージスキャナ６２
１Ａ又はＯＣＲ装置６２１Ｂから入力することにより得
られたイメージデータを表示させるとともに、キーボー
ド６３１により所望項目６１２のイメージデータ部分に
対応するデータを入力するに当たり、項目表示エリア６
１４における所望項目６１２用のデータ入力表示エリア
部分６１５に、カーソル表示６１６を行なわせるもので
ある。The computer main body 629 shown in FIG. 61 is
Functions as a display control device (hereinafter referred to as the computer main body 62
9 may be referred to as a display control device 629), and the image scanner 62 is displayed in the image data display area 611.
1A or the image data obtained by inputting from the OCR device 621B is displayed, and when the data corresponding to the image data portion of the desired item 612 is input by the keyboard 631, the item display area 6
The cursor display 616 is performed in the data input display area portion 615 for the desired item 612 in 14.

【０２６５】ここで、コンピュータ本体６２９は、ハー
ドディスク６２２に格納されているイメージデータ分割
情報を使用して、イメージスキャナ６２１Ａ又はＯＣＲ
装置６２１Ｂから入力された帳票のイメージデータの罫
線を認識し、複数の項目６１２のイメージデータ部分か
らなる表に変換してから、この変換されたイメージデー
タをイメージデータ表示エリア６１１に表示させるので
ある。Here, the computer main body 629 uses the image data division information stored in the hard disk 622 to use the image scanner 621A or the OCR.
The ruled lines of the image data of the form input from the device 621B are recognized and converted into a table composed of image data portions of a plurality of items 612, and the converted image data is displayed in the image data display area 611. .

【０２６６】また、図６１及び図６２に示す表示制御装
置としてのコンピュータ本体６２９は、強調情報作成処
理部６２３，イメージデータ部分強調表示手段としての
強調表示部６２４，イメージデータ強調表示解除手段と
しての強調表示取消部６２５，強調表示遷移制御手段と
しての強調表示遷移制御部６２６及び表示画面スクロー
ル手段としての画面スクロール部６２７をそなえてい
る。Further, the computer main body 629 as a display control device shown in FIGS. 61 and 62 is a highlighting information creation processing section 623, a highlighting section 624 as an image data part highlighting means, and an image data highlighting canceling means. A highlight display canceling unit 625, a highlight display transition control unit 626 as a highlight display transition control unit, and a screen scroll unit 627 as a display screen scroll unit are provided.

【０２６７】ここで、強調情報作成処理部６２３は、イ
メージデータ入力装置としてのイメージデータ分割装置
６２１から入力されたイメージデータあるいはハードデ
ィスク６２２に格納されたイメージデータ分割情報（定
義体情報）を参照して、関連情報Ｐと強調情報Ｑを作成
するものである。関連情報Ｐは、図６８に示すように、
「項目１〜４」をそれぞれ「口番」，「氏名」，「取
引」，「金額」に対応させて、これらを関連づけるため
の情報である。Here, the emphasis information creation processing unit 623 refers to the image data input from the image data division device 621 as the image data input device or the image data division information (definition structure information) stored in the hard disk 622. Then, the related information P and the emphasis information Q are created. The related information P is, as shown in FIG.
This is information for associating "items 1 to 4" with "number", "name", "transaction", and "amount", respectively, and relating them.

【０２６８】また、強調情報Ｑは、イメージデータ表示
エリア６１１において強調表示を行なうための情報であ
り、図６９に示すように、項目６１２のタイトルを示す
「タイトル１〜４」に対応した強調表示種類，強調表示
領域からなる強調表示属性情報を有するものである。な
お、「タイトル１〜４」は、それぞれ「口番」，「氏
名」，「取引」，「金額」に対応している。Further, the emphasis information Q is information for performing emphasis display in the image data display area 611, and as shown in FIG. 69, emphasis display corresponding to “Titles 1 to 4” indicating the title of the item 612. It has highlight display attribute information including a type and a highlight display area. It should be noted that "Titles 1 to 4" respectively correspond to "Portion", "Name", "Transaction", and "Amount".

【０２６９】さらに、強調表示種類には、網かけ，飾り
罫線等があり、本実施形態では強調表示として太枠表示
を「タイトル１」，「タイトル３」に対応する項目６１
２に設定するとともに、網かけ表示を「タイトル２」，
「タイトル４」に対応する項目６１２に設定して、「タ
イトル１〜４」を順に強調表示させるのに伴って、異な
る強調表示がなされるようにしており、より視認性を高
めるようにしている。Further, the highlighting types include shading, decorative ruled lines, etc., and in this embodiment, the items 61 corresponding to "Title 1" and "Title 3" are displayed as thick frames as highlighting.
2 and set the shaded display to "Title 2",
By setting the item 612 corresponding to “Title 4” and displaying “Titles 1 to 4” in order, different highlighting is performed to further enhance the visibility. .

【０２７０】また、強調表示領域は、各項目６１２にお
ける強調表示部分６１３の開始及び終了位置を、Ｘ座標
とＹ座標からなる座標（ドット単位）を用いて表示した
ものであり、項目６１２毎に強調表示部分６１３の大き
さを任意に設定できるようになっている。これらの関連
情報Ｐ及び強調情報Ｑは、図６４に示すフローチャート
のステップＡ１′及びＡ２′で作成されるのである。Further, the highlighted area is an area in which the start and end positions of the highlighted portion 613 in each item 612 are displayed using coordinates (dot unit) composed of X and Y coordinates, and each item 612 is displayed. The size of the highlighted portion 613 can be set arbitrarily. The related information P and the emphasis information Q are created in steps A1 'and A2' of the flowchart shown in FIG.

【０２７１】また、強調表示部６２４は、表示制御装置
６２９により、イメージデータ表示エリア６１１に、複
数の項目情報を含んだイメージデータが表示されている
状態で、項目表示エリア６１４における各項目６１２用
データ入力表示エリア６１５部分のうちで、所望項目６
１２用のデータ入力表示エリア部分６１５にカーソル表
示６１６がなされると、このデータ入力表示エリア６１
５と対応する所望項目６１２のイメージデータ部分のみ
を符号６１３で示すように強調表示させるものである。Further, the highlighting unit 624 uses the display control device 629 for each item 612 in the item display area 614 while the image data including a plurality of item information is displayed in the image data display area 611. In the data input display area 615, the desired item 6
When the cursor display 616 is made in the data input display area portion 615 for 12, the data input display area 61
Only the image data portion of the desired item 612 corresponding to No. 5 is highlighted as indicated by reference numeral 613.

【０２７２】即ち、強調表示部６２４は、所望項目６１
２用データ入力表示エリア部分６１５に、カーソル表示
６１６がなされたときに、この項目６１２用データ入力
表示エリア部分６１５と対応する所望項目６１２のイメ
ージデータ部分のみを、網かけ又は飾り罫線等で強調表
示することにより、イメージデータと入力項目との対応
を目視によって行なう際の視認性を高めて、スムーズな
入力操作を可能にするものである。That is, the highlighting section 624 displays the desired item 61.
When the cursor display 616 is made in the 2 data input display area portion 615, only the image data portion of the desired item 612 corresponding to the item 612 data input display area portion 615 is highlighted by shading or a decorative ruled line. By displaying, the visibility at the time of visually correlating the image data with the input item is enhanced, and a smooth input operation is enabled.

【０２７３】さらに、強調表示取消部６２５は、強調表
示部６２４により強調された所望項目６１２のイメージ
データ部分の強調表示６１３を解除して、この項目６１
２を強調表示する前の状態に戻すものである。即ち、強
調表示取消部６２５は、カーソル移動操作によって、所
望項目６１２用データ入力表示エリア部分６１５とは別
の他の項目６１２用データ入力表示エリア部分６１５
に、カーソル表示６１６が遷移せしめられると、項目対
応のイメージデータ部分の強調表示６１３を解除するも
のである。Further, the highlighted display canceling unit 625 cancels the highlighted display 613 of the image data portion of the desired item 612 highlighted by the highlighted display unit 624, and the item 61
2 is returned to the state before being highlighted. That is, the highlighted display canceling unit 625 causes the data input display area portion 615 for another item 612 different from the data input display area portion 615 for the desired item 612 by the cursor moving operation.
When the cursor display 616 is transitioned to, the highlighted display 613 of the image data portion corresponding to the item is released.

【０２７４】また、強調表示遷移制御部６２６は、強調
表示取消部６２５と連動して機能しており、強調表示取
消部６２５が、対応するある項目６１２のイメージデー
タ部分の強調表示６１３を解除した後に、別の項目６１
２用データ入力表示エリア部分６１５へカーソル表示６
１６を移動させ、カーソル表示６１６されている項目６
１２用データ入力表示エリア部分６１５に対応する他の
項目６１２のイメージデータ部分のみを、強調表示部６
２４にて強調表示させるよう制御するものである。Further, the highlighting transition control unit 626 functions in cooperation with the highlighting canceling unit 625, and the highlighting canceling unit 625 cancels the highlighting 613 of the image data portion of a certain item 612 corresponding thereto. Later, another item 61
Cursor display 6 to the data input display area 615 for 2
16 is moved, and the cursor display 616 item 6
Only the image data portion of the other item 612 corresponding to the 12 data input display area portion 615 is highlighted.
It is controlled so as to be highlighted at 24.

【０２７５】さらに、画面スクロール部６２７は、イメ
ージデータの一部をディスプレイ６３０上に表示してい
る状態からディスプレイ６３０上に表示されていないイ
メージデータを表示させるものである。また、強調表示
部６２４は、変更手段としての変更部６２８を有してお
り、この変更部６２８は、強調表示部分６１３の強調表
示種類又は領域を例えばキーボードを使用して外部から
の指示により変更するものであり、変更情報獲得部６２
８Ａと強調情報変更部６２８Ｂを有している。Further, the screen scroll portion 627 is for displaying image data which is not displayed on the display 630 from a state where a part of the image data is displayed on the display 630. Further, the highlighting unit 624 has a changing unit 628 as a changing unit, and the changing unit 628 changes the highlighting type or area of the highlighting portion 613 by an external instruction using, for example, a keyboard. The change information acquisition unit 62
8A and the emphasis information change part 628B.

【０２７６】ここで、変更情報獲得部６２８Ａは、後述
する変更情報Ｒを獲得するものであり、強調情報変更部
６２８Ｂは、この変更情報Ｒを使用して後述する強調情
報Ｑを更新して強調情報Ｑ′を作成するものである。実
際には、上述した強調表示部６２４，強調表示取消部６
２５，強調表示遷移制御部６２６及び画面スクロール部
６２７としての機能をコンピュータ本体６２９に与える
ような適宜のソフトウェアを、ハードディスク６２２又
はその他のメモリにインストールすることにより、イメ
ージデータ表示装置６４０を構成するのである。Here, the change information acquisition section 628A acquires change information R described later, and the emphasis information change section 628B updates the emphasis information Q described later by using this change information R and emphasizes it. The information Q'is created. Actually, the highlighting unit 624 and the highlighting canceling unit 6 described above are used.
25, the image data display device 640 is configured by installing appropriate software that gives the computer main body 629 the functions of the highlight transition control unit 626 and the screen scroll unit 627 to the hard disk 622 or other memory. is there.

【０２７７】上述の構成により、本実施形態にかかるイ
メージデータ表示装置６４０は、以下のように動作す
る。帳票のイメージデータを、図６２に示すイメージデ
ータ分割装置６２１（イメージスキャナ６２１Ａ又はＯ
ＣＲ装置６２１Ｂ）から入力し、ディスプレイ（図６２
では図示せず）に表示したときの初期画面は図６７に示
すようになる。With the above configuration, the image data display device 640 according to this embodiment operates as follows. The image data of the form is converted into an image data dividing device 621 (image scanner 621A or O) shown in FIG.
Input from CR device 621B and display (Fig. 62)
Then, the initial screen when it is displayed (not shown) is as shown in FIG.

【０２７８】このとき、図６７に示すように、ディスプ
レイ６３０のイメージデータ表示エリア６１１には、複
数の項目情報を含んだイメージデータ、即ち、「口
番」，「氏名」，「取引」，「金額」の４つの項目情報
を含んだイメージデータが表示されている。また、送金
データを入力する際には、所望のデータ入力表示エリア
部分６１５にカーソル表示６１６を移動させることによ
り、所望の項目６１２のイメージデータ部分に対応する
送金データを入力する。このとき、図７０に示すよう
に、強調表示部６２４によって、所望の項目６１２のイ
メージデータ部分が強調表示部分６１３を有して強調表
示されており、図７１〜図７６に示すように、カーソル
表示６１６の移動に伴って、この強調表示部分６１３も
イメージデータ表示エリア６１１を移動する。At this time, as shown in FIG. 67, in the image data display area 611 of the display 630, image data including a plurality of item information, that is, "bank number", "name", "transaction", " Image data including four item information of "amount" is displayed. When inputting the remittance data, the cursor display 616 is moved to the desired data input display area portion 615 to input the remittance data corresponding to the image data portion of the desired item 612. At this time, as shown in FIG. 70, the image data portion of the desired item 612 is highlighted with the highlighted display portion 613 by the highlighted display portion 624, and as shown in FIGS. With the movement of the display 616, the highlighted portion 613 also moves in the image data display area 611.

【０２７９】なお、図６７及び図７０〜図７６に示すデ
ータ入力表示エリア部分６１５には、イメージデータの
文字認識結果が表示されていないが、文字認識結果が表
示されていてももちろんかまわない。ここで、図７０に
は、「口番（０００１）」である項目６１２を強調表示
したときのディスプレイ６３０が示されている。Although the character recognition result of the image data is not displayed in the data input display area portion 615 shown in FIGS. 67 and 70 to 76, it does not matter if the character recognition result is displayed. Here, FIG. 70 shows the display 630 when the item 612 which is “mouth number (0001)” is highlighted.

【０２８０】このような図７０に示す状態で、オペレー
タがキーボード６３１により、「０００１」と入力した
後、キーボード６３１を操作して、項目表示エリア６１
４において「項目１」から「項目２」へカーソル表示６
１６を移動させると、強調表示遷移制御部６２６によっ
て、図７１に示すように、イメージデータ表示エリア６
１１では、これに対応して、「口番（０００１）」から
「氏名（フジ タロウ）」へ強調表示部分６１３が移動
する。この状態で、オペレータはキーボード６３１を使
用して、「フジ タロウ」と入力する。In such a state as shown in FIG. 70, after the operator inputs "0001" with the keyboard 631, the keyboard 631 is operated and the item display area 61 is displayed.
Cursor display from "item 1" to "item 2" in 4
When 16 is moved, the highlight transition control section 626 causes the image data display area 6 to be displayed as shown in FIG.
At 11, the highlighted portion 613 moves from "Kouban (0001)" to "Name (Fuji Taro)". In this state, the operator inputs "Fuji Taro" using the keyboard 631.

【０２８１】同様に、キーボード６３１により、「フジ
タロウ」と入力した後、キーボード６３１を操作し
て、「項目２」から「項目３」へカーソル表示６１６を
移動させると、強調表示遷移制御部６２６によって、図
７２に示すように、「氏名（フジ タロウ）」から「取
引（０１０）」へ強調表示部分６１３が移動し、更に
「０１０」と入力した後、「項目３」から「項目４」へ
カーソル表示６１６を移動させると、強調表示遷移制御
部６２６によって、図７３に示すように、「取引（０１
０）」から「金額（￥12,000）」へ強調表示部分６１３
が移動する。もちろん、このときも、オペレータはキー
ボードを使用して、「０１０」，「￥12,000」を入力す
る。Similarly, when "Fuji Taro" is entered on the keyboard 631, the keyboard 631 is operated to move the cursor display 616 from "item 2" to "item 3", and the highlighted display transition control section 626 is displayed. 72, the highlighted portion 613 moves from "Name (Fuji Taro)" to "Transaction (010)", and after inputting "010", "Item 3" to "Item 4" When the cursor display 616 is moved to, as shown in FIG. 73, the highlight transition control unit 626 displays “Transaction (01
0) ”to“ amount (¥ 12,000) ”highlighted part 613
Moves. Of course, also at this time, the operator inputs “010” and “¥ 12,000” using the keyboard.

【０２８２】このように、「項目４」に対応する送金デ
ータである金額データ「￥12,000」を入力した後に、キ
ーボード６３１の例えばリターンキーを押下すると、
「項目１〜４」に対応する送金データ（口座番号，氏
名，取引，金額の各データ）が図６に示すサーバ３９へ
送出されるのである。そして、このリターンキーの押下
により、「項目４」から再度「項目１」へカーソル表示
６１６が移動し、強調表示遷移制御部６２６によって、
図７４に示すように、「金額（￥12,000）」から２段目
の「口番（００１０）」へ強調表示部分６１３が移動す
るが、以降は上記の操作を繰り返すことにより、イメー
ジ表示エリア６１１の所定の項目６１２を順次強調表示
させていくことができるのである。[0282] As described above, when the amount data "¥ 12,000" which is the remittance data corresponding to "Item 4" is input and the return key of the keyboard 631 is pressed, for example,
Remittance data (account number, name, transaction, amount of money data) corresponding to "items 1 to 4" is sent to the server 39 shown in FIG. Then, by pressing this return key, the cursor display 616 moves from “item 4” to “item 1” again, and the highlighted display transition control unit 626 causes
As shown in FIG. 74, the highlighted portion 613 moves from the “amount (¥ 12,000)” to the second row “Kouban (0010)”. After that, by repeating the above operation, the image display area 611 is displayed. The predetermined items 612 can be sequentially highlighted.

【０２８３】即ち、カーソル表示６１６の存在するデー
タ入力表示エリア部分６１５に対応する項目６１２が強
調表示されており、カーソル表示６１６の移動に伴っ
て、強調表示部分６１３も項目６１２間を移動するよう
になっているのである。また、送金データ入力は、カー
ソル表示６１６を有するデータ入力表示エリア部分６１
５で行なわれるようになっており、データ入力すべきデ
ータ入力表示エリア部分６１５にカーソル表示を移動さ
せると、同時に参照すべき項目６１２のイメージデータ
部分が強調表示されることにより、データを参照する際
の対応の誤認識を防いで視認性を高めることができ、こ
れにより、入力操作における労力を軽減させるととも
に、送金データの誤入力を防止することができる。That is, the item 612 corresponding to the data input display area portion 615 in which the cursor display 616 exists is highlighted, and the highlighted portion 613 also moves between the items 612 as the cursor display 616 moves. It has become. Further, the remittance data input is performed by the data input display area portion 61 having the cursor display 616.
When the cursor display is moved to the data input display area portion 615 for data input, the image data portion of the item 612 to be referred to is highlighted at the same time to refer to the data. It is possible to prevent erroneous recognition of the correspondence at the time and improve the visibility, thereby reducing the labor in input operation and preventing erroneous input of remittance data.

【０２８４】さらに、上述の送金データ入力処理をすす
めて、図７５に示すように、ディスプレイ６３０のイメ
ージデータ表示エリア６１１の最下部にある「金額（￥
1,765 ）」が強調表示される状態になったとすると、こ
のとき更に、その下方部にディスプレイ６３０に表示さ
れていない項目６１２が存在する場合は、項目表示エリ
ア６１４において「項目４」から「項目１」へカーソル
表示６１６を移動させると、画面スクロール部６２７に
よって、自動的に表示画面をスクロールするとともに、
強調表示遷移制御部６２６によって、図７６に示すよう
に、イメージデータ表示エリア６１１では、これに対応
して、「金額（￥1,765 ）」から「口番（２１４８）」
へ強調表示部分６１３が移動する。Further, the above-mentioned remittance data input processing is further advanced, and as shown in FIG. 75, "amount (¥
1,765) ”is highlighted, and if there is an item 612 that is not displayed on the display 630 in the lower part of the display, then“ item 4 ”to“ item 1 ”in the item display area 614. When the cursor display 616 is moved to “”, the display screen is automatically scrolled by the screen scroll unit 627, and
As shown in FIG. 76, in the image data display area 611, the highlighting transition control unit 626 correspondingly corresponds to this from “amount (¥ 1,765)” to “bout number (2148)”.
The highlighted portion 613 moves to.

【０２８５】即ち、イメージデータ表示エリア６１１の
最下部にある項目６１２が強調表示され、その下方部に
ディスプレイ６３０に表示されていない項目６１２が存
在する場合には、データ入力表示エリア部分６１５の間
をカーソル表示６１６を移動させることにより、自動的
に表示画面をスクロールすることができる。なお、図７
６では、表示画面のスクロールは１項目ずつ行なって
「口番（２１４８）」の項目を表示しているが、これに
限定されず、「口番（２１４８）」の項目を最上段へ移
動することにより、１画面分（７項目分）の項目の全て
をスクロールして、その下方部に存在する１画面分の項
目を表示するようにしてもよい。That is, when the item 612 at the bottom of the image data display area 611 is highlighted and the item 612 which is not displayed on the display 630 exists below the item 612, the data input display area portion 615 is displayed. The display screen can be automatically scrolled by moving the cursor display 616. Note that FIG.
In FIG. 6, the display screen is scrolled one item at a time to display the item of "Kouban (2148)", but the present invention is not limited to this, and the item of "Kouban (2148)" is moved to the uppermost stage. By doing so, all the items of one screen (seven items) may be scrolled to display the items of one screen existing in the lower part.

【０２８６】ここで、図７０〜図７６に示すような強調
表示の移動の制御は、図６２に示す強調表示部６２４，
強調表示取消部６２５，強調表示遷移制御部６２６及び
画面スクロール部６２７によって行なわれており、この
ときの動作フローを図６５を用いて更に説明する。例え
ば、図７０及び図７１に示すように、項目表示エリア６
１４において、「項目１」から「項目２」へカーソル表
示６１６を移動させると、即ち、イメージデータ表示エ
リア６１１において、入力対象となる項目６１２が、前
回の入力対象となった項目６１２と異なる場合には、ま
ず、前回の入力時において、強調表示属性（強調表示種
類，強調表示領域）の変更が行なわれたか否かを判断す
る（ステップＢ１′）。Here, the control of the movement of the highlighted display as shown in FIGS. 70 to 76 is performed by the highlighted display section 624 shown in FIG.
The highlighting canceling unit 625, the highlighting transition control unit 626, and the screen scrolling unit 627 perform this operation. The operation flow at this time will be further described with reference to FIG. For example, as shown in FIGS. 70 and 71, the item display area 6
14, when the cursor display 616 is moved from “item 1” to “item 2”, that is, in the image data display area 611, the input target item 612 is different from the previous input target item 612. First, it is determined whether or not the highlighting attribute (highlighting type, highlighting area) was changed at the previous input (step B1 ').

【０２８７】次に、強調表示属性の変更が行なわれてい
た場合には、強調表示取消部６２５が、前回の項目６１
２のイメージデータ部分の強調表示属性を通常（変更前
の属性）に戻すことにより強調表示を取り消し（ステッ
プＢ２′）、次の項目６１２のための関連情報Ｐを取得
する（ステップＢ３′）。その後は、強調表示部６２４
が、関連情報Ｐを参照して、入力対象となる項目６１２
に関する関連情報Ｐが存在するか否かを判断し（ステッ
プＢ４′）、入力対象となる項目６１２に関する関連情
報Ｐが存在する場合には、強調情報Ｑを取得するととも
に、変更情報獲得部６２８Ａが、この強調情報Ｑを参照
して強調表示属性の変更情報を獲得する（ステップＢ
５′）。Next, if the highlighting attribute has been changed, the highlighting canceling unit 625 determines that the previous item 61 has been changed.
The highlighted display is canceled by returning the highlighted display attribute of the image data portion 2 to normal (the attribute before the change) (step B2 ′), and the related information P for the next item 612 is acquired (step B3 ′). After that, the highlighted portion 624
Refers to the related information P to input the item 612
It is determined whether or not there is related information P related to the item 612 (step B4 ′). If related information P related to the item 612 to be input exists, the emphasis information Q is acquired and the change information acquisition unit 628A determines , The emphasis information Q is referred to acquire the change information of the emphasis display attribute (step B).
5 ').

【０２８８】さらに、入力対象となる項目６１２に対応
するイメージデータ部分がディスプレイ６３０上に表示
されているか否かを判断することによって、画面自動ス
クロールが必要か否かを判断し（ステップＢ６′）、画
面自動スクロールが必要でない場合には、強調情報変更
部６２８Ｂが、ステップＢ５′で獲得した変更情報でイ
メージデータ部分の強調表示属性を変更し、図７０及び
図７１に示すように、「口番（０００１）」から「氏名
（フジ タロウ）」へ強調表示部分６１３が移動する
（ステップＢ８′）。Further, it is determined whether or not the screen automatic scroll is necessary by determining whether or not the image data portion corresponding to the item 612 to be input is displayed on the display 630 (step B6 '). If the screen automatic scrolling is not required, the emphasis information changing unit 628B changes the emphasis display attribute of the image data portion with the change information acquired in step B5 ', and as shown in FIGS. The highlighted portion 613 moves from "No. (0001)" to "Name (Fuji Taro)" (step B8 ').

【０２８９】また、ステップＢ６′において、画面自動
スクロールが必要である場合には、画面スクロール部６
２７が、図７５及び図７６に示すように、強調表示部分
６１３の移動に伴う画面自動スクロール処理を行ない
（ステップＢ７′）、強調情報変更部６２８Ｂがステッ
プＢ５′で獲得した変更情報でイメージデータ部分の強
調表示属性を変更する（ステップＢ８′）。If it is necessary to scroll the screen automatically in step B6 ', the screen scroll unit 6
As shown in FIGS. 75 and 76, 27 carries out the screen automatic scrolling process in accordance with the movement of the highlighted portion 613 (step B7 ′), and the highlighted information changing unit 628B obtains the image data with the change information acquired in step B5 ′. The highlighting attribute of the part is changed (step B8 ').

【０２９０】このように、強調表示の移動の制御は、強
調表示属性の変更が行なわれたか否かを判断し、強調表
示属性の変更が行なわれていた場合には前回の項目６１
２の強調表示を取り消すとともに、入力対象となる項目
６１２に関する関連情報Ｐが存在するか否かを判断し、
入力対象となる項目６１２に関する関連情報Ｐが存在す
る場合には強調表示属性の変更情報を獲得する。In this way, the control of the movement of the highlighted display judges whether or not the highlighted display attribute has been changed, and when the highlighted display attribute has been changed, the previous item 61 is selected.
The highlighted item 2 is canceled, and it is determined whether or not the related information P regarding the item 612 to be input exists.
When the related information P regarding the item 612 to be input exists, the change information of the highlighted attribute is acquired.

【０２９１】さらに、画面自動スクロールが必要か否か
を判断し、画面自動スクロールが必要でない場合には強
調表示属性を変更し、画面自動スクロールが必要である
場合には画面自動スクロール処理を行なった後強調表示
属性を変更するのである。ところで、強調表示部分６１
３の表示種類及び表示領域は、強調情報Ｑを変更するこ
とにより、任意に変更することができる。Further, it is determined whether or not the screen automatic scroll is necessary. If the screen automatic scroll is not necessary, the highlighting attribute is changed, and if the screen automatic scroll is necessary, the screen automatic scroll processing is performed. The post-highlighting attribute is changed. By the way, the highlighted portion 61
The display type and display area of No. 3 can be arbitrarily changed by changing the emphasis information Q.

【０２９２】例えば、図７７に示すディスプレイ３０に
おいて、イメージデータ表示エリア６１１の最下部にあ
る項目６１２である「金額（￥4,321 ）」が強調表示さ
れている場合を例にして説明する。この場合、「金額
（￥4,321）」である項目６１２の強調表示部分６１３
は、図６９及び図７９の強調情報Ｑに示すように、開始
位置座標（３２０，１８０）と終了位置座標（４２０，
２００）とを規定することにより、一意に決められるよ
うになっている。なお、開始位置座標（３２０，１８
０）は、「タイトル４（金額）」に対応した「Ｎｏ．７
開始」に示す座標であり、終了位置座標（４２０，２０
０）は、「タイトル４（金額）」に対応した「Ｎｏ．７
終了」に示す座標である。 次に、図７９に示すよう
に、強調表示部分６１３の開始位置座標（３２０，１８
０）を、（３６０，１８０）に変更すると、図７８に示
すように、図７７に示す項目６１２である「金額（￥4,
321）」の強調表示部分６１３の領域は狭くなる。For example, a case will be described as an example in which the item 612 "amount (¥ 4,321)" at the bottom of the image data display area 611 is highlighted on the display 30 shown in FIG. In this case, the highlighted portion 613 of the item 612 that is “amount (¥ 4,321)”
Is the start position coordinates (320, 180) and the end position coordinates (420,
200) and are defined uniquely. The start position coordinates (320, 18
0) is “No. 7” corresponding to “Title 4 (amount of money)”.
The coordinates shown in “start” and the end position coordinates (420, 20
0) is “No. 7” corresponding to “Title 4 (amount of money)”.
The coordinates are shown in "End". Next, as shown in FIG. 79, the start position coordinates (320, 18) of the highlighted portion 613 are displayed.
When (0) is changed to (360, 180), as shown in FIG. 78, the item 612 shown in FIG. 77, “Amount (¥ 4,
The area of the highlighted portion 613 of “321)” becomes narrow.

【０２９３】このように、強調情報Ｑにおける開始位置
座標や終了位置座標を変更することにより、強調表示部
分６１３の領域の大きさを任意に設定することができる
のである。強調情報Ｑの変更は、図６３に示すように、
データ入力手段としてのキーボード等を用いて、イメー
ジデータ表示装置６４０に強調表示属性の変更の旨を入
力することにより、図６２及び図６３に示す変更部６２
８で行なわれる。As described above, by changing the start position coordinate and the end position coordinate in the emphasis information Q, the size of the area of the emphasized display portion 613 can be arbitrarily set. The change of the emphasis information Q is as shown in FIG.
A change unit 62 shown in FIGS. 62 and 63 is input by inputting a change of highlighting attribute to the image data display device 640 using a keyboard or the like as data input means.
Done at 8.

【０２９４】即ち、変更部６２８では、変更情報獲得部
６２８Ａが変更情報Ｒを獲得すると、強調情報変更部６
２８Ｂが強調情報Ｑを更新して、強調情報Ｑ′を作成す
るのであり、このときの動作フローを図６６を用いて説
明する。変更情報Ｒが入力されると、まず、変更情報獲
得部６２８Ａが、強調情報変更開始認識処理（ステップ
Ｃ１′）及び強調情報変更終了認識処理（ステップＣ
２′）を行なった後、変更情報獲得処理を行なうことに
より（ステップＣ３′）、強調情報Ｑがどのように変更
されたかを認識する。That is, in the changing unit 628, when the change information acquiring unit 628A acquires the change information R, the emphasis information changing unit 6
28B updates the emphasis information Q to create emphasis information Q ', and the operation flow at this time will be described with reference to FIG. 66. When the change information R is input, first, the change information acquisition unit 628A causes the emphasis information change start recognition process (step C1 ′) and the emphasis information change end recognition process (step C).
After performing 2 '), the change information acquisition process is performed (step C3') to recognize how the emphasis information Q has been changed.

【０２９５】次に、この認識結果に従って、強調情報変
更部６２８Ｂが、強調情報更新処理（ステップＣ４′）
及び強調情報変更処理（ステップＣ５′）を行なうこと
により、例えば図７９に示すように、強調情報Ｑを更新
して強調情報Ｑ′を作成するのである。このように、強
調表示部分６１３の表示種類及び表示領域を任意に変更
することができるため、用途に応じて自由に強調表示を
施すことができるのである。Next, according to the recognition result, the emphasized information changing unit 628B updates the emphasized information (step C4 ').
By performing the emphasis information changing process (step C5 '), the emphasis information Q is updated to create the emphasis information Q'as shown in FIG. 79, for example. In this way, the display type and display area of the highlighted portion 613 can be arbitrarily changed, so that the highlighted display can be freely performed according to the application.

【０２９６】なお、図７７及び図７８に示すデータ入力
表示エリア部分６１５には、イメージデータの文字認識
結果が表示されていないが、文字認識結果が表示されて
いてももちろんかまわない。従って、本実施形態にかか
るイメージデータ表示装置６４０によれば、データ入力
すべきデータ入力表示エリア部分６１５にカーソル表示
を移動させると、同時に参照すべき項目６１２のイメー
ジデータ部分が強調表示されることにより、オペレータ
がディスプレイ６３０から一度目を離した後に、再度デ
ィスプレイ６３０を見た場合でも、誤った項目６１２を
見ることを防いで、イメージデータを参照する際の対応
の誤認識を防いで視認性を高め、入力操作における労力
を軽減させるとともに、誤入力を防止することができる
利点がある。Although the character recognition result of the image data is not displayed in the data input display area portion 615 shown in FIGS. 77 and 78, it does not matter if the character recognition result is displayed. Therefore, according to the image data display device 640 according to the present embodiment, when the cursor display is moved to the data input display area portion 615 for data input, the image data portion of the item 612 to be referred to is highlighted at the same time. This prevents the operator from seeing the wrong item 612 even when he / she looks at the display 630 again after he / she takes his / her eyes off the display 630, thereby preventing misrecognition of the correspondence when referring to the image data. The advantages are that the input power can be improved, the labor required for input operation can be reduced, and erroneous input can be prevented.

【０２９７】また、参照すべき項目６１２のイメージデ
ータがディスプレイ６３０に表示されていない場合に
は、強調表示部分６１３の移動に伴って自動的にスクロ
ールすることができるため、例えばキーを押下する等の
無駄な操作を削減することができるという利点がある。
さらに、オペレータが強調表示部分６１３の種類や領域
を変更することもでき、用途に応じて使用することがで
きる利点がある。Further, when the image data of the item 612 to be referred to is not displayed on the display 630, it is possible to automatically scroll with the movement of the highlighted portion 613, so that, for example, a key is pressed. There is an advantage that the useless operation of can be reduced.
Furthermore, the operator can change the type and area of the highlighted portion 613, which is advantageous in that it can be used according to the application.

【０２９８】なお、本実施形態では、例えば図７０に示
すように、ディスプレイに表示される帳票のイメージデ
ータに強調表示を施す際に、所定の項目６１２の全体を
強調表示する場合について説明したが、これに限定され
ず、例えば図８０に示すように、所定の項目６１２の一
部分を強調表示するようにしてもよい。ここで、図８０
に示すディスプレイ６３０のイメージデータ表示エリア
６１１には、「口座番号」，「科目」，「銀行名／支店
名」，「受取人」及び「金額」の５つの項目情報を含ん
だイメージデータが表示されるようになっている。In this embodiment, as shown in, for example, FIG. 70, the case where the entire predetermined item 612 is highlighted when the image data of the form displayed on the display is highlighted has been described. However, the present invention is not limited to this, and for example, as shown in FIG. 80, a part of a predetermined item 612 may be highlighted. Here, FIG.
In the image data display area 611 of the display 630 shown in, image data including five item information of “account number”, “subject”, “bank name / branch name”, “recipient” and “amount” is displayed. It is supposed to be done.

【０２９９】また、送金データを入力する際には、所望
のデータ入力表示エリア部分６１５にカーソル表示６１
６を移動させることにより、所望の項目６１２のイメー
ジデータ部分に対応する送金データを入力する。このと
き、図８０に示すように、所望の項目６１２のイメージ
データ部分が強調表示部分６１３を有して強調表示され
ており（「銀行名／支店名（富士通銀行）」の部分）、
図８１及び図８２に示すように、カーソル表示６１６の
移動に伴って、この強調表示部分６１３もイメージデー
タ表示エリア６１１を移動する。When inputting the remittance data, the cursor display 61 is displayed in the desired data input display area portion 615.
By moving 6, the remittance data corresponding to the image data portion of the desired item 612 is input. At this time, as shown in FIG. 80, the image data portion of the desired item 612 is highlighted with a highlighted portion 613 (“bank name / branch name (Fujitsu Bank)” portion),
As shown in FIGS. 81 and 82, the highlighted display portion 613 also moves in the image data display area 611 as the cursor display 616 moves.

【０３００】なお、図８２では、項目６１２の「受取人
（山田 一郎）」の文字部分が強調表示されているが、
図８３に示すように、項目６１２の全体を強調表示して
もよい。さらに、例えば図８４に示すように、帳票のイ
メージデータを、個人情報毎にディスプレイ６３０に表
示するようにすることもできる。[0300] In Fig. 82, the character portion of "recipient (Ichiro Yamada)" of item 612 is highlighted.
As shown in FIG. 83, the entire item 612 may be highlighted. Further, for example, as shown in FIG. 84, image data of a form can be displayed on the display 630 for each personal information.

【０３０１】ここで、図８４に示すディスプレイ６３０
のイメージデータ表示エリア６１１には、「銀行名」，
「支店名」，「口座番号」，「科目」，「金額」，「受
取人」及び「依頼人」の７つの項目情報を含んだイメー
ジデータが表示されるようになっている。同様に、送金
データを入力する際には、所望のデータ入力表示エリア
部分６１５にカーソル表示６１６を移動させることによ
り、所望の項目６１２′のイメージデータ部分に対応す
る送金データを入力する。このとき、図８４に示すよう
に、所望の項目６１２′のイメージデータ部分が強調表
示部分６１３を有して強調表示されており（「科目
（１）」の部分）、図８５に示すように、カーソル表示
６１６の移動に伴って、この強調表示部分６１３もイメ
ージデータ表示エリア６１１を移動する。Here, the display 630 shown in FIG. 84.
In the image data display area 611 of “Bank name”,
Image data including seven item information of "branch name", "account number", "subject", "amount", "recipient" and "client" is displayed. Similarly, when inputting the remittance data, the cursor display 616 is moved to the desired data input display area portion 615 to input the remittance data corresponding to the image data portion of the desired item 612 '. At this time, as shown in FIG. 84, the image data portion of the desired item 612 'is highlighted with the highlighted portion 613 (the "subject (1)" portion), and as shown in FIG. The highlighted display portion 613 also moves in the image data display area 611 as the cursor display 616 moves.

【０３０２】このように帳票のイメージデータを表示し
た場合でも、本実施形態と同様の利点を得ることができ
る。なお、図８０〜図８５に示すデータ入力表示エリア
部分６１５には、イメージデータの文字認識結果が表示
されていないが、文字認識結果が表示されていてももち
ろんかまわない。Even when the image data of the form is displayed in this way, the same advantages as those of the present embodiment can be obtained. Although the character recognition result of the image data is not displayed in the data input display area portion 615 shown in FIGS. 80 to 85, the character recognition result may be displayed, of course.

【０３０３】さらに、本実施形態では、銀行等で用いる
帳票をイメージデータ入力装置で読み取り、イメージデ
ータとしてディスプレイ等の画面に表示する場合につい
て説明したが、これに限定されず、その他のデータ類
（例えば名簿等）をイメージデータ入力装置で読み取
り、イメージデータとしてディスプレイ等の画面に表示
することもでき、このようにしても、本実施形態と同様
の利点を得ることができる。Further, in the present embodiment, the case where a form used in a bank or the like is read by the image data input device and displayed as image data on a screen such as a display has been described, but the present invention is not limited to this, and other data types ( For example, a name list) can be read by an image data input device and displayed as image data on a screen such as a display. Even in this case, the same advantages as those of the present embodiment can be obtained.

【０３０４】また、本実施形態では、オペレータが、読
み取ったイメージデータを目視して、入力操作を行なう
場合について説明したが、例えば帳票をイメージデータ
入力装置で読み取る際に、自動的に文字認識を行なうよ
うにすることにより、誤認識及び認識不能文字を含んだ
項目についてのみオペレータが入力操作を行なうように
することもできる。In the present embodiment, the case has been described in which the operator visually checks the read image data and performs an input operation. However, for example, when a form is read by the image data input device, character recognition is automatically performed. By doing so, it is possible for the operator to perform an input operation only for items that include erroneous recognition and unrecognizable characters.

【０３０５】このようにすれば、本実施形態と同様の利
点を得ることができるほか、入力操作における労力及び
時間を大幅に削減することができる。 （２）読み取り標章表示・認識情報修正装置の説明 上述の（１）にて詳述したイメージデータ表示装置６４
０においては、イメージデータの編集表示は複数の文字
から構成される項目を単位としているため、自動文字認
識の結果の正誤の確認の際には、イメージデータ中の連
続する異なった文字の中から、目視によって確認対象の
認識文字に対応する文字の選別を行なうため、視線の移
動及び比較する対象が多く、正誤の確認作業に労力及び
時間を要することもある。In this way, the same advantages as those of this embodiment can be obtained, and the labor and time required for the input operation can be greatly reduced. (2) Description of read mark display / recognition information correction device Image data display device 64 described in detail in (1) above
In 0, since the edit display of the image data is made up of items composed of multiple characters as a unit, when checking the correctness of the result of the automatic character recognition, from the consecutive different characters in the image data, Since the character corresponding to the recognized character to be confirmed is visually selected, there are many objects to be moved and compared with the line of sight, and it may take labor and time to confirm the correctness.

【０３０６】そこで、このような場合には、図８６に示
すような読み取り標章表示・認識情報修正装置７４０を
用いて入金依頼処理を施すことができる。この読み取り
標章表示・認識情報修正装置７４０は、例えば入金すべ
き料金の種類や金額等の入金データが記載された帳票を
イメージとして取り込み、この入金データのイメージを
自動文字認識によりコード情報に変換することにより、
入金依頼処理を施すものであるものであるが、変換の際
の認識不能文字及び誤認識文字（文字には数字も含む。
以下同じ。）の修正は、オペレータがキーボード等を介
して行なうようになっている。Therefore, in such a case, the deposit request processing can be performed using the read mark display / recognition information correction device 740 as shown in FIG. The read mark display / recognition information correction device 740 takes in a form in which, as an image, deposit data such as the type of charge to be deposited and the amount of money, and converts the image of the deposit data into code information by automatic character recognition. By doing
Although the deposit request processing is performed, unrecognizable characters and erroneously recognized characters (including numbers are also included in the conversion).
same as below. ) Is modified by the operator via a keyboard or the like.

【０３０７】ここで、この読み取り標章表示・認識情報
修正装置７４０は、図６に示す媒体処理装置３０のクラ
イアント１０に相当するものであり、図６に示すサーバ
３９と接続された場合には、サーバ３９に接続された集
中文字認識装置６によるイメージの文字認識結果につい
ても、同様に認識不能文字及び誤認識文字の修正処理を
施すとともに、この修正結果をサーバ３９に出力するワ
ークステーションとして機能するようになる。Here, the read mark display / recognition information correction device 740 corresponds to the client 10 of the medium processing device 30 shown in FIG. 6, and when it is connected to the server 39 shown in FIG. Also, with respect to the character recognition result of the image by the centralized character recognition device 6 connected to the server 39, the unrecognizable character and the erroneously recognized character are similarly corrected, and the correction result is output to the server 39 as a workstation. Come to do.

【０３０８】このために、この読み取り標章表示・認識
情報修正装置７４０は、図８６に示すように、イメージ
読み取り部としてのイメージリーダ７２１，データ入力
装置としてのキーボード７２２，ハードディスク７２
３，標章認識装置としてのコンピュータ本体７２４及び
ディスプレイ７２５をそなえて構成されている。ここ
で、イメージリーダ７２１は、例えば図９８に示す入金
データが記載された帳票のような数字，文字等の標章情
報を有するイメージである全面イメージＰを読み取り、
数字及び文字等のイメージ情報である標章イメージ情報
として、コンピュータ本体７２４に入力するものであ
る。Therefore, as shown in FIG. 86, the read mark display / recognition information correction device 740 includes an image reader 721 as an image reading unit, a keyboard 722 as a data input device, and a hard disk 72.
3. A computer main body 724 as a mark recognition device and a display 725 are provided. Here, the image reader 721 reads an entire image P, which is an image having mark information such as numbers and characters, such as a form in which the deposit data shown in FIG. 98 is written,
The image information is input to the computer main body 724 as mark image information which is image information such as numbers and characters.

【０３０９】なお、標章イメージ情報は、その最小構成
単位である数字及び文字単位で構成されているものであ
るが、これに限らず、数字及び文字の集合をその構成単
位としてもよい。また、この全面イメージＰは、複数枚
分をまとめて保持されるようにしてもよい。また、キー
ボード７２２は、自動認識不能であった標章イメージ情
報及び誤認識された標章イメージ情報に対応するコード
データを修正するために、適正なコードデータを正解デ
ータとして、オペレータが手動で入力するためのもので
ある。The mark image information is composed of numbers and characters, which are the minimum constituent units, but is not limited to this, and a set of numbers and characters may be the constituent unit. Further, the entire image P may be held collectively for a plurality of sheets. In addition, the keyboard 722 is manually input by the operator with correct code data as correct data in order to correct the code data corresponding to the mark image information that could not be automatically recognized and the mark image information that was erroneously recognized. It is for doing.

【０３１０】さらに、ディスプレイ７２５は、イメージ
リーダ７２１から入力された標章イメージ情報を読み取
ったイメージの状態で表示するものであり、認識不能標
章イメージ情報表示エリア７３２Ａ，標章イメージ情報
表示エリア７３３Ａ，連関標章イメージ情報表示エリア
７３３Ｂ及び正解データ表示エリア７３３Ｃを有してい
る。Further, the display 725 displays the mark image information input from the image reader 721 in the state of the read image, and the unrecognizable mark image information display area 732A and the mark image information display area 733A. , An associated mark image information display area 733B and a correct answer data display area 733C.

【０３１１】ここで、認識不能標章イメージ情報表示エ
リア７３２Ａは、自動認識不能であった標章イメージ情
報を、その周辺の標章イメージ情報とともに表示するも
のであり、認識不能標章イメージ情報には強調表示を施
すことにより、周辺の標章イメージ情報と識別できるよ
うになっている。例えば、図１０１の画面Ａにおいて、
「１．“?”（リジェクト文字）」に示す「２０３４」
では、「３」が認識不能標章イメージ情報であり、
「２」，「０」，「４」が周辺の標章イメージ情報に相
当する。 また、標章イメージ情報表示エリア７３３Ａ
は、イメージ中におけるコード情報に変換されるべき最
小構成単位の標章イメージ情報を、この標章イメージ情
報を変換したコード情報の意味する標章情報に対応させ
て表示するものである。Here, the unrecognizable mark image information display area 732A displays the mark image information that could not be automatically recognized together with the mark image information in the vicinity thereof. Is highlighted so that it can be distinguished from the surrounding mark image information. For example, on screen A in FIG.
"2034" shown in "1."? "(Reject character)"
Then, "3" is the unrecognizable mark image information,
"2", "0", and "4" correspond to the surrounding mark image information. In addition, the mark image information display area 733A
Is for displaying the mark image information of the minimum constitutional unit to be converted into the code information in the image in association with the mark information which means the code information obtained by converting the mark image information.

【０３１２】即ち、イメージを分割して最小構成単位の
標章イメージ情報として、例えば図１０１の画面Ａに示
すように、数字の場合では「０」〜「９」に対応するエ
リアが設けられており、「１」を表す標章イメージ情報
は、全て「１」に対応するエリアに表示されるように、
同一標章を同一エリアに表示するようになっており、視
線の移動を削減するようになっている。That is, the image is divided and the area corresponding to "0" to "9" in the case of numbers is provided as the mark image information of the minimum constitutional unit, for example, as shown in the screen A of FIG. So that all the mark image information representing "1" is displayed in the area corresponding to "1",
The same mark is displayed in the same area to reduce the movement of the line of sight.

【０３１３】さらに、連関標章イメージ情報表示エリア
７３３Ｂは、例えば続き文字のような前後の文字を参照
することにより、自動文字認識の結果の正誤の確認及び
修正が容易に行なえる場合に、キーボード７２２の例え
ば参照キーを押下することにより、強調表示されている
標章イメージ情報の周辺のイメージ情報を参考表示させ
るものである。例えば、図１０３の画面Ｆにおいて、
「１１７５」では、「７」が強調表示されている標章イ
メージ情報であり、「１」，「１」，「５」がその周辺
のイメージ情報である。Further, the related mark image information display area 733B is provided with a keyboard when the correctness or incorrectness of the result of the automatic character recognition can be easily confirmed and corrected by referring to the preceding and succeeding characters such as continuous characters. By pressing, for example, a reference key 722, image information around the highlighted mark image information is displayed for reference. For example, on screen F in FIG.
In “1175”, “7” is the highlighted mark image information, and “1”, “1”, and “5” are the image information of the surroundings.

【０３１４】また、正解データ表示エリア７３３Ｃは、
キーボード７２２から入力された適正なコードデータを
正解データとして表示するためのものであり、例えば、
図１０３の画面Ｆにおいては、「７」が入力された状態
になっている。さらに、図８６に示す読み取り標章表示
・認識情報修正装置７４０は、前述のごとく、ハードデ
ィスク７２３をそなえており、このハードディスク７２
３は、定義体情報としての読み取り指定情報を格納する
定義体情報格納部である。なお、読み取り指定情報と
は、全面イメージＰの分割及びコードデータとしての認
識に関する情報をいう。The correct answer data display area 733C is
This is for displaying proper code data input from the keyboard 722 as correct answer data.
In the screen F of FIG. 103, “7” has been input. Further, the read mark display / recognition information correction device 740 shown in FIG. 86 has the hard disk 723 as described above.
Reference numeral 3 is a definition information storage unit that stores read designation information as definition information. Note that the read designation information is information regarding division of the entire image P and recognition as code data.

【０３１５】図８６に示すコンピュータ本体７２４は、
標章認識装置として機能し（以下コンピュータ本体７２
４を標章認識装置７２４と表記する場合がある）、イメ
ージリーダ７２１により入力されたイメージの標章のイ
メージ情報を認識して、この標章のイメージ情報を標章
のコードデータに変換するとともに、標章のイメージに
所定の処理を施してディスプレイ７２５に表示するもの
である。The computer main body 724 shown in FIG. 86 is
It functions as a mark recognition device (hereinafter computer main body 72
4 may be referred to as a mark recognition device 724), recognizes the image information of the mark of the image input by the image reader 721, and converts the image information of this mark into code data of the mark. The image of the mark is subjected to predetermined processing and displayed on the display 725.

【０３１６】また、図８６及び図８７に示す標章認識装
置としてのコンピュータ本体７２４は、標章認識部とし
ての文字認識部７２６，読み取り標章イメージ表示制御
部７２７，正解データ表示手段としての正解データ表示
部７２８，最小構成単位標章イメージ情報抽出部として
の文字イメージ抽出処理部７２９，最小構成単位標章イ
メージ表示制御部としての文字イメージ表示処理部７３
０，連関標章イメージ表示手段としての連関標章イメー
ジ表示部７３１，認識情報修正手段としての認識情報修
正部７５２及び関連情報作成部７４１をそなえている。Further, the computer main body 724 as the mark recognition device shown in FIGS. 86 and 87 has a character recognition unit 726 as a mark recognition unit, a read mark image display control unit 727, and a correct answer as correct answer data display means. A data display unit 728, a character image extraction processing unit 729 as a minimum constituent unit mark image information extraction unit, and a character image display processing unit 73 as a minimum constituent unit mark image display control unit 73.
0, an associated mark image display unit 731 as an associated mark image display unit, a recognition information correction unit 752 as a recognition information correction unit, and a related information creation unit 741.

【０３１７】ここで、文字認識部７２６は、イメージリ
ーダ７２１で読み取られたイメージ中の標章イメージ情
報を認識して、この標章イメージ情報に対応するコード
情報に変換するものであり、例えば文字認識装置等と同
様の機能を有するものである。この文字認識部７２６
は、イメージ読み取り装置７２１で読み取られた全面イ
メージＰあるいはハードディスク７２３に格納された読
み取り指定情報（定義体情報）を参照して、認識文字情
報Ｓを作成するものである。Here, the character recognition unit 726 is for recognizing the mark image information in the image read by the image reader 721 and converting it into code information corresponding to this mark image information. It has the same function as the recognition device. This character recognition unit 726
Is to create the recognized character information S by referring to the full-screen image P read by the image reading device 721 or the read designation information (definition structure information) stored in the hard disk 723.

【０３１８】ここで、認識文字情報Ｓは、文字認識部７
２６により認識された文字のコードデータを表したもの
であり、図９９に示すように、「項目名」，「項目桁
数」，「認識結果」で表されている。「項目名」は、図
９８の全面イメージＰにおける「水道料金」及び「電気
料金」に対応しており、「ＳＵＩ−１〜４」及び「ＤＥ
Ｎ−１〜４」の項目を有している。Here, the recognized character information S is the character recognition unit 7
It represents the code data of the character recognized by 26, and is represented by "item name", "item digit number", and "recognition result" as shown in FIG. The “item name” corresponds to the “water rate” and the “electricity rate” in the overall image P of FIG. 98, and “SUI-1 to 4” and “DE”.
N-1 to 4 ".

【０３１９】また、「項目桁数」は、項目の有する桁数
であり、この場合は６桁の文字及び数字を入力できるよ
うに設定されており、「認識結果」は、文字として認識
されたコードデータとしてのコード情報を表している。
なお、付記した正解データとの比較でわかるように、
「ＳＵＩ−２」，「ＳＵＩ−４」の認識結果は、認識不
能及び誤認識である。The "item digit number" is the number of digits that the item has, and in this case, it is set so that 6-digit characters and numbers can be input, and the "recognition result" is recognized as a character. It represents code information as code data.
In addition, as you can see by comparing with the correct answer data,
The recognition results of "SUI-2" and "SUI-4" are unrecognizable and erroneous recognition.

【０３２０】また、読み取り標章イメージ表示制御部７
２７は、標章イメージ情報を対応するコード情報に変換
できなかった場合は、この変換できなかった認識不能標
章イメージ情報を認識不能標章イメージ情報と連関する
標章イメージ情報とともに、ディスプレイ７２５に、読
み取ったイメージの状態で表示させるものである。即
ち、この読み取り標章イメージ表示制御部７２７は、文
字認識部７２６で認識及び対応するコード情報への変換
が行なわれなかった標章イメージ情報を、認識不能標章
イメージ情報として、この認識不能標章イメージ情報の
周辺に位置する連関する標章イメージ情報とともに、デ
ィスプレイ７２５上の認識不能標章イメージ情報表示エ
リア７３２Ａに、読み取ったイメージの状態で表示させ
るものである。Also, the read mark image display control unit 7
When the mark image information cannot be converted into the corresponding code information, the display unit 725 displays the unrecognizable mark image information that cannot be converted together with the mark image information associated with the unrecognizable mark image information. , Is displayed in the state of the read image. That is, the read mark image display control unit 727 sets the mark image information that has not been recognized and converted into the corresponding code information by the character recognition unit 726 as the unrecognizable mark image information. Along with the related mark image information located around the chapter image information, the unrecognized mark image information display area 732A on the display 725 displays the read image.

【０３２１】さらに、この読み取り標章イメージ表示制
御部７２７は、オペレータによる認識不能標章イメージ
情報の識別を容易にするために、認識不能標章イメージ
情報に強調表示を施す強調表示手段としての強調表示部
７２７Ａをそなえている。また、この読み取り標章イメ
ージ表示制御部７２７は、正解データ表示部７２８によ
り、正解データがディスプレイ７２５上の認識不能標章
イメージ情報表示エリア７３２Ａとは別の正解データ表
示エリア７３３Ｃに表示されると、今まで強調表示され
ていた認識不能標章イメージ情報については修正済みを
意味する別の強調表示に変更する強調表示変更手段とし
ての強調表示変更部７２７Ｂもそなえている。Further, the read mark image display control section 727 emphasizes as highlighting means for highlighting the unrecognizable mark image information in order to facilitate the operator's identification of the unrecognizable mark image information. It has a display portion 727A. Further, when the correct answer data display section 728 displays the correct answer data in the correct answer data display area 733C on the display 725, which is different from the unrecognizable mark image information display area 732A. Also, the unrecognizable mark image information which has been highlighted until now is also provided with a highlighting changing unit 727B as a highlighting changing means for changing to another highlighting meaning that it has been corrected.

【０３２２】さらに、文字イメージ抽出処理部７２９
は、イメージ中におけるコード情報に変換されるべき最
小構成単位の標章イメージ情報を、最小構成単位の標章
イメージ情報毎に抽出するものである。即ち、この文字
イメージ抽出処理部７２９は、例えば数字，文字をその
最小構成単位としている標章イメージ情報を、数字及び
文字単位のイメージ情報に分割して抽出するものであ
り、全面イメージＰあるいはハードディスク７２３に格
納された読み取り指定情報（定義体情報）を参照して、
関連情報Ｒを作成するものである。Further, the character image extraction processing unit 729
Is to extract the mark image information of the minimum constituent unit to be converted into the code information in the image for each of the mark image information of the minimum constituent unit. That is, the character image extraction processing unit 729 divides the mark image information having numbers and characters as its minimum constituent units into image information in units of numbers and characters, and extracts the whole image P or the hard disk. Referring to the read designation information (definition structure information) stored in 723,
The related information R is created.

【０３２３】ここで、文字イメージ情報及び関連情報Ｒ
は、図９１に示すフローチャートのステップＢ１″〜ス
テップＢ８″の処理を施すことにより作成される。即
ち、まず、全面イメージＰを文字単位に分割して文字イ
メージ情報を作成して（ステップＢ１″）、この文字イ
メージ情報の全面イメージＰにおける位置（帳票上の位
置）情報を取得する（ステップＢ２″）。Here, the character image information and the related information R
Is created by performing the processing of steps B1 ″ to B8 ″ of the flowchart shown in FIG. That is, first, the whole image P is divided into character units to create character image information (step B1 ″), and the position (position on the form) of this character image information in the whole image P is acquired (step B2). ″).

【０３２４】次に、この文字イメージ情報が所定の項目
（水道料金，電気料金等）に指定されているか否かを判
断し（ステップＢ３″）、指定されている場合には、文
字イメージ情報を所定の項目毎に分類し（ステップＢ
４″）、各文字イメージ情報の項目内の位置情報を設定
する（ステップＢ５″）。文字イメージ情報が所定の項
目に指定されていない場合は、行を項目として項目毎に
分類し（ステップＢ６″）、各文字イメージ情報の項目
内の位置情報を設定する（ステップＢ７″）。Next, it is judged whether or not this character image information is designated in a predetermined item (water rate, electricity rate, etc.) (step B3 ″), and if it is designated, the character image information is determined. Categorize into predetermined items (Step B
4 ″), and position information in each item of character image information is set (step B5 ″). If the character image information is not designated as a predetermined item, the line is classified as an item (step B6 ″), and the position information in the item of each character image information is set (step B7 ″).

【０３２５】このように、設定された各文字イメージ情
報の項目内の位置情報を用いて、関連情報Ｒが作成され
るのである（ステップＢ８″）。なお、この関連情報Ｒ
は、認識文字に関する認識文字情報を有していないもの
である。また、文字イメージ表示処理部７３０は、文字
イメージ抽出処理部７２９で抽出された最小構成単位の
標章イメージ情報（例えば数字，文字単位のイメージ情
報）を、この標章イメージ情報を変換したコード情報の
意味する標章情報に対応させて表示させるとともに、同
種の最小構成単位の標章イメージ情報を、この標章イメ
ージ情報を変換したコード情報の意味する標章情報に対
応させて複数個表示させる機能を有するものである。In this way, the related information R is created by using the position information in each item of the set character image information (step B8 ″).
Indicates that the recognition character information regarding the recognition character is not included. In addition, the character image display processing unit 730 converts the mark image information (for example, image information in units of numbers or characters) of the minimum constituent unit extracted by the character image extraction processing unit 729 into code information obtained by converting the mark image information. In addition to displaying the mark image information that means the mark image information, a plurality of mark image information of the same type of minimum constituent unit is displayed corresponding to the mark information that means the code information that is converted from this mark image information. It has a function.

【０３２６】即ち、この文字イメージ表示処理部７３０
は、例えば、文字イメージ抽出処理部７２９で抽出され
た「１」のイメージ情報を変換したコード情報を、ディ
スプレイ７２５上の標章イメージ情報表示エリア７３３
Ａの「０」〜「９」等の複数の標章を表示する部分の中
の「１」の標章を表示する部分に表示させるものであ
る。In other words, this character image display processing unit 730
Is, for example, the code information obtained by converting the image information of “1” extracted by the character image extraction processing unit 729, the mark image information display area 733 on the display 725.
It is to be displayed in the portion displaying the mark of "1" in the portion displaying a plurality of marks such as "0" to "9" of A.

【０３２７】また、文字イメージ表示処理部７３０は、
所望の１つの標章イメージ情報についてのみ強調表示を
行なう強調表示手段としての強調表示部７３０Ａをそな
えており、現在処理しているイメージ情報の識別が容易
にできるようになっている。さらに、強調表示変更手段
としての強調表示変更部７３０Ｂは、データ入力装置で
あるキーボード７２２の操作により正解データを入力す
ると、今まで強調表示されていた１つの標章イメージ情
報については修正済みを意味する別の強調表示を施し、
修正前の標章イメージ情報と修正済の標章イメージ情報
との識別を容易にするものである。Further, the character image display processing section 730 is
A highlighting unit 730A is provided as a highlighting unit that highlights only one desired mark image information, so that the image information currently processed can be easily identified. Further, when the correct answer data is input by operating the keyboard 722 which is a data input device, the highlighting changing unit 730B as the highlighting changing means means that one mark image information highlighted until now is corrected. Another highlight to
This facilitates identification of the mark image information before correction and the mark image information after correction.

【０３２８】また、連関標章イメージ表示部７３１は、
１つの標章イメージ情報をこの標章イメージ情報と連関
する標章イメージ情報とともに、ディスプレイ７２５上
に、読み取ったイメージの状態で表示するものである。
即ち、この連関標章イメージ表示部７３１は、１つの標
章イメージ情報をこの標章イメージ情報の周辺に位置
し、連関する標章イメージ情報とともに、ディスプレイ
７２５上の連関標章イメージ情報表示エリア７３３Ｂ
に、読み取ったイメージの状態で表示するものであり、
例えば続き文字のような前後の文字を参照することによ
り、自動文字認識の結果の正誤の確認及び修正が容易に
行なえる場合に、強調表示されているイメージ情報の周
辺のイメージ情報を参考表示させるものである。The associated mark image display portion 731 is
One mark image information is displayed on the display 725 in the state of the read image together with the mark image information related to this mark image information.
That is, the related mark image display portion 731 locates one mark image information around this mark image information, and together with the related mark image information, the related mark image information display area 733B on the display 725.
Is displayed in the state of the read image,
For example, when it is easy to check the correctness of the result of automatic character recognition and correct it by referring to the preceding and following characters such as continuous characters, the image information around the highlighted image information is displayed for reference. It is a thing.

【０３２９】さらに、この連関標章イメージ表示部７３
１は、１つの標章イメージ情報については強調表示を施
す強調表示手段としての強調表示部７３１Ａをそなえて
おり、連関する標章イメージ情報との識別を容易にして
いる。また、正解データ表示部７２８は、データ入力装
置７２２の操作により正解データを入力すると、ディス
プレイ７２５上の標章イメージ情報表示エリア７３３Ａ
及び連関標章イメージ情報表示エリア７３３Ｂとは異な
るエリアである正解データ表示エリア７３３Ｃに、正解
データを表示させるものである。Furthermore, this linked mark image display section 73
1 has a highlighting portion 731A as a highlighting means for highlighting one mark image information, and makes it easy to distinguish it from the related mark image information. Further, when the correct answer data is input by operating the data input device 722, the correct answer data display section 728 displays the mark image information display area 733A on the display 725.
The correct answer data is displayed in the correct answer data display area 733C which is an area different from the related mark image information display area 733B.

【０３３０】さらに、認識情報修正部７５２は、認識不
能標章イメージ情報及び誤認識標章イメージ情報に対す
る正解データがキーボード７２２から入力されると、正
解データを正解コードデータとして登録することによ
り、認識不能標章イメージ情報及び誤認識標章イメージ
情報の修正を行なうものであり、図８８に示すように、
修正情報取得処理部７４２及び修正結果反映処理部７４
３をそなえている。Further, when the correct answer data for the unrecognizable mark image information and the erroneously recognized mark image information is input from the keyboard 722, the recognition information correction section 752 registers the correct answer data as correct answer code data to recognize it. The improper mark image information and the misrecognized mark image information are corrected. As shown in FIG. 88,
Correction information acquisition processing unit 742 and correction result reflection processing unit 74
It has 3.

【０３３１】また、関連情報作成部７４１は、関連情報
Ｒ及び認識文字情報Ｓを参照して、認識文字情報を有し
た関連情報Ｒ′を作成するものである。この関連情報
Ｒ′は、図１００に示すように、複数の文字イメージ情
報における「全面イメージ上の位置及びサイズ」，「対
応文字項目名」，「対応項目イメージ名」，「項目内桁
位置」，「認識文字」，「認識文字情報内オフセット」
及び「修正済フラグ」を表したものである。The related information creating section 741 refers to the related information R and the recognized character information S to create the related information R'having the recognized character information. This related information R'is, as shown in FIG. 100, "position and size on the whole image", "corresponding character item name", "corresponding item image name", "digit position within item" in a plurality of character image information. , "Recognition character", "offset in recognition character information"
And "corrected flag".

【０３３２】ここで、「全面イメージ上の位置及びサイ
ズ」は、文字イメージ情報の全面イメージＰ上の位置情
報を表しており、ビット単位で表現されている。また、
「対応文字項目名」は、文字イメージ情報が属する項目
（［ＳＵＩ−１〜４」等）を表しており、「対応項目イ
メージ名」は、文字イメージ情報が属するイメージを表
しており「対応文字項目名」に対応している（「ＩＳＵ
Ｉ−１〜４」等）。Here, the "position and size on the whole image" represents position information of the character image information on the whole image P, and is expressed in bit units. Also,
The “corresponding character item name” represents an item (eg, “SUI-1 to 4”) to which the character image information belongs, and the “corresponding item image name” represents an image to which the character image information belongs and It corresponds to "item name"("ISU
I-1 to 4 ", etc.).

【０３３３】例えば、図９９に示す項目［ＳＵＩ−１」
は、認識文字情報「１０５０」に対応しているが、図１
００に示すように、文字イメージ１〜４情報からなり、
イメージ名は［ＩＳＵＩ−１」となる。さらに、「項目
内桁位置」は、項目内での文字イメージ情報の位置を表
しており、「認識文字」は、認識文字情報Ｓを表すもの
であり、認識文字「１」が項目内で３桁目に、「０」が
４桁目に、「５」が５桁目に、「０」が６桁目に位置す
ることを表している。For example, the item [SUI-1] shown in FIG.
Corresponds to the recognized character information “1050”.
As shown in 00, it consists of character image 1-4 information,
The image name is [ISUI-1]. Furthermore, "digit position in item" represents the position of the character image information in the item, "recognition character" represents the recognition character information S, and recognition character "1" is 3 in the item. In the digit, "0" is in the fourth digit, "5" is in the fifth digit, and "0" is in the sixth digit.

【０３３４】さらに、「修正済フラグ」は、図１００で
は全て「ＯＦＦ」となっているが、認識不能文字及び誤
認識文字の修正を施したときには、その文字イメージ情
報に対する修正済フラグ」を「ＯＮ」に変更され、修正
が行なわれた旨を示すものである。なお、その他、文字
イメージ情報は「認識文字情報内オフセット」情報によ
っても規定されている。Further, although the "corrected flag" is all "OFF" in FIG. 100, when the unrecognizable character and the erroneously recognized character are corrected, the "corrected flag" for the character image information is set to "OFF". It is changed to "ON" and indicates that the correction is performed. In addition, the character image information is also defined by the "offset in recognized character information" information.

【０３３５】この関連情報Ｒ′は、図９２に示すような
処理によって作成される。まず、認識文字情報Ｓを項目
及び／又は行で表現される位置情報毎に分類し（ステッ
プＣ１″）、分類された認識文字情報Ｓを対応する関連
情報Ｒに追加する（ステップＣ２″）。次に、この認識
文字情報Ｓの項目及び／又は行内文字数が、関連情報Ｒ
の項目又は行内文字数以内であるかを判断し（ステップ
Ｃ３″）、さらに、この認識文字情報Ｓの項目及び／又
は行数が、関連情報Ｒの項目又は行数以内であるかを判
断し（ステップＣ４″）、これにより、関連情報Ｒを更
新して関連情報Ｒ′を作成するのである。This related information R'is created by the processing shown in FIG. First, the recognized character information S is classified for each position information represented by items and / or lines (step C1 ″), and the classified recognized character information S is added to the corresponding related information R (step C2 ″). Next, the item of the recognized character information S and / or the number of characters in the line indicates the related information R.
Item or the number of characters in the line is determined (step C3 ″), and further, it is determined whether the item and / or the number of lines of the recognized character information S is within the item or the number of lines of the related information R ( Step C4 ″), whereby the related information R is updated to create the related information R ′.

【０３３６】実際には、上述した文字認識部７２６，読
み取り標章イメージ表示制御部７２７，文字イメージ抽
出処理部７２９，文字イメージ表示処理部７３０，連関
標章イメージ表示部７３１，正解データ表示部７２８及
び関連情報作成部７４１としての機能をコンピュータ本
体７２４に与えるような適宜のソフトウェアを、ハード
ディスク７２３又はその他のメモリにインストールする
ことにより、読み取り標章表示・認識情報修正装置７４
０を構成するのである。Actually, the character recognition unit 726, the read mark image display control unit 727, the character image extraction processing unit 729, the character image display processing unit 730, the related mark image display unit 731, the correct answer data display unit 728 described above are actually used. Also, by installing appropriate software that gives the computer main body 724 a function as the related information creation unit 741 to the hard disk 723 or other memory, the read mark display / recognition information correction device 74
It constitutes 0.

【０３３７】上述の構成により、本実施形態にかかる読
み取り標章表示・認識情報修正装置７４０は、以下のよ
うに動作する。図８７に示すイメージ読み取り装置７２
１で、読み取り対象の帳票の全面イメージＰを作成し、
標章認識装置７２４でこの全面イメージＰを文字イメー
ジ情報に変換するとともに、読み取り指定情報（定義体
情報）を用いて関連情報Ｒ′を作成する。With the above-mentioned configuration, the read mark display / recognition information correction device 740 according to this embodiment operates as follows. Image reading device 72 shown in FIG.
In 1, create a full-scale image P of the form to be read,
The mark recognition device 724 converts this full-scale image P into character image information, and creates related information R ′ using the read designation information (definition structure information).

【０３３８】この関連情報Ｒ′を用いて、これら文字イ
メージ情報をディスプレイ（図８７では図示せず）に表
示したときのディスプレイ７２５上の初期画面は図１０
１の画面Ａに示すようになる。このとき、認識不能標章
イメージ情報表示エリア７３２Ａには、リジェクト文字
及びその周辺に位置する文字である「２０３４」及び
「１２０１」が表示され、標章イメージ情報表示エリア
７３３Ａには、「０」〜「９」のエリアに、それぞれ
「０」〜「９」を表す文字イメージが表示されている。The initial screen on the display 725 when the character image information is displayed on the display (not shown in FIG. 87) using the related information R ′ is shown in FIG.
1 is displayed on the screen A. At this time, rejected characters and the characters “2034” and “1201” located in the vicinity thereof are displayed in the unrecognizable mark image information display area 732A, and “0” is displayed in the mark image information display area 733A. Character images representing "0" to "9" are displayed in the areas "9" to "9", respectively.

【０３３９】なお、認識不能標章イメージ情報表示エリ
ア７３２Ａに表示された「２０３４」は、修正対象であ
ることを示すため太枠で強調表示されているとともに、
認識不能文字であるリジェクト文字「３」に斜線で強調
表示が施されている。また、同様に認識不能標章イメー
ジ情報表示エリア７３２Ａに表示された「１２０１」
は、認識不能文字であるリジェクト文字「２」に斜線で
強調表示が施されている。"2034" displayed in the unrecognizable mark image information display area 732A is highlighted with a thick frame to indicate that it is to be corrected.
The reject character “3”, which is an unrecognizable character, is highlighted with diagonal lines. Similarly, "1201" displayed in the unrecognizable mark image information display area 732A
Indicates that the reject character "2", which is an unrecognizable character, is highlighted with diagonal lines.

【０３４０】ここで、図１０１〜図１０４に示すような
文字イメージ情報の表示は、図８７に示す標章認識装置
７２４で行なわれており、このときの動作フローを図９
３を用いて説明する。まず、標章認識装置７２４が全面
イメージＰを取得すると（ステップＤ１″）、関連情報
Ｒ′を複写し認識文字情報Ｓの順に分類を行なう（ステ
ップＤ２″）。Here, the display of the character image information as shown in FIGS. 101 to 104 is performed by the mark recognition device 724 shown in FIG. 87, and the operation flow at this time is shown in FIG.
3 will be used for the explanation. First, when the mark recognition device 724 obtains the whole image P (step D1 ″), the related information R ′ is copied and classified in the order of the recognized character information S (step D2 ″).

【０３４１】この認識文字が認識不能であるリジェクト
文字であるか否かを判断し（ステップＤ３″）、リジェ
クト文字である場合には、その周辺及び／又は項目の文
字イメージ情報を取得して、認識不能標章イメージ情報
表示エリア７３２Ａに表示する（ステップＤ４″）。な
お、これらのステップＤ１″〜Ｄ４″の動作をリジェク
ト文字の数だけ繰り返すのである（ステップＤ５″）。It is judged whether or not this recognized character is an unrecognizable reject character (step D3 ″), and if it is a reject character, character image information of its periphery and / or item is acquired, It is displayed in the unrecognizable mark image information display area 732A (step D4 ″). The operations of steps D1 "to D4" are repeated for the number of reject characters (step D5 ").

【０３４２】また、認識文字がリジェクト文字でない場
合には、標章イメージ情報表示エリア７３３Ａの該当す
るエリアに文字イメージ情報を表示し（ステップＤ
６″）、認識文字の数だけこのステップＤ６″の動作を
繰り返すのである（ステップＤ７″）。このような図１
０１に示す初期画面Ａの状態で、オペレータがキーボー
ド７２２により、正解データとして「３」を入力する
と、正解データ表示エリア７３３Ｃには「３」が表示さ
れ、その後、例えば確定キーを押下すると、画面Ｂに示
すように認識不能標章イメージ情報表示エリア７３２Ａ
に表示された「２０３４」のリジェクト文字である
「３」部分の強調表示が、斜線から修正された旨を示す
網かけになる。これに伴って認識文字情報Ｓが修正され
るとともに、関連情報Ｒ′が更新されるのである。When the recognized character is not a reject character, character image information is displayed in the corresponding area of the mark image information display area 733A (step D
6 ″), the operation of step D6 ″ is repeated for the number of recognized characters (step D7 ″).
When the operator inputs “3” as correct answer data with the keyboard 722 in the state of the initial screen A shown in 01, “3” is displayed in the correct answer data display area 733C, and then, for example, when the confirmation key is pressed, the screen is displayed. As shown in B, unrecognizable mark image information display area 732A
The highlighting of the portion "3" that is the reject character of "2034" displayed in Fig. 5 is shaded to indicate that the correction has been made from the diagonal line. Along with this, the recognized character information S is corrected and the related information R'is updated.

【０３４３】また、画面Ｂでは、「２０３４」における
リジェクト文字「３」が修正された旨を示す網かけの強
調表示に変更されたことに伴って、自動的に次の修正対
象である「１２０１」に太枠の強調表示が施される。さ
らに、このような画面Ｂの状態で、オペレータがキーボ
ード７２２により、正解データとして「２」を入力する
と、正解データ表示エリア７３３Ｃには「２」が表示さ
れ、その後、確定キーを押下すると、図１０２の画面Ｃ
に示すように、認識不能標章イメージ情報表示エリア７
３２Ａに表示された「１２０１」のリジェクト文字であ
る「２」部分の強調表示が、斜線から修正された旨を示
す網かけになる。これに伴って認識文字情報Ｓが修正さ
れるとともに、関連情報Ｒ′が更新されるのである。Further, on the screen B, when the reject character "3" in "2034" is changed to the highlighted display with shading, it is automatically changed to the next correction target "1201". Is highlighted in bold. Further, in such a state of the screen B, when the operator inputs "2" as correct answer data with the keyboard 722, "2" is displayed in the correct answer data display area 733C, and when the enter key is pressed thereafter, Screen C of 102
As shown in, the unrecognizable mark image information display area 7
The highlighting of the "2" portion that is the reject character of "1201" displayed in 32A is shaded to indicate that the correction has been made from the diagonal lines. Along with this, the recognized character information S is corrected and the related information R'is updated.

【０３４４】ところで、標章イメージ情報表示エリア７
３３Ａの「０」〜「９」のエリアに表示された「０」〜
「９」を表す文字イメージが異なっていた場合、即ち、
文字イメージ情報が誤認識されていた場合には、オペレ
ータがキーボード７２２の例えばタブキーを押下する
と、図１０２に示すように、ディスプレイ７２５の
「１．“?”（リジェクト文字）」のエリアから、
「２．“０”」のエリアに太枠の強調表示が移動する。By the way, the mark image information display area 7
"0" displayed in the area "0" to "9" of 33A
When the character image representing "9" is different, that is,
When the character image information is erroneously recognized, when the operator presses, for example, the tab key of the keyboard 722, as shown in FIG. 102, from the area “1.“? ”(Reject character)” of the display 725,
The bold frame highlighting moves to the area "2." 0 "".

【０３４５】さらに、タブキーの押下を繰り返すと、図
１０３の画面Ｅに示すように、「３．“１”」のエリア
に太枠の強調表示が移動し、これを繰り返すことによ
り、修正対象であることを示す太枠の強調表示が順次デ
ィスプレイ７２５内を移動する。即ち、「０」〜「９」
の各エリア内で太枠の強調表示を移動する際には、タブ
キーを押下して所望の文字イメージ情報を選択するよう
になっており、図１０３の画面Ｅでは、「３．“１”」
のエリアに誤認識（即ち、「７」のイメージが「１」の
コード情報に変換されている）により表示された文字イ
メージ情報「７」が太枠で強調表示されている。ここ
で、この文字イメージ情報「７」の正誤が、単独では識
別しにくい場合には、図８９に示すように、オペレータ
がキーボード７２２の参照キーを押下すると、連関標章
イメージ表示手段としての参照イメージ表示処理部７３
１が、関連情報Ｒ′を参照して、図１０３の画面Ｆに示
すように、連関標章イメージ情報表示エリア７３３Ｂに
参照イメージを表示する。Further, when the tab key is repeatedly pressed, as shown in screen E of FIG. 103, the bold frame highlighting moves to the area of "3." 1 "", and by repeating this, the correction target The thick frame highlighting indicating that there is is sequentially moved in the display 725. That is, "0" to "9"
When moving the highlighting of the thick frame in each area, the tab key is pressed to select the desired character image information. In the screen E of FIG. 103, "3." 1 "" is displayed.
The character image information “7” displayed by the erroneous recognition (that is, the image of “7” is converted into the code information of “1”) is highlighted in a thick frame with a thick frame. If the correctness of the character image information “7” is difficult to identify by itself, as shown in FIG. 89, when the operator presses the reference key on the keyboard 722, the reference as the related mark image display means is displayed. Image display processing unit 73
1 refers to the related information R ', and displays the reference image in the associated mark image information display area 733B as shown in the screen F of FIG.

【０３４６】このような画面Ｆの状態で、オペレータが
キーボード７２２により、正解データとして「７」を入
力し、確定キーを押下すると、正解データ表示エリア７
３３Ｃには「７」が表示され、図１０４に示すように、
文字イメージ情報「７」のコード情報が、誤認識である
「１」から「７」へと修正され、文字イメージ情報
「７」には、修正が行なわれた旨の網かけの強調表示が
施される。When the operator inputs "7" as correct answer data with the keyboard 722 in such a state of the screen F and presses the enter key, the correct answer data display area 7 is displayed.
"7" is displayed on 33C, and as shown in FIG.
The code information of the character image information “7” is corrected from “1” which is an erroneous recognition to “7”, and the character image information “7” is highlighted by shading to indicate that the correction is made. To be done.

【０３４７】即ち、認識文字情報Ｓ及び関連情報Ｒ′が
更新されるとともに、修正され文字イメージ情報「７」
には、修正した旨を示す強調表示が施されるのである。
ここで、図８９に示すような参照イメージ表示処理は、
前述のごとく、参照イメージ表示処理部７３１で行なわ
れており、このときの動作フローを図９７を用いて説明
する。That is, the recognized character information S and the related information R'are updated and corrected, and the character image information "7" is corrected.
Is highlighted with a mark indicating that it has been corrected.
Here, the reference image display processing as shown in FIG.
As described above, the reference image display processing unit 731 performs the operation. The operation flow at this time will be described with reference to FIG.

【０３４８】まず、参照イメージの表示が行なわれてい
るか否かを判断し（ステップＨ１″）、参照イメージが
表示されていない場合には、強調表示されている修正対
象の文字イメージ情報の関連情報Ｒ′を検索する（ステ
ップＨ２″）。次に、修正対象の文字イメージ情報の周
辺及び／又は項目イメージ情報を取得し（ステップＨ
３″）、参照イメージを表示する位置を、強調表示され
ている修正対象の文字イメージ情報を遮蔽しない位置に
設定し（ステップＨ４″）、参照イメージを表示する
（ステップＨ５″）。First, it is judged whether or not the reference image is displayed (step H1 ″). If the reference image is not displayed, the related information of the highlighted character image information to be corrected is displayed. Search for R '(step H2 "). Next, the peripheral and / or item image information of the character image information to be corrected is acquired (step H
3 "), the display position of the reference image is set to a position where the highlighted character image information of the correction target is not masked (step H4"), and the reference image is displayed (step H5 ").

【０３４９】なお、参照イメージが表示されている状態
で、再び参照キーを押下すると、参照イメージを消去す
る（ステップＨ６″）。ここで、図１０１〜図１０４に
示すような文字イメージ情報の修正は、図８７及び図８
８に示す文字認識部７２６の修正情報取得処理部７４
２，修正結果反映処理部７４３及び強調表示変更手段と
しての修正文字イメージ強調表示部７２７Ｂによって行
なわれており、このときの動作フローを図９４〜図９６
を用いて説明する。When the reference key is pressed again while the reference image is displayed, the reference image is erased (step H6 ″). Here, the correction of the character image information as shown in FIGS. 87 and FIG.
The correction information acquisition processing unit 74 of the character recognition unit 726 shown in FIG.
2. The correction result reflection processing unit 743 and the corrected character image highlighting display unit 727B as the highlighting display changing unit perform the operation flow at this time with reference to FIGS.
Will be explained.

【０３５０】図８８に示すように、オペレータがキーボ
ード７２２により、正解データを入力すると、この正解
データは修正情報として修正情報取得処理部７４２に入
力され、この修正情報と関連情報Ｒ′とを用いて修正結
果反映処理部７４３で認識文字情報Ｓを作成するととも
に、関連情報Ｒ′を修正して更新する。また、修正文字
イメージ強調表示部７２７Ｂは、修正情報を参照して、
修正が行なわれた項目にその旨の強調表示を施す。As shown in FIG. 88, when the operator inputs the correct answer data with the keyboard 722, the correct answer data is input as the correction information to the correction information acquisition processing section 742, and the correction information and the related information R'are used. Then, the correction result reflection processing unit 743 creates the recognized character information S and corrects and updates the related information R ′. Further, the corrected character image highlighting unit 727B refers to the correction information,
The item that has been corrected is highlighted accordingly.

【０３５１】このとき、修正情報取得処理部７４２で
は、図９４に示すように、入力画面が表示されると（ス
テップＥ１″）、認識文字が認識不能文字であるリジェ
クト文字であるか否かを判断し（ステップＥ２″）、リ
ジェクト文字である場合には、周辺及び／又は項目イメ
ージ情報に修正対象の項目であることを示す太枠の強調
表示を施し（ステップＥ３″）、該当文字であるリジェ
クト文字には太枠とは別な斜線の強調表示を施す（ステ
ップＥ４″）。At this time, in the correction information acquisition processing unit 742, when the input screen is displayed (step E1 ″) as shown in FIG. 94, it is determined whether the recognized character is a reject character which is an unrecognizable character. It is determined (step E2 ″), and if it is a reject character, the surrounding and / or item image information is highlighted with a thick frame indicating that it is an item to be modified (step E3 ″), and it is the corresponding character. The reject character is highlighted with a slanting line different from the thick frame (step E4 ″).

【０３５２】また、認識文字がリジェクト文字でない場
合には、この文字イメージ情報に太枠の強調表示を施す
（ステップＥ５″）。ここで、オペレーターのキーボー
ド７２２操作により（ステップＥ６″）、例えばタブキ
ー又は逆タブキー（タブキーと反対方向へカーソルを移
動させるキー）が押下されると、修正対象を示す太枠の
強調表示を移動して、次の文字イメージ情報を修正対象
とし（ステップＥ７″）、最終の文字イメージ情報まで
太枠の強調表示が移動すると、はじめからこの動作が行
なわれる（ステップＥ８″）。If the recognized character is not a reject character, the character image information is highlighted in a bold frame (step E5 ″). Here, the operator operates the keyboard 722 (step E6 ″), for example, the tab key. Alternatively, when the reverse tab key (the key that moves the cursor in the direction opposite to the tab key) is pressed, the highlighted display of the thick frame indicating the correction target is moved and the next character image information is set as the correction target (step E7 ″), When the bold frame highlighting moves to the final character image information, this operation is performed from the beginning (step E8 ″).

【０３５３】なお、その他のキーが押下されると修正情
報が関連情報作成部７４１に通知される（ステップＥ
９″）。また、図８８に示す修正結果反映処理部７４３
では、図９５に示すように、強調表示中の文字イメージ
情報の関連情報Ｒ′を検索し（ステップＦ１″）、認識
文字（認識不能文字及び誤認識文字）を修正し（ステッ
プＦ２″）、更に、関連情報Ｒ′の認識文字を修正し
（ステップＦ３″）、参照イメージを表示又は消去する
（ステップＦ４″）。If any other key is pressed, the correction information is notified to the related information creating section 741 (step E).
9 ″). Also, the correction result reflection processing unit 743 shown in FIG.
Then, as shown in FIG. 95, the related information R ′ of the highlighted character image information is retrieved (step F1 ″), and the recognized characters (unrecognizable characters and erroneously recognized characters) are corrected (step F2 ″). Further, the recognized character of the related information R'is corrected (step F3 "), and the reference image is displayed or erased (step F4").

【０３５４】さらに、図８８に示す修正文字イメージ強
調表示部７２７Ｂでは、図９６に示すように、修正情報
を取得して（ステップＧ１″）、修正がなされた旨の強
調表示を施す（ステップＧ２″）。上述したように、読
み取り標章表示・認識情報修正装置７４０における文字
イメージ情報の表示，修正及び参照イメージの表示は、
図９０に示すように、標章認識装置７２４での、全面イ
メージＰであるイメージデータの取得（ステップＡ
１″），文字イメージ情報の抽出（ステップＡ２″），
認識文字イメージ情報の取得（ステップＡ３″），関連
情報Ｒ′の作成（ステップＡ４″），文字イメージ情報
の表示（ステップＡ５″），修正情報の取得（ステップ
Ａ６″），データキー又は参照キーの押下（ステップＡ
７″），データキーの押下に伴う修正結果の反映（ステ
ップＡ８″）及び修正された文字イメージ情報の強調表
示（ステップＡ９″），参照キー押下に伴う参照イメー
ジの表示（ステップＡ１０″）のように行なわれ、表示
されている文字イメージ情報全てについてこの処理を行
なうのである（ステップＡ１１″）。Further, in the corrected character image highlighting section 727B shown in FIG. 88, as shown in FIG. 96, the correction information is acquired (step G1 ″), and the correction information is highlighted (step G2). ″). As described above, the display and correction of the character image information and the display of the reference image in the read mark display / recognition information correction device 740 are as follows.
As shown in FIG. 90, the mark recognition device 724 obtains the image data which is the whole image P (step A
1 ″), extraction of character image information (step A2 ″),
Acquisition of recognized character image information (step A3 ″), creation of related information R ′ (step A4 ″), display of character image information (step A5 ″), acquisition of correction information (step A6 ″), data key or reference key Press (Step A
7 ″), reflection of the correction result due to the pressing of the data key (step A8 ″), highlighted display of the corrected character image information (step A9 ″), and display of the reference image due to pressing the reference key (step A10 ″). Thus, this processing is performed for all the displayed character image information (step A11 ″).

【０３５５】このように本実施形態にかかる読み取り標
章表示・認識情報修正装置７４０によれば、標章認識装
置７２４により、認識できなかった認識不能文字のイメ
ージ情報を、その周辺の文字のイメージ情報とともにデ
ィスプレイ７２５上に読み取ったイメージの状態で表示
するとともに、この認識不能文字のイメージ情報につい
ては強調表示を施すことにより、続き文字のような前後
の文字のイメージ情報を参照することにより、精度の高
い確認作業が行なうことができ、正誤の確認作業に要す
る労力及び時間を削減することができる利点がある。As described above, according to the read mark display / recognition information correction device 740 according to the present embodiment, the image information of unrecognizable characters that cannot be recognized by the mark recognition device 724 is converted into an image of the surrounding characters. The information is displayed on the display 725 in the state of the read image together with the information, and the image information of the unrecognizable character is highlighted so that the accuracy of the information can be improved by referring to the image information of the preceding and succeeding characters. Therefore, there is an advantage that a high confirmation work can be performed and the labor and time required for the correct confirmation work can be reduced.

【０３５６】また、本実施形態にかかる読み取り標章表
示・認識情報修正装置７４０によれば、認識不能文字及
び誤認識文字のイメージ情報に対応する正解データをキ
ーボード７２２の操作により入力すると、正解データが
ディスプレイ７２５上に表示されるとともに、今まで強
調表示されていた認識不能文字及び誤認識文字のイメー
ジ情報については修正済みを意味する別の強調表示が施
されることにより、認識不能文字の入力及び誤認識文字
の修正が行なわれたものと行なわれていないものとの識
別が容易になり、視認性を高めてオペレータの二重修正
等を防ぎ、正誤の確認作業に要する労力及び時間を大幅
に削減することができる利点がある。Further, according to the read mark display / recognition information correction device 740 of this embodiment, when the correct answer data corresponding to the image information of the unrecognizable character and the erroneously recognized character is input by the operation of the keyboard 722, the correct answer data is obtained. Is displayed on the display 725, and the unrecognized character and the erroneously recognized character image information that has been highlighted until now are displayed with another emphasized display meaning that the image information has been corrected. In addition, it is easy to distinguish between those that have been erroneously recognized and those that have not been corrected, which improves visibility and prevents double corrections by the operator, greatly reducing the labor and time required to confirm correctness. There is an advantage that can be reduced.

【０３５７】さらに、本実施形態にかかる読み取り標章
表示・認識情報修正装置７４０によれば、同一標章のみ
をディスプレイ上の同一のエリアに表示するような目視
が容易に行なえるような単位で表示するとともに、所望
の１つの文字イメージ情報についてのみ強調表示を行な
うことにより、オペレータが連関する周辺の文字イメー
ジ情報を参照することなく、イメージ情報を参照するだ
けでその認識結果の正誤を確認できるようにして視線の
移動を大幅に削減するとともに、処理中の文字イメージ
情報についてのみ強調表示を行なって比較対象を削減し
て、正誤の確認作業に要する労力及び時間を大幅に削減
することができる利点がある。Further, according to the read mark display / recognition information correction device 740 of this embodiment, it is possible to easily perform visual inspection such that only the same mark is displayed in the same area on the display. By displaying and highlighting only one desired character image information, the operator can confirm the correctness of the recognition result only by referring to the image information without referring to the surrounding character image information. In this way, the movement of the line of sight can be significantly reduced, and the comparison target can be reduced by highlighting only the character image information that is being processed, thereby significantly reducing the labor and time required for checking the correctness. There are advantages.

【０３５８】また、本実施形態にかかる読み取り標章表
示・認識情報修正装置７４０によれば、正解データが、
上記１つの文字イメージ情報とこの文字イメージ情報と
連関する周辺の文字イメージ情報とを表示しているエリ
アとは別の正解データ表示エリアに表示されることによ
り、文字イメージ情報と入力した正解データとを目視に
より再確認することができ、正誤の確認作業に要する労
力及び時間を削減するとともに、精度の高い確認作業が
行なうことができる利点がある。According to the read mark display / recognition information correction device 740 of this embodiment, the correct answer data is
The character image information and the input correct answer data are displayed by being displayed in the correct answer data display area different from the area displaying the one character image information and the surrounding character image information associated with this character image information. Can be re-confirmed by visual check, and the labor and time required for correct / wrong confirmation work can be reduced, and highly accurate confirmation work can be performed.

【０３５９】なお、本実施形態では、認識不能文字及び
誤認識文字を修正する際に、認識不能文字及び誤認識文
字に対して入力された正解データを、ディスプレイの７
２５の正解データ表示エリア７３３Ｃに表示するように
なっているが、認識不能文字及び誤認識文字に対する正
解データを表示することなく、認識不能文字及び誤認識
文字を修正するようにしてもよく、認識不能文字又は誤
認識文字のいずれかに対する正解データのみを表示し
て、認識不能文字及び誤認識文字を修正するようにして
もよい。In this embodiment, when the unrecognizable character and the erroneously recognized character are corrected, the correct answer data inputted for the unrecognizable character and the erroneously recognized character are displayed on the display 7.
Although the correct answer data display area 733C of 25 is displayed, the unrecognizable character and the misrecognized character may be corrected without displaying the correct answer data for the unrecognizable character and the misrecognized character. Only the correct answer data for either the unrecognizable character or the misrecognized character may be displayed to correct the unrecognizable character and the misrecognized character.

【０３６０】また、本実施形態では、入金データが記載
された帳票として、図９８に示すような表形式の帳票を
用いて説明したが、これに限定されず、その他の形式の
帳票を用いてもよい。 （ｂ）本発明の一実施形態の変形例の説明 （ｂ１）本実施形態の第１の変形例にかかる帳票識別装
置の説明 図１０５は本発明の一実施形態の第１の変形例にかかる
帳票識別装置を示すブロック図であり、この図１０５に
示す帳票識別装置についても、前述の図１１５における
もの（符号１００１，１００２及び１００３参照）と同
様、イメージデータ読取装置８１１，電子計算機８１２
（この電子計算機８１２は後述のごとく入力部８１２−
１，ディスプレイ８１２−２及び制御部８１２−３をそ
なえている）及びハードディスク８１３により構成する
ことができる。Further, in the present embodiment, as the form in which the deposit data is described, the form in the tabular form as shown in FIG. 98 is used for description, but the form is not limited to this, and the form in other forms is used. Good. (B) Description of Modification of One Embodiment of the Present Invention (b1) Description of Form Identification Device According to First Modification of this Embodiment FIG. 105 relates to a first modification of one embodiment of the present invention. FIG. 106 is a block diagram showing a form identification device, and the form identification device shown in FIG. 105 is similar to the one shown in FIG. 115 (see reference numerals 1001, 1002 and 1003), the image data reading device 811, the computer 812.
(This electronic calculator 812 has an input unit 812 as described later.
1, a display 812-2 and a control unit 812-3) and a hard disk 813.

【０３６１】ここで、イメージデータ読取装置８１１
は、帳票について、そのイメージデータを読み取るもの
であり、このイメージデータ読取装置８１１としては、
前述の図１１５におけるものと同様に、光学式文字読み
取り装置（ＯＣＲ装置）やイメージスキャナ等を用いる
ことができる。また、制御部８１２−３は、イメージデ
ータ読取装置８１１にて読み取った帳票のイメージデー
タに基づいて、帳票データとして処理を行なうものであ
り、電子計算機８１２におけるＣＰＵ及びメモリとして
の機能部分により構成することができる。Here, the image data reading device 811
Reads the image data of a form. The image data reading device 811
As in the case of FIG. 115 described above, an optical character reading device (OCR device), an image scanner, or the like can be used. Further, the control unit 812-3 performs processing as form data based on the image data of the form read by the image data reading device 811, and is configured by a functional portion as a CPU and a memory in the electronic computer 812. be able to.

【０３６２】また、この制御部８１２−３は、前述の図
１１５におけるものと同様に、オペレータからの制御部
８１２−３へのデータあるいは命令等を入力するキーボ
ードあるいはマウス等の入力部（後述の図１０６におけ
る符号８１２−１参照）とともに、イメージデータ読取
装置８１１で読み取ったイメージデータ等を表示するデ
ィスプレイ（後述の図１０６における符号８１２−２参
照）に接続されている。Further, this control unit 812-3 is similar to that in FIG. 115 described above, and an input unit such as a keyboard or a mouse for inputting data or commands from the operator to the control unit 812-3 (described later). 106) (see reference numeral 812-1 in FIG. 106) and a display (see reference numeral 812-2 in FIG. 106 described later) for displaying image data read by the image data reading device 811.

【０３６３】さらに、ハードディスク（ファイルメモ
リ）８１３は、イメージデータ読取装置によって読み取
られた帳票の全イメージデータを格納するものである。
ところで、制御部８１２−３は、機能的には図１０５に
示すように、イメージデータ格納メモリ８１４，イメー
ジデータ切り出し部８１５，帳票識別辞書部８１６，デ
ータ比較部８１７，閾値設定部８１８，帳票判定部８１
９，定義体格納部８２０，定義体格納テーブル８２１，
文字認識部８２２及び文字認識結果格納部８２３をそな
えている。Further, the hard disk (file memory) 813 stores all image data of the form read by the image data reading device.
By the way, as shown in FIG. 105, the control unit 812-3 functionally stores an image data storage memory 814, an image data cutout unit 815, a form identification dictionary unit 816, a data comparison unit 817, a threshold value setting unit 818, and form determination. Part 81
9, definition storage unit 820, definition storage table 821
The character recognition unit 822 and the character recognition result storage unit 823 are provided.

【０３６４】イメージデータ格納メモリ８１４は、イメ
ージデータ読取装置８１１によって読み取られた帳票の
イメージデータを一旦格納するものであり、イメージデ
ータ切り出し部８１５は、オペレータの入力部８１２−
１の操作による抽出の対象となる情報（識別情報）の指
示を受けて、イメージデータ格納メモリ８１４に格納さ
れた帳票のイメージデータから、帳票上に記載されてい
る所要の帳票識別情報を抽出する帳票識別情報抽出手段
としての機能を有するものである。The image data storage memory 814 temporarily stores the image data of the form read by the image data reading device 811, and the image data cutout unit 815 is an input unit 812 of the operator.
In response to the instruction of the information (identification information) to be extracted by the operation No. 1, the required form identification information described on the form is extracted from the image data of the form stored in the image data storage memory 814. It has a function as a form identification information extracting means.

【０３６５】ここで、上述のイメージデータ切り出し部
８１５において、識別情報から所要の帳票識別情報を抽
出する際には、イメージデータ読取装置８１１にて読み
取られた帳票のイメージデータをディスプレイ８１２−
２に表示（投影）されるようになっており、オペレータ
は、このディスプレイ８１２−２に表示されたイメージ
データに基づいて、識別情報を指示することができる。Here, when the required image form identification information is extracted from the identification information in the image data cutout unit 815, the image data of the form read by the image data reading device 811 is displayed on the display 812.
2 is displayed (projected), and the operator can instruct the identification information based on the image data displayed on the display 812-2.

【０３６６】なお、オペレータは、イメージデータ切り
出し部８１５にて抽出する対象となる情報としては、例
えば帳票上に記載されている文字情報，マーク，印鑑あ
るいは罫線等のあらゆる記載情報を指示することがで
き、イメージデータ切り出し部８１５においては、指示
された情報の座標位置情報，記載情報の大きさ情報及び
データ情報を、帳票識別情報として例えばソフトウェア
あるいはファームウェア処理により自動的に抽出するよ
うになっている。The operator can instruct, as the information to be extracted by the image data cut-out unit 815, any information such as character information, marks, seals or ruled lines described on a form. In the image data cutout unit 815, the coordinate position information of the instructed information, the size information of the description information, and the data information are automatically extracted as the form identification information by software or firmware processing, for example. .

【０３６７】さらに、帳票識別辞書部（帳票識別辞書）
８１６はイメージデータ切り出し部８１５で抽出された
帳票識別情報を特定帳票の帳票識別情報として登録する
ものである。具体的には、図１０８に示すように、ＩＤ
番号‘０１０１’の付された帳票種別Ａの帳票識別情報
は領域８１６ａに格納され、ＩＤ番号‘０１０２’の付
された帳票種別Ｂの帳票識別情報は領域８１６ｂに格納
されるようになっている。Further, the form identification dictionary section (form identification dictionary)
Reference numeral 816 is for registering the form identification information extracted by the image data cutout unit 815 as the form identification information of the specific form. Specifically, as shown in FIG. 108, the ID
The form identification information of the form type A with the number “0101” is stored in the area 816a, and the form identification information of the form type B with the ID number “0102” is stored in the area 816b. .

【０３６８】従って、上述のイメージデータ格納メモリ
８１４，イメージデータ切り出し部８１５及び帳票識別
辞書部８１６により、イメージデータ読取装置８１１に
よって読み取られた特定帳票のイメージデータから、特
定帳票上に記載されている帳票識別情報を抽出して、帳
票識別情報を帳票識別辞書部８１６に登録する登録ステ
ップとしての動作が行なわれるようになっている。Therefore, the image data storage memory 814, the image data cutout unit 815, and the form identification dictionary unit 816 described above describe the image data of the specific form read by the image data reading device 811 on the specific form. The operation as a registration step for extracting the form identification information and registering the form identification information in the form identification dictionary unit 816 is performed.

【０３６９】なお、上述のイメージデータ読取装置８１
１によって読み取られた帳票のイメージデータは、帳票
識別辞書部８１６に帳票識別情報を登録する際に、イメ
ージデータ格納メモリ８１４にて一旦格納されるが、そ
の一方でイメージデータ読取装置８１１にて読み取られ
た全帳票に関するイメージデータがハードディスク８１
３に格納されるようになっている。Incidentally, the image data reading device 81 described above.
The image data of the form read by No. 1 is temporarily stored in the image data storage memory 814 when registering the form identification information in the form identification dictionary unit 816, while it is read by the image data reading device 811. The hard disk 81 stores the image data of all the obtained forms.
3 is stored.

【０３７０】また、データ比較部８１７は、イメージデ
ータ格納メモリ８１４に格納されている特定帳票のイメ
ージデータを読み出し、特定帳票のイメージデータ中
に、帳票識別辞書部８１６に登録されている帳票識別情
報があるかどうかを検証する検証手段としての機能を有
するとともに、イメージデータ読取装置８１１によって
読み取られイメージデータ格納メモリ８１４に格納され
た任意の帳票のイメージデータ中に、帳票識別辞書部８
１６に登録されている帳票識別情報があるかどうかを参
照する参照手段としての機能をも有しており、これによ
り、装置構成を簡素化している。Further, the data comparison unit 817 reads the image data of the specific form stored in the image data storage memory 814, and the form identification information registered in the form identification dictionary unit 816 is included in the image data of the specific form. In addition to having a function as a verification unit for verifying whether or not there is any, the form identification dictionary unit 8 is included in the image data of an arbitrary form read by the image data reading device 811 and stored in the image data storage memory 814.
It also has a function as a reference unit for referring to whether or not there is the form identification information registered in item 16, and thereby the device configuration is simplified.

【０３７１】さらに、帳票判定部８１９は、検証手段と
してのデータ比較部８１７による検証結果に基づいて、
特定帳票の認識ができるかどうかを判定することによ
り、特定帳票が全て確実に一つに特定できたかどうかを
判定する判定手段としての機能を有するとともに、参照
手段としてのデータ比較部８１７での参照結果に基づい
て、任意の帳票が特定帳票であるかどうかを識別する帳
票識別手段としての機能をも有しており、これにより、
装置構成を簡素化している。Furthermore, the form determination unit 819, based on the verification result by the data comparison unit 817 as the verification means,
By determining whether or not the specific form can be recognized, it has a function as a determining unit for determining whether or not all the specific forms can be reliably identified as one, and a reference by the data comparison unit 817 as a reference unit. It also has a function as a form identification means for identifying whether or not an arbitrary form is a specific form based on the result.
The device configuration is simplified.

【０３７２】具体的には、検証手段としてのデータ比較
部８１７は、ハードディスク８１３にて格納されている
全帳票に関するイメージデータについて、イメージデー
タ切り出し部８１５において１帳票のイメージデータ単
位で抽出された情報と、対応する帳票識別辞書部８１６
からの帳票識別情報とを１イメージずつ順次取り出し
て、これらの情報を照合するようになっており、判定手
段としての帳票判定部８１９では、データ比較部８１７
からの、帳票識別情報の照合結果に基づいて、帳票を間
違いなく一意に特定することができるか否かを判定する
ようになっている。Specifically, the data comparing section 817 as the verification means is the information extracted by the image data cutting section 815 for each image data unit of the image data concerning all the forms stored in the hard disk 813. And the corresponding form identification dictionary unit 816
The form identification information from the form identification unit 819 is sequentially taken out one by one, and the information is collated.
Based on the collation result of the form identification information from, it is determined whether or not the form can be definitely and uniquely specified.

【０３７３】さらに、参照手段としてのデータ比較部８
１７は、イメージデータ読取装置８１１から入力された
イメージデータについて、イメージデータ切り出し部８
１５にて抽出された情報と、対応する帳票識別辞書部８
１６からの帳票識別情報とを照合することにより一致度
を算出するようになっており、帳票識別手段としての帳
票判定部８１９では、データ比較部８１７からの帳票識
別情報の一致度と、閾値設定部８１８からの閾値とを比
較することにより、イメージデータ読取装置８１１から
入力されたイメージデータの帳票を識別することができ
るか否かを判定するようになっている。Further, the data comparison section 8 as a reference means
Reference numeral 17 denotes an image data cutout unit 8 for the image data input from the image data reading device 811.
The information extracted in 15 and the corresponding form identification dictionary unit 8
The degree of coincidence is calculated by collating with the form identification information from 16 and the form determination unit 819 as the form identification means, the degree of coincidence of the form identification information from the data comparison unit 817 and the threshold setting. By comparing with the threshold value from the unit 818, it is determined whether or not the form of the image data input from the image data reading device 811 can be identified.

【０３７４】従って、上述の帳票識別辞書部８１６，デ
ータ比較部８１７，閾値設定部８１８及び帳票判定部８
１９により、特定帳票の認識ができるかどうかを判定す
る検証ステップとしての動作が行なわれるとともに、任
意の帳票が特定帳票であるかどうかを識別する運用ステ
ップとしての動作が行なわれるようになっている。換言
すれば、上述の登録ステップは、図３の＜レイアウトの
初回出現時＞の処理（レイアウト解析処理Ａ２，オペレ
ータ処理Ａ６及びレイアウト学習処理Ａ８）に相当し、
上述の検証ステップ及び運用ステップは、図３の＜レイ
アウトの再出現時＞の処理（レイアウト解析処理Ａ９，
レイアウト照合処理Ａ１０及びオペレータ処理Ａ１３）
に相当する。Therefore, the form identification dictionary unit 816, the data comparison unit 817, the threshold value setting unit 818, and the form determination unit 8 described above are used.
The operation by 19 is performed as a verification step for determining whether or not a specific form can be recognized, and as an operation step for identifying whether or not an arbitrary form is a specific form. . In other words, the above-mentioned registration step corresponds to the process (layout analysis process A2, operator process A6, and layout learning process A8) of <first appearance of layout> in FIG.
The above-described verification step and operation step are the same as the processing (when the layout reappears) in FIG. 3 (layout analysis processing A9,
Layout collation processing A10 and operator processing A13)
Equivalent to.

【０３７５】なお、上述の帳票判定部８１９による閾値
設定部８１８からの閾値情報に基づいた一致度の判定の
際には、閾値設定部８１８からの閾値情報は、イメージ
データ読取装置８１１における読取動作時の誤差や、帳
票そのものの印字誤差等を吸収して判定できる程度に、
設定されるようになっている。また、定義体格納部８２
０は、帳票判定部８１９において、任意の帳票が特定帳
票であると識別された場合、即ち、システム運用時に帳
票判定部８１９により、イメージデータ読取装置８１１
にてイメージデータを読み取った帳票が、帳票識別辞書
部８１６にて登録済の帳票識別情報に対応する特定帳票
と認識することができた場合に、この帳票に記載されて
いるデータを認識するための定義体情報を、定義体格納
テーブル８２１から読み出して一旦格納しておくもので
ある。[0375] Note that when the form determination unit 819 determines the degree of coincidence based on the threshold information from the threshold setting unit 818, the threshold information from the threshold setting unit 818 is read by the image data reading device 811. To the extent that it can be determined by absorbing time errors and printing errors of the form itself,
It is set. Also, the definition storage unit 82
0 indicates that when the form determination unit 819 identifies an arbitrary form as a specific form, that is, when the system is operated, the form determination unit 819 causes the image data reading device 811 to operate.
In order to recognize the data described in this form when the form obtained by reading the image data can be recognized as the specific form corresponding to the form identification information registered in the form identification dictionary unit 816. Definition information is read from the definition storage table 821 and temporarily stored.

【０３７６】定義体格納テーブル８２１は、帳票識別辞
書部８１６にて登録されている帳票識別情報に対応する
特定帳票に記載されている内容を文字認識するための定
義体情報（例えば読取位置情報，文字属性情報，読取桁
数等）を保持しておくものである。また、文字認識部８
２２は、前述のイメージデータ格納メモリ８１４にて格
納されている、帳票識別辞書部８１６にて登録済の特定
帳票と認識することができた帳票に関するイメージデー
タについて、定義体格納部８２０からの、イメージデー
タに対応する定義体情報とを入力され、イメージデータ
を定義体情報に従って文字認識処理を行なうものであ
る。さらに、文字認識結果格納部８２３は、文字認識部
８２２にて認識された文字情報を格納するものである。The definition object storage table 821 stores definition object information (for example, read position information, etc.) for character recognition of the contents described in the specific form corresponding to the form identification information registered in the form identification dictionary section 816. It holds character attribute information, the number of read digits, etc.). In addition, the character recognition unit 8
Reference numeral 22 denotes image data, which is stored in the image data storage memory 814 and is related to a form that can be recognized as a specific form registered in the form identification dictionary unit 816, from the definition storage unit 820. The definition information corresponding to the image data is input, and the image data is subjected to character recognition processing according to the definition information. Further, the character recognition result storage unit 823 stores the character information recognized by the character recognition unit 822.

【０３７７】上述の構成により、本発明の一実施形態の
第１の変形例にかかる帳票識別装置の動作を、上述の登
録ステップ時，検証ステップ時及び運用ステップ時毎
に、以下に説明する。・登録ステップ時の処理の説明ま
ず、図１０６に示す登録ステップ動作時に着目した制御
ブロック図，図１０７に示す登録ステップ動作時の動作
を説明するためのフローチャート及び図１０８を用い
て、本実施形態にかかる帳票識別装置の登録ステップ時
の動作を以下に説明する。The operation of the form identifying apparatus according to the first modification of the embodiment of the present invention having the above-mentioned configuration will be described below for each of the above-mentioned registration step, verification step and operation step. Description of Processing at Registration Step First, the present embodiment will be described with reference to the control block diagram shown in FIG. 106 focusing on the registration step operation, the flowchart shown in FIG. 107 for explaining the operation at the registration step operation, and FIG. The operation at the registration step of the form identification device according to the present invention will be described below.

【０３７８】即ち、図１０８に示すように、オペレータ
の操作により、イメージデータ読取装置８１１において
電気料金払込通知書の帳票８２４Ｂのイメージデータを
読み取ると（図１０７のステップＢ１′′′）、イメー
ジデータ格納メモリ８１４では読み取られたイメージデ
ータを一旦格納するとともに（図１０７のステップＢ
２′′′）、ハードディスク８１３へも、このイメージ
データを格納することにより、イメージデータ読取装置
８１１にて読み取られた全イメージデータを格納してお
く（図１０７のステップＢ３′′′）。なお、このイメ
ージデータ読取装置８１１にて読み取られたイメージデ
ータは、図１０８に示すように、ディスプレイ８１２−
２を介して表示される（図１０７のステップＢ
４′′′）。That is, as shown in FIG. 108, when the image data reading device 811 reads the image data of the form 824B of the electricity charge payment notice by the operator's operation (step B1 ′ ″ ′ of FIG. 107), the image data is read. The storage memory 814 temporarily stores the read image data (step B in FIG. 107).
2 ″ ′), the image data is also stored in the hard disk 813 to store all the image data read by the image data reading device 811 (step B3 ″ ′ in FIG. 107). The image data read by the image data reading device 811 is displayed on the display 812 as shown in FIG.
2 is displayed (step B in FIG. 107).
4 ''').

【０３７９】ここで、イメージデータ格納メモリ８１４
及びハードディスク８１３に格納されたイメージデータ
が、初めて読み取られた帳票に関するイメージデータで
ある場合は、以下に示すように帳票識別情報を帳票登録
辞書部８１６に格納する。即ち、オペレータがディスプ
レイ８１２−２を参照しながら、入力部８１２−１を操
作することにより、イメージデータ切り出し部８１５に
対して抽出する対象となる情報を複数箇所指示する（図
１０７のステップＢ５′′′）。Here, the image data storage memory 814
If the image data stored in the hard disk 813 is the image data relating to the form read for the first time, the form identification information is stored in the form registration dictionary unit 816 as described below. That is, the operator operates the input unit 812-1 while referring to the display 812-2 to instruct the image data cutout unit 815 about a plurality of pieces of information to be extracted (step B5 ′ in FIG. 107). ′ ′).

【０３８０】イメージデータ切り出し部８１５において
は、イメージデータ格納メモリ８１４に格納された帳票
のイメージデータから、帳票上の記載情報における位置
情報，大きさ情報及びデータ情報を自動的に抽出し（図
１０７のステップＢ６′′′）、帳票識別情報として帳
票識別辞書部８１６に登録する（図１０７のステップＢ
７′′′）。In the image data cutout unit 815, the position information, size information and data information in the description information on the form are automatically extracted from the image data of the form stored in the image data storage memory 814 (see FIG. 107). Step B6 ″ ″ of step 107 of FIG. 107, and is registered in the form identification dictionary unit 816 as the form identification information (step B of FIG. 107).
7 ''').

【０３８１】例えば、図１０８に示すように、オペレー
タが入力部８１２−１を操作することにより、第１の情
報として払込通知書の払込金の内容を示す‘電気料金’
を指定するとともに、第２の情報として払込人の名称を
示す‘富士一郎’を指定する。すると、イメージデータ
切り出し部８１５では、上述の第１の情報における位置
情報，大きさ情報及びデータ情報を格納するとともに、
第２の情報における位置情報，大きさ情報及びデータ情
報を抽出する。For example, as shown in FIG. 108, the operator operates the input unit 812-1 to display the "electricity charge" indicating the content of the payment in the payment notice as the first information.
And "Fujiichiro" indicating the name of the payer as the second information. Then, the image data cutout unit 815 stores the position information, the size information, and the data information in the above-mentioned first information, and
The position information, the size information and the data information in the second information are extracted.

【０３８２】これにより、抽出された帳票８２４Ｂの帳
票識別情報を、ＩＤ番号が‘０１０２’の帳票種別Ｂの
帳票識別情報として、帳票識別辞書部８１６の領域８１
６ｂに格納する。なお、本変形例にかかる帳票識別装置
においては、イメージデータ切り出し部８１５で切り出
されたイメージデータは、帳票の識別のためにのみ用い
られている。As a result, the extracted form identification information of the form 824B is used as the form identification information of the form type B having the ID number of “0102” in the area 81 of the form identification dictionary section 816.
Store in 6b. In the form identification device according to the present modification, the image data cut out by the image data cutout unit 815 is used only for identifying the form.

【０３８３】また、本変形例にかかる帳票識別装置にお
いては、１つの帳票について複数の帳票識別情報を登録
することにより、前述の（ａ５）特徴データ認識処理に
おいて説明したようなイメージデータの正規化処理を施
すことなく、後述する検証ステップ及び運用ステップに
おいて確実に帳票を識別できるようになっている。 ・検証ステップ時の処理の説明 次に、図１０９に示す検証ステップ動作時に着目した制
御ブロック図と、図１１０に示す検証ステップ時の動作
を説明するためのフローチャートとを用いて、本実施形
態にかかる帳票識別装置の検証ステップ時の動作を以下
に説明する。Further, in the form identification device according to the present modification, by registering a plurality of form identification information for one form, the normalization of image data as described in the above (a5) feature data recognition processing is performed. The form can be surely identified in the verification step and the operation step described later without performing any processing. -Explanation of Processing at Verification Step Next, the present embodiment will be described with reference to the control block diagram shown in FIG. 109 focusing on the operation at the verification step and the flowchart shown in FIG. 110 for explaining the operation at the verification step. The operation of the form identification apparatus at the verification step will be described below.

【０３８４】上述したように、登録ステップ時において
は、帳票識別情報を帳票識別辞書部８１６に登録してい
るが、その後、ハードディスク８１３に格納されている
全帳票のイメージについて、帳票識別辞書部８１６にて
登録された帳票識別情報を用いて確実に識別できるかを
検証する検証ステップとしての動作が行なわれる。即
ち、ハードディスク８１３において登録ステップとして
の動作時に予め格納されている、帳票識別辞書部８１６
にて登録された帳票の全イメージ（帳票全体のイメー
ジ）を用いて、１帳票イメージ毎に、帳票識別辞書部８
１６において登録された帳票識別情報との照合を行な
う。As described above, at the registration step, the form identification information is registered in the form identification dictionary unit 816. After that, the form identification dictionary unit 816 is registered for the images of all the forms stored in the hard disk 813. An operation is performed as a verification step for verifying whether or not the form identification information registered in 1 can be surely identified. That is, the form identification dictionary unit 816 previously stored in the hard disk 813 at the time of the operation as the registration step.
Using the entire image of the form registered in (the image of the entire form), the form identification dictionary unit 8 for each form image
The form identification information registered in 16 is collated.

【０３８５】具体的には、ハードディスク８１３からの
１帳票イメージがイメージデータ格納メモリ８１４を介
してイメージデータ切り出し部８１５に出力され（図１
１０のステップＣ１′′′）、イメージデータ切り出し
部８１５では、帳票識別辞書部８１６にて該当する帳票
における帳票識別情報の位置情報及び大きさ情報に基づ
いて、照合用データを抽出する。Specifically, one form image from the hard disk 813 is output to the image data cutout unit 815 via the image data storage memory 814 (see FIG. 1).
In step C1 ″ ″ of step 10, the image data cutout unit 815 extracts matching data based on the position information and size information of the form identification information in the corresponding form in the form identification dictionary unit 816.

【０３８６】データ比較部８１７では、イメージデータ
切り出し部８１５からの照合用データと帳票識別辞書部
８１６からの帳票識別情報としてのデータ情報とを入力
され（図１１０のステップＣ２′′′，ステップＣ
３′′′）、これらのデータ一致度を参照することによ
り比較照合を行なう（図１１０のステップＣ
４′′′）。帳票判定部８１９では、データ比較部８１
７からの比較照合結果と閾値設定部８１８からの閾値デ
ータとを入力され、全ての帳票識別情報の一致度が閾値
の範囲内にある場合は、データが一致しているので、ハ
ードディスク８１３から取り出した帳票種別を一意に特
定できると判定され、特定された帳票種別を記録する
（ステップＣ５′′′のＹＥＳルートからステップＣ
６′′′）。In the data comparison unit 817, the collation data from the image data cutout unit 815 and the data information as the form identification information from the form identification dictionary unit 816 are input (steps C2 ′ ″ and C in FIG. 110).
3 ′ ″), the data collation degree is referred to for comparison and collation (step C in FIG. 110).
4 '''). In the form determination unit 819, the data comparison unit 81
When the comparison and collation result from 7 and the threshold value data from the threshold value setting unit 818 are input, and the degree of coincidence of all the form identification information is within the range of the threshold value, the data are coincident, and therefore the data is extracted from the hard disk 813. It is determined that the specified form type can be uniquely specified, and the specified form type is recorded (from the YES route of step C5 ′ ″ to step C).
6 ''').

【０３８７】また、データ比較部８１７からの帳票識別
情報の一致度が閾値の範囲内にない場合は、データが一
致しておらず、帳票種別を特定できないと判定される
（ステップＣ５′′′のＮＯルートからステップＣ
７′′′）。次に、帳票識別辞書部８１６の帳票種別が
全て終了していない場合は、帳票識別辞書部８１６に登
録されている次の帳票種別の帳票識別情報により同様に
処理される（ステップＣ７′′′のＮＯルートからステ
ップＣ２′′′）。従って、全ての帳票種別について帳
票が特定できなかった場合はステップＣ６′′′におけ
る処理は実行されないことになる。If the degree of coincidence of the form identification information from the data comparison unit 817 is not within the range of the threshold, it is determined that the data do not coincide and the form type cannot be specified (step C5 ″ ′ ″). NO route from step C
7 '''). Next, when all the form types in the form identification dictionary unit 816 are not completed, the same process is performed by the form identification information of the next form type registered in the form identification dictionary unit 816 (step C7 ′ ″ ′). From the NO route of step C2 ″ ′ ″). Therefore, if the forms cannot be specified for all the form types, the process in step C6 ″ ″ will not be executed.

【０３８８】その後、ハードディスク８１３に格納され
ている全種類の帳票イメージについて、上述の場合と同
様に、帳票識別情報の一致度の判定を行なう（ステップ
Ｃ８′′′）。さらに、ハードディスク８１３に格納さ
れている全種類の帳票イメージの各々について、全て異
なった一つの帳票に特定することができた場合は、検証
ＯＫとし、検証ステップとしての動作が完了するが（ス
テップＣ９′′′のＹＥＳルートからステップＣ１
０′′′）、そうでない場合は、帳票識別辞書部８１６
に格納されている帳票識別情報に問題ありと判定され、
問題のあった帳票をオペレータに通知し、その帳票につ
いての帳票識別情報の再指定を要求する（ステップＣ
９′′′のＮＯルートからステップＣ１１′′′）。After that, with respect to all types of form images stored in the hard disk 813, the degree of coincidence of form identification information is determined in the same manner as described above (step C8 ″ ″). Further, when it is possible to specify all different types of form images stored in the hard disk 813 into one different form, the verification is OK and the operation as the verification step is completed (step C9). From the YES route of ″ ″, step C1
0 ′ ″ ′), otherwise, the form identification dictionary unit 816
It is determined that there is a problem with the form identification information stored in
The operator is notified of the problematic form and a request is made to respecify the form identification information for the form (step C).
From NO route 9 '''', step C11 '''').

【０３８９】従って、登録ステップの後で、再度、ハー
ドディスク８１３から特定帳票のイメージデータを入力
して、イメージデータ切り出し部８１５において、デー
タ比較部８１７において、入力された特定帳票のイメー
ジデータ中に、帳票識別辞書部８１６に登録されている
帳票識別情報があるかどうかを検証することにより、特
定帳票の認識ができるかどうかを判定することができ
る。 ・運用ステップ時の動作の説明 次に、図１１１に示す運用ステップ動作時に着目した制
御ブロック図と、図１１２に示す運用ステップ時の動作
を説明するためのフローチャートとを用いて、本実施形
態にかかる帳票識別装置の運用ステップ時の動作を以下
に説明する。Therefore, after the registration step, the image data of the specific form is input again from the hard disk 813, and in the image data cutout unit 815, in the image data of the specific form input in the data comparison unit 817, By verifying whether there is form identification information registered in the form identification dictionary unit 816, it can be determined whether or not the specific form can be recognized. Description of Operation During Operation Step Next, the present embodiment will be described using the control block diagram shown in FIG. 111 focusing on the operation step operation and the flow chart shown in FIG. 112 for explaining the operation during the operation step. The operation at the operation step of the form identification device will be described below.

【０３９０】上述したように、検証ステップ時において
は、ハードディスク８１３に格納されている全帳票のイ
メージについて、帳票識別辞書部８１６にて登録された
帳票識別情報を用いて特定できるかを検証しているが、
検証が完了すると、実際の装置運用時においては、任意
の帳票のイメージデータについて、以下に示すような帳
票種別を特定する運用ステップとしての動作が行なわれ
る。As described above, in the verification step, it is verified whether the images of all the forms stored in the hard disk 813 can be specified using the form identification information registered in the form identification dictionary unit 816. But
When the verification is completed, during the actual operation of the apparatus, the operation as an operation step for specifying the form type as described below is performed for image data of an arbitrary form.

【０３９１】即ち、オペレータによるイメージデータ読
取装置８１１の操作により、ある帳票のイメージデータ
が読み取られると（図１１２のステップＤ１′′′）、
読み取られたイメージデータはイメージデータ格納メモ
リ８１４に一旦格納される（図１１２のステップＤ
２′′′）。 次に、イメージデータ切り出し部８１５
では、イメージデータ格納メモリ８１４に一旦格納され
たイメージデータについて、帳票識別辞書部８１６から
の、ある帳票種別における帳票識別情報を構成する位置
情報及び大きさ情報に基づいて、複数箇所のイメージデ
ータ（識別情報）を抽出し切り出す（ステップＤ
３′′′，ステップＤ４′′′）。That is, when the image data of a certain form is read by the operation of the image data reading device 811 by the operator (step D1 ″ ′ in FIG. 112),
The read image data is temporarily stored in the image data storage memory 814 (step D in FIG. 112).
2 '''). Next, the image data cutout unit 815
Then, with respect to the image data once stored in the image data storage memory 814, based on the position information and the size information which form the form identification information for a certain form type from the form identification dictionary unit 816, the image data at a plurality of locations ( (Identification information) is extracted and cut out (step D
3 ″ ″, step D4 ″ ″).

【０３９２】続いて、データ比較部８１７では、イメー
ジデータ切り出し部８１５にて切り出された全てのイメ
ージデータのデータ情報と、当該帳票識別情報を構成す
るデータ情報との一致度を算出することにより比較判定
を行なう（ステップＤ５′′′）。さらに、帳票判定部
８１９では、データ比較部８１７からの比較判定結果と
して算出された一致度と閾値設定部８１８にて設定され
ている一致度の判定基準とを比較することにより、イメ
ージデータ読取装置８１１にて読み取ったイメージデー
タが帳票識別辞書部８１６からの帳票識別情報により帳
票種別を特定できるか否かを判定する（ステップＤ
６′′′）。Subsequently, the data comparison section 817 compares the data information of all the image data cut out by the image data cutout section 815 with the data information forming the form identification information to compare them. A determination is made (step D5 ″ ″). Further, the form determination unit 819 compares the coincidence degree calculated as the comparison determination result from the data comparison unit 817 with the coincidence determination criterion set by the threshold value setting unit 818, so that the image data reading device It is determined whether the image data read in 811 can identify the form type based on the form identification information from the form identification dictionary unit 816 (step D).
6 ''').

【０３９３】具体的には、イメージデータ読取装置８１
１から第１の帳票種別Ａのイメージデータを読み込む一
方、比較対象となる帳票識別辞書部８１６からの帳票識
別情報として第２の帳票種別Ｂに関するものを用いた場
合は、一致しないと判定され、再び帳票識別辞書部８１
６から他の帳票種別に関する帳票識別情報を用いて一致
度の判定を行なう（ステップＤ６′′′のＮＯルートか
らステップＤ８′′′のＮＯルートを経由してステップ
Ｄ３′′′）。Specifically, the image data reading device 81
While the image data of the first form type A from 1 is read, when the form identification information about the second form type B from the form identification dictionary unit 816 to be compared is used, it is determined that they do not match, The form identification dictionary unit 81 again
Then, the degree of coincidence is determined by using the form identification information regarding other form types from 6 (step D3 '''' through the NO route of step D6 '''' to the NO route of step D8 '''').

【０３９４】また、例えば、イメージデータ読取装置８
１１から第１の帳票種別Ａのイメージデータを読み込ん
だ場合に、比較対象となる帳票識別辞書部８１６からの
帳票識別情報が、第１の帳票種別Ａに関するものである
場合は、帳票識別情報について一致すると判定され、読
み込んだイメージデータが該当する帳票種別と特定され
る。この時、特定された帳票種別を制御部８１２−３内
の図示しないメモリに記録しておく（ステップＤ
６′′′のＹＥＳルートからステップＤ７′′′）。In addition, for example, the image data reading device 8
When the image data of the first form type A is read from No. 11, when the form identification information from the form identification dictionary unit 816 to be compared is related to the first form type A, the form identification information is It is determined that they match, and the read image data is specified as the corresponding form type. At this time, the specified form type is recorded in a memory (not shown) in the control unit 812-3 (step D).
From the YES route of 6 '''', step D7 '''').

【０３９５】なお、上述の帳票判定部８１９における判
定の際には、イメージデータ切り出し部８１５にて切り
出された複数箇所のイメージデータの内で、一つでも帳
票識別辞書部８１６からの帳票識別情報に一致しない場
合は、他の種別の帳票と判定する。その後、上述のイメ
ージデータ読取装置８１１にて読み取ったイメージデー
タについて、帳票識別辞書部８１６に格納されている全
帳票種別毎の帳票識別情報に基づき、上述の場合と同様
の、帳票識別情報の一致度の判定を行なう（ステップＤ
８′′′）。[0395] At the time of the above-described determination by the form determination unit 819, even one of the form identification information from the form identification dictionary unit 816 is included in the image data at a plurality of positions cut out by the image data cutout unit 815. If it does not match with, it is determined that the form is another type. Then, based on the form identification information for each form type stored in the form identification dictionary unit 816, the image identification information read by the image data reading device 811 is matched with the form identification information similar to the above case. Degree is determined (Step D
8 ''').

【０３９６】ここで、上述の一致度の判定によって、イ
メージデータ読取装置８１１にて読み取ったイメージデ
ータについて１種類の帳票種別に特定することができた
場合は、特定した帳票種別を定義体格納部８２０（図１
０５参照）に出力する一方（ステップＤ９′′′のＹＥ
ＳルートからステップＤ１０′′′）、１種類の帳票種
別に特定することができなかった場合は、オペレータに
対して、例えばディスプレイ８１２−２を介することに
より帳票特定不可を通知する（ステップＤ９′′′のＮ
ＯルートからステップＤ１１′′′）。Here, if it is possible to specify one type of form for the image data read by the image data reading device 811, the specified form type is defined by the definition storage unit. 820 (Fig. 1
(See step 05) and output (YE of step D9 ″ ″)
If it is not possible to specify one form type from the S route from step S10 '''), the operator is notified that the form cannot be specified, for example, via the display 812-2 (step D9'). ″ N
From the O route, step D11 ''').

【０３９７】なお、定義体格納部８２０では、１種類に
特定された帳票種別を入力されると、定義体格納テーブ
ル８２１から、特定された帳票種別に対応する定義体情
報（読取位置情報，文字属性情報，読取桁数等）を読み
出す。これにより、文字認識部８２２においては、この
定義体情報とイメージデータ格納メモリ８１４に格納さ
れているイメージデータ読取装置８１１にてイメージデ
ータを読み取った帳票に記載されている文字情報を認識
して、認識結果としての文字情報を文字認識結果格納部
８２３に格納しておく。In the definition storage unit 820, when the form type specified as one type is input, the definition form information (reading position information, characters) corresponding to the specified form type is read from the definition storage table 821. Read attribute information, number of read digits, etc.). As a result, the character recognition unit 822 recognizes the definition information and the character information described in the form in which the image data is read by the image data reading device 811 stored in the image data storage memory 814. Character information as a recognition result is stored in the character recognition result storage unit 823.

【０３９８】従って、検証ステップ時において、特定帳
票の認識ができた場合に、運用ステップ時においては、
任意の帳票のイメージデータをイメージデータ読取装置
８１１によって読み取り、この任意の帳票のイメージデ
ータ中に、帳票識別辞書部８１６に登録されている帳票
識別情報があるかどうかを参照することにより、任意の
帳票が特定帳票であるかどうかを識別して、文字認識を
行なうことができる。Therefore, when the specific form can be recognized in the verification step, in the operation step,
By reading the image data of an arbitrary form by the image data reading device 811, and referring to whether or not the image identification information registered in the form identification dictionary unit 816 is included in the image data of the arbitrary form, it is possible to determine an arbitrary form. Character recognition can be performed by identifying whether the form is a specific form.

【０３９９】このように、本発明の一実施形態の第１の
変形例にかかる帳票識別装置によれば、イメージデータ
読取装置８１１，イメージデータ格納メモリ８１４，ハ
ードディスク８１３，イメージデータ切り出し部８１
５，帳票識別辞書部８１６，データ比較部８１７及び帳
票判定部８１９をそなえたことにより、装置運用時にお
いては、イメージデータ読取装置８１１でイメージデー
タを読み取った帳票の種別を自動識別することができる
ので、イメージ読取装置８１１にて読み取るべき帳票が
複数種類混在していても、オペレータは帳票毎の定義体
を意識することなく処理することができ、作業の効率化
を図ることができる利点があるほか、帳票自体の識別用
のＩＤ番号等を記載しておく必要がなく、一般的な帳票
を用いることができ、既存のシステムに対して容易に適
応することができる利点もある。As described above, according to the form identification apparatus in the first modified example of the embodiment of the present invention, the image data reading device 811, the image data storage memory 814, the hard disk 813, and the image data cutout unit 81.
5. By providing the form identification dictionary unit 816, the data comparison unit 817, and the form determination unit 819, the type of the form in which the image data is read by the image data reading device 811 can be automatically identified during the operation of the device. Therefore, even if a plurality of types of forms to be read by the image reading device 811 are mixed, the operator can perform processing without paying attention to the definition of each form, and there is an advantage that work efficiency can be improved. In addition, it is not necessary to describe an ID number or the like for identifying the form itself, a general form can be used, and there is an advantage that it can be easily applied to an existing system.

【０４００】また、帳票識別辞書部８１６への帳票識別
情報の登録時においては、オペレータがディスプレイ８
１２−２に投影された登録対象帳票のイメージデータを
見ながら指定するだけで、自動的に必要な帳票識別情報
を取り込むことができるので、帳票識別用の辞書作成が
容易となり、作業の効率化を図ることができる。さら
に、検証手段としてのデータ比較部８１７及び判定手段
としての帳票判定部８１９とをそなえたことにより、オ
ペレータが指定した帳票識別情報が正しいか否かを検証
することができるので、帳票の誤判別が皆無となり、装
置の信頼性が向上する利点もある。When registering the form identification information in the form identification dictionary section 816, the operator can display the display 8
The necessary form identification information can be automatically fetched simply by designating while looking at the image data of the form to be registered projected on 12-2, making it easy to create a dictionary for form identification and improving work efficiency. Can be achieved. Further, by providing the data comparison unit 817 as the verification unit and the form determination unit 819 as the determination unit, it is possible to verify whether or not the form identification information designated by the operator is correct. However, there is also an advantage that the reliability of the device is improved.

【０４０１】また、オペレータが識別情報を指定するこ
とにより抽出される帳票識別情報は、識別情報が帳票中
の複数箇所を指示することにより、１箇所の場合に比し
て高精度で帳票の特定が可能となる。 （ｂ２）本実施形態の第２の変形例にかかる帳票識別装
置の説明 図１１３は本発明の一実施形態の第２の変形例にかかる
帳票識別装置を示すブロック図であって、特に、登録ス
テップ動作時に着目した制御ブロック図を示すものであ
る。Further, the form identification information extracted by the operator designating the identification information specifies the form with high accuracy as compared with the case where the identification information indicates a plurality of places in the form. Is possible. (B2) Description of Form Identification Device According to Second Modification of Present Embodiment FIG. 113 is a block diagram showing a form identification device according to a second modification of the first embodiment of the present invention. It is a control block diagram which paid its attention at the time of step operation.

【０４０２】ここで、この図１１３に示す帳票識別装置
は、前述の図１０５におけるものに比して、帳票識別情
報抽出手段が、タイトル部分自動抽出部８１５ａ，項目
見出し部分自動抽出部８１５ｂ及び帳票識別情報切り出
し部８１５ｃにより構成されている点が異なり、その他
の構成については基本的に同様である。タイトル部分自
動抽出部８１５ａは、イメージデータ格納メモリ８１４
にて格納されている帳票に関するイメージデータについ
て、タイトル部分（例えば前述の図１０８に示す第１の
帳票識別情報としての‘電気料金’参照）とみられる位
置情報を自動的に抽出するものである。In the form identifying apparatus shown in FIG. 113, the form identifying information extracting means has a title part automatic extracting section 815a, an item heading part automatic extracting section 815b and a form, as compared with the form identifying apparatus shown in FIG. The difference is that it is configured by the identification information cutout unit 815c, and other configurations are basically the same. The title portion automatic extraction unit 815a includes an image data storage memory 814.
With respect to the image data relating to the form stored in, the position information which is considered to be the title portion (for example, refer to'electricity charge 'as the first form identification information shown in FIG. 108) is automatically extracted.

【０４０３】項目見出し部自動抽出部８１５ｂは、イメ
ージデータ格納メモリ８１４にて格納されている帳票に
関するイメージデータについて、項目部分の位置情報を
自動的に抽出するものである。ここで、帳票識別情報切
り出し部８１５ｃは、イメージデータ格納メモリ８１４
にて格納されているイメージデータについて、タイトル
部分自動抽出部８１５ａ及び項目見出し部自動抽出部８
１５ｂからの位置情報に基づいて、タイトル部分及び項
目部分に関する大きさ情報及びデータ情報を帳票識別情
報として切り出すものである。The item heading section automatic extraction section 815b automatically extracts the position information of the item section from the image data relating to the form stored in the image data storage memory 814. Here, the form identification information cutout unit 815c uses the image data storage memory 814.
With respect to the image data stored in, the title portion automatic extraction unit 815a and the item heading portion automatic extraction unit 8
Based on the position information from 15b, size information and data information regarding the title portion and the item portion are cut out as form identification information.

【０４０４】上述の構成により、本発明の一実施形態の
第２の変形例にかかる帳票識別装置では、登録ステップ
時の動作としては、まず、前述の実施形態の場合と同様
に、オペレータの操作により、イメージデータ読取装置
８１１において帳票のイメージデータを読み取ると（図
１１４のステップＥ１′′′）、イメージデータ格納メ
モリ８１４では読み取られたイメージデータを一旦格納
するとともに（図１１４のステップＥ２′′′）、ハー
ドディスク８１３へも、このイメージデータを格納する
ことにより、イメージデータ読取装置８１１にて読み取
られた全イメージデータを格納しておく（図１１４のス
テップＥ３′′′）。 続いて、タイトル部分自動抽出
部８１５ａにより、帳票のタイトルとみられる位置情報
を自動的に抽出するとともに（図１１４のステップＥ
４′′′）、項目見出し部分自動抽出部８１５ｂによ
り、罫線項目内に記述された項目見出しの位置情報を自
動的に抽出する（図１１４のステップＥ５′′′）。With the above-described structure, in the form identification apparatus according to the second modification of the embodiment of the present invention, the operation at the registration step is firstly performed by the operator as in the case of the above-described embodiment. Accordingly, when the image data reading device 811 reads the image data of the form (step E1 ″ ′ in FIG. 114), the image data storage memory 814 temporarily stores the read image data (step E2 ″ in FIG. 114). ′), The image data is also stored in the hard disk 813 to store all the image data read by the image data reading device 811 (step E3 ′ ″ in FIG. 114). Subsequently, the title portion automatic extraction unit 815a automatically extracts the position information that is considered to be the title of the form (step E in FIG. 114).
4 ′ ″), the item heading portion automatic extraction unit 815b automatically extracts the position information of the item heading described in the ruled line item (step E5 ′ ″ in FIG. 114).

【０４０５】帳票識別情報切り出し部８１５ｃでは、上
述のタイトル部分自動抽出部８１５ａ及び項目見出し部
分自動抽出部８１５ｂからの位置情報に基づく大きさ情
報及びデータ情報を抽出して（図１１４のステップＥ
６′′′）、これらの位置情報及び位置情報に対応する
大きさ情報，データ情報を帳票識別情報として帳票識別
辞書部８１６に登録する（図１１４のステップＥ
７′′′）。The form identification information cutout unit 815c extracts size information and data information based on the position information from the above-mentioned title portion automatic extraction unit 815a and item heading portion automatic extraction unit 815b (step E in FIG. 114).
6 ′ ″), the position information, the size information corresponding to the position information, and the data information are registered in the form identification dictionary unit 816 as form identification information (step E in FIG. 114).
7 ''').

【０４０６】なお、検証ステップ時あるいは運用ステッ
プ時の動作としては基本的に前述の一実施形態における
ものと同様である。従って、前述の図１０５に示す帳票
識別装置では、オペレータが、ディスプレイ８１２−２
を参照しながら、入力部８１２−１を操作することによ
り、帳票識別情報を抽出するための識別情報を指定して
いるが、本実施形態によれば、イメージデータ読取装置
８１１によって読み取られた特定帳票のイメージデータ
から、特定帳票上に記載されている特定の帳票識別情報
を自動的に抽出して、特定の帳票識別情報を帳票識別辞
書部８１６に登録することができ、オペレータの作業効
率が飛躍的に向上する利点がある。The operation at the verification step or the operation step is basically the same as that in the above-described one embodiment. Therefore, in the form identification device shown in FIG.
The identification information for extracting the form identification information is specified by operating the input unit 812-1 while referring to the above. However, according to the present embodiment, the identification information read by the image data reading device 811 is specified. The specific form identification information described on the specific form can be automatically extracted from the image data of the form, and the specific form identification information can be registered in the form identification dictionary unit 816, which improves the work efficiency of the operator. It has the advantage of being dramatically improved.

【０４０７】なお、上述の図１１３に示す実施形態にお
いては、帳票識別情報を抽出するための識別情報とし
て、タイトル部分及び項目部分を用いているが、これ以
外の帳票の部分（固定情報部分）を用いても差し支えな
い。 （ｂ３）その他 上述の本発明の一実施形態の変形例では、検証手段とし
てのデータ比較部８１７及び判定手段としての帳票判定
部８１９により、登録ステップの後、再度、特定帳票の
イメージデータを入力して、入力された特定帳票のイメ
ージデータ中に、帳票識別辞書部８１６に登録されてい
る帳票識別情報があるかどうかを検証することにより、
特定帳票の認識ができるかどうかを判定する検証ステッ
プとしての動作を行なっているが、これを省略しても、
少なくとも、装置運用時においては、イメージデータ読
取装置８１１でイメージデータを読み取った帳票の種別
を自動識別することができるので、イメージ読取装置８
１１にて読み取るべき帳票が複数種類混在していても、
オペレータは帳票毎の定義体を意識することなく処理す
ることができ、作業の効率化を図ることができる利点が
あるほか、帳票自体の識別用のＩＤ番号等を記載してお
く必要がなく、一般的な帳票を用いることができ、既存
のシステムに対して容易に適応することができる利点も
ある。In the embodiment shown in FIG. 113, the title part and the item part are used as the identification information for extracting the form identification information, but the other parts of the form (fixed information part). Can be used. (B3) Others In the modification of the embodiment of the present invention described above, the image data of the specific form is input again after the registration step by the data comparison unit 817 as the verification unit and the form determination unit 819 as the determination unit. Then, by verifying whether or not there is the form identification information registered in the form identification dictionary unit 816 in the input image data of the specific form,
Although it operates as a verification step to determine whether the specific form can be recognized, even if this is omitted,
At least when the apparatus is in operation, the type of the form in which the image data is read by the image data reading apparatus 811 can be automatically identified.
Even if there are multiple types of forms to be read in 11,
The operator can perform processing without being aware of the definition of each form, and has the advantage of being able to work more efficiently, and it is not necessary to enter an ID number or the like for identifying the form itself. A general form can be used, and there is an advantage that it can be easily adapted to an existing system.

【０４０８】また、帳票識別辞書部８１６への帳票識別
情報の登録時においては、オペレータがディスプレイ８
１２−２に投影された登録対象帳票のイメージデータを
見ながら指定するだけで、自動的に必要な帳票識別情報
を取り込むことができるので、帳票識別用の辞書作成が
容易となり、作業の効率化を図ることができる。When registering the form identification information in the form identification dictionary unit 816, the operator can display the display 8
The necessary form identification information can be automatically fetched simply by designating while looking at the image data of the form to be registered projected on 12-2, making it easy to create a dictionary for form identification and improving work efficiency. Can be achieved.

【０４０９】[0409]

【０４１０】[0410]

【０４１１】[0411]

【０４１２】[0412]

【発明の効果】以上詳述したように、本発明の媒体処理
方法及び装置によれば、同一の標章情報を意味するコー
ド情報に変換された標章イメージ情報のみをディスプレ
イ上の同一のエリアに複数個表示するような、目視が容
易に行なえるような単位で表示することにより、オペレ
ータが連関するイメージ情報を参照することなく、イメ
ージ情報を参照するだけでその認識結果の正誤を確認で
きるようにして、視線の移動を大幅に削減することがで
きるという利点がある。 また、表示されている複数個の
標章イメージ情報のうち、所望の１つの標章イメージ情
報についてのみ強調表示を行なうことにより、処理中の
標章イメージ情報についてのみ強調表示を行なって比較
対象を削減して、正誤の確認作業に要する労力及び時間
を大幅に削減することができる利点がある。As described above in detail, according to the medium processing method and apparatus of the present invention, only the mark image information converted into the code information which means the same mark information is stored in the same area on the display. to such that a plurality display, by displaying a unit that visually easily, operator
Image without referring to the image information
You can confirm the correctness of the recognition result just by referring to the page information.
It is possible to greatly reduce the movement of the line of sight.
There is an advantage that you can. In addition, the displayed multiple
Of emblem image information, by performing the highlighting only the desired one emblem image information, to reduce the comparison performed highlighting only the emblem image information in the processing, confirmation of correctness work There is an advantage that the labor and time required for can be greatly reduced.

【０４１３】さらに、所望の１つの標章イメージ情報を
この標章イメージ情報と連関する標章イメージ情報とと
もに、ディスプレイ上に、読み取ったイメージの状態で
表示するとともに、該１つの標章イメージ情報について
は強調表示を施すことにより、標章イメージ情報が例え
ばくせ字等のため認識不能である場合でも、続き文字の
ような前後の文字のイメージ情報を参照することによ
り、精度の高い確認作業が行なうことができるととも
に、正誤の確認作業に要する労力及び時間を削減するこ
とができる利点がある。Furthermore, the desired one mark image information is displayed on the display in the state of the read image together with the mark image information associated with this mark image information, and the one mark image information is displayed. By emphasizing, even if the mark image information is unrecognizable due to, for example, cursive characters, highly accurate confirmation work can be performed by referring to the image information of the preceding and following characters such as consecutive characters. In addition to the above, there is an advantage that the labor and time required for the correctness check work can be reduced.

【０４１４】また、該１つの標章イメージ情報に対応す
る正解データをデータ入力装置の操作により入力する
と、該正解データが、上記１つの標章イメージ情報とこ
の標章イメージ情報と連関する標章イメージ情報とを表
示しているエリアとは別の正解データ表示エリアに表示
されるとともに、今まで強調表示されていた該１つの標
章イメージ情報については修正済みを意味する別の強調
表示を施すことにより、標章イメージ情報と入力した正
解データとを目視により再確認することができ、精度の
高い確認作業が行なうことができるとともに、認識不能
標章の入力及び誤認識標章の修正が行なわれたものと行
なわれていないものとの識別が容易になり、視認性を高
めてオペレータの二重修正等を防ぎ、正誤の確認作業に
要する労力及び時間を大幅に削減することができる利点
がある。When correct answer data corresponding to the one mark image information is input by operating the data input device, the correct answer data is associated with the one mark image information and the mark image information. It is displayed in the correct data display area different from the area displaying the image information, and the one mark image information that has been highlighted until now is highlighted differently, which means that it has been corrected. By doing so, it is possible to visually reconfirm the mark image information and the entered correct answer data, and it is possible to perform highly accurate confirmation work, and input unrecognizable marks and correct misrecognized marks. It is easy to distinguish between those that have been performed and those that have not been performed, improve visibility and prevent double correction by the operator, etc., labor and time required for correctness check work There is an advantage that can be greatly reduced.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の一実施形態にかかる媒体処理装置の全
体構成を示す機能ブロック図である。FIG. 1 is a functional block diagram showing an overall configuration of a medium processing device according to an embodiment of the present invention.

【図２】本発明の一実施形態にかかる媒体処理装置にお
ける処理を説明するための図である。FIG. 2 is a diagram for explaining processing in the medium processing device according to the embodiment of the present invention.

【図３】本発明の一実施形態にかかる媒体処理装置にお
ける処理を説明するための図である。FIG. 3 is a diagram for explaining processing in the medium processing device according to the embodiment of the present invention.

【図４】本発明の一実施形態にかかる媒体処理装置にお
ける処理を説明するための図である。FIG. 4 is a diagram for explaining processing in the medium processing device according to the embodiment of the present invention.

【図５】本発明の一実施形態にかかる媒体処理装置にお
けるレイアウト解析処理部の構成を示す機能ブロック図
である。FIG. 5 is a functional block diagram showing a configuration of a layout analysis processing unit in the medium processing device according to the embodiment of the present invention.

【図６】本発明の一実施形態にかかる媒体処理装置にお
ける帳票処理について説明するための図である。FIG. 6 is a diagram for explaining form processing in the medium processing apparatus according to the embodiment of the present invention.

【図７】本発明の一実施形態にかかる媒体処理装置にお
けるイメージリーダを示す模式的な斜視図である。FIG. 7 is a schematic perspective view showing an image reader in the medium processing device according to the embodiment of the present invention.

【図８】本発明の一実施形態にかかる媒体処理装置にお
けるイメージデータの回転補正処理に着目した機能ブロ
ック図である。FIG. 8 is a functional block diagram focusing on rotation correction processing of image data in the medium processing device according to the embodiment of the present invention.

【図９】本発明の一実施形態にかかる媒体処理装置にお
けるイメージデータの回転補正処理に着目した機能ブロ
ック図である。FIG. 9 is a functional block diagram focusing on rotation correction processing of image data in the medium processing device according to the embodiment of the present invention.

【図１０】本発明の一実施形態にかかる媒体処理装置に
おいて処理される帳票の例を示す図である。FIG. 10 is a diagram showing an example of a form processed by the medium processing device according to the embodiment of the present invention.

【図１１】本発明の一実施形態にかかる媒体処理装置に
おいて処理される帳票の例を示す図である。FIG. 11 is a diagram showing an example of a form processed by the medium processing device according to the embodiment of the present invention.

【図１２】本発明の一実施形態にかかる媒体処理装置に
おけるイメージデータ回転補正処理について説明するた
めのフローチャートである。FIG. 12 is a flowchart illustrating an image data rotation correction process in the medium processing device according to the embodiment of the present invention.

【図１３】本発明の一実施形態にかかる媒体処理装置に
おけるイメージデータ回転補正処理について説明するた
めのフローチャートである。FIG. 13 is a flowchart illustrating an image data rotation correction process in the medium processing device according to the embodiment of the present invention.

【図１４】本発明の一実施形態にかかる媒体処理装置に
おける原点抽出照合処理の適用を示す処理説明図であ
る。FIG. 14 is a processing explanatory diagram showing application of origin extraction / collation processing in the medium processing apparatus according to the embodiment of the present invention.

【図１５】（ａ），（ｂ）はいずれも本発明の一実施形
態にかかる媒体処理装置において処理される帳票の例を
示す図である。15A and 15B are diagrams showing an example of a form processed by the medium processing device according to the embodiment of the present invention.

【図１６】本発明の一実施形態にかかる媒体処理装置に
おいて処理される帳票の例を示す図である。FIG. 16 is a diagram showing an example of a form processed by the medium processing device according to the embodiment of the present invention.

【図１７】本発明の一実施形態にかかる媒体処理装置に
おいて処理される帳票の例を示す図である。FIG. 17 is a diagram showing an example of a form processed by the medium processing device according to the embodiment of the present invention.

【図１８】本発明の一実施形態にかかる媒体処理装置に
おける論理原点抽出処理について説明するためのフロー
チャートである。FIG. 18 is a flowchart for explaining a logical origin extraction process in the medium processing device according to the embodiment of the present invention.

【図１９】本発明の一実施形態にかかる媒体処理装置に
おける論理原点補正座標の一致判定を説明するための図
である。FIG. 19 is a diagram for explaining coincidence determination of logical origin correction coordinates in the medium processing device according to the embodiment of the present invention.

【図２０】（ａ），（ｂ）はいずれも本発明の一実施形
態にかかる媒体処理装置において処理される帳票の例を
示す図である。20A and 20B are diagrams showing an example of a form processed by the medium processing device according to the embodiment of the present invention.

【図２１】本発明の一実施形態にかかる媒体処理装置に
おける論理原点照合処理について説明するためのフロー
チャートである。FIG. 21 is a flowchart illustrating a logical origin matching process in the medium processing device according to the embodiment of the present invention.

【図２２】本発明の一実施形態にかかる媒体処理装置に
おけるマトリックス照合処理に着目した処理説明図であ
る。FIG. 22 is a process explanatory diagram focusing on the matrix matching process in the medium processing device according to the embodiment of the present invention.

【図２３】本発明の一実施形態にかかる媒体処理装置に
おけるマトリックステーブル作成処理について説明する
ための図である。FIG. 23 is a diagram for explaining a matrix table creation process in the medium processing device according to the embodiment of the present invention.

【図２４】（ａ），（ｂ）はいずれも本発明の一実施形
態にかかる媒体処理装置におけるマトリックステーブル
作成処理の際のイメージデータの座標の正規化処理につ
いて説明するための図である。24A and 24B are diagrams for explaining the normalization process of the coordinates of the image data in the matrix table creating process in the medium processing device according to the embodiment of the present invention.

【図２５】本発明の一実施形態にかかる媒体処理装置に
おけるマトリックステーブル作成処理の際のビットテー
ブル作成処理について説明するための図である。FIG. 25 is a diagram for explaining a bit table creation process in the matrix table creation process in the medium processing device according to the embodiment of the present invention.

【図２６】本発明の一実施形態にかかる媒体処理装置に
おけるマトリックステーブル作成処理の際のビットテー
ブル作成処理について説明するための図である。FIG. 26 is a diagram for explaining a bit table creation process in the matrix table creation process in the medium processing device according to the embodiment of the present invention.

【図２７】本発明の一実施形態にかかる媒体処理装置に
おけるマトリックステーブル作成処理の際のビットテー
ブル作成処理について説明するための図である。FIG. 27 is a diagram for explaining a bit table creation process in the matrix table creation process in the medium processing device according to the embodiment of the present invention.

【図２８】本発明の一実施形態にかかる媒体処理装置に
おいて作成されるマトリックステーブルについて説明す
るための図である。FIG. 28 is a diagram for explaining a matrix table created in the medium processing device according to the embodiment of the present invention.

【図２９】本発明の一実施形態にかかる媒体処理装置に
おけるマトリックステーブル照合処理について説明する
ためのフローチャートである。FIG. 29 is a flowchart illustrating a matrix table matching process in the medium processing device according to the embodiment of the present invention.

【図３０】本発明の一実施形態にかかる媒体処理装置に
おけるマトリックステーブル照合処理について説明する
ためのフローチャートである。FIG. 30 is a flowchart illustrating a matrix table matching process in the medium processing device according to the embodiment of the present invention.

【図３１】（ａ），（ｂ）はいずれも本発明の一実施形
態にかかる媒体処理装置におけるマトリックステーブル
照合処理の際のマトリックス情報を示す図である。31A and 31B are diagrams showing matrix information at the time of matrix table matching processing in the medium processing device according to an embodiment of the present invention.

【図３２】本発明の一実施形態にかかる媒体処理装置に
おける特徴データ認識処理に着目した処理説明図であ
る。FIG. 32 is a process explanatory diagram focusing on the characteristic data recognition process in the medium processing device according to the embodiment of the present invention.

【図３３】本発明の一実施形態にかかる媒体処理装置に
おける特徴データ認識処理について説明するための図で
ある。FIG. 33 is a diagram for explaining a characteristic data recognition process in the medium processing device according to the embodiment of the present invention.

【図３４】本発明の一実施形態にかかる媒体処理装置に
おける特徴データ認識処理について説明するための図で
ある。FIG. 34 is a diagram for explaining a characteristic data recognition process in the medium processing device according to the embodiment of the present invention.

【図３５】本発明の一実施形態にかかる媒体処理装置に
おいて処理される為替総合振込帳票について説明するた
めの図である。FIG. 35 is a diagram for explaining a general currency exchange transfer form processed in the medium processing device according to the embodiment of the present invention.

【図３６】本発明の一実施形態にかかる媒体処理装置に
おいて処理される為替総合振込帳票について説明するた
めの図である。FIG. 36 is a diagram for explaining the general currency exchange transfer form processed in the medium processing device according to the embodiment of the present invention.

【図３７】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理に着目した処理説明図である。FIG. 37 is a process explanatory diagram focusing on the headline analysis process in the medium processing device according to the embodiment of the present invention.

【図３８】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理で使用される罫線項目構成情報に
ついて説明するための図である。FIG. 38 is a diagram for explaining ruled line item configuration information used in a headline analysis process in the medium processing device according to the embodiment of the present invention.

【図３９】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理で使用される罫線項目構成情報の
うちの罫線属性について説明するための図である。FIG. 39 is a diagram for explaining a ruled line attribute of the ruled line item configuration information used in the headline analysis process in the medium processing device according to the embodiment of the present invention.

【図４０】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理で使用される罫線項目構成情報テ
ーブルについて説明するための図である。FIG. 40 is a diagram illustrating a ruled line item configuration information table used in a heading analysis process in the medium processing device according to the embodiment of the present invention.

【図４１】（ａ）〜（ｄ）はいずれも本発明の一実施形
態にかかる媒体処理装置における見出し解析処理で使用
される罫線項目構成情報テーブルについて説明するため
の図である。41A to 41D are diagrams for explaining a ruled line item configuration information table used in a heading analysis process in the medium processing device according to an embodiment of the present invention.

【図４２】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理で使用される見出し位置探索ルー
ルについて説明するための図である。FIG. 42 is a diagram for explaining the index position search rule used in the index analysis process in the medium processing device according to the embodiment of the present invention.

【図４３】（ａ），（ｂ）はいずれも本発明の一実施形
態にかかる媒体処理装置における見出し解析処理で使用
される見出し位置探索ルールについて説明するための図
である。43A and 43B are diagrams for explaining a heading position search rule used in a heading analysis process in the medium processing device according to an embodiment of the present invention.

【図４４】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理について説明するためのフローチ
ャートである。[Fig. 44] Fig. 44 is a flowchart for illustrating a headline analysis process in the medium processing device according to the embodiment of the present invention.

【図４５】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理の結果の一例を示す図である。FIG. 45 is a diagram showing an example of a result of a heading analysis process in the medium processing device according to the embodiment of the present invention.

【図４６】（ａ）〜（ｃ）はいずれも本発明の一実施形
態にかかる媒体処理装置における見出し解析処理の際の
見出し例を示す図である。FIGS. 46 (a) to 46 (c) are diagrams showing examples of headings at the time of heading analysis processing in the medium processing device according to an embodiment of the present invention.

【図４７】（ａ）〜（ｃ）はいずれも本発明の一実施形
態にかかる媒体処理装置における見出し解析処理の際の
見出し例を示す図である。FIGS. 47 (a) to 47 (c) are diagrams showing examples of headings at the time of heading analysis processing in the medium processing device according to an embodiment of the present invention.

【図４８】（ａ）〜（ｃ）はいずれも本発明の一実施形
態にかかる媒体処理装置における見出し解析処理の際の
見出し例を示す図である。48 (a) to (c) are diagrams showing examples of headings at the time of heading analysis processing in the medium processing device according to an embodiment of the present invention.

【図４９】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理の際の正規化処理の一例を示す図
である。FIG. 49 is a diagram showing an example of a normalization process at the time of the headline analysis process in the medium processing device according to the embodiment of the present invention.

【図５０】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理で使用される項目見出し辞書につ
いて説明するための図である。FIG. 50 is a diagram for explaining an item heading dictionary used in a heading analysis process in the medium processing device according to an embodiment of the present invention.

【図５１】（ａ），（ｂ）はいずれも本発明の一実施形
態にかかる媒体処理装置における見出し解析処理の際の
見出し項目データの照合結果の一例を示す図である。51A and 51B are diagrams showing an example of the collation result of the heading item data in the heading analysis processing in the medium processing device according to the embodiment of the present invention.

【図５２】（ａ）〜（ｃ）はいずれも本発明の一実施形
態にかかる媒体処理装置における見出し解析処理の際の
見出し補正ルールによる照合結果の補正について説明す
るための図である。52A to 52C are diagrams for explaining correction of a matching result by a heading correction rule at the time of heading analysis processing in the medium processing device according to an embodiment of the present invention.

【図５３】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理について説明するためのフローチ
ャートである。[Fig. 53] Fig. 53 is a flowchart for explaining a heading analysis process in the medium processing device according to the embodiment of the present invention.

【図５４】（ａ）〜（ｈ）はいずれも本発明の一実施形
態にかかる媒体処理装置における見出し解析処理で使用
される見出し部罫線項目とデータ部罫線項目との接続ル
ールについて説明するための図である。FIGS. 54 (a) to 54 (h) are each for explaining a connection rule between a headline part ruled line item and a data part ruled line item used in the headline analysis processing in the medium processing device according to the embodiment of the present invention. FIG.

【図５５】（ａ）〜（ｆ）はいずれも本発明の一実施形
態にかかる媒体処理装置における見出し解析処理で使用
される見出し部罫線項目とデータ部罫線項目との接続ル
ールについて説明するための図である。FIGS. 55 (a) to 55 (f) are for explaining a connection rule between a headline part ruled line item and a data part ruled line item used in the headline analysis processing in the medium processing device according to the embodiment of the present invention. FIG.

【図５６】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理の際の見出し項目に対応する項目
データ位置の決定結果の一例を示す図である。FIG. 56 is a diagram showing an example of a determination result of item data positions corresponding to headline items in the headline analysis process in the medium processing apparatus according to the embodiment of the present invention.

【図５７】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理の際の各情報のリンク関係につい
て説明するための図である。[Fig. 57] Fig. 57 is a diagram for describing a link relationship of each information in the heading analysis process in the medium processing device according to one embodiment of the present invention.

【図５８】本発明の一実施形態にかかる媒体処理装置に
おける見出し解析処理の際の各情報のリンク関係につい
て説明するための図である。[Fig. 58] Fig. 58 is a diagram for explaining a link relationship of each information in the headline analysis process in the medium processing device according to the embodiment of the present invention.

【図５９】（ａ），（ｂ）はいずれも本発明の一実施形
態にかかる媒体処理装置における見出し解析処理の際に
機能項目にリンクされる項目データについて説明するた
めの図である。FIGS. 59 (a) and 59 (b) are views for explaining item data linked to function items in the heading analysis process in the medium processing device according to the embodiment of the present invention.

【図６０】（ａ）〜（ｆ）は、本発明の一実施形態にか
かる媒体処理装置における見出し解析処理の際の金額項
目リンク処理について説明するための図である。FIGS. 60 (a) to 60 (f) are diagrams for explaining the monetary item linking process at the time of the headline analysis process in the medium processing device according to the embodiment of the present invention.

【図６１】本発明の一実施形態におけるイメージデータ
表示装置の構成を示す模式図である。FIG. 61 is a schematic diagram showing a configuration of an image data display device according to an embodiment of the present invention.

【図６２】本発明の一実施形態におけるイメージデータ
表示装置の機能ブロック図である。FIG. 62 is a functional block diagram of the image data display device according to the embodiment of the present invention.

【図６３】本発明の一実施形態におけるイメージデータ
表示装置の機能ブロック図である。FIG. 63 is a functional block diagram of an image data display device according to an embodiment of the present invention.

【図６４】本発明の一実施形態におけるイメージデータ
表示装置の動作を説明するためのフローチャートであ
る。FIG. 64 is a flowchart illustrating an operation of the image data display device according to the embodiment of the present invention.

【図６５】本発明の一実施形態におけるイメージデータ
表示装置の動作を説明するためのフローチャートであ
る。FIG. 65 is a flowchart illustrating an operation of the image data display device according to the embodiment of the present invention.

【図６６】本発明の一実施形態におけるイメージデータ
表示装置の動作を説明するためのフローチャートであ
る。FIG. 66 is a flowchart illustrating the operation of the image data display device according to the embodiment of the present invention.

【図６７】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 67 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図６８】本発明の一実施形態におけるイメージデータ
表示装置で作成された関連情報を説明するための図であ
る。FIG. 68 is a diagram for explaining related information created by the image data display device according to the embodiment of the present invention.

【図６９】本発明の一実施形態におけるイメージデータ
表示装置で作成された強調情報を説明するための図であ
る。FIG. 69 is a diagram for explaining emphasis information created by the image data display device according to the embodiment of the present invention.

【図７０】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 70 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図７１】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 71 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図７２】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。[Fig. 72] Fig. 72 is a diagram for describing a display example of the image data display device according to the embodiment of the present invention.

【図７３】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 73 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図７４】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 74 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図７５】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 75 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図７６】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 76 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図７７】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 77 is a diagram for explaining a display example of a display of the image data display device according to the embodiment of the present invention.

【図７８】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 78 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図７９】本発明の一実施形態におけるイメージデータ
表示装置で作成された強調情報を説明するための図であ
る。FIG. 79 is a diagram for explaining emphasis information created by the image data display device according to the embodiment of the present invention.

【図８０】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 80 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図８１】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 81 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図８２】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 82 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図８３】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 83 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図８４】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 84 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図８５】本発明の一実施形態におけるイメージデータ
表示装置のディスプレイ表示例を説明するための図であ
る。FIG. 85 is a diagram for explaining a display example of the image data display device according to the embodiment of the present invention.

【図８６】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の構成を示す模式図である。FIG. 86 is a schematic diagram showing a configuration of a read mark display / recognition information correction device according to an embodiment of the present invention.

【図８７】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の機能ブロック図である。FIG. 87 is a functional block diagram of a read mark display / recognition information correction device in an embodiment of the present invention.

【図８８】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の機能ブロック図である。FIG. 88 is a functional block diagram of a read mark display / recognition information correction device according to an embodiment of the present invention.

【図８９】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の機能ブロック図である。FIG. 89 is a functional block diagram of a read mark display / recognition information correction device according to an embodiment of the present invention.

【図９０】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。FIG. 90 is a flowchart for explaining the operation of the read mark display / recognition information correction device according to the embodiment of the present invention.

【図９１】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。FIG. 91 is a flow chart for explaining the operation of the read mark display / recognition information correction device in one embodiment of the present invention.

【図９２】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。FIG. 92 is a flowchart for explaining the operation of the read mark display / recognition information correction device according to the embodiment of the present invention.

【図９３】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。FIG. 93 is a flowchart for explaining the operation of the read mark display / recognition information correction device in one embodiment of the present invention.

【図９４】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。FIG. 94 is a flowchart for explaining the operation of the read mark display / recognition information correction device according to the embodiment of the present invention.

【図９５】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。FIG. 95 is a flowchart for explaining the operation of the read mark display / recognition information correction device according to the embodiment of the present invention.

【図９６】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。FIG. 96 is a flowchart for explaining the operation of the read mark display / recognition information correction device according to the embodiment of the present invention.

【図９７】本発明の一実施形態における読み取り標章表
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。FIG. 97 is a flowchart for explaining the operation of the read mark display / recognition information correction device according to the embodiment of the present invention.

【図９８】本発明の一実施形態における読み取り標章表
示・認識情報修正装置で作成された全面イメージを説明
するための図である。[Fig. 98] Fig. 98 is a diagram for explaining a full-scale image created by the read mark display / recognition information correction device according to the embodiment of the present invention.

【図９９】本発明の一実施形態における読み取り標章表
示・認識情報修正装置で作成された認識文字情報を説明
するための図である。FIG. 99 is a diagram for explaining recognition character information created by the read mark display / recognition information correction device in an embodiment of the present invention.

【図１００】本発明の一実施形態における読み取り標章
表示・認識情報修正装置で作成された関連情報を説明す
るための図である。FIG. 100 is a diagram for explaining related information created by the read mark display / recognition information correction device according to the embodiment of the present invention.

【図１０１】本発明の一実施形態における読み取り標章
表示・認識情報修正装置の表示例を説明するための図で
ある。FIG. 101 is a diagram for explaining a display example of the read mark display / recognition information correction device in the embodiment of the present invention.

【図１０２】本発明の一実施形態における読み取り標章
表示・認識情報修正装置の表示例を説明するための図で
ある。FIG. 102 is a diagram for explaining a display example of the read mark display / recognition information correction device according to the embodiment of the present invention.

【図１０３】本発明の一実施形態における読み取り標章
表示・認識情報修正装置の表示例を説明するための図で
ある。FIG. 103 is a diagram for explaining a display example of the read mark display / recognition information correction device in the embodiment of the present invention.

【図１０４】本発明の一実施形態における読み取り標章
表示・認識情報修正装置の表示例を説明するための図で
ある。FIG. 104 is a diagram for explaining a display example of the read mark display / recognition information correction device in the embodiment of the present invention.

【図１０５】本発明の一実施形態の第１の変形例にかか
る帳票識別装置を示すブロック図である。FIG. 105 is a block diagram showing a form identification device according to a first modified example of the embodiment of the present invention.

【図１０６】本発明の一実施形態の第１の変形例にかか
る帳票識別装置の登録ステップ動作時に着目した制御ブ
ロック図である。FIG. 106 is a control block diagram focusing on a registration step operation of the form identification apparatus according to the first modified example of the embodiment of the present invention.

【図１０７】本発明の一実施形態の第１の変形例にかか
る帳票識別装置の登録ステップ動作時の動作を説明する
ためのフローチャートである。FIG. 107 is a flowchart for explaining an operation at the time of a registration step operation of the form identification device according to the first modified example of the embodiment of the present invention.

【図１０８】本発明の一実施形態の第１の変形例にかか
る帳票識別装置の登録ステップ動作時の動作を説明する
ための図である。FIG. 108 is a diagram for explaining an operation at the time of a registration step operation of the form identification device according to the first modified example of the embodiment of the present invention.

【図１０９】本発明の一実施形態の第１の変形例にかか
る帳票識別装置の検証ステップ動作時に着目した制御ブ
ロック図である。FIG. 109 is a control block diagram focusing on a verification step operation of the form identification apparatus according to the first modified example of the embodiment of the present invention.

【図１１０】本発明の一実施形態の第１の変形例にかか
る帳票識別装置の登録ステップ動作時の動作を説明する
ためのフローチャートである。FIG. 110 is a flowchart for explaining an operation at the time of a registration step operation of the form identification device according to the first modified example of the embodiment of the present invention.

【図１１１】本発明の一実施形態の第１の変形例にかか
る帳票識別装置の運用ステップ動作時に着目した制御ブ
ロック図である。FIG. 111 is a control block diagram focusing on the operation step operation of the form identification apparatus according to the first modified example of the embodiment of the present invention.

【図１１２】本発明の一実施形態の第１の変形例にかか
る帳票識別装置の運用ステップ動作時の動作を説明する
ためのフローチャートである。FIG. 112 is a flowchart for explaining an operation at the time of operation step operation of the form identification device according to the first modified example of the embodiment of the present invention.

【図１１３】本発明の一実施形態の第２の変形例にかか
る帳票識別装置の制御ブロック図である。FIG. 113 is a control block diagram of a form identification device according to a second modified example of the embodiment of the present invention.

【図１１４】本発明の一実施形態の第２の変形例にかか
る帳票識別装置の動作を説明するためのフローチャート
である。FIG. 114 is a flowchart for explaining the operation of the form identification device according to the second modified example of the embodiment of the present invention.

【図１１５】帳票識別装置の構成を示す模式図である。FIG. 115 is a schematic diagram showing a configuration of a form identification device.

【図１１６】帳票識別装置の動作を説明するための図で
ある。FIG. 116 is a diagram for explaining the operation of the form identification device.

【図１１７】帳票識別装置の動作の変形例を説明するた
めの図である。FIG. 117 is a diagram for explaining a modified example of the operation of the form identification device.

【図１１８】（ａ），（ｂ）はいずれもイメージデータ
の基準点の抽出方法を説明するための図である。118A and 118B are diagrams for explaining a method of extracting a reference point of image data.

【図１１９】イメージデータの回転補正処理を説明する
ための図である。FIG. 119 is a diagram for explaining rotation correction processing of image data.

【符号の説明】[Explanation of symbols]

１ 解析前処理部 ２ レイアウト解析処理部 ２Ａ レイアウト特徴抽出部 ２Ｂ レイアウト解析部 ２Ｃ 罫線抽出部（罫線項目抽出部） ２Ｄ 項目データ抽出部 ２Ｅ 表構造解析部（罫線項目解析部） ３ レイアウト照合処理部 ４ レイアウト編集処理部 ５ 文字認識用定義体作成部 ６ 文字認識処理部 ７ 知識処理部 ８ レイアウト画面表示処理部 ９ 文字認識結果画面表示処理部 １０ クライアント １１ レイアウトログ情報作成処理部 １２ 知識ログ情報作成処理部 １３ 解析用辞書 １４ レイアウトデータベース（レイアウトＤＢ） １５ 知識データベース（知識ＤＢ） １６ レイアウト認識処理ブロック １７ 文字認識処理ブロック（文字列認識部） １８ オペレータ確認／修正処理ブロック １９ 帳票イメージ ２０ レイアウト認識結果 ２１ 文字認識用定義体（一時定義体） ２２ 文字認識結果 ２３ 知識学習情報 ２４ 解析用辞書学習情報 ２５ レイアウトＤＢ学習情報 ２６ レイアウト解析情報 ２８ 学習用レイアウト情報 ２９ 登録用レイアウト情報 ３０ 媒体処理装置 ３１ ＦＡＸ ３２ イメージスキャナ ３３ ＤＡＴＡ−ＥＹＥ ３４ イメージリーダ ３５ クライアント（ＣＬ） ３６ 交換回線（ＩＳＤＮ／公衆網） ３７ ＦＡＸアダプタ ３８ 通信アダプタ ３９ サーバ（ＳＶ） ４０ 私製伝票認識ソフトコンポーネント ４１ ブランチサーバ（ＢＳ） ２００ 照合結果 ３０１ イメージ入力部 ３０２ イメージデータ格納メモリ ３０３ 回転イメージデータ格納メモリ ３０４ 罫線項目情報格納部 ３０５ 縦／横判定設定部 ３０６ 横長罫線項目格納部 ３０７ イメージ９０度回転部 ３０８ イメージ１８０度回転部 ３０９ ラベリング部 ３１０ ラベリング情報格納部 ３１１ 文字領域統合部 ３１２ 文字領域統合ルール部 ３１３ 統合結果格納部 ３１４ 文字列縦／横判定部 ３２０ 罫線項目のある帳票 ３２１ 罫線項目のない帳票 ４０３ ディスプレイ ４０４ 外部入力装置 ５０１ 動作パラメタ情報 ５０２ 罫線項目情報 ５０３ 罫線項目構成情報テーブル（罫線項目構成情報
ＴＢＬ） ５０５ 見出し探索ルール ５０７ 項目見出し辞書 ５０８ 見出し補正ルール ５０９ 項目データ探索ルール ６１１ イメージデータ表示エリア ６１２，６１２′ 項目 ６１３ 強調表示部分 ６１４ 項目表示エリア ６１５ データ入力表示エリア部分 ６１６ カーソル表示 ６２１ イメージデータ分割装置（イメージデータ入力
装置） ６２１Ａ イメージスキャナ（イメージデータ入力装
置） ６２１Ｂ 光学式文字読み取り装置（ＯＣＲ装置；イメ
ージデータ入力装置） ６２２ ハードディスク（定義体格納部） ６２３ 強調情報作成処理部 ６２４ 強調表示部（イメージデータ部分強調表示手
段） ６２５ 強調表示取消部（イメージデータ強調表示解除
手段） ６２６ 強調表示遷移制御部（強調表示遷移制御手段） ６２７ 画面スクロール部（表示画面スクロール手段） ６２８ 変更部（変更手段） ６２８Ａ 変更情報獲得部 ６２８Ｂ 強調情報変更部 ６２９ コンピュータ本体（表示制御装置） ６３０ ディスプレイ ６３１ キーボード ６４０ イメージデータ表示装置 ７２１ イメージリーダ（イメージ読み取り部） ７２２ キーボード（データ入力装置） ７２３ ハードディスク ７２４ コンピュータ本体（標章認識装置） ７２５ ディスプレイ ７２６ 文字認識部（標章認識部） ７２７ 読み取り標章イメージ表示制御部 ７２７Ａ 強調表示手段 ７２７Ｂ 強調表示変更手段 ７２８ 正解データ表示手段 ７２９ 文字イメージ抽出処理部（最小構成単位標章イ
メージ情報抽出部） ７３０ 文字イメージ表示処理部（最小構成単位標章イ
メージ表示制御部） ７３０Ａ 強調表示手段 ７３０Ｂ 強調表示変更手段 ７３１ 連関標章イメージ表示手段 ７３１Ａ 強調表示手段 ７３２Ａ 認識不能標章イメージ情報表示エリア ７３３Ａ 標章イメージ情報表示エリア ７３３Ｂ 連関標章イメージ情報表示エリア ７３３Ｃ 正解データ表示エリア ７４０ 読み取り標章表示・認識情報修正装置 ７４１ 関連情報作成部 ７４２ 修正情報取得処理部 ７４３ 修正結果反映処理部 ７５０〜７５２ 認識情報修正手段 ８１１ イメージデータ読取装置 ８１２ 電子計算機 ８１２−１ 入力部 ８１２−２ ディスプレイ ８１２−３ 制御部 ８１３ ハードディスク ８１４ イメージデータ格納メモリ ８１５ イメージデータ切り出し部（帳票識別情報抽出
手段） ８１５ａ タイトル部自動抽出部（帳票識別情報抽出手
段） ８１５ｂ 項目見出し部自動抽出部（帳票識別情報抽出
手段） ８１５ｃ 帳票識別情報切り出し部（帳票識別情報抽出
手段） ８１６ 帳票識別辞書部（帳票識別辞書） ８１６ａ，８１６ｂ 領域 ８１７ データ比較部（参照手段，検証手段） ８１８ 閾値設定部 ８１９ 帳票判定部（帳票識別手段，判定手段） ８２０ 定義体格納部 ８２１ 定義体格納テーブル ８２２ 文字認識部 ８２３ 文字認識結果格納部 ８２４Ｂ 電気料金払込通知書の帳票 １０００ 帳票処理装置 １００１ イメージデータ読取装置 １００２ 電子計算機 １００２−１ 入力部 １００２−２ 計算機本体 １００２−３ ディスプレイ １００３ ハードディスク １００３Ａ〜１００３Ｃ 定義体情報 １００４ 帳票 １００４ａ ＩＤ番号の記載位置 １００５ イメージデータ読取認識装置 １００６，１００８ 帳票の用紙端面 １００７，１００９ 帳票の読取背景 １０１０ 帳票 １０１０Ａ 誤った向きで表示された帳票のイメージデ
ータ １０１０Ｂ 正しい向きで表示された帳票のイメージデ
ータ1 Analysis Preprocessing Section 2 Layout Analysis Processing Section 2A Layout Feature Extraction Section 2B Layout Analysis Section 2C Ruled Line Extraction Section (Rule Line Item Extraction Section) 2D Item Data Extraction Section 2E Table Structure Analysis Section (Rule Line Item Analysis Section) 3 Layout Collation Processing Section 4 Layout Editing Processing Section 5 Character Recognition Definition Creation Section 6 Character Recognition Processing Section 7 Knowledge Processing Section 8 Layout Screen Display Processing Section 9 Character Recognition Result Screen Display Processing Section 10 Client 11 Layout Log Information Creation Processing Section 12 Knowledge Log Information Creation Processing unit 13 Analysis dictionary 14 Layout database (layout DB) 15 Knowledge database (knowledge DB) 16 Layout recognition processing block 17 Character recognition processing block (character string recognition unit) 18 Operator confirmation / correction processing block 19 Form image 20 Layout recognition result 21 Character recognition definition ( (Temporary definition) 22 Character recognition result 23 Knowledge learning information 24 Analysis dictionary learning information 25 Layout DB learning information 26 Layout analysis information 28 Learning layout information 29 Registration layout information 30 Medium processing device 31 FAX 32 Image scanner 33 DATA-EYE 34 Image Reader 35 Client (CL) 36 Switched Line (ISDN / Public Network) 37 FAX Adapter 38 Communication Adapter 39 Server (SV) 40 Private Slip Recognition Software Component 41 Branch Server (BS) 200 Collation Result 301 Image Input Section 302 Image Data Storage memory 303 Rotation image data storage memory 304 Ruled line item information storage unit 305 Vertical / horizontal determination setting unit 306 Horizontal elongated ruled line item storage unit 307 Image 90 degree rotation unit 308 Image 180 degree rotation unit 30 Labeling section 310 Labeling information storage section 311 Character area integration section 312 Character area integration rule section 313 Integration result storage section 314 Character string vertical / horizontal determination section 320 Form 321 with ruled line items Form 403 without ruled line items 403 Display 404 External input device 501 Operation parameter information 502 Ruled line item information 503 Ruled line item configuration information table (ruled line item configuration information TBL) 505 Headline search rule 507 Item headline dictionary 508 Headline correction rule 509 Item data search rule 611 Image data display area 612, 612 'Item 613 Highlighted display Part 614 Item display area 615 Data input display area Part 616 Cursor display 621 Image data dividing device (image data input device) 621A Image scanner (image data input device) 621B Scientific character reading device (OCR device; image data input device) 622 Hard disk (definition storage unit) 623 Emphasizing information creation processing unit 624 Emphasizing display unit (image data portion emphasizing display means) 625 Emphasis display canceling unit (image data emphasis display) Release means) 626 Highlighted transition control section (highlighted transition control means) 627 Screen scroll section (display screen scrolling means) 628 Change section (change means) 628A Change information acquisition section 628B Highlighted information change section 629 Computer body (display control device) ) 630 display 631 keyboard 640 image data display device 721 image reader (image reading unit) 722 keyboard (data input device) 723 hard disk 724 computer body (mark recognition device) 725 display 726 Character recognition unit (mark recognition unit) 727 Read mark image display control unit 727A Highlight display unit 727B Highlight display change unit 728 Correct data display unit 729 Character image extraction processing unit (minimum unit unit mark image information extraction unit) 730 characters Image display processing unit (minimum unit unit mark image display control unit) 730A highlighting unit 730B highlighting changing unit 731 linked mark image displaying unit 731A highlighting unit 732A unrecognizable mark image information display area 733A mark image information display Area 733B Linked mark image information display area 733C Correct answer data display area 740 Read mark display / recognition information correction device 741 Related information creation unit 742 Correction information acquisition processing unit 743 Correction result reflection processing unit 750 to 752 Recognition information correction means 811 image Day Reader 812 Electronic calculator 812-1 Input section 812-2 Display 812-3 Control section 813 Hard disk 814 Image data storage memory 815 Image data cutout section (form identification information extraction means) 815a Title section automatic extraction section (form identification information extraction means) ) 815b Item heading automatic extraction unit (form identification information extraction unit) 815c Form identification information cutout unit (form identification information extraction unit) 816 Form identification dictionary unit (form identification dictionary) 816a, 816b Area 817 Data comparison unit (reference unit, Verification unit) 818 Threshold setting unit 819 Form determination unit (form identification unit, determination unit) 820 Definition storage unit 821 Definition storage table 822 Character recognition unit 823 Character recognition result storage unit 824B Form 1000 of electricity charge payment notification form Form processing Device 1001 image Data reading device 1002 Electronic computer 1002-1 Input unit 1002-2 Computer body 1002-3 Display 1003 Hard disk 1003A to 1003C Definition information 1004 Form 1004a ID number writing position 1005 Image data reading / recognizing device 1006, 1008 Form sheet end face 1007 , 1009 Form reading background 1010 Form 1010A Form image data displayed in wrong orientation 1010B Form image data displayed in correct orientation

───────────────────────────────────────────────────── フロントページの続き (72)発明者 千葉 亘一 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 松野 秀樹 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 永野 義博 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 牛田 和秀 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 鎌田 英夫 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 松橋 智浩 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 稲岡 秀行 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 渡部 英一 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 直井 聡 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 坂根 俊司 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 小原 勝利 神奈川県川崎市中原区上小田中４丁目１ 番１号 富士通株式会社内 (72)発明者 山本 一範 群馬県前橋市問屋町１丁目８番３号 株 式会社富士通ターミナルシステムズ内 (72)発明者 渡辺 和人 群馬県前橋市問屋町１丁目８番３号 株 式会社富士通ターミナルシステムズ内 (72)発明者 木嶋 順之 群馬県前橋市問屋町１丁目８番３号 株 式会社富士通ターミナルシステムズ内 (72)発明者 山崎 芳則 群馬県前橋市問屋町１丁目８番３号 株 式会社富士通ターミナルシステムズ内 (72)発明者 町田 泰孝 群馬県前橋市問屋町１丁目８番３号 株 式会社富士通ターミナルシステムズ内 (56)参考文献 特開 昭60−175189（ＪＰ，Ａ) 特開 平７−121654（ＪＰ，Ａ) 特開 昭53−69535（ＪＰ，Ａ) 特開 昭57−211676（ＪＰ，Ａ) 特開 昭60−160482（ＪＰ，Ａ) 特開 平４−34671（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82 G06F 3/00 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Wataichi Chiba 4-1-1 Kamiotanaka, Nakahara-ku, Kawasaki-shi, Kanagawa Within Fujitsu Limited (72) Inventor Hideki Matsuno 4-chome, Ueodaanaka, Nakahara-ku, Kawasaki, Kanagawa 1-1 No. 1 in Fujitsu Limited (72) Inventor Yoshihiro Nagano 4-1-1 Ueodachu, Nakahara-ku, Kawasaki-shi, Kanagawa Prefecture 1-1 No. 1 In-house Fujitsu Limited (72) Kazuhide Ushida 4 Ueoda-chu, Nakahara-ku, Kawasaki, Kanagawa 1-1-1 Fujitsu Limited (72) Inventor Hideo Kamata 4-Kamiodachu Nakahara-ku, Kawasaki-shi, Kanagawa 4-1-1-1 In-house Fujitsu Limited (72) Tomohiro Matsuhashi 4 Uedota Naka, Nakahara-ku, Kawasaki, Kanagawa 1-1-1 Fujitsu Limited (72) Inventor Hideyuki Inaoka 4-1-1 Kamitadanaka, Nakahara-ku, Kawasaki-shi, Kanagawa Fujitsu Limited In-house (72) Inventor Eiichi Watanabe 4-1-1 Kamiodanaka, Nakahara-ku, Kawasaki-shi, Kanagawa Fujitsu Limited (72) Inventor Satoshi Naoi 4-1-1 1-1 Uedota, Nakahara-ku, Kawasaki, Kanagawa In-house (72) Inventor Shunji Sakane 4-1-1 Kamiodanaka, Nakahara-ku, Kawasaki-shi, Kanagawa Fujitsu Limited (72) Inventor Victory 4-1-1 Kamiodanaka, Nakahara-ku, Kawasaki-shi, Kanagawa Fujitsu Incorporated (72) Inventor Kazunori Yamamoto 1-3-8, Toyoya-machi, Maebashi, Gunma Prefecture Fujitsu Terminal Systems Ltd. (72) Inventor Kazuto Watanabe 1-3-8, Toyoya-machi, Maebashi, Gunma Prefecture Incorporated company Fujitsu Terminal Systems (72) Inventor Junyuki Kijima 1-3-8 Toyamachi, Maebashi, Gunma Prefecture Incorporated Fujitsu Terminal Systems (72) Inori Yoshinori Yamazaki 1-8, Toyoyamachi, Maebashi, Gunma Prefecture No. 3 Stock company Fujitsu Terminal Systems (72) Inventor Yasutaka Machida 1-3-8 Toyamachi, Maebashi, Gunma Prefecture Fujitsu Terminal Systems Co., Ltd. (56) Reference JP-A-60-175189 (JP, A) JP-A-7-121654 ( JP, A) JP 53-69535 (JP, A) JP 57-211676 (JP, A) JP 60-160482 (JP, A) JP 4-34671 (JP, A) (58) ) Fields surveyed (Int.Cl. ⁷ , DB name) G06K 9/00-9/82 G06F 3/00

Claims (14)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 標章情報を有する媒体のイメージを読み
取り、この読み取られたイメージ中の標章イメージ情報
を認識して、この標章イメージ情報に対応するコード情
報に変換する媒体処理方法において、 該イメージ中におけるコード情報に変換されるべき最小
構成単位の標章イメージ情報を、この標章イメージ情報
を変換したコード情報の意味する標章情報に対応させ
て、同一の標章情報を意味するコード情報に変換された
標章イメージ情報が同一エリアに複数個表示されるよう
に、ディスプレイ上に表示することを特徴とする、媒体
処理方法。1. A medium processing method for reading an image of a medium having mark information, recognizing mark image information in the read image, and converting the image information into code information corresponding to the mark image information, The mark image information of the minimum constitutional unit to be converted into the code information in the image is made to correspond to the mark information which means the code information obtained by converting the mark image information, and means the same mark information. as emblem image information converted into code information is a plurality displayed on the same area, and displaying on a display, the medium processing method. 【請求項２】 同一エリアに表示されている複数個の同
種の最小構成単位の標章イメージ情報のうち、所望の１
つの標章イメージ情報についてのみ強調表示を行なうこ
とを特徴とする、請求項１記載の媒体処理方法。2. A plurality of the same areas displayed in the same area.
The desired 1 of the mark image information of the smallest constituent unit of the species
2. The medium processing method according to claim 1, wherein only one mark image information is highlighted. 【請求項３】 所望の１つの標章イメージ情報をこの標
章イメージ情報と連関する標章イメージ情報とともに、
ディスプレイ上に、読み取ったイメージの状態で表示す
るとともに、該１つの標章イメージ情報については強調
表示を施すことを特徴とする、請求項１記載の媒体処理
方法。3. A desired one mark image information together with the mark image information associated with this mark image information,
2. The medium processing method according to claim 1, wherein a read image is displayed on the display, and the one mark image information is highlighted. 【請求項４】 該１つの標章イメージ情報に対応する正
解データをデータ入力装置の操作により入力すると、該
正解データが、上記１つの標章イメージ情報とこの標章
イメージ情報と連関する標章イメージ情報とを表示して
いるエリアとは別の正解データ表示エリアに表示される
ことを特徴とする、請求項３記載の媒体処理方法。4. When the correct answer data corresponding to the one mark image information is input by operating a data input device, the correct answer data is associated with the one mark image information and the mark image information. 4. The medium processing method according to claim 3, wherein the medium information is displayed in a correct data display area different from the area displaying the image information. 【請求項５】 該１つの標章イメージ情報に対応する正
解データをデータ入力装置の操作により入力すると、今
まで強調表示されていた該１つの標章イメージ情報につ
いては修正済みを意味する別の強調表示が施されること
を特徴とする、請求項３記載の媒体処理方法。5. When the correct answer data corresponding to the one mark image information is input by operating the data input device, another one of the ones, which has been highlighted until now, means that the one mark image information has been corrected. 4. The medium processing method according to claim 3, wherein highlighting is performed. 【請求項６】 該１つの標章イメージ情報に対応する正
解データをデータ入力装置の操作により入力すると、該
正解データが、上記１つの標章イメージ情報とこの標章
イメージ情報と連関する標章イメージ情報とを表示して
いるエリアとは別の正解データ表示エリアに表示される
とともに、今まで強調表示されていた該１つの標章イメ
ージ情報については修正済みを意味する別の強調表示が
施されることを特徴とする、請求項４記載の媒体処理方
法。6. When the correct answer data corresponding to the one mark image information is input by operating a data input device, the correct answer data is associated with the one mark image information and the mark image information. It is displayed in the correct data display area different from the area displaying the image information, and another highlighting meaning that the one mark image information that has been highlighted up until now is corrected has been added. 5. The medium processing method according to claim 4, wherein the medium processing method is performed. 【請求項７】 該１つの標章イメージ情報に対応する正
解データをデータ入力装置の操作により入力すると、今
まで強調表示されていた該１つの標章イメージ情報につ
いては修正済みを意味する別の強調表示が施されるとと
もに、該正解データに基づいて、該１つの標章イメージ
情報に対応する誤認識情報が修正されることを特徴とす
る、請求項２記載の媒体処理方法。7. When the correct answer data corresponding to the one mark image information is inputted by operating the data input device, another one of the one mark image information which has been highlighted until now is indicated as another one. 3. The medium processing method according to claim 2, wherein the misrecognition information corresponding to the one mark image information is corrected based on the correct answer data while being highlighted. 【請求項８】 標章情報を有する媒体のイメージを読み
取るイメージ読み取り部と、 該イメージ読み取り部で読み取られたイメージ中の標章
イメージ情報を認識して、この標章イメージ情報に対応
するコード情報に変換する標章認識部とをそなえるとと
もに、 上記標章イメージ情報を読み取ったイメージの状態で表
示するディスプレイと、 該イメージ中におけるコード情報に変換されるべき最小
構成単位の標章イメージ情報を該最小構成単位の標章イ
メージ情報毎に抽出する最小構成単位標章イメージ情報
抽出部と、 該最小構成単位標章イメージ情報抽出部で抽出された該
最小構成単位の標章イメージ情報を、この標章イメージ
情報を変換したコード情報の意味する標章情報に対応さ
せて、同一の標章情報を意味するコード情報に変換され
た標章イメージ情報が同一エリアに複数個表示されるよ
うに該ディスプレイに表示させる最小構成単位標章イメ
ージ表示制御部とをそなえて構成されたことを特徴とす
る、媒体処理装置。8. An image reading unit for reading an image of a medium having mark information, and code information corresponding to the mark image information by recognizing the mark image information in the image read by the image reading unit. And a display for displaying the above-mentioned mark image information in a read image state, and the mark image information of the minimum constituent unit to be converted into code information in the image. The minimum component unit mark image information extraction unit that extracts each mark component image information of the minimum component unit, and the mark image information of the minimum component unit extracted by the minimum component unit mark image information extraction unit Corresponding to the mark information that means the code information converted from the chapter image information, it is converted to the code information that means the same mark information. Wherein the emblem image information is configured to include a minimum constituent unit emblem image display control unit for displaying on the display so that a plurality displayed on the same area, the medium processing apparatus. 【請求項９】 該最小構成単位標章イメージ表示制御部
が、 同一エリアに表示されている複数個の同種の最小構成単
位の標章イメージ情報のうち、 所望の１つの標章イメー
ジ情報についてのみ強調表示を行なう強調表示手段をそ
なえていることを特徴とする、請求項８記載の媒体処理
装置。9. The minimum component unit mark image display control unit is configured to display a plurality of the same minimum component unit images displayed in the same area.
9. The medium processing device according to claim 8, further comprising highlighting means for highlighting only one desired mark image information among the ranks of the mark image information . 【請求項１０】 該１つの標章イメージ情報をこの標章
イメージ情報と連関する標章イメージ情報とともに、デ
ィスプレイ上に、読み取ったイメージの状態で表示する
連関標章イメージ表示手段が設けられるとともに、 該連関標章イメージ表示手段が、該１つの標章イメージ
情報については強調表示を施す強調表示手段をそなえて
いることを特徴とする、請求項８記載の媒体処理装置。10. An associated mark image display means for displaying the one mark image information together with the mark image information associated with the mark image information on the display in the state of the read image, 9. The medium processing device according to claim 8, wherein the associated mark image display means includes highlighting means for highlighting the one mark image information. 【請求項１１】 該１つの標章イメージ情報に対応する
正解データを入力するデータ入力装置をそなえ、 該データ入力装置の操作により該正解データを入力する
と、該正解データを、上記１つの標章イメージ情報とこ
の標章イメージ情報と連関する標章イメージ情報とを表
示しているエリアとは別の正解データ表示エリアに表示
させる正解データ表示手段が設けられていることを特徴
とする、請求項８記載の媒体処理装置。11. A data input device for inputting correct answer data corresponding to the one mark image information, and when the correct answer data is inputted by operating the data input device, the correct answer data is converted into the one mark. The correct answer data display means for displaying the correct answer data display area different from the area displaying the image information and the mark image information associated with this mark image information is provided. 8. The medium processing device according to item 8. 【請求項１２】 該１つの標章イメージ情報に対応する
正解データを入力するデータ入力装置をそなえ、 該データ入力装置の操作により該正解データを入力する
と、今まで強調表示されていた該１つの標章イメージ情
報については修正済みを意味する別の強調表示を施す強
調表示変更手段が設けられたことを特徴とする、請求項
８記載の媒体処理装置。12. A data input device for inputting correct answer data corresponding to the one mark image information is provided, and when the correct answer data is inputted by operating the data input device, the one item which has been highlighted until now. 9. The medium processing device according to claim 8, further comprising highlighting changing means for performing another highlighting indicating that the mark image information has been corrected. 【請求項１３】 該１つの標章イメージ情報に対応する
正解データを入力するデータ入力装置をそなえ、 該データ入力装置の操作により該正解データを入力する
と、該正解データを、上記１つの標章イメージ情報とこ
の標章イメージ情報と連関する標章イメージ情報とを表
示しているエリアとは別の正解データ表示エリアに表示
させる正解データ表示手段と、 該データ入力装置の操作により該正解データを入力する
と、今まで強調表示されていた該１つの標章イメージ情
報については修正済みを意味する別の強調表示を施す強
調表示変更手段とが設けられたことを特徴とする、請求
項８記載の媒体処理装置。13. A data input device for inputting correct answer data corresponding to the one mark image information, and when the correct answer data is inputted by operating the data input device, the correct answer data is converted into the one mark. Correct answer data display means for displaying the correct answer data display area different from the area displaying the image information and the mark image information related to this mark image information, and the correct answer data by operating the data input device. 9. The highlighting changing means for performing another highlighting, which means that the one mark image information which has been highlighted until now is corrected, is provided. Media processing device. 【請求項１４】 該１つの標章イメージ情報に対応する
正解データを入力するデータ入力装置と、 該データ入力装置の操作により該正解データを入力する
と、今まで強調表示されていた該１つの標章イメージ情
報については修正済みを意味する別の強調表示を施す強
調表示変更手段と、 該データ入力装置の操作により該正解データを入力する
と、該正解データに基づいて、該１つの標章イメージ情
報に対応する誤認識情報を修正する認識情報修正手段と
をそなえたことを特徴とする、請求項９記載の媒体処理
装置。14. A data input device for inputting correct answer data corresponding to the one mark image information, and when the correct answer data is inputted by operating the data input device, the one mark which has been highlighted until now. When the correct answer data is input by operating the data input device and another highlighting changing means for performing another highlighting indicating that the chapter image information has been corrected, the one mark image information based on the correct answer data is input. 10. The medium processing device according to claim 9, further comprising: recognition information correction means for correcting the misrecognition information corresponding to.