JP7283756B2 - Information processing device and program - Google Patents
Information processing device and program Download PDFInfo
- Publication number
- JP7283756B2 JP7283756B2 JP2020084128A JP2020084128A JP7283756B2 JP 7283756 B2 JP7283756 B2 JP 7283756B2 JP 2020084128 A JP2020084128 A JP 2020084128A JP 2020084128 A JP2020084128 A JP 2020084128A JP 7283756 B2 JP7283756 B2 JP 7283756B2
- Authority
- JP
- Japan
- Prior art keywords
- rectangle
- circumscribing
- rectangles
- subgroup
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Input (AREA)
Description
本発明は、帳票の画像を処理する情報処理装置及びプログラムに関する。 The present invention relates to an information processing apparatus and program for processing an image of a form.
情報の記入枠を複数含む帳票から、各記入枠に記入された情報を読み取る技術が実用化されている。この技術では、予め帳票の種類ごとに、記入枠の領域を特定する座標情報と、当該座標情報で特定される領域がどのような情報を記入する記入枠に対応するかを表す情報とを、関連付けて領域情報として記憶しておく。 A technique for reading information entered in each entry box from a form containing a plurality of information entry boxes has been put into practical use. In this technology, for each type of form, coordinate information specifying the area of the entry box and information indicating what kind of information the area specified by the coordinate information corresponds to the entry box, It is associated and stored as area information.
情報の読み取りの際には、帳票の種類を特定し、当該特定した種類の帳票に関して記憶している、上記領域情報を参照し、当該帳票上の情報記入枠内の情報を読み取ることとしている。 When reading information, the type of form is specified, the area information stored for the specified type of form is referenced, and the information in the information entry frame on the form is read.
しかしながら、上記領域情報は、必ずしも用意されているとは限らない。例えば新規の帳票や、類似する帳票であっても記入枠の位置が変更されている場合もあり得る。このような場合に、読み取った帳票上の記入枠の領域を、人為的操作なく認識することで、領域情報の生成を簡便にすることなどが望まれている。 However, the region information is not necessarily prepared. For example, even in a new form or a similar form, the positions of the entry boxes may be changed. In such a case, it is desired to easily generate area information by recognizing the area of the entry frame on the read form without any manual operation.
本発明は上記実情に鑑みて為されたもので、光学的に読み取られた帳票の記入枠の領域を、人為的操作なく認識できる情報処理装置、及びプログラムを提供することを、その目的の一つとする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide an information processing apparatus and a program capable of recognizing the area of the entry frame of an optically read form without manual operation. one.
なお、光学的文字認識を行うため、ノイズが重畳していないと判定される文字の領域を行方向または列方向に延伸して文字が含まれると想定される領域を見出す技術が特許文献１に開示されている。しかしながらこの特許文献１に開示の技術では、記入枠の領域を認識することはできない。
In order to perform optical character recognition,
上記従来例の問題点を解決する本発明の一態様は、情報処理装置であって、帳票の画像データを受け入れる手段と、前記受け入れた帳票の画像データから、帳票上の記入枠の候補の外接矩形を抽出する手段と、前記帳票の画像データの第１の軸方向に配列された、複数の前記外接矩形を含む第１矩形サブグループを少なくとも一つ認識する第１認識手段と、前記第１認識手段が認識した第１矩形サブグループごとに、当該第１矩形サブグループに含まれる複数の外接矩形にさらに外接する第１グループ矩形を設定する第１グループ化手段と、前記帳票の画像データの、前記第１の軸方向に交差する第２の軸方向に配列された、複数の前記外接矩形を含む第２矩形サブグループを少なくとも一つ認識する第２認識手段と、前記第２認識手段が認識した前記第２矩形サブグループごとに、当該第２矩形サブグループに含まれる複数の外接矩形にさらに外接する第２グループ矩形を設定する第２グループ化手段と、前記第１グループ矩形と、前記第２グループ矩形との交差範囲を、記入枠として認識し、当該認識した記入枠内の画像データを抽出して所定の処理に供する手段と、を有することとしたものである。 One aspect of the present invention for solving the above-described conventional problems is an information processing apparatus comprising: means for accepting image data of a form; means for extracting a rectangle; first recognition means for recognizing at least one first rectangle subgroup including the plurality of circumscribing rectangles arranged in the first axis direction of the image data of the form; first grouping means for setting a first group rectangle further circumscribing a plurality of circumscribing rectangles contained in the first rectangle subgroup for each first rectangle subgroup recognized by the recognition means; , second recognizing means for recognizing at least one second rectangular subgroup including a plurality of said circumscribing rectangles arranged in a second axial direction intersecting said first axial direction; second grouping means for setting, for each of the recognized second rectangle subgroups, a second group rectangle further circumscribing a plurality of circumscribing rectangles included in the second rectangle subgroup; the first group rectangle; and a means for recognizing a crossing range with the second group rectangle as an entry frame, extracting image data in the recognized entry frame, and subjecting it to predetermined processing.
本発明によると、光学的に読み取られた帳票の記入枠の領域を、人為的操作なく認識できる。 According to the present invention, the area of the entry frame of the optically read form can be recognized without any manual operation.
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、インタフェース部１５とを含んで構成される一般的なコンピュータ装置であり、スキャナ２等のデバイスに接続されている。
An embodiment of the present invention will be described with reference to the drawings. An
制御部１１は、プロセッサ等の制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、例えばスキャナ２が光学的に読み取って得た帳票の画像データを受け入れる。本実施の形態の例では、ここで読み取られる帳票は、図２に例示するように、情報を記入するための枠（記入枠）が複数、行方向及び列方向に整列して配された表組（Ｔ）を含むものであるとする。
The
制御部１１は、帳票の画像データを受け入れると、当該受け入れた画像データから、帳票上の記入枠の候補を認識し、当該記入枠の候補に外接矩形を抽出する。制御部１１は、帳票の画像データの第１の軸方向に配列された、上記抽出した複数の外接矩形を含む第１矩形サブグループを少なくとも一つ認識し、さらに、認識した第１矩形サブグループごとに、当該第１矩形サブグループに含まれる複数の上記外接矩形にさらに外接する第１グループ矩形を設定する。
Upon receiving the image data of the form, the
また制御部１１は、帳票の画像データの、第２の軸方向に配列された、上記複数の外接矩形を含む第２矩形サブグループを少なくとも一つ認識し、当該認識した第２矩形サブグループごとに、当該第２矩形サブグループに含まれる上記複数の外接矩形にさらに外接する第２グループ矩形を設定する。ここで第１の軸方向と第２の軸方向とは互いに交差する（非平行である）ものとする。
Further, the
制御部１１は、ここで設定した第１グループ矩形と第２グループ矩形との交差範囲を、記入枠として認識し、当該認識した記入枠内の画像データを抽出して所定の処理に供する。この制御部１１の詳しい動作については後に述べる。
The
記憶部１２は、ディスクデバイスやメモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。また、この記憶部１２は、制御部１１のワークメモリとしても動作する。
The
操作部１３は、キーボード等であり、ユーザの操作を受け入れて、当該操作の内容を制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って情報を表示出力する。
The
インタフェース部１５は、例えばＵＳＢインタフェース等を含む。本実施の形態の一例では、スキャナ２等のデバイスは、このインタフェース部１５を介して情報処理装置１に接続される。
The
また本実施の形態の情報処理装置１に接続されるスキャナ２は、光学的に紙媒体上に形成された文字や図形を読み取り、画像データとして出力するものである。
A
次に、制御部１１の処理例について説明する。本実施の形態では、この制御部１１は、図３に例示するように、受入部２１と、記入枠候補抽出部２２と、第１認識部２３と、第１グループ化部２４と、第２認識部２５と、第２グループ化部２６と、記入枠認識部２７と、情報出力部２８とを含んで構成されている。
Next, a processing example of the
受入部２１は、インタフェース部１５を介してスキャナ２から、スキャナ２が読み取った帳票の画像データを受け入れる。この画像データは、いわゆるビットマップ画像データである。
The
また、上述したように本実施の形態の情報処理装置１が処理の対象とする帳票の例は、図２に例示したように、情報を記入するための枠（記入枠）が複数、行方向及び列方向に整列して配された表組（Ｔ）を含むものである。図２の例では、表組（Ｔ）は、時間帯ごとの担当者の氏名を記入するための記入枠Ａが行方向に整列して複数配され、列方向には担当場所ごとの担当者の氏名を記入するための記入枠Ａが整列して配されているものとしている。つまり、この表組（Ｔ）では、各担当場所ごと、各時間帯ごとに、担当者の氏名が記入された状態となっているものとする。またこの表組（Ｔ）において、第１行目は時間帯を識別する情報が記入される記入枠（Ｄ）を配列したものとし、第１列目は担当場所を識別する情報が記入される記入枠（Ｐ）が配列されているものとする。
As described above, an example of a form to be processed by the
また本実施の形態の情報処理装置１は、受け入れた帳票の画像データに対して第１の軸方向と、第１の軸方向に交差する第２の軸方向とを設定する。ここで第１、第２の軸方向は互いに直交した方向としてよい。以下の例では、第１の軸方向を行方向（スキャナ２の副走査方向）、第２の軸方向を列方向（スキャナ２の主走査方向）とする。
Further, the
記入枠候補抽出部２２は、受入部２１が受け入れた帳票の画像データから、帳票上の記入枠の候補を認識し、当該認識した記入枠の候補の領域に外接する外接矩形を抽出する。具体的な例として、本実施の形態では、記入枠候補抽出部２２は、記入枠が矩形状の図形により表されているため、ハフ変換により直線の方向が行方向または列方向に整列するよう、受入部２１が受け入れた帳票の画像データを回転処理する。
The entry-box
そして記入枠候補抽出部２２は、行ごと及び列ごとに、有意画素（例えば輝度が所定のしきい値を下回る画素を黒とし、そうでない画素を白とする処理（二値化処理）をして黒色となる画素）の数をカウントし、有意画素が所定の方法で定めたカウントしきい値より多い行または列を見出す。記入枠候補抽出部２２は、当該見出した行または列に含まれ、有意画素が連続する範囲を抽出し、当該範囲の大きさが予め定めた連続しきい値より大きい場合に、当該連続した範囲を、記入枠を区切る罫線であると認識する。
Then, the entry frame
記入枠候補抽出部２２は、行方向に互いに隣接する一対の罫線の間の矩形であって、列方向に互いに隣接する一対の罫線で仕切られる矩形部分を、記入枠の候補の領域として認識する。記入枠候補抽出部２２は、当該認識した各記入枠の候補の領域に外接する矩形を表す情報を、外接矩形を表す情報として出力する。
The entry frame
この例では、図４（ａ）に例示するように、互いに隣接する記入枠の候補は、一つの罫線を共有する。すなわち記入枠Ａ１の右辺の罫線は、記入枠Ａ２の左辺の罫線でもあり、記入枠Ａ１の下辺の罫線は、記入枠Ａ３の上辺の罫線でもある。 In this example, adjacent entry frame candidates share one ruled line, as illustrated in FIG. That is, the ruled line on the right side of the entry box A1 is also the ruled line on the left side of the entry box A2, and the ruled line on the lower side of the entry box A1 is also the ruled line on the upper side of the entry box A3.
また、別の方法では、記入枠候補抽出部２２は、帳票の画像データ内の有意画素塊（文字）に外接する矩形（文字矩形）を認識する。ここで文字を構成する有意画素に外接する文字矩形を認識する処理については広く知られた方法を採用できるので、ここでの詳しい説明を省略する。
In another method, the entry frame
記入枠候補抽出部２２は、認識した複数の文字矩形を所定の文字グループ化条件に基づいてグループ化する。ここで文字グループ化条件は、例えば互いに隣接する文字矩形までの距離が所定の文字間隔しきい値を下回るとの条件でよい。また罫線が別途認識できる場合は、上記文字間隔しきい値に係る条件を満足し、かつ、認識した罫線で分断されないとの条件などとしておく。
The entry frame
この場合、記入枠候補抽出部２２は、文字グループ化条件によりグループ化された複数の文字矩形にさらに外接する文字列外接矩形を生成し、この生成した文字列外接矩形内の領域を、記入枠の候補の領域とする。
In this case, the entry box
この例では、図４（ｂ）に例示するように、記入枠の候補の領域Ａ′１，Ａ′２，Ａ′３は、罫線で仕切られる領域に内包される。またこの例では、記入枠の候補の領域に外接する矩形（外接矩形）は、文字列外接矩形そのものを用いてよい。 In this example, as illustrated in FIG. 4B, candidate areas A'1, A'2, and A'3 for entry frames are included in areas partitioned by ruled lines. In this example, the character string circumscribing rectangle itself may be used as the rectangle (circumscribing rectangle) that circumscribes the area of the entry frame candidate.
第１認識部２３は、記入枠候補抽出部２２が抽出した複数の外接矩形のいずれか一つを選択して、当該選択した外接矩形に対して、帳票の画像データの行方向（第１の軸方向に相当する）に存在する他の外接矩形を検出する。
The first recognizing
第１認識部２３は、選択した外接矩形と、検出した他の外接矩形とを含む第１矩形サブグループを設定する。
The
第１認識部２３は、いずれの第１矩形サブグループに属していない外接矩形（かつ、後で説明する第１孤立矩形として設定されていない外接矩形）があれば、当該外接矩形の一つをさらに選択して上記の処理を繰り返す。なお、選択した外接矩形に対して、帳票の画像データの行方向（第１の軸方向に相当する）に存在する他の外接矩形が存在しない場合、第１認識部２３は、選択した外接矩形を、第１孤立矩形として設定する。
If there is a circumscribing rectangle that does not belong to any first rectangle subgroup (and a circumscribing rectangle that is not set as a first isolated rectangle to be described later), the
一例として、この第１認識部２３は、図５に例示するように、外接矩形Ａを選択した場合、この外接矩形Ａの上辺，下辺をそれぞれ延長した線分ＡＨ，ＡＢを仮想的に設定し、この範囲に重なる、外接矩形Ａとは異なる外接矩形（他の外接矩形）Ｂ，Ｃ，Ｄ…を見出す。第１認識部２３は、見出した他の外接矩形のそれぞれについて、線分ＡＨ，ＡＢの間にある面積ＲINと、線分ＡＨ，ＡＢの外にある部分の面積ＲOUTとを比較し、条件：
ＲIN＞ＲOUT、かつ、
ＲOUT＜Ｒrow_th
を満足するか否かを調べる。ここでＲrow_thは、経験的に定められるしきい値であり、線分ＡＨ，ＡＢの外にある部分の面積がどの程度であれば、選択した外接矩形Ａが属する第１矩形サブグループに含めるかを定めるものである。
As an example, as illustrated in FIG. 5, when the enclosing rectangle A is selected, the
RIN>ROUT, and
ROUT<Rrow_th
is satisfied or not. Here, Rrow_th is an empirically determined threshold, and how much the area of the portion outside the line segments AH and AB is to be included in the first rectangle subgroup to which the selected circumscribing rectangle A belongs. is defined.
そして第１認識部２３は、上記条件を満足すると判断される外接矩形と、外接矩形Ａとをグループ化して、一つの第１矩形サブグループとする。図５の例では、外接矩形Ａ，Ｂ，Ｃが一つの第１矩形サブグループに属するものとされ、外接矩形Ｄは、ＲIN＞ＲOUTでないために、外接矩形Ａが属する第１矩形サブグループにはグループ化されない。
Then, the
第１グループ化部２４は、第１認識部２３が設定した少なくとも一つの第１矩形サブグループごとに、当該第１矩形サブグループに含まれる複数の外接矩形にさらに外接する第１グループ矩形を設定する。
The
第２認識部２５は、記入枠候補抽出部２２が抽出した複数の外接矩形のいずれか一つを選択して、当該選択した外接矩形に対して、帳票の画像データの列方向（第２の軸方向に相当する）に存在する他の外接矩形を検出する。
The second recognizing
第２認識部２５は、選択した外接矩形と、検出した他の外接矩形とを含む第２矩形サブグループを設定する。
The
第２認識部２５は、いずれの第２矩形サブグループに属していない外接矩形（かつ、後で説明する第２孤立矩形として設定されていない外接矩形）があれば、当該外接矩形の一つをさらに選択して上記の処理を繰り返す。なお、選択した外接矩形に対して、帳票の画像データの列方向（第２の軸方向に相当する）に存在する他の外接矩形が存在しない場合、第２認識部２５は、選択した外接矩形を、第２孤立矩形として設定する。
If there is a circumscribing rectangle that does not belong to any second rectangle subgroup (and a circumscribing rectangle that is not set as a second isolated rectangle to be described later), the
一例として、この第２認識部２５が、図５に例示する外接矩形Ａを選択した場合、この外接矩形Ａの左辺，右辺をそれぞれ延長した線分ＡＬ，ＡＲを仮想的に設定し、この範囲に重なる、外接矩形Ａとは異なる外接矩形（他の外接矩形）Ｅ，Ｆ，Ｇ…を見出す。第２認識部２５は、見出した他の外接矩形のそれぞれについて、線分ＡＬ，ＡＲの間にある面積ＲINと、線分ＡＬ，ＡＲの外にある部分の面積ＲOUTとを比較し、条件：
ＲIN＞ＲOUT、かつ、
ＲOUT＜Ｒcolumn_th
を満足するか否かを調べる。ここでＲcolumn_thは、経験的に定められるしきい値であり、線分ＡＬ，ＡＲの外にある部分の面積がどの程度であれば、選択した外接矩形Ａが属する第２矩形サブグループに含めるかを定めるものである。
As an example, when the
RIN>ROUT, and
ROUT < Rcolumn_th
is satisfied or not. Here, Rcolumn_th is an empirically determined threshold value, and how much the area of the portion outside the line segments AL and AR is to be included in the second rectangle subgroup to which the selected circumscribing rectangle A belongs. is defined.
そして第２認識部２５は、上記条件を満足すると判断される外接矩形と、外接矩形Ａとをグループ化して、一つの第２矩形サブグループとする。図５の例では、外接矩形Ａ，Ｅ，Ｆが一つの第２矩形サブグループに属するものとされ、外接矩形Ｇは、ＲIN＞ＲOUTでないために、外接矩形Ａが属する第２矩形サブグループにはグループ化されない。
Then, the
第２グループ化部２６は、第２認識部２５が設定した少なくとも一つの第２矩形サブグループごとに、当該第２矩形サブグループに含まれる複数の外接矩形にさらに外接する第２グループ矩形を設定する。
The
記入枠認識部２７は、第１グループ化部２４が設定した第１グループ矩形と、第２グループ化部２６が設定した第２グループ矩形との交差範囲を、記入枠として認識する。本実施の形態の例では、第１グループ化部２４は一般に複数ｎ個の第１グループ矩形を設定する。この第１グループ矩形は、行方向に延びる矩形であり、列方向に配列されている。また、第２グループ化部２６は一般に複数ｍ個の第２グループ矩形を設定する。この第２グループ矩形は、列方向に延びる矩形であり、行方向に配列されている。
The entry
そこでこの記入枠認識部２７が認識する第１グループ矩形と第２グループ矩形との交差範囲は、ｎ×ｍ個あり、記入枠認識部２７は、ｎ×ｍ個の記入枠を認識する。記入枠認識部２７は、認識した記入枠のそれぞれに固有の識別子を発行し、また当該記入枠のそれぞれに外接する矩形を特定する座標情報（当該矩形の左上及び右下の座標でよい）を得て、対応する識別子に関連付けて、記入枠データベースとして記憶部１２に格納する。
Therefore, there are n×m intersection ranges of the first group rectangle and the second group rectangle recognized by the entry
情報出力部２８は、記憶部１２に格納された記入枠データベースを参照し、固有の識別子及びそれに関連付けられた座標情報が表す、帳票の画像データ上の領域内の画像データ（各記入枠内の画像データ）を、所定の処理に供する。ここで所定の処理は、例えば、各記入枠内の画像データに基づく文字認識処理でよい。情報出力部２８は、当該所定の処理の結果を、出力する。
The
［動作］
本実施の形態の情報処理装置１は、以上の構成を備えており、次のように動作する。以下の例では、スキャナ２が読み取る帳票には、図６（ａ）に例示するように、記入枠（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆで示される部分）がそれぞれ所定の間隔をおいて、マトリクス状に（行方向及び列方向に）配列され、それぞれ文字列ＡＡＡ，ＢＢ，ＣＣ，ＤＤＤ，ＥＥ，ＦＦＦ（それぞれ文字数は互いに異なってよい）が記入されているものとする。また、図６（ａ）の例では、罫線はないものとしている。
[motion]
The
情報処理装置１の制御部１１がインタフェース部１５を介してスキャナ２から、スキャナ２が読み取った上記図６（ａ）の表組を含む帳票の画像データを受け入れると、制御部１１は、受け入れた帳票の画像データに対して第１の軸方向としての行方向と、第１の軸方向に交差する第２の軸方向としての列方向とを設定する。
When the
制御部１１は、この帳票の画像データから、記入枠を区切る罫線の認識を試みてもよいが、罫線は認識できないため、罫線を用いない方法、例えば文字の領域を認識する方法を用いることとする。具体的に制御部１１は、受け入れた帳票の画像データから、有意画素塊（文字）に外接する矩形（文字矩形）を認識する。また制御部１１は、認識した文字矩形を、互いに隣接する文字矩形までの距離が所定の文字間隔しきい値を下回るとの文字グループ化条件でグループ化する。この処理により、文字列ＡＡＡ，ＢＢ，ＣＣ，ＤＤＤ，ＥＥ，ＦＦＦがそれぞれ互いに異なるグループとしてグループ化される。
The
そして制御部１１は、文字グループ化条件によりグループ化された複数の文字矩形にさらに外接する文字列外接矩形を生成し（図６（ａ）のＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ）、この生成した文字列外接矩形内の領域を、記入枠の候補の領域とする。
Then, the
次に制御部１１は、記入枠の候補の領域のそれぞれに外接する複数の外接矩形のいずれか一つを選択する。例えば制御部１１が文字列ＡＡＡに外接する外接矩形を選択したとする。制御部１１は、当該選択した外接矩形に対して、帳票の画像データの行方向に存在する他の外接矩形を検出する。ここでは文字列ＡＡＡに外接する外接矩形に対し、帳票の画像データの行方向には、文字列ＢＢに外接する外接矩形が存在する。そこで制御部１１は、選択した外接矩形（文字列ＡＡＡの外接矩形）と、検出した他の外接矩形（文字列ＢＢの外接矩形）とを含む第１矩形サブグループを設定し、図６（ｂ）に例示するように、その第１矩形サブグループに含まれる外接矩形に外接する第１グループ矩形Ｘ１を設定する。
Next, the
また制御部１１は、いずれの第１矩形サブグループに属していない外接矩形の一つ、例えば文字列ＣＣに外接する外接矩形を選択し、当該選択した外接矩形に対して、帳票の画像データの行方向に存在する他の外接矩形を検出する。ここでは文字列ＣＣに外接する外接矩形に対し、帳票の画像データの行方向には、文字列ＤＤＤに外接する外接矩形が存在する。そこで制御部１１は、選択した外接矩形（文字列ＣＣの外接矩形）と、検出した他の外接矩形（文字列ＤＤＤの外接矩形）とを含む第１矩形サブグループを設定し、その第１矩形サブグループに含まれる外接矩形に外接する第１グループ矩形Ｘ２を設定する。
The
同様にして制御部１１は、文字列ＥＥの外接矩形と、文字列ＦＦＦの外接矩形とを含む第１矩形サブグループを設定し、その第１矩形サブグループに含まれる外接矩形に外接する第１グループ矩形Ｘ３を設定する（図６（ｂ））。
Similarly, the
また制御部１１は、第１グループ矩形を設定した処理とは別に、記入枠の候補の領域のそれぞれに外接する複数の外接矩形のいずれか一つを選択する。例えばここで制御部１１が文字列ＡＡＡに外接する外接矩形を選択したとする。制御部１１は、当該選択した外接矩形に対して、帳票の画像データの列方向に存在する他の外接矩形を検出する。ここでは文字列ＡＡＡに外接する外接矩形に対し、帳票の画像データの行方向には、文字列ＣＣに外接する外接矩形、及び文字列ＥＥに外接する外接矩形が存在する。そこで制御部１１は、選択した外接矩形（文字列ＡＡＡの外接矩形）と、検出した他の外接矩形（文字列ＢＢの外接矩形及び文字列ＥＥの外接矩形）とを含む第２矩形サブグループを設定し、図６（ｃ）に例示するように、その第２矩形サブグループに含まれる外接矩形に外接する第２グループ矩形Ｙ１を設定する。
In addition to the process of setting the first group rectangle, the
以下、制御部１１は、いずれの第２矩形サブグループに属していない外接矩形の一つを選択して上記処理を繰り返す。ここでは、例えば制御部１１は、文字列ＢＢに外接する外接矩形を選択し、当該選択した外接矩形に対して、帳票の画像データの列方向に存在する他の外接矩形として、文字列ＤＤＤに外接する外接矩形及び文字列ＦＦＦに外接する外接矩形を検出する。制御部１１は、選択した外接矩形（文字列ＣＣの外接矩形）と、検出した他の外接矩形（文字列ＤＤＤの外接矩形及び文字列ＦＦＦの外接矩形）とを含む第２矩形サブグループを設定し、その第２矩形サブグループに含まれる外接矩形に外接する第２グループ矩形Ｙ２を設定する。
After that, the
制御部１１は、第１グループ矩形Ｘ１，Ｘ２，Ｘ３と、第２グループ矩形Ｙ１，Ｙ２の交差範囲ＲＡ，ＲＢ，ＲＣ，ＲＤ，ＲＥ，ＲＦ（図６（ｄ））を、記入枠として認識し、これら交差範囲に外接する外接矩形を表す情報を、各記入枠を特定する外接矩形の情報として記録する。
The
制御部１１は、この記録を用いて、当該記録に含まれる情報で特定される各外接矩形内の画像データが、各記入枠内の画像データであるとして、例えば各記入枠内の画像データに基づく文字認識処理を行い、記入枠ごとの文字認識処理の結果を出力する。
Using this record, the
［外接矩形の選択基準］
なお、ここまでの説明において、制御部１１は、第１認識部２３としての処理において、外接矩形の一つを選択し、当該選択した外接矩形に対して、帳票の画像データの行方向（または列方向）に存在する他の外接矩形を検出してグループ化するものとした。この際、選択した外接矩形を行方向（または列方向）に延長した領域に重なりあう他の外接矩形であって、当該重なりあう範囲の面積が当該他の外接矩形全体の面積に対して所定の比より大きい場合にグループ化する、といった条件としていたが当該グループ化の条件はこれに限られない。
[Selection Criteria for Bounding Rectangle]
In the description so far, the
例えば制御部１１は、ここでグループ化する条件として、複数の外接矩形に含まれる一対の外接矩形間の距離に基づく基準、または複数の外接矩形の形状に基づく基準を用いた条件を採用してもよい。
For example, the
ここで複数の外接矩形に含まれる一対の外接矩形間の距離に基づく基準は、例えば選択した外接矩形に対して、帳票の画像データの行方向（または列方向）に存在する他の外接矩形であって、選択した外接矩形との距離（最短距離）が予め定めたグループ化しきい値を下回るか、または選択した外接矩形と同じ第１矩形サブグループ（または第２矩形サブグループ）に属するいずれかの外接矩形との距離（最短距離）が予め定めたグループ化しきい値を下回る、との条件とすることができる。 Here, the reference based on the distance between a pair of enclosing rectangles included in a plurality of enclosing rectangles is, for example, another enclosing rectangle existing in the row direction (or column direction) of the image data of the form for the selected enclosing rectangle. and the distance (shortest distance) to the selected bounding rectangle is below a predetermined grouping threshold, or belongs to the same first rectangle subgroup (or second rectangle subgroup) as the selected bounding rectangle is less than a predetermined grouping threshold.
この例では、制御部１１は、当初は選択した外接矩形に対して帳票の画像データの行方向に存在し、かつ、選択した外接矩形との距離（最短距離）が予め定めたグループ化しきい値を下回る他の外接矩形を見出すと、当該他の外接矩形と、選択した外接矩形とが属する第１矩形サブグループを設定する。そして制御部１１は、選択した外接矩形に対して帳票の画像データの行方向に存在する他の外接矩形であって、選択した外接矩形が属する第１矩形サブグループに属するいずれかの外接矩形との距離（最短距離）が予め定めたグループ化しきい値を下回る他の外接矩形を見出すごとに、当該見出した他の外接矩形を、選択した外接矩形が属する第１矩形サブグループに追加する処理を繰り返す。
In this example, the
これにより、２つの表組が２つ以上、第１の軸方向に連続して配されているときに、当該表組間の距離を下回り、各表組内の記入枠化の距離を上回る距離を上記グループ化しきい値として設定すれば、各表組の各記入枠がそれぞれ別々に識別されることとなる。なお制御部１１は、列方向についても同様の処理を行うこととしてもよい。この場合、２つの表組が２つ以上、第２の軸方向に連続して配されているときに、当該表組間の距離を下回り、各表組内の記入枠化の距離を上回る距離を上記グループ化しきい値として設定すれば、各表組の各記入枠がそれぞれ別々に識別されることとなる。
As a result, when two or more two tables are arranged continuously in the first axis direction, the distance is less than the distance between the tables and exceeds the distance of the entry frame in each table. is set as the grouping threshold, each entry box in each table is identified separately. Note that the
また制御部１１は、グループ化する条件として外接矩形の形状に基づく基準を用いることとしてもよい。この場合制御部１１は、記入枠候補抽出部２２が得た外接矩形を、その大きさ（幅及び高さ）並びに、幅と高さとの比（アスペクト）を用いて、クラスタリングする。このクラスタリングの方法は、k-means法など広く知られた方法を採用できるので、詳しい説明は省略する。
The
制御部１１は、クラスタリングにより得られたクラスタごとに、当該クラスタに属する外接矩形の一つを選択し、当該選択した外接矩形に対して、帳票の画像データの行方向（第１の軸方向に相当する）に存在する他の外接矩形であって、選択した外接矩形と同じクラスタに属するもの（さらに既に述べた条件を加重してもよい）を検出してグループ化し、第１矩形サブグループを設定することとしてもよい。
For each cluster obtained by clustering, the
この例では、図７に例示する表組Ｔを次のように処理する。ここで図７の表組Ｔは、列方向の項目名の記入枠をＮ個（Ｎは１以上の整数）含む列ヘッダＨＣと、行方向の項目名の記入枠をＭ個（Ｍは１以上の整数）含む行ヘッダＨＲと、記入枠をＮ×Ｍ個含む、表組の本体部ＴＢとに区分されるものとする。また、列ヘッダＨＣに含まれる記入枠は、それぞれ幅ＣＷ，高さＣＨであり、本体部ＴＢの記入枠はそれぞれ幅ＣＷ，高さＲＨであり、行ヘッダＨＲに含まれる記入枠がそれぞれ幅ＲＷ，高さＲＨであるとする。 In this example, the table set T illustrated in FIG. 7 is processed as follows. Here, the table set T in FIG. 7 has a column header HC including N columns (N is an integer equal to or greater than 1) for item names in the column direction, and M columns for item names in the row direction (M is 1). (integers above) and a table body TB including N×M entry boxes. The entry frames included in the column headers HC each have a width CW and a height CH, the entry frames in the main body portion TB each have a width CW and a height RH, and the entry frames included in the row headers HR each have a width RW and height RH.
さらにここで、ＲＨ＜ＣＨであり、ＲＷ＞ＣＷであるとする。つまり、列方向の項目名の記入枠の高さＣＨは、本体部ＴＢ内の記入枠の高さＲＨより大きく、行方向の項目名の記入枠の幅ＲＷは、本体部ＴＢ内の記入枠の幅ＣＷより大きい。 Further, assume that RH<CH and RW>CW. In other words, the height CH of the entry frame for the item name in the column direction is greater than the height RH of the entry frame in the main body TB, and the width RW of the entry frame in the main body TB is greater than the width RW of the entry frame in the main body TB. is greater than the width CW of
制御部１１は、記入枠の候補の領域に外接する外接矩形をそれぞれ抽出し、抽出した外接矩形を、その幅，高さ，幅と高さとの比（アスペクト）との３次元のベクトル情報に基づいてクラスタリングする。このクラスタリングの結果、図７の例の表組Ｔでは、抽出した外接矩形が、列方向の項目名の記入枠の外接矩形のクラスタ（クラスタＩ）と、行方向の項目名の記入枠の外接矩形のクラスタ（クラスタＩＩ）と、本体部ＴＢ内の記入枠の外接矩形のクラスタ（クラスタＩＩＩ）とに分類される。
The
制御部１１は、クラスタごとに、当該クラスタに属する外接矩形の一つを選択し、当該選択した外接矩形に対して、帳票の画像データの行方向に存在する他の外接矩形であって、選択した外接矩形と同じクラスタに属するもの（さらに既に述べた条件を加重してもよい）を検出してグループ化し、第１矩形サブグループを設定する。
For each cluster, the
これにより、クラスタＩ内の外接矩形と、クラスタＩＩ内の外接矩形と、クラスタＩＩＩ内の外接矩形とがそれぞれ互いに異なる第１矩形サブグループに属することとなる。 As a result, the enclosing rectangles in cluster I, the enclosing rectangles in cluster II, and the enclosing rectangles in cluster III belong to different first rectangle subgroups.
また制御部１１は、行方向と同様に、クラスタごとに、当該クラスタに属する外接矩形の一つを選択し、当該選択した外接矩形に対して、帳票の画像データの列方向に存在する他の外接矩形であって、選択した外接矩形と同じクラスタに属するもの（さらに既に述べた条件を加重してもよい）を検出してグループ化し、第２矩形サブグループを設定する。
Similarly to the row direction, the
これにより、クラスタＩ内の外接矩形と、クラスタＩＩ内の外接矩形と、クラスタＩＩＩ内の外接矩形とがそれぞれ互いに異なる第２矩形サブグループに属することとなる。 As a result, the enclosing rectangle in cluster I, the enclosing rectangle in cluster II, and the enclosing rectangle in cluster III belong to different second rectangle subgroups.
さらに制御部１１は、クラスタを順次選択しつつ、選択したクラスタの外接矩形が属する第１矩形サブグループと、当該選択したクラスタの第２矩形サブグループとの交差範囲をそれぞれ記入枠として認識する。
Furthermore, while sequentially selecting clusters, the
図７の例では、列方向の項目名の記入枠の外接矩形が属するクラスタＩを選択したときには、制御部１１は、列方向の項目名の記入枠の外接矩形のすべてが含まれる第１グループ矩形と、列方向の項目名の記入枠の外接矩形がそれぞれ１つずつ含まれる第２グループ矩形との交差範囲である、列方向の項目名の記入枠を、それぞれ記入枠として認識することとなる。
In the example of FIG. 7, when the cluster I to which the circumscribing rectangles of the entry boxes for the item names in the column direction belong is selected, the
同様に、行方向の項目名の記入枠の外接矩形が属するクラスタＩＩを選択したときには、制御部１１は、行方向の項目名の記入枠の外接矩形がそれぞれ１つずつ含まれる第１グループ矩形と、行方向の項目名の記入枠の外接矩形がすべて含まれる第２グループ矩形との交差範囲である、行方向の項目名の記入枠を、それぞれ記入枠として認識することとなる。
Similarly, when the cluster II to which the circumscribing rectangles of the item name entry boxes in the row direction belong is selected, the
さらに制御部１１は、クラスタＩＩＩを選択したときには、クラスタＩＩＩの外接矩形がそれぞれ含まれる第１グループ矩形と第２グループ矩形との交差範囲を、それぞれ記入枠として認識する。
Further, when cluster III is selected, the
［変形例］
また本実施の形態の別の例では、制御部１１は、次のようにして表を認識してもよい。制御部１１は、二値化処理や階調反転、輪郭線抽出等の処理を用いて、スキャナ２等から受け入れた帳票の画像データから矩形状の領域を認識し、認識した矩形状の領域の各々について固有の識別情報を発行する。
[Modification]
In another example of the present embodiment,
制御部１１は、認識した個々の矩形状領域の高さ（スキャナ２の主走査方向Ｈ）、幅（スキャナ２の副走査方向Ｗ）、及び位置を表す座標情報（例えば矩形状領域の左上の頂点座標でよい）を、対応する矩形状領域の識別情報に関連付けて記憶部１２に格納する。
The
制御部１１は、記憶部１２に格納した矩形状領域の情報を参照して、その高さと幅の情報により、認識した矩形状領域をクラスタに分類して、その分類の結果を得る。この分類結果により、高さ・幅が実質的に同じ矩形状領域がそれぞれクラスタとして分類され、クラスタごとに、当該クラスタに属する矩形状領域の識別情報のリストが得られる。このクラスタ分類の方法は、Ｋ平均法など広く知られた方法を用いることができる。
The
制御部１１は、分類の結果となったクラスタを順次選択して、選択したクラスタに複数の矩形状領域が分類されているときには、当該選択したクラスタに分類されている各矩形状領域の識別情報を得て、当該識別情報の一つを選択する。そして制御部１１は、選択した識別情報で特定される矩形状領域の座標情報を取得する。
The
制御部１１は、取得した座標情報が表す点の幅方向（Ｘ軸方向とする）に存在する、上記選択したクラスタに分類される（上記選択した識別情報を含む）識別情報で特定される矩形状領域を見出す。この処理は例えば、取得した座標情報の高さ方向（Ｙ軸方向とする）の値との差が予め定めたしきい値を下回る座標情報に関連付けられた識別情報を検索することで行われる。
The
また制御部１１は、この処理で見出された矩形状領域（つまり、Ｘ軸方向に一列に配列されている矩形状領域）の各々について、当該矩形状領域の座標情報が表す点の高さ方向（Ｙ軸方向）に存在する、上記選択したクラスタに分類される識別情報で特定される矩形状領域を見出す。この処理は例えば、座標情報の高さ方向（Ｘ軸方向）の値との差が予め定めたしきい値を下回る座標情報に関連付けられた識別情報を検索することで行われる。
For each of the rectangular regions found in this process (that is, rectangular regions arranged in a line in the X-axis direction), the
制御部１１は、この処理により、Ｘ軸方向に一列に配列されている矩形状領域のそれぞれについて、Ｙ軸方向に一列に配列されている矩形状領域を見出す。そして制御部１１は、当該見出した、Ｙ軸方向に一列に配列されている矩形状領域の座標情報のＹ座標の値を、降順あるいは昇順に並べ替え、並べ替えて得たＹ座標の値のリストで互いに隣接する２つのＹ座標の値が、予め定めたしきい値を下回るか否かを調べる。このしきい値は、例えば選択しているクラスタに属する矩形状領域の高さに予め定めた方法で決められる値（例えば定数、あるいは高さに所定の実数係数を乗じた値）とする。
Through this processing, the
そして、互いに隣接する２つのＹ座標の値が、予め定めたしきい値を下回らないと判断される位置で、Ｙ座標の値のリストを分割する。 Then, the list of Y-coordinate values is divided at positions where it is determined that two Y-coordinate values adjacent to each other do not fall below a predetermined threshold value.
制御部１１は、分割して得られた各Ｙ座標の値のリスト（あるいは分割されなかった場合は一つのＹ座標の値のリスト）に含まれるＹ座標の値に係る座標情報に対応する矩形状領域をグループとし、そのグループに属する矩形状領域の座標情報のうち、Ｙ座標の値がもっとも小さい座標情報を、グループの座標情報とする。
The
制御部１１は、Ｘ軸方向に一列に配列されている矩形状領域のそれぞれについて、上記グループを得て、互いに対応するグループ（グループの座標情報のＹ座標の値の差が予め定めたしきい値を下回るグループ）を一つのグループにまとめる。
The
これにより制御部１１は、Ｘ軸方向に一列に配列され、また高さ方向に距離をおかずに配列されている矩形状領域の群（グループ）を見出す。そして制御部１１は、当該矩形状領域を、表の各セルとして認識し、見出した矩形状領域の群を表の範囲として認識する。
As a result, the
なお、制御部１１は、X軸方向に配列されている矩形状領域についても、Ｘ軸方向に一列に配列されている当該矩形状領域の座標情報のＸ座標の値を、降順あるいは昇順に並べ替え、並べ替えて得たＸ座標の値のリストで互いに隣接する２つのＸ座標の値が、予め定めたしきい値を上回る位置でグループ（以下区別のため幅方向グループと呼ぶ）に分割することとしてもよい。この場合のしきい値は、例えば選択しているクラスタに属する矩形状領域の幅に予め定めた方法で決められる値（例えば定数、あるいは幅に所定の実数係数を乗じた値）とすれよい。また、この場合は、当該分割した幅方向グループごとに、一つの幅方向グループに属する矩形状領域のそれぞれについて、Ｙ軸方向に一列に配列されている矩形状領域を見出し、グループに分割することとしてもよい。
The
なお、一つの表に属するすべてのセルの幅と高さが必ずしも一定でない（例えばあるカラムは幅が広い、などがある）ことを考慮して、幅または高さごとにクラスタを生成してもよい。 Note that the width and height of all cells belonging to a single table are not always the same (for example, some columns have wide widths), so clusters can be generated by width or height. good.
この例では、制御部１１は、記憶部１２に格納した矩形状領域の情報を参照して、その高さの情報により、認識した矩形状領域をクラスタに分類し、その分類の結果を、第１の分類結果として記憶部１２に格納する。また制御部１１は、記憶部１２に格納した矩形状領域の情報を参照して、その幅の情報により、認識した矩形状領域をクラスタに分類し、その分類の結果を、第２の分類結果として記憶部１２に格納する。
In this example, the
そして制御部１１は、第１の分類結果を参照し、同じ分類に属する矩形状領域（実質的に共通の高さの矩形状領域）が、矩形状領域の幅方向、つまりスキャナ２の副走査方向に複数配列されているか否かを判断する。すなわち制御部１１は、分類の結果となった第２の分類結果のクラスタを順次選択して、選択したクラスタに複数の矩形状領域が分類されているときには、当該選択した第２の分類結果のクラスタに分類されている各矩形状領域の識別情報を得て、当該識別情報の一つを選択する。そして制御部１１は、選択した識別情報で特定される矩形状領域の座標情報を取得する。
Then, the
制御部１１は、取得した座標情報が表す点の幅方向（Ｘ軸方向とする）に存在する、上記選択した第２の分類結果のクラスタに分類される（上記選択した識別情報を含む）識別情報で特定される矩形状領域を見出す。
The
また制御部１１は、この処理で見出された矩形状領域（つまり、Ｘ軸方向に一列に配列されている矩形状領域）を順次選択し、選択した矩形状領域の座標情報が表す点の高さ方向（Ｙ軸方向）に存在し、かつ、選択した矩形状領域と同じ第１の分類結果のクラスタに属する矩形状領域を見出す。
Further, the
制御部１１は、この処理により、Ｘ軸方向に一列に配列されている、高さが実質的に共通している矩形状領域のそれぞれについて、Ｙ軸方向に一列に配列されている、幅が実質的に共通している矩形状領域を見出す。そして制御部１１は、当該見出した、Ｙ軸方向に一列に配列されている矩形状領域の座標情報のＹ座標の値を、降順あるいは昇順に並べ替え、並べ替えて得たＹ座標の値のリストで互いに隣接する２つのＹ座標の値が、予め定めたしきい値を下回るか否かを調べる。このしきい値は、例えば選択しているクラスタに属する矩形状領域の高さに予め定めた方法で決められる値（例えば定数）とする。
By this processing, the
そして、互いに隣接する２つのＹ座標の値が、予め定めたしきい値を下回らないと判断される位置で、Ｙ座標の値のリストを分割する。 Then, the list of Y-coordinate values is divided at positions where it is determined that two Y-coordinate values adjacent to each other do not fall below a predetermined threshold value.
制御部１１は、分割して得られた各Ｙ座標の値のリスト（あるいは分割されなかった場合は一つのＹ座標の値のリスト）に含まれるＹ座標の値に係る座標情報に対応する矩形状領域をグループとし、そのグループに属する矩形状領域の座標情報のうち、Ｙ座標の値がもっとも小さい座標情報を、グループの座標情報とする。
The
制御部１１は、Ｘ軸方向に一列に配列されている矩形状領域のそれぞれについて、上記グループを得て、互いに対応するグループ（グループの座標情報のＹ座標の値の差が予め定めたしきい値を下回るグループ）を一つのグループにまとめる。
The
これにより制御部１１は、Ｘ軸方向に一列に配列され、また高さ方向に距離をおかずに配列されている矩形状領域の群（グループ）を見出す。そして制御部１１は、当該矩形状領域を、表の各セルとして認識し、見出した矩形状領域の群を表の範囲として認識する。
As a result, the
ここでも制御部１１は、Ｘ軸方向についてもグループに分割する処理を行ってもよい。この処理は、既に述べた処理と同様であり、繰り返しての説明となるので省略する。
Here, the
制御部１１は、この処理により、高さや幅が共通している矩形状領域が格子状に続いて（間隔を置かずに）配列されている部分を見出して表として認識し、また、当該格子状に配列された矩形状領域を表のセルとして認識する。
Through this process, the
あるいは制御部１１は、高さが共通している矩形状領域がＸ軸方向に続いて（間隔を置かずに）配列されている部分を見出し、当該見出した配列に含まれる矩形状領域の各々について、幅が共通している矩形状領域がＹ軸方向に続いて（間隔を置かずに）配列されている部分を見出して、当該見出した部分を一つの表として認識する。また、当該表として認識された部分に含まれる矩形状領域を当該表のセルとして認識する。
Alternatively, the
この方法によっても、光学的に読み取られた帳票の記入枠の領域を、人為的操作なく、比較的処理負荷の低い方法で認識できる。 This method also allows the area of the entry frame of the optically read form to be recognized by a method with a relatively low processing load without any manual operation.
［実施形態の効果］
本実施の形態によると、光学的に読み取られた帳票の記入枠の領域を、罫線の有無に関わらず、人為的操作なく認識できる。また、表組の項目名と本体とを区別して、記入枠の領域を、認識できる。
[Effects of Embodiment]
According to this embodiment, the area of the entry frame of the optically read form can be recognized without any manual operation regardless of the presence or absence of ruled lines. In addition, it is possible to recognize the area of the entry frame by distinguishing between the item name of the table and the main body.
１ 情報処理装置、２ スキャナ、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ インタフェース部、２１ 受入部、２２ 記入枠候補抽出部、２３ 第１認識部、２４ 第１グループ化部、２５ 第２認識部、２６ 第２グループ化部、２７ 記入枠認識部、２８ 情報出力部。
1 information processing device, 2 scanner, 11 control unit, 12 storage unit, 13 operation unit, 14 display unit, 15 interface unit, 21 reception unit, 22 entry frame candidate extraction unit, 23 first recognition unit, 24
Claims (4)
前記受け入れた帳票の画像データから、帳票上の記入枠の候補の外接矩形を抽出する手段と、
前記帳票の画像データの第１の軸方向に配列された、複数の前記外接矩形であって、所定の基準を満足する複数の前記外接矩形を含む第１矩形サブグループを少なくとも一つ認識する第１認識手段と、
前記第１認識手段が認識した第１矩形サブグループごとに、当該第１矩形サブグループに含まれる複数の外接矩形にさらに外接する第１グループ矩形を設定する第１グループ化手段と、
前記帳票の画像データの、前記第１の軸方向に交差する第２の軸方向に配列された、複数の前記外接矩形であって、所定の基準を満足する複数の前記外接矩形を含む第２矩形サブグループを少なくとも一つ認識する第２認識手段と、
前記第２認識手段が認識した前記第２矩形サブグループごとに、当該第２矩形サブグループに含まれる複数の外接矩形にさらに外接する第２グループ矩形を設定する第２グループ化手段と、
前記第１グループ矩形と、前記第２グループ矩形との交差範囲を、記入枠として認識し、当該認識した記入枠内の画像データを抽出して所定の処理に供する手段と、
を有し、
前記第１認識手段または第２認識手段が利用する前記所定の基準は、前記複数の外接矩形の形状に基づく基準を含み、
当該複数の外接矩形の形状に基づく基準が、前記複数の外接矩形を、それぞれの大きさ、並びにアスペクトでクラスタリングして得られたクラスタであり、当該クラスタごとに、前記第１矩形サブグループまたは前記第２矩形サブグループが認識される情報処理装置。 means for accepting image data of a form;
means for extracting circumscribing rectangles of candidates for entry boxes on the form from the received image data of the form;
recognizing at least one first rectangle subgroup including a plurality of the circumscribing rectangles arranged in the first axis direction of the image data of the form, the circumscribing rectangles satisfying a predetermined criterion; 1 recognition means;
a first grouping means for setting, for each first rectangle subgroup recognized by the first recognition means, a first group rectangle further circumscribing a plurality of circumscribing rectangles included in the first rectangle subgroup;
a plurality of said circumscribing rectangles arranged in a second axis direction that intersects said first axis direction of the image data of said form, said second including a plurality of said circumscribing rectangles satisfying a predetermined criterion; second recognition means for recognizing at least one rectangular subgroup;
a second grouping means for setting, for each of the second rectangle subgroups recognized by the second recognition means, a second group rectangle further circumscribing a plurality of circumscribing rectangles included in the second rectangle subgroup;
means for recognizing the intersecting range of the first group rectangle and the second group rectangle as an entry frame, extracting image data in the recognized entry frame, and subjecting it to predetermined processing;
has
the predetermined criteria used by the first recognition means or the second recognition means include criteria based on the shapes of the plurality of circumscribed rectangles;
The reference based on the shapes of the plurality of bounding rectangles is a cluster obtained by clustering the plurality of bounding rectangles according to their respective sizes and aspects, and each cluster is divided into the first rectangular subgroup or the An information processing device in which a second rectangular subgroup is recognized .
前記第１認識手段または第２認識手段が利用する前記所定の基準が、さらに、
複数の前記外接矩形に含まれる一対の外接矩形間の距離に基づく基準、及び、
複数の前記外接矩形の形状に基づく基準、
を含む基準である情報処理装置。 The information processing device according to claim 1 ,
The predetermined criterion used by the first recognition means or the second recognition means further comprises
a criterion based on a distance between a pair of bounding rectangles included in the plurality of bounding rectangles ; and
criteria based on the shape of a plurality of said bounding rectangles;
Information processing equipment that is a standard that includes
前記所定の処理は、前記記入枠に含まれる画像データに基づく文字認識処理を含む情報処理装置。 The information processing device according to claim 1 or 2 ,
The information processing apparatus, wherein the predetermined processing includes character recognition processing based on image data included in the entry frame.
帳票の画像データを受け入れる手段と、
前記受け入れた帳票の画像データから、帳票上の記入枠の候補の外接矩形を抽出する手段と、
前記帳票の画像データの第１の軸方向に配列された、複数の前記外接矩形であって、所定の基準を満足する複数の前記外接矩形を含む第１矩形サブグループを少なくとも一つ認識する第１認識手段と、
前記第１認識手段が認識した第１矩形サブグループごとに、当該第１矩形サブグループに含まれる複数の外接矩形にさらに外接する第１グループ矩形を設定する第１グループ化手段と、
前記帳票の画像データの、前記第１の軸方向に交差する第２の軸方向に配列された、複数の前記外接矩形であって、所定の基準を満足する複数の前記外接矩形を含む第２矩形サブグループを少なくとも一つ認識する第２認識手段と、
前記第２認識手段が認識した前記第２矩形サブグループごとに、当該第２矩形サブグループに含まれる複数の外接矩形にさらに外接する第２グループ矩形を設定する第２グループ化手段と、
前記第１グループ矩形と、前記第２グループ矩形との交差範囲を、記入枠として認識し、当該認識した記入枠内の画像データを抽出して所定の処理に供する手段と、
として機能させ、
前記第１認識手段または第２認識手段が利用する前記所定の基準は、前記複数の外接矩形の形状に基づく基準を含み、当該複数の外接矩形の形状に基づく基準が、前記複数の外接矩形を、それぞれの大きさ、並びにアスペクトでクラスタリングして得られたクラスタであり、当該クラスタごとに、前記第１矩形サブグループまたは前記第２矩形サブグループが認識されるようコンピュータを機能させるプログラム。 the computer,
means for accepting image data of a form;
means for extracting circumscribing rectangles of candidates for entry boxes on the form from the received image data of the form;
recognizing at least one first rectangle subgroup including a plurality of the circumscribing rectangles arranged in the first axis direction of the image data of the form, the circumscribing rectangles satisfying a predetermined criterion; 1 recognition means;
a first grouping means for setting, for each first rectangle subgroup recognized by the first recognition means, a first group rectangle further circumscribing a plurality of circumscribing rectangles included in the first rectangle subgroup;
a plurality of said circumscribing rectangles arranged in a second axis direction that intersects said first axis direction of the image data of said form, said second including a plurality of said circumscribing rectangles satisfying a predetermined criterion; second recognition means for recognizing at least one rectangular subgroup;
a second grouping means for setting, for each of the second rectangle subgroups recognized by the second recognition means, a second group rectangle further circumscribing a plurality of circumscribing rectangles included in the second rectangle subgroup;
means for recognizing the intersecting range of the first group rectangle and the second group rectangle as an entry frame, extracting image data in the recognized entry frame, and subjecting it to predetermined processing;
function as
The predetermined criteria used by the first recognition means or the second recognition means include criteria based on the shapes of the plurality of circumscribing rectangles, and the criteria based on the shapes of the plurality of circumscribing rectangles determine the plurality of circumscribing rectangles. , each size and aspect, and a program for causing a computer to recognize the first rectangular subgroup or the second rectangular subgroup for each cluster.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020084128A JP7283756B2 (en) | 2020-05-12 | 2020-05-12 | Information processing device and program |
| JP2022207647A JP7458600B2 (en) | 2020-05-12 | 2022-12-23 | Information processing device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020084128A JP7283756B2 (en) | 2020-05-12 | 2020-05-12 | Information processing device and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022207647A Division JP7458600B2 (en) | 2020-05-12 | 2022-12-23 | Information processing device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021179743A JP2021179743A (en) | 2021-11-18 |
| JP7283756B2 true JP7283756B2 (en) | 2023-05-30 |
Family
ID=78511627
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020084128A Active JP7283756B2 (en) | 2020-05-12 | 2020-05-12 | Information processing device and program |
| JP2022207647A Active JP7458600B2 (en) | 2020-05-12 | 2022-12-23 | Information processing device and program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022207647A Active JP7458600B2 (en) | 2020-05-12 | 2022-12-23 | Information processing device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7283756B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005078306A (en) | 2003-08-29 | 2005-03-24 | Toshiba Corp | Image processor and image processing program |
| JP2007241428A (en) | 2006-03-06 | 2007-09-20 | Fuji Xerox Co Ltd | Image processor and program |
| JP2009211432A (en) | 2008-03-04 | 2009-09-17 | Fujitsu Ltd | Document recognition program, document recognition device and document recognition method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0407935B1 (en) | 1989-07-10 | 1999-10-06 | Hitachi, Ltd. | Document data processing apparatus using image data |
| JP3415342B2 (en) * | 1995-09-13 | 2003-06-09 | 富士通株式会社 | Character cutout method |
| JP4856235B2 (en) | 2009-12-15 | 2012-01-18 | 富士通株式会社 | Form recognition method and form recognition apparatus |
-
2020
- 2020-05-12 JP JP2020084128A patent/JP7283756B2/en active Active
-
2022
- 2022-12-23 JP JP2022207647A patent/JP7458600B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005078306A (en) | 2003-08-29 | 2005-03-24 | Toshiba Corp | Image processor and image processing program |
| JP2007241428A (en) | 2006-03-06 | 2007-09-20 | Fuji Xerox Co Ltd | Image processor and program |
| JP2009211432A (en) | 2008-03-04 | 2009-09-17 | Fujitsu Ltd | Document recognition program, document recognition device and document recognition method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021179743A (en) | 2021-11-18 |
| JP7458600B2 (en) | 2024-04-01 |
| JP2023036833A (en) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4903312A (en) | Character recognition with variable subdivisions of a character region | |
| US6009196A (en) | Method for classifying non-running text in an image | |
| US7558426B2 (en) | Device for outputting character recognition results, character recognition device, and program therefor | |
| US5889886A (en) | Method and apparatus for detecting running text in an image | |
| CN104516891B (en) | A kind of printed page analysis method and system | |
| US5325447A (en) | Handwritten digit normalization method | |
| EP0654751B1 (en) | Method of analyzing data defining an image | |
| US5046114A (en) | Method and structure for separating joined patterns for use in pattern and character recognition system | |
| EP1017011A2 (en) | Block selection of table features | |
| CN114004204A (en) | Table structure reconstruction and character extraction method and system based on computer vision | |
| US20170161580A1 (en) | Method and system for text-image orientation | |
| JP3837193B2 (en) | Character line extraction method and apparatus | |
| JP7283756B2 (en) | Information processing device and program | |
| JP2926066B2 (en) | Table recognition device | |
| US5369715A (en) | Optical character recognition system | |
| JPH08320914A (en) | Table recognition method and device | |
| JP2004282701A (en) | Segmenting composite image by minimum areas | |
| JP3607753B2 (en) | Document image region dividing method and apparatus, and column type discrimination method and apparatus | |
| JPH0449148B2 (en) | ||
| JPH0697470B2 (en) | Character string extractor | |
| JP2918363B2 (en) | Character classification method and character recognition device | |
| JPH0262682A (en) | Method for recognizing character | |
| JP3104355B2 (en) | Feature extraction device | |
| JP2571826B2 (en) | String pattern extraction device | |
| JPH06131496A (en) | Pattern normalization processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210430 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7283756 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |