JP3995185B2 - 枠認識装置及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、帳票類のような文書画像中の罫線で囲まれた枠を認識するための技術に関する。
【０００２】
【従来の技術】
罫線で囲まれた枠を含む帳票など文書を扱う文字認識装置（ＯＣＲ）においては、文字認識の前処理段階で文書画像データより枠を認識する必要がある。同様に、マーク認識装置（ＰＭＲ）においても、文書画像データよりマーク記入枠の位置を予め定義する必要がある。
【０００３】
このような枠認識に関しては様々な従来技術が知られているが、その多くの基本原理は、水平、垂直方向の黒ランの閾値処理により水平、垂直方向の罫線を抽出し、四方を罫線で囲まれた領域を枠として認識するというものである（特開平１１−６６２２５号、特開平９−１３８８３７号など）。
【０００４】
【発明が解決しようとする課題】
文字認識装置で処理される帳票類に使用されている枠の大半は、複数の枠が二次元的に連続して配置された図１３に示すような表形式の枠、複数の枠が一次元的に連続して配置された図１４に示すような梯子形式の枠、あるいは、１つ１つが分離した図１５に示すような枠のいずれかに分類することができる。ここでは便宜上、図１３及び図１４に示すような枠を複雑枠と呼び、図１５に示すような枠を単純枠と呼ぶこととする。
【０００５】
複雑枠については、個々の枠のサイズが小さい場合でも、枠を構成する罫線の長さは文字サイズより十分に大きいため、前記従来技術により認識可能である。他方、チェックボックスや１文字記入枠のように、文字サイズと同等か、それより小さいサイズの単純枠については、前記従来技術によって認識することは難しい。前記従来技術では、罫線を抽出するための黒ラン長の閾値を文字サイズと同等以下にすると、文字の部分でも多くの罫線候補が抽出されてしまい、本来の罫線を精度よく抽出することが困難であるためである。
【０００６】
また、帳票類に用いられる枠は、枠線の細いものが多いため、スキャナで読み取ると、枠線にかすれが生じやすい。殊に、ドロップアウトを目的にした薄い色で枠が印刷された帳票などは、それを白黒スキャナで読み取ると、枠線のかすれが特に生じやすい。そのかすれを生じない程度の濃度で読み取ろうとすると、記入された文字などが潰れやすくなるため、読み取り濃度をあまり高くすることも困難である。
【０００７】
よって、本発明の目的は、前記従来技術では認識が困難な、１文字記入枠やチェックボックスのような、文字サイズ程度もしくはそれより小さな単純枠なども高精度に認識できる枠認識装置を提供すること、及び、枠線のかすれが多い場合にも高精度の枠認識が可能な枠認識装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の枠認識装置の特徴は、入力画像データより黒画素の連結成分の外接矩形（黒画素矩形）を抽出し、該抽出された黒画素矩形について、該黒画素矩形の領域情報を用いて黒画素矩形を枠候補又は非枠候補に弁別し、該枠候補と弁別された黒画像矩形の内部より白画素の連結成分の外接矩形（白画素矩形）を抽出し、該抽出された白画素矩形と黒画素矩形との位置関係とから、黒画素矩形を枠又は非枠に弁別することである。
【０００９】
以上に述べた本発明の特徴及びその他の特徴について、以下に述べる実施の形態に関連して具体的に説明する。
【００１０】
【発明の実施の形態】
以下、添付図面を参照し、本発明の実施の形態について説明する。
図１は本発明の１つの実施の形態を説明するためのブロック図である。ここに示す枠認識装置は、画像入力部１００、画像圧縮部１０１、画像記憶部１０２、黒画素矩形抽出部１０３、一次判定部１０４、白画素矩形抽出部１０５、二次判定部１０６、作業用記憶部１０７、出力部１０８、以上各部の動作及び装置全体の動作を制御するための制御部１０９から構成される。画像圧縮部１０１は、必要に応じて設けられるもので、省くことも可能である。
【００１１】
一次判定部１０４、白画素矩形抽出部１０５及び二次判定部１０６は、１文字記入枠やチェツクボックスなどの、文字サイズと同程度もしくはそれより小さなサイズの枠の認識処理を行う枠認識モジュール１１０を構成する。ただし、これ以外の条件の枠を例えば前記従来技術などにより認識するための処理部分を追加し、この処理部分により認識された枠と、枠認識モジュール１１０で認識された枠を処理結果として出力するように変更してもよい。すなわち、本発明は前記従来技術などと組み合わせて実施することも容易である。そのような組み合わせを採用する場合、以下に詳述するような矩形抽出などは従来技術による枠認識処理と共通するため、そのため手段を共通化し得る。
【００１２】
なお、本実施の形態の枠認識装置は、単独の装置として実現し得るが、これに限定されるものではなく、例えば、文字認識装置（ＯＣＲ）において前処理部として組み込まれ、あるいは、マーク認識装置（ＯＭＲ）において予めマーク記入枠を定義しておくための帳票定義部として組み込まれる場合もある。
【００１３】
図２は、本実施の形態の枠認識装置の全体的な動作を示すフローチャートである。以下、図１のブロック図及び図２のフローチャートを参照し、本実施の形態の枠認識装置の構成と動作について説明する。
【００１４】
画像入力部１００によって文書画像データ（通常、２値データ）が入力され、画像記憶部１０２に格納される（ステップ２００）。より具体的には、文書画像データは、文書読み取り用のイメージスキャナや、文書画像データが予め格納されているパソコンなどの記憶装置より直接的に、又はネットワーク経由にて入力され、あるいは、磁気ディスクなどの各種記録媒体より入力される。なお、必要に応じて、入力された文書画像データに対し画像圧縮部１０１でＯＲ圧縮（縮小）処理が施される。このようなＯＲ圧縮処理を施すと、画像記憶部１０１の記憶容量の削減や黒画素矩形抽出などの処理時間の短縮、枠線のかすれの影響の軽減に効果的である。
【００１５】
次に、黒画素矩形抽出部１０３において、画像記憶部１０１内の文書画像データ（入力された文書画像データ又はそのＯＲ圧縮後の画像データ）より、黒画素の連結成分の外接矩形（黒画素矩形）が抽出される（ステップ２０１）。この黒画素矩形抽出は、文書画像の全体又は予め指定された処理領域に対して行われる。抽出された各黒画素矩形の領域情報として、例えば、左上コーナーと右下コーナーの座標が作業用記憶部１０７に記憶される。
【００１６】
黒画素矩形抽出の処理が終わると、枠認識モジュール１１０による枠認識処理が開始する。
【００１７】
まず、作業用記憶部１０７より１つの黒画素矩形の領域情報が取り出され（ステップ２０２）、その領域情報を用いて一次判定部１０４で枠候補と非枠候補の弁別のための条件判定が行われる（ステップ２０３）。この弁別には、黒画素矩形の高さ、幅、面積、黒画素数、黒ランの数などの情報を利用できるが、ここでは、１文字記入枠やチェックボックスのような文字サイズ程度かそれより小さな枠である可能性の高い黒画素矩形を弁別することを目的としているため、複雑な条件判定を行う必要はない。したがって、この条件判定では、例えば次のような比較的単純な条件(1-1）乃至条件(1-4）に関する判定が行われる。
・条件（1-1）：大きさ（高さ及び幅）がある閾値を越える。
・条件（1-2）：大きさ（高さ及び幅）がある閾値より小さい。
・条件（1-3）：縦横比（高さ／幅比又は幅／高さ比）がある閾値を越える。
・条件（1-4）：黒画素密度（内部の黒画素数を面積で割った値）がある閾値を越える。
【００１８】
条件（1-1）は１文字記入枠の大きさを越える黒画素矩形、例えば文書画像上で２ｃｍを越える高さ又は幅の黒画素矩形を枠候補から排除するための条件である。条件（1-2）は、ノイズのような小さな黒画素矩形、例えば文書画像上で３ｍｍ以下の黒画素矩形を枠候補から排除するための条件である。条件（1-3）は、縦横比が枠としては明らかに大きすぎる罫線のような黒画素矩形を排除するための条件である。条件（1-4）は、内部が黒でほぼ埋め尽くされているような黒画素矩形を排除するための条件であり、１文字記入枠やチェツクボックスは塗りつぶされていない限り、この条件は成立しない。なお、黒画素密度の計算のための黒画素数は、一次判定部１０５において画像記憶部１０２内の文書画像データを参照して計数してもよいし、黒画素矩形抽出部１０３において黒画素矩形を抽出する際に計数して領域情報と関連付けて作業用記憶部１０７に書き込むようにしてもよい。後者の構成のほうが処理効率の面で一般に有利であろう。
【００１９】
一次判定部１０４による条件判定で、上記４条件のいずれか１つでも成立した場合には（判定結果＝ＮＧ）、その黒画素矩形は枠候補とされず、ステップ２０２に戻り、別の黒画素矩形の領域情報が作業用記憶部１０７より読み出され、その黒画素矩形について一次判定部１０４で条件判定が行われる。
【００２０】
一次判定部１０４の条件判定で、前記４条件のいずれも成立しない場合には（判定結果＝ＯＫ）、その黒画素矩形は枠候補とされる（ステップ２０４）。
【００２１】
１つの黒画素矩形が枠候補とされると、白画素矩形抽出部１０５において、その黒画素矩形（親矩形と呼ぶ）の領域情報に基づき、画像記憶部１０２内の文書画像データの、親矩形の領域内部を参照し、白画素の連結成分の外接矩形（白画素矩形）を抽出し、その領域情報として例えば左上コーナーと右下コーナーの座標を作業用記憶部１０７に格納する（ステップ２０５）。
【００２２】
次に、作業用記憶部１０７より１つの白画素矩形の領域情報が取り出され（ステップ２０６）、二次判定部１０６で、この白画素矩形に関し、その領域情報を用いて、親領域（枠候補とされた黒画素矩形）を枠又は非枠に弁別するための条件判定（二次判定）が行われる（ステップ２０７）。この条件判定で条件が成立した場合（判定結果＝ＯＫ）には、その親矩形は枠であると認識される（ステップ２０８）。枠と認識された親矩形については、例えば、その領域情報に枠であることを示すフラグ情報が付加され、あるいは、作業用記憶部１０７内に用意された枠情報記憶域に、その領域情報が格納される。条件が不成立の場合には（判定結果＝ＮＧ）、判定すべき白画素矩形が残っているならば（ステップ２０９，Ｎｏ）、ステップ２０６に戻り、別の１つの白画素矩形の領域情報が取り出され、その白画素矩形に関する条件判定が二次判定部１０６で行われる。親矩形より抽出された白画素矩形の全てについて条件判定を行っても親矩形が枠と認識されないか（ステップ２０９，Ｙｅｓ）、親矩形が枠と認識されると、ステップ２０２に戻り、次の黒画素矩形について同様の枠認識処理が繰り返される。抽出された全ての黒画素矩形が処理済みとなると（ステップ２１０，Ｙｅｓ）、作業用記憶部１０７より枠として認識された黒画素矩形の領域情報が出力部１０８により外部（例えば文字認識装置の認識部など）へ出力され（ステップ２１１）、１つの文書画像データに対する動作を完了する。
【００２３】
さて、ステップ２０７の条件判定（二次判定）は、基本的には、親矩形とその内部より抽出された白画素矩形との位置関係に関する判定である。以下、その具体例を説明する。
【００２４】
図３は、二次判定の第１の例を示すフローチャートである。まず、親矩形と白画素矩形の重心が計算され（ステップ３００）、算出された重心のＸ，Ｙ方向のずれ（絶対値）が算出される（ステップ３０１）。Ｘ，Ｙ方向の重心のずれが閾値ｔｈ１（例えば４）と比較され、Ｘ，Ｙ両方向の重心のずれが閾値ｔｈ１以下ならば、条件が成立したとされ（ステップ３０３）、そうでなければ条件は不成立とされる（ステップ３０４）。
【００２５】
例えば、親矩形の左上コーナーの座標（Ｘso，Ｙso）と右下コーナーの座標（Ｘeo，Ｙeo）が
Ｘｓｏ＝３６５，Ｙｓｏ＝８４０
Ｘｅｏ＝４００，Ｙｅｏ＝９０５
であり、抽出された白画素矩形の左上コーナーの座標（Ｘsw，Ｙsw）、右下コーナーの座標（Ｘew，Ｙew）が
Ｘｓｗ＝３７２，Ｙｓｗ＝８５０，
Ｘｅｗ＝３９２，Ｙｅｗ＝８９８
であるとする。この場合、親矩形の重心の座標は（３８３、８７３）、この白画素矩形の重心の座標は（３８２、８７４）であるから、重心のずれはＸ，Ｙ方向とも１であり、これは閾値ｈｔ１（ここでは４）以下であるので条件は成立し、したがって親矩形は枠と認識される。
【００２６】
図４は、二次判定の第２の例を示すフローチャートである。まず、親矩形と白画素矩形の座標Ｘｓ（ＸsoとＸsw）のずれ，Ｙｓ（ＹsoとＹsw）のずれ、Ｘｅ（ＸeoとＸew）のずれ、Ｙｅ（ＹeoとＹew）のずれが計算され（ステップ４００）、その最大のずれと最小のずれの差が求められる（ステップ４０１）。この差が閾値ｔｈ２（例えば５）と比較され（ステップ４０２）、差が閾値ｔｈ２以下ならば条件成立とされ（ステップ４０３）、そうでなければ条件不成立とされる（ステップ４０４）。
【００２７】
二次判定の第１例の説明中で挙げた親矩形と白画素矩形の場合、
Ｘｓのずれ＝７、Ｙｓのずれ＝１０、Ｘｅのすれ＝８、Ｙｅのずれ＝７
であり、その最大値１０と最小値７の差は３で、これは閾値ｔｈ２（ここでは５）以下であるので、条件は成立し、したがって親矩形は枠として認識される。
【００２８】
図５は、二次判定の第３の例を示すフローチャートである。まず、親矩形と白画素矩形の座標Ｘｓ（ＸsoとＸsw）のずれ，Ｙｓ（ＹsoとＹsw）のずれ、Ｘｅ（ＸeoとＸew）のずれ、Ｙｅ（ＹeoとＹew）のずれが計算され（ステップ５００）、求められた各々のずれと、予め定められた枠を囲む罫線の太さ（例えば９）との差が計算される（ステップ５０１）。算出された各々の差と閾値ｔｈ３（例えば４）が比較され（ステップ５０２）、いずれの差も閾値ｔｈ３以下ならば条件成立とされ（ステップ５０３）、いずれか１つの差でも閾値ｔｈ３を越えるならば条件不成立とされる（ステップ５０４）。
【００２９】
二次判定の第１例の説明中で挙げた親矩形と白画素矩形の場合、Ｘｓのずれ＝７、Ｙｓのずれ＝１０、Ｘｅのずれ＝８、Ｙｅのずれ＝７と罫線太さ（ここでは９）との差は最大で２となるため、条件は成立し、したがって親矩形は枠として認識されることになる。
【００３０】
図６は、二次判定の第４の例を示すフローチャートである。まず、親矩形の内部において水平又は垂直方向の黒ラン抽出が行われ、抽出された黒ランの長さのヒストグラムが作成される（ステップ６００）。親矩形は、内部が塗り潰されていない枠であるから（内部が塗り潰された枠は一次判定で枠候補から排除されている）、このヒストグラムの最頻値を、枠を構成する罫線の太さとみなすことができる。この仮定に立って、ヒストグラムの最頻値の黒ラン長が罫線の太さと推定される（ステップ６０１）。次に、親矩形と白画素矩形の座標Ｘｓ（ＸsoとＸsw）のずれ，Ｙｓ（ＹsoとＹsw）のずれ、Ｘｅ（ＸeoとＸew）のずれ、Ｙｅ（ＹeoとＹew）のずれが計算され（ステップ６０２）、求められた各々のずれと、ステップ６０１で推定された罫線の太さとの差が計算される（ステップ６０３）。算出された各々の差と閾値ｔｈ３（例えば４）が比較され（ステップ６０４）、いずれの差も閾値ｔｈ３以下ならば条件成立とされ（ステップ６０５）、いずれか１つの差でも閾値ｔｈ３を越えると条件不成立とされる（ステップ６０６）。以上の第１例乃至第４例の二次判定によれば、１文字記入枠やチェツクボックスのような、従来技術では認識が困難な文字サイズ程度以下の枠を精度よく弁別できるが、本第４例の二次判定によれば、枠線（罫線）の太さの違いに適応し、様々な太さの枠線からなる枠を精度よく認識できる。
【００３１】
さて、親矩形が枠である場合でも、枠線（罫線）のある辺が、かすれにより切れた場合、その辺については、親矩形と白画素矩形とが重なってしまう。例えば、前述の二次判定の第１例で挙げた親矩形の左辺の罫線がかすれで切れたとすると、抽出される白画素矩形の座標はＸｓｗ＝３６５，Ｙｓｗ＝８５０，Ｘｅｗ＝３９２，Ｙｅｗ＝８９８となり、Ｙsw＝Ｙsoであるため、判定結果は不成立となってしまう。
【００３２】
このような、かすれによる枠線の切れに対処するための二次判定の第５の例を図７のフローチャートにより説明する。まず、図５又は図６に示した判定処理が行われ（ステップ７００）、その判定結果が調べられる（ステップ７０１）。それが「成立」ならば、最小的な判定結果は「成立」とされる（ステップ７０５）。しかし、ステップ７００の判定結果が「不成立」ならば、親矩形と白画素矩形の座標Ｘｓ，Ｙｓ，Ｘｅ，Ｙｅの中で一致するものがあるか調べられ（ステップ７０２）、一致する座標がなければ最終的な判定結果は「不成立」とされる（ステップ７０４）。
【００３３】
一致する座標があるならば、その座標位置の枠線を構成する罫線の有無の判定が行われる（ステップ７０３）。例えば、Ｘｓの座標が一致しているならば、かすれにより左辺の枠線がかすれで切れている場合が考えられるので、左辺の位置について罫線有無判定が行われる。この判定の方法としては、例えば、対象とする辺の位置にある黒画素をカウントし、カウント値が閾値を越えたときに「罫線有り」、閾値を下回るときに「罫線無し」、とするような単純な方法で構わない。罫線があると判定した場合には、二次判定の最終結果は「成立」とされ（ステップ７０５）、罫線がない場合には二次判定の最終結果は「不成立」とされる（ステップ７０４）。
【００３４】
本例によれば、例えば、もともと１辺又は２辺に罫線がない「コ」や「し」といった文字の黒画素矩形を枠と誤認識することなく、かすれにより枠線が切れた枠の認識率を向上させることができる。
【００３５】
図８は、二次判定の第６の例を示すフローチャートである。本例も、前記第５例と同様に枠線のかすれによる切れを救済することができる。
【００３６】
まず、親矩形の罫線の太さが推定される（ステップ８００）。その推定方法は、図６のステップ６００，６０１に関連して説明したように、親矩形の内部について水平又は垂直方向の黒ランの長さを調べてヒストグラムを作成し、その最頻値の黒ランの長さを罫線の太さとする方法でよい。
【００３７】
親矩形と白画素矩形の座標Ｘｓのずれが計算され、同ずれが基準値Ｔｈに設定される（ステップ８０１）。そして、この基準値Ｔｈが、推定した罫線の太さの２倍以上であるか判定され（ステップ８０２）、そうであるならば判定結果は「不成立」とされる（ステップ８０７）。
【００３８】
基準値Ｔｈが罫線太さの２倍より小さいときには、親矩形と白画素矩形のＸｅ，Ｙｓ，Ｙｅのずれが計算され、いずれの座標のずれも（Ｔｈ＋５）以上であるか否かの判定が行われ（ステップ８０３）、そうであるならば「不成立」とされる（ステップ８０７）。いずれかの座標のずれが（Ｔｈ＋５）未満であるならば、親矩形と白画素矩形の座標の一致があるか判定される（ステップ８０４）。座標の一致がなければ判定結果は「成立」とされる（ステップ８０６）。座標の一致がある場合には、その一致した座標位置について罫線の有無が判定される（ステップ８０５）。この罫線の有無判定は、図７のステップ７０３と同様の方法で行えばよい。そして、罫線があると判定されたときには、かすれにより枠線が切れている場合と考えられるため、最終的な判定結果は「成立」とされる（ステップ８０６）。しかし、罫線がないと判定されたときには、最終的な判定結果は「不成立」とされる（ステップ８０７）。
【００３９】
以上説明した本実施の形態の枠認識装置、あるいは、その処理内容を一般的なコンピュータの資源を利用して、ソフトウェアにより実現することも可能であり、そのような枠認識装置も本発明に包含される。コンピュータ上で、枠認識装置もしくはその処理内容を実現するためのプログラムは、それが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種記録媒体よりコンピュータに読み込まれ、あるいは、ネットワークを介してコンピュータに取り込まれて実行されることになる。そのようなプログラムが記録された各種記録媒体も本発明に包含される。また、本実施の形態の枠認識装置による枠認識処理の方法も本発明に包含される。
【００４０】
図９は、本発明の他の実施の形態を示すブロック図である。図９において、図１と同一部分又は対応部分には同一の符号が付されている。
【００４１】
本実施の形態の枠認識装置は、前記実施の形態の枠認識装置と同様な画像入力部１００、画像圧縮部１０１、画像記憶部１０２、黒画素矩形抽出部１０３、一次判定部１０４、白画素矩形抽出部１０５、二次判定部１０６、作業用記憶部１０７、出力部１０８、制御部１０９のほかに、仮想連続枠領域生成部１２０と黒画素矩形統合部１２１を含む構成である。本実施の形態の枠認識装置は、概念的には、黒画素矩形統合部１２１により統合された黒画素矩形に関する枠認識処理部１２３を含む。しかし、枠認識モジュール１１０が枠認識処理部１２３として兼用されるため、実際的には枠認識ジュール１１０と別個に枠認識処理部１２３が設けられるわけではない。このように枠認識モジュール１１０を枠認識処理部１２３として利用する構成によれば、枠認識装置のコスト削減が可能であり、また、枠認識装置をコンピュータを利用してソフトウェアで実現する場合には、そのためのプログラムがコンパクトになり、必要メモリ容量も削減されるという利点がある。
【００４２】
ただし、枠認識モジュール１１０とは別に枠認識処理部１２３を設ける構成も可能であり、このような構成によれば、枠認識処理部１２３で枠認識モジュール１１０とは異なる処理アルゴリズムを利用することができるため、処理の自由度は増大する。
【００４３】
また、本実施の形態の枠認識装置においても、前記従来技術などにより枠を認識するための処理部分を追加し、この処理部分により認識された枠も処理結果として出力させることが可能である。すなわち、本実施の形態も前記従来技術などとの組み合わせが可能である。
【００４４】
図１０、本実施の形態の枠認識装置の全体的な動作を示すフローチャートである。以下、図９のブロック図及び図１０のフローチャートを参照し、本実施の形態の枠認識装置の構成と動作について説明する。
【００４５】
画像入力部１００によって文書画像データ（２値データ）が入力され、画像記憶部１０２に格納される（ステップ９００）。必要に応じて、入力された文書画像データに対し画像圧縮部１０１でＯＲ圧縮（縮小）処理が施される。
【００４６】
次に、黒画素矩形抽出部１０３において、画像記憶部１０１内の文書画像データ（入力された文書画像データ又はそのＯＲ圧縮データ）より、黒画素の連結成分の外接矩形（黒画素矩形）が抽出される（ステップ９０１）。この黒画素矩形抽出は、文書画像の全体又は予め指定された処理領域について行われる。抽出された各黒画素矩形の領域情報として、例えば、左上コーナーと右下コーナーの座標が作業用記憶部１０７に記憶される。
【００４７】
黒画素矩形抽出の処理が終わると、枠認識モジュール１１０による枠認識処理が実行される（ステップ９０２）。このステップの処理内容は、図２のフローチャートにおけるステップ２０２〜２１０の処理ループと同様であるので、その説明は繰り返さない。
【００４８】
本実施の形態の枠認識装置は、ステップ９０３以降で、ステップ９０２の枠認識処理により認識された枠に関する情報を利用することにより、罫線のかすれなどが原因で認識に失敗した枠の認識を再度試みることに特徴がある。一般に、枠の配置には連続性があるため、すでに枠として認識されている黒画素矩形の位置などから、枠である可能性の高い黒画素矩形を容易に推定可能である。
【００４９】
そこで、枠の連続性に着目し、仮想連続枠領域生成部１２０において、既に枠として認識された黒画素矩形の連続した領域（仮想連続枠領域）を生成する（ステップ９０３）。枠は１つだけ単独に存在することもあり得るが、口座番号、電話番号、氏名、住所などを記入するための枠のように、複数個の枠が一列に並んで配置されていることが多い。また、連続した枠の大きさは均等であることが多い。特に、マークシート帳票などでは、行単位に整合をとるため、枠が正確にマトリクス配置されていることが多い。そして、多くの帳票は横書きであるため、枠は行方向すなわち水平方向（Ｘ方向）に配列されている場合が圧倒的に多い。そこで、例えば、枠として認識された黒画素矩形の中で、垂直方向（Ｙ方向）に重なりのあるものを水平方向に統合し、統合領域を文書画像の横幅一杯に（あるいは、指定された処理対象領域の横幅一杯に）拡張することにより仮想連続枠領域を生成する。
【００５０】
図１１において、９５１，９５２，９５３は仮想連続枠領域の例である。これら仮想連続枠領域９５１〜９５３の内部に示された図形Ｓは枠として認識された黒画素矩形（又は枠画像）であり、図形Ｆは枠線がかすれにより切れたために認識に失敗した枠画像である。仮想連続枠領域を文書画像（又は指定された処理対象領域）の横幅一杯に拡張した理由は、仮想連続枠領域９５３に見られるように、認識に成功した枠より外側に、認識に失敗した枠が存在し得るからである。
【００５１】
なお、縦書き帳票のように、枠が垂直方向に配列されている場合には、垂直方向に枠を統合することによって仮想連続枠領域を生成するとよい。また、仮想連続枠領域生成部１２０において、認識された枠の連続方向を自動判定し、判定した方向の仮想連続枠領域を生成するようにしてもよい。さらに、枠として認識された黒画素矩形を大きさによって分類し、同一カテゴリの黒画素矩形のみを仮想連続枠領域の生成に利用するようにしてもよい。
【００５２】
このような仮想連続枠領域の生成処理が終了すると、１つの仮想連続枠領域が選択される（ステップ９０４）。黒画素矩形統合部１２１において、この仮想連続枠矩形領域に含まれている、枠候補とされたが枠としては認識されなかった黒画素矩形で、１つの枠を構成している可能性の高い黒画素矩形を統合する処理を行う（ステップ９０５）。具体的には、図１１に図形Ｆとして示されている枠画像の黒画素矩形のような、水平方向（Ｘ方向）に重なっている黒画素矩形を１つの黒画素矩形に統合する。また、図１２に示すような水平方向に重なりのない黒画素矩形であっても、水平方向の距離が近く、かつ、高さの差が小さい黒画素矩形も統合する。次に、このようにして統合された各黒画素矩形を対象として、枠認識モジュール１１０で枠認識処理を行う（ステップ９０６）。このような処理によって、前記第１の実施の形態の枠認識装置では認識できない、かすれにより枠線の２辺が分断されたような枠も認識可能となる。
【００５３】
１つの仮想連続枠領域の処理が終了すると、ステップ９０４に戻り、別の仮想連続枠領域が選択され、同様の処理が繰り返される。全ての仮想連続枠領域に対する処理が終わると（ステップ９０７，Ｎｏ）、認識された枠の領域情報が出力部１０８により出力され（ステップ９０８）、一連の動作を終了する。
【００５４】
なお、枠認識モジュール１１０とは別に枠認識処理部１２３が設けられる場合には、ステップ９０６は枠認識処理部１２３によって実行されることになる。この場合、例えば特開平１１−６６２２５号公報に述べられているように、統合された黒画素矩形について、罫線の分断を判定し、分断された罫線を接続したうえで、罫線で四方を囲まれている場合には枠として認識するような処理方法も利用できる。
【００５５】
また、本実施の形態の枠認識装置あるいはその処理内容をコンピュータ上でソフトウェアにより実現することも可能であり、そのような枠認識装置も本発明に包含される。また、そのためのプログラムが記録された各種記録媒体も本発明に包含される。本実施の形態の枠認識装置による枠認識処理の方法も本発明に包含される。
【００５６】
なお、図１１及び図１２に関連して単純枠を例に挙げて説明したが、複雑枠であっても１文字が記入されるような小さな枠を同様に精度よく認識できる。
【００５７】
【発明の効果】
以上、詳細に説明したように、本発明によれば、単純枠なども含め、高精度に枠を認識可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】第１の実施の形態による枠認識装置の全体的動作を説明するためのフローチャートである。
【図３】二次判定の第１の例を説明するためのフローチャートである。
【図４】二次判定の第２の例を説明するためのフローチャートである。
【図５】二次判定の第３の例を説明するためのフローチャートである。
【図６】二次判定の第４の例を説明するためのフローチャートである。
【図７】二次判定の第５の例を説明するためのフローチャートである。
【図８】二次判定の第６の例を説明するためのフローチャートである。
【図９】本発明の第２の実施の形態を説明するためのブロック図である。
【図１０】第２の実施の形態による枠認識装置の全体的動作を説明するためのフローチャートである。
【図１１】仮想連続枠領域の説明図である。
【図１２】水平方向に重なりのない黒画素矩形の統合の説明のための図である。
【図１３】表形式の枠の例を示す図である。
【図１４】梯子形式の枠の例を示す図である。
【図１５】独立形式の枠の例を示す図である。
【符号の説明】
１００ 画像入力部
１０１ 画像圧縮部
１０２ 画像記憶部
１０３ 黒画素矩形抽出部
１０４ 一次判定部
１０５ 白画素矩形抽出部
１０６ 二次判定部
１０７ 作業記憶部
１０８ 出力部
１０９ 制御部
１１０ 枠認識モジュール
１２０ 仮想連続枠領域生成部
１２１ 黒画素矩形統合部
１２３ 枠認識処理部

Claims (8)

1. 入力画像データより黒画素の連結成分の外接矩形（以下、黒画素矩形と呼ぶ）を抽出する黒画素矩形抽出手段と、
   前記黒画素矩形抽出手段によって抽出された黒画素矩形について、該黒画素矩形の領域情報を用いて該黒画素矩形を枠候補又は非枠候補に弁別する一次判定手段と、
   前記一次判定手段によって枠候補と弁別された前記黒画像矩形の内部より白画素の連結成分の外接矩形（以下、白画素矩形と呼ぶ）を抽出する白画素矩形抽出手段と、
   前記白画素矩形抽出手段によって抽出された前記白画素矩形と、前記黒画素矩形との位置関係とから、該黒画素矩形を枠又は非枠に弁別する二次判定手段と、
   を有することを特徴とする枠認識装置。
2. 前記一次判定手段は、前記黒画素矩形の大きさ、縦横比、及び該黒画素矩形内部における黒画素の密度を用いて該黒画素矩形を枠候補又は非枠候補に弁別することを特徴とする請求項１記載の枠認識装置。
3. 前記二次判定手段は、前記白画素矩形と、前記黒画素矩形との重心のずれとから、該黒画素矩形を枠又は非枠に弁別することを特徴とする請求項１又は２記載の枠認識装置。
4. 前記二次判定手段は、前記黒画素矩形のコーナー座標と前記白画素矩形のコーナー座標とのずれ量における最大値と最小値の差から、該黒画素矩形を枠又は非枠に弁別することを特徴とする請求項１又は２記載の枠認識装置。
5. 前記二次判定手段において、前記黒画素矩形を非枠に弁別した場合に、前記黒画素矩形と前記白画素矩形のコーナー座標と、前記白画素矩形のコーナー座標のうち少なくとも一つの座標が一致する場合、該一致する座標を含む前記黒画素矩形を構成する辺であって、該一致する座標を含む前記白画素矩形を構成する辺に含まれる該黒画素矩形を構成する辺に基づいて、該黒画素矩形を再度枠又は非枠に弁別することを特徴とする請求項１乃至４のいずれか１項に記載の枠認識装置。
6. 前記二次判定手段において、該一致する座標を含む前記黒画素矩形を構成する辺であって、該一致する座標を含む前記白画素矩形を構成する辺に含まれる該黒画素矩形を構成する辺の有無から該黒画素矩形を再度枠又は非枠に弁別することを特徴とする請求項５記載の枠認識装置。
7. 該辺の位置にある黒画素数が所定の閾値を超えたときに、該黒画素矩形が枠であると弁別することを特徴とする請求項５または６記載の枠認識装置。
8. コンピュータが読み取り可能な記録媒体であって、請求項１乃至７のいずれか１項記載の枠認識装置の機能をコンピュータで実現するためのプログラムが記録されたことを特徴とする記録媒体。

Images