JP4153850B2 - 画像処理装置、画像処理プログラム - Google Patents

Description

本発明は、帳票等の画像から記入枠を抽出する画像処理装置、画像処理プログラムに関する。

従来、帳票等の画像から記入枠を抽出する方法として、様々な方法が提案されているが、これらの方法では、想定している帳票と入力された帳票との間の寸法の食い違いにより記入枠の抽出が失敗するという問題があり、寸法が一定でない帳票群からの記入枠の抽出が困難となっていた。

例えば、特許文献１に記載された方法では、帳票のフォーマットごとに罫線枠の格子点の座標列が登録されており、それらの座標により記入枠の位置を特定している。この方法では、枠の寸法の変動や紙の伸縮等による画像の歪みや伸縮等の変動が有る場合には、正確な位置合せが困難となり、記入枠の抽出が困難となる。

また、特許文献２に記載された方法では、入力画像と基準画像の部分画像同士の位置合せを行い、部分画像同士の位置合せの結果を用いて画像全体の位置合せを行い、基準画像について定められた枠位置に、記入枠が位置するように入力画像を補正しているが、この方法では、罫線位置の変動やフォーム上のプレプリント文字のフォントや配置等の変動が有る場合、それらの変動に起因する画像の変動により位置合せが困難となる。

また、特許文献３に記載された方法では、入力帳票と基準帳票について、水平線長及び垂直線長を線方向へ投影し、横座標及び縦座標を一定間隔に分割した間隔ごとの累積線長を求めて分布を作成し、入力帳票と基準帳票とで水平線の分布同士と垂直線の分布同士のマッチングを行うことにより位置合せを行っている。この方法では、枠の寸法の変動や紙の伸縮等による画像の歪みや伸縮を、線の分布のマッチングによりある程度吸収することができるが、枠の寸法の変動に起因する累積線長の変動が大きい場合には位置合せが困難となる。
特開平１０−１４３６０５号公報 特開昭６０−１２０４８５号公報 特開平７−２４９０９９号公報

このように従来の方法では、帳票に設けられる領域を区分する枠の寸法の変動が大きいと位置合せが困難となり、想定している帳票と処理対象とする帳票との間の領域の寸法の食い違いにより、領域を区分する位置（記入枠）の抽出が失敗してしまうという問題があった。

本発明は、前記のような問題に鑑みなされたもので、帳票に設けられる領域の寸法が一定でない帳票群から領域を区分する位置を確実に抽出することが可能な画像処理装置、画像処理プログラムを提供することを目的とする。

本発明は、処理対象とする帳票の画像中から、帳票の様式について定められた領域の境界位置の候補とする境界候補を抽出する境界候補抽出手段と、前記境界候補抽出手段によって抽出された前記境界候補の対を両端とする領域候補の各々について、前記領域候補の境界の両端にそれぞれ接している異なる方向の境界の本数の組からなる特徴量を算出する領域特徴抽出手段と、前記領域特徴抽出手段によって算出された前記特徴量のパターンと、帳票の様式上の特徴量の参照パターンとの距離が小さくなるように、前記境界候補と様式上での境界とのマッチングをとることにより領域候補を選択するマッチング手段と、前記マッチング手段により選択された領域候補から領域を区分する位置を抽出する領域区分位置抽出手段とを具備したことを特徴とする。

本発明によれば、処理対象の様式の座標情報を用いないでマッチングを実行することにより、帳票に設けられる領域の寸法が一定でない帳票群から領域を区分する位置（例えば記入枠）を確実に抽出することが可能となる。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施形態における画像処理装置を実現するシステムの構成を示すブロック図である。

本実施形態における画像処理装置は、コンピュータに本実施形態を実現するプログラムを組み込むことによって構成でき、以下ではそのような構成を仮定して説明する。ただし、本実施形態は各手段を専用ハードウェアや、その集合体、または分散処理用のコンピュータネットワークとしても構成することもでき、以下に説明する手段を具備する構成ならば、ここで挙げた構成に関わらずどのようなもので実装しても良い。また、本実施形態における画像処理装置は、帳票等に記録された罫線（記入枠）の位置を検出する罫線（記入枠）認識装置、罫線（記入枠）により区切られた領域内に記入された文字を認識する文字認識装置として用いることができる。

図１に示すように、本実施形態における画像処理装置は、ＣＰＵ１０、メモリ１２、ディスプレイ１４、キーボード１５、ポインティングデバイス１６、スキャナ１７、記憶装置１８、及びプリンタ１９を備えている。

ＣＰＵ１０は、画像処理装置全体の制御を司るもので、メモリ１２に記録される各種プログラムに従い、データの入出力制御、スキャナ１７から入力された帳票等の画像に対する画像処理（文字認識処理）制御などの各種の処理を制御する。

メモリ１２は、プログラムやデータなどを記録するもので、各種プログラムに従って処理が実行される場合に、このプログラムの実行に伴って処理対象とするデータが一時的に記憶される。メモリ１２に記憶されるプログラムとしては、例えば帳票等の画像に対する画像処理を実行するための画像処理プログラム１２ａが記憶される。また、画像処理プログラム１２ａの実行に伴って記憶されるデータとしては、スキャナ１７によって入力された帳票等の画像のデータ（入力画像データ１２ｂ）、入力画像データ１２ｂに対して帳票に設けられる領域の区分、例えば記入枠を認識する際に用いられる、処理対象とする帳票の様式上の領域から抽出された特徴量を表す参照パターンデータ１２ｃ、参照パターンデータ１２ｃを用いて入力画像データ１２ｂから抽出された記入枠の位置を示す記入枠抽出結果データ１２ｄ、記入枠抽出結果データ１２ｄが示す領域内に記入された文字に対する文字認識処理の結果（文字コード）である文字認識結果データ１２ｅなどが記憶される。

ディスプレイ１４は、ＬＣＤ（Liquid Crystal Display）などにより構成され、画像処理結果（文字認識結果）や装置の状態を示す情報を表示する。

キーボード１５は、装置に対して各種の指示を入力するために用いられる。

ポインティングデバイス１６は、マウスやタブレットなどにより構成され、装置に対して各種の指示を入力するために用いられる。

スキャナ１７は、画像処理の対象とする帳票等の画像を読み取り、入力画像データを生成する。

記憶装置１８は、各種の記録媒体に対してプログラムやデータなどの読み書きを実行する。記憶装置１８は、記録媒体として、ハードディスク等の磁気ディスクや、光ディスク、半導体メモリなどを用いることができる。記録媒体は、固定型、可搬型の何れであっても良い。

プリンタ１９は、帳票等の画像に対する画像処理（文字認識結果）を紙媒体に印刷するもので、例えば帳票に設けられた記入枠内に記入されていた文字に対する文字認識処理の結果（文字コード）を画像（文字）として印刷する。

（第１実施形態）
以下、図面を参照して本発明の第１実施形態について説明する。
図２は、図１に示すシステムによって実現される第１実施形態における画像処理装置の機能構成を示すブロック図である。

第１実施形態における画像処理装置は、入力画像２０（入力画像データ１２ｂ）に対するノイズ除去や二値化、拡大縮小、回転等の前処理により前処理済み画像を生成する前処理手段２１と、処理対象の帳票の様式について定められた分割位置の前処理済み画像上での位置の候補を境界候補として抽出する境界候補抽出手段２２と、境界候補の対を両端とする領域候補の各々についての特徴量を算出する領域特徴抽出手段２３と、様式上の領域の系列から抽出した特徴量のパターンと様式上の領域に対応する前処理済み画像上での領域候補の系列から抽出した特徴量の参照パターン２５との距離が小さくなるように、様式上での境界と前処理済み画像上での境界候補のマッチングをとることにより領域候補を選択するマッチング手段２４と、マッチング手段２４により選択された領域候補から領域を区分する位置、すなわち記入枠を抽出する記入枠抽出手段２６（領域区分位置抽出手段）とから構成されている。

第１実施形態では、例えば図３、図４に示すような様式の帳票を処理対象とするものとして説明する。図３は、マッチング手段２４におけるマッチングの際に使用される参照パターン２５のもとになった帳票の様式を示すもので、複数の垂直方向の罫線と、垂直罫線の間に設けられた複数の水平方向の罫線によって、複数の領域が区分されている。各領域は、文字が記入される位置を表している。図４は、処理対象とする帳票の様式を示すもので、図３と同様にして複数の垂直方向の罫線と水平方向の罫線によって領域を区分している。図４では、各領域に対して文字が記入されている状態を示している。

図３と図４を比較すると、文字が記入される領域の数と、その各領域についての相対的な位置関係は同じであるが、領域を区分する罫線の位置（座標）が異なり、また図４に示す処理対象とする帳票には、図３にはない領域（「製品情報」の文字列が記入された領域）を区分する罫線が存在している。

第１実施形態の画像処理装置では、罫線（枠）の位置に依存しない方法で位置合わせをするマッチングにより、処理対象とする帳票群における罫線の位置の変動が位置合わせに影響を与えないようにして、領域を区分する枠（領域）の位置を確実に抽出できるようにする。

次に、第１実施形態における動作について、図５に示すフローチャートを参照しながら説明する。
まず、スキャナ１７により処理対象とする帳票（図４）について読み取りが実行され、入力画像データ１２ｂ（入力画像２０）がメモリ１２に記憶される（ステップＡ１）。

前処理手段２１は、入力された画像（入力画像２０）に対して二値化やノイズ除去、拡大縮小、回転等の前処理を実行して前処理済み画像を生成する（ステップＡ２）。

次に、境界候補抽出手段２２は、前処理済み画像上において、処理対象の帳票の様式について定められた領域の分割位置の候補として境界候補を抽出する（ステップＡ３）。例えば、領域同士の境界に罫線（枠線）が引かれている場合、境界候補は、罫線抽出により抽出された罫線の位置を示す座標として抽出可能である。例えば、図３に示す帳票の様式では、垂直罫線Ｂ１−Ｂ６により領域ａ−ｅが区切られているが、図４に示す帳票の様式では、垂直罫線抽出によって得られる垂直罫線Ｃ１−Ｃ８の横座標が境界位置候補となる。なお、領域を区分する位置（境界）を表すＢ１−Ｂ６，Ｃ１−Ｃ８を境界番号と称する。

領域特徴抽出手段２３は、境界候補の対に挟まれた領域の特徴量を、可能な対の全てまたは一部について算出する（ステップＡ４）。例えば、可能な対の全てについて特徴量を抽出する場合、図４に示す帳票を処理対象とする場合、以下の境界番号の対を両端とする境界候補の各々について特徴量を算出する。

（Ｃ１，Ｃ２）（Ｃ１，Ｃ３）（Ｃ１，Ｃ４）（Ｃ１，Ｃ５）（Ｃ１，Ｃ６）（Ｃ１，Ｃ７）（Ｃ１，Ｃ８）
（Ｃ２，Ｃ３）（Ｃ２，Ｃ４）（Ｃ２，Ｃ５）（Ｃ２，Ｃ６）（Ｃ２，Ｃ７）（Ｃ２，Ｃ８）
（Ｃ３，Ｃ４）（Ｃ３，Ｃ５）（Ｃ３，Ｃ６）（Ｃ３，Ｃ７）（Ｃ３，Ｃ８）
（Ｃ４，Ｃ５）（Ｃ４，Ｃ６）（Ｃ４，Ｃ７）（Ｃ４，Ｃ８）
（Ｃ５，Ｃ６）（Ｃ５，Ｃ７）（Ｃ５，Ｃ８）
（Ｃ６，Ｃ７）（Ｃ６，Ｃ８）
（Ｃ７，Ｃ８）
領域特徴抽出手段２３が求める特徴量としては、例えば図４に示す帳票の様式の場合では、垂直罫線（Ｃ２）の右側に接している水平罫線の本数ｒ（この場合では６本）と、垂直罫線（Ｃ３）の左側から接している水平罫線の本数ｌ（この場合では６本）の組からなる２次元ベクトル（ｒ，ｌ）を用いることができる。

この特徴量を図４に示す帳票について列挙した対のいくつかに対応する領域候補について求めた結果は以下のようになる。

（Ｃ２，Ｃ３）：（６，６）、（Ｃ３，Ｃ４）：（６，６）、（Ｃ４，Ｃ５）：（２，２）、（Ｃ５，Ｃ７）：（７，８）、（Ｃ７，Ｃ８）：（８，８）、（Ｃ１，Ｃ２）：（２，２）、（Ｃ１，Ｃ３）：（２，６）、（Ｃ５，Ｃ６）：（７，２）、（Ｃ６，Ｃ７）：（３，８）、（Ｃ６，Ｃ８）：（３，８）。

ただし、「：」の前側は領域候補の両端に位置する境界候補の対を、後ろ側は領域候補について求めた特徴量を表している。

次に、マッチング手段２４は、様式上の領域の系列から抽出した特徴量のパターンと様式上の領域に対応する前処理済み画像上での領域候補の系列から抽出した特徴量のパターンの距離が小さくなるように、様式上での境界の系列と前処理済み画像上での境界候補の系列のマッチングをとることにより領域候補を選択する（ステップＡ５）。

マッチング手段２４によるマッチングは、帳票の様式上の領域から求めた特徴量のパターン、すなわち参照パターンと、領域候補から求めた特徴量のパターンの距離が小さくなるように行う。ただし、図３に示す帳票の様式に対する図４の様式に示す左端の領域（垂直罫線Ｃ１−Ｃ２の間の領域）のように、様式で定められていない領域が前後に付随している可能性が有る場合を想定して、マッチングにおいて、最初及び最後のいくつかの境界候補を無視してマッチングを行う端点フリーマッチングを行う。また、様式で定められていない領域が付随しない場合は、端点固定でのマッチングを行っても良い。

特徴量のパターン同士の距離は、例えば、様式上の領域から求めた特徴量のベクトルと、対応付けられた領域候補から求めた特徴ベクトルのユークリッド距離の自乗和として求めることができる。

図３の様式と図４の帳票の例において、例えば、（ｒ，ｌ）を特徴量とした場合、図３の様式について参照パターンを定めると以下のようになる。
（Ｂ１，Ｂ２）：（６，６）、（Ｂ２，Ｂ３）：（６，６）、（Ｂ３，Ｂ４）：（２，２）、（Ｂ４，Ｂ５）：（７，８）、（Ｂ５，Ｂ６）：（８，８）。

様式上の境界Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６がそれぞれ境界候補Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ７，Ｃ８に対応付けられた場合の距離は、
（（６−６）^２＋（６−６）^２）＋（（６−６）^２＋（６−６）^２）
＋（（２−２）^２＋（２−２）^２）＋（（７−７）^２＋（８−８）^２＋（８−８）^２＋（８−８）^２）
＝０
となる。

また、様式上の境界Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６がそれぞれ境界候補Ｃ１，Ｃ３，Ｃ４，Ｃ５，Ｃ６，Ｃ８に対応付けられた場合の距離は、
（（２−６）^２＋（６−６）^２）＋（（６−６）^２＋（６−６）^２）
＋（（２−２）^２＋（２−２）^２）＋（（７−７）^２＋（２−８）^２＋（３−８）^２＋（８−８）^２）
＝７７
となる。

以上では、様式上の領域が入力画像上で省略されていないことを仮定してパターン同士の距離の計算方法について述べたが、様式上の領域が入力画像上で省略されている場合は、領域毎に定めたペナルティー値で、自乗和で表された距離の式の当該領域に対応する項を置き換えることにより、領域の省略に対応することができる。

例えば、Ｂ３，Ｂ４を両端とする領域が省略されており、この領域に対応するペナルティー値が１０００であり、Ｂ１，Ｂ２，Ｂ３がＣ２，Ｃ３，Ｃ４と、Ｂ４，Ｂ５，Ｂ６がＣ４，Ｃ７，Ｃ８と対応付けられている場合の距離は、
（（６−６）^２＋（６−６）^２）＋（（６−６）^２＋（６−６）^２）＋１０００
＋（（２−７）^２＋（８−８）^２＋（８−８）^２＋（８−８）^２）
＝１０２５
となる。

参照パターン２５と入力画像２０から求めた特徴量のパターンの距離が小さくなるように、様式上の境界と境界候補を対応付ける方法としては、例えば動的計画法を用いることができる。

図６は、図３の様式と図４の帳票のマッチングにおいて、動的計画法を用いた場合の様子を示した図である。図６において、横軸が境界候補の系列Ｃ１−Ｃ８の番号、縦軸が様式上の境界Ｂ１−Ｂ６の番号に対応している。

図６において、マッチングの経路は点線及び座標軸の交点として表現されるノード同士を結ぶ辺の系列として表現される。ノード同士を結ぶ辺の、両端の真横に位置する境界の対は様式上の領域と対応しており、両端の真下に位置する境界候補の対は領域候補に対応しているので、ノード同士を結ぶ辺を介して様式上の領域と領域候補が対応づけられている。例えば、境界Ｂ４−Ｂ５の対に対しては、境界候補Ｃ５−Ｃ７の対が対応づけられている。

図６の例では、隣り合う境界の対に対応する境界候補の対が、異なる二つの境界候補からなっているが、処理対象とする帳票にある領域が省略されているなどして、入力画像上から抜けている場合には、例えば図７に示すように、様式上の境界の対（Ｂ３−Ｂ４）に同一の二つの境界候補（Ｃ４−Ｃ４）が対応付けられる。従って、様式上の領域に対して、空の領域候補が対応付けられることになる。

境界候補を垂直罫線として抽出した場合、境界候補Ｃ６のように、様式で定められた境界と対応しない境界候補が検出される場合がある。このため、経路上の隣り合うノードを結ぶ辺の各々の境界番号差と境界候補番号差は１対多となる。

また、図４のように、様式で定められていない領域が、様式で定められている領域の系列の外側に付随している可能性がある場合は、境界番号差と境界候補番号差が０対１となる辺も含んだ経路も求められる。

次に、記入枠抽出手段２６は、マッチング手段２４により選択された領域候補から記入枠を抽出し、その記入枠の位置を示す情報（領域を区分する位置を示す情報）を記入枠抽出結果２７として出力する（ステップＡ６）。分割した領域からの記入枠の抽出方法としては、対象とする様式や、マッチング手段２４で求めた領域の種類により、様々な方法が考えられるが、例えば、図３の様式の領域ｂ及び領域ｅにおいては、当該領域を横罫線で分割する事によって各記入枠を抽出することができる。

また、記入枠抽出手段２６（領域区分位置抽出手段）を、図８のブロック図に示す機能によって構成することにより、マッチング手段２４により求められた領域候補内に含まれる部分領域の位置を示す記入枠をさらに抽出することができる。

すなわち、記入枠抽出手段２６は、マッチング手段２４で求められた領域候補を示す領域情報３０をもとに、領域候補内をさらに分割して得られる部分領域の境界の候補（領域内境界候補）を、境界候補抽出手段２２と同様の方法で抽出する領域内境界候補抽出手段３１と、領域内境界候補抽出手段３１によって抽出された領域内境界候補の対で定まる部分領域候補の特徴量を領域特徴抽出手段２３と同様の方法で抽出する部分領域特徴抽出手段３２と、マッチング手段２４と同様の方法により部分領域特徴抽出手段３２で抽出した特徴量のパターンと様式上の部分領域から求めた特徴量のパターンすなわち領域内参照パターン３４をマッチングして部分領域候補を選択する領域内マッチング手段３３と、領域内マッチング手段３３で選択した部分領域候補から記入枠（部分領域を区分する位置）を抽出する領域内記入枠抽出手段３５（部分領域区分位置抽出手段）から構成される。

この場合、記入枠抽出手段２６は、領域内マッチング手段３３で求めた部分領域を罫線で分割することによって記入枠を求めてもよい。また、領域内記入枠抽出手段３５は、記入枠抽出手段２６を領域内境界候補抽出手段３１、部分領域特徴抽出手段３２、領域内マッチング手段３３、領域内記入枠抽出手段３５に分割したのと同様に、さらに分割した機能により構成することもできる。こうして、記入枠を抽出する手段を再帰的に任意の回数で再分割する構成とすることで、より複雑な様式に対応することができる。

なお、マッチング手段２４によるマッチングで、様式上の領域に対して空の領域候補が対応付けられた場合、その領域は入力画像２０上に存在していないことになるが、この場合には当該領域からの記入枠の抽出は行わず、当該領域上の記入枠については、当該記入枠の位置を表す情報の替わりに、当該記入枠が空であることを示す情報を記入枠抽出結果２７として出力するものとする。

なお、図５に示すステップＡ７については、後述する第３実施形態及び第４実施形態において説明する。

このようにして、第１実施形態の画像処理装置では、マッチング手段２４において領域を区分する記入枠の位置に依存しない方法で参照パターン２５とのマッチングを実行するので、処理対象とする帳票群における罫線の位置の変動があっても、記入枠（領域）の位置を確実に抽出できるようになる。

（第２実施形態）
以下、図面を参照して本発明の第２実施形態について説明する。
図９は第２実施形態における画像処理装置の機能構成を示すブロック図である。

第２実施形態における画像処理装置は、入力画像に対するノイズ除去や二値化、拡大縮小、回転等の前処理により前処理済み画像を生成する前処理手段２１と、処理対象の帳票の様式について定められた水平方向の分割位置の前処理済み画像上での位置として水平方向の境界候補を抽出する水平方向境界候補抽出手段２２ａと、処理対象の帳票の様式について定められた垂直方向の分割位置の前処理済み画像上での位置として垂直方向の境界候補を抽出する垂直方向境界候補抽出手段２２ｂと、水平方向の境界候補の対を両端とする水平方向の領域候補の各々についての特徴量を算出する水平方向領域特徴抽出手段２３ａと、垂直方向の境界候補の対を両端とする垂直方向の領域候補の各々についての特徴量を算出する垂直方向領域特徴抽出手段２３ｂと、処理対象の帳票の様式について予め定められた水平方向の参照パターン（水平方向参照パターン２５ａ）と水平方向の領域候補から抽出した特徴量のパターンの距離が小さくなるように水平方向の参照パターンと水平方向の領域候補をマッチングして水平方向の領域候補を選択する水平方向マッチング手段２４ａと、処理対象の帳票の様式について予め定められた垂直方向の参照パターン（垂直方向参照パターン２５ｂ）と垂直方向の領域候補から抽出した特徴量のパターンの距離が小さくなるように垂直方向の参照パターンと垂直方向の領域候補をマッチングして垂直方向の領域候補を選択する垂直方向マッチング手段２４ｂと、水平方向マッチング手段２４ａで選択した水平方向の領域候補に対応する境界候補及び垂直方向マッチング手段２４ｂで選択した垂直方向の領域候補に対応する境界候補の座標を用いて、様式上で定められた矩形領域の座標を求める領域抽出手段２８と、領域抽出手段２８で求めた矩形領域から領域を区分する位置、すなわち記入枠を抽出する記入枠抽出手段２６（領域区分位置抽出手段）とから構成されている。

なお、第１実施形態と同様の機能を有する部分については同じ符号を付している。

第２実施形態では、例えば図１０、図１１に示すような様式の帳票を処理対象とするものとして説明する。図１０は、水平方向マッチング手段２４ａ及び垂直方向マッチング手段２４ｂにおけるマッチングの際に使用される水平方向参照パターン２５ａ、垂直方向参照パターン２５ｂのもとになった帳票の様式を示すもので、ａ，ｂ，ｃ，ｄ，ｅは記入枠の各々を表している。図１０に示す帳票の様式は、横方向に領域を分割しても、縦方向に領域を分割しても、記入枠が領域の境界によって分割されている。

また、図１１は、図１０の様式を水平方向及び垂直方向の罫線として、水平方向の境界ＨＢ１，ＨＢ２，ＨＢ３，ＨＢ４、垂直方向の境界ＶＢ１，ＶＢ２，ＶＢ３，ＶＢ４を定め、それらの境界により水平方向の領域ｈ１，ｈ２，ｈ３と、垂直方向の領域ｖ１，ｖ２，ｖ３とを定めた例を示す図である。なお、領域を区分する位置（境界）を表すＨＢ１，ＨＢ２，ＨＢ３，ＨＢ４，ＶＢ１，ＶＢ２，ＶＢ３，ＶＢ４を境界番号と称する。

次に、第２実施形態における動作について説明する。
第２実施形態の画像処理装置は、基本的には第１実施形態（図５に示すフローチャート）と同様の流れで処理を実行するものとし、同一の処理部分については説明を省略する。第２実施形態では、ステップＡ３〜Ａ５に相当する処理において、水平方向、垂直方向のそれぞれの方向で処理を実行し、各方向で特徴量のパターンについてマッチングを行うことで領域候補を選択し、水平方向と垂直方向のそれぞれで選択された領域候補の境界の位置をもとに領域を表す矩形領域を求める。

まず、前処理手段２１により入力画像２０に対して前処理済み画像が生成されると、水平方向境界候補抽出手段２２ａ及び垂直方向境界候補抽出手段２２ｂは、それぞれ前処理済み画像上において、処理対象の帳票の様式について定められた領域の分割位置の候補として境界候補を抽出する。水平方向の境界候補と垂直方向の境界候補の抽出は、第１実施形態における境界候補抽出手段２２と同様の処理を水平方向境界候補抽出手段２２ａと垂直方向境界候補抽出手段２２ｂが、帳票の画像に対してそれぞれ水平方向、垂直方向に行うことで実現される。

次に、水平方向領域特徴抽出手段２３ａ及び垂直方向領域特徴抽出手段２３ｂは、第１実施形態における領域特徴抽出手段２３と領域候補の特徴の抽出と同様の方法により、それぞれ水平方向の領域候補及び垂直方向の領域候補の特徴抽出を行う。

次に、水平方向マッチング手段２４ａと垂直方向マッチング手段２４ｂは、第１実施形態におけるマッチング手段２４におけるマッチングと同様の方法により、水平方向領域特徴抽出手段２３ａ及び垂直方向領域特徴抽出手段２３ｂにより抽出された領域候補の特徴量のパターンについて、それぞれ水平方向参照パターン２５ａ、垂直方向参照パターン２５ｂとのマッチングをして領域候補を選択する。なお、水平方向参照パターン２５ａ及び垂直方向参照パターン２５ｂは、第１実施形態における参照パターンと同様に定義される。

次に、領域抽出手段２８は、水平方向マッチング手段２４ａと垂直方向マッチング手段２４ｂのそれぞれにより選択された領域候補の境界の位置をもとに矩形領域を求める。例えば、帳票の様式上で、上下左右の端に接している境界の番号の組み合わせからなる矩形情報を、上下左右の境界番号に対応する水平方向の境界候補及び垂直方向の境界候補の座標に置き換えることによって、前処理済み画像上での矩形の座標を求め、それを抽出した領域の矩形の座標とする。

例えば、図１１に示す記入枠ａに対する矩形情報についての矩形情報は（ＨＢ１，ＨＢ２，ＶＢ１，ＶＢ２）により表され、（ＨＢ１，ＨＢ３，ＶＢ１，ＶＢ２）の各境界番号を座標に置き換えることで、領域の矩形（各頂点の座標）を求めることができる。

記入枠抽出手段２６は、領域抽出手段２８で抽出された領域の矩形（領域矩形）から領域を区分する位置を示す記入枠の抽出を行う。なお、この抽出処理は、第１実施形態における記入枠の抽出と同様の方法で行われる。

このようにして、第１実施形態の方法では記入枠の抽出を行うことができない図１０のような様式、すなわち横方向に領域を分割しても、縦方向に領域を分割しても、記入枠が領域の境界によって分割されてしまう様式であっても、第２実施形態における画像処理装置では、水平方向、垂直方向のそれぞれについての特徴を抽出し、それぞれの方向でマッチング処理を実行することにより記入枠（領域）の抽出が可能となる。

（第３実施形態）
以下、図面を参照して本発明の第３実施形態について説明する。
第３実施形態では、画像処理装置を文字認識装置として使用する場合について説明する。
図１２は第３実施形態における文字認識装置の機能構成を表すブロック図である。

第３実施形態における文字認識装置は、入力画像に対するノイズ除去や二値化、拡大縮小、回転等の前処理により前処理済み画像を生成する前処理手段２１と、処理対象の帳票の様式について定められた分割位置の前処理済み画像上での位置の候補を境界候補として抽出する境界候補抽出手段２２と、境界候補の対を両端とする領域候補の各々についての特徴量を算出する領域特徴抽出手段２３と、様式上の領域の系列から抽出した特徴量のパターンと様式上の領域に対応する前処理済み画像上での領域候補の系列から抽出した特徴量のパターンの距離が小さくなるように、様式上での境界と前処理済み画像上での境界候補のマッチングをとることにより領域候補を選択するマッチング手段２４と、マッチング手段２４により選択された領域候補から記入枠を抽出する記入枠抽出手段２６と、記入枠内に記入された文字を認識し、文字コードの列に変換する記入枠認識手段２９とから構成されている。

すなわち、第３実施形態の文字認識装置は、第１実施形態における画像処理装置に記入枠認識手段２９が追加された構成を有する。前処理手段２１、境界候補抽出手段２２、領域特徴抽出手段２３、マッチング手段２４、記入枠抽出手段２６は、第１実施形態と同じ処理を実行するものとして詳細な説明を省略する。

第３実施形態の文字認識装置は、基本的には第１実施形態（図５に示すフローチャート）と同様の流れで処理を実行するものとし、同一の処理部分（ステップＡ１〜Ａ６）については説明を省略する。第３実施形態は、ステップＡ７に相当する処理が追加されている。

記入枠認識手段２９は、記入枠抽出手段２６によって抽出された記入枠内に記入された文字を認識して文字コードの列に変換する（図５、ステップＡ７）。

記入枠内に記入された文字の認識は、例えば、記入枠内の画像に対してラベリングを行い黒画素の連結領域として個別の文字毎の文字画像を抽出し、文字画像に対して複合類似度法に基づくクラス分類を行う事によって文字種を特定し、文字種に対応する文字コードを、文字画像に外接する矩形の中心の横座標に関して昇順で並べた系列を認識結果として出力することによって可能である。ただし、記入枠内の文字の認識方法にとしては、前記の方法に限らずどのような方法を用いても良い。

このようにして、第３実施形態の文字認識装置では、第１実施形態と同様の処理によって抽出された記入枠の位置をもとに、記入枠内の文字について文字認識することができるので、記入枠毎に確実に分類された認識結果を出力することができる。

（第４実施形態）
以下、図面を参照して本発明の第４実施形態について説明する。
第４実施形態では、第３実施形態と同様に、画像処理装置を文字認識装置として使用する場合について説明する。
図１３は、第４実施形態における文字認識装置の機能構成を表すブロック図である。

第４実施形態における文字認識装置は、入力画像に対するノイズ除去や二値化、拡大縮小、回転等の前処理により前処理済み画像を生成する前処理手段２１と、処理対象の帳票の様式について定められた水平方向の分割位置の前処理済み画像上での位置として水平方向の境界候補を抽出する水平方向境界候補抽出手段２２ａと、処理対象の帳票の様式について定められた垂直方向の分割位置の前処理済み画像上での位置として垂直方向の境界候補を抽出する垂直方向境界候補抽出手段２２ｂと、水平方向の境界候補の対を両端とする水平方向の領域候補の各々についての特徴量を算出する水平方向領域特徴抽出手段２３ａと、垂直方向の境界候補の対を両端とする垂直方向の領域候補の各々についての特徴量を算出する垂直方向領域特徴抽出手段２３ｂと、処理対象の帳票の様式について予め定められた水平方向の参照パターンと水平方向の領域候補から抽出した特徴量のパターンの距離が小さくなるように水平方向の参照パターンと水平方向の領域候補をマッチングして水平方向の領域候補を選択する水平方向マッチング手段２４ａと、処理対象の帳票の様式について予め定められた垂直方向の参照パターンと垂直方向の領域候補から抽出した特徴量のパターンの距離が小さくなるように垂直方向の参照パターンと垂直方向の領域候補をマッチングして垂直方向の領域候補を選択する垂直方向マッチング手段２４ｂと、水平方向マッチング手段２４ａで選択した水平方向の境界候補及び垂直方向マッチング手段２４ｂで選択した垂直方向の境界候補の座標を用いて、様式上で定められた矩形領域の座標を求める領域抽出手段２８と、領域抽出手段２８で求めた矩形領域から記入枠を抽出する記入枠抽出手段２６と、記入枠内に記入された文字を認識し、文字コードの列に変換する記入枠認識手段２９とから構成されている。

すなわち、第４実施形態の文字認識装置は、第２実施形態における画像処理装置に記入枠認識手段２９が追加された構成を有する。その他の機能については、第２実施形態と同じ処理を実行するものとして詳細な説明を省略する。

第４実施形態の文字認識装置は、基本的には第１実施形態（図５に示すフローチャート）と同様の流れで処理を実行するものとし、同一の処理部分（ステップＡ１〜Ａ６）については説明を省略する。第４実施形態は、第３実施形態と同様に、ステップＡ７に相当する処理が追加されている。

記入枠認識手段２９は、記入枠抽出手段２６によって抽出された記入枠内に記入された文字を認識して文字コードの列に変換する（図５、ステップＡ７）。文字認識処理の方法についても、第３実施形態と同様にして実行することができる。

このようにして、第４実施形態の文字認識装置では、図１１に示すような様式の帳票の記入枠内に記入された文字についても、第３実施形態と同様の処理によって抽出された記入枠の位置をもとに、記入枠内の文字について文字認識することができるので、記入枠毎に確実に分類された認識結果を出力することができる。

なお、前述した説明では、帳票の様式において設けられる領域は、垂直及び水平方向の罫線（記入枠）によって区切られているものとしたが、その他の形態によって区分されていても良い。例えば、領域が所定の間隔をもった空白領域により区分されていたり、帳票の外周辺近傍に設けられた所定の形状を持ったマーカにより区分位置が示されていても良い。すなわち、領域の区分を表すものであれば何れの形態が用いられていても良い。

また、本発明は、前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、前述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるので有れば、この構成要件が削除された構成が発明として抽出され得る。

また、前述した各実施形態において記載した処理は、コンピュータに実行させることのできる画像処理（文字認識）プログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。画像処理装置（文字認識装置）を実現するコンピュータは、記録媒体に記録された画像処理プログラムを読み込み、または通信媒体を介して画像処理（文字認識）プログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。

本発明の実施形態における画像処理装置を実現するシステムの構成を示すブロック図。 図１に示すシステムによって実現される第１実施形態における画像処理装置の機能構成を示すブロック図。 第１実施形態において処理の対象とする帳票の様式の一例を示す図。 第１実施形態において処理の対象とする帳票の様式の一例を示す図。 第１実施形態における動作について説明するためのフローチャート。 図３の様式と図４の帳票のマッチングにおいて動的計画法を用いた場合の様子を示した図。 動的計画法を用いた場合の他の様子を示した図。 第１実施形態における記入枠抽出手段２６の詳細な機能構成を示すブロック図。 第２実施形態における画像処理装置の機能構成を示すブロック図。 第２実施形態において本発明で処理の対象とする帳票の様式の一例を示す図。 図１０の様式の水平罫線及び垂直罫線による領域への分解の一例を示す図。 第３実施形態における文字認識装置の機能構成を表すブロック図。 第４実施形態における文字認識装置の機能構成を表すブロック図。

符号の説明

１０…ＣＰＵ、１２…メモリ、１２ａ…画像処理プログラム、１２ｂ…入力画像データ、１２ｃ…参照パターンデータ、１２ｄ…記入枠抽出結果データ、１２ｅ…文字認識結果データ、１４…ディスプレイ、１５…キーボード、１６…ポインティングデバイス、１７…スキャナ、１８…記憶装置、１９…プリンタ、２０…入力画像、２１…前処理手段、２２…境界候補抽出手段、２２ａ…水平方向境界候補抽出手段、２２ｂ…垂直方向境界候補抽出手段、２３…領域特徴抽出手段、２３ａ…水平方向領域特徴抽出手段、２３ｂ…垂直方向領域特徴抽出手段、２４…マッチング手段、２４ａ…水平方向マッチング手段、２４ｂ…垂直方向マッチング手段、２５…参照パターン、２５ａ…水平方向参照パターン、２５ｂ…垂直方向参照パターン、２６…記入枠抽出手段、２７…記入枠抽出結果、２８…領域抽出手段、２９…記入枠認識手段、３０…領域情報、３１…領域内境界候補抽出手段、３２…部分領域特徴抽出手段、３３…領域内マッチング手段、３４…領域内参照パターン、３５…領域内記入枠抽出手段。

Claims (7)

1. 処理対象とする帳票の画像中から、帳票の様式について定められた領域の境界位置の候補とする境界候補を抽出する境界候補抽出手段と、
   前記境界候補抽出手段によって抽出された前記境界候補の対を両端とする領域候補の各々について、前記領域候補の境界の両端にそれぞれ接している異なる方向の境界の本数の組からなる特徴量を算出する領域特徴抽出手段と、
   前記領域特徴抽出手段によって算出された前記特徴量のパターンと、帳票の様式上の特徴量の参照パターンとの距離が小さくなるように、前記境界候補と様式上での境界とのマッチングをとることにより領域候補を選択するマッチング手段と、
   前記マッチング手段により選択された領域候補から領域を区分する位置を抽出する領域区分位置抽出手段と
   を具備したことを特徴とする画像処理装置。
2. 処理対象とする帳票の画像中から、帳票の様式について定められた水平方向の境界候補を抽出する水平方向境界候補抽出手段と、
   処理対象とする帳票の画像中から、帳票の様式について定められた垂直方向の境界候補を抽出する垂直方向境界候補抽出手段と、
   前記水平方向境界候補抽出手段により抽出された水平方向の境界候補の対を両端とする水平方向の第１の領域候補の各々について、前記第１の領域候補の境界の両端にそれぞれ接している異なる方向の境界の本数の組からなる第１の特徴量を算出する水平方向領域特徴抽出手段と、
   前記垂直方向境界候補抽出手段により抽出された垂直方向の境界候補の対を両端とする垂直方向の第２の領域候補の各々について、前記第２の領域候補の境界の両端にそれぞれ接している異なる方向の境界の本数の組からなる第２の特徴量を算出する垂直方向領域特徴抽出手段と、
   前記水平方向領域特徴抽出手段により算出された前記第１の特徴量のパターンと、帳票の様式について予め定められた水平方向の参照パターンとの距離が小さくなるように、水平方向の領域候補と水平方向の参照パターンとをマッチングして水平方向の領域候補を選択する水平方向マッチング手段と、
   前記垂直方向領域特徴抽出手段により算出された前記第２の特徴量のパターンと、帳票の様式について予め定められた垂直方向の参照パターンとの距離が小さくなるように、垂直方向の領域候補と垂直方向の参照パターンとをマッチングして垂直方向の領域候補を選択する垂直方向マッチング手段と、
   前記水平方向マッチング手段により選択された水平方向の領域候補に対応する境界候補、及び前記垂直方向マッチング手段により選択された垂直方向の領域候補に対応する境界候補を用いて矩形領域を求める領域抽出手段と、
   前記領域抽出手段で求めた矩形領域から領域を区分する位置を抽出する領域区分位置抽出手段と
   を具備したことを特徴とする画像処理装置。
3. 前記領域区分位置抽出手段は、領域を区分する位置として領域の境界を表す記入枠を抽出する記入枠抽出手段を有することを特徴とする請求項１または請求項２記載の画像処理装置。
4. 前記記入枠抽出手段により抽出された前記記入枠内に記入された文字を認識し、文字コードの列に変換する記入枠認識手段を具備したことを特徴とする請求項３記載の画像処理装置。
5. 前記領域区分位置抽出手段は、
   前記マッチング手段により選択された領域候補内から部分領域の境界位置の候補とする領域内境界候補を抽出する領域内境界候補抽出手段と、
   前記領域内境界候補抽出手段によって抽出された前記領域内境界候補の対を両端とする領域候補の各々について特徴量を算出する部分領域特徴抽出手段と、
   前記部分領域特徴抽出手段によって算出された特徴量のパターンと、帳票の様式上の部分領域の特徴量の参照パターンとの距離が小さくなるように、前記領域内境界候補と様式上での境界とのマッチングをとることにより部分領域候補を選択する領域内マッチング手段と、
   前記領域内マッチング手段により選択された部分領域候補から部分領域を区分する位置を抽出する部分領域区分位置抽出手段とを具備したことを特徴とする請求項１記載の画像処理装置。
6. コンピュータを、
   処理対象とする帳票の画像中から、帳票の様式について定められた領域の境界位置の候補とする境界候補を抽出する境界候補抽出手段と、
   前記境界候補抽出手段によって抽出された前記境界候補の対を両端とする領域候補の各々について、前記領域候補の境界の両端にそれぞれ接している異なる方向の境界の本数の組からなる特徴量を算出する領域特徴抽出手段と、
   前記領域特徴抽出手段によって算出された前記特徴量のパターンと、帳票の様式上の特徴量の参照パターンとの距離が小さくなるように、前記境界候補と様式上での境界とのマッチングをとることにより領域候補を選択するマッチング手段と、
   前記マッチング手段により選択された領域候補から領域を区分する位置を抽出する領域区分位置抽出手段として機能させるための画像処理プログラム。
7. コンピュータを、
   処理対象とする帳票の画像中から、帳票の様式について定められた水平方向の境界候補を抽出する水平方向境界候補抽出手段と、
   処理対象とする帳票の画像中から、帳票の様式について定められた垂直方向の境界候補を抽出する垂直方向境界候補抽出手段と、
   前記水平方向境界候補抽出手段により抽出された水平方向の境界候補の対を両端とする水平方向の第１の領域候補の各々について、前記第１の領域候補の境界の両端にそれぞれ接している異なる方向の境界の本数の組からなる特徴量を算出する水平方向領域特徴抽出手段と、
   前記垂直方向境界候補抽出手段により抽出された垂直方向の境界候補の対を両端とする垂直方向の第２の領域候補の各々について、前記第２の領域候補の境界の両端にそれぞれ接している異なる方向の境界の本数の組からなる第２の特徴量を算出する垂直方向領域特徴抽出手段と、
   前記水平方向領域特徴抽出手段により算出された前記第１の特徴量のパターンと、帳票の様式について予め定められた水平方向の参照パターンとの距離が小さくなるように、水平方向の領域候補と水平方向の参照パターンとをマッチングして水平方向の領域候補を選択する水平方向マッチング手段と、
   前記垂直方向領域特徴抽出手段により算出された前記第２の特徴量のパターンと、帳票の様式について予め定められた垂直方向の参照パターンとの距離が小さくなるように、垂直方向の領域候補と垂直方向の参照パターンとをマッチングして垂直方向の領域候補を選択する垂直方向マッチング手段と、
   前記水平方向マッチング手段により選択された水平方向の領域候補に対応する境界候補、及び前記垂直方向マッチング手段により選択された垂直方向の領域候補に対応する境界候補を用いて矩形領域を求める領域抽出手段と、
   前記領域抽出手段で求めた矩形領域から領域を区分する位置を抽出する領域区分位置抽出手段として機能させるための画像処理プログラム。

Images