JP3402755B2

JP3402755B2 - 領域分割方法

Info

Publication number: JP3402755B2
Application number: JP13165194A
Authority: JP
Inventors: 敏文山合
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1994-06-14
Filing date: 1994-06-14
Publication date: 2003-05-06
Anticipated expiration: 2018-05-06
Also published as: JPH07334614A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字認識装置（ＯＣ
Ｒ）の前処理部、ファクシミリやテレックス等の通信機
器、光ファイル等の画像データベース入力等に利用され
る画像処理技術に係り、特に、文書等の画像データよ
り、文字領域や図表領域等の属性の異なる情報領域を抽
出するための領域分割技術に関する。

【０００２】

【従来の技術】文字領域や図表領域等の属性の異なる情
報領域が混在した文書等の文字認識を行なう場合、ある
いは、そのような文書等の画像を光ディスク等の記憶メ
ディア上にファイリングしたりファクシミリで送信した
りする場合等に、しばしば、画像を属性の異なる情報領
域毎に分割し、各領域毎に処理方法を切り替えたり、あ
るいは特定の領域だけを特定の処理の対象にする等の制
御が必要になる。

【０００３】従来、このような領域分割に関して、周辺
分布を用いて文字領域とその他の領域とに切り分ける方
法（特開昭６２−７１３７９号）や、周辺分布を利用し
て黒画素群の外接矩形を抽出し、それらをパラメータ処
理により統合していくことによって文字領域を構成し、
他の領域と分割する方法（特開平３−１２６１８１号）
が知られている。

【０００４】しかし、前者の方法は、画像のスキューへ
の対応が難しく、さらには、対象とする文書毎にパラメ
ータの設定が必要になるという難点がある。後者の方法
も外接矩形の抽出に周辺分布を利用する関係から、画像
のスキューの程度によってはスキュー補正処理が必要に
なるという問題点がある。また前者の方法は、文字領域
において矩形の重なりがある場合や、囲み記事の領域が
含まれるような構造の複雑な文書への対応が困難である
という難点がある。

【０００５】また、矩形統合により文字領域を抽出する
領域分割の方法として、本出願人の特願平５−１５９１
９０号の明細書に記載された方法がある。この方法で
は、文書等の画像を予め所定倍率で圧縮し、その圧縮画
像より黒画素連結成分に外接する矩形を抽出し、画像圧
縮による文字の矩形の融合度合に応じて、あるいは、行
方向に近接した文字の矩形間の距離の分布に応じて、文
字の矩形を行方向へ統合するためのパラメータ（矩形間
距離の閾値）を自動的に変化させるなどによって、スキ
ュー補正を不要とし、かつ、複雑な文書構造、様々な文
字サイズの文書に対応することが可能である。しかしな
がら、この方法によっても、様々な文書類に適用した場
合、例えば、英文書等でコラム間の距離よりも単語間距
離のほうが大きい場合などに、同一行が複数の行に分解
されてしまって正確な文字領域の抽出ができないような
ケースを生じることが判明している。

【０００６】

【発明が解決しようとする課題】上に述べた特願平５−
１５９１９０号の領域分割方法は、２個の文字の矩形を
同一行として統合するか否かの判定を固定又は可変のパ
ラメータ（例えば矩形間距離）によって行なう方式であ
る。このパラメータ処理方式は高速処理が可能である反
面、上に述べたように、正確な結果を得られる対象文書
の許容度が小さい。

【０００７】本発明は、文字矩形を統合して文字領域を
生成するというボトムアップ的手法による領域分割方法
において、パラメータ処理方式だけでは正確な領域分割
結果が得られないような文書画像等に対しても対応でき
るようにし、処理可能な文書等の許容度を拡大しようと
するものである。

【０００８】

【課題を解決するための手段】本発明の骨子は、文書等
の画像を所定倍率で圧縮した画像より黒画素連結成分に
外接した矩形を抽出し、抽出した矩形の中で文字の矩形
と判断される矩形を行方向へ統合する領域分割方法にお
いて、文字矩形の統合を行なう際に、注目した２個の文
字矩形が同一行として統合できるか否かを判断するため
の条件として、当該２個の文字矩形と、これら２個の文
字矩形が含まれない行の他の文字矩形又は該他の文字矩
形の統合された行との位置関係に関する条件を含むこと
である。

【０００９】注目した２個の文字矩形と、これら２個の
文字矩形が含まれない行の他の文字矩形または行との位
置関係の条件の具体的な例としては、後記実施例に関連
して詳細に説明するような、該２個の文字矩形のそれぞ
れと、その上側又は下側の接近した他の文字矩形又は行
との、先頭位置又は末尾位置の行方向の距離に関する条
件、あるいは、該２個の文字矩形の間の空間の上又は下
に設定した仮想領域と、他の文字矩形又は行との重なり
の関係の条件などがある。

【００１０】

【作用】パラメータ方式では、統合判定のためのパラメ
ータを大きめに設定すると、同一行であるべき行が分割
されてしまったり、逆にパラメータを小さめにすると、
別々のコラムの行が統合されてしまうといった不都合が
起きやすい。

【００１１】これに対し、上述のように本発明の方法
は、２つの文字矩形を同一行として統合すべきか否かの
判断の際に、周辺の文字矩形又は行との位置関係を参照
するため、そのような不都合を回避することができる。

【００１２】より具体的に述べれば、複数のコラム（文
字領域）がある場合、各コラム内の行の先頭又は末尾が
揃っていることが多い。また、複数行からなるコラム内
では、各行を構成する文字矩形と文字矩形との間の空間
の上又は下に、上または下の行を構成する文字矩形が存
在する確率が高い。本発明によれば、そのような性質を
利用し、パラメータ処理では正しい判定が困難な文字矩
形の統合判定を的確に行なうことができる。

【００１３】なお、上に述べた注目した文字矩形と、他
の文字矩形又は行との位置関係に関する条件による統合
判定と、固定又は可変パラメータによる統合判定とを組
合わせる態様も当然に本発明の範囲に含まれるものであ
り、それによりパラメータ方式の高速性を活かしつつ、
パラメータ方式のみでは正確な領域分割結果が得られな
いような文書等に対しても高精度の領域分割が可能とな
る。

【００１４】

【実施例】以下、本発明のいくつかの実施例について、
図面を用い説明する。

【００１５】図１は、各実施例のための装置例を示すブ
ロック図である。図１において、スキャナ１により読み
取られた文書画像の２値データは、画像入力部２によっ
て画像メモリ３に格納される。画像メモリ３内の文書画
像データは、領域識別部６内の画像圧縮部７に読み出さ
れ、ここで所定の圧縮率のＯＲ圧縮を施されてから画像
メモリ３に戻される。画像メモリ３内の文書画像データ
は、画像表示部４によってディスプレー５に表示させる
ことができる。なお、画像入力部２より文書画像データ
を画像圧縮部７へ直接入力し、ここで圧縮した画像デー
タを画像メモリ３に格納することも可能である。

【００１６】領域識別部６は、前記の画像圧縮部７と、
外接矩形検出部８、矩形分類部９、文字領域統合部１０
から構成されている。各部の役割は次のとおりである。

【００１７】外接矩形検出部８は、画像メモリ３内の圧
縮された文書画像データより、黒画素の繋りを調べ、黒
画素連結成分に外接する矩形を抽出する部分である。こ
こで抽出された矩形には、文字（１文字又は２文字以上
の文字列）の矩形のほか、罫線、ノイズ、表、図その
他、様々な属性の矩形が含まれる。

【００１８】矩形分類部９は、このような様々な属性の
矩形を、矩形の内部データ、矩形の形状等から判別分類
する部分である。この分類のための具体的な方法は様々
なものが知られているが、例えば先に引用した特願平５
−１５９１９０号の明細書に述べられているような方法
を利用してよい。

【００１９】文字領域統合部１０は、矩形分類部９によ
って文字に分類された矩形に対して統合処理を行ない、
文字領域に統合する部分である。本発明は、この文字領
域統合部１０に関わるものである。

【００２０】領域識別部６による領域識別の結果は文字
認識部１１による文字認識処理に利用される。つまり、
ここに示す例にあっては領域識別部６は光学的文字認識
の前処理部として利用される。ただし、これは一例に過
ぎないことは当然である。

【００２１】図２は、文字領域統合部１０の内部構成の
例を示すブロック図である。図２の（ａ）は後記実施例
１及び実施例２に係る構成を示しており、（ｂ）は後記
実施例３に係る構成を示している。

【００２２】図２において、パラメータ設定部１０Ａは
文字領域を統合していく上で閾値となるパラメータを設
定する部分である。このパラメータは、予め対象文書の
種類に応じた固定値を設定するようにしてもよいし、あ
るいは、先に引用した特願平５−１５９１９０号の明細
書に述べられているように、文字矩形の融合度合や行方
向に近接した文字矩形の距離の分布に基づいて自動的に
設定させるようにしてもよい。

【００２３】文字間統合処理部１０Ｂは、文字矩形を行
方向に統合する処理を行なう部分である。図２（ｂ）に
示した文字間再統合処理部１０Ｃは、文字間統合処理部
１０Ｂと実質的に同一の統合処理を行なう部分であり、
これは後記実施例３でのみ必要となる。文字間統合処理
部１０Ｂと文字間再統合処理部１０Ｃとが、本発明の要
旨に直接関連する部分である。

【００２４】行間統合処理部１０Ｄは、行方向への文字
矩形の統合により得られた行を、行と垂直な方向へ統合
することによって、文字領域を抽出する部分である。こ
の統合処理の具体的な方法は様々なものが知られている
が、その好ましい例が先に引用した特願平５−１５９１
９０号の明細書に述べられている。

【００２５】以上は各実施例に共通の説明である。文字
間統合処理部１０Ｂ又は文字間再統合処理部１０Ｃにお
ける統合処理について、実施例毎に詳細に説明する。な
お、便宜上、文書画像上の行の方向を水平方向として説
明する。

【００２６】＜実施例１＞本実施例における文字間統合
処理部１０Ｂの処理フローを図３に示す。まず、全ての
矩形より順に１個ずつ、処理矩形（矩形番号ｉ）として
選び、それが文字の矩形であるか調べる処理を文字矩形
が見つかるまで繰り返す（ステップ３０１〜ステップ３
１０）。この処理ループで調べる矩形がなくなった時点
で文字間統合処理は終了する。

【００２７】１つの文字矩形が処理矩形として選び出さ
れると、この処理矩形に関するステップ３１５以下の処
理に入る。まず、処理矩形（矩形番号ｉ）の次の矩形よ
り順に１個ずつ、処理矩形との統合の相手方となる矩形
（参照矩形と呼ぶ、矩形番号ｊ）を選び、それが文字の
矩形であるか調べる処理を文字矩形が見つかるまで繰り
返す（ステップ３１５〜３２５）。矩形がなくなった時
点で、この処理ループを抜けてステップ３０１〜３１０
のループへ戻り、次の処理矩形に関する処理を開始す
る。

【００２８】文字矩形である参照矩形が見つかると、処
理矩形と参照矩形との垂直方向（行の上下方向）の距離
が所定値を超えているか調べ（ステップ３３０）、この
垂直距離が所定値を超えているときには、この参照矩形
と処理矩形とは同一行の矩形である可能性がないのでス
テップ３１５に戻って次の参照矩形を探す。

【００２９】垂直距離が所定値以下である場合、処理矩
形と参照矩形とは同一行の矩形である可能性があるの
で、両矩形間の水平方向の距離が閾値（パラメータ設定
部１０Ａで設定されたパラメータ）以下であるか調べる
（ステップ３３５）。ここまでがパラメータ方式による
統合判定処理である。そして、水平距離が閾値以下であ
れば、処理矩形と参照矩形とを統合し（ステップ３６
０）、ステップ３１５に戻って次の参照矩形についての
処理に入る。

【００３０】ステップ３３５で水平距離が閾値を超えて
いると判断した場合、処理矩形と参照矩形とを統合する
か否かを、別の文字の矩形（参照矩形［２］と呼ぶ）を
参照することによって判定する処理ループ（ステップ３
４０〜３５５）に入る。まず、全ての矩形より１個ずつ
参照矩形［２］としての矩形（矩形番号ｋ）を選び、そ
れが文字の矩形であるか調べる処理を、調べる矩形がな
くなるまで繰り返す（ステップ３４０〜３５０）。調べ
る矩形がなくなった時点で、この処理を抜けてステップ
３１５に戻る。

【００３１】文字矩形である参照矩形［２］が見つかる
と、参照矩形［２］に関連した統合条件を調べる（ステ
ップ３５５）。「統合する（同一行である）」と判断し
た場合以外はステップ３４０へ戻る。統合する（同一行
である）と判断した場合には、ステップ３６０に進み処
理矩形と参照矩形とを統合した後に、ステップ３１５へ
戻る。

【００３２】実際の処理の流れとしては、ステップ３４
０〜３５５のループで、参照矩形［２］として選ばれた
文字矩形毎に条件を順次調べて、その結果をフラグ情報
として蓄積していき、このフラグ情報に基づいて「同一
行である」（統合する）か否かを判断する。例えば、あ
る処理矩形と参照矩形に関して、「同一行らしい」とい
う条件に２つ以上該当するか、「同一行である」という
条件に１つでも該当すれば「同一行である」と確定する
（統合する）。一方、「同一行でないらしい」という条
件に１つでも該当すれば、「同一行でない」と確定する
（統合対象から外す）。

【００３３】なお、より一般的に言えば、複数の条件に
ついての判定結果を多値で分類し、統計的確率を用いて
最終判断を出す方法や、経験的結果をテーブルにしてお
いて、それを参照して判断する方法などが可能である。

【００３４】次に、ステップ３５５における条件判定の
具体例を説明する。ここに示す例は、次の統合条件１−
１から統合条件１−３までの判定を行ない、その結果よ
り上に述べたルールによって最終的に判断する。

【００３５】＜統合条件１−１＞複数のコラム（文字領
域）がある場合、各コラム内の行の先頭又は末尾が揃っ
ていることが多い。この性質を統合判定に利用する。

【００３６】すなわち、矩形の処理順が文書画像の左上
角から右下角へ向かってラスタースキャンをするかの様
な順番であるとすると、処理矩形に対して参照矩形は右
側に位置する。もし、処理矩形と参照矩形とが別々のコ
ラムの行の文字矩形であれば（同一行として統合すべき
でない矩形であれば）、参照矩形の上又は下に先頭位置
の近い参照矩形［２］が見つかる可能性が高く、また、
左側の処理矩形の上又は下に末尾位置の近い参照矩形
［２］が見つかる可能性が高い。このような参照矩形
［２］が少なくとも１つ見つかった場合には、処理矩形
と参照矩形とは「同一行でないらしい」と判定する。

【００３７】図４は、この統合条件判定の説明図であ
る。（ａ）に示すように、参照矩形１０１の上側に先頭
位置の接近した（先頭位置の水平距離が所定値以下の）
文字矩形１０３が存在する場合、処理矩形１０２と参照
矩形１０１とは別コラムの行（別の行）である可能性が
高いので「同一行でないらしい」と判定される。同様の
文字矩形が参照矩形１０１の下側に存在する場合も「同
一行でないらしい」と判定される。

【００３８】一方、図４（ｂ）に示すように、処理矩形
１０２の上側に末尾位置の接近した（末尾位置の水平距
離が所定値以下の）文字矩形１０４が存在するときに
は、処理矩形１０２と参照矩形１０１とは別コラムの行
である可能性が高いので「同一行でないらしい」と判定
される。処理矩形１０２の下側に同様の文字矩形が存在
する場合も「同一行でないらしい」と判定される。

【００３９】なお、処理矩形とその上又は下の文字矩形
との末尾位置の距離そのもの、参照矩形の上又は下の文
字矩形との先頭位置の距離そのもの、を特徴量として判
定を行なうことも可能である。

【００４０】＜統合条件１−２＞複数行からなるコラム
内では、各行を構成する文字矩形と文字矩形との間の空
間の上又は下に、上または下の行を構成する文字矩形が
存在する確率が高いことに着目して、統合判定を行な
う。図５及び図６は、この統合条件判定の説明図であ
る。

【００４１】この例では、図５に示すように、処理矩形
１０２と参照矩形１０１との間の空間の上及び下に、あ
る高さと幅を持つ矩形の仮想領域１１０，１１１を設定
する。仮想領域１１０，１１１の高さ（垂直方向の大き
さ）は例えばコラムの行ピッチ程度もしくは文字矩形か
ら推定される標準文字サイズ程度に選ぶことができる。
仮想領域１１０，１１１の幅（水平方向の大きさ）は、
矩形間距離より大きめにして、処理矩形１０２及び参照
矩形１０１に多少重なる（水平方向で）程度のマージン
を持たせる。このように多少のマージンを持たせる目的
は、スキューやスペース分のインデントによって、仮想
領域１１０，１１１が処理矩形１０２及び参照矩形１０
１と重ならなくなることを防止するためである。仮想領
域１１０，１１１の水平方向の中心は、矩形間の空間の
中心に合わせる。上側の仮想領域１１０の底辺は、処理
矩形１０２の上辺と参照矩形１０１の上辺のうちの上側
のものに一致させる。下側の仮想領域１１１の上辺は、
処理矩形１０２の下辺と参照矩形１０１の下辺のうちの
下側のものに一致させる。

【００４２】このような上下の仮想領域１１０，１１１
と重なりのある他の文字矩形を探し、また、重なりのあ
る文字矩形の重なりの度合い、その文字矩形が上下両方
にあるか等を特徴量として、処理矩形１０２と参照矩形
１０１とが同一行であるか否かを判定する。次に、図５
及び図６により、条件について説明する。

【００４３】（条件１−２ａ）図５に示すように上側の
仮想領域１１０を含む（仮想領域の全幅にわたって重な
りのある）文字矩形１２１が存在するか、あるいは下側
の仮想領域１１１を含む文字矩形が存在する場合には、
処理矩形１０２と参照矩形１０１とを「同一行らしい」
と判定する。

【００４４】（条件１−２ｂ）図６（ａ）に示すよう
に、上側の仮想領域１１０を含む（仮想領域の全幅にわ
たって重なりのある）文字矩形１２２と、下側の仮想領
域１１１を含む文字矩形１２３とが両方存在する場合、
処理矩形１０２と参照矩形１０１とは「同一行である」
と判定する。

【００４５】上下の仮想領域１１０，１１１のうち、一
方の仮想領域を含む文字矩形（図６（ｂ）では文字矩形
１２４）が存在し、他方の仮想領域と部分的に重なりの
ある文字矩形（図６（ｂ）では文字矩形１２５）が存在
する場合、前者の文字矩形とそれに近いほうの処理矩形
又は参照矩形（図６（ｂ）では参照矩形１０１）との距
離Ｓｐ１と、後者の文字矩形とそれに近いほうの処理矩
形又は参照矩形（図６（ｂ）では参照矩形１０１）との
距離Ｓｐ２が、Ｓｐ１≦Ｓｐ２ならば、処理矩形１０２
と参照矩形１０１は「同一行である」と判定する。Ｓｐ
１＞Ｓｐ２のときは、図６（ｅ）に示すようなタイトル
１３０の下の別々のコラム１３１，１３２中の先頭行の
文字矩形が処理矩形と参照矩形となっている場合が考え
られるので、判定を据え置く。

【００４６】（条件１−２ｃ）上側又は下側の仮想領域
１１０，１１１と部分的に重なりのある文字矩形（図６
の（ｃ），（ｄ）では文字矩形１２６，１２７）が存在
する場合に、Ｘｓ＜ＶｘｓかつＸｅ＞Ｖｘｍであるとき
（図６（ｃ）のケース）またはＸｓ＜ＶｘｍかつＸｅ＞Ｖｘｅであるとき（図６
（ｄ）のケース）に、処理矩形１０２と参照矩形１０１を「同一行らし
い」と判定する。

【００４７】ただし、図６の（ｃ）及び（ｄ）より明ら
かなように、Ｖｘｓは処理矩形１０２と参照矩形１０１
との間の空間の先端（処理矩形１０２の末尾）のＸ座
標、Ｖｘｅは同空間の末尾（参照矩形１０１の先端）の
Ｘ座標、Ｖｓｍは同空間の中線のＸ座標、ＸｓとＸｅは
仮想領域１１０，１１１に部分的に重なりのある文字矩
形１２６，１２７の先頭と末尾のＸ座標である。

【００４８】＜統合条件１−３＞図７に示すように、処
理矩形１０２と参照矩形１０１との間の空間の上下に、
上記統合条件１−２の場合と同様の仮想領域１１０，１
１１を設定し、それぞれの仮想領域１１０，１１１に重
なりのある文字矩形が存在するか、さらに、処理矩形１
０２及び参照矩形１０１の上下の行ピッチ程度の距離内
に別の文字矩形が存在するかを調べる。

【００４９】そして、図７（ａ）に示すように、上下の
仮想領域１１０，１１１と重なりのある文字矩形がいず
れも存在せず、かつ、処理矩形１０２の上下並びに参照
矩形１０１の上下いずれにも、行ピッチ程度の距離内に
他の文字矩形が存在しない場合には、処理矩形１０２と
参照矩形１０１は独立したタイトル等である可能性が高
いので「同一行らしい」と判定する。

【００５０】一方、図７（ｂ）に示すように、仮想領域
１１０，１１１との重なりのある文字矩形が存在せず、
かつ、処理矩形１０２又は参照矩形１０１の上又は下
の、行ピッチ程度の距離内に、他の文字矩形（図７
（ｂ）では文字矩形１３５，１３６）が存在する場合に
は、処理矩形１０２と参照矩形１０１とは別々のコラム
の行である可能性が高いので「同一行ではないらしい」
と判定する。

【００５１】＜実施例２＞本実施例における文字間統合
処理部１０Ｂの処理フローを図８に示す。図８におい
て、ステップ４０１〜４１０は図３のステップ３０１〜
３１０と同一内容の処理ステップであり、処理矩形とし
ての文字矩形を選ぶための処理部分である。ステップ４
１５〜４３５は図３のステップ３１５〜３３５と同一内
容の処理ステップで、参照矩形としての文字矩形を選
び、文字矩形と参照矩形との間の距離により統合判定を
行なう部分である。以上の処理部分に関しては、前記実
施例１と処理内容が全く同一である。また、ステップ４
６０は、ステップ３６０と同一の矩形統合の処理ステッ
プである。

【００５２】ステップ４４０〜４５５は図３のステップ
３４０〜３５５に対応する処理ループであるが、処理矩
形及び参照矩形の統合判定のために、文字矩形ではな
く、その段階までに文字矩形統合により生成された行を
参照する点が前記実施例１と異なる。

【００５３】すなわち、ステップ４３５で処理矩形と参
照矩形との間の水平距離が閾値を超えていると判断した
場合、統合により生成されている行より、最初のものか
ら順に１個ずつ参照行としての行（行番号ｋ）を選び、
参照行に関連した統合条件の判定（ステップ４５５）を
行なう処理を繰り返し、各判定の結果をフラグ情報とし
て保存し、このフラグ情報より「同一行である」（統合
すべきである）か否かを判断する。この判断方法は、例
えば前記実施例１の場合と同様、ある処理矩形と参照矩
形に関して、「同一行らしい」という条件に２つ以上該
当するか、「同一行である」という条件に１つでも該当
すれば「同一行である」（統合する）と判断し、一方、
「同一行でないらしい」という条件に１つでも該当すれ
ば「同一行でない」（統合しない）と判断する。

【００５４】ステップ４５５の統合条件は、前記実施例
１におけるステップ３５５のものと類似しているが、文
字矩形ではなく、文字矩形を統合した行（参照行）を参
照することがステップ３５５とは異なる。また、参照行
となり得る行は、その時点までに生成されている行に限
られるが、逐次処理であるので、参照行は常に処理矩形
又は参照矩形より上側に位置することになる。以下、ス
テップ４５５における統合条件の具体例を説明する。

【００５５】＜統合条件２−１＞前記実施例１の統合条
件１−１に類似しているので、図４を援用して説明す
る。図４の（ａ）に示すように、参照矩形１０１の上側
に先頭位置の接近した（先頭位置の水平距離が所定値以
下の）行（１０３）が存在する場合には、処理矩形１０
２と参照矩形１０１とは「同一行でないらしい」（別コ
ラムの行らしい）と判定する。下側には行が生成されて
いないので、下側については調べない。

【００５６】また、図４の（ｂ）に示すように、処理矩
形１０２の上側に、末尾位置の接近した（末尾位置の水
平距離が所定値以下の）行（１０４）が存在する場合に
は、処理矩形１０２と参照矩形１０１とは「同一行では
ないらしい」と判定する。下側には行が生成されていな
いので、調べる必要はない。

【００５７】なお、処理矩形とその上の行との末尾位置
の距離そのもの、参照矩形の上の行との先頭位置の距離
そのもの、を特徴量として統合判定を行なうことも可能
である。

【００５８】＜統合条件２−２＞前記実施例１の統合条
件１−２に類似しているので、図５及び図６を援用して
説明する。

【００５９】図５に示すように、処理矩形１０２と参照
矩形１０１との間の空間の上に、前述のような高さと幅
を持つ矩形の仮想領域１１０を設定する。下側には行が
生成されていないので、仮想領域を設定する必要はな
い。

【００６０】図６を参照する。上側の仮想領域１１０と
部分的に重なりのある行（図６の（ｃ），（ｄ）では行
（１２６，１２７）が存在する場合に、Ｘｓ＜Ｖｘｓか
つＸｅ＞Ｖｘｍであるとき（図６（ｃ）のケース）またはＸｓ＜ＶｘｍかつＸｅ＞Ｖｘｅであるとき（図６
（ｄ）のケース）に、処理矩形１０２と参照矩形１０１を「同一行らし
い」と判定する。

【００６１】ただし、図６の（ｃ）及び（ｄ）より明ら
かなように、Ｖｘｓは処理矩形１０２と参照矩形１０１
との間の空間の先端（処理矩形１０２の末尾）のＸ座
標、Ｖｘｅは同空間の末尾（参照矩形１０１の先端）の
Ｘ座標、Ｖｓｍは同空間の中線のＸ座標、ＸｓとＸｅは
仮想領域１１０に部分的に重なりのある行（１２６，１
２７）の先頭と末尾のＸ座標である。

【００６２】＜実施例３＞本実施例においては、文字領
域統合部１０は図２（ｂ）に示す構成を有し、文字間矩
形統合処理部１０Ｂと文字間再統合処理部１０Ｃによっ
て２段階の文字矩形統合処理を行なう。

【００６３】文字間統合処理部１０Ｂにおける文字矩形
統合処理の内容は前記実施例２において説明したものと
全く同じであり、その処理フローは図８に示す通りであ
るので、前記実施例２での説明を援用して説明を繰り返
さない。

【００６４】図９は文字間再統合処理部１０Ｃの処理フ
ローを示す。文字間統合処理部１０Ｂによる処理が完了
した後、あるいは、ある範囲以上につい当該処理が進ん
だ後に、文字間再統合処理部１０Ｃによる処理が開始す
る。

【００６５】図９において、ステップ５０１〜５１０は
図３のステップ３０１〜３１０（第４図のステップ４０
１〜４１０）と同一内容の処理ステップであり、処理矩
形としての文字矩形を選ぶための処理部分である。

【００６６】ステップ５１５〜５３５は図３のステップ
３１５〜３３５（図８のステップ４１５〜４３５）と同
一内容の処理ステップで、参照矩形としての文字矩形を
選び、文字矩形と参照矩形との間の水平距離により統合
判定を行なう部分である。ただし、文字間統合処理部１
０Ｂによる文字間統合処理によって、すでに「同一行で
ある」と判断されて統合されている矩形が存在するの
で、ステップ４３５で水平距離がパラメータ以内の場合
には、ステップ５６５で「同一行である」と判断されて
いる処理矩形と参照矩形であるかをチェックし、そのよ
うなものであるならば改めて統合処理のステップ５６０
に進む必要はないので、ステップ５６５よりステップ５
１５に戻って次の参照矩形に関する処理に入る。なお、
ステップ５６０は、図３のステップ３６０（図８のステ
ップ４６０）と同一の矩形統合の処理ステップである。

【００６７】ステップ５４０〜５５５は図８のステップ
４４０〜４５５とほぼ同様の処理ループであるが、文字
間統合処理部１０Ｂによる統合処理が既に実行されてい
るため、ステップ４５５における統合条件の内容が異な
る。その主要な相異点は、処理矩形と参照矩形の上側の
行だけでなく下側の行も参照対象に加えることである。
その結果、前記実施例２に比べ、より高精度の統合処理
を期待できる。

【００６８】なお、図８のステップ４５５と同様、ステ
ップ５５５においては、各参照行に関連した統合条件の
判定結果をフラグ情報として保存し、このフラグ情報よ
り「同一行である」（統合すべきである）か否かを判断
する。この判断方法は、例えば、ステップ４５５と同
様、ある処理矩形と参照矩形に関して、「同一行らし
い」という条件に２つ以上該当するか、「同一行であ
る」という条件に１つでも該当すれば「同一行である」
（統合する）と判断し、一方、「同一行でないらしい」
という条件に１つでも該当すれば「同一行でない」（統
合しない）と判断する。以下、ステップ５５５の統合条
件の具体例を説明する。

【００６９】＜統合条件３−１＞前記実施例１の統合条
件１−１に類似しているので、図４を援用して説明す
る。図４の（ａ）に示すように、参照矩形１０１の上側
に先頭位置の接近した（先頭位置の水平距離が所定値以
下の）行（１０３）が存在する場合には、処理矩形１０
２と参照矩形１０１とは「同一行でないらしい」（別コ
ラムの行らしい）と判定する。下側の行についても同様
の判定を行なう（これが図８のステップ４５５の統合条
件２−１と異なる点である）。

【００７０】また、図４の（ｂ）に示すように、処理矩
形１０２の上側に、末尾位置の接近した（末尾位置の水
平距離が所定値以下の）行（１０４）が存在する場合に
は、処理矩形１０２と参照矩形１０１とは「同一行では
ないらしい」と判定する。下側の行についても同様の判
定を行なう（これが図８のステップ４５５の統合条件２
−１と異なる点である）。

【００７１】なお、処理矩形１０２とその上又は下の行
との末尾位置の距離そのもの、参照矩形１０１の上又は
下の行との先頭位置の距離そのもの、を特徴量として統
合判定を行なうことも可能である。

【００７２】＜統合条件３−２＞前記実施例１の統合条
件１−２に類似しているので、図５及び図６を援用して
説明する。

【００７３】前記実施例１におけると同様、図５に示す
ように、処理矩形１０２と参照矩形１０１との間の空間
の上及び下に、前述のような高さと幅を持つ矩形の仮想
領域１１０，１１１を設定する（下側にも仮想領域１１
１を設定する点が図８のステップ４５５の統合条件２−
２と相違する）。

【００７４】このような上下の仮想領域１１０，１１１
と重なりのある行を探し、また、重なりのある行の重な
りの度合い、その行が上下両方にあるか等を特徴量とし
て、処理矩形１０２と参照矩形１０１とが同一行である
か否かを判定する。

【００７５】（条件３−２ａ）図５に示すように上側の
仮想領域１１０を含む（仮想領域の全幅にわたって重な
りのある）行（１２１）が存在するか、あるいは下側の
仮想領域１１１を含む行が存在する場合には、処理矩形
１０２と参照矩形１０１とを「同一行らしい」と判定す
る。

【００７６】（条件３−２ｂ）図６（ａ）に示すよう
に、上側の仮想領域１１０を含む（仮想領域の全幅にわ
たって重なりのある）行（１２２）と、下側の仮想領域
１１１を含む行（１２３）とが両方存在する場合、処理
矩形１０２と参照矩形１０１とは「同一行である」と判
定する。

【００７７】上下の仮想領域１１０，１１１のうち、一
方の仮想領域を含む行（図６（ｂ）では１２４）が存在
し、他方の仮想領域と部分的に重なりのある行（図６
（ｂ）では１２５）が存在する場合、前者の行（１２
４）とそれに近いほうの処理矩形又は参照矩形（図６
（ｂ）では参照矩形１０１）との距離Ｓｐ１と、後者の
行（１２５）とそれに近いほうの処理矩形又は参照矩形
（図６（ｂ）では参照矩形１０１）との距離Ｓｐ２が、
Ｓｐ１≦Ｓｐ２ならば、処理矩形１０２と参照矩形１０
１は「同一行である」と判定する。Ｓｐ１＞Ｓｐ２のと
きは、図６（ｅ）に示すようなタイトル１３０の下の別
々のコラム１３１，１３２中の先頭行の文字矩形が処理
矩形と参照矩形となっている場合が考えられるので判定
を据え置く。

【００７８】（条件３−２ｃ）上側又は下側の仮想領域
１１０，１１１と部分的に重なりのある行（図６の
（ｃ），（ｄ）では１２６，１２７）が存在する場合
に、Ｘｓ＜ＶｘｓかつＸｅ＞Ｖｘｍであるとき（図６
（ｃ）のケース）またはＸｓ＜ＶｘｍかつＸｅ＞Ｖｘｅであるとき（図６
（ｄ）のケース）に、処理矩形１０２と参照矩形１０１を「同一行らし
い」と判定する。

【００７９】ただし、図６の（ｃ）及び（ｄ）より明ら
かなように、Ｖｘｓは処理矩形１０２と参照矩形１０１
との間の空間の先端（処理矩形１０２の末尾）のＸ座
標、Ｖｘｅは同空間の末尾（参照矩形１０１の先端）の
Ｘ座標、Ｖｓｍは同空間の中線のＸ座標、ＸｓとＸｅは
仮想領域１１０，１１１に部分的に重なりのある行（１
２６，１２７）の先頭と末尾のＸ座標である。

【００８０】＜統合条件３−３＞図７に示すように、処
理矩形と参照矩形との間の空間の上下に、上記統合条件
３−２の場合と同様の仮想領域１１０，１１１を設定
し、それぞれの仮想領域１１０，１１１に重なりのある
行が存在するか、さらに、処理矩形１０２及び参照矩形
１０１の上下の行ピッチ程度の距離内に行が存在するを
調べる。

【００８１】そして、図７（ａ）に示すように、上下の
仮想領域１１０，１１１とも、それとの重なりのある行
が存在せず、かつ、処理矩形１０２の上下並びに参照矩
形１０１の上下いずれにも、行ピッチ程度の距離内に行
が存在しない場合には、処理矩形１０２と参照矩形１０
１は独立したタイトル等である可能性が高いので「同一
行らしい」と判定する。

【００８２】一方、図７（ｂ）に示すように、仮想領域
１１０，１１１との重なりのある行が存在せず、かつ、
処理矩形１０２又は参照矩形１０１の上又は下の、行ピ
ッチ程度の距離内に、行（１３５，１３６）が存在する
場合には、処理矩形１０２と参照矩形１０１とは別々の
コラムの行である可能性が高いので「同一行ではないら
しい」と判定する。

【００８３】

【発明の効果】以上の説明から明らかなように、請求項
１乃至５に記載の発明によれば、パラメータ処理のみに
よる場合に、往々にして生じる不都合、例えば、同一行
であるべき行が複数の行に分割され、あるいは、別々の
行が一つの行に統合されるといった不都合を回避し、正
しい文字領域の抽出が可能となる。特に、請求項３の発
明のように、パラメータ処理と他の文字矩形又は矩形を
参照した条件判定を組み合わせる方法によれば、パラメ
ータ処理の高速性を活かしつつ、正しく処理できる文書
の許容度を拡大できる。

【図面の簡単な説明】

【図１】本発明を実施するための装置構成の一例を示す
ブロック図である。

【図２】（ａ）文字領域統合部の構成例を示すブロック
図である。（ｂ）文字領域統合部の他の構成例を示すブロック図で
ある。

【図３】文字間統合処理部の処理フローの一例を示すフ
ローチャートである。

【図４】統合条件の一例を説明するための図である。

【図５】統合条件の一例を説明するための図である。

【図６】統合条件の一例を説明するための図である。

【図７】統合条件の一例を説明するための図である。

【図８】文字間統合処理部の処理フローの他の一例を示
すフローチャートである。

【図９】文字間再統合処理部の処理フローの一例を示す
フローチャートである。

【符号の説明】

１スキャナ２画像入力部３画像メモリ４画像表示部５ディスプレー６領域識別部７画像圧縮部８外接矩形検出部９矩形分類部１０文字領域統合部１０Ａパラメータ設定部１０Ｂ文字間統合処理部１０Ｃ文字間再統合処理部１０Ｄ行間統合処理部１１文字認識部１０１参照矩形１０２処理矩形１０３，１０４文字矩形（行）１１０，１１１仮想領域１２１〜１２７文字矩形（行）１３０タイトル１３１，１３２コラム１３５，１３６文字矩形（行）

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平３−198177（ＪＰ，Ａ) 特開平７−73271（ＪＰ，Ａ) 特開平６−187490（ＪＰ，Ａ) ＰＲＵ91−７画像の融合を利用した紙面の領域分割，電子情報通信学会技術研究報告，日本，1991年５月23日，第91 巻第50号，ｐｐ．45−50 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82 G06T 7/40

Claims

(57)【特許請求の範囲】

【請求項１】文書等の画像を所定倍率で圧縮した画像
より黒画素連結成分に外接した矩形を抽出し、抽出した
矩形の中で文字の矩形と判断される矩形を行方向へ統合
する領域分割方法において、文字矩形の統合を行なう際
に、注目した２個の文字矩形が同一行として統合できる
か否かを判断するための条件として、当該２個の文字矩
形と、これら２個の文字矩形が含まれない行の他の文字
矩形又は該他の文字矩形の統合された行との位置関係に
関する条件を含むことを特徴とする領域分割方法。
【請求項２】文書等の画像を所定倍率で圧縮した画像
より黒画素連結成分に外接した矩形を抽出し、抽出した
矩形の中で文字の矩形と判断される矩形を行方向へ統合
する領域分割方法において、文字矩形の統合を行なう際
に、相互間の行方向の距離及び行方向と垂直の方向の距
離がそれぞれある値以下の２個の文字矩形を選び、該２
個の文字矩形について同一行として統合できるか否かの
判断を行ない、該判断のための条件として、該２個の文
字矩形と、これら２個の文字矩形が含まれない行の他の
文字矩形又は該他の文字矩形の統合された行との位置関
係に関する条件を含むことを特徴とする領域分割方法。
【請求項３】文書等の画像の所定倍率で圧縮した画像
より黒画素連結成分に外接した矩形を抽出し、抽出した
矩形の中で文字の矩形と判断される矩形を行方向へ統合
する領域分割方法において、文字矩形を統合する処理を
２回行ない、１回目の文字矩形統合処理においては、注
目した２個の文字矩形が同一行として統合できるか否か
を判断するための条件として、当該２個の文字矩形の上
側にある既に統合により生成された行との位置関係に関
する条件を含み、２回目の文字矩形統合処理において
は、注目した２個の文字矩形が同一行として統合できる
か否かを判断するための条件として、当該２個の文字矩
形の上側及び下側にある既に統合により生成された行と
の位置関係に関する条件を含むことを特徴とする領域分
割方法。
【請求項４】注目した２個の文字矩形が同一行として
統合できるか否かの判断のための条件として、該２個の
文字矩形のそれぞれと、その上側又は下側の接近した他
の文字矩形又は行との、先頭位置又は末尾位置の行方向
の距離に関する条件を含むことを特徴とする請求項１、
２又は３記載の領域分割方法。
【請求項５】注目した２個の文字矩形が同一行として
統合できるか否かの判断のための条件として、該２個の
文字矩形の間の空間の上又は下に設定した仮想領域と、
他の文字矩形又は行との重なりの関係に関する条件を含
むことを特徴とする請求項１、２又は３記載の領域分割
方法。