JPH08221506A - 帳票文書認識装置および帳票文書認識方法 - Google Patents

Abstract

(57)【要約】 【目的】 複雑な表を含む帳票文書や品質の悪い帳票文
書画像においても、長方形枠の抽出を簡易かつ正確に行
うことのできる帳票文書認識装置を提供する。 【構成】 本発明は、複数の長方形枠からなる表を含む
帳票文書を認識する帳票文書認識装置において、入力さ
れた帳票文書の画像データ中から所定のしきい値以上の
長さを有する線分を抽出する線分抽出手段と、抽出され
た前記線分のうち互いに直交するもの同士の交点を抽出
する交点抽出手段と、抽出された前記交点の集合の中か
ら長方形の４頂点となる４つの交点を選択し、該４つの
交点からなる長方形の辺に相当する部分に所定のしきい
値以上の抽出された線分が存在する場合、該４つの交点
からなる長方形を長方形枠として決定する長方形枠抽出
手段とを具備することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、表形式の部分を含む帳
票あるいは文書をデータ化する帳票文書認識装置および
方法に関する。

【０００２】

【従来の技術】帳票文書には、一般に、表を形成する罫
線と文字が含まれ、場合によってはその他に下線や区切
り線のようなガイドラインあるいは図・写真などの多く
の種類の線分が含まれる。

【０００３】上記のような帳票文書を認識するための帳
票文書認識装置では、まず帳票文書中から正確に罫線を
抽出することが重要になる。従来の帳票文書認識装置の
多くは、罫線を抽出する方法として、まず帳票文書の入
力画像から線分を抽出し、抽出した線分のうち所定の条
件を満たすものを罫線として決定するような方法を取っ
ている。例えば、抽出された線分の長さを計測し、これ
が設定したしきい値よりも長いものを罫線とする方法が
ある。

【０００４】しかしながら、そのような方法では、罫線
のつもりで記述された線分が上記の所定の条件を満たし
ていなかったために罫線として抽出することに失敗した
り、あるいは、文字を構成する線分が上記の所定の条件
を満たしてしまい、これを罫線と誤判別することがあっ
た。例えば、帳票文書画像のかすれや線の途切れなどに
よって抽出した線分がしきい値よりも短くなり、罫線の
抽出に失敗することがあった。また、複雑な帳票文書画
像においては、文字と罫線が接近していたり、文字パタ
ーン中にしきい値を越える長さの線分を含んでいたりす
ることがあり、文字を罫線と誤判別してしまうことがあ
った。

【０００５】帳票文書を認識するために表部分の構造認
識や文字コード認識を行うとき、表の基本構成要素であ
る長方形枠（矩形領域）を抽出することは重要である。
従来、この長方形枠の抽出方法として、画像中から検出
した交差パターンに基づいて抽出する方法があった。例
えば、特開平２−５０７７４号公報に示される方法で
は、画像中からくさび型やＴ字型などのパターンを抽出
し、パターンの分析と組合せにより表領域を抽出してい
る。この方法では、ある程度のカスレや線の途切れに対
しては対応できるが、複雑な文書画像においては、文字
列部分のパターンを交差パターンと間違えてしまう場合
があり、確実に文字列パターンを除去できないという欠
点があった。

【０００６】線分と線分の交点という概念を使って長方
形領域を抽出しようという方法もある。例えば、成瀬博
之他「枠罫線情報を用いた帳票文書の構造認識」（電子
情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７５−Ｄ−Ｉ
Ｉ，Ｎｏ．８）に示されるように、抽出されている罫線
を延長して矩形領域を積極的に作成し、長方形枠として
抽出する方法である。しかし、この方法は、正しい罫線
が抽出されていることを前提として矩形領域を作成する
ものであり、上記のものと同様、文字と表が接触してい
たり、文字部分にノイズがかかっている場合には、文字
と罫線を分類することはできず、正しい罫線が抽出でき
ないので、正しい長方形を抽出することができなかっ
た。

【０００７】長方形枠を抽出する際、４つの頂点の接続
状態あるいは頂点付近の形状を求めるものでは、頂点付
近の局所パターンを詳細に認識していたので、処理時間
がかかるといった欠点があった。

【０００８】

【発明が解決しようとする課題】以上述べたように、従
来の帳票文書認識装置および方法では、帳票文書の入力
画像から抽出した線分のうち所定の条件を満たすものを
罫線として決定するような方法を取っていたので、帳票
文書に複雑な表が含まれるなどして入力画像中に種々の
線分が込み入って存在していたり、帳票文書の入力画像
の品質が悪かったりする場合、罫線の抽出に失敗した
り、罫線でないものを罫線として抽出してしまうなど正
確な罫線の抽出ができず、正確な長方形枠の抽出ができ
なかった。

【０００９】また、画像中から検出した線分の交差パタ
ーンに基づいて長方形枠を抽出する方法では、複雑な表
を含むような帳票文書に対しては、文字列部分のパター
ンを交差パターンと間違えてしまい、正確な長方形枠の
抽出ができなかった。

【００１０】また、抽出した罫線を延長して矩形領域を
積極的に作成し、長方形枠として抽出する方法では、文
字と表が接触していたり、文字部分にノイズがかかって
いる場合には、正確な長方形枠の抽出ができなかった。

【００１１】さらに、長方形枠を抽出する際、４頂点の
接続状態あるいは頂点付近の形状を検査して長方形枠を
抽出するものでは、頂点付近の局所パターンを詳細に認
識するための処理に時間がかかるといった欠点があっ
た。

【００１２】本発明は、上記事情を考慮してなされたも
ので、複雑な表を含む帳票文書や品質の悪い帳票文書画
像においても、長方形枠の抽出を簡易かつ正確に行うこ
とのできる帳票文書認識装置および方法を提供すること
を目的とする。

【００１３】また、本発明は、帳票文書画像から長方形
枠の各頂点の接続状態および各頂点の形状を簡易に求め
ることのできる帳票文書認識装置および方法を提供する
ことを目的とする。

【００１４】

【課題を解決するための手段】本発明は、複数の長方形
枠からなる表を含む帳票文書を認識する帳票文書認識装
置において、入力された帳票文書の画像データ中から所
定のしきい値以上の長さを有する線分を抽出する線分抽
出手段と、抽出された前記線分のうち互いに直交するも
の同士の交点を抽出する交点抽出手段と、抽出された前
記交点の集合の中から長方形の４頂点となる４つの交点
を選択し、該４つの交点からなる長方形の辺に相当する
部分に所定のしきい値以上の抽出された線分が存在する
場合、該４つの交点からなる長方形を長方形枠として決
定する長方形枠抽出手段とを具備することを特徴とす
る。

【００１５】また、本発明は、複数の枠からなる表を含
む帳票を認識する帳票文書認識装置において、入力され
た帳票文書の画像データ中から長方形枠を抽出する長方
形枠抽出手段と、抽出された前記長方形枠の各頂点と前
記画像データ中の前記表を構成する枠の各頂点近傍の線
分との間のずれを夫々計測する頂点ずれ計測手段と、計
測された各頂点と線分の間の夫々のずれを表す情報によ
って、前記表を構成する枠の各頂点の接続状態または各
頂点の形状を決定する頂点属性計測手段とを具備するこ
とを特徴とする。

【００１６】本発明は、複数の長方形枠からなる表を含
む帳票文書を認識する帳票文書認識方法において、入力
された帳票文書の画像データ中から所定のしきい値以上
の長さを有する線分を抽出し、抽出された前記線分のう
ち互いに直交するもの同士の交点を抽出し、抽出された
前記交点の集合の中から長方形の４頂点となる４つの交
点を選択し、該４つの交点からなる長方形の辺に相当す
る部分に所定のしきい値以上の抽出された線分が存在す
る場合、該４つの交点からなる長方形を長方形枠として
決定することを特徴とする。

【００１７】本発明は、複数の枠からなる表を含む帳票
を認識する帳票文書認識方法において、入力された帳票
文書の画像データ中から長方形枠を抽出し、抽出された
前記長方形枠の各頂点と前記画像データ中の前記表を構
成する枠の各頂点近傍の線分との間のずれを夫々計測
し、計測された各頂点と線分の間の夫々のずれを表す情
報によって、前記表を構成する枠の各頂点の接続状態ま
たは各頂点の形状を決定することを特徴とする。

【００１８】

【作用】本発明では、帳票文書画像より抽出された線分
より、（長方形枠を形成することができるような）ある
一定以上の長さをもつ線分をピックアップし、互いにほ
ぼ垂直に（あるいは所定の角度で）交差する線分同士の
交点を検出し、さらに求められた交点より４点をピック
アップし、この４点が長方形枠の頂点となりうるかを頂
点間の線分の有無にてチェックすることにより、長方形
枠を求められる。

【００１９】したがって、本発明によれば、線分と線分
の交点情報を使用しているため、抽出された線分が途切
れている場合でも、あるいは線が完全に交わっていない
場合でも、確実に長方形枠の頂点を検出することが可能
である。さらに、求めた交点より長方形枠が生成できる
かをチェックすることにより、線の分類を長方形枠抽出
の前に行ってしまうのではなく、長方形枠抽出の過程で
罫線であるか文字であるかを判断しながら分類すること
ができ、線種判別の間違いも少なく、罫線と文字パター
ン中の線分と判別を正確に行うことができる。同時に、
複雑な文書画像に対しても正確な長方形枠の抽出を行う
ことが可能となる。

【００２０】また、本発明では、帳票文書画像より抽出
された線分より長方形枠を形成し、長方形枠の各頂点に
対応する線分との距離を計測し、計測された各頂点と線
分との距離によって頂点の接続状態および交点の形状を
決定する。

【００２１】したがって、本発明によれば、頂点と線分
の距離を利用するだけで、各頂点の接続状態および頂点
付近の形状を求めることにより、複雑な処理を行うこと
はなく、簡易に、頂点の丸みなどの形状を決定すること
ができる。

【００２２】

【実施例】以下、図面を参照しながら実施例を説明す
る。図１は、本発明の第１の実施例に係る帳票文書認識
装置の構成を示すブロック図である。本実施例の帳票文
書認識装置は、画像入力部１、線分抽出部２、線分分類
部３、文字列枠抽出部５、文字列認識部６、帳票文書作
成部７、出力部８より構成される。線分分類部３は、内
部に長方形枠抽出部４を持つ。

【００２３】画像入力部１は、処理対象となる帳票文書
を画像データとして入力するためのものであり、例えば
イメージ・スキャナーなどからなる。線分抽出部２は、
入力した画像データに対して、２値化処理、細線化処
理、線分接続処理などの前処理を施し、入力画像データ
を線分データとして抽出する。線分データには、長さ、
終始点座標などが含まれる。

【００２４】線分分類部３は、抽出された線分を、長方
形枠データ、罫線データ（長方形枠を構成する線分も含
む）、文字パターンデータに分類して出力する。上記の
長方形枠データは、線分分類過程の中で線分分類部３内
の長方形枠抽出部４にて抽出される。

【００２５】文字列枠抽出部５は、長方形枠データを参
照して、文字パターンデータを文字列に分割し、各文字
列の座標位置や縦横のサイズを計測する。また、文字列
に外接する文字列枠を抽出する。

【００２６】文字認識部６は、抽出された文字列を文字
パターン認識処理にて文字コードに変換し、文字列単位
に文字コードデータを出力する。帳票文書作成部７は、
罫線データ、長方形枠データおよび文字コードデータか
ら帳票文書データを作成する。

【００２７】出力部８は、帳票文書データを出力するた
めのものであり、例えば表示装置やプリンタなどからな
る。作成した帳票文書データは、図示しない磁気記憶装
置などに格納することができる。

【００２８】以下、図２に示すフローチャートを参照し
ながら、本実施例の処理の流れを説明する。なお、図３
に、入力する帳票の一例を、図４に、図３の入力帳票を
読み取ったデータの一例を示す。

【００２９】［ステップＳ１］まず、画像入力部１から
処理対象となる帳票文書を光学的に読取る。入力した画
像データは、一旦、図示しない画像メモリなどに格納す
る。

【００３０】［ステップＳ２］線分抽出部２は、入力し
た画像データに対して、２値化処理、細線化処理、線分
接続処理などの前処理を施し、入力画像データをすべて
線分データとして抽出する。

【００３１】図５に、線分抽出部２における線分抽出処
理の一例のフローチャートを示す。まず、入力画像デー
タに対し予め設定したしきい値にて２値化処理を施す
（ステップＳ２１）。２値化画像に対し細線化処理を行
う（ステップＳ２２）。得られた細線に対して、チェイ
ンコードを計測し、折れ線近似を行う（ステップＳ２
３）。そして、折れ線近似された線分単位に、長さ、終
始点座標、角度等の特徴量計測を行う（ステップＳ２
４）。最後に、上記の特徴量を参照して、複数の線分が
接近しており、かつ、角度の差が小さいもの同士を接続
し、これを抽出した線分として出力する（ステップＳ２
５）。

【００３２】［ステップＳ３］抽出された線分は、線分
分類部３で、罫線または文字パターン中の線分に分類さ
れる。また、線分分類過程の中で、線分分類部３内の長
方形枠抽出部４よって長方形枠が抽出される。

【００３３】図６は、線分分類部３における線分分類処
理の一例のフローチャートである。まず、線分抽出部２
において抽出された線分データの中から、長さが予め設
定したしきい値ｔ１よりも小さい線分を罫線になり得な
い微小線分として除去する（ステップＳ３２）。

【００３４】除去されなかったｔ１以上の長さの線分の
うち、長さが予め設定したしきい値ｔ２（ｔ２＞ｔ１）
よりも大きい線分の角度を平均し、画像全体の傾きを計
測する（ステップＳ３３）。傾き計算は線分の角度のヒ
ストグラムをとり最大値をとっても良い。もちろん、す
べての線分から傾きを求めても構わない。

【００３５】求めた線分の角度を参照し、画像の傾きに
対してほぼ水平または垂直である線分を抽出する（ステ
ップＳ３４）。長方形枠抽出部４にて、後述するような
手順で、抽出された水平線分および垂直線分によって作
られる長方形枠の抽出を行う（ステップＳ３５）。

【００３６】抽出された長方形枠ごとに、４つの頂点の
接続状態および形状、斜線の有無、長方形枠の４辺とそ
の内部にある斜線の線種および線幅等の属性を計測する
（ステップＳ３６）。

【００３７】ここで得られた長方形枠の座標位置および
その他の属性を長方形枠データとする（ステップＳ３
７）。上記ステップＳ３５の長方形枠抽出処理の結果、
長方形枠を形成する４辺に使われた線分を罫線データと
する（ステップＳ４０）。一方、上記ステップＳ３５の
長方形枠抽出処理の結果、長方形枠を形成する４辺に使
われなかった線分については、その線分の長さと予め定
めたしきい値ｔ３とを比較し（ステップＳ３９）、しき
い値ｔ３よりも長いものは罫線データとし（ステップＳ
４０）、それ以外のものを文字パターンの線分とみなし
文字パターンとする（ステップＳ４２）。

【００３８】また、ステップＳ３４の水平・垂直線分抽
出処理の結果、水平・垂直でない線分に対して、長方形
枠の属性（斜線、頂点の形状）として使われた線分は罫
線データとする（ステップＳ３９，Ｓ４０）。一方、長
方形枠の属性（斜線、頂点の形状）として使われなかっ
た線分は文字パターンとする（ステップＳ３９，Ｓ４
２）。

【００３９】さらに、ステップＳ３２にて微小線分とし
て除去された線分は文字パターンとする（ステップＳ４
２）。以上により、線分の分類と長方形枠の抽出が行わ
れ、線分分類部３からは、分類結果である、文字パター
ンデータ、罫線データ、長方形枠データが、それぞれ出
力される。なお、図・写真中の線分や下線・区切り線等
のガイドラインなどその他の線分は、罫線に分類される
こととなる。

【００４０】ところで、上記ステップＳ３５の長方形枠
抽出では、複数の長方形枠からなる大きな長方形枠が重
複して抽出されることがある。例えば図４において、長
方形枠Ｒ［３−１−４−７］は、複数の小さい長方形枠
（Ｒ［２−１−４−５］とＲ［３−２−５−７］）を含
んでいるため、大きい長方形枠を出力すべき長方形枠デ
ータから消去する処理を行う。ここで、長方形枠Ｒ［ａ
−ｂ−ｃ−ｄ］は左下点Ｐａ、左上点Ｐｂ、右上点Ｐ
ｃ、右下点Ｐｄを４頂点とする長方形枠と定義する。そ
こで、図６のフローチャートにおいて、ステップＳ３５
の長方形枠抽出あるいはステップＳ３６の長方形枠の属
性計測の後で、重複する長方形枠の消去処理を行なうと
良い。この処理は、４つの頂点の座標値を参照して、も
し、大きい長方形枠が小さい長方形枠を含んでいる場合
は、この大きい長方形枠を消去する。以上により、重複
する長方形枠の消去を行うことができる。

【００４１】図７は、線分分類部３内の長方形枠抽出部
４において行われる上記ステップＳ３５の処理手順の一
例を示したフローチャートである。まず、垂直な線分と
水平な線分の交点の座標を計算する（ステップＳ５
１）。ここで求められる交点は、線分上になくても構わ
ない。

【００４２】図８に示すようなケースを考慮に入れ、線
分の外側で交わる場合においても抽出すべき交点Ｐ６
１，Ｐ６２として抽出する。ただし、線分の端と交点の
距離Ｄｍがあるしきい値Ｄよりも大きい場合（Ｄｍ＞
Ｄ）は抽出すべき交点としない。距離Ｄｍは、水平方向
の距離Ｄｘと垂直方向の距離Ｄｙの最大値Ｄｍ＝ＭＡＸ
（Ｄｘ，Ｄｙ）である。線分中に交点が存在する場合、
Ｄｉ＝−１としておく。

【００４３】次に、その抽出された交点に対して冗長で
あるものを除去する（ステップＳ５２）。図９に示すよ
うに複数の交点が一箇所に接近している場合は、１点に
まとめる処理をする。ここでは、交点と線分の端との距
離Ｄｍが小さい方の交点を用いる。距離Ｄｍが等しいと
きは、座標を平均化する。図９のケースでは、交点Ｐ７
１と交点Ｐ７２が非常に近いため、交点と２本の線分と
の距離が小さい線分Ｌ７１と線分Ｌ７２の交点Ｐ７１を
採用し、交点Ｐ７２を削除する。

【００４４】以上で長方形枠の頂点となる可能性のある
交点を抽出することができる。次に、長方形枠の探索を
行う前に、抽出された交点をソートしておく（ステップ
Ｓ５３）。これにより長方形枠の探索速度を上げること
ができる。ソートは画面の左から右に点が並ぶように行
う。したがって、交点のｘ座標値でソートを行う。

【００４５】ソート後、左側の点から順に長方形枠の左
の縦線を生成するために２点をピックアップする（ステ
ップＳ５４）。この処理は画面の左から右に進み、ピッ
クアップする点が右側になくなるまで続けられ（ステッ
プＳ５５）、ピックアップする２点がなくなったとき長
方形枠の探索が終了する。

【００４６】ピックアップされた２点について、垂直性
のチェックを行う（ステップＳ５６）。線分が存在しな
い場合、次ぎの２点をピックアップする。次に、２点間
に線分が存在するかをチェックする（ステップＳ５
７）。線分が存在しない場合、次の２点をピックアップ
する。

【００４７】上記２つのチェックをクリアした場合、長
方形枠の左の縦線が得られたものとして、この縦線から
右側に伸びる横線の探索を行う。そのため、この縦線の
右側に位置する３点目のピックアップを行う（ステップ
Ｓ５８）。３点目としてピックアップする点がなくなっ
たら、この縦線は長方形枠を構成するものではないの
で、新たな縦線候補を探すために次の２点をピックアッ
プをし直す（ステップＳ５９）。

【００４８】最初にピックアップした２点のうち上にく
る（ｘ座標が小さい）点と３点目の点を結ぶ線の水平性
のチェックを行う（ステップＳ６０）。水平でない場
合、次の３点目のピックアップを行う。

【００４９】次に、２点間に線分が存在するかをチェッ
クする（ステップＳ６１）。線分が存在しない場合、次
の３点目をピックアップする。上記２つのチェックをク
リアした場合、長方形枠の上側の横線が得られたものと
して、長方形枠の４番目の頂点の評価を行う。

【００５０】まず、左側の縦線と上側の横線により、４
点目の大方の位置を想定し、４点目のピックアップを行
う（ステップＳ６２）。３点目としてピックアップする
点がなくなったら、この横線は長方形枠を構成するもの
ではないので、新たな横線候補を探すために次の３点目
をピックアップをし直す（ステップＳ６３）。

【００５１】４点目の点によってできた２辺（縦線と横
線）の平行性をチェックする（ステップＳ６４）。平行
でない場合、次の４点目のピックアップを行う。次に、
２点間に線分が存在するかをチェックする（ステップＳ
６５）。線分が存在しない場合、次の４点目をピックア
ップする。

【００５２】上記２つのチェックをクリアした場合、長
方形枠のすべての辺を確定することができる。こうして
完成した長方形枠に関して、４つの頂点の座標値を長方
形枠データとして格納する（ステップＳ６６）。

【００５３】図１０は、図７における線分チェック処理
（ステップＳ５７，Ｓ６１，Ｓ６６）を説明するための
図である。図１０において、点Ｐ８１および点Ｐ８２は
長方形枠の一辺の両端の点、すなわち、頂点の候補点で
ある。この２点間に線分が存在するかチェックする場
合、まず８０のような領域を発生させる。この領域８０
はＰ８１とＰ８２の距離分だけの長さを持ち、ｎ画素分
の幅を持つ。この領域８０の中に、線分抽出部２によっ
て抽出された線分が領域８０の長さ方向に何パーセント
存在するかを確かめる。例えば、領域８０には線分Ｌ８
１、線分Ｌ８２、線分Ｌ８３が存在する。線分Ｌ８３は
領域外にはみ出しているが、長さのカウントには領域に
含まれる部分のみ加えて、存在するパーセントｒを計測
する。このパーセントｓがあるしきい値Ｓよりも大きい
ときは、線分が存在すると認識する。

【００５４】ここで、図３の帳票を入力の具体例とし
て、上記処理を説明する。図３の帳票が画像入力部１か
ら入力されると、線分抽出部２により線分Ｌ１〜Ｌ２２
が得られる。

【００５５】線分分類部３では、長方形枠抽出部４を用
いて水平・垂直線分である線分Ｌ１〜Ｌ１４に対して、
垂直に交わる２本の線分の交点Ｐ１〜Ｐ１５を求める。
前述のように、交点を求める際、線分上に位置せず、線
分の外側で交わるものについても求めるべき交点として
抽出する。例えば、線分Ｌ２と線分Ｌ９の交点Ｐ６、線
分Ｌ４と線分Ｌ１４の交点Ｐ１４である。

【００５６】その後、抽出された交点Ｐ１〜Ｐ７中から
長方形枠を生成できる４つの頂点を見つける。例えば、
Ｐ１、Ｐ２、Ｐ４、Ｐ５の４点から長方形枠Ｒ［２−１
−４−５］を生成する。このようにして、大小２８個の
長方形枠が探索することができる。

【００５７】ただし、このままでは、大きい長方形枠
（例えば、長方形枠Ｒ［３−１−４−７］）は、複数の
小さい長方形枠（この場合、Ｒ［２−１−４−５］とＲ
［３−２−５−７］）を含んでいるため、大きい長方形
枠を出力すべき長方形枠データから消去する。

【００５８】このようにして、Ｒ［２−１−４−５］を
はじめとする８個の長方形枠を出力することができる。
ここで、線分分類部３では、残された長方形枠に対して
属性を計測する。計測する属性項目は、各頂点の接続状
態および形状（角丸み）、枠内の斜線、罫線の線幅、線
種である。この処理より、長方形枠Ｒ［２−１−４−
５］内には斜線が存在することが認識できる。

【００５９】長方形枠として見つかった線分（Ｌ１〜Ｌ
１４）、長方形枠に付随する斜線（Ｌ１５）は罫線とし
て分類し、線分（Ｌ１６〜Ｌ２２）については文字パタ
ーン中の線分として分類する。このようにして、抽出さ
れた線分を正確に分類することが可能であり、同時に長
方形枠を抽出することができる。

【００６０】次に、図１１に、ステップＳ３６の長方形
枠属性計測処理の一例を示す。最初に、斜線抽出処理
（ステップＳ１１１）を行い、長方形枠内の斜線の有無
をチェックする。次に、長方形枠の４辺とその内部にあ
る斜線の線種計測（ステップＳ１１２）および線幅計測
（ステップＳ１１３）を行う。

【００６１】また、必要に応じて次の処理を行なう。頂
点計測処理（ステップＳ１１４）を行い、４つの頂点と
対応する縦の辺および横の辺との距離の計測を行う。そ
の頂点距離に基づいて、頂点形状決定処理（ステップＳ
１１５）と頂点接続状態成形処理（ステップＳ１１６）
のいずれか一方または両方を行う。頂点形状決定処理と
頂点接続状態成形処理の処理順序は任意である。

【００６２】図１２は、ステップＳ１１５の長方形枠の
頂点形状決定処理の一例を説明するための図である。図
１２において、長方形枠Ｒ［１０２−１０１−１０３−
１０４］が抽出されたとする。このとき、頂点Ｐ１０１
の形状を計測するために、頂点Ｐ１０１と線分Ｌ１０３
の距離Ｄｘ＝ａおよび頂点Ｐ１０１と線分Ｌ１０１の距
離Ｄｙ＝ｂを計測する。この結果、α＜Ｄｘ＜β、か
つ、α＜Ｄｙ＜βなる条件が得られれば、この頂点Ｐ１
０１に角丸みがあることを決定し、この頂点Ｐ１０１に
９０度の円弧Ｃ１０１を発生させる。この場合、線分Ｌ
１０５〜Ｌ１０７の特徴について詳細に処理することな
く、円弧Ｃ１０１を発生させることができる。ただし、
円弧Ｃ１０１発生の基となる線分Ｌ１０５〜Ｌ１０７
は、図６のステップＳ３９の線分対応処理において、罫
線の一部として分類する。

【００６３】図１３および図１４は、図１１のステップ
Ｓ１１６の長方形枠の頂点接続状態成形処理を説明する
ための図である。前述した長方形枠抽出部４により抽出
された長方形の頂点において、図１３や図１４のように
１つの線分の外に交点が存在する場合がある。ここで、
交点と、該交点を内部に含まない方の線分との距離Ｄｘ
が所定のしきい値γより小さい場合、線の途切れと見な
して、線分を交点まで延長して線分を接続するように処
理を行なっても良い。例えば、図１３では、線分Ｌ１１
１と線分Ｌ１１２について抽出された交点Ｐ１１１と各
線分Ｌ１１１，Ｌ１１２の距離計測の結果、Ｄｘ＝ｃ、
Ｄｙ＝−１を得ることになる。この場合、ｃ＜γであ
り、線の途切れを接続することができる。また、図１４
において、線分Ｌ１２１と線分Ｌ１２２の交点であるＰ
１２１と各線分の距離計測の結果、Ｄｘ＝ｄ、Ｄｙ＝−
１を得る。この場合、ｄ＞γであり、線の途切れとは見
なされず、接続を行わないようにすることができる。

【００６４】以上のようにして、長方形枠の属性計測を
行うことができる。 ［ステップＳ４］文字列枠抽出部５は、ステップＳ５に
て抽出された長方形枠データを参照して、抽出線分から
分類された文字パターンデータを一纏まりの文字列に分
割し、各文字列の座標位置や縦横のサイズを計測する。
また、各文字列に外接する文字列枠を抽出する。

【００６５】［ステップＳ５］文字認識部６は、抽出さ
れた文字列を文字パターン認識処理にて文字コードに変
換し、文字列単位に文字コードデータを出力する。

【００６６】［ステップＳ６］帳票文書作成部７は、罫
線データ、長方形枠データ、文字列枠情報を含む文字コ
ードデータから帳票文書データを作成する。

【００６７】［ステップＳ７］出力部８は、帳票文書デ
ータを出力する。以上説明したように、本実施例によれ
ば、線と線の交点情報を使用することにより、抽出され
た線分が途切れている場合でも、あるいは、線が完全に
交わっていない場合でも、確実に長方形枠の頂点を検出
することができる。また、線の分類を、長方形枠抽出の
前に行ってしまうのではなく、長方形枠抽出の過程で罫
線であるか文字であるかを判断しながら分類することが
可能であり、線種判別の性能を上げることが可能であ
り、簡易かつ正確に、複雑な文書画像から長方形枠の抽
出を行うことができる。

【００６８】また、頂点と線分の距離を利用するだけ
で、各頂点の接続状態および頂点付近の形状を求めるこ
とにより、複雑な処理を行うことはなく、簡易に、頂点
の丸みなどの形状を決定することができる。

【００６９】（第２の実施例）図１５は、本発明の第２
の実施例に係る帳票文書認識装置の構成を示すブロック
図である。

【００７０】本実施例の帳票文書認識装置は、第１の実
施例の長方形枠データ抽出機能を持つように簡略化した
ものであり、画像入力部１０１、線分抽出部１０２、長
方形枠抽出部１０４、長方形枠属性計測部１０５、長方
形枠データ出力部１０６を備えている。

【００７１】画像入力部１０１は、処理対象となる帳票
文書を画像データとして入力するためのものであり、例
えばイメージ・スキャナーなどからなる。第１の実施例
の画像入力部１に相当するものである。

【００７２】線分抽出部１０２は、入力した画像データ
に対して、２値化処理、細線化処理、線分接続処理など
の前処理を施し、入力画像データを線分データとして抽
出する。線分データには、長さ、終始点座標などが含ま
れる。第１の実施例の画像入力部２に相当するものであ
る。

【００７３】長方形枠抽出部１０４は、抽出された線分
から長方形枠データを抽出する。第１の実施例の図６の
ステップＳ３２〜Ｓ３５の処理を行なうものに相当す
る。長方形枠属性計測部１０５は、抽出した長方形枠に
対して、長方形枠の特徴となる斜線の有無、辺の線幅お
よび線種、頂点の形状および接続状態等の属性データを
計測する。第１の実施例の図６のステップＳ３６の処理
を行なうものに相当する。

【００７４】長方形枠データ出力部１０６は、得られた
長方形枠データに基づいて、所定の画像フォーマットデ
ータあるいはベクトルデータを生成する。そして、生成
したデータを、例えば表示装置やプリンタなどから出力
する。あるいは、磁気記憶装置などに格納する。

【００７５】以上のような構成において、本実施例の処
理の流れは以下のようになる。まず、画像入力部１０１
から、例えば図３のような処理対象となる帳票文書を光
学的に読取り、画像データとして図示しない画像メモリ
などに格納する。入力した画像データは、一旦、図示し
ない画像メモリなどに格納する。

【００７６】次に、線分抽出部１０２は、例えば第１の
実施例にて図５を参照して説明したような手順で、入力
した画像データに前処理を施し、入力画像データを線分
データとして抽出する。

【００７７】次に、長方形枠抽出部１０４は、第１の実
施例にて図６のステップＳ３２〜Ｓ３４を参照して説明
したような手順で、長方形枠を構成する可能性のある所
定の長さ以上の水平・垂直線分を抽出し、例えば図６の
ステップＳ３５、図７を参照して説明したような手順
で、抽出した水平・垂直線分から、長方形枠を抽出す
る。

【００７８】長方形枠属性計測部１０５は、例えば図６
のステップＳ３６、図１１を参照して説明したような手
順で、上記の抽出された長方形枠に対して、長方形枠の
特徴となる斜線の有無、辺の線幅および線種、頂点の形
状および接続状態等の属性データを計測する。また、必
要に応じてステップＳ１１５の頂点形状決定処理とステ
ップＳ１１６の頂点接続状態成形処理のいずれか一方ま
たは両方を行う。

【００７９】なお、長方形枠抽出部１０４の処理後また
は長方形枠属性計測部１０５の処理後に、前述したよう
に、重複する長方形枠の消去処理を行なうと好ましい。
最後に、長方形枠データ出力部１０６は、長方形枠のコ
ードデータに基づいて、長方形枠を画像のフォーマット
あるいはベクトルデータとしてデータ出力する。 この
ように、本実施例によれば、線と線の交点情報を使用す
ることにより、抽出された線分が途切れている場合で
も、あるいは、線が完全に交わっていない場合でも、確
実に長方形枠の頂点を検出することができる。また、線
の分類を、長方形枠抽出の前に行ってしまうのではな
く、長方形枠抽出の過程で罫線であるか文字であるかを
判断しながら分類することが可能であり、線種判別の性
能を上げることが可能であり、簡易かつ正確に、複雑な
文書画像から長方形枠の抽出を行うことができる。

【００８０】また、頂点と線分の距離を利用するだけ
で、各頂点の接続状態および頂点付近の形状を求めるこ
とにより、複雑な処理を行うことはなく、簡易に、頂点
の丸みなどの形状を決定することができる。また、本発
明は上述した各実施例に限定されるものではなく、その
要旨を逸脱しない範囲で、種々変形して実施することが
できる。

【００８１】

【発明の効果】本発明によれば、帳票文書画像中の線分
と線分の交点から長方形を求め、この長方形が帳票文書
の長方形枠か否かを頂点間の線分の存在により判定する
ので、抽出された線分が途切れている場合でも、あるい
は、線が完全に交わっていない場合でも、確実に長方形
枠の頂点を検出することができる。また、線の分類を、
長方形枠抽出の前に行ってしまうのではなく、長方形枠
抽出の過程で罫線であるか文字であるかを判断しながら
分類することができ、線種判別の性能を上げることが可
能であり、複雑な文書画像に対して簡易かつ正確に長方
形枠の抽出を行うことができる。

【００８２】また、本発明によれば、帳票文書画像中か
ら抽出した長方形の頂点と該頂点近傍の線分との間の距
離を利用して、各頂点の接続状態および頂点付近の形状
を求めるので、複雑な処理を行うことはなく、簡易に、
頂点の丸みなどの形状を決定することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る帳票文書認識装置
の構成を示すブロック図

【図２】同実施例の処理の流れの概略を示すフローチャ
ート

【図３】入力の一例を示す図

【図４】読み取った入力から生成されたデータの一例を
示す図

【図５】線分抽出処理の流れを示すフローチャート

【図６】線分分類処理の流れを示すフローチャート

【図７】長方形枠抽出処理の流れを示すフローチャート

【図８】長方形枠抽出処理における交点計測を説明する
ための図

【図９】長方形枠抽出処理における冗長交点除去を説明
するための図

【図１０】長方形枠抽出処理における線分チェックを説
明するための図

【図１１】長方形枠属性計測処理の流れを示すフローチ
ャート

【図１２】長方形枠の頂点形状決定処理を説明するため
の図

【図１３】長方形枠の頂点接続状態成形処理を説明する
ための図

【図１４】長方形枠の頂点接続状態成形処理を説明する
ための図

【図１５】本発明の第２の実施例に係る帳票文書認識装
置の構成を示すブロック図

【符号の説明】

１…画像入力部、２…線分抽出部、３…線分分類部、４
…長方形枠抽出部、５…文字列枠抽出部、６…文字列認
識部、７…帳票文書作成部、８…出力部、１０１…画像
入力部、１０３…線分抽出部、１０４…長方形枠抽出
部、１０５…長方形枠属性計測部、１０６…長方形枠デ
ータ出力部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 下辻 成佳 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (4)

【特許請求の範囲】
1. 【請求項１】複数の長方形枠からなる表を含む帳票文書
   を認識する帳票文書認識装置において、 入力された帳票文書の画像データ中から所定のしきい値
   以上の長さを有する線分を抽出する線分抽出手段と、 抽出された前記線分のうち互いに直交するもの同士の交
   点を抽出する交点抽出手段と、 抽出された前記交点の集合の中から長方形の４頂点とな
   る４つの交点を選択し、該４つの交点からなる長方形の
   辺に相当する部分に所定のしきい値以上の抽出された線
   分が存在する場合、該４つの交点からなる長方形を長方
   形枠として決定する長方形枠抽出手段とを具備すること
   を特徴とする帳票文書認識装置。
2. 【請求項２】複数の枠からなる表を含む帳票を認識する
   帳票文書認識装置において、 入力された帳票文書の画像データ中から長方形枠を抽出
   する長方形枠抽出手段と、 抽出された前記長方形枠の各頂点と前記画像データ中の
   前記表を構成する枠の各頂点近傍の線分との間のずれを
   夫々計測する頂点ずれ計測手段と、 計測された各頂点と線分の間の夫々のずれを表す情報に
   よって、前記表を構成する枠の各頂点の接続状態および
   各頂点の形状を決定する頂点属性計測手段とを具備する
   ことを特徴とする帳票文書認識装置。
3. 【請求項３】複数の長方形枠からなる表を含む帳票文書
   を認識する帳票文書認識方法において、 入力された帳票文書の画像データ中から所定のしきい値
   以上の長さを有する線分を抽出し、 抽出された前記線分のうち互いに直交するもの同士の交
   点を抽出し、 抽出された前記交点の集合の中から長方形の４頂点とな
   る４つの交点を選択し、 該４つの交点からなる長方形の辺に相当する部分に所定
   のしきい値以上の抽出された線分が存在する場合、該４
   つの交点からなる長方形を長方形枠として決定すること
   を特徴とする帳票文書認識方法。
4. 【請求項４】複数の枠からなる表を含む帳票を認識する
   帳票文書認識方法において、 入力された帳票文書の画像データ中から長方形枠を抽出
   し、 抽出された前記長方形枠の各頂点と前記画像データ中の
   前記表を構成する枠の各頂点近傍の線分との間のずれを
   夫々計測し、 計測された各頂点と線分の間の夫々のずれを表す情報に
   よって、前記表を構成する枠の各頂点の接続状態または
   各頂点の形状を決定することを特徴とする帳票文書認識
   方法。