JPH10187878A

JPH10187878A - 表処理方法

Info

Publication number: JPH10187878A
Application number: JP8348044A
Authority: JP
Inventors: Hiroko Sugiura; 裕子杉浦
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1996-12-26
Filing date: 1996-12-26
Publication date: 1998-07-21

Abstract

(57)【要約】【課題】少ない処理量で表の枠を確実に認識する。【解決手段】表画像を２値画像入力部１００により入
力し、その白黒反転画像を白黒反転処理部１１０で作成
する。矩形抽出部１２０で白黒反転画像上の連続して接
した黒画素群（白黒反転前の白画素群）の外接矩形を抽
出し、矩形選択処理部１３０で文字等の矩形を除き、枠
の矩形を選択する。このようにして、表画像上の罫線で
囲まれた枠の内側枠が、罫線抽出を経由することなく直
接的に抽出される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書や帳票等の画
像中の表の処理に係り、特に表の枠の認識に関する。

【０００２】

【従来の技術】文書や帳票等の画像を読み取って処理す
る場合、画像を文字領域、表領域、図その他の領域に分
割し、それぞれの領域に適した処理を行うことが多い。

【０００３】表領域の処理においては、カラムである枠
の認識が重要ポイントである。従来、表処理における枠
認識は、一般に、まず、長い黒ランや周辺分布に着目し
て罫線を抽出し、抽出された罫線の位置情報に基づいて
罫線で囲まれた枠の領域を抽出するという２段階の処理
によっていた（特開平２−６１７７５号、特開平７−２
８２１９１号等）。実罫線のほかに行間空白部部分も行
間罫線として抽出し、枠の認識に利用する同様の方法も
知られている（特開平３−７８８９２号）。

【０００４】

【発明が解決しようとする課題】前述の従来方法は、罫
線抽出と枠抽出という２段階の処理を行うため、一般に
処理時間が長くなるという問題がある。また、枠の形状
によっては枠を囲む罫線の抽出は容易でなく、さまざま
な形状の枠に対応しようとすると、罫線抽出のための処
理の内容が複雑化し処理時間の増加を招きやすく、しか
も、罫線の抽出に失敗すると、たとえ枠が存在していて
も次段階の枠抽出処理に入ることすら不可能になってし
まうという問題があった。

【０００５】よって、本発明の目的は、表処理におい
て、枠認識のための処理内容の簡易化及び処理時間の短
縮を図ること、さまざまな形状・大きさの枠の認識を可
能にすること、罫線に囲まれない枠の認識を可能にする
こと、精度のよい表再現を可能にすること、表中の文字
の高精度な認識を可能にすることにある。

【０００６】

【課題を解決するための手段】請求項１の発明の特徴
は、入力画像の白黒反転画像を作成し、その白黒反転画
像上の連続して接している黒画素群に外接する矩形の抽
出によって、罫線に囲まれた枠の内側枠を認識すること
である。

【０００７】請求項２の発明の特徴は、請求項１の発明
の方法において、入力画像を圧縮してからその白黒反転
画像を作成することである。

【０００８】請求項３の発明の特徴は、入力画像の圧縮
画像を作成し、その圧縮画像上の連続して接している黒
画素群に外接する矩形を抽出することによって、罫線で
囲まれない文字群のみからなるカラムを枠として認識す
ることである。

【０００９】請求項４の発明の特徴は、請求項１又は２
の発明の方法において、認識された枠の内側枠の内部に
ついて入力画像上の連続して接している黒画素群に外接
する矩形の抽出を行い、その結果に基づいて、枠を４頂
点が直角の四角形枠とそれ以外の特殊枠とに分類するこ
とである。

【００１０】請求項５の発明の特徴は、入力画像上の罫
線で囲まれた枠の内側枠を認識し、その内側枠の内部に
ついて入力画像上の連続して接している黒画素群に外接
する矩形の抽出を行い、その結果に基づいて、枠を４頂
点が直角の四角形枠とそれ以外の特殊枠とに分類するこ
とを特徴とする。

【００１１】請求項６の発明の特徴は、請求項４又は５
の方法において特殊枠に分類された枠に関し、その内側
枠の内部より抽出された矩形の範囲について入力画像の
白黒反転画像を作成し、その白黒反転画像上の連続して
接している黒画素群に外接する矩形を抽出し、その矩形
内の黒画素の割合を調べることによって、枠の形状を細
分類することである。

【００１２】請求項７の発明の特徴は、請求項１又は２
記載の方法において、白黒反転画像より抽出された矩形
の内部の黒画素数がその総画素数のほぼ半分であるとき
に、その矩形を斜線により２分割された枠として認識す
ることである。

【００１３】請求項８の発明の特徴は、請求項１，２，
４，５，６又は７の発明の方法において、認識された枠
を構成する罫線を再現するための情報を抽出することで
ある。

【００１４】請求項９の発明の特徴は、請求項１，２，
３，４，５，６又は８の発明の方法において、認識され
た枠毎に入力画像の文字の切り出し及び認識を行うこと
である。

【００１５】請求項１０の発明の特徴は、請求項７の発
明の方法において、認識された枠毎に表画像上の文字の
切り出し及び認識を行い、斜線により２分割された枠に
ついては、その分割領域毎に文字の切り出し及び認識を
行うことである。

【００１６】

【発明の実施の形態】本明細書で使われる若干の用語に
ついて説明する。まず「黒画素」、「白画素」とは、通
常の２値の白黒画像の場合には文字通り「黒」の画素と
「白」の画素のことであるが、より一般的には「地」と
同じ色を持つ画素つまり「非画像部」の画素が白画素、
「地」と異なった色を持つ画素つまり「画像部」の画素
が黒画素である。「枠」については、図１において１３
が枠を構成する罫線であるとすると、この罫線１３の外
縁で囲まれた範囲が外側枠１１、罫線１３の内縁で囲ま
れた範囲が内側枠１２である。表によっては、罫線で囲
まれない文字群だけでカラムを構成しているものがある
が、この場合には、その各文字群を枠として扱う。ま
た、「矩形抽出」とは、画像上の連続して接している黒
画素群を一塊として、それらが包含されるように外接四
角形で囲んだ範囲を矩形とし、その矩形の位置座標を抽
出することである。以下、図面を適宜参照して本発明の
実施例を説明する。なお、各図において同等部には同一
の符号が付されている。

【００１７】＜実施例１＞図２は、本発明の実施例１の
機能的構成を処理の流れに沿って表したブロック図であ
る。なお、本実施例及び後記各実施例は、専用のハード
ウエアによって実現することも可能であるし、また一般
的なコンピュータを利用してソフトウエアにより実現す
ることも可能である。

【００１８】図２において、処理すべき文書等の画像
は、スキャナ等の２値画像入力部１００により２値イメ
ージデータとして入力され、２値イメージメモリ１０５
に格納される。この入力画像は、白黒反転処理部１１０
によって黒画素（本明細書では”１”のビット）が白画
素（”０”のビット）へ、白画素が黒画素へそれぞれ反
転させられ、この白黒反転後の画像は白黒反転画像メモ
リ１１５に格納される。

【００１９】この白黒反転画像に対して矩形抽出部１２
０により矩形抽出が行われ、抽出された矩形の位置座標
（例えば相対向する２頂点の座標）が矩形メモリ１２５
に格納される。ここで抽出された矩形は反転前の画像の
「非画像部」の枠に相当するから、図１で言えば内側枠
１２が抽出されたわけである。

【００２０】しかし、抽出された矩形の中には、表のカ
ラムに当たらないもの、例えば「口」のような文字や文
字の一部が含まれている可能性がある。そのようなカラ
ムでない矩形の除去を矩形選択処理部１３０で行う。例
えば、除去すべき矩形のサイズに関する条件を予め指定
しておき、その条件に該当する矩形を除去し、残った矩
形だけを最終的に抽出する。

【００２１】以上に説明したように、本実施例によれ
ば、反転画像に対する矩形抽出処理によって、罫線抽出
を経ることなく直接的に枠を抽出することができる。し
かも、周囲を連続する画像部で囲まれた枠であれば、そ
の大きさや形状に関係なく確実な抽出が可能である。

【００２２】なお、抽出された枠の情報は、文字の切り
出し・認識、さらには表再現に利用されるが、これにつ
いては後記実施例７に関連して詳細に述べる。

【００２３】＜実施例２＞図３は、本発明の実施例２の
機能的構成を処理の流れに沿って表したブロック図であ
る。本実施例は、前記実施例１の構成に画像圧縮部１４
０、圧縮画像メモリ１４５、位置座標変換部１５０及び
矩形メモリ１５５を追加した構成である。

【００２４】画像圧縮部１４０は、入力された画像に対
し所定ビット数の連続した画素を処理単位としたＯＲ圧
縮を行う。つまり、処理単位中に”１”のビット（黒画
素）が含まれていれば、その処理単位を１つの”１”ビ
ット（黒画素）に変換し、処理単位中に”１”のビット
が含まれていなければ、その処理単位を１つの”０”ビ
ット（白画素）に変換する。この画像圧縮の目的は、入
力画像中の非画像部を圧縮することにより、罫線とみな
すべき不連続な画像部、例えば、かすれで切れ切れにな
った罫線の画像部を結合しようとするものであり、処理
単位のサイズつまり圧縮率は、この目的に合致するよう
に選ばれる。圧縮された画像は圧縮画像メモリ１４５に
格納される。

【００２５】この圧縮画像に対し白黒反転処理部１１０
によって白黒反転処理が施され、その白黒反転画像に対
して矩形抽出部１２０により矩形抽出処理がなされる。
画像の非圧縮部の圧縮により、かすれた罫線や不連続な
罫線の画像部は連続した画像部となっているため、その
ような罫線で囲まれた枠の矩形も抽出される。ここで抽
出された矩形の位置座標は圧縮画像上の位置座標である
ため、位置座標変換部１５０によって矩形の位置座標が
圧縮前の画像上の位置座標に変換され、矩形メモリ１５
５に格納される。この矩形の位置座標を用いて、矩形選
択部１３０が前記実施例１と同様に枠としては不適当な
矩形を除去し、枠の矩形つまり内側枠だけを選択し、そ
の位置情報を抽出結果として出力する。

【００２６】このように、本実施例によれば、前記実施
例１では抽出できないような、かすれた罫線や不連続な
罫線で囲まれた枠をも抽出できるようになる。なお、抽
出された枠の情報は、文字の切り出し・認識、さらには
表再現に利用されるが、これについては後記実施例７に
関連して詳細に述べる。

【００２７】＜実施例３＞図４は、本発明の実施例３の
機能的構成を処理の流れに沿って表したブロック図であ
る。前述のように、罫線等の連続する画像部で囲まれな
い文字群のみでカラムを構成しているような表もある。
本実施例は、そのような表のカラムを枠として抽出する
ことを目的としている。

【００２８】図４において、２値イメージメモリ１０５
に格納された入力画像に対し、画像圧縮部１６０により
画像圧縮が施され、圧縮された画像が圧縮画像メモリ１
４５に格納される。この画像圧縮の方法はＯＲ圧縮でよ
いが、その圧縮率は「表のカラムとしての文字群と文字
群とは接触させず、しかし各文字群内の文字同士は結合
させる」ように選ばれる。その結果、カラムとしての各
文字群は一塊の画像部となる。

【００２９】この圧縮画像に対し、矩形抽出部１２０に
よって矩形抽出が実行されることにより、各文字群が矩
形として抽出され、その位置座標が矩形メモリ１２５に
格納される。このようにして、罫線で囲まれない、文字
群だけからなるカラムが枠として抽出される。抽出され
た矩形枠の位置座標は、圧縮画像上の座標であるから、
位置座標変換部１５０によって圧縮前の画像上の位置座
標に変換された後に、抽出結果として出力される。この
ようにして枠として抽出したカラムは、表処理上で罫線
で囲まれた枠と同様に扱って、カラム内の文字の切り出
しや認識を行うことができる。

【００３０】＜実施例４＞図５は、本発明の実施例４の
機能的構成を処理の流れに沿って表したブロック図であ
る。ただし、図の煩雑化を避けるため、構成要素間接続
の一部は省略されている。図６は、本実施例の説明のた
めの図である。

【００３１】図５において、２値画像入力部１００によ
って画像を入力する段階から矩形選択処理部１３０によ
って枠としての矩形を選択し、その位置情報を内側枠メ
モリ１３５に格納するまでの構成及び処理内容は前記実
施例２と同じである。しかし、ここまでに得られる情報
は内側枠の位置座標のみであり、枠の周囲の罫線の長さ
や太さは未知である。

【００３２】本実施例では、そのような罫線の情報を抽
出するため、まず外側枠予測位置生成部１６２におい
て、内側枠の位置座標を基準にして外側枠の位置を予測
する。すなわち、図６において、内側枠６２より、罫線
の太さにある余裕分を加えた距離だけ外側に外側枠予測
位置６４をとる。この外側枠予測位置６４と内側枠６２
の間に罫線６３が含まれるようにするわけである。そし
て、外側枠予測位置６４の矩形範囲に関し、矩形抽出部
１６３により２値イメージメモり１０５内の画像に対し
矩形抽出処理を行い、図６に示す外側枠６１に相当する
矩形を抽出し、その位置座標を外側枠メモリ１６５に格
納する。

【００３３】枠罫線太さ・長さ認識部１７０は、内側枠
メモリ１３５及び外側枠メモリ１６５を参照し、外側枠
の水平方向の長さと内側枠の水平方向の長さの差をと
り、その２分の１の値を、枠を構成している罫線の太さ
（幅）として認識する。垂直方向の長さの差をとり、そ
の２分の１を罫線の太さとして計算してもよいことは当
然である。また、内側枠又は外側枠の水平方向及び垂直
方向の長さを、罫線の水平方向及び垂直方向の長さとし
て認識する。このようにして、内側枠の位置情報と、そ
の罫線の太さ及び長さの情報が得られた。

【００３４】なお、外接枠予測位置生成部１６２より前
の処理系は前記実施例２と同じであるが、これを前記実
施例１と同じ処理系で置き換えることも可能である（た
だし、前記実施例２で述べたように、枠を囲む罫線のか
すれ等に弱くなる）。

【００３５】＜実施例５＞図７は、本発明の実施例５の
機能的構成を処理の流れに沿って表したブロック図であ
る。ただし、図の煩雑化を避けるため、構成要素間接続
の一部は省略されている。

【００３６】図７において、２値画像入力部１００によ
る画像入力から矩形選択処理部１３０による矩形選択ま
での構成及び処理内容は前記実施例２と同じである。

【００３７】本実施例では、抽出された枠が、４つの頂
点がすべてが直角の枠であるか、それ以外の枠であるか
の判別を行う。この判別のために、枠内矩形抽出処理部
１７５において、内側枠メモリ１３５内の内側枠の位置
座標を参照し、２値イメージメモリ１０５内の画像の枠
内について矩形抽出を行い、その位置座標を四角枠判別
部１８０に与える。

【００３８】４つの頂点がすべて直角の四角形枠の場
合、基本的には各頂点の部分に矩形は抽出されない。し
かし、頂点が直角でない枠の場合には、その頂点の部分
に矩形が抽出される。例えば、図１０（ａ）に示す頂点
が丸く面取りされた枠９１１の場合、図１０（ｂ）に示
すように、その内側枠９１２の各頂点部の内側に枠を構
成する罫線の一部が入り込む。そのため、内側枠９１２
の内部について矩形抽出を行うと、図１０（ｃ）に示す
ように各頂点部分に矩形９１３が抽出される。

【００３９】なお、４つの頂点がすべて直角の四角形枠
であっても、画像にスキューがある場合には枠の頂点部
分に矩形が抽出される。これを図８により説明する。図
８において、７５は４頂点が直角の四角形枠を構成する
罫線である。画像に右下がりのスキューがあるため（図
８ではスキューが誇張されている）、この枠については
矩形ａｂｃｄが内側枠として抽出され、その内部に罫線
７５の一部が位置する。したがって、この内側枠の内部
について矩形抽出を行うと、枠の４つの頂点部に矩形ａ
ｅｆｇ、矩形ｂｉｈｅ、矩形ｃｋｊｉ、矩形ｄｇｍｋが
抽出されるが、これらの矩形は隣り合うもの同士が接し
ている。これに対し、図１０により説明したような面取
りされた枠の場合に各頂点に抽出される矩形はそれぞれ
が分離し、形状も統一がとれている。

【００４０】また、枠の頂点部付近にノイズによる画像
部が存在した場合にも、頂点部に矩形が抽出される。し
かし、この場合に抽出される矩形は、面取りされた枠の
頂点部に抽出される矩形のように形状の統一した矩形と
はならない。

【００４１】四角形枠判別部１８０は、枠内矩形抽出処
理部１７５による枠内矩形抽出結果に基づき枠の種類を
判別する。すなわち、枠の４頂点に矩形が抽出されない
場合には、その枠を４頂点が直角の四角形枠と判定す
る。枠の４頂点に矩形が抽出されたが、その矩形の隣り
合う同士が接しているときには、その枠を４頂点が直角
の四角形枠と判定する（スキューが原因となって矩形が
抽出された場合）。枠の４頂点部分に矩形が抽出された
が、それらの矩形の形状が統一されていないときには、
その矩形を４頂点が直角の四角形枠と判定する（ノイズ
が原因となって矩形が抽出された場合）。以上のケース
以外は、その枠を４頂点が直角の四角形枠以外の特殊枠
と判定する。このようにして判別された枠の種類を示す
情報と内側枠の位置座標が抽出結果として出力される。

【００４２】スキュー又はノイズが原因となって枠内矩
形が抽出された判断された場合に、スキュー補正又はノ
イズ除去の処理を、枠内矩形抽出処理の前に行ってか
ら、枠内矩形抽出処理と四角枠判別処理を再度行うよう
にしてもよい。抽出された枠の情報は、文字の切り出し
・認識、さらには表再現に利用されるが、これについて
は後記実施例７に関連して詳細に述べる。

【００４３】なお、内側枠の抽出に関しては、さまざま
な形状・大きさの枠の内側枠を少ない処理量で直接的に
抽出できるという利益を損なってもよいのであれば、従
来の罫線の矩形を抽出し、枠を囲む罫線の交点を求めて
内側枠の位置座標を得るといった他の方法を採用するこ
とも許される。

【００４４】＜実施例６＞図９は、本発明の実施例６の
機能的構成を処理の流れに従って表したブロック図であ
る。ただし、図の煩雑化を避けるため、構成要素間接続
の一部が省略されている。

【００４５】図９において、２値画像入力部１００によ
って画像を入力し、この入力画像より内側枠抽出処理部
１９０によって内側枠を抽出する。この内側枠抽出処理
部１９０は、前記実施例２における画像圧縮部１４０、
白黒反転処理部１１０、矩形抽出部１２０、位置座標変
換部１５０及び矩形選択処理部１３０からなる部分に相
当する。抽出された内側枠について、枠内矩形抽出処理
部１７５により矩形内矩形の抽出を行い、その抽出結果
に基づいて、四角形枠判別部１８０によって前記実施例
５と同様の方法により４頂点が直角の四角形枠である
か、それ以外の特殊枠であるかの判別を行い、各枠内の
矩形の位置座標とともに判別した枠種類の情報を矩形メ
モリ１８５に格納する。この特殊枠について、より詳し
い形状特徴を抽出するために以下に述べる処理が行われ
る。

【００４６】白黒反転処理部２００において、矩形メモ
リ１８５の情報を参照し、特殊枠と判断された注目する
枠の頂点部で抽出された矩形の範囲の画像を２値イメー
ジメモリ１０５より取り込み、その白黒反転画像を作成
して矩形メモリ２０５に格納する。矩形抽出部２１０に
おいて、この白黒反転画像に対して矩形抽出を行い、抽
出した各矩形の位置座標を矩形メモリ２１５に格納す
る。そして、矩形内黒画素数抽出部２２０で、矩形メモ
リ２０５内の白黒反転画と像矩形メモリ２１５内の矩形
位置座標を参照し、注目した特殊枠の頂点部より抽出さ
れた矩形の白黒反転画像の黒画素をカウントし、求めた
黒画素数を画素数メモリ２２５に格納する。この黒画素
数等の情報に基づき、形状抽出部２３０において特殊枠
の形状情報の抽出を行う。これについて図１０、図１１
及び図１２を参照して説明する。

【００４７】図１０（ａ）に示すような４頂点部が丸く
面取りされた枠９１１の場合、図１０（ｂ）に示すよう
な内側枠９１２が抽出される。この内側枠９１２の内部
に対する矩形抽出によって、図１０（ｃ）に示すように
枠の４頂点部に矩形９１３が抽出される。この矩形９１
３内の画像は、矩形枠９１１を構成する罫線の太さが大
きい場合には図１０（ｄ）に示すような画像となるが、
罫線の太さが小さい場合には図１０（ｅ）に示すような
画像となる（ただし、ここに示した画像は枠の左下頂点
部の矩形の画像である）。図１０（ｄ）に示した矩形画
像の白黒反転画像について矩形抽出を行うと図１０
（ｆ）に示すような矩形９１４が抽出され、また、図１
０（ｅ）に示すような矩形画像の白黒反転画像について
矩形抽出を行うと、図１０（ｇ）に示すような大きさの
異なる二つの矩形９１５，９１６が抽出される。矩形９
１４と矩形９１６の画像（白黒反転画像）の黒画素数
は、その矩形の総画素数（面積）の半分よりかなり大き
な値となる。

【００４８】図１１（ａ）に示すような４頂点が斜めに
面取りされた多角形枠９２１の場合、図１１（ｂ）に示
すような内側枠９２２が抽出される。この内側枠９２２
の内部に対する矩形抽出によって、図１１（ｃ）に示す
ように枠の４頂点部に矩形９２３が抽出される。この矩
形９２３の画像は、矩形枠９２１を構成する罫線の太さ
が大きい場合には図１１（ｄ）に示すような画像となる
が、罫線の太さが小さい場合には図１１（ｅ）に示すよ
うな画像となる（ただし、ここに示した画像は、枠の左
下頂点部の矩形の画像である）。図１１（ｄ）に示した
矩形画像の白黒反転画像について矩形抽出を行うと図１
１（ｆ）に示すような一つの矩形９２４が抽出され、ま
た、図１１（ｅ）に示すような矩形画像の白黒反転画像
について矩形抽出を行うと、図１１（ｇ）に示すような
大きさの異なる二つの矩形９２５，９２６が抽出され
る。そして、矩形９２４，９２５，９２６の画像（白黒
反転画像）は、対角線で画像部と非画像部に２分される
ため、その黒画素数は矩形の総画素数（面積）のほぼ半
分の値となる。

【００４９】図１２（ａ）に示すような一つの頂点部に
凹部がある多角形枠９３１の場合、図１２（ｂ）に示す
ような内側枠９３２が抽出される。この内側枠９３２の
内部に対する矩形抽出によって、図１２（ｃ）に示すよ
うに枠の凹部分に矩形９３３が抽出される。この矩形９
３３の画像は、図１２（ｄ）に示すような画像となり、
その白黒反転画像について矩形抽出を行うと図１２
（ｅ）に示すような一つの矩形９３５が抽出される。こ
の矩形９３５の画像（白黒反転画像）は、その全画素が
黒画素である。

【００５０】形状抽出部２３０においては、注目する枠
の４頂点部に、図１０（ｆ）の矩形９１４又は図１０
（ｇ）の矩形９１５，９１６のような黒画素率を持つ矩
形が抽出されたときには、その枠を図１０（ａ）に示す
ような４頂点を丸く面取りされた枠であると判断する。
注目する枠の４頂点部に、図１１（ｆ）の矩形９２４又
は図１１（ｇ）の矩形９２５，９２６のような黒画素率
を持つ矩形が抽出されたときには、その枠を図１１
（ａ）に示すような４頂点を斜めに面取りされた枠であ
ると判断する。また、注目する枠のある頂点部に、図１
２（ｅ）の矩形９３５のような黒画素率を持つ矩形が抽
出されたときには、その枠を図１２（ａ）に示すような
凹部を持つ枠と判断する。

【００５１】以上のようにして四角形枠以外の枠の形状
の種類分けを行った後、形状抽出部２３０は各枠のより
詳細な形状特徴を抽出する。

【００５２】まず、４頂点が直角の四角形枠の場合につ
いて述べる。前記実施例４において述べたように、内側
枠に基づいて外側枠予測位置を求め、その範囲内につい
て矩形抽出を行って外側枠を抽出する。外側枠の水平方
向又は垂直方向の長さから、内側枠の水平方向又は垂直
方向の長さを差し引き、その差の２分の１を、枠を構成
する罫線の太さとして求める。また、内側枠（又は外側
枠）の水平方向及び垂直方向の長さをそれぞれ枠の水平
方向及び垂直方向の長さとして求める。

【００５３】図１０（ａ）に示すような４頂点が丸く面
取りされた枠９１１の場合、内側枠９１２の水平方向の
長さと、枠内矩形抽出により抽出された矩形９１３の水
平方向の長さを２倍した値との差を、枠を構成する罫線
の水平直線部の長さとして求める。内側枠９１２の垂直
方向の長さと、枠内矩形９１３の垂直方向の長さを２倍
した値との差を、枠構成罫線の垂直直線部の長さとして
求める。そして、枠内矩形９１３の垂直方向（又は水平
方向）の長さを半径、角度を９０度とした円弧で、枠の
各頂点部の罫線を近似する。また、枠を構成する罫線の
太さについては、四角形枠の場合と同様に外側枠を抽出
し、外側枠と内側枠の水平方向（又は垂直方向）の長さ
の差を計算し、その２分の１を罫線の太さとして求め
る。

【００５４】図１１（ａ）に示すような４頂点が斜めに
面取りされた多角形枠９２１の場合、頂点が丸く面取り
された枠の場合と同様の方法で、罫線の直線部の長さ及
び太さを求める。また、各頂点部分の斜線部の長さを、
枠内矩形９２３の水平方向と垂直方向の長さの２乗和の
平方根として求める。斜線部の角度は、枠内矩形９２３
の水平方向及び垂直方向の長さから算出できるが、４５
度と近似してもよい。

【００５５】図１２（ａ）に示すような凹部のある枠の
場合、内側枠の水平方向及び垂直方向の長さを、枠の凹
部以外の辺の罫線の水平方向及び垂直方向の長さとして
求める。内側枠の水平方向及び垂直方向の長さから枠内
矩形９３３の水平方向及び垂直方向の長さを引いた差
を、それぞれ凹部のある辺の罫線の水平方向及び垂直方
向の長さとして求める。枠内矩形９３３の水平方向及び
垂直方向の長さをそれぞれ凹部の罫線の水平方向及び垂
直方向の長さとして求める。罫線の太さは、四角形枠の
場合と同様に、外側枠の水平方向（又は垂直方向）の長
さと内側枠の水平方向（又は垂直方向）の長さの差の２
分の１を計算する。

【００５６】以上のようにして抽出された各枠の内側枠
の位置座標、枠の種類及び枠の形状特徴の情報が処理結
果として出力される。このような情報が得られれば、枠
内文字の切り出し・認識及び表再現を高精度に行うこと
が可能になるが、これについては後記実施例７に関連し
てより詳しく述べる。

【００５７】＜実施例７＞図１３は、本発明の実施例７
の機能的構成を処理の流れに沿って表したブロック図で
ある。ただし、図１３においては、図面の煩雑化を避け
るため、構成要素間接続の一部が省略されている。

【００５８】図１３において、２値画像入力部１００に
より画像を入力し、白黒反転処理部１１０により入力画
像の白黒反転画像を作成し、矩形抽出部１２０により白
黒反転画像に対する矩形抽出を行い、抽出された矩形の
中から矩形選択処理部１３０によって枠としての矩形を
選択するまでの構成及び処理内容は、前記実施例１と同
じである。

【００５９】２４０は斜線で分割された枠を判別する斜
線分割枠判別部であり、これは本実施例に特有の処理部
である。図１４（ａ）に示す斜線分割枠１０１０の場
合、白黒反転後の矩形抽出により、図１４（ｂ）に示す
ような二つの矩形１０１１，１０１２が抽出される。二
つの矩形１０１１，１０１２は、ほぼ全体が重なった位
置関係にあり、それぞれが枠を分割する斜線によって等
面積の画像部と非画像部とに２分されている。

【００６０】斜線分割枠判別部２４０は、内側枠メモリ
１３５内の矩形枠の位置座標を参照し、図１４（ｂ）の
矩形１０１１，１０１２のような位置関係の２つの矩形
枠があった場合、白黒反転画像メモリ１１５を参照し、
当該各矩形枠内の黒画素数をカウントし、その黒画素数
が矩形枠の総画素数（面積）のほぼ半分であるならば、
当該二つの矩形枠を一つの斜線分割枠であると判断す
る。あるいは、矩形選択処理部１３０によって選択され
た各矩形の黒画素の割合をまず調べ、それがほぼ５０％
の矩形を斜線分割枠と判断し、そして結果として図１４
（ｂ）の矩形１０１１，１０１２のように斜線分割枠と
判断された二つの矩形がほぼ全体的に重なり合うときに
は、その二つの矩形の外接矩形を一つの斜線分割枠と認
識し、または、精度は悪くなるが、その一方だけを斜線
分割枠と認識する。

【００６１】この後、前記実施例６と同様に、枠内矩形
抽出処理部１７５、四角枠判別部１８０、白黒反転処理
部２００、矩形抽出部２１０、矩形内黒画素数抽出部２
２０、形状抽出部２３０による一連の処理が行われる。
ただし、前記実施例６と異なり、枠内矩形抽出部１７５
から矩形内黒画素数抽出部２２０までの処理の対象から
斜線分割枠と判断された内側枠は除外される。

【００６２】斜線分割枠と判断された内側枠は、形状抽
出部２３０における特殊枠の形状分類の対象からは除外
されるが、形状詳細特徴抽出の対象には含まれる。斜線
分割枠の形状詳細特徴抽出においては、内側枠メモリ１
３５を参照し、その二つの内側枠、つまり図１４（ｂ）
に示す矩形１０１１，１０１２のような二つの矩形に外
接する矩形を斜線分割枠の内側枠と認識し、その水平及
び垂直方向の長さを斜線分割枠の水平及び垂直方向の長
さとして求める。また、その水平方向の長さ及び垂直方
向の長さの２乗和の平方根をとることにより、枠を分割
する斜線の長さを求める。その斜線の角度も、水平方向
及び垂直方向の長さから算出する。その傾きの向き（右
上がりか右下がりかの別）も求める。傾きの向きは、例
えば、その斜線分割枠を構成する二つの矩形枠の相対的
位置関係から判定することができる。つまり、図１４
（ａ）に示すような右上がりの斜線で分割された枠１０
１０の場合、図１４（ｂ）に示すように左側の矩形１０
１１が右側の矩形１０１２より上に位置するが、右下が
りの斜線で分割された枠の場合、その上下関係が逆にな
るという性質を利用して、傾きの向きを判断できる。さ
らに４頂点が直角の四辺形枠の場合と同様に、斜線分割
枠の外側枠を求め、外側枠と内側枠の水平及び垂直方向
の長さの差の２分の１を、斜線分割枠を囲む罫線の太さ
として求める。斜線の太さね、同じ太さとしてよい。

【００６３】本実施例においては、形状抽出部２３０は
さらに、以上のようにして得た各枠の形状特徴や種類の
情報を、各枠の位置座標とともに枠情報として集約し枠
メモリ２３５に格納する。この枠情報は、文字抽出部２
５０及び表再現部２７０に利用される。

【００６４】文字抽出部２５０は、２値イメージメモリ
１０５に格納されている２値イメージから、各枠内の文
字画像を切り出すもので、その切り出し方法は従来と同
様の文字矩形を抽出する方法でよい。ただし、斜線分割
枠の場合には、分割斜線より上の領域と下の領域とに分
けて文字矩形を抽出し、分割斜線と接する文字矩形はエ
ラーと判断し文字としては抽出しない。切り出された文
字画像は、その位置情報とともに文字画像メモリ２５５
に格納される。文字認識部２６０は、文字画像メモリ２
５５内の各文字画像に対して文字認識を行い、認識した
文字のコードと位置情報を認識結果メモり２６５に格納
する。表再現処理部２７０は、認識結果メモり２６５内
の情報と枠メモリ２３５内の情報をもとに、各枠の罫線
と各枠内の文字からなる表のイメージを表再現メモリ２
７５上に作成する。枠に関する詳細な情報を利用するた
め、枠内の文字の正確な切り出し・認識と、正確な表イ
メージの再現が可能である。

【００６５】

【発明の効果】以上の説明した如く、請求項１の発明に
よれば、罫線抽出を経由することなく直接的に枠を認識
でき、枠認識のための処理時間を短縮できるとともに、
罫線で囲まれた枠ならば、さまざまな形状、大きさの枠
を確実に認識可能になる。請求項２の発明によれば、入
力画像の圧縮率を適切に選ぶことによって、かすれで切
れ切れになった罫線や不連続な罫線で囲まれた枠であっ
ても確実に認識可能となる。請求項３又は４の発明によ
れば、入力画像の圧縮率を適切に選ぶことにより、罫線
の存在しない表のカラムを認識することができる。請求
項乃至５乃至８によれば、枠の種類を分類して認識し、
また、枠の罫線の再現のための情報を得ることにより、
より精度のよい枠内文字認識や表再現が可能となる。請
求項９又は１０の発明によれば、表の枠内の文字を高精
度に切り出して認識することができ、特に請求項１０の
発明によれば斜線で分割された枠の文字も高精度に認識
できる、等々の効果を得られる。

【図面の簡単な説明】

【図１】枠を説明するための図である。

【図２】本発明の実施例１のブロック図である。

【図３】本発明の実施例２のブロック図である。

【図４】本発明の実施例３のブロック図である。

【図５】本発明の実施例４のブロック図である。

【図６】外側枠の抽出を説明するための図である。

【図７】本発明の実施例５のブロック図である。

【図８】スキューがある四角形枠の内部に抽出される矩
形を説明するための図である。

【図９】本発明の実施例６のブロック図である。

【図１０】４頂点が丸く面取りされた枠の認識を説明す
るための図である。

【図１１】４頂点が斜めに面取りされた枠の認識を説明
するための図である。

【図１２】凹部を持つ枠の認識を説明するための図であ
る。

【図１３】本発明の実施例７のブロック図である。

【図１４】斜線で分割された枠の認識を説明するための
図である。

【符号の説明】

１１外側枠１２内側枠１３罫線６１外側枠６２内側枠６３罫線６４外側枠予測位置１００２値画像入力部１０５２値イメージメモリ１１０白黒反転処理部１１５白黒反転画像メモリ１２０矩形抽出部１２５矩形メモリ１３０矩形選択処理部１３５内側枠メモリ１４０画像圧縮部１４５圧縮画像メモリ１５０位置座標変換部１５５矩形メモリ１６０画像圧縮部１６２外側枠予測位置生成部１６３矩形抽出部１６５外側枠メモリ１７０枠罫線太さ・長さ認識部１７５枠内矩形抽出処理部１８０四角形枠判別部１８５矩形メモリ１９０内側枠抽出処理部２００白黒反転処理部２０５矩形メモリ２１０矩形抽出部２１５矩形メモリ２２０矩形内黒画素数抽出部２２５画素数メモリ２３０形状抽出部２４０斜線分割枠判別部２５０文字抽出部２５６文字画像メモリ２６０文字認識部２６５認識結果メモり２７０表再現処理部２７５表再現メモリ

Claims

【特許請求の範囲】

【請求項１】入力画像の白黒反転画像を作成し、その
白黒反転画像上の連続して接している黒画素群に外接す
る矩形の抽出によって、罫線に囲まれた枠の内側枠を認
識することを特徴とする表処理方法。
【請求項２】請求項１記載の表処理方法において、入
力画像を圧縮してからその白黒反転画像を作成すること
を特徴とする枠認識方法。
【請求項３】入力画像の圧縮画像を作成し、その圧縮
画像上の連続して接している黒画素群に外接する矩形を
抽出することによって、罫線で囲まれない文字群のみか
らなるカラムを枠として認識することを特徴とする表処
理方法。
【請求項４】認識された枠の内側枠の内部について入
力画像上の連続して接している黒画素群に外接する矩形
の抽出を行い、その結果に基づいて、枠を４頂点が直角
の四角形枠とそれ以外の特殊枠とに分類することを特徴
とする請求項１又は２記載の表処理方法。
【請求項５】入力画像上の罫線で囲まれた枠の内側枠
を認識し、その内側枠の内部について入力画像上の連続
して接している黒画素群に外接する矩形の抽出を行い、
その結果に基づいて、枠を４頂点が直角の四角形枠とそ
れ以外の特殊枠とに分類することを特徴とする表処理方
法。
【請求項６】特殊枠に分類された枠に関し、その内側
枠の内部より抽出された矩形の範囲について入力画像の
白黒反転画像を作成し、その白黒反転画像上の連続して
接している黒画素群に外接する矩形を抽出し、その矩形
内の黒画素の割合を調べることによって、枠の形状を細
分類することを特徴とする請求項４又は５記載の表処理
方法。
【請求項７】請求項１又は２記載の表処理方法におい
て、白黒反転画像より抽出された矩形の内部の黒画素数
がその総画素数のほぼ半分であるときに、その矩形を斜
線により２分割された枠として認識することを特徴とす
る表処理方法。
【請求項８】認識された枠を構成する罫線を再現する
ための情報を抽出することを特徴とする請求項１，２，
４，５，６又は７記載の表処理方法。
【請求項９】認識された枠毎に入力画像の文字の切り
出し及び認識を行うことを特徴とする請求項１，２，
３，４，５，６又は８記載の表処理方法。
【請求項１０】認識された枠毎に表画像上の文字の切
り出し及び認識を行い、斜線により２分割された枠につ
いては、その分割領域毎に文字の切り出し及び認識を行
うことを特徴とする請求項７記載の表処理方法。