JPH0728935A

JPH0728935A - 文書画像処理装置

Info

Publication number: JPH0728935A
Application number: JP5192746A
Authority: JP
Inventors: Naohiro Amamoto; 直弘天本; Sadamasa Hirogaki; 節正広垣; Yoshitaka Hamaguchi; 佳孝濱口; Makoto Torigoe; 真鳥越
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1993-07-07
Filing date: 1993-07-07
Publication date: 1995-01-31

Abstract

(57)【要約】【目的】予め用意されたレイアウト情報により正確な
領域抽出を行なう。【構成】読取部１により得られた文書画像から、領域
抽出部２により当該文書画像上の各領域を抽出する。次
に、レイアウト識別部４によりこの領域抽出結果とレイ
アウト情報格納部３に予め格納されている複数又は単数
のレイアウト情報とを比較する。そして、一致したレイ
アウト情報に従って、領域抽出部２の領域抽出結果を修
正し、文字領域を抽出する。この文字領域については、
文字認識部６で文字認識を行ない、その結果を認識結果
格納部７に格納する。また、文字以外の領域については
画像データとして画像データ格納部５に格納する。一
方、一致するレイアウト情報がないときは、領域抽出結
果をレイアウト情報格納部３に格納する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字認識装置（ＯＣ
Ｒ）やファクシミリ等に使用される文書画像処理装置に
関するものである。

【０００２】

【従来の技術】文字のほかに絵や写真等を含む文書中の
文字を認識する場合、文書画像中から文字の部分だけを
取り出さなければならない。このような文書画像の処理
を行なう装置が文書画像処理装置である。図２及び図３
は、従来の文書画像処理の一例の説明図である。図２
（ａ）及び図３（ａ）に示す読取対象となる帳票１１、
２１から、図２（ｂ）及び図３（ｂ）に示す直線イメー
ジを検出する。そして、これらの直線群からフレーム構
造を抽出し、予め格納されているフレーム構造情報との
マッチングにより読取フィールドを決定し、このフィー
ルド内の文字を認識する（特開平２−２１７９７７号公
報参照）。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来の技術には、次のような問題があった。即ち、上
述した従来の技術では、図２（ｂ）及び図３（ｂ）に示
すような直線イメージが存在する帳票のみが処理対象で
あり、一般文書のように必ずしも直線イメージが存在し
ないような文書は処理ができなかった。例えば、図４に
示すように、文字領域に書かれた文書が複数の欄に亘っ
ているような場合は、処理することができないという問
題があった。本発明は、以上の点に着目してなされたも
ので、上述のような直線イメージがない場合にも、文字
認識対象とする領域を決定でき、領域抽出及び文字認識
を正確に行なえるようにした文書画像処理装置を提供す
ることを目的とするものである。

【０００４】

【課題を解決するための手段】本発明の文書画像処理装
置は、文書画像の各領域を抽出する領域抽出部と、文書
画像上に配置された各領域の属性を示すレイアウト情報
を複数又は単数格納するレイアウト情報格納部と、当該
レイアウト情報格納部に格納されたレイアウト情報のう
ち、前記領域抽出部による領域抽出結果に最も一致する
ものを取り出し、一致するレイアウト情報が存在しない
場合は前記領域抽出結果を新たなレイアウト情報として
前記レイアウト情報格納部に格納し、一致するレイアウ
ト情報が存在する場合は当該レイアウト情報に従って前
記領域抽出結果を修正するレイアウト識別部とから成る
ことを特徴とするものである。

【０００５】

【作用】本発明の文書画像処理装置においては、読取部
により得られた文書画像から、領域抽出部により当該文
書画像上の各領域を抽出する。次に、レイアウト識別部
によりこの領域抽出結果とレイアウト情報格納部に予め
格納されている複数又は単数のレイアウト情報とを比較
する。そして、一致したレイアウト情報に従って、領域
抽出部の領域抽出結果を修正し、文字領域を抽出する。
この文字領域については、文字認識部で文字認識を行な
い、その結果を認識結果格納部に格納する。また、文字
以外の領域については画像データとして画像データ格納
部に格納する。

【０００６】

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。図１は、本発明の文書画像処理装置の一実
施例のブロック図である。図示の装置は、読取部１、文
書画像処理装置１０、画像データ格納部５、文字認識部
６、認識結果格納部７から成る。読取部１は、ＣＣＤラ
インセンサ等から成り、処理対象となる文書を主走査方
向には電気的に走査し、副走査方向には機械的に走査し
て読み取る。この読取部１には、例えば、周知のシート
フィーダ（図示省略）が設けられている。文書画像処理
装置１０は、領域抽出部２、レイアウト情報格納部３、
レイアウト識別部４から成る。

【０００７】領域抽出部２は、読取部１で読み取った画
像について領域の抽出処理を行なう。この処理は、例え
ば、以下のようにして行なう。図４に示すように、２値
化された画像データから文字、図形等の領域を自動的に
抽出する。このため、この画像データから、図５
（ａ）、（ｂ）に示すように、予め定められた閾値以上
の長さと幅を持つ空白領域を追跡して領域を検出し、図
５（ｃ）に示すように、これらの領域を矩形の組み合わ
せとして格納する。レイアウト情報格納部３は、フロッ
ピディスク等から成り、複数のレイアウト情報を予め格
納している。尚、レイアウト情報は、単数でもよく、ま
た、初期状態において空になっていてもよい。

【０００８】図６は、文書画像の各領域を示し、図７
は、図６の文書画像に対応するレイアウト情報の一例を
示す。例えば、図７に示す表の第１行では、図６の領域
６１を、ｘｓ＝１００，ｙｓ＝３００，ｘｅ＝１６０
０，ｙｅ＝１０００の各直線で区画される領域として特
定する。そして、その領域の属性がflagにより文字（横
書き）であることが示される。属性は、例えば６ビット
のデータから成り、“１”のビットは文字（横書き）示
し、“２”のビットは文字（縦書き）を示し、“４”の
ビットは図形を示す。また、“８”のビットは写真を示
し、“１６”のビットは罫線を示し、“３２”のビット
は表を示す。

【０００９】従って、図７に示す表の第２行は、図６の
領域６２が、ｘｓ＝１６５０，ｙｓ＝３００，ｘｅ＝３
３００，ｙｅ＝１５００の各直線で区画される領域であ
り、その属性はflagにより図形であることが示される。
また、図７に示す表の第３行は、図６の領域６３が、ｘ
ｓ＝１００，ｙｓ＝１２００，ｘｅ＝１６００，ｙｅ＝
３０００の各直線で区画される領域であり、その属性は
flagにより写真であることが示される。図７に示す表の
第４行は、図６の領域が、ｘｓ＝１６５０，ｙｓ＝１７
００，ｘｅ＝３３００，ｙｅ＝４６００の各直線で区画
される領域であり、その属性はflagにより文字（横書
き）であることが示される。図７に示す表の第５行は、
図６の領域が、ｘｓ＝１００，ｙｓ＝３１００，ｘｅ＝
１６００，ｙｅ＝４６００の各直線で区画される領域で
あり、その属性はflagにより文字（横書き）であること
が示される。

【００１０】尚、図７に示すレイアウト情報に文字領域
の読取順序等の項目を含めるようにしてもよい。例え
ば、図６の領域６１、６５、６４の順に文章が書かれて
いる場合は、この順序を示しておくことにより、この順
序に従って、自動的に文字認識を行なうことができる。

【００１１】レイアウト識別部４は、レイアウト情報格
納部３に予め格納されている複数のレイアウト情報と、
領域抽出部２で得られた領域抽出結果とを比較する。そ
して、一致するレイアウト情報を識別した結果、領域抽
出結果を修正する必要があればレイアウト情報に従って
修正し、文字以外の領域は画像データとして画像データ
格納部５に格納する。一方、文字領域は文字認識部６で
文字認識した後、テキストデータとして認識結果格納部
７に格納する。また、レイアウト識別部４でのレイアウ
ト情報と領域抽出結果との比較により各レイアウト情報
について類似度を求める。そして、類似度が最大である
レイアウト情報を一致レイアウトとする。このレイアウ
ト情報に従って領域抽出結果を修正する。

【００１２】まず、レイアウト情報に格納されているあ
る領域を既知領域とし、この既知領域の中心点の座標を
次式により求める。｛（ｘｓ＋ｘｅ）／２，（ｙｓ＋ｙｅ）／２｝一方、領域抽出の結果得られた領域（抽出領域）のう
ち、既知領域と同じ属性を持つすべての抽出領域につい
て、上記式により中心点を求める。その後、既知領域の
中心点と、これらのすべての抽出領域の中心点との距離
を求める。そして、この距離が最小となる抽出領域を既
知領域に対応する領域とする。尚、図８（ａ）に示す抽
出領域７１、７５のように、図８（ｂ）に示すいずれの
既知領域にも対応しない抽出領域もある。以上の処理を
すべての既知領域について行なう。

【００１３】これらの処理において、以下の２つの場合
は、領域抽出結果とレイアウト情報との類似度を“０”
（不一致）とし、以降の処理は行なわない。（１）既知領域と同じ属性を持つ抽出領域が存在しない
場合、即ち、既知領域に対応する抽出領域が存在しない
場合は、不一致とする。（２）ある抽出領域が複数の既知領域に対応している場
合は、後述する類似度の計算の都合上、不一致とする。

【００１４】上述した（１）、（２）の２つの場合以外
の場合は、次のようにして領域抽出結果とレイアウト情
報との類似度を求める。まず、既知領域とそれに対応す
る抽出領域との重複部分の面積を求める。この面積は、
双方の領域の座標から容易に求められる。そして、次式
により類似度を求める。類似度＝（重複部分の面積の和）／（全既知領域の面積
の和）×１００以上の処理をレイアウト情報格納部３に格納されている
すべてのレイアウト情報について行なう。そして、最も
類似度の大きいレイアウトを一致レイアウトとする。た
だし、その一致レイアウトの類似度がある一定値（ＴＨ
Ｌ）以下の場合は、一致レイアウトなしとして領域抽出
結果を新しいレイアウト情報としてレイアウト情報格納
部３に格納する。この場合は、領域抽出結果をそのまま
使用するので、以下の修正処理は行なわない。

【００１５】最後に、上記処理で一致レイアウトと判定
されたレイアウト情報に従って領域抽出結果を修正す
る。図８は、修正処理の一例の説明図である。一致レイ
アウト情報の左上及び右下の文字領域は、領域抽出結果
ではそれぞれ２つの領域に分かれている。従って、それ
らの２つの領域を統合する必要がある。この場合、既知
領域に対応する抽出領域とそれ以外の領域を類似度が１
００％に最も近づく組み合わせで統合を行なう。ここ
で、既知領域に対応しない領域とは、既知領域との重複
部分を持たない領域である。このような領域を既知領域
に対応する抽出領域と統合する必要がある。ただし、既
知領域と抽出領域の対応が１対１ではなくなるような組
み合わせでの統合は行なわない。修正の結果得られた領
域のうち、文字以外の領域は画像データとして画像デー
タ格納部５に格納される。

【００１６】一方、レイアウト識別部４で得られた修正
された領域抽出結果のうち、文字の領域に関しては、文
字認識部６で文字を１文字単位に切り出し、文字認識を
行なった後、その認識の結果得られる文字コードを認識
結果格納部７に格納する。図９に、上述したレイアウト
識別部の処理手順の概要を示す。

【００１７】まず、ステップＳ１では、レイアウト情報
の既知領域に対応する文書画像の抽出領域を求める。こ
の対応関係を求めた後、ステップＳ２で、レイアウト情
報と文書画像の類似度を求める。この類似度はすべての
レイアウト情報について求める。ステップＳ３では、ス
テップＳ２で求めた最大の類似度が一定値以下か否かを
判別し、一定値以下のときは、一致するレイアウト情報
がないものとして、ステップＳ５で領域抽出結果を新た
なレイアウト情報とする。一方、ステップＳ２で求めた
最大の類似度が一定値以下でないときは、そのレイアウ
ト情報を領域抽出結果に一致するレイアウト情報とし、
ステップＳ４でそのレイアウト情報に従って領域抽出結
果を修正する。

【００１８】次に、上述した装置の動作を説明する。ま
ず、読取部１で文書画像が読み取られる。領域抽出部２
では、この文書画像から公知の方法により図８（ａ）に
示すように各領域が抽出される。レイアウト情報格納部
３には、図８（ｂ）に示すようなレイアウト情報が格納
されている。レイアウト識別部４は、図９のフローチャ
ートに従って処理を行なう。図８（ａ）と図８（ｂ）と
を比較すると、抽出領域７１の中心点に最も近い中心点
を持つのは既知領域８１である。従って、抽出領域７２
に対応するのは、既知領域８１である。同様に、抽出領
域７３に対応するのは、既知領域８２であり、抽出領域
７４に対応するのは、既知領域８３である。また、抽出
領域７５に対応するのは、既知領域８４であり、抽出領
域７６に対応するのは、既知領域８４である。更に、抽
出領域７７に対応するのは、既知領域８５である。

【００１９】次に、図８（ａ）の領域抽出結果と、図８
（ｂ）のレイアウト情報の類似度を求める。このため、
まず、抽出領域７１、７２と、既知領域８１の各重複部
分の面積を求める。同様に、抽出領域７３、７４と、既
知領域８２、８３の各重複部分の面積を求める。また、
抽出領域７５、７６と、既知領域８４の各重複部分の面
積を求める。更に、抽出領域７７と、既知領域８５の重
複部分の面積を求める。そして、これらの重複部分の面
積の和を求める。一方、既知領域８１、８２、８３、８
４、８５の各面積を求め、それらの和を求める。この既
知領域の面積の和は、予め求めておいて、レイアウト情
報中に含めておくようにしてもよい。

【００２０】そして、既知領域と抽出領域の重複部分の
面積の和を、既知領域の面積の和で割ることによって類
似度を求める。この類似度が１００％であれば、領域抽
出結果のレイアウトは、既知のレイアウトと完全に一致
することになる。しかし、完全に一致しなくても類似度
がある程度の大きさであれば、領域抽出の誤差の範囲に
含まれ、レイアウト情報のレイアウトと一致すると見な
すことができる。図８のような場合は、レイアウトが一
致すると見なす。

【００２１】従って、図８（ｂ）に従い、図８（ａ）の
領域抽出結果を修正する。即ち、図８（ａ）の複数の抽
出領域のうち、図８（ｂ）の１つの既知領域と対応する
ものを統合する。例えば、抽出領域７１は、抽出領域７
２と統合して図８（ｃ）に示す１つの抽出領域９１とす
る。一方、抽出領域７５は、抽出領域７３と抽出領域７
６のいずれかと統合することになるが、抽出領域７５の
属性が文字であり、抽出領域７３の属性が図形で、抽出
領域７６の属性が文字であるので、抽出領域７６と統合
する。尚、図８（ａ）に示す場合と異なり、抽出領域７
３の属性も文字であるときも、抽出領域７６と統合した
場合の類似度が抽出領域７３と統合した場合の類似度よ
り大きくなるので、抽出領域７６と統合する。そして、
図８（ｃ）に示す１つの抽出領域９４とする。

【００２２】この結果、図８（ｂ）のレイアウト情報の
属性を参照し、既知領域８１に対応する抽出領域９１、
既知領域８４に対応する抽出領域９４、既知領域８５に
対応する抽出領域９５をそれぞれ文字領域として取り出
し、これらの領域から各文字を切り出して文字認識を行
なうことができる。従って、領域抽出の結果得られた各
抽出領域のすべてについて属性を調べる必要がなく、迅
速な文書画像処理を行なうことができる。また、図８
（ｃ）に示す抽出領域９２、９３を誤って文字領域とし
て文字認識してしまうことを防止することができる。

【００２３】尚、本発明は、上述した実施例に限定され
るものではなく、請求の範囲に記載された事項の範囲内
で種々の変形が可能であることはいうまでもない。例え
ば、領域抽出結果とレイアウト情報の比較において、抽
出領域の中心点と既知領域の中心点の距離を比較するよ
うにしたが、これに限らず、抽出領域の特定の頂点と既
知領域の特定の頂点の距離を比較するようにしてもよ
い。

【００２４】

【発明の効果】以上説明したように、本発明の文書画像
処理装置によれば、予め用意されたレイアウト情報の中
から領域抽出結果に最も一致するものを自動的に選び出
し、これに従って領域抽出結果を修正して画像処理を行
なうようにしたので、レイアウトが未知の文書として画
像処理を行なう場合と比較して迅速かつ確実な画像処理
を行なうことができる。この結果、いかなる文書画像に
ついても文字認識の精度を向上させることができる。ま
た、レイアウト情報と領域抽出結果を比較する際、既知
領域と抽出領域の中心点間の距離により対応関係を求め
て対応する領域の重複部分の面積からレイアウト情報と
領域抽出結果の類似度を計算するようにすることによ
り、正確な類似度を計算でき、適切な画像処理を行なう
ことができる。

【図面の簡単な説明】

【図１】本発明の文書画像処理装置の一実施例のブロッ
ク図である。

【図２】従来の文書画像処理の一例（その１）の説明図
である。

【図３】従来の文書画像処理の一例（その２）の説明図
である。

【図４】領域抽出処理の一例（その１）の説明図であ
る。

【図５】領域抽出処理の一例（その２）の説明図であ
る。

【図６】文書画像の各領域の説明図である。

【図７】レイアウト情報の一例の説明図である。

【図８】修正処理の一例の説明図である。

【図９】レイアウト識別部の処理手順の概要を示すフロ
ーチャートである。

【符号の説明】

１読取部２領域抽出部３レイアウト情報格納部４レイアウト識別部５画像データ格納部６文字認識部７認識結果格納部１０文書画像処理装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者鳥越真東京都港区虎ノ門１丁目７番12号沖電気工業株式会社内

Claims

【特許請求の範囲】

【請求項１】文書画像の各領域を抽出する領域抽出部
と、文書画像上に配置された各領域の属性を示すレイアウト
情報を複数又は単数格納するレイアウト情報格納部と、当該レイアウト情報格納部に格納されたレイアウト情報
のうち、前記領域抽出部による領域抽出結果に最も一致
するものを取り出し、一致するレイアウト情報が存在し
ない場合は前記領域抽出結果を新たなレイアウト情報と
して前記レイアウト情報格納部に格納し、一致するレイ
アウト情報が存在する場合は当該レイアウト情報に従っ
て前記領域抽出結果を修正するレイアウト識別部とから
成ることを特徴とする文書画像処理装置。
【請求項２】前記レイアウト識別部は、前記レイアウ
ト情報と前記領域抽出結果とを比較する際、双方に含ま
れる各領域の中心点の座標を求め、前記レイアウト情報
の領域と前記領域抽出結果の領域とでそれらの中心点の
距離が最も小さいものを対応する領域とし、これらの対
応する領域の重複部分の面積により類似度を求め、当該
類似度が最大のレイアウト情報を前記領域抽出結果に一
致するレイアウト情報とすることを特徴とする文書画像
処理装置。