JPH03142691A - 表形式文書認識方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、文字、表、図等が混在する文書を読込んで
文書画像情報とし、この文書画像情報から個々の情報を
分離して認識する表形式文書認識方式に関する。

〔従来の技術〕

従来、光学文字認識装置（ＯＣＲ）等の文字認識装置で
は、文書を画像情報として読取り、この画像情報を行或
いは列と文字群とに分離し、さらに文字と思われる所で
細分化して文字認識を行うようにしているが、表中の文
字を認識する場合には、罫線が含まれていることから枠
内の文字については行間や文字間がことなるため、誤認
識も多くなり、しかも表の構造を認識しているわけでは
ないので、その表自身が持つ意味を失わせてしまうとい
う課題があった。

この課題を解決するために、従来、昭和６３年電子情報
通信学会春季全国大会予稿集第２−２２４頁に記載され
ているように、文書画像を水平（又は垂直）方向に走査
し、黒画素数のヒストグラムを形成し、次いでヒストグ
ラムの山の部分について、高さが闇値以上である区間を
山の幅として、その幅が小さいものを抽出し、それに対
応する文書画像の領域を線分の領域とし、さらに線分領
域を線分の方向に走査し、白画素が闇値以上連続する部
分を終点として線分を抽出し、その後抽出した線分から
表の外接矩形を求めて欄情報を生威し、裏構造を認識す
ることが提案されている。

〔発明が解決しようとする課題〕

しかしながら、上記従来の表形式文書認識方式にあって
は、文書画像を水平又は垂直方向に走査する関係で、水
平又は垂直方向に連続する罫線の場合には、罫線を切り
出すことができるが、例えば水平方向の２本の罫線間を
結ぶ短い垂直方向の罫線がある場合にはこれを検出する
ことができないので、細かく区分けされた表を正確に認
識するには、文書画像を短い罫線を認識可能な大きさの
領域に分割し、各領域毎に水平及び垂直方向の走査を行
ってヒストグラムを作成する必要があり、画像認識を行
う場合の処理時間が長くなると共に、分割領域の周縁部
に罫線があるときには判別が困難であり、また各分割領
域で抽出した罫線候補を連結する場合の処理時間も長く
なり、さらには文字群が実線、点線等の線によって区分
けされず、空白領域による仮想罫線によって区分けされ
た表については表認識を行うことができないという未解
決の課題があった。

そこで、この発明は、上記従来例の未解決の課題に着目
してなされたものであり、表認識を短時間で正確に行う
ことができ、また空白領域による仮想罫線であっても容
易に表認識を行うことができる表形式文書認識方式を提
供することを目的としている。

〔課題を解決するための手段〕

上記目的を遠戚するために、請求項（１）に係る表形式
文書認識方式は、文字と罫線とが混在する表形式文書を
画像読取装置で読取り、該画像読取装置からの画像情報
中の罫線を切り出し、該罫線によって両底された領域の
文字情報を文字認識装置に送出するようにした表形式文
書認識方式であって、前記画像情報を所定幅の帯状領域
に分割し、各帯状領域をその長手方向と直交する方向に
投影した投影データを形成する投影データ形成手段と、
該投影データ形成手段で形成した投影データから罫線候
補を抽出する罫線候補抽出手段と、該罫線候補抽出手段
で抽出した罫線候補を隣接する帯状領域間で連結して罫
線を認識する罫線認識手段とを備えたことを特徴として
いる。

また、請求項（２）に係る表形式文書認識方式は、前記
請求項（１）において、罫線候補抽出手段は、文字列間
に空白領域があるときに、当該空白領域から仮想罫線候
補を抽出するように構成されていることを特徴としてい
る。

〔作用〕

請求項（１）に係る表形式文書認識方式においては、画
像読取装置で読取った２値化画像情報を例えば水平方向
の複数の帯状領域に分割し、これら帯状領域の夫々につ
いてその長手方向と直交する方向に投影データをとり、
この投影データから例えば幅狭の垂直方向の罫線候補を
抽出することにより、垂直罫線候補を正確に抽出するこ
とができ、この抽出した罫線候補を隣接する帯状領域間
で連結することにより、垂直罫線を認識することができ
る。

また、水平罫線を抽出するには、２値化画像情報を垂直
方向の複数の帯状領域に分割し、その長手方向と直交す
る投影データから水平方向罫線候補を抽出し、各帯状領
域の罫線候補を連結することにより、水平罫線を抽出す
ることができる。この水平罫線を抽出する際に、予め前
記処理によって抽出した垂直罫線を前記２値化画像情報
から消去しておくことにより、罫線認識の時間を短縮す
ることができる。

また、請求項（２）に係る表形式文書認識方式において
は、文字列が空白領域で区分されている表である場合に
、その空白領域を探索して仮想罫線候補を抽出すること
により、線で区分けされていない表であっても、罫線認
識を容易に行うことかできる。

〔実施例〕

以下、この発明の実施例を図面に基づいて説明する。

第１図はこの発明の概略構成を示すブロック図である。

図中、ｌはイメージスキャナーであって、パーソナルコ
ンピュータ等で構成される処理装置４によって制御され
、第２図に示すように、垂直罫線Ｒｖ及び水平罫線ＲＨ
によって形成された表Ｔ内に任意の文字が描かれた表形
式文書りを読取り、これを所定レベルで黒白画素に２値
化した２値化画像情報を出力する。

このイメージスキャナー１の２値化画像情報は、図形分
離部２に送出され、この図形分離部２で表情報とこれに
よって区分けされた文字情報とに分割され、文字情報が
光学文字認識装置（ＯＣＲ）３に入力され、この光学文
字認識装置３で文字認識が行われて認識された文字デー
タが処理装置４に入力される。

図形分離部２は、例えばインタフェース回路２ａ、演算
処理装置２ｂ及びドツト対応の画像メモリを含む記憶装
置２Ｃを少なくとも有し、イメージスキャナーｌからの
２値化画像情報が入力されると、この２値化画像情報を
記憶装置２Ｃの画像メモリに格納し、次いで演算処理装
置２ｂで第３図の処理を実行する。すなわち、先ずステ
ップので垂直罫線Ｒｖを抽出する垂直罫線抽出処理を実
行し、次いでステップ■に移行して水平罫線Ｒｇを抽出
する水平罫線抽出処理を実行し、次いでステップ■に移
行して罫線によらず罫線に対応する空白領域による仮想
罫線Ｒ，を抽出する仮想罫線抽出処理を実行し、次いで
ステップ■に移行して各処理で抽出した垂直罫線ＲＶ、
水平罫線Ｒ工及び仮想罫線Ｒ７で囲まれる欄内の画像情
報を光学文字読取装置３に送出する。

ここで、垂直罫線抽出処理は、第４図に示すようにステ
ップ■で画像メモリに格納されている２値化画像情報を
、第７図（ａ）に示すように、所定幅の水平方向（Ｘ方
向）に延長する複数Ｎ個の帯状領域Ｂ　Ｘ　Ｉ−Ｂ　Ｘ
　Ｎに分割するように水平方向に順次垂直方向の所定幅
Ｗ分づつ読出し、夫々の帯状領域ＢＸ＋”’ＢＸＮにつ
いてその長手方向（Ｘ方向）と直交する垂直方向（Ｙ方
向）に投影して第７図（ｂ）に示すように、黒画素とな
る論理値“ｌ”の垂直投影データを形成し、次いでステ
ップ＠に移行して、この投影データから垂直罫線候補を
抽出する。この垂直罫線候補の抽出は、投影データを予
め設定した閾値で再度２値化し、この２値化データの“
ｌ”が連続する部分を探索し、罫線は通常幅狭であるこ
とから′°１”の連続幅が予め設定した幅以下であると
きに、これを垂直罫線候補として抽出し、その他を文字
候補として抽出する。

次いで、ステップ■に移行して、文字候補中に含まれる
垂直罫線候補を抽出する罫線候補再抽出処理を実行する
。すなわち、第７図（ａ）に示すように、ある帯状領域
ＢＸ、内に水平罫線Ｒ□を含む場合には、その投影デー
タは、第７図（ｂ）に示すように、水平罫線ＲＨを表す
論理値“１”分だけ嵩上げされるので、第７図（ロ）で
点線図示の所定の閾値Ｔ、で再２値化を行っても、各垂
直罫線Ｒ８間で論理値“ｌ”が連続することになり、全
体が文字候補として認識されてしまう、このため、罫線
候補再抽出処理では、論理値“１”が連続する幅区間内
の最大値（罫線を含んでいるときには、その罫線部分が
通常は高いピークとなる）と、その幅区間内の平均値と
で再々２値化を行うことにより、第７図（Ｃ）に示すよ
うに、文字候補中に含まれる垂直罫線候補を抽出するこ
とができる。

次いで、ステップ［相］に移行して、各帯状領域ＢＸ１
〜ＢＸ、について、罫線候補の抽出が完了したか否かを
判定し、罫線候補抽出が完了していない帯状領域がある
ときには、ステップ［相］に移行して次の画像メモリの
続出アドレスを次の帯状領域ＢＸ１１となるように設定
したから前記ステップ■に戻り、全ての帯状領域Ｂ　Ｘ
　ｔ〜ＢＸ、について罫線候補の抽出が完了したときに
は、ステップ［相］に移行して各帯状領域ＢＸ、〜ＢＸ
、で抽出した垂直罫線候補を垂直方向に連結して垂直罫
線候補列を形成する。この垂直罫線候補列を形成するに
は、隣接する帯状領域間で各罫線候補群から垂直方向（
Ｙ方向）に重なりを持つ垂直罫線候補を抽出して両者を
連結することにより行う。

次いで、ステップ＠に移行して、垂直罫線候補列をその
延長方向と直交する方向即ちＸ方向に投影して投影デー
タをとり、この投影データがあるレベル以上連続してい
るときに罫線として認識し、その投影データから始端及
び終端座標を求めることで垂直罫線を決定してから処理
を終了して第３図の処理に復帰する。

また、水平罫線抽出処理は、第５図に示すように先ずス
テップ■で、画像メモリに格納されている２値化画像情
報から前記垂直罫線候補抽出処理で決定された垂直罫線
Ｒｖを消去した消去２値化画像情報を作成し、これを画
像メモリに格納する。

次いで、ステップ＠に移行して、消去２値化画像情報に
ついて、前記垂直罫線候補抽出処理における帯状領域Ｂ
Ｘ、〜Ｂ　Ｘ　ｓに代えて所定幅Ｗで垂直方向に分割し
て垂直帯状領域ＢＹ、〜ＢＹ。

を形成するように、消去２値化画像情報を垂直方向に所
定幅分づつ読出し、その長手方向（Ｙ方向）とは直交す
るＸ方向に投影して投影データを作威する。

次いで、ステップ０に移行して、投影データに基づいて
前記垂直罫線候補抽出処理と同様の処理を行うことによ
り水平罫線候補を抽出する。

次いで、ステップ［相］に移行して全ての垂直帯状領域
ＢＹ、−ＢＹ、について水平罫線候補の抽出を完了した
か否かを判定し、抽出が未完了であるときには、ステッ
プ＠に移行して次の垂直帯状領域Ｂ　Ｙ　ｊ＋　ｒに対
応する続出アドレスを設定してから前記ステップ＠に戻
り、全ての垂直帯状領域ＢＹ１〜ＢＹ、について水平罫
線候補の抽出が完了したときには、ステップ［相］に移
行する。

このステップ［相］では、隣接する垂直帯状領域の水平
罫線候補を抽出して連結することにより、水平罫線候補
列を作威し、次いでステップＯに移行して水平罫線候補
列をＸ方向に投影することにより、水平罫線を決定する
。

さらに、仮想罫線抽出処理は、第６図に示すように、先
ずステップ［相］で、第８図に示すように、上記垂直罫
線候補抽出処理及び水平罫線候補抽出処理によって求め
られた垂直罫線Ｒｖ及び水平罫線ＲＭの最外罫線に外接
する矩形の最外罫線枠Ｆの内側を仮想罫線処理領域に設
定し、次いでステップ＠に移行して、画像メモリに格納
されている垂直罫線消去２値化画像情報から水平罫Ｌ９
．　Ｒ，を消去して第９図に示すような２値化画像情報
を形成し、次いでステップ０に移行して、２値化画像情
報を前述した水平罫線候補抽出処理と同様に、複数Ｍ個
の帯状領域ＢＹ、−ＢＹ、に分割し、これら帯状領域Ｂ
Ｙ、〜ＢＹイの夫々についてＸ方向の投影データを形成
し、次いでステップ［相］に移行して、投影データから
論理値゛０”を表す領域を仮想罫線候補として抽出する
。この結果、例えば各帯状領域ＢＹｉ−，，ＢＹえ及び
Ｂ　Ｙ　ｔ　−ｔで第１Ｏ図（ａ）に示すように、空白
部の仮想罫線候補を抽出することができる。

次いで、ステップ［相］に移行して全ての垂直帯状領域
ＢＹ、−ＢＹ、について仮想罫線候補の抽出が完了した
か否かを判定し、仮想罫線候補の抽出が未完了の垂直帯
状領域があるときには、ステップ［相］に移行して画像
メモリに対する続出アドレスを次の帯状領域ＢＹ、、、
に対応するアドレスに更新してからステップ０に戻り、
全ての垂直帯状領域Ｂ　Ｙ　＋〜ＢＹｗについて仮想罫
線候補の抽出が完了したときには、ステップ■に移行す
る。

このステップ■では、前記ステップ［相］で抽出した仮
想罫線候補は、空白部の全てが候補となるため、候補の
大きさの違いが著しくなり、例えば第１０図（ａ）にお
ける帯状領域ＢＹ□では、全てが仮想罫線候補となって
しまうので、この帯状領域ＢＹｔの仮想罫線候補と、こ
れに隣接する帯状領域ＢＹえ−、及びＢＹ、。１の仮想
罫線候補ＣＡ　ｒ及びＣＡＺの数を算出し、両者の仮想
罫線候補数を比較して何れか多い方の仮想罫線候補に合
わせて仮想罫線候補を分割して仮想罫線分割候補ＣＡ。

及びＣＡｚ’を選定する。

次いで、ステップ［相］に移行して、抽出した仮想罫線
分割候補を含む全ての仮想罫線候補のうち、隣接する帯
状ｗＩ域の互いに水平方向連接する仮想罫線候補を探索
して連結し、仮想罫線候補列を形成する。

次いで、ステップ０に移行して、仮想罫線候補列のうち
前述した罫線候補抽出処理で決定した垂直罫線Ｒｖ及び
水平罫線Ｒ９と重なる仮想罫線候補列を消去し、残りの
仮想罫線候補列について仮想罫線を決定してから第４図
の処理に戻る。この仮想罫線の決定は、仮想罫線候補列
が罫線に比較して幅広であるので、仮想罫線候補列の始
端及び終端における仮想罫線候補の中点を代表点とし、
この代表点の座標を求めることにより、両代表点を結ぶ
線分を仮想罫線として決定する。

なお、仮想罫線を決定するときに、福に第１１図（ａ）
に示すように幅広の仮想罫線候補ＣＡ、に対して幅狭の
複数の仮想罫線候補ＣＡ　＋　ｚ及びＣＡ１３が連接す
る場合があり、この場合には幅広の仮想罫線候補ＣＡ　
＋　＋の中点と幅狭の仮想罫線候補ＣＡ２．の中点とを
代表点に選定すると、仮想罫線を誤抽出することになる
ので、幅広の仮想罫線候補と幅狭の仮想罫線候補とが連
結されて仮想罫線候補列が形成される場合には、第１１
図（ロ）に示すように、幅狭の仮想罫線候補の何れか一
方の中点を唯一の代表点として選択し、仮想罫線を決定
すると共に、残りの幅狭の仮想罫線候補に対しては幅広
罫線候補に接する境界位置を仮想罫線の終点又は始点座
標として決定する。

このようにして、全ての罫線及び仮想罫線を決定するこ
とにより表形式の認識が終了したら、前記第４図のステ
ップ■に移行して、各罫線で囲まれる欄の文字情報を一
括して光学文字認識装置３に出力する。

したがって、光学文字認識装置３では、表形式文書りの
各欄毎に文字１ｍを行うことになるので、文字認識率を
向上させることができると共に、裏構造を認識すること
ができるので、表形式文書の行又は列に対しての項目毎
に文字のみ或いは数字のみなどの指定を行うことが可能
となり、文字の選択数を限定することができ、認識率と
認識速度の向上を図ることができる。さらに、光学文字
認識装置３で認識した文字を制御コードに変換してパー
ソナルコンピュータ等で構成される演算処理装置４に入
力することにより、住所録や電話帳などの氏名、住所、
電話番号等のデータベースを作成する場合に、これらの
文書をイメージスキャナーで読込むだけでよく、データ
ベースの作成を容易に行うことができる。

なお、上記実施例においては、画像読取装置としてイメ
ージスキャナー１を適用した場合について説明したが、
これに限定されるものではなく、テレビカメラ、固体撮
像装置等の任意の画像読取装置を適用することができる
。

また、上記実施例においては、表形式文書の罫線が実線
である場合について説明したが、これに限定されるもの
ではなく、破線、鎖線等の罫線である場合にも投影デー
タのピークが実線の場合に比較して小さくなるだけであ
るので、容易に罫線を認識することができる。

さらに、上記実施例においては、イメージスキャナー１
の読取方向と表形式文書の罫線方向とが一致している場
合について説明したが、これに限らず表形式文書の２値
化画像情報がイメージスキャナー１の読取方向とずれて
いる場合には、垂直罫線Ｒｖ、水平罫線ＲＨ及び仮想罫
ＩＩＲＩの始終端座標を決定する場合に、罫線候補列の
罫線候補を抽出する場合の投影方向とは直交する方向の
投影データをとり、これによって始端及び終端座標を求
めると共に、罫線候補列の方程式を求めることにより、
始点及び終点座標を決定することができる。但し、仮想
罫線候補については、前述したように実在する罫線がな
いことにより、代表点となる仮想罫線候補列の始端及び
終端の中点を結ぶ直線の方程式を利用する。

〔発明の効果〕

以上説明したように、請求項（１）に係る表形式文書認
識方式にあっては、表形式文書の表を形成する垂直罫線
及び水平罫線をそれぞれ両者に直交する帯状領域に分割
した２値化画像情報をその長手方向と直交する方向に投
影した投影データに基づいて罫線候補を抽出するように
したので、２値化画像情報の分割数を少なくすることが
でき、表形式文書の認識速度を向上させることができ、
しかも裏構造を認識してこの裏構造の各欄毎に文字認識
を行うので、行又は列に対しての項目毎に文字のみ或い
は数字のみ等の指定を行うことができ、文字認識装置で
の文字の選択数を限定できることで、文学誌ｍ装置の文
字認識率及び認識速度を向上させることができ、さらに
は表形式を認識することができるので、表形式文書から
所定項目毎のデータベースを作成する場合に、表形式文
書を文字読取装置で読取るだけで容易に作成することが
できる効果が得られる。

また、請求項（２）に係る表形式文書認識方式にあって
は、前記請求項（１）の効果に加えて、罫線によって区
分けされておらず、空白部分による仮想罫線によって区
分けされている表形式であっても、罫線があるものとし
て認識することができるので、文字認識装置での文字認
識率及び認識速度をより向上させることができる効果が
得られる。

【図面の簡単な説明】

第１図はこの発明の概略構成を示すブロック図、第２図
は表形式文書を示す説明図、第３図〜第６図は図形分離
部における処理手順の一例を示すフローチャート、第７
図（ａ）、　（ｂ）及び（Ｃ）は夫々この発明の詳細な
説明に供する水平帯状領域、その垂直投影データ及び再
々２値化データを示す説明図、第８図は仮想罫線処理領
域を示す説明図、第９図は消去２値化情報を示す説明図
、第１０図（ａ）及び働）並びに第１１図（ａ）及び（
ｂ）は夫々仮想罫線抽出処理の説明に供する説明図であ
る。 図中、１はイメージスキャナー（文字読取装置）２は図
形分離部、３は光学文字認識装置、４は演算処理装置、
Ｄは表形式文書、Ｒｖは垂直罫線、ＲＮは水平罫線であ
る。

Claims (2)

【特許請求の範囲】
1. （１）文字と罫線とが混在する表形式文書を画像読取装
   置で読取り、該画像読取装置からの画像情報中の罫線を
   切り出し、該罫線によって画成された領域の文字情報を
   文字認識装置に送出するようにした表形式文書認識方式
   であって、前記画像情報を所定幅の帯状領域に分割し、
   各帯状領域をその長手方向と直交する方向に投影した投
   影データを形成する投影データ形成手段と、該投影デー
   タ形成手段で形成した投影データから罫線候補を抽出す
   る罫線候補抽出手段と、該罫線候補抽出手段で抽出した
   罫線候補領域を隣接する帯状領域間で連結して罫線を決
   定する罫線決定手段とを備えたことを特徴とする表形式
   文書認識方式。
2. （２）前記罫線候補抽出手段は、文字列間に空白領域が
   あるときに、当該空白領域から仮想罫線候補を抽出する
   ように構成されている請求項（１）記載の表形式文書認
   識方式。