JPH0676103A - 文書画像の文章領域抽出装置 - Google Patents

Abstract

(57)【要約】 【目的】 文書画像から段組を高速・高精度に抽出す
る。 【構成】 粗な文書画像１に変換してから周辺部を除去
し、さらに文書の縦横形式を判別した後に、大まかの段
組を抽出する（Ｓ１〜Ｓ４）。次いで、段組間の、行に
垂直な方向の周辺分布を求め（Ｓ５−１）、得られた周
辺分布の突出した分の凸値を求める（Ｓ５−２）。凸値
ΔＰ（ｘ）の値によっては、さらに行方向の周辺分布を
求めて仕切線を検出する（Ｓ５−３）。検出された仕切
線に二重線があれば統合し（Ｓ６）、同様に段組間の空
白領域を検出する（Ｓ７）。さらに、段組間についても
同様な処理により周辺分布を求めて仕切線を検出する
（Ｓ８）。これらの検出結果に基づき、行ブロックおよ
び段落ブロックを抽出するとともにそれらにラベリング
する（Ｓ９，Ｓ１０）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は文字認識装置が文書画像
を読み取る際に用いられる文書画像の文章領域抽出装置
に関し、詳しくは、文章、線図、写真等が混在し多段組
で構成される文書画像についても自動的に文章領域を抽
出することを可能にした文書画像の文章領域抽出装置に
関する。

【０００２】

【従来の技術】従来、多段組で構成される文書画像から
行ブロックを抽出するには、先ず行に垂直な方向に各ラ
インの黒画素の変化点の数を計測して周辺部分を求め、
得られた周辺分布から段落の谷間を検出し、段落を判定
する。次に、段ごとに行方向にぬりつぶし処理を行い、
段落内の行ブロックを作成する。

【０００３】さらに、段と段の間の距離をもとに閾値を
作成し、隣合う行ブロックの間にある黒画素（文字）と
の距離が閾値を越えた場合は、段組ごとの行ブロック
か、または段組をまたぐ行ブロック（タイトル、概要
等）であるかの判定を行う。距離が閾値以下の場合は、
行ブロックの統合を行い、段組をまたぐ行ブロックの作
成をおこなう。なお、これ以外にも行等の線情報の検出
法として、連結性解析や境界追跡によるベクトル化とい
う手法がある。

【０００４】

【発明が解決しようとする課題】しかしながら、これら
従来の行ブロックの抽出法で、新聞等のように段と段の
間に仕切線のある文書画像を処理する場合は、仕切線の
黒画素のため隣合う行ブロックの間にある黒画素との距
離が短くなり、段組をまたぐ行ブロック（タイトル、概
要等）であると誤判定されることがある。

【０００５】また、従来の方法では、段組内にある表や
図が行方向のぬりつぶし処理により行と一つに統合され
てしまい、行ブロックが正しく抽出されない。さらに、
連結性解析による線情報の検出法や境界追跡によるベク
トル化による線情報の検出法では、処理に時間がかか
り、しかも文字に接触した線の検出が困難である等の問
題があった。

【０００６】本発明は上記問題点を解決するためになさ
れたもので、その目的とするところは、段と段との間に
仕切線がある文書画像および段組内に表や図が含まれる
文書画像についても高精度で行ブロックおよび段落ブロ
ックを抽出することのできる文書画像の文章領域抽出装
置を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、２値化信号として入力された原画像
を、それよりも粗である文書画像に変換する手段と、文
書画像から周辺の空白部分を除去する手段と、文書画像
が縦書きまたは横書きのいずれであるかを判別する手段
と、文書画像を文字行と垂直な方向に走査し走査ライン
ごとに画素値が反転する回数を計数し、その頻度分布を
求める手段と、頻度分布の谷部から文書画像中の段組み
領域を抽出する手段とを備えた文書画像の文章領域抽出
装置において、段組み間を走査し、走査ラインごとに黒
画素の個数を計測して周辺分布を求め、その周辺分布か
ら仕切線を検出する手段と、段組み間の画素値を反転し
てから走査し、走査ラインごとに黒画素の個数を計測し
て周辺分布を求め、その周辺分布から段組み間の空白領
域を検出する手段と、段組み内を走査し、走査ラインご
とに黒画素の個数を計測して周辺分布を求め、その周辺
分布から仕切線を検出する手段と、検出された仕切線お
よび空白領域情報に基づき、文書画像内の行ブロックを
抽出する手段と、検出された仕切線および空白領域情報
に基づき、行ブロックより段落ブロックを抽出する手段
とを備えたことを特徴とする。

【０００８】第２の発明は、第１の発明において、検出
された仕切線に対してその長手方向に膨張処理または膨
張・収縮処理を加える手段を備えたことを特徴とする。

【０００９】第３の発明は、第１または第２の発明にお
いて、検出された仕切線に対しその垂直方向に膨張処理
または膨張・収縮処理を加える手段を備えたことを特徴
とする。

【００１０】第４の発明は、第１、第２または第３の発
明において、原画像を参照しながら仕切線および空白領
域の検出結果の正誤を判別する手段を備えたことを特徴
とする。

【００１１】

【作用】第１の発明においては、文書画像の抽出された
段組み間が走査されて走査ラインごとに黒画素の個数が
計測されることにより、得られた周辺分布から仕切線が
検出される。また、段組み間の画素値が反転されてから
走査され、走査ラインごとに黒画素の個数が計測される
ことにより、得られた周辺分布から段組み間の空白領域
が検出される。

【００１２】さらに、段組み内が走査されて走査ライン
ごとに黒画素の個数が計測されることにより、得られた
周辺分布から仕切線が検出される。これら検出された仕
切線および空白領域情報に基づき、文書画像内の行ブロ
ックが抽出され、次いで検出された仕切線および空白領
域情報に基づき、行ブロックより段落ブロックが抽出さ
れる。

【００１３】第２の発明においては、検出された仕切線
に対し、その長手方向に膨張処理または膨張・収縮処理
が加えられる。

【００１４】第３の発明においては、検出された仕切線
に対しその垂直方向に膨張処理または膨張・収縮処理が
加えられる。

【００１５】第４の発明においては、原画像を参照しな
がら仕切線および空白領域の検出結果の正誤が判別され
る。

【００１６】

【実施例】以下、図に沿って本発明の実施例を説明す
る。図１は第１の発明に係る文章領域抽出処理の一例を
示すフローチャートであり、図２は変換処理される画像
の一例を示す説明図である。以下、図１のフローチャー
トに基づき、図２の画像を参照しながら文章領域抽出処
理を説明する。

【００１７】図１において、初めに２値画像信号として
力された文書画像を変換して粗な文書画像１を作成する
（Ｓ１）。以後、ここで変換された粗なる文書画像１に
対して文章領域抽出の処理を行うことにより、処理速度
が向上する。次に、作成された画像１の周辺の空白部を
除去する（Ｓ２）。これも、文書が書き込まれていない
空白部分を処理対象から除くことにより、以後の処理速
度が向上する。この処理については、本出願人が特願平
３−３０６４４７号として出願している。

【００１８】次いで、文書画像の縦書き・横書きの判別
をする（Ｓ３）。この処理については、本出願人が特願
平３−２７７０６９号として出願している。ここで、文
書の方向の判別結果に従い、Ｓ３で横書きと判別された
場合はＹ軸方向、縦書きと判別された場合はＸ軸方向つ
まりいずれも行と垂直な方向にラインごとの黒画素の変
化点の数をカウントし、周辺分布を求めて段組の判定を
行う（Ｓ４）。図２では、行２が横書きと判別されるた
め、Ｙ軸方向についての周辺分布５が求められる。

【００１９】黒画素の変化点とは、２値画像中のライン
を構成する黒画素または白画素の反転を指すものであ
り、その周辺分布は、変化点のカウント値をラインごと
に示した頻度分布でもある。この処理については、本出
願人が特願平３−３５１０６５号として出願している。
なお、この段組の判定は、段の切れ目の可能性を示して
いるだけであり、文書にはタイトルや概要等のように段
組をまたぐ行ブロックが存在する。そのため、段を完全
に分離する情報として、段組間にある仕切線３の検出を
行う（Ｓ５）。

【００２０】具体的には、段と段とを分離し、しかも行
に垂直な方向の実線を検出するため、段組間について行
に垂直な方向の周辺分布を求める（Ｓ５−１）。なお、
ここで求める周辺分布とは、ライン上の黒画素の総数を
示すものであり、仕切線の場合、文書領域よりも分布値
が格段に大きくなる。

【００２１】図３はその説明図であり、図では説明の便
宜上、画像１に仕切線６のみを示している。Ｘ軸に沿っ
て変化する周辺分布をＰ（ｘ）とすると、仕切線６での
周辺分布Ｐ（ｘ）がその前後よりも突出する。そこで周
辺分布の突出した分の凸値を求める（Ｓ５−２）。求め
る凸値をΔＰ（ｘ）とすると、ΔＰ（ｘ）は次式により
表せる。

【００２２】 ΔＰ（ｘ）＝２Ｐ（ｘ）−Ｐ（ｘ−ε）−Ｐ（ｘ＋ε）……（１）

【００２３】なお、前後幅の指定値εは固定せずに、例
えば線が細い場合は１ｍｍとし、太い線や傾きがある場
合は２ｍｍというようにして、線の太さや傾きに応じて
変える。得られた凸値ΔＰ（ｘ）が、仕切線を判別する
ための閾値Ｔ１（例えば、４０ｍｍ）を越えた場合は、
仕切線の可能性ありと判別し、さらに仕切線の可能性の
ある範囲について、行と同じ方向の周辺分布を求める。
得られた周辺分布中に黒画素の区間が閾値Ｔ２（例え
ば、２０ｍｍ）を越えた場合は、仕切線であると判別す
る（Ｓ５−３）。

【００２４】図４は、判別処理の説明図であり、この判
別処理により検出された２本の仕切線７が接近していて
二重線と見なせるような場合は、統合処理を行い１本の
仕切線８とみなす（Ｓ６）。なお、図中の９は行であ
る。次に、段を完全に分離するために必要な他の情報と
して、段組間にある空間領域の検出を行う（Ｓ７）。具
体的には、画像の白黒値を反転してＳ５−１〜Ｓ５−３
と同様な処理を行い、反転され黒画素の仕切線として表
された空間領域を検出する。

【００２５】次にこれらの処理により確定された段組内
について、再度仕切線の検出を行う（Ｓ８）。すなわ
ち、段組内には、図２に示すように行以外の表罫線４
や、図中に引かれた縦線、横線がある。そこで、これら
の直線のうち、行に垂直な直線については上述した段組
間の直線検出と同じ処理により検出する。

【００２６】また、行と同じ方向の直線については、高
さが１ｍｍ程度の行が検出されると、その原画像につい
てチェックし、連続した線か文字かを判別する。図５は
その処理の説明図であり、粗な文書画像１中に行と同じ
方向の直線が検出されると、その領域１１について原画
像を参照し、線１２、あるいは文字１３であることを確
認する。これらの判別結果は、有効な段落の区切り情報
となる。

【００２７】次に、行ブロックの作成とラベリングを行
う（Ｓ９）。具体的な処理としては、画像１について得
られた段組情報、仕切線情報および空白領域情報をもと
に、仕切線と空白領域の影響がないように、段ごとに行
方向の塗りつぶし画像を作成し、段ごとの行ブロックを
作成する。次いで、この段と段との間の距離をもとにし
て閾値を作成する。

【００２８】この閾値と、隣合う行ブロックの間にある
黒画素との距離を比較し、段組ごとの行ブロックである
か、あるいは段組をまたぐ行ブロック（タイトル、概要
等）であるかの判定を行う。なお、距離が閾値以下であ
り、それらの行ブロックの間に仕切線が存在しない場合
は、行ブロックの統合を行い、段組をまたぐ行ブロック
の作成をおこなう。

【００２９】次いで、作成された行ブロックについてラ
ベリングを行う。図６はこの行ブロックの作成処理の説
明図であり、行ブロック１４は左右に２分され、段落間
の距離がｄとなる。行ブロック１４の下３行の段落間に
は行に垂直な仕切線１５が検出される。また、上３行の
行ブロック１４の段落間には黒画素１６が検出される。
その結果、上３行は、タイトルまたは概要を表す行ブロ
ックと判定され、下３行は、本文を表す行ブロックと判
定される。

【００３０】次に、これら行ブロックをまとめ、得られ
た段組情報および仕切線情報に基づき、段落構造を解析
して段落ブロックを作成するとともに、その順番付けの
ラベリングを行う（Ｓ１０）。特に、行と同じ方向の実
線は、段落の区切り情報として有効であり、段落の順番
付けの妥当性を増すことができる。

【００３１】以上説明した第１の発明の実施例では、段
組を判定するとともに、段組間の仕切線や段組内の仕切
線を検出した後、段ごとに行方向の塗りつぶし画像を作
成し、段ごとの行ブロックを作成する。さらに、得られ
た段組情報、仕切線情報をもとに、段組をまたぐ行ブッ
ロク（タイトル、概要等）かどうかの判定をおこなう。
それにより、仕切線で仕切られた行ブロック同士を誤統
合することがなくなり、タイトル行と本文行の判別が精
度良く行える。

【００３２】また、表罫線や図についても、仕切線とし
て検出するので、段落内にある線、表、図と隣合う行ブ
ロックとが統合されることがなくなり、行ブロックを正
しく抽出することができるようになる。さらに、従来の
段組情報に仕切線情報を加えて段落構造を解析するの
で、段落の区切りの検出が確実になり、精度の良い段落
ブロックを作成することができる。

【００３３】次に、第２の発明の実施例を説明する。こ
の実施例は、第１の発明において、仕切線方向に画素の
膨張および収縮処理を加えてから周辺分布より仕切線を
検出するものであり、破線に対する検出能力を強化す
る。図７は第２の発明に係る仕切線抽出処理の一例を示
すフローチャートであり、図８は処理例を示す説明図で
ある。以下、図７のフローチャートに基づき、図８を参
照しながら文章領域抽出処理を説明する。

【００３４】図８に示すように、仕切線が破線２１であ
ると、破線２１は短い線のかたまりであるので、そのま
ま行に垂直な方向に周辺分布２２をとり凸値を求めれば
仕切線として検出できる可能性がある。しかし、行と同
じ方向に周辺分布２３をとると、短い連続領域となって
仕切線として検出されない。そこで行に垂直な方向に画
素数Ｎの膨張処理を行い、実線２４に変換する（Ｓ１
１）。なお、画素数Ｎは、行を接続させないように最大
行間空白の１／２以下の値とする。

【００３５】次いで、段組間の行に垂直な方向に周辺分
布をとり（Ｓ１２）、得られた周辺分布２５から数式
（１）を用いて、凸値を求める（Ｓ１３）。ここで、得
られた凸値の中で閾値Ｔ１以上のものは、仕切線の可能
性がある。そこで、さらに仕切線の可能性がある範囲に
ついて、行と同じ方向に周辺分布をとり、その周辺分布
２６の中で黒画素の連続区間が閾値Ｔ２を越えていれば
仕切線と判定する（Ｓ１４）。なおＮ画素の膨張処理
後、Ｎ画素の収縮処理を加える。

【００３６】このようにして第２の発明の実施例では、
仕切線の方向にＮ画素の膨張または収縮処理を加えるこ
とにより破線が実線に置き換えられる。それにより、破
線からなる仕切線に対する検出能力が強化されて、段落
ブロックが高精度に抽出される。

【００３７】次に、第３の発明の実施例を説明する。こ
の実施例は、第１または第２の発明において、仕切線に
垂直な方向に画素の膨張および収縮処理を加えて得られ
た周辺分布より仕切線を検出するものであり、傾いた仕
切線に対する検出能力を強化する。図９は第３の発明に
係る仕切線抽出処理の一例を示すフローチャートであ
り、図１０は処理例を示す説明図である。以下、図９の
フローチャートに基づき、図１０を参照しながら文章領
域抽出処理を説明する。

【００３８】図１０に示すように、仕切線３１が傾いて
いると、行に垂直な方向に周辺分布３２をとっても、凸
値が明確に現れず仕切線として検出することが困難にな
る。そこで、行と同じ方向の長さが例えば１ｍｍ以下で
ある場合は、同方向に画素数Ｍの膨張処理を行い、太い
仕切線３３を得る（Ｓ２１）。なお、画素数Ｍは、行を
接続させないように最大行間空白の１／２以下程度の値
とする。

【００３９】次いで、段組間の行に垂直な方向に周辺分
布３４をとり（Ｓ２２）、得られた周辺分布３４から数
式（１）を用いて、凸値を求める（Ｓ２３）。次に、得
られた凸値の中で、閾値Ｔ１以上のものは、仕切線の可
能性がある。そこで、さらに仕切線の可能性がある範囲
について、行と同じ方向に周辺分布をとり、黒画素の連
続区間が閾値Ｔ２を越えていれば仕切線と判定する（Ｓ
２４）。なおＭ画素の膨張処理後、必要な場合はＭ画素
の収縮処理を加える。

【００４０】このようにして第３の発明の実施例では、
仕切線と同じ方向にＭ画素の膨張処理を加えることによ
り、傾いた仕切線３１に対する検出能力が強化される。
それにより、傾いた仕切線を含む文書画像に対しても、
段落ブロックが高精度に抽出されるようになる。

【００４１】次に、第４の発明の実施例を説明する。こ
の実施例は、第１または第２または第３の発明におい
て、すでに粗な文書画像１から得られた仕切線や空白領
域についての検出結果を、再度原画像を参照して誤検出
か否かを判別する。

【００４２】すなわち、原画像について、線に垂直な方
向に周辺分布をとり、連続していれば実線、同じ長さの
線が周期的に並んでいれば破線であるというルールを使
用して判断し、その結果を既に粗な画像１から検出して
おいた結果と比較して一致することを確認する。その結
果、第１〜第３の発明の実施例で粗な文書画像１により
高速に抽出された段落についても、原画像を用いた場合
と同等の信頼性が得られる。

【００４３】

【発明の効果】以上述べたように第１の発明によれば、
段組み間の仕切線、空白を検出するとともに段組み内の
仕切線を検出してから、行ブロックを抽出しさらに段落
ブロックを抽出することにより、段と段との間に仕切線
が有る文書画像および段組内に表や図が含まれる文書画
像についても高精度に行ブロックおよび段落ブロックを
抽出することができる。

【００４４】第２の発明によれば、検出された仕切線に
対し、その長手方向に膨張処理または膨張・収縮処理を
加えることにより、仕切線が破線である場合も確実に検
出して抽出精度を向上することができる。

【００４５】第３の発明によれば、検出された仕切線に
対しその垂直方向に膨張処理または膨張・収縮処理を加
えることにより、傾斜している仕切線についても確実に
検出し抽出精度を向上することができる。

【００４６】第４の発明によれば、原画像を参照しなが
ら仕切線および空白領域の検出結果をチェックすること
により、行ブロックおよび段落ブロックの抽出精度が向
上する。

【図面の簡単な説明】

【図１】第１の発明に係る文章領域抽出処理の一例を示
すフローチャートである。

【図２】変換処理される画像の一例を示す説明図であ
る。

【図３】周辺分布から凸値を求める処理の説明図であ
る。

【図４】二重線を統合する処理の説明図である。

【図５】行と同方向の直線について文字か否かを判別す
る処理の説明図である。

【図６】行ブロックの作成処理の説明図である。

【図７】第２の発明に係る仕切線抽出処理の一例を示す
フローチャートである。

【図８】図７における処理例を示す説明図である。

【図９】第３の発明に係る仕切線抽出処理の一例を示す
フローチャートである。

【図１０】図９における処理例を示す説明図である。

【符号の説明】

１ 粗な文書画像 ３ 仕切線 ４ 表罫線 ５ 周辺分布 ６ 仕切線 ７ 仕切線 ８ 仕切線 １１ 領域 １２ 線 １３ 文字 １４ 行ブロック １５ 仕切線 １６ 黒画素 ２１ 破線 ２２ 周辺分布 ２３ 周辺分布 ２４ 実線 ３１ 仕切線 ３２ 周辺分布 ３３ 仕切線

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ２値化信号として入力された原画像を、
   それよりも粗である文書画像に変換する手段と、 文書画像から周辺の空白部分を除去する手段と、 文書画像が縦書きまたは横書きのいずれであるかを判別
   する手段と、 文書画像を文字行と垂直な方向に走査し画素値が反転す
   る回数を走査ラインごとに計数し、その頻度分布を求め
   る手段と、 頻度分布の谷部から文書画像中の段組み領域を抽出する
   手段と、 を備えた文書画像の文章領域抽出装置において、 段組み間を走査し、走査ラインごとに黒画素の個数を計
   測して周辺分布を求め、その周辺分布から仕切線を検出
   する手段と、 段組み間の画素値を反転してから走査し、走査ラインご
   とに黒画素の個数を計測して周辺分布を求め、その周辺
   分布から段組み間の空白領域を検出する手段と、 段組み内を走査し、走査ラインごとに黒画素の個数を計
   測して周辺分布を求め、その周辺分布から仕切線を検出
   する手段と、 検出された仕切線および空白領域情報に基づき、文書画
   像内の行ブロックを抽出する手段と、 検出された仕切線および空白領域情報に基づき、行ブロ
   ックより段落ブロックを抽出する手段と、 を備えたことを特徴とする文書画像の文章領域抽出装
   置。
2. 【請求項２】 請求項１記載の文書画像の文章領域抽出
   装置において、検出された仕切線に対してその長手方向
   に膨張処理または膨張・収縮処理を加える手段を備えた
   ことを特徴とする文書画像の文章領域抽出装置。
3. 【請求項３】 請求項１または２記載の文書画像の文章
   領域抽出装置において、検出された仕切線に対しその垂
   直方向に膨張処理または膨張・収縮処理を加える手段を
   備えたことを特徴とする文書画像の文章領域抽出装置。
4. 【請求項４】 請求項１、２または３記載の文書画像の
   文章領域抽出装置において、原画像を参照しながら仕切
   線および空白領域の検出結果の正誤を判別する手段を備
   えたことを特徴とする文書画像の文章領域抽出装置。