JP3302147B2 - 文書画像処理方法 - Google Patents

文書画像処理方法

Info

Publication number
JP3302147B2
JP3302147B2 JP32701593A JP32701593A JP3302147B2 JP 3302147 B2 JP3302147 B2 JP 3302147B2 JP 32701593 A JP32701593 A JP 32701593A JP 32701593 A JP32701593 A JP 32701593A JP 3302147 B2 JP3302147 B2 JP 3302147B2
Authority
JP
Japan
Prior art keywords
node
text
region
area
tree graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP32701593A
Other languages
English (en)
Other versions
JPH07192084A (ja
Inventor
高志 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP32701593A priority Critical patent/JP3302147B2/ja
Publication of JPH07192084A publication Critical patent/JPH07192084A/ja
Priority to US08/516,686 priority patent/US5774580A/en
Priority to US09/088,773 priority patent/US5907631A/en
Application granted granted Critical
Publication of JP3302147B2 publication Critical patent/JP3302147B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、縦書きまたは横書き何
れか一方の書式で書かれた文書画像から抽出された文章
領域を構造化して、読み順を得るようにした文書画像処
理方法に関する。
【0002】
【従来の技術】OCR装置の前処理あるいは文書データ
ベース構築の前処理においては、文書画像から抽出した
文章領域の読み順を求める必要がある。従来、文章領域
の読み順を求める方法としては、例えば、文章領域を点
座標などによって並べて初期状態を得て、この状態から
隣合う並びの領域同志について、判定手段を用いて入れ
替えを行っていくことによって、最終的に読み順に領域
が並び合うようにし、また読み取り順序の初期状態を得
る際に、罫線などの非文字領域を追加することにより、
読み取り順序の指定を容易した文書読み取り装置が提案
されている(特開平3−269689号公報を参照)。
【0003】他の方法として、文書の領域分割を行った
後に、同一段組にある文章領域をノードとする木グラフ
を作成し、このグラフから論理的構造を得て、文章画像
中の記事を読み順に従って抽出する文章画像処理装置が
提案されている(特開平1−183784号公報を参
照)。
【0004】
【発明が解決しようとする課題】上記した第1の技術
は、文章領域およびそれ以外の領域を座標などを用いて
並べて初期状態を得て、この状態から並び合う領域同志
を比較し、読み順が逆になっていると判断したとき、並
び替えるものである。この方法では、初期状態に依存
し、しかも隣合う領域同志を比較しているので、タイト
ル部位のように本文と離れている場合には初期状態で隣
合わない上に、2つの領域だけを比較した場合に、どち
らが読み順が先になるかが局所的には定まらないときに
は、最終的にタイトル部位と本文との比較が行われない
状態に陥る。また、非文字領域について、文字領域と同
様に扱う場合のみしか考慮していないので、文字列方向
と垂直方向の罫線情報や図があった場合の影響などが考
慮されていない。
【0005】また、上記した第2の技術は、前提として
段組を考慮しているので、明確な段組がない場合や、頁
の上部が2段、下部が3段の如く、変則的な段組がなさ
れていた場合に、「同一段組の文字領域を一つのノード
に相当させる」ということが難しい。この方式もまた、
文字方向と垂直方向の罫線があった場合や図表の影響が
考慮されていない。
【0006】また、第1の技術は、行方向縦を前提とし
て、読み順は隣合うブロックの場合に右から左へ進み、
第2の技術では文字方向横を前提として上下に並ぶ領域
を上から下へと並ぶようにノード内の順番を決めてい
る。つまり、両者共にどちらか一方の行方向のみに対処
している。また、何れも図表、表の見出しやヘッダ、フ
ッタといった本文領域とは異なる性質を持った文字領域
の影響を全く考慮したものではない。
【0007】本発明の目的は、縦書きまたは横書き文書
の文章領域を高精度に構造化して、正しい読み順を抽出
する文書画像処理方法を提供することにある。
【0008】本発明の他の目的は、本文領域の構造化に
失敗した場合に、読み順の再設定を行い、利用者による
修正負担を少なくした文書画像処理方法を提供すること
にある。
【0009】本発明の更に他の目的は、正しく設定され
た読み順に従って文書情報を抽出して利用する文書画像
処理方法を提供することにある。
【0010】
【課題を解決するための手段】前記目的を達成するため
に、請求項1記載の発明では、入力された文書画像から
文章領域を抽出し、該抽出された文章領域の配置構造を
木グラフで表現し、該木グラフから前記文章領域の読み
順を求める文書画像処理方法であって、前記各文章領域
を木グラフの各ノードに割り当てる際に、前記各文章領
域毎に、ノード間の親子関係を決定するための各ノード
の勢力範囲と、ノード間の親子関係を探索するための各
ノードの探索範囲を設定することを特徴としている。
【0011】請求項2記載の発明では、前記各ノードの
勢力範囲を設定するとき、子ノードの勢力範囲は親ノー
ドの勢力範囲を継承することを特徴としている。
【0012】請求項3記載の発明では、一つの親ノード
に対して複数の子ノードが存在する場合は、各子ノード
の勢力範囲が重ならないように分割することを特徴とし
ている。
【0013】請求項記載の発明では、前記各文章領域
を木グラフの各ノードに割り当てる際に、親ノードを決
定することができない文章領域は、木グラフのルートの
子ノードとすることを特徴としている。
【0014】請求項記載の発明では、前記各文章領域
を木グラフの各ノードに割り当てる際に、各ノードがタ
イトル部位であるか否かを判定し、該判定結果によって
ノードの割り当てを制御することを特徴としている。
【0015】請求項記載の発明では、前記各文章領域
を木グラフのノードに割り当てる際に、囲み枠内の文章
領域を除いた木グラフを先に作成し、その後、囲み枠毎
に、囲み枠を代表するノードの子として、囲み枠内の文
章領域の木グラフを作成することを特徴としている。
【0016】請求項記載の発明では、木グラフの作成
前に、図題、表の見出しである文章領域を判別してこれ
を木グラフの作成対象から除き、木グラフ作成後に、図
題、表の見出しである文章領域の判別を再度行ってこれ
を木グラフから除くことを特徴としている。
【0017】請求項記載の発明では、前記抽出された
文章領域から、本文領域と、該本文以外の領域としてヘ
ッダまたはフッタを分類する際に、本文領域における文
字列方向が縦か横かによってヘッダまたはフッタの存在
を調べる位置を変更することを特徴としている。
【0018】請求項記載の発明では、前記抽出された
文章領域から、本文領域と、該本文以外の領域としてヘ
ッダまたはフッタを分類する際に、文書画像中に罫線が
存在する場合には該罫線を利用し、罫線が存在しない場
合には架空の罫線を生成し該架空の罫線を利用すること
を特徴としている。
【0019】
【作用】実施例1では、まず文書のイメージより抽出さ
れた文章(文字)領域を本文領域とそれ以外の領域とに
分別する。ここで、本文領域とは読み順が設定されるべ
き文章領域のことで、それ以外の文章領域とは図題、表
の見出し、ヘッダ、フッタ等の本文領域とは異なった性
質を持つ領域のことである。
【0020】そして、本文領域の配置構造を木グラフで
表現する。この木グラフの構築にあたって、文字行方向
に相対する座標系を採用するとともに文章領域を各ノー
ドに対応させ、また、各ノードの勢力範囲というものを
垂直罫線等を利用しながら規定し、この勢力範囲に従っ
てノード間の親子関係の探索を行なう。さらに、囲み枠
内の文章領域については、囲み枠毎に同様の木グラフを
求め、これを全体の木グラフに結合する。このようにし
て構築した本文領域の配置構造の木グラフ上で、本文領
域の先行順探索を行なうことにより、本文領域の読み順
を設定する。
【0021】文章領域を本文領域とそれ以外の領域とに
分別することによって、図題等の本文領域以外の文章領
域の影響を取り除いた本文領域の木グラフ表現を得られ
る。したがって、この木グラフに従って、本文領域とは
異なる読み順を持つ文章領域に影響させることなく、本
文領域の正しい読み順を設定できる。
【0022】文字行方向に相対する座標系を採用するこ
とにより、文字行方向が縦でも横でも木グラフを共通に
扱うことができるようになるため、縦書き書式の文書も
横書き書式も同様に処理可能になる。
【0023】本文領域を木グラフのノードに対応させる
ことによって、段組に依存しない、本文領域の大局的な
構造化が可能である。しかも、各ノードの勢力範囲を規
定し、これを利用してノードの親子関係探索を行なうた
め、単に上下に並んでいるか否かといった単純な処理方
法では対処不可能であった、タイトル部位や図等の存在
に対処して本文領域の正確な構造化が可能であり、した
がって、より正確な本文領域の読み順設定が可能であ
る。
【0024】実施例2では、読み順評価手段を設け、該
手段はグラフ化の結果から求めた読み順の線分が交わる
とき、偽と判定し、読み順再設定手段は、読み順の再設
定を行う。再設定は、各本文領域の外接矩形がより左上
にある順にソートする。これにより複雑な配置の文書に
おいても正しい読み順が得られる。さらに、実施例3で
は、実施例1の方法によって抽出された読み順に従って
文字認識を行って文書情報を得る。
【0025】
【実施例】以下、本発明の一実施例について図面を用い
て説明する。 〈実施例1〉 図1は、本発明の実施例1のブロック構成図を示す。図
1において、画像入力手段101は文書を2値画像とし
て入力するためのスキャナ等である。領域抽出手段10
2は、入力画像から文章領域、図領域、罫線領域等の領
域を抽出する手段である。文章領域分別手段103は、
領域抽出手段102により抽出された文章(文字)領域
を、読み順設定の対象である本文領域と、それ以外の領
域(図題、表の見出し、ヘッダ、フッタ等)に分別する
手段である。罫線情報生成手段104は、領域抽出手段
102により抽出された罫線領域や、白領域の架空罫
線、図領域の端部の架空罫線などを生成する手段であ
る。文章領域配置構造化手段105は、本文相当領域
(囲み枠内も含む)を木グラフとして構造化する手段で
ある。読み順抽出手段106は、木グラフから文章領域
の読み順を抽出する手段である。108は以上の各手段
を制御する制御部、107は入力画像や抽出した領域、
作成した構造の情報等の各種データを記憶するためのデ
ータ記憶部である。109はデータ通信路である。
【0026】なお、102乃至106の各手段は、それ
ぞれ個別のハードウエア手段または個別のソフトウエア
手段として実現されてもよいし、共通のハードウエア上
でソフトウエアにより実現されてもよい。
【0027】以下、実施例1の動作及び処理内容につい
て、図2の処理フローチャートに従って、図3乃至図1
0を適宜参照しつつ説明する。
【0028】処理ステップ201; 画像入力手段101によって、処理すべき文書を2値画
像として入力する。この入力画像のデータはデータ記憶
部107に記憶される。
【0029】処理ステップ202; 領域抽出手段102によって、入力画像の文章(文字)
領域、図領域等を抽出する。抽出された領域の情報はデ
ータ記憶部107に記憶される。
【0030】処理ステップ203; 文章領域分別手段103による処理ステップであり、抽
出された文章領域を図題、表の見出し、ヘッダ、フッタ
の領域と、それ以外の領域である本文領域とに分類す
る。この本文領域とは、読み順の設定されるべき文章領
域である(枠で囲まれた領域も本文領域として扱うが、
枠で囲まれていない本文領域より読み順が後に来るもの
とする)。以下、この分類の処理について詳細に説明す
る。
【0031】まず図題、表の見出しを分類する。この処
理において、処理ステップ202で抽出された領域の表
現が外接矩形のみであった場合には、各領域の図や絵等
の実体(イメージそのもの)と、その外接矩形との相違
が大きいことがある。このような場合には、図領域と他
の文章(文字)領域との重なり等により図の外接矩形を
分解して、いくつかの外接矩形の集合によって図の実際
に存在する範囲と、その外接矩形による表現との相違を
少なくする。
【0032】図題、表の見出しは、図・表の近傍に存在
する行数の少ない文章領域である。そこで図と文章領域
との距離を計算する。図の輪郭形状が判明しているなら
ば、その図と文章領域との距離を計算し、図が外接矩形
で表現されているときは、その外接矩形と文章領域との
距離を計算する。そして、この距離が小さく、かつ行数
の少ない文章領域を図題・表の見出しの候補とする。
【0033】次に、図題・表の見出しの候補で、当該文
章領域にとって図・表領域の反対側に存在する文章領域
との位置関係を調べる。これを図3によって説明する。
図3において、301は図領域、302は図領域301
の近傍にある図題候補、303は図題候補の文章領域で
ある。この例のように、図題候補302の反対側に文章
領域303があり、両領域302,303の左右位置が
揃っている場合には、両領域302,303を連続した
本文領域と判断し、図題候補302を図題とは分類しな
い。左右いずれかでも位置が揃っていないときには図題
候補302を図題に分類する。ただし、左右の一方の位
置が揃っている場合にも図題としない、という方法も採
用可能である。
【0034】以上の図題、表の見出しの分類処理に続い
て、ヘッダの分類を行なう。ここで、本文領域が縦書き
であるか横書きであるかが判定している場合には、その
いずれであってもヘッダは原稿の上部に存在する。縦書
き原稿でも、ヘッダは横書きで原稿上部に存在するのが
普通である。また、行(文字列)方向が判明していて
も、文字の方向が縦か横かが分かっていない場合につい
ては、行方向が横であっても原稿は縦書きであることが
ある。原稿を90゜回転して入力した時に、そうなる。
このような場合でも、画像の上の方が文章の先頭にくる
ものとすると、画像左側が原稿の上部にあたる。
【0035】このような考察に基づき、行方向が横の場
合には画像の上部及び左部についてヘッダの存在を調
べ、行方向が縦の場合には画像の上部及び右部について
ヘッダの存在を調べる。
【0036】より具体的に述べる。調べる部位に対し
て、まず罫線の存在を調べる。罫線が存在する場合、こ
の罫線の長さが画像の幅または高さに対して十分に大き
く、かつ、この罫線より外側に大きな文章領域(数行を
含む文章領域)が存在しないならば、この罫線を本文と
ヘッダ部とを分ける罫線であると判断する。そして、そ
の外側に小さな文章領域があれば、それをヘッダとして
分類する。
【0037】図4に示す例で説明すると、401は入力
画像、402は罫線、403〜405は文章領域であ
る。行方向が横であることのみ判明しているとすれば、
ヘッダは上部または左部に存在する筈であるから、この
位置で十分に長い罫線を探す。図4の例においては、罫
線402が存在するので、その上側に大きな文章領域が
存在するか調べる。文章領域403は数行を含むような
大きな領域ではないので、罫線402は本文とヘッダを
分ける罫線であるあると判断する。したがって、この罫
線402より上側にある小さな文章領域403をヘッダ
として分類することになる。
【0038】該当する罫線が存在しない場合、文章領域
の存在する範囲の最上部及び最左部から、ある距離だけ
内側にはいった位置に架空の罫線を生成し、同様の方法
でヘッダの分類を行なう。
【0039】図5に示す例で説明すると、501は入力
画像、502は文章領域の存在範囲、503〜506は
文章領域である。この例では、画像の上部と左部に架空
の罫線507,508を生成することになる。この例で
は、上部の架空罫線507の上側には大きな文章領域は
存在しないので、この架空罫線507は、本文とヘッダ
とを分ける罫線として有効である。そして、この架空罫
線507の上側に小さな文章領域503があるので、こ
れをヘッダとして分類する。架空罫線508の左側には
大きな文章領域は存在しないが、大きな文章領域504
と架空罫線508が重なっている。
【0040】ヘッダの抽出率を上げたい場合には、この
架空罫線508のような文章領域と重なった罫線も有効
な罫線として扱ってよい。しかし、架空罫線と重なった
文章領域がヘッダとして誤抽出されるのを防ぎたい場合
には、そのような罫線を無効とすればよい。なお、この
例では画像の傾き(スキュー)がないが、傾きがある場
合には、その傾き角度にあわせて罫線を傾けて生成す
る。
【0041】行方向が縦の場合も同様に、ヘッダと本文
を分ける罫線を探索し、罫線がないときの架空罫線を生
成して、ヘッダの分類判定を行なう。
【0042】以上のヘッダの分類と同様にしてフッタの
分類を行なう。文字方向が判明している場合には、原稿
の下部に相当する位置についてフッタを調べる。行方向
のみ判明している場合には、行方向が横であれば画像の
下部と右部について調べ、行方向が縦であれば画像の下
部と左部について調べる。
【0043】以上のようにして分類されたヘッダ、フッ
タ、図題・表の見出しを除く領域が本文領域となる。た
だし、囲み枠が存在する場合には、枠内の文章領域を、
その枠毎に分類し、枠外の本文領域とは区別しておく。
【0044】処理ステップ204; 罫線情報生成手段104により架空罫線の生成を行なう
処理ステップである。ここでいう架空罫線とは、処理ス
テップ203におけるヘッダ、フッタの分類のための架
空罫線を除くもので、文章領域の配置構造を表わす木グ
ラフを構築するために図や白領域から新たに生成される
ものである。
【0045】まず、図、表等の領域について説明する。
なお、行方向を横として座標系をとったとして以下の説
明を行なう。ここでは、図及び表領域の左右の端に垂直
架空罫線を生成する。図の存在範囲を外接矩形で表現し
ている場合には、図題の分類時に外接矩形の分割を行な
っているので、この分解された図領域について架空罫線
の生成を行なう。
【0046】図6を例に説明すれば、601は表領域、
602は図領域(の外接矩形)、605は図領域602
と重なった文章領域、603と604は図領域602を
分解した領域である。この例では、領域601,60
3,604の左右端に架空罫線606〜611をそれぞ
れ生成することになる。
【0047】次に白領域から生成する架空罫線について
説明する。この罫線は文字列(行)方向のものであり、
ここでは行方向を横としているので水平罫線となる。こ
の罫線の生成(抽出)は、縦軸への射影をとる方法によ
って、あるいは、画像の行方向へのランレングス符号化
をして、ある閾値以上の長さを持つ白ランの連結成分を
抽出し、この白連結成分の中から水平罫線を十分に構成
し得るものを、その幅と高さによって選択し、選んだ白
連結成分の中心付近に水平架空罫線を生成する方法によ
って行なうことができる。
【0048】また、座標系の一番上部に、画像の幅(行
方向が縦の場合は座標系を90゜回転しているので画像
の高さ)に等しい長さを持つ水平架空罫線を生成する。
【0049】なお、囲み枠線の4辺の線分のうち、上部
の線分は水平罫線として扱い、左右の線分は垂直罫線と
して扱う。
【0050】処理ステップ205; 文章領域配置構造化手段105により、囲み枠外の本文
領域の配置構造グラフを作成する処理ステップである。
配置構造は木グラフで表わされるので、あるノードが、
どのノードの子に相当するかを順次決定していくことに
よって木グラフを作成することになる。
【0051】まず、ノードとして、囲み枠外の本文領
域、水平罫線(架空罫線を含む)を登録する。そして、
このノードを上部にあるものから順次処理する。
【0052】今、あるノードに着目しているとすると、
この着目ノードより処理順番が後になるノードは着目ノ
ードの子候補となる。ここで、子候補が子ノードに相当
するかどうかの判別処理を行ない、子ノードに相当する
場合は着目ノードとの間に親子のリンクを張る。ただ
し、この子に相当すると判別されたノードが既に他のノ
ードの子ノードとしてリンクされていた場合には、どち
らが親ノードとしてふさわしいか判別処理を行ない、ふ
さわしいと判断された方の親ノードと親子関係のリンク
を張り、どちらとも判別がつかない場合には木グラフの
ルートに直接つなぐようにする。また、着目ノードは、
それより前に処理したノードの子候補となっている筈
で、前のノードの処理が完了しているにも拘らず、どの
ノードの子としても未だリンクされていない場合には、
着目ノードを木グラフのルートの子ノードとする。ただ
し、囲み枠の上部の水平罫線は直接に木グラフのルート
の子ノードとする。
【0053】図7の例によって、より具体的に処理を説
明する。図7において、701は最上部に生成された架
空罫線、702〜705は文章領域、706〜710は
各ノードの勢力範囲(後述)、711と712はそれぞ
れ架空罫線701と文章領域702の子ノードの探索範
囲、713は図領域、714と715は架空垂直罫線、
716は文章領域704の一時的な勢力範囲、717は
文章領域である。なお、以下の説明において、領域を示
す符号を、それに対応するノードを示すためにも便宜用
いる。
【0054】まず、最上部のノード(701)が最初の
処理ノードとなる。このノードは親ノードが未定である
ので、木グラフのルートの子ノードとする。ここで、各
ノードは勢力範囲と探索範囲を持つ。勢力範囲は親から
継承するもので、探索範囲は勢力範囲と最初は等しい
が、順次更新されて狭まっていく。
【0055】さて、最初の処理ノード(701)は、親
がルートであるので、それ自体の幅に等しい勢力範囲7
06を持つとする。そして、この勢力範囲と等しい幅を
探索範囲として以下のノードの探索を行なう。
【0056】ノード(701)の探索範囲711内にノ
ード(702)が見つかるので、このノード(702)
はノード(701)の子ノード候補となる。そこで、ノ
ード(701)の探索範囲711のノード(702)の
範囲(711の黒部分)を探索済みとして、以下の探索
の範囲から除く。ノード(702)はノード(701)
の子であるので、ノード(701)と同じ幅の勢力範囲
707を継承する。
【0057】ノード(701)の残りの探索範囲で探索
すると、ノード(704)が見つかる。しかし、ノード
(704)はノード(702)との間でも親子関係がな
りたつので、ノード(701)との間で親子関係のリン
クは張らない。また、ノード(703)もノード(70
1)の探索範囲下にあるが、ノード(704)と同様に
ノード(702)の勢力範囲下にありノード(702)
と親子関係がなりたつので、ノード(701)とノード
(703)は親子ではない。ノード(705)は僅かな
がらノード(701)の勢力範囲下にあるが、探索範囲
は連続したある程度の幅のみ有効とするので、探索外と
なる。
【0058】次にノード(702)が処理ノードとな
る。まず、ノード(704)がノード(702)の子ノ
ードとなる。ここで、勢力範囲は垂直罫線を越えないも
のとする。したがって、ノード(704)の勢力範囲は
垂直罫線715を越えない716の範囲となる。次にノ
ード(705)がノード(704)の勢力範囲下にあ
り、探索範囲712にも含まれるが、ノード(704)
とノード(705)は親子的位置関係にないので、ノー
ド(705)はノード(702)の子ノードとなる。複
数の子ノードがある場合には、その勢力範囲を適当な位
置で分割する。ここでは勢力範囲を中点で分割するもの
とすると、ノード(704)とノード(705)の勢力
範囲は、709の範囲と710の範囲に分割される。ま
た、次にノード(703)もノード(702)の探索範
囲下にあり、子ノードとなって勢力範囲を継承する。
【0059】なお、この例ではみられないが、親ノード
の勢力範囲を子ノードの領域が越える場合には、子ノー
ドの勢力範囲を継承した範囲から、その越えた分だけ拡
張する。また、囲み枠の上部の線分を水平罫線としてノ
ードにしているが、このノードの勢力範囲は親から継承
するのではなく、それ自体の幅に等しい範囲とする。次
にノード(704)が処理ノードとなる。ノード(70
4)の探索範囲709)内にノード(717)が存在す
る。したがって、ノード(717)はノード(704)
の子ノードとなり、探索範囲は全て満たされるので、次
にノード(705)の処理に移る。
【0060】ノード(705)の探索範囲710内にも
やはりノード(717)があるが、このノード(71
7)は既にノード(704)の子ノードとなっているの
で、ここで親ノードの選択を行なうことになる。ところ
が、ノード(704)とノード(705)は同じような
幅を持ち、ノード(717)は両方の勢力範囲に十分に
はいっているため、どちらが親であるが一意に定まらな
い。そこで、ノード(717)をノード(704)の子
から外し、あらためてルートの子ノードとする。なお、
子ノードが複数ある場合、木グラフでの左右の並びは、
例えばノード(703)、ノード(704)、ノード
(705)のように普通のノードに接続する場合は、そ
の位置通りにノード(703)を一番左側、ノード(7
05)を一番右側にする。ルートの子ノードの場合は、
新しく子ノードを接続する度にとりあえず一番右側へと
接続しておき、最終的にソートする。
【0061】続いてタイトル部位の処理について、図7
及び図8に示した例によって説明する。タイトル部位の
処理は、図7に関連して説明した処理の中で行なわれ
る。各ノードには、タイトル部位であるか否かを示すタ
イトルフラグを付ける。図7の例でいえば最初のノード
(701)のタイトルフラグは必ず立て(オンし)、タ
イトル部位であるとする。次にノード(702)がノー
ド(701)の子ノードとなるわけであるが、この時
に、ノード(702)の左右に文章領域が存在するか調
べる。左右に文章領域が存在しなければ、ノード(70
2)のタイトルフラグも立てる。ただし、後にノード
(701)の他の子ノードがリンクされた場合には、ノ
ード(702)はノード(701)の唯一の子ノードで
なくなるので、ノード(702)のタイトルフラグを下
ろす(オフする)。
【0062】ノードのタイトルフラグが立っている場合
には、左側の勢力範囲を架空垂直罫線で抑えられている
ときに、その架空罫線を1回だけ無視する形で、それを
越えて拡大する。図8の例で説明する。図8において、
801は最上部の架空水平罫線、802は文章領域、8
03は図領域、804と805は図領域803の両端に
生成された架空垂直罫線、806は架空水平罫線801
の勢力範囲、807は文章領域802の勢力範囲であ
る。この勢力範囲807は、架空垂直罫線805に遮ら
れず、次の架空垂直罫線804まで延ばされる。ノード
702の勢力範囲707は、もともと遮るような垂直罫
線が存在しないので関係はない。
【0063】さて、ノード(702)の子ノードの探索
に移ると、まずノード(704)が探索されることは前
述のとおりであるが、ノード(704)の左右には文章
領域703,705が存在する。したがって、これ以降
の文章領域はタイトル部位とはならないので、ノード
(702)のタイトルフラグを下ろす。親のノードのタ
イトルフラグが立っていない場合には、その子ノードが
タイトル部位であるか否かを調べるために、左右に文章
領域が存在するか探索する必要もなくなり、以下の処理
時間が短縮される。
【0064】以上の処理をノードに相当する文章領域
(囲み枠外のもの)について、上から下まで全てについ
て行なう。
【0065】処理ステップ206; 文章領域配置構造化手段105により、囲み枠内の文章
領域をグラフ化する処理ステップである。
【0066】基本的には先の囲み枠外の本文領域のグラ
フ化処理と同様に、処理ノードの勢力範囲下にあるノー
ドを、処理ノードの子ノードとしてリンクしていく。先
の囲み枠外本文領域のグラフ化処理でリンクが張られた
ノードは木グラフを構成している。この中には囲み枠線
の上部の水平線分もノードとして登録されている。した
がって、そのノード毎に、その囲み枠内の文章領域を対
象に木グラフを構成する。
【0067】図9の例で説明する。図9において、91
0〜916は文章領域、917と918は囲み枠であ
る。901はルート、902〜907は当該処理ステッ
プ206の前に登録されたノードである。902は最上
部架空罫線に相当するノード、903は文章領域910
に相当するノード、904は文章領域911に相当する
ノード、905は文章領域912に相当するノード、9
06は囲み枠918の上部水平罫線920に相当するノ
ード、907は囲み枠917の上部水平罫線919に相
当するノードである。
【0068】囲み枠の上部水平罫線919,920は、
先の処理ステップ205における最上部罫線(902)
に対応し、それと同様の処理を行なうことになる。ただ
し、水平罫線919,920のタイトルフラグは常にオ
フにしておく。したがって、囲み枠内では、タイトル部
位の処理は行なわれない。
【0069】図9の例では、ノード906(つまり水平
罫線920)の下には文章領域913があるので、文章
領域913を子ノードとしてノード906に接続する。
また、ノード907(つまり水平罫線919)の下に文
章領域914があるので、これを子ノードとしてノード
907に接続し、また文章領域914の下には文章領域
915,916があるので、これら二つの領域も文章領
域914に子として接続する。ここでも、先の処理ステ
ップ205での処理と同様に勢力範囲及び探索範囲を用
いて子ノードの探索、及び子ノードであるか否かの判別
を行なう。ただし、ルート901に直接接続されたノー
ド906,907の勢力範囲は、それ自体の幅に等し
い。
【0070】以上のようにして木グラフを作成したなら
ば、次にルートの子ノードのソートを行なう。ルートの
子ノードになっているのは、最上部の架空水平罫線、親
ノードが一意に定まらなかった領域、あるいは囲み枠の
上部罫線である。このようなノードのうち、囲み枠の上
部罫線は、他のノードよりも木グラフ上で右側に来るよ
うにソートする。また、囲み枠のノード同士、及び、囲
み枠の罫線同士については、より上に位置するもの、よ
り左側にあるものを、グラフ上でより左側にするように
順番を入れ替える。この際、各ルートの子ノードの勢力
範囲を使用することによって、どちらが上位にあるかを
判別することができる。
【0071】処理ステップ207; 文章領域配置構造化手段105により、図題・表の見出
しの分別を再度行なう。ここでは、グラフの葉にあたる
ノード(子を持たないノード)が罫線ではなく、文章領
域であって、その行数が少なく(この行数の閾値は、先
の処理ステップ203における図題・表の見出しの分別
に使用したものと同様の値でよい)、かつ、その親ノー
ドの実体との間に、ある程度大きな図が存在する場合に
は、当該文章領域を図題または表の見出しと分別し、こ
れを本文配置の木グラフから取り除く。
【0072】図10の例によって説明する。図10にお
いて、1001と1002はノード、1003と100
4はそれぞれノード1001,1002の実体である文
字領域である。1005は図領域である。この例のノー
ド1002は葉に相当するもので、その実体たる文章領
域1004の行数が少ない。また、その親ノードたるノ
ード1001との間に、比較的大きな図領域1005が
存在する。したがって、ノード1002は本文配置の木
グラフから取り除かれる。
【0073】処理ステップ208; 読み順抽出手段106において、以上の処理で得られた
本文配置を示す木グラフ上で先行順探索を行ない、罫線
やルートを除いた文章領域の順番を、本文領域の読み順
として抽出する。
【0074】実施例1の一態様を示すと以下のようにな
る。配置構造を表す木グラフを構築する際に、文章領域
を木グラフのノードに割り当て、各ノード毎に他のノー
ドへの配置関係を表わす勢力範囲を求め、各ノードの親
子関係の探索を勢力範囲に従って行ない、子ノードに親
ノードの勢力範囲を継承させることによって勢力範囲の
更新を行ない、親子ノードの探索を繰り返すことによっ
て木グラフを構築する。このように、勢力範囲を用いて
親子ノード探索を制御することにより、タイトル部位や
図等に適切に対処して本文領域を適切に構造化し、本文
領域の読み順を正しく設定できる。
【0075】文章領域以外の特定の領域も木グラフのノ
ードに割り当てる。例えば、文字列方向と同方向の罫線
を抽出し、これを木グラフのノードに割り当てる。ま
た、白画素の領域で、ある値より文字列方向に長い白画
素領域を抽出し、これを木グラフのノードに割り当て
る。このように、文書上の文章領域以外の罫線等の様々
な要素、例えば文字列方向と同方向または垂直方向の罫
線や、空白部分、図・表領域等による文章領域の配置へ
の影響を適切に扱うことにより、そのような要素が存在
する文書の本文領域の読み順を正しく設定できる。
【0076】文字列方向と垂直の方向の罫線によって、
ノードの勢力範囲を制限する。また、図・表領域の文字
列方向についての両端に文字列方向と垂直の架空罫線を
生成し、この架空罫線によってノードの勢力範囲を制限
し、架空罫線による勢力範囲の制限をタイトル部位にお
いて変更する。このように、図・表領域の文字列方向の
両端に垂直の架空罫線を生成し、この架空罫線によって
ノードの制御範囲を制限することにより、文字列方向と
垂直方向の罫線による配置への影響を適切に処理するこ
とが可能になり、また、図・表領域による本文領域の配
置への影響を適切に処理して、本文領域の読み順を正し
く設定できる。タイトル部位において架空罫線による勢
力範囲の制限を変更することによって、タイトル部位の
配置を適切に処理することができる。
【0077】文章領域の配置構造を木グラフとして構築
し、構築された木グラフと文章領域以外の図等の領域の
位置情報とに基づいて誤って本文領域と分類された領域
を判別し、それを木グラフから取り除き、この処理の後
の木グラフに従って文章領域の読み順を設定する。この
ように、本文領域の木グラフを作成した後に、本文領域
とそれ以外の領域との細分別を行なうことによって、本
文と図題・表の見出しを高精度に分別し、より正確な文
章領域の構造化と読み順設定が可能となる。
【0078】〈実施例2〉 上記した実施例1は、構造化に失敗したり、もともと木
グラフで表現することに適さない構造をもつ文書である
場合に、構造化できない部分のみならず、全体的に読み
順が変更されてしまう可能性がある。そこで、本実施例
2では、文章領域の配置構造を求めて読み順を求めた
後、該読み順の評価を行うようにした。
【0079】図11は、本発明の実施例2のブロック構
成図である。図において、1101は、画像の入力手
段、1102は、入力画像から領域を抽出する領域抽出
手段、1103は、抽出された文字領域を、本文領域と
それ以外の図題、表の見出し、ヘッダ、フッタ等に分別
する文章領域分別手段、1104は、本文相当領域を木
グラフとして構造化する文章領域配置構造化手段、11
05は、木グラフから読み順を抽出する読み順抽出手
段、1106は、読み順抽出手段1105で抽出した読
み順を評価する読み順評価手段、1107は、評価結果
が偽であるときの読み順を再設定する読み順再設定手段
である。1108は、入力画像や抽出した領域、作成し
た構造の情報などの各種データを記憶するデータ記憶
部、1109は、上記した各手段を制御する制御部、1
110は、データ通信路である。
【0080】図12は、実施例2の処理フローチャート
である。以下、実施例2の動作を説明すると、まず、ス
キャナなどの画像入力手段1101によって文書を2値
画像として入力する(ステップ1201)。次いで、こ
の2値画像から文字領域、図領域などの領域を抽出する
(ステップ1202)。この抽出方法としては、例えば
特開平5−81475号公報に記載された文字領域抽出
方法などを用いればよい。
【0081】文章領域分別手段1103は、抽出した領
域を、図題、表の見出し、ヘッダ、フッタと、それ以外
の本文領域に分類する(ステップ1203)。ここで、
本文領域とは、読み順の設定される領域で、後述するよ
うに枠で囲まれた領域についても、枠で囲まれていない
領域より読み順が後にくる本文領域として処理される。
【0082】文章領域配置構造化手段1104は、本文
領域の配置を構造化し、木グラフで表現する(ステップ
1204)。そして、読み順抽出手段1105は、この
グラフ表現から先行順探索で読み順を決定する(ステッ
プ1205)。なお、ステップ1203〜1205の処
理については、前述した実施例1に記載の方法を用い
る。
【0083】その後、読み順評価手段1106は、読み
順の評価を行う(ステップ1206)。図13は、本実
施例に係る読み順の評価を説明する図である。図におい
て、1301から1307は、抽出された本文領域の外
接矩形である。まず、この各外接矩形の中心点を求め
る。1308から1314は、求められた中心点であ
る。そして、この点を読み順に従って線分で結ぶ。
【0084】いま、グラフ化の結果から求めた読み順が
図13に示すものであったとすると、中心点1312と
中心点1313との間の線分1312−1313と、中
心点1310と中心点1314との間の線分1310−
1314とが交わるため、この結果の評価は偽と判定さ
れる。
【0085】従って、読み順再設定手段1107は、読
み順の再設定を行う(ステップ1207)。再設定は、
各外接矩形の位置に着目し、より左上にある順にソート
する。例えば、外接矩形1301の下部は外接矩形13
02や1305の上部よりも上にある。このような場
合、外接矩形1301は外接矩形1302、1305よ
りも”上”と判断する(外接矩形1301>外接矩形1
302、外接矩形1301>外接矩形1305)。
【0086】また、外接矩形1302の右部は外接矩形
1305の左部よりも左にあるので、”左”と判断する
(外接矩形1302>外接矩形1305)。なお、この
ときの判断には余裕を持たせるようにしてもよい。外接
矩形1301と1302の左右の位置を比べた場合には
どちらが左とも右とも判定できない。そこで、3つの外
接矩形1301、1302、1305を比較すると、上
記した関係から外接矩形1301>外接矩形1302>
外接矩形1305となる。
【0087】このような判定方法を全ての領域に適用す
ることにより読み順を決定する。外接矩形1305と1
303を比べた場合には、上下では外接矩形1305>
1303であり、左右では外接矩形1303>1305
となる。このような場合には左右の関係を優先する。従
って、外接矩形1303>外接矩形1305となる。
【0088】上記した判定処理の結果、最終的には図1
4に示すような読み順が得られる。図14において、1
401から1407は外接矩形、1408から1414
は中心点、線分1408−1409−...−1414
は読み順を示す。
【0089】なお、本実施例の読み順の評価および再設
定は、囲み枠内のものについては、その枠内の領域に対
してのみ行い、枠外および他の枠内のものとは区別して
処理する。図15は、囲み枠線を有する本文領域の例を
示す。図において、1501から1506は本文領域、
1507は本文領域1504と1505を囲む囲み枠
線、1508は本文領域1506の囲み枠線、1509
から1514は各領域の中心である。
【0090】図15の本文領域に対して、図12のステ
ップ1201からステップ1206の処理の結果、線分
1513−1514が他の線分と交わっていると評価さ
れる。しかし、この場合、線分1513−1514は異
なる枠内領域1507と1508を結ぶ線分であること
から、評価対象外となり、再設定を行わない。評価対象
となる線分は、線分1509−1510−1511、線
分1512−1513の線分である。
【0091】〈実施例3〉 本実施例は、実施例1の方法によって抽出された読み順
に従って本文領域について、例えば文字認識を行って文
書情報を得るようにしたものであり、実施例1によって
抽出された文書情報の利用形態に係る。
【0092】図16は、実施例3のブロック構成図であ
る。画像データは、スキャナなどの入力手段1601あ
るいは、回線に接続されたファクシミリなどの信号受信
手段1602から入力される。情報抽出処理手段160
3は、実施例1で説明した文章領域の抽出、文章領域の
判別、文章領域の配置構造化、読み順の抽出の他に、更
に文字認識を行って、文書情報を得る機能などを備えて
いる。
【0093】表示手段1604は、文章領域を表示する
例えばCRTディスプレイであり、修正指示手段160
5は、表示された抽出情報などに誤りがあった場合に修
正する例えばマウスなどのポイティングデバイスであ
り、結果出力手段1606は、紙などに出力するプリン
タ、あるいは電子情報として媒体に格納する蓄積手段、
通信回線を介して伝送する伝送手段である。
【0094】図17は、情報抽出処理手段1603の構
成を示す。ここで、領域抽出手段1702、文章領域分
別手段1703、罫線情報生成手段1704、文章領域
配置構造化手段1705、読み順抽出手段1706、デ
ータ記憶部1708、制御部1709、データ通信路1
710は、それぞれ実施例1で説明したものと同一の機
能、構成を有している。本実施例では、これら手段に加
えて、入出力データが格納され、バッファとして機能す
るデータ入出力手段1701と、文字認識手段1707
と、文字以外の領域処理手段1711が設けられてい
る。
【0095】実施例1で説明したように、領域抽出手段
1702は入力画像から文章領域とそれ以外の表領域、
図の領域などを抽出し、文章領域分別手段1703は本
文とそれ以外とを分別し、本文領域について、罫線情報
生成手段1704、文章領域配置構造化手段1705、
読み順抽出手段1706は、その配置構造と読み順を抽
出する。
【0096】文字認識手段1707は、上記した本文領
域の読み順に従って文字認識を行って、文書情報を出力
する。また、本文以外の文字領域についても文字認識を
行って、文書情報を出力する。文字以外の領域処理手段
1711は、表などの文章領域以外について、適応処理
を行う。具体的には、表であれば罫線情報を抽出し、表
内文字を文字認識手段1707で文字認識する。写真で
あれば、例えば2次元DCT変換によって適応符号化を
行い、図であれば、例えば線画を抽出してベクトル化を
行う。これら文章以外の領域についての処理は、文章領
域の処理とは別に独自に行ってもよい。このように、抽
出した文章領域以外については領域の特性に合った処理
をしているので、表や写真、図などの情報を最適な形で
利用することができる。また、実施例1で説明したよう
に、本文以外のヘッダ、フッタなどの情報を抽出するこ
とにより、本文以外の文章情報を書誌的情報として取り
出して利用することができる。
【0097】上記したようにして抽出された文字情報
は、表示手段1604に表示される。図18は、文章領
域の表示例を示し、文章領域は矩形で表示され、各領域
には読み順に従った番号が同時に表示される。すなわ
ち、図18において、表示された文書画像1801に
は、ヘッダ領域1802、本文領域1803〜180
5、図の領域1806が表示される。そして、各本文領
域1803〜1805には読み順1807(番号は
1)、1808(番号は3)、1809(番号は2)も
表示されている。なお、読み順の表示方法としては、こ
の他に各本文領域を読み順通りに矢印で結ぶ表示形式を
採ってもよい。
【0098】表示された抽出情報、読み順などに誤りが
あった場合、修正指示手段1605を用いて修正する。
例えば、マウスなどで領域の大きさ、位置を変更した
り、あるいは指定した領域の読み順をキーボードなどか
ら入力などして修正する。抽出した文字情報は修正、確
認した後、文書情報が確定し、結果出力手段1606に
出力される。このように、文書情報抽出処理において誤
った処理が行われても、その結果を確認、修正している
ので、最終的に文書情報をより迅速に得ることができ
る。
【0099】
【発明の効果】以上、説明したように、本発明によれ
ば、以下のような効果が得られる。 (1)文章領域を本文領域とそれ以外の領域とに分別し
て本文領域の配置構造を求めているので、本文領域とは
異なる読み順を持つ文章領域の影響を排除して、本文領
域の読み順を適切に抽出することができる。
【0100】(2)本文領域を木グラフの各ノードに割
り当てることによって本文領域の配置構造を求めている
ので、本文領域の配置の大局的な構造が表現され、これ
によって段落の有無や段落の形態に依存しない本文領域
の読み順を抽出することができる。
【0101】(3)囲み枠の内部の文章領域を、囲み枠
の外部の文章領域から区別し、別個に読み順を抽出して
いるので、文章領域の囲み枠の存在する文書の場合に
も、囲み枠の内部の文章領域も含めて文章領域の読み順
を正しく抽出することができる。
【0102】(4)文章領域の配置構造を求めて読み順
を求めた後、該読み順の評価を行い、この評価が偽の判
定であった場合には、読み順の再設定を行うようにして
いるので、複雑な配置の文書であっても、正しい読み順
が得られると共に、仮りに、最初に誤った読み順が抽出
されたとしても利用者による修正負担を少なくすること
が可能となる。
【0103】(5)読み順の評価方法として、各領域に
基準点を設けて、この基準点間を読み順に線分で結んだ
ときに、線分に交わりが生じた場合に判定を偽としてい
るので、配置構造を木グラフで表現した結果が不自然な
読み順を与えていることを判別することができる。その
判別結果から読み順の再設定を行うことによって、利用
者による修正負担を少なくすることが可能となる。
【0104】(6)囲み枠内の本文領域は、それぞれの
枠内の領域について読み順の評価および再設定を行って
いるので、異なる枠内領域を結ぶ読み順の線分が枠外本
文領域間を結ぶ読み順の線分と交差することに無関係
に、線分の交差という基準に基づいて、読み順が正しい
か否かを判別することが可能となる。
【0105】(7)複雑なレイアウトの文書が入力され
ても、入力された文書画像から正しい読み順で文字認識
を行っているので、正確な文書情報を抽出し、利用する
ことができる。
【図面の簡単な説明】
【図1】本発明の実施例1のブロック構成図である。
【図2】実施例1の処理フローチャートである。
【図3】図題・表の見出しの分別の説明図である。
【図4】ヘッダの分別の説明図である。
【図5】ヘッダ分別のための架空罫線の生成の説明図で
ある。
【図6】木グラフ構築のための架空罫線の生成の説明図
である。
【図7】囲み枠外の本文領域の構造化の説明図である。
【図8】架空罫線と勢力範囲との関係の説明図である。
【図9】囲み枠外の本文領域の木グラフと囲み枠内の文
章領域のグラフ化の説明図である。
【図10】図題・表の見出しと本文との再分別の説明図
である。
【図11】本発明の実施例2のブロック構成図である。
【図12】実施例2の処理フローチャートである。
【図13】実施例2に係る読み順の評価を説明する図で
ある。
【図14】読み順評価の結果、再設定された読み順を示
す。
【図15】囲み枠線を有する本文領域の例を示す。
【図16】実施例3のブロック構成図である。
【図17】情報抽出処理手段の構成を示す。
【図18】文章領域の表示例を示す。
【符号の説明】
101 画像入力手段 102 領域抽出手段 103 文章領域分別手段 104 罫線情報生成手段 105 文章領域配置構造化手段 106 読み順抽出手段 107 データ記憶部 108 制御部 109 データ通信路

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力された文書画像から文章領域を抽出
    し、該抽出された文章領域の配置構造を木グラフで表現
    し、該木グラフから前記文章領域の読み順を求める文書
    画像処理方法であって、前記各文章領域を木グラフの各
    ノードに割り当てる際に、前記各文章領域毎に、ノード
    間の親子関係を決定するための各ノードの勢力範囲と、
    ノード間の親子関係を探索するための各ノードの探索範
    囲を設定することを特徴とする文書画像処理方法。
  2. 【請求項2】 前記各ノードの勢力範囲を設定すると
    き、子ノードの勢力範囲は親ノードの勢力範囲を継承す
    ることを特徴とする請求項1記載の文書画像処理方法。
  3. 【請求項3】 一つの親ノードに対して複数の子ノード
    が存在する場合は、各子ノードの勢力範囲が重ならない
    ように分割することを特徴とする請求項2記載の文書画
    像処理方法。
  4. 【請求項4】 前記各文章領域を木グラフの各ノードに
    割り当てる際に、親ノードを決定することができない文
    章領域は、木グラフのルートの子ノードとすることを特
    徴とする請求項1記載の文書画像処理方法。
  5. 【請求項5】 前記各文章領域を木グラフの各ノードに
    割り当てる際に、各ノードがタイトル部位であるか否か
    を判定し、該判定結果によってノードの割り当てを制御
    することを特徴とする請求項1記載の文書画像処理方
    法。
  6. 【請求項6】 前記各文章領域を木グラフのノードに割
    り当てる際に、囲み枠内の文章領域を除いた木グラフを
    先に作成し、その後、囲み枠毎に、囲み枠を代表するノ
    ードの子として、囲み枠内の文章領域の木グラフを作成
    することを特徴とする請求項1記載の文書画像処理方
    法。
  7. 【請求項7】 木グラフの作成前に、図題、表の見出し
    である文章領域を判別してこれを木グラフの作成対象か
    ら除き、木グラフ作成後に、図題、表の見出しである文
    章領域の判別を再度行ってこれを木グラフから除くこと
    を特徴とする請求項1記載の文書画像処理方法。
  8. 【請求項8】 前記抽出された文章領域から、本文領域
    と、該本文以外の領域としてヘッダまたはフッタを分類
    する際に、本文領域における文字列方向が縦か横かによ
    ってヘッダまたはフッタの存在を調べる位置を変更する
    ことを特徴とする請求項1記載の文書画像処理方法。
  9. 【請求項9】 前記抽出された文章領域から、本文領域
    と、該本文以外の領域としてヘッダまたはフッタを分類
    する際に、文書画像中に罫線が存在する場合には該罫線
    を利用し、罫線が存在しない場合には架空の罫線を生成
    し該架空の罫線を利用することを特徴とする請求項1記
    載の文書画像処理方法。
JP32701593A 1993-05-12 1993-12-24 文書画像処理方法 Expired - Lifetime JP3302147B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP32701593A JP3302147B2 (ja) 1993-05-12 1993-12-24 文書画像処理方法
US08/516,686 US5774580A (en) 1993-05-12 1995-08-18 Document image processing method and system having function of determining body text region reading order
US09/088,773 US5907631A (en) 1993-05-12 1998-06-02 Document image processing method and system having function of determining body text region reading order

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP11039793 1993-05-12
JP28896093 1993-11-18
JP5-288960 1993-11-18
JP5-110397 1993-11-18
JP32701593A JP3302147B2 (ja) 1993-05-12 1993-12-24 文書画像処理方法

Publications (2)

Publication Number Publication Date
JPH07192084A JPH07192084A (ja) 1995-07-28
JP3302147B2 true JP3302147B2 (ja) 2002-07-15

Family

ID=27311724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32701593A Expired - Lifetime JP3302147B2 (ja) 1993-05-12 1993-12-24 文書画像処理方法

Country Status (2)

Country Link
US (2) US5774580A (ja)
JP (1) JP3302147B2 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3302147B2 (ja) * 1993-05-12 2002-07-15 株式会社リコー 文書画像処理方法
ES2171432T3 (es) * 1993-12-10 2002-09-16 Ricoh Kk Aparato y metodos para reconocer una imagen especifica a partir de una señal de imagen de entrada.
US6009196A (en) * 1995-11-28 1999-12-28 Xerox Corporation Method for classifying non-running text in an image
JP3814320B2 (ja) * 1995-12-14 2006-08-30 キヤノン株式会社 画像処理方法及び装置
JP3525997B2 (ja) * 1997-12-01 2004-05-10 富士通株式会社 文字認識方法
US6269188B1 (en) 1998-03-12 2001-07-31 Canon Kabushiki Kaisha Word grouping accuracy value generation
US6377704B1 (en) * 1998-04-30 2002-04-23 Xerox Corporation Method for inset detection in document layout analysis
US6243501B1 (en) * 1998-05-20 2001-06-05 Canon Kabushiki Kaisha Adaptive recognition of documents using layout attributes
KR100607018B1 (ko) * 1998-06-23 2006-08-01 샤프 가부시키가이샤 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을기록한 매체
JP4320064B2 (ja) * 1998-07-10 2009-08-26 富士通株式会社 画像処理装置及び記録媒体
US6445819B1 (en) * 1998-09-10 2002-09-03 Fuji Photo Film Co., Ltd. Image processing method, image processing device, and recording medium
US7099507B2 (en) * 1998-11-05 2006-08-29 Ricoh Company, Ltd Method and system for extracting title from document image
US6188779B1 (en) * 1998-12-30 2001-02-13 L&H Applications Usa, Inc. Dual page mode detection
US7864346B2 (en) * 2000-05-16 2011-01-04 Xerox Corporation Apparatus and method for describing, planning and automatically programming complex finishing tasks
FR2810765B1 (fr) * 2000-06-27 2002-08-23 Mannesmann Dematic Postal Automation Sa Segmentation d'une image numerique d'un objet postal par la transformation de hough
JP3995185B2 (ja) * 2000-07-28 2007-10-24 株式会社リコー 枠認識装置及び記録媒体
JP5033277B2 (ja) * 2000-09-12 2012-09-26 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および画像処理方法並びにコンピュータ読み取り可能な記録媒体
US20020077901A1 (en) * 2000-12-19 2002-06-20 Catalina Marketing International, Inc. Paired promotion architecture
JP3950777B2 (ja) 2002-09-30 2007-08-01 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP2004201069A (ja) * 2002-12-19 2004-07-15 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
JP4200106B2 (ja) 2003-07-15 2008-12-24 株式会社リコー 画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータプログラムを記憶する記憶媒体
EP1569087A3 (en) * 2004-02-17 2007-04-25 Canon Kabushiki Kaisha Data processing apparatus, data processing method, program for implementing the method, and storage medium storing the program
US7756871B2 (en) * 2004-10-13 2010-07-13 Hewlett-Packard Development Company, L.P. Article extraction
JP4386281B2 (ja) * 2005-01-31 2009-12-16 キヤノン株式会社 画像処理方法及び画像処理装置並びにプログラム
US7865353B2 (en) * 2005-03-22 2011-01-04 Fuji Xerox Co., Ltd. Translation device, image processing device, translation method, and recording medium
US7697757B2 (en) * 2005-06-15 2010-04-13 Hewlett-Packard Development Company, L.P. Computer assisted document modification
US20060285746A1 (en) * 2005-06-17 2006-12-21 Sherif Yacoub Computer assisted document analysis
WO2007018501A1 (en) 2005-07-27 2007-02-15 Hewlett-Packard Development Company, L.P. A method for finding text reading order in a document
US7596270B2 (en) * 2005-09-23 2009-09-29 Dynacomware Taiwan Inc. Method of shuffling text in an Asian document image
WO2007070010A1 (en) * 2005-12-16 2007-06-21 Agency For Science, Technology And Research Improvements in electronic document analysis
US7788580B1 (en) 2006-03-28 2010-08-31 Amazon Technologies, Inc. Processing digital images including headers and footers into reflow content
US7433548B2 (en) * 2006-03-28 2008-10-07 Amazon Technologies, Inc. Efficient processing of non-reflow content in a digital image
US8023738B1 (en) 2006-03-28 2011-09-20 Amazon Technologies, Inc. Generating reflow files from digital images for rendering on various sized displays
US7966557B2 (en) 2006-03-29 2011-06-21 Amazon Technologies, Inc. Generating image-based reflowable files for rendering on various sized displays
US7715635B1 (en) 2006-09-28 2010-05-11 Amazon Technologies, Inc. Identifying similarly formed paragraphs in scanned images
US7810026B1 (en) 2006-09-29 2010-10-05 Amazon Technologies, Inc. Optimizing typographical content for transmission and display
US7801358B2 (en) * 2006-11-03 2010-09-21 Google Inc. Methods and systems for analyzing data in media material having layout
JP4756650B2 (ja) * 2007-03-14 2011-08-24 株式会社リコー 画像処理装置、読み順設定方法及びプログラム
US8782516B1 (en) 2007-12-21 2014-07-15 Amazon Technologies, Inc. Content style detection
US8572480B1 (en) 2008-05-30 2013-10-29 Amazon Technologies, Inc. Editing the sequential flow of a page
US9229911B1 (en) 2008-09-30 2016-01-05 Amazon Technologies, Inc. Detecting continuation of flow of a page
US8438472B2 (en) 2009-01-02 2013-05-07 Apple Inc. Efficient data structures for parsing and analyzing a document
JP5361574B2 (ja) * 2009-07-01 2013-12-04 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5005005B2 (ja) 2009-07-30 2012-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツ読み上げ順序を視覚化するための視覚化プログラム、視覚化方法、及び視覚化装置
US20110173532A1 (en) * 2010-01-13 2011-07-14 George Forman Generating a layout of text line images in a reflow area
US8499236B1 (en) 2010-01-21 2013-07-30 Amazon Technologies, Inc. Systems and methods for presenting reflowable content on a display
JP5772446B2 (ja) * 2010-09-29 2015-09-02 株式会社ニコン 画像処理装置及び画像処理プログラム
US8442998B2 (en) 2011-01-18 2013-05-14 Apple Inc. Storage of a document using multiple representations
US8549399B2 (en) 2011-01-18 2013-10-01 Apple Inc. Identifying a selection of content in a structured document
EP2477122B1 (en) * 2011-01-18 2018-10-24 Apple Inc. Ordering document content
US8380753B2 (en) 2011-01-18 2013-02-19 Apple Inc. Reconstruction of lists in a document
CN103186510B (zh) * 2011-12-30 2016-08-03 北大方正集团有限公司 一种转换文档格式的方法和装置
US10025979B2 (en) * 2012-01-23 2018-07-17 Microsoft Technology Licensing, Llc Paragraph property detection and style reconstruction engine
WO2014005609A1 (en) 2012-07-06 2014-01-09 Microsoft Corporation Paragraph alignment detection and region-based section reconstruction
US20160055376A1 (en) * 2014-06-21 2016-02-25 iQG DBA iQGATEWAY LLC Method and system for identification and extraction of data from structured documents
US10042880B1 (en) * 2016-01-06 2018-08-07 Amazon Technologies, Inc. Automated identification of start-of-reading location for ebooks
US10482323B2 (en) 2017-08-22 2019-11-19 Autonom8, Inc. System and method for semantic textual information recognition
US10354132B2 (en) 2017-08-22 2019-07-16 Autonom8, Inc. System and method for generating a virtual assistant
JP7172649B2 (ja) * 2019-01-25 2022-11-16 セイコーエプソン株式会社 画像処理装置および画像処理プログラム
CN109934209B (zh) * 2019-05-17 2019-07-30 上海肇观电子科技有限公司 版面分析方法、阅读辅助设备、电路及介质
US11328524B2 (en) * 2019-07-08 2022-05-10 UiPath Inc. Systems and methods for automatic data extraction from document images
CN111723555B (zh) * 2020-06-22 2022-02-08 稿定(厦门)科技有限公司 平面排版方法及***

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738681B2 (ja) * 1987-03-20 1995-04-26 富士ゼロックス株式会社 領域認識装置
JPH0635782B2 (ja) * 1987-09-25 1994-05-11 重十史 冨永 移動壁の進行方向変換装置
US5185813A (en) * 1988-01-19 1993-02-09 Kabushiki Kaisha Toshiba Document image processing apparatus
JPH01183784A (ja) * 1988-01-19 1989-07-21 Toshiba Corp 文書画像処理装置
US5131053A (en) * 1988-08-10 1992-07-14 Caere Corporation Optical character recognition method and apparatus
DE3881392T2 (de) * 1988-09-12 1993-10-21 Oce Nederland Bv System und Verfahren für automatische Segmentierung.
US5369716A (en) * 1989-08-31 1994-11-29 Kabushiki Kaisha Toshiba Document reader and reading processing method therefor
JP2713622B2 (ja) * 1989-11-20 1998-02-16 富士通株式会社 表形式文書読取装置
US5048109A (en) * 1989-12-08 1991-09-10 Xerox Corporation Detection of highlighted regions
JPH03269689A (ja) * 1990-03-19 1991-12-02 Nippon Telegr & Teleph Corp <Ntt> 文書読み取り装置
JP3187895B2 (ja) * 1991-05-02 2001-07-16 株式会社リコー 文字領域抽出方法
JP3302147B2 (ja) * 1993-05-12 2002-07-15 株式会社リコー 文書画像処理方法

Also Published As

Publication number Publication date
JPH07192084A (ja) 1995-07-28
US5907631A (en) 1999-05-25
US5774580A (en) 1998-06-30

Similar Documents

Publication Publication Date Title
JP3302147B2 (ja) 文書画像処理方法
EP0854434B1 (en) Ruled line extracting apparatus for extracting ruled line from normal document image and method thereof
JP3359095B2 (ja) 画像処理方法及び装置
US4748678A (en) Method of storing and retrieving image data
JP3345224B2 (ja) パターン抽出装置、パターン再認識用テーブル作成装置及びパターン認識装置
JP2588491B2 (ja) 画像切り出し装置及びその方法
KR101985612B1 (ko) 종이문서의 디지털화 방법
JP3727971B2 (ja) 文書処理装置、及び文書処理方法
JPH08305803A (ja) 文字テンプレートセット学習マシン動作方法
JP3943638B2 (ja) Ocrを利用しない文書画像中のドロップワードの自動認識方法
JPH0668300A (ja) 文書画像のレイアウトモデルを作成する方法及び装置
JPH0652354A (ja) スキュー補正方法並びにスキュー角検出方法並びにドキュメントセグメンテーションシステムおよびスキュー角検出装置
JP2002056398A (ja) 文書画像処理装置、文書画像処理方法、及び記憶媒体
CN111832476A (zh) 版面分析方法、阅读辅助设备、电路和介质
Mitchell et al. Newspaper document analysis featuring connected line segmentation
JP3837193B2 (ja) 文字行抽出方法および装置
JP2008028716A (ja) 画像処理方法及び装置
JP3852218B2 (ja) 画像処理方法および画像処理装置
JP2003058556A (ja) 文書画像のタイトル抽出方法、抽出プログラム、及びタイトル抽出装置
JP3187895B2 (ja) 文字領域抽出方法
JP3269918B2 (ja) 文章領域の読み順設定方法
JP3817442B2 (ja) 画像認識装置、画像認識方法、及び画像認識方法を実現するプログラムとこのプログラムの記録媒体
JPH0728935A (ja) 文書画像処理装置
JPH0728934A (ja) 文書画像処理装置
JP2918363B2 (ja) 文字分類方法及び文字認識装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080426

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080426

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090426

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090426

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100426

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100426

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110426

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120426

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130426

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140426

Year of fee payment: 12

EXPY Cancellation because of completion of term