JP4768451B2 - 画像処理装置、画像形成装置、プログラムおよび画像処理方法 - Google Patents

画像処理装置、画像形成装置、プログラムおよび画像処理方法 Download PDF

Info

Publication number
JP4768451B2
JP4768451B2 JP2006010368A JP2006010368A JP4768451B2 JP 4768451 B2 JP4768451 B2 JP 4768451B2 JP 2006010368 A JP2006010368 A JP 2006010368A JP 2006010368 A JP2006010368 A JP 2006010368A JP 4768451 B2 JP4768451 B2 JP 4768451B2
Authority
JP
Japan
Prior art keywords
image
feature
pixel
characters
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006010368A
Other languages
English (en)
Other versions
JP2007193528A (ja
Inventor
広文 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2006010368A priority Critical patent/JP4768451B2/ja
Priority to US11/639,215 priority patent/US20070165950A1/en
Priority to CNB200710001946XA priority patent/CN100559387C/zh
Publication of JP2007193528A publication Critical patent/JP2007193528A/ja
Application granted granted Critical
Publication of JP4768451B2 publication Critical patent/JP4768451B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/186—Extraction of features or characteristics of the image by deriving mathematical or geometrical properties from the whole image
    • G06V30/187—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、文書画像のレイアウト解析処理を行う画像処理装置、画像形成装置、プログラムおよび画像処理方法に関する。
スキャナやデジタルカメラなどの画像入力機器を通してコンピュータに入力された文書画像を文書構成要素（例えば、文字、文字行、パラグラフ、コラムなど）に分離する処理は、通常、「幾何的レイアウト解析」や「ページセグメンテーション」と呼ばれる。この「幾何的レイアウト解析」や「ページセグメンテーション」は、多くの場合、２値文書画像上で行われる。また、「幾何的レイアウト解析」や「ページセグメンテーション」は、前処理として、入力の際に生じる傾きを補正する「スキュー補正」を伴う。このようにしてスキュー補正された２値文書画像の「幾何的レイアウト解析」や「ページセグメンテーション」は、大きく２通りのアプローチ（トップダウン解析及びボトムアップ解析）に分類される。
まず、トップダウン解析について説明する。トップダウン解析は、ページを大きな構成要素から小さな構成要素に分離する。例えば、ページをコラムに、そして、コラムをパラグラフに、パラグラフを文字行に、というように、大きな構成要素から小さなものに分離してゆくアプローチである。トップダウン解析は、ページのレイアウト構造についての仮定に基づくモデル（例えば、マンハッタンレイアウトでは、文字行は直立矩形である）を利用して効率的に計算ができる反面、仮定が成り立たないようなデータについては、とんでもない間違いを生じるという欠点がある。一般に、複雑なレイアウトはモデル化も複雑になるため、取り扱いが難しい。
次に、ボトムアップ解析について説明する。ボトムアップ解析は、特許文献１、２に記載されているように、近隣の構成要素の位置関係を参照して、要素を統合してゆく。例えば、連結成分を文字行、そして、文字行をコラムに、というように、小さな構成要素を大きなものにグループ化してゆくアプローチである。しかしながら、特許文献１に記載されているようなボトムアップ解析は、局所的な情報に基づく方法なので、ページ全体のレイアウトに関する仮定にあまり依存せずに多様なレイアウトに対応できる反面、局所的な判断の間違いが蓄積してゆくという欠点がある。例えば、２つの異なるコラム間にまたがる２つの文字が、誤って１つの文字行に統合されてしまえば、それらの２つのコラムも１つのコラムとして誤って抽出されてしまう。また、特許文献２に記載されているような構成要素の統合では、言語による文字の並び方の特性や、文字列方向（縦／横）などの知識が必要となる。
このように２つのアプローチは相補的であるが、これらの「隙間」を埋めるアプローチとして、文字でない部分、すなわち「背景」、あるいは２値文書画像で言うところの「白地」を利用する方法がある（特許文献３，４参照）。背景や白地の利用の利点としては、
（１）言語に依存しない（多くの言語でも白地が区切りとして使われる）。また、行方向（横書き／縦書き）についての知識を必要としない。
（２）大局的な処理なので、局所的な判断間違いが累積する可能性が少ない。
（３）複雑なレイアウトにも、柔軟に対応できる。
などが挙げられる。
特開２０００−０６７１５８号公報 特開２０００−１１３１０３号公報 米国特許第５，６４７，０２１号明細書 米国特許第５，４３０，８０８号明細書
上述したようなアプローチのそれぞれの長所、短所、得意・苦手な画像のタイプは、以下のようにまとめられる。
（１）長所
ボトムアップ型では、どのようなレイアウトに対しても、ある程度の性能を発揮する。「文字→文字列→文字行→文字ブロック」という積み上げ型の処理であるので、レイアウト構造に関するモデルを必要としない。
トップダウン型では、レイアウト構造に関するモデルに依存した情報を使うことができるときに、強みを発揮する。大局的な情報を使えるので、局所的な間違いが累積することがない。また、トップダウン型では、言語に依存しない解析ができる。
（２）短所
ボトムアップ型では、局所的判断の間違いが累積する。文字、文字列、それに、文字行の構成については言語依存性が避けられない。
トップダウン型では、仮定しているモデルが当てはまらない場合にうまく作用しない。
（３）得意な画像のタイプ
ボトムアップ型は、文字が少ないものが得意である。局所的な間違いが起こりにくく、文字が少なければ、統合に要する計算量も少なくて済む。
トップダウン型は、文字が主体で、コラムの配置が構造化されているような文書（新聞、雑誌の記事、ビジネス文書）が得意である
（４）苦手な画像のタイプ
ボトムアップ型は、レイアウトが密集しているもの（新聞など）が苦手である。局所的な間違いが発生しやすいからである。
トップダウン型は、絵が主体のもの（スポーツ新聞、宣伝広告）や、コラムの配置が構造化されていないものが苦手である。
このようにボトムアップ型のレイアウト解析とトップダウン型のレイアウト解析とは相補的であり、レイアウト解析のアルゴリズムは、文字領域抽出に限っても数種類ある。
つまり、文書画像の「タイプ」によって、それぞれ得手不得手があり、文書画像の「タイプ」によって適したアルゴリズムを適用することが望ましい。これはアイディアとして単純に見えるが、実は、領域識別をしてみなければ、文書画像の「タイプ」がわからないという矛盾がある。すなわち、タイプ分類のための領域識別には、高速に計算できて、表現力が高いような画像特徴が必要である。
本発明は、上記に鑑みてなされたものであって、文書領域抽出の性能を向上させることができる画像処理装置、画像形成装置、プログラムおよび画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、文書画像のレイアウト解析処理を行う画像処理装置において、文書画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度や、描画領域に対する文字および非文字の密集率を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算する画像特徴量計算手段と、この画像特徴量計算手段により計算された前記画像特徴量を用い、近隣の構成要素の位置関係を参照して構成要素を統合していく第１のレイアウト解析が得意とする前記文書画像データの画像タイプ、あるいは、ページを大きな構成要素から小さな構成要素に分離していく第２のレイアウト解析が苦手とする前記文書画像データの画像タイプと、これら以外の前記文書画像データの画像タイプと、に前記文書画像データの画像タイプを分類識別する画像タイプ識別手段と、前記画像タイプ識別手段による画像タイプの分類結果に基づいて、前記第１のレイアウト解析と前記第２のレイアウト解析とのいずれかをレイアウト解析における領域抽出の方法として選択する選択手段と、この選択手段で選択された領域抽出の方法に基づいて、前記文書画像データを領域に分割する領域抽出手段と、を備える。
また、請求項２にかかる発明は、請求項１記載の画像処理装置において、前記画像特徴量計算手段は、前記文書画像データを矩形ブロックに排他的に分割するブロック分割手段と、分割された前記各ブロックを、当該文書画像データを構成する所定の構成要素に分類するブロック分類手段と、前記ブロックの分類結果に基づいて前記文書画像データの画像特徴量を計算する計算手段と、を備える。
また、請求項３にかかる発明は、請求項２記載の画像処理装置において、前記ブロック分類手段は、前記ブロックから複数の異なる解像度の画像を生成する画像生成手段と、前記各解像度の画像から特徴量ベクトルを計算する特徴量ベクトル計算手段と、前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類手段と、を備える。
また、請求項４にかかる発明は、請求項３記載の画像処理装置において、前記特徴量ベクトル計算手段は、前記各解像度の画像を２値化する２値化手段と、２値画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算手段と、前記各画素について計算された特徴を画像全体にわたって加算する加算手段と、を備える。
また、請求項５にかかる発明は、請求項３記載の画像処理装置において、前記特徴量ベクトル計算手段は、前記各解像度の画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算手段と、前記各画素について計算された特徴を画像全体にわたって加算する加算手段と、を備える。
また、請求項６にかかる発明は、請求項３記載の画像処理装置において、前記分類手段は、前記特徴量ベクトル計算手段により計算された前記特徴量ベクトルを、予め計算されている文字画素の特徴量ベクトル及び非文字画素の特徴量ベクトルの線形結合に分解して、前記各ブロックを所定の構成要素に分類する。
また、請求項７にかかる発明は、請求項１記載の画像処理装置において、前記第１のレイアウト解析は、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型であり、前記第２のレイアウト解析は、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型である。
また、請求項８にかかる発明は、画像を用紙上に印刷する画像形成装置において、文書原稿を読み取る画像読取手段と、この画像読取手段により読み取られた文書画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度や、描画領域に対する文字および非文字の密集率を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算する画像特徴量計算手段と、この画像特徴量計算手段により計算された前記画像特徴量を用い、近隣の構成要素の位置関係を参照して構成要素を統合していく第１のレイアウト解析が得意とする前記文書画像データの画像タイプ、あるいは、ページを大きな構成要素から小さな構成要素に分離していく第２のレイアウト解析が苦手とする前記文書画像データの画像タイプと、これら以外の前記文書画像データの画像タイプと、に前記文書画像データの画像タイプを分類識別する画像タイプ識別手段と、前記画像タイプ識別手段による画像タイプの分類結果に基づいて、前記第１のレイアウト解析と前記第２のレイアウト解析とのいずれかをレイアウト解析における領域抽出の方法として選択する選択手段と、この選択手段で選択された領域抽出の方法に基づいて、前記文書画像データを領域に分割する領域抽出手段と、を備える。
また、請求項９にかかる発明は、請求項８記載の画像形成装置において、前記画像特徴量計算手段は、前記文書画像データを矩形ブロックに排他的に分割するブロック分割手段と、分割された前記各ブロックを、当該文書画像データを構成する所定の構成要素に分類するブロック分類手段と、前記ブロックの分類結果に基づいて前記文書画像データの画像特徴量を計算する計算手段と、を備える。
また、請求項１０にかかる発明は、請求項９記載の画像形成装置において、前記ブロック分類手段は、前記ブロックから複数の異なる解像度の画像を生成する画像生成手段と、前記各解像度の画像から特徴量ベクトルを計算する特徴量ベクトル計算手段と、前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類手段と、を備える。
また、請求項１１にかかる発明は、請求項１０記載の画像形成装置において、前記特徴量ベクトル計算手段は、前記各解像度の画像を２値化する２値化手段と、２値画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算手段と、前記各画素について計算された特徴を画像全体にわたって加算する加算手段と、を備える。
また、請求項１２にかかる発明は、請求項１０記載の画像形成装置において、前記特徴量ベクトル計算手段は、前記各解像度の画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算手段と、前記各画素について計算された特徴を画像全体にわたって加算する加算手段と、を備える。
また、請求項１３にかかる発明は、請求項１０記載の画像形成装置において、前記分類手段は、前記特徴量ベクトル計算手段により計算された前記特徴量ベクトルを、予め計算されている文字画素の特徴量ベクトル及び非文字画素の特徴量ベクトルの線形結合に分解して、前記各ブロックを所定の構成要素に分類する。
また、請求項１４にかかる発明は、請求項８記載の画像形成装置において、前記第１のレイアウト解析は、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型であり、前記第２のレイアウト解析は、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型である。
また、請求項１５にかかる発明は、文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、文書画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度や、描画領域に対する文字および非文字の密集率を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算する画像特徴量計算機能と、この画像特徴量計算機能により計算された前記画像特徴量を用い、近隣の構成要素の位置関係を参照して構成要素を統合していく第１のレイアウト解析が得意とする前記文書画像データの画像タイプ、あるいは、ページを大きな構成要素から小さな構成要素に分離していく第２のレイアウト解析が苦手とする前記文書画像データの画像タイプと、これら以外の前記文書画像データの画像タイプと、に前記文書画像データの画像タイプを分類識別する画像タイプ識別機能と、前記画像タイプ識別機能による画像タイプの分類結果に基づいて、前記第１のレイアウト解析と前記第２のレイアウト解析とのいずれかをレイアウト解析における領域抽出の方法として選択する選択機能と、この選択機能で選択された領域抽出の方法に基づいて、前記文書画像データを領域に分割する領域抽出機能と、を実行させる。
また、請求項１６にかかる発明は、請求項１５記載のプログラムにおいて、前記画像特徴量計算機能は、前記文書画像データを矩形ブロックに排他的に分割するブロック分割機能と、分割された前記各ブロックを、当該文書画像データを構成する所定の構成要素に分類するブロック分類機能と、前記ブロックの分類結果に基づいて前記文書画像データの画像特徴量を計算する計算機能と、を前記コンピュータに実行させる。
また、請求項１７にかかる発明は、請求項１６記載のプログラムにおいて、前記ブロック分類機能は、前記ブロックから複数の異なる解像度の画像を生成する画像生成機能と、前記各解像度の画像から特徴量ベクトルを計算する特徴量ベクトル計算機能と、前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類機能と、を前記コンピュータに実行させる。
また、請求項１８にかかる発明は、請求項１７記載のプログラムにおいて、前記特徴量ベクトル計算機能は、前記各解像度の画像を２値化する２値化機能と、２値画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算機能と、前記各画素について計算された特徴を画像全体にわたって加算する加算機能と、を前記コンピュータに実行させる。
また、請求項１９にかかる発明は、請求項１７記載のプログラムにおいて、前記特徴量ベクトル計算機能は、前記各解像度の画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算機能と、前記各画素について計算された特徴を画像全体にわたって加算する加算機能と、を前記コンピュータに実行させる。
また、請求項２０にかかる発明は、請求項１７記載のプログラムにおいて、前記分類機能は、前記特徴量ベクトル計算機能により計算された前記特徴量ベクトルを、予め計算されている文字画素の特徴量ベクトル及び非文字画素の特徴量ベクトルの線形結合に分解して、前記各ブロックを所定の構成要素に分類する。
また、請求項２１にかかる発明は、請求項１５記載のプログラムにおいて、前記第１のレイアウト解析は、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型であり、前記第２のレイアウト解析は、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型である。
また、請求項２２にかかる発明は、文書画像のレイアウト解析処理を実行するコンピュータにおける画像処理方法であって、文書画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度や、描画領域に対する文字および非文字の密集率を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算する画像特徴量計算工程と、この画像特徴量計算工程により計算された前記画像特徴量を用い、近隣の構成要素の位置関係を参照して構成要素を統合していく第１のレイアウト解析が得意とする前記文書画像データの画像タイプ、あるいは、ページを大きな構成要素から小さな構成要素に分離していく第２のレイアウト解析が苦手とする前記文書画像データの画像タイプと、これら以外の前記文書画像データの画像タイプと、に前記文書画像データの画像タイプを分類識別する画像タイプ識別工程と、前記画像タイプ識別工程による画像タイプの分類結果に基づいて、前記第１のレイアウト解析と前記第２のレイアウト解析とのいずれかをレイアウト解析における領域抽出の方法として選択する選択工程と、この選択工程で選択された領域抽出の方法に基づいて、前記文書画像データを領域に分割する領域抽出工程と、を含む。
また、請求項２３にかかる発明は、請求項２２記載の画像処理方法において、前記画像特徴量計算工程は、前記文書画像データを矩形ブロックに排他的に分割するブロック分割工程と、分割された前記各ブロックを、当該文書画像データを構成する所定の構成要素に分類するブロック分類工程と、前記ブロックの分類結果に基づいて前記文書画像データの画像特徴量を計算する計算工程と、を含む。
また、請求項２４にかかる発明は、請求項２３記載の画像処理方法において、前記ブロック分類工程は、前記ブロックから複数の異なる解像度の画像を生成する画像生成工程と、前記各解像度の画像から特徴量ベクトルを計算する特徴量ベクトル計算工程と、前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類工程と、を含む。
また、請求項２５にかかる発明は、請求項２４記載の画像処理方法において、前記特徴量ベクトル計算工程は、前記各解像度の画像を２値化する２値化工程と、２値画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算工程と、前記各画素について計算された特徴を画像全体にわたって加算する加算工程と、を含む。
また、請求項２６にかかる発明は、請求項２４記載の画像処理方法において、前記特徴量ベクトル計算工程は、前記各解像度の画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算工程と、前記各画素について計算された特徴を画像全体にわたって加算する加算工程と、を含む。
また、請求項２７にかかる発明は、請求項２４記載の画像処理方法において、前記分類工程は、前記特徴量ベクトル計算工程により計算された前記特徴量ベクトルを、予め計算されている文字画素の特徴量ベクトル及び非文字画素の特徴量ベクトルの線形結合に分解して、前記各ブロックを所定の構成要素に分類する。
また、請求項２８にかかる発明は、請求項２２記載の画像処理方法において、前記第１のレイアウト解析は、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型であり、前記第２のレイアウト解析は、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型である。
請求項１にかかる発明によれば、レイアウトの概略（文字や写真・絵の大体の空間的配置や分布など）に基づいて計算された文書画像データの画像特徴量を用いて当該文書画像データの画像タイプが分類識別された後、分類結果及び画像タイプと領域抽出方法の対応規則を対応付けた情報に基づいてレイアウト解析における領域抽出の方法が選択され、選択された領域抽出の方法に基づいて文書画像データが領域に分割される。これにより、レイアウトの概略（文字や写真・絵の大体の空間的配置や文字と写真・絵の分布など）に従うことで画像のタイプを特徴付ける画像特徴量を高速に計算することができるとともに、文書画像データの画像タイプに適したレイアウト解析における領域抽出方法を選択することができるので、文書領域抽出の性能を向上させることができるという効果を奏する。
また、請求項２にかかる発明によれば、文字や写真・絵の大体の空間的配置、文字と写真・絵の分布などのレイアウトの概略をブロック単位で取得することができるので、文書画像データの画像特徴量を簡潔に計算することができるという効果を奏する。
また、請求項３にかかる発明によれば、画像の粗い特徴と細かい特徴を表す特徴を効率的に抽出することができるという効果を奏する。
また、請求項４にかかる発明によれば、文書画像データにおける黒画素と白画素の局所的配置を表す表現力の高い統計的情報を効率的に計算することができるという効果を奏する。
また、請求項５にかかる発明によれば、文書画像データにおける黒画素と白画素の局所的配置を表す表現力の高い統計的情報を効率的に計算することができるという効果を奏する。
また、請求項６にかかる発明によれば、文字や絵（非文字）の分布に応じた文書画像データの分類線形演算により簡単に行うことができるという効果を奏する。
また、請求項７にかかる発明によれば、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型のレイアウト解析における領域抽出方法か、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型のレイアウト解析における領域抽出方法かを選択することができるので、文書領域抽出の性能を向上させることができるという効果を奏する。
また、請求項８にかかる発明によれば、レイアウトの概略（文字や写真・絵の大体の空間的配置や分布など）に基づいて計算された文書画像データの画像特徴量を用いて当該文書画像データの画像タイプが分類識別された後、分類結果及び画像タイプと領域抽出方法の対応規則を対応付けた情報に基づいてレイアウト解析における領域抽出の方法が選択され、選択された領域抽出の方法に基づいて文書画像データが領域に分割される。これにより、レイアウトの概略（文字や写真・絵の大体の空間的配置や文字と写真・絵の分布など）に従うことで画像のタイプを特徴付ける画像特徴量を高速に計算することができるとともに、文書画像データの画像タイプに適したレイアウト解析における領域抽出方法を選択することができるので、文書領域抽出の性能を向上させることができるという効果を奏する。
また、請求項９にかかる発明によれば、文字や写真・絵の大体の空間的配置、文字と写真・絵の分布などのレイアウトの概略をブロック単位で取得することができるので、文書画像データの画像特徴量を簡潔に計算することができるという効果を奏する。
また、請求項１０にかかる発明によれば、画像の粗い特徴と細かい特徴を表す特徴を効率的に抽出することができるという効果を奏する。
また、請求項１１にかかる発明によれば、文書画像データにおける黒画素と白画素の局所的配置を表す表現力の高い統計的情報を効率的に計算することができるという効果を奏する。
また、請求項１２にかかる発明によれば、文書画像データにおける黒画素と白画素の局所的配置を表す表現力の高い統計的情報を効率的に計算することができるという効果を奏する。
また、請求項１３にかかる発明によれば、文字や絵（非文字）の分布に応じた文書画像データの分類線形演算により簡単に行うことができるという効果を奏する。
また、請求項１４にかかる発明によれば、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型のレイアウト解析における領域抽出方法か、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型のレイアウト解析における領域抽出方法かを選択することができるので、文書領域抽出の性能を向上させることができるという効果を奏する。
また、請求項１５にかかる発明によれば、レイアウトの概略（文字や写真・絵の大体の空間的配置や分布など）に基づいて計算された文書画像データの画像特徴量を用いて当該文書画像データの画像タイプが分類識別された後、分類結果及び画像タイプと領域抽出方法の対応規則を対応付けた情報に基づいてレイアウト解析における領域抽出の方法が選択され、選択された領域抽出の方法に基づいて文書画像データが領域に分割される。これにより、レイアウトの概略（文字や写真・絵の大体の空間的配置や文字と写真・絵の分布など）に従うことで画像のタイプを特徴付ける画像特徴量を高速に計算することができるとともに、文書画像データの画像タイプに適したレイアウト解析における領域抽出方法を選択することができるので、文書領域抽出の性能を向上させることができるという効果を奏する。
また、請求項１６にかかる発明によれば、文字や写真・絵の大体の空間的配置、文字と写真・絵の分布などのレイアウトの概略をブロック単位で取得することができるので、文書画像データの画像特徴量を簡潔に計算することができるという効果を奏する。
また、請求項１７にかかる発明によれば、画像の粗い特徴と細かい特徴を表す特徴を効率的に抽出することができるという効果を奏する。
また、請求項１８にかかる発明によれば、文書画像データにおける黒画素と白画素の局所的配置を表す表現力の高い統計的情報を効率的に計算することができるという効果を奏する。
また、請求項１９にかかる発明によれば、文書画像データにおける黒画素と白画素の局所的配置を表す表現力の高い統計的情報を効率的に計算することができるという効果を奏する。
また、請求項２０にかかる発明によれば、文字や絵（非文字）の分布に応じた文書画像データの分類線形演算により簡単に行うことができるという効果を奏する。
また、請求項２１にかかる発明によれば、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型のレイアウト解析における領域抽出方法か、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型のレイアウト解析における領域抽出方法かを選択することができるので、文書領域抽出の性能を向上させることができるという効果を奏する。
また、請求項２２にかかる発明によれば、レイアウトの概略（文字や写真・絵の大体の空間的配置や分布など）に基づいて計算された文書画像データの画像特徴量を用いて当該文書画像データの画像タイプが分類識別された後、分類結果及び画像タイプと領域抽出方法の対応規則を対応付けた情報に基づいてレイアウト解析における領域抽出の方法が選択され、選択された領域抽出の方法に基づいて文書画像データが領域に分割される。これにより、レイアウトの概略（文字や写真・絵の大体の空間的配置や文字と写真・絵の分布など）に従うことで画像のタイプを特徴付ける画像特徴量を高速に計算することができるとともに、文書画像データの画像タイプに適したレイアウト解析における領域抽出方法を選択することができるので、文書領域抽出の性能を向上させることができるという効果を奏する。
また、請求項２３にかかる発明によれば、文字や写真・絵の大体の空間的配置、文字と写真・絵の分布などのレイアウトの概略をブロック単位で取得することができるので、文書画像データの画像特徴量を簡潔に計算することができるという効果を奏する。
また、請求項２４にかかる発明によれば、画像の粗い特徴と細かい特徴を表す特徴を効率的に抽出することができるという効果を奏する。
また、請求項２５にかかる発明によれば、文書画像データにおける黒画素と白画素の局所的配置を表す表現力の高い統計的情報を効率的に計算することができるという効果を奏する。
また、請求項２６にかかる発明によれば、文書画像データにおける黒画素と白画素の局所的配置を表す表現力の高い統計的情報を効率的に計算することができるという効果を奏する。
また、請求項２７にかかる発明によれば、文字や絵（非文字）の分布に応じた文書画像データの分類線形演算により簡単に行うことができるという効果を奏する。
また、請求項２８にかかる発明によれば、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型のレイアウト解析における領域抽出方法か、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型のレイアウト解析における領域抽出方法かを選択することができるので、文書領域抽出の性能を向上させることができるという効果を奏する。
［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図１１に基づいて説明する。
図１は、本発明の第１の実施の形態にかかる画像処理装置１の電気的な接続を示すブロック図である。図１に示すように、画像処理装置１は、ＰＣ（Personal Computer）などのコンピュータであり、画像処理装置１の各部を集中的に制御するＣＰＵ（Central Processing Unit）２、情報を格納するＲＯＭ（Read Only Memory）３及びＲＡＭ（Random Access Memory）４等の一次記憶装置５、データファイル（例えば、カラービットマップ画像データ）を記憶する記憶部であるＨＤＤ（Hard Disk Drive）６等の二次記憶装置７、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置８、ネットワーク９を介して外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース１０、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１１、並びに操作者がＣＰＵ２に命令や情報等を入力するためのキーボード１２、マウス等のポインティングデバイス１３等から構成されており、これらの各部間で送受信されるデータをバスコントローラ１４が調停して動作する。
なお、本実施の形態においては、画像処理装置１として一般的なパーソナルコンピュータを適用して説明しているが、これに限るものではなく、ＰＤＡ（Personal Digital Assistants）と称される携帯用情報端末、palmTopＰＣ、携帯電話、ＰＨＳ（Personal Handyphone System）等であっても良い。
このような画像処理装置１では、ユーザが電源を投入するとＣＰＵ２がＲＯＭ３内のローダーというプログラムを起動させ、ＨＤＤ６よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ７に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
ここで、画像処理装置１は、アプリケーションプログラムとして、画像処理プログラムをＨＤＤ６に記憶している。この意味で、ＨＤＤ６は、画像処理プログラムを記憶する記憶媒体として機能する。
また、一般的には、画像処理装置１のＨＤＤ６等の二次記憶装置７にインストールされるアプリケーションプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の記憶媒体８ａに記録され、この記憶媒体８ａに記録されたアプリケーションプログラムがＨＤＤ６等の二次記憶装置７にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体８ａも、画像処理プログラムを記憶する記憶媒体となり得る。さらには、画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、例えばネットワークインターフェース１０を介して外部からダウンロードさせることにより、ＨＤＤ６等の二次記憶装置７にインストールするように構成しても良い。また、本実施の形態の画像処理装置１で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
画像処理装置１は、オペレーティングシステム上で動作する画像処理プログラムが起動すると、この画像処理プログラムに従い、ＣＰＵ２が各種の演算処理を実行して各部を集中的に制御する。画像処理装置１のＣＰＵ２が実行する各種の演算処理のうち、本実施の形態の特長的な処理であるレイアウト解析処理について以下に説明する。
なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路（図示せず）を別途設け、論理回路の動作により各種の演算処理を実行するようにするのが望ましい。
ここで、画像処理装置１のＣＰＵ２が実行するレイアウト解析処理について説明する。図２は画像処理装置１のＣＰＵ２が実行するレイアウト解析処理にかかる機能を示す機能ブロック図、図３はその流れを概略的に示すフローチャートである。図２に示すように、画像処理装置１は、画像入力処理部２１と、画像特徴量計算部２２と、画像タイプ識別部２３と、領域抽出方法の選択部２４と、領域抽出部２５と、記憶部２６と、を備えている。以下において、各構成部の動作と作用を詳述する。
画像入力処理部２１は、画像特徴量計算手段として機能するものであって、入力された文書画像中の文書の傾きを補正する「スキュー補正」を文書画像に施したり、カラー入力の場合にモノクロのグレースケール画像に変換したりするなどの前処理を施す。
画像特徴量計算部２２は、画像全体の特徴量を出力するものである。図４は、画像特徴量計算部２２における画像特徴量計算処理の流れを概略的に示すフローチャートである。図４に示すように、まず、入力した画像を同じ大きさの矩形ブロックに排他的に分割し（ステップＳ１：ブロック分割手段）、各ブロックを、“絵”“文字”“他”の３種類のいずれかに分類する（ステップＳ２：ブロック分類手段）。次に、すべてのブロックの分類結果をもとに画像全体の画像特徴量を計算する（ステップＳ３：計算手段）。最後に、画像全体の画像特徴量を出力する（ステップＳ４）。以下において、各ステップの動作を説明する。
（１）ブロック分割（ステップＳ１）
入力画像を同じサイズのブロック、たとえば、１ｃｍ×１ｃｍ（解像度が２００ｄｐｉであれば８０画素×８０画素、解像度が３００ｄｐｉであれば１２０画素×高さ１２０画素）の矩形に分割する。
（２）ブロックの分類（ステップＳ２）
各ブロックを、“絵”“文字”“他”の３種類のいずれかに分類する。この処理のフローを図５に示し、以下において詳述する。
図５に示すように、まず、処理対象となるブロック画像を１００ｄｐｉ程度の低解像度に縮小した画像Ｉを生成するとともに（ステップＳ１１：画像生成手段）、解像度のレベル数Ｌを設定し（ステップＳ１２）、解像度縮小レベルｋを初期化（ｋ←０）する（ステップＳ１３）。このようなステップＳ１１〜Ｓ１３の処理を行うのは、図６に示すように、画像Ｉとともに、さらに低解像度化した画像からも特徴を抽出するためである。詳細は後述するが、例えば、解像度レベル数Ｌを２にした場合には、画像Ｉと、解像度が１／２の画像Ｉ1と、解像度が１／４の画像の画像Ｉ2との計３つの画像から特徴を抽出する。
解像度縮小レベルｋが解像度レベル数Ｌに達していない場合には（ステップＳ１４のＹｅｓ）、ステップＳ１１で生成した画像Ｉから解像度を１／２kに縮小した画像Ｉk（ｋ＝０，・・・，Ｌ）を生成し（ステップＳ１５）、画像Ｉkを２値化する（ステップＳ１６：２値化手段）。ただし、２値画像において、黒画素は値１、白画素は値０をとるとする。
次いで、２値化した解像度が１／２kの画像Ｉkから、Ｍ次元の特徴量ベクトルｆkを計算した後（ステップＳ１７）、解像度縮小レベルｋを“１”だけインクリメント（ｋ←ｋ＋１）する（ステップＳ１８）。
ここで、画像Ｉk（ｋ＝０，・・・，Ｌ）を２値化した画像から特徴を抽出する方法を述べる。自己相関関数を高次（Ｎ次）へと拡張した「高次自己相関関数（Ｎ次自己相関関数）」は、画面内の対象画像をＩ（ｒ）とすると、変位方向（Ｓ1，Ｓ2，…，ＳN）に対して、
Figure 0004768451
 で定義される。ただし、和Σは画像全体の画素rについての加算である。従って、高次自己相関関数は、次数や変位方向（Ｓ1，Ｓ2，…，ＳN）の取り方により、無数に考えられる。ここでは、簡単のため高次自己相関係数の次数Ｎを“２”までとする。また、変位方向を参照画素ｒの周りの局所的な３×３画素の領域に限定する。平行移動により等価な特徴を除くと、２値画像に対して、図７に示すように特徴の数は全部で２５個になる。各特徴の計算は、局所パターンの対応する画素の値の積を全画像に対して足し合わせればよい。例えば、「Ｎｏ．３」の局所パターンに対応する特徴は、参照画素ｒでの濃淡値とそのすぐ右隣の点での濃淡値との全画像に対する積和を取ることによって計算される。このようにして、解像度が１／２kの画像から、Ｍ＝２５次元の特徴量ベクトルｆk＝（ｇ（ｋ，１），・・・，ｇ（ｋ，２５））が計算される。ここに、画素特徴計算手段の機能および加算手段の機能が実行される。
上述したようなステップＳ１５〜Ｓ１８の処理（特徴量ベクトル計算手段）は、ステップＳ１８でインクリメントされた解像度縮小レベルｋが解像度レベル数Ｌを超える迄（ステップＳ１４のＮｏ）、繰り返される。
ステップＳ１８でインクリメントされた解像度縮小レベルｋが解像度レベル数Ｌを超えた場合には（ステップＳ１４のＮｏ）、特徴量ベクトルｆ0，・・・，ｆLをもとにして、ブロックを、“絵”“文字”“他”の３種類のいずれかに分類する（ステップＳ１９：分類手段）。
ここで、ブロックの分類の方法について詳述する。まず、前述したＭ＝２５次元の特徴量ベクトルｆk＝（ｇ（ｋ，１），・・・，ｇ（ｋ，２５））（ｋ＝０，・・・，Ｌ）から（２５×Ｌ）次元の特徴量ベクトルｘ＝（ｇ（０，１），・・・，ｇ（０，２５），・・・，ｇ（Ｌ，１），・・・，ｇ（Ｌ，２５））を生成する。このようなブロックの特徴量ベクトルｘを用いて分類を行うためには、前もって学習を行うことが必要である。そこで、本実施の形態においては、学習用データを文字だけ含むようなものと文字を含まないようなものの２種類に分けて特徴量ベクトルｘを計算する。その後、それぞれの平均をとることによって、文字画素の特徴量ベクトルｐ0と非文字画素の特徴量ベクトルｐ1を前もって計算しておく。そして、分類しようとしているブロック画像から得られた特徴量ベクトルｘを、既知の特徴量ベクトルｐ0とｐ1の線形結合に分解すれば、その結合係数ａ0，ａ1が文字画素と非文字画素の比率、あるいは、ブロックの「文字らしさ」と「非文字らしさ」を表すことになる。このような分解が可能であるのは、高次局所自己相関に基づく特徴が画面内の対象の位置に不変で、しかも、対象の数に関して加法性を持つことによる。特徴量ベクトルｘの分解を、
ｘ＝ａ0・ｐ0 ＋ａ0・ｐ1 ＝ＦTａ＋ｅ
とする。ここで、ｅは誤差ベクトル、Ｆ＝［ｐ0，ｐ1］T、ａ＝（ａ0，ａ1）Tである。最小二乗法により、最適な結合係数ベクトルａは、
ａ＝（ＦＦT）-1・Ｆｘ
で与えられる。各ブロックについて、「非文字らしさ」を表すパラメータａ1について閾値処理することにより、そのブロックを「絵」、「絵でない」、「未定」に分類する。各ブロックについて、「未定」または「絵でない」に分類されていて、文字らしさを表すパラメータａ0が閾値以上であれば「文字」に、そうでなければ「その他」に分類する。図８にブロック分類の例を示す。図８の例においては、黒部分は「文字」、グレイ部分は「絵」、白部分は「他」を表わしている。
（３）画像特徴量の計算（ステップＳ３）
ブロックの分類結果をもとにして、画像のタイプ分けのための画像特徴量を計算する。特に、
・文字、絵の割合
・密集率：レイアウトの混み方（狭いところに詰め込まれている度合い）
・文字、絵の散乱度：文字や写真が紙面全体に散らばって分布している度合い
を計算する。具体的には、次の５つの画像特徴量を計算する。
・文字の割合Ｒｔ∈［０，１］：全ブロックの中で「文字」に分類されたブロックの割合
・非文字の割合Ｒｐ∈［０，１］：全ブロックの中で「絵」に分類されたブロックの割合
・レイアウト密度Ｄ∈［０，１］：「文字」と「絵」のブロック数の面積の和を、描画領域の面積で割ったもの
・文字散乱度Ｓｔ（＞０）：文字ブロックのｘ，ｙ方向の空間的分布について、分散・共分散行列の行列式を、画像の面積で正規化したもの
・非文字散乱度Ｓｐ（＞０）：絵ブロックのｘ，ｙ方向の空間的分布について、分散・共分散行列の行列式を、画像の面積で正規化したもの
表１は、図８の例についての画像特徴量の計算結果を示すものである。
Figure 0004768451
次に、画像タイプ識別部２３について説明する。画像タイプ識別部２３は、画像タイプ識別手段として機能するものであって、画像特徴量計算部２２で計算した画像特徴量を用い、画像のタイプを分類識別する。本実施の形態においては、画像特徴量計算部２２で計算した特徴量を用いることにより、「ボトムアップ型のレイアウト解析が得意とする、あるいは、トップダウン型のレイアウト解析が苦手とする」文書のレイアウトタイプについて、例えば線形判別関数により簡単に表現するものとする。
・絵が主体で、文字が少ないレイアウトタイプ：すなわち、Ｒｐについて単調増加し、Ｒｔについて単調減少するような判別関数
Ｒｐ−ａ0・Ｒｔ−ａ1＞０ （ａ0＞１）
を満たすレイアウトタイプである。より具体的には、大きな写真や絵が張り付いているもの、あるいは、小さい写真が多数張り付いているものがこのタイプに分類される。
・レイアウト密度が祖（単純な構造）なレイアウトタイプ：Ｄ とＲｔについて単調減少するような判別関数
−Ｄ−ｂ0・Ｒｔ＋ｂ1＞０ （ｂ0，ｂ1＞０）
を満たすレイアウトタイプである。より具体的には、込み入っていない、単純な構造を持つものがこのタイプに判別される。大きな絵や写真が張り付いているようなものは、レイアウト密度が高くなるので、このタイプには多くは現れない。
・文字が少なく、ページ全体に散らばっているようなレイアウトタイプ（非構造化文書）：Ｒｔについて単調減少し、Ｓｔについて単調増加するような判別関数
Ｓｔ−ｃ0・Ｒｔ−ｃ1＞０ （ｃ0＞０）
を満たすレイアウトタイプである。より具体的には、写真や絵が占める割合がそれほど多くなくても、文字が写真の絵の説明に添えられているようなものがこのタイプに分類される。
表２は、図８の例についてのタイプ識別例を示すものである。
Figure 0004768451
次に、領域抽出方法の選択部２４について説明する。領域抽出方法の選択部２４は、画像タイプ識別部２３における画像のタイプ分類の結果に基づいて、レイアウト解析における領域抽出の方法を選択する。例えば、図９に示すような画像タイプと領域抽出方法の対応規則を記憶手段である記憶部２６に保持しておき、この画像タイプと領域抽出方法の対応規則に従って領域抽出方法を選択するようにすれば良い。具体的には、図９に示すような対応規則においては、「レイアウト密度が疎（単純な構造）なレイアウトタイプ」に分類された場合には（図８の（ｃ）（ｆ）が該当）、トップダウン型の領域抽出方法を選択する。「文字が少なく、ページ全体に散らばっている（非構造化文書）レイアウトタイプ」に分類された場合には（図８の（ａ）が該当）、ボトムアップ型の領域抽出方法を選択する。「絵が主体で、文字が少ないレイアウトタイプ」に分類された場合には（図８の（ｄ）が該当）、ボトムアップ型の領域抽出方法を選択する。どれにも当てはまらない場合には（図８の（ｂ）（ｅ）が該当）、トップダウン型の領域抽出方法を選択する。
このようにして選択された領域抽出方法にしたがってパラメータが変更される。なお、複数の領域抽出方法が選択されるような場合には、例えばレイアウトタイプに優先順位を付しておき、優先順位が高いレイアウトタイプについての領域抽出方法を優先する。
領域抽出部２５は、領域抽出手段として機能するものであって、領域抽出方法の選択部２４で選択された領域抽出の方法に基づいて、文書画像データを領域に分割する。
ここで、画像処理装置１のＣＰＵ２が実行するトップダウン型の領域抽出方法によるレイアウト解析処理について簡単に説明する。レイアウト解析処理が施される画像データは、一般性を失うことなく、スキュー補正された２値画像が与えられていて、文字が黒画素として表されているとする。なお、原画像がカラー画像やグレイ画像の場合には、２値化などにより文字を抽出する前処理を施せばよい。本実施の形態におけるトップダウン型の領域抽出方法によるレイアウト解析処理の基本的アプローチは、図１０に示すように、祖から密への再帰的分離による階層的処理を行うことにより、処理の効率化を図るようにしたものである。概略的には、まず、ページ全体に対して極大白矩形系列抽出の終了条件の下限値を大きく設定して、粗いスケールで処理する。この段階で、抽出された白矩形系列をセパレータとしてページ全体をいくつかの領域に分離する。次に、各領域について極大白矩形系列抽出の終了条件の下限値を前よりも小さく設定して、再び極大白矩形系列抽出を行い、より細かな分離を行う。このような処理を再帰的に繰り返してゆく。なお、階層的処理における極大白矩形系列抽出の終了条件である下限値は、領域のサイズなどに応じて設定するようにすれば良い。また、極大白矩形系列抽出の終了条件である下限値の他に、白矩形として望ましい形やサイズに関する拘束条件を導入するようにしても良い。例えば、領域のセパレータとして適当でない形をした白矩形を除外する等である。このように領域のセパレータとして適当でない形をした白矩形を除外するのは、長さが短いものや幅が狭すぎるものは、文字の間の隙間である可能性が高いからである。このような長さや幅について拘束条件は、領域内で推定される文字のサイズに応じて決めることができる。このようなトップダウン型の領域抽出方法によるレイアウト解析処理については、本出願人による特願２００５−０００７６９などに詳述されている。
なお、トップダウン型の領域抽出方法によるレイアウト解析処理については、上述したものに限るものではない。
一方、ボトムアップ型の領域抽出方法によるレイアウト解析方法については、特許文献１、２に記載されている方法などが適用可能であり、その説明は省略する。
ここで、図１１は図８の（ｂ）についての領域抽出の結果を示すものである。（ａ）はトップダウン型の領域抽出方法によるレイアウト解析方法による文字領域の領域抽出結果であり、（ｂ）は写真領域の抽出結果である。
このように本実施の形態によれば、レイアウトの概略（文字や写真・絵の大体の空間的配置や分布など）に基づいて計算された文書画像データの画像特徴量を用いて当該文書画像データの画像タイプが分類識別された後、分類結果及び画像タイプと領域抽出方法の対応規則を対応付けた情報に基づいてレイアウト解析における領域抽出の方法が選択され、選択された領域抽出の方法に基づいて文書画像データが領域に分割される。これにより、レイアウトの概略（文字や写真・絵の大体の空間的配置や文字と写真・絵の分布など）に従うことで画像のタイプを特徴付ける画像特徴量を高速に計算することができるとともに、文書画像データの画像タイプに適したレイアウト解析における領域抽出方法を選択することができるので、文書領域抽出の性能を向上させることができる。
なお、本実施の形態の「（２）ブロックの分類（ステップＳ２）」においては、ブロックから計算された（２５×Ｌ）次元の特徴量ベクトルｘについて、行列Ｆを用いて、ブロックの文字らしさと非文字らしさを表す係数成分から成る係数ベクトルａを計算したが、これに限るものではない。例えば、学習データから計算された特徴量ベクトルｘと、学習データに付属した教師信号（文字か、文字でないか）を用いた教師つき学習を前もって行い、識別関数を構築しておくようにしても良い。例えば、学習や識別関数は、線形判別分析と線形判別関数、ニューラルネットワークの誤差逆伝播とネットワークの重み係数などの既知のものを用いればよい。分類すべきブロックで計算された特徴量ベクトルｘについて、予め計算されておいた識別関数を用いて、ブロックを“絵”“文字”“他”のいずれかに分類する。
また、本実施の形態の「（２）ブロックの分類（ステップＳ２）」においては、２値画像から特徴を抽出するようにしたが、２値画像ではなく、多値画像から特徴を抽出するようにしても良い。この場合、３×３近傍の局所パターンの数は３５になる。これは、図７に示した局所パターンに加えて、１次自己相関において注目画素自身の濃淡値の２乗、２次自己相関において注目画素自身の濃淡値の３乗、８近傍の画素のそれぞれについて近傍画素の濃淡値の２乗と注目画素の濃淡値の積、合計１０個の相関値を計算しなければならないからである。２値画像では、濃淡値が１または０だけなので、濃淡値を２乗、３乗しても、もとの値と変わらないが、多値画像ではこれらのケースを考慮しなければならない。
そして、これに応じて，特徴量ｆｋの次元もＭ＝３５になり、特徴量ベクトルｆk＝（ｇ（ｋ，１），ｇ（ｋ，１），・・・，ｇ（ｋ，３５））が計算される。また、ブロックの分類においても、（３５×Ｌ）次元の特徴量ベクトルｘ＝（ｇ（０，１），・・・，ｇ（０，２５），・・・，ｇ（Ｌ，１），・・・，ｇ（Ｌ，２５））を用いる。
［第２の実施の形態］
次に、本発明の第２の実施の形態を図１２に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。
第１の実施の形態においては、画像処理装置１としてＰＣなどのコンピュータを適用したが、本実施の形態は、画像処理装置１としてデジタル複合機などに備えられる情報処理装置を適用したものである。
図１２は、本発明の第２の実施の形態にかかるデジタル複合機５０を示す外観斜視図である。図１２に示すように、画像読取手段であるスキャナ部５１及び画像印刷装置であるプリンタ部５２を備えた画像形成装置であるデジタル複合機５０に備えられる情報処理装置に画像処理装置１を適用し、デジタル複合機５０のスキャナ部５１で読み取ったスキャン画像に対してレイアウト解析処理を施すようにしたものである。
この場合、以下に示す３つの態様が考えられる。
１．スキャナ部５１におけるスキャン時に、画像タイプ識別部２３における画像タイプ識別処理まで実行し、画像データのヘッダに画像タイプ情報として記録する。
２．スキャナ部５１におけるスキャン時には特に何もせず、データ配信時またはデータ蓄積時に、領域抽出部２５による領域抽出処理まで行う。
３．スキャナ部５１におけるスキャン時に、領域抽出部２５による領域抽出処理まで行う。
［第３の実施の形態］
次に、本発明の第３の実施の形態を図１３に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。
第１の実施の形態においては、画像処理装置１としてローカルなシステム（例えば、パーソナルコンピュータ単体）を適用したが、本実施の形態は、画像処理装置１としてサーバクライアントシステムを構成するサーバコンピュータを適用したものである。
図１３は、本発明の第３の実施の形態にかかるサーバクライアントシステムを示す模式図である。図１３に示すように、サーバコンピュータＳにネットワークＮを介してクライアントコンピュータＣが複数台接続されたサーバクライアントシステムを適用しており、各クライアントコンピュータＣからサーバコンピュータＳに対して画像を送信し、サーバコンピュータＳ（画像処理装置１）において画像に対してレイアウト解析処理を施すようにしたものである。また、ネットワークＮ上には、ネットワークスキャナＮＳが設けられている。
この場合、以下に示す３つの態様が考えられる。
１．ネットワークスキャナＮＳを用いたサーバコンピュータＳ（画像処理装置１）によるスキャン時に、画像タイプ識別部２３における画像タイプ識別処理まで実行し、画像データのヘッダに画像タイプ情報として記録する。
２．ネットワークスキャナＮＳを用いたサーバコンピュータＳ（画像処理装置１）によるスキャン時には特に何もせず、データ配信時またはデータ蓄積時に、領域抽出部２５による領域抽出処理まで行う。
３．ネットワークスキャナＮＳを用いたサーバコンピュータＳ（画像処理装置１）によるスキャン時に、領域抽出部２５による領域抽出処理まで行う。
本発明の第１の実施の形態にかかる画像処理装置の電気的な接続を示すブロック図である。 画像処理装置のＣＰＵが実行するレイアウト解析処理にかかる機能を示す機能ブロック図である。 その流れを概略的に示すフローチャートである。 画像特徴計算部における画像特徴量計算処理の流れを概略的に示すフローチャートである。 ブロック分類処理の流れを概略的に示すフローチャートである。 多重解像度処理を示す模式図である。 高次自己相関関数計算のためのマスクパターンの一例を示す模式図である。 ブロック分類の例を示す模式図である。 画像タイプと領域抽出方法の対応規則の一例を示すフローチャートである。 トップダウン型の領域抽出方法によるレイアウト解析処理の基本的アプローチを示す模式図である。 図８の（ｂ）についての領域抽出の結果を示す模式図である。 本発明の第２の実施の形態にかかるデジタル複合機を示す外観斜視図である。 本発明の第３の実施の形態にかかるサーバクライアントシステムを示す模式図である。
符号の説明
１ 画像処理装置
２２ 画像特徴量計算手段
２３ 画像タイプ識別手段
２４ 選択手段
２５ 領域抽出手段
２６ 記憶手段
５０ 画像形成装置
５１ 画像読取手段

Claims (28)

  1. 文書画像のレイアウト解析処理を行う画像処理装置において、
    文書画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度や、描画領域に対する文字および非文字の密集率を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算する画像特徴量計算手段と、
    この画像特徴量計算手段により計算された前記画像特徴量を用い、近隣の構成要素の位置関係を参照して構成要素を統合していく第１のレイアウト解析が得意とする前記文書画像データの画像タイプ、あるいは、ページを大きな構成要素から小さな構成要素に分離していく第２のレイアウト解析が苦手とする前記文書画像データの画像タイプと、これら以外の前記文書画像データの画像タイプと、に前記文書画像データの画像タイプを分類識別する画像タイプ識別手段と、
    前記画像タイプ識別手段による画像タイプの分類結果に基づいて、前記第１のレイアウト解析と前記第２のレイアウト解析とのいずれかをレイアウト解析における領域抽出の方法として選択する選択手段と、
    この選択手段で選択された領域抽出の方法に基づいて、前記文書画像データを領域に分割する領域抽出手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記画像特徴量計算手段は、
    前記文書画像データを矩形ブロックに排他的に分割するブロック分割手段と、
    分割された前記各ブロックを、当該文書画像データを構成する所定の構成要素に分類するブロック分類手段と、
    前記ブロックの分類結果に基づいて前記文書画像データの画像特徴量を計算する計算手段と、
    を備えることを特徴とする請求項１記載の画像処理装置。
  3. 前記ブロック分類手段は、
    前記ブロックから複数の異なる解像度の画像を生成する画像生成手段と、
    前記各解像度の画像から特徴量ベクトルを計算する特徴量ベクトル計算手段と、
    前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類手段と、
    を備えることを特徴とする請求項２記載の画像処理装置。
  4. 前記特徴量ベクトル計算手段は、
    前記各解像度の画像を２値化する２値化手段と、
    ２値画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算手段と、
    前記各画素について計算された特徴を画像全体にわたって加算する加算手段と、
    を備えることを特徴とする請求項３記載の画像処理装置。
  5. 前記特徴量ベクトル計算手段は、
    前記各解像度の画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算手段と、
    前記各画素について計算された特徴を画像全体にわたって加算する加算手段と、
    を備えることを特徴とする請求項３記載の画像処理装置。
  6. 前記分類手段は、前記特徴量ベクトル計算手段により計算された前記特徴量ベクトルを、予め計算されている文字画素の特徴量ベクトル及び非文字画素の特徴量ベクトルの線形結合に分解して、前記各ブロックを所定の構成要素に分類する、
    ことを特徴とする請求項３記載の画像処理装置。
  7. 前記第１のレイアウト解析は、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型であり、
    前記第２のレイアウト解析は、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型である、
    ことを特徴とする請求項１記載の画像処理装置。
  8. 画像を用紙上に印刷する画像形成装置において、
    文書原稿を読み取る画像読取手段と、
    この画像読取手段により読み取られた文書画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度や、描画領域に対する文字および非文字の密集率を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算する画像特徴量計算手段と、
    この画像特徴量計算手段により計算された前記画像特徴量を用い、近隣の構成要素の位置関係を参照して構成要素を統合していく第１のレイアウト解析が得意とする前記文書画像データの画像タイプ、あるいは、ページを大きな構成要素から小さな構成要素に分離していく第２のレイアウト解析が苦手とする前記文書画像データの画像タイプと、これら以外の前記文書画像データの画像タイプと、に前記文書画像データの画像タイプを分類識別する画像タイプ識別手段と、
    前記画像タイプ識別手段による画像タイプの分類結果に基づいて、前記第１のレイアウト解析と前記第２のレイアウト解析とのいずれかをレイアウト解析における領域抽出の方法として選択する選択手段と、
    この選択手段で選択された領域抽出の方法に基づいて、前記文書画像データを領域に分割する領域抽出手段と、
    を備えることを特徴とする画像形成装置。
  9. 前記画像特徴量計算手段は、
    前記文書画像データを矩形ブロックに排他的に分割するブロック分割手段と、
    分割された前記各ブロックを、当該文書画像データを構成する所定の構成要素に分類するブロック分類手段と、
    前記ブロックの分類結果に基づいて前記文書画像データの画像特徴量を計算する計算手段と、
    を備えることを特徴とする請求項８記載の画像形成装置。
  10. 前記ブロック分類手段は、
    前記ブロックから複数の異なる解像度の画像を生成する画像生成手段と、
    前記各解像度の画像から特徴量ベクトルを計算する特徴量ベクトル計算手段と、
    前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類手段と、
    を備えることを特徴とする請求項９記載の画像形成装置。
  11. 前記特徴量ベクトル計算手段は、
    前記各解像度の画像を２値化する２値化手段と、
    ２値画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算手段と、
    前記各画素について計算された特徴を画像全体にわたって加算する加算手段と、
    を備えることを特徴とする請求項１０記載の画像形成装置。
  12. 前記特徴量ベクトル計算手段は、
    前記各解像度の画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算手段と、
    前記各画素について計算された特徴を画像全体にわたって加算する加算手段と、
    を備えることを特徴とする請求項１０記載の画像形成装置。
  13. 前記分類手段は、前記特徴量ベクトル計算手段により計算された前記特徴量ベクトルを、予め計算されている文字画素の特徴量ベクトル及び非文字画素の特徴量ベクトルの線形結合に分解して、前記各ブロックを所定の構成要素に分類する、
    ことを特徴とする請求項１０記載の画像形成装置。
  14. 前記第１のレイアウト解析は、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型であり、
    前記第２のレイアウト解析は、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型である、
    ことを特徴とする請求項８記載の画像形成装置。
  15. 文書画像のレイアウト解析処理をコンピュータに実行させるプログラムであって、前記コンピュータに、
    文書画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度や、描画領域に対する文字および非文字の密集率を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算する画像特徴量計算機能と、
    この画像特徴量計算機能により計算された前記画像特徴量を用い、近隣の構成要素の位置関係を参照して構成要素を統合していく第１のレイアウト解析が得意とする前記文書画像データの画像タイプ、あるいは、ページを大きな構成要素から小さな構成要素に分離していく第２のレイアウト解析が苦手とする前記文書画像データの画像タイプと、これら以外の前記文書画像データの画像タイプと、に前記文書画像データの画像タイプを分類識別する画像タイプ識別機能と、
    前記画像タイプ識別機能による画像タイプの分類結果に基づいて、前記第１のレイアウト解析と前記第２のレイアウト解析とのいずれかをレイアウト解析における領域抽出の方法として選択する選択機能と、
    この選択機能で選択された領域抽出の方法に基づいて、前記文書画像データを領域に分割する領域抽出機能と、
    を実行させることを特徴とするプログラム。
  16. 前記画像特徴量計算機能は、
    前記文書画像データを矩形ブロックに排他的に分割するブロック分割機能と、
    分割された前記各ブロックを、当該文書画像データを構成する所定の構成要素に分類するブロック分類機能と、
    前記ブロックの分類結果に基づいて前記文書画像データの画像特徴量を計算する計算機能と、
    を前記コンピュータに実行させることを特徴とする請求項１５記載のプログラム。
  17. 前記ブロック分類機能は、
    前記ブロックから複数の異なる解像度の画像を生成する画像生成機能と、
    前記各解像度の画像から特徴量ベクトルを計算する特徴量ベクトル計算機能と、
    前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類機能と、
    を前記コンピュータに実行させることを特徴とする請求項１６記載のプログラム。
  18. 前記特徴量ベクトル計算機能は、
    前記各解像度の画像を２値化する２値化機能と、
    ２値画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算機能と、
    前記各画素について計算された特徴を画像全体にわたって加算する加算機能と、
    を前記コンピュータに実行させることを特徴とする請求項１７記載のプログラム。
  19. 前記特徴量ベクトル計算機能は、
    前記各解像度の画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算機能と、
    前記各画素について計算された特徴を画像全体にわたって加算する加算機能と、
    を前記コンピュータに実行させることを特徴とする請求項１７記載のプログラム。
  20. 前記分類機能は、前記特徴量ベクトル計算機能により計算された前記特徴量ベクトルを、予め計算されている文字画素の特徴量ベクトル及び非文字画素の特徴量ベクトルの線形結合に分解して、前記各ブロックを所定の構成要素に分類する、
    ことを特徴とする請求項１７記載のプログラム。
  21. 前記第１のレイアウト解析は、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型であり、
    前記第２のレイアウト解析は、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型である、
    ことを特徴とする請求項１５記載のプログラム。
  22. 文書画像のレイアウト解析処理を実行するコンピュータにおける画像処理方法であって、
    文書画像データの画像特徴量として、文字の割合および写真または絵である非文字の割合や、文字の散乱度および非文字の散乱度や、描画領域に対する文字および非文字の密集率を、文字や非文字についての空間的分布であるレイアウトの概略に基づいて計算する画像特徴量計算工程と、
    この画像特徴量計算工程により計算された前記画像特徴量を用い、近隣の構成要素の位置関係を参照して構成要素を統合していく第１のレイアウト解析が得意とする前記文書画像データの画像タイプ、あるいは、ページを大きな構成要素から小さな構成要素に分離していく第２のレイアウト解析が苦手とする前記文書画像データの画像タイプと、これら以外の前記文書画像データの画像タイプと、に前記文書画像データの画像タイプを分類識別する画像タイプ識別工程と、
    前記画像タイプ識別工程による画像タイプの分類結果に基づいて、前記第１のレイアウト解析と前記第２のレイアウト解析とのいずれかをレイアウト解析における領域抽出の方法として選択する選択工程と、
    この選択工程で選択された領域抽出の方法に基づいて、前記文書画像データを領域に分割する領域抽出工程と、
    を含むことを特徴とする画像処理方法。
  23. 前記画像特徴量計算工程は、
    前記文書画像データを矩形ブロックに排他的に分割するブロック分割工程と、
    分割された前記各ブロックを、当該文書画像データを構成する所定の構成要素に分類するブロック分類工程と、
    前記ブロックの分類結果に基づいて前記文書画像データの画像特徴量を計算する計算工程と、
    を含むことを特徴とする請求項２２記載の画像処理方法。
  24. 前記ブロック分類工程は、
    前記ブロックから複数の異なる解像度の画像を生成する画像生成工程と、
    前記各解像度の画像から特徴量ベクトルを計算する特徴量ベクトル計算工程と、
    前記特徴量ベクトルに基づいて前記各ブロックを所定の構成要素に分類する分類工程と、
    を含むことを特徴とする請求項２３記載の画像処理方法。
  25. 前記特徴量ベクトル計算工程は、
    前記各解像度の画像を２値化する２値化工程と、
    ２値画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算工程と、
    前記各画素について計算された特徴を画像全体にわたって加算する加算工程と、
    を含むことを特徴とする請求項２４記載の画像処理方法。
  26. 前記特徴量ベクトル計算工程は、
    前記各解像度の画像の各々の画素について当該画素及びその近傍画素で構成する局所パターンの対応する画素の値を使って特徴を計算する画素特徴計算工程と、
    前記各画素について計算された特徴を画像全体にわたって加算する加算工程と、
    を含むことを特徴とする請求項２４記載の画像処理方法。
  27. 前記分類工程は、前記特徴量ベクトル計算工程により計算された前記特徴量ベクトルを、予め計算されている文字画素の特徴量ベクトル及び非文字画素の特徴量ベクトルの線形結合に分解して、前記各ブロックを所定の構成要素に分類する、
    ことを特徴とする請求項２４記載の画像処理方法。
  28. 前記第１のレイアウト解析は、近隣の構成要素の位置関係を参照して構成要素を統合していくボトムアップ型であり、
    前記第２のレイアウト解析は、ページを大きな構成要素から小さな構成要素に分離していくトップダウン型である、
    ことを特徴とする請求項２２記載の画像処理方法。
JP2006010368A 2006-01-18 2006-01-18 画像処理装置、画像形成装置、プログラムおよび画像処理方法 Expired - Fee Related JP4768451B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006010368A JP4768451B2 (ja) 2006-01-18 2006-01-18 画像処理装置、画像形成装置、プログラムおよび画像処理方法
US11/639,215 US20070165950A1 (en) 2006-01-18 2006-12-15 Image processing apparatus, image processing method, and computer program product
CNB200710001946XA CN100559387C (zh) 2006-01-18 2007-01-17 图像处理装置和方法,图像形成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006010368A JP4768451B2 (ja) 2006-01-18 2006-01-18 画像処理装置、画像形成装置、プログラムおよび画像処理方法

Publications (2)

Publication Number Publication Date
JP2007193528A JP2007193528A (ja) 2007-08-02
JP4768451B2 true JP4768451B2 (ja) 2011-09-07

Family

ID=38263233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006010368A Expired - Fee Related JP4768451B2 (ja) 2006-01-18 2006-01-18 画像処理装置、画像形成装置、プログラムおよび画像処理方法

Country Status (3)

Country Link
US (1) US20070165950A1 (ja)
JP (1) JP4768451B2 (ja)
CN (1) CN100559387C (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5113653B2 (ja) * 2007-09-19 2013-01-09 株式会社リコー データ処理装置、プログラムおよびデータ処理方法
JP5085370B2 (ja) * 2008-02-19 2012-11-28 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5006263B2 (ja) * 2008-06-03 2012-08-22 株式会社リコー 画像処理装置、プログラムおよび画像処理方法
KR101214772B1 (ko) * 2010-02-26 2012-12-21 삼성전자주식회사 문자의 방향성을 기반으로 한 문자 인식 장치 및 방법
US9070011B2 (en) * 2010-06-18 2015-06-30 Csr Imaging Us, Lp Automated segmentation tuner
US8989499B2 (en) 2010-10-20 2015-03-24 Comcast Cable Communications, Llc Detection of transitions between text and non-text frames in a video stream
JP5668932B2 (ja) * 2011-05-23 2015-02-12 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
JP5401695B2 (ja) * 2011-05-23 2014-01-29 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
CN102509284B (zh) * 2011-09-30 2013-12-25 北京航空航天大学 一种肖像光照艺术性的自动评测方法
US9307107B2 (en) * 2013-06-03 2016-04-05 Kodak Alaris Inc. Classification of scanned hardcopy media
US10372981B1 (en) * 2015-09-23 2019-08-06 Evernote Corporation Fast identification of text intensive pages from photographs
CN105512100B (zh) * 2015-12-01 2018-08-07 北京大学 一种版面分析方法及装置
CN107688788B (zh) * 2017-08-31 2021-01-08 平安科技（深圳）有限公司 文档图表抽取方法、电子设备及计算机可读存储介质
KR102103518B1 (ko) * 2018-09-18 2020-04-22 이승일 인공지능을 이용한 텍스트 및 그림 데이터를 동영상 데이터로 생성하는 시스템
KR102509343B1 (ko) * 2020-11-17 2023-03-13 아주대학교산학협력단 이미지의 레이아웃 분석 방법 및 시스템

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0461817A3 (en) * 1990-06-15 1993-11-18 American Telephone & Telegraph Image segmenting apparatus and methods
JP3091278B2 (ja) * 1991-09-30 2000-09-25 株式会社リコー 文書認識方式
JP2550867B2 (ja) * 1993-06-04 1996-11-06 日本電気株式会社 図形混在文書画像の構造解析方法
JPH08194780A (ja) * 1994-11-18 1996-07-30 Ricoh Co Ltd 特徴抽出方法
JP3776500B2 (ja) * 1996-03-26 2006-05-17 オリンパス株式会社 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置
US6539115B2 (en) * 1997-02-12 2003-03-25 Fujitsu Limited Pattern recognition device for performing classification using a candidate table and method thereof
JP3472094B2 (ja) * 1997-08-21 2003-12-02 シャープ株式会社 領域判定装置
US6628819B1 (en) * 1998-10-09 2003-09-30 Ricoh Company, Ltd. Estimation of 3-dimensional shape from image sequence
US7426054B1 (en) * 1999-05-13 2008-09-16 Canon Kabushiki Kaisha Image processing apparatus, image reproduction apparatus, system, method and storage medium for image processing and image reproduction
JP3747737B2 (ja) * 2000-05-10 2006-02-22 日本電気株式会社 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体
US6735335B1 (en) * 2000-05-30 2004-05-11 Microsoft Corporation Method and apparatus for discriminating between documents in batch scanned document files
JP3615162B2 (ja) * 2001-07-10 2005-01-26 日本電気株式会社 画像符号化方法及び画像符号化装置
JP2004171375A (ja) * 2002-11-21 2004-06-17 Canon Inc 画像処理方法
JP4259949B2 (ja) * 2003-08-08 2009-04-30 株式会社リコー 画像作成装置、画像作成プログラムおよび記録媒体
JP4441300B2 (ja) * 2004-03-25 2010-03-31 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
JP4165435B2 (ja) * 2004-04-13 2008-10-15 富士ゼロックス株式会社 画像形成装置およびプログラム
JP2006085665A (ja) * 2004-08-18 2006-03-30 Ricoh Co Ltd 画像処理装置、画像処理プログラム、記憶媒体、画像処理方法および画像形成装置
JP2006074331A (ja) * 2004-09-01 2006-03-16 Ricoh Co Ltd 画像処理装置、画像処理プログラム、記憶媒体、画像処理装置の画像処理制御方法および画像形成装置

Also Published As

Publication number Publication date
CN100559387C (zh) 2009-11-11
JP2007193528A (ja) 2007-08-02
US20070165950A1 (en) 2007-07-19
CN101004792A (zh) 2007-07-25

Similar Documents

Publication Publication Date Title
JP4768451B2 (ja) 画像処理装置、画像形成装置、プログラムおよび画像処理方法
US6442555B1 (en) Automatic categorization of documents using document signatures
JP4859025B2 (ja) 類似画像検索装置、類似画像検索処理方法、プログラム及び情報記録媒体
JP3345350B2 (ja) 文書画像認識装置、その方法、及び記録媒体
US8041113B2 (en) Image processing device, image processing method, and computer program product
US7460710B2 (en) Converting digital images containing text to token-based files for rendering
JP4615462B2 (ja) 画像処理装置、画像形成装置、プログラムおよび画像処理方法
US7616813B2 (en) Background area extraction in document layout analysis
US9319556B2 (en) Method and apparatus for authenticating printed documents that contains both dark and halftone text
US8139865B2 (en) Computer-implemented system and method for recognizing patterns in a digital image through document image decomposition
US8254669B2 (en) Data processing apparatus, computer program product, and data processing method for predicting an optimum function based on a case database and image feature values calculated by a feature-value calculating unit
JP7244223B2 (ja) 電子文書における強調テキストの識別
US6532302B2 (en) Multiple size reductions for image segmentation
JP2008176521A (ja) パターン分離抽出プログラム、パターン分離抽出装置及びパターン分離抽出方法
JP3913985B2 (ja) 文書画像中の基本成分に基づく文字列抽出装置および方法
JP4391704B2 (ja) 多値画像から二値画像を生成する画像処理装置および方法
CN115545009B (zh) 一种获取目标文本的数据处理***
US7149352B2 (en) Image processing device, program product and system
JP5049922B2 (ja) 画像処理装置及び画像処理方法
JP5113653B2 (ja) データ処理装置、プログラムおよびデータ処理方法
JP5020698B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2006253842A (ja) 画像処理装置、画像形成装置、プログラム、記憶媒体および画像処理方法
JP5022979B2 (ja) 画像処理装置、画像処理方法およびプログラム
JPH11272798A (ja) ボ―ルド体文字を区別する方法及び装置
JP4587167B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110616

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees