JP2015169978A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】第２の画像に対する第１の画像の歪みを算出する場合において、本構成を有していない場合に比較して、処理時間を短くするようにした画像処理装置を提供する。
【解決手段】画像処理装置の検出手段は、第１の画像から線分を検出し、選択手段は、前記線分のうち、長さ順で上位から予め定められた数の線分と、前記第１の画像の雛型となる第２の画像における線分との組を選択し、算出手段は、前記線分の組を用いて、前記第２の画像に対する前記第１の画像の歪みを算出する。
【選択図】図７

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

特許文献１には、フィールドの抽出に必要不可欠な十字点が存在しない帳票や、逆に膨大な数の十字点が存在する場合は、フィールドの抽出ができなかったり、フィールド抽出に誤差が生じて正確な文字認識を行えないことを課題とし、帳票の画像から文字認識の対象とする領域を特定する特徴点を抽出し、文字を記入した帳票の画像である文字記入画像と、この文字記入画像と同一の帳票の画像であって文字を記入していない文字未記入画像とから抽出した各特徴点を対応付けて、文字未記入画像に対する文字記入画像の位置関係を補正し、位置関係の補正の結果に基づいて文字記入画像上の文字認識の対象とする領域を抽出しこの文字認識の対象とする領域内の画像に対して文字認識処理を行うことが開示されている。

特許文献２には、入力帳票にずれがあっても精度の高い文字認識が可能な文字読取装置を実現することを課題とし、基準帳票のイメージを入力手段を介して取込み、線分抽出部を用いて該イメージから線分を抽出し、その座標を予め「線分フォーマット」として線分フォーマットメモリに格納しておき、線分抽出部は、入力帳票のイメージから線分を抽出し、その「線分情報」として比較部に与え、比較部により、「線分フォーマット」と「線分情報」とが比較され、入力帳票のずれに対応する誤差が求められ、切り出し部がイメージから切り出しして認識部で文字認識される文字記入位置の座標が、補正部によって誤差分だけ補正されることが開示されている。

特許文献３には、帳票画像の位置ずれ、変倍の補正処理が不要で、帳票の物理レイアウトの違いに柔軟に対応できることを課題とし、帳票の項目名枠、記入枠の論理レイアウト情報を定義し、処理しようとする帳票の画像より抽出した枠領域の相対的位置関係を物理レイアウト情報と照らし合わせることによって、帳票画像の項目名枠及び記入枠に相当する枠領域を同定し、少なくとも記入枠と同定された枠領域の文字認識を行うことが開示されている。

特開２００１−２２９３４１号公報 特開平１１−３５３４１２号公報 特開平１０−２０７９８１号公報

本発明は、第２の画像に対する第１の画像の歪みを算出する場合において、本構成を有していない場合に比較して、処理時間を短くするようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、第１の画像から線分を検出する検出手段と、前記線分のうち、長さ順で上位から予め定められた数の線分と、前記第１の画像の雛型となる第２の画像における線分との組を選択する選択手段と、前記線分の組を用いて、前記第２の画像に対する前記第１の画像の歪みを算出する算出手段を具備することを特徴とする画像処理装置である。

請求項２の発明は、前記算出手段は、前記線分の組の２つからアフィン変換量を算出し、該アフィン変換量を用いた前記第１の画像と前記第２の画像の一致度に基づいて、前記歪みを示すアフィン変換量を選択することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記一致度とは、前記第１の画像から検出される特徴点と前記第２の画像における特徴点について、前記アフィン変換量による変換後に、最近傍の関係にある組が、予め定められた距離内に収まっている個数であり、前記特徴点とは、前記線分の端点又は前記線分どうしがなす交点であることを特徴とする請求項２に記載の画像処理装置である。

請求項４の発明は、前記第１の画像の特徴点と前記第２の画像の特徴点について、前記算出手段による算出処理後に、予め定められた距離内に収まっている最近傍の関係にある組から、最小２乗法によりアフィン変換量を算出する第２の算出手段をさらに具備することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置である。

請求項５の発明は、前記第２の画像から線分を検出する第２の検出手段をさらに具備しており、前記第２の画像は、レイアウト情報を指示する枠が描かれており、該枠内は未記入の画像であることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置である。

請求項６の発明は、前記選択手段は、前記第２の画像の線分として、長さ順で上位から予め定められた数の線分を利用することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置である。

請求項７の発明は、前記算出手段は、前記線分の組から算出されるアフィン変換量が異常値である場合、前記一致度の評価における特徴点の組の探索を行わないことを特徴とする請求項２から６のいずれか一項に記載の画像処理装置である。

請求項８の発明は、前記アフィン変換量によって、レイアウト情報の補正を行う補正手段をさらに具備することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置である。

請求項９の発明は、前記補正されたレイアウト情報に基づいて文字認識を行う文字認識手段をさらに具備することを特徴とする請求項８に記載の画像処理装置である。

請求項１０の発明は、コンピュータを、第１の画像から線分を検出する検出手段と、前記線分のうち、長さ順で上位から予め定められた数の線分と、前記第１の画像の雛型となる第２の画像における線分との組を選択する選択手段と、前記線分の組を用いて、前記第２の画像に対する前記第１の画像の歪みを算出する算出手段として機能させるための画像処理プログラムである。

請求項１の画像処理装置によれば、第２の画像に対する第１の画像の歪みを算出する場合において、本構成を有していない場合に比較して、処理時間を短くすることができる。

請求項２の画像処理装置によれば、第１の画像と第２の画像の一致度に基づいて、歪みを示すアフィン変換量を選択することができる。

請求項３の画像処理装置によれば、一致度として、第１の画像から検出される特徴点と第２の画像における特徴点について、アフィン変換量による変換後に、最近傍の関係にある組が、予め定められた距離内に収まっている個数を用いることができる。

請求項４の画像処理装置によれば、最小２乗法によりアフィン変換量を算出することができる。

請求項５の画像処理装置によれば、第２の画像から線分を検出して用いることができる。

請求項６の画像処理装置によれば、第２の画像の線分として、長さ順で上位から予め定められた数の線分を利用することができる。

請求項７の画像処理装置によれば、線分の組から算出されるアフィン変換量が異常値である場合、一致度の評価における特徴点の組の探索を行わないようにすることができる。

請求項８の画像処理装置によれば、アフィン変換量によって、レイアウト情報の補正を行うことができる。

請求項９の画像処理装置によれば、補正されたレイアウト情報に基づいて文字認識を行うことができる。

請求項１０の画像処理プログラムによれば、第２の画像に対する第１の画像の歪みを算出する場合において、本構成を有していない場合に比較して、処理時間を短くすることができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 帳票処理に関する例を示す説明図である。 帳票処理に関する例を示す説明図である。 帳票処理に関する例を示す説明図である。 帳票処理に関する例を示す説明図である。 帳票処理に関する例を示す説明図である。 第１の実施の形態の構成例についての概念的なモジュール構成図である。 第１の実施の形態による処理例を示すフローチャートである。 第２の実施の形態の構成例についての概念的なモジュール構成図である。 第３の実施の形態の構成例についての概念的なモジュール構成図である。 第４の実施の形態の構成例についての概念的なモジュール構成図である。 第５の実施の形態の構成例についての概念的なモジュール構成図である。 第６の実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

まず、本実施の形態を説明する前に、その前提又は本実施の形態を利用する画像処理装置について説明する。
文字等が記入された文書とその文書の雛型（以下、テンプレートともいう。文字が記入される前の状態の文書）とのマッチング処理に関する技術がある。例えば、文書として、主に帳票がある。特に、スキャンされた記入済みの帳票と、予め定められたレイアウト情報との位置ずれや回転、歪みの補正量を算出する技術に属する。
以下では、スキャン（撮影を含む概念である。以下、同様）された帳票の画像を受付画像と呼ぶ。
また、帳票の文字（レ点などのマークを含む概念である。以下、同様）認識の対象である領域の情報をレイアウト情報と呼ぶ。また、レイアウト情報を指示する枠線等が描かれた画像をテンプレート画像とする。テンプレート画像は、例えば、未記入の帳票の画像である。なお、レイアウト情報とテンプレート画像との歪み量はゼロ又は既知とする。また、受付画像に対応するテンプレート画像は既知とする。
受付画像は、テンプレート画像をプリントする場面や記入済みの情報をスキャンする場面において、レイアウト情報に対して位置ずれや回転、歪みが生じる。以下ではこれらを総称して歪み量と呼ぶ。本実施の形態における歪み量は、画像のアフィン変換量で表されるものとする。
画像のアフィン変換は数式１で表される。数式１において（ｘ’，ｙ’）^Ｔは変換前の座標、（ｘ，ｙ）^Ｔは変換後の座標を表す。画像のアフィン変換は平行移動・回転・拡大縮小を含み、６つのパラメータ（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）から成る。

帳票の運用では、予め文字の記入領域やその情報の属性のレイアウトを設計し、これを枠線などで指示したテンプレート画像を作成する。続いてテンプレート画像をプリントした紙媒体等を記入者に提示し、記入者はレイアウトに従って情報を記入し、記入済みの画像をスキャンする。さらに、これを受付画像としてレイアウト情報に従って記入内容を認識し、情報を収集しようとする。テンプレート画像２００の例を図２に示す。また、記入済みの受付画像３００の例を図３に示す。
この過程において、特にプリント、スキャンの機械的な処理（紙送り等の処理）のために、図３の例に示すように受付画像とレイアウト情報の間に位置ずれや回転等の歪みが生じる。正しい情報を収集するためには歪み量を算出し、補正を行う必要がある。この様子を図４、図５の例に示す。図４に示す例は、図２の例に示したテンプレート画像２００に対応付けられたレイアウト情報４００である。分かりやすさのため１領域（対象領域４１０）のみの指定を図示しているが、複数領域あってもよい。原点を左上角の（ｘ_０，ｙ_０）として、対象領域４１０である四角形領域（ｘ_ｎｗ，ｙ_ｎｗ），（ｘ_ｎｅ，ｙ_ｎｅ），（ｘ_ｓｗ，ｙ_ｓｗ），（ｘ_ｓｅ，ｙ_ｓｅ）で囲まれた位置の情報を取得しようとしているが、歪みのために、図５の例に示す記入済みの受付画像とレイアウト情報の重ね合わせ画像５００のように、受付画像３００において前記の位置は（ｘ’_ｎｗ，ｙ’_ｎｗ），（ｘ’_ｎｅ，ｙ’_ｎｅ），（ｘ’_ｓｗ，ｙ’_ｓｗ），（ｘ’_ｓｅ，ｙ’_ｓｅ）となり、レイアウト情報と一致していない。そこで、歪みのアフィン変換量を推定し、数式１によってレイアウト情報又は受付画像を補正し、所望の位置の情報を取得しようとする。既存の技術では、枠線やその端点・交点など、テンプレート画像と受付画像で共通の特徴的な図形に基づいて上記の歪み量を算出する。例えば、対応する線分の組から平行移動量を算出する。また、対応する特徴点の組からアフィン変換量を算出する。特徴点は線分の交点や端点、矩形の角などである。

アフィン変換量を算出するには、テンプレート画像と受付画像の特徴点の組が（最低でも３組）必要である。しかし、一般に、テンプレート画像と受付画像の特徴点の組は未知である。アフィン変換の範囲においてその候補数は非常に多く、全ての組み合わせを検証する場合、莫大な処理時間を要する。
この問題に対して、レイアウト情報と受付画像の論理構造を利用する、特許文献３に示されるような既存の技術がある。しかし実環境においては、受付画像から検出される線分や特徴点には誤抽出や見逃しがあるため、これらの論理構造は必ずしも一致しない。線分の検出に誤検出がある例を図６に示す。この例では、受付画像６００内に線分６１０のように、大きなレ点があるため、誤検出のレイアウトにおける線分として検出してしまう。

以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
図１は、本実施の形態（以下に示す第１の実施の形態〜第６の実施の形態）を実現するための構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である画像処理装置１００は、第２の画像に対する第１の画像の歪みを算出するものであって、図１の例に示すように、画像読取装置１１０、テンプレート情報１２０、出力装置１３０と接続されている。
画像読取装置１１０は、画像処理装置１００と接続されている。画像読取装置１１０は、テンプレートに文字等が記入された画像を読み取る機能を有している。例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、ビジネスに用いられる帳票等の文書等であって、テンプレートがあるものである。例えば、表、枠線、下線、トンボ等が含まれている文書であって、それら表等に関する情報がテンプレート情報になる。以下、表が含まれている文書を例示して説明する。
テンプレート情報１２０は、画像処理装置１００と接続されている。テンプレート情報１２０は、テンプレートに関する情報（例えば、テンプレート線分７２７、テンプレート特徴点７７７、テンプレート画像９０５等）を画像処理装置１００に渡す。

画像処理装置１００は、後述する第１の実施の形態〜第６の実施の形態が含まれている。画像処理装置１００の処理の概要を説明する。検出した枠線について、長さに基づいた候補の絞り込みを行うものである。例えば、現実的な処理時間で大きな歪み量に対応する。本実施の形態の処理フロー例を以下に示す。
−−−−− −−−−− −−−−−
ｓｔｅｐ１．テンプレート画像の枠線を検出する。
ｓｔｅｐ２．受付画像の枠線を検出する。
ｓｔｅｐ３．受付画像の枠線を長い順にＮ個選択する。
ｓｔｅｐ４．上記のように選択したＮ個の線分それぞれについて、テンプレート画像の枠線をＭ個選択し、テンプレート画像の線分と受付画像の線分の組を作成する。
ｓｔｅｐ５．上記のように作成されたＮＭ個のテンプレート画像とテンプレート画像の線分の組からさらに２つの組を選択し、アフィン変換量を算出する。
ｓｔｅｐ６．上記のように作成されたＮ（Ｎ−１）Ｍ（Ｍ−１）個のアフィン変換量のうち、最適なものを選択する。
ｓｔｅｐ７．上記のように選択されたアフィン変換量でテンプレート画像と受付画像の特徴点を対応付ける。
ｓｔｅｐ８．上記のように対応付けられた対応点群からアフィン変換量を求め、これを歪み量とする。
−−−−− −−−−− −−−−−
なお、ｓｔｅｐ４においてＭとは、テンプレート画像から検出された線分の数である。また、ｓｔｅｐ７において特徴点とは、線分の端点や交点である。また、ｓｔｅｐ６において最適とは、テンプレート画像又は受付画像の特徴点を候補アフィン変換量で変換したとき、特徴点の配置の一致度が高いことを表す。

本実施の形態は、まず、テンプレート画像と受付画像から検出される線分の組により荒いアフィン変換量を算出する。荒いアフィン変換量は特徴点の組を作成できればよく、より正確なアフィン変換量は、全ての特徴点の組から算出する。
本実施の形態は、歪み量の範囲を仮定しない。その代わりに、テンプレート画像と受付画像の線分の組を限定することにより、処理時間の短縮を達成している。
一般に“線らしさ”とは長く細く湾曲が少ないほど高いと考えることができる。ゆえに、線らしさに基づいて線分を検出する技術は、一般に長細い線分ほど正確に検出する。受付画像から検出される線分は、誤抽出と見逃しの可能性があるが、長い線分であるほど正確に検出されていると期待できる。よって、歪み量を限定することなく高速化を達成するために、本実施の形態は、線分の長さに基づいて絞り込みを行う。
また、より遠い特徴点どうしからアフィン変換量を算出する方がよい。なぜならば、検出の微小な誤差の影響を線分の長さによって低減することができるためである。より長い線分の端点はより離れており、より正確なアフィン変換量が算出されると期待できる。

なお、ｓｔｅｐ１、ｓｔｅｐ２の線分の検出は、既存の技術を利用すればよい。
また、ｓｔｅｐ５におけるアフィン変換量は、２つの線分の組から算出する。アフィン変換量を求めるには、最低３つの点の組が必要である。２つの線分の組には、最小で３つ、最大で５つの点の組があり、ここから任意の３組を選択すればよい。
また、ｓｔｅｐ６における最適の評価は、以下に示すような例がある。まず、候補アフィン変換量でテンプレート画像の特徴点座標を変換する。続いて、受付画像の特徴点と変換後のテンプレート画像の特徴点について、互いに最近傍である特徴点の組を作成する。続いて、予め定められた値以上の距離を持つ組を棄却する。最後に組の総数を評価値とする。又は、組の距離の和の逆数を評価値とする。

また、ｓｔｅｐ８におけるアフィン変換量は、前述のように作成された特徴点の組から算出する。特徴点検出のノイズの影響を低減するために、例えば、最小２乗法を利用してアフィン変換量を求める。
なお、ｓｔｅｐ３、ｓｔｅｐ４において受付画像とテンプレート画像を入れ替えても同様の効用が得られる。また、ｓｔｅｐ３において、短すぎる、傾きすぎる、距離が遠すぎるといった異常値を棄却してもよい。また、ｓｔｅｐ４において、テンプレート画像の線分についてもまた長い順に絞り込みを行ってもよい。ｓｔｅｐ５において、アフィン変換量が異常値となるような組み合わせは棄却して、ｓｔｅｐ６以降の処理を軽減させてもよい。ここで、異常値とは、反転などの実環境では物理的に想定しえない拡縮や平行移動を示すアフィン変換量を指す。
また、前述の選択するＮ、Ｍは、文書毎（帳票毎）に設定可能としてもよい。また、Ｎは、Ｍに予め定められた１以上の計数を乗算した値としてもよい。Ｎは、Ｍと同数であることが理想的ではあるが、受付画像の線分数はテンプレート画像の線分数よりも多くなることが一般的であるからである。

出力装置１３０は、画像処理装置１００と接続されている。出力装置１３０は、画像処理装置１００による処理結果（アフィン変換量７７５、領域画像１２９５、文字認識結果１３９５）を出力する。例えば、ディスプレイ等の表示装置に表示すること、ハードディスク等の記憶装置に記憶すること、その処理結果を用いる他の情報処理装置へ渡すこと等が含まれる。

図７は、第１の実施の形態の構成例についての概念的なモジュール構成図である。図１の例に示した画像処理装置１００の内容を示したものであり、線分検出モジュール７１０、線分選択モジュール７２０、線分ペア選択モジュール７３０、特徴点検出モジュール７４０、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０、アフィン変換量算出Ｂモジュール７７０を有している。
処理の概要は、前述した画像処理装置１００の処理と同様である。ただし、テンプレート画像から線分と特徴点を検出するのではなく、予めテンプレートの線分と特徴量の情報を抽出したものを使用している。

線分検出モジュール７１０は、線分選択モジュール７２０と接続されており、受付画像７０５を受け付け、線分選択モジュール７２０に受付画像線分７１５を渡す。つまり、線分検出モジュール７１０は、受付画像７０５から受付画像線分７１５を検出する。
線分選択モジュール７２０は、線分検出モジュール７１０、線分ペア選択モジュール７３０と接続されており、線分ペア選択モジュール７３０に受付画像線分７２５を渡す。線分選択モジュール７２０は、受付画像線分７１５のうち、長さ順で上位から予め定められた数の線分を選択し、その選択した線分を受付画像線分７２５として、線分ペア選択モジュール７３０に渡す。ここで、「長さ順」とは、長さの長い線分を上位とすることであり、いわゆる降順にソートすることに該当する。つまり、全ての検出された線分（受付画像線分７２０）からＮ個の線分（受付画像線分７２５）を選択する。

線分ペア選択モジュール７３０は、線分選択モジュール７２０、アフィン変換量算出Ａモジュール７５０と接続されており、テンプレート線分７２７を受け付け、アフィン変換量算出Ａモジュール７５０に線分ペア７３５を渡す。線分ペア選択モジュール７３０は、受付画像線分７２５とテンプレート線分７２７との組（ペア）を選択する。テンプレート線分７２７は、受付画像７０５の雛型となるテンプレート画像における線分である。つまり、線分ペア選択モジュール７３０は、受付画像線分７２５に対してテンプレート線分７２７を対応付けた線分の組（線分ペア７３５）を作成する。
特徴点検出モジュール７４０は、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０と接続されており、受付画像７０５を受け付け、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０に受付画像特徴点７４５を渡す。特徴点検出モジュール７４０は、既存の技術を用いて受付画像７０５内の特徴点を抽出し、その特徴点を受付画像特徴点７４５として出力する。ここで、特徴量とは、線分の端点又は線分どうしがなす交点である。

アフィン変換量算出Ａモジュール７５０は、線分ペア選択モジュール７３０、特徴点検出モジュール７４０、特徴点ペア探索モジュール７６０と接続されており、テンプレート特徴点７７７を受け付け、特徴点ペア探索モジュール７６０にアフィン変換量７５５を渡す。アフィン変換量算出Ａモジュール７５０は線分ペア７３５を用いて、テンプレート画像に対する受付画像７０５の歪みを算出する。つまり、アフィン変換量算出Ａモジュール７５０は、２つの線分の組（線分ペア７３５）からアフィン変換量７５５を算出し、最も受付画像特徴点７４５とテンプレート特徴点７７７の一致度が高いアフィン変換量７５５を出力する。ここで、線分のペアの２つからアフィン変換量を算出し、そのアフィン変換量を用いた受付画像７０５とテンプレート画像の一致度に基づいて、歪みを示すアフィン変換量を選択するようにしてもよい。ここで、一致度とは、受付画像７０５から検出される受付画像特徴点７４５とテンプレート画像におけるテンプレート特徴点７７７について、アフィン変換量による変換後に、最近傍の関係にある組が、予め定められた距離内に収まっている個数である。

特徴点ペア探索モジュール７６０は、特徴点検出モジュール７４０、アフィン変換量算出Ａモジュール７５０、アフィン変換量算出Ｂモジュール７７０と接続されており、テンプレート特徴点７７７を受け付け、アフィン変換量算出Ｂモジュール７７０に特徴点ペア７６５を渡す。特徴点ペア探索モジュール７６０は、アフィン変換量７５５に基づいて、特徴点の対応付けを行い特徴点の組（特徴点ペア７６５）を作成する。
アフィン変換量算出Ｂモジュール７７０は、特徴点ペア探索モジュール７６０と接続されており、アフィン変換量７７５を出力する。アフィン変換量算出Ｂモジュール７７０は、特徴点の組（特徴点ペア７６５）からアフィン変換量７７５を算出する。受付画像７０５の受付画像特徴点７４５とテンプレート画像のテンプレート特徴点７７７について、アフィン変換量算出Ａモジュール７５０による算出処理後に、予め定められた距離内に収まっている最近傍の関係にある組から、最小２乗法によりアフィン変換量を算出する。

図８は、第１の実施の形態による処理例を示すフローチャートである。線分ペア選択モジュール７３０とアフィン変換量算出Ａモジュール７５０における処理フローの例を示している。
受付画像の線分は、長さ順にソートされ、高々上位Ｎ個までしか参照されない。なお、ｎ_１，ｎ_２は、受付画像の線分のインデックスである。また、ｍ_１，ｍ_２はテンプレートの線分のインデックスである。また、アフィン変換量Ａは、前述の数式１における６つのパラメータ（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）である。
歪み量であるアフィン変換量が分かることで、例えば、大量のスキャン投入の際に異常な姿勢の設置があれば、これを自動で検知・警告するようにしてもよい。

ステップＳ８０２では、受付画像の線分を長さ順にソートする。
ステップＳ８０４では、アフィン変換量Ａに（０，０，０，０，０，０）を代入する。
ステップＳ８０６では、変数Ｓに０を代入する。
ステップＳ８０８では、変数ｎ_１に０を代入する。
ステップＳ８１０では、ｎ_１＜Ｎであるか否かを判断し、ｎ_１＜Ｎである場合はステップＳ８１２へ進み、それ以外の場合は処理を終了する（ステップＳ８９９）。
ステップＳ８１２では、変数ｎ_２にｎ_１＋１を代入する。
ステップＳ８１４では、ｎ_２＜Ｎであるか否かを判断し、ｎ_２＜Ｎである場合はステップＳ８１６へ進み、それ以外の場合はステップＳ８４４へ進む。

ステップＳ８１６では、変数ｍ_１に０を代入する。
ステップＳ８１８では、ｍ_１＜Ｍであるか否かを判断し、ｍ_１＜Ｍである場合はステップＳ８２０へ進み、それ以外の場合はステップＳ８４２へ進む。
ステップＳ８２０では、変数ｍ_２に０を代入する。
ステップＳ８２２では、ｍ_２＜Ｍであるか否かを判断し、ｍ_２＜Ｍである場合はステップＳ８２４へ進み、それ以外の場合はステップＳ８４０へ進む。
ステップＳ８２４では、ｍ_２≠ｍ_１であるか否かを判断し、ｍ_２≠ｍ_１である場合はステップＳ８２６へ進み、それ以外の場合はステップＳ８３８へ進む。
ステップＳ８２６では、アフィン変換量算出を行う。（ｎ_１，ｍ_１）、（ｎ_２，ｍ_２）の線分ペアからアフィン変換量Ａを算出する。

ステップＳ８２８では、特徴点対応付けを行う。アフィン変換量Ａから特徴点の対応付けを行う。
ステップＳ８３０では、一致度算出を行う。対応する特徴点から一致度Ｓを算出する。
ステップＳ８３２では、Ｓ_{ｓｅｌｅｃｔｅｄ}＜Ｓであるか否かを判断し、Ｓ_{ｓｅｌｅｃｔｅｄ}＜Ｓである場合はステップＳ８３４へ進み、それ以外の場合はステップＳ８３８へ進む。
ステップＳ８３４では、Ａ_{ｓｅｌｅｃｔｅｄ}にＡを代入する。
ステップＳ８３６では、Ｓ_{ｓｅｌｅｃｔｅｄ}にＳを代入する。
ステップＳ８３８では、ｍ_２にｍ_２＋１を代入する。
ステップＳ８４０では、ｍ_１にｍ_１＋１を代入する。
ステップＳ８４２では、ｎ_２にｎ_２＋１を代入する。
ステップＳ８４４では、ｎ_１にｎ_１＋１を代入する。

図９は、第２の実施の形態の構成例についての概念的なモジュール構成図である。第２の実施の形態における画像処理装置１００は、線分検出モジュール７１０、線分選択モジュール７２０、線分ペア選択モジュール７３０、特徴点検出モジュール７４０、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０、アフィン変換量算出Ｂモジュール７７０、線分検出モジュール９１０、特徴点検出モジュール９２０を有している。なお、第１の実施の形態と同種の部位には同一符号を付し重複した説明を省略する（以下、同様）。第２の実施の形態は、テンプレート画像を入力するものである。
テンプレート画像９０５も受付画像７０５と同様のスキャンやコピーのプロセスにより作成することで、受付画像７０５とテンプレート画像９０５で同様の劣化が生じる。これにより、線分の誤検出・見逃しを含んだより一致度の高い線分と特徴点の対応をとることとなる。

線分ペア選択モジュール７３０は、線分選択モジュール７２０、アフィン変換量算出Ａモジュール７５０、線分検出モジュール９１０と接続されており、アフィン変換量算出Ａモジュール７５０に線分ペア７３５を渡す。
アフィン変換量算出Ａモジュール７５０は、線分ペア選択モジュール７３０、特徴点検出モジュール７４０、特徴点ペア探索モジュール７６０、特徴点検出モジュール９２０と接続されており、特徴点ペア探索モジュール７６０にアフィン変換量７５５を渡す。
特徴点ペア探索モジュール７６０は、特徴点検出モジュール７４０、アフィン変換量算出Ａモジュール７５０、アフィン変換量算出Ｂモジュール７７０、特徴点検出モジュール９２０と接続されており、アフィン変換量算出Ｂモジュール７７０に特徴点ペア７６５を渡す。
線分検出モジュール９１０は、線分ペア選択モジュール７３０と接続されており、テンプレート画像９０５を受け付け、線分ペア選択モジュール７３０にテンプレート線分７２７を渡す。線分検出モジュール９１０は、テンプレート画像９０５からテンプレート線分７２７を検出する。ここで、テンプレート画像９０５は、レイアウト情報を指示する枠が描かれており、その枠内は未記入の画像である。つまり、受付画像７０５の記入前の画像である。線分検出モジュール７１０と同等の処理を行う。
特徴点検出モジュール９２０は、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０と接続されており、テンプレート画像９０５を受け付け、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０にテンプレート特徴点７７７を渡す。特徴点検出モジュール７４０と同等の処理を行う。

図１０は、第３の実施の形態の構成例についての概念的なモジュール構成図である。第３の実施の形態における画像処理装置１００は、線分検出モジュール７１０、線分選択モジュール７２０、線分ペア選択モジュール７３０、特徴点検出モジュール７４０、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０、アフィン変換量算出Ｂモジュール７７０、線分検出モジュール９１０、特徴点検出モジュール９２０、線分選択モジュール１０２０を有している。テンプレート線分の選択を行う例である。
線分ペア選択モジュール７３０は、線分選択モジュール７２０、アフィン変換量算出Ａモジュール７５０、線分選択モジュール１０２０と接続されており、アフィン変換量算出Ａモジュール７５０に線分ペア７３５を渡す。
線分検出モジュール９１０は、線分選択モジュール１０２０と接続されており、テンプレート画像９０５を受け付け、線分選択モジュール１０２０にテンプレート線分１０１５を渡す。
線分選択モジュール１０２０は、線分検出モジュール９１０、線分ペア選択モジュール７３０と接続されており、線分ペア選択モジュール７３０にテンプレート線分７２７を渡す。線分選択モジュール１０２０は、テンプレート画像９０５のテンプレート線分１０１５として、長さ順で上位から予め定められた数の線分を利用する。つまり、テンプレート線分１０１５から長さの長いものを選択して、その選択した線分をテンプレート線分７２７として出力する。テンプレート線分１０１５に対しても長さに基づいた取捨選択を行うものであり、線分選択モジュール７２０と同等の処理を行う。

図１１は、第４の実施の形態の構成例についての概念的なモジュール構成図である。第４の実施の形態における画像処理装置１００は、線分検出モジュール７１０、線分選択モジュール７２０、線分ペア選択モジュール７３０、特徴点検出モジュール７４０、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０、アフィン変換量算出Ｂモジュール７７０、線分検出モジュール９１０、特徴点検出モジュール９２０、線分選択モジュール１０２０、アフィン変換量算出Ｃモジュール１１５０を有している。異常な線分の組み合わせを棄却する例である。
線分ペア選択モジュール７３０は、線分選択モジュール７２０、線分選択モジュール１０２０、アフィン変換量算出Ｃモジュール１１５０と接続されており、アフィン変換量算出Ｃモジュール１１５０に線分ペア７３５を渡す。
アフィン変換量算出Ｃモジュール１１５０は、線分ペア選択モジュール７３０、特徴点検出モジュール７４０、特徴点ペア探索モジュール７６０、特徴点検出モジュール９２０と接続されており、変換範囲１１３５を受け付け、特徴点ペア探索モジュール７６０にアフィン変換量７５５を渡す。アフィン変換量算出Ｃモジュール１１５０は、線分ペア７３５から算出されるアフィン変換量が異常値である場合、一致度の評価における特徴点のペアの探索を行わない。つまり、アフィン変換量算出Ｃモジュール１１５０は、特徴点による一致度を評価する前に、変換範囲１１３５に収まらないアフィン変換量を異常値と判定し棄却する。図８に示したフローチャート例における、特徴点対応付け処理（ステップＳ８２８）の直前で棄却を行えばよい。
特徴点ペア探索モジュール７６０は、特徴点検出モジュール７４０、アフィン変換量算出Ｃモジュール１１５０、アフィン変換量算出Ｂモジュール７７０、特徴点検出モジュール９２０と接続されており、アフィン変換量算出Ｂモジュール７７０に特徴点ペア７６５を渡す。

図１２は、第５の実施の形態の構成例についての概念的なモジュール構成図である。第５の実施の形態における画像処理装置１００は、線分検出モジュール７１０、線分選択モジュール７２０、線分ペア選択モジュール７３０、特徴点検出モジュール７４０、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０、アフィン変換量算出Ｂモジュール７７０、アフィン変換モジュール１２８０、領域切り出しモジュール１２９０を有している。レイアウト情報の補正を行う例である。
アフィン変換量算出Ｂモジュール７７０は、特徴点ペア探索モジュール７６０、アフィン変換モジュール１２８０と接続されており、アフィン変換モジュール１２８０にアフィン変換量７７５を渡す。
アフィン変換モジュール１２８０は、アフィン変換量算出Ｂモジュール７７０、領域切り出しモジュール１２９０と接続されており、レイアウト情報１２７７を受け付け、領域切り出しモジュール１２９０にレイアウト情報１２８５を渡す。アフィン変換モジュール１２８０は、アフィン変換量算出Ｂモジュール７７０が算出したアフィン変換量７７５によって、レイアウト情報１２７７の位置情報を補正する。補正は数式１の通りである。実環境で発生した歪みを補正したレイアウト情報１２８５が得られる。
領域切り出しモジュール１２９０は、アフィン変換モジュール１２８０と接続されており、レイアウト情報１２８５を受け取って、領域画像１２９５を出力する。つまり、補正されたレイアウト情報１２８５に基づいて、領域を切り出すことで、所望の位置の領域画像１２９５（記入情報）が得られる。受付画像７０５ではなく、レイアウト情報１２８５を補正することで、画像編集による誤差がなく、また、補正すべき点数が少なくなる。

図１３は、第６の実施の形態の構成例についての概念的なモジュール構成図である。第６の実施の形態における画像処理装置１００は、線分検出モジュール７１０、線分選択モジュール７２０、線分ペア選択モジュール７３０、特徴点検出モジュール７４０、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０、アフィン変換量算出Ｂモジュール７７０、アフィン変換モジュール１２８０、領域切り出しモジュール１２９０、文字認識モジュール１３９０を有している。文字認識を行う例である。
領域切り出しモジュール１２９０は、アフィン変換モジュール１２８０、文字認識モジュール１３９０と接続されており、文字認識モジュール１３９０に領域画像１２９５を渡す。
文字認識モジュール１３９０は、領域切り出しモジュール１２９０と接続されており、文字認識結果１３９５を出力する。文字認識モジュール１３９０は、補正されたレイアウト情報１２８５に基づいて文字認識を行う。つまり、文字認識モジュール１３９０は、領域画像１２９５に対して文字認識を行い、文字認識結果１３９５を出力する。文字認識は、既存の技術を利用すればよい。
なお、図１２、図１３に示した例は、第１の実施の形態にモジュール（アフィン変換モジュール１２８０、領域切り出しモジュール１２９０、文字認識モジュール１３９０）を付加しているが、第２の実施の形態等に対して、同様にモジュールを付加してもよい。

図１４を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１４に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１４１７と、プリンタなどのデータ出力部１４１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４０１は、前述の実施の形態において説明した各種のモジュール、すなわち、線分検出モジュール７１０、線分選択モジュール７２０、線分ペア選択モジュール７３０、特徴点検出モジュール７４０、アフィン変換量算出Ａモジュール７５０、特徴点ペア探索モジュール７６０、アフィン変換量算出Ｂモジュール７７０、線分検出モジュール９１０、特徴点検出モジュール９２０、線分選択モジュール１０２０、アフィン変換量算出Ｃモジュール１１５０、アフィン変換モジュール１２８０、領域切り出しモジュール１２９０、文字認識モジュール１３９０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４０２は、ＣＰＵ１４０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４０３は、ＣＰＵ１４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１４０４により相互に接続されている。

ホストバス１４０４は、ブリッジ１４０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１４０６に接続されている。

キーボード１４０８、マウス等のポインティングデバイス１４０９は、操作者により操作される入力デバイスである。ディスプレイ１４１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１４０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受付画像７０５、テンプレート線分７２７、テンプレート特徴点７７７、アフィン変換量７７５、領域画像１２９５、文字認識結果１３９５などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１４１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１４１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１４０７、外部バス１４０６、ブリッジ１４０５、及びホストバス１４０４を介して接続されているＲＡＭ１４０３に供給する。リムーバブル記録媒体１４１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート１４１４は、外部接続機器１４１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１４１４は、インタフェース１４０７、及び外部バス１４０６、ブリッジ１４０５、ホストバス１４０４等を介してＣＰＵ１４０１等に接続されている。通信部１４１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１４１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１４１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１４に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１４に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１４に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１００…画像処理装置
１１０…画像読取装置
１２０…テンプレート情報
１３０…出力装置
７０５…受付画像
７１０…線分検出モジュール
７１５…受付画像線分
７２０…線分選択モジュール
７２５…受付画像線分
７２７…テンプレート線分
７３０…線分ペア選択モジュール
７３５…線分ペア
７４０…特徴点検出モジュール
７４５…受付画像特徴点
７５０…アフィン変換量算出Ａモジュール
７５５…アフィン変換量
７６０…特徴点ペア探索モジュール
７６５…特徴点ペア
７７０…アフィン変換量算出Ｂモジュール
７７５…アフィン変換量
７７７…テンプレート特徴点
９０５…テンプレート画像
９１０…線分検出モジュール
９２０…特徴点検出モジュール
１０１５…テンプレート線分
１０２０…線分選択モジュール
１１３５…変換範囲
１１５０…アフィン変換量算出Ｃモジュール
１２７７…レイアウト情報
１２８０…アフィン変換モジュール
１２８５…レイアウト情報
１２９０…領域切り出しモジュール
１２９５…領域画像
１３９０…文字認識モジュール
１３９５…文字認識結果

Claims (10)

1. 第１の画像から線分を検出する検出手段と、
   前記線分のうち、長さ順で上位から予め定められた数の線分と、前記第１の画像の雛型となる第２の画像における線分との組を選択する選択手段と、
   前記線分の組を用いて、前記第２の画像に対する前記第１の画像の歪みを算出する算出手段
   を具備することを特徴とする画像処理装置。
2. 前記算出手段は、前記線分の組の２つからアフィン変換量を算出し、該アフィン変換量を用いた前記第１の画像と前記第２の画像の一致度に基づいて、前記歪みを示すアフィン変換量を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記一致度とは、前記第１の画像から検出される特徴点と前記第２の画像における特徴点について、前記アフィン変換量による変換後に、最近傍の関係にある組が、予め定められた距離内に収まっている個数であり、
   前記特徴点とは、前記線分の端点又は前記線分どうしがなす交点である
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の画像の特徴点と前記第２の画像の特徴点について、前記算出手段による算出処理後に、予め定められた距離内に収まっている最近傍の関係にある組から、最小２乗法によりアフィン変換量を算出する第２の算出手段
   をさらに具備することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記第２の画像から線分を検出する第２の検出手段
   をさらに具備しており、
   前記第２の画像は、レイアウト情報を指示する枠が描かれており、該枠内は未記入の画像である
   ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記選択手段は、前記第２の画像の線分として、長さ順で上位から予め定められた数の線分を利用する
   ことを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記算出手段は、前記線分の組から算出されるアフィン変換量が異常値である場合、前記一致度の評価における特徴点の組の探索を行わない
   ことを特徴とする請求項２から６のいずれか一項に記載の画像処理装置。
8. 前記アフィン変換量によって、レイアウト情報の補正を行う補正手段
   をさらに具備することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記補正されたレイアウト情報に基づいて文字認識を行う文字認識手段
   をさらに具備することを特徴とする請求項８に記載の画像処理装置。
10. コンピュータを、
    第１の画像から線分を検出する検出手段と、
    前記線分のうち、長さ順で上位から予め定められた数の線分と、前記第１の画像の雛型となる第２の画像における線分との組を選択する選択手段と、
    前記線分の組を用いて、前記第２の画像に対する前記第１の画像の歪みを算出する算出手段
    として機能させるための画像処理プログラム。

Images