JP5487970B2 - 特徴点配置照合装置及び画像照合装置、その方法及びプログラム - Google Patents

Description

本発明は、照合される画像間の変動が幾何変換であると仮定でき、かつその変動の範囲が既知あるいは推定できる場合に、高精度かつ高速に照合結果を得ることができる特徴点配置画像照合装置及び画像照合装置、その方法及びプログラムに関する。

汎用の特徴点配置照合方法および、汎用の特徴点配置照合装置を利用した画像照合方法が非特許文献１に記載されている。非特許文献１には、英文文書の画像検索に画像照合装置を提供した例が掲載されている。

汎用の画像照合処理は、登録処理と照合処理の２つの処理に分けることができる。これらの処理をそれぞれ詳細に説明する。
前記登録処理においては、予め登録される複数の画像の各々に対して、次の処理が行われる。まず、登録画像特徴点抽出モジュールに登録画像の一つが入力されると、英文文書の単語領域の重心が特徴点として抽出される。
次に、前記抽出された特徴点から、順序付きの特徴点の組み合わせが計算され、複数の特徴点の配置が計算される。具体的には、次のような処理が行われる。（Ａ）まず、登録画像の１つを取り出す。（Ｂ）次に、複数の特徴点のうちの一つ特徴点ｐを取り出す。次に、その特徴点ｐの近傍にあるｎ個の特徴点を取り出す。（Ｃ）次に、特徴点ｐの近傍にあるｎ個の特徴点からｍ点を取り出す。（Ｄ）次に、取り出されたｍ点の特徴点から適当な一つの特徴点をｐ０として選び、特徴点ｐを中心に据え特徴点ｐ０を先頭として時計回りに並べて特徴点の列Ｌｍを生成する。（Ｅ）次に、特徴点の列Ｌｍから順序を保存してｆ点を選択するすべての特徴点の列Ｌｆを求め、辞書式順序に並べる。前記（Ａ）では、すべての登録画像についての処理を行うまで継続され、前記（Ｂ）では、すべての特徴点を前記特徴点ｐとして選択する処理を行うまで継続され、前記（Ｃ）では、ｎ個の特徴点から得られるすべてのｍ点の特徴点の組み合わせについての処理を行うまで継続される。従って、得られる特徴点の列の数は一般には多数である。

さらに、特徴点の列Ｌｆから、不変量の列が計算される。前記計算された不変量は図３８に示すように、前記登録画像を一意に指定する番号（以下、登録画像番号と呼ぶ）と、特徴点を一意に指定する特徴点番号（以下、特徴点番号と呼ぶ）と共に、特徴量リストとして格納される。前記格納された特徴量リストは、後段の照合処理に用いられる。なお、非特許文献１中では、検索を高速化するために、前記不変量を離散化した後、ハッシュを用いて特徴量リストを格納する方法について提案しているが、この提案は本発明に無関係であるため省略する。

前記照合処理においては、先ず、検索画像が入力されると、英文文書の単語領域の重心が特徴点として抽出される。
次に、前記抽出された特徴点から、順序付きの特徴点の組み合わせが計算され、その組み合わせを巡回させたものが特徴点の配置となる。具体的には、次のような処理が行われる。（Ａ）まず、登録画像の１つを取り出す。（Ｂ）次に、登録画像の特徴点のうちの一つを特徴点ｐとして取り出し、その特徴点ｐの近傍にあるｎ個の特徴点を取り出す。（Ｃ）次に、前記特徴点ｐの近傍にあるｎ個の点からｍ個の特徴点を取り出す。（Ｄ）次に、前記取り出されたｍ個の特徴点から適当な一つの点を特徴点ｐ０として選び、特徴点ｐを中心に据え特徴点ｐ０を先頭として時計回りに並べて特徴点の列Ｌｍを生成する。（Ｅ）次に、特徴点の列Ｌｍから順序を保存してｆ点を選択するすべての特徴点の列Ｌｆを求め、これらを辞書式順序に並べる。前記（Ａ）では、すべての検索画像について処理を行うまで処理が継続し、前記（Ｂ）では、すべての特徴点を特徴点ｐとして選択するまで処理が継続し、前記（Ｃ）はＮ個の点から得られるすべてのＭ点の組み合わせについて処理を行うまで処理が継続し、前記（Ｄ）では、ｍ個の特徴点をすべて特徴点ｐ０として選ぶまで処理が継続する。従って、得られる特徴点の列の数は一般には多数である。この処理は、前記（Ｄ）についてｍ個の特徴点をすべての特徴点ｐ０として選ぶまで処理が継続することを除いて、登録処理において特徴点配置が計算される処理と同一である。

さらに、特徴点の列Ｌｆから、不変量の列が計算される。前記計算された不変量の列は、登録処理において格納された特徴量リスト中の不変量の列と照合される。前記照合の結果、一致していた場合には、前記特徴量リストの登録画像番号に対する一致数（得票数）を１だけ増加させる（投票する）。なお、非特許文献１中では、その他の不変量の列の誤対応を防止する処理について提案しているが、その提案は本発明には無関係であるため説明を省略する。
最後に、各登録画像に対する一致数（各登録画像に投票された結果得られる得票数）から、

なる計算式を用いて各登録画像のスコアを計算し、最大のスコアを持つ登録画像が照合結果として出力される。ここで、ｄ_ｉは登録画像番号、Ｖ（ｄ_ｉ）は登録画像番号ｄ_ｉの登録画像についての得票数、Ｎ（ｄ_ｉ）は登録画像番号ｄ_ｉの登録画像に含まれる特徴点数、ｃは予備実験で定められる特徴点数と誤投票との比例定数である。

これらの登録処理と照合処理を行う際のｆの値は、登録画像と検索画像との間に許容する変換の種類に依存して変わる。非特許文献１中では、ｆ＝４点から計算されるアフィン不変量を用いることで、登録画像と検索画像との間のアフィン不変量を許容する方式などが提案されている。アフィン不変量は、２つの画像間で任意のアフィン変換が起きた場合でも、対応する点の組み合わせから同一の値をとる性質がある。従って、登録画像と検索画像との間で任意のアフィン変換による変形が起きたとしても、アフィン不変量による特徴量を利用した照合を行うことにより、登録画像から得られた特徴点配置とそれに対応する検索画像から得られた特徴点配置の各々から計算された不変量の列は、原理上同一となる。従って、アフィン不変量を不変量として利用する特徴点照合装置および、この特徴点照合装置を利用する画像照合装置は、登録画像と検索画像との間の変形がアフィン変換で表せるとみなせる場合に、高精度な照合を行うことができる。

また特許文献１には、１つの登録画像と時系列で入力する複数の画像とを照合する方式が開示されている。
中居友宏、他２名、"デジタルカメラを用いた高速文書画像検索におけるアフィン不変量および相似不変量の利用"、電子情報通信学会技術研究報告（パターン認識・メディア理解、ＰＲＭＵ‐１８４〜２０１）、２００６年２月１６日、２５−３０頁 特開２００６−３０９７１８号公報

第１の問題点は、非特許文献１の特徴点配置照合装置は、照合する画像を撮像する撮像系の仕様、前記画像を取得する条件などにより、登録画像と検索画像との間の変動の範囲が予め制限できる場合であっても、その制限を考慮した特徴点の配置照合を行えないということである。
その理由は、アフィン不変量を利用した特徴点配置照合装置は、任意のアフィン変換に関して不変な量を用いた照合であるため、実際の画像取得条件においては対応することがあり得ない不変量リストの組み合わせに対し、誤って対応したと判定されるためである。例えば、同一の撮像仕様をもつ撮像デバイスによって同一の条件で登録画像及び検索画像が撮像されている場合、一方の画像が他方に比べて２倍に拡大している画像は同一であるとは考えられない。しかしながら、２倍の拡大はアフィン変換の一つであるために、原理上同一の不変量が計算される。従って、不変量のみを利用した特徴点配置照合装置では、誤って対応したと判定されることになる。同様に、登録画像と検索画像との間で、本来は対応しないにもかかわらず、たまたまアフィン変換で変換可能な特徴点配置が得られた場合も、誤って対応したと判定されることになる。

第２の問題点は、非特許文献１の特徴点配置照合装置を応用した画像照合装置において、撮像系の仕様、画像取得条件などにより登録画像と検索画像との間の変動の範囲が予め制限できる場合であっても、その制限を考慮した画像照合を行えないということである。
その理由は、第１の問題点の理由で述べたような誤対応が生じる特徴点配置照合装置の出力を、画像照合に利用しているためである。

また、特許文献１では、時系列で入力される複数の画像と１つの画像とを照合するものであり、画像の照合処理を高速で行えないという問題がある。

本発明の目的は、登録画像と検索画像から得られる特徴点配置間の変形の大きさが実際の画像取得条件では仮定されない大きさであっても、誤って一致であると誤って判定されることを防止する特徴点配置照合装置及び画像照合装置、その方法及びプログラムを提供することにある。

前記目的を達成するため、本発明の特徴点配置照合装置は、一方と他方の照合対象の画像から得られた特徴点に基づいて複数の特徴点の配置を計算し、その計算結果に基づいて幾何変換に関する不変量を要素とする特徴量を前記照合対象の画像毎にそれぞれ生成し、前記照合対象の画像の前記特徴量を用いて、前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを照合する特徴点配置照合装置であって、
前記照合対象の画像毎の各特徴量を生成する元となった各々の特徴点配置に基づいて幾何変換に関するパラメータを局所的な特徴点配置対に関して計算するパラメータ推定モジュールと、
前記パラメータ推定モジュールで計算された前記パラメータが画像を撮像する撮像系の仕様や画像を取得する条件から予め定められる所定の範囲内にあるかどうかを検証し、当該所定の範囲内にあれば、前記一方と他方の照合対象の画像の特徴点配置が一致すると判定するパラメータ検証モジュールと、
を含むことを特徴とする。

本発明に係る画像照合装置は、一方と他方の照合対象の画像から得られた特徴点に基づいて複数の特徴点の配置を計算し、その計算結果に基づいて幾何変換に関する不変量を要素とする特徴量を前記照合対象の画像毎にそれぞれ生成し、前記照合対象の画像の前記特徴量を用いて、前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを判定することで、前記画像同士を照合する画像照合装置であって、
前記照合対象の画像毎の各特徴量を生成する元となった各々の特徴点配置に基づいて幾何変換に関するパラメータを前記局所的な特徴点配置対に関して計算するパラメータ推定モジュールと、
前記パラメータ推定モジュールで計算された前記パラメータが画像を撮像する撮像系の仕様や画像を取得する条件から予め定められる所定の範囲内にあるかどうかを検証し、当該所定の範囲内にあれば、前記一方と他方の照合対象の画像の特徴点配置が一致すると判定するパラメータ検証モジュールと、
前記パラメータ検証モジュールで同一であると判定された前記特徴点配置の個数に基づいて画像照合結果を出力する画像照合結果計算モジュールと、
を含むことを特徴とする。

なお、以上の構成では、本発明をハードウェアの特徴点配置照合装置及び画像照合装置として構築したが、方法及びプログラムとして構築してもよいものである。

本発明によれば、アフィン変換であるとみなせる登録画像と検索画像との間の変動の範囲が予め制限できる場合に、高精度に照合できる。その理由は、その制限を照合に利用することにより高精度に照合できるためである。

次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
（実施形態１）
図１は、本発明の実施形態１に係る特徴点配置照合装置と、それを応用した画像照合装置とを示す構成図である。

（画像照合装置のハードウェア構成）
先ず、本実施の形態の画像照合装置の具体的構成について、前提となるハードウェア構成から説明し、続いて各モジュールの詳細構成について説明することとする。図３７は、本発明の実施形態１による画像照合装置のハードウェアの全体構成の一例を示すブロック図である。

図３７を参照すると、実施１形態における画像照合装置１は、制御手段としての制御モジュールの一部又は一例であるＣＰＵ２と、記憶媒体３と、記憶媒体４と、入力モジュール５と、出力モジュール６とから構成されている。

ＣＰＵ２は、各種ソフトウェアプログラム（コンピュータプログラム）を実行することにより、画像照合装置１の全体的な動作を司る。ここで、制御モジュールとしては、例えば１又は複数のＣＰＵの他、ＭＰＵ、ＧＰＵ、ＤＳＰ等のいずれか１つ又は複数のプロセッサなどにより構成することができる。

記憶媒体３（コンピュータに読み取り可能な媒体）は、各種ソフトウェアプログラムとその実行に必要なデータを格納するための記憶媒体である。
記憶媒体４は、記憶媒体３を補完するための記憶媒体である。好適な例としては、記憶媒体３は高速に動作するメモリ、例えばＲＡＭである。記憶媒体４は、ある程度大きい容量を持つ記憶媒体、例えば、ハードディスクである。ただし、記憶媒体３、記憶媒体４とも、これらに例に限られないことを述べておく。また、記憶媒体３が持つ機能と記憶媒体４が持つ機能を併せ持つ新たな記憶媒体ないしは記憶手段としての記憶モジュール（図示しない）を用いても良い。以下の実施の形態では、記憶媒体３、記憶媒体４を特に区別しない、すなわち、双方の機能を併せ持つ記憶媒体を用いるものとして説明する。

入力モジュール５は、ビデオカメラやデジタルカメラ、スキャナ、複写機、顕微鏡、望遠鏡、Ｘ線診断器、超音波診断器、レーダー、ソーナー、ＣＣＤ等の画像情報取得手段としての画像情報取得モジュールから入力される画像情報入力インターフェイス機能や、キーボードやマウス、各種ボタン、タッチパネル等の操作入力手段としての操作入力モジュールから入力される操作入力インターフェイス機能などを備えてよい。又、入力モジュール５は、前述の画像情報取得モジュール、操作入力モジュールを含んでもよいし、含まなくても（インターフェイス機能のみ）よい。更に、入力モジュール５は、検索画像（第１の画像）を入力するための第１の画像入力モジュール、登録画像（第２の画像）を入力するための第２の画像入力モジュールなどを備えてよい。

入力モジュール５に入力されるものは、２次元の静止画像であってもよいし、３次元の空間データであってもよいし、動画であってもよいし、速度場や磁場などの様々な空間的時間的広がりを持つ物理量や、特定関数による畳み込みなど各種演算により得られた画像特徴量やその時間変化を高次元で表したものであってもよい。

又、記憶媒体３、４は、入力モジュール５から入力された画像（検索画像、登録画像）を記憶する画像記憶領域（検索画像情報格納部や登録画像情報格納部を含む画像情報格納部）や一時記憶領域（ＶＲＡＭなど）を備えてよい。更に、記憶媒体３、４は、画像照合結果情報を記憶する画像照合結果記憶領域を備えてよい。更に、記憶媒体３、４は、制御モジュールや通信モジュールなどのワーク領域を備えてよい。更に、記憶媒体３、４は、画像照合装置１において処理途中の画像や処理結果の画像を保持する各種の記憶領域を備えてよい。又、記憶媒体４は、他の種々の外部接続によるコンピュータ、光ディスク、光磁気ディスク、磁気テープなどにより構成することもできる。

出力モジュール６は、コンピュータディスプレイやテレビモニタ（表示手段としての表示モジュール）、プロジェクタ、プリンタ（画像形成手段としての画像形成モジュール）等の画像情報を出力する画像情報出力手段としての画像情報出力モジュールへ各種の情報を出力する情報出力インターフェイス機能を備えてよい。又、出力モジュール６は、前述の画像情報出力モジュールを含んでもよいし、含まなくても（インターフェイス機能のみ）よい。更に、画像情報出力モジュールは、前記画像記憶領域に保存された画像をユーザの指示に従って表示させる表示制御モジュールを含んでよい。

画像照合装置１は、この他、他の装置と各種の通信ネットワークを通じて通信を行う通信手段（送受信手段）としての通信制御モジュール（モデム、通信用プロセッサなど）や通信インターフェイス機能などを備えてよい。通信インターフェイスとしては、ＩＥＥＥ１３９４やＵＳＢ（ＵＳＢ２．０等）などの高速のシリアルバスのデータ転送プロトコルを用いることができる。

又、画像照合装置１は、ユーザが利用可能な情報処理装置（コンピュータ）に備えてよく、プログラム制御により動作するものであり、ネットワーク関連の通信機能を有してよい。この場合、コンピュータは、プロセッサ（制御手段：ＣＰＵあるいはＧＰＵなど）、メモリ（記憶媒体）、入力モジュール、及び出力モジュールなどを基本的な構成要素とする物理的装置をいう。このため、画像照合装置１は、デスクトップ、ラップトップコンピュータ、サーバコンピュータ、その他無線・有線通信機能を有する情報機器、情報家電機器、またはこれに類するコンピュータなどいかなるコンピュータに備えてもよく、移動式・固定式を問わない。

更に、画像照合装置１は、通信インターフェイス機能を有する場合、前述の入力モジュール５、出力モジュール６のない構成であってもよい。

本実施形態において、ＣＰＵ２は、通信インターフェイス、入力インターフェイスなどからの画像照合開始要求に基づいて、記憶媒体３、４を適宜参照しながら、ソフトウェアプログラムを実行して、図１に示す各種のジュールの機能（登録処理、照合処理など）を行う。画像照合開始要求は、入力された操作入力データないしは操作入力信号であってもよいし、各種の装置など制御する制御データないしは制御信号であってもよい。この各種モジュールのプログラムは、一体構成、別体構成は問わない。このため、登録処理用プログラムと照合処理（検索処理）用プログラムとにより構成してもよいし、画像照合制御プログラムとして一体的に構成してもよい。このように、記憶媒体には、本実施形態の各手段（各モジュ−ル）としてコンピュータを機能させるためのプログラム（各モジュールの処理をコンピュータに実行させるためのプログラム）が記憶される。

図１において、本発明の実施形態１に係る特徴点配置照合装置１０ｂは、照合対象の画像から得られた複数の特徴点に基づいて前記特徴点の配置を計算し、幾何変換に関する不変量を要素とする特徴量を生成し、前記特徴量を用いて照合対象の画像での特徴点の配置が同一の特徴点の配置であるかを照合するものであって、登録画像特徴点配置計算モジュール１４と、登録画像不変量計算モジュール１６と、登録画像不変量格納モジュール１８ｂと、検索画像特徴点配置計算モジュール２４と、検索画像不変量計算モジュール２６と、不変量一致判定モジュール３２とを有している。

さらに、本発明の実施形態１に係る特徴点配置照合装置１０ｂは、前記構成に加えて、登録画像特徴点配置格納モジュール１８ａと、パラメータ推定モジュール３４と、パラメータ検証モジュール３６とを有している。

図１に示す本発明の実施形態１に係る画像照合装置１０ａは、前記特徴点配置照合装置１０ｂに加えて、登録画像特徴点抽出モジュール１２と、検索画像特徴点抽出モジュール２２と、一致数格納モジュール４２と、画像照合結果計算モジュール４４とを有している。

図２を参照すると、登録画像特徴点配置格納モジュール１８ａは、登録画像特徴点座標格納モジュール１８ａ−１と、登録画像特徴点組み合わせ格納モジュール１８ａ−２とを含む。

前記登録画像特徴点抽出モジュール１２は、入力される登録画像からその入力画像の特徴点を抽出し、その抽出した特徴点の座標を登録画像特徴点座標格納モジュール１８ａ−１に格納する。前記登録画像特徴点抽出モジュール１２が画像の特徴点を抽出する方法は、既存の方法を使えばよい。その既存の方法としては、例えば非特許文献１に述べられている英文文書の単語の重心を抽出する方法がある。また、これに類する方法として、入力画像を既知の方法で二値化し、二値化された画像から既知の方法により連結成分を求め、連結成分の領域の重心を抽出する方法がある。この場合、入力画像に対して、二値化する前にフィルタ処理などの画像処理や画像改善など、画像処理を行っても良い。入力画像の二値化における既知の方法とは、例えば、画素値に対して設定された固定閾値による二値化や、判別二値化など画像の統計的性質を利用して定めた閾値による二値化であるが、これ以外の方法を用いることもできる。また、記登録画像特徴点抽出モジュール１２が画像の特徴点を求める別の方法として、入力画像、もしくは、入力画像に対して既知の方法で画像処理された画像に対し、既知の方法で、コーナーなど画像の局所領域において特徴的な点を抽出しても良い。以上、記登録画像特徴点抽出モジュール１２が画像の特徴点を抽出する方法につき例示したが、これらに限定されるものではなく、登録画像と検索画像とから両者の間で対応する特徴点が多く抽出あるいは計算できる方法であれば、どのような手法を用いても良いことは言うまでもない。

前記登録画像特徴点配置計算モジュール１４は、前記登録画像特徴点抽出モジュール１２で計算された特徴点に基づいて、既知の方法により特徴点の配置を計算し、その計算された特徴点配置を登録画像特徴点組み合わせ格納モジュール１８ａ−２に格納する。前記登録画像特徴点配置計算モジュール１４が画像の特徴点配置を計算する方法としては、例えば非特許文献１に述べられている特徴点配置の計算方法、あるいはこれに準じた方法を用いて特徴点組み合わせを計算することができる。

前記登録画像不変量計算モジュール１６は、非特許文献１に述べられている不変量計算方法あるいはそれに準じた方法に従って、前記登録画像特徴点配置計算モジュール１４で計算された登録画像の特徴点組み合わせと、登録画像特徴点座標格納モジュール１８ａ−１に格納された特徴点座標とに基づいて、不変量リスト（以下、特徴ベクトルと記述することがある。）を計算する。前記登録画像不変量計算モジュール１６は、その計算した特徴ベクトルの各要素を、前記登録画像不変量格納モジュール１８ｂに格納する。なお、前記登録画像特徴点座標格納モジュール１８ａ−１に格納された特徴点座標は、前記登録画像特徴点抽出モジュール１２で計算された特徴点座標と同一なので、前記登録画像特徴点配置計算モジュール１４を通じて前記登録画像不変量計算モジュール１６へ入力しても良い。

前記登録画像不変量格納モジュール１８ｂには、前記登録画像不変量計算モジュール１６で計算された特徴ベクトルが、登録画像を一意に指定できる登録画像番号と、登録画像中の特徴点を一意に指定できる特徴点番号とに対応させて格納される。この場合、前記特徴点番号に関連する特徴点配置を指定できる特徴点配置番号に対応させて格納しても良い。前記登録画像不変量格納モジュール１８ｂに格納された前記情報は、不変量一致判定モジュール３２により参照される。また、前記登録画像不変量格納モジュール１８ｂには、各登録画像から抽出された特徴点の個数、各特徴点に関連する特徴点配置の個数を格納しても良い。

前記登録画像特徴点座標格納モジュール１８ａ−１には、登録画像特徴点抽出モジュール１２で計算された特徴点座標が格納される。前記登録画像特徴点座標格納モジュール１８ａ−１に格納された情報は、前記登録画像不変量計算モジュール１６とパラメータ推定モジュール３４とに参照される。

前記登録画像特徴点組み合わせ格納モジュール１８ａ−２には、前記登録画像特徴点配置計算モジュール１４で計算された特徴点の組み合わせが格納される。前記登録画像特徴点組み合わせ格納モジュール１８ａ−２に格納された情報は、パラメータ推定モジュール３４に参照される。

前記検索画像特徴点抽出モジュール２２は、入力される検索画像からその検索画像の特徴点を抽出すると共に特徴点座標を計算する。前記検索画像特徴点抽出モジュール２２が検索画像の特徴点を抽出する方法としては、前記登録画像特徴点抽出モジュール１２が入力画像の特徴点を抽出する方法と同様のものを用いることができるが、これに限られるものではない。前記検索画像特徴点抽出モジュール２２が検索画像の特徴点を抽出する方法としては、例えば画像処理で得られる検索画像の性質もしくは、登録画像と検索画像との画質の違いなどから、前処理方式や特徴点抽出手法について変更してもよい。
ただし、検索画像から得られる特徴点に対応する特徴点が、登録画像からも計算されることが望ましいため、登録画像および検索画像を取得する条件が同一の場合は、登録画像特徴点抽出モジュール１２と同一の方法を用いることが望ましい。

前記検索画像特徴点配置計算モジュール２４は、前記検索画像特徴点抽出モジュール２２で計算された特徴点に基づいて、既知の方法により特徴点配置を計算する。前記検索画像特徴点配置計算モジュール２４が特徴点配置を計算する方法としては、例えば非特許文献１に述べられている特徴点配置計算方法、あるいはこれに準じた方法を用いて特徴点組み合わせを計算する方法を用いることができる。

前記検索画像不変量計算モジュール３０は、非特許文献１に述べられている不変量計算方法あるいはそれに準じた方法に従って、検索画像特徴点抽出モジュール２２により計算された特徴点座標と、検索画像特徴点配置計算モジュール２４により計算された検索画像特徴点組み合わせとから、特徴ベクトルを計算する。

前記不変量一致判定モジュール３２は、前記登録画像不変量格納モジュール１８ｂに格納されている特徴ベクトルと、前記検索画像不変量計算モジュール２６で計算された特徴ベクトルとが一致するかどうかを判定する。非特許文献１に述べられているように特徴ベクトルの各要素が離散化されているならば、前記不変量一致判定モジュール３２は、単に特徴ベクトルの各要素が一致する場合に一致すると判定することができる。また、前記検索画像特徴点配置計算モジュール２４は、特徴ベクトル対の類似度を、既知の類似度計算方法、例えば市街地距離、ユークリッド距離、誤差二乗和、ベクトル同士の内積、２つのベクトルがなす角度などにより計算し、その計算された類似度が予め定められる一定の範囲内にある場合に一致すると判定するようにしてもよいものである。

前記パラメータ推定モジュール３４は、前記登録画像特徴点配置格納モジュール１８ａ−１に格納された特徴点座標と前記登録画像特徴点の組み合わせと、格納モジュール１８ａ−２に格納された特徴点組み合わせと、前記検索画像特徴点抽出モジュール２２で計算された特徴点座標と前記検索画像特徴点配置計算モジュール２４で計算された検索画像特徴点組み合わせとに基づいて、前記不変量一致判定モジュール３２で一致すると判定された特徴ベクトルが生成される元となる特徴点配置間のパラメータを推定する。前記パラメータ推定モジュール３４は、前記登録画像特徴点組み合わせ格納モジュール１８ａ−２に格納された特徴点組み合わせと、前記検索画像特徴点配置計算モジュール２４で計算された検索画像特徴点組み合わせとが順番を含めて対応付けられていると仮定して、最小二乗法などの既知の手法によりパラメータを計算する。
なお、以下の説明では、幾何変換としてアフィン変換を用いるために、以下の説明では前記パラメータ推定モジュール３４をアフィンパラメータ推定モジュール３４として表記している。前記幾何変換としては、アフィン変換に限られるものではなく、射影変換、相似変換などの既知の変換方法を用いてもよく、前記パラメータ推定モジュール３４は、前記登録画像特徴点組み合わせ格納モジュール１８ａ−２に格納された特徴点組み合わせと、前記検索画像特徴点配置計算モジュール２４で計算された検索画像特徴点組み合わせとが順番を含めて対応付けられていると仮定して、最小二乗法などの既知の手法により、アフィン変換のパラメータ、射影変換のパラメータ、相似変換のパラメータなどを計算するようにしてもよい。

前記パラメータ検証モジュール３６は、前記パラメータ推定モジュール３４で計算されたパラメータが、画像を撮像する撮像系の仕様や画像を取得する条件などから予め定められる所定の範囲内にあるかどうかを検証し、所定の範囲内にあれば入力画像と登録画像との特徴点配置が一致すると判定する。なお、以下の説明では、前記アフィンパラメータ推定モジュール３４で計算されたアフィンパラメータの検証を行うため、前記パラメータ検証モジュール３６をアフィンパラメータ検証モジュール３６として表記する。
前記アフィンパラメータ検証モジュール３６は、後述するアフィンパラメータａ、ｂ、ｃ、ｄで計算される値が所定の範囲内にあるかどうかによってアフィンパラメータを検証するようにしてもよい。その場合、前記アフィンパラメータ検証モジュール３６は、例えば式（１）であるａｄ−ｂｃが登録画像と検索画像との間の面積に関する変動の大きさに相当するので、この値に関する所定の範囲を予め設定し、アフィンパラメータの検証に用いてもよい。

前記一致数格納モジュール４２は、前記アフィンパラメータ検証モジュール３６が一致すると判定した特徴点配置の個数を格納する。

前記画像照合結果計算モジュール４４は、前記一致数格納モジュール４２に格納された一致数をもとにスコアを計算し、最も高いスコアに対応する登録画像に関する登録画像番号など、結果となる登録画像を一意に指定できる情報を画像照合結果として出力する。

次に、図３、図４及び図４に示すフローチャートを参照して本実施形態１の全体の動作について詳細に説明する。

本実施形態の全体の動作は、登録処理と照合処理の２つの処理に分けることができる。まず、図３と、図４とを参照して登録処理について説明する。
先ず、登録画像格納モジュール１８ｂに格納されている、登録画像番号ｚ、特徴点番号ｒｐｉｄ及び特徴点配置番号ｒｄｉｄの値を初期化する（図３のステップＳ１０１）。前記ステップＳ１０１の処理は、後段で説明するステップＳ１０３による処理がはじめて行われる前に実行されていれば良いので、後段で説明するステップＳ１０２の後、あるいは、ステップＳ１０２の中でステップＳ１０１の処理を行うようにしても構わない。

次に、図４のステップＳ１０２の処理を行う。図３及び図４を参照すると、ステップＳ１０２の処理として、まず、登録画像特徴点抽出モジュール１２は、登録画像番号ｚの登録画像ＲＩｚから、その特徴点を抽出し、その特徴点の座標を登録画像特徴点座標格納モジュール１８ａ−１に格納する（図３のステップＳ１０２ａ）。前記登録画像特徴点抽出モジュール１２は、登録画像ＲＩｚの特徴点の個数ＮＦＰ（ｚ）を格納しておいても良い（図３のステップＳ１０２ｂ）。

次に、登録画像特徴点配置計算モジュール１４は、前記登録画像特徴点抽出モジュール１２からの情報、或いは前記登録画像特徴点座標格納モジュール１８ａ−１に格納された情報を得て、登録画像ＲＩｚの特徴点番号ｒｐｉｄから特徴ベクトル生成の元となる特徴点配置の一つである特徴点配置ｉ（ｒｐｉｄ，ｒｄｉｄ）を計算する（図３のステップＳ１０３）。前記登録画像特徴点配置計算モジュール１４が特徴点配置を計算する方法としては、例えば非特許文献１に述べられている特徴点配置計算方法、あるいはこれに準じた方法を用いることができる。もちろん、この手法に限らず、登録画像と検索画像とで対応する特徴点配置が計算できると考えられる手法であれば、適用することが可能である。前記登録画像特徴点配置計算モジュール１４で計算された特徴点配置ｉ（ｒｐｉｄ，ｒｄｉｄ）は登録画像特徴点組み合わせ格納モジュール１８ａ−２に格納される（図３のステップＳ１０４）。

次に、登録画像不変量計算モジュール１６は、前記登録画像特徴量配置計算モジュール１４で計算された登録画像ＲＩｚの特徴点配置ｉ（ｒｐｉｄ，ｒｄｉｄ）に基づいて不変量リストすなわち特徴ベクトルｐｉ（ｒｐｉｄ，ｒｄｉｄ）を計算する（図３のステップＳ１０５）。前記登録画像不変量計算モジュール１６は、ステップＳ１０５にて計算された特徴ベクトルｐｉ（ｒｐｉｄ，ｒｄｉｄ）を登録画像不変量格納モジュール１８ａに格納する（図３のステップＳ１０６）。

以上説明したステップ１０１〜１０６までの処理は、図３のステップＳ１０７、図３のステップＳ１０９、図３のステップＳ１１０の過程において、すべての登録画像番号ｚの特徴点についての特徴点配置ｉ（ｒｐｉｄ、ｒｄｉｄ）に基づく特徴ベクトル（不変量リスト）ｐｉ（ｒｐｉｄ，ｒｐｉｄ）の計算処理が終了するまで継続される。なお、ステップＳ１０７の終了後、登録画像ＲＩｚのｒｐｉｄに関する特徴点配置生成の個数をＮＲＤＩＤ（ｚ，ｒｐｉｄ）として、登録画像不変量格納モジュール１８ｂに格納してもよい（図３のステップＳ１０８）。

次に、図４を参照して照合処理について説明する。先ず、初期化処理を行う。具体的には、すべての登録画像番号ｚについて、登録画像ＲＩｚに関する一致数を０とする（図５のステップＳ２０１ａ）。加えて、検索画像の特徴点番号ｑｐｉｄ、検索画像の特徴点配置番号ｑｄｉｄ、巡回配置を一意に指定する検索画像の巡回配置番号ｑｃｉｄを初期化する（図５のステップ２０１ｂ）。

次に、検索画像特徴抽出モジュール２２は検索画像から特徴点を抽出し、その特徴点の個数と特徴点の座標とを計算する（図５のステップＳ２０２）。その際、前記検索画像特徴抽出モジュール２２は、合わせて、全ての特徴点の個数ＮＦＱをも計算する（図５のステップＳ２０２）。

次に、検索画像特徴点配置計算モジュール２４は、検索画像ＲＩｚの特徴点番号ｑｐｉｄから特徴ベクトル性性の元となる特徴点配置の一つである特徴点配置ｊ（ｑｐｉｄ，ｑｄｉｄ）を計算する（図５のステップＳ２０３）。前記検索画像特徴点配置計算モジュール２４が特徴点配置を計算する方法としては、例えば非特許文献１に述べられている特徴点配置計算方法、あるいはこれに準じた方法を用いて特徴点組み合わせを用いることができる。

次に、登録画像番号ｚ、特徴点番号ｒｐｉｄ、特徴点配置番号ｒｄｉｄを１で初期化する（図５のステップＳ２０４）。このステップＳ２０４は、ステップＳ２０３の直前に行うようにしても良い。

次に、検索画像不変量計算モジュール２６は、前記検索画像特徴点配置計算モジュール２４で計算された検索画像の特徴点配置ｊ（ｑｐｉｄ，ｑｄｉｄ，ｑｃｉｄ）に基づいて不変量リストすなわち特徴ベクトルｑ（ｑｐｉｄ，ｑｄｉｄ，ｑｃｉｄ）を計算する。

次に、不変量一致判定モジュール３２は、前記検索画像不変量計算モジュール２６で計算された検索画像の特徴点配置ｊ（ｑｐｉｄ，ｑｄｉｄ，ｑｃｉｄ）に関する特徴ベクトルと、前記登録画像不変量計算モジュール１６で計算された登録画像ＲＩｚの特徴点配置ｉ（ｒｐｉｄ，ｒｄｉｄ）に関する特徴ベクトルとが一致しているかが判定される（図５のステップＳ２０６）。

前記不変量判定モジュール３２は、前記特徴ベクトル同士が一致していると判断した場合、その判断結果がアフィンパラメータ推定モジュール３４に出力する（図５のステップ２０６；ＹＥＳ）。
前記不変量判定モジュール３２が一致していないと判断した場合、処理を図５のステップＳ２１０に移行させる。

前記アフィンパラメータ推定モジュール３４は、登録画像ＲＩｚの特徴点配置ｉ（ｒｐｉｄ，ｒｄｉｄ）と登録画像特徴点座標格納モジュール１８ａ−１に格納されている特徴点座標と、検索画像の特徴点配置ｊ（ｑｐｉｄ，ｑｄｉｄ，ｑｃｉｄ）と検索画像特徴点抽出モジュール２２で計算された特徴点座標から、アフィンパラメータを推定する（図５のステップ２０７）。前記アフィンパラメータ推定モジュール３４は、その推定結果をアフィンパラメータ検証モジュール３６に出力する。

前記アフィンパラメータ検証モジュール３６は、前記アフィンパラメータ推定モジュール３４で推定されたアフィンパラメータまたは、アフィンパラメータから計算される値が、画像を撮像する撮像系の仕様や画像を取得する条件などから予め定められた所定の変動の範囲内にあるかどうかが検証する（図５のステップＳ２０８）。

前記アフィンパラメータ検証モジュール３６が前記所定の変動の範囲内にあることを検証した場合には、図示しない制御部は、図５のステップＳ２０９の処理を行う。前記アフィンパラメータ検証モジュール３６が前記所定の変動の範囲内にないことを検証した場合には、図示しない制御部は、図５のステップＳ２１０の処理を行う。

図５のステップＳ２０９では、登録画像ＲＩｚの一致数を１増加させる。ステップＳ２０９が終了すると、ステップＳ２１０の処理が行われる。ステップＳ２１０からステップＳ２１５までの判定、およびステップＳ２１７からステップＳ２２２までの処理は、すべての登録画像番号、特徴点番号、特徴点配置番号に関する特徴点配置を、検索画像のすべての特徴点番号、特徴点配置番号、巡回配置番号に関する特徴点配置と照合するための反復処理を行うための処理である。

前記反復処理が終了した後、各登録画像の一致数が一致数格納モジュール４２に格納される。画像照合結果計算モジュール４４は、一意数格納モジュール４４に格納されている一致数を利用してスコアを計算し、最も良いスコアの登録画像を同定・検索結果として出力する（図５のステップＳ２１６）。画像照合結果計算モジュール４４が前記スコアを計算する方法としては、非特許文献１に記載の方法を用いても良いし、単に一致数をスコアとして計算する方法であってもよい。

次に、本実施形態１の効果について説明する。本実施形態１は、汎用方式と同等である不変量一致判定モジュールによる特徴点配置の一致判定結果と、アフィンパラメータ推定モジュールで推定されたアフィンパラメータをアフィンパラメータ検証モジュールによる検証結果とを併用するように構成されているため、高精度な特徴点配置照合および画像照合を行うことができる。

また、本実施形態１では、汎用方式と同等である不変量一致判定モジュールによる特徴点配置の一致判定の結果、一致と判定された特徴点配置に対してのみアフィンパラメータ検証モジュールを行うように構成されている。不変量による一致判定は、アフィンパラメータを推定し、アフィンパラメータに関する検証するよりも高速であるため、すべての特徴点配置についてアフィンパラメータを推定し、アフィンパラメータに関する検証を行うよりも高速な特徴点配置照合および画像照合を行うことができる。

（実施形態２）
次に、本発明を実施するための最良の実施形態２について図６を参照して詳細に説明する。

図６に示す本発明の実施形態２に係る特徴点配置照合装置１１０ｂは図１の特徴点配置照合装置１０ｂに相当するものであって、この特徴点配置照合装置１１０ｂを応用した画像照合装置１１０ａは図１の画像照合装置１０ａに相当するものである。

図６に示す本発明の実施形態２に係る特徴点配置照合装置１１０ｂと図１に示す特徴点配置照合装置１１０ｂ、図６に示す本発明の実施形態２に係る画像照合装置１１０ａと図１に示す画像照合装置１０ａとを比較すると、本実施形態２は、図１のアフィンパラメータ検証モジュール３４として、特徴点配置一致判定モジュール１３６を用いている点が図１の実施形態１と異なっている。その他の構成はは図１に示す実施形態１と同様であり、図６の構成を示す符号のみが図１の構成を示す符号と異なっているのみである。

前記特徴点配置一致判定モジュール１３６は、不変量一致判定モジュール１３２で計算された特徴ベクトル対の類似度と、アフィンパラメータ推定モジュール３４で計算されたアフィンパラメータ値との双方を用いて、特徴点配置の一致判定を行う。

次に、図７のフローチャートを参照して本実施形態２の全体の動作について詳細に説明する。本実施形態２の動作は、図１の実施形態１での照合処理におけるステップＳ２０８の処理がステップＳ３０８で置き換わっている点である。

図６の実施形態２の動作を説明する図７のステップＳ３０８では、特徴点配置一致判定モジュール１３６は、不変量一致判定モジュール１３２で計算された特徴ベクトル対の類似度、図７のステップＳ３０７にてアフィンパラメータ推定モジュール１３４で推定されたアフィンパラメータ値またはアフィンパラメータから計算される値、あるいは、これらの値から計算される値が、画像を撮像する撮像系の仕様や画像を取得する条件などから予め定められた所定の変動の範囲内にあるかどうかを検証している。この場合、図７のステップＳ３０７で行われる不変量に関する一致判定は、図７のステップＳ３０８で行われる一致判定において不変量が満たすべき要件よりも緩和するか、あるいは異なる類似度による一致判定を行うことが望ましい。なぜならば、図７のステップＳ３０７で行われる不変量に関する一致判定が、不変量に関する同一の類似度に関して、図７のステップＳ３０８で行われる一致判定における一致判定において不変量が満たすべき要件よりも厳しい場合には、図７のステップＳ３０８で行われる一致判定において不変量が満たすべき要件を必ず満たさないことになり、当該部分に関して無駄な判定処理となるためである。また、図７のステップＳ３０７にて行われる不変量に関する一致判定の特別な場合として、すべての特徴ベクトル対を一致すると判定（例えば、類似度に関する一致判定閾値を無限大にすることに相当）する場合には、すべての特徴点配置についてアフィンパラメータ値が推定される。
特徴点配置一致判定モジュール１３６は、推定されたアフィンパラメータもしくはアフィンパラメータ値と、特徴ベクトル対の類似度とから特徴点配置について一致判定を行う。

以上説明したように本発明の実施形態２によれば、上述した実施形態１と同様な効果を享受できるのに加えて、本実施形態での特徴的なステップＳ３０８の処理によって不必要な処理実行時間を回避できるので、より高速な特徴点配置照合及び画像照合を実現することができる。

（実施形態３）
次に、本発明を実施するための最良の実施形態３について図８を参照して詳細に説明する。図８に示す本発明の実施形態３は、図１に示すハードウェアで構築した実施形態１の構成をソフトウエアで構築した場合の例を示すものである。

本発明の実施形態３に係るプログラムはコンピュータに読み込まれ、コンピュータが読み込んだプログラムを実行することにより、コンピュータは、図８に示す特徴点配置照合装置２０２及び画像照合装置２０１の機能、すなわち、登録画像特徴点抽出装置２１２の機能、登録画像特徴点配置計算装置２１４の機能、登録画像不変量計算装置２１６の機能、検索画像特徴点抽出装置２２２の機能、検索画像特徴点配置計算装置２２４の機能、検索画像不変量計算装置２２６の機能、不変量一致判定装置２３２の機能、アフィンパラメータ推定装置２３４の機能、アフィンパラメータ検証装置２３６の機能、画像照合結果計算装置２４４の機能をそれぞれ実行する。
なお、一致数格納装置２４２、登録画像不変量格納装置２１８ｂ、登録画像特徴点配置格納装置２１８ａは、コンピュータに付属するハードディスクなどの記録媒体を利用している。

前記登録画像特徴点抽出装置２１２は登録画像特徴点抽出用プログラムの制御により、実施形態１における登録画像特徴点抽出モジュール１２と同一の機能を実行する。前記登録画像特徴点配置計算装置２１４は登録画像特徴点配置計算用プログラムの制御により、実施形態１における登録画像特徴点配置計算モジュール１４と同一の機能を実行する。前記登録画像不変量計算装置２１６は登録画像不変量計算用プログラムの制御により、実施形態１における登録画像不変量計算モジュール１６と同一の機能を実行する。前記検索画像特徴点抽出装置２２２は検索画像特徴点抽出用プログラムの制御により、実施形態１における検索画像特徴点抽出モジュール２２と同一の機能を実行する。前記検索画像特徴点配置計算装置２２４は検索画像特徴点配置計算用プログラムの制御により、実施形態１における検索画像特徴点計算モジュール２２と同一の機能を実行する。

前記検索画像不変量計算装置２２６は検索画像不変量計算用プログラムの制御により、実施形態１における検索画像不変量計算モジュール２６と同一の機能を実行する。前記不変量一致判定装置２３２は不変量一致判定用プログラムの制御により、実施形態１における不変量一致判定モジュール３２と同一の機能を実行する。前記アフィンパラメータ推定装置２３４はアフィンパラメータ推定用プログラムの制御により、実施形態１におけるアフィンパラメータ推定モジュール３４と同一の機能を実行する。前記アフィンパラメータ検証装置２３６はアフィンパラメータ検証用プログラムの制御により、実施形態１におけるアフィンパラメータ検証モジュール３６と同一の機能を実行する。前記画像照合結果計算装置２４４は画像照合結果計算用プログラムの制御により、実施形態１における画像照合結果計算モジュール４４と同一の機能を実行する。

前記登録画像特徴点抽出装置２１２、前記登録画像特徴点配置計算装置２１４、前記登録画像不変量計算装置２１６、前記検索画像特徴点抽出装置２２２、前記検索画像特徴点配置計算装置２２４、前記検索画像不変量計算装置２２６、前記不変量一致判定装置２３２、前記アフィンパラメータ推定装置２３４、前記アフィンパラメータ検証装置２３６、前記画像照合結果計算装置２４４は必ずしも独立したコンピュータにより構成する必要はなく、２つ以上の装置を統合して１つの装置で構成することができる。このとき、読み込まれるプログラムは統合前に組み込まれている装置による処理が行われるように制御するプログラムである。
例えば、登録画像特徴点抽出装置２１２、登録画像特徴点配置計算装置２１４、登録画像不変量計算装置２１６、検索画像特徴点抽出装置２２２、検索画像特徴点配置計算装置２２４、検索画像不変量計算装置２２６、不変量一致判定装置２３２、アフィンパラメータ推定装置２３４、アフィンパラメータ検証装置２３６、画像照合結果計算装置２４４を統合した画像照合装置２０１は、画像照合用プログラムの制御により、実施形態１における画像処理装置１０ａと同一の機能を実行する。
また、登録画像特徴点配置計算装置２１４、登録画像不変量計算装置２１６、検索画像特徴点配置計算装置２２４、検索画像不変量計算装置２２６、不変量一致判定装置２３２、アフィンパラメータ推定装置２３４、アフィンパラメータ検証装置２３６を統合した画像照合装置２０２は、特徴点配置照合用プログラムの制御により、実施形態１における特徴点配置装置１０ｂと同一の機能を実行する。

（実施形態４）
次に、本発明を実施するための最良の実施形態４について図９を参照して詳細に説明する。図９に示す本発明の実施形態４は、図８に示す実施形態３のアフィンパラメータ検証装置２３６として、特徴点配置一致判定装置３３６を用いている点が異なっている。その他の構成は図８に示す実施形態３の構成と同様であり、図８に示す構成と符号が異なっているのみである。

前記特徴点配置一致判定装置３３６はコンピュータにより構成される装置であり、特徴点配置一致判定用プログラムの制御により、図６に示す実施形態２の特徴点配置一致判定モジュール１３６と同一の機能実行する。

２つ以上の装置を統合して１つの装置で構成することができるのは、本発明の実施形態３と同様である。この場合、読み込まれるプログラムは統合前に組み込まれている装置による処理が行われるように制御するプログラムである。
例えば、登録画像特徴点抽出装置３１２、登録画像特徴点配置計算装置３１４、登録画像不変量計算装置３１６、検索画像特徴点抽出装置３２２、検索画像特徴点配置計算装置３２４、検索画像不変量計算装置３２６、不変量一致判定装置３３２、アフィンパラメータ推定装置３３４、特徴点配置一致判定装置３３６、画像照合結果計算装置３４４を統合した画像照合装置３０１は、画像照合用プログラムの制御により、実施形態１における画像処理装置１０ａと同一の機能を実行する。

また、登録画像特徴点配置計算装置３１４、登録画像不変量計算装置３１６、検索画像抽出装置３２２、画面検索画像特徴点配置計算装置３２４、検索画像不変量計算装置３２６、不変量一致判定装置３３２、アフィンパラメータ推定装置３３４、特徴点配置一致判定装置３３６を統合した特徴点配置照合装置３０２は、特徴点配置照合用プログラムの制御により、実施形態１における特徴点配置装置１０ｂと同一の機能を実行する。

（実施形態５）
次に、本発明の実施形態を具体例を用いて更に詳細に説明する。
本実施形態５では、図１０に示す登録画像ＲＩ１と図１１に示す登録画像ＲＩ２との２つの登録画像と、図１２に示す検索画像ＱＩとを用いて説明する。図１１に示す登録画像ＲＩ２は図１０に示す登録画像ＲＩ１をほぼ２倍に拡大し、かつ平行移動した画像である。また、図１０に示す登録画像ＲＩ１と検索画像ＱＩとは、平行移動されているが、大きさはほぼ同一の画像である。これを条件として、先ず、登録画像に関する登録処理を行う。
図３のステップＳ１０１にて初期化を行う。ここでは、登録画像番号ｚ＝１、特徴点番号ｒｐｉｄ＝１、特徴点配置番号ｒｄｉｄ＝０で初期化する。
次に図３のステップ１０２ａ、１０２ｂの処理を行う。登録画像番号ｚ＝１であるので、図１０に示す登録画像ＲＩ１についての処理が行われる。登録画像特徴点抽出モジュール１２は、登録画像ＲＩ１から特徴点を抽出し、その特徴点の座標を抽出する。前記登録画像特徴点抽出モジュール１２が登録画像の特徴点を抽出する方法としては、例えば固定二値化による二値化を行った後、それらの連結成分を求め、その重心を特徴点として抽出する。前記登録画像特徴点抽出モジュール１２は、例えば図１３に示すように登録画像から８個の特徴点を抽出下とする。図９中の番号１から８は、特徴点番号ｒｐｉｄにそれぞれ相当する。特徴点番号ｒｐｉｄと特徴点の座標（平面座標でのＸ座標とＹ座標）とは図１０に示すように対応させて特徴点座標格納モジュール１８ａ−１に格納される。

次に、図３のステップＳ１０３から図３のステップＳ１０９までの処理を行う。これらの処理は、登録画像ＲＩ１から、計算しうるすべての特徴点配置および特徴ベクトルを計算するための処理である。具体的に説明する。

すなわち図３のステップＳ１０３において、登録画像特徴点配置計算モジュール１４は、（Ａ）登録画像の１つを取り出す処理を行う。
次に、登録画像特徴点配置計算モジュール１４は、（Ｂ）特徴点の集合から１点を取り出して特徴点ｐとし、その特徴点ｐの近傍のｎ個の点を取り出して特徴点Ｐｎとする処理を行う。
登録画像特徴点配置計算モジュール１４は、（Ｃ）特徴点の近傍にあるｎ個の特徴点Ｐｎからｍ点を取り出し、特徴点Ｐｍとする処理を行う。
次に、登録画像特徴点配置計算モジュール１４は、（Ｄ）取り出されたｍ点の特徴点Ｐｍの要素に対して適当な一つの点を特徴点ｐ０として選び、特徴点ｐを中心に据え特徴点ｐ０を先頭として時計回りに並べて特徴点の列Ｌｍを生成する処理を行う。
次に、登録画像特徴点配置計算モジュール１４は、（Ｅ）特徴点の列Ｌｍから順序を保存してｆ点を選択するすべての特徴点の列Ｌｆを求め、辞書式順序に並べる処理を行う。
登録画像特徴点配置計算モジュール１４は、例えば、ｍ＝７、ｆ＝５のときには、
[（Ｌｆ（０）、・・・、Ｌｆ（γＣ５―１））として、
[（ｐ０、ｐ１、ｐ２、ｐ３、ｐ４）、（ｐ０、ｐ１、ｐ２、ｐ３、ｐ５）、・・・、（ｐ２、ｐ３、ｐ４、ｐ５、ｐ６）]を得る。

登録画像特徴点配置計算モジュール１４は、前記（Ａ）〜（Ｅ）の処理において、（Ａ）の処理では、すべての登録画像について処理を行うまで処理が継続するよう制御する。また、登録画像特徴点配置計算モジュール１４は、前記（Ａ）〜（Ｅ）の処理において、（Ｂ）の処理では、すべての特徴点をｐを選択するまで処理が継続するよう制御する。さらに、登録画像特徴点配置計算モジュール１４は、前記（Ａ）〜（Ｅ）の処理において、（Ｃ）の処理では、ｎ個の点から得られるすべてのｍ点の組み合わせについて処理を行うまで処理が継続するよう制御する。

ここで、登録画像特徴点配置計算モジュール１４では、広い範囲の近傍点から複数の点の組み合わせを作成し、そこから複数の特徴量を計算する。これは、射影歪みの影響があっても、ある程度広い範囲の近傍のｎ点のうち、ｍ点までは同じ点が含まれるという仮定に基づいている。近傍ｎ点のうちｍ点が同一であるならば、ｎ点からすべてのｍ点の組み合わせＰ_ｍ（０）、Ｐ_ｍ（１）、・・・、Ｐ_{ｍ（ｎＣｍ−１）}を作成し、それぞれの特徴量を計算することで、少なくとも１つは同じ特徴量が得られる。ｍ点の配置の表現方法としては、ｍ点から得られるすべてのｆ点の組み合わせから計算される不変量の列ｒ（０）、ｒ（１）、・・・、ｒ（ｍＣ_ｆ−１）を用いる。

登録画像特徴点配置計算モジュール１４は、ｎ＝７、ｍ＝６とするので、例えば特徴点番号ｒｐｉｄ＝３、特徴点配置番号ｒｄｉｄ＝１に関する特徴点の組み合わせとして、（２，５，６，８，４，１）を得る。そして、登録特徴点配置計算モジュール１４は図１５に示すように、特徴点番号、特徴点配置番号とともに、前記特徴点の組合せを対応させて登録画像特徴点配置格納モジュール１８ａに格納する。

登録画像不変量計算モジュール１６は、同一平面上の４点ＡＢＣＤ（ｆ＝４）の座標からＰ（Ａ、Ｃ、Ｄ）／Ｐ（Ａ、Ｂ、Ｃ）で計算＜ここで、Ｐ（Ａ、Ｂ、Ｃ）は、頂点Ａ、Ｂ、Ｃが成す三角形の面積＞されるアフィン不変量などによる不変量計算方法あるいはそれに準じた方法に従って、登録画像特徴点配置計算モジュール１４により計算された登録画像特徴点組み合わせと、登録画像特徴点座標格納モジュール１８ａ―１に格納された特徴点座標とから、不変量リスト（以下、特徴ベクトルと記述することがある。）を計算する。計算された特徴ベクトルの各要素は、登録画像不変量格納モジュール１８ｂに格納される。

図３のステップＳ１０５において、登録画像不変量計算モジュール１６は特徴ベクトルを計算する。ここでは、登録画像不変量計算モジュール１６は非特許文献１に記載した、登録処理に関する処理（Ｅ）に準じる方法として、特徴点組み合わせからある一定の規則で特徴ベクトルを計算する。ここで、ｍ＝６かつｆ＝４としているので、登録画像不変量計算モジュール１６は、１５個の要素からなる特徴ベクトルを生成する。具体的には登録画像不変量計算モジュール１６は、前記各要素について図１６に示す組み合わせから不変量を計算するための特徴点番号ｆｖ１、ｆｖ２、ｆｖ３、ｆｖ４を取得し、図１４を参照することにより、特徴点ｆｖ１の座標（ｆｖ１ｘ，ｆｖ１ｙ）、特徴点ｆｖ２の座標（ｆｖ２ｘ，ｆｖ２ｙ）、特徴点ｆｖ３の座標（ｆｖ３ｘ，ｆｖ３ｙ）、特徴点ｆｖ４の座標（ｆｖ４ｘ，ｆｖ４ｙ）の座標を獲得し、獲得された座標値から、値

によりアフィン不変量（特徴ベクトル）を計算することにより得る。この式で計算される値がアフィン変換に関し不変量であることは、（非特許文献２）中に記載されているアフィン不変量から容易に計算できる。結果として、図１５に示すように、特徴ベクトルが格納される。例えば、特徴点番号ｒｐｉｄ＝３、特徴点配置番号ｒｄｉｄ＝１に対する特徴ベクトルは（0.398…，0.294…，0.408…，1.024…，1.317…，12.927…，0.760…，0.977…，13.456…，13.088…，0.036…，0.034…，0.916…，2.770…，2.016…）となる。
（非特許文献２）佐藤淳著、コンピュータビジョン、コロナ社、１９９９年、５６〜５９頁

登録画像ＲＩ１について、図３のステップＳ１０２からステップＳ１０９の処理が終了すると、図１１に示すように不変量、特徴点組み合わせが計算される。その後、図３のステップＳ１１０の処理へ進む。

図３のステップＳ１１０において、不変量一致判定モジュール３２は、登録画像の数が２であるので、ＮＯである判定結果を出力する。従って、登録画像番号ｚ＝２、特徴点番号ｒｐｉｄ＝１、特徴点配置番号ｒｄｉｄ＝１として、図１７に示す登録画像ＲＩ２について図３のステップＳ１０２以降の処理が行われる。登録画像ＲＩ２に関する図３のステップＳ１０２からステップＳ１０９までの処理は、登録画像ＲＩ１における処理と同様なので、説明を省略する。

登録画像ＲＩ２について、登録画像特徴点抽出モジュール１２は、図１８に示すような特徴点８個を抽出し、図１９に示す特徴ベクトル、特徴点組み合わせと、図２０に示す特徴点座標を計算する。例えば、特徴点番号ｒｐｉｄ＝３、特徴点配置番号ｒｄｉｄ＝１に対する特徴ベクトルは（0.398…，0.294…，0.408…，1.024…，1.317…，12.927…，0.760…，0.977…，13.456…,
13.088…，0.036…，0.034…，0.916…，2.770…，2.016…）となる。なお、図１８には、特徴点番号があわせて表記されている。

次に、検索画像ＱＩに関する照合処理について説明する。まず、図５のステップＳ２０１ａ、ステップＳ２０１ｂの処理を行う。すべての検索画像番号ｚに関して登録画像ＲＩｚの一致数を０とする。また、特徴点番号ｑｐｉｄ，特徴点配置番号ｑｄｉｄ，巡回配置番号ｑｃｉｄの値を初期化する。ここでは、特徴点番号ｑｐｉｄ＝１、特徴点配置番号ｑｄｉｄ＝０、巡回配置番号ｑｃｉｄ＝０で初期化する。

次に、図５のステップＳ２０２のいて、検索画像特徴点抽出モジュール２２による処理を行う。この処理は図３のステップＳ１０２での登録画像特徴点抽出モジュール１２による処理と同様であるため、処理内容の詳細は省略する。検索画像特徴点抽出モジュール２２は、図１６に示すような検索画像から特徴点８個を抽出し、特徴ベクトル、特徴点組み合わせと、図２０に示す特徴点座標を計算する。なお、図２１には、特徴点番号があわせて表記されている。

次に、図５のステップＳ２０３からステップＳ２１５およびステップＳ２１７からステップＳ２２２までの処理を行う。これらの処理は、検索画像ＱＩから、計算しうるすべての特徴点配置および特徴ベクトルを計算し、特徴ベクトルによる照合とアフィンパラメータによる照合を行うための処理である。

図５のステップＳ２０３においては、検索画像特徴点配置計算モジュール２４は、登録画像特徴点抽出モジュール１４と同様の上述した（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）の処理を行う。図５のステップＳ２０５では、検索画像不変量計算モジュール２６は、不変量すなわち特徴ベクトルを計算する。検索画像不変量計算モジュール２６が実行する特徴ベクトルの計算は、図３のステップＳ１０５で登録画像不変量計算モジュール１６が行う特徴点ベクトルの計算方法と同一の方法を用いるため、説明を省略する。検索画像不変量計算モジュール２６が計算した、例えば、特徴点番号ｑｐｉｄ＝３、特徴点配置番号ｑｄｉｄ＝１、巡回配置番号ｑｃｉｄ＝０に対する特徴ベクトルは、（0.398…，0.294…，0.408…，1.024…，1.317…，12.927…，0.760…，0.977…，13.456…，13.088…，0.036…，0.034…，0.916…，2.770…，2.01671）となる。

次に、図５のステップＳ２０６にて、不変量一致判定モジュール３２は、前記検索画像の特徴ベクトルと、登録画像不変量格納モジュール１８ａに格納されている登録画像ＲＩｚの特徴点配置ｉ(ｒｐｉｄ，ｒｄｉｄ)に関する特徴ベクトルとの照合を行う。この例では、不変量一致判定モジュール３２は、照合に関する判定基準として、特徴ベクトルの誤差二乗和が閾値０．００１を超えない場合に前記特徴ベクトルが一致したと判定する。例えば、登録画像の登録画像番号ｚ＝１、登録画像の特徴点番号ｒｐｉｄ＝３、登録画像の特徴点は一番号ｒｑｉｄ＝１である場合、登録画像の登録画像番号ｚ＝１（つまり登録画像ＲＩ１）、登録画像の特徴点番号ｒｐｉｄ＝３、登録画像番号の特徴点配置番号ｒｑｉｄ＝１に対する特徴ベクトルは、（0.398…，0.294…，0.408…，1.024…，1.317…，12.927…，0.760…，0.977…，13.456…，13.088…，0.036…，0.034…，0.916…，2.770…，2.016…）であるので、誤差二乗和の値は、0.0000…となり、不変量一致判定モジュール３２は、前記特徴ベクトルが一致したとして判定する。また、登録画像の登録画像番号ｚ＝２（つまり登録画像ＲＩ２）、登録画像の特徴点番号ｒｐｉｄ＝３、登録画像の特徴点配置番号ｒｑｉｄ＝１に対する特徴ベクトルとの誤差二乗和も、0.0000…となるので、不変量一致判定モジュール３２は前記特徴ベクトルが一致したとして判定する。

次に、図５のステップＳ２０７にて、アフィンパラメータ推定モジュール３４は、不変量一致判定モジュール３２が一致したとして判定した特徴ベクトルを生成する元となった特徴点配置から、アフィンパラメータを推定する。アフィンパラメータ推定モジュール３４が実行するアフィンパラメータの推定方法は、例えば、以下で説明するような方法である。すなわち、アフィンパラメータ推定モジュール３４は図５のステップＳ２０６で不変量一致判定モジュール３２が一致と判定された特徴ベクトルを生成した元となる特徴点組み合わせを、順番も含めて一致すると仮定する。つまり、登録画像に関する特徴点組み合わせ中の各特徴点ｉｄｋ（１≦ｋ≦６）の座標を（ｘｋ，ｙｋ）、検索画像に関する特徴点組み合わせ中の各特徴点の座標を（ｘｋ’，ｙｋ’）とすると、（ｘｋ，ｙｋ）と（ｘｋ’，ｙｋ’）との間に、

なる関係がある。ここで、ａ，ｂ，ｃ，ｄ，ｅ，ｆは、アフィンパラメータである。これを変形すると、

を用いて
α＝Ｘβ
となる。これから、βを最小二乗法により推定すると、その推定値は、

として求められる。これに基づいてアフィンパラメータ推定モジュール３４は、計算を行うと、登録画像ＲＩ１のｒｐｉｄ＝３、ｒｑｉｄ＝１に関する特徴点配置と、検索画像のｑｐｉｄ＝３、ｑｄｉｄ＝１、ｑｃｉｄ＝０に関する特徴点配置の場合、a = 1.00…, b = -0.00…, c = -0.00…, d = 1.00…, e = -51.00…, f=40.00… を得る。

次に、図５のステップＳ２０８において、アフィンパラメータ検証モジュール３６は、図５のステップＳ２０７でアフィンパラメータ推定モジュール３４が推定したアフィンパラメータ値が所定の範囲内にあるかどうかを検証する。所定の範囲をどのように定めるかは、画像を取得する条件により定めることができる。例えば、

であると仮定する。これは、（ｘｋ、ｙｋ）をθだけ回転させたものを、ｘ方向にＡ倍、ｙ方向にＢ倍し、(e,f)だけ平行移動した変形を表している。本実施例では、１／１．３≦Ａ≦１．３、１／１．３≦Ｂ≦１．３、−３０°≦θ≦３０°を所定の範囲とする。このとき、ａ，ｂ，ｃ，ｄのとりうる範囲は、次のようになる。

アフィンパラメータ検証モジュール３６は、アフィンパラメータ推定モジュール３４で計算したａ、ｂ、ｃ、ｄの値のすべてが、これらの範囲内に収まっていれば、所定の範囲内にあると判定する。a = 1.00…, b = -0.00…, c = -0.00…, d = 1.00…, e = -51.00…, f=40.00…の場合は、これを満たしているので、アフィンパラメータ検証モジュール３６は、所定の範囲を満たしていると判定する。従って、図５のステップＳ２０９で、登録画像ＲＩ１に関する一致数を１増加させる処理を行う。

登録画像ＲＩ２のｒｐｉｄ＝３、ｒｑｉｄ＝１に関する特徴点配置と、検索画像のｑｐｉｄ＝３、ｑｄｉｄ＝１、ｑｃｉｄ＝０に関する特徴点配置の場合は、アフィンパラメータ推定モジュール３２での計算により、a = 0.50…, b = -0.00…, c = -0.00…, d = 0.50…, e = -3.75…, f = 49.25…
となる。これは、ａとｄの値が満たすべき所定の範囲にないので、アフィンパラメータ検証モジュール３６は、一致していないと判定する。従って、図５のステップＳ２０９にて、登録画像ＲＩ２に関する一致数を１増加させる処理は行われない。

図５のステップＳ２０３からステップＳ２１５およびステップＳ２１７からステップＳ２２２までの処理が終了すると、ステップＳ２１６での画像照合結果計算モジュール４４による処理が行われる。ここでは、画像照合結果計算モジュール４４は、単に各登録画像に対する一致数をそのままスコアとして利用し、最もスコアの高い登録画像番号を出力する。本例では、登録画像ＲＩ１に関するスコアが７４、登録画像ＲＩ２に関するスコアが０となるので、画像照合結果計算モジュール４４は登録画像番号１を出力する。

以上のように本発明の実施形態によれば、予め合理的な画像を取得する条件が仮定できる場合、前記画像取得条件などから予め定められる所定の範囲を定め、それを利用することにより、汎用技術である不変量を要素とした特徴ベクトルの照合のみによる照合と比較して、より精度の良い照合が可能である。

さらに本発明の実施形態によれば、アフィン変換であるとみなせる登録画像と検索画像との間の変動の範囲が予め制限できる場合に、高精度に照合できる特徴点配置照合装置を提供することにある。その理由は、その制限を照合に利用することにより高精度に照合できるためである。

さらに本発明の実施形態によれば、アフィン変換であるとみなせる登録画像と検索画像との間の変動の範囲が予め制限できる場合に、高精度に、かつ、高速に照合できる特徴点配置照合装置を提供することができる。その理由は、その制限を照合に利用することにより高精度に照合できるため、また、汎用の方式と同等である不変量一致判定モジュールによる特徴点配置の一致判定の結果、一致と判定された特徴点配置に対してのみアフィンパラメータ検証モジュールを行うように構成されているである。

さらに本発明の実施形態によれば、アフィン変換であるとみなせる登録画像と検索画像との間の変動の範囲が予め制限できる場合に、高精度に照合できる画像照合装置を提供することができる。その理由は、本発明の実施形態に係る特徴点配置照合装置を利用しているためである。

さらに本発明の実施形態によれば、アフィン変換であるとみなせる登録画像と検索画像との間の変動の範囲が予め制限できる場合に、高精度に、かつ、高速に照合できる画像照合装置を提供することができる。その理由は、本発明の実施形態に係る特徴点配置照合装置を利用しているためである。

（実施形態６）
次に、本発明の実施形態６について、図２２を用いて説明する。図２２に示す実施形態６の構成は、図１に示す実施形態１の構成に対して、パラメータ空間投票数格納モジュール４４６と、一致数計算モジュール４４８を付加したものである。パラメータ空間投票数格納モジュール４４６と、一致数計算モジュール４４８以外の各構成要素は、実施形態１の構成で説明したものと同一のものであって、その構成とは符号が異なるのみである。

パラメータ空間投票数格納モジュール４４６は、アフィンパラメータ検証モジュール４３６にて一致すると判定された特徴点配置の個数を、複数の投票数格納領域を持ち、おおよそ同様の値をもつアフィンパラメータの組ごとに分類して格納する。ここで、第１の特徴点群と第２の特徴点群から推定されるアフィンパラメータの値に応じて格納する領域を定めるために用意されている。具体的にどのように投票数が格納されるかは、後述する、パラメータ空間投票数格納モジュール４４６、一致数計算モジュール４４８の動作を説明する際に詳述する。

一致数計算モジュール４４８は、パラメータ空間投票数格納モジュール４４６に格納された一つ以上の投票数格納領域に格納された投票数から、一致数格納モジュール４４２に格納される一致数を計算する。具体的にどのように複数の一致数が格納されるかは、後述する、パラメータ空間投票数格納モジュール４４６、一致数計算モジュール４４８の動作の説明の際に述べる。

次に、実施形態６の処理の流れを説明する。実施形態６の処理の流れは、実施形態１の処理の流れを示した図（図５）から、照合処理が一部変更されているのみである。変更された箇所は次の通りである。ステップＳ２０５とステップＳ２０６の間にステップＳ４０５１（図２３参照）が追加されること、ステップＳ２０９の処理がステップＳ４０９（図２４参照）により置き換えられること、および、ステップＳ２１１とステップＳ２１２の間にステップＳ４１１１（図２５参照）が追加されることの３点である。

以下、ステップＳ４０５１、ステップＳ４０９、ステップＳ４１１１の動作について説明する。
[登録画像毎に一度行う前処理：ステップＳ４０５１]
ステップＳ４０５１の動作を、図２６を用いて説明する。あらかじめパラメータａ、ｂ、ｃ、ｄが取り得る値の範囲と、登録画像上の点（ｘ，ｙ）、検索画像上の点（ｘｑ，ｙｑ）のとりうる値の範囲を定める（ステップＳ４０５１１）。
例えば、アフィンパラメータ検証モジュール４３６が検証する際に利用するａ、ｂ、ｃ、ｄの値に関する所定の範囲をａ、ｂ、ｃ、ｄについて取り得る値と定めることができる。例えば、ａの取り得る値は、ａｍｉｎ≦ａ≦ａｍａｘ、ｂの取り得る範囲をｂｍｉｎ≦ｂ≦ｂｍａｘ、ｃの取り得る範囲をｃｍｉｎ≦ｃ≦ｃｍａｘ、ｄの取り得る範囲をｄｍｉｎ≦ｄ≦ｄｍａｘであるとする。
また、１≦ｘ≦ｘｍａｘ、１≦ｙ≦ｙｍａｘで定義される領域を持つ画像となるような、ｘｍａｘ、ｙｍａｘを取得する。これは、登録画像のサイズ（幅もしくは高さ）を用いればよい。同様に、（ｘｑ，ｙｑ）についても、検索画像のサイズ（幅もしくは高さ）から、１≦ｘｑ≦ｘｑｍａｘ、１≦ｙｑ≦ｙｑｍａｘで定義される領域を持つ画像となるようにｘｑｍａｘ、ｙｑｍａｘを取得する。

次に、ｅ、ｆの取り得る値の範囲を定める（ステップＳ４０５１２）。
例えば、次のような方法がある。登録画像上の点（ｘ，ｙ）と検索画像上の点（ｘｑ，ｙｑ）（１≦ｘｑ≦ｘｑｍａｘ、１≦ｙｑ≦ｙｑｍａｘで定義される領域を持つ画像とする。）とは、
ｘｑ＝ａｘ＋ｂｙ＋ｅ
ｙｑ＝ｃｘ＋ｄｙ＋ｆ
なる関係がある。
これは、
ｅ＝ｘｑ−（ａｘ＋ｂｙ）
ｆ＝ｙｑ−（ｃｘ＋ｄｙ）
と書き換えられる。
従って、ｅの取り得る値の範囲をｅｍｉｎ≦ｅ≦ｅｍａｘ、ｆｍｉｎ≦ｆ≦ｆｍａｘとすると、
ｅｍｉｎ＝ｍｉｎ（ｘｑ−（ａｘ＋ｂｙ））
ｅｍａｘ＝ｍａｘ（ｘｑ−（ａｘ＋ｂｙ））
ｆｍｉｎ＝ｍｉｎ（ｙｑ−（ｃｘ＋ｄｙ））
ｆｍａｘ＝ｍａｘ（ｙｑ−（ｃｘ＋ｄｙ））
となる。ここで、ｍｉｎ（・）は、すべてのａ、ｂ、ｃ、ｄ、ｘ、ｙ、ｘｑ、ｙｑがとりうるすべての値の組み合わせについて、カッコ内の数式を最小にする値を示している。同様に、ｍａｘ（・）は、すべてのａ、ｂ、ｃ、ｄ、ｘ、ｙ、ｘｑ、ｙｑがとりうるすべての値の組み合わせについて、カッコ内の数式を最大にする値を示している。
なお、ａ≒１、ｂ≒０、ｃ≒０、ｄ≒１であるような場合には、ａ、ｄは正の値のみを、ｂ、ｃは正の値も負の値もとりうると考えるのが自然である。言い換えれば、ａｍｉｎ、ａｍａｘ、ｂｍａｘ、ｃｍａｘ、ｄｍｉｎ、ｄｍａｘは正の値、ｂｍｉｎ、ｃｍｉｎは負の値をとることが自然である。
ｅｍｉｎ＝ｘｑｍａｘ−（ａｍａｘ・ｘｍａｘ＋ｂｍａｘ・ｙｍａｘ）
ｅｍａｘ＝ｘｑｍｉｎ−（ｂｍｉｎ・ｙｍａｘ）
ｆｍｉｎ＝ｙｑｍｉｎ−（ｃｍａｘ・ｘｍａｘ＋ｄｍａｘ・ｙｍａｘ）
ｆｍａｘ＝ｙｑｍａｘ−（ｃｍｉｎ・ｘｍａｘ）
と定めることができる。
もちろん、あらかじめ得られている他の条件を考えて、ｅ、ｆが取り得る値の範囲を別途定めてもよいし、あらかじめ定めておいたｅ、ｆの取り得る値の範囲を定めてもよいし、上記２つの範囲を組み合わせて最終的な取り得る値の範囲を定めてもよい。

次に、パラメータごとに定められた取り得る値の範囲を分割する（ステップＳ４０５１３）。
例えば、[ａｍｉｎ，ａｍａｘ]の区間をＮａ個に分割してできた区間を、区間ａ１、ａ２、、、ａＮａとする。同様に、区間ｂ１、、、ｂＮｂ、区間ｃ１、、、ｃＮｃ、区間ｄ１、、、ｄＮｄ、区間ｅ１、、、ｅＮｅ、区間ｆ１、、、ｆＮｆを求める。ここで、Ｎａ、Ｎｂ、Ｎｃ、Ｎｄ、Ｎｅ、Ｎｆはあらかじめ定めておいた値を用いてもよいし、区間に要求される性質（区間の大きさに関する制約など）などから定めてもよい。以下では、Ｎａ、Ｎｂ、Ｎｃ、Ｎｄ、Ｎｅ、Ｎｆの数はあらかじめ定められているものとする。

次に、各区間の組み合わせに対応する格納領域に対して投票数を０で初期化する（ステップＳ４０５１４）。
[アフィンパラメータ検証モジュール３６により一致されたと判定された場合毎に行われる処理：ステップＳ４０９]
ステップＳ４０９は、各区間の組み合わせに対応する格納領域に関する投票数を更新する手続きを行う。図２７を参照して、ステップＳ４０９の動作を説明する。まず、アフィンパラメータ検証モジュール４３６により一致したと判定された際に推定された第１の特徴点群と第２の特徴点群との間のアフィンパラメータの値の組が、ステップＳ４０５１３で計算された区間の分割のうちどれに該当するかを判定する（ステップＳ４０９１）。該当する区間の分割に対応する格納領域の投票数を１増加させるステップＳ４０９２）。

このように、各区間の組み合わせごとに独立した格納領域を用意しておき、推定されたアフィンパラメータが該当する区間の組み合わせの格納領域毎に投票数を計数することが可能になる。例えば、あらかじめすべての格納領域が０で初期化された格納領域に対して、アフィンパラメータ検証モジュール４３６における検証により一致と判定されたアフィンパラメータ毎に、該当する区間の組み合わせに対応する格納領域を１増加させる処理を行うことにより実現できる。
なお、[登録画像毎に一度行う処理：前処理]のステップＳ４０５１４以外の処理は、投票数を更新する手続きの前に毎回行うことも可能である。もちろん、この場合には、一度行えばよい処理を複数回行うこととなるので、第１２の実施の形態のように、登録画像毎に一度だけ行うよう構成することが望ましい。

（登録画像ごとに一度行う処理：後処理：ステップＳ４１１１）
図２８を参照すると、ステップＳ４１１１は、次のような処理を行うステップである。すなわち、一致数計算モジュール４４８は、パラメータ空間投票数格納モジュール４４６に格納された区間の組み合わせごとの投票数を用いて一致数格納モジュール４４２に格納する一致数を計算（ステップＳ４１１１１）した後に、一致数格納モジュール４４２に格納する（ステップＳ４１１１２）。
例えば、パラメータ空間投票数格納モジュール４４６に格納された各区間の組み合わせごとの一致数のうち最大の一致数を一致数格納モジュール４４２に格納する一致数とすることができる。
一致数格納モジュール４４２に格納する一致数の別の計算方法として、注目する区間の組み合わせの一致数と注目する区間の組み合わせに隣接する区間の組み合わせの一致数との総和を取る方法もある。
例えば、注目する区間の組み合わせが、ａｉ（１≦ａｉ≦Ｎａ）、ｂｉ（１≦ｂｉ≦Ｎｂ）、ｃｉ（１≦ｃｉ≦Ｎｃ）、ｄｉ（１≦ｄｉ≦Ｎｄ）、ｅｉ（１≦ｅｉ≦Ｎｅ）、ｆｉ（１≦ｆｉ≦Ｎｆ）とすると、ａｊとして｛ｍａｘ（１，ａｉ−１）、ａｉ、ｍｉｎ（ａｉ＋１，Ｎａ）｝、ｂｊとして｛ｍａｘ（１，ｂｉ−１）、ｂｉ、ｍｉｎ（ｂｉ＋１，Ｎｂ）｝・・・ｆｊとして｛ｍａｘ（１，ｆｉ−１）、ｆｉ、ｍｉｎ（ｆｉ＋１，Ｎｆ）｝から生成されるすべての区間の組み合わせの一致数の総和を取ればよい。

もちろん、その他の区間の組み合わせ、例えば、一部のパラメータのみの隣接区間を考えても良いし、あるパラメータについては２つ隣りの区間まで許容して総和を計算する対象の区間の組み合わせとしてもよい。また、単なる総和でなく、区間の組み合わせの一致数を重み付けして足し合わせることにより一致数を計算することも可能である。

上記で述べた複数の種類の一致数を中間一致数として、中間一致数から一致数を計算することにより判定を行うこともできる。これは、複数の中間一致数から画像照合結果を計算できることを意味する。従って、必ずしも一つの一致数を計算することは本質ではないことを述べておく。なお、同様の機能は、複数の種類の一致数を複数格納する手段と、複数の一致数から画像照合結果をする手段とから構成することも可能であるが、原理的に同一であるので記載は省略する。
また、対象に関して定められる条件から、一致数、または中間一致数を補正した値を用いて画像照合結果を計算することもできる。

実施形態６では、登録画像ｚ毎に初期化することにより、すべての登録画像について区間の組み合わせの一致数を格納する領域が不要となる構成となっている。もちろん、すべての登録画像について区間の組み合わせの一致数を格納する領域を用意する構成も可能であるが、それと比較すると、第１２の実施の形態では必要となる領域が少なくなる利点がある。

実施形態６によれば、次のような特有の効果を得ることができる。
汎用の方法は、登録画像と検索画像との間で、本来は対応しないにもかかわらず、たまたまアフィン変換で変換可能な特徴点配置が得られた場合も、誤って対応した（画像検索結果が一致した）と判定され、正確な画像検索、画像照合を行うことができない、という不具合があった。
これに対し、本発明の実施形態に係る特徴点照合装置の基本的構成の働きにより、汎用の問題を改善できることはすでに述べたとおりである。しかしながら、推定されたアフィンパラメータを検証する方法が、適切なパラメータを持つ特徴点群のみを一致すると判定できない場合には、依然として同様の課題が残る。例えば、あらかじめ設定された特定範囲が比較的広い場合が、それに相当する。
実施形態６は、登録画像と検索画像とがほぼ一様にアフィン変換で記述できるという前提条件のもとで、この課題を解決するための手法である。登録画像と検索画像とがほぼ一様なアフィン変換で記述できる関係にある場合は、第１の特徴点群と第２の特徴点群から推定されるパラメータは、ほぼ同様の値を持つことが容易に想像される。そうであれば、ある特定の値をもつパラメータの組み合わせの周辺に、推定されたパラメータ群が分布すると考えられる。逆に、パラメータが多く分布しない領域に存在するパラメータは、本来は対応しないにもかかわらず、たまたまアフィン変換で変換可能な特徴点配置が得られた場合と考えられる。従って、相対的にパラメータが多く分布する領域と考えられる、ある１つの格納領域に格納された一致数もしくはある１つの格納領域とその近傍の格納領域に格納された一致数の総和を出力すべき特徴点配置一致数とすることにより、本来対応しないにもかかわらず、たまたまアフィン変換で変換可能な特徴点配置が得られることが、特徴点配置の基本的な構成の場合より少なくなると考えられる。

以上より、実施形態６によって、登録画像と検索画像とがほぼ一様にアフィン変換で記述できるという前提条件のもとでは、より改善されることが期待できる。

その他の構成およびその他のステップ並びにその作用効果については、前述した実施形態１の場合と同一となっている。また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素をプログラム化し、コンピュータに実行させてもよい。または、上述した各ステップの動作内容及び各部の構成要素の全部をハードウェアで構成し、ハードウェアに実行させても良い。上述した各ステップの動作内容及び各部の構成要素の一部をハードウェアで構成すると共に、残りの構成要素をプログラム化し、ハードウェアとコンピュータを強調させて実行することも可能である。

（実施形態７）
次に、本発明の実施形態７について説明する。実施形態７は、これまでに述べてきた本発明の実施形態において、照合のための手段としてアフィンパラメータ（幾何変換パラメータ）が求められていることに着目する。登録画像と検索画像との間のアフィンパラメータが求められるとすると、一方の画像をアフィンパラメータにより変形することにより、理想的には同じ画像が得られるはずである。この画像を利用して、例えば、一方の画像を他方の画像上に投影した結果を利用して、画像の照合を行うことが考えられる。

実際、このようなアプローチによる画像照合装置はすでに提案されている。例えば、特開２００１−０９２９６３号公報には、画像中の顔領域に対する画像照合方法および装置について開示がされている。前記特許文献においては、画像中の局所領域（窓）画像に対して、窓データおよび入力窓データの特徴空間内での対応関係に基づいて幾何変換パラメータの推定を行い、その幾何変換パラメータを用いて入力画像の補正処理を行い、画像照合の類似度を計算する方法が開示されている。

これまでに述べてきた特徴ベクトルの一致数による照合原理（特徴点の局所的な配置の利用）は、画像を投影することを手段とする画像照合装置の照合原理（特徴点に限定されない画像情報の利用）と組み合わせて利用することにより、さらに高精度化されることが期待される。この組み合わせは、特徴ベクトルの一致数による画像照合装置が含む構成を利用すると、投影を行うために必要なアフィンパラメータを求めるための構成を効率的に構成することができる利点がある。第１３の実施の形態はこのような考え方に基づき提案する形態である。

図２９は、実施形態７の簡単な一例を示す構成図である。図２９を参照すると、汎用の構成に対して、投影用アフィンパラメータ計算モジュール５６０、画像投影モジュール５６２、投影画像照合モジュール５６４が追加されている。また、画像照合処理結果計算モジュール５４４が持つ機能は、一部追加されている。これら以外の構成要素は実施形態６の構成と同一のものである。

投影用アフィンパラメータ計算モジュール５６０は、パラメータ空間投票数格納モジュール５４６の一つ以上の投票数格納領域に可能された投票数から、画像投影モジュール５６２が検索画像を登録画像に投影するための、あるいは登録画像を検索画像に投影するための、一つ以上の投影用アフィンパラメータを求める。以下、検索画像を登録画像に投影する場合を例にとり説明を続けるが、登録画像を検索画像に投影する場合も原理的には同一であり、ほぼ同様の手続きで実現されることをあらかじめ述べておく。

投影用アフィンパラメータをａｐ、ｂｐ、ｃｐ、ｄｐ、ｅｐ、ｆｐで表す。投影用パラメータは、画像が定義されている領域全体で共通の値を用いても良いし、画像の領域に応じて異なる値を用いても良い。画像の領域に応じて異なる値を計算することは、例えば、アフィンパラメータ推定モジュール５３４にて計算されたアフィンパラメータと、それが計算された特徴ベクトル対を生じさせた特徴点配置の登録画像上の位置や検索画像上の位置などの関係を調べることにより実現される。以下、画像が定義されている領域全体で共通の値を用いるものとして説明を続ける。また、特徴点照合装置５０２に対してパラメータ空間投票数格納モジュール５４６と投影用アフィンパラメータ計算モジュール５６０を追加した構成５５０は、アフィンパラメータ推定機能を構成する要素群として機能していることについて述べておく。
画像投影モジュール５６２は、投影用アフィンパラメータ計算モジュール５６０にて計算された投影用アフィンパラメータを用いて、検索画像を登録画像に投影する。ここで述べた投影とは、下記の対応付けにより登録画像を変形することである。すなわち、投影後の画像（投影登録画像）の座標（ｘｐ、ｙｐ）と、検索画像上の座標（ｘｑ、ｙｑ）は、次の式で関連付けられるものとする。

投影画像照合モジュール５６４は、投影登録画像と登録画像とを照合して、照合に関する類似度に関する一つ以上の指標を計算する。画像照合の類似度に関しては、既存の方法で求めることができる。
画像照合処理結果計算モジュール５４４は、特徴ベクトルの一致数に加えて、投影画像照合モジュール５６４から計算された類似度をも利用して、画像照合結果を計算する。

次に、実施形態７の簡単な一例の動作について、実施形態６の動作との相違点について説明することにより、説明する。

実施形態７は、実施形態６の動作と異なるのは、図３０に示すように投影用アフィンパラメータを求める処理（ステップＳ５１１２）が追加されていることと、図３１に示すようにステップＳ２１６の処理がステップＳ５１６に置き換えられていることである。

ステップＳ５１１２は、Ｓ４１１１の処理の後に動作する処理である。ステップＳ５１１２は、投影用アフィンパラメータ計算モジュール５６０が、パラメータ空間投票数格納モジュール５４６の一つ以上の投票数格納領域に可能された投票数から、画像投影モジュールモジュール５６２が検索画像を登録画像に投影するための、あるいは登録画像を検索画像に投影するための、一つ以上の投影用アフィンパラメータを求める処理である。例えば、ステップＳ４１１１１にて、一致数格納モジュール４４２に格納する一致数を計算する際に利用した一つ以上の格納領域に投票した各アフィンパラメータの値の平均、ａｍ、ｂｍ、ｃｍ、ｄｍ、ｅｍ、ｆｍを計算する。その後、これらの値に対して、次のような計算により、ａｐ、ｂｐ、ｃｐ、ｄｐ、ｅｐ、ｆｐを計算する。

これは、求められているａｍ、ｂｍ、ｃｍ、ｄｍ、ｅｍ、ｆｍが、登録画像から検索画像への変換を表すパラメータであることにより必要な処理である。（従って、登録画像を検索画像に投影する場合にはこの計算は行わず、単に、ａｐ＝ａｍ、ｂｐ＝ｂｍ、ｃｐ＝ｃｍ、ｄｐ＝ｄｍ、ｅｐ＝ｅｍ、ｆｐ＝ｆｍとすればよい。）このように求められる投影用アフィンパラメータの組み合わせは、１つの登録画像に対して複数用意してもよい。例えば、一致数格納モジュール４４２に格納する一致数が計算される格納領域（の組み合わせ）が２つ以上存在する場合に、それぞれの格納領域の組み合わせに対応する投影用アフィンパラメータを格納しておいてもよい。

図３２を参照すると、ステップＳ５１６の処理は、検索画像を登録画像上に投影し（ステップＳ５１６１）、投影登録画像と登録画像とを照合して、照合に関する類似度に関する一つ以上の指標を計算し（ステップＳ５１６２）、一致数格納モジュール４４２に格納される一致数と類似度に関する一つ以上の指標を用いて同定・検索結果を求めて出力する処理（ステップＳ５１６３）である。
ステップＳ５１６１においては、画像投影モジュール５６２が検索画像を登録画像に投影する。
ステップＳ５１６２においては、例えば、次のような手続きにより類似度（あるいは相違度）を計算する。まず、登録画像と投影検索画像の共通領域を求める。共通領域とは、図３６に示すような登録画像と投影検索画像との共通部分のこととする。（一般に、登録画像と投影検索画像とは、投影用アフィンパラメータ推定誤差、切り出し領域の違いなどにより、完全に同一とはならない。）次に、この共通領域に属す画素に関して、類似度（相違度）を計算する。例えば、（登録画像の画素値−対応する投影検索画像の画素値）の２乗値を足し合わせた類似度（相違度）を計算する。また、共通領域をｎ×ｎ個の領域にブロック化し、それぞれブロックに関して画素から得られる量について差の２乗値をブロックに関して足し合わせて類似度（相違度）としてもかまわない。もちろん、類似度（相違度）を求める方法はこれらに限らず、既存の方法を用いることができる。また、２つ以上の値を類似度としてもかまわない。
ステップＳ５１６３においては、一致数格納モジュール４４２に格納される一致数と、ステップＳ５１６２により計算された類似度とから、出力すべき登録画像を決定し、出力する。定性的には一致数が多いよどよく、類似度（相違度）は大きい（小さい）ほど良いことを利用して出力すべき登録画像を決定する。

次に、実施形態７の別の一例を説明する。この一例は、実施形態７の簡単な一例をより詳細化した一例となっている。
まず、図３３を参照して、構成の概略について説明する。実施形態７の別の一例は、画像投影モジュール６６２を、部分領域計算モジュール６７２、部分領域特徴量計算モジュール６７４、部分領域特徴量格納モジュール６７６、投影領域計算モジュール６７８で構成している。また、投影画像照合モジュール６６４を、投影領域画像特徴量計算モジュール６８０、部分領域一致判定モジュール６８２で構成している。これら以外の構成要素は実施形態７の簡単な一例の構成と同一のものである。

次に、各構成要素の機能について説明する。なお、以下では、検索画像を登録画像に投影する場合を例に説明するが、登録画像を検索画像に投影する場合でも本質的に同一である。

部分領域計算モジュール６７２は、登録画像から一つ以上の部分領域を計算する。例えば、登録画像を二値化した後に、連結領域を求めて、その連結領域、もしくはその外接矩形などを部分画像とすることができる。登録画像特徴点抽出モジュール６１２において、二値化処理、連結領域を求める処理などが行われている場合には、登録画像特徴点抽出モジュール６１２の計算結果あるいは計算過程でえられる値の少なくとも一部を再利用することができるので、特に好適である。なお、文字列画像からは、通常、複数の連結領域が求められるので、一部もしくは全部の連結領域が部分領域として計算される。

部分領域特徴量計算モジュール６７４は、登録画像中から計算された部分領域に関する特徴量（部分領域特徴量）を計算する。部分領域として、連結領域を採用している場合には、連結領域を構成する画素の数、連結領域を構成する画素に関する二値化前の画素値の和などが特徴量として考えられる。ここでも、連結領域を構成する画素の数の和が、登録画像特徴点抽出モジュール６１２で計算されている場合は、その結果を再利用することができる。また、部分領域として、連結成分の外接矩形を採用している場合は、外接矩形内の黒画素の存在比率（黒画素数／外接矩形の画素数）や、文字認識で用いられる既知の特徴量を特徴量として用いることができる。

部分領域特徴量格納モジュール６７６は、部分領域計算モジュール６７２が計算された部分領域情報と、部分領域特徴量計算モジュール６７４が計算した部分領域特徴量とを格納する。
投影領域計算モジュール６７８は、投影用アフィンパラメータ推定モジュール６６０が計算した投影用アフィンパラメータと、部分領域特徴量格納モジュール６７６に格納された部分領域情報とを用いて、登録画像中に投影するべき検索画像中の部分領域を計算する。例えば、部分領域として連結成分からなる画像そのものを用いる場合には、登録画像中の部分領域を検索画像中に投影した領域が、登録画像に投影される領域として決定される。部分領域として外接矩形を採用している場合には、登録画像中の部分領域画像中の画素すべてを投影する代わりに、外接矩形情報のみを投影することも可能である。投影される領域が、登録画像の外にはみ出る場合も考えられるが、この場合は当該部分領域を後述の部分領域の一致判定の対象としないことも可能である。

投影領域画像特徴量計算モジュール６８０は、投影領域計算モジュール６７８が計算した登録画像に投影すべき部分領域内の特徴量（投影領域画像特徴量）を計算するための処理である。一般には、投影領域計算モジュール６７８により求められた検索画像中の部分領域画像を登録画像に投影した後に、その投影された画像に対する画像特徴量を計算する手続きで実現される。ただし、登録画像と検索画像との間にアフィン変換があることを考慮すれば、実際に検索画像中の部分領域画像を登録画像に投影することなく特徴量を計算することも可能である。例えば、部分領域として連結領域の外接矩形、特徴量として外接矩形内の黒画素の存在比率を用いている場合は、前述のように登録画像上の外接矩形をアフィン変換で変形した領域（四角形領域）内で、外接矩形内の黒画素の存在比率を計算すればよい。

以上のような投影領域画像特徴量計算モジュール６８０の働きにより、部分領域特徴量格納モジュール６７６に格納されている特徴量が計算された登録画像の各部分領域に対応する検索画像上の部分領域についての特徴量が求められたことになる。

部分領域一致判定モジュール６８２は、部分領域特徴量格納モジュール６７６に格納された登録画像に関する部分領域特徴量と、投影領域画像特徴量計算モジュール６８０で計算された検索画像に関する投影領域画像特徴量とを照合し、部分領域が一致するかどうかを判定する。その後、一致した数を利用して、例えば、（部分領域のうち一致判定された数）／（一致判定を行った回数）など類似度として計算し、その値を出力する。部分領域が一致するかどうかは、既存の方法で比較を行えばよく、例えば、特徴量がスカラーで表現される場合は、両者の差、あるいは、（登録画像から計算された部分領域特徴量）／（検索画像から計算された投影領域画像特徴量）が、あらかじめ定められた範囲にある場合に一致するとすることができる。特徴量がベクトルで表現される場合には、両ベクトルの誤差二乗和、距離（市街地距離、ユークリッド距離など）、内積などがあらかじめ定められた範囲にある場合に一致することもできるし、照合対象の性質を勘案してあらかじめその他の一致条件を定めておくこともできる。一致した部分領域の数についても部分領域一致判定モジュール６８２により計算される。

次に動作について説明する。第１３の実施の形態の簡単な一例と比較すると、図３４に図示したようにステップＳ５１６の処理がステップＳ６１６に置き換えられているところのみが異なっている。以下、ステップＳ６１６について説明する。

次に、図３５を参照して、ステップＳ６１６の動作を説明する。まず、初期化が行われる。具体的には、登録画像ＲＩｚ毎の部分領域がいくつ一致したかを計数するために、登録画像ＲＩｚに対応する部分領域の一致数格納用カウンタを０で初期化する（ステップＳ６１６００）。
ステップＳ６１６０１では、部分領域計算モジュール６７２が、登録画像ＲＩｚから、部分領域を計算する。次に、部分領域特徴量計算モジュール６７４が、登録画像ＲＩｚから計算された部分領域ｒｒｉｄについて、特徴量を計算し（ステップＳ６１６０２）、計算された領域は部分領域特徴量格納モジュール６７６に格納される（ステップＳ６１６０３）。ステップＳ６１６０２およびステップＳ６１６０３の処理は、登録画像ＲＩｚから計算されるすべての部分領域について計算される必要があるため、ステップＳ６１６０４にて登録画像ＲＩｚから計算されるすべての部分領域について特徴量が計算・格納できたかを判定する。すべての部分領域についての特徴量が計算されていなければステップＳ６１６０２へ、計算されていればステップＳ６１６０５へ進む。ステップＳ６１６０５は、すべての登録画像に関して部分領域特徴量が計算されたかを判定する。計算されていなければステップＳ６１６０２へ、計算されていればステップＳ６１６０６へ進む。

ステップＳ６１６０６では、投影領域計算モジュール６７８が、登録画像ＲＩｚから計算された部分領域ｒｒｉｄに対応する検索画像中の部分領域を求める。次に、ステップＳ６１６０７で、投影領域画像特徴量計算モジュール６８０が、ステップＳ６１６０６にて計算された検索画像中の部分領域内の画像を登録画像に投影する。なお、先の投影領域画像特徴量計算モジュール６８０についての説明で述べたように、ステップＳ６１６０７の処理は省略されることもありうる。次に、ステップＳ６１６０８で、Ｓ６１６０６にて計算された検索画像中の部分領域、もしくは、Ｓ６１６０７にて計算された検索画像中の部分領域内の画像を登録画像に投影した画像から、特徴量を計算する。

ステップＳ６１６０９では、部分領域一致判定モジュール６８２が、部分領域特徴量と投影領域画像特徴量とが一致するかどうかを判定する。一致すると判定した場合は、ステップＳ６１６１０にて、登録画像ＲＩｚに対応する部分領域の一致数格納用カウンタを１増加させた後、ステップＳ６１６１１に進む。一致しないと判定した場合には、直接Ｓ６１６１１に進む。
ステップＳ６１６１１にて登録画像ＲＩｚから計算されるすべての部分領域について部分領域特徴量が一致するかどうかの判定が終了したかを判定する。すべての部分領域についての特徴量が計算されていなければステップＳ６１６０６へ、計算されていればステップＳ６１６１２へ進む。ステップＳ６１６１２は、すべての登録画像に関して部分領域特徴量が一致したかの判定が終了したかを判定する。計算されていなければステップＳ６１６０６へ、計算されていればステップＳ６１６１３へ進む。
ステップＳ６１６１３では、部分領域一致判定モジュール６８２が、登録画像毎に類似度を計算する。
最後にステップＳ６１６１４では、一致数格納モジュール６４２に格納された一致数と、部分領域一致判定モジュール６８２により計算された類似度を利用して、最終的に同定結果とすべき登録画像を求め、一意に指定できる情報を出力する。

以上、説明してきた実施形態７の別の一例の動作は、必ずしもこの順番で行う必要はない。例えば、ステップＳ６１６０１、ステップＳ６１６０２、ステップＳ６１６０３、ステップＳ６１６０４、ステップＳ６１６０５の処理は、図４で示される登録処理の中で行うこともできる。あるいは、ステップＳ６１６１１、ステップＳ６１６１２によるループ内で行われる処理をステップＳ６１６０６、ステップＳ６１６０７、ステップＳ６１６０８、ステップＳ６１６０９、ステップＳ６１６１０、ステップＳ６１６０４、ステップＳ６１６０５のループの中でまとめて行ってもよい。逆に、ステップＳ６１６０６からステップＳ６１６０８までの処理と、ステップＳ６１６０９からステップＳ６１６１０までの処理を分割して、それぞれをステップＳ６１６１１、ステップＳ６１６１２に相当するループ処理することにより、一連の処理を行っても良い。

以上述べてきた実施形態７の別の一例として、検索画像を登録画像に投影する形態について説明した。前述のように、登録画像を検索画像に投影するようにすることもできるし、両方法を合わせて利用することもできる。両方法を合わせて利用する場合は、例えば、画像照合処理結果計算モジュール５４４が、両方法から得られるそれぞれの類似度と、一致数とから最終結果を判定するようにすれば良い。

実施形態７によれば、すでに述べてきたように、次のような効果がある。すなわち、これまでに述べてきた特徴ベクトルの一致数による照合原理は、画像を投影することを手段とする画像照合装置の照合原理と組み合わせて利用することにより、さらに高精度な照合を行うことが期待される。特に、特徴ベクトルの一致数による画像照合装置が含む構成を第一の照合原理として利用すると、投影を行うために必要なアフィンパラメータを求めるための構成を効率的に構成することができるため、第２の照合原理を低資源で導入できる利点がある。

さらに、既に述べたように、実施形態７の別の一例によれば、部分領域計算モジュールが、登録画像特徴点抽出モジュールの計算過程で得られる値の少なくとも一部を利用して、部分領域計算モジュールが行うべき計算の一部をも省略できる効果もある。また、アフィンパラメータ推定部が行うアフィンパラメータ推定は、すでに述べてきたように局所的な特徴点の配置を基に推定される。従って、本実施の形態は、全体を均一なアフィンパラメータで表現できないような場合において、局所的なアフィンパラメータによる局所的な画像の投影が可能になるため、効果的である。一方で、均一なアフィンパラメータで表現できる場合でも、計算誤差など何らかの影響で局所的なアフィンパラメータが求まらない場合について、その領域以外の領域で求められているアフィンパラメータから推定することができるため、効果的である。

その他の構成およびその他のステップ並びにその作用効果については、前述した第１の実施の形態の場合、もしくは第１２の実施の形態と同一となっている。また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素をプログラム化し、コンピュータに実行させてもよい。または、上述した各ステップの動作内容及び各部の構成要素の全部をハードウェアで構成し、ハードウェアに実行させても良い。上述した各ステップの動作内容及び各部の構成要素の一部をハードウェアで構成すると共に、残りの構成要素をプログラム化し、ハードウェアとコンピュータを協業させて実行することも可能である。

本発明によれば、画像中から得られた特徴量配置、または画像そのものを照合することが可能になるので、画像検索・同定用途に適用できる。特に、比較的特徴点が多く、かつ安定に得られる文書（文字列）画像検索・同定用途に適用できる。

本発明の特徴点照合装置を画像照合装置に適用した実施形態１による全体構成の一例を示すブロック図である。 図１に示す画像照合装置の一部の詳細構成を示すブロック図である。 本発明の特徴点照合装置を画像照合装置に適用した実施形態１において、前記画像照合装置の登録処理手順の一例を示すフローチャートである。 図３に示す登録処理手順の一部の詳細処理の一例を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した実施形態１において、前記画像照合装置の検索処理手順の一例を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した実施形態２による全体構成の一例を示すブロック図である。 本発明の特徴点照合装置を画像照合装置に適用した実施形態２において、前記画像照合装置の検索処理手順の一例を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した実施形態３による全体構成の一例を示すブロック図である。 本発明の特徴点照合装置を画像照合装置に適用した実施形態４による全体構成の一例を示すブロック図である。 図１の画像照合装置において登録される登録画像ＲＩ１の一例を説明するための説明図である。 図１の画像照合装置において登録される登録画像ＲＩ２の一例を説明するための説明図である。 図１の画像照合装置において検索される検索画像ＱＩの一例を説明するための説明図である。 図１の画像照合装置において登録される登録画像ＲＩ１に関する特徴点の抽出の一例を説明するための説明図である。 図１の画像照合装置において登録される登録画像ＲＩ１に関する特徴点座標の一例を説明するための説明図である。 図１の画像照合装置において登録される登録画像ＲＩ２に関する特徴点の組み合わせ結果と、前記特徴点のアフィン不変量である特徴ベクトルの格納結果の一例を説明するための説明図である。 図１の画像照合装置において、特徴ベクトル生成に関して、特徴ベクトルの要素番号と、アフィン不変量の計算に使われる特徴点の番号との関連の一例を説明するための説明図である。 図１の画像照合装置において登録される登録画像ＲＩ１に関する特徴点の組み合わせ結果と、前記特徴点のアフィン不変量である特徴ベクトルの格納結果の一例を説明するための説明図である。 図１の画像照合装置において登録される登録画像ＲＩ２に関する特徴点抽出の一例を説明するための説明図である。 図１の画像照合装置において登録される登録画像ＲＩ２に関する特徴点座標の一例を説明するための説明図である。 図１の画像照合装置において、検索画像ＱＩに関する特徴点座標の一例を説明するための説明図である。 図１の画像照合装置において検索される検索画像ＱＩに関する特徴点抽出の一例を説明するための説明図である。 本発明の特徴点照合装置を画像照合装置に適用した第１２の実施の形態における全体構成の一例を示すブロック図である。 本発明の特徴点照合装置を画像照合装置に適用した第１２の実施の形態において、前記画像照合装置の検索処理手順の詳細処理手順の一例を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１２の実施の形態において、前記画像照合装置の検索処理手順の詳細処理手順の一例を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１２の実施の形態において、前記画像照合装置の検索処理手順の詳細処理手順の一例を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１２の実施の形態において、前記画像照合装置の検索処理手順の詳細処理手順の一例を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１２の実施の形態において、前記画像照合装置の検索処理手順の詳細処理手順の一例を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１２の実施の形態において、前記画像照合装置の検索処理手順の詳細処理手順の一例を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１３の実施の形態における全体構成の簡単な一例を示すブロック図である。 本発明の特徴点照合装置を画像照合装置に適用した第１３の実施の形態において、投影用アフィンパラメータを求める処理の動作の一例を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１３の実施の形態における処理の動作の一例の概略を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１３の実施の形態における処理の動作の一例の詳細を示す別のフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１３の実施の形態の別の一例における全体構成の一例を示すブロック図である。 本発明の特徴点照合装置を画像照合装置に適用した第１３の実施の形態の別の一例における処理の動作の一例の概略を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１３の実施の形態の別の一例における処理の動作の一例の詳細を示すフローチャートである。 本発明の特徴点照合装置を画像照合装置に適用した第１３の実施の形態において共通領域について説明するための説明図である。 本発明の実施形態に係る画像照合装置の構成を示すブロック図である。 特徴量リストの一例を説明するための説明図である。

符号の説明

１ 画像照合装置
１０ａ、１１０ａ、４１０ａ、５１０ａ、６１０ａ 画像照合モジュール
１０ｂ、１１０ｂ、４１０ｂ、５１０ｂ、６１０ｂ 特徴点配置照合モジュール
１２、１１２、４１２、５１２、６１２ 登録画像特徴点抽出モジュール
１４、１１４、４１４、５１４、６１４ 登録画像特徴点配置計算モジュール
１６、１１６、４１６、５１６、６１６ 登録画像不変量計算モジュール
１８ａ、１１８ａ、４１８ａ、５１８ａ、６１８ａ 登録画像特徴点配置格納モジュール
１８ａ―１ 登録画像特徴点座標格納モジュール
１８ａ―２ 登録画像特徴点組み合わせ格納モジュール
１８ｂ、１１８ｂ、４１８ｂ、５１８ｂ、６１８ｂ 登録画像不変量格納モジュール
２２、１２２、４２２、５２２、６２２ 検索画像特徴点抽出モジュール
２４、１２４、４２４、５２４、６２４ 検索画像特徴点配置計算モジュール
２６、１２６、４２６、５２６、６２６ 検索画像不変量計算モジュール
３２、１３２、４３２、５３２、６３２ 不変量一致判定モジュール
３４、１３４、４３４、５３４、６３４ アフィンパラメータ推定モジュール
３６、１３６、４３６、５３６、６３６ アフィンパラメータ検証モジュール
４２、１４２、４４２、５４２、６４２ 一致数格納モジュール
４４、１４４、４４４、５４４、６４４ 画像照合結果計算モジュール
１３６ 特徴点配置一致判定モジュール
４４６、５４６、６４６ パラメータ空間投票数格納モジュール
４４８、５４８、６４８ 一致数計算モジュール
５６０、６６０ 投影用アフィンパラメータ計算モジュール
５６２、６６２ 画像投影モジュール
５６４、６６４ 投影画像照合モジュール
６７２ 部分領域計算モジュール
６７４ 部分領域特徴量計算モジュール
６７６ 部分領域特徴量格納モジュール
６７８ 部分画像投影モジュール
６８０ 投影画像部分領域特徴量計算モジュール
６８２ 部分領域一致判定モジュール
ＲＩ１ 登録画像
ＲＩ２ 登録画像
ＲＩ１，ＲＩ２ 登録画像
ＱＩ 検索画像

Claims (26)

1. 一方と他方の照合対象の画像から得られた特徴点に基づいて複数の特徴点の配置を計算し、その計算結果に基づいて幾何変換に関する不変量を要素とする特徴量を前記照合対象の画像毎にそれぞれ生成し、前記照合対象の画像の前記特徴量を用いて、前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを照合する特徴点配置照合装置であって、
   前記照合対象の画像毎の各特徴量を生成する元となった各々の特徴点配置に基づいて幾何変換に関するパラメータを局所的な特徴点配置対に関して計算するパラメータ推定モジュールと、
   前記パラメータ推定モジュールで計算された前記パラメータが画像を撮像する撮像系の仕様や画像を取得する条件から予め定められる所定の範囲内にあるかどうかを検証し、当該所定の範囲内にあれば、前記一方と他方の照合対象の画像の特徴点配置が一致すると判定するパラメータ検証モジュールと、
   を含むことを特徴とする特徴点配置照合装置。
2. 前記パラメータ推定モジュールは、
   前記幾何変換に関する不変量を要素とする特徴量を用いた特徴点配置照合の結果が同一であった場合に動作する請求項１に記載の特徴点配置照合装置。
3. 前記パラメータ検証モジュールは、
   前記計算された幾何変換に関するパラメータに、前記幾何変換に関する不変量である特徴ベクトル対の類似度を加えて前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを検証する請求項１に記載の特徴点配置照合装置。
4. 前記幾何変換がアフィン変換である請求項１に記載の特徴点配置照合装置。
5. 一方と他方の照合対象の画像から得られた特徴点に基づいて複数の特徴点の配置を計算し、その計算結果に基づいて幾何変換に関する不変量を要素とする特徴量を前記照合対象の画像毎にそれぞれ生成し、前記照合対象の画像の前記特徴量を用いて、前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを判定することで、前記画像同士を照合する画像照合装置であって、
   前記照合対象の画像毎の各特徴量を生成する元となった各々の特徴点配置に基づいて幾何変換に関するパラメータを局所的な特徴点配置対に関して計算するパラメータ推定モジュールと、
   前記パラメータ推定モジュールで計算された前記パラメータが画像を撮像する撮像系の仕様や画像を取得する条件から予め定められる所定の範囲内にあるかどうかを検証し、当該所定の範囲内にあれば、前記一方と他方の照合対象の画像の特徴点配置が一致すると判定するパラメータ検証モジュールと、
   前記パラメータ検証モジュールで同一であると判定された前記特徴点配置の個数に基づいて画像照合結果を出力する画像照合結果計算モジュールと、
   を含むことを特徴とする画像照合装置。
6. 前記パラメータ推定モジュールは、
   前記幾何変換に関する不変量を要素とする特徴量を用いた特徴点配置照合の結果が同一であった場合に動作する請求項５に記載の画像照合装置。
7. 前記パラメータ検証モジュールは、
   前記計算された幾何変換に関するパラメータに、前記幾何変換に関する不変量である特徴ベクトル対の類似度を加えて前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを検証する請求項５に記載の画像照合装置。
8. 前記幾何変換がアフィン変換である請求項５に記載の画像照合装置。
9. 前記パラメータ検証モジュールで同一であると判定された前記特徴点配置の個数を、前記パラメータの値に対応付けられた領域に分類して格納する格納モジュールと、
   前記領域毎に分類された前記特徴点配置の個数に基づいて、前記特徴点配置の一致数を計算し、その計算結果を前記画像照合結果計算モジュールに出力する一致数計算モジュールとを含む請求項５に記載の画像照合装置。
10. 前記照合対象の一の画像を他の画像に投影する画像投影モジュールと、
    前記投影した画像の類似度を計算する投影画像照合モジュールとを含み、
    前記画像照合結果計算モジュールは、前記特徴点の一致数に前記計算された類似度を加えて前記画像照合結果を出力する請求項９に記載の画像照合装置。
11. 一方と他方の照合対象の画像から得られた特徴点に基づいて複数の特徴点の配置を計算し、その計算結果に基づいて幾何変換に関する不変量を要素とする特徴量を前記照合対象の画像毎にそれぞれ生成し、前記照合対象の画像の前記特徴量を用いて、前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを照合する特徴点配置照合方法であって、
    前記照合対象の画像毎の各特徴量を生成する元となった各々の特徴点配置に基づいて幾何変換に関するパラメータを局所的な特徴点配置対に関して計算し、
    計算された前記パラメータが画像を撮像する撮像系の仕様や画像を取得する条件から予め定められる所定の範囲内にあるかどうかを検証し、当該所定の範囲内にあれば、前記一方と他方の照合対象の画像の特徴点配置が一致すると判定する
    ことを特徴とする特徴点配置照合方法。
12. 前記計算された幾何変換に関するパラメータに、前記幾何変換に関する不変量である特徴ベクトル対の類似度を加えて前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを検証する請求項１１に記載の特徴点配置照合方法。
13. 前記幾何変換としてアフィン変換を用いる請求項１１に記載の特徴点配置照合方法。
14. 一方と他方の照合対象の画像から得られた特徴点に基づいて複数の特徴点の配置を計算し、その計算結果に基づいて幾何変換に関する不変量を要素とする特徴量を前記照合対象の画像毎にそれぞれ生成し、前記照合対象の画像の前記特徴量を用いて、前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを判定することで、前記画像同士を照合する画像照合方法であって、
    前記照合対象の画像毎の各特徴量を生成する元となった各々の特徴点配置に基づいて幾何変換に関するパラメータを局所的な特徴点配置対に関して計算し、
    計算された前記パラメータが画像を撮像する撮像系の仕様や画像を取得する条件から予め定められる所定の範囲内にあるかどうかを検証し、当該所定の範囲内にあれば、前記一方と他方の照合対象の画像の特徴点配置が一致すると判定し、
    前記同一であると判定された前記特徴点配置の個数に基づいて画像照合結果を出力することを特徴とする画像照合方法。
15. 前記計算された幾何変換に関するパラメータに、前記幾何変換に関する不変量である特徴ベクトル対の類似度を加えて前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを検証する請求項１４に記載の画像照合方法。
16. 前記幾何変換としてアフィン変換を用いる請求項１４に記載の画像照合方法。
17. 前記同一であると判定された前記特徴点配置の個数を、前記パラメータの値に対応付けられた領域に分類して格納し、
    前記領域毎に分類された前記特徴点配置の個数に基づいて、前記特徴点配置の一致数を計算し、その計算結果に基づいて前記画像照合結果を出力する請求項１４に記載の画像照合方法。
18. 前記照合対象の一の画像を他の画像に投影し、
    前記投影した画像の類似度を計算し、
    前記特徴点の一致数に前記計算された類似度を加えて前記画像照合結果を出力する請求項１７に記載の画像照合方法。
19. 一方と他方の照合対象の画像から得られた特徴点に基づいて複数の特徴点の配置を計算し、その計算結果に基づいて幾何変換に関する不変量を要素とする特徴量を前記照合対象の画像毎にそれぞれ生成し、前記照合対象の画像の前記特徴量を用いて、前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを照合する制御を行う特徴点配置照合プログラムであって、
    コンピュータに、
    前記照合対象の画像毎の各特徴量を生成する元となった各々の特徴点配置に基づいて幾何変換に関するパラメータを局所的な特徴点配置対に関して計算する機能と、
    計算された前記パラメータが画像を撮像する撮像系の仕様や画像を取得する条件から予め定められる所定の範囲内にあるかどうかを検証し、当該所定の範囲内にあれば、前記一方と他方の照合対象の画像の特徴点配置が一致すると判定する機能とを実行させることを特徴とする特徴点配置照合プログラム。
20. 前記コンピュータに、
    前記計算された幾何変換に関するパラメータに、前記幾何変換に関する不変量である特徴ベクトル対の類似度を加えて前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを検証する機能を実行させる請求項１９に記載の特徴点配置照合プログラム。
21. 前記幾何変換としてアフィン変換を用いる請求項１９に記載の特徴点配置照合プログラム。
22. 一方と他方の照合対象の画像から得られた特徴点に基づいて複数の特徴点の配置を計算し、その計算結果に基づいて幾何変換に関する不変量を要素とする特徴量を前記照合対象の画像毎にそれぞれ生成し、前記照合対象の画像の前記特徴量を用いて、前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを判定することで、前記画像同士を照合する制御を行う画像照合プログラムであって、
    コンピュータに、
    前記照合対象の画像毎の各特徴量を生成する元となった各々の特徴点配置に基づいて幾何変換に関するパラメータを局所的な特徴点配置対に関して計算する機能と、
    計算された前記パラメータが画像を撮像する撮像系の仕様や画像を取得する条件から予め定められる所定の範囲内にあるかどうかを検証し、当該所定の範囲内にあれば、前記一方と他方の照合対象の画像の特徴点配置が一致すると判定する機能と、
    前記同一であると判定された前記特徴点配置の個数に基づいて画像照合結果を出力する機能とを実行させることを特徴とする画像照合プログラム。
23. 前記コンピュータに、
    前記計算された幾何変換に関するパラメータに、前記幾何変換に関する不変量である特徴ベクトル対の類似度を加えて前記照合対象の画像の特徴点配置同士が同一の特徴点配置であるかを検証する機能を実行させる請求項２２に記載の画像照合プログラム。
24. 前記幾何変換としてアフィン変換を用いる請求項２２に記載の画像照合プログラム。
25. 前記コンピュータに、
    前記同一であると判定された前記特徴点配置の個数を、前記パラメータの値に対応付けられた領域に分類して格納させる機能と、
    前記領域毎に分類された前記特徴点配置の個数に基づいて、前記特徴点配置の一致数を計算し、その計算結果に基づいて前記画像照合結果を出力する機能とを実行させる請求項２２に記載の画像照合プログラム。
26. 前記コンピュータに、
    前記照合対象の一の画像を他の画像に投影する機能と、
    前記投影した画像の類似度を計算する機能と、
    前記特徴点の一致数に前記計算された類似度を加えて前記画像照合結果を出力する機能とを実行させる請求項２５に記載の画像照合プログラム。

Images