JP6012819B1 - 類似画像取得装置、方法、及びプログラム - Google Patents

Abstract

【課題】クエリとして入力した画像について、同一の被写体が写っている画像をあらかじめ登録しておいた参照画像中から高速かつ高精度に取得する。【解決手段】あらかじめ参照画像から抽出した特徴量に基づき、インデクスを作成しておく。そして、入力されたクエリ画像からも特徴量を抽出し、インデクスを参照して同じクラスタに属する特徴量を持つ参照画像に対し候補画像スコアを加算し、候補画像スコアの高い画像を候補画像とする。各候補画像に対しては、参照画像の特徴量を直接参照し、クエリ画像の特徴量との類似度に基づいてより詳細な認識処理を行い、詳細スコアを算出する。候補画像スコアと詳細スコアを正規化した値を重み付きで合計した合計スコアの高い参照画像を、類似画像として出力する。【選択図】図１

Description

本発明は、類似画像取得装置、方法、及びプログラムに係り、特に、入力されたクエリ画像に写っている被写体と同一の被写体が写っている参照画像を取得するための類似画像取得装置、方法、及びプログラムに関する。

クエリとして与えられた画像中に写っている被写体と同一の被写体が写っている参照画像を見つけるための画像認識技術として、非特許文献１に示されているような、画像から抽出した局所特徴量のマッチングを行い、類似度の高い局所特徴量をより多く含む画像ほど、同一の被写体が写っている可能性が高いと判定する手法がある。

また、他の画像認識技術として、非特許文献２に示されているような、参照画像から抽出した局所特徴量をクラスタリングすることによって量子化し、転置インデクスを作成しておくことによって、クエリ画像の局所特徴量と類似度の高い特徴量を持つ参照画像集合を高速に取得する手法がある。

J. Shimamura, T. Yoshida, and Y. Taniguchi： "Geometric verification method to handle 3D viewpoint changes，" MIRU2014, OS3-4, Okayama，Japan，July 2014. 吉田大我, 島村潤, 谷口行信. 三次元弱幾何検証に基づく特定物体認識.映情学技報, vol. 38, no. 36, ME2014-88, pp. 97-100, 2014年9月.

非特許文献１に示した技術では、クエリ画像から抽出した局所特徴量に対し、参照画像１枚ごとから抽出された局所特徴量とのマッチングを行う。これにより、局所特徴量間の類似度を正確に算出することができるため高精度な認識を行うことができるが、参照画像枚数に比例する処理時間がかかるため、参照画像枚数が多い場合には時間がかかってしまう。

一方、非特許文献２に示した技術では、クエリ画像から抽出した局所特徴量と同じクラスタに属する参照画像を高速に絞り込むことができるという長所があるが、クラスタリングの際に生じる誤差により、局所特徴量間の類似度を正確に算出することができず、厳密なマッチングに比べて精度が低下してしまう。

精度と速度を両立させるための方法として、高速な画像認識手法と高精度な認識手法を組み合わせ、２段階の認識を行うことが考えられる。例えば、１段階目の認識では、非特許文献２のような高速な画像認識手法を適用し、スコアの高い一部の参照画像に限定する。そして、２段階目の認識では、非特許文献１のような高精度な画像認識手法にて、１段階目の認識で限定した画像のみを対象として類似度の算出を行う。これにより、同一被写体が写っていない可能性の高い画像を高速に除外した上で、同一被写体が写っている可能性のある画像のみを対象に詳細に認識が行えるため、精度と速度を両立した画像認識を実現することができる。

しかし、この方法では、候補画像選択部で算出されたスコアは候補画像の決定のためにしか用いられず、詳細スコア算出部において同一のスコアになってしまった場合、どちらをより上位に出力するべきかを判定できないため、精度低下の要因になるという課題があった。通常、候補画像選択部と詳細スコア算出部とで用いている認識技術が異なる場合には、候補画像スコアと詳細スコアとの値域に差があるため、単純にスコアを合計しても候補画像スコアもしくは詳細スコアの値が支配的になってしまうため、他方の結果が十分に考慮されない。

本発明は、上記問題点を解決するために成されたものであり、精度よく、かつ、高速にクエリ画像と同一の被写体が写っている類似画像を取得できる類似画像取得装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る類似画像取得装置は、複数の参照画像から、クエリ画像と同一の被写体が写っている前記参照画像を取得する類似画像取得装置であって、入力されたクエリ画像に基づいて、前記クエリ画像の特徴量を抽出する特徴量抽出部と、予め抽出された前記複数の参照画像の各々の特徴量と、前記複数の参照画像の特徴量に対してクラスタリングを行って前記特徴量の各々が分類されたクラスタの各々を代表するクラスタ特徴量と、前記複数の参照画像の各々と前記複数のクラスタとの対応関係とを格納するインデクス格納部と、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量について、前記クエリ画像の特徴量と、前記インデクス格納部に格納された前記クラスタ特徴量とに基づいて、前記クエリ画像の特徴量を、前記複数のクラスタのいずれかのクラスタに割り当てるクラスタ割当部と、前記インデクス格納部に格納された前記対応関係を参照し、前記クラスタ割当部によって前記クエリ画像の特徴量に割り当てられたクラスタに応じて前記参照画像に対してスコア付けを行い、候補画像スコアが高い前記参照画像の各々を候補画像として選択する候補画像選択部と、前記候補画像選択部によって選択された候補画像の各々の候補画像スコアを正規化する候補画像スコア正規化部と、前記インデクス格納部に格納された、前記候補画像の各々に対応する前記参照画像の各々の特徴量と、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量との類似度に基づいて、前記候補画像の各々について、詳細スコアを算出する詳細スコア算出部と、前記詳細スコア算出部によって前記候補画像の各々について算出された詳細スコアを正規化する詳細スコア正規化部と、前記候補画像の各々について、前記詳細スコア正規化部によって正規化された前記候補画像の候補画像スコアと、前記詳細スコア正規化部によって正規化された前記候補画像の詳細スコアとを重み付きで合計した合計スコアを算出する合計スコア算出部と、前記合計スコア算出部によって前記候補画像の各々について算出された合計スコアに基づいて、前記クエリ画像と同一の被写体が写っている前記参照画像を出力する参照画像情報出力部と、を含んで構成されている。

また、第１の発明に係る類似画像取得装置において、前記候補画像スコア正規化部における正規化、又は前記詳細スコア正規化部における正規化では、前記クエリ画像から抽出される特徴点数の平方根、及び前記参照画像から抽出された特徴点数の平方根に反比例したスコアになるように正規化するようにしてもよい。

また、第１の発明に係る類似画像取得装置において、前記候補画像スコア正規化部における正規化、又は前記詳細スコア正規化部における正規化では、前記クエリ画像から抽出される特徴点と、及び前記参照画像から抽出される特徴点との組み合わせのうち、予め定めた閾値以上の類似度となる前記組み合わせを対応点候補とし、前記対応点候補の数に反比例したスコアになるように正規化するようにしてもよい。

第２の発明に係る類似画像取得方法は、複数の参照画像から、クエリ画像と同一の被写体が写っている前記参照画像を取得する類似画像取得装置における類似画像取得方法であって、特徴量抽出部が、入力されたクエリ画像に基づいて、前記クエリ画像の特徴量を抽出するステップと、クラスタ割当部が、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量について、前記クエリ画像の特徴量と、インデクス格納部に格納された前記複数の参照画像の特徴量に対してクラスタリングを行って前記特徴量の各々が分類されたクラスタの各々を代表するクラスタ特徴量とに基づいて、前記クエリ画像の特徴量を、前記複数のクラスタのいずれかのクラスタに割り当てるステップと、候補画像選択部が、前記インデクス格納部に格納された、前記複数の参照画像の各々と前記複数のクラスタとの対応関係を参照し、前記クラスタ割当部によって前記クエリ画像の特徴量に割り当てられたクラスタに応じて前記参照画像に対してスコア付けを行い、候補画像スコアが高い前記参照画像の各々を候補画像として選択するステップと、候補画像スコア正規化部が、前記候補画像選択部によって選択された候補画像の各々の候補画像スコアを正規化するステップと、詳細スコア算出部が、前記インデクス格納部に格納された、前記候補画像の各々に対応する前記参照画像の各々の特徴量と、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量との類似度に基づいて、前記候補画像の各々について、詳細スコアを算出するステップと、詳細スコア正規化部が、前記詳細スコア算出部によって前記候補画像の各々について算出された詳細スコアを正規化するステップと、合計スコア算出部が、前記候補画像の各々について、前記詳細スコア正規化部によって正規化された前記候補画像の候補画像スコアと、前記詳細スコア正規化部によって正規化された前記候補画像の詳細スコアとを重み付きで合計した合計スコアを算出するステップと、参照画像情報出力部が、前記合計スコア算出部によって前記候補画像の各々について算出された合計スコアに基づいて、前記クエリ画像と同一の被写体が写っている前記参照画像を出力するステップと、を含んで実行することを特徴とする。

また、第２の発明に係る類似画像取得方法において、前記候補画像スコア正規化部における正規化するステップ、又は前記詳細スコア正規化部における正規化するステップでは、前記クエリ画像から抽出される特徴点数の平方根、及び前記参照画像から抽出された特徴点数の平方根に反比例したスコアになるように正規化するようにしてもよい。

また、第２の発明に係る類似画像取得方法において、前記候補画像スコア正規化部における正規化するステップ、又は前記詳細スコア正規化部における正規化するステップでは、前記クエリ画像から抽出される特徴点と、及び前記参照画像から抽出される特徴点との組み合わせのうち、予め定めた閾値以上の類似度となる前記組み合わせを対応点候補とし、前記対応点候補の数に反比例したスコアになるように正規化するようにしてもよい。

第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係る類似画像取得装置の各部として機能させるためのプログラムである。

本発明の類似画像取得装置、方法、及びプログラムによれば、抽出されたクエリ画像の特徴量について、クエリ画像の特徴量とクラスタ特徴量とに基づいて、クエリ画像の特徴量を、いずれかのクラスタに割り当て、クエリ画像の特徴量に割り当てられたクラスタに応じて参照画像に対してスコア付けを行い、候補画像スコアが高い参照画像の各々を候補画像として選択し、選択された候補画像の各々の候補画像スコアを正規化し、候補画像の各々に対応する参照画像の各々の特徴量と、クエリ画像の特徴量との類似度に基づいて、詳細スコアを算出し、算出された詳細スコアを正規化し、候補画像の各々について、正規化された候補画像スコアと、正規化された詳細スコアとを重み付きで合計した合計スコアを算出し、クエリ画像と同一の被写体が写っている参照画像を出力することにより、精度よく、かつ、高速にクエリ画像と同一の被写体が写っている類似画像を取得できる、という効果が得られる。

本発明の実施の形態に係る類似画像取得装置の構成を示すブロック図である。 インデクス格納部のテーブルの一例を示す図である。 本発明の実施の形態に係る類似画像取得装置における類似画像取得処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。本実施の形態では、高速な画像認識手法と高精度な認識手法を組み合わせた２段階の認識を行う際、候補画像選択部で算出された候補画像スコアと、詳細スコア算出部で算出された詳細スコアとについて、一定の基準でスコアの大小を判定できるよう正規化し、候補画像スコアと詳細スコアとを重み付きで合計する。

＜本発明の実施の形態に係る類似画像取得装置の構成＞

次に、本発明の実施の形態に係る類似画像取得装置の構成について説明する。図１に示すように、本発明の実施の形態に係る類似画像取得装置１００は、ＣＰＵと、ＲＡＭと、後述する類似画像取得処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この類似画像取得装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。

入力部１０は、被写体が写ったクエリ画像を受け付ける。

演算部２０は、インデクス格納部２８と、特徴量抽出部３０と、クラスタ割当部３２と、候補画像選択部３４と、候補画像スコア正規化部３６と、詳細スコア算出部３８と、詳細スコア正規化部４０と、合計スコア算出部４２と、参照画像情報出力部４４とを含んで構成されている。

インデクス格納部２８には、予め抽出された複数の参照画像の各々の各特徴点周辺の特徴量と、複数の参照画像の特徴量に対してクラスタリングを行って特徴量の各々が分類されたクラスタの各々を代表するクラスタ特徴量と、複数の参照画像の各々と複数のクラスタとの対応関係とが格納されている。図２は、インデクス格納部２８に格納されるテーブルの例である。図２に示すように、インデクス格納部２８は、例えば、参照画像ＩＤと、複数の参照画像の各々から抽出した特徴量との組み合わせからなるレコードを格納した参照画像特徴量管理テーブル、クラスタＩＤと、クラスタの各々を代表するクラスタ特徴量との組み合わせからなるレコードを格納したクラスタ管理テーブル、及び、クラスタＩＤと参照画像ＩＤとの対応関係を格納した参照画像‐クラスタ関係管理テーブルを記憶している。ここで、クラスタ特徴量は、複数の参照画像の各々から抽出した特徴量に対してクラスタリングを行って得られた、クラスタの各々についてのクラスタ中心をとった特徴量（セントロイドとも呼ぶ）である。また、１枚の参照画像からは複数の特徴量が抽出されてもよく、候補画像選択部３４や詳細スコア算出部３８で複数種類の特徴量を用いる場合には、参照画像特徴量管理テーブルが複数存在してもよい。なお、図２に示したインデクス格納部２８の各テーブルの列情報は一例であり、候補画像選択部３４や詳細スコア算出部３８でのスコア算出方法に応じて他の列が存在してもよい。

特徴量抽出部３０は、入力部１０により受け付けたクエリ画像に基づいて、当該クエリ画像の特徴量を各々抽出する。特徴量としては、例えば、クエリ画像から抽出した各特徴点の局所特徴量を用いる。なお、他の特徴量を用いてもよく、例えば、クエリ画像の色情報をヒストグラム化したものを用いることができる。本実施の形態では、クラスタ割当部３２、候補画像選択部３４、及び詳細スコア算出部３８のそれぞれに入力する特徴量が共通しているため、共通した特徴量を一度に抽出できるよう、特徴量抽出部３０を集約する。これにより、同じ特徴量を複数回抽出しなくてよいため、処理時間を短縮することができる。

クラスタ割当部３２は、特徴量抽出部３０によって抽出されたクエリ画像の特徴量の各々について、当該特徴量とインデクス格納部２８のクラスタ管理テーブルに格納されたクラスタごとのクラスタ特徴量とに基づいて、当該特徴量を、複数のクラスタのいずれかのクラスタに割り当てる。クラスタ割当部３２は、具体的には、インデクス格納部２８のクラスタ管理テーブルのクラスタごとのクラスタ特徴量を参照し、クエリ画像から抽出した特徴量を、クラスタ管理テーブルのいずれかのクラスタに割り当てる。クラスタへの割り当てには、例えば、複数の参照画像から抽出した特徴量をクラスタリングして作成したクラスタごとのクラスタ特徴量のうち、最も類似度の高いクラスタ特徴量を持つクラスタに割り当てることができる。

候補画像選択部３４は、インデクス格納部２８の参照画像‐クラスタ関係管理テーブルに格納された対応関係を参照し、クラスタ割当部３２によってクエリ画像の特徴量の各々に割り当てられたクラスタに応じて参照画像に対してスコア付けを行い、候補画像スコアが高い参照画像の各々を候補画像として選択する。

候補画像選択部３４は、具体的には、クエリ画像から抽出した各特徴量に割り当てられたクラスタについて、インデクス格納部２８のクラスタ‐参照画像関係管理テーブルを参照し、当該クラスタに対応する参照画像ＩＤの集合を取得する。次に、取得した参照画像ＩＤに対して候補画像スコアを加算する。ここでは、上記非特許文献２の手法を用いて、各参照画像について、クエリ画像から抽出した特徴点に対して、当該参照画像から抽出した特徴点との類似度が高い場合に一定の候補画像スコアを加算する。そして、参照画像のうち候補画像スコアが予め定めた閾値以上のものを候補画像として選択する。また、参照画像のうち候補画像スコアが上位ｈ件のものを候補画像として選択するようにしてもよい。なお、加算する候補画像スコアは、クラスタや参照画像、特徴量によって異なっていてもよい。例えば、非特許文献２の技術を用いて特徴量を抽出した場合、参照画像から抽出した特徴量ごとに角度の情報を持っているため、クエリ画像から抽出した特徴量との角度の差分によって異なる候補画像スコアが加算されるようにしてもよい。

候補画像スコア正規化部３６は、以下に説明するように、候補画像選択部３４によって選択された候補画像の各々の候補画像スコアを正規化する。

候補画像スコア正規化部３６は、具体的には、候補画像の各々について、クエリ画像から抽出される特徴点数の平方根、及び当該候補画像から抽出された特徴点数の平方根に反比例した候補画像スコアになるよう正規化する。これにより、特徴点数が多い画像と少ない画像において近い候補画像スコアが算出されるため、後述する合計スコア算出部４２で候補画像スコア及び詳細スコアを合計する際に一定の基準で重みを決定することができる。このように正規化を行う理由を以下に説明する。すなわち、本実施の形態では、候補画像スコア正規化部３６において候補画像スコアの正規化の対象となる候補画像は、候補画像選択部３４において、上記非特許文献２の手法を用いて、クエリ画像から抽出した特徴点に対して、当該候補画像から抽出した特徴点との類似度が高い場合に一定の候補画像スコアが加算されている。このとき、クエリ画像もしくは候補画像の特徴点数が多いほど候補画像スコアが高くなる傾向がある。そのため、クエリ画像の特徴点数および候補画像の特徴点数に反比例するようにスコアを正規化すると、今度は特徴点数の少ない画像への候補画像スコアの加算分が大きくなりすぎ、特徴点数が少ないほど候補画像スコアが高くなる傾向となるため、特徴点数の平方根に反比例したスコアになるように正規化を行う。

そして、候補画像スコア正規化部３６は、候補画像の各々の候補画像スコアの正規化が終わったのち、全ての候補画像、又は正規化した候補画像スコアの高い一部の候補画像を、候補画像として詳細スコア算出部３８に入力する。ここで、全ての候補画像を詳細スコア算出部３８に入力する場合には、候補画像スコア正規化部３６からではなく候補画像選択部３４から入力するようにしてもよい。また、候補画像スコアによる候補画像の選択には、例えば、正規化した候補画像スコアが閾値以上の候補を選択する方法や、正規化した候補画像スコアが高い順にソートした際の上位ｋ件を選択する方法を用いることもできる。

このようにして候補画像スコア正規化部３６によって候補画像スコアを正規化することにより、詳細スコアに差が出なかった場合でも、候補画像スコアを併用することによって、クエリ画像と同一の被写体が写っている可能性の高い画像を優先して類似画像として出力することが可能になる。なお、候補画像スコアの正規化方法については、上述した参照画像から抽出された特徴点の数で割る方法の他、クエリ画像と参照画像との間で類似する特徴点の組み合わせの数で割るなどの方法があり、詳細スコアについても同様の方法を用いることが出来る。

詳細スコア算出部３８は、インデクス格納部２８の参照画像特徴量管理テーブルに格納された、候補画像の各々に対応する参照画像の各々の特徴量と、特徴量抽出部３０によって抽出されたクエリ画像の各特徴量との類似度に基づいて、候補画像の各々について、詳細スコアを算出する。

詳細スコア算出部３８では、具体的には、上記非特許文献１の手法を用いて、候補画像の各々に対し、インデクス格納部２８の参照画像特徴量管理テーブルに格納された、当該候補画像に対応する参照画像ＩＤについての特徴点と、クエリ画像から抽出される特徴点との組み合わせのうち、当該組み合わせの２つの特徴点における特徴量の類似度が、予め定めた閾値以上の類似度となる組み合わせを対応点候補とし、さらに対応点候補を、特徴量における角度情報などの付加情報を用いることにより検証する。そして、対応点候補を正対応と誤対応とに分類することにより、正対応と判定された対応点候補の数を、当該候補画像の詳細スコアにする。なお、加算する詳細スコアは、参照画像や特徴量によって異なっていてもよい。

詳細スコア正規化部４０は、以下に説明するように、詳細スコア算出部３８によって候補画像の各々について算出された詳細スコアを正規化する。

詳細スコア正規化部４０は、具体的には、候補画像の各々に対し、詳細スコア算出部３８で当該候補画像について得られた、類似する特徴点の組み合わせである対応点候補の数に反比例するように詳細スコアを正規化することにより、詳細スコアを０〜１の範囲に正規化する。これは、上記非特許文献１に記載されている、正対応と誤対応に分類する手法を用いる場合、正対応と判定された数を詳細スコアにすると、特徴点数が多いほど詳細スコアが高くなる傾向があるためである。

合計スコア算出部４２は、候補画像の各々について、候補画像スコア正規化部３６によって正規化された候補画像の候補画像スコアと、詳細スコア正規化部４０によって正規化された候補画像の詳細スコアとを重み付きで合計した合計スコアを算出する。ここで、重み付けは任意の値でよく、例えば１／２等とすればよい。

参照画像情報出力部４４は、合計スコア算出部４２によって候補画像の各々について算出された合計スコアに基づいて、クエリ画像と同一の被写体が写っている参照画像を出力する。本実施の形態では合計スコアの高い参照画像を類似画像として類似画像リストに追加し、類似画像リストを出力する。例えば、合計スコアが閾値以上の参照画像を類似画像とする方法や、合計スコアが高い順にソートした際の上位ｌ件の参照画像を類似画像とする方法がある。

＜本発明の実施の形態に係る類似画像取得装置の作用＞

次に、本発明の実施の形態に係る類似画像取得装置１００の作用について説明する。入力部１０においてクエリ画像を受け付けると、類似画像取得装置１００は、図３に示す類似画像取得処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０において受け付けたクエリ画像に基づいて、当該クエリ画像の各特徴量を抽出する。

次に、ステップＳ１０２では、ステップＳ１００で抽出されたクエリ画像の各特徴量について、当該特徴量とインデクス格納部２８のクラスタ管理テーブルに格納されたクラスタごとのクラスタ特徴量とに基づいて、当該特徴量を、複数のクラスタのいずれかのクラスタに割り当てる。

ステップＳ１０４では、インデクス格納部２８の参照画像‐クラスタ関係管理テーブルに格納された対応関係を参照し、ステップＳ１０２でクエリ画像の各特徴量に割り当てられたクラスタに応じて参照画像に対してスコア付けを行い、候補画像スコアが高い参照画像の各々を候補画像として選択する。

ステップＳ１０６では、ステップＳ１０４で選択された候補画像の各々について、クエリ画像の特徴点数と当該候補画像の特徴点数とに基づいて、当該候補画像の候補画像スコアを正規化する。

ステップＳ１０８では、インデクス格納部２８の参照画像特徴量管理テーブルに格納された、候補画像の各々に対応する参照画像の各々の特徴量と、ステップＳ１００で抽出されたクエリ画像の各特徴量との類似度に基づいて、候補画像の各々について、詳細スコアを算出する。

ステップＳ１１０では、候補画像の各々について、クエリ画像との間で類似する特徴点の組み合わせである対応点候補の数に基づいて、ステップＳ１０８で算出された詳細スコアを正規化する。

ステップＳ１１２では、候補画像の各々について、ステップＳ１０６で正規化された候補画像の候補画像スコアと、ステップＳ１１０で正規化された候補画像の詳細スコアとを重み付きで合計した合計スコアを算出する。

ステップＳ１１４では、ステップＳ１１２で候補画像の各々について算出された合計スコアに基づいて、合計スコアの高い参照画像を類似画像として追加した類似画像リストを出力部５０に出力し、類似画像取得処理ルーチンを終了する。

以上説明したように、本発明の実施の形態に係る類似画像取得装置によれば、抽出されたクエリ画像の特徴量について、クエリ画像の特徴量とクラスタ特徴量とに基づいて、クエリ画像の特徴量を、いずれかのクラスタに割り当て、クエリ画像の特徴量に割り当てられたクラスタに応じて参照画像に対してスコア付けを行い、候補画像スコアが高い参照画像の各々を候補画像として選択し、選択された候補画像の各々の候補画像スコアを正規化し、候補画像の各々に対応する参照画像の各々の特徴量と、クエリ画像の特徴量との類似度に基づいて、詳細スコアを算出し、算出された詳細スコアを正規化し、候補画像の各々について、正規化された候補画像スコアと、正規化された詳細スコアとを重み付きで合計した合計スコアを算出し、クエリ画像と同一の被写体が写っている参照画像を出力することにより、精度よく、かつ、高速にクエリ画像と同一の被写体が写っている類似画像を取得することができる。

また、候補画像選択部３４での高速な画像認識処理によって同一被写体が写っている可能性の高い画像を候補画像として選択し、それらの候補画像に対して詳細スコア算出部３８にて詳細な認識処理を実施することにより、高速かつ高精度に同一被写体の写っている可能性の高い類似画像を取得することが可能になる。そのとき、候補画像選択部３４で用いる特徴量と詳細スコア算出部３８で用いる特徴量のうち、共通しているものを特徴量抽出部にて一度の処理で抽出することにより、特徴量抽出にかかる時間を短縮できる。また、候補画像スコアと詳細スコアを正規化して重み付きで合計したスコアを算出することにより、詳細スコア算出部３８で詳細スコアの差が付かなかった場合にも、候補画像選択部の候補画像スコアの大小によって類似画像の順序付けができるようになるという効果がある。

また、クエリ画像から抽出した特徴点に対して、各参照画像から抽出した特徴点と類似度が高い場合に一定のスコアを加算すると、クエリ画像もしくは参照画像の特徴点数が多いほどスコアが高くなる傾向がある。そのため、クエリ画像の特徴点数および参照画像の特徴点数に反比例するようにスコアを正規化すると、今度は特徴点数の少ない画像へのスコアの加算分が大きくなりすぎ、特徴点数が少ないほどスコアが高くなる傾向になってしまう。クエリ画像から抽出された特徴点数の平方根および参照画像から抽出された特徴点数の平方根に反比例したスコアになるよう正規化することにより、特徴点数が多い画像と少ない画像において近いスコアが算出されるため、合計スコア算出部４２でスコアを合計する際に一定の基準で重みを決定することができるという効果がある。

また、クエリ画像と参照画像から抽出した特徴量の組み合わせのうち、特徴量の類似度が高い組み合わせを対応点候補とし、さらに対応点候補を、角度情報などの付加情報を用いることにより検証し、正対応と誤対応とに分類する技術として、例えば非特許文献１がある。このような技術において、正対応と判定された数をスコアにすると、特徴点数が多いほどスコアが高くなる傾向がある。そこで、対応点候補数に反比例するようにスコアを正規化することにより、スコアを０〜１の範囲に正規化できるため、合計スコア算出部４２でスコアを合計する際に一定の基準で重みを決定することができるという効果がある。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した実施の形態では、候補画像選択部３４において上記非特許文献２の手法を用いて、クエリ画像から抽出した特徴点に対して、各参照画像から抽出した特徴点との類似度が高い場合に一定の候補画像スコアを加算し、候補画像スコア正規化部３６においてクエリ画像から抽出される特徴点数の平方根、及び候補画像から抽出された特徴点数の平方根に反比例した候補画像スコアになるよう正規化する場合を例に説明したが、これに限定されるものではなく、候補画像選択部３４において上記非特許文献１の手法を用いて、候補画像に対応する参照画像ＩＤについての特徴点と、クエリ画像から抽出される特徴点との組み合わせのうち、当該組み合わせの２つの特徴点における特徴量の類似度が、予め定めた閾値以上の類似度となる組み合わせを対応点候補とし、さらに対応点候補を正対応と誤対応とに分類することにより、正対応と判定された対応点候補の数を候補画像スコアにし、候補画像スコア正規化部３６において対応点候補の数に反比例するように候補画像スコアを正規化してもよい。

また、上述した実施の形態では、詳細スコア算出部３８において上記非特許文献１の手法を用いて、候補画像に対応する参照画像ＩＤについての特徴点と、クエリ画像から抽出される特徴点との組み合わせのうち、当該組み合わせの２つの特徴点における特徴量の類似度が、予め定めた閾値以上の類似度となる組み合わせを対応点候補とし、さらに対応点候補を正対応と誤対応とに分類することにより、正対応と判定された対応点候補の数を詳細スコアにし、詳細スコア正規化部４０において対応点候補の数に反比例するように詳細スコアを正規化する場合を例に説明したが、これに限定されるものではなく、詳細スコア算出部３８において上記非特許文献２の手法を用いて、クエリ画像から抽出した特徴点に対して、各参照画像から抽出した特徴点との類似度が高い場合に一定の詳細スコアを加算し、詳細スコア正規化部４０においてクエリ画像から抽出される特徴点数の平方根、及び候補画像から抽出された特徴点数の平方根に反比例した詳細スコアになるように正規化してもよい。

１０ 入力部
２０ 演算部
２８ インデクス格納部
３０ 特徴量抽出部
３２ クラスタ割当部
３４ 候補画像選択部
３６ 候補画像スコア正規化部
３８ 詳細スコア算出部
４０ 詳細スコア正規化部
４２ 合計スコア算出部
４４ 参照画像情報出力部
５０ 出力部
１００ 類似画像取得装置

Claims (7)

1. 複数の参照画像から、クエリ画像と同一の被写体が写っている前記参照画像を取得する類似画像取得装置であって、
   入力されたクエリ画像に基づいて、前記クエリ画像の特徴量を抽出する特徴量抽出部と、
   予め抽出された前記複数の参照画像の各々の特徴量と、前記複数の参照画像の特徴量に対してクラスタリングを行って前記特徴量の各々が分類されたクラスタの各々を代表するクラスタ特徴量と、前記複数の参照画像の各々と前記複数のクラスタとの対応関係とを格納するインデクス格納部と、
   前記特徴量抽出部によって抽出された前記クエリ画像の特徴量について、前記クエリ画像の特徴量と、前記インデクス格納部に格納された前記クラスタ特徴量とに基づいて、前記クエリ画像の特徴量を、前記複数のクラスタのいずれかのクラスタに割り当てるクラスタ割当部と、
   前記インデクス格納部に格納された前記対応関係を参照し、前記クラスタ割当部によって前記クエリ画像の特徴量に割り当てられたクラスタに応じて前記参照画像に対してスコア付けを行い、候補画像スコアが高い前記参照画像の各々を候補画像として選択する候補画像選択部と、
   前記候補画像選択部によって選択された候補画像の各々の候補画像スコアを正規化する候補画像スコア正規化部と、
   前記インデクス格納部に格納された、前記候補画像の各々に対応する前記参照画像の各々の特徴量と、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量との類似度に基づいて、前記候補画像の各々について、詳細スコアを算出する詳細スコア算出部と、
   前記詳細スコア算出部によって前記候補画像の各々について算出された詳細スコアを正規化する詳細スコア正規化部と、
   前記候補画像の各々について、前記詳細スコア正規化部によって正規化された前記候補画像の候補画像スコアと、前記詳細スコア正規化部によって正規化された前記候補画像の詳細スコアとを重み付きで合計した合計スコアを算出する合計スコア算出部と、
   前記合計スコア算出部によって前記候補画像の各々について算出された合計スコアに基づいて、前記クエリ画像と同一の被写体が写っている前記参照画像を出力する参照画像情報出力部と、
   を含む類似画像取得装置。
2. 前記候補画像スコア正規化部における正規化、又は前記詳細スコア正規化部における正規化では、
   前記クエリ画像から抽出される特徴点数の平方根、及び前記参照画像から抽出された特徴点数の平方根に反比例したスコアになるように正規化する請求項１に記載の類似画像取得装置。
3. 前記候補画像スコア正規化部における正規化、又は前記詳細スコア正規化部における正規化では、
   前記クエリ画像から抽出される特徴点と、及び前記参照画像から抽出される特徴点との組み合わせのうち、予め定めた閾値以上の類似度となる前記組み合わせを対応点候補とし、前記対応点候補の数に反比例したスコアになるように正規化する請求項１に記載の類似画像取得装置。
4. 複数の参照画像から、クエリ画像と同一の被写体が写っている前記参照画像を取得する類似画像取得装置における類似画像取得方法であって、
   特徴量抽出部が、入力されたクエリ画像に基づいて、前記クエリ画像の特徴量を抽出するステップと、
   クラスタ割当部が、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量について、前記クエリ画像の特徴量と、インデクス格納部に格納された前記複数の参照画像の特徴量に対してクラスタリングを行って前記特徴量の各々が分類されたクラスタの各々を代表するクラスタ特徴量とに基づいて、前記クエリ画像の特徴量を、前記複数のクラスタのいずれかのクラスタに割り当てるステップと、
   候補画像選択部が、前記インデクス格納部に格納された、前記複数の参照画像の各々と前記複数のクラスタとの対応関係を参照し、前記クラスタ割当部によって前記クエリ画像の特徴量に割り当てられたクラスタに応じて前記参照画像に対してスコア付けを行い、候補画像スコアが高い前記参照画像の各々を候補画像として選択するステップと、
   候補画像スコア正規化部が、前記候補画像選択部によって選択された候補画像の各々の候補画像スコアを正規化するステップと、
   詳細スコア算出部が、前記インデクス格納部に格納された、前記候補画像の各々に対応する前記参照画像の各々の特徴量と、前記特徴量抽出部によって抽出された前記クエリ画像の特徴量との類似度に基づいて、前記候補画像の各々について、詳細スコアを算出するステップと、
   詳細スコア正規化部が、前記詳細スコア算出部によって前記候補画像の各々について算出された詳細スコアを正規化するステップと、
   合計スコア算出部が、前記候補画像の各々について、前記詳細スコア正規化部によって正規化された前記候補画像の候補画像スコアと、前記詳細スコア正規化部によって正規化された前記候補画像の詳細スコアとを重み付きで合計した合計スコアを算出するステップと、
   参照画像情報出力部が、前記合計スコア算出部によって前記候補画像の各々について算出された合計スコアに基づいて、前記クエリ画像と同一の被写体が写っている前記参照画像を出力するステップと、
   を含む類似画像取得方法。
5. 前記候補画像スコア正規化部における正規化するステップ、又は前記詳細スコア正規化部における正規化するステップでは、
   前記クエリ画像から抽出される特徴点数の平方根、及び前記参照画像から抽出された特徴点数の平方根に反比例したスコアになるように正規化する請求項４に記載の類似画像取得方法。
6. 前記候補画像スコア正規化部における正規化するステップ、又は前記詳細スコア正規化部における正規化するステップでは、
   前記クエリ画像から抽出される特徴点と、及び前記参照画像から抽出される特徴点との組み合わせのうち、予め定めた閾値以上の類似度となる前記組み合わせを対応点候補とし、前記対応点候補の数に反比例したスコアになるように正規化する請求項４に記載の類似画像取得方法。
7. コンピュータを、請求項１〜請求項３のいずれか１項に記載の類似画像取得装置の各部として機能させるためのプログラム。