JP6966875B2 - 画像検索装置及びプログラム - Google Patents

Description

本発明は、コンピュータ及びデータベースを用いた画像検索技術に関する。

現在実用化されている画像検索の中で主流な方法の一つは、手動或いは自動で予め画像に付与されたキーワードに対して、単語をクエリとして検索を行うものである。しかし、付与できるキーワードの種類や数には限りがあり、また、中には適切なキーワードを与えられない画像が存在することから、必ずしもユーザーの望む検索結果を提供することができない。

そこで、近年ではキーワードを介さずに、画像同士の画像特徴の比較に基づき、「見た目の似た」画像を検索する類似画像検索（Content-Based Image Retrieval，CBIR）技術が知られている。

類似画像検索の主な動作は以下の通りである。例えば画像データベースに登録されている画像から、色、テクスチャ、濃淡といった画像特徴を予め抽出する。クエリとして与えられた画像から同様に画像特徴を抽出し、当該画像データベースの画像の画像特徴と比較し、類似度を計算する。そして、類似度が高い画像を自動的に選択し検索結果を画面に表示する。

このような類似画像検索技法において、クエリ画像に対し大まかに見た目の類似した画像を検索する幾つかの技法が開示されている（例えば、特許文献１，２参照）。

また、対称軸に基づいて領域分割を行ったうえで、クエリ画像と比較画像との特徴点の位置を比較する技法が開示されている（例えば、特許文献３参照）。

特開２００３−２３３８００号公報 特開２００３−２１６６４９号公報 特開２０１０−２７２０９２号公報

特許文献１，２に開示される技法では、クエリ画像に対し大まかに見た目の類似した画像を検索することはできるが、これらの技法で用いられている画像特徴では、画像内の被写体の詳細な構造や局所的な特徴の位置関係の情報を反映させることが難しい。従って、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を高精度に検索することは困難であるという問題があった。

また、特許文献３に開示される技法では、対称軸に基づいて領域分割を行ったうえで、クエリ画像と比較画像との特徴点の位置を比較する技法となっており、その処理効率の点では有効であるが、その領域分割に起因して対比する局所特徴の欠損が生じうるため、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を高精度に検索することに関して改善の余地がある。

本発明の目的は、上述の問題に鑑みて、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索対象の画像データベース又はネットワーク上の画像から、高精度に検索可能とする画像検索装置及びプログラムを提供することにある。

本発明の画像検索装置は、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を、検索対象の画像データベース又はネットワーク上の画像から検索する画像検索装置であって、検索対象画像及びクエリ画像のそれぞれに対し、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する画像特徴計算手段と、前記検索対象画像における全体特徴ベクトルと前記クエリ画像における全体特徴ベクトルとの比較により第１の類似度を求め、且つ前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較により第２の類似度を求め、当該第１の類似度と第２の類似度の双方を考慮した類似度を計算する画像類似度計算手段と、当該計算した類似度を基に前記検索対象画像と前記クエリ画像との類似性を評価することにより前記クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索して抽出する類似画像抽出手段と、を備え前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し画像の濃淡が二方向に所定値以上変化している点を特徴点とし、各特徴点の所定画像サイズ内の周辺領域における色、テクスチャ、勾配のいずれか１つ以上の情報をベクトル化した局所特徴として求め、前記検索対象画像及び前記クエリ画像のそれぞれの全体に対し所定の代表ベクトルを用いて当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記全体特徴ベクトルとして求めることを特徴とする。

また、本発明の画像検索装置において、前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し当該局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行なって対称性グループを抽出し、特徴点の数が所定の閾値を超える対称性グループ、又は所属する特徴点が多い順に一定数の対称性グループを抽出し、当該所定の代表ベクトルを用いて、当該検索対象画像における各対称性グループに対し当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記詳細特徴ベクトルとして求めることを特徴とする。

また、本発明の画像検索装置において、前記画像類似度計算手段は、前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較による前記第２の類似度を、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値により求めることを特徴とする。

また、本発明の画像検索装置において、前記画像類似度計算手段は、当該第１の類似度と第２の類似度の双方を考慮した類似度として重み付け平均により、前記検索対象画像と前記クエリ画像との類似性を評価することを特徴とする。

また、本発明の画像検索装置において、前記類似画像抽出手段は、所定数の当該検索対象画像に対し前記クエリ画像との類似性を評価し、類似度の高いものから所定数の検索対象画像を自動選択して外部に出力することを特徴とする。

また、本発明の画像検索装置において、前記画像特徴計算手段は、前記対称性グループの抽出時に、複数の対称性グループの抽出を許容し、且つ線対称、回転対称、及び並進対称のうち１つ以上を用いて同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行って当該複数の対称性グループを抽出することを特徴とする。

更に、本発明のプログラムは、本発明の画像検索装置をコンピュータとして機能させるためのプログラムとして構成される。

本発明によれば、クエリ画像の被写体と同一又は類似性の高い被写体の画像を高精度に検索することが可能となる。特に、対称性を有する被写体に有効であり、画像には多くの場合対称性が含まれているため、幅広い範囲で従来技法よりも検索精度を向上させることができる。

本発明による一実施形態の画像検索装置の概略構成を示すブロック図である。 本発明による一実施形態の画像検索装置における画像特徴計算部の処理を示すフローチャートである。 本発明による一実施形態の画像検索装置における画像類似度計算部の処理を示すフローチャートである。 （ａ）,（ｂ）は、それぞれ本発明による一実施形態の画像検索装置における画像類似度計算部の処理に係る説明図である。 （ａ）,（ｂ）は、それぞれ本発明による一実施形態の画像検索装置における検索結果と、典型的な従来技法の検索結果とを数値で比較する図である。

以下、図面を参照して、本発明による一実施形態の画像検索装置１を説明する。図１は、本発明による一実施形態の画像検索装置の概略構成を示すブロック図である。

〔装置構成〕
本実施形態の画像検索装置１は、前処理部１１と検索処理部１２とを備える。前処理部１１は、画像特徴計算部１１１と、画像特徴ベクトル格納部１１２とを備える。また、検索処理部１２は、画像特徴計算部１２１と、画像類似度計算部１２２と、類似画像抽出部１２３とを備える。

本実施形態の画像検索装置１は、クエリ画像を基に、これと同一又は類似性の高い被写体の画像を検索する、インターネット等のネットワークに接続可能なコンピュータとして構成することができ、当該ネットワークに接続される所定の画像データベース、又はネットワークを介して閲覧可能なネットワーク上の画像を検索対象とする装置である。

以下に説明する例では、本発明の理解を高めるために、当該ネットワークに接続される所定の画像データベースとして予め特定した検索対象画像データベース２に格納されるＮ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに対し、クエリ画像Ｉ_Ｑの被写体と同一又は類似性の高い被写体の画像を高精度に検索する例を説明する。

ここで、本実施形態の画像検索装置１は、クエリ画像Ｉ_Ｑの被写体と同一又は類似性の高い「被写体」の検索を行うものであり、検索対象画像内の被写体の画像サイズや画角、色、テクスチャ、濃淡等の違いがあっても、同一又は類似性の高い「被写体」であれば検索成功とし、これを従来技法よりも高精度に行うものである。

まず、前処理部１１における画像特徴計算部１１１は、検索対象画像データベース２に格納されるＮ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに対し、それぞれ画像特徴ベクトルＶ［Ｉ_１］，Ｖ［Ｉ_２］，…，Ｖ［Ｉ_Ｎ］を計算し、各検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎと対応付けて画像特徴ベクトル格納部１１２に格納する。

一方、検索処理部１２における画像特徴計算部１２１は、ユーザーから与えられたクエリ画像Ｉ_Ｑに対し、画像特徴ベクトルＶ［Ｉ_Ｑ］を計算し、画像類似度計算部１２２に出力する。尚、前処理部１１における画像特徴計算部１１１と、検索処理部１２における画像特徴計算部１２１の処理は同一であり、その詳細は後述する。

画像類似度計算部１２２は、クエリ画像Ｉ_Ｑに関する画像特徴ベクトルＶ［Ｉ_Ｑ］と、画像特徴ベクトル格納部１１２に格納されるＮ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに関するそれぞれの画像特徴ベクトルＶ［Ｉ_１］，Ｖ［Ｉ_２］，…，Ｖ［Ｉ_Ｎ］とを比較して、それぞれの類似度Ｓ（Ｉ_Ｑ，Ｉ_１），Ｓ（Ｉ_Ｑ，Ｉ_２），…，Ｓ（Ｉ_Ｑ，Ｉ_Ｎ）を計算し、検索対象画像データベース２に格納されるＮ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに対応付けて類似画像抽出部１２３に出力する。

類似画像抽出部１２３は、Ｎ枚の検索対象画像群に対するそれぞれの類似度Ｓ（Ｉ_Ｑ，Ｉ_１），Ｓ（Ｉ_Ｑ，Ｉ_２），…，Ｓ（Ｉ_Ｑ，Ｉ_Ｎ）のうち、類似度が高い所定数の画像（本例では上位Ｒ枚の画像）Ｉ_ｄ１，Ｉ_ｄ２，…，Ｉ_ｄＲを自動選択し検索結果として外部（例えば表示装置）に出力する。

〔装置動作〕
（画像特徴計算処理）
図２は、本発明による一実施形態の画像検索装置１における画像特徴計算部１１１の処理を示すフローチャートである。尚、画像特徴計算部１２１の処理も図２と同様の処理である。

画像特徴計算部１１１は、検索対象画像データベース２に格納されるＮ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに対し、それぞれ画像特徴ベクトルＶ［Ｉ_１］，Ｖ［Ｉ_２］，…，Ｖ［Ｉ_Ｎ］を計算する。即ち、検索対象画像Ｉ_１に対し画像特徴ベクトルＶ［Ｉ_１］を求め、他の検索対象画像についても同様であり、以下では、検索対象画像Ｉ_１に対し画像特徴ベクトルＶ［Ｉ_１］を求める処理を説明する。

まず、画像特徴計算部１１１は、検索対象画像Ｉ_１に対し特徴点を検出する（ステップＳ１）。ここでいう特徴点とは、画像の濃淡が二方向に所定値以上変化している点であり、コーナーやクロス、もしくはそれらに近い点が該当する。特徴点の検出方法としては、例えばＳＩＦＴ（Scale-Invariant Feature Transform）の検出に利用されるガウシアンピラミッドを用いた方法を利用できる（例えば、『D. G. Lowe,“Object recognition from local scale-invariant features,” Proc. of IEEE International Conference on Computer Vision (ICCV), pp. 1150-1157, 1999』参照)。

続いて、画像特徴計算部１１１は、検索対象画像Ｉ_１に対し検出された各特徴点の周辺領域（所定画像サイズ内）の局所特徴を計算する（ステップＳ２）。ここでいう局所特徴とは、特徴点の周辺領域の色、テクスチャ、勾配のいずれか１つ以上の情報をベクトル化したものであり、勾配特徴をベクトル化した例として鏡面反転を考慮したＭＩＦＴと称される方法を利用できる（例えば、『X. Guo and X. Cao,“MIFT: A framework for feature descriptors to be mirror reflection invariant,”Image and Vision Computing, vol. 30, no. 8, pp. 546-556, 2012』参照)。

そして、画像特徴計算部１１１は、上記のステップＳ１，Ｓ２の処理を、Ｎ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに対しそれぞれ行う。

以下では、全体特徴計算処理と詳細特徴計算処理に分けて処理を行う。
まず、全体特徴計算処理を説明する。

画像特徴計算部１１１は、代表ベクトルを用いて、検索対象画像Ｉ_１の全体に対し局所特徴をベクトル量子化する（ステップＳ３）。代表ベクトルは、本例ではＮ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎの全画像から抽出された局所特徴の全部、若しくは一部をクラスタリングし、そのクラスタ中心のベクトルを代表ベクトルとして定める。クラスタ数はデータベースの大きさに応じて適宜決定する。この代表ベクトルは予め不特定多数の画像から選出したものとしてもよい。

続いて、画像特徴計算部１１１は、検索対象画像Ｉ_１に対しステップＳ３にて得られたベクトル量子化した局所特徴の出現頻度をヒストグラム化する（ステップＳ４）。つまり、当該検索対象画像Ｉ_１内で代表ベクトルを持つ局所特徴の出現頻度を調べる。

続いて、画像特徴計算部１１１は、ステップＳ４で得られた当該ヒストグラムを正規化する（ステップＳ５）。正規化の手法は、ｔｆ-ｉｄｆを用いたＬ２正規化など、一般的な方法を用いることができる。即ち、検索対象画像Ｉ_１に対し出現する局所特徴の出現頻度を基に、その全体を予測表現する特徴量を定義付ける。

続いて、画像特徴計算部１１１は、ステップＳ５で得られた正規化したヒストグラムを検索対象画像Ｉ_１に対する全体特徴ベクトルＶ_Ｇ［Ｉ_１］とする（ステップＳ６）。

そして、画像特徴計算部１１１は、上記のステップＳ３〜Ｓ６の処理を、Ｎ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに対しそれぞれ行って、全体特徴ベクトルＶ_Ｇ［Ｉ_１］，Ｖ_Ｇ［Ｉ_２］，…，Ｖ_Ｇ［Ｉ_Ｎ］を求める。即ち、或る検索対象画像Ｉ_ｎに対し、画像特徴計算部１１１は、全体特徴ベクトルＶ_Ｇ［Ｉ_ｎ］を得る。

次に、詳細特徴計算処理を説明する。

画像特徴計算部１１１は、検索対象画像Ｉ_１に対し局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行う（ステップＳ７）。例えば線対称性に着目する場合には、同じ対象軸によって結び付けられる特徴点の組を一つのグループとする。このグループを対称性グループと呼ぶこととする。特徴点の組をグループ分けする方法としては線対称、回転対称、又は並進対称とすることができるが、本例では線対称を用いる例を説明する。

尚、線対称によるグループ化処理として、例えば『Z. Tang, P. Monasse, and J. Morel,“Reflexive Symmetry Detection in Single Image,”Proc. of the 8th International Conference Curves and Surfaces, pp. 452-460, 2014』、或いは『G. Loy and J. Eklundh,“Detecting symmetry and symmetric constellations of features,”ECCV, 2006』に開示される技法を利用できる。

また、回転対称によるグループ化処理として、例えば上記の『G. Loy and J. Eklundh,“Detecting symmetry and symmetric constellations of features,”ECCV, 2006』に開示される技法を利用できる。

また、並進対称によるグループ化処理として、例えば『M. Park, K. Brocklehurst, R. T. Collins, and Y. Liu,“Deformed lattice detection in real-world images using mean-shift belief propagation,”IEEE Transaction on Pattern Analysis and Machine Intelligence (TPAMI), vol. 31, No. 10』に開示される技法を利用できる。

ここで、画像特徴計算部１１１は、検索対象画像Ｉ_１に対し構成したグループのうち、各グループ内に所属する特徴点の数が所定の閾値を超えるもののみ採用する、または所属する特徴点が多い順に一定数の対称性グループのみ採用することで、検出された対称性グループの信頼度を上げることができる。最終的に採用された対称性グループの個数をＭ_１個（Ｍ_１は０以上の整数）とする。

続いて、画像特徴計算部１１１は、ステップＳ３で得られた代表ベクトルを用いて、検索対象画像Ｉ_１における各対称性グループに対し、局所特徴をベクトル量子化する（ステップＳ８）。

続いて、画像特徴計算部１１１は、検索対象画像Ｉ_１における各対称性グループに対し、ベクトル量子化された局所特徴の出現頻度のヒストグラムを生成する（ステップＳ９）。従って、Ｍ_１個のヒストグラムが得られる。

続いて、画像特徴計算部１１１は、ステップＳ９で得られた対称性グループ毎に、当該ヒストグラムを正規化する（ステップＳ１０）。正規化の手法は、ステップＳ５と同様のものとする。即ち、検索対象画像Ｉ_１内の各対称性グループにて出現する局所特徴の出現頻度を基に、その各対称性グループを予測表現する特徴量を定義付ける。

続いて、画像特徴計算部１１１は、ステップＳ１０で得られた、対称性グループ毎に正規化したヒストグラムを検索対象画像Ｉ_１に対する詳細特徴ベクトルＶ_Ｓｙｍ［Ｉ_１，１］，Ｖ_Ｓｙｍ［Ｉ_１，２］，…，Ｖ_Ｓｙｍ［Ｉ_１，Ｍ_１］とする（ステップＳ１１）。

そして、画像特徴計算部１１１は、上記のステップＳ７〜Ｓ１１の処理を、Ｎ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに対しそれぞれ行って、Ｎ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎのうちの或る検索対象画像Ｉ_ｎについて、詳細特徴ベクトルＶ_Ｓｙｍ［Ｉ_ｎ，１］，Ｖ_Ｓｙｍ［Ｉ_ｎ，２］，…，Ｖ_Ｓｙｍ［Ｉ_ｎ，Ｍ_ｎ］を求める。

最終的に、画像特徴計算部１１１は、上記のステップＳ６で得られた全体特徴ベクトルと、上記のステップＳ１１で得られた詳細特徴ベクトルをまとめて、Ｎ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに対し、それぞれの画像特徴ベクトルＶ［Ｉ_１］，Ｖ［Ｉ_２］，…，Ｖ［Ｉ_Ｎ］を得る。即ち、或る検索対象画像Ｉ_ｎに対し、画像特徴計算部１１１は、画像特徴ベクトルＶ［Ｉ_ｎ］＝｛Ｖ_Ｇ［Ｉ_ｎ］，Ｖ_Ｓｙｍ［Ｉｎ，１］， Ｖ_Ｓｙｍ ［Ｉ_ｎ，２］，…，Ｖ_Ｓｙｍ ［Ｉ_ｎ，Ｍ_ｎ］｝を得る。

ただし、Ｎ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎのうちの或る検索対象画像Ｉ_ｎに対し、Ｍ_ｎ＝０となる（対称性グループが得られなかった）場合は、画像特徴ベクトルＶ［Ｉ_ｎ］＝｛Ｖ_Ｇ［Ｉ_ｎ］，Ｖ_Ｓｙｍ［Ｉ_ｎ，１］｝と定める。ここで、対称性グループが得られなかった場合のＶ_Ｓｙｍ［Ｉ_ｎ，１］は、その旨が識別できるように定める（例えば図３を参照して後述する画像類似度計算処理の際に詳細画像類似度が常に０となるように、０ベクトルとして定める）。

画像特徴計算部１２１の処理も図２と同様の処理であり、画像特徴計算部１２１は、クエリ画像Ｉ_Ｑに対し、画像特徴ベクトルＶ［Ｉ_Ｑ］＝｛Ｖ_Ｇ［Ｉ_Ｑ］，Ｖ_Ｓｙｍ［Ｉ_Ｑ，１］, Ｖ_Ｓｙｍ ［Ｉ_Ｑ，２］，…，Ｖ_Ｓｙｍ ［Ｉ_Ｑ，Ｍ_Ｑ］｝を得る。

このようにして、画像特徴計算部１１１，１２１は、例えば図４（ａ）に示す多数の〇枠内で表された特徴点から構成された全体特徴ベクトルを、クエリ画像Ｉ_Ｑについては全体特徴ベクトルＶ_Ｇ［Ｉ_Ｑ］として、或る検索対象画像Ｉ_ｎについては全体特徴ベクトルＶ_Ｇ［Ｉ_ｎ］として、互いに対比可能に算出する。

また、画像特徴計算部１１１，１２１は、例えば図４（ｂ）に示す第１の対象軸Ｓｙｍ１を共通に持つ第１対称性グループを示す一点破線〇枠内の多数の〇枠内で表された特徴点から構成された詳細特徴ベクトルを、クエリ画像Ｉ_Ｑについては詳細特徴ベクトルＶ_Ｓｙｍ［Ｉ_Ｑ，１］として、或る検索対象画像Ｉ_ｎについては詳細特徴ベクトルＶ_Ｓｙｍ［Ｉ_ｎ，１］として、互いに対比可能に算出する。

更に、画像特徴計算部１１１，１２１は、例えば図４（ｂ）に示す第２の対象軸Ｓｙｍ２を共通に持つ第２対称性グループを示す一点破線〇枠内の多数の〇枠内で表された特徴点から構成された詳細特徴ベクトルを、クエリ画像Ｉ_Ｑについては詳細特徴ベクトルＶ_Ｓｙｍ［Ｉ_Ｑ，２］として、或る検索対象画像Ｉ_ｎについては詳細特徴ベクトルＶ_Ｓｙｍ［Ｉ_ｎ，２］として、互いに対比可能に算出する。

（画像類似度計算処理）
図３は、本発明による一実施形態の画像検索装置１における画像類似度計算部１２２の処理を示すフローチャートである。

画像類似度計算部１２２は、クエリ画像Ｉ_Ｑに関する画像特徴ベクトルＶ［Ｉ_Ｑ］と、画像特徴ベクトル格納部１１２に格納されるＮ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに関するそれぞれの画像特徴ベクトルＶ［Ｉ_１］，Ｖ［Ｉ_２］，…，Ｖ［Ｉ_Ｎ］とを比較して、それぞれの類似度Ｓ（Ｉ_Ｑ，Ｉ_１），Ｓ（Ｉ_Ｑ，Ｉ_２），…，Ｓ（Ｉ_Ｑ，Ｉ_Ｎ）を計算する。類似度の計算には、ベクトル同士の内積や、ユークリッド距離を０〜１に正規化したものなど、一般的なものを用いる。

まず、画像類似度計算部１２２は、クエリ画像Ｉ_Ｑに関する画像特徴ベクトルＶ［Ｉ_Ｑ］と、Ｎ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎのうちの或る検索対象画像Ｉ_ｎに関する画像特徴ベクトルＶ［Ｉ_ｎ］とを入力する（ステップＳ２１）。

続いて、画像類似度計算部１２２は、全体画像類似度Ｓ_Ｇ（Ｉ_Ｑ，Ｉ_ｎ）と、対称性グループ毎の類似度の平均値として詳細画像類似度Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）を個別に求める。

第１に、画像類似度計算部１２２は、クエリ画像Ｉ_Ｑに関する画像特徴ベクトルＶ［Ｉ_Ｑ］における全体特徴ベクトルＶ_Ｇ［Ｉ_Ｑ］と、当該検索対象画像Ｉ_ｎに関する画像特徴ベクトルＶ［Ｉ_ｎ］における全体特徴ベクトルＶ_Ｇ［Ｉ_Ｑ］とを比較して、全体画像類似度Ｓ_Ｇ（Ｉ_Ｑ，Ｉ_ｎ）を求める（ステップＳ２２）。

第２に、画像類似度計算部１２２は、詳細画像類似度Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）を以下の手順で求める（ステップＳ２３）。

まず、クエリ画像Ｉ_Ｑの対称性グループの添字集合をＩＤ_Ｑ＝｛１，２，…，Ｍ_Ｑ｝、当該検索対象画像Ｉ_ｎの対称性グループの添字集合をＩＤ_ｎ＝｛１，２，…，Ｍ_ｎ｝とする。ここで、Ｍ_Ｑ，Ｍ_ｎは、それぞれクエリ画像Ｉ_Ｑと検索対象画像Ｉ_ｎの詳細特徴ベクトルの個数である。

始めに、ｍの初期値を１とする。

（処理Ａ）画像類似度計算部１２２は、Ｖ_ｓｙｍ[Ｉ_Ｑ，ｉ]とＶ_ｓｙｍ[Ｉ_ｎ，ｊ]との類似度が最大となるｉとｊをそれぞれＩＤ_Ｑ，ＩＤ_ｎから選択し、その類似度をＳ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［ｍ］とする。詳細画像類似度の計算は、全体画像類似度の計算と同じ方法とする。

（処理Ｂ）次に、画像類似度計算部１２２は、Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［ｍ］＝０であるか否かを検査し、Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［ｍ］＝０であれば“処理Ｅ”へ移行する。

（処理Ｃ）次に、画像類似度計算部１２２は、Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［ｍ］＝０でないとき、ＩＤ_Ｑ，ＩＤ_ｎから当該ｉ，ｊを除き、ｍ＝ｍ＋１とする。

（処理Ｄ）画像類似度計算部１２２は、ＩＤ_Ｑ，ＩＤ_ｎが空集合となるまで、上記の（処理Ａ）〜（処理Ｃ）を繰り返し、ＩＤ_Ｑ，ＩＤ_ｎが空集合となるとき、“処理Ｅ”へ移行する。

（処理Ｅ）画像類似度計算部１２２は、Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）を、Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ））［１］，…，Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［ｍ−１］の平均値として求める。ただし、Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［１］＝０の場合、Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）＝０とする。

このようにして、画像類似度計算部１２２は、対称性グループ毎の類似度の平均値として詳細画像類似度Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）を求める。

最終的に、画像類似度計算部１２２は、クエリ画像Ｉ_Ｑに関する画像特徴ベクトルＶ［Ｉ_Ｑ］と、当該検索対象画像Ｉ_ｎに関する画像特徴ベクトルＶ［Ｉ_ｎ］との比較による画像類似度Ｓ（Ｉ_Ｑ，Ｉ_ｎ）を、全体画像類似度Ｓ_Ｇ（Ｉ_Ｑ，Ｉ_ｎ）と、対称性グループ毎の類似度の平均値として詳細画像類似度Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）の加重平均として、次式により求める（ステップＳ２４）。
Ｓ（Ｉ_Ｑ,Ｉ_ｎ）＝（１−ａ）Ｓ_Ｇ（Ｉ_Ｑ，Ｉ_ｎ）＋ａＳ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）

ただし、ａは、対象軸の寄与を決めるパラメータである（０＜a＜１）。

即ち、図４（ｂ）に示す例では、Ｍ_Ｑ＝Ｍ_ｎ＝２であり、第１対称性グループにおける詳細特徴ベクトルの類似度Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［１］はＶ_Ｓｙｍ［Ｉ_Ｑ，１］とＶ_Ｓｙｍ［Ｉ_ｎ，１］の類似度、第２対称性グループにおける詳細特徴ベクトルのＳ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［２］はＶ_Ｓｙｍ［Ｉ_Ｑ，２］とＶ_Ｓｙｍ［Ｉ_ｎ，２］の類似度となっている。このため、詳細画像類似度Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）は、対称性グループ毎の類似度の平均値として、Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）＝（Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［１］＋Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［２］）／２となる。

尚、図４（ｂ）に示す例では、本発明の理解を高めるために、複数の対称性グループは互いに重複していないが、実際には、本実施形態の画像検索装置１は、抽出する対称性グループの重複を許容しており、これにより対比する局所特徴の欠損を防止して精度を高めることができる。

尚、画像類似度計算部１２２は、対称性グループ毎の類似度の平均値として詳細画像類似度Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）を求める代わりに、対称性グループ毎の類似度の和、即ち、Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）＝Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［１］，…，Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［ｍ−１］の和として求めてもよい。

或いは、画像類似度計算部１２２は、対称性グループ毎の類似度の平均値として詳細画像類似度Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）を求める代わりに、対称性グループ毎の類似度の重み付け平均値、即ち、Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）＝Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［１］，…，Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）［ｍ−１］の重み付け平均値として求めてもよい。このときの重みには、対称軸検出のアルゴリズムの結果として対称軸の信頼度の指標となる値が得られる場合にはそれを用いることができる。

このように、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値として詳細画像類似度Ｓ_Ｓｙｍ（Ｉ_Ｑ，Ｉ_ｎ）を求めることにより、対称軸が多く検出されるほど類似度が低くなる状況を回避することができる。

以上のように、画像類似度計算部１２２は、画像特徴ベクトル格納部１１２に格納されるＮ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに関するそれぞれの画像特徴ベクトルＶ［Ｉ_１］，Ｖ［Ｉ_２］，…，Ｖ［Ｉ_Ｎ］について、クエリ画像Ｉ_Ｑに関する画像特徴ベクトルＶ［Ｉ_Ｑ］と比較することにより、Ｎ枚の検索対象画像群に対するそれぞれの類似度Ｓ（Ｉ_Ｑ，Ｉ_１），Ｓ（Ｉ_Ｑ，Ｉ_２），…，Ｓ（Ｉ_Ｑ，Ｉ_Ｎ）を計算する。これにより、類似画像抽出部１２３は、Ｎ枚の検索対象画像群のうち、類似度が高い所定数の画像（本例では上位Ｒ枚の画像）Ｉ_ｄ１，Ｉ_ｄ２，…，Ｉ_ｄＲを自動選択し検索結果として外部（例えば表示装置）に出力することができる。

図５（ａ）,（ｂ）には、それぞれ本発明による一実施形態の画像検索装置１における検索結果と、典型的な従来技法（即ち、全体特徴ベクトルのみの類似度評価）の検索結果とを数値で比較する図である。図５（ａ）, （ｂ）にて使用したデータセットはそれぞれ一般的に開示されている種々の蝶々、陸橋を含む種々の建設物に関するデータセットを用いて、そのうちの１つの画像（図５（ａ）については或る蝶々、図５（ｂ）については或る陸橋）をクエリ画像として、他の画像を検索対象画像として評価した。対称性については線対称を考慮し、上記の『Z. Tang, P. Monasse, and J. Morel,“Reflexive Symmetry Detection in Single Image,”Proc. of the 8th International Conference Curves and Surfaces, pp. 452-460, 2014』をベースにした手法を用いている。

図５（ａ）に示す蝶々のデータセットでは、従来技法に対応する比較例では対称性を考慮した特徴ベクトルを使用しない場合（パラメータａ＝０）とし、本発明による実施例では対称性を考慮した特徴ベクトルを使用した場合（パラメータａ＝０．７）とした。

また、図５（ｂ）に示す陸橋のデータセットでは、従来技法に対応する比較例では対称性を考慮した特徴ベクトルを使用しない場合（パラメータａ＝０）とし、本発明による実施例では対称性を考慮した特徴ベクトルを使用した場合（パラメータａ＝０．５）とした。

平均適合率ＡＰは、ｉ番目の正解までの適合率（＝正解数／総数）をＰ_ｉとして、以下の式で計算される。ただしＮは正解画像の総数である。０≦ＡＰ≦１であり、１に近いほど検索精度は良いデータセットとなっている。

図５（ａ）,（ｂ）に示す比較から分かるように、クエリ画像の被写体と同一又は類似性の高い被写体の画像を高精度に検索することが可能となる。特に、陸橋よりも蝶々の検索結果が従来技法より著しく向上しているように、対称性を有する被写体に有効であり、画像には多くの場合対称性が含まれているため、幅広い範囲で従来技法よりも検索精度を向上させることができる。また、図５（ａ）,（ｂ）では、それぞれ本発明による実施例としてパラメータａ＝０．７又は０．５としているがそれぞれの探索結果として最適化な数値を模索して設定した値であるが、概ね、パラメータａ＝０．５〜０．７の範囲で設定することで、汎用性が得られることも確認された。

図５（ａ）,（ｂ）に示す比較では、主観を除くために、クエリ画像内の被写体と「同一の被写体」の画像を高精度に検索することに関して評価したが、クエリ画像内の被写体と「同一又は類似性の高い被写体」の画像を高精度に検索する目的においてはより有効な結果が期待できる。

包括するに、本実施形態の画像検索装置１は、画像特徴計算部１１１，１２１により、検索対象画像及びクエリ画像のそれぞれに対し、まず、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する。

ここで、本実施形態の画像検索装置１における画像特徴計算部１１１，１２１は、検索対象画像及びクエリ画像のそれぞれに対し画像の濃淡が二方向に所定値以上変化している点を特徴点とし、各特徴点の所定画像サイズ内の周辺領域における色、テクスチャ、勾配のいずれか１つ以上の情報をベクトル化した局所特徴として求め、当該検索対象画像及びクエリ画像のそれぞれの全体に対し所定の代表ベクトルを用いて当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを全体特徴ベクトルとして求める。

また、本実施形態の画像検索装置１における画像特徴計算部１１１，１２１は、検索対象画像及びクエリ画像のそれぞれに対し当該局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行なって対称性グループを抽出し、特徴点の数が所定の閾値を超える対称性グループ、又は所属する特徴点が多い順に一定数の対称性グループを抽出し、当該所定の代表ベクトルを用いて、当該検索対象画像における各対称性グループに対し当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを詳細特徴ベクトルとして求める。

そして、本実施形態の画像検索装置１は、画像類似度計算部１２２により、検索対象画像における全体特徴ベクトルとクエリ画像における全体特徴ベクトルとの比較により第１の類似度を求め、検索対象画像における詳細特徴ベクトルとクエリ画像における詳細特徴ベクトルとの比較により第２の類似度を求め、当該第１の類似度と第２の類似度の双方を考慮した類似度（本例ではパラメータａに基づく重み付け平均）により、検索対象画像とクエリ画像との類似性を評価する。

特に、画像類似度計算部１２２は、検索対象画像における詳細特徴ベクトルとクエリ画像における詳細特徴ベクトルとの比較による当該第２の類似度を、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値により求める。

そして、本実施形態の画像検索装置１は、類似画像抽出部１２３により、所定数の検索対象画像に対しクエリ画像との類似性を評価し、類似度の高いものから所定数の検索対象画像を自動選択して外部に出力する。

このように、本発明に係る画像検索装置１は、全体特徴ベクトルの比較による第１の類似度と、詳細特徴ベクトルの比較による第２の類似度を求め、当該第１の類似度と第２の類似度の双方を考慮した類似度（本例ではパラメータａに基づく重み付け平均）により、検索対象画像とクエリ画像との類似性を評価するようになっているため、例えば特許文献３に開示される技法など、他の従来技法よりも、画像の被写体の詳細な構造や位置関係の違いを類似度に反映させることができる。

また、特許文献３に開示される技法では、対称軸に基づいて領域分割を行ったうえでクエリ画像と比較画像との特徴点の位置を比較する技法となっており、その領域分割に起因して対比する局所特徴の欠損が生じうるが、本発明に係る画像検索装置１にて抽出する対称性グループは、その重複を許容しており、これにより対比する局所特徴の欠損を防止して精度を高めることができる。

また、特許文献３に開示される技法で用いる対称性は線対称性に限られているが、本発明に係る画像検索装置１では、一つの画像に複数の対称性が存在する場合にも適用することが可能であり、尚且つ線対称、回転対称、及び並進対称のうち１つ以上を用いて対称性グループを抽出することができる。これにより、原理的に、従来用いられていた画像特徴と比較して、被写体の詳細な構造や位置関係の情報を反映した画像特徴を構成することができ、類似画像検索の高精度化が可能となる。

本発明に係る画像検索装置１はコンピュータとして構成され、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。当該コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本発明に係る画像検索装置１の各構成要素の機能をコンピュータに実現させることができる。

本発明は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。例えば、上述した実施形態の例では、ネットワークに接続される所定の画像データベースとして予め特定した検索対象画像データベース２に格納されるＮ枚の検索対象画像群Ｉ_１，Ｉ_２，…，Ｉ_Ｎに対し、クエリ画像Ｉ_Ｑの被写体と同一又は類似性の高い被写体の画像を高精度に検索する例を説明したが、ネットワークを介して閲覧可能なネットワーク上の画像を検索対象とすることができる。例えば、閲覧可能なネットワーク上の画像を検索対象とするときは、ランダムに収集したものを検索対象画像データベース２に格納すればよい。

本発明によれば、クエリ画像の被写体と同一又は類似性の高い被写体の画像を高精度に検索することが可能となり、特に対称性を有する被写体に有効であり、幅広い範囲で従来技法よりも検索精度を向上させることができるので、アーカイブにおける資料検索、映像制作における素材検索、又はＷｅｂ上の画像検索エンジンにおいて有用である。

１ 画像検索装置
２ 検索対象画像データベース
１１ 前処理部
１２ 検索処理部
１１１ 画像特徴計算部
１１２ 画像特徴ベクトル格納部
１２１ 画像特徴計算部
１２２ 画像類似度計算部
１２３ 類似画像抽出部

Claims (7)

1. クエリ画像内の被写体と同一又は類似性の高い被写体の画像を、検索対象の画像データベース又はネットワーク上の画像から検索する画像検索装置であって、
   検索対象画像及びクエリ画像のそれぞれに対し、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する画像特徴計算手段と、
   前記検索対象画像における全体特徴ベクトルと前記クエリ画像における全体特徴ベクトルとの比較により第１の類似度を求め、且つ前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較により第２の類似度を求め、当該第１の類似度と第２の類似度の双方を考慮した類似度を計算する画像類似度計算手段と、
   当該計算した類似度を基に前記検索対象画像と前記クエリ画像との類似性を評価することにより前記クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索して抽出する類似画像抽出手段と、を備え、
   前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し画像の濃淡が二方向に所定値以上変化している点を特徴点とし、各特徴点の所定画像サイズ内の周辺領域における色、テクスチャ、勾配のいずれか１つ以上の情報をベクトル化した局所特徴として求め、前記検索対象画像及び前記クエリ画像のそれぞれの全体に対し所定の代表ベクトルを用いて当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記全体特徴ベクトルとして求めることを特徴とする画像検索装置。
2. 前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し当該局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行なって対称性グループを抽出し、特徴点の数が所定の閾値を超える対称性グループ、又は所属する特徴点が多い順に一定数の対称性グループを抽出し、当該所定の代表ベクトルを用いて、当該検索対象画像における各対称性グループに対し当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記詳細特徴ベクトルとして求めることを特徴とする、請求項１に記載の画像検索装置。
3. 前記画像類似度計算手段は、前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較による前記第２の類似度を、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値により求めることを特徴とする、請求項１又は２に記載の画像検索装置。
4. 前記画像類似度計算手段は、当該第１の類似度と第２の類似度の双方を考慮した類似度として重み付け平均により、前記検索対象画像と前記クエリ画像との類似性を評価することを特徴とする、請求項１から３のいずれか一項に記載の画像検索装置。
5. 前記類似画像抽出手段は、所定数の当該検索対象画像に対し前記クエリ画像との類似性を評価し、類似度の高いものから所定数の検索対象画像を自動選択して外部に出力することを特徴とする、請求項１から４のいずれか一項に記載の画像検索装置。
6. 前記画像特徴計算手段は、前記対称性グループの抽出時に、複数の対称性グループの抽出を許容し、且つ線対称、回転対称、及び並進対称のうち１つ以上を用いて同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行って当該複数の対称性グループを抽出することを特徴とする、請求項２、或いは請求項２を引用する請求項３から５のいずれか一項に記載の画像検索装置。
7. 請求項１から６のいずれか一項に記載の画像検索装置をコンピュータとして機能させるためのプログラム。

Images