JP5833499B2 - 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム - Google Patents

Description

本発明は、特徴ベクトルの集合で表されるリファレンスコンテンツの集合から、同じく特徴ベクトルの集合で表されるクエリコンテンツ（検索キー）に類似したリファレンスコンテンツを高精度に検索する技術に関する。特に、高次元の特徴ベクトルの集合で表されるマルチメディアコンテンツ（例えば画像）の検索に適する。

近年、オンライン／オフラインに限られず、ストレージの大容量化に伴って、大量のコンテンツを蓄積することが可能となっている。また、携帯電話機やスマートフォンに代表される情報端末機器の普及によって、ユーザ自ら取得した写真データのようなデジタルコンテンツも、データベースに大量かつ容易に蓄積することができる。オフラインデータベースとして、ＨＤＤ(Hard Disk Drive)、ＤＶＤ(Digital Versatile Disk)、Blu-ray disc等の記憶装置がある。また、オンラインデータベースとしては、Flickr（登録商標）やMySpace（登録商標）のようなソーシャルネットワークサービスがある。これら記憶装置及びサービスによれば、データベースに蓄積された個人の大量且つ多様なマルチメディアコンテンツを検索するする技術が重要となる。

マルチメディアコンテンツを検索するために、これらコンテンツから多数の特徴ベクトルを抽出し、この特徴ベクトルの集合同士の間の類似度が高いコンテンツを検索結果として出力する技術がある。この技術によれば、マルチメディアコンテンツの特徴ベクトルを量子化し、量子化された特徴ベクトルの頻度からヒストグラムを作成する。そのヒストグラム同士の間のＬ１ノルム又はＬ２ノルムの距離によって類似度（距離）を算出する。ノルムとは、２つの点の間の距離を表す。Ｌ１ノルムとは、２つの点の各次元の値の絶対値の和を意味し、Ｌ２ノルムとは、２つの点の各次元の値を二乗した和を意味する。

また、画像コンテンツから大量の局所特徴ベクトルを抽出し、それらをベクトル量子化し、同一の代表ベクトルにベクトル量子化された局所特徴ベクトルの数で類似度を算出する技術もある（例えば非特許文献１参照）。

更に、画像から複数の局所不変特徴量を抽出し、特徴ベクトルの頻度のヒストグラム化し、そのヒストグラムの重なり率によって画像とカテゴリとの間の類似度を算出する技術もある（例えば特許文献１参照）。この技術によれば、ヒストグラムに基づいて被写体のパターン認識に不要となる特徴（例えば背景の特徴）を除くことができる。これによって、画像中から物体と物体以外とを予め分離することなく、当該物体の特徴を抽出することができる。

従来、局所特徴量を用いた類似画像検索の枠組みは、「Bag-of-Visual Words」（又はBag-of-Features、Bag-of-Keypoints）と称される（例えば非特許文献１参照）。この技術によれば、Bag-of-Wordsモデル及び転置インデックスを用いた文章の検索方法を、類似画像の検索に適用したものである。Bag-of-Wordsは、文章を１つの単語の頻度により定義される特徴ベクトルで表現し、文章集合に基づいて予め導出されたＩＤＦ(Inverse Document Frequency)を単語の重みとして文章間の類似度を導出する枠組みである。これに対し、Bag-of-Visual Wordsは、画像の局所特徴量を量子化し、量子化後の局所特徴量を単語と見立て、同様に頻度により定義される１つの特徴ベクトルとして表現し、ＩＤＦを用いた重み付けを利用して同一の類推方法を適用することができる。

特開２０１０−２８２５８１号公報 特開２００９−０２０７６９号公報

J. Sivic et al., "Video Google: A Text Retrieval Approach toObject Matching in Videos," in Proc. ICCV, 2003. H. Jegou, M. Douze, and C. Schmid, "Improving bag-offeaturesfor large scale image search," in IJCV, vol.87, no.3, pp.316-336, 2010. Y. Uchida, M. Agrawal, and S. Sakazawa, "Accurate Content-BasedVideo Copy Detection with Efficient Feature Indexing," in Proc. of ICMR,2011. D. G. Lowe, "Distinctive Image Features from Scale-InvariantKeypoints," International Journal of Computer Vision, vol. 60, no. 2, pp.91-110, 2004. H. Jegou, M. Douze, and C. Schmid, "Product quantization fornearest neighbor search," in IEEE Trans. on PAMI, vol. 33, no. 1, pp117-128, 2011. O. Boiman, E. Shechtman, and M. Irani, "In defense ofnearest-neighbor based image classification," in Proc. of CVPR, 2008.

しかしながら、既存のBag-of-Visual Wordsの技術によれば、特徴ベクトルに基づいてコンテンツ間の類似度のスコアを算出する際に、文章検索におけるＩＤＦを用いている。ＩＤＦとは、テキストマイニングの用途について、文章中に出現した特定の単語がどのくらい特徴的であるかを識別するための指標を表す。ＩＤＦの場合、例えば固有名詞のような、「各文章は、当該文章内に含まれる少数の単語によって検索される」という前提で設計されている。言い換えれば、「各文章は、当該文章内に含まれない単語によっては検索されない」という前提である。ＩＤＦは、具体的には、当該文章の中で特定の単語が出現した回数と、コーパス全体の中でその文章を含む文章数の自然対数とから、そのコーパス中におけるその単語の特徴度として算出される。

一方、画像検索の場合、局所不変特徴領域から、高次元の特徴ベクトルを抽出する必要がある。例えば、物体認識に用いる特徴ベクトルを抽出するために代表的なＳＩＦＴ(Scale-Invariant Feature Transform)によれば、特徴領域を複数のブロックに分割し、各ブロックから輝度勾配の方向を重み付きヒストグラムとして抽出する。

ここで、リファレンスコンテンツ（検索対象のコンテンツ）に対して、クエリコンテンツ（検索キーのコンテンツ）は、対象物とは無関係な特徴ベクトルが多く含まれる場合がある。具体的には、対象物をカメラで撮影した画像を、クエリコンテンツとした場合である。リファレンスコンテンツには、例えば背景が白で、検索対象物のみが写っているのに対し、クエリコンテンツには、当該対象物だけでなく、その背景に様々な物が写り込む。即ち、クエリコンテンツの背景には、当該対象物とは無関係の様々特徴ベクトルが検出される。これが、検索精度を低下させる原因となっている。

そこで、本発明によれば、高次元の特徴ベクトル集合を検索する際に、クエリコンテンツの特徴ベクトルに、無関係な特徴ベクトルが含まれていることを考慮して、リファレンスコンテンツに対するスコア付けをすることができる検索装置及びプログラムを提供することを目的とする。

本発明によれば、特徴ベクトルの集合で表されるリファレンスコンテンツの集合から、特徴ベクトルの集合で表されるクエリコンテンツに類似したリファレンスコンテンツを検索する検索装置であって、
複数のリファレンスコンテンツＲ_jから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶したリファレンス情報蓄積手段と、
リファレンス情報蓄積手段を用いて、クエリコンテンツの各特徴ベクトルｑ_iについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの集合Ｄを、少なくとも１つ以上探索する類似ベクトル探索手段と、
混合パラメータλを用いて、クエリコンテンツの各特徴ベクトルｑ_iが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑ_i|Ｒ_j)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑ_i)との確率比に基づいて、リファレンスコンテンツＲ_j毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑ_iについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲ_jを、検索結果として出力する投票手段と
を有することを特徴とする。

本発明の検索装置における他の実施形態によれば、投票手段は、確率比を、探索されたリファレンスコンテンツの特徴ベクトルの集合Ｄに含まれる、全リファレンスコンテンツの特徴ベクトルの出現数(Ｄ_s)に対する、当該リファレンスコンテンツＲ_jの特徴ベクトルの出現数(ｎ_j)との比（ｎ_j／Ｄ_s)に基づいて算出することも好ましい。

本発明の検索装置における他の実施形態によれば、投票手段は、確率比を、更に以下の式における比に基づいて算出する
（集合Ｄに含まれる当該リファレンスコンテンツＲ_jの特徴ベクトルの数(ｎ_j)×
全リファレンスコンテンツの特徴ベクトルの数(|Ｒ_all|)）／
（集合Ｄに含まれる全リファレンスコンテンツの特徴ベクトルの数(Ｄ_s)×
当該リファレンスコンテンツＲ_jの特徴ベクトルの数(Ｒ_j)）
ことも好ましい。

本発明の検索装置における他の実施形態によれば、
類似ベクトル探索手段は、探索されたリファレンスコンテンツの特徴ベクトルの集合を、クエリコンテンツの特徴ベクトルｑ_iに対する平均的な類似度に応じて１つ以上の部分集合（クラスタ）Ｄに区分し、上位からの近傍数m（≧1）番目までの部分集合Ｄを順序付けし、
投票手段は、部分集合Ｄ_t（1≦t≦m）毎に各リファレンスコンテンツについてスコアを算出し、当該スコアが最大となる部分集合Ｄ_t’におけるスコアを投票に用いる
ことも好ましい。

本発明の検索装置における他の実施形態によれば、
投票手段は、上位からt番目までの特徴ベクトルの集合Ｄ_tについて、クエリコンテンツの特徴ベクトルｑ_iに対するリファレンスコンテンツjのスコアｓ_jは、以下の式によって算出される
ｓ_j＝max_j log｛λ/(1-λ)・(ｎ_tj・|Ｒ_all|)／(Σ_s=1 ^t|Ｄ_s(ｑ_i)|・|Ｒ_j|)＋１)}
ｎ_tj： t番目までの部分集合Ｄ_tに含まれる
リファレンスコンテンツjの特徴ベクトルの数
Σ_s=1 ^t|Ｄ_s(ｑ_i)|： t番目までの部分集合Ｄ_tに含まれる
全リファレンスコンテンツjの特徴ベクトルの数
|Ｒ_all|： 全リファレンスコンテンツにおける全特徴ベクトルの数
|Ｒ_j|： 当該リファレンスコンテンツjにおける全特徴ベクトルの数
λ、1-λ： 混合パラメータ
ことも好ましい。

本発明の検索装置における他の実施形態によれば、
リファレンス情報蓄積手段は、各部分集合（クラスタ）Ｄ毎に、特徴ベクトルの平均的な代表ベクトルを更に対応付けて記憶しており、
類似ベクトル探索手段は、クエリコンテンツの各特徴ベクトルｑ_iと、各部分集合Ｄの代表ベクトルとを比較して、部分集合Ｄを探索することも好ましい。

本発明の検索装置における他の実施形態によれば、類似ベクトル探索手段は、
クエリコンテンツの各特徴ベクトルｑ_iに類似する、リファレンスコンテンツの特徴ベクトルのうちk個の部分集合を探索する第１の手段と、
近傍数kの部分集合に含まれる、リファレンスコンテンツの特徴ベクトルの数Ｌを計数する第２の手段と、
近傍数k個の部分集合に含まれるＬ個のリファレンスコンテンツの特徴ベクトルのうち、更にｑ_iに類似した上位m（m≦Ｌ）個の特徴ベクトルを探索する第３の手段と
を有し、
第３の手段における特徴ベクトル数mは、第２の手段によって計数された特徴ベクトルの数Ｌに応じて更新され、
Ｄ_t(ｑi)（1≦t≦m）は、ｔ番目の特徴ベクトルのみで構成されることも好ましい。

本発明の検索装置における他の実施形態によれば、第３の手段における特徴ベクトル数mは、第２の手段によって得られる特徴ベクトルの数Ｌを用いて、αＬ（α≦１）によって決定されることも好ましい。

本発明の検索装置における他の実施形態によれば、第３の手段における特徴ベクトル数mは、第２の手段によって得られる特徴ベクトルの数Ｌを用いて、Ｌ^α（α≦１）によって決定されることも好ましい。

本発明の検索装置における他の実施形態によれば、
リファレンスコンテンツ及びクエリコンテンツから、特徴ベクトルを抽出する特徴ベクトル集合抽出手段を更に有し、
特徴ベクトル集合抽出手段は、異なる種類のアルゴリズム毎に、複数の特徴ベクトルを出力することができ、
投票手段は、クエリコンテンツ及びリファレンスコンテンツそれぞれについて、異なる種類の特徴ベクトル毎にスコアｓを算出し、各リファレンスコンテンツについて異なる種類の特徴ベクトルのスコアｓを重み付け和した値を、最終的なスコアとする
ことも好ましい。

本発明の検索装置における他の実施形態によれば、
クエリコンテンツ及びリファレンスコンテンツは、画像であって、
リファレンスコンテンツとしての画像には、同一の物体又は同一カテゴリに属する少なくとも１つのインスタンス（対象物、オブジェクト）が写っている
ことも好ましい。

本発明によれば、特徴ベクトルの集合で表されるリファレンスコンテンツの集合から、特徴ベクトルの集合で表されるクエリコンテンツに類似したリファレンスコンテンツを検索する装置に搭載されたコンピュータを機能させる検索プログラムであって、
複数のリファレンスコンテンツＲ_jから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶したリファレンス情報蓄積手段と、
リファレンス情報蓄積手段を用いて、クエリコンテンツの各特徴ベクトルｑ_iについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの集合Ｄを、少なくとも１つ以上探索する類似ベクトル探索手段と、
混合パラメータλを用いて、クエリコンテンツの各特徴ベクトルｑ_iが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑ_i|Ｒ_j)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑ_i)との確率比に基づいて、リファレンスコンテンツＲ_j毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑ_iについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲ_jを、検索結果として出力する投票手段と
してコンピュータを機能させることを特徴とする。

本発明の検索装置及びプログラムによれば、高次元の特徴ベクトル集合を検索する際に、クエリコンテンツの特徴ベクトルに、無関係な特徴ベクトルが含まれていることを考慮して、リファレンスコンテンツに対するスコア付けをすることができる。

本発明における検索装置の機能構成図である。 リファレンス情報生成部の処理内容を表す説明図である。 リファレンスコンテンツの特徴ベクトルの１つの集合Ｄから投票する説明図である。 リファレンスコンテンツの特徴ベクトルの複数の集合Ｄから投票する説明図である。 階層的なコードブックを表す説明図である。 複数のリファレンスコンテンツの複数の特徴ベクトルから投票する説明図である。

以下では、本発明の実施の形態について、図面を用いて詳細に説明する。

本発明の検索装置及びプログラムによれば、多数のリファレンスコンテンツ（検索対象のコンテンツ）の中から、クエリコンテンツ（検索キーのコンテンツ）に最も類似するリファレンスコンテンツを検索する。

図１は、本発明における検索装置の機能構成図である。

図１によれば、検索装置１は、リファレンス情報蓄積部１０と、特徴ベクトル集合抽出部１１と、リファレンス情報生成部１２と、類似ベクトル探索部１３と、投票部１４とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

検索装置１は、多数のリファレンスコンテンツを予め入力し、リファレンス情報蓄積部１０に、リファレンスコンテンツに関する情報を記憶する。また、検索装置１は、検索の際に、検索キーとなるクエリコンテンツを入力し、リファレンス情報蓄積部１０を用いて、クエリコンテンツに最も類似するリファレンスコンテンツを検索する。

クエリコンテンツ及びリファレンスコンテンツは、例えば画像である。この場合、リファレンスコンテンツとしての画像には、同一の物体又は同一カテゴリに属する少なくとも１つのインスタンス（対象物、オブジェクト）が写っている。

［特徴ベクトル集合抽出部１１］
特徴ベクトル集合抽出部１１は、１つのマルチメディアコンテンツから、特徴ベクトルの集合を抽出する。例えばマルチメディアコンテンツが画像である場合、その特徴ベクトルは、画像の局所特徴領域から抽出された局所特徴ベクトルである。

特徴ベクトル集合抽出部１１は、具体的には、リファレンスコンテンツＲ_j毎に特徴ベクトルの集合を抽出し、それら特徴ベクトルの集合は、リファレンス情報蓄積部１０へ出力される。また、特徴ベクトル集合抽出部１１は、クエリコンテンツから特徴ベクトルの集合Ｑ（＝{ｑ_i}）を抽出し、それら特徴ベクトルの集合は、類似ベクトル探索部１３へ出力される。尚、リファレンスコンテンツの特徴ベクトルと、クエリコンテンツの特徴ベクトルとは、同じ次元数である。

物体認識に用いる特徴ベクトルの抽出アルゴリズムとしては、例えばＳＩＦＴやＳＵＲＦ(Speeded Up Robust Features)が用いられる。例えば、ＳＩＦＴの場合、１枚の画像からは１２８次元の特徴ベクトルの集合が抽出される（例えば非特許文献４参照）。ＳＩＦＴとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変となる特徴ベクトルを記述する技術である。一方で、ＳＵＲＦの場合、ＳＩＦＴよりも高速処理が可能であって、１枚の画像から６４次元の特徴ベクトルの集合が抽出される。

［リファレンス情報生成部１２］
リファレンス情報生成部１２は、リファレンスコンテンツの特徴ベクトルの集合Ｒ_jに対して、以下の処理を実行し、リファレンス情報蓄積部１０へコードブックを出力する。

図２は、リファレンス情報生成部の処理内容を表す説明図である。

（Ｓ２１）リファレンスコンテンツの特徴ベクトルの集合を、k個のクラスタにクラスタリングする。クラスタリングには、例えばk-meansが用いられる。
（Ｓ２２）次に、クラスタ毎に、代表ベクトルを導出する（平均ベクトル又は中央値ベクトル）。この代表ベクトルは、"Visual Words"とも称される。
（Ｓ２３）各代表ベクトルに、一意のＩＤｎ（＝１〜Ｎ）を割り当てたコードブックを生成する。

例えば、入力された特徴ベクトルｆとの距離が最も小さくなる代表ベクトルｆ_ｎを算出する。
代表ベクトルｆ_ｎ＝argmin_ｎ||ｆ−ｆ_ｎ||^２
ここで、コードブックとは、代表ベクトルｆ_ｎ毎に、そのクラスタに属する１つ以上のリファレンスコンテンツＩＤ（識別子）を対応付けたものである。

［リファレンス情報蓄積部１０］
リファレンス情報蓄積部１０は、複数のリファレンスコンテンツＲ_jから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶する。ここで、リファレンス情報蓄積部１０は、リファレンス情報生成部１２から出力されたコードブック（転置インデックス）を記憶するものであってもよい。コードブックは、複数のリファレンスコンテンツＲ_jから抽出された特徴ベクトルを、類似度に応じて複数の集合（クラスタ）Ｄに区分したものであり、集合毎に、リファレンスコンテンツ識別子と、これら特徴ベクトルの平均的な代表ベクトルとを割り当てたものである。

尚、以下の実施形態によれば、複数のリファレンスコンテンツjから特徴ベクトルの集合Ｒ_jを抽出した場合について詳述している。一方で、例えば非特許文献６のように、特徴ベクトルの集合Ｒ_jを、特定のカテゴリに基づく特徴ベクトルの集合とすることによって、クエリコンテンツを、カテゴリに分類することもできる。この場合、後述するように、クエリコンテンツに対して、各カテゴリに対するスコアを算出し、最もスコアの高い上位複数件のカテゴリに分類するか、スコアが一定以上のカテゴリのタグを付加することができる。

［類似ベクトル探索部１３］
類似ベクトル探索部１３は、リファレンス情報蓄積部１０を用いて、クエリコンテンツの各特徴ベクトルｑ_iについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの集合Ｄを、少なくとも１つ以上探索する。クエリコンテンツの特徴ベクトルｑ_iと、リファレンスコンテンツの特徴ベクトルとの間の距離が短いほど、類似度が高いことを意味する。具体的には、最近傍探索(Approximate Nearest Neighbor)アルゴリズムの１つである直積量子化を用いた方法（例えば非特許文献５参照）やHamming Embeddingを用いた方法（例えば非特許文献２参照）、ＬＳＨ(Locality-Sensitive Hashing)を用いることも好ましい。探索された１つ以上の特徴ベクトルの集合Ｄに基づくリファレンスコンテンツＩＤは、投票部１４へ出力される。

［投票部１４］
投票部１４は、リファレンスコンテンツＲ_j毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑ_iについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲ_jを、検索結果として出力する。投票部１４は、従来技術によればＩＤＦによって投票していたのに対し、本発明によれば、以下に詳述する算出式によって投票される。

本発明によれば、クエリコンテンツを生成したであろう可能性の最も高いリファレンスコンテンツj’を導出する。以下の式は、事後確率を意味し、クエリコンテンツが、j番目のリファレンスコンテンツから生成されたであろう確率ｐを表す。
j’＝argmax_jｐ(Ｒ_j|Ｑ)
Ｑ：クエリコンテンツの特徴ベクトルの集合
Ｒ_j：j番目のリファレンスコンテンツの特徴ベクトルの集合
ｐ(Ｒ_j|Ｑ)：クエリコンテンツの特徴ベクトルの集合Ｑから、
リファレンスコンテンツの特徴ベクトルの集合Ｒ_jが生成される事後確率
argmax_j：右項の事後確率を最大とするjを導出することを意味する

前述の事後確率の式は、一般的に、ベイズの定理を用いて以下の式が成立する。これは、事前確率に尤度確率を乗算することによって、事後確率を算出するものである。
j’＝argmax_j ｐ(Ｒ_j|Ｑ)＝argmax_j ｐ(Ｑ|Ｒ_j)ｐ(Ｒ_j)
ｐ(Ｑ|Ｒ_j)：リファレンスコンテンツの特徴ベクトルの集合Ｒ_jから、
クエリコンテンツの特徴ベクトルの集合Ｑが生成される尤度確率
ｐ(Ｒ_j) ：リファレンスコンテンツの特徴ベクトルの集合Ｒjが検索される
事前確率
（ｐ(Ｒ_j)が高いほど、検索される確率が高いことを意味する）

尚、ここで、検索されるリファレンスコンテンツには偏りがなく、ｐ(Ｒ_j)は、いずれのjであっても一定であると仮定する。そうすると、ｐ(Ｒ_j)を削除することができ、単に以下のように表される。
j’＝argmax_j ｐ(Ｑ|Ｒ_j)

ここで、クエリコンテンツの特徴ベクトルの集合Ｑは、独立に生成されたものであると仮定する。「独立に生成」とは、ある特徴が出た場合、次に必ず特定の特徴が出るような影響が無い、即ち、以前の結果に影響しないことを意味する。この場合、クエリコンテンツの特徴ベクトルの集合Ｑの各特徴ベクトルｑ₁,ｑ₂,ｑ₃,・・・,ｑnの個々に基づく確率の積となる。この場合、以下の式によって表される。
j’＝argmax_j Π_i=1 ⁿ ｐ(ｑ_i|Ｒ_j)

更に、確率の積Πは、一般に、logの和Σによって表すことができる。単調増加関数であるために、確率の大小関係は維持されるためである。この場合、以下の式によって表される。
j’＝argmax_j Π_i=1 ⁿ ｐ(ｑ_i|Ｒ_j)＝argmax_j Σ_i=1 ⁿ logｐ(ｑ_i|Ｒ_j)

ここで、各クエリ特徴ベクトルが、リファレンスコンテンツの特徴ベクトル集合から生成された確率と、リファレンスコンテンツとは無関係な背景モデルから生成された確率の線形結合としてモデル化を行う。
j’＝argmax_j Σ_i=1 ⁿ logｐ(ｑ_i|Ｒ_j)
＝argmax_j Σ_i=1 ⁿ log(λｐ(ｑ_i|Ｒ_j)＋(1-λ)・ｐ(ｑ_i))
＝argmax_j Σ_i=1 ⁿ (log(λｐ(ｑ_i|Ｒ_j)＋(1-λ)・ｐ(ｑ_i))−log(1-λ)・ｐ(ｑ_i))
＝argmax_j Σ_i=1 ⁿ log{λ/(1-λ)・ｐ(ｑ_i|Ｒ_j)/ｐ(ｑ_i)＋１}
i：クエリコンテンツの特徴ベクトルのＩＤ
λ：線形結合の混合パラメータ
ｐ(ｑ_i)：リファレンスコンテンツとは無関係な背景モデルから生成された確率
（クエリコンテンツにおける対象物と無関係な背景画像に基づく）
λｐ(ｑ_i|Ｒ_j)＋(1-λ)・ｐ(ｑ_i)：
λにおけるｐ(ｑ_i|Ｒ_j)の確率と、(1-λ)におけるｐ(ｑ_i)の確率との和は、
全体の確率を意味する
−log(1-λ)・ｐ(ｑ_i)：
変形のため全体的なペナルティを引いても、順番は変わらない。
後述する式の変形のためのもの。
λ/(1-λ)・ｐ(ｑ_i|Ｒ_j)/ｐ(ｑ_i)＋１：
"logａ−logｂ＝logａ/ｂ"に基づいて、式を変形したもの

本発明によれば、混合パラメータλを用いて、クエリコンテンツの各特徴ベクトルｑ_iが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑ_i|Ｒ_j)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑ_i)との確率比を用いる。

ここで、以下の式のように置く。
ｓ_ij＝log{λ/(1-λ)・ｐ(ｑ_i|Ｒ_j)/ｐ(ｑ_i)＋１}
i：クエリコンテンツの特徴ベクトルのＩＤ
j：リファンレンスコンテンツのＩＤ
ｑ_i：クエリコンテンツの特徴ベクトル
Ｒ_j：リファンレンスコンテンツ
ｓ_ijとは、クエリコンテンツ特徴ベクトルｑ_iが観測された際に、ｑ_iそれぞれが、リファンレンスコンテンツjが得られるスコアを意味する。即ち、ｑ_iが観測された時点で、それぞれが、リファレンスコンテンツjから生成された尤もらしさを意味する。

そして、クエリコンテンツの特徴ベクトルi及びリファンレンスコンテンツjの全てについて、「ｓ_ij」を算出する。そして、スコアΣ_i=1 ⁿ ｓ_ijが最大となるリファレンスコンテンツＲ_jを検索結果として選択する。

しかしながら、ｓ_ijは、各iについて全てのjについて算出しなければならないために、大規模データベースを対象とした場合、その計算量が膨大なものとなる。

そこで、本発明によれば、近似法を適用し、クエリコンテンツの特徴ベクトルｑ_iについて、リファレンスコンテンツの特徴ベクトル集合の中から、ｑ_iに類似した特徴ベクトル集合Ｄ(ｑ_i)を抽出する。そして、以下のようにｓ_ijの算出を近似する。
Ｄ(ｑ_i)に対応する特徴ベクトルが含まれるリファレンスコンテンツＲ_jのみについて「ｓ_ij」を算出する
それ以外のＲ_jについては、ｐ(ｑ_i|Ｒ_j)＝０とする
このとき、ｓ_ij＝log(1)＝０となるために、Ｄ(ｑ_i)に対応する特徴ベクトルが含まれないリファレンスコンテンツのスコアは増減しない。

ここで、Ｄ(ｑ_i)は更に、m（1〜M）個の互いに素な集合から構成されるとする。
Ｄ(ｑ_i)＝Ｄ₁(ｑ_i)∪Ｄ₂(ｑ_i)∪・・・∪Ｄ_m(ｑ_i)
リファレンス情報蓄積部１０は、コードブックに、多数のリファレンスコンテンツにおける複数の代表ベクトルが登録されている。そして、各代表ベクトルには、リファンレンスコンテンツのＩＤが紐付けられている。ここで、各代表ベクトルに紐付くリファンレンスコンテンツの特徴ベクトルの集合は、それらm個の中で、特徴ベクトルが互いにオーバラップしない。即ち、「互いに素」であると言える。

また、Ｄt(ｑ_i)及びＤs(ｑ_i)について、t＜sであれば、以下の不等式が成立する。
ｐ(ｑ_i|Ｄt(ｑ_i)) ＞ ｐ(ｑ_i|Ｄs(ｑ_i))
即ち、t＜sのとき、ｑ_iは、Ｄs(ｑ_i)よりもＤt(ｑ_i)から生成された確率が高い。このＤ₁(ｑ_i)・・・Ｄ_m(ｑ_i)それぞれについて、ｓ_ijを以下のように算出する。

各Ｄt(ｑ_i)について、ｐ(ｑ_i|Ｒ_j)及びｐ(ｑ_i)は、ｋ近傍密度推定法によって算出される。
ｐ(ｑ_i|Ｒ_j)＝ｎ_tj／(|Ｒ_j|・Ｖ_t)
ｐ(ｑ_i)＝Σ_s=1 ^t|Ｄs(ｑ_i)|／(|Ｒall|・Ｖ_t)
ｎ_tj：Ｄ₁(ｑ_i)・・・Ｄt(ｑ_i)に出現するＲ_jの特徴ベクトルの数
Ｒall：リファレンスコンテンツ全ての特徴ベクトル集合
Ｖ_t：ｑ_iとｒ’tの距離を半径とする超球（３次元以上）の体積
（尚、２次元であれば面積、１次元であれば長さを表す）
ｒ’t：Ｄt(q_i)の中で最もｑ_iから遠い特徴ベクトル
ここで、ｐ(ｑ_i)は、|Ｒall|個（ｋ近傍密度推定法におけるＮ）のうち、Σ_s=1 ^t|Ｄs(ｑ_i)|個（ｋ近傍密度推定法におけるk）が落ちる確率を、体積Ｖtで割ったものであることを表す。

ここで、Ｖ_tを算出する場合、多大な計算量が必要となる。そこで、本発明によれば、ｓ_ijの式に代入することによって、Ｖ_tの項を削除し、以下の式によって算出する。
ｓ_ij＝log{λ/(1-λ)・ｎ_tj|Ｒall|／Σ_s=1 ^t(|Ｄs(ｑ_i)|・|Ｒ_j｜)＋１}
このスコアは、各画像について、最も大きなスコアのみが加算されることとする。

即ち、本発明の投票部１４は、上位からt番目までの特徴ベクトルの集合Ｄ_tについて、クエリコンテンツの特徴ベクトルｑ_iに対するリファレンスコンテンツjのスコアｓ_jは、以下の式によって算出される。
ｓ_j＝max_j log｛λ/(1-λ)・(ｎ_tj・|Ｒ_all|)／(Σ_s=1 ^tＤ_s(ｑ_i)・|Ｒ_j|)＋１)}
ｎ_tj： t番目までの部分集合Ｄ_tに含まれる
リファレンスコンテンツjの特徴ベクトルの数
Σ_s=1 ^tＤ_s(ｑ_i)： t番目までの部分集合Ｄ_tに含まれる
全リファレンスコンテンツjの特徴ベクトルの数
|Ｒ_all|： 全リファレンスコンテンツにおける全特徴ベクトルの数
|Ｒ_j|： 当該リファレンスコンテンツjにおける全特徴ベクトルの数
λ、1-λ： 混合パラメータ

上述の式によれば、確率比「ｎ_tj／Σ_s=1 ^t(|Ｄs(ｑ_i)|」は、探索されたリファレンスコンテンツの特徴ベクトルの集合Ｄに含まれる、全てのリファレンスコンテンツＲjの出現数に対する、各リファレンスコンテンツＲjの出現数との比によって表される出現頻度とする。

［類似ベクトル探索部１３及び投票部１４における具体的な処理内容］
以下では、本発明における類似ベクトル探索部１３及び投票部１４における具体的な処理内容について詳述する。

検索の際、クエリコンテンツから特徴ベクトルの集合Ｑが抽出され、各特徴ベクトルｑ_i毎に、ベクトル量子化によって、代表ベクトルに紐付いているリファレンスコンテンツの特徴ベクトルの１つ以上の集合Ｄが検索される。そして、対応するリファレンスコンテンツＩＤに投票する。クエリコンテンツの全ての特徴ベクトルｑ_iについて投票した後、スコアの上位のリファレンスコンテンツＩＤを検索結果とする。

図３は、リファレンスコンテンツの特徴ベクトルの１つの集合Ｄから投票する説明図である。

類似ベクトル探索部１３は、クエリコンテンツの各特徴ベクトルｑ_iに対して類似する順に上位m件の集合Ｄを探索することも好ましい。図３によれば、上位１つの集合Ｄ(ｑ_i)が探索されている（m＝1，Ｄ(ｑ_i)＝Ｄ₁(ｑ_i)）。その１つの集合には、８つのリファレンスコンテンツＩＤが登録されている。但し、ここで、８件のＩＤに順序が付けられていないことに注意する。８つのリファレンスコンテンツＩＤの中で、ユニークなＩＤは４つ（１，４，５，６）ある。

リファレンスコンテンツＩＤ＝１： ｎ₁₁＝３個
score₁＝score₁＋log｛λ/(1-λ)・(３|Ｒall|／８|Ｒ₁|)＋１｝
（８個の中で３個が、ＩＤ＝１であることを意味）
リファレンスコンテンツＩＤ＝４： ｎ₁₄＝２個
score₄＝score₄＋log｛λ/(1-λ)・(２|Ｒall|／８|Ｒ₁|)＋１｝
（８個の中で２個が、ＩＤ＝４であることを意味）
リファレンスコンテンツＩＤ＝５： ｎ₁₅＝１個
score₅＝score₅＋log｛λ/(1-λ)・(１|Ｒall|／８|Ｒ₁|)＋１｝
（８個の中で１個が、ＩＤ＝５であることを意味）
リファレンスコンテンツＩＤ＝６： ｎ₁₆＝２個
score₅＝score₅＋log｛λ/(1-λ)・(２|Ｒall|／８|Ｒ₁|)＋１｝
（８個の中で２個が、ＩＤ＝６であることを意味）
本発明によれば、投票部１４は、部分集合Ｄ_t（1≦t≦m）毎に各リファレンスコンテンツについてスコアを算出し、当該スコアが最大となる部分集合Ｄ_t’におけるスコアを投票に用いる。

図４は、リファレンスコンテンツの特徴ベクトルの複数の集合Ｄから投票する説明図である。

図３は、最近傍の代表ベクトルに紐付いている集合Ｄから投票するのに対し、図４は、ｋ近傍の代表ベクトルに紐付いている集合Ｄから投票する。類似ベクトル探索部１３は、探索されたリファレンスコンテンツの特徴ベクトルの集合を、クエリコンテンツの特徴ベクトルｑ_iに対する平均的に類似度に応じて１つ以上の部分集合Ｄに区分し、上位からの近傍数m（m≧1）番目までの部分集合Ｄを順序付けするものであってもよい。

図４によれば、類似ベクトル探索部は、クエリコンテンツの１つの特徴ベクトルｑ_iについて、ｋ近傍探索（m＝3）によって、リファレンスコンテンツの特徴ベクトルの３つの集合Ｄ(ｑ_i)を探索する(m＝3，Ｄ(ｑ_i)＝Ｄ₁(ｑ_i)、Ｄ₂(ｑ_i)、Ｄ₃(ｑ_i))。図４によれば、Ｄ₁(ｑ_i)の集合には、３つのリファレンスコンテンツＩＤが登録されており、Ｄ₂(ｑ_i)の集合には、３つのリファレンスコンテンツＩＤが登録されており、Ｄ₃(ｑ_i)の集合には、２つのリファレンスコンテンツＩＤが登録されている。図４によれば、Ｄ₁->Ｄ₂->Ｄ₃の順に順序付けられている。

（第１の集合t＝1、|Ｄ₁(ｑ_i)|＝３個、Σ_s=1 ^t|Ｄ₁(ｑ_i)|＝３個）
リファレンスコンテンツＩＤ＝１： ｎ₁₁＝２個
score₁＝score₁＋log｛λ/(1-λ)・(２|Ｒall|／３|Ｒ₁|)＋１｝
リファレンスコンテンツＩＤ＝４： ｎ₁₄＝１個
score₄＝score₄＋log｛λ/(1-λ)・(１|Ｒall|／３|Ｒ₄|)＋１｝
（第２の集合t＝2、|Ｄ₂(ｑ_i)|＝３個、Σ_s=1 ^t|Ｄ₂(ｑ_i)|＝６個）
リファレンスコンテンツＩＤ＝５： ｎ₁₅＝１個
score₅＝score₅＋log｛λ/(1-λ)・(１|Ｒall|／６|Ｒ₅|)＋１｝
リファレンスコンテンツＩＤ＝４： ｎ₁₄＝１個
×score₄＝score₄＋log｛λ/(1-λ)・(２|Ｒall|／６|Ｒ₄|)＋１｝
★ここで、先のＤ₁で得られたscore₄と同じであるために、採用しない。
リファレンスコンテンツＩＤ＝１： ｎ₁₁＝１個
×score₁＝score₁＋log｛λ/(1-λ)・(３|Ｒall|／６|Ｒ₁|)＋１｝
★ここで、先のＤ₁で得られたscore₁よりも小さい（２／３＞３／６）ために、
採用しない。
（第３の集合t＝3、|Ｄ₃(ｑ_i)|＝２個、Σ_s=1 ^t|Ｄ₃(ｑ_i)|＝８個）
リファレンスコンテンツＩＤ＝６： ｎ₁₆＝２個
score₆＝score₆＋log｛λ/(1-λ)・(２|Ｒall|／８|Ｒ₆|)＋１｝

図５は、階層的なコードブックを表す説明図である。

図５によれば、図３及び図４と比較して、コードブックが階層的に構成されている（例えば非特許文献７参照）。このような場合であっても、前述した図３及び図４と同様に、リファレンスコンテンツの特徴ベクトルの集合毎にスコアを投票することができる。

図６は、複数のリファレンスコンテンツの複数の特徴ベクトルから投票する説明図である。

図６によれば、図３及び図４のように複数のリファレンスコンテンツの複数の特徴ベクトルが集合Ｄとして構成されることなく、個別に分散して構成されたものである。クエリコンテンツの各特徴ベクトルから、直積量子化を用いた方法やHamming Embeddingを用いた方法（例えば非特許文献２参照）、ＬＳＨ等のアルゴリズムを用いて、単にm近傍探索として、リファレンスコンテンツの近傍特徴ベクトルが探索されたものである。

（第１の特徴ベクトルt＝1、|Ｄ₁(ｑ_i)|＝１個、Σ_s=1 ^t|Ｄ₁(ｑ_i)|＝１個）
リファレンスコンテンツＩＤ＝１： ｎ₁₁＝１個
score₁＝score₁＋log｛λ/(1-λ)・(１|Ｒall|／１|Ｒ₁|)＋１｝
（第２の特徴ベクトルt＝2、|Ｄ₂(ｑ_i)|＝１個、Σ_s=1 ^t|Ｄ₂(ｑ_i)|＝２個）
リファレンスコンテンツＩＤ＝４： ｎ₂₄＝１個
score₄＝score₄＋log｛λ/(1-λ)・(１|Ｒall|／２|Ｒ₁|)＋１｝
（第３の特徴ベクトルt＝3、|Ｄ₃(ｑ_i)|＝１個、Σ_s=1 ^t|Ｄ₃(ｑ_i)|＝３個）
リファレンスコンテンツＩＤ＝１： ｎ₃₁＝１個
×score₁＝score₁＋log｛λ/(1-λ)・(２|Ｒall|／３|Ｒ₁|)＋１｝
★ここで、先のＤ₁で得られたscore₁よりも小さい（１／１＞２／３）ために、
採用しない。
（第４の特徴ベクトルt＝4、|Ｄ₄(ｑ_i)|＝１個、Σ_s=1 ^t|Ｄ₄(ｑ_i)|＝４個）
リファレンスコンテンツＩＤ＝５： ｎ₄₅＝１個
score₅＝score₅＋log｛λ/(1-λ)・(１|Ｒall|／４|Ｒ₁|)＋１｝
（第５の特徴ベクトルt＝5、|Ｄ₅(ｑ_i)|＝１個、Σ_s=1 ^t|Ｄ₅(ｑ_i)|＝５個）
リファレンスコンテンツＩＤ＝４： ｎ₅₄＝１個
score₄＝score₄＋log｛λ/(1-λ)・(２|Ｒall|／５|Ｒ₁|)＋１｝
★ここで、先のＤ₂で得られたscore₄よりも小さい（１／２＞２／５）ために、
採用しない。
（第６の特徴ベクトルt＝6、|Ｄ₆(ｑ_i)|＝１個、Σ_s=1 ^t|Ｄ₆(ｑ_i)|＝６個）
リファレンスコンテンツＩＤ＝１： ｎ₆₁＝１個
score₁＝score₁＋log｛λ/(1-λ)・(３|Ｒall|／６|Ｒ₁|)＋１｝
★ここで、先のＤ₁で得られたscore₁よりも小さい（１／１＞３／６）ために、
採用しない。
（第７の特徴ベクトルt＝7、|Ｄ₇(ｑ_i)|＝１個、Σ_s=1 ^t|Ｄ₇(ｑ_i)|＝７個）
リファレンスコンテンツＩＤ＝６： ｎ₇₆＝１個
score₆＝score₆＋log｛λ/(1-λ)・(１|Ｒall|／７|Ｒ₁|)＋１｝
（第８の特徴ベクトルt＝8、|Ｄ₈(ｑ_i)|＝１個、Σ_s=1 ^t|Ｄ₈(ｑ_i)|＝８個）
リファレンスコンテンツＩＤ＝６： ｎ₈₆＝１個
score₆＝score₆＋log｛λ/(1-λ)・(２|Ｒall|／８|Ｒ₁|)＋１｝
★ここで、先のＤ₇で得られたscore₆よりも大きい（１／７＜２／８）ために、
先のＤ₇で得られたscore₆を採用しない。

［類似ベクトル探索部１３における近傍特徴ベクトル数mの決定方法］
（直積量子化を用いた方法やHamming Embeddingを用いた方法、ＬＳＨ等のような、２段階のm近傍探索を利用する場合）
類似ベクトル探索部１３は、近傍特徴ベクトル数mを固定値とすることなく、更新（可変）することも好ましい。この場合、類似ベクトル探索部１３は、以下の２つのステップを有する（例えば非特許文献２及び５参照）。

（Ｓ１）クエリコンテンツの各特徴ベクトルｑ_iに類似する、リファレンスコンテンツの特徴ベクトルのうちk個の部分集合を探索する。即ち、Ｓ１では、大まかな近傍集合を求めることで絞込む。例えばベクトル量子化を用いて大まかな近傍集合を導出することも好ましい（例えば非特許文献２及び５参照）。

（Ｓ２）次に、近傍数k個の部分集合に含まれる、リファレンスコンテンツの特徴ベクトルの数Lを計数する。この数Lは、クエリコンテンツの特徴ベクトル周辺の特徴ベクトルの密度を反映している。例えば、Ｓ２における距離計算について、特徴ベクトルをバイナリ符号化した符号を用いるものであってもよいし（例えば非特許文献２参照）、特徴ベクトルを直積量子化により符号化したものであってもよい（例えば非特許文献３参照）。

（Ｓ３）次に、近傍数k個の部分集合に含まれるL個のリファレンスコンテンツの特徴ベクトルのうち、更にｑ_iに類似した上位m（m≦L）個の特徴ベクトルを探索する。即ち、ｑ_iとリファレンスコンテンツの特徴ベクトルとの（近似）距離を更に導出し、更に厳密な近傍集合を導出する。その上で、Ｓ１における近似特徴ベクトル数mは、Ｓ２によって計数された特徴ベクトルの数Lに応じて更新される。例えば、Ｓ２によって計数された特徴ベクトルの数Lが、所定閾値以上であれば、Ｓ３における近傍特徴ベクトル数mを増加させることができる。尚、t番目の集合Ｄ_t(qi)（1≦t≦m）は、t番目の特徴ベクトルのみで構成される。

また、Ｓ１における近傍特徴ベクトル数mを、Ｓ２によって得られる特徴ベクトルの数Ｌを用いて、αＬ（α≦１）によって決定するものであってもよい。また、Ｌ^α（α≦１）によって決定するものであってもよい。

尚、他の実施形態として、特徴ベクトル集合抽出部１１は、異なる種類のアルゴリズム毎に、複数の特徴ベクトルを出力することも好ましい。異なる種類のアルゴリズムとしては、例えばＳＩＦＴ及びＳＵＲＦの両方に基づくものである。この場合、投票部１４は、クエリコンテンツ及びリファレンスコンテンツそれぞれについて、異なる種類の特徴ベクトル毎にスコアｓを算出し、各リファレンスコンテンツについて異なる種類の特徴ベクトルのスコアｓを重み付け和した値を、最終的なスコアとする。

以上、詳細に説明したように、本発明の検索装置及びプログラムによれば、高次元の特徴ベクトル集合を検索する際に、クエリコンテンツの特徴ベクトルに、無関係な特徴ベクトルが含まれていることを考慮して、リファレンスコンテンツに対するスコア付けをすることができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 検索装置
１０ リファレンス情報蓄積部
１１ 特徴ベクトル集合抽出部
１２ リファレンス情報生成部
１３ 類似ベクトル探索部
１４ 投票部

Claims (12)

1. 特徴ベクトルの集合で表されるリファレンスコンテンツの集合から、特徴ベクトルの集合で表されるクエリコンテンツに類似したリファレンスコンテンツを検索する検索装置であって、
   複数のリファレンスコンテンツＲ_jから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶したリファレンス情報蓄積手段と、
   前記リファレンス情報蓄積手段を用いて、クエリコンテンツの各特徴ベクトルｑ_iについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの集合Ｄを、少なくとも１つ以上探索する類似ベクトル探索手段と、
   混合パラメータλを用いて、前記クエリコンテンツの各特徴ベクトルｑ_iが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑ_i|Ｒ_j)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑ_i)との確率比に基づいて、リファレンスコンテンツＲ_j毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑ_iについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲ_jを、検索結果として出力する投票手段と
   を有することを特徴とする検索装置。
2. 前記投票手段は、前記確率比を、探索されたリファレンスコンテンツの特徴ベクトルの集合Ｄに含まれる、全リファレンスコンテンツの特徴ベクトルの出現数(Ｄ_s)に対する、当該リファレンスコンテンツＲ_jの特徴ベクトルの出現数(ｎ_j)との比（ｎ_j／Ｄ_s)に基づいて算出することを特徴とする請求項１に記載の検索装置。
3. 前記投票手段は、前記確率比を、更に以下の式における比に基づいて算出する
   （集合Ｄに含まれる当該リファレンスコンテンツＲ_jの特徴ベクトルの数(ｎ_j)×
   全リファレンスコンテンツの特徴ベクトルの数(|Ｒ_all|)）／
   （集合Ｄに含まれる全リファレンスコンテンツの特徴ベクトルの数(Ｄ_s)×
   当該リファレンスコンテンツＲ_jの特徴ベクトルの数(Ｒ_j)）
   ことを特徴とする請求項２に記載の検索装置。
4. 前記類似ベクトル探索手段は、探索されたリファレンスコンテンツの特徴ベクトルの集合を、クエリコンテンツの特徴ベクトルｑ_iに対する平均的な類似度に応じて１つ以上の部分集合（クラスタ）Ｄに区分し、上位からの近傍数m（≧1）番目までの部分集合Ｄを順序付けし、
   前記投票手段は、部分集合Ｄ_t（1≦t≦m）毎に各リファレンスコンテンツについてスコアを算出し、当該スコアが最大となる部分集合Ｄ_t’におけるスコアを投票に用いる
   ことを特徴とする請求項２又は３に記載の検索装置。
5. 前記投票手段は、上位からt番目までの特徴ベクトルの集合Ｄ_tについて、クエリコンテンツの特徴ベクトルｑ_iに対するリファレンスコンテンツjのスコアｓ_jを、以下の式によって算出する
   ｓ_j＝max_j log｛λ/(1-λ)・(ｎ_tj・|Ｒ_all|)／(Σ_s=1 ^t|Ｄ_s(ｑ_i)|・|Ｒ_j|)＋１)}
   ｎ_tj： t番目までの部分集合Ｄ_tに含まれる
   リファレンスコンテンツjの特徴ベクトルの数
   Σ_s=1 ^t|Ｄ_s(ｑ_i)|： t番目までの部分集合Ｄ_tに含まれる
   全リファレンスコンテンツjの特徴ベクトルの数
   |Ｒ_all|： 全リファレンスコンテンツにおける全特徴ベクトルの数
   |Ｒ_j|： 当該リファレンスコンテンツjにおける全特徴ベクトルの数
   λ、1-λ： 混合パラメータ
   ことを特徴とする請求項４に記載の検索装置。
6. 前記リファレンス情報蓄積手段は、各部分集合（クラスタ）Ｄ毎に、特徴ベクトルの平均的な代表ベクトルを更に対応付けて記憶しており、
   前記類似ベクトル探索手段は、クエリコンテンツの各特徴ベクトルｑ_iと、各部分集合Ｄの代表ベクトルとを比較して、部分集合Ｄを探索する
   ことを特徴とする請求項４又は５に記載の検索装置。
7. 前記類似ベクトル探索手段は、
   クエリコンテンツの各特徴ベクトルｑ_iに類似する、リファレンスコンテンツの特徴ベクトルのうちk個の部分集合を探索する第１の手段と、
   近傍数kの部分集合に含まれる、リファレンスコンテンツの特徴ベクトルの数Ｌを計数する第２の手段と、
   近傍数k個の部分集合に含まれるＬ個のリファレンスコンテンツの特徴ベクトルのうち、更にｑ_iに類似した上位m（m≦Ｌ）個の特徴ベクトルを探索する第３の手段と
   を有し、
   第３の手段における特徴ベクトル数mは、第２の手段によって計数された特徴ベクトルの数Ｌに応じて更新され、
   前記Ｄ_t(ｑi)（1≦t≦m）は、ｔ番目の特徴ベクトルのみで構成される
   ことを特徴とする請求項４から６のいずれか１項に記載の検索装置。
8. 第３の手段における特徴ベクトル数mは、第２の手段によって得られる特徴ベクトルの数Ｌを用いて、αＬ（α≦１）によって決定される
   ことを特徴とする請求項７に記載の検索装置。
9. 第３の手段における特徴ベクトル数mは、第２の手段によって得られる特徴ベクトルの数Ｌを用いて、Ｌ^α（α≦１）によって決定される
   ことを特徴とする請求項７に記載の検索装置。
10. リファレンスコンテンツ及びクエリコンテンツから、特徴ベクトルを抽出する特徴ベクトル集合抽出手段を更に有し、
    前記特徴ベクトル集合抽出手段は、異なる種類のアルゴリズム毎に、複数の特徴ベクトルを出力することができ、
    前記投票手段は、クエリコンテンツ及びリファレンスコンテンツそれぞれについて、異なる種類の特徴ベクトル毎にスコアｓを算出し、各リファレンスコンテンツについて異なる種類の特徴ベクトルのスコアｓを重み付け和した値を、最終的なスコアとする
    ことを特徴とする請求項１から９のいずれか１項に記載の検索装置。
11. 前記クエリコンテンツ及びリファレンスコンテンツは、画像であって、
    前記リファレンスコンテンツとしての画像には、同一の物体又は同一カテゴリに属する少なくとも１つのインスタンス（対象物、オブジェクト）が写っている
    ことを特徴とする請求項１から１０のいずれか１項に記載の検索装置。
12. 特徴ベクトルの集合で表されるリファレンスコンテンツの集合から、特徴ベクトルの集合で表されるクエリコンテンツに類似したリファレンスコンテンツを検索する装置に搭載されたコンピュータを機能させる検索プログラムであって、
    複数のリファレンスコンテンツＲ_jから抽出された各特徴ベクトルに対応付けて、リファレンスコンテンツ識別子を記憶したリファレンス情報蓄積手段と、
    前記リファレンス情報蓄積手段を用いて、クエリコンテンツの各特徴ベクトルｑ_iについて、類似した特徴ベクトルを持つリファレンスコンテンツの特徴ベクトルの集合Ｄを、少なくとも１つ以上探索する類似ベクトル探索手段と、
    混合パラメータλを用いて、前記クエリコンテンツの各特徴ベクトルｑ_iが、探索された各リファレンスコンテンツから生成される確率λ・ｐ(ｑ_i|Ｒ_j)と、当該リファレンスコンテンツと無関係な背景モデルから生成される確率(1-λ)・ｐ(ｑ_i)との確率比に基づいて、リファレンスコンテンツＲ_j毎にスコアを加算することを、当該クエリコンテンツの全ての特徴ベクトルｑ_iについて実行し、最終的に、所定閾値以上の上位のスコアを得たリファレンスコンテンツＲ_jを、検索結果として出力する投票手段と
    してコンピュータを機能させることを特徴とする検索プログラム。

Images