JP5061147B2 - 画像検索装置 - Google Patents

Description

本発明は、クエリ画像に類似する画像を検索するための装置及び方法に関するものである。

画像検索には、大きく分けて、テキストベースの検索手法と、画像ベースの検索手法とが存在する。

テキストベースの画像検索では、ユーザがテキストクエリを指定し、そのテキストクエリに関連するタグを有する画像をシステムが検索する。この手法によれば、テキストクエリと意味的に関連する画像を検索することができる。しかしながら、この手法を実現するには、画像に対してタグを付す必要がある。このタグ付け作業は、通常、人手に頼る必要がある。また、タグ付与の誤りや、入力されたテキストクエリと付与されているタグとの不一致などにより、検索精度が悪くなる可能性がある。

一方、画像ベースの検索手法では、通常、ユーザが指定したクエリ画像の特徴量と、画像ＤＢ中の画像の特徴量とを比較し、特徴量が近いものを類似画像として抽出する。この手法では、画像特徴量の抽出や、特徴量どうしの比較をコンピュータで自動的に行うことができるという利点がある。

しかしながら、画像特徴量を用いた類似画像の検索においては、計算そのものは精度良く実行できるが、検索された画像とクエリ画像とが意味的に整合しない可能性がある。例えば、黄色い箱と黄色い自動車のように、特徴量としてよく似た画像であっても、意味的には全く異なる場合がある。また、画像ベースの検索では、クエリ画像からユーザの意図を読み取ることが一般には難しいので、ユーザの意図に沿わない画像が検索される可能性もある。

下記特許文献１には、画像特徴量を用いて検索した類似画像の表示順位を調整する手法が記載されている。この技術においては、まず、画像特徴量を用いて、画像ＤＢから、Ｋ個の類似画像を抽出する。ついで、Ｋ個の類似画像のうち、上位Ｍ個の類似画像を特定する。ついで、Ｍ個の類似画像相互の類似度を計算する。そして、相互類似度が高い順に、Ｍ個の類似画像の順位を並べ替えて、ユーザに呈示する。この技術では、相互類似度の高い画像は、ユーザの検索意図に沿っている可能性が高いという仮説を前提にしている。また、この手法は、Ｍ個の類似画像の範囲内で、それらの表示順位を調整できるものの、それ以外の画像を新たに検索するものではない。したがって、この手法では、検索結果全体としての正解率の向上は期待しがたい。

特開２００４−１３３９４７号公報（００２８〜００３０段落）

本発明は、前記した状況に鑑みてなされたものである。本発明の主な目的は、クエリ画像を用いた画像検索において、ユーザの検索意図に沿った画像の検索が可能な検索装置又は検索方法を提供することである。

本発明は、以下のいずれかの項目に記載の構成とされている。

（項目１）
入力されたクエリ画像を検索エンジンに投入し、前記検索エンジンを用いて画像ＤＢ中の類似画像を検索することによって、表示用検索結果を生成するための画像検索装置であって、
前記検索エンジンが前記クエリ画像に基づいて前記画像ＤＢ中の類似画像を検索することにより生成され、かつ、ランキングされた複数の画像を含む第１検索結果を、前記検索エンジンから取得する第１検索結果取得部と、
第１検索結果において相対的に上位ランクに位置する画像のうちの少なくとも一部を、前記表示用検索結果に含まれるべき表示用画像として特定する表示用画像特定部と、
前記第１検索結果において相対的に上位ランクに位置する画像に基づいて、前記検索エンジンが前記画像ＤＢ中の類似画像を再び検索することによって、ランキングされた複数の画像を含む第２検索結果を前記検索エンジンから取得する第２検索結果取得部と、
前記第１検索結果と前記第２検索結果とを統合することによって、これらの検索結果におけるランキングに基づいてランキングされた複数の画像を含む第３検索結果を生成し、さらに、
前記第３検索結果の全部又は一部を、前記表示用画像特定部における前記第１検索結果として再び入力することにより、前記第３検索結果を更新する検索結果統合部と、
前記表示用画像として特定された画像を用いて、前記表示用検索結果を生成する検索結果生成部と
を含む画像検索装置。

第３検索結果を第１検索結果として再帰的に検索を行うことにより、必要数の表示用画像を収集することができる。収集された表示用画像をユーザに呈示することができる。再帰的な検索において、第３検索結果中の画像を新たなクエリとして扱うことにより、広い範囲での画像検索が可能になる。また、再帰的に特定される各第１検索結果における上位の画像を表示用画像として特定することにより、検索結果における正解率の向上が可能になる。

（項目２）
前記第２検索結果取得部は、前記類似画像を再び検索するために用いる画像として、前記表示用画像特定部において表示用画像として特定された画像以外の画像を用いる構成となっている
項目１に記載の画像検索装置。

（項目３）
前記表示用画像特定部は、前記表示用画像として、前記第１検索結果における最上位ランクの画像を特定する構成となっている
項目１又は２に記載の画像検索装置。

（項目４）
前記第２検索結果取得部は、前記類似画像を再び検索するために用いる画像として、前記第１検索結果における第２順位の画像を用いる構成となっている
項目３に記載の画像検索装置。

（項目５）
前記表示用画像特定部は、前記第３検索結果の全部又は一部を前記第１検索結果として入力することにより特定された前記第１検索結果において、既に表示用画像として特定された画像以外の画像を、前記表示用画像として特定する構成となっている
項目１〜４のいずれか１項に記載の画像検索装置。

（項目６）
項目１〜５のいずれか１項に記載の画像検索装置と、投入された前記クエリ画像を用いて前記画像ＤＢ中の類似画像を検索する前記検索エンジンとを備えた画像検索システム。

（項目７）
入力されたクエリ画像を検索エンジンに投入し、前記検索エンジンを用いて画像ＤＢ中の類似画像を検索することによって、表示用検索結果を生成するための画像検索方法であって、
（ａ）前記クエリ画像に基づいて、前記検索エンジンが前記画像ＤＢ中の類似画像を検索することにより、ランキングされた複数の画像を含む第１検索結果を前記検索エンジンから取得するステップと、
（ｂ）第１検索結果において相対的に上位ランクに位置する画像のうちの少なくとも一部を、前記表示用検索結果に含まれるべき表示用画像として特定するステップと、
（ｃ）前記第１検索結果において相対的に上位ランクに位置する画像に基づいて、前記検索エンジンが前記画像ＤＢ中の類似画像を再び検索することによって、ランキングされた複数の画像を含む第２検索結果を前記検索エンジンから取得するステップと、
（ｄ）前記第１検索結果と前記第２検索結果とを統合することによって、これらの検索結果におけるランキングに基づいてランキングされた複数の画像を含む第３検索結果を生成するステップと、
（ｅ）前記第３検索結果の全部又は一部を前記第１検索結果として特定した上で、前記（ｂ）〜（ｄ）のステップを繰り返すことにより、前記第３検索結果を更新するステップと、
（ｆ）前記表示用画像として特定された画像を用いて、前記表示用検索結果を生成するステップと
を含む画像検索方法。

（項目８）
項目７に記載のステップをコンピュータに実行させることを特徴とするコンピュータプログラム。

このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ−ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。

本発明によれば、クエリ画像を用いた画像検索において、ユーザの検索意図に沿った画像検索が可能になる。

本発明の一実施形態に係る画像検索装置を用いた検索システムの概略を示すブロック図である。 図１の装置を用いた画像検索方法の概略を示すフローチャートである。 図１の検索装置を用いた検索方法を説明するための説明図である。

（検索システムの構成）
本発明の一実施形態に係る画像検索装置を用いた検索システムを、図１に基づいて説明する。この検索システムは、ユーザ端末１と、画像検索装置２と、検索サーバ３と、インターネット４とを主要な要素として備えている。

（ユーザ端末）
ユーザ端末１は、端末本体１１と、入力装置１２と、表示装置１３とを備えている。端末本体１１は、ＣＰＵ（図示せず）を備えており、ユーザ端末１の動作に必要な計算処理を行うようになっている。入力装置１２は、ユーザからの指令を受け取るためのものである。入力装置１２としては、例えばキーボードやマウスやトラックボールのような装置を用いることができる。本実施形態の入力装置１２は、ユーザによってクエリ画像を指定できるようになっている。表示装置１３は、ユーザに対して情報を提示するものである。表示装置１３としては、例えばＬＣＤやＣＲＴなどのディスプレイを用いることができる。本実施形態の表示装置１３は、画像検索装置２で生成した出力用文書を表示するようになっている。

（画像検索装置）
画像検索装置２は、入力されたクエリ画像を検索エンジンに投入し、この検索エンジンを用いて画像ＤＢ中の類似画像を検索することによって、表示用検索結果を生成するためのものである。この画像検索装置は、クエリ受付部２１と、第１検索結果取得部２２と、表示用画像特定部２３と、第２検索結果取得部２４と、検索結果統合部２５と、検索結果生成部２６とを備えている。

クエリ受付部２１は、ユーザがユーザ端末１に入力したクエリ画像の情報を受け付ける部分である。さらに、クエリ受付部２１は、検索サーバ３の検索エンジン（後述）にクエリ画像を提供することによって、クエリ画像に類似する複数の画像を含む第１検索結果を取得する構成となっている。

第１検索結果取得部２２は、検索サーバ３の検索エンジンから、ランキングされた複数の画像を含む第１検索結果を取得するものである。すなわち、後述するとおり、検索エンジンは、クエリ画像に基づいて画像ＤＢ（後述）を検索し、類似度順でランキングされた検索結果（これを第１検索結果と称する）を生成する。この第１検索結果を、検索エンジンから、第１検索結果取得部２２が取得する。

表示用画像特定部２３は、第１検索結果において相対的に上位ランクに位置する画像のうちの少なくとも一部を、表示用検索結果に含まれるべき表示用画像として特定する。具体的には、この実施形態では、第１検索結果における最上位ランクの画像を、表示用画像として特定する。

第２検索結果取得部２４は、第１検索結果において相対的に上位ランクに位置する画像に基づく第２検索結果を取得するものである。すなわち、検索サーバ３の検索エンジンは、後述するように、第１検索結果中の上位ランクの画像を用いて、画像ＤＢ中の類似画像を再び検索することによって、ランキングされた複数の画像を含む第２検索結果を生成する。この第２検索結果を、第２検索結果取得部２４が、検索エンジンから取得する。具体的には、この実施形態では、第１検索結果における第２順位の画像に基づいて、第２検索結果を取得する。また、前記した表示用画像と、第２検索結果を取得するために用いる画像とは、異なっていることが好ましい。

検索結果統合部２５は、第１検索結果と第２検索結果とを統合することによって、これらの検索結果におけるランキングに基づいてランキングされた複数の画像を含む第３検索結果を生成する。さらに、検索結果統合部２５は、第３検索結果の全部又は一部を第１検索結果として特定した上で、この新たに特定された第１検索結果を、表示用画像特定部２３における第１検索結果として入力する。これにより、検索結果統合部２５は、第３検索結果を更新するようになっている。

検索結果生成部２６は、表示用画像として特定された画像を用いて、表示用検索結果を生成する。

さらに、検索結果生成部２６は、表示用検索結果における画像が、検索された順序で配置されている、出力用文書を生成する構成となっている。

なお、画像検索装置２の詳しい動作については、本実施形態の動作において詳しく説明する。

（検索サーバ）
検索サーバ３は、検索エンジン３１と、インデックスＤＢ３２と、画像ＤＢ３３とから構成されている。

検索エンジン３１は、クエリ画像に基づいた画像検索を行うものである。検索手法としては、例えば、画像毎に特徴量を抽出しておき、この特徴量で表される特徴ベクトルどうしの距離を用いて、画像どうしの類似度を数値化する手法を用いることができる。特徴量としては、画像の色、テクスチャあるいは形状情報を用いることができる。このような画像検索手法自体は、従来から知られているものを利用できるので、これについての詳しい説明は省略する（参考文献："Content-based Multimedia Information Retrieval: State of the Art and Challenges", ACM Transactions on Multimedia Computing, Communications, and Applications, 2(1):1-19, Feb. 2006.）。クエリ画像を用いた画像検索の手法については、本発明においては、特に制約はなく、各種の方法が利用可能である。

インデックスＤＢ３２は、画像ＤＢ３３に格納されている画像の検索を高速化するための索引を格納したＤＢである。画像ＤＢ３３には、検索対象としての多数の画像が格納されている。画像ＤＢ３３においては、画像毎にＩＤが付与されている。また、各ＩＤに対応して、画像の特徴量などの情報が記録されている。これらの各ＤＢの構成も、従来と同様でよいので、これ以上詳しい説明は省略する。

（本実施形態の動作）
次に、本実施形態の画像検索装置を用いた検索方法を、図２及び図３をさらに参照しながら説明する。

（図２のステップＳＡ−１）
まず、ユーザは、ユーザ端末１の入力装置１２を用いて、クエリ画像を指定する（図３。指定されたクエリ画像の情報は、インターネット４を介して、画像検索装置２のクエリ受付部２１に送られる。

画像検索装置２のクエリ受付部２１は、クエリ画像の情報を受け取ると、クエリ画像を、検索サーバ３の検索エンジン３１に送る。

（図２のステップＳＡ−２）
ついで、検索サーバ３の検索エンジン３１は、クエリ画像に基づいて、画像ＤＢ３３の中の類似画像を検索する。これにより、検索サーバ３の検索エンジン３１は、類似画像についての検索結果を取得することができる。このように取得された検索結果を、この明細書では、第１検索結果と称している。第１検索結果においては、クエリ画像と、検索された画像との類似度に応じて、画像へのランク付けがされている。また、本実施形態の第１検索結果は、類似度のランキングが比較的に上位の画像を特定したものである。ここで、上位ランクの画像のうち、どの範囲までを第１検索結果とするかは、適宜に決定できる。したがって、第１検索結果は、クエリ画像に類似する複数の画像を含むものとなっている。図３では、第１検索結果に含まれる画像を、画像１ａ〜４ａとして示している。この例では、簡単のため、四つの画像を例示しているが、これ以上またはこれ以下の数の画像を含むことは可能である。本実施形態においては、検索結果に含まれるべき最低の画像数は２である。検索結果に含まれる画像数が１又は零の場合は、後述する検索終了条件に該当する。

（図２のステップＳＡ−３）
ついで、表示用画像特定部２３は、第１検索結果において相対的に上位ランクに位置する画像のうちの少なくとも一部を、表示用検索結果に含まれるべき表示用画像として特定する。具体的には、表示用画像特定部２３は、第１検索結果における最上位ランクの画像１ａ（図３参照）を、表示用画像として特定する。最上位ランクの画像は、クエリ画像との関連性が最も高いと推定できるので、この画像を表示用画像と特定することにより、表示される検索結果の正解率を向上できると考えられる。なお、上位ランクの画像のうち、最上位ランク以外のものを、表示用画像として特定することは、原理的には可能である。また、検索エンジンの設定によっては、最上位ランクの画像が、クエリ画像と同じである可能性もある。そのような場合は、その次のランクの画像を表示用画像特定部２３が表示用画像として特定する設定とすることも可能である。

（図２のステップＳＡ−４及びＳＡ−５）
ついで、第２検索結果取得部２４は、第１検索結果において相対的に上位ランクに位置する画像を特定する。具体的には、第２検索結果取得部２４は、第２検索結果における第２順位の画像２ａ（図３参照）を特定する。なお、第２順位の画像が既に表示用画像として特定されている場合はその次の順位の画像が特定される。つまり、表示用画像より低い順位にあり、かつ、相対的には上位に位置する画像がここで特定される。

ついで、第２検索結果取得部２４は、この画像２ａを、検索エンジン３１に送る。検索エンジン３１は、この画像２ａに基づいて、画像ＤＢ３３中の類似画像を再び検索する。これにより、第２検索結果取得部２４は、検索エンジン３１から、類似度順でランキングされた複数の画像を含む第２検索結果を取得することができる。このようにして取得された第２検索結果を、図３において、画像１ｂ〜４ｂとして例示している。

本実施形態では、第２検索結果を取得するための画像と、先に特定した表示用画像とを異ならせている。これらの画像を同じものとすることは、原理的には可能である。しかしながら、これらの画像を同じものとした場合には、第１検索結果と第２検索結果との間で、多くの画像が共通して含まれることになると想定される。すると、後述する終了条件を考慮すると、早期に検索が終了してしまう可能性が高くなり、検索範囲が狭くなるというおそれがある。これに対して、この実施形態では、広い範囲を検索することが可能になるという利点がある。

また、一般の検索エンジンでは、検索結果における最上位の画像とクエリ画像とが同じであることが多い。その理由は、検索エンジンが、検索対象であるデータベースからクエリ画像の候補をユーザに呈示し、それをユーザが選択するような実装が多いためである。この場合、クエリ画像に最も類似する画像は、クエリ画像そのものとなり、それが検索結果の最上位となる。この最上位画像を用いて再検索を行うと、再検索の結果は、クエリ画像を用いた検索結果と同じになってしまう。本実施形態では、このような状態を避けることができ、その結果、広い範囲での検索が可能になるという利点がある。なお、ここで、検索エンジンにおいて、検索結果の最上位からクエリ画像を除く設定がなされていれば、第２検索結果取得部２４が最上位画像を用いて再検索を行うという設定も可能になる。

（図２のステップＳＡ−６）
ついで、検索結果統合部２５は、第１検索結果と第２検索結果とを統合することによって、これらの検索結果におけるランキングに基づいてランキングされた複数の画像を含む第３検索結果を生成する。このようにして生成された第３検索結果を、図３において、画像１ｃ〜４ｃとして例示している。

以下、検索結果を統合する処理の一例をさらに具体的に説明する。各検索結果におけるランキング順位を用いて、各画像のスコアを、例えば以下の式で表すことができる。

ここで、記号の意味は以下の通りである。

ここで、Rank(r,i)を２乗にしているのは、ランキングが低いほど（つまり順位の数が大きいほど）スコアを低くするためである。指数の値は、実験的に定めることができる。なお、この実施形態では、ランキング集合Ｒに含まれるランキングの数は二つである。ただし、例えば、第１検索結果における第３順位以降の画像（１つ又はそれ以上）を用いて、並列的に検索を行うことにより、複数の第２検索結果を取得することは可能である。この場合は、三つ以上のランキングが存在することになる。この場合でも本例のアルゴリズムを用いると、ランキングの統合を容易に行うことができる。

また、Hitcount(i)を乗じることにより、全ランキングに表れる当該画像の総数が多いほど、高いスコアとすることができる。すなわち、この実施形態では、ランキングでの順位と、全ランキングに表れるデータの数（すなわち出現数）とに応じて、スコアを算出することができる。

このようにして各画像について計算されたスコアの値の順序で画像をランキングし、比較的に上位の画像を特定することにより、第３検索結果を生成することができる。

（図２のステップＳＡ−７）
ついで、検索結果統合部２５は、第３検索結果が終了条件に合致するか否かを判定する。終了条件は、実装の要求に応じて種々設定できる。この実施形態では、次のいずれかに該当する場合に、終了条件に該当すると判定する。ただし、この条件はあくまで例示である。
・第３検索結果に含まれる全ての画像が、既に表示用画像として特定されていること；
・第３検索結果に含まれる全ての画像が、第１又は第２検索結果を取得するための検索において既に用いられていること；
・必要数の表示用画像が特定されたこと；又は
・第１検索結果に含まれる画像の数が既定数以下（例えば１又は零）であること。

（図２のステップＳＡ−８）
ついで、検索結果統合部２５は、第３検索結果の全部又は一部を、前記の第１検索結果として特定する。つまり、統合により生成された第３検索結果を、前記したステップＳＡ−３における第１検索結果として扱う。その上で、検索結果統合部２５は、前記したステップＳＡ−３からＳＡ−７を繰り返す。これにより、この実施形態では、第３検索結果を更新することができる。ただし、ここで、新たに特定された第１検索結果から表示用画像を特定する場合において、最上位ランクの画像が既に表示用として特定されていた場合、その次の順位の画像を表示用として特定する。つまり、この繰り返し処理においては、既に表示用として特定された画像を除いた画像のうちで最上位のものを、表示用として特定する。同様に、第２検索結果を生成するための画像を特定する場合は、既に画像検索のために用いられた画像を除いた画像であって、かつ、表示用画像以外の画像のうちで最上位のものを、検索用として特定する。

このような繰り返し処理により、新たに、表示用画像１ｃを特定することができる。また、図３には、新たに取得した第２検索結果が、画像１ｄ〜４ｄとして例示されている。そして、統合処理によって新たに生成された第３検索結果を、図３において符号１ｅ〜４ｅとして例示する。その結果、表示用画像としてさらに画像１ｅを特定することができる。ついで、新たな第２検索結果として、図３に示す画像１ｆ〜４ｆを取得できる。その後、前記のようにして、新たな第３検索結果１ｇ〜４ｇを生成できる。このうち、表示用画像として、画像１ｇを特定することができる。このような繰り返し処理により、必要数の表示用画像を特定することができる。この繰り返し処理は、ステップＳＡ−７での判断がＮＯである限り続けられる。

（図２のステップＳＡ−９及びＳＡ−１０）
ステップＳＡ−７での判断がＹＥＳの場合、検索結果生成部２６は、これまでのステップにおいて表示用画像として特定された画像を用いて、表示用検索結果を生成する。具体的には、図３の例では、表示用画像として特定された画像１ａ、１ｃ、１ｅ及び１ｇを用いて、出力用の表示用文書（表示用検索結果の具体例に相当）を生成する。この例では、図３に示されたように、先に特定された画像が高い順位となるように、表示用文書を生成する。先に特定された画像は、クエリに対する関連性がより高いと推定できる。ついで、検索結果生成部２６は、表示用文書を、インターネット４を介して、ユーザ端末１に送る。ユーザ端末１は、表示装置１３により、表示用文書をユーザに呈示する。これにより、本実施形態では、ユーザの検索意図に対する整合性が高い検索結果を呈示することができるという利点がある。なお、本実施形態の方法を実行しても、既定数の表示用画像が収集できないときは、検索エラーのメッセージをユーザ端末１に返すことが可能である。

（実験例）
以下、前記した実施形態の画像検索方法を用いて画像検索を行った例を説明する。実験条件は以下の通りである。

実験で使ったデータベース：http://wang.ist.psu.edu/~jwang/test1.tar又は、http://wang.ist.psu.edu/~jwang/test1.zipから得られる画像データベース。このデータベースは、「Corel-1000 database」または「Wang database」と呼ばれ、評価用のデータベースとして知られている（参考文献：James Z. Wang, Jia Li, Gio Wiederhold, "SIMPLIcity: Semantics-sensitive Integrated Matching for Picture LIbraries," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol 23, no.9, pp. 947-963, 2001.
http://www-db.stanford.edu/~wangz/project/imsearch/SIMPLIcity/TPAMI/）。なお、このデータベースには合計１０００枚の画像が含まれており、これらの画像は１０個のカテゴリーに分けられている。各カテゴリーには、１００枚の画像が含まれている。

正解・不正解の特定：データベースの中の特定の画像をクエリとして使い、クエリ画像と同じカテゴリーに含まれている画像を正解とみなし、それ以外の画像を不正解とみなす。これは標準的な評価方法である。なお、データベースに含まれるどの画像もクエリとして使うことができる。そして、同じカテゴリーに含まれる画像を正解画像と見なすことができる。

正解率：各クエリーに対する検索結果の上位Ｎ件の中で、正解画像の比率（＝正解数／Ｎ）。この「正解率」は検索分野で適合率（retrieval precision）と呼ばれる。

（比較例１）
既存の手法により、クエリ画像（ビーチを撮影した風景画像）を用いて検索を行った。その結果、クエリ画像を風景の画像と把握したとき、正解率は６７％、クエリ画像をビーチの画像と把握したとき、正解率は４８％であった。

ここで、比較例における検索手法（すなわち検索エンジンでの検索アルゴリズム）の概要を以下に示す。
・まず、各画像を５×５ブロック（同じ大きさの四角い領域）に分割する。
・次に、各ブロックから三つの特徴量（色、形状、テクスチャー）を抽出する。

その結果として、各ブロックから、三つの特徴ベクトルが抽出される。

画像類似度の計算は以下のように行う。
・まず、ブロックごとの特徴ベクトルの類似度（距離）を計算する。
・ついで、特徴ベクトルごとの類似度の平均、つまり
（色類似度 ＋ 形状類似度 ＋ テクスチャー類似度）／３
を「ブロックごとの類似度」とみなす。
・その後、ブロックごとの類似度の平均を計算し、それを全体の類似度とみなす。

つまり、
・「画像間の類似度」＝「ブロック間の類似度の平均」、
・「ブロック間の類似度の平均」＝「ブロックの特徴ベクトルの類似度の平均」
となる。

このような手法については、下記参考文献にも記載されているので、これ以上詳しい説明は省略する（参考文献：Zoran Stejic, Yasufumi Takama, Kaoru Hirota: "Comprehensive Comparison of Region-Based Image Similarity Models", Flexible Query Answering Systems, 6th International Conference, FQAS 2004, Lyon, France, June 24-26, 2004, Proceedings. Lecture Notes in Computer Science 3055, pp. 390-403）。

（実験例１）
本実施形態の手法により、比較例１と同じクエリ画像を用いて検索を行った。ここで、実験例で使った検索エンジン３１の検索アルゴリズムは、比較例と同じとした（後述の各実験例において同じ）。その結果、クエリ画像を風景の画像と把握したとき、正解率は１００％、クエリ画像をビーチの画像と把握したとき、正解率は７０％であった。

したがって、本実施形態により、ユーザの意図に即した画像を取得できることが判る。

また、本実施形態では、検索エンジンとして、既存のものを用いながら、反復的な検索を行うことにより、検索結果の質を向上させることができる。さらに、本実施形態では、検索エンジンの内部の処理を変更する必要がないので、各種の既存検索エンジンを用いることができる。また、本実施形態の方法は、どのような既存検索エンジンに対して適用しても、検査結果の質の向上が期待できる。

（比較例２）
比較例１と同じ既存手法により、クエリ画像（象の群れを撮影した画像）を用いて検索を行った。その結果、正解率は３０％であった。

（実験例２）
本実施形態の手法により、比較例２と同じクエリ画像を用いて検索を行った。その結果、正解率は４８％であった。これからも、本実施形態により、ユーザの意図に即した画像を取得できることが判る。

（比較例３）
比較例１と同じ既存手法により、クエリ画像（花を撮影した画像）を用いて検索を行った。その結果、正解率は９３％であった。

（実験例３）
本実施形態の手法により、比較例３と同じクエリ画像を用いて検索を行った。その結果、正解率は１００％であった。これからも、本実施形態により、ユーザの意図に即した画像を取得できることが判る。

（比較例４）
比較例１と同じ既存手法により、クエリ画像（食べ物を撮影した画像）を用いて検索を行った。その結果、正解率は５９％であった。

（実験例４）
本実施形態の手法により、比較例４と同じクエリ画像を用いて検索を行った。その結果、正解率は７８％であった。これからも、本実施形態により、ユーザの意図に即した画像を取得できることが判る。

前記した各実施形態の動作は、コンピュータに適宜のコンピュータソフトウエアを組み込むことにより実施することができる。

なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。

例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。

１ ユーザ端末
１１ 端末本体
１２ 入力装置
１３ 表示装置
２ 画像検索装置
２１ クエリ受付部
２２ 第１検索結果取得部
２３ 表示用画像特定部
２４ 第２検索結果取得部
２５ 検索結果統合部
２６ 検索結果生成部
３ 検索サーバ
３１ 検索エンジン
３２ インデックスＤＢ
３３ 画像ＤＢ
４ インターネット

Claims (8)

1. 入力されたクエリ画像を検索エンジンに投入し、前記検索エンジンを用いて画像ＤＢ中の類似画像を検索することによって、表示用検索結果を生成するための画像検索装置であって、
   前記検索エンジンが前記クエリ画像に基づいて前記画像ＤＢ中の類似画像を検索することにより生成され、かつ、ランキングされた複数の画像を含む第１検索結果を、前記検索エンジンから取得する第１検索結果取得部と、
   第１検索結果において相対的に上位ランクに位置する画像のうちの少なくとも一部を、前記表示用検索結果に含まれるべき表示用画像として特定する表示用画像特定部と、
   前記第１検索結果において相対的に上位ランクに位置する画像に基づいて、前記検索エンジンが前記画像ＤＢ中の類似画像を再び検索することによって、ランキングされた複数の画像を含む第２検索結果を前記検索エンジンから取得する第２検索結果取得部と、
   前記第１検索結果と前記第２検索結果とを統合することによって、これらの検索結果におけるランキングに基づいてランキングされた複数の画像を含む第３検索結果を生成し、さらに、
   前記第３検索結果の全部又は一部を、前記表示用画像特定部における前記第１検索結果として再び入力することにより、前記第３検索結果を更新する検索結果統合部と、
   前記表示用画像として特定された画像を用いて、前記表示用検索結果を生成する検索結果生成部と
   を含む画像検索装置。
2. 前記第２検索結果取得部は、前記類似画像を再び検索するために用いる画像として、前記表示用画像特定部において表示用画像として特定された画像以外の画像を用いる構成となっている
   請求項１に記載の画像検索装置。
3. 前記表示用画像特定部は、前記表示用画像として、前記第１検索結果における最上位ランクの画像を特定する構成となっている
   請求項１又は２に記載の画像検索装置。
4. 前記第２検索結果取得部は、前記類似画像を再び検索するために用いる画像として、前記第１検索結果における第２順位の画像を用いる構成となっている
   請求項３に記載の画像検索装置。
5. 前記表示用画像特定部は、前記第３検索結果の全部又は一部を前記第１検索結果として入力することにより特定された前記第１検索結果において、既に表示用画像として特定された画像以外の画像を、前記表示用画像として特定する構成となっている
   請求項１〜４のいずれか１項に記載の画像検索装置。
6. 請求項１〜５のいずれか１項に記載の画像検索装置と、投入された前記クエリ画像を用いて前記画像ＤＢ中の類似画像を検索する前記検索エンジンとを備えた画像検索システム。
7. 入力されたクエリ画像を検索エンジンに投入し、前記検索エンジンを用いて画像ＤＢ中の類似画像を検索することによって、表示用検索結果を生成するための、画像検索装置を用いた画像検索方法であって、
   （ａ）前記クエリ画像に基づいて、前記検索エンジンが前記画像ＤＢ中の類似画像を検索することにより生成され、かつランキングされた複数の画像を含む第１検索結果を、前記画像検索装置の第１検索結果取得部が前記検索エンジンから取得するステップと、
   （ｂ）前記画像検索装置の表示用画像特定部が、第１検索結果において相対的に上位ランクに位置する画像のうちの少なくとも一部を、前記表示用検索結果に含まれるべき表示用画像として特定するステップと、
   （ｃ）前記第１検索結果において相対的に上位ランクに位置する画像に基づいて、前記検索エンジンが前記画像ＤＢ中の類似画像を再び検索することによって生成され、かつランキングされた複数の画像を含む第２検索結果を、前記画像検索装置の第２検索結果取得部が前記検索エンジンから取得するステップと、
   （ｄ）前記画像検索装置の検索結果統合部が、前記第１検索結果と前記第２検索結果とを統合することによって、これらの検索結果におけるランキングに基づいてランキングされた複数の画像を含む第３検索結果を生成するステップと、
   （ｅ）前記検索結果統合部が、前記第３検索結果の全部又は一部を前記第１検索結果として特定した上で、前記表示用画像特定部と前記第２検索結果取得部と前記検索結果統合部とによる前記（ｂ）〜（ｄ）のステップを繰り返すことにより、前記第３検索結果を更新するステップと、
   （ｆ）前記画像検索装置の検索結果生成部が、前記表示用画像として特定された画像を用いて、前記表示用検索結果を生成するステップと
   を含む画像検索方法。
8. 請求項７に記載のステップをコンピュータに実行させることを特徴とするコンピュータプログラム。

Images