JP5577371B2 - 画像検索装置、画像検索方法およびプログラム - Google Patents
画像検索装置、画像検索方法およびプログラム Download PDFInfo
- Publication number
- JP5577371B2 JP5577371B2 JP2012078343A JP2012078343A JP5577371B2 JP 5577371 B2 JP5577371 B2 JP 5577371B2 JP 2012078343 A JP2012078343 A JP 2012078343A JP 2012078343 A JP2012078343 A JP 2012078343A JP 5577371 B2 JP5577371 B2 JP 5577371B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature vector
- query
- search target
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
図1は、本発明の第1の実施形態にかかる画像検索システムの構成の一例を示す図である。画像検索システムは、画像検索装置1と、ウェブサーバ2と、クライアント装置3とを含む。ウェブサーバ2は、例えばウェブサーバプログラムが動作するサーバハードウェアであり、クライアント装置3は、例えばウェブブラウザのプログラムが動作するパーソナルコンピュータや、スマートフォンである。画像検索システムは画像検索を行う動作の概要は以下の通りである。はじめに、ウェブサーバ2は、インターネット等のネットワークを介してクライアント装置3から画像検索に用いるクエリとなる画像(以下、「クエリ画像」と記述する)を取得し、そのクエリ画像を画像検索装置1に入力させる。次に画像検索装置1は、入力された画像に類似する1または複数の画像を検索し、ウェブサーバ2に出力する。ウェブサーバ2は、画像検索装置1が検索した画像をクライアント装置3に表示させるデータを出力する。
以下では、画像特徴ベクトル22をクラスタに分類し、インデックスを生成する処理について説明する。
図9は、画像検索部52の機能構成を示す機能ブロック図である。画像検索部52は、機能的に、代表ベクトル転送部81、クエリ特徴ベクトル取得部82、上位代表ベクトル距離計算部83、代表クラスタ選択部84、代表特徴ベクトル距離計算部85、画像特徴クラスタ選択部86、画像特徴ベクトル転送部87、画像特徴ベクトル距離計算部88、画像特徴ベクトル選択部89、画像スコア生成部90および検索結果画像選択部91を含む。
代表ベクトル転送部81は、主に並列計算装置14と、記憶部12とにより実現される。代表ベクトル転送部81は、並列計算装置14を初期化する処理(ステップS101)として、木構造代表ベクトル格納部72に格納された、複数の上位代表ベクトルおよび複数の代表特徴ベクトルを、複数のプロセッサ41から共通にアクセスできる装置内メモリ45に転送する。
クエリ特徴ベクトル取得部82は、主にCPU11、記憶部12、および並列計算装置14によって実現される。クエリ特徴ベクトル取得部82は、並列計算装置14の初期化の後に、クエリ画像から1または複数のクエリ特徴ベクトルを取得する(ステップS102)。また、クエリ特徴ベクトル取得部82は、クエリ画像から抽出される1または複数のクエリ特徴ベクトルを共通メモリである装置内メモリ45に格納する。
次に、画像検索部52は、複数のクエリ特徴ベクトルのそれぞれに対応する画像特徴クラスタを選択する(ステップS103)。この処理は、上位代表ベクトル距離計算部83、代表クラスタ選択部84、代表特徴ベクトル距離計算部85、および画像特徴クラスタ選択部86が行う。
画像特徴クラスタが選択された後には、画像検索部52は、複数のクエリ特徴ベクトルのそれぞれと、選択された画像特徴クラスタに属する画像特徴ベクトル22との距離とを計算し、その距離に基づいてそのクエリ特徴ベクトルに対応する1または複数の画像特徴ベクトル22を選択する(ステップS104)。この処理は、画像特徴ベクトル転送部87、画像特徴ベクトル距離計算部88、および画像特徴ベクトル選択部89が行う。
画像特徴ベクトル22が選択されると、画像検索部52に含まれる画像スコア生成部90は、検索対象となる画像ごとにスコアを生成する(ステップS105)。画像スコア生成部90は並列計算装置14を中心として実現される。画像スコア生成部90は、複数の画像のそれぞれについて、当該画像の特徴を示しかつ選択された複数の画像特徴ベクトル22と、その選択された画像特徴ベクトル22に対応するクエリ特徴ベクトルとの近さに基づいてスコア要素を計算し、さらにそのスコア要素の合計に基づいて、当該画像の画像スコアを生成する。
画像スコアが生成されると、画像検索部52に含まれる検索結果画像選択部91は、検索結果となる画像を選択する(ステップS106)。検索結果画像選択部91は、並列計算装置14を中心として実現される。検索結果画像選択部91は、画像スコア生成部90が計算した画像スコアに基づいて、検索対象となる複数の画像のうち少なくとも1つを検索結果として選択する。具体的には、画像スコアをその値により降順にソートし、その画像スコアが高い画像からいくつかを選択したり、所定の値より画像スコアが高い画像を選択する。
本発明の第2の実施形態にかかる画像検索システムは、第1の実施形態と異なり、画像特徴クラスタを選択した後に画像特徴ベクトル22とクエリ特徴ベクトルとの距離を判断しない。この手法はBoF法に一部類似する検索手法である。以下では、第1の実施形態との相違点を中心に説明する。なお、図1に示す画像検索システムを構成する機器の構成や、画像検索装置1がインデックス生成部51および画像検索部52を有する点は第1の実施形態と同様である。
第1の実施形態と同様に、インデックス生成部51は、画像特徴ベクトル抽出部61と、クラスタ生成部62とを含む。画像特徴ベクトル抽出部61は、検索対象となる複数の画像のそれぞれから複数の画像特徴ベクトル22を抽出する。クラスタ生成部62は、その抽出された画像特徴ベクトル22を複数の画像特徴クラスタに分類する。また、クラスタ生成部62は、それらの画像特徴クラスタの代表ベクトルを代表ベクトル格納部172に格納し、画像特徴クラスタに属する画像特徴ベクトル22に関する情報をクラスタ画像特徴量格納部171に格納する。画像特徴クラスタへの分類は、第1の実施形態と同様の手法を用いればよい。ただし、クラスタ生成部62は、クラスタ画像特徴量格納部171には、画像特徴ベクトル22の各要素の代わりに、その画像特徴ベクトル22のインデックスに相当する情報、より具体的にはその画像特徴ベクトルが抽出された画像の識別情報を格納する。クラスタ画像特徴量格納部171、代表ベクトル格納部172は、具体的には記憶部12により構成される。
図23は、第2の実施形態にかかる画像検索部52の機能構成を示す機能ブロック図である。画像検索部52は、機能的に、クエリ特徴ベクトル取得部181、画像特徴クラスタ選択部182、画像特徴ベクトル選択部183、画像スコア生成部184、および検索結果画像選択部185を含む。
クエリ特徴ベクトル取得部181は、主にCPU11、記憶部12、および並列計算装置14によって実現される。はじめに、クエリ特徴ベクトル取得部181は、クエリ画像から1または複数のクエリ特徴ベクトルを取得する(ステップS1101)。この処理は、第1の実施形態におけるクエリ特徴ベクトル取得部82と同様の処理である。
画像特徴クラスタ選択部182は、主にCPU11、記憶部12、および並列計算装置14により実現される。クエリ特徴ベクトルが取得されると、画像特徴クラスタ選択部182は、複数のクエリ特徴ベクトルにそれぞれ対応する複数の画像特徴クラスタを選択する(ステップS1102)。より具体的には、クエリ特徴ベクトルのそれぞれについて、当該クエリ特徴ベクトルに最も近い代表ベクトルを有する画像特徴クラスタを選択する。より詳細な計算方法としては、CPU11を用いて距離計算を行ってもよいし、第1の実施形態に示すように、並列計算装置14と代表ベクトルの木構造とを用いて画像特徴クラスタを選択してもよい。なお、選択された画像特徴クラスタは、BoF法におけるVisual Wordに相当すると考えてよい。
画像特徴ベクトル選択部183は、CPU11および記憶部12を中心として実現される。画像特徴ベクトル選択部183は、クエリ特徴ベクトルのそれぞれに対して選択された画像特徴クラスタに属する画像特徴ベクトル22から、当該クエリ特徴ベクトルに対応する画像特徴ベクトル22を選択する(ステップS1103)。ここで、画像特徴ベクトル選択部89は、以下の条件を満たす複数の画像特徴ベクトル22を選択する。1つの条件は、検索対象となる複数の画像のそれぞれについて、その画像から抽出された複数の画像特徴ベクトル22のうち、ある1つのクエリ特徴ベクトルに対応して選択された画像特徴ベクトル22の数が1となることである。もう1つの条件は、いずれかのクエリ特徴ベクトルに対し選択される画像特徴ベクトル22と、他のクエリ特徴ベクトルに対し選択される画像特徴ベクトル22とが重複しないことである。画像特徴ベクトル選択部183は、クエリ特徴ベクトルのそれぞれについて、上述の条件を満たす全ての画像特徴ベクトル22をそのクエリ特徴ベクトルに対応する画像特徴ベクトル22として選択する。
画像スコア生成部184は、CPU11および記憶部12を中心として実現される。画像スコア生成部184は、複数の画像の少なくとも一部のそれぞれについて、その画像における選択された画像特徴ベクトル22の出現頻度に基づいて当該画像の画像スコアを生成する(ステップS1104)。例えば、画像スコア生成部184は、画像ごとに、その画像から抽出され、クエリ特徴ベクトルに対応して選択された画像特徴ベクトル22の数をカウントして画像スコアを生成する。
検索結果画像選択部185は、CPU11および記憶部12を中心として実現される。検索結果画像選択部185は、検索結果となる画像を選択する(ステップS1105)。具体的には、検索結果画像選択部185は第1の実施形態における検索結果画像選択部91と同様に画像スコアに基づいて検索対象となる複数の画像のうち少なくとも1つを検索結果として選択する。
本発明の第2の実施形態にかかる画像検索システムは、第2の実施形態と同様に、画像特徴クラスタを選択した後に画像特徴ベクトル22とクエリ特徴ベクトルとの距離を判断しない。本実施形態ではBoF法で用いられるような既存の全文検索エンジンを用いつつ第2の実施形態と同様の効果を得るようにしたものである。以下では、第2の実施形態との相違点を中心に説明する。なお、図1に示す画像検索システムを構成する機器の構成や、図2や図23に示す機能構成は第2の実施形態と同様である。
第3の実施形態では、クラスタ生成部62は、BoF法で一般的に用いられる転置行列をクラスタ画像特徴量格納部171に格納する。BoF法における転置行列は、画像に対応する列と、Visual Wordに対応する行とからなる行列である。本実施形態では、行列の行を特定する文字列をビジュアルワード識別子と呼ぶ。ここで、ビジュアルワード識別子は、Visual Wordに相当する画像特徴クラスタの識別番号に、その画像特徴クラスタについてある画像に対応する画像特徴ベクトル22が抽出された順位を示す情報を付加したものである。
図27は、第3の実施形態にかかる画像検索部52の処理の概要を示す図である。以下では、図27が示す処理フローに従い、主に第2の実施形態との相違点について説明する。
Claims (12)
- クエリとなる画像の局所的な特徴をそれぞれ示す複数のクエリ特徴ベクトルを取得するクエリ特徴ベクトル取得手段と、
前記複数のクエリ特徴ベクトルのそれぞれについて、検索対象となる複数の検索対象画像毎に予め記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルからの距離が閾値の範囲内となる画像特徴ベクトルを選択する画像特徴ベクトル選択手段と、
前記複数の検索対象画像のいずれかの特徴を示しかつ前記選択された複数の画像特徴ベクトルと、当該選択された画像特徴ベクトルに対応するクエリ特徴ベクトルとの近さに応じたスコア要素の合計に基づいて、当該検索対象画像の画像スコアを生成するスコア生成手段と、
前記画像スコアに基づいて、前記検索対象となる複数の検索対象画像のうち少なくとも1つを選択する画像選択手段と、
を含み、
前記画像特徴ベクトル選択手段は、前記複数のクエリ特徴ベクトルのそれぞれについて、前記記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルと異なるクエリ特徴ベクトルについて選択されていない画像特徴ベクトルを選択する、
ことを特徴とする画像検索装置。 - クエリとなる画像の局所的な特徴をそれぞれ示す複数のクエリ特徴ベクトルを取得するクエリ特徴ベクトル取得手段と、
前記複数のクエリ特徴ベクトルのそれぞれについて、検索対象となる複数の検索対象画像毎に予め記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルからの距離が近い順に予め定められた数の画像特徴ベクトルを選択する画像特徴ベクトル選択手段と、
前記複数の検索対象画像のいずれかの特徴を示しかつ前記選択された複数の画像特徴ベクトルと、当該選択された画像特徴ベクトルに対応するクエリ特徴ベクトルとの近さに応じたスコア要素の合計に基づいて、当該検索対象画像の画像スコアを生成するスコア生成手段と、
前記画像スコアに基づいて、前記検索対象となる複数の検索対象画像のうち少なくとも1つを選択する画像選択手段と、
を含み、
前記画像特徴ベクトル選択手段は、前記複数のクエリ特徴ベクトルのそれぞれについて、前記記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルと異なるクエリ特徴ベクトルについて選択されていない画像特徴ベクトルを選択する、
ことを特徴とする画像検索装置。 - 前記画像特徴ベクトル選択手段は、前記複数のクエリ特徴ベクトルのそれぞれについて、前記記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、前記各検索対象画像につき多くとも1つの画像特徴ベクトルを選択する、
ことを特徴とする請求項1または2に記載の画像検索装置。 - 前記記憶手段に記憶される複数の画像特徴ベクトルが分類される複数のクラスタから、前記複数のクエリ特徴ベクトルのそれぞれに対応するクラスタを選択するクラスタ選択手段をさらに含み、
前記画像特徴ベクトル選択手段は、前記複数のクエリ特徴ベクトルのそれぞれについて、前記選択されるクラスタに属する画像特徴ベクトルのうちから画像特徴ベクトルを選択する、
ことを特徴とする請求項1から3のいずれかに記載の画像検索装置。 - 前記選択された複数の画像特徴ベクトルのそれぞれと、前記選択された画像特徴ベクトルに対応するクエリ特徴ベクトルとの近さは、当該画像特徴ベクトルと当該クエリ特徴ベクトルとの距離である、
ことを特徴とする請求項1から4のいずれかに記載の画像検索装置。 - クエリとなる画像の局所的な特徴をそれぞれ示す複数のクエリ特徴ベクトルを取得するクエリ特徴ベクトル取得手段、
前記複数のクエリ特徴ベクトルのそれぞれについて、検索対象となる複数の検索対象画像毎に予め記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルからの距離が閾値の範囲内となる画像特徴ベクトルを選択する画像特徴ベクトル選択手段、
前記複数の検索対象画像のいずれかの特徴を示しかつ前記選択された複数の画像特徴ベクトルと、当該選択された画像特徴ベクトルに対応するクエリ特徴ベクトルとの近さに応じたスコア要素の合計に基づいて、当該検索対象画像の画像スコアを生成するスコア生成手段、および、
前記画像スコアに基づいて、前記検索対象となる複数の検索対象画像のうち少なくとも1つを選択する画像選択手段、
としてコンピュータを機能させるためのプログラムであって、
前記画像特徴ベクトル選択手段は、前記複数のクエリ特徴ベクトルのそれぞれについて、前記記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルと異なるクエリ特徴ベクトルについて選択されていない画像特徴ベクトルを選択する、
プログラム。 - クエリとなる画像の局所的な特徴をそれぞれ示す複数のクエリ特徴ベクトルを取得するクエリ特徴ベクトル取得手段、
前記複数のクエリ特徴ベクトルのそれぞれについて、検索対象となる複数の検索対象画像毎に予め記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルからの距離が近い順に予め定められた数の画像特徴ベクトルを選択する画像特徴ベクトル選択手段、
前記複数の検索対象画像のいずれかの特徴を示しかつ前記選択された複数の画像特徴ベクトルと、当該選択された画像特徴ベクトルに対応するクエリ特徴ベクトルとの近さに応じたスコア要素の合計に基づいて、当該検索対象画像の画像スコアを生成するスコア生成手段、および、
前記画像スコアに基づいて、前記検索対象となる複数の検索対象画像のうち少なくとも1つを選択する画像選択手段、
としてコンピュータを機能させるためのプログラムであって、
前記画像特徴ベクトル選択手段は、前記複数のクエリ特徴ベクトルのそれぞれについて、前記記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルと異なるクエリ特徴ベクトルについて選択されていない画像特徴ベクトルを選択する、
プログラム。 - クエリ特徴ベクトル取得手段がクエリとなる画像の局所的な特徴をそれぞれ示す複数のクエリ特徴ベクトルを取得するステップと、
画像特徴ベクトル選択手段が前記複数のクエリ特徴ベクトルのそれぞれについて、検索対象となる複数の検索対象画像毎に予め記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルからの距離が閾値の範囲内となる画像特徴ベクトルを選択するステップと、
スコア生成手段が前記複数の検索対象画像のいずれかの特徴を示しかつ前記選択された複数の画像特徴ベクトルと、当該選択された画像特徴ベクトルに対応するクエリ特徴ベクトルとの近さに応じたスコア要素の合計に基づいて、当該検索対象画像の画像スコアを生成するステップと、
画像選択手段が前記画像スコアに基づいて、前記検索対象となる複数の検索対象画像のうち少なくとも1つを選択するステップと、
を含み、
前記画像特徴ベクトルを選択するステップでは、画像特徴ベクトル選択手段が前記複数のクエリ特徴ベクトルのそれぞれについて、前記記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルと異なるクエリ特徴ベクトルについて選択されていない画像特徴ベクトルを選択する、
ことを特徴とする画像検索方法。 - クエリ特徴ベクトル取得手段がクエリとなる画像の局所的な特徴をそれぞれ示す複数のクエリ特徴ベクトルを取得するステップと、
画像特徴ベクトル選択手段が前記複数のクエリ特徴ベクトルのそれぞれについて、検索対象となる複数の検索対象画像毎に予め記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルからの距離が近い順に予め定められた数の画像特徴ベクトルを選択するステップと、
スコア生成手段が前記複数の検索対象画像のいずれかの特徴を示しかつ前記選択された複数の画像特徴ベクトルと、当該選択された画像特徴ベクトルに対応するクエリ特徴ベクトルとの近さに応じたスコア要素の合計に基づいて、当該検索対象画像の画像スコアを生成するステップと、
画像選択手段が前記画像スコアに基づいて、前記検索対象となる複数の検索対象画像のうち少なくとも1つを選択するステップと、
を含み、
前記画像特徴ベクトルを選択するステップでは、画像特徴ベクトル選択手段が前記複数のクエリ特徴ベクトルのそれぞれについて、前記記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルと異なるクエリ特徴ベクトルについて選択されていない画像特徴ベクトルを選択する、
ことを特徴とする画像検索方法。 - クエリとなる画像の局所的な特徴をそれぞれ示す複数のクエリ特徴ベクトルを取得するクエリ特徴ベクトル取得手段と、
前記複数のクエリ特徴ベクトルのそれぞれについて、検索対象となる複数の検索対象画像毎に予め記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルと異なるクエリ特徴ベクトルについて選択されていない画像特徴ベクトルを選択する画像特徴ベクトル選択手段と、
前記複数の検索対象画像のいずれかの特徴を示しかつ前記選択された複数の画像特徴ベクトルと、当該選択された画像特徴ベクトルに対応するクエリ特徴ベクトルとの近さに応じたスコア要素の合計に基づいて、当該検索対象画像の画像スコアを生成するスコア生成手段と、
前記画像スコアに基づいて、前記検索対象となる複数の検索対象画像のうち少なくとも1つを選択する画像選択手段と、
を含むことを特徴とする画像検索装置。 - クエリとなる画像の局所的な特徴をそれぞれ示す複数のクエリ特徴ベクトルを取得するクエリ特徴ベクトル取得手段、
前記複数のクエリ特徴ベクトルのそれぞれについて、検索対象となる複数の検索対象画像毎に予め記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルと異なるクエリ特徴ベクトルについて選択されていない画像特徴ベクトルを選択する画像特徴ベクトル選択手段、
前記複数の検索対象画像のいずれかの特徴を示しかつ前記選択された複数の画像特徴ベクトルと、当該選択された画像特徴ベクトルに対応するクエリ特徴ベクトルとの近さに応じたスコア要素の合計に基づいて、当該検索対象画像の画像スコアを生成するスコア生成手段、および、
前記画像スコアに基づいて、前記検索対象となる複数の検索対象画像のうち少なくとも1つを選択する画像選択手段、
としてコンピュータを機能させるためのプログラム。 - クエリ特徴ベクトル取得手段がクエリとなる画像の局所的な特徴をそれぞれ示す複数のクエリ特徴ベクトルを取得するステップと、
画像特徴ベクトル選択手段が前記複数のクエリ特徴ベクトルのそれぞれについて、検索対象となる複数の検索対象画像毎に予め記憶手段に記憶され、各検索対象画像の複数の局所的な特徴をそれぞれ示す複数の画像特徴ベクトルのうちから、当該クエリ特徴ベクトルと異なるクエリ特徴ベクトルについて選択されていない画像特徴ベクトルを選択するステップと、
スコア生成手段が前記複数の検索対象画像のいずれかの特徴を示しかつ前記選択された複数の画像特徴ベクトルと、当該選択された画像特徴ベクトルに対応するクエリ特徴ベクトルとの近さに応じたスコア要素の合計に基づいて、当該検索対象画像の画像スコアを生成するステップと、
画像選択手段が前記画像スコアに基づいて、前記検索対象となる複数の検索対象画像のうち少なくとも1つを選択するステップと、
を含むことを特徴とする画像検索方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012078343A JP5577371B2 (ja) | 2012-03-29 | 2012-03-29 | 画像検索装置、画像検索方法およびプログラム |
EP13769777.7A EP2833275B1 (en) | 2012-03-29 | 2013-03-29 | Image search device, image search method, program, and computer-readable storage medium |
CN201380018098.7A CN104221015B (zh) | 2012-03-29 | 2013-03-29 | 图像检索装置、图像检索方法、程序以及计算机可读取的存储介质 |
ES13769777.7T ES2665504T3 (es) | 2012-03-29 | 2013-03-29 | Dispositivo de búsqueda de imágenes, método de búsqueda de imágenes, programa y soporte de almacenamiento legible por ordenador |
PCT/JP2013/059546 WO2013147166A1 (ja) | 2012-03-29 | 2013-03-29 | 画像検索装置、画像検索方法、プログラムおよびコンピュータ読取り可能な記憶媒体 |
US14/388,815 US9940366B2 (en) | 2012-03-29 | 2013-03-29 | Image search device, image search method, program, and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012078343A JP5577371B2 (ja) | 2012-03-29 | 2012-03-29 | 画像検索装置、画像検索方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013206436A JP2013206436A (ja) | 2013-10-07 |
JP2013206436A5 JP2013206436A5 (ja) | 2014-01-30 |
JP5577371B2 true JP5577371B2 (ja) | 2014-08-20 |
Family
ID=49260408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012078343A Active JP5577371B2 (ja) | 2012-03-29 | 2012-03-29 | 画像検索装置、画像検索方法およびプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US9940366B2 (ja) |
EP (1) | EP2833275B1 (ja) |
JP (1) | JP5577371B2 (ja) |
CN (1) | CN104221015B (ja) |
ES (1) | ES2665504T3 (ja) |
WO (1) | WO2013147166A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4976578B1 (ja) * | 2011-09-16 | 2012-07-18 | 楽天株式会社 | 画像検索装置およびプログラム |
US11157550B2 (en) * | 2013-10-02 | 2021-10-26 | Hitachi, Ltd. | Image search based on feature values |
US20150302036A1 (en) * | 2014-04-18 | 2015-10-22 | Inplore Inc. | Method, system and computer program for information retrieval using content algebra |
US10509800B2 (en) * | 2015-01-23 | 2019-12-17 | Hewlett-Packard Development Company, L.P. | Visually interactive identification of a cohort of data objects similar to a query based on domain knowledge |
CN106021362B (zh) * | 2016-05-10 | 2018-04-13 | 百度在线网络技术(北京)有限公司 | 查询式的图片特征表示的生成、图片搜索方法和装置 |
JP6601965B2 (ja) * | 2016-08-25 | 2019-11-06 | Kddi株式会社 | 探索木を用いて量子化するプログラム、装置及び方法 |
JP6311000B1 (ja) * | 2016-12-19 | 2018-04-11 | ヤフー株式会社 | 生成装置、生成方法、及び生成プログラム |
US10504002B2 (en) * | 2017-07-30 | 2019-12-10 | Fuji Xerox Co., Ltd. | Systems and methods for clustering of near-duplicate images in very large image collections |
JP2019125333A (ja) * | 2018-01-12 | 2019-07-25 | 富士通株式会社 | 間取り抽出プログラム、間取り抽出方法及び情報処理装置 |
CN111480158B (zh) * | 2018-10-12 | 2024-06-18 | 华为技术有限公司 | 文件管理方法及电子设备 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4344134A (en) | 1980-06-30 | 1982-08-10 | Burroughs Corporation | Partitionable parallel processor |
US4742552A (en) | 1983-09-27 | 1988-05-03 | The Boeing Company | Vector image processing system |
JPS6432379A (en) | 1987-07-29 | 1989-02-02 | Hitachi Ltd | Computer |
US5253308A (en) | 1989-06-21 | 1993-10-12 | Amber Engineering, Inc. | Massively parallel digital image data processor using pixel-mapped input/output and relative indexed addressing |
JP2609196B2 (ja) | 1993-03-22 | 1997-05-14 | 株式会社エイ・ティ・アール自動翻訳電話研究所 | 類似度計算装置 |
US6134541A (en) | 1997-10-31 | 2000-10-17 | International Business Machines Corporation | Searching multidimensional indexes using associated clustering and dimension reduction information |
US6285995B1 (en) | 1998-06-22 | 2001-09-04 | U.S. Philips Corporation | Image retrieval system using a query image |
US6728752B1 (en) | 1999-01-26 | 2004-04-27 | Xerox Corporation | System and method for information browsing using multi-modal features |
EP1089198A3 (en) | 1999-09-30 | 2003-03-12 | Hewlett-Packard Company, A Delaware Corporation | Content-based image searching |
GB2382886B (en) | 2001-10-31 | 2006-03-15 | Alphamosaic Ltd | Vector processing system |
JP2005234994A (ja) * | 2004-02-20 | 2005-09-02 | Fujitsu Ltd | 類似度判定プログラム、マルチメディアデータ検索プログラム、類似度判定方法、および類似度判定装置 |
JPWO2006033257A1 (ja) * | 2004-09-24 | 2008-05-15 | 松下電器産業株式会社 | 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム |
US20070244925A1 (en) | 2006-04-12 | 2007-10-18 | Jean-Francois Albouze | Intelligent image searching |
JP5098559B2 (ja) | 2007-10-11 | 2012-12-12 | 富士ゼロックス株式会社 | 類似画像検索装置、及び類似画像検索プログラム |
EP2211275B1 (en) | 2007-11-06 | 2018-04-04 | National University Corporation Hokkaido University | Similar image retrieving device |
US8195689B2 (en) | 2009-06-10 | 2012-06-05 | Zeitera, Llc | Media fingerprinting and identification system |
US8144947B2 (en) | 2008-06-27 | 2012-03-27 | Palo Alto Research Center Incorporated | System and method for finding a picture image in an image collection using localized two-dimensional visual fingerprints |
US8254697B2 (en) * | 2009-02-02 | 2012-08-28 | Microsoft Corporation | Scalable near duplicate image search with geometric constraints |
JP2010250637A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索システム、画像検索方法および画像管理方法 |
US8429173B1 (en) | 2009-04-20 | 2013-04-23 | Google Inc. | Method, system, and computer readable medium for identifying result images based on an image query |
EP2469468A4 (en) * | 2009-08-18 | 2014-12-03 | Univ Osaka Prefect Public Corp | OBJECT DETECTION METHOD |
JP5458815B2 (ja) | 2009-11-11 | 2014-04-02 | 株式会社デンソーアイティーラボラトリ | マルチメディア検索システム |
JP5337673B2 (ja) | 2009-11-13 | 2013-11-06 | 株式会社日立製作所 | 画像検索システム |
JP5385105B2 (ja) | 2009-11-25 | 2014-01-08 | Kddi株式会社 | 画像検索方法およびシステム |
CN102687140B (zh) * | 2009-12-30 | 2016-03-16 | 诺基亚技术有限公司 | 用于有助于基于内容的图像检索的方法和装置 |
JP2012033022A (ja) | 2010-07-30 | 2012-02-16 | Panasonic Corp | 空間における変化領域検出装置及び方法 |
US9043316B1 (en) * | 2011-03-28 | 2015-05-26 | Google Inc. | Visual content retrieval |
-
2012
- 2012-03-29 JP JP2012078343A patent/JP5577371B2/ja active Active
-
2013
- 2013-03-29 CN CN201380018098.7A patent/CN104221015B/zh active Active
- 2013-03-29 ES ES13769777.7T patent/ES2665504T3/es active Active
- 2013-03-29 WO PCT/JP2013/059546 patent/WO2013147166A1/ja active Application Filing
- 2013-03-29 EP EP13769777.7A patent/EP2833275B1/en active Active
- 2013-03-29 US US14/388,815 patent/US9940366B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2833275B1 (en) | 2018-01-10 |
US9940366B2 (en) | 2018-04-10 |
EP2833275A4 (en) | 2015-04-29 |
CN104221015B (zh) | 2018-03-20 |
US20150066957A1 (en) | 2015-03-05 |
ES2665504T3 (es) | 2018-04-26 |
JP2013206436A (ja) | 2013-10-07 |
CN104221015A (zh) | 2014-12-17 |
EP2833275A1 (en) | 2015-02-04 |
WO2013147166A1 (ja) | 2013-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5577372B2 (ja) | 画像検索装置、画像検索方法、プログラムおよびコンピュータ読取り可能な記憶媒体 | |
JP5577371B2 (ja) | 画像検索装置、画像検索方法およびプログラム | |
JP4976578B1 (ja) | 画像検索装置およびプログラム | |
US11263259B2 (en) | Compositing aware digital image search | |
CN107256262B (zh) | 一种基于物体检测的图像检索方法 | |
US8943091B2 (en) | System, method, and computer program product for performing a string search | |
CN104834693A (zh) | 基于深度搜索的视觉图像检索方法及*** | |
CN113449187A (zh) | 基于双画像的产品推荐方法、装置、设备及存储介质 | |
Pedronette et al. | Exploiting contextual spaces for image re-ranking and rank aggregation | |
CN103440262A (zh) | 基于相关反馈和Bag-of-Features的图像检索***及方法 | |
Mikulík et al. | Efficient image detail mining | |
CN110633379B (zh) | 一种基于gpu并行运算的以图搜图***及方法 | |
US20160283520A1 (en) | Search device, search method, and computer program product | |
US20230419015A1 (en) | Font recommendation, topic extraction, and training data generation | |
Zhao et al. | Scalable Top-Spatial Image Search on Road Networks | |
CN112925837B (zh) | 文本结构化方法及装置 | |
US11947896B2 (en) | Font recommendation | |
KR101407555B1 (ko) | 전자책 시스템과 전자책 데이터 생성, 검색 장치 및 그 방법 | |
Dong et al. | High-performance image retrieval based on bitrate allocation | |
Wang et al. | Image retrieval using multiple orders of geometry-preserving visual phrases | |
Li et al. | Saliency-GD: A TF-IDF analogy for landmark image mining | |
Hanbury et al. | User-Centred Image Retrieval Model | |
Ji | Image Retrieval Method Using Top-surf Descriptor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131210 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20131210 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140707 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5577371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |