JP6091217B2 - 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム - Google Patents

画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム Download PDF

Info

Publication number
JP6091217B2
JP6091217B2 JP2013001080A JP2013001080A JP6091217B2 JP 6091217 B2 JP6091217 B2 JP 6091217B2 JP 2013001080 A JP2013001080 A JP 2013001080A JP 2013001080 A JP2013001080 A JP 2013001080A JP 6091217 B2 JP6091217 B2 JP 6091217B2
Authority
JP
Japan
Prior art keywords
image
feature
search
features
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013001080A
Other languages
English (en)
Other versions
JP2014134858A5 (ja
JP2014134858A (ja
Inventor
椎山 弘隆
弘隆 椎山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013001080A priority Critical patent/JP6091217B2/ja
Priority to US14/148,300 priority patent/US20140193077A1/en
Publication of JP2014134858A publication Critical patent/JP2014134858A/ja
Publication of JP2014134858A5 publication Critical patent/JP2014134858A5/ja
Application granted granted Critical
Publication of JP6091217B2 publication Critical patent/JP6091217B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は画像の特徴量の抽出技術、特に、類似画像の比較のために利用する局所特徴に係る技術に関するものである。
画像の局所的な特徴量(局所特徴量)を用いて類似画像を検索する方法が提案されている。この方法では、まず、画像から特徴的な点(局所特徴点)を抽出する(非特許文献1)。また、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴量(局所特徴量)を計算する技術も知られている(非特許文献2)。画像の検索は、局所特徴量同士のマッチングによって行う。
局所特徴量を利用する手法においては、局所特徴量を回転不変・拡大・縮小不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、検索を可能にする。局所特徴量は一般的にベクトルとして表現される。ただし、局所特徴量が回転不変、拡大・縮小不変であることは理論上の話である。実際のデジタル画像においては、画像の回転や拡大・縮小処理を行う際に計算誤差が発生するため、これらの処理前の局所特徴量と処理後の対応する局所特徴量との間に若干の変動が生じる。
回転不変の局所特徴量抽出のために、たとえば非特許文献2では、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴量算出時に主方向を基準に局所領域を回転させて方向の正規化を行う。また、拡大・縮小不変の局所特徴量を算出するために、異なるスケールの画像を内部で生成し、各スケールの画像からそれぞれ局所特徴点の抽出と局所特徴量の算出を行う。ここで、内部で生成した一連の異なるスケールの画像集合は一般的にスケールスペースと呼ばれる。
特許文献1では、画像データから特徴点を抽出するための画像特徴点抽出方法において、画像を変動させて複数枚の画像データを取得し、安定した特徴点に絞り込んでいる。また、特許文献2では、局所特徴点の再現性を評価し、再現性の高いものから記述し局所特徴量の個数を制御する。
特開2011−43969号 特願2011−237962号
C.Harris and M.J. Stephens,"A combined corner and edge detector," In Alvey Vision Conference,pages 147−152, 1988. David G. Lowe, "Distinctive Image Features from Scale−Invariant Keypoints," International Journal of Computer Vision, 60, 2 (2004), pp.91−110.
局所特徴量を用いた画像検索では、1枚の画像から複数の局所特徴点を抽出し、それぞれの局所特徴点から算出した局所特徴量同士の比較を行うことによりマッチングを行う。クエリ画像から多くの局所特徴点が抽出されると、局所特徴量同士の比較回数が増大し検索速度が低下するため、局所特徴点の数は多くなり過ぎないことと、クエリ画像に特有の希少性の高い(判別性能の高い)特徴を持つ特徴点が含まれていることが望ましい。
また、撮影機能と通信機能を備えた携帯電話、スマートフォン、デジタルカメラ等の携帯デバイスが増えており、それらの携帯デバイスで撮影した画像をクエリとし、PC/サーバで検索し、検索結果を携帯デバイスで表示するという用途も考えられてきている。その実現方法として、携帯デバイス内で局所特徴量を算出し、その局所特徴量をPC/サーバに送信する方法がある。その場合、携帯デバイス内で算出された局所特徴量が多いと、PC/サーバへの送信に時間を要し、検索結果表示までの時間が長くかかることがあるため、局所特徴点の数は多くなり過ぎないことが望ましい。また、携帯デバイス、PC/サーバ、通信回線などの制限により、局所特徴量のサイズに上限がある場合もある。
これらのことから、抽出された局所特徴点をすべて利用するのではなく、特許文献1や特許文献2のように、一部の局所特徴点のみを利用することが考えられている。しかしながら、これらの方法は、クエリ画像から抽出された局所特徴点の中から安定して抽出される局所特徴点を絞り込む方法である。例えば、ある場所から撮影し得る複数のランドマークが存在する場合で、そのうちの1つをクエリ画像として検索する場合を考える。
その場合、それらのランドマークに共通して安定して抽出される局所特徴点から算出される局所特徴量が存在する場合、互いのランドマークを区別する事には役に立たない特徴量になってしまい、高い検索精度を得ることはできない。この様な、1枚の画像で閉じた特徴量の最適化には限界が有る。主に1枚の画像から得られる情報を使って特徴量を絞るだけでは、絞られた結果の特徴量が必ずしも、検索において判別性能の高い特徴量となっているとは限らない。
本発明は上記の課題に鑑みてなされたものであり、他の画像との判別性能が高く、検索に有意な局所特徴点および局所特徴量を得る技術を提供しようとするものである。
本発明の画像検索装置は、画像を入力する入力手段と、前記画像を撮影した際の属性情報を取得する取得手段と、前記画像の画像特徴を抽出する抽出手段と、前記画像と前記属性情報と前記画像特徴を関連付けて記憶する記憶手段と、前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、前記検索元画像の検索のために使用すると選別された検索元画像の画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較手段と、を有する。
本発明によれば、他の画像との判別性能が高く、検索に有意な局所特徴点および局所特徴量を得ることができる。
第1の実施形態における画像検索装置の機能構成例を示すブロック図である。 第1の実施形態において、画像登録処理手順の一例を示すフローチャートである。 第1の実施形態において、縮小画像生成処理の一例を示す図である。 第1の実施形態において、特徴リストの一例を示す図である。 第1の実施形態において、特徴リストと登録画像が関連付けられて登録されたデータベースの一例を示す図である。 第1の実施形態において、差別化画像特徴リストの生成処理手順の一例を示すフローチャートである。 特徴量の共起値を計算する処理フローチャートである。 第1の実施形態において、画像検索処理手順の一例を示すフローチャートある。 第1の実施形態において、第一特徴抽出リストから差別化画像特徴量を優先して第二特徴抽出リストに追記する処理フローを示すフローチャートである。 第1の実施形態において、画像特徴比較処理手順の一例を示すフローチャートである。 第2の実施形態における画像検索システムの機能構成例を示すブロック図である。 第2の実施形態の画像検索システムにおける画像検索処理手順の一例を示すフローチャートである。 第2の実施形態において、差別化画像特徴リストの更新処理の一例を示すフローチャートである。 第2の実施形態において、差別化画像特徴リストの更新設定のためのユーザインタフェースの一例である。 差別化画像特徴リストの一例 画像属性データの一例
(第1の実施形態)
以下、本発明の第1の実施形態について、図面を参照しながら説明する。第1の実施形態は、検索クエリ画像から画像特徴抽出を行い、その画像特徴群を使って検索を行い、検索結果を表示する画像検索システムの例である。
図1は、本実施形態における画像検索装置の機能構成例を示すブロック図である。図1に示す各構成における動作の詳細については、後述する。
図1において、画像入力部101は、登録画像およびクエリ画像(検索元画像)の入力を行う。画像特徴算出部102は、画像入力部101から入力された登録画像およびクエリ画像の画像特徴群を算出する。
差別化画像特徴リスト生成部103は、例えばGPSによる位置情報や、それに加え時間情報、季節などの属性情報に合致した被写体オブジェクト群の画像を予め用意する。そしてそれらの画像に対し、被写体オブジェクト単位での画像特徴の共起性を求める。そして、共起性の低い画像特徴から順に採用する事により、同じ属性情報に対応する画像間で判別性能が高い差別化画像特徴リスト生成を行う。
画像特徴選別部104は、差別化画像特徴リストに有る判別性能が高い画像特徴群を参照し、クエリ画像の画像特徴群のうち差別化画像特徴リストに有る画像特徴群を画像特徴比較部105の処理に優先的に使用するように画像特徴群を選別する。
画像特徴比較部105は、画像特徴選別部104で選別されたクエリ画像の画像特徴群を用いて画像特徴比較を行う。画像特徴比較結果表示部106は、画像特徴比較部105の画像特徴比較結果を表示する。記憶部107は処理中のデータを記憶する他、画像特徴記憶にも用いるメモリ・HDD等である。
なお、これら各構成は、不図示のCPUにより統括的に制御されている。
尚、CPUはプログラムを実行することで各種の手段として機能することが可能である。なお、CPUと協調して動作するASICなどの制御回路がこれらの手段として機能してもよい。また、CPUと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、CPUは単一のものである必要はなく、複数であってもよい。この場合、複数のCPUは分散して処理を実行することが可能である。また、複数のCPUは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、CPUがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。
[画像登録処理]
図2は、第1の実施形態の画像検索装置における画像登録処理手順の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
まず、ステップS201において、画像入力部101を介して登録画像が入力される。入力された画像は、記憶部107に保存される。
次に、画像特徴算出部102において、ステップS202からステップS207の処理が行われる。まずステップS202で、入力された登録画像から輝度成分を抽出し、抽出した輝度成分に基づいて輝度成分画像を生成する。
次にステップS203で、輝度成分画像を倍率(縮小率)pに従って順次縮小することを繰り返し、オリジナルのサイズの画像から段階的に縮小した、オリジナルの画像を含めてn枚の縮小画像を生成する。ここで、倍率p及び縮小画像の枚数nは予め決められているものとする。
図3は、縮小画像生成処理の一例を示す図である。図3に示す例は、倍率pが「2の−(1/4)乗」、縮小画像の枚数nが「9」の場合である。もちろん、倍率pは必ずしも「2の−(1/4)乗」で無くとも良い。図3において、符号301はステップS202で生成された輝度成分画像である。符号302は当該輝度成分画像301から倍率pに従って再帰的に4回の縮小処理を行って得られた縮小画像である。そして、符号303は当該輝度成分画像301から倍率pに従って8回縮小された縮小画像である。
この例では、縮小画像302は輝度成分画像301が1/2に縮小された画像となり、縮小画像303は輝度成分画像301が1/4に縮小された画像となる。尚、画像を縮小する方法は、第1の実施形態では、線形補間による縮小方法により縮小画像を生成するものとする。画像の縮小をその他の方法で行っても良い。
次に、ステップS204では、n枚の縮小画像の各々に画像の回転があってもロバスト(robust)に抽出されるような局所的な特徴点(局所特徴点)を抽出する。この局所特徴点の抽出方法として、第1の実施形態ではHarris作用素を用いる(非特許文献1:C.Harris and M.J. Stephens, “A combined corner and edge detector,” In Alvey Vision Conference, pages 147−152, 1988.参照)。
具体的には、Harris作用素を作用させて得られた出力画像H上の画素について、当該画素及び当該画素の8近傍にある画素(合計9画素)の画素値を調べる。そして、当該画素が局所極大になる(当該9画素の中で当該画素の画素値が最大になる)点を局所特徴点として抽出する。ここで、当該画素が局所極大になったときでも、当該画素の値がしきい値以下の場合には局所特徴点として抽出しないようにする。
尚、局所特徴点を抽出可能な方法であれば、上述のHarris作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも適用可能である。
次に、ステップS205で、ステップS204で抽出された局所特徴点の各々について、画像の回転があっても不変となるように定義された特徴量(局所特徴量)を算出する。この局所特徴量の算出方法として、第1の実施形態ではLocal Jet及びそれらの導関数の組み合わせを用いる(J.J.Koenderink and A.J.van Doorn, “Representation of local geometry in the visual system,” Riological Cybernetics, vol.55, pp.367−375, 1987.参照)。
具体的には、以下の式(1)により局所特徴量Vを算出する。
Figure 0006091217
ただし、式(1)の右辺で用いている記号は、以下に示す式(2)から式(7)で定義される。ここで、式(2)右辺のG(x,y)はガウス関数、I(x,y)は画像の座標(x,y)における画素値であり、“*”は畳み込み演算を表す記号である。また、式(3)は式(2)で定義された変数Lのxに関する偏導関数、式(4)は当該変数Lのyに関する偏導関数である。式(5)は式(3)で定義された変数Lxのyに関する偏導関数、式(6)は式(3)で定義された変数Lxのxに関する偏導関数、式(7)は式(4)で定義されたLyのyに関する偏導関数である。
Figure 0006091217
尚、局所特徴量を算出可能な方法であれば、上述したような特徴量算出方法に限らず、どのような特徴量算出方法でも適用可能である。
次に、ステップS206で、ステップS205で算出された局所特徴量の各々について、量子化を行い、ラベル値を付与する。第一の実施形態で使用している局所特徴量、すなわち、Local Jetおよびそれらの導関数の組み合わせにより、1つの局所特徴点からN次元の局所特徴量が算出される。ここでは、各次元について、K個に量子化を行う。ここで、NおよびKはあらかじめ決められているものとする。
具体的には以下の式(8)により、量子化を行う。
Qn=(Vn*K)/(Vnmax−Vnmin+1) ・・・(8)
ここで、Qnは、N次元のうちのn番目の次元の特徴量Vnを量子化した値である。VnmaxとVnminはそれぞれn番目の次元の特徴量の取りうる値の最大値、および、最小値である。
各次元についての量子化を行った後、以下の式(9)により、ラベル化を行う。
Figure 0006091217
尚、量子化、ラベル化可能な算出方法であれば、上述したような算出方法に限らずに、どのような量子化、ラベル化方法でも適用可能である。
次に、ステップS207では、それらの特徴量、および、量子化ラベルを、画像特徴リストとしてまとめる。図4は、画像特徴リストの一例である。量子化ラベルをキーとしてリストを生成する。1つの量子化ラベルに複数の画像特徴リストが関連付けられることもある。
尚、第一の実施形態では、特徴量、および、量子化ラベルを、画像特徴リストとしてまとめているが、量子化ラベルのみを画像特徴リストとしてまとめることも可能である。また、特徴点の座標などのその他の情報を画像特徴リストに含めることも可能である。
最後に、ステップS208で、画像特徴リストを登録画像と関連付けて記憶部107に登録する。図5は、画像特徴リストが登録画像と関連付けて登録されたデータベースの一例である。量子化ラベルをキーとしてデータベースに登録する。また、登録画像には画像IDを割り振り、そのIDをデータベースに登録する。同じ画像を複数回登録した場合、類似する画像を登録した場合など、1つの量子化ラベルに複数の画像IDが関連付けられることもある。また、使用されない量子化ラベルが存在することもある。
[差別化画像特徴リスト生成処理]
図6は、画像検索装置の差別化画像特徴リスト生成部103における差別化画像特徴リスト生成処理手順の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
差別化画像特徴リストとは、例えばGPSによる位置情報や、それに加え時間情報、季節などの前記属性情報に対応する被写体オブジェクト単位で画像特徴の共起性を求め、共起性の低さをもとにまとめた、判別性能が高く差別化が可能な画像特徴リストである。ステップS207で作成した画像特徴リストに載っている画族特徴群の部分リストである。共起値の低い画像特徴を順にソートしておき、閾値以下の共起値の部分を差別化画像特徴リストとしてもよい。
差別化画像特徴リスト生成部103は、それぞれの属性情報に対応する被写体オブジェクト群の画像を予め用意し、被写体オブジェクト単位での画像特徴の共起性を画像特徴の記憶情報を参照して求める。そして、共起性の低い画像特徴から順に採用する事により、同じ属性情報に対応する画像間で判別性能が高い画像特徴リストを生成する。
画像特徴選別部104は、差別化画像特徴リストに有る画像特徴群を参照し、クエリ画像の画像特徴群から差別化画像特徴リストに載っている判別性能が高い画像特徴群を選別する。
本実施形態では、撮影環境の情報取得にGPSを用いる例を示す。位置の属性情報を用いている。またこの例では差別化画像特徴リストを生成する対象をランドマークとする。ランドマークが存在する位置のGPS情報とそのランドマーク画像を対にした知識ベースを構築しておく。
まず、ステップS601において、知識ベースを用いて、クエリ画像のGPS情報に基づき近傍のランドマーク群を推定する。 そして、ステップS602において、近傍のランドマーク群の画像特徴群を得る。ステップS603において、差別化画像特徴を生成する対象である被写体オブジェクトとしてのランドマークの単位で特徴の共起値を算出する。
図7は、ステップS603の共起値を算出するための処理手順の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
ステップS701にて差別化画像特徴を生成する際の基準となるGPS情報を得る。
このGPS情報は、予め有名なランドマークのあるGPS情報のリストを得て置き、そのそれぞれのGPS情報に対して、図7の処理を行う事で、数多くのランドマークに対応することが可能である。もちろん、GPS情報を適切なインターバルで自動生成しても良い。
ステップS702にて基準となるGPS値の近傍のランドマークを得てその個数をM個とする。予めランドマークとGPS値と画像データと画像特徴群を対応付けた知識ベースを準備しておき、基準となるGPS値との距離が予め定めた値以内のランドマークを求めれば良い。GPS情報は高さ情報も含むが、その項は含んでいても含まなくとも構わない。
ステップS703にてM個のランドマーク画像に対応する画像特徴の個数等の下記の値を上記知識データからメモリへ読み込む。
・各ランドマークiに対応する画像の個数をNumP(i) i=1,…,M
・ランドマークiに対応する画像を Pic[i] [j] j=1,…, NumP(i)
・各画像の特徴の個数をnumFeat[ Pic[i] [j] ]
・各画像のk番目の特徴をFeat[ Pic[i] [j] ] [k] k=1,…, numFeat[ Pic[i] [j] ]
また、i= 1 とし、特徴毎の共起値CO[]=0 で初期化する。
尚、共起値COの配列部[]には、特徴量の量子化ラベルの値が入る。
ステップS704にて比較基準と成る画像を現すカウンタがM以下であるか、即ち比較基準となるランドマーク画像の残りがあるかどうかを判断し、無いと判断すれば処理を終了する。
ステップS704からステップS713の処理は、比較基準のランドマークをM個まで切り替えながら、ランドマークに対する画像群を切り替え、更に画像の特徴量の参照をするための Feat[ Pic[i] [j] ] [k] を生成する。
ランドマークに対応する画像全ての特徴量を基準に、その他の画像がどの位同じ特徴量をランドマーク単位で含んでいるかを求める処理で有る。
尚、特徴量は全て量子化を行い、量子化ラベルで扱う。(この実施形態では、特徴量の同一性ではなく、量子化ラベルの同一性で共起性を求める)
ステップS705にて、ランドマークiに対応する画像群の何番目の画像であるかを示すjを1に初期化する。
ステップS706にてjがランドマークiに対応する画像群の個数を超えていないか判断し、超えていればステップS707にて、次のランドマーク画像にiを1つ増して変更させ、ステップS704に戻る。
ステップS706にてjがランドマークiに対応する画像群の個数を超えていないと判断したら、ステップS709にて特徴量を参照するためのカウンタkを1に初期化する。
ステップS709ではkがランドマークiの関連するj番目画像の特徴量個数を超えていないか判断する。そして、超えていなければステップS711の比較先のランドマーク画像を表すi2を1に初期化し、ステップS712以降のステップS721までの参照比較先の特徴量Feat[ Pic[i2] [j2] ] [k2] を参照するための処理に移る。
ステップS709ではkがランドマークiの関連するj番目画像の特徴量個数を超えたと判断した場合にはステップS710にて関連する画像を表すjを1つ増加させ、再びステップS706に戻る。
ステップS712では、比較するランドマークを表すi2がランドマーク数Mを超えていないか判断する。
超えている場合には、ステップS713にてkを1つ増加させ基準となるランドマークの特徴量を更新する処理に戻る。
もし、ランドマークiの画像特徴群を全て比較し終えた場合には、ステップS713、709、710、706を経てステップS707にて次のランドマークを比較基準に更新する事に成る。
ステップS712からステップS724の処理は、比較先となるランドマークをM個まで切り替えながら、ランドマークに対する画像群を切り替え、更に画像の特徴量の参照用の Feat[ Pic[i2] [j2] ] [k2] を生成する。そして参照する特徴量をステップS722で比較処理を行う。
ランドマークに対応する画像全ての特徴量を基準に、その他の画像がどの位同じ特徴量をランドマーク単位で含んでいるかを求める処理で有る。
ステップS714にて、ランドマークi2に対応する画像群の何番目の画像であるかを示すj2を1に初期化し、更にi2にて既にどれかi2に関連する画像で共起値がインクリメントされているかどうかを表すFlagを0(未インクリメント)に初期化する。
ステップS715にてj2がランドマークi2に対応する画像群の個数を超えていないか判断し、超えていればステップS716にてFlagが1に成っているかどうかを判断し、1になっていれば特徴量量子化値に対応する共起値を1つ増加させる。
そして、ステップS718にて次のランドマーク画像にiを1つ増して変更させ、ステップS712に戻る。
ステップS715にてj2がランドマークi2に対応する画像群の個数を超えていないと判断したら、ステップS719にて特徴量を参照するためのカウンタk2を1に初期化する。
ステップS720ではk2がランドマークi2の関連するj2番目画像の特徴量個数を超えていないか判断する。そして、超えていなければステップS722で特徴量 Feat[ Pic[i] [j] ] [k] と Feat[ Pic[i2] [j2] ] [k2] が同じで有るか判断する。同じで有ればステップS723にてFlagを1にし既に同じ特徴が有ったとする。ステップS722で同じ特徴でないと判断した場合には、ステップS724にてk2を1つ増加させステップS720へ戻る。
もし、ランドマークi2の画像特徴群を全て比較し終えた場合には、ステップS724、1620を経て1621にて次のランドマークを比較基準に更新する事に成る。
これにより、共起値col[]には、[]で示される特徴量量子化値に対する共起値が0からM*Mの値で格納される。
更に、col[]をM*Mで割り、0から1.0までの値に正規化する。
0は特徴量が現われない事を意味するので、0より大きい共起値を小さい物からソートし、共起値に対応する特徴量量子化値も合わせてソートする。この特徴量量子化値をソートした結果が差別化画像特徴を生成する情報源となる。
この共起値が大きい場合、極端な場合で1.0の場合には、どのランドマークにも必ず共通に存在する特徴であり、ランドマークを弁別するのには役に立ちにくい事を表す。逆に、共起値が小さい場合にはランドマークを弁別するのに役立つ事を意味する。本実施形態では、差別化画像特徴として共起値の小さい特徴を積極的に採用する。
そこで、ステップS604において、共起値の低い順、即ち昇順で量子化ラベルをソートする。
ステップS605において、閾値未満の共起値の特徴(量子化ラベル)のリストを作成し、ステップS606において、差別化画像特徴リストとして出力・蓄積する。判別性能があると判断できる共起値を閾値に設定している。
図15は、差別化画像特徴リストの一例である。
もちろん、ステップS605の処理で閾値を使わずに、共起値の小さいものから所定個数を選ぶとしても良い。もちろん、基準となるGPS情報の周辺に多くのランドマークが存在する場合には、少なくともそのランドマークの数以上の個数を用いる事が好ましい。更に、そのランドマークの数から所定個数を変更、例えば有る数を乗じた数とする事も可能である。
差別化画像特徴リスト生成のタイミングとしては、電源がONや撮影モードや画像検索モードになった場合に現在のGPS情報を用いて、オンディマンド生成を行っても良い。
もちろん、予め複数の差別化画像特徴リストを生成しておき、GPS情報に合わせて差別化画像特徴リストを選択する方法もある。撮影位置のGPS情報を、カメラで有る程度の大きさに映る限界を考慮し100m四方の区画で適切に量子化しておき、その量子化単位で差別化画像特徴リストを生成しておく事で可能である。
更に、差別化画像特徴リストの精度を高め、且つ個々の差別化画像特徴リストのサイズを小さくする方法がある。各ランドマークに対し、撮影される方向ごとに画像を用意しておく。撮影位置のGPS情報と近傍の各ランドマークの位置のGPS情報から、撮影される方角を得て、共起値を算出する画像を切り替える。これにより、撮影位置から写り得るランドマークの構図に即した差別化画像特徴リストを生成可能となる。撮影される可能性の有るランドマークの数も減る事から、個々の差別化画像特徴リストのサイズを小さくする事が可能である。
但し、もし、ランドマークが存在する位置のGPS情報とそのランドマーク画像を用意出来ない場合には、GPS情報とコンパスによる撮影方位情報の組み合わせを代用する。即ち、そのGPS近傍から、全方位360度を例えば45度単位、即ち8方向の撮影画像に分類し、これら分類に対して特徴の共起値を求めても構わない。
ステップS603において、ランドマークの単位で特徴の共起値を算出したが、簡易に行う場合には、ランドマーク単位ではなく、ランドマークを含む画像全体での共起値を代用しても良い。但し、この場合は、精度が下がる可能性が有る。
また、人にランドマークの画像を提示し、ランドマークの特色のある領域を指定させ、他方、画像特徴抽出処理により特徴点を検出し、人の指定した領域に存在する特徴点のみを用いて図6の処理を行う事でより精度の高い差別化画像特徴量リストを生成可能である。更に、その差別化画像特徴リストに対応する特徴点とその共起値を可視化表示し、人が選別を行う事で、よりコンパクトで人の感覚に近い差別化画像特徴リストを作成する事が可能となる。人が見てランドマークの特色を現す部分に関連する特徴点から算出される画像特徴群と関連付けられている画像の記憶数あるいは画像特徴群の共起値を表示しそれを考慮して差別化画像特徴リストを生成しても良い。
[画像検索処理]
図8は、第1の実施形態の画像検索装置における画像検索処理手順の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
まず、ステップS801において、画像入力部101を介してクエリ(検索元)画像が入力される。入力された画像は、記憶部107に保存される。
次に、画像特徴算出部102において、ステップS802からステップS807の処理が行われる。本処理は、画像登録処理におけるステップS202からステップS207の処理と同等であるため、詳細の説明は省略する。
但し、画像特徴抽出リストに関しては、2種類の画像特徴抽出リストを使用する。クエリ画像から抽出した特徴をそのまま記憶する第一特徴抽出リストと、差別化画像特徴リストと一致する画像特徴を画像特徴比較部105による比較処理に優先して使用するように反映した特徴を記憶する第二特徴抽出リストである。
即ち、画像登録処理における画像特徴抽出リストは、画像検索処理における第一特徴抽出リストに相当する。第二特徴抽出リストは最終的な検索比較処理に用いる特徴を記憶するために使用する。
次に、ステップS808において、抽出されたクエリ画像の特徴数が、検索時に使用可能な特徴の最大数よりも多い場合、ステップS809に進み、最大数以下の場合は、ステップS814に進む。
最大数以下としたのは検索に用いる画像特徴の数の上限を制御し検索処理時間のばらつきを少なくすためである。もちろん最大数以下の場合でもステップS809に進んでも良好な結果が得られる場合も有るが、そもそもクエリ画像から取得される特徴自体が非常に少ない場合には特徴数が減りすぎないような注意が必要である。
尚、第1の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。
ステップS809では、差別化画像特徴リストに載っている量子化ラベルと同じ量子化ラベルを第二特徴抽出リストに追記する。第一特徴抽出リストから、差別化画像特徴リストに載っていない量子化ラベルを削除して判別性能の高い画像特徴を第一特徴抽出リストに残すように処理しても良い。その他、第一特徴抽出リストに、差別化画像特徴リストに載っている量子化ラベルかどうか識別子を追記しても良い。
ここで、図9は、ステップS809における差別化画像特徴リストに載っている量子化ラベルと同じ量子化ラベルを第二特徴抽出リストに追記する処理の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。本処理は、画像特徴選別部104による処理である。
まず、ステップS901において、差別化画像特徴リストの1番目の量子化ラベルを処理対象量子化ラベルに設定する。次に、ステップS902において、処理対象量子化ラベルがクエリ画像の画像特徴リストに存在する場合はステップS903に進み、存在しない場合はステップS905に進む。
ステップS903では、処理対象量子化ラベルを第二特徴抽出リストに追記する。そして、ステップS904において、クエリ画像の特徴数が、検索時に使用可能な特徴の最大数以下の場合にステップS905に進み、最大数になった場合は処理を終了する。
尚、第1の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、ステップS808と同様に、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。
ステップS905では、差別化画像特徴リストに未処理の量子化ラベルが存在する場合はステップS906に進み、存在しない場合は、処理を終了する。
ステップS906では、差別化画像特徴リストの次の量子化ラベルを処理対象量子化ラベルに設定し、ステップS902に戻る。
ステップS809の処理終了後、ステップS810において、第二特徴抽出リストの特徴数が検索時に使用可能な特徴の最小数よりも少ない場合、ステップS811に進み、最小数より多い場合は、ステップS812に進む。
特徴点ベースの画像検索において、図10の様な投票方式のマッチングおいては少なくとも10点ぐらいの特徴点がランドマークの領域にないと情報が不足する事が経験上判っている。そこで、差別化画像特徴リストにより最小数未満となる場合には、ステップS811により画像特徴を補充する。
尚、第1の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、ステップS808と同様に、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。
ステップS811では、クエリ画像の第一特徴抽出リストのうち、まだ第二特徴抽出リストに入れていない特徴量の安定性を評価する。そして、安定度の高い特徴量を第二特徴抽出リストに追加することにより、クエリ画像の特徴点数を検索時に使用可能な特徴の最大数を超えない数まで補充する。もちろん、第二特徴抽出リストの画像特徴数が最小数を満たさない場合には、その他の画像特徴を用いる。クエリ画像の特徴量の安定性を利用した特徴点数の選別方法については、特許文献2による方法を用いることで可能となる。
すなわち、解析対象の画像を回転或いは縮小する等の画像処理を行う事による、特徴点の位置および特徴量の特徴間距離を求め、これを安定性の指標とする。特徴点の位置の変動が大きいと明らかに特徴量は変化してしまうため、まず、特徴点の位置が定められた閾値範囲内に収まる特徴点に絞る。そして、回転或いは縮小する等の画像処理の前後での特徴量の変化、即ち特徴量間距離を安定性の指標とする。そして、距離の小さな特徴点ほど安定性の高いものと見なし、これを距離の昇順でソートし、特徴点数が、検索時に使用可能な特徴点数に達するまで、安定度の高い特徴量から優先してクエリ画像の画像特徴リストを作成する。
ステップS812では、第二特徴抽出リストの特徴数が検索時に使用可能な特徴の最大数よりも多い場合にステップS813に進み、最大以下の場合は、ステップS815に進む。
ステップS813では、差別化画像特徴のみからなる第二特徴抽出リストの特徴から、共起値の小さいものから優先して画像特徴比較部105による比較処理で使用可能な最大数までの特徴を選択し、改めて第二特徴抽出リストに格納する。もちろん、性能は低くなるが、ランダムに画像特徴比較部105による比較処理で使用可能な最大数までの特徴を選択しても良い。
ステップS814では、第一特徴抽出リストの特徴数が最大数に足りていないので、全特徴を採用し、第二特徴抽出リストへ全てコピーする。
ステップS815では、記憶部107から画像特徴群を読み込み、画像特徴比較処理を行う。図10は、ステップS815における画像特徴比較処理の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
まず、ステップS1001において、登録画像数分の投票箱を用意し、0でリセットする。次に、ステップS1002において、第二特徴抽出リストの1番目の量子化ラベルを処理対象量子化ラベルに設定する。
次に、ステップS1003において、処理対象量子化ラベルと関連付けて登録されている画像IDがある場合はステップS1004に進み、存在しない場合はステップS1005に進む。 ステップS1004では、処理対象量子化ラベルと関連付けて登録されている画像IDの投票箱に1票投票する。
ステップS1005では、第二特徴抽出リストに未処理の量子化ラベルが存在する場合はステップS1006に進み、存在しない場合は、ステップS1007に進む。
ステップS1006では、第二特徴抽出リストの次の量子化ラベルを処理対象量子化ラベルに設定し、ステップS1003に戻る。
次に、ステップS1007で投票数の多い順に投票結果をソートし、ステップS1008で投票数の多い方から所定数の画像IDを画像特徴比較結果リストとして出力する。
最後にステップS816で画像特徴比較結果を表示する。画像特徴比較結果の表示にあたっては、画像IDと対応する画像を合わせて表示する。
もし、ランドマークのみを検索する場合には、ランドマークは移動しないのでGPS情報は一意であり、図16の画像属性データを参照し、現在の検索装置のGPS情報から撮影しえる範囲のGPS情報を持つ画像に絞り込む処理をステップS1008で行うと良い。もちろん、ランドマークの様に移動せず、一意のGPS情報と対応づけられるものであれば、同様な処理が可能である。
以上のように第1の実施形態では、検索クエリ画像から抽出した画像特徴群からGPS情報を用いたランドマーク固有の画像特徴を記述した差別化画像特徴リストの差別化度の高い画像特徴を優先して採用した。検索クエリ画像から抽出した画像特徴群のうち差別化画像特徴リストに無く且つ画像特徴の安定度の低い画像特徴ほど使わないようにした。これにより、判別性能の高い特徴量に絞り込む事が可能となった。し、選別した画像特徴群を使って検索を行うようにした。これにより、検索時に使用可能な特徴点の数に制限がある場合であっても、検索精度の劣化を少なく抑えた検索を行うことができる。
(第2の実施形態)
以下、本発明の第2の実施形態について、図面を参照しながら説明する。第2の実施形態は、画像検索端末である検索クライアント(要求元)で撮影することにより検索クエリ画像を生成して画像特徴群を抽出し、その画像特徴群を画像検索サーバに送って画像検索サーバ内で検索を行い、検索クライアントに検索結果を表示する画像検索システムの例である。画像検索クライアントは、検索元画像を提供する検索元画像提供装置である。画像検索サーバへの画像登録処理は、第1の実施形態と同様の方式により行う。
図11は、本実施形態における画像検索システムの機能構成例を示すブロック図である。図11に示す各構成における動作の詳細については、後述する。
図11における画像検索システムは、検索クライアント1101と画像検索サーバ1102からなる。検索クライアント1101と画像検索サーバ1102にはそれぞれ通信部1112、1120があり、該通信部1112、1120の間はネットワーク(有線、無線)で接続されており、該ネットワークを介して、情報通信を行う。
検索クライアント1101において、画像取得部1103は、カメラ撮影などにより、クエリ(検索元)画像の取得を行う。撮影環境情報送信部1104は、本実施形態ではGPS情報を画像検索サーバ1102へ送信する。
差別化画像特徴リスト受信部1105は、画像検索サーバ1102で生成した差別化可能な画像特徴リストを通信部1112を介して受信する。
例えば、現在の撮影場所から写し得る複数のランドマークが有り、それらのランドマークを区別するのに役立つ特徴量を差別化画像特徴リストで受け取る事を考える。そのために、検索クライアント1001はGPS情報を画像検索サーバ1102へ送信し、GPS情報と対応付けられた差別化画像特徴リストを、通信部1112を介して受信する。差別化画像特徴リストには、例えばGPS情報と日時情報を用い、その場所その季節その時刻で写り得る被写体群を想定し、それらの区別に役立つ差別化画像特徴を記述する事で、検索精度を大きく向上可能である。
画像特徴算出部1106は、画像取得部1103で取得したクエリ画像の画像特徴群を算出する。画像特徴選別部1107は、クエリ画像の画像特徴群から、判別性能が高い画像特徴群を選別する。画像特徴送信部1108は、画像特徴選別部1107で選別された画像特徴群を、通信部1112を介して画像検索サーバ1102に送信する。画像特徴比較結果取得部1109は、画像検索サーバ1102で実行された画像特徴比較結果の受信を、通信部1112を介して行う。画像特徴比較結果表示部1110は、画像特徴比較結果取得部1109で取得した画像特徴比較結果を表示する。記憶部1111は検索クライアントにおいて、処理中のデータを記憶するメモリ・HDD等である。
画像検索サーバ1102において、差別化画像特徴リスト生成部1114は、複数の登録画像から算出された画像特徴群の中から、同じ属性情報に対して出現頻度が低く、同じ撮影環境情報に対応する画像間で判別性能が高い画像特徴リストを生成する。
差別化画像特徴リスト送信部1115は、撮影環境情報受信部1113から得た撮影環境情報に適合する、差別化可能な画像特徴リストの送信を、通信部1120を介して検索クライアント1101に対して行う。画像特徴受信部1116は、検索クライアント1101で算出され、画像特徴選別部1107で優先採用されたクエリ画像の画像特徴群を、通信部1120を介して受信する。画像特徴比較部1117は、画像特徴受信部1116で受信したクエリ画像の画像特徴群を用いて画像特徴比較を行う。画像特徴比較結果送信部1118は、画像特徴比較部1117で実行された画像特徴比較の結果を、通信部1120を介して検索クライアント1101に送信する。記憶部1119は画像検索サーバにおいて、処理中のデータを記憶するメモリ・HDD等である。
尚、画像特徴群選別部1107は画像検索サーバ側にあっても良い。その場合、画像特徴抽出部1106で抽出したクエリ画像の画像特徴群を画像特徴群送信部1108が通信部1112を介して画像検索サーバ1102に送信する。そして、画像検索サーバ1102にある画像特徴群選別部1107は、クエリ画像の画像特徴群から、判別性能が高い画像特徴群を選別する。画像特徴群比較部1117は、画像検索サーバ1102側にある画像特徴群選別部1107で選別された画像特徴群を用いて画像特徴群比較を行う。画像検索処理手順のフローチャートでも、画像特徴群選別部1107が画像検索サーバ1102側にある場合の処理を行うことになる。
なお、これら各構成は、不図示のCPUにより統括的に制御されている。
尚、CPUはプログラムを実行することで各種の手段として機能することが可能である。なお、CPUと協調して動作するASICなどの制御回路がこれらの手段として機能してもよい。また、CPUと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、CPUは単一のものである必要はなく、複数であってもよい。この場合、複数のCPUは分散して処理を実行することが可能である。また、複数のCPUは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、CPUがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。
[差別化画像特徴リスト生成処理]
第2の実施形態の画像検索システムの画像検索サーバの差別化画像特徴リスト生成部1114における差別化画像特徴リスト生成処理は、第1の実施形態の画像検索装置の差別化画像特徴リスト生成部103における差別化画像特徴リスト生成処理と同等である。従って、詳細の説明は省略する。
尚、検索するたびに差別化画像特徴リストを受信する事は処理負荷が増すので、同じGPS情報の場合には検索クライアント1101において差別化画像特徴リストをキャッシュする事が好ましい。
[画像検索処理]
図12は、第2の実施形態の画像検索システムにおける画像検索処理手順の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
まず、ステップS1201では、検索クライアント1101において、カメラ撮影などにより、画像取得部1103を介してクエリ(検索元)画像を取得する。取得した画像は、記憶部1111に保存される。
次に、画像特徴算出部1106において、ステップS1202からステップS1207の処理が行われる。本処理は、第1の実施形態の画像登録処理におけるステップS202からステップS207、もしくは、第1の実施形態の画像検索処理におけるステップS802からステップS807の処理と同等であるため、詳細の説明は省略する。
次に、ステップS1208において、抽出されたクエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合、ステップS1209に進み、最大数以下の場合は、ステップS1213に進む。
尚、第2の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。
ステップS1209では、差別化画像特徴リストの更新処理を行う。
ここで、図13は、差別化画像特徴リストの更新処理の一例を示すステップS1209の詳細なフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
まず、ステップS1301では、検索クライアント1101において、差別化画像特徴リストの更新設定を確認する。この差別化画像特徴リストの更新設定は、検索時に更新するかどうかを設定する。また、検索時に更新する設定の場合は、どのネットワーク接続のときに更新するかを設定する。図14は、差別化画像特徴リストの更新設定のためのユーザインタフェースの一例である。図14のボタン1401では、検索時に更新するかどうかを設定し、ボタン1402では、どのネットワーク接続のときに更新するかを設定する。
ステップS1302において、前回検索時とGPS情報に変更がある場合にはステップS1303に進み、変更がない場合は、現在保持している差別化画像特徴リストをキャッシュとしてそのまま使用するとし、更新処理を終了する。
ステップS1303では、接続中のネットワークの確認を行い、ステップS1304において、更新対象ネットワークである場合はステップS1305に進み、更新対象ネットワークではない場合は、差別化画像特徴リストの更新処理を終了する。
次に、ステップS1305で、差別化画像特徴リスト受信部1105が、通信部1112を介して画像検索サーバ1102から差別化画像特徴リストを取得する。最後に、ステップS1306において、ステップS1305で受信した差別化画像特徴リストを記憶部1111に保存し、差別化画像特徴リストの更新処理を終了する。
ステップS1209の差別化画像特徴リストの更新処理終了後、ステップS1210からステップS1212にかけて、第一特徴抽出リストから安定特徴を優先して第二特徴抽出リストへ補充処理を行う。これらの処理は、第1の実施形態の画像検索処理におけるステップS809からステップS811の処理と同等であるため、詳細の説明は省略する。
次にステップS1213では、クエリ画像から抽出され選別された画像特徴リストを、通信部1112を介して画像検索サーバ1102に送信する。
ステップS1217では、画像検索サーバ1102において画像特徴比較処理を行う。本処理は、第1の実施形態の画像検索処理におけるステップS815の処理と同等であるため、詳細の説明は省略する。ステップS1218では、ステップS1212により得られた画像特徴比較結果を、通信部1120を介して検索クライアント1101に送信する。
最後に、ステップS1219で画像特徴比較結果を表示する。本処理は、第1の実施形態の画像検索処理におけるステップS816の処理と同等である。
以上のように第2の実施形態では、検索クライアントにおいて検索クエリ画像から抽出した画像特徴群のうち、差別化画像特徴を優先して画像検索の比較処理に使用するように選別し、選別した画像特徴群を画像検索サーバに送信し、画像検索サーバで検索を行うようにした。これにより、検索時に使用可能な特徴点の数に制限がある場合であっても、検索精度の劣化を少なく抑えた検索を行うことができる。
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
GPS情報(撮影場所のカテゴリ)と日時を用いる事で、その場所その時期で撮影され得る動植物などを高精度に検索出来る差別化画像特徴リストを生成する事も可能である。また、天候情報や時間情報などで出現の確率がかわる夜行性の昆虫や動物の差別化画像特徴リストを生成する事も可能である。時間情報はもちろん、ローカルタイムで処理する必要がある。
また更に、天気、気温、湿度などにより出現頻度の変わる昆虫や動物の差別化画像特徴リストを生成する事も可能である。
建物でも、天気により開閉するドームなどの可動物がアピアランスを変える場合にも差別化画像特徴は役に立つ。
高山性の動植物などは、GPS情報の撮影高度情報を用いても良いが、気圧をその高度の推定に代用しても良い。
またフラッシュの有無、マクロ撮影などのカメラ撮影モードのダイヤル設定を属性情報とし、良く撮影される被写体間で共起性の低い画像特徴群を求める事で、高精度に検索出来る差別化画像特徴リストを生成する事も可能である。
望遠撮影では、近づくことの困難な鳥類などを撮影すると仮定して、鳥類同士での共起性の低い画像特徴群を求める事で、高精度に検索出来る差別化画像特徴リストを生成する事も可能である。もちろん、撮影被写体の被写体属性そのものを指定するカメラ撮影モードを指定できる場合には、その属性の有る画像から差別化画像特徴リストを生成する事も可能である。
101 画像入力部
102 画像特徴算出部
103 差別化画像特徴リスト生成部
104 画像特徴選別部
105 画像特徴比較部
106 画像特徴比較結果表示部
107 記憶部
1101 検索クライアント
1102 画像検索サーバ
1103 画像取得部
1104 撮影環境情報送信部
1105 差別化画像特徴リスト受信部
1106 画像特徴算出部
1107 画像特徴選別部
1108 画像特徴送信部
1109 画像特徴比較結果取得部
1110 画像特徴比較結果表示部
1111 記憶部
1112 通信部
1113 撮影環境情報受信部
1114 差別化画像特徴リスト生成部
1115 差別化画像特徴リスト送信部
1116 画像特徴受信部
1117 画像特徴比較部
1118 画像特徴比較結果送信部
1119 記憶部
1120 通信部

Claims (20)

  1. 画像を入力する入力手段と、
    前記画像を撮影した際の属性情報を取得する取得手段と、
    前記画像の画像特徴を抽出する抽出手段と、
    前記画像と前記属性情報と前記画像特徴を関連付けて記憶する記憶手段と、
    前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
    前記検索元画像の検索のために使用すると選別された検索元画像の画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較手段と、
    を有することを特徴とする画像検索装置。
  2. 前記属性情報ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記属性情報ごとに生成する生成手段を更に有し、
    前記選別手段は、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち、前記取得手段で取得した前記検索元画像の前記属性情報に対応する前記画像特徴リストに存在する画像特徴に基づいて検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別することを特徴とする請求項1に記載の画像検索装置。
  3. 前記比較手段で使用する前記検索元画像の画像特徴の総サイズ或いは画像特徴の個数が予め定められていることを特徴とする請求項1または2に記載の画像検索装置。
  4. 前記属性情報は、場所および撮影方位に係る情報、時間に係る情報、天候に係る情報、撮影モードに係る情報の少なくとも1つであることを特徴とする請求項1から3のいずれか1項に記載の画像検索装置。
  5. 前記生成手段は、前記属性情報の少なくとも1つが適合した登録画像に対する前記記憶手段に記憶された画像特徴の共起値が閾値よりも小さい或いは共起値が小さい順から定められた個数の画像特徴を画像特徴リストに記述することを特徴とする請求項2に記載の画像検索装置。
  6. 前記生成手段は、前記属性情報の少なくとも1つが適合した登録画像に対する画像特徴と関連付けられて記憶されている画像の共起値が閾値よりも小さい或いは共起値が小さい順から定められた個数の画像特徴を画像特徴リストに記述することを特徴とする請求項2に記載の画像検索装置。
  7. 前記生成手段は、前記属性情報の少なくとも1つが適合した登録画像に対する画像特徴と関連付けられて記憶されている画像の共起値に基づいて、ユーザが選択した画像特徴を画像特徴リストに記述することを特徴とする請求項2に記載の画像検索装置。
  8. 前記生成手段では、前記画像の撮影場所における方向ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記方向ごとに生成することを特徴とする請求項2に記載の画像検索装置。
  9. 前記選別手段では、前記検索元画像の画像特徴から前記画像特徴リストと一致する画像特徴を抽出することにより、画像特徴を選別することを特徴とする請求項2に記載の画像検索装置。
  10. 前記選別手段では、前記検索元画像の画像特徴から前記画像特徴リストに存在しない画像特徴を削除することにより画像特徴を選別することを特徴とする請求項2に記載の画像検索装置。
  11. 前記選別手段では、前記画像特徴リストと一致する画像特徴を前記検索元画像の画像特徴において識別することにより選別することを特徴とする請求項2に記載の画像検索装置。
  12. 前記場所および撮影方位に係る情報は、GPS情報、方位情報、撮影高度情報の少なくとも1つであることを特徴とする請求項4に記載の画像検索装置。
  13. 前記時間に係る情報は、前記撮影場所におけるローカルタイムの情報であることを特徴とする請求項4に記載の画像検索装置。
  14. 前記天候に係る情報は、天気に係る情報、気温に係る情報、湿度に係る情報、気圧に係る情報の少なくとも1つであることを特徴とする請求項4に記載の画像検索装置。
  15. 前記撮影モードに係る情報は、カメラ撮影モードのダイヤル設定に係る情報、フラッシュの有無の情報、マクロ撮影であるかの情報、望遠撮影であるかの情報、被写体属性に係る情報の少なくとも1つであることを特徴とする請求項4に記載の画像検索装置。
  16. 画像に対応する画像特徴と前記画像を撮影した際の属性情報を記憶する記憶手段と、
    前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報を、要求に応じて要求元に送信する送信手段と、
    前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報に基づいて、検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信手段と、
    前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴とを比較する比較手段と、
    を有することを特徴とする画像検索装置。
  17. 画像を入力する入力工程と、
    前記画像を撮影した際の属性情報を取得する取得工程と、
    前記画像の画像特徴を抽出する抽出工程と、
    前記画像と前記属性情報と前記画像特徴とを関連付けて記憶手段に記憶させる工程と、前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力工程で入力された検索元画像について前記抽出工程で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別工程と、
    前記検索元画像の検索のために使用すると選別された画像特徴と、前記記憶手段に記憶された登録画像の画像特徴とを比較する比較工程と、
    を有することを特徴とする画像検索方法。
  18. 画像に対応する画像特徴と前記画像を撮影した際の属性情報を記憶手段に記憶させる工程と、
    前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報を、要求に応じて要求元に送信する送信工程と、
    前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報に基づいて検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信工程と、
    前記受信した検索元画像の画像特徴と前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較工程と、
    を有することを特徴とする画像検索方法。
  19. コンピュータを、
    画像を入力する入力手段と、
    前記画像を撮影した際の属性情報を取得する取得手段と、
    前記画像の画像特徴を抽出する抽出手段と、
    前記画像と前記属性情報と前記画像特徴とを関連付けて記憶する記憶手段と、
    前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
    前記検索元画像の検索のために使用すると選別された検索元画像の画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較手段と、
    として機能させるためのプログラム。
  20. コンピュータを
    画像に対応する画像特徴と前記画像を撮影した際の属性情報を記憶する記憶手段と、
    前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報を、要求に応じて要求元に送信する送信手段と、
    前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報に基づいて検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信手段と、
    前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴とを比較する比較手段と、
    として機能させるためのプログラム。
JP2013001080A 2013-01-08 2013-01-08 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム Active JP6091217B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013001080A JP6091217B2 (ja) 2013-01-08 2013-01-08 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム
US14/148,300 US20140193077A1 (en) 2013-01-08 2014-01-06 Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013001080A JP6091217B2 (ja) 2013-01-08 2013-01-08 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2014134858A JP2014134858A (ja) 2014-07-24
JP2014134858A5 JP2014134858A5 (ja) 2016-02-25
JP6091217B2 true JP6091217B2 (ja) 2017-03-08

Family

ID=51413092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013001080A Active JP6091217B2 (ja) 2013-01-08 2013-01-08 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6091217B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023656A (ja) * 2002-06-19 2004-01-22 Canon Inc 画像処理装置、画像処理方法、及び、プログラム
CN100346339C (zh) * 2002-11-20 2007-10-31 富士通株式会社 图像检索方法及图像检索装置

Also Published As

Publication number Publication date
JP2014134858A (ja) 2014-07-24

Similar Documents

Publication Publication Date Title
US20140193077A1 (en) Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program
Zamir et al. Image geo-localization based on multiplenearest neighbor feature matching usinggeneralized graphs
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
KR101417548B1 (ko) 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템
JP4810420B2 (ja) 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
CN102591868A (zh) 用于拍照指南自动生成的***和方法
JP4457988B2 (ja) 画像管理装置、画像管理方法およびコンピュータプログラム
JP5608680B2 (ja) モバイルの画像検索及びインデキシングのシステム及び方法
JP6211407B2 (ja) 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
JP5467177B2 (ja) 情報提供装置、情報提供方法、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供システム
US10810466B2 (en) Method for location inference from map images
JP5223034B2 (ja) 情報提供装置、情報提供方法、情報提供処理プログラム、及び情報提供処理プログラムを記録した記録媒体
US20210326376A1 (en) Navigating through a set of images
JP2017004252A (ja) 画像情報処理システム
JP5671224B2 (ja) 画像処理装置、画像処理方法
JP6764992B2 (ja) 検索システム、検索方法、及びプログラム
JP6034229B2 (ja) 位置情報処理装置及び位置情報処理方法
JP6143462B2 (ja) 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム
CN111191065B (zh) 一种同源图像确定方法及装置
JP6091217B2 (ja) 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム
JP5272107B2 (ja) 情報提供装置、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供方法
KR101720685B1 (ko) 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법
Peng et al. KISS: knowing camera prototype system for recognizing and annotating places-of-interest
JP5708868B1 (ja) プログラム、情報処理装置及び方法
JP2016075992A (ja) 撮像装置、情報処理装置およびそれらの情報処理方法、並びに、情報処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170207

R151 Written notification of patent or utility model registration

Ref document number: 6091217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151