JP6091217B2 - 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム - Google Patents
画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム Download PDFInfo
- Publication number
- JP6091217B2 JP6091217B2 JP2013001080A JP2013001080A JP6091217B2 JP 6091217 B2 JP6091217 B2 JP 6091217B2 JP 2013001080 A JP2013001080 A JP 2013001080A JP 2013001080 A JP2013001080 A JP 2013001080A JP 6091217 B2 JP6091217 B2 JP 6091217B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- search
- features
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
以下、本発明の第1の実施形態について、図面を参照しながら説明する。第1の実施形態は、検索クエリ画像から画像特徴抽出を行い、その画像特徴群を使って検索を行い、検索結果を表示する画像検索システムの例である。
図2は、第1の実施形態の画像検索装置における画像登録処理手順の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
ここで、Qnは、N次元のうちのn番目の次元の特徴量Vnを量子化した値である。VnmaxとVnminはそれぞれn番目の次元の特徴量の取りうる値の最大値、および、最小値である。
図6は、画像検索装置の差別化画像特徴リスト生成部103における差別化画像特徴リスト生成処理手順の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
このGPS情報は、予め有名なランドマークのあるGPS情報のリストを得て置き、そのそれぞれのGPS情報に対して、図7の処理を行う事で、数多くのランドマークに対応することが可能である。もちろん、GPS情報を適切なインターバルで自動生成しても良い。
ステップS702にて基準となるGPS値の近傍のランドマークを得てその個数をM個とする。予めランドマークとGPS値と画像データと画像特徴群を対応付けた知識ベースを準備しておき、基準となるGPS値との距離が予め定めた値以内のランドマークを求めれば良い。GPS情報は高さ情報も含むが、その項は含んでいても含まなくとも構わない。
・各ランドマークiに対応する画像の個数をNumP(i) i=1,…,M
・ランドマークiに対応する画像を Pic[i] [j] j=1,…, NumP(i)
・各画像の特徴の個数をnumFeat[ Pic[i] [j] ]
・各画像のk番目の特徴をFeat[ Pic[i] [j] ] [k] k=1,…, numFeat[ Pic[i] [j] ]
また、i= 1 とし、特徴毎の共起値CO[]=0 で初期化する。
尚、共起値COの配列部[]には、特徴量の量子化ラベルの値が入る。
ステップS705にて、ランドマークiに対応する画像群の何番目の画像であるかを示すjを1に初期化する。
ステップS715にてj2がランドマークi2に対応する画像群の個数を超えていないか判断し、超えていればステップS716にてFlagが1に成っているかどうかを判断し、1になっていれば特徴量量子化値に対応する共起値を1つ増加させる。
もし、ランドマークi2の画像特徴群を全て比較し終えた場合には、ステップS724、1620を経て1621にて次のランドマークを比較基準に更新する事に成る。
図8は、第1の実施形態の画像検索装置における画像検索処理手順の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
以下、本発明の第2の実施形態について、図面を参照しながら説明する。第2の実施形態は、画像検索端末である検索クライアント(要求元)で撮影することにより検索クエリ画像を生成して画像特徴群を抽出し、その画像特徴群を画像検索サーバに送って画像検索サーバ内で検索を行い、検索クライアントに検索結果を表示する画像検索システムの例である。画像検索クライアントは、検索元画像を提供する検索元画像提供装置である。画像検索サーバへの画像登録処理は、第1の実施形態と同様の方式により行う。
第2の実施形態の画像検索システムの画像検索サーバの差別化画像特徴リスト生成部1114における差別化画像特徴リスト生成処理は、第1の実施形態の画像検索装置の差別化画像特徴リスト生成部103における差別化画像特徴リスト生成処理と同等である。従って、詳細の説明は省略する。
図12は、第2の実施形態の画像検索システムにおける画像検索処理手順の一例を示すフローチャートである。フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
102 画像特徴算出部
103 差別化画像特徴リスト生成部
104 画像特徴選別部
105 画像特徴比較部
106 画像特徴比較結果表示部
107 記憶部
1101 検索クライアント
1102 画像検索サーバ
1103 画像取得部
1104 撮影環境情報送信部
1105 差別化画像特徴リスト受信部
1106 画像特徴算出部
1107 画像特徴選別部
1108 画像特徴送信部
1109 画像特徴比較結果取得部
1110 画像特徴比較結果表示部
1111 記憶部
1112 通信部
1113 撮影環境情報受信部
1114 差別化画像特徴リスト生成部
1115 差別化画像特徴リスト送信部
1116 画像特徴受信部
1117 画像特徴比較部
1118 画像特徴比較結果送信部
1119 記憶部
1120 通信部
Claims (20)
- 画像を入力する入力手段と、
前記画像を撮影した際の属性情報を取得する取得手段と、
前記画像の画像特徴を抽出する抽出手段と、
前記画像と前記属性情報と前記画像特徴を関連付けて記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の検索のために使用すると選別された検索元画像の画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較手段と、
を有することを特徴とする画像検索装置。 - 前記属性情報ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記属性情報ごとに生成する生成手段を更に有し、
前記選別手段は、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち、前記取得手段で取得した前記検索元画像の前記属性情報に対応する前記画像特徴リストに存在する画像特徴に基づいて検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別することを特徴とする請求項1に記載の画像検索装置。 - 前記比較手段で使用する前記検索元画像の画像特徴の総サイズ或いは画像特徴の個数が予め定められていることを特徴とする請求項1または2に記載の画像検索装置。
- 前記属性情報は、場所および撮影方位に係る情報、時間に係る情報、天候に係る情報、撮影モードに係る情報の少なくとも1つであることを特徴とする請求項1から3のいずれか1項に記載の画像検索装置。
- 前記生成手段は、前記属性情報の少なくとも1つが適合した登録画像に対する前記記憶手段に記憶された画像特徴の共起値が閾値よりも小さい或いは共起値が小さい順から定められた個数の画像特徴を画像特徴リストに記述することを特徴とする請求項2に記載の画像検索装置。
- 前記生成手段は、前記属性情報の少なくとも1つが適合した登録画像に対する画像特徴と関連付けられて記憶されている画像の共起値が閾値よりも小さい或いは共起値が小さい順から定められた個数の画像特徴を画像特徴リストに記述することを特徴とする請求項2に記載の画像検索装置。
- 前記生成手段は、前記属性情報の少なくとも1つが適合した登録画像に対する画像特徴と関連付けられて記憶されている画像の共起値に基づいて、ユーザが選択した画像特徴を画像特徴リストに記述することを特徴とする請求項2に記載の画像検索装置。
- 前記生成手段では、前記画像の撮影場所における方向ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記方向ごとに生成することを特徴とする請求項2に記載の画像検索装置。
- 前記選別手段では、前記検索元画像の画像特徴から前記画像特徴リストと一致する画像特徴を抽出することにより、画像特徴を選別することを特徴とする請求項2に記載の画像検索装置。
- 前記選別手段では、前記検索元画像の画像特徴から前記画像特徴リストに存在しない画像特徴を削除することにより画像特徴を選別することを特徴とする請求項2に記載の画像検索装置。
- 前記選別手段では、前記画像特徴リストと一致する画像特徴を前記検索元画像の画像特徴において識別することにより選別することを特徴とする請求項2に記載の画像検索装置。
- 前記場所および撮影方位に係る情報は、GPS情報、方位情報、撮影高度情報の少なくとも1つであることを特徴とする請求項4に記載の画像検索装置。
- 前記時間に係る情報は、前記撮影場所におけるローカルタイムの情報であることを特徴とする請求項4に記載の画像検索装置。
- 前記天候に係る情報は、天気に係る情報、気温に係る情報、湿度に係る情報、気圧に係る情報の少なくとも1つであることを特徴とする請求項4に記載の画像検索装置。
- 前記撮影モードに係る情報は、カメラ撮影モードのダイヤル設定に係る情報、フラッシュの有無の情報、マクロ撮影であるかの情報、望遠撮影であるかの情報、被写体属性に係る情報の少なくとも1つであることを特徴とする請求項4に記載の画像検索装置。
- 画像に対応する画像特徴と前記画像を撮影した際の属性情報を記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報を、要求に応じて要求元に送信する送信手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報に基づいて、検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信手段と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴とを比較する比較手段と、
を有することを特徴とする画像検索装置。 - 画像を入力する入力工程と、
前記画像を撮影した際の属性情報を取得する取得工程と、
前記画像の画像特徴を抽出する抽出工程と、
前記画像と前記属性情報と前記画像特徴とを関連付けて記憶手段に記憶させる工程と、前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力工程で入力された検索元画像について前記抽出工程で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別工程と、
前記検索元画像の検索のために使用すると選別された画像特徴と、前記記憶手段に記憶された登録画像の画像特徴とを比較する比較工程と、
を有することを特徴とする画像検索方法。 - 画像に対応する画像特徴と前記画像を撮影した際の属性情報を記憶手段に記憶させる工程と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報を、要求に応じて要求元に送信する送信工程と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報に基づいて検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信工程と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較工程と、
を有することを特徴とする画像検索方法。 - コンピュータを、
画像を入力する入力手段と、
前記画像を撮影した際の属性情報を取得する取得手段と、
前記画像の画像特徴を抽出する抽出手段と、
前記画像と前記属性情報と前記画像特徴とを関連付けて記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の検索のために使用すると選別された検索元画像の画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較手段と、
として機能させるためのプログラム。 - コンピュータを
画像に対応する画像特徴と前記画像を撮影した際の属性情報を記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報を、要求に応じて要求元に送信する送信手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報に基づいて検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信手段と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴とを比較する比較手段と、
として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013001080A JP6091217B2 (ja) | 2013-01-08 | 2013-01-08 | 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム |
US14/148,300 US20140193077A1 (en) | 2013-01-08 | 2014-01-06 | Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013001080A JP6091217B2 (ja) | 2013-01-08 | 2013-01-08 | 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014134858A JP2014134858A (ja) | 2014-07-24 |
JP2014134858A5 JP2014134858A5 (ja) | 2016-02-25 |
JP6091217B2 true JP6091217B2 (ja) | 2017-03-08 |
Family
ID=51413092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013001080A Active JP6091217B2 (ja) | 2013-01-08 | 2013-01-08 | 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6091217B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004023656A (ja) * | 2002-06-19 | 2004-01-22 | Canon Inc | 画像処理装置、画像処理方法、及び、プログラム |
CN100346339C (zh) * | 2002-11-20 | 2007-10-31 | 富士通株式会社 | 图像检索方法及图像检索装置 |
-
2013
- 2013-01-08 JP JP2013001080A patent/JP6091217B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014134858A (ja) | 2014-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20140193077A1 (en) | Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program | |
Zamir et al. | Image geo-localization based on multiplenearest neighbor feature matching usinggeneralized graphs | |
Arietta et al. | City forensics: Using visual elements to predict non-visual city attributes | |
KR101417548B1 (ko) | 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템 | |
JP4810420B2 (ja) | 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体 | |
CN102591868A (zh) | 用于拍照指南自动生成的***和方法 | |
JP4457988B2 (ja) | 画像管理装置、画像管理方法およびコンピュータプログラム | |
JP5608680B2 (ja) | モバイルの画像検索及びインデキシングのシステム及び方法 | |
JP6211407B2 (ja) | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム | |
JP5467177B2 (ja) | 情報提供装置、情報提供方法、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供システム | |
US10810466B2 (en) | Method for location inference from map images | |
JP5223034B2 (ja) | 情報提供装置、情報提供方法、情報提供処理プログラム、及び情報提供処理プログラムを記録した記録媒体 | |
US20210326376A1 (en) | Navigating through a set of images | |
JP2017004252A (ja) | 画像情報処理システム | |
JP5671224B2 (ja) | 画像処理装置、画像処理方法 | |
JP6764992B2 (ja) | 検索システム、検索方法、及びプログラム | |
JP6034229B2 (ja) | 位置情報処理装置及び位置情報処理方法 | |
JP6143462B2 (ja) | 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム | |
CN111191065B (zh) | 一种同源图像确定方法及装置 | |
JP6091217B2 (ja) | 画像検索装置、画像検索方法、検索元画像提供装置、検索元画像提供方法、及びプログラム | |
JP5272107B2 (ja) | 情報提供装置、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供方法 | |
KR101720685B1 (ko) | 웹 데이터 기반 방송 콘텐츠 객체 식별 검증 장치 및 방법 | |
Peng et al. | KISS: knowing camera prototype system for recognizing and annotating places-of-interest | |
JP5708868B1 (ja) | プログラム、情報処理装置及び方法 | |
JP2016075992A (ja) | 撮像装置、情報処理装置およびそれらの情報処理方法、並びに、情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160107 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6091217 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |