JP2014134858A5

JP2014134858A5 -

Info

Publication number: JP2014134858A5
Application number: JP2013001080A
Authority: JP
Filing date: 2013-01-08
Publication date: 2016-02-25
Anticipated expiration: 2033-01-08

Description

本発明の画像検索装置は、画像を入力する入力手段と、前記画像を撮影した際の属性情報を取得する取得手段と、前記画像の画像特徴を抽出する抽出手段と、前記画像と前記属性情報と前記画像特徴を関連付けて記憶する記憶手段と、前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、前記検索元画像の検索のために使用すると選別された検索元画像の画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較手段と、を有する。 The image search apparatus according to the present invention includes an input unit for inputting an image, an acquisition unit for acquiring attribute information when the image is captured, an extraction unit for extracting an image feature of the image, the image and the attribute information. And an image extracted by the extraction unit for a search source image input by the input unit based on the number of image features co-occurring in the image for each attribute information Screening means for selecting image features to be used for searching the search source image and image features to be restricted from being used, and image features of the search source image selected to be used for searching the search source image And comparison means for comparing the image characteristics of the registered image stored in the storage means.

Claims

画像を入力する入力手段と、
前記画像を撮影した際の属性情報を取得する取得手段と、
前記画像の画像特徴を抽出する抽出手段と、
前記画像と前記属性情報と前記画像特徴を関連付けて記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の検索のために使用すると選別された検索元画像の画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較手段と、
を有することを特徴とする画像検索装置。 An input means for inputting an image;
Acquisition means for acquiring attribute information at the time of photographing the image;
Extracting means for extracting image features of the image;
Storage means for storing the image, the attribute information, and the image feature in association with each other;
Based on the number of image features co-occurring in the image for each attribute information, the search source image input by the input unit is used for searching the search source image among the image features extracted by the extraction unit. A sorting means for sorting into image features and image features whose use is restricted;
Comparison means for comparing the image features of the search source image selected for use in searching the search source image with the image features of the registered image stored in the storage means;
An image search apparatus comprising:

前記属性情報ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記属性情報ごとに生成する生成手段を更に有し、
前記選別手段は、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち、前記取得手段で取得した前記検索元画像の前記属性情報に対応する前記画像特徴リストに存在する画像特徴に基づいて検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別することを特徴とする請求項１に記載の画像検索装置。 Further comprising: generating means for generating, for each attribute information, an image feature list in which the number of image features co-occurring in the image for each attribute information is less than a predetermined number
The selection unit is present in the image feature list corresponding to the attribute information of the search source image acquired by the acquisition unit among the image features extracted by the extraction unit for the search source image input by the input unit. 2. The image search apparatus according to claim 1, wherein an image feature used for searching a search source image and an image feature whose use is restricted are selected based on the image feature to be searched.

前記比較手段で使用する前記検索元画像の画像特徴の総サイズ或いは画像特徴の個数が予め定められていることを特徴とする請求項１または２に記載の画像検索装置。 3. The image search apparatus according to claim 1, wherein a total size of image features or the number of image features of the search source image used by the comparison unit is predetermined.

前記属性情報は、場所および撮影方位、時間、天候、撮影モードおよび被写体属性の少なくとも１つであることを特徴とする請求項１から３のいずれか１項に記載の画像検索装置。 The image search apparatus according to any one of claims 1 to 3, wherein the attribute information is at least one of a location, a shooting direction, time, weather, a shooting mode, and a subject attribute.

前記生成手段は、前記属性情報の少なくとも１つが適合した登録画像に対する前記記憶手段に記憶された画像特徴の共起値が閾値よりも小さい或いは共起値が小さい順から定められた個数の画像特徴を画像特徴リストに記述することを特徴とする請求項２に記載の画像検索装置。 The generating means has a number of image features determined from the order in which the co-occurrence values of the image features stored in the storage means with respect to the registered image to which at least one of the attribute information matches is smaller than the threshold or the co-occurrence values are small. The image search device according to claim 2, wherein the image feature list is described in an image feature list.

前記生成手段は、前記属性情報の少なくとも１つが適合した登録画像に対する画像特徴と関連付けられて記憶されている画像の共起値が閾値よりも小さい或いは共起値が小さい順から定められた個数の画像特徴を画像特徴リストに記述することを特徴とする請求項２に記載の画像検索装置。 The generation means has a number of co-occurrence values stored in association with an image feature for a registered image to which at least one of the attribute information is matched is smaller than a threshold value or a predetermined number of co-occurrence values. The image search apparatus according to claim 2, wherein the image feature is described in an image feature list.

前記生成手段は、前記属性情報の少なくとも１つが適合した登録画像に対する画像特徴と関連付けられて記憶されている画像の共起値に基づいて、ユーザが選択した画像特徴を画像特徴リストに記述することを特徴とする請求項２に記載の画像検索装置。 The generation means describes the image feature selected by the user in the image feature list based on the co-occurrence value of the image stored in association with the image feature for the registered image to which at least one of the attribute information is matched. The image search device according to claim 2.

前記生成手段では、前記画像の撮影場所における方向ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記方向ごとに生成することを特徴とする請求項２に記載の画像検索装置。 3. The image generation list according to claim 2, wherein the generation unit generates, for each direction, an image feature list in which the number of image features that co-occur in the image for each direction at the shooting location of the image is smaller than a predetermined number. Image search device.

前記選別手段では、前記検索元画像の画像特徴から前記画像特徴リストと一致する画像特徴を抽出することにより、画像特徴を選別することを特徴とする請求項２に記載の画像検索装置。 3. The image search apparatus according to claim 2, wherein the selecting means selects image features by extracting image features that match the image feature list from image features of the search source image.

前記選別手段では、前記検索元画像の画像特徴から前記画像特徴リストに存在しない画像特徴を削除することにより画像特徴を選別することを特徴とする請求項２に記載の画像検索装置。 3. The image search apparatus according to claim 2, wherein the selecting means selects image features by deleting image features that do not exist in the image feature list from image features of the search source image.

前記選別手段では、前記画像特徴リストと一致する画像特徴を前記検索元画像の画像特徴において識別することにより選別することを特徴とする請求項２に記載の画像検索装置。 3. The image search apparatus according to claim 2, wherein the selecting means selects an image feature that matches the image feature list by identifying the image feature in the image feature of the search source image.

前記場所および撮影方位は、ＧＰＳ情報、方位情報、撮影高度情報の少なくとも１つであることを特徴とする請求項４に記載の画像検索装置。 The image search apparatus according to claim 4, wherein the location and the shooting direction are at least one of GPS information, direction information, and shooting altitude information.

前記時間は、前記撮影場所におけるローカルタイムであることを特徴とする請求項４に記載の画像検索装置。 The image search apparatus according to claim 4, wherein the time is a local time at the shooting location.

前記天候は、天気、気温、湿度、気圧の少なくとも１つであることを特徴とする請求項４に記載の画像検索装置。 The image search apparatus according to claim 4, wherein the weather is at least one of weather, air temperature, humidity, and atmospheric pressure.

前記撮影モードは、カメラ撮影モードのダイヤル設定やフラッシュの有無、マクロ撮影、望遠撮影の少なくとも１つであることを特徴とする請求項４に記載の画像検索装置。 The image retrieval apparatus according to claim 4, wherein the photographing mode is at least one of dial setting of camera photographing mode, presence / absence of flash, macro photographing, and telephoto photographing.

画像に対応する画像特徴と前記画像を撮影した際の属性情報を記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報を、要求に応じて要求元に送信する送信手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報に基づいて、検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信手段と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴とを比較する比較手段と、
を有することを特徴とする画像検索装置。 Storage means for storing image features corresponding to an image and attribute information when the image is captured;
Transmitting means for transmitting information on the number of image features co-occurring in the image for each attribute information to a request source in response to a request;
Receiving means for receiving an image feature selected by a request source as an image feature to be used for searching a search source image based on information on the number of image features co-occurring in the image for each attribute information;
Comparing means for comparing the image feature of the received search source image with the image feature stored in the storage means;
An image search apparatus comprising:

検索元画像を入力する入力手段と、
前記検索元画像を撮影した際の属性情報を取得する取得手段と、
前記検索元画像の画像特徴を抽出する抽出手段と、
画像特徴リストを画像検索装置から受信する受信手段と、
前記検索元画像の画像特徴のうち、前記属性情報に対応する前記画像特徴リストに存在する画像特徴に基づいて検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の検索のために使用すると選別された画像特徴を前記画像検索装置に送信する送信手段と、
を有することを特徴とする検索元画像提供装置。 An input means for inputting a search source image;
Acquisition means for acquiring attribute information at the time of photographing the search source image;
Extracting means for extracting image features of the search source image;
Receiving means for receiving an image feature list from the image search device;
Based on the image features existing in the image feature list corresponding to the attribute information, the image features used for searching the search source image and the image features whose use is restricted are selected from the image features of the search source image. Sorting means to
Transmitting means for transmitting the selected image features to the image search device when used for searching the search source image;
A search source image providing apparatus comprising:

画像を入力する入力工程と、
前記画像を撮影した際の属性情報を取得する取得工程と、
前記画像の画像特徴を抽出する抽出工程と、
前記画像と前記属性情報と前記画像特徴とを関連付けて記憶手段に記憶させる工程と、
前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力工程で入力された検索元画像について前記抽出工程で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別工程と、
前記検索元画像の検索のために使用すると選別された画像特徴と、前記記憶手段に記憶された登録画像の画像特徴とを比較する比較工程と、
を有することを特徴とする画像検索方法。 An input process for inputting an image;
An acquisition step of acquiring attribute information at the time of capturing the image;
An extraction step of extracting image features of the image;
Storing the image, the attribute information, and the image feature in association with each other in a storage unit;
Based on the number of image features co-occurring in the image for each attribute information, the search source image input in the input step is used for searching the search source image among the image features extracted in the extraction step. A sorting process for sorting into image features and image features to be restricted, and
A comparison step of comparing the image features selected to be used for searching the search source image with the image features of the registered image stored in the storage means;
An image search method characterized by comprising:

画像に対応する画像特徴と前記画像を撮影した際の属性情報を記憶手段に記憶させる工程と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報を、要求に応じて要求元に送信する送信工程と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報に基づいて検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信工程と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較工程と、
を有することを特徴とする画像検索方法。 Storing image characteristics corresponding to an image and attribute information at the time of capturing the image in a storage unit;
A transmission step of transmitting information on the number of image features co-occurring in the image for each attribute information to a request source upon request;
A receiving step of receiving an image feature selected by a request source as an image feature to be used for searching a search source image based on information on the number of image features co-occurring in the image for each attribute information;
A comparison step of comparing the image feature of the received search source image with the image feature of the registered image stored in the storage means;
An image search method characterized by comprising:

検索元画像を入力する入力工程と、
前記検索元画像を撮影した際の属性情報を取得する取得工程と、
前記検索元画像の画像特徴を抽出する抽出工程と、
画像特徴リストを画像検索装置から受信する受信工程と、
前記検索元画像の画像特徴のうち、前記属性情報に対応する前記画像特徴リストに存在する画像特徴に基づいて検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する工程手段と、
前記検索元画像の検索のために使用すると選別された画像特徴を前記画像検索装置に送信する送信工程と、
を有することを特徴とする検索元画像提供方法。 An input process for inputting a search source image;
An acquisition step of acquiring attribute information at the time of photographing the search source image;
An extraction step of extracting image features of the search source image;
A receiving step of receiving an image feature list from the image search device;
Based on the image features existing in the image feature list corresponding to the attribute information, the image features used for searching the search source image and the image features whose use is restricted are selected from the image features of the search source image. Process means to
A transmission step of transmitting the selected image features to the image search device when used for searching the search source image;
A search source image providing method characterized by comprising:

コンピュータを、
画像を入力する入力手段と、
前記画像を撮影した際の属性情報を取得する取得手段と、
前記画像の画像特徴を抽出する抽出手段と、
前記画像と前記属性情報と前記画像特徴とを関連付けて記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に基づいて、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴のうち検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の検索のために使用すると選別された検索元画像の画像特徴と、前記記憶手段に記憶されている登録画像の画像特徴とを比較する比較手段と、
として機能させるためのプログラム。 Computer
An input means for inputting an image;
Acquisition means for acquiring attribute information at the time of photographing the image;
Extracting means for extracting image features of the image;
Storage means for storing the image, the attribute information, and the image feature in association with each other;
Based on the number of image features co-occurring in the image for each attribute information, the search source image input by the input unit is used for searching the search source image among the image features extracted by the extraction unit. A sorting means for sorting into image features and image features whose use is restricted;
Comparison means for comparing the image features of the search source image selected for use in searching the search source image with the image features of the registered image stored in the storage means;
Program to function as.

コンピュータを
画像に対応する画像特徴と前記画像を撮影した際の属性情報を記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報を、要求に応じて要求元に送信する送信手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数に関する情報に基づいて検索元画像の検索のために使用する画像特徴として要求元で選別された画像特徴を受信する受信手段と、
前記受信した検索元画像の画像特徴と前記記憶手段に記憶された画像特徴とを比較する比較手段と、
として機能させるためのプログラム。 Storage means for storing an image feature corresponding to an image and attribute information when the image is captured;
Transmitting means for transmitting information on the number of image features co-occurring in the image for each attribute information to a request source in response to a request;
Receiving means for receiving an image feature selected by a request source as an image feature to be used for searching a search source image based on information on the number of image features co-occurring in the image for each attribute information;
Comparing means for comparing the image feature of the received search source image with the image feature stored in the storage means;
Program to function as.

コンピュータを、
検索元画像を入力する入力手段と、
前記検索元画像を撮影した際の属性情報を取得する取得手段と、
前記検索元画像の画像特徴を抽出する抽出手段と、
画像特徴リストを画像検索装置から受信する受信手段と、
前記検索元画像の画像特徴のうち、前記属性情報に対応する前記画像特徴リストに存在する画像特徴に基づいて検索元画像の検索のために使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の検索のために使用すると選別された画像特徴を前記画像検索装置に送信する送信手段と、
として機能させるためのプログラム。 Computer
An input means for inputting a search source image;
Acquisition means for acquiring attribute information at the time of photographing the search source image;
Extracting means for extracting image features of the search source image;
Receiving means for receiving an image feature list from the image search device;
Based on the image features existing in the image feature list corresponding to the attribute information, the image features used for searching the search source image and the image features whose use is restricted are selected from the image features of the search source image. Sorting means to
Transmitting means for transmitting the selected image features to the image search device when used for searching the search source image;
Program to function as.