JP2015032248A - Image search device, system and program for searching for data - Google Patents
Image search device, system and program for searching for data Download PDFInfo
- Publication number
- JP2015032248A JP2015032248A JP2013163249A JP2013163249A JP2015032248A JP 2015032248 A JP2015032248 A JP 2015032248A JP 2013163249 A JP2013163249 A JP 2013163249A JP 2013163249 A JP2013163249 A JP 2013163249A JP 2015032248 A JP2015032248 A JP 2015032248A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- feature points
- data
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、画像検索装置、データ検索システム及びプログラムに関する。 The present invention relates to an image search device, a data search system, and a program.
登録された複数の画像の中から、ある画像と類似した画像を検索する画像検索技術がある。例えば、特許文献1には、複数の検索対象画像の中からクエリ画像と類似する画像を検索する画像検索システムが提案されている。
There is an image retrieval technique for retrieving an image similar to a certain image from a plurality of registered images. For example,
特許文献1に提案されている画像検索システムにおいては、まず、複数の検索対象画像の各々に関し、当該検索対象画像とクエリ画像の特徴点のペアリングが行われる。続いて、検索対象画像とクエリ画像の各々において、ペアリングされた特徴点に基づき比較領域が特定される。続いて、検索対象画像の比較領域とクエリ画像の比較領域の特徴点のペアリングが行われる。そして、比較領域においてペアリングされた特徴点の数に基づき、クエリ画像に類似する検索対象画像が検索結果として出力される。
In the image search system proposed in
本発明の目的は、クエリ画像に含まれる検索対象の画像であるキー画像に類似した類似画像を複数の被検索画像の中から特定する際に、キー画像の特徴点が無関係な被検索画像の特徴点に誤って対応付けられることによる画像検索の精度低下を低減することである。 An object of the present invention is to specify a search target image whose key image feature points are irrelevant when a similar image similar to a key image that is a search target image included in a query image is specified from a plurality of search target images. It is to reduce a decrease in the accuracy of image search caused by being erroneously associated with a feature point.
本発明は、複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第1の特徴量データを取得する第1の特徴量データ取得手段と、クエリ画像の複数の特徴点の各々の特徴量を示す第2の特徴量データを取得する第2の特徴量データ取得手段と、前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第1の対応付け手段と、前記複数の被検索画像のうち、前記第1の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす1以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、前記1以上の候補画像の特徴点の前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記1以上の候補画像の特徴点のいずれかを対応付ける第2の対応付け手段と、前記1以上の候補画像のうち、前記第2の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段とを備える画像検索装置を第1の態様として提案する。 The present invention relates to each of a plurality of search target images, a first feature amount data acquisition unit that acquires first feature amount data indicating each feature amount of a plurality of feature points of the search target image, and a query image Second feature amount data acquisition means for acquiring second feature amount data indicating each feature amount of the plurality of feature points, a feature amount indicated by the first feature amount data, and the second feature amount A first association that associates one or more feature points of the plurality of feature points of the query image with one of the feature points of the plurality of search target images based on a result of comparison with the feature amount indicated by the data. And one or more searched images satisfying a condition in which the number of feature points associated with the feature points of the query image by the first association unit among the plurality of searched images satisfies a predetermined condition. Candidate image specification to specify as candidate images of similar images A plurality of query images based on a comparison result between the feature amount indicated by the first feature amount data of the step and the feature amount of the one or more candidate images and the feature amount indicated by the second feature amount data. Second associating means for associating one or more feature points of the one or more candidate images with one or more feature points of the feature points, and the second association among the one or more candidate images. Proposed as a first aspect is an image search apparatus comprising similar image specifying means for specifying candidate images satisfying a predetermined number of feature points associated with feature points of the query image by means as a similar image To do.
また、本発明は、上記の第1の態様の画像検索装置において、前記1以上の候補画像の各々に関し、前記第1の対応付け手段により当該候補画像の特徴点に対応付けられた前記クエリ画像の特徴点を予め定められた条件で含む前記クエリ画像の1以上の領域をキー画像として特定するキー画像特定手段を備え、前記第2の対応付け手段は、前記1以上のキー画像の各々に関し、前記1以上の候補画像の特徴点の前記第1の特徴量データが示す特徴量と、当該キー画像の特徴点の前記第2の特徴量データが示す特徴量との比較の結果に基づき、当該キー画像の複数の特徴点のうちの1以上の特徴点に、前記1以上の候補画像の特徴点のいずれかを対応付ける、という構成を第2の態様として提案する。 In the image search device according to the first aspect, the present invention relates to each of the one or more candidate images, the query image associated with the feature point of the candidate image by the first association unit. Key image specifying means for specifying, as a key image, one or more areas of the query image that include the feature points of the image in a predetermined condition, wherein the second association means relates to each of the one or more key images. , Based on the result of comparison between the feature quantity indicated by the first feature quantity data of the feature point of the one or more candidate images and the feature quantity indicated by the second feature quantity data of the feature point of the key image, A configuration in which one or more feature points of the one or more candidate images are associated with one or more feature points of the plurality of feature points of the key image is proposed as a second aspect.
また、本発明は、上記の第1の態様の画像検索装置において、前記第2の対応付け手段は、前記1以上のキー画像の各々に関し、当該キー画像の複数の特徴点のうちの1以上の特徴点の各々に対し、前記キー画像特定手段が当該キー画像の特定に用いた候補画像の特徴点のいずれかを対応付ける、という構成を第3の態様として提案する。 In the image search device according to the first aspect of the present invention, the second association unit relates to each of the one or more key images, and is one or more of a plurality of feature points of the key image. A configuration in which the key image specifying unit associates any one of the feature points of the candidate image used for specifying the key image with each of the feature points is proposed as a third aspect.
また、本発明は、上記の第1乃至第3のいずれかの態様の画像検索装置において、前記複数の被検索画像の各々は複数のページのいずれかに含まれ、前記第1の特徴量データ取得手段は、被検索画像が含まれるページ毎にグループ化されている前記第1の特徴量データを取得し、前記候補画像特定手段は、前記第1の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数を、当該特徴点の前記第1の特徴量データが属するグループ毎に特定し、当該特定したグループ毎の特徴点の数に基づき、前記候補画像を特定する、という構成を第4の態様として提案する。 Further, the present invention provides the image search device according to any one of the first to third aspects, wherein each of the plurality of searched images is included in any of a plurality of pages, and the first feature amount data The acquisition unit acquires the first feature amount data grouped for each page including the search target image, and the candidate image specifying unit performs the feature points of the query image by the first association unit. Identifying the number of feature points associated with each group to which the first feature value data of the feature points belongs, and identifying the candidate image based on the number of feature points for each of the identified groups. This configuration is proposed as a fourth aspect.
また、本発明は、上記の第1乃至第4のいずれかの態様の画像検索装置において、前記複数の被検索画像の各々は複数のページのいずれかに含まれ、前記第1の特徴量データ取得手段は、被検索画像が含まれるページ毎にグループ化されている前記第1の特徴量データを取得し、前記類似画像特定手段は、前記第2の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数を、当該特徴点の前記第1の特徴量データが属するグループ毎に特定し、当該特定したグループ毎の特徴点の数に基づき、前記類似画像を特定する、という構成を第5の態様として提案する。 Further, the present invention provides the image search device according to any one of the first to fourth aspects, wherein each of the plurality of searched images is included in any of a plurality of pages, and the first feature amount data The acquisition unit acquires the first feature amount data grouped for each page including the search target image, and the similar image specifying unit uses the second association unit to perform feature points of the query image. Specifying the number of feature points associated with each group to which the first feature value data of the feature points belongs, and specifying the similar image based on the number of feature points for each specified group. This configuration is proposed as a fifth aspect.
また、本発明は、上記の第1乃至第5のいずれかの態様の画像検索装置において、前記類似画像特定手段が類似画像を特定する際に用いる条件において要求される前記クエリ画像の特徴点に対応付けられた被検索画像の特徴点の数は、前記候補画像特定手段が候補画像を特定する際に用いる条件において要求される前記クエリ画像の特徴点に対応付けられた被検索画像の特徴点の数よりも大きい、という構成を第6の態様として提案する。 According to the present invention, in the image search device according to any one of the first to fifth aspects, a feature point of the query image required under conditions used when the similar image specifying unit specifies a similar image. The number of feature points of the image to be searched that is associated with the feature point of the image to be searched that is associated with the feature point of the query image that is requested under the conditions used when the candidate image specifying unit specifies the candidate image. A configuration that is larger than the number of is proposed as a sixth aspect.
また、本発明は、上記の第1乃至第5のいずれかの態様の画像検索装置において、クエリ画像を表わす画像データを取得する画像データ取得手段と、前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す特徴量データを生成する特徴量データ生成手段とを備え、前記第2の特徴量データ取得手段は、前記特徴量データ生成手段により生成された特徴量データを前記第2の特徴量データとして取得する、という構成を第7の態様として提案する。 In the image search device according to any one of the first to fifth aspects, the present invention provides an image data acquisition unit that acquires image data representing a query image, and a plurality of query images represented by the image data. A feature amount data generating unit that specifies feature points and generates feature amount data indicating the feature amounts of each of the plurality of feature points, and the second feature amount data acquisition unit includes the feature amount data generation unit. As a seventh aspect, a configuration in which the feature amount data generated by the above is acquired as the second feature amount data is proposed.
また、本発明は、端末装置と画像検索装置とを備え、前記端末装置は、クエリ画像を表わす画像データを取得する画像データ取得手段と、前記画像データを前記画像検索装置に送信する送信手段と、前記送信手段により送信された前記画像データに対する応答として前記画像検索装置から送信されてくるデータを受信する受信手段とを備え、前記画像検索装置は、複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第1の特徴量データを取得する特徴量データ取得手段と、前記端末装置から前記画像データを受信する受信手段と、前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す第2の特徴量データを生成する特徴量データ生成手段と、前記第1の特徴量データが示す特徴量と前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第1の対応付け手段と、前記複数の被検索画像のうち、前記第1の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす1以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、前記1以上の候補画像の特徴点の前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記1以上の候補画像の特徴点のいずれかを対応付ける第2の対応付け手段と、前記1以上の候補画像のうち、前記第2の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段と、前記類似画像特定手段により特定された類似画像に応じたデータを前記端末装置に送信する送信手段とを備えるデータ検索システムを第8の態様として提案する。 Further, the present invention includes a terminal device and an image search device, and the terminal device acquires image data acquisition means for acquiring image data representing a query image, and transmission means for transmitting the image data to the image search device. Receiving means for receiving data transmitted from the image search apparatus as a response to the image data transmitted by the transmission means, wherein the image search apparatus relates to each of a plurality of searched images. Feature amount data acquisition means for acquiring first feature amount data indicating each feature amount of a plurality of feature points of the search image, reception means for receiving the image data from the terminal device, and the image data Feature quantity data generating means for specifying a plurality of feature points of a query image and generating second feature quantity data indicating the feature quantities of each of the plurality of feature points; Based on the result of the comparison between the feature quantity indicated by the collection amount data and the feature quantity indicated by the second feature quantity data, the plurality of search target points are included in one or more feature points of the plurality of feature points of the query image. A first associating means for associating any one of the feature points of the image; and the number of feature points associated with the feature points of the query image by the first associating means among the plurality of searched images. Candidate image specifying means for specifying one or more searched images that satisfy a predetermined condition as candidate images of similar images, and feature amounts indicated by the first feature amount data of feature points of the one or more candidate images; Based on the result of comparison with the feature amount indicated by the second feature amount data, one or more feature points of the plurality of feature points of the query image may be any one of the feature points of the one or more candidate images. Second associating means for associating Among the one or more candidate images, a similar image that identifies candidate images that satisfy a predetermined condition for the number of feature points associated with the feature points of the query image by the second association unit as a similar image A data search system comprising specifying means and transmitting means for transmitting data corresponding to the similar image specified by the similar image specifying means to the terminal device is proposed as an eighth aspect.
また、本発明は、端末装置と画像検索装置とを備え、前記端末装置は、クエリ画像を表わす画像データを取得する画像データ取得手段と、前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す特徴量データを生成する特徴量データ生成手段と、前記特徴量データを前記画像検索装置に送信する送信手段と、前記送信手段により送信された前記特徴量データに対する応答として前記画像検索装置から送信されてくるデータを受信する受信手段とを備え、前記画像検索装置は、複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す特徴量データを第1の特徴量データとして取得する特徴量データ取得手段と、前記端末装置から送信されてくる前記特徴量データを第2の特徴量データとして受信する受信手段と、前記第1の特徴量データが示す特徴量と前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第1の対応付け手段と、前記複数の被検索画像のうち、前記第1の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす1以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、前記1以上の候補画像の特徴点の前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記1以上の候補画像の特徴点のいずれかを対応付ける第2の対応付け手段と、前記1以上の候補画像のうち、前記第2の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段と、前記類似画像特定手段により特定された類似画像に応じたデータを前記端末装置に送信する送信手段とを備えるデータ検索システムを第9の態様として提案する。 The present invention further includes a terminal device and an image search device, wherein the terminal device includes image data acquisition means for acquiring image data representing a query image, and a plurality of feature points of the query image represented by the image data. A feature amount data generation unit that identifies and generates feature amount data indicating the feature amount of each of the plurality of feature points, a transmission unit that transmits the feature amount data to the image search device, and a transmission unit that transmits the feature amount data. Receiving means for receiving data transmitted from the image search device as a response to the feature amount data, the image search device relating to each of the plurality of search target images with a plurality of features of the search target image. Feature amount data acquisition means for acquiring feature amount data indicating each feature amount of a point as first feature amount data, and the feature amount data transmitted from the terminal device Based on the result of comparison between the receiving means for receiving the second feature quantity data and the feature quantity indicated by the first feature quantity data and the feature quantity indicated by the second feature quantity data, First association means for associating one or more feature points of the plurality of feature points with one or more feature points of the plurality of search target images, and among the plurality of search target images, the first association unit The candidate image specifying means for specifying one or more searched images as the candidate images of similar images, wherein the number of feature points associated with the feature points of the query image satisfies a predetermined condition, and the one or more candidates One or more of the plurality of feature points of the query image based on the result of comparison between the feature amount indicated by the first feature amount data and the feature amount indicated by the second feature amount data. One or more candidates for the feature point A second associating means for associating one of the feature points of the image, and the number of feature points associated with the feature points of the query image by the second associating means among the one or more candidate images. A data search comprising: a similar image specifying unit that specifies a candidate image that satisfies a predetermined condition as a similar image; and a transmission unit that transmits data corresponding to the similar image specified by the similar image specifying unit to the terminal device The system is proposed as a ninth aspect.
また、本発明は、コンピュータに、複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第1の特徴量データを取得する処理と、クエリ画像の複数の特徴点の各々の特徴量を示す第2の特徴量データを取得する処理と、前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける処理と、前記複数の被検索画像のうち、前記クエリ画像の特徴点に対応付けた特徴点の数が予め定められた条件を満たす1以上の被検索画像を類似画像の候補画像として特定する処理と、前記1以上の候補画像の特徴点の前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記1以上の候補画像の特徴点のいずれかを対応付ける処理と、前記1以上の候補画像のうち、前記クエリ画像の特徴点に対応付けた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する処理とを実行させるためのプログラムを第10の態様として提案する。 In addition, the present invention relates to a process for acquiring first feature amount data indicating each feature amount of a plurality of feature points of the search target image for each of a plurality of search target images, and a plurality of query images. A process of obtaining second feature amount data indicating the feature amount of each of the feature points, a comparison between the feature amount indicated by the first feature amount data and the feature amount indicated by the second feature amount data. Based on the result, a process of associating one or more feature points of the plurality of feature points of the query image with one of the feature points of the plurality of search target images, and the query among the plurality of search target images. A process for specifying one or more search target images that satisfy a predetermined number of feature points associated with image feature points as candidate images of similar images, and the first of the feature points of the one or more candidate images. The feature amount indicated by the feature amount data of 1; A process of associating one or more feature points of the plurality of feature points of the query image with one of the feature points of the one or more candidate images based on a result of comparison with the feature amount indicated by the feature amount data of 2 And a program for executing, as a similar image, a candidate image that satisfies a predetermined condition for the number of feature points associated with the feature points of the query image among the one or more candidate images. Proposed as a tenth aspect.
上記の第1の態様によれば、候補画像の特定を行わない画像検索装置による場合と比較し高精度で類似画像の検索が行われ得る。 According to said 1st aspect, compared with the case where it is based on the image search device which does not specify a candidate image, a similar image can be searched with high precision.
上記の第2の態様によれば、キー画像の特定を行わない画像検索装置による場合と比較し高精度で類似画像の検索が行われ得る。 According to said 2nd aspect, a similar image can be searched with high precision compared with the case by the image search apparatus which does not specify a key image.
上記の第3の態様によれば、キー画像の特徴点に対し全ての候補画像の特徴点の中からいずれかを対応付ける画像検索装置による場合と比較し、高速に類似画像の特定が行われ得る。 According to the third aspect, similar images can be identified at a higher speed than in the case of using an image search device that associates one of the feature points of all candidate images with the feature point of the key image. .
上記の第4の態様によれば、候補画像の特定においてページの情報を利用しない画像検索装置による場合と比較し高精度で類似画像の検索が行われ得る。 According to the fourth aspect, a similar image can be searched with higher accuracy than in the case of an image search device that does not use page information in specifying a candidate image.
上記の第5の態様によれば、類似画像の特定においてページの情報を利用しない画像検索装置による場合と比較し高精度で類似画像の検索が行われ得る。 According to said 5th aspect, compared with the case where the image search apparatus which does not use the information of a page in specification of a similar image can search for a similar image with high precision.
上記の第6の態様によれば、検索されるべき類似画像が候補画像の特定の段階で除外される危険性が低減される。 According to said 6th aspect, the risk that the similar image which should be searched is excluded in the specific step of a candidate image is reduced.
上記の第7の態様によれば、画像検索装置に対し類似画像の検索を要求する装置におけるクエリ画像の特徴量データの生成を要さない。 According to said 7th aspect, generation | occurrence | production of the feature-value data of the query image in the apparatus which requests | requires the search of a similar image with respect to an image search apparatus is not required.
上記の第8の態様によれば、端末装置のユーザは端末装置を用いてクエリ画像を画像検索装置に送信することで、クエリ画像の類似画像に応じたデータを受信することができる。 According to said 8th aspect, the user of a terminal device can receive the data according to the similar image of a query image by transmitting a query image to an image search device using a terminal device.
上記の第9の態様によれば、端末装置のユーザは端末装置において生成されたクエリ画像の特徴量データを画像検索装置に送信することで、クエリ画像の類似画像に応じたデータを受信することができる。 According to said 9th aspect, the user of a terminal device receives the data according to the similar image of a query image by transmitting the feature-value data of the query image produced | generated in the terminal device to an image search device. Can do.
上記の第10の態様によれば、候補画像の特定を行わない画像検索装置による場合と比較し高精度で類似画像の検索を行い得る画像検索装置がコンピュータにより実現される。 According to the tenth aspect described above, an image search device that can search for a similar image with higher accuracy than the case of using an image search device that does not specify a candidate image is realized by a computer.
本発明の実施の形態について図面を参照しつつ説明する。
[実施形態]
図1は、本実施形態の画像検索システム1の全体構成を示す図である。図1に示すように、画像検索システム1は、ユーザ端末10と、画像検索サーバ20を備え、画像検索を行うためのシステムである。図1には、ユーザ端末10を1つだけ図示しているが、実際には画像検索システム1を利用するユーザの数に応じてユーザ端末10の数も変化する。ユーザ端末10と画像検索サーバ20は、通信回線100を介して相互に通信する。通信回線100は、例えばインターネットを含む通信回線であるが、通信回線の種類については特に問わない。
Embodiments of the present invention will be described with reference to the drawings.
[Embodiment]
FIG. 1 is a diagram showing an overall configuration of an
ユーザ端末10は、撮影機能(カメラ機能)を有する通信端末であり、図1に示す印刷物40を撮影し、検索対象の画像であるキー画像を含むクエリ画像を表わす画像データを画像検索サーバ20へ送信する。印刷物40は、例えば広告やパンフレット、雑誌の誌面であり、媒体(例えば紙媒体)上に文字や写真等の画像要素が印刷された印刷物である。画像検索システム1で利用される印刷物40には、これらの画像要素に重ねて、埋め込み型メディアマーカ(EMM;Embedded Media Markers)と呼ばれるマーカ41が印刷されている。
The
マーカ41は、印刷物40の画像要素にデジタルコンテンツが関連付けられていることの目印である。マーカ41は、印刷物40の画像要素をユーザが視認する際の妨げとならない色や濃度で印刷される。画像検索サーバ20は、クエリ画像を使用して行った画像検索の結果に応じて、ユーザ端末10へデジタルコンテンツを提供する。
The
なお、ユーザ端末10は、ここではスマートフォンであるが、携帯電話端末やタブレット端末、ノート型パソコン、PDA(Personal Digital Assistant)、携帯型ゲーム機等の、撮影機能を有する他の通信端末であってもよい。
The
図2は、EMMの概要を説明する図である。図2(a)には、マーカ41の模式図が示されている。図2(a)に示すように、マーカ41は、特徴境界411と、アンカーポイント412と、メディアアイコン413とで構成される。特徴境界411は、ここでは円形の線画像によって表され、印刷物40に印刷されている画像要素のうちキー画像を構成する画像要素(もしくは、画像要素群)を含む領域をユーザに対し示す。図2(b)に示すように、ユーザ端末10のユーザは、マーカ41の全体が撮影範囲に含まれるように印刷物40を撮影する(以下、「マーカ41を撮影する」と表現する)ことで、デジタルコンテンツをユーザ端末10に表示させることができる。アンカーポイント412は、印刷物40においてデジタルコンテンツが関連付けられた情報が記載されている位置を示す。
FIG. 2 is a diagram for explaining the outline of the EMM. A schematic diagram of the
メディアアイコン413は、デジタルコンテンツの種類をユーザに示すアイコンである。図2に例示のメディアアイコン413はビデオカメラを模したアイコンであり、関連付けられているデジタルコンテンツが動画コンテンツであることを意味する。この場合、ユーザがユーザ端末10を用いてマーカ41を撮影すると、ユーザ端末10は図2(c)に示すように、画像検索サーバ20から提供された動画コンテンツを再生する。なお、マーカ41に関連付けられるデジタルコンテンツは動画に限られず、静止画像やWebページ等、いずれの種類であってもよい。
The
図3は、ユーザ端末10のハードウェア構成を示すブロック図である。図3に示すように、ユーザ端末10は、制御部11と、UI(User Interface)部12と、通信部13と、撮影部14と、記憶部15とを備える。
FIG. 3 is a block diagram illustrating a hardware configuration of the
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)を有するマイクロコンピュータを備える。CPUは、ROMや記憶部15に記憶されたプログラムをRAMに読み出して実行することにより、ユーザ端末10の各部を制御する。UI部12は、GUI(Graphical User Interface)を提供する操作表示部であり、表示面に画像を表示する表示パネルと、この表示面に重ねて設けられユーザに操作されるタッチスクリーンとを備える。なお、ユーザ端末10は、物理キー等の操作を受け付ける他の操作手段を有していてもよいし、音声による操作を受け付ける機能を有していてもよい。
The
通信部13は、通信回線100に接続して通信するためのインタフェースを有する。撮影部14は、CCD(Charge Coupled Device)等の撮像素子を有する撮影装置であり、撮影した画像を表わす画像データを生成する。撮影部14の撮影レンズ(図示略)は、ここではユーザ端末10の背面側に設けられる。記憶部15は、例えばEEPROM(Electronically Erasable and Programmable ROM)やフラッシュメモリ等の記憶装置を備え、制御部11により実行されるOS(Operating System)やその他のプログラムを記憶する。
The
図4は、画像検索サーバ20のハードウェア構成を示すブロック図である。図4に示すように、画像検索サーバ20は、制御部21と、通信部22と、記憶部23とを備える。制御部21は、CPU及びASIC(Application Specific Integrated Circuit)を含む演算装置やメモリを有する制御装置であり、画像検索サーバ20の各部を制御する。通信部22は、通信回線100に接続して通信するためのインタフェースある。記憶部23は、例えばハードディスク装置を有する記憶装置であり、制御部21により実行されるプログラムを記憶する。また、記憶部23は、特徴量DB(Data Base)231及びコンテンツDB232を有している。
FIG. 4 is a block diagram illustrating a hardware configuration of the
特徴量DB231は、複数の被検索画像の各々に関し、当該被検索画像の特徴点の特徴量を登録したデータベースである。図5は、特徴量DB231の構成例を示す図である。特徴量DB231は被検索画像の各々に応じたデータレコードを有し、各データレコードはデータフィールドとして、被検索画像を識別する「画像識別子」、被検索画像の特徴点を識別する「特徴点識別子」、特徴点毎の局所的な特徴量である「特徴量」を有している。図5において、特徴点識別子の左に示す図は被検索画像であり、○で示される部分が被検索画像の特徴点である。なお、図5においては後述する画像検索システム1の動作の説明における便宜のために被検索画像を図示しているが、特徴量DB231には被検索画像の画像データが格納されている必要はない。なお、以下の説明において、画像識別子「I00001」で識別される被検索画像を「被検索画像「I0001」」のようにいう。
The
図5に示されるように、1つの被検索画像が有する特徴点は通常複数であり、特徴量DB231の1つのデータレコードには特徴点識別子により識別される複数の特徴点の各々に応じた特徴量が登録されている。
As shown in FIG. 5, one featured image usually has a plurality of feature points, and one data record in the
本実施形態においては特徴量としてSIFT(Scale Invariant Feature Transform)特徴量が用いられるが、他の方式に従った特徴量がSIFT特徴量に代えて採用されてもよい。SIFT特徴量は、画素の代表輝度勾配方向を基準とした輝度勾配ヒストグラムを作成し、多次元ベクトル(128次元のベクトル)で輝度勾配を表現した局所特徴量である。SIFT特徴量は、例えば、"永橋、藤吉、金出「領域分割に基づくSIFT特徴を用いた物体識別」、電気学会、システム・制御研究会、pp39-44、2007年1月)"に記載されているとおり周知であり、その詳細な説明を省略する。 In the present embodiment, a SIFT (Scale Invariant Feature Transform) feature quantity is used as a feature quantity, but a feature quantity according to another method may be employed instead of the SIFT feature quantity. The SIFT feature value is a local feature value that creates a brightness gradient histogram based on the representative brightness gradient direction of a pixel and expresses the brightness gradient with a multidimensional vector (128-dimensional vector). SIFT feature values are described in, for example, “Nagahashi, Fujiyoshi, Kinde“ Object identification using SIFT features based on region segmentation ”, Institute of Electrical Engineers of Japan, Systems and Control Study Group, pp39-44, January 2007). As it is well known, detailed description thereof is omitted.
コンテンツDB232は、複数の被検索画像の各々に関し、当該被検索画像に応じたデジタルコンテンツを表わすコンテンツデータを登録したデータベースである。図6は、コンテンツDB232の構成例を示す図である。コンテンツDB232もまた、被検索画像の各々に応じたデータレコードを有し、各データレコードはデータフィールドとして、被検索画像を識別する「画像識別子」、被検索画像に応じた「コンテンツデータ」を有している。コンテンツDB232の画像識別子は特徴量DB231の画像識別子と共通であり、画像識別子によって特徴量DB231のデータレコードとコンテンツDB232のデータレコードは互いに対応付けられる。コンテンツデータは、画像検索サーバ20からユーザ端末10へと提供されるデジタルコンテンツを表わすデータである。本実施形態において、コンテンツDB232にはコンテンツデータが登録されているものとするが、コンテンツデータに代えて、コンテンツデータの格納場所を示すURI(Uniform Resource Identifier)等のコンテンツデータを特定するデータがコンテンツDB232に登録されていてもよい。
The
なお、本実施形態では、画像検索サーバ20が特徴量DB231及びコンテンツDB232を有しているが、特徴量DB231及びコンテンツDB232の一方又は両方が、画像検索サーバ20の外部の装置により管理され、画像検索サーバ20が通信回線等を介して特徴量DB231やコンテンツDB232にアクセスする構成が採用されてもよい。
In the present embodiment, the
図7は、ユーザ端末10及び画像検索サーバ20の機能構成を示すブロック図である。ユーザ端末10は、プログラムを実行することにより、クエリ画像取得部101と、送信部102と、受信部103とを備える装置として機能する。クエリ画像取得部101は、撮影部14の撮影によりクエリ画像を表わす画像データを生成し取得する。クエリ画像取得部101により生成された画像データは、ユーザ端末10の記憶部15に一時的に記憶される。
FIG. 7 is a block diagram illustrating functional configurations of the
送信部102はクエリ画像取得部101により取得された画像データを画像検索サーバ20へ送信する。受信部103は、送信部102により送信された画像データに対する応答として画像検索サーバ20から送信されてくるコンテンツデータを受信する。
The
画像検索サーバ20は、プログラムを実行することにより、受信部201と、特徴量データ生成部202と、記憶部203と、第1の特徴量データ取得部204と、第2の特徴量データ取得部205と、第1の対応付け部206と、候補画像特定部207と、キー画像特定部208と、第2の対応付け部209と、類似画像特定部210と、コンテンツデータ出力部211と、送信部212とを備える装置として機能する。
The
受信部201は、ユーザ端末10から送信されてくるクエリ画像を表わす画像データを受信して取得する。特徴量データ生成部202は、受信部201が受信した画像データが表わすクエリ画像の複数の特徴点を特定し、特定した複数の特徴点の各々の特徴量を表わす特徴量データを生成する。特徴量データ生成部202が行う特徴点の抽出及び特徴量データの生成の方法としては既知の方法が用いられるため、その説明を省略する。
The receiving
図8は、特徴量データ生成部202により生成される複数の特徴量データを含む特徴量テーブルの構成例を示す図である。特徴量テーブルにはクエリ画像の複数の特徴点の各々に応じたデータレコードが含まれる。各データレコードは、データフィールドとして、特徴点を識別する「特徴点識別子」、特徴点のクエリ画像における「位置」、特徴点の「特徴量」を有している。特徴量データ生成部202は画像検索の処理が完了するまでの期間、生成した特徴量テーブルを記憶部203に一時的に記憶させる。
FIG. 8 is a diagram illustrating a configuration example of a feature amount table including a plurality of feature amount data generated by the feature amount
記憶部203は特徴量DB231及びコンテンツDB232を記憶するとともに、特徴量データ生成部202により生成される特徴量テーブルを一時的に記憶する。また、記憶部203は画像検索サーバ20の他の構成部により生成されるデータを一時的に記憶する。
The
第1の特徴量データ取得部204は、記憶部203から特徴量DB231に格納されている特徴量データを第1の特徴量データとして読み出して取得する。第2の特徴量データ取得部205は、記憶部203から特徴量テーブルに格納されている特徴量データを第2の特徴量データとして読み出して取得する。
The first feature amount
第1の対応付け部206は、第1の特徴量データ取得部204により特徴量DB231から読み出される第1の特徴量データが示す特徴量と、第2の特徴量データ取得部205により特徴量テーブルから読み出される第2の特徴量データが示す特徴量を比較し、当該比較の結果に基づき、クエリ画像の複数の特徴点のうちの1以上の特徴点の各々に対し、複数の被検索画像の特徴点のいずれかを対応付ける。より具体的には、第1の対応付け部206は、特徴量DB231に登録されている特徴量データが示す特徴量と、特徴量テーブルに含まれる特徴量データが示す特徴量との類似度の指標である特徴点間距離を既知の算出式に従い順次算出する。その後、第1の対応付け部206は、クエリ画像の特徴点の各々に関し、予め定められた閾値以下の特徴点間距離をもたらす被検索画像の特徴点を対応付ける。その際、当該閾値以下の特徴点間距離をもたらす被検索画像の特徴点が複数ある場合、例えば最小の特徴点間距離をもたらす被検索画像の特徴点がクエリ画像の特徴点に対応付けられる。また、1つの被検索画像の特徴点との特徴点間距離がいずれも最小となるクエリ画像の特徴点が2つ以上ある場合、より小さい特徴点間距離を示すクエリ画像の特徴点がその被検索画像の特徴点に対応付けられる。
The
候補画像特定部207は、複数の被検索画像のうち、第1の対応付け部206によってクエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす被検索画像を類似画像の候補画像として特定する。より具体的には、候補画像特定部207は、複数の被検索画像の各々に関し、当該被検索画像の特徴点の数に対する、クエリ画像のいずれかの特徴点に対応付けられた特徴点の数の比率(以下、「対応比率」という)を算出する。そして、算出した対応比率が予め定められた閾値(例えば、70%)以上である被検索画像を、類似画像の候補画像として特定する。
The candidate
キー画像特定部208は、候補画像特定部207により特定された1以上の候補画像の各々に関し、第1の対応付け部206により当該候補画像の特徴点に対応付けられたクエリ画像の特徴点を予め定められた条件で含むクエリ画像の領域をキー画像として特定する。より具体的には、キー画像特定部208は、候補画像特定部207により特定された1以上の候補画像の各々に関し、当該候補画像の特徴点に対応付けられたクエリ画像の特徴点を特定する。続いて、キー画像特定部208は特定したそれらの特徴点のクエリ画像における位置を特徴点テーブルから特定し、それらの特徴点を全て内側に含む外接矩形を特定する。キー画像特定部208は、クエリ画像から、特定した外接矩形の領域をキー画像として特定する。なお、キー画像特定部208により、候補画像の数だけ、キー画像が特定されることになる。
For each of one or more candidate images specified by the candidate
第2の対応付け部209は、キー画像特定部208により特定された1以上のキー画像の各々に関し、第1の特徴量データ取得部204により特徴量DB231から読み出される候補画像の特徴点の第1の特徴量データが示す特徴量と、第2の特徴量データ取得部205により特徴量テーブルから読み出されるキー画像の特徴点の第2の特徴量データが示す特徴量を比較し、当該比較の結果に基づき、キー画像の複数の特徴点のうちの1以上の特徴点の各々に対し、1以上の候補画像の特徴点のいずれかを対応付ける。第2の対応付け部209が行う具体的な処理は、比較に用いる特徴量が候補画像の特徴点とキー画像の特徴点に限定される点を除き、第1の対応付け部206が行う処理と共通した処理である。
The second associating
類似画像特定部210は、キー画像特定部208により特定された1以上のキー画像の各々に関し、候補画像特定部207により特定された1以上の候補画像のうち、第2の対応付け部209により当該キー画像の特徴点に対応付けられた特徴点の数が定められた条件を満たす候補画像を類似画像として特定する。より具体的には、類似画像特定部210は、1以上のキー画像の各々に関し、まず、キー画像の特徴点に対応付けられた特徴点が最多の候補画像を特定する。続いて、類似画像特定部210は、特定した候補画像の特徴点の数に対する、キー画像の特徴点のいずれかに対応付けられた特徴点の数の比率(対応比率)を算出する。そして、算出した対応比率が予め定められた閾値(例えば、80%)以上である場合、この候補画像をキー画像の類似画像として特定する。
The similar
コンテンツデータ出力部211は、類似画像特定部210によりキー画像の各々に関し特定された類似画像に関し、当該類似画像の画像識別子に対応するコンテンツデータをコンテンツDB232(図6)から読み出し、送信部212に出力する。コンテンツデータ出力部211が送信部212に出力するコンテンツデータには、当該コンテンツデータに対応する類似画像が類似すると判定されたキー画像のクエリ画像における代表位置(例えば、キー画像の中心位置)を示す位置データが付加される。
The content
送信部212は、コンテンツデータ出力部211から出力されたコンテンツデータを、受信部201が受信した画像データの送信元のユーザ端末10に送信する。なお、類似画像特定部210により類似画像が1つも特定されなかった場合、コンテンツデータ出力部211は送信部212に類似画像の検索の失敗を通知するメッセージデータを出力し、送信部212は当該メッセージデータをコンテンツデータの代わりにユーザ端末10に送信する。
The
ユーザ端末10は受信部103により受信したコンテンツデータが表わすデジタルコンテンツをUI部12において表示する。その際、ユーザ端末10は、記憶部15に一時的に記憶した画像データに従い、クエリ画像をUI部12に表示し、各々のコンテンツデータに付加されている位置データが示すクエリ画像上の位置にデジタルコンテンツを表示する。
The
以上が画像検索システム1の構成である。続いて、画像検索システム1の動作を説明する。以下の説明において、特徴量DB231には図5に例示したデータが格納されており、コンテンツDB232には図6に例示したデータが格納されているものとする。図9は、以下に説明する画像検索システム1の動作の概要を示す図である。また、図10Aおよび図10B(以下、図10Aと図10Bを合せて図10という)は、画像検索システム1により行われる処理のシーケンスを示すフロー図である。
The above is the configuration of the
まず、ユーザは、ユーザ端末10を操作して画像検索システム1を利用するためのアプリケーションを起動した後、カメラ機能を用いて印刷物40を撮影する(ステップS101)。ユーザ端末10のクエリ画像取得部101は、撮影されたクエリ画像を表わす画像データを生成し取得する。クエリ画像取得部101により生成された画像データは記憶部15に一時的に記憶される。
First, the user starts an application for using the
図9の例では、印刷物40には2つのマーカ41が印刷されており、それらのマーカ41の特徴境界411内にはダイヤの図形(以下、単に「ダイヤ」という)とクローバの図形(以下、単に「クローバ」という)が印刷されている。ダイヤは特徴量DB231(図5)において被検索画像「I0001」と同じ画像であり、クローバは被検索画像「I0002」と同じ画像である。
In the example of FIG. 9, two
ユーザは、2つのマーカ41の各々を個別に撮影することもできるが、2つのマーカ41を一度に撮影してもよい。ここでは、ユーザが印刷物40に印刷された2つのマーカ41を一度に撮影するものとする。ユーザにより撮影されたクエリ画像には、ダイヤとクローバに加え、三角形のマーク(以下、「トライアングル」という)が含まれている。このトライアングルはいずれの被検索画像でもない。
The user can individually photograph each of the two
ユーザ端末10の送信部102はクエリ画像を表わす画像データを画像検索サーバ20に送信する(ステップS102)。画像検索サーバ20の受信部201はユーザ端末10から画像データを受信し(ステップS103)、特徴量データ生成部202に引き渡す。なお、受信部201は画像データを記憶部203に一時的に記憶させ、特徴量データ生成部202が記憶部203から画像データを読み出してもよい。以下の説明において、画像検索サーバ20のある構成部が他の構成部にデータを引き渡す場合、受信部201から特徴量データ生成部202への画像データの引き渡しの場合と同様に、直接データを引き渡す代わりに、記憶部203を介してデータを引き渡してもよい。
The
特徴量データ生成部202は画像データにより表わされるクエリ画像の特徴点を抽出し、抽出した特徴点の各々の位置及び特徴量を特定する。特徴量データ生成部202はクエリ画像の特徴点の各々の位置及び特徴量を格納する特徴量テーブル(図8)を生成し(ステップS104)、記憶部203に記憶させる。ここで、クエリ画像からは図8に示すようにn個(nは自然数)の特徴点が抽出されたものとする。
The feature amount
続いて、第2の特徴量データ取得部205は、特徴量テーブルから最初のデータレコード(特徴点識別子「p1」のデータレコード)の特徴量データを第2の特徴量データとして読み出し(ステップS105)、第1の対応付け部206に引き渡す。第2の特徴量データ取得部205は特徴量データを第1の対応付け部206に引き渡す際、その特徴量データが特徴量テーブルに格納される最後の特徴量データであれば、その旨を示す最後通知データを付加する。この場合、第2の特徴量データ取得部205が第1の対応付け部206に引き渡す特徴量データは最後ではないため、最後通知データは付加されない。
Subsequently, the second feature quantity
続いて、第1の特徴量データ取得部204は、特徴量DB231(図5)から最初のデータレコード(画像識別子「I0001」のデータレコード)に含まれる最初の特徴点識別子(「p1」)に応じた特徴量データを第1の特徴量データとして読み出し(ステップS106)、第1の対応付け部206に引き渡す。第1の特徴量データ取得部204も第2の特徴量データ取得部205と同様に、特徴量データを第1の対応付け部206に引き渡す際、その特徴量データが特徴量DB231に格納される最後の特徴量データであれば、その旨を示す最後通知データを付加する。この場合、第1の特徴量データ取得部204が第1の対応付け部206に引き渡す特徴量データは最後ではないため、最後通知データは付加されない。
Subsequently, the first feature amount
第1の対応付け部206は、第2の特徴量データ取得部205から引き渡された第2の特徴量データが示す特徴量と、第1の特徴量データ取得部204から引き渡された第1の特徴量データが示す特徴量とを用いて特徴点間距離を算出し、算出結果を示す特徴点間距離データを生成する。第1の対応付け部206は特徴点間距離データと、比較した2個の特徴点を識別するデータ(第2の特徴量データに関しては特徴点識別子、第1の特徴量データに関しては画像識別子及び特徴点識別子)とを記憶部203に一時的に記憶させる(ステップS107)。
The
第1の対応付け部206は、ステップS106において第1の特徴量データ取得部204から引き渡された第1の特徴量データに最後通知データが付加されていたか否かを判定する(ステップS108)。この場合、最後通知データは第1の特徴量データに付加されていないので(ステップS108;No)、第1の対応付け部206は第1の特徴量データ取得部204に次の特徴量データを要求する。この要求に応じて、第1の特徴量データ取得部204は特徴量DB231から次の特徴量データ(この場合、画像識別子「I0001」の特徴点識別子「p2」に応じた特徴量データ)を読み出し、第1の対応付け部206に引き渡す(ステップS106)。
The
続いて、第1の対応付け部206はステップS105において既に第2の特徴量データ取得部205から引き渡されている第2の特徴量データと、新たなステップS106において第1の特徴量データ取得部204から引き渡された第1の特徴量データを用いて、ステップS107の処理を行う。その後、第1の対応付け部206が最後通知データを伴う第1の特徴量データを用いたステップS107の処理を行うまで、ステップS106〜S108の処理が繰り返される。
Subsequently, the first associating
第1の対応付け部206は、最後通知データを伴う第1の特徴量データを用いたステップS107の処理を完了すると(ステップS108;Yes)、ステップS105において第2の特徴量データ取得部205から引き渡された第2の特徴量データに最後通知データが付加されていたか否かを判定する(ステップS109)。この場合、最後通知データは第2の特徴量データに付加されていないので(ステップS109;No)、第1の対応付け部206は第2の特徴量データ取得部205に次の特徴量データを要求する。また、第1の対応付け部206は、第1の特徴量データ取得部204に特徴量DB231の最初の特徴量データを要求する。
When the
第1の対応付け部206の要求に応じて、第2の特徴量データ取得部205は特徴量テーブルから次の特徴量データ(この場合、特徴点識別子「p2」に応じた特徴量データ)を読み出し、第1の対応付け部206に引き渡す(ステップS105)。また、第1の特徴量データ取得部204は特徴量DB231から最初の特徴量データ(画像識別子「I0001」の特徴点識別子「p1」に応じた特徴量データ)を再び読み出し、第1の対応付け部206に引き渡す(ステップS106)。
In response to the request of the
続いて、第1の対応付け部206は新たなステップS105において第2の特徴量データ取得部205から引き渡された第2の特徴量データと、新たなステップS106において第1の特徴量データ取得部204から引き渡された第1の特徴量データを用いて、ステップS107の処理を行う。その後、第1の対応付け部206が最後通知データを伴う第1の特徴量データと、最後通知データを伴う第2の特徴量データとを用いたステップS107の処理を行うまで、ステップS106〜S109の処理が繰り返される。
Subsequently, the
第1の対応付け部206が、最後通知データを伴う第1の特徴量データと最後通知データを伴う第2の特徴量データとを用いたステップS107の処理を完了すると(ステップS109;Yes)、記憶部203にはクエリ画像の全ての特徴点と全ての被検索画像の全ての特徴点との組み合わせに関し、それらの特徴点の特徴点間距離を示す特徴点間距離データが記憶されることになる。
When the
続いて、第1の対応付け部206は、ステップS107において記憶部203に一時的に記憶させた特徴点間距離データに基づき、クエリ画像の特徴点と被検索画像の特徴点の対応付けを行う(ステップS110)。図11は、第1の対応付け部206によりクエリ画像の特徴点と被検索画像の特徴点が対応付けられた状態を例示した図である。なお、図11において対応付けの行われた特徴点を●で示しており、対応付けが行われなかった特徴点を○で示している(図12等においても同様)。
Subsequently, the
続いて、候補画像特定部207は、被検索画像のうち、クエリ画像の特徴点に対応付けられた特徴点の比率(対応比率)が予め定められた閾値(70%とする)以上である被検索画像を類似画像の候補画像として特定する(ステップS111)。図11の例の場合、被検索画像「I0001」の8個の特徴点のうち7個がクエリ画像の特徴点に対応付けられているため、対応比率は87.5%となる。同様に、被検索画像「I0002」の対応比率は約77.8%、被検索画像「I0003」の対応比率は約16.7%、被検索画像「I0004」の対応比率は約22.2%となる。従って、この場合、候補画像特定部207は被検索画像「I0001」と被検索画像「I0002」を候補画像として特定する。
Subsequently, the candidate
続いて、キー画像特定部208は候補画像特定部207により特定された候補画像の各々に関し、候補画像の特徴点に対応付けられているクエリ画像の特徴点の全てを内側に含む外接矩形の領域をキー画像として特定する(ステップS112)。図12は、キー画像特定部208により特定されたキー画像を例示した図である。図12において、キー画像「K0001」は候補画像である被検索画像「I0001」に対応するキー画像であり、キー画像「K0002」は候補画像である被検索画像「I0002」に対応するキー画像である。
Subsequently, for each of the candidate images specified by the candidate
続いて、第2の対応付け部209により、ステップS112において特定されたキー画像の各々に関し、キー画像の特徴点と候補画像の特徴点の対応付けが行われる(ステップS113〜S118)。第2の対応付け部209による特徴点の対応付けの処理は、第1の対応付け部206によるクエリ画像の特徴点と被検索画像の特徴点の対応付けの処理(ステップS105〜S109)と比較し、対応付けの対象とする特徴点が異なる点を除き、共通している。
Subsequently, the
すなわち、第2の対応付け部209は、まず、第2の特徴量データ取得部205により1番目のキー画像(この場合、キー画像「K0001」)の特徴点の特徴量データを1つずつに読み出して第2の特徴量データとして第2の対応付け部209に引き渡す(ステップS113)。また、第1の特徴量データ取得部204は候補画像(この場合、被検索画像「I0001」と被検索画像「I0002」)の特徴点の特徴量データを1つずつ読み出して第1の特徴量データとして第2の対応付け部209に引き渡す(ステップS114)。第2の対応付け部209は第2の特徴量データと第1の特徴量データを用いて、特徴点間距離データを生成し、記憶部203に一時的に記憶させる(ステップS115)。
That is, the
ステップS113〜S115の処理は、全てのキー画像の全ての特徴点と全ての候補画像の全ての特徴点との特徴点間距離の算出が完了するまで、最後通知データの有無に基づく判定(ステップS116〜S118)により繰り返される。 Processing in steps S113 to S115 is performed based on the presence / absence of last notification data until calculation of the distance between feature points of all feature points of all key images and all feature points of all candidate images is completed (step It repeats by S116-S118).
続いて、第2の対応付け部209はステップS118において記憶部203に一時的に記憶させた特徴点間距離データに基づき、キー画像の特徴点と候補画像の特徴点の対応付けを行う(ステップS119)。図13は、第2の対応付け部209により2つのキー画像の特徴点と2つの候補画像の特徴点が対応付けられた状態を例示した図である。
Subsequently, the
続いて、類似画像特定部210は、候補画像のうち、キー画像の特徴点に対応付けられた特徴点の比率(対応比率)が予め定められた閾値(90%とする)以上である候補画像を類似画像として特定する(ステップS120)。図13の例の場合、候補画像である被検索画像「I0001」の8個の特徴点のうち8個がクエリ画像の特徴点に対応付けられているため、対応比率は100%となる。同様に、候補画像である被検索画像「I0002」の対応比率も100%となる。従って、この場合、類似画像特定部210は被検索画像「I0001」と被検索画像「I0002」を類似画像として特定する。
Subsequently, the similar
続いて、コンテンツデータ出力部211は、類似画像の各々に関し、類似画像の特徴点に対応付けられている特徴点が最多のキー画像をその類似画像に対応するキー画像として特定する(ステップS121)。この場合、類似画像である被検索画像「I0001」に対応するキー画像としてキー画像「K0001」が特定され、類似画像である被検索画像「I0002」に対応するキー画像としてキー画像「K0002」が特定される。なお、ステップS121において、ステップS112において特定されている候補画像とキー画像の対応関係に基づき、類似画像とキー画像の対応関係が特定されてもよい。
Subsequently, for each similar image, the content
続いて、コンテンツデータ出力部211は、類似画像の各々に関し、コンテンツDB232(図6)から類似画像の画像識別子に対応するコンテンツデータを読み出し、ステップS121において特定した対応するキー画像の代表位置(中心位置とする)を示す位置データを付加して、送信部212に出力する。送信部212はコンテンツデータ出力部211から出力された位置データの付加されたコンテンツデータをユーザ端末10に送信する(ステップS122)(図9)。
Subsequently, for each similar image, the content
ユーザ端末10の受信部103はクエリ画像の送信(ステップS102)の応答として画像検索サーバ20から送信されてくるコンテンツデータを受信する(ステップS123)。ユーザ端末10は受信したコンテンツデータが表すデジタルコンテンツをUI部12に表示する(ステップS124)。その際、ユーザ端末10は先に記憶部15に一時的に記憶しておいたクエリ画像の画像データを用いて、背景画像としてクエリ画像を表示する。
The receiving
図14は、ステップS124においてユーザ端末10に表示されるコンテンツ閲覧画面を例示した図である。コンテンツ閲覧画面には、背景画像として表示されるクエリ画像におけるキー画像の中心位置に、対応するデジタルコンテンツ(又はデジタルコンテンツに応じたボタン等)が表示される。なお、図14の例では、デジタルコンテンツ「C0001」とデジタルコンテンツ「C0002」はともに動画コンテンツであり、デジタルコンテンツに代えて再生操作を促すボタンが表示されている。ユーザはこれらのボタンを操作して、各々の動画コンテンツを再生することができる。以上が画像検索システム1の動作の説明である。
FIG. 14 is a diagram illustrating a content browsing screen displayed on the
上述したように、画像検索システム1においては、第1の対応付け部206によりクエリ画像の特徴点に対応付けられた被検索画像の特徴点の数に応じた候補画像の特定と、候補画像に応じたキー画像の特定が行われる。さらに、第2の対応付け部209によりキー画像の特徴点に対応付けられた候補画像の特徴点の数に応じた類似画像の特定が行われる。従来技術にかかる画像検索システムにおいては、第1の対応付け部206が行う対応付けと同様の対応付け、すなわちクエリ画像の特徴点と被検索画像の特徴点との対応付けが行われ、対応付けられた特徴点の数が最多の被検索画像が類似画像として特定されていた。従って、従来技術によれば、例えば図11に例示される被検索画像「I0001」が類似画像として特定され、被検索画像「I0002」は類似画像として特定されない。
As described above, in the
また、従来技術において、対応比率が90%以上のものを類似画像として特定する、という条件が付されている場合、被検索画像「I0001」も被検索画像「I0002」も共に対応比率が90%未満であるため、類似画像としては特定されない。つまり検索に失敗する。そこで、類似画像として特定する際の条件を緩和して、例えば対応比率が80%以上であるもの、とすれば、被検索画像「I0001」は類似画像として特定されるが、被検索画像「I0002」は類似画像として特定されない。さらに類似画像として特定する際の条件を緩和して、例えば対応比率が70%以上であるもの、とすれば、被検索画像「I0001」と被検索画像「I0002]はともに類似画像として特定される。ただし、類似画像として特定する際の対応比率の閾値を下げ過ぎると、キー画像とは無関係な被検索画像が誤って類似画像として特定される危険性が高まる。 Further, in the related art, when the condition that the corresponding ratio is 90% or more is specified as a similar image, both the searched image “I0001” and the searched image “I0002” have a corresponding ratio of 90%. Therefore, it is not specified as a similar image. That is, the search fails. Therefore, if the conditions for specifying as a similar image are relaxed and the corresponding ratio is 80% or more, for example, the searched image “I0001” is specified as a similar image, but the searched image “I0002” "Is not specified as a similar image. Furthermore, if the conditions for specifying as similar images are relaxed and the corresponding ratio is 70% or more, for example, both the searched image “I0001” and the searched image “I0002” are specified as similar images. However, if the threshold of the corresponding ratio when specifying as a similar image is too low, there is an increased risk that a searched image unrelated to the key image is erroneously specified as a similar image.
これに対し、画像検索システム1によれば、候補画像の特定によりクエリ画像と無関係と推定される被検索画像が類似画像の特定における候補から除外される。そのため、誤って無関係な被検索画像に対応付けられていたクエリ画像の特徴点が、類似画像の特定の際に正しい被検索画像の特徴点に対応付けられる確率が高まる。さらに、画像検索システム1によれば、クエリ画像のうち被検索画像と同じ画像が含まれていると推定される領域がキー画像として切り出され、それ以外の領域の特徴点に関しては第2の対応付け部209による対応付けから除外される。そのため、クエリ画像の背景画像などのように被検索画像とは無関係な画像の特徴点が被検索画像の特徴点に誤って対応付けられる確率が低減される。その結果、従来技術による場合と比較して高精度でクエリ画像の特徴点と被検索画像の特徴点の対応付けが行われる。
On the other hand, according to the
[変形例]
上述した実施形態は、本発明の一実施例であって、本発明がこれに限定されるものではなく、技術的思想の範囲内で様々に変形可能である。以下にそれらの変形の例を示す。なお、上述した実施形態と以下に例示する変形例はそれらの2以上が組み合わされてもよい。
[Modification]
The above-described embodiment is an example of the present invention, and the present invention is not limited to this. Various modifications can be made within the scope of the technical idea. Examples of these modifications are shown below. Note that two or more of the embodiments described above and the modifications exemplified below may be combined.
[第1変形例]
第1変形例においては、被検索画像がページ毎にグループ化されており、候補画像の特定において、ページ単位でクエリ画像の特徴点に対応付けられた被検索画像の特徴点の数がカウントされ、その数が最大のページの被検索画像の中から候補画像が特定される。
[First Modification]
In the first modified example, the search target images are grouped for each page, and the number of feature points of the search target image associated with the feature points of the query image is counted for each page in specifying candidate images. The candidate image is specified from the searched images of the page having the maximum number.
図15は、第1変形例において使用される特徴量DB231のデータの構成例を示した図である。図15に示されるように、第1変形例においては、特徴量DB231のデータレコードにはデータフィールド「ページ番号」が設けられている。このページ番号は、複数ページを持つ印刷物40において、画像識別子で識別される被検索画像がどのページに印刷されているかを示す。
FIG. 15 is a diagram illustrating a data configuration example of the
第1変形例において、候補画像特定部207は、ステップS111(図10)において、まず、クエリ画像の特徴点に対応付けられた被検索画像の特徴点の数を、被検索画像のページ番号毎に集計し、その数が最大となるページ番号の被検索画像を選択する。その後、候補画像特定部207は、ページ番号に基づき選択した被検索画像の中から、対応比率に基づき候補画像の特定を行う。
In the first modification, in step S111 (FIG. 10), the candidate
第1変形例によれば、クエリ画像の特徴点に対応付けられた被検索画像の特徴点の数に基づきユーザ端末10が撮影したページの推定が行われ、撮影したと推定されるページに印刷されている被検索画像の中から候補画像の特定が行われるため、撮影されていないページに印刷されている被検索画像が誤って候補画像として特定される危険性が低減される。その結果、印刷物40が複数ページである場合、上述した実施形態における場合と比較して高精度で類似画像の特定が行われる。
According to the first modified example, the page captured by the
[第2変形例]
第2変形例においても、第1変形例と同様に、被検索画像がページ毎にグループ化されている(図15)。ただし、第2変形例においては、類似画像の特定において、ページ単位でキー画像の特徴点に対応付けられた候補画像の特徴点の数がカウントされ、その数が最大のページの候補画像の中から類似画像が特定される。
[Second Modification]
In the second modified example, similarly to the first modified example, the searched images are grouped for each page (FIG. 15). However, in the second modified example, in specifying a similar image, the number of feature points of the candidate image associated with the feature point of the key image is counted for each page, and the number of the feature images of the page with the largest number is counted. A similar image is identified.
第2変形例において、類似画像特定部210は、ステップS120(図10)において、まず、キー画像の特徴点に対応付けられた候補画像の特徴点の数を、候補画像のページ番号毎に集計し、その数が最大となるページ番号の候補画像を選択する。その後、類似画像特定部210は、ページ番号に基づき選択した候補画像の中から、対応比率に基づき類似画像の特定を行う。
In the second modification, the similar
第2変形例によれば、キー画像の特徴点に対応付けられた候補画像の特徴点の数に基づきユーザ端末10が撮影したページの推定が行われ、撮影したと推定されるページに印刷されている候補画像の中から類似画像の特定が行われるため、撮影されていないページに印刷されている候補画像が誤って類似画像として特定される危険性が低減される。その結果、印刷物40が複数ページである場合、上述した実施形態における場合と比較して高い精度で類似画像の特定が行われる。
According to the second modification, the page captured by the
[第3変形例]
第3変形例においては、キー画像の特定は行われず、第2の対応付け部209によりクエリ画像の特徴点と候補画像の特徴点との対応付けが行われる。従って、第3変形例においては、画像検索サーバ20はキー画像特定部208を備えない。そして、ステップS113(図10)において第2の特徴量データ取得部205から第2の対応付け部209に引き渡される特徴量データは、クエリ画像の特徴点の全ての特徴量データとなる。従って、ステップS118の判定に従うループ処理は不要である。
[Third Modification]
In the third modification, the key image is not specified, and the
第3変形例によれば、キー画像の特定が行われないため、クエリ画像のうちキー画像以外の領域の特徴点が誤って候補画像の特徴点に対応付けられる可能性がある。従って、第3変形例によれば、上述した実施形態における場合と比較すると画像検索の精度が低下する。ただし、候補画像の特定は行われるため、従来技術による場合と比較して高い精度の画像検索が行われる。 According to the third modification, since the key image is not specified, there is a possibility that the feature points of the region other than the key image in the query image are erroneously associated with the feature points of the candidate image. Therefore, according to the third modification, the accuracy of the image search is reduced as compared with the case in the above-described embodiment. However, since the candidate image is specified, the image search is performed with higher accuracy than in the case of the conventional technique.
[第4変形例]
第4変形例においては、第2の対応付け部209は、ステップS119(図10)における特徴点の対応付けにおいて、ステップS112において特定されている候補画像とキー画像の対応関係に基づき、キー画像の特徴点と、当該キー画像に対応する候補画像の特徴点との対応付けが行われる。
[Fourth Modification]
In the fourth modified example, the second associating
たとえば、図12に示される例では、キー画像「K0001」は候補画像である被検索画像「I0001」の特徴点に対応付けられたクエリ画像の特徴点の外接矩形の領域として特定されたキー画像である。従って、キー画像「K0001」に対応する候補画像は被検索画像「I0001」である。同様に、キー画像「K0002」に対応する候補画像は被検索画像「I0002」である。 For example, in the example shown in FIG. 12, the key image “K0001” is specified as a circumscribed rectangular area of the feature point of the query image associated with the feature point of the search target image “I0001” that is the candidate image. It is. Therefore, the candidate image corresponding to the key image “K0001” is the searched image “I0001”. Similarly, the candidate image corresponding to the key image “K0002” is the searched image “I0002”.
第2の対応付け部209は、ステップS115において、キー画像「K0001」の特徴点の特徴量データ(第2の特徴量データ)と被検索画像「I0001」の特徴点の特徴量データ(第1の特徴量データ)とを用いて特徴点間距離の算出を行う。そして、第2の対応付け部209は、ステップS119において、キー画像「K0001」の特徴点を、キー画像「K0001」に対応する候補画像である被検索画像「I0001」の特徴点のいずれかに対応付ける。同様に、第2の対応付け部209は、ステップS115において、キー画像「K0002」の特徴点の特徴量データ(第2の特徴量データ)と被検索画像「I0002」の特徴点の特徴量データ(第1の特徴量データ)とを用いて特徴点間距離の算出を行う。そして、第2の対応付け部209は、ステップS119において、キー画像「K0002」の特徴点を、キー画像「K0002」に対応する候補画像である被検索画像「I0002」の特徴点のいずれかに対応付ける。
In step S115, the second associating
第4変形例によれば、上述した実施形態における場合と比較して、ステップS113〜S119における処理量が低減され、迅速に類似画像の特定が行われる。 According to the fourth modification, the processing amount in steps S113 to S119 is reduced compared to the case in the above-described embodiment, and a similar image is quickly identified.
[第5変形例]
第5変形例においては、ユーザ端末10がクエリ画像の特徴点の抽出及び特徴量データの生成を行う。図16は、第5変形例におけるユーザ端末10と画像検索サーバ20の機能構成を示した図である。第5変形例における画像検索サーバ20は特徴量データ生成部202を備えず、代わりにユーザ端末10が特徴量データ生成部104を備えている。
[Fifth Modification]
In the fifth modification, the
図17は第5変形例において画像検索システム1により行われる処理のシーケンスの一部を示したフロー図である。撮影によりクエリ画像取得部101がクエリ画像の画像データを生成すると(ステップS101)、特徴量データ生成部104はクエリ画像の画像データを用いて特徴量テーブル(図8)を生成する(ステップS201)。なお、ステップS204において特徴量データ生成部104が行う処理は、上述した実施形態において特徴量データ生成部202が行う処理と共通した処理である。
FIG. 17 is a flowchart showing a part of a sequence of processing performed by the
続いて、送信部102は特徴量データ生成部104により生成された特徴量テーブルを画像検索サーバ20に送信する(ステップ202)。画像検索サーバ20の受信部201は特徴量テーブルを受信し(ステップS203)、記憶部203に一時的に記憶する。その後、上述した実施形態におけるステップS105以降の処理が行われる。
Subsequently, the
第5変形例によれば、クエリ画像の特徴量データの生成がユーザ端末10により行われるため、上述した実施形態における場合と比較して、画像検索サーバ20の処理負荷が軽減される。また、一般的に画像データのデータ量よりも特徴量テーブルのデータ量の方が少ないため、第5変形例によれば、上述した実施形態における場合と比較して、通信回線100を介して通信されるデータ量が削減される。
According to the fifth modification, the feature amount data of the query image is generated by the
[その他の変形例]
(1)上述した実施形態では、特徴量としてSIFT特徴量を使用していたが、SURF(Speeded Up Robust Features)特徴量等の他の局所特徴量を使用してもよい。本発明の局所特徴量は、輝度勾配の特徴を表すのに限らず、例えば、特徴点の位置(座標)を表すものであってもよい。
[Other variations]
(1) In the above-described embodiment, the SIFT feature amount is used as the feature amount. However, other local feature amounts such as SURF (Speeded Up Robust Features) feature amount may be used. The local feature amount of the present invention is not limited to the feature of the luminance gradient, and may represent the position (coordinate) of the feature point, for example.
(2)上述した実施形態では、画像検索サーバ20は、キー画像に類似する被検索画像に応じたコンテンツデータをユーザ端末10に送信するが、送信対象となる情報はコンテンツデータに限られない。例えば、画像検索サーバ20は類似画像を表す画像データをユーザ端末10へ送信してもよい。
(2) In the above-described embodiment, the
(3)ユーザ端末10が備える構成部と画像検索サーバ20が備える構成部の配置は様々に変更可能である。例えば、ユーザ端末10が画像検索サーバ20の全ての機能を備え、画像検索サーバ20が画像検索サーバ20を備えない構成としてもよい。
(3) The arrangement of the constituent units included in the
(4)上述した実施形態では、キー画像の特定において候補画像の特徴点に対応付けられたクエリ画像の特徴点の外接矩形の領域をキー画像として特定する構成としている。キー画像を特定する際の形状やそのサイズは外接矩形に限られず、例えば円等の他の形状であってもよいし、例えば外接矩形を予め定められた拡大率で拡大した矩形のように他のサイズであってもよい。 (4) In the above-described embodiment, a circumscribed rectangular region of the feature point of the query image associated with the feature point of the candidate image in specifying the key image is specified as the key image. The shape and size for specifying the key image are not limited to the circumscribed rectangle, but may be other shapes such as a circle, or other shapes such as a rectangle obtained by enlarging the circumscribed rectangle with a predetermined magnification. May be the size.
(5)上述した実施形態では、キー画像の特定において候補画像の特徴点に対応付けられたクエリ画像の特徴点の全てを内側に含む領域をキー画像として特定する構成としている。キー画像の領域は、必ずしも全ての特徴点をその内側に含む必要はなく、それらの特徴点を予め定められた条件で含む領域であれば、他の条件に従いキー画像の領域が特定されてもよい。例えば、キー画像の特定を、候補画像の特徴点に対応付けられたクエリ画像の特徴点を予め定められた密度の閾値以上で含む領域や、密度勾配が閾値となるラインの内側の領域などをキー画像として特定する構成が採用されてもよい。このように特徴点の密度に基づきキー画像を特定する構成とした場合、上述した実施形態において図13に例示したケースでは、キー画像が図18に示すように特定される。その結果、上述した実施形態における場合と比較し、キー画像が検索対象の画像(被検索画像と同じ画像)の特徴点ではない特徴点を含む確率が低下するため、画像検索の精度が高まる。 (5) In the embodiment described above, a region including all the feature points of the query image associated with the feature points of the candidate image in specifying the key image is specified as the key image. The area of the key image does not necessarily include all the feature points inside. The area of the key image may be specified according to other conditions as long as the area includes the feature points under a predetermined condition. Good. For example, a key image is identified by including an area including a feature point of a query image associated with a feature point of a candidate image at a predetermined density threshold or more, an area inside a line having a density gradient as a threshold, and the like. A configuration specified as a key image may be employed. When the key image is specified based on the density of feature points in this way, in the case illustrated in FIG. 13 in the above-described embodiment, the key image is specified as shown in FIG. As a result, compared to the case of the above-described embodiment, the probability that the key image includes a feature point that is not a feature point of the image to be searched (the same image as the image to be searched) is reduced, so that the accuracy of the image search is increased.
(6)上述した実施形態では、候補画像の特定及び類似画像の特定において、被検索画像の特徴点のうちクエリ画像の特徴点に対応付けられた特徴点の数の比率(対応比率)に基づき、その特定を行う構成としている。候補画像の特定及び類似画像の特定には、被検索画像の特徴点のうちクエリ画像の特徴点に対応付けられた特徴点の数に基づく限り、対応比率以外の指標(例えば、対応付けられた特徴点の絶対数や特徴点の特定に応じた重み付けを乗じて加算した数等)が用いられてもよい。 (6) In the above-described embodiment, based on the ratio (correspondence ratio) of the number of feature points associated with the feature points of the query image among the feature points of the image to be searched in the specification of candidate images and the specification of similar images. , It is configured to specify that. As long as it is based on the number of feature points associated with the feature points of the query image among the feature points of the image to be searched for, the candidate image and the similar image are identified by an index other than the correspondence ratio (for example, An absolute number of feature points, a number obtained by multiplying by weighting according to specification of feature points, or the like) may be used.
(7)上述した実施形態又はその変形例のユーザ端末10や画像検索サーバ20が実現する各機能は、1又は複数のハードウェア回路により実現されてもよいし、1又は複数のプログラムを演算装置が実行することにより実現されてよいし、これらの組み合わせにより実現されてもよい。ユーザ端末10や画像検索サーバ20の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk))等)、光記録媒体(光ディスク等)、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、通信回線を介して配信されてもよい。また、本発明は、コンピュータが行う画像検索方法として把握することも可能である。
(7) Each function realized by the
1…画像検索システム、10…ユーザ端末、11…制御部、12…UI部、13…通信部、14…撮影部、15…記憶部、20…画像検索サーバ、21…制御部、22…通信部、23…記憶部、40…印刷物、41…マーカ、100…通信回線、101…クエリ画像取得部、102…送信部、103…受信部、104…特徴量データ生成部、201…受信部、202…特徴量データ生成部、203…記憶部、204…第1の特徴量データ取得部、205…第2の特徴量データ取得部、206…第1の対応付け部、207…候補画像特定部、208…キー画像特定部、209…第2の対応付け部、210…類似画像特定部、211…コンテンツデータ出力部、212…送信部、231…特徴量DB、232…コンテンツDB、411…特徴境界、412…アンカーポイント、413…メディアアイコン
DESCRIPTION OF
Claims (10)
クエリ画像の複数の特徴点の各々の特徴量を示す第2の特徴量データを取得する第2の特徴量データ取得手段と、
前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第1の対応付け手段と、
前記複数の被検索画像のうち、前記第1の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす1以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、
前記1以上の候補画像の特徴点の前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記1以上の候補画像の特徴点のいずれかを対応付ける第2の対応付け手段と、
前記1以上の候補画像のうち、前記第2の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段と
を備える画像検索装置。 First feature quantity data acquisition means for acquiring first feature quantity data indicating each feature quantity of a plurality of feature points of the searched image for each of the plurality of searched images;
Second feature quantity data acquisition means for acquiring second feature quantity data indicating each feature quantity of the plurality of feature points of the query image;
Based on the result of the comparison between the feature amount indicated by the first feature amount data and the feature amount indicated by the second feature amount data, one or more feature points of the plurality of feature points of the query image are First associating means for associating any of the feature points of the plurality of images to be searched;
Among the plurality of searched images, one or more searched images satisfying a condition in which the number of feature points associated with the feature points of the query image by the first association unit satisfies a predetermined condition. Candidate image specifying means for specifying as a candidate image;
A plurality of feature points of the query image based on a result of comparison between the feature amount indicated by the first feature amount data and the feature amount indicated by the second feature amount data of the one or more candidate image feature points. Second association means for associating one or more feature points of the one or more candidate images with one or more feature points of
Of the one or more candidate images, a similar image that identifies candidate images that satisfy a predetermined condition for the number of feature points associated with the feature points of the query image by the second association unit as similar images An image search device comprising: a specifying unit.
を備え、
前記第2の対応付け手段は、前記1以上のキー画像の各々に関し、前記1以上の候補画像の特徴点の前記第1の特徴量データが示す特徴量と、当該キー画像の特徴点の前記第2の特徴量データが示す特徴量との比較の結果に基づき、当該キー画像の複数の特徴点のうちの1以上の特徴点に、前記1以上の候補画像の特徴点のいずれかを対応付ける
請求項1に記載の画像検索装置。 For each of the one or more candidate images, one or more of the query images including the feature points of the query image associated with the feature points of the candidate image by the first association unit under a predetermined condition. A key image specifying means for specifying an area as a key image;
The second association means relates to each of the one or more key images, the feature amount indicated by the first feature amount data of the feature point of the one or more candidate images, and the feature point of the key image. Based on the result of comparison with the feature amount indicated by the second feature amount data, one or more feature points of the plurality of feature points of the key image are associated with one of the feature points of the one or more candidate images. The image search device according to claim 1.
請求項2に記載の画像検索装置。 The second association means relates to each of the one or more key images, and for each of one or more feature points of the plurality of feature points of the key image, the key image specifying means includes The image search device according to claim 2, wherein any one of the feature points of the candidate image used for identification is associated.
前記候補画像特定手段は、前記第1の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数を、当該特徴点の前記第1の特徴量データが属するグループ毎に特定し、当該特定したグループ毎の特徴点の数に基づき、前記候補画像を特定する
請求項1乃至3のいずれか1項に記載の画像検索装置。 Each of the plurality of searched images is included in any of a plurality of pages, and the first feature amount data acquisition unit is configured to group the first feature amounts grouped for each page including the searched image. Get the data,
The candidate image specifying unit specifies the number of feature points associated with the feature points of the query image by the first association unit for each group to which the first feature amount data of the feature points belongs. The image search device according to claim 1, wherein the candidate image is specified based on the number of feature points for each specified group.
前記類似画像特定手段は、前記第2の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数を、当該特徴点の前記第1の特徴量データが属するグループ毎に特定し、当該特定したグループ毎の特徴点の数に基づき、前記類似画像を特定する
請求項1乃至4のいずれか1項に記載の画像検索装置。 Each of the plurality of searched images is included in any of a plurality of pages, and the first feature amount data acquisition unit is configured to group the first feature amounts grouped for each page including the searched image. Get the data,
The similar image specifying unit specifies the number of feature points associated with the feature point of the query image by the second association unit for each group to which the first feature amount data of the feature point belongs. The image search device according to any one of claims 1 to 4, wherein the similar image is specified based on the number of feature points for each specified group.
請求項1乃至5のいずれか1項に記載の画像検索装置。 The number of feature points of the searched image associated with the feature points of the query image required under the conditions used when the similar image specifying unit specifies a similar image is determined by the candidate image specifying unit. 6. The image search device according to claim 1, wherein the image search device is larger than the number of feature points of the search target image associated with the feature points of the query image required under the conditions used when performing the search.
前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す特徴量データを生成する特徴量データ生成手段と
を備え、
前記第2の特徴量データ取得手段は、前記特徴量データ生成手段により生成された特徴量データを前記第2の特徴量データとして取得する
請求項1乃至6のいずれか1項に記載の画像検索装置。 Image data acquisition means for acquiring image data representing a query image;
A plurality of feature points of the query image represented by the image data, and feature amount data generating means for generating feature amount data indicating each feature amount of the plurality of feature points, and
The image search according to any one of claims 1 to 6, wherein the second feature amount data acquisition unit acquires the feature amount data generated by the feature amount data generation unit as the second feature amount data. apparatus.
前記端末装置は、
クエリ画像を表わす画像データを取得する画像データ取得手段と、
前記画像データを前記画像検索装置に送信する送信手段と、
前記送信手段により送信された前記画像データに対する応答として前記画像検索装置から送信されてくるデータを受信する受信手段と
を備え、
前記画像検索装置は、
複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第1の特徴量データを取得する特徴量データ取得手段と、
前記端末装置から前記画像データを受信する受信手段と、
前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す第2の特徴量データを生成する特徴量データ生成手段と、
前記第1の特徴量データが示す特徴量と前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第1の対応付け手段と、
前記複数の被検索画像のうち、前記第1の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす1以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、
前記1以上の候補画像の特徴点の前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記1以上の候補画像の特徴点のいずれかを対応付ける第2の対応付け手段と、
前記1以上の候補画像のうち、前記第2の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段と、
前記類似画像特定手段により特定された類似画像に応じたデータを前記端末装置に送信する送信手段と
を備える
データ検索システム。 A terminal device and an image search device;
The terminal device
Image data acquisition means for acquiring image data representing a query image;
Transmitting means for transmitting the image data to the image search device;
Receiving means for receiving data transmitted from the image search device as a response to the image data transmitted by the transmitting means;
The image search device includes:
For each of the plurality of search target images, feature amount data acquisition means for acquiring first feature amount data indicating the feature amounts of the plurality of feature points of the search target image;
Receiving means for receiving the image data from the terminal device;
Feature quantity data generating means for specifying a plurality of feature points of the query image represented by the image data and generating second feature quantity data indicating each feature quantity of the plurality of feature points;
Based on a result of comparison between the feature quantity indicated by the first feature quantity data and the feature quantity indicated by the second feature quantity data, the one or more feature points of the plurality of feature points of the query image are First associating means for associating one of feature points of a plurality of search target images;
Among the plurality of searched images, one or more searched images satisfying a condition in which the number of feature points associated with the feature points of the query image by the first association unit satisfies a predetermined condition. Candidate image specifying means for specifying as a candidate image;
A plurality of feature points of the query image based on a result of comparison between the feature amount indicated by the first feature amount data and the feature amount indicated by the second feature amount data of the one or more candidate image feature points. Second association means for associating one or more feature points of the one or more candidate images with one or more feature points of
Among the one or more candidate images, a similar image that identifies candidate images that satisfy a predetermined condition for the number of feature points associated with the feature points of the query image by the second association unit as a similar image Specific means,
A data search system comprising: transmission means for transmitting data corresponding to the similar image specified by the similar image specifying means to the terminal device.
前記端末装置は、
クエリ画像を表わす画像データを取得する画像データ取得手段と、
前記画像データが表わす前記クエリ画像の複数の特徴点を特定し、当該複数の特徴点の各々の特徴量を示す特徴量データを生成する特徴量データ生成手段と、
前記特徴量データを前記画像検索装置に送信する送信手段と、
前記送信手段により送信された前記特徴量データに対する応答として前記画像検索装置から送信されてくるデータを受信する受信手段と
を備え、
前記画像検索装置は、
複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す特徴量データを第1の特徴量データとして取得する特徴量データ取得手段と、
前記端末装置から送信されてくる前記特徴量データを第2の特徴量データとして受信する受信手段と、
前記第1の特徴量データが示す特徴量と前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける第1の対応付け手段と、
前記複数の被検索画像のうち、前記第1の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす1以上の被検索画像を類似画像の候補画像として特定する候補画像特定手段と、
前記1以上の候補画像の特徴点の前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記1以上の候補画像の特徴点のいずれかを対応付ける第2の対応付け手段と、
前記1以上の候補画像のうち、前記第2の対応付け手段により前記クエリ画像の特徴点に対応付けられた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する類似画像特定手段と、
前記類似画像特定手段により特定された類似画像に応じたデータを前記端末装置に送信する送信手段と
を備える
データ検索システム。 A terminal device and an image search device;
The terminal device
Image data acquisition means for acquiring image data representing a query image;
Feature quantity data generating means for identifying a plurality of feature points of the query image represented by the image data and generating feature quantity data indicating each of the feature quantities of the plurality of feature points;
Transmitting means for transmitting the feature amount data to the image search device;
Receiving means for receiving data transmitted from the image search device as a response to the feature amount data transmitted by the transmitting means;
The image search device includes:
With respect to each of the plurality of search target images, feature amount data acquisition means for acquiring feature amount data indicating the feature amount of each of the plurality of feature points of the search target image as first feature amount data;
Receiving means for receiving the feature quantity data transmitted from the terminal device as second feature quantity data;
Based on a result of comparison between the feature quantity indicated by the first feature quantity data and the feature quantity indicated by the second feature quantity data, the one or more feature points of the plurality of feature points of the query image are First associating means for associating one of feature points of a plurality of search target images;
Among the plurality of searched images, one or more searched images satisfying a condition in which the number of feature points associated with the feature points of the query image by the first association unit satisfies a predetermined condition. Candidate image specifying means for specifying as a candidate image;
A plurality of feature points of the query image based on a result of comparison between the feature amount indicated by the first feature amount data and the feature amount indicated by the second feature amount data of the one or more candidate image feature points. Second association means for associating one or more feature points of the one or more candidate images with one or more feature points of
Of the one or more candidate images, a similar image that identifies candidate images that satisfy a predetermined condition for the number of feature points associated with the feature points of the query image by the second association unit as similar images Specific means,
A data search system comprising: transmission means for transmitting data corresponding to the similar image specified by the similar image specifying means to the terminal device.
複数の被検索画像の各々に関し、当該被検索画像の複数の特徴点の各々の特徴量を示す第1の特徴量データを取得する処理と、
クエリ画像の複数の特徴点の各々の特徴量を示す第2の特徴量データを取得する処理と、
前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記複数の被検索画像の特徴点のいずれかを対応付ける処理と、
前記複数の被検索画像のうち、前記クエリ画像の特徴点に対応付けた特徴点の数が予め定められた条件を満たす1以上の被検索画像を類似画像の候補画像として特定する処理と、
前記1以上の候補画像の特徴点の前記第1の特徴量データが示す特徴量と、前記第2の特徴量データが示す特徴量との比較の結果に基づき、前記クエリ画像の複数の特徴点のうちの1以上の特徴点に、前記1以上の候補画像の特徴点のいずれかを対応付ける処理と、
前記1以上の候補画像のうち、前記クエリ画像の特徴点に対応付けた特徴点の数が予め定められた条件を満たす候補画像を類似画像として特定する処理と
を実行させるためのプログラム。 On the computer,
For each of the plurality of search target images, a process of obtaining first feature amount data indicating each feature amount of the plurality of feature points of the search target image;
Processing for obtaining second feature amount data indicating each feature amount of the plurality of feature points of the query image;
Based on the result of the comparison between the feature amount indicated by the first feature amount data and the feature amount indicated by the second feature amount data, one or more feature points of the plurality of feature points of the query image are A process of associating any of the feature points of the plurality of search target images;
A process of specifying one or more searched images satisfying a predetermined number of feature points associated with feature points of the query image among the plurality of searched images as candidate images of similar images;
A plurality of feature points of the query image based on a result of comparison between the feature amount indicated by the first feature amount data and the feature amount indicated by the second feature amount data of the one or more candidate image feature points. A process of associating one or more feature points of the one or more candidate images with one or more feature points of
A program for executing, as a similar image, a candidate image in which the number of feature points associated with the feature points of the query image satisfies a predetermined condition among the one or more candidate images.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013163249A JP2015032248A (en) | 2013-08-06 | 2013-08-06 | Image search device, system and program for searching for data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013163249A JP2015032248A (en) | 2013-08-06 | 2013-08-06 | Image search device, system and program for searching for data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015032248A true JP2015032248A (en) | 2015-02-16 |
Family
ID=52517484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013163249A Pending JP2015032248A (en) | 2013-08-06 | 2013-08-06 | Image search device, system and program for searching for data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015032248A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112015935A (en) * | 2020-09-03 | 2020-12-01 | 科大讯飞股份有限公司 | Image searching method and device, electronic equipment and storage medium |
WO2024013901A1 (en) * | 2022-07-13 | 2024-01-18 | 日本電信電話株式会社 | Match rate calculation device, match rate calculation method, and match rate calculation program |
JP7453175B2 (en) | 2021-03-25 | 2024-03-19 | Kddi株式会社 | Position estimation device, method and program |
-
2013
- 2013-08-06 JP JP2013163249A patent/JP2015032248A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112015935A (en) * | 2020-09-03 | 2020-12-01 | 科大讯飞股份有限公司 | Image searching method and device, electronic equipment and storage medium |
CN112015935B (en) * | 2020-09-03 | 2022-12-06 | 科大讯飞股份有限公司 | Image searching method and device, electronic equipment and storage medium |
JP7453175B2 (en) | 2021-03-25 | 2024-03-19 | Kddi株式会社 | Position estimation device, method and program |
WO2024013901A1 (en) * | 2022-07-13 | 2024-01-18 | 日本電信電話株式会社 | Match rate calculation device, match rate calculation method, and match rate calculation program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5612310B2 (en) | User interface for face recognition | |
EP3125135B1 (en) | Picture processing method and device | |
CN110084153B (en) | Smart camera for automatically sharing pictures | |
JP5358083B2 (en) | Person image search device and image search device | |
JP6044548B2 (en) | Local feature quantity extraction device, local feature quantity extraction method, and program | |
JP6103243B2 (en) | Local feature quantity extraction device, local feature quantity extraction method, and program | |
JP5544250B2 (en) | Display image search method | |
CN105243084A (en) | Photographed image file storage method and system and photographed image file search method and system | |
US20210224322A1 (en) | Image search system, image search method and storage medium | |
JP2004280254A (en) | Contents categorizing method and device | |
JP2015032248A (en) | Image search device, system and program for searching for data | |
JP6171660B2 (en) | Information processing apparatus, information processing system, and program | |
JP2018097490A (en) | Information processor, method and program | |
JP5739239B2 (en) | Imaging support system and imaging apparatus | |
US11297242B2 (en) | Imaging apparatus which generates title images for classifying a plurality of captured images and inserts the title images as separate images within the plurality of captured images | |
JP5932107B2 (en) | Image processing server and imaging apparatus | |
KR102178172B1 (en) | Terminal and service providing device, control method thereof, computer readable medium having computer program recorded therefor and image searching system | |
JP6244887B2 (en) | Information processing apparatus, image search method, and program | |
WO2015185479A1 (en) | Method of and system for determining and selecting media representing event diversity | |
JP5651975B2 (en) | Image browsing device and camera | |
CN110866148A (en) | Information processing system, information processing apparatus, and storage medium | |
JP5871293B2 (en) | Mobile terminal and image classification method | |
JP5967036B2 (en) | Image search system, information processing apparatus, and program | |
JP2013175956A (en) | Image pickup device, image pickup method, image processing device, image processing method and image processing system | |
JP2011203769A (en) | Image retrieval device and method, information terminal, information processing method, image retrieval system, and program |