JP2015022631A - Information processor, information processing system and program - Google Patents
Information processor, information processing system and program Download PDFInfo
- Publication number
- JP2015022631A JP2015022631A JP2013151801A JP2013151801A JP2015022631A JP 2015022631 A JP2015022631 A JP 2015022631A JP 2013151801 A JP2013151801 A JP 2013151801A JP 2013151801 A JP2013151801 A JP 2013151801A JP 2015022631 A JP2015022631 A JP 2015022631A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- unit
- feature amount
- query image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000006866 deterioration Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 56
- 230000008569 process Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000007423 decrease Effects 0.000 description 11
- 239000003550 marker Substances 0.000 description 10
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理システム及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing system, and a program.
画像検索の技術において、画像検索を要求する検索キーとしてのクエリ画像と、データベースに登録された検索対象の画像とを比較する場合に、各画像から特徴点を検出して、特徴点同士の対応（マッチング）を取る方法が用いられることがある。特許文献１は、特徴点同士の対応を決定する際の誤りを抑制するために、比較される２つの画像をそれぞれ複数の縮小率で縮小して、各画像中のオブジェクトの大きさが近くなる関係を判定し、判定した関係に近い画像から抽出した特徴点ほど優先度を高くして類似度を算出することを開示している。
In image search technology, when comparing a query image as a search key for requesting an image search with an image to be searched registered in the database, feature points are detected from each image and correspondence between the feature points is detected. (Matching) may be used. In
本発明の目的は、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることである。 An object of the present invention is to suppress a decrease in accuracy in determining an image similar to a query image caused by the query image.
本発明の請求項１に係る情報処理装置は、第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録する登録処理部と、クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、前記比較部での比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断する判断部とを備える。
The information processing apparatus according to
本発明の請求項２に係る情報処理装置は、請求項１に記載の構成において、前記第１の画像に画像変換処理を施して第２の画像を生成する生成部を備え、前記抽出部は、前記生成部により生成された前記第２の画像から前記第２の特徴量を抽出し、前記登録処理部は、前記抽出部により抽出された前記第２の特徴量を前記データベースへ登録することを特徴とする。
An information processing apparatus according to claim 2 of the present invention includes a generation unit that performs image conversion processing on the first image to generate a second image in the configuration according to
本発明の請求項３に係る情報処理装置は、請求項１又は２に記載の構成において、前記登録処理部は、前記検索対象特徴量を前記第２の特徴量とし、前記第１の特徴量と対応付けて、前記データベースへ登録することを特徴とする。
本発明の請求項４に係る情報処理装置は、請求項３に記載の構成において、前記登録処理部は、前記クエリ画像が前記第１の画像に類似すると判断した結果の信頼度が、予め決められた値である場合に、前記検索対象特徴量を前記データベースへ登録することを特徴とする。
The information processing apparatus according to claim 3 of the present invention is the configuration according to
According to a fourth aspect of the present invention, in the configuration according to the third aspect, the registration processing unit determines in advance the reliability of the result determined that the query image is similar to the first image. In the case of the obtained value, the search target feature amount is registered in the database.
本発明の請求項５に係る情報処理装置は、請求項１から４のいずれか１項に記載の構成において、前記登録処理部は、前記第１の画像の特徴点の特徴量である前記第１の特徴量と、当該特徴点に対応した前記第２の特徴量とを対応付けて前記データベースへ登録し、前記抽出部は、前記クエリ画像の特徴点の特徴量である前記検索対象特徴量を抽出し、前記判断部は、前記クエリ画像の特徴点毎に前記検索対象特徴量を比較した結果に基づいて、前記第１の画像と前記クエリ画像とが類似するか否かを判断することを特徴とする。
本発明の請求項６に係る情報処理装置は、請求項１から５のいずれか１項に記載の構成において、通信端末により送信された前記クエリ画像を受信するクエリ画像受信部と、前記クエリ画像受信部により受信されたクエリ画像に類似すると前記判断部が判断した前記第１の画像に対応付けられたコンテンツ情報を、前記通信端末へ出力する出力部とを備えることを特徴とする
An information processing apparatus according to a fifth aspect of the present invention is the information processing apparatus according to any one of the first to fourth aspects, wherein the registration processing unit is a feature amount of a feature point of the first image. The feature quantity of 1 and the second feature quantity corresponding to the feature point are registered in the database in association with each other, and the extraction unit is the search target feature quantity that is a feature quantity of the feature point of the query image And the determination unit determines whether the first image and the query image are similar based on a result of comparing the search target feature values for each feature point of the query image. It is characterized by.
An information processing apparatus according to claim 6 of the present invention, in the configuration according to any one of
本発明の請求項７に係る情報処理システムは、ユーザに使用される通信端末と、前記通信端末と通信する情報処理装置とを備え、前記通信端末は、撮影する撮影部と、前記撮影部の撮影により得られた画像に基づいて、前記情報処理装置へクエリ画像を送信するクエリ画像送信部とを有し、前記情報処理装置は、前記クエリ画像送信部により送信されたクエリ画像を受信するクエリ画像受信部と、第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録する登録処理部と、前記クエリ画像受信部により受信されたクエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、前記比較部での比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断する判断部と前記判断部により前記クエリ画像に類似すると判断された前記第１の画像に応じた情報を、前記通信端末へ出力する出力部とを有する。 An information processing system according to a seventh aspect of the present invention includes a communication terminal used by a user and an information processing apparatus that communicates with the communication terminal. The communication terminal includes: an imaging unit that captures an image; A query image transmission unit that transmits a query image to the information processing device based on an image obtained by shooting, and the information processing device receives a query image transmitted by the query image transmission unit. An image receiving unit, a registration processing unit that associates a first feature amount, which is a feature amount representing a feature of the first image, and a second feature amount different from the first feature amount and registers them in the database. An extraction unit that extracts a search target feature amount that is a feature amount representing a feature of the query image received by the query image reception unit, a search target feature amount extracted by the extraction unit, and a database registered in the database. When the comparison unit that compares each feature amount in a predetermined range and the comparison target unit obtain a result that the search target feature amount is similar to the second feature amount, A determination unit that determines that the query image is similar to the query image, and an output unit that outputs information corresponding to the first image determined to be similar to the query image by the determination unit to the communication terminal .
本発明の請求項８に係るプログラムは、コンピュータに、第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録するステップと、クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出するステップと、抽出した前記検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較するステップと、前記比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断するステップとを実行させるためのプログラムである。 According to an eighth aspect of the present invention, a program corresponds to a first feature amount that is a feature amount representing a feature of the first image and a second feature amount that is different from the first feature amount. A step of registering in the database, a step of extracting the search target feature quantity that is a feature quantity representing the feature of the query image, the extracted search target feature quantity, and a predetermined range registered in the database The first image and the query image are similar to each other when the search target feature value is similar to the second feature value. This is a program for executing the determining step.
請求項１に係る発明によれば、第１の画像の特徴量である第１の特徴量とは異なる第２の特徴量を用いないで、第１の画像とクエリ画像との類似を判断する場合に比べて、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることができる。
請求項２に係る発明によれば、クエリ画像で発生し得る画像の変化に応じた第２の特徴量に基づいて、クエリ画像に類似する画像を判断することができる。
請求項３に係る発明によれば、クエリ画像に現に発生した画像の変化に応じた第２の特徴量に基づいて、クエリ画像に類似する画像を判断することができる。
請求項４に係る発明によれば、クエリ画像に類似する画像の判断の精度の向上に寄与し得る検索対象特徴量をデータベースに登録することができる。
請求項５に係る発明によれば、特徴点同士の対応を取ってクエリ画像に類似する画像を判断することができる。
請求項６に係る発明によれば、クエリ画像に類似する画像に対応付けられたコンテンツ情報を出力することができる。
請求項７に係る発明によれば、第１の画像の特徴量である第１の特徴量とは異なる第２の特徴量を用いないで、第１の画像とクエリ画像との類似を判断する場合に比べて、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることができる。
請求項８に係る発明によれば、第１の画像の特徴量である第１の特徴量とは異なる第２の特徴量を用いないで、第１の画像とクエリ画像との類似を判断する場合に比べて、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることができる。
According to the first aspect of the present invention, the similarity between the first image and the query image is determined without using a second feature amount that is different from the first feature amount that is the feature amount of the first image. Compared to the case, it is possible to suppress a decrease in the accuracy of determining an image similar to the query image due to the query image.
According to the second aspect of the present invention, an image similar to the query image can be determined based on the second feature amount corresponding to the change in the image that can occur in the query image.
According to the third aspect of the present invention, an image similar to the query image can be determined based on the second feature amount corresponding to the change of the image that actually occurs in the query image.
According to the invention which concerns on Claim 4, the search object feature-value which can contribute to the improvement of the precision of judgment of the image similar to a query image can be registered into a database.
According to the fifth aspect of the present invention, it is possible to determine an image similar to the query image by taking correspondence between the feature points.
According to the invention which concerns on Claim 6, the content information matched with the image similar to a query image can be output.
According to the invention of claim 7, the similarity between the first image and the query image is determined without using a second feature amount that is different from the first feature amount that is the feature amount of the first image. Compared to the case, it is possible to suppress a decrease in the accuracy of determining an image similar to the query image due to the query image.
According to the eighth aspect of the present invention, the similarity between the first image and the query image is determined without using a second feature amount that is different from the first feature amount that is the feature amount of the first image. Compared to the case, it is possible to suppress a decrease in the accuracy of determining an image similar to the query image due to the query image.
本発明の実施の形態について図面を参照しつつ説明する。
［第１実施形態］
図１は、第１実施形態の画像検索システム１の全体構成を示す図である。図１に示すように、画像検索システム１は、ユーザ端末１０と、画像検索サーバ２０と、登録端末３０とを備え、画像検索を行うための情報処理システムである。図１には、ユーザ端末１０及び登録端末３０をそれぞれ１つだけ図示しているが、実際にはより多数存在する。ユーザ端末１０、画像検索サーバ２０及び登録端末３０の各々は、通信回線１００に接続して相互に通信する。通信回線１００は、例えばインターネットを含む通信回線であるが、通信回線の種類については特に問わない。
Embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a diagram illustrating an overall configuration of an
ユーザ端末１０は、撮影機能（カメラ機能）を有する通信端末であり、図１に示す印刷物４０を撮影し、画像検索を要求するクエリ画像を、画像検索サーバ２０へ送信する。クエリ画像は、画像検索サーバ２０で実行される画像検索の検索キーとなる画像データで、画像検索サーバ２０に対する画像検索の実行要求を画像により表現したデータである。画像検索サーバ２０は、ユーザ端末１０から受信したクエリ画像に類似する画像（後述する登録画像）を検索するための情報処理を行う情報処理装置である。印刷物４０は、例えば広告やパンフレット、雑誌の誌面であり、媒体（例えば紙媒体）上に文字や写真等の画像要素が印刷された印刷物である。印刷物４０では、この画像要素に重ねて、埋め込み型メディアマーカ（ＥＭＭ；Embedded Media Markers）と呼ばれるマーカ４１が印刷されている。マーカ４１は、印刷物４０の画像要素にデジタルコンテンツが関連付けられていることの目印である。マーカ４１は、印刷物４０の画像要素をユーザが視認する際の妨げとならないように、比較的薄い色を用いて印刷される。登録端末３０は、例えばコンテンツプロバイダにより使用され、ＥＭＭに関する情報及びデジタルコンテンツに関する情報を、画像検索サーバ２０に登録するための通信端末である。
なお、ユーザ端末１０は、ここではスマートフォンであるが、携帯電話端末やタブレット端末、ノート型パソコン、ＰＤＡ（Personal Digital Assistant）、携帯型ゲーム機等の、撮影機能を有する他の通信端末であってもよい。また、登録端末３０は、例えばパーソナル・コンピュータであるが、その他の通信端末であってもよい。
The
The
図２は、ＥＭＭの概要を説明する図である。
図２（ａ）には、マーカ４１の模式図が示されている。図２（ａ）に示すように、マーカ４１は、特徴境界４１１と、アンカーポイント４１２と、メディアアイコン４１３とで構成される。特徴境界４１１は、ここでは円形の線画像によって表され、印刷物４０の画像要素を内側に含む。図２（ｂ）に示すように、ユーザ端末１０のユーザは、印刷物４０を撮影する際に、マーカ４１の全体が撮影範囲に含まれるようにユーザ端末１０を操作する。アンカーポイント４１２は、デジタルコンテンツを関連付ける画像要素の位置を特定する位置情報に相当する。メディアアイコン４１３は、デジタルコンテンツの種類を識別可能なアイコンである。メディアアイコン４１３は、ここではビデオカメラを模したアイコン画像であるが、このアイコン画像はデジタルコンテンツが動画コンテンツであることを意味する。この場合、マーカ４１を撮影したユーザ端末１０は、図２（ｃ）に示すように、画像検索サーバ２０から提供された動画コンテンツを再生して動画像Ｃを表示する。動画コンテンツは、印刷物４０の画像要素に関連した内容のデジタルコンテンツである。
なお、マーカ４１に関連付けられるデジタルコンテンツは、静止画コンテンツやＷｅｂコンテンツその他のデジタルコンテンツであってもよい。
FIG. 2 is a diagram for explaining the outline of the EMM.
A schematic diagram of the
The digital content associated with the
図３は、ユーザ端末１０のハードウェア構成を示すブロック図である。図３に示すように、ユーザ端末１０は、制御部１１と、ＵＩ（User Interface）部１２と、通信部１３と、撮影部１４と、記憶部１５とを備える。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)及びＲＡＭ（Random Access Memory）を有するプロセッサを備える。ＣＰＵは、ＲＯＭや記憶部１５に記憶された制御プログラムをＲＡＭに読み出して実行することにより、ユーザ端末１０の各部を制御する。また、制御部１１は、ＡＳＩＣ（Application Specific Integrated Circuit）で例示される画像処理部を備え、この画像処理部により画像処理を行う。ＵＩ部１２は、ＧＵＩ（Graphical User Interface）を提供する操作表示部であり、表示面に画像を表示する表示パネルと、この表示面に重ねて設けられユーザに操作されるタッチスクリーンとを備える。
なお、ユーザ端末１０は、物理キー等の操作を受け付ける他の操作手段を有していてもよいし、音声入力操作を受け付ける機能を有していてもよい。
FIG. 3 is a block diagram illustrating a hardware configuration of the
The
Note that the
通信部１３は、通信回線１００に接続して通信するためのインタフェースを有する。撮影部１４は、ＣＣＤ（Charge Coupled Device）等の撮像素子を有する撮影装置であり、撮影した画像である撮影画像（静止画像又は動画像）を生成する。撮影部１４の撮影レンズ（図示略）は、ここではユーザ端末１０の背面側に設けられる。記憶部１５は、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やフラッシュメモリ等の記憶装置を備え、制御部１１により実行されるＯＳ（Operating System）やその他のプログラムを記憶する。
The
図４は、画像検索サーバ２０のハードウェア構成を示すブロック図である。図４に示すように、画像検索サーバ２０は、制御部２１と、通信部２２と、記憶部２３とを備える。
制御部２１は、ＣＰＵ、ＲＯＭ及びＲＡＭを有するプロセッサを備える。ＣＰＵは、ＲＯＭや記憶部２３に記憶された制御プログラムをＲＡＭに読み出して実行することにより、画像検索サーバ２０の各部を制御する。また、制御部２１は、ＡＳＩＣで例示される画像処理部を備え、この画像処理部により画像処理を行う。通信部２２は、通信回線１００に接続して通信するためのインタフェースある。記憶部２３は、例えばハードディスク装置を有する記憶装置であり、制御部２１により実行されるプログラムを記憶する。また、記憶部２３は、特徴量ＤＢ（Data Base）２３１及びコンテンツＤＢ２３２を有している。特徴量ＤＢ２３１は、検索される対象である登録画像（第１の画像の一例）の特徴を表す特徴量を登録したデータベースである。コンテンツＤＢ２３２は、登録画像毎に、その登録画像に対応付けられたコンテンツ情報を登録したデータベースである。
FIG. 4 is a block diagram illustrating a hardware configuration of the
The
図５は、特徴量ＤＢ２３１の構成例を示す図である。
図５に示すように、特徴量ＤＢ２３１には、各々の登録画像を一意に識別する識別子である画像識別子と、この登録画像の特徴点毎の特徴量（具体的には、局所特徴量）とが対応付けて登録されている。局所特徴量は、画像に含まれる特徴点の局所的な特徴を表す特徴量である。局所特徴量は、ここでは、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量である。ＳＩＦＴ特徴量は、画素の代表輝度勾配方向を決定し、その方向を基準とした輝度勾配ヒストグラムを作成し、多次元ベクトル（例えば１２８次元のベクトル）で記述される局所特徴量である。ＳＩＦＴ特徴量は、例えば、“永橋、藤吉、金出「領域分割に基づくＳＩＦＴ特徴を用いた物体識別」、電気学会、システム・制御研究会、pp39-44、2007年1月）”に記載されているとおり周知であり、その詳細な説明を省略する。
FIG. 5 is a diagram illustrating a configuration example of the
As shown in FIG. 5, the
図５に示す例では、特徴量ＤＢ２３１において、画像識別子「ＩＤ０００１」の登録画像Ｉｓについて、ｐ１，ｐ２，・・・，ｐｍ（ｍは整数）というｍ個の特徴点の局所特徴量が、特徴量ＤＢ２３１に登録されている。以下の説明では、ｐ１，ｐ２，・・・，ｐｍのｍ個の特徴点の各々を特に区別する必要がないときには、これらを「特徴点ｐ」と総称する。また、特徴量ＤＢ２３１において、同一のレコード（行）で対応付けられた複数の局所特徴量の各々は、登録画像の同一の特徴点に対応している。この複数の局所特徴量は、具体的には、局所特徴量Ｖｓ、及び、対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎ（ｎは整数）を含んで構成される。局所特徴量Ｖｓは、登録画像Ｉｓから検出された特徴点ｐの局所特徴量（第１の特徴量の一例）である。
In the example illustrated in FIG. 5, in the
対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎの各々は、特徴量ＤＢ２３１で同一のレコードで対応付けられた局所特徴量Ｖｓとは異なる特徴量（第２の特徴量の一例）である。対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎの各々は、登録画像Ｉｓに画像変換処理を施して生成された画像（以下、「変換画像」という。）Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎ（第２の画像の一例）からそれぞれ抽出される。対応特徴量Ｖｔ１は変換画像Ｉｔ１から抽出され、対応特徴量Ｖｔ２は変換画像Ｉｔ２から抽出されるという具合に、符号の末尾の値が同じ対応特徴量と変換画像とが対応している。また、特徴量ＤＢ２３１で同一のレコードで対応付けられた対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎの各々は、同一の特徴点ｐに対応する特徴点（以下、「対応特徴点」という。）の局所特徴量である。特徴点ｐの対応特徴点は、この特徴点ｐの画像変換処理後の座標により特定される。
Each of the corresponding feature amounts Vt1, Vt2,..., Vtn is a feature amount (an example of a second feature amount) different from the local feature amount Vs associated with the same record in the
ところで、上述の変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎは、各々異なる画像変換処理によって生成される。図５に示す変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎのうち、矩形以外の形状で表した変換画像は、登録画像Ｉｓを台形状又は平行四辺形状に変形させる歪みを与える画像変換処理（以下、「変形処理」という。）を施して生成される。また、変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎのうち、斜線部又はドット部を付して表した変換画像は、登録画像Ｉｓの明るさ（例えば明度や輝度）を変換する画像変換処理（以下、「明るさ変換処理」という。）を施して生成される。
なお、特徴量ＤＢ２３１では、登録画像毎に局所特徴量が登録される特徴点の数が異なっていてもよいし、特徴点毎に対応特徴量の数が異なっていてもよい。
By the way, the above-mentioned converted images It1, It2,... Itn are generated by different image conversion processes. The converted image represented by a shape other than the rectangle among the converted images It1, It2,..., Itn shown in FIG. 5 is an image conversion process (hereinafter, referred to as distortion) that deforms the registered image Is into a trapezoid shape or a parallelogram shape. , Referred to as “deformation process”). Moreover, among the converted images It1, It2,..., Itn, a converted image represented by a hatched portion or a dot portion is an image conversion process for converting the brightness (for example, brightness or luminance) of the registered image Is ( Hereinafter, it is generated by performing “brightness conversion processing”.
In the
図６は、コンテンツＤＢ２３２の構成例を示す図である。
図６に示すように、コンテンツＤＢ２３２には、画像識別子とコンテンツ情報とが対応付けて登録されている。画像識別子は、特徴量ＤＢ２３１に登録される画像識別子と共通する。コンテンツ情報は、画像検索サーバ２０からユーザ端末１０へと提供されるデジタルコンテンツを示す情報である。コンテンツ情報は、ここでは、デジタルコンテンツの格納場所を示すＵＲＩ（Uniform Resource Identifier）等のアクセス先の情報であるが、デジタルコンテンツ自体を示す情報であってもよい。
なお、この実施形態では、画像検索サーバ２０が特徴量ＤＢ２３１及びコンテンツＤＢ２３２を有しているが、特徴量ＤＢ２３１及びコンテンツＤＢ２３２の一方又は両方が、画像検索サーバ２０の外部のデータベースによって実現されてもよい。
FIG. 6 is a diagram illustrating a configuration example of the
As shown in FIG. 6, in the
In this embodiment, the
図７は、ユーザ端末１０及び画像検索サーバ２０の機能構成を示すブロック図である。図７に示すように、画像検索サーバ２０は、プログラムを実行することにより、登録画像受信部２０１と、抽出部２０２と、生成部２０３と、登録処理部２０４と、クエリ画像受信部２０５と、検索処理部２０６と、コンテンツ情報出力部２０７とに相当する機能を実現する。ユーザ端末１０は、プログラムを実行することにより、撮影画像取得部１０１と、クエリ画像送信部１０２と、コンテンツ情報受信部１０３とに相当する機能を実現する。
FIG. 7 is a block diagram illustrating functional configurations of the
画像検索サーバ２０の登録画像受信部２０１は、登録端末３０から登録要求があった登録画像を受信する。
抽出部２０２は、供給された画像から特徴点を検出し、検出した特徴点の局所特徴量を抽出する。例えば、抽出部２０２は、登録画像受信部２０１から供給された登録画像Ｉｓから局所特徴量Ｖｓを抽出する。また、抽出部２０２は、生成部２０３により生成された変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎの各々から、対応特徴点の対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎをそれぞれ抽出する。また、抽出部２０２は、クエリ画像受信部２０５から供給されたクエリ画像の特徴点の局所特徴量（以下、「検索対象特徴量」という。）を抽出する。検索対象特徴量は、クエリ画像と類似する登録画像を検索する際に使用される。
The registered
The
生成部２０３は、登録要求があった登録画像Ｉｓに画像変換処理を施して、変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎをそれぞれ生成する。例えば、生成部２０３は、登録画像Ｉｓに、変形処理又は明るさ変換処理を施して、変換画像を生成する。変形処理では、生成部２０３は、画像の変形方向（水平方向又は／及び垂直方向）及び変形度合いの少なくとも一方を各々異ならせて、複数の変換画像を生成する。明るさ変換処理では、生成部２０３は、画像の明るさを変化させる方向（暗くする方向又は明るくする方向）及び明るさの変化度合いの少なくとも一方を各々異ならせて、複数の変換画像を生成する。
The
登録処理部２０４は、登録画像受信部２０１により受信された登録画像Ｉｓの特徴点ｐ毎に、この登録画像Ｉｓから抽出された局所特徴量Ｖｓと、この登録画像Ｉｓに基づいて生成される変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎの各々から抽出された対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎとを、特徴量ＤＢ２３１へ登録する。この際、登録処理部２０４は、特徴点ｐの局所特徴量Ｖｓと、この特徴点ｐの対応特徴点の対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎとを同じレコードで対応付けて、特徴量ＤＢ２３１へ登録する。
The
ユーザ端末１０の撮影画像取得部１０１は、撮影部１４の撮影により得られた画像である撮影画像を取得する。
クエリ画像送信部１０２は、撮影画像取得部１０１が取得した撮影画像に基づいて、画像検索サーバ２０へクエリ画像を送信する。
The captured
The query
画像検索サーバ２０のクエリ画像受信部２０５は、クエリ画像送信部１０２により送信されたクエリ画像を受信する。
検索処理部２０６は、クエリ画像送信部１０２により送信されたクエリ画像に類似する登録画像を、特徴量ＤＢ２３１に基づいて検索する。検索処理部２０６の機能は、比較部２０６１と、判断部２０６２とに大別される。
The query
The
比較部２０６１は、抽出部２０２が抽出した検索対象特徴量と、特徴量ＤＢ２３１に登録されている予め定められた特徴量の各々とを比較する。比較部２０６１は、特徴量ＤＢ２３１に登録されたすべての特徴量を検索範囲として検索対象特徴量と比較してもよいし、特徴量ＤＢ２３１に登録された一部の特徴量を検索範囲（例えば、ユーザ権限で絞られた特徴量の範囲）として検索対象特徴量と比較してもよい。ここにおいて、比較部２０６１は、クエリ画像の特徴点毎に、抽出部２０２が抽出したクエリ画像の検索対象特徴量を、検索範囲に含まれる局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎのそれぞれと比較する。この比較に際して、比較部２０６１は、クエリ画像の特徴点毎に、局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎとの局所特徴量の類似度をそれぞれ算出する。類似度の算出アルゴリズムについては特に問わないが、比較される特徴量同士の差分が小さいほど類似度が大きくなり、特徴量同士の差分が大きいほど類似度が小さくなる。
The
判断部２０６２は、比較部２０６１での比較結果に基づいて、クエリ画像に類似する登録画像を判断する。ここにおいて、判断部２０６２は、登録画像から抽出された局所特徴量Ｖｓのみならず、検索対象特徴量が対応特徴量と類似する結果を得た場合にも、登録画像とクエリ画像とが類似すると判断する。
この判断に際して、判断部２０６２は、比較部２０６１での比較結果に基づいて、登録画像Ｉｓの特徴点ｐの中から、クエリ画像の各特徴点の対応点を決定する。例えば、判断部２０６２は、比較部２０６１により類似度に基づいて、クエリ画像の特徴点毎に、類似度が最も高い特徴点ｐを対応点に決定する。そして、判断部２０６２は、決定した対応点に基づいて、クエリ画像に類似する登録画像を判断する。例えば、判断部２０６２は、対応点が最も多い登録画像Ｉｓを判断する。
The
In this determination, the
コンテンツ情報出力部２０７（出力部の一例）は、判断部２０６２がクエリ画像に類似すると判断した登録画像に対応付けられたコンテンツ情報を、ユーザ端末１０へ出力する。コンテンツ情報出力部２０７は、判断部２０６２が類似すると判断した登録画像の画像識別子に対応付けられたコンテンツ情報を、コンテンツＤＢ２３２から取得して、ユーザ端末１０へ送信出力する。
ユーザ端末１０のコンテンツ情報受信部１０３は、コンテンツ情報出力部２０７によりされたコンテンツ情報を受信する。
The content information output unit 207 (an example of an output unit) outputs content information associated with a registered image that the
The content
図８は、画像検索システム１で実行される処理の流れを示すシーケンス図である。
登録端末３０は、利用者により画像検索サーバ２０への登録を指示する操作が行われると、登録したい登録画像の登録要求を、画像検索サーバ２０へ送信する（ステップＳ１）。画像検索サーバ２０の制御部２１は、通信部２２により登録要求を受信すると、登録処理を実行する（ステップＳ２）。登録処理は、登録要求があった登録画像についてデータを、特徴量ＤＢ２３１及びコンテンツＤＢ２３２へ登録する処理である。
FIG. 8 is a sequence diagram showing a flow of processing executed in the
When an operation for instructing registration to the
図９は、登録処理の流れを示すフローチャートである。図１０は、登録処理における特徴点の抽出及び登録の具体例を説明する図である。図１０及び後で説明する図１２において、特徴点（対応特徴点）に関連付けて「ａ（ｂ）」と付しているのは、特徴点ａの局所特徴量がｂであることを意味する。
画像検索サーバ２０の制御部２１は、登録要求に含まれる登録画像Ｉｓを取得する（ステップＳ２１）。制御部２１は、取得した登録画像Ｉｓから特徴点ｐを検出し、各特徴点ｐの局所特徴量Ｖｓを抽出する（ステップＳ２２）。ここで、制御部２１が、図１０（ａ）に示す登録画像Ｉｓを取得した場合を考える。この場合、制御部２１は、図１０（ｂ）に示すように、登録画像Ｉｓのエッジやコーナー等の特徴点ｐ（「●」（黒丸印）で表す。）を検出して、検出した特徴点ｐの局所特徴量を抽出する。図１０（ｂ）には、図面が煩雑になるのを防ぐために、ひとつの特徴点のみに「ｐ（Ｖｓ）」という符号を付している。
FIG. 9 is a flowchart showing the flow of registration processing. FIG. 10 is a diagram for explaining a specific example of feature point extraction and registration in the registration process. In FIG. 10 and FIG. 12 described later, “a (b)” associated with a feature point (corresponding feature point) means that the local feature amount of the feature point a is b. .
The
制御部２１は、ステップＳ２２の処理で抽出した特徴点ｐの局所特徴量Ｖｓを、特徴量ＤＢ２３１へ登録する（ステップＳ２３）。ここにおいて、制御部２１は、ステップＳ２１の処理で取得した登録画像Ｉｓに画像識別子を割り当てて、それぞれ異なるレコードで、ｍ個の局所特徴量Ｖｓをそれぞれ登録する。図５を用いて説明すると、制御部２１は、画像識別子は「ＩＤ０００１」を特徴量ＤＢ２３１に書き込んだ後、この画像識別子「ＩＤ０００１」に対応付けて、特徴点ｐ１，ｐ２，・・・，ｐｍの各々の局所特徴量Ｖｓを登録する。
The
次に、制御部２１は、登録要求があった登録画像Ｉｓに画像変換処理を施して、変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎをそれぞれ生成する（ステップＳ２４）。例えば、制御部１１は、図５に示すように、登録画像Ｉｓに対して、変形処理や明るさ変換処理を施して、変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎを生成する。
Next, the
次に、制御部２１は、ステップＳ２４の処理で生成した変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎの各々から対応特徴点を検出して、検出した対応特徴点における対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎをそれぞれ抽出する（ステップＳ２５）。
次に、制御部２１は、検出対象画像Ｉｓから抽出した特徴点ｐの局所特徴量Ｖｓを、変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎにおける対応特徴点の対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎと同じレコードで対応付けて、特徴量ＤＢ２３１へ登録する（ステップＳ２６）。この結果、図１０（ｃ）に示すように、各特徴点ｐの局所特徴量Ｖｓと対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎとが、特徴量ＤＢ２３１に対応付けて登録される。変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎの各々は、画像変換処理に応じて登録画像Ｉｓとの間に差分を含んでいる。この画像同士の差分に応じて、登録画像Ｉｓと変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎとでは、互いに対応する特徴点同士で局所特徴量が異なることがある。この局所特徴量同士の差異は、登録画像及び画像変換処理のアルゴリズムに応じた大きさとなると考えられる。
Next, the
Next, the
ステップＳ２４の処理で実行される画像変換処理は、カメラ撮影をしたときの撮影方法や撮影環境を原因として撮影画像に発生し得る変化を、検出対象画像に反映させるために実行される。例えば、カメラ撮影したときに撮影装置が水平方向に傾いていると、水平方向に台形歪みが発生した撮影画像が得られ、撮影装置が垂直方向に傾いていると、垂直方向に台形歪みが発生した撮影画像が得られることがある。また、暗い環境で撮影された場合には、比較的暗い撮影画像が得られ、反対に、明るい環境で撮影された場合には、比較的明るい撮影画像が得られる。すなわち、ユーザ端末１０を使用して撮影をした場合、撮影方法や撮影環境を原因として、クエリ画像が変化することがある。このクエリ画像の変化によって、クエリ画像と類似する登録画像の判断の精度（つまり検索精度）が低下するのを抑えるために、画像検索サーバ２０は変換画像Ｉｔ１，Ｉｔ２，・・・，Ｉｔｎの局所特徴量を特徴量ＤＢ２３１に登録しておく。
なお、画像検索サーバ２０の制御部２１は、特徴量ＤＢ２３１へ登録画像に関するデータを登録するとともに、この登録画像に関連付けられたデジタルコンテンツについてのコンテンツ情報を、コンテンツＤＢ２３２へ登録する。
登録処理の説明は以上である。制御部２１は、登録画像を特徴量ＤＢ２３１へ登録するたびに、上記手順の処理を実行する。
The image conversion process executed in the process of step S24 is executed in order to reflect a change that may occur in the shot image due to the shooting method and shooting environment when shooting with the camera, in the detection target image. For example, if the camera is tilted horizontally when shooting with a camera, a captured image with trapezoidal distortion in the horizontal direction is obtained. If the camera is tilted vertically, trapezoidal distortion occurs in the vertical direction. Captured images may be obtained. In addition, when a picture is taken in a dark environment, a relatively dark photographed image is obtained. Conversely, when a picture is taken in a bright environment, a relatively bright photographed image is obtained. That is, when shooting is performed using the
The
This completes the description of the registration process. Each time the
図８の説明に戻る。
ユーザ端末１０のユーザが、自身のユーザ端末１０を使用して印刷物４０を撮影したとする。この場合、ユーザ端末１０の制御部１１は、撮影部１４により印刷物４０を撮影し、この撮影により得られた撮影画像に基づいて撮影画像を取得する（ステップＳ３）。そして、制御部１１は、取得した撮影画像に基づいて、クエリ画像を通信部１３により画像検索サーバ２０へ送信する（ステップＳ４）。
画像検索サーバ２０の制御部２１は、クエリ画像を通信部２２により受信すると、このクエリ画像に基づいて検索処理を実行する（ステップＳ５）。この検索処理は、クエリ画像に類似する登録画像を、特徴量ＤＢ２３１に登録された局所特徴量に基づいて検索する処理である。
Returning to the description of FIG.
It is assumed that the user of the
When receiving the query image by the
図１１は、検索処理の流れを示すフローチャートである。図１２は、検索処理における特徴点の抽出及び使用の具体例を説明する図である。
まず、制御部２１は、クエリ画像を取得すると（ステップＳ５１）、取得したクエリ画像から検索対象特徴量を抽出する（ステップＳ５２）。例えば、図１２に示すように、制御部２１は、クエリ画像Ｉｑを取得し、特徴点ｐｑの検索対象特徴量としてＶｑを抽出する。図１２では、図面が煩雑になるのを防ぐために、ひとつの特徴点のみに「ｐｑ（Ｖｑ）」という符号を付している。
FIG. 11 is a flowchart showing the flow of search processing. FIG. 12 is a diagram illustrating a specific example of feature point extraction and use in search processing.
First, when acquiring a query image (step S51), the
次に、制御部２１は、抽出したクエリ画像Ｉｑの特徴点ｐｑの検索対象特徴量Ｖｑを、特徴量ＤＢ２３１に登録されている、検索範囲に属する局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎのそれぞれと比較する（ステップＳ５３）。制御部２１は、クエリ画像Ｉｑの特徴点ｐｑ毎に、検索対象特徴量Ｖｑと、局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎの各々との類似度を算出する。
そして、制御部２１は、ステップＳ５３の処理の比較結果に基づいて、登録画像Ｉｓの特徴点ｐの中から、クエリ画像Ｉｑの特徴点ｐｑの対応点を決定する（ステップＳ５４）。この際、制御部２１は、各特徴点ｐｑについて、特徴量ＤＢ２３１に登録された局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎのうち、クエリ画像Ｉｑの検索対象特徴量Ｖｑとの類似度がより高いものを選択する。例えば、図１２に示すように、特徴点ｐｑの検索対象特徴量Ｖｑとの類似度が最も高い局所特徴量が、変換画像Ｉｔ１の対応特徴量Ｖｔ１である場合を考える。この場合、制御部１１は、特徴量ＤＢ２３１で、この対応特徴量Ｖｔ１と同じレコードで対応付けられた局所特徴量Ｖｓに同類似度で一致したと判定して、対応点を決定する。クエリ画像Ｉｑの検索対象特徴量Ｖｑが、他の対応特徴量と一致した場合にも、制御部２１は、特徴量ＤＢ２３１でこの対応特徴量と同じレコードで対応付けられた局所特徴量Ｖｓに一致したと判定する。
Next, the
Then, the
そして、制御部２１は、決定した対応点に基づいて、クエリ画像Ｉｑに類似する登録画像Ｉｓを判断する（ステップＳ５５）。例えば、制御部２１は、決定した対応点の数が最も多い登録画像Ｉｓを検索結果とするように判断する。ここにおいて、制御部２１は、対応点の数が閾値以上であることを、登録画像Ｉｓの検索結果の判断の条件とすることが望ましい。
そして、制御部２１は、クエリ画像Ｉｑに類似すると判断した登録画像Ｉｓの画像識別子に対応付けられたコンテンツ情報を、コンテンツＤＢ２３２から取得する（ステップＳ５６）。例えば、画像識別子「ＩＤ０００１」の登録画像が検索結果である場合、制御部２１は、コンテンツ情報「Ｃ０００１」を取得する。
検索処理の説明は以上である。画像検索サーバ２０は、クエリ画像を受信するたびに上記手順の処理を実行する。
Then, the
Then, the
This is the end of the description of the search process. The
図８の説明に戻る。
検索処理を終了すると、画像検索サーバ２０の制御部２１は、ステップＳ５５の処理でコンテンツＤＢ２３２から取得したコンテンツ情報を、通信部２２によりユーザ端末１０へ送信出力する（ステップＳ６）。ユーザ端末１０の制御部１１は、通信部１３によりコンテンツ情報を受信すると、受信したコンテンツ情報に基づいてデジタルコンテンツを取得して表示する（ステップＳ７）。
Returning to the description of FIG.
When the search process ends, the
以上説明した第１実施形態の画像検索システム１では、画像検索サーバ２０は、特徴点の局所特徴量Ｖｓだけではなく、撮影部１４の撮影により発生し得る撮影画像の変化を反映させた対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎを使用して、検索処理を行う。このため、印刷物４０を撮影して得たクエリ画像に、ユーザ端末１０の撮影方法に起因する画像歪みが含まれていたり、撮影環境に起因する明るさの変化が含まれていたりした場合であっても、画像検索システム１によれば、クエリ画像を原因とした検索精度の低下が抑制される。
また、画像検索サーバ２０は、クエリ画像の特徴点毎に、局所特徴量Ｖｓ及び対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎの中から、検索対象特徴量との類似度がより高いものを選択して、クエリ画像の特徴点の対応点を決定する。このため、画像検索システム１によれば、クエリ画像の画像内の各位置で、画像歪みの度合いにばらつきがあったり、明暗にばらつきがあったりした場合であっても、検索精度の低下が抑制される。
In the
Further, the
［第２実施形態］
次に、本発明の第２実施形態を説明する。
この第２実施形態の画像検索システム１は、上述した第１実施形態の画像検索システム１の機能に加えて、クエリ画像から抽出した特徴量を対応特徴量として、特徴量ＤＢ２３１に登録する機能を有する。
この第２実施形態の画像検索システム１を構成する装置及び各装置のハードウェア構成は、上述した第１実施形態と同じでよい。また、この第２実施形態の画像検索システム１の機能構成は、クエリ画像から抽出した特徴量を対応特徴量として、特徴量ＤＢ２３１に登録する機能に関する部分を除いて、上述した第１実施形態と同じでよい。
以下の説明において、上述した第１実施形態と重複する部分の説明については省略する。また、上述した第１実施形態の構成要素及び処理ステップについては同一の符号を付して表し、その説明を省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described.
In addition to the function of the
The devices constituting the
In the following description, the description of the same parts as those in the first embodiment will be omitted. The components and processing steps of the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
図１３は、画像検索システム１で実行される処理を示すシーケンス図である。
画像検索システム１では、上述した第１実施形態と同じく、ステップＳ１からＳ７の処理ステップが実行される。
また、画像検索サーバ２０の制御部２１は、ステップＳ５の処理で検索処理を行って、ステップＳ６の処理でコンテンツ情報を送信出力した後、ステップＳ５における検索結果の信頼度を算出する（ステップＳ８）。この信頼度は、クエリ画像と類似する登録画像の判断の信頼度合いを示すパラメータであり、すなわち、検索処理の確からしさを示すパラメータである。よって、信頼度は、クエリ画像と検索した登録画像とが同じである可能性が高い場合ほど高い値となる。信頼度の算出アルゴリズムについては特に問わないが、例えば、登録画像の対応点の数が多いほど大きな値となり、ここでは、百分率の値で信頼度が表される。
FIG. 13 is a sequence diagram illustrating processing executed in the
In the
Further, the
次に、制御部２１は、算出した信頼度が登録条件を満たすかどうかを判断する（ステップＳ９）。登録条件を満たす信頼度は、例えば第１閾値以上（例えば４０％以上）で、且つ、第２閾値以下（例えば９０％以下）の値であり、この値は予め決められている。例えば、信頼度が第２閾値以上でかなり近い場合には、登録条件を満たさない。こうする理由は、検索結果の信頼度が著しく高いということは、クエリ画像の検索対象特徴量を新たに登録しなくとも、特徴量ＤＢ２３１へ登録済みの検索対象特徴量だけで、検索精度が確保されるという理由に基づく。他方、信頼度が第１閾値以下で低い場合にも、登録条件を満たさない。こうする理由は、検索結果の信頼度が低い場合の検索対象特徴量を特徴量ＤＢ２３１へ登録してしまうと、誤った検索結果が得られた場合に使用した検索対象特徴量までもが登録されて、今後の検索処理の検索精度を低下させる原因になる可能性があるからである。すなわち、登録条件は、クエリ画像と登録画像とが同じであるが、互いに対応する特徴点同士で局所特徴量に差異がある場合に要件を満たすように決められている。
Next, the
制御部２１は、ステップＳ９の処理で登録条件を満たすと判断した場合には（ステップＳ９；ＹＥＳ）、クエリ画像から抽出した検索対象特徴量を対応特徴量として、特徴量ＤＢ２３１へ登録する（ステップＳ１０）。この際、制御部２１は、互いに対応する特徴点同士の局所特徴量を同じレコードで対応付けて、特徴量ＤＢ２３１へ登録する。
なお、ステップＳ９の処理で、信頼度が登録条件を満たさないと制御部２１が判断した場合には（ステップＳ９；ＮＯ）、クエリ画像の検索対象特徴量を特徴量ＤＢ２３１へ登録しない。
When the
When the
ところで、上記の動作説明では、信頼度が登録条件を満たした場合に、画像検索サーバ２０はクエリ画像の検索対象特徴量を特徴量ＤＢ２３１へ登録していたが、ユーザ端末１０のユーザが登録を許可した場合に限り、クエリ画像の検索対象特徴量を登録してもよい。こうすれば、画像検索サーバ２０は、クエリ画像と登録画像とが同じである場合にだけ、検索対象特徴量を登録することとなる。
By the way, in the above description of the operation, when the reliability satisfies the registration condition, the
図１４は、この場合の画像検索システム１で実行される処理を示すシーケンス図である。
画像検索システム１でステップＳ１からＳ９の処理ステップが実行され、信頼度が登録条件を満たすと（ステップＳ９；ＹＥＳ）、画像検索サーバ２０の制御部２１は、クエリ画像の検索対象特徴量の登録の可否をユーザ端末１０へ問い合わせる（ステップＳ１１）。ユーザ端末１０の制御部１１は、画像検索サーバ２０からの問合せを受け付けると、問合せ画面をＵＩ部１２に表示させる等して、ユーザに登録可否を問い合わせる（ステップＳ１２）。ここで、登録を許可する旨の応答をユーザから受け付けると、ユーザ端末１０の制御部１１は、登録を許可する旨の許可通知を、通信部１３により画像検索サーバ２０へ送信する（ステップＳ１３）。この応答は、コンテンツ情報が格納されたＵＲＩ等のアクセス先の情報が正確かどうかを、ユーザに確認させた場合の応答であってもよい。すなわち、この応答は、登録可否を直接にユーザに問い合わせた場合の応答でなくてもよい。画像検索サーバ２０の制御部２１は、許可通知を通信部２２により受信すると、ステップＳ１０の処理を実行して、クエリ画像の検索対象特徴量を特徴量ＤＢ２３１へ登録する。
FIG. 14 is a sequence diagram showing processing executed in the
When the processing steps from step S1 to S9 are executed in the
特徴量ＤＢ２３１へ登録されるクエリ画像の検索対象特徴量は、クエリ画像から抽出され検索対象特徴量のすべてであってもよいし、一部であってもよい。一部のみを登録する場合には、制御部２１は、検索精度の向上への寄与率が高いものを優先して登録するとよい。また、登録しようとする検索対象特徴量の数が予め決められた上限値を超える場合には、制御部２１は、特徴量ＤＢ２３１内の古い又は検索精度の向上への寄与率が相対的に低い対応所特徴量を特徴量ＤＢ２３１から削除して、クエリ画像の検索対象特徴量を新たに登録してもよい。
ステップＳ１２の処理で、制御部１１が登録を許可しないと判断した場合には（ステップＳ１２；ＮＯ）、クエリ画像の検索対象特徴量を特徴量ＤＢ２３１へ登録せずに、処理を終了する。
The search target feature amount of the query image registered in the
If the
以上説明した第２実施形態の画像検索システム１によれば、上述した第１実施形態で説明した作用効果に加え、クエリ画像に実際に発生した画像変化を反映させた検索対象特徴量を登録することにより、クエリ画像を原因とした検索精度の低下を抑制する効果を奏する。現に発生したクエリ画像の変化が、例えば撮影方法や撮影環境によるものである場合、他のユーザのユーザ端末１０においても、同じ変化が現れたクエリ画像が得られる可能性がある。よって、この実施形態の画像検索システム１のように、現にクエリ画像に発生した画像の変化に応じた検索対象特徴量を特徴量ＤＢ２３１へ登録しておくことは、検索精度の向上に寄与し得る。
According to the
また、画像検索サーバ２０は、検索結果の信頼度に基づいて登録の可否を判断する。これにより、画像検索システム１によれば、検索結果の信頼度の低い情報を登録して検索精度の低下を招いたり、不必要な情報まで登録することにより検索処理の処理量を増大させたりする、という不都合の発生が起きにくい。
なお、検索結果の信頼度と登録条件との対応関係はあくまで一例であり、上記の例以外の関係であってもよい。また、図１４で説明したようにユーザに登録可否を問い合わせる場合には、画像検索サーバ２０では、検索結果の信頼度に基づいて登録可否を判断する構成が省略されてもよい。
The
The correspondence relationship between the reliability of the search result and the registration condition is merely an example, and may be a relationship other than the above example. Further, as described with reference to FIG. 14, when inquiring the user whether or not registration is possible, the
［変形例］
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
（変形例１）
上述した各実施形態における局所特徴量に基づく登録画像の検索アルゴリズムはあくまで一例であり、他の検索アルゴリズムに置き換えられてもよい。
例えば、画像検索サーバ２０は、特徴点毎に、クエリ画像の検索対象特徴量との類似度が２番目以降の局所特徴量を、検索処理に反映させてもよい。例えば、画像検索サーバ２０は、類似する登録画像が２つ以上あった場合には、２番目の局所特徴量同士の類似度が高い方の登録画像を検索結果とする。
[Modification]
The present invention may be implemented in a form different from the above-described embodiment. Moreover, you may combine each of the modification shown below.
(Modification 1)
The registered image search algorithm based on the local feature amount in each embodiment described above is merely an example, and may be replaced with another search algorithm.
For example, the
（変形例２）
上述した各実施形態では、特徴点の特徴量（局所特徴量）として、ＳＩＦＴ特徴量を使用していたが、ＳＵＲＦ（Speeded Up Robust Features）特徴量その他の特徴量を使用してもよい。すなわち、本発明の特徴量は、輝度勾配の特徴ではなく、特徴点の位置（座標）その他の特徴点の特徴量を表すものであってもよい。
また、本発明の特徴量は、特徴点の局所的な特徴量以外の、クエリ画像に類似する画像を検索する画像検索に使用される他の特徴量であってもよい。
また、画像変換処理は、変形処理や明るさ変換処理に限られず、画像の拡大処理や縮小処理、回転処理、ノイズやぼかしの付与処理その他の画像変換処理であってもよい。画像検索システム１で使用される局所特徴量によって、検索精度に影響が現れやすい画像変化の種類が異なるから、検索精度に影響しやすい変化を付与する画像変換処理が１つ以上行われるとよい。
また、対応特徴量Ｖｔ１，Ｖｔ２，・・・，Ｖｔｎは、変換画像から抽出されたものではなく、局所特徴量Ｖｓを用いて特定のアルゴリズムに従った演算処理を行うことにより算出されてもよい。
(Modification 2)
In each of the above-described embodiments, the SIFT feature value is used as the feature value (local feature value) of the feature point. However, a SURF (Speeded Up Robust Features) feature value and other feature values may be used. That is, the feature amount of the present invention may represent the feature point position (coordinates) and other feature point feature amounts instead of the luminance gradient feature.
Further, the feature amount of the present invention may be another feature amount used for image search for searching for an image similar to the query image, other than the local feature amount of the feature point.
The image conversion process is not limited to the deformation process and the brightness conversion process, and may be an image enlargement process, a reduction process, a rotation process, a noise or blurring process, or other image conversion processes. Since the type of image change that easily affects search accuracy differs depending on the local feature amount used in the
Further, the corresponding feature amounts Vt1, Vt2,..., Vtn are not extracted from the converted image, and may be calculated by performing arithmetic processing according to a specific algorithm using the local feature amount Vs. .
（変形例３）
上述した各実施形態では、画像検索サーバ２０は、クエリ画像に類似する登録画像に応じたコンテンツ情報を出力していたが、出力対象となる情報はコンテンツ情報に限られない。例えば、類似画像を検索する情報処理システムに本発明を適用した場合には、画像検索サーバ２０は、検索データベースから検索した類似画像の画像データを、ユーザ端末１０へ送信出力するとよい。
(Modification 3)
In each embodiment described above, the
（変形例４）
画像検索サーバ２０は、特徴量ＤＢ２３１に局所特徴量を登録する機能を有さなくてもよい。この場合、画像検索サーバ２０とは別に設けられた装置（例えばサーバ装置）が、特徴量ＤＢ２３１に局所特徴量を登録すればよい。
また、画像検索サーバ２０は、１台のサーバ装置で実現されるのではなく、複数のサーバ装置の協働によって実現されてもよい。また、本発明の情報処理装置は、画像検索サーバ２０で提示されるサーバという形態の装置でなくてもよく、例えば、ユーザにより使用される通信端末（例えばユーザ端末１０）により実現されてもよい。
(Modification 4)
The
Further, the
上述した各実施形態のユーザ端末１０や画像検索サーバ２０が実現する各機能は、１又は複数のハードウェア回路により実現されてもよいし、１又は複数のプログラムを演算装置が実行することにより実現されてよいし、これらの組み合わせにより実現されてもよい。ユーザ端末１０や画像検索サーバ２０の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、コンピュータが行う情報処理方法として把握し得る。
Each function realized by the
１…画像検索システム、１０…ユーザ端末、１００…ネットワーク、１０１…クエリ画像取得部、１０２…クエリ画像送信部、１０３…コンテンツ情報受信部、１１…制御部、１２…ＵＩ部、１３…通信部、１４…撮影部、１５…記憶部、２０…画像検索サーバ、２０１…登録画像受信部、２０２…抽出部、２０３…生成部、２０４…登録処理部、２０５…クエリ画像受信部、２０６…検索処理部、２０６１…比較部、２０６２…判断部、２０７…コンテンツ情報出力部、２１…制御部、２２…通信部、２３…記憶部、２３１…特徴量ＤＢ、２３２…コンテンツＤＢ、３０…登録端末、４０…印刷物、４１…マーカ。
DESCRIPTION OF
Claims (8)
クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、
前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、
前記比較部での比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断する判断部と
を備える情報処理装置。 A registration processing unit that associates a first feature amount that is a feature amount representing a feature of the first image with a second feature amount that is different from the first feature amount, and registers them in the database;
An extraction unit that extracts a search target feature amount that is a feature amount representing a feature of the query image;
A comparison unit that compares the search target feature amount extracted by the extraction unit with each of feature amounts in a predetermined range registered in the database;
A determination unit that determines that the first image and the query image are similar when the search target feature value is similar to the second feature value as a result of the comparison by the comparison unit; Processing equipment.
を備え、
前記抽出部は、
前記生成部により生成された前記第２の画像から前記第２の特徴量を抽出し、
前記登録処理部は、
前記抽出部により抽出された前記第２の特徴量を前記データベースへ登録する
ことを特徴とする請求項１に記載の情報処理装置。 A generating unit that performs image conversion processing on the first image to generate a second image;
The extraction unit includes:
Extracting the second feature amount from the second image generated by the generation unit;
The registration processing unit
The information processing apparatus according to claim 1, wherein the second feature amount extracted by the extraction unit is registered in the database.
前記検索対象特徴量を前記第２の特徴量とし、前記第１の特徴量と対応付けて、前記データベースへ登録する
ことを特徴とする請求項１又は２に記載の情報処理装置。 The registration processing unit
The information processing apparatus according to claim 1, wherein the search target feature value is the second feature value, and is registered in the database in association with the first feature value.
前記クエリ画像が前記第１の画像に類似すると判断した結果の信頼度が、予め決められた値である場合に、前記検索対象特徴量を前記データベースへ登録する
ことを特徴とする請求項３に記載の情報処理装置。 The registration processing unit
The search target feature value is registered in the database when the reliability of the result of determining that the query image is similar to the first image is a predetermined value. The information processing apparatus described.
前記第１の画像の特徴点の特徴量である前記第１の特徴量と、当該特徴点に対応した前記第２の特徴量とを対応付けて前記データベースへ登録し、
前記抽出部は、
前記クエリ画像の特徴点の特徴量である前記検索対象特徴量を抽出し、
前記判断部は、
前記クエリ画像の特徴点毎に前記検索対象特徴量を比較した結果に基づいて、前記第１の画像と前記クエリ画像とが類似するか否かを判断する
ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。 The registration processing unit
Registering the first feature amount, which is a feature amount of the feature point of the first image, with the second feature amount corresponding to the feature point in the database,
The extraction unit includes:
Extracting the search target feature quantity which is a feature quantity of the feature point of the query image;
The determination unit
5. It is determined whether the first image and the query image are similar based on a result of comparing the search target feature amounts for each feature point of the query image. The information processing apparatus according to any one of the above.
前記クエリ画像受信部により受信されたクエリ画像に類似すると前記判断部が判断した前記第１の画像に対応付けられたコンテンツ情報を、前記通信端末へ出力する出力部と
を備えることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。 A query image receiving unit for receiving the query image transmitted by the communication terminal;
An output unit that outputs content information associated with the first image determined by the determination unit to be similar to the query image received by the query image reception unit, to the communication terminal. The information processing apparatus according to any one of claims 1 to 5.
前記通信端末は、
撮影する撮影部と、
前記撮影部の撮影により得られた画像に基づいて、前記情報処理装置へクエリ画像を送信するクエリ画像送信部と
を有し、
前記情報処理装置は、
前記クエリ画像送信部により送信されたクエリ画像を受信するクエリ画像受信部と、
第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録する登録処理部と、
前記クエリ画像受信部により受信されたクエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、
前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、
前記比較部での比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断する判断部と
前記判断部により前記クエリ画像に類似すると判断された前記第１の画像に応じた情報を、前記通信端末へ出力する出力部と
を有する情報処理システム。 A communication terminal used by a user, and an information processing apparatus that communicates with the communication terminal;
The communication terminal is
A shooting section to shoot,
A query image transmission unit that transmits a query image to the information processing device based on an image obtained by imaging of the imaging unit;
The information processing apparatus includes:
A query image receiving unit that receives the query image transmitted by the query image transmitting unit;
A registration processing unit that associates a first feature amount that is a feature amount representing a feature of the first image with a second feature amount that is different from the first feature amount, and registers them in the database;
An extraction unit that extracts a search target feature quantity that is a feature quantity representing a feature of the query image received by the query image reception unit;
A comparison unit that compares the search target feature amount extracted by the extraction unit with each of feature amounts in a predetermined range registered in the database;
A determination unit configured to determine that the first image and the query image are similar when the search target feature value is similar to the second feature value by comparison in the comparison unit; And an output unit that outputs information corresponding to the first image determined to be similar to the query image to the communication terminal.
第１の画像の特徴を表す特徴量である第１の特徴量と、当該第１の特徴量とは異なる第２の特徴量とを対応づけてデータベースへ登録するステップと、
クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出するステップと、
抽出した前記検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較するステップと、
前記比較により前記検索対象特徴量が前記第２の特徴量と類似する結果を得た場合に、前記第１の画像と前記クエリ画像とが類似すると判断するステップと
を実行させるためのプログラム。 On the computer,
Associating a first feature amount, which is a feature amount representing a feature of the first image, with a second feature amount different from the first feature amount, and registering it in the database;
Extracting a search target feature value that is a feature value representing a feature of the query image;
Comparing the extracted feature quantity to be searched with each feature quantity in a predetermined range registered in the database;
A program for executing the step of determining that the first image and the query image are similar when the search obtains a result similar to the second feature amount.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013151801A JP6171660B2 (en) | 2013-07-22 | 2013-07-22 | Information processing apparatus, information processing system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013151801A JP6171660B2 (en) | 2013-07-22 | 2013-07-22 | Information processing apparatus, information processing system, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015022631A true JP2015022631A (en) | 2015-02-02 |
| JP6171660B2 JP6171660B2 (en) | 2017-08-02 |
Family
ID=52486992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013151801A Expired - Fee Related JP6171660B2 (en) | 2013-07-22 | 2013-07-22 | Information processing apparatus, information processing system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6171660B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016134134A (en) * | 2015-01-22 | 2016-07-25 | 株式会社デンソーアイティーラボラトリ | Image searching device, image searching method, and image searching program |
| JP2019159999A (en) * | 2018-03-15 | 2019-09-19 | ヤフー株式会社 | Search device, search method, and search program |
| WO2019208158A1 (en) * | 2018-04-25 | 2019-10-31 | テンソル・コンサルティング株式会社 | Image identification device, image identification method, and image identification program |
| JP2021108124A (en) * | 2019-12-29 | 2021-07-29 | Ｄｅｉシステムズ株式会社 | Access target retrieval system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010128925A (en) * | 2008-11-28 | 2010-06-10 | Canon Inc | Image processor, and image processing method, and program |
| JP2011039944A (en) * | 2009-08-17 | 2011-02-24 | Seiko Epson Corp | Image processor, image processing method, and image processing program |
| JP2011186604A (en) * | 2010-03-05 | 2011-09-22 | Osaka Prefecture Univ | Method, device, and processing program for restoring handwriting |
-
2013
- 2013-07-22 JP JP2013151801A patent/JP6171660B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010128925A (en) * | 2008-11-28 | 2010-06-10 | Canon Inc | Image processor, and image processing method, and program |
| JP2011039944A (en) * | 2009-08-17 | 2011-02-24 | Seiko Epson Corp | Image processor, image processing method, and image processing program |
| JP2011186604A (en) * | 2010-03-05 | 2011-09-22 | Osaka Prefecture Univ | Method, device, and processing program for restoring handwriting |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016134134A (en) * | 2015-01-22 | 2016-07-25 | 株式会社デンソーアイティーラボラトリ | Image searching device, image searching method, and image searching program |
| JP2019159999A (en) * | 2018-03-15 | 2019-09-19 | ヤフー株式会社 | Search device, search method, and search program |
| WO2019208158A1 (en) * | 2018-04-25 | 2019-10-31 | テンソル・コンサルティング株式会社 | Image identification device, image identification method, and image identification program |
| JP2019191923A (en) * | 2018-04-25 | 2019-10-31 | テンソル・コンサルティング株式会社 | Image identification device, image identification method, and image identification program |
| JP7248968B2 (en) | 2018-04-25 | 2023-03-30 | テンソル・コンサルティング株式会社 | Image identification device, image identification method, and image identification program |
| JP2021108124A (en) * | 2019-12-29 | 2021-07-29 | Ｄｅｉシステムズ株式会社 | Access target retrieval system |
| JP7157474B2 (en) | 2019-12-29 | 2022-10-20 | Ｄｅｉシステムズ株式会社 | Access target search system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6171660B2 (en) | 2017-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9275281B2 (en) | Mobile image capture, processing, and electronic form generation | |
| US9076069B2 (en) | Registering metadata apparatus | |
| JP5896245B2 (en) | How to crop a text image | |
| Chen et al. | Building book inventories using smartphones | |
| JP6056319B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US20160196478A1 (en) | Image processing method and device | |
| JP2012053776A (en) | Display image search device, display device, display image search system, and display image search method | |
| JP2015148532A (en) | Distance measuring device, imaging apparatus, distance measuring method, and program | |
| JP6171660B2 (en) | Information processing apparatus, information processing system, and program | |
| KR20100065918A (en) | A method for geo-tagging of pictures and apparatus thereof | |
| US10586099B2 (en) | Information processing apparatus for tracking processing | |
| CN114298902A (en) | Image alignment method and device, electronic equipment and storage medium | |
| JP2013210974A (en) | Retrieval image registration device, retrieval image display system, retrieval image registration method and program | |
| JP2016212784A (en) | Image processing apparatus and image processing method | |
| JP2011039974A (en) | Image search method and system | |
| WO2012133371A1 (en) | Image capture position and image capture direction estimation device, image capture device, image capture position and image capture direction estimation method and program | |
| JP5739239B2 (en) | Imaging support system and imaging apparatus | |
| CN105631850B (en) | Aligned multi-view scanning | |
| JP6591594B2 (en) | Information providing system, server device, and information providing method | |
| JP6281207B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6217225B2 (en) | Image collation device, image collation method and program | |
| JP2015032248A (en) | Image search device, system and program for searching for data | |
| JP5932107B2 (en) | Image processing server and imaging apparatus | |
| KR20140103021A (en) | Object recognition device | |
| JP5967036B2 (en) | Image search system, information processing apparatus, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170522 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170619 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6171660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |