JP2019159999A - Search device, search method, and search program - Google Patents
Search device, search method, and search program Download PDFInfo
- Publication number
- JP2019159999A JP2019159999A JP2018047700A JP2018047700A JP2019159999A JP 2019159999 A JP2019159999 A JP 2019159999A JP 2018047700 A JP2018047700 A JP 2018047700A JP 2018047700 A JP2018047700 A JP 2018047700A JP 2019159999 A JP2019159999 A JP 2019159999A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- information
- similar
- extracted
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 83
- 238000000605 extraction Methods 0.000 claims abstract description 66
- 239000000284 extract Substances 0.000 claims description 97
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 60
- 238000012545 processing Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 10
- 230000000052 comparative effect Effects 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、検索装置、検索方法および検索プログラムに関する。 The present invention relates to a search device, a search method, and a search program.
従来、検索クエリとなる情報が有する特徴量と、検索対象となる情報が有する特徴量とを比較することで、検索クエリと類似する情報を検索する技術が知られている。このような技術の一例として、検索クエリとなる画像から抽出した複数の局所的な特徴量と、検索対象となる画像が有する複数の特徴量との類似度に加え、特徴量を抽出した範囲の座標関係の類似度に基づいて、検索クエリとなる画像と類似する画像を検索する技術が知られている。 2. Description of the Related Art Conventionally, there is known a technique for searching for information similar to a search query by comparing a feature amount of information serving as a search query with a feature amount of information serving as a search target. As an example of such a technique, in addition to the similarity between a plurality of local feature amounts extracted from an image serving as a search query and a plurality of feature amounts included in an image serving as a search target, A technique for searching for an image similar to an image serving as a search query based on the similarity of the coordinate relationship is known.
しかしながら、上述した従来技術では、類似検索を効率的に行っているとは言えない場合がある。 However, it may not be said that the related art described above efficiently performs a similar search.
例えば、上述した従来技術では、検索クエリや検索対象となる画像から特徴的な特徴点を選択し、抽出した特徴点の周囲の情報に基づいて、特徴量を抽出する。しかしながら、検索クエリや検索対象となる画像に同一の撮像対象が含まれていたとしても、撮影された方向や角度等といった撮影条件によっては、特徴点として選択される位置や特徴量の値が変化してしまう。この結果、同一の撮像対象が含まれている検索クエリと検索対象とが類似しないと判定したり、異なる撮影対象が含まれている検索クエリと検索対象とを類似すると判定する恐れがある。また、検索クエリや検索対象から抽出される特徴量の数が増大するに従い、類似検索に要する検索コストが増大してしまう。 For example, in the above-described conventional technology, characteristic feature points are selected from a search query or an image to be searched, and feature amounts are extracted based on information around the extracted feature points. However, even if the same query object is included in the search query or search target image, the position or feature value selected as the feature point changes depending on the shooting conditions such as the direction and angle of shooting. Resulting in. As a result, it may be determined that the search query including the same imaging target is not similar to the search target, or that the search query including the different imaging target is similar to the search target. Further, as the number of feature amounts extracted from the search query or search target increases, the search cost required for the similar search increases.
本願は、上記に鑑みてなされたものであって、類似検索の効率を改善することを目的とする。 The present application has been made in view of the above, and an object thereof is to improve the efficiency of similarity search.
本願に係る検索装置は、クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する抽出部と、前記抽出部により抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する検索部とを有することを特徴とする。 The search device according to the present application includes an extraction unit that extracts useful feature amounts useful for searching for similar information out of feature amounts extracted from query information or information to be searched, and a useful feature extracted by the extraction unit. It has the search part which searches the information similar to query information using a feature-value.
実施形態の一態様によれば、類似検索の効率を改善できる。 According to one aspect of the embodiment, the efficiency of the similarity search can be improved.
以下に、本願に係る検索装置、検索方法および検索プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る検索装置、検索方法および検索プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。 Hereinafter, modes for carrying out a search device, a search method, and a search program according to the present application (hereinafter referred to as “embodiments”) will be described in detail with reference to the drawings. Note that the search device, the search method, and the search program according to the present application are not limited by this embodiment. In the following embodiments, the same parts are denoted by the same reference numerals, and redundant description is omitted.
[実施形態]
〔１−１．情報提供装置の一例について〕
まず、図１を用いて、検索装置の一例である情報提供装置が実行する検索処理の一例について説明する。図１は、実施形態に係る情報提供装置が実行する検索処理の一例を示す図である。
[Embodiment]
[1-1. An example of an information providing device)
First, an example of search processing executed by an information providing apparatus that is an example of a search apparatus will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of search processing executed by the information providing apparatus according to the embodiment.
図１では、インターネット等の所定のネットワークＮ（例えば、図３参照）を介して、各利用者が使用する端末装置１００と情報提供装置１０は、相互に通信可能である。また、情報提供装置１０は、端末装置１００以外にも、各種の外部サーバと相互に通信可能であるものとする。また、情報提供装置１０は、任意の数の端末装置１００と通信可能であってもよい。
In FIG. 1, the
端末装置１００は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置１００は、スマートデバイスのみならず、デスクトップＰＣ（Personal Computer）やノートＰＣ等の情報処理装置であってもよい。
The
情報提供装置１０は、検索処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報提供装置１０は、端末装置１００から検索クエリとなる画像を受信すると、受信したクエリ画像と類似する内容の画像を検索し、検索した画像や、検索した画像を示す情報（例えば、ＵＲＬ（Uniform Resource Locator）やサムネイル等）を検索結果として端末装置１００に提供する検索処理を実行する。
The
より具体的な例を挙げると、情報提供装置１０は、電子商店街において取引対象を示す画像を保持する。例えば、端末装置１００は、取引対象となる商品が撮影された画像や、取引対象となる役務と関連する画像（以下、「取引対象の画像」と総称する。）を保持する。このような取引対象の画像は、例えば、電子商店街に取引対象を出品する出品者により登録された画像である。
As a more specific example, the
例えば、情報提供装置１０は、電子商店街に出品された取引対象を検索するための検索クエリとして、クエリ画像を端末装置１００から受信すると、受信したクエリ画像と類似する取引対象の画像を検索する。そして、情報提供装置１０は、検索した画像と対応する取引対象（すなわち、画像に撮影された取引対象）を説明するコンテンツや取引対象を購入するコンテンツへのリンクをまとめた検索結果を端末装置１００へと送信する。
For example, when a query image is received from the
〔１−２．特徴量を用いた検索について〕
以下、情報提供装置１０が実行する検索処理として、取引対象の画像のうち、クエリ画像と類似する画像を検索する処理の流れについて説明する。なお、以下の説明では、検索対象となる取引対象の画像を検索対象画像と総称する。なお、以下の説明では、特徴量を用いて、クエリ画像に類似する検索対象画像を検索する処理の一例について説明するが、実施形態は、これに限定されるものではない。後述する説明で明らかとなるように、情報提供装置１０は、特徴量同士を比較することで、クエリ画像に類似する検索対象画像を検索するのであれば、任意の検索手法により、クエリ画像に類似する検索対象画像を検索してよい。
[1-2. (Search using features)
Hereinafter, as a search process executed by the
例えば、特徴点を用いた検索においては、処理の処理により、検索対象画像の中から特徴的な複数の点が特徴点として選択され、各特徴点ごとに、特徴量の算出を行う範囲が設定される。例えば、このような特徴量が算出される範囲は、各種のアフィン変換等が行われた場合にも、特徴量があまり変化しないように設定される。この結果、各特徴点は、不規則な位置となり、特徴量が算出される範囲（半径）も様々な大きさのものが採用されることとなる。なお、図１では、特徴量が算出される範囲を点線の円形で疑似的に示したが、実際には、特徴量が算出される範囲は、楕円や矩形等、任意の形状が採用される。 For example, in a search using feature points, a plurality of characteristic points are selected as feature points from the search target image by processing, and a range for calculating feature values is set for each feature point. Is done. For example, the range in which the feature amount is calculated is set so that the feature amount does not change much even when various affine transformations are performed. As a result, each feature point has an irregular position, and a range (radius) in which the feature amount is calculated has various sizes. In FIG. 1, the range in which the feature amount is calculated is pseudo-shown with a dotted circle, but in practice, an arbitrary shape such as an ellipse or a rectangle is adopted as the range in which the feature amount is calculated. .
なお、以下の説明では、検索対象画像から算出した各特徴量を「検索対象画像の特徴量」と記載する。続いて、情報提供装置１０は、クエリ画像についても同様に、自動的に選択された特徴的な点及び範囲（半径）及び方向に基づいて、その範囲における特徴量を算出する。なお、以下の説明では、クエリ画像から算出した各特徴量を「クエリ画像の特徴量」と記載する。
In the following description, each feature amount calculated from the search target image is described as “a feature amount of the search target image”. Subsequently, the
なお、上述した検索対象画像およびクエリ画像の特徴量は、GIST（http://ilab.usc.edu/siagian/Research/Gist/Gist.html）、カラーヒストグラム、色分布などの広域特徴量やＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speed-Up Robust Features）、特徴量等、画像が有する特徴量を取得する任意の技術が採用可能である。なお、ニューラルネットで生成される特徴量も利用可能である。 Note that the feature quantities of the search target image and the query image described above are GIST (http://ilab.usc.edu/siagian/Research/Gist/Gist.html), wide-range feature quantities such as color histogram, color distribution, and SIFT. Any technique for acquiring a feature amount of an image such as (Scale-Invariant Feature Transform), SURF (Speed-Up Robust Features), or a feature amount can be employed. Note that feature quantities generated by a neural network can also be used.
そして、情報提供装置１０は、クエリ画像の特徴量と検索対象画像の特徴量とをそれぞれ比較することで、検索対象画像の特徴量のうち、クエリ画像の特徴量と類似する特徴量を特定する。例えば、情報提供装置１０は、クエリ画像の特徴量ごとに、ＮＧＴ（Neighborhood Graph and Tree）等といった技術を用いて、各検索対象画像の特徴量と類似するか否かを判定する。そして、情報提供装置１０は、クエリ画像の特徴量と、各検索対象画像の特徴量のうち、クエリ画像の特徴量と最も類似すると判定された特徴量とを対応付ける。
Then, the
そして、情報提供装置１０は、検索対象画像のうち、クエリ画像の特徴量と対応付けられた特徴量の数が所定の閾値を超える検索対象画像を、クエリ画像の類似候補として選択する。すなわち、情報提供装置１０は、特徴量同士の類似性に基づく投票形式で、クエリ画像と類似する検索対象画像を類似画像の候補として選択する。なお、以下の説明では、上述した特徴量同士が類似するか否かを判定する処理を「特徴量照合処理」と記載する場合がある。
Then, the
ここで、類似画像の候補をそのまま検索結果として出力する手法も考えられるが、情報提供装置１０は、さらに精度を高めるため、以下に説明する座標照合処理を実行する。例えば、情報提供装置１０は、類似画像の候補となった画像（以下、「候補画像」と記載する。）の特徴量とクエリ画像の特徴量のうち、相互に対応付けられた特徴量を特定する。
Here, although a method of outputting similar image candidates as search results as they are is considered, the
続いて、情報提供装置１０は、クエリ画像から特定した各特徴量の特徴点の座標をアフィン変換（例えば、回転、平行移動、拡大もしくは縮小）した際に、候補画像から特定した各特徴量の座標と類似するか否かを判定する。そして、情報提供装置１０は、クエリ画像の特徴点の座標と、候補画像の特徴点の座標とが類似すると判定した場合は、クエリ画像とその候補画像とが類似すると判定する。
Subsequently, when the
すなわち、情報提供装置１０は、上述した特徴量照合処理において、検索対象画像の特徴量とクエリ画像が有する特徴量とが類似するか否かを判定し、判定結果に基づく投票により、クエリ画像が有する一部の特徴点を、複数の検索対象画像のうち一部の特徴点と対応付ける。そして、情報提供装置１０は、上述した座標照合処理において対応付けされた一部の特徴点を用いて、座標照合処理を実行することで、対応付けされた特徴点同士の座標の照合を行う。すなわち、情報提供装置１０は、クエリ画像の各特徴点の座標をアフィン変換した際に、検索対象画像の特徴点の座標と一致（若しくは類似）するかを判定し、座標が一致した特徴点の数が所定の数を超えるか否か等に基づいて、対応する特徴量同士の座標関係が類似するか否かを判定する。
That is, the
なお、情報提供装置１０は、座標照合処理において、クエリ画像の全ての特徴量と、候補画像の全ての特徴量とを比較し直し、相互に類似するクエリ画像の特徴量と候補画像の特徴量との対応付けをやり直してもよい。そして、情報提供装置１０は、新たに対応付けられた特徴量同士の位置関係に基づいて、クエリ画像と候補画像とが類似するか否かを判定してもよい。このような処理の結果、情報提供装置１０は、類似画像の検索精度を向上させることができる。
In the coordinate matching process, the
〔１−３．検索処理の概要について〕
しかしながら、上述した特徴量照合処理や座標照合処理では、類似検索を適切に行っているとは言えない場合がある。例えば、同一の撮像対象が含まれる複数の画像から特徴量を抽出する処理について説明する。例えば、同一の撮像対象が含まれる複数の画像から特徴点を抽出した場合、撮像対象が有する特徴的な場所が特徴点として選択されうる。例えば、取引対象に付されたロゴや特徴的な形状や色彩が付された位置、すなわち、取引対象の特徴をより良く示す位置が特徴点として選択されやすくなる。しかしながら、このように取引対象の特徴をより良く示す位置を特徴点として抽出したとしても、撮影位置が異なる場合等は、取引対象が撮像されている位置や角度、背景の有無や照明の違い等により、特徴量が変化する場合がある。
[1-3. Overview of search processing)
However, in the above-described feature amount matching process and coordinate matching process, it may not be said that a similar search is appropriately performed. For example, a process of extracting feature amounts from a plurality of images including the same imaging target will be described. For example, when feature points are extracted from a plurality of images including the same imaging target, a characteristic location of the imaging target can be selected as the feature point. For example, it is easy to select a position with a logo or a characteristic shape or color attached to a transaction object, that is, a position that better shows the characteristics of the transaction object as a feature point. However, even if a position that better indicates the characteristics of the transaction target is extracted as a feature point in this way, if the shooting position is different, the position and angle at which the transaction target is imaged, the presence of a background, the difference in lighting, etc. As a result, the feature amount may change.
より具体的な例を挙げると、取引対象となる商品のうち所定の位置を異なる方向から撮影した複数の画像から特徴量を抽出する例について説明する。例えば、取引対象となる商品に特徴的な色彩や形状を有する部分であって、どのような角度から見ても安定的にその取引対象を示すことができる部分が特徴点として選択された場合、商品を撮影した際の方向や照明が異なっていたとしても、類似する特徴量が抽出されると考えられる。一方、取引対象となる商品に特徴的な色彩や形状を有する部分であって、撮影方向によっては、特徴量が変化してしまうような部分が特徴点として選択された場合、商品を撮影した際の方向や照明が異なると、類似しない特徴量が抽出されると考えられる。 As a more specific example, an example will be described in which feature amounts are extracted from a plurality of images obtained by capturing a predetermined position from different directions among products to be traded. For example, when a part having a color or shape characteristic of a product to be traded and which can stably show the trade target from any angle is selected as a feature point, Even if the direction and lighting when the product is photographed are different, it is considered that similar feature amounts are extracted. On the other hand, when a part that has a characteristic color or shape of the product to be traded and whose feature amount changes depending on the shooting direction is selected as a feature point, If the direction and the illumination of are different, it is considered that feature quantities that are not similar are extracted.
すなわち、画像から抽出される特徴量には、取引対象の特徴を安定的に示す特徴量と、取引対象の特徴を安定的に示すことが難しい特徴量とが存在する。このように、取引対象の特徴を安定的に示す特徴量は、意味的な検索に有用な特徴量であると考えられる。例えば、取引対象の特徴を安定的に示す特徴量同士を比較した場合、クエリ画像に撮影された取引対象と特徴が類似する取引対象が撮影された画像を検索することができると考えられる。 That is, the feature amount extracted from the image includes a feature amount that stably indicates the feature of the transaction target and a feature amount that is difficult to stably indicate the feature of the transaction target. Thus, the feature quantity that stably indicates the feature of the transaction object is considered to be a feature quantity useful for semantic search. For example, when feature quantities that stably show the characteristics of a transaction target are compared, it is considered that an image in which a transaction target similar in characteristics to the transaction target captured in the query image can be searched.
一方で、取引対象の特徴を安定的に示すことが難しい特徴量は、その取引対象とは異なる取引対象が有する特徴と類似してしまう恐れがある。この結果、取引対象の特徴を安定的に示すことが難しい特徴量を用いた検索を行った場合、意味的な検索を精度良く行うことができないと考えられる。 On the other hand, there is a possibility that a feature amount that is difficult to stably indicate the characteristics of a transaction target is similar to a feature of a transaction target different from the transaction target. As a result, it is considered that a semantic search cannot be performed with high accuracy when a search is performed using feature quantities that are difficult to stably indicate the characteristics of the transaction target.
また、クエリ画像や各検索対象画像からは、複数の特徴点が選択される。このため、画像から抽出された全ての特徴量同士を比較した場合、検索に要する時間や計算コストが増大してしまう。 A plurality of feature points are selected from the query image and each search target image. For this reason, when all the feature-values extracted from the image are compared, the time and the calculation cost which search require will increase.
そこで、情報提供装置１０は、以下の検索処理を実行する。まず、情報提供装置１０は、クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する。そして、情報提供装置１０は、抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する。例えば、情報提供装置１０は、取引対象の特徴を安定的に示す特徴量等、検索に有用な有用特徴量を用いて、類似画像検索を行う。
Therefore, the
例えば、情報提供装置１０は、検索対象となる情報から抽出された特徴量から有用特徴量をあらあかじめ抽出しておく。例えば、情報提供装置１０は、検索対象画像から抽出された特徴量のうち、類似する画像の検索に有用な有用特徴量をあらかじめ抽出しておく。より具体的な例を挙げると、情報提供装置１０は、撮影された取引対象、すなわち、撮像対象が類似する画像の検索に有用であると推定される特徴量（すなわち、撮像対象が有する特徴を安定的に示す特徴量）を有用特徴量として抽出する。そして、情報提供装置１０は、抽出した有用特徴量を用いて、クエリ画像と類似する画像の検索を行う。
For example, the
〔１−４．有用特徴量について〕
ここで、情報提供装置１０は、類似画像の検索に有用な特徴量を抽出することができるのであれば、任意の条件を満たす特徴量を有用特徴量として抽出してよい。例えば、検索対象画像から抽出された特徴量と、検索対象画像に類似する類似画像から検出された特徴量とを比較することで、有用特徴量の抽出を行ってもよい。
[1-4. About useful features)
Here, the
例えば、あるクエリ画像＃Ａと類似する画像としてある検索対象画像＃Ａが存在する場合を考える。このような場合、クエリ画像＃Ａから抽出された特徴量には、検索対象画像＃Ａから抽出された特徴量と類似する特徴量が含まれると考えられる。そこで、情報提供装置１０は、検索対象画像の類似画像を取得し、検索対象画像から抽出される特徴量のうち、類似画像から抽出される特徴量との類似度が所定の条件を満たす特徴量を有用特徴量として抽出する。より具体的には、情報提供装置１０は、検索対象となる複数の情報から抽出された特徴量と、情報のうちいずれかの情報と類似する類似情報から抽出された特徴量との比較結果に基づいて、検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。
For example, consider a case where a search target image #A exists as an image similar to a query image #A. In such a case, it is considered that the feature amount extracted from the query image #A includes a feature amount similar to the feature amount extracted from the search target image #A. Therefore, the
以下、情報提供装置１０が有用特徴量を抽出する処理の一例について説明する。例えば、情報提供装置１０は、検索対象画像が登録されたデータベースから、いずれかの検索対象画像を処理対象として選択する。そして、情報提供装置１０は、抽出した検索対象画像と類似する画像、すなわち、類似画像の生成を行う。より具体的な例を挙げると、情報提供装置１０は、抽出した検索対象画像に撮影された取引対象と同一または類似の取引対象が撮影されていると認識されうる類似画像を生成する。
Hereinafter, an example of processing in which the
例えば、情報提供装置１０は、選択した検索対象画像の画像解析を行い、背景が撮影された範囲と主な撮影対象が撮影された範囲とを特定し、背景が撮影された範囲の削除や、異なる背景の合成等を行ってもよい。また、情報提供装置１０は、撮影対象を回転、拡大、縮小若しくは変形させた画像等、撮影対象が撮影された範囲をアフィン変換した画像を生成してもよい。また、情報提供装置１０は、検索対象画像全体に対して各種のアフィン変換を適用した画像を生成してもよい。また、情報提供装置１０は、各範囲や画像全体にぼかしを加えた画像を生成してもよい。また、情報提供装置１０は、解像度の変更等、任意の画像変換手法により、類似画像の生成を行えばよい。
For example, the
なお、どの程度まで変化させた画像を類似画像とするかについては、情報提供装置１０が実行する類似画像検索の目的に応じて任意の設定が採用可能である。すなわち、情報提供装置１０は、類似画像として生成した画像がクエリ画像として入力された際に、元となる検索対象画像をクエリ画像に類似する画像として選択することができる程度に類似するのであれば、任意の画像変換を行った画像を類似画像として採用してよい。また、このような類似画像の生成は、各種の画像解析技術や画像生成技術により実現可能である。
Note that an arbitrary setting can be adopted as to how much an image changed to be a similar image according to the purpose of the similar image search executed by the
続いて、情報提供装置１０は、生成した類似画像の特徴量を抽出し、類似画像から抽出した特徴量と、各検索対象画像から抽出された特徴量とをそれぞれ比較する。そして、情報提供装置１０は、検索対象画像から抽出された特徴量と、類似画像から抽出された特徴量とが類似するか否かを判定し、検索対象画像から抽出された特徴量ごとに、類似情報から抽出された特徴量と類似すると判定された回数を計数する。
Subsequently, the
例えば、情報提供装置１０は、各検索対象画像から抽出された各特徴量に対し、比較利用回数「０」と比較非利用回数「０」とをあらかじめ設定する。続いて、情報提供装置１０は、類似画像から抽出した特徴量から処理対象となる特徴量を１つ選択し、各検索対象画像から抽出された各特徴量と、処理対象となる特徴量とがそれぞれ類似するか否かを判定する。そして、情報提供装置１０は、各検索対象画像から抽出された各特徴量のうち、処理対象となる特徴量と最も類似すると判定された特徴量については、比較利用回数の値に１を加算し、各検索対象画像から抽出された各特徴量のうち、処理対象となる特徴量と最も類似すると判定されなかった特徴量については、比較非利用回数の値に１を加算する。また、情報提供装置１０は、上述した処理を類似画像から抽出したすべての特徴量について実行する。
For example, the
また、情報提供装置１０は、上述した処理を全ての検索対象画像について実行する。そして、情報提供装置１０は、計数された回数に基づいて、検索対象画像から抽出された特徴量から有用特徴量を抽出する。例えば、検索対象画像から抽出された複数の特徴量のうち、比較利用回数の数が所定の閾値よりも多い特徴量は、その検索対象画像と類似する複数の類似画像の特徴量とマッチしやすい特徴量となる。このような特徴量は、検索対象画像と複数の類似画像とが共通して有する特徴であると言える。換言すると、検索対象画像から抽出された複数の特徴量のうち、比較利用回数の数が所定の閾値よりも多い特徴量は、撮影条件等の変動が生じても取引対象の特徴を安定的に示すことができる特徴量、すなわち、変動しにくい特徴量であると言える。
Further, the
このような安定的な特徴量を用いて、類似画像検索を行った場合は、類似画像検索の精度を向上させることができると考えられる。また、このような安定的な特徴量以外の特徴量を類似画像検索の対象から除外した場合は、比較対象とする特徴量の数を削減できる結果、類似画像検索に要する時間や検索コストを削減できる。そこで、情報提供装置１０は、比較利用回数の値が所定の閾値を超える特徴量を有用特徴量として抽出する。そして、情報提供装置１０は、抽出した有用特徴量以外の特徴量を削除する。このような処理の結果、情報提供装置１０は、類似画像検索をより適切に行うことができる。
When a similar image search is performed using such a stable feature amount, it is considered that the accuracy of the similar image search can be improved. Also, when feature quantities other than such stable feature quantities are excluded from similar image search targets, the number of feature quantities to be compared can be reduced, resulting in a reduction in time and search cost required for similar image searches. it can. Therefore, the
なお、比較非利用回数の値が所定の閾値を超える特徴量は、類似画像検索に有用な特徴量であるとは言えないと考えられる。そこで、情報提供装置１０は、比較非利用回数が所定の閾値を超える特徴量を削除対象としてもよい。また、情報提供装置１０は、比較利用回数が所定の閾値よりも多く、かつ、比較非利用回数が所定の閾値よりも少ない特徴量を有用特徴量としてもよい。また、情報提供装置１０は、比較利用回数と比較非利用回数とから、特徴量の有用性を示すスコアを算出し、算出したスコアが所定の閾値を超える特徴量を有用特徴量としてもよい。また、情報提供装置１０は、比較利用回数の値が高い方から順に所定の数の特徴量を有用特徴量としてもよい。
It should be noted that a feature quantity whose comparison non-use count value exceeds a predetermined threshold is not considered to be a feature quantity useful for similar image search. Therefore, the
〔１−５．座標照合処理を用いた計数〕
ここで、上述した例では、情報提供装置１０は、検索対象画像の特徴量のうち、類似画像の特徴量に最も類似すると判定された回数が所定の閾値を超える特徴量を有用特徴量とした。すなわち、情報提供装置１０は、特徴量照合処理において利用された回数（類似画像の特徴量とマッチした回数）に基づいて、有用特徴量を抽出した。しかしながら、実施形態は、これに限定されるものではない。
[1-5. (Counting using coordinate matching process)
Here, in the above-described example, the
例えば、情報提供装置１０は、検索対象画像から抽出された複数の特徴量のうち、類似画像から抽出された特徴量に類似すると判定された複数の特徴量を対象特徴量とし、類似情報から抽出された複数の特徴量のうち、対象特徴量に類似すると判定された複数の特徴量を類似特徴量とする。そして、情報提供装置１０は、対象特徴量の位置関係と類似特徴量の位置関係とが類似するか否かを判定し、位置関係とが類似すると判定された回数を計数し、計数された回数に基づいて、有用特徴量を抽出してもよい。すなわち、情報提供装置１０は、座標照合処理において利用された回数に基づいて、有用特徴量を抽出してもよい。
For example, the
例えば、情報提供装置１０は、各検索対象画像から抽出された各特徴量に対し、座標利用回数「０」と座標非利用回数「０」とをあらかじめ設定する。続いて、情報提供装置１０は、複数の類似画像をクエリ画像として特徴量照合処理を実行し、検索対象画像から抽出された特徴量ごとに、クエリ画像の特徴量と最も類似すると判定された回数を比較利用回数として計数する。また、情報提供装置１０は、相互に類似すると判定されたクエリ画像の特徴量と、検索対象画像の特徴量とを対応付ける。また、情報提供装置１０は、クエリ画像の特徴量と対応付けられた特徴量の数が所定の閾値を超える検索対象画像を候補画像として抽出する。
For example, the
続いて、情報提供装置１０は、候補画像においてクエリ画像の特徴量と対応付けられた特徴量の位置関係と、クエリ画像において候補画像の特徴量と対応付けられた特徴量の位置関係とが類似するか否かを判定し、類似すると判定した場合は、候補画像においてクエリ画像の特徴量と対応付けられた特徴量の座標利用回数に１を加算する。一方、情報提供装置１０は、候補画像においてクエリ画像の特徴量と対応付けられた特徴量の位置関係と、クエリ画像において候補画像の特徴量と対応付けられた特徴量の位置関係とが類似しないと判定された場合は、候補画像においてクエリ画像の特徴量と対応付けられた特徴量の座標非利用回数に１を加算する。
Subsequently, the
そして、情報提供装置１０は、座標利用回数や座標非利用回数に応じて、特徴量が有用特徴量であるか否かを判定する。例えば、情報提供装置１０は、比較利用回数が所定の閾値を超え、かつ、座標利用回数が所定の閾値を超える特徴量を有用特徴量としてもよい。また、情報提供装置１０は、比較利用回数、比較非利用回数、座標利用回数、および座標非利用回数に基づいて、特徴量が有用であるか否かを示すスコアを算出し、算出したスコアが所定の閾値を満たす特徴量を有用特徴量としてもよい。
And the
〔１−６．特徴量照合処理について〕
上述した処理では、情報提供装置１０は、複数の検索対象画像から抽出した特徴量のうち、クエリ画像から抽出した特徴量と最も類似する特徴量を特定し、特定した特徴量の比較利用回数を計数した。しかしながら、実施形態は、これに限定されるものではない。
[1-6. (About feature verification processing)
In the above-described processing, the
例えば、情報提供装置１０は、複数の検索対象画像から抽出した特徴量のうち、クエリ画像から抽出した特徴量との類似度が所定の閾値を超える全ての特徴量を抽出し、抽出した特徴量の比較利用回数に１を加算する。そして、情報提供装置１０は、比較利用回数が所定の閾値を満たす特徴量を有用特徴量としてもよい。すなわち、情報提供装置１０は、複数の検索対象画像から抽出した特徴量のうち、類似画像から抽出した特徴量との類似度が所定の閾値を超えると判定された回数が所定の閾値を満たす特徴量を有用特徴量としてもよい。
For example, the
なお、情報提供装置１０は、クエリ画像と類似する検索対象画像を検索する際に、クエリ画像から抽出した特徴量との類似度が所定の閾値を超える全ての特徴量を抽出し、検索対象画像のうち、クエリ画像から抽出した特徴量との類似度が所定の閾値を超えると判定された特徴量の数が、所定の閾値以上となる検索対象画像を候補画像として抽出してもよい。
Note that when the
〔１−７．検索処理の一例〕
以下、図１を用いて、情報提供装置１０が実行する検索処理の一例を説明する。例えば、情報提供装置１０は、検索対象となる検索対象画像の特徴量をあらかじめ抽出する（ステップＳ１）。例えば、情報提供装置１０は、検索対象画像Ｔ１の中から複数の特徴点ＰＴ１−１、ＰＴ１−２・・・を所定のアルゴリズムで選択し、選択した特徴点ごとに特徴量ＦＴ−１、ＦＴ−２・・・を抽出する。
[1-7. Example of search process)
Hereinafter, an example of a search process executed by the
続いて、情報提供装置１０は、ある検索対象画像に類似する類似画像から、特徴量を抽出する（ステップＳ２）。例えば、情報提供装置１０は、検索対象画像Ｔ１に類似する類似画像として、検索対象画像Ｔ１に撮像されている取引対象と同じ取引対象が撮像された画像であって、検索対象画像Ｔ１とは異なる撮影条件で取引対象が撮像された類似画像ＡＴ１、ＡＴ２・・・を取得する。なお、このような類似画像ＡＴ１、ＡＴ２は、検索対象画像Ｔ１から生成された画像であってもよく、検索対象画像Ｔ１と類似する画像として所定の利用者から提供を受けた画像であってもよい。
Subsequently, the
続いて、情報提供装置１０は、検索対象画像Ｔ１から特徴点を抽出した際のアルゴリズムと同様のアルゴリズムを用いて、類似画像ＡＴ１から、特徴点ＰＡＴ１−１、ＰＡＴ１−２・・・を選択し、各特徴点から特徴量ＦＡＴ１−１、ＦＡＴ１−２・・・を算出する。同様に、情報提供装置１０は、検索対象画像Ｔ１から特徴点を抽出した際のアルゴリズムと同様のアルゴリズムを用いて、類似画像ＡＴ２から、特徴点ＰＡＴ２−１、ＰＡＴ２−２・・・を選択し、各特徴点から特徴量ＦＡＴ２−１、ＦＡＴ２−２・・・を算出する。
Subsequently, the
そして、情報提供装置１０は、類似画像をクエリ画像とした類似画像検索を行い、特徴量ごとに検索に利用された回数を計数する（ステップＳ３）。より具体的には、情報提供装置１０は、検索対象画像Ｔ１のみならず、データベースに登録された全ての検索対象画像を対象として、類似画像検索を行う。
Then, the
例えば、情報提供装置１０は、ステップＳ２で抽出した全ての特徴量と、データベースに登録された全ての検索対象画像の全ての特徴量とを比較し、類似度が最も高い類似画像の特徴量と検索対象画像の特徴量とを対応付ける。そして、情報提供装置１０は、類似画像の特徴量と検索対象画像の特徴量との座標関係に基づいて、類似画像の検索を行う。すなわち、情報提供装置１０は、特徴量照合処理と座標照合処理とを実行する。
For example, the
ここで、情報提供装置１０は、検索対象画像の特徴量ごとに、特徴量照合処理において類似画像の特徴量と対応付けられた回数を比較利用回数として計数し、特徴量照合処理において類似画像の特徴量と対応付けられなかった回数を比較非利用回数として計数する。また、情報提供装置１０は、検索対象画像の特徴量ごとに、座標照合処理において対応付けられた類似画像の特徴量と座標関係が一致したと判定された回数を座標利用回数として計数し、座標照合処理において対応付けられた類似画像の特徴量と座標関係が一致しないと判定された回数を座標非利用回数として計数する。すなわち、情報提供装置１０は、特徴量照合処理や、座標照合処理において利用された回数および利用されなかった回数の係数を行う。
Here, for each feature amount of the search target image, the
そして、情報提供装置１０は、計数した回数に基づいて、検索に有用な有用特徴量を抽出する（ステップＳ４）。例えば、情報提供装置１０は、比較利用回数の値が所定の閾値を超える特徴量に種別「有用」を対応付け、それ以外の特徴量に種別「非有用」を対応付ける。なお、情報提供装置１０は、有用特徴量以外の有用特徴量をデータベースから削除してもよい。
And the
ここで、情報提供装置１０は、クエリ画像を端末装置１００から取得した場合は（ステップＳ５）、クエリ画像の特徴量を有用特徴量との比較結果に基づいて、クエリ画像と類似する画像を検索する（ステップＳ６）。例えば、情報提供装置１０は、クエリ画像から特徴量ＦＱ１、ＦＱ２・・・を抽出する。そして、情報提供装置１０は、特徴量ＦＱ１、ＦＱ２・・・と、検索対象画像Ｔ１から抽出された特徴量のうち有用特徴量として抽出された特徴量ＦＴ１−１、１−３や、検索対象画像Ｔ２から抽出された特徴量のうち有用特徴量として抽出された特徴量ＦＴ２−４、２−７等とを比較する。また、情報提供装置１０は、比較結果に基づいて、上述した特徴量照合処理および座標照合処理を実行し、実行結果に基づいて、クエリ画像と類似する画像を検索する。
Here, when the query image is acquired from the terminal device 100 (step S5), the
そして、情報提供装置１０は、検索結果を端末装置１００に送信する（ステップＳ７）。例えば、情報提供装置１０は、候補画像Ｔ１、Ｔ３のデータやサムネイル等を端末装置１００に送信する。なお、情報提供装置１０は、例えば、特徴量照合処理や座標照合処理の結果に応じたランキング形式で、検索した検索対象画像の情報を配信してもよい。例えば、情報提供装置１０は、各照合処理の結果に基づいて、各検索対象画像とクエリ画像と類似する確度を算出し、算出した確度に応じたランキング形式で、検索した検索対象画像の情報を配信してもよい。
And the
〔１−８．検索処理の結果を用いた処理〕
ここで、上述した説明では、情報提供装置１０は、検索対象画像から類似画像を生成し、生成した類似画像をクエリ画像とした類似画像検索において、クエリ画像の特徴量と類似すると判定された回数に基づき、有用特徴量の抽出を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、端末装置１００から受付けたクエリ画像と類似する類似画像検索、すなわち、類似画像検索の運用結果に基づいて、有用特徴量の抽出を行ってもよい。
[1-8. Processing using search processing results]
Here, in the above description, the
例えば、情報提供装置１０は、検索対象画像のうち、第１クエリ画像と類似する情報を検索し、第１クエリ画像と類似する画像の検索結果に基づいて、検索対象画像から抽出された特徴量から有用特徴量を抽出する。そして、情報提供装置１０は、抽出された有用特徴量を用いて、第２クエリ画像と類似する画像を検索してもよい。例えば、情報提供装置１０は、検索対象画像から抽出された特徴量と、第１クエリ画像から抽出された特徴量とが類似するか否かを判定し、判定結果に基づいて、第１クエリ画像と類似する画像を検索する。ここで、情報提供装置１０は、検索結果に基づいて、第１クエリ画像と類似する検索対象画像の特徴量から有用特徴量を抽出し、抽出された有用特徴量に基づいて、第２クエリ画像と類似する情報を検索する。
For example, the
例えば、情報提供装置１０は、類似画像検索の運用時において、利用者が提供したクエリ画像と類似する検索対象画像を検索し、検索結果を利用者に提供する。ここで、検索結果が示す検索対象画像のうち、利用者が選択した画像は、クエリ画像に最も類似する画像であると考えられる。
For example, the
そこで、情報提供装置１０は、検索候補の中から利用者が選択した検索対象画像から抽出された特徴量のうち、利用者から受付けたクエリ画像から抽出された特徴量と対応付けられた特徴量（すなわち、最も類似する特徴量）や、類似度が所定の閾値を超えると判定された特徴量を特定し、特定した特徴量の比較利用回数に１を加算する。そして、情報提供装置１０は、比較利用回数の値が所定の閾値を超える特徴量を有用特徴量としてもよい。すなわち、情報提供装置１０は、検索候補の中から利用者が選択した検索対象画像から抽出された特徴量のうち、利用者から受付けたクエリ画像から抽出された特徴量と対応付けられた回数や、利用者から受付けたクエリ画像から抽出された特徴量との類似度が所定の閾値を超えると判定された回数が所定の閾値を超える特徴量を有用特徴量として抽出してもよい。
Therefore, the
〔１−９．有用特徴量の特徴について〕
ここで、有用特徴量として抽出される特徴量には、所定の特徴が現れる可能性がある。そこで、情報提供装置１０は、有用特徴量が有する特徴をモデルに学習させてもよい。例えば、情報提供装置１０は、ＤＮＮ（Deep Neural Network）やＳＶＭ（Support Vector Machine）等、任意のモデルに対して、有用特徴量が有する特徴をモデルに学習させてもよい。
[1-9. About features of useful features)
Here, there is a possibility that a predetermined feature appears in the feature amount extracted as the useful feature amount. Therefore, the
また、情報提供装置１０は、非有用特徴量の特徴をモデルに学習させてもよい。例えば、情報提供装置１０は、比較非利用回数や座標非利用回数が所定の閾値を超える特徴量を被有用特徴量として抽出する。なお、このようにして抽出される非有用特徴量は、有用特徴量以外の特徴量のうち、より検索に有用ではないと推定される特徴量となる。そして、情報提供装置１０は、有用特徴量と非有用特徴量との差をモデルに学習させることで、有用特徴量が独自に有する特徴を精度良く学習させてもよい。
Further, the
このような学習が行われた学習モデルは、特徴量から有用特徴量を抽出することができると推定される。そこで、情報提供装置１０は、学習モデルを用いて、検索対象画像から抽出された特徴量から有用特徴量を抽出してもよい。例えば、情報提供装置１０は、検索対象画像から抽出された特徴量を学習モデルに入力することで、有用特徴量であるか否かを判定し、有用特徴量であると判定された特徴量のみをデータベースに登録してもよい。
It is estimated that the learning model in which such learning is performed can extract a useful feature amount from the feature amount. Therefore, the
また、情報提供装置１０は、学習モデルを用いて、クエリ画像から抽出された特徴量から有用特徴量を抽出し、抽出した有用特徴量と、検索対象画像から抽出された特徴量との比較結果に基づいて、クエリ画像と類似する画像の検索を行ってもよい。例えば、情報提供装置１０は、運用時に、学習モデルを用いて、クエリ画像から抽出された特徴量から有用特徴量を抽出する。そして、情報提供装置１０は、抽出した有用特徴量と、検索対象画像から抽出した全ての特徴量との比較結果に基づいて、クエリ画像と類似する画像の検索を行ってもよい。
Further, the
また、情報提供装置１０は、クエリ画像の特徴量から学習モデルを用いて抽出された特徴量と、検索対象画像の特徴量から上述した各種の手法で抽出した有用特徴量、もしくは、検索対象画像の特徴量から学習モデルを用いて抽出した有用特徴量との比較結果に基づいて、クエリ画像と類似する画像の検索を行ってもよい。
In addition, the
なお、情報提供装置１０は、画像検索に用いる有用特徴量と、モデルの学習に用いる有用特徴量とを異なるものとしてもよい。例えば、モデルに有用特徴量が有する特徴を精度良く学習させるためには、モデルの学習に用いる有用特徴量が実際に有用である確度は、画像検索に用いる有用特徴量が実際に有用である確度よりも高い方が良いと考えられる。そこで、情報提供装置１０は、異なる閾値を用いて、画像検索に用いる有用特徴量と、モデルの学習に用いる有用特徴量とをそれぞれ個別に抽出してもよい。
Note that the
例えば、情報提供装置１０は、検索対象画像から抽出された特徴量と、類似画像から抽出された特徴量とが類似するか否かを判定する。また、情報提供装置１０は、検索対象画像から抽出された特徴量ごとに、類似画像から抽出された特徴量と類似すると判定された回数を計数する。そして、情報提供装置１０は、計数された回数が所定の第１閾値以上となる特徴量を第１有用特徴量として抽出するとともに、計数された回数が第１閾値よりも大きい第２閾値以上となる特徴量を第２有用特徴量として抽出する。その後、情報提供装置１０は、第１有用特徴量を用いて、クエリ画像と類似する情報を検索する。一方、情報提供装置１０は、第２有用特徴量が有する特徴をモデルに学習させてもよい。この結果、情報提供装置１０は、画像から抽出された特徴量が画像検索に有用な有用特徴量であるか否かを精度良く判定する学習モデルを生成することができる。
For example, the
〔１−１０．各処理の関係について〕
ここで、図２を用いて、情報提供装置１０が実行する各処理の関係性について説明する。図２は、実施形態に係る情報提供装置が実行する処理の関係を示す図である。例えば、情報提供装置１０は、クエリ画像を取得すると（ステップＳ１０）、クエリ画像の特徴量であるクエリ特徴量を抽出し（ステップＳ１１）、検索処理を実行する（ステップＳ１２）。例えば、情報提供装置１０は、クエリ特徴量と、検索対象画像の特徴量とを比較する特徴量照合処理、およびクエリ画像と検索対象画像とにおいて相互に類似する特徴量の位置関係を比較する座標照合処理を実行し、実行結果に基づいた類似判定を行う。
[1-10. (Relationship between each process)
Here, the relationship between the processes executed by the
ここで、情報提供装置１０は、検索対象画像の特徴量ごとに、特徴量照合処理や座標照合処理において、クエリ画像の特徴量と類似したと判定された回数や、座標が類似したと判定された回数等、各種の利用回数を計数する（ステップＳ１３）。また、情報提供装置１０は、計数結果に基づいて、検索対象画像の有用特徴量と非有用特徴量とを設定する（ステップＳ１４）。そして、情報提供装置１０は、検索対象画像の特徴量のうち、有用特徴量を抽出し（ステップＳ１５）、抽出した有用特徴量とクエリ特徴量とを用いた検索処理を実行する（ステップＳ１２）。
Here, the
一方、情報提供装置１０は、検索対象画像から類似画像を生成し（ステップＳ１６）、類似画像を検索クエリとして（ステップＳ１７）、検索処理を実行する（ステップＳ１２）。この結果、情報提供装置１０は、検索対象画像の特徴量ごとに、特徴量照合処理や座標照合処理において、類似画像の特徴量と類似したと判定された回数や、座標が類似したと判定された回数等、各種の利用回数を計数し（ステップＳ１３）、計数結果に基づいて、有用特徴量と非有用特徴量とを設定することができる（ステップＳ１４）。
On the other hand, the
また、情報提供装置１０は、有用特徴量が有する特徴を学習し（ステップＳ１８）、学習結果に基づいて、クエリ画像からクエリ特徴量を抽出し（ステップＳ１１）、抽出したクエリ特徴量を用いた検索処理を実行する（ステップＳ１２）。より具体的には、情報提供装置１０は、クエリ画像から抽出された特徴量のうち、検索対象画像から抽出された有用特徴量と類似する特徴を有する特徴量を有用特徴量として抽出し、抽出したクエリ画像の有用特徴量を用いて、検索処理を実行する（ステップＳ１２）。
Further, the
〔１−１１．類似画像について〕
上述した例では、情報提供装置１０は、検索対象画像から抽出された特徴量のうち、クエリ画像から抽出された特徴量と類似すると判定された回数が所定の閾値を満たす特徴量を有用特徴量とした。このような処理の結果、情報提供装置１０は、クエリ画像と類似する検索対象画像を効率良く検索することができる。
[1-11. About similar images)
In the above-described example, the
ここで、上述した例では、クエリ画像と類似する画像として、クエリ画像に撮像された取引対象と同一または類似する取引対象が撮像された検索対象画像を検索するための処理について記載した。例えば、情報提供装置１０は、検索対象画像に撮像された取引対象と同一または類似する取引対象が撮像された画像を類似画像とし、検索対象画像の特徴量のうち、類似画像の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を有用特徴量とした。しかしながら、実施形態は、これに限定されるものではない。
Here, in the above-described example, the processing for searching for a search target image in which a transaction target that is the same as or similar to the transaction target captured in the query image is searched as an image similar to the query image. For example, the
例えば、情報提供装置１０は、検索対象画像と外観が類似する画像を類似画像とし、検索対象画像の特徴量のうち、類似画像の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を有用特徴量とすることで、検索対象画像と外観が類似する画像を検索する際に有用な特徴量を有用特徴量としてもよい。すなわち、実施形態における「類似」とは、撮像対象が「類似」するといった意味的な「類似」のみならず外観の「類似」をも含む概念である。
For example, the
また、情報提供装置１０は、運用時にどのような観点からの「類似」を採用するかに応じて、有用特徴量の抽出を行ってよい。例えば、情報提供装置１０は、運用時においてある検索対象画像と「類似」すると判定したいクエリ画像を類似画像とし、検索対象画像の特徴量のうち、類似画像の特徴量と類似すると判定された回数が所定の閾値を超える特徴量を有用特徴量とすればよい。
Further, the
〔１−１２．処理の対象について〕
ここで、上述した例では、情報提供装置１０は、クエリ画像と類似する検索対象画像の検索を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、文章や音楽等、任意のコンテンツについて、上述した検索処理を適用可能である。
[1-12. (Target of processing)
Here, in the above-described example, the
例えば、情報提供装置１０は、検索対象が文章である場合、クエリ文章や検索対象となる文章の中から特徴点としていくつかの単語を選択し、選択した単語の前後に存在する複数の単語を抽出する。また、情報提供装置１０は、抽出した単語の特徴量を、特徴量として算出するとともに、単語の相対的な出現位置（例えば、特徴点として選択した単語から次の単語までの間に存在する単語の数等）を座標とみなす。そして、情報提供装置１０は、特徴量の比較結果に基づいた検索処理を行うとともに、クエリ文章の特徴量と類似すると判定された回数に応じて、検索対象となる文章の特徴量から有用特徴量を抽出してもよい。
For example, when the search target is a sentence, the
また例えば、情報提供装置１０は、検索対象が音声である場合、クエリ音声や検索対象となる音声の中から特徴点としていくつかの再生位置を選択し、選択した再生位置の前後に存在する音声の周波数特性から特徴量を算出する、また、情報提供装置１０は、再生位置を座標とみなす。そして、情報提供装置１０は、特徴量の比較結果に基づいた検索処理を行うとともに、クエリ音声の特徴量と類似すると判定された回数に応じて、検索対象となる音声の特徴量から有用特徴量を抽出してもよい。
Further, for example, when the search target is voice, the
なお、情報提供装置１０は、異種間の類似検索を行ってもよい。例えば、情報提供装置１０は、クエリ文章と類似する対象音声の検索を行ってもよく、クエリ音声と類似する対象文章の検索を行ってもよい。また、このような異種間の類似検索において有用な特徴量を、クエリや検索対象となる音声若しくは文章から抽出してもよい。すなわち、情報提供装置１０は、局所的な特徴を示す多次元量を特徴量として設定することができるコンテンツであれば、任意のコンテンツについて、上述した検索処理を適用し、有用特徴量の抽出を行ってよい。
Note that the
〔２．情報提供装置の構成〕
以下、上記した検索処理を実現する情報提供装置１０が有する機能構成の一例について説明する。図３は、実施形態に係る情報提供装置の構成例を示す図である。図３に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
[2. Configuration of information providing device]
Hereinafter, an example of a functional configuration of the
通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００との間で情報の送受信を行う。
The
記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、検索対象データベース３１および学習モデル３２を記憶する。
The storage unit 30 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 30 also stores a
検索対象データベース３１には、検索対象となる対象情報が登録されている。例えば、図４は、実施形態に係る検索対象データベースに登録される情報の一例を示す図である。図４に示す例では、検索対象データベース３１には、「検索対象ＩＤ（Identifier）」、「検索対象データ」、「特徴量」、「比較利用回数」、「比較非利用回数」、「座標利用回数」、「座標非利用回数」、および「種別」といった情報が登録されている。
In the
ここで、「検索対象ＩＤ」とは、検索対象画像を識別する識別子である。また、「検索対象データ」とは、検索対象画像のデータである。また、「特徴量」とは、特徴量である。また、「比較利用回数」、「比較非利用回数」、「座標利用回数」、および「座標非利用回数」とは、それぞれ、対応付けられた特徴量の比較利用回数、比較非利用回数、座標利用回数、および座標非利用回数である。また、「種別」とは、対応付けられた特徴量が有用特徴量であるか非有用特徴量であるかを示す情報である。 Here, the “search target ID” is an identifier for identifying a search target image. “Search target data” is data of a search target image. The “feature amount” is a feature amount. The “comparative usage count”, “comparison non-use count”, “coordinate usage count”, and “coordinate non-use count” are respectively the comparative usage count, comparative non-use count, and coordinate of the associated feature amount. The number of uses and the number of non-use of coordinates. The “type” is information indicating whether the associated feature quantity is a useful feature quantity or a non-useful feature quantity.
例えば、図４に示す例では、検索対象データベース３１には、検索対象ＩＤ「Ｔ１」、検索対象データ「ＴＤ＃１」、比較利用回数「５」、比較非利用回数「２」、座標利用回数「３」、座標非利用回数「２」および種別「有用」が対応付けて登録されている。このような情報は、検索対象ＩＤ「Ｔ１」が示す検索対象画像のデータが「ＴＤ＃１」であり、特徴量が「ＦＴ１−１」である旨を示す。また、このような情報は、特徴量「ＦＴ１−１」の比較利用回数が「５」、比較非利用回数が「２」、座標利用回数が「３」、および座標非利用回数が「２」である旨を示す。また、このような情報は、特徴量「ＦＴ１−１」が有用特徴量である旨を示す。
For example, in the example illustrated in FIG. 4, the
なお、図４に示した各種の値は、概念的なものであり、実際には、検索対象データベース３１には、各特徴量等を示す数値が登録されるものとする。また、検索対象データベース３１には、図４に示す情報以外にも、特徴量と対応する特徴点や、検索対象画像と対応する取引対象に関する各種の情報等、任意の情報が登録されていてよい。
Note that the various values shown in FIG. 4 are conceptual, and actually, the
図３に戻り、説明を続ける。学習モデル３２は、有用特徴量の特徴を学習した学習モデルである。例えば、学習モデルは、ＤＮＮやＳＶＭ等、有用特徴量の特徴を学習した学習モデルの各種パラメータである。
Returning to FIG. 3, the description will be continued. The
制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。
The
図４に示すように、制御部４０は、抽出部４１、判定部４２、計数部４３、検索部４４、生成部４５、および学習部４６を有する。
As illustrated in FIG. 4, the
抽出部４１は、クエリ画像または検索対象画像から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する。例えば、抽出部４１は、検索対象画像から抽出された特徴量から有用特徴量を抽出する。
The
例えば、抽出部４１は、検索対象画像から抽出された特徴量と、その情報と類似する類似情報から抽出された特徴量との比較結果に基づいて、その検索対象画像から抽出された特徴量から有用特徴量を抽出する。また、抽出部４１は、複数の検索対象から抽出された特徴量と、いずれかの検索対象画像と類似する類似情報から抽出された特徴量との比較結果に基づいて、その検索対象画像から抽出された特徴量から有用特徴量を抽出する。
For example, the
ここで、抽出部４１は、クエリ画像、または、検索対象となる画像から抽出された特徴量のうち、類似する画像の検索に有用な有用特徴量を抽出することとなる。例えば、抽出部４１は、類似する画像の検索に有用な有用特徴量として、撮像対象が類似する画像の検索に有用な有用特徴量を抽出する。
Here, the
より具体的には、抽出部４１は、計数部４３により計数された回数に基づいて、検索対象画像から抽出された特徴量から有用特徴量を抽出する。例えば、抽出部４１は、検索対象画像から抽出された特徴量のうち、計数部４３により計数された回数が所定の閾値以上となる特徴量を有用特徴量として抽出する。
More specifically, the
例えば、抽出部４１は、所定の情報処理装置（図示は、省略）から検索対象画像を受付けた場合は、検索対象画像の特徴量を抽出し、検索対象画像と各特徴量とを検索対象データベース３１に登録する。また、抽出部４１は、所定の時間間隔で、検索対象データベース３１を参照し、各特徴量の比較利用回数、比較非利用回数、座標利用回数、および座標非利用回数を参照し、参照した各回数に基づいて、各特徴量が類似画像検索に有用であるか否かを示すスコアを算出する。例えば、抽出部４１は、比較利用回数や座標利用回数が多い程値が高くなり、比較非利用回数や座標非利用回数が多い程値が低くなるスコアを算出する。
For example, when receiving the search target image from a predetermined information processing apparatus (not shown), the
そして、抽出部４１は、算出したスコアの値が所定の閾値を超える場合は、特徴量に種別「有用」を対応付け、算出したスコアの値が所定の閾値を下回る場合は、特徴量に種別「非有用」を対応付ける。なお、抽出部４１は、有用と非有用とを区別するための閾値を同じ閾値にしてもよく、異なる閾値にしてもよい。
The
なお、抽出部４１は、検索対象画像から抽出された特徴量が登録された記憶装置から、有用特徴量以外の特徴量を削除してもよい。例えば、抽出部４１は、種別「非有用」を対応付けた特徴量を、検索対象データベース３１から削除してもよい。
Note that the
また、抽出部４１は、学習部４６により学習されたモデルを用いて、クエリ画像から抽出された特徴量から有用特徴量を抽出してもよい。例えば、抽出部４１は、端末装置１００からクエリ画像を受付けた場合は、クエリ画像の特徴量を抽出する。また、抽出部４１は、学習モデル３２を記憶部３０から読出し、学習モデルを用いて、クエリ画像の特徴量のうち有用特徴量を抽出する。
Further, the
なお、抽出部４１は、学習モデル３２を用いて、検索対象画像の有用特徴量を抽出してもよい。例えば、抽出部４１は、学習モデル３２に検索対象画像の各特徴量を入力し、各特徴量が有用特徴量であるか否かを判定してもよい。
Note that the
また、抽出部４１は、検索対象画像から抽出された特徴量と、生成部４５により生成された類似画像から抽出された特徴量との比較結果に基づいて、検索対象画像から抽出された特徴量から有用特徴量を抽出してもよい。例えば、抽出部４１は、生成部４５から類似画像を取得すると、取得した類似画像から特徴量を抽出し、抽出した特徴量を計数部４３へと提供する。そして、抽出部４１は、検索対象データベース３１を参照し、計数部により計数された各種の利用回数に基づいて、検索対象画像から有用特徴量を抽出する。なお、抽出部４１は、学習モデルを用いて、類似画像から抽出された特徴量から有用特徴量を抽出し、抽出した有用特徴量を計数部４３に提供してもよい。
In addition, the
ここで、検索対象データベース３１に登録される各利用回数は、判定部４２、計数部４３、および検索部４４による検索において計数されることとなる。このため、抽出部４１は、検索部４４による検索結果に基づいて、過去の画像（すなわち、第１クエリ画像）と類似する情報の特徴量から有用特徴量を抽出することとなる。すなわち、抽出部４１は、過去のクエリ画像と類似する画像の検索結果に基づいて、検索対象画像から抽出された特徴量から有用特徴量を抽出することとなる。
Here, each usage count registered in the
なお、抽出部４１は、計数部により計数された回数が所定の第１閾値以上となる特徴量を第１有用特徴量として抽出するとともに、計数部により計数された回数が第１閾値よりも大きい第２閾値以上となる特徴量を第２有用特徴量として抽出してもよい。例えば、抽出部４１は、計数部４３により計数された回数が所定の第１閾値以上となる特徴量に対しては、種別「有用」を対応付けて検索対象データベース３１に登録する。一方、抽出部４１は、計数部４３により計数された回数が第１閾値よりも大きい第２閾値以上となる特徴量に対しては、種別「有用」を対応付けて検索対象データベース３１に登録するとともに、学習データとして学習部４６に通知してもよい。
The
判定部４２は、検索対象画像から抽出された特徴量と、類似情報から抽出された特徴量とが類似するか否かを判定する。また、判定部４２は、検索対象画像から抽出された複数の特徴量のうち、類似情報から抽出された特徴量に類似すると判定された複数の対象特徴量の位置関係と、類似情報から抽出された複数の特徴量のうち、複数の対象特徴量に類似すると判定された複数の類似特徴量の位置関係とが類似するか否かを判定する。
The
例えば、判定部４２は、類似画像検索の運用時においては、抽出部４１がクエリ画像から抽出した特徴量を受付ける。また、例えば、判定部４２は、生成部４５により生成された類似画像から抽出部４１が抽出した特徴量を受付ける。なお、このようなクエリ画像や類似画像の特徴量は、学習モデル３２を用いて抽出された有用特徴量であってもよい。
For example, the
このような場合、判定部４２は、検索対象データベース３１を参照し、受付けたクエリ画像または類似画像の特徴量と最も類似する特徴量を特定し、クエリ画像または類似画像の特徴量と、検索対象データベース３１から特定した特徴量とを対応付ける。そして、判定部４２は、対応付けた特徴量同士の位置関係が類似するか否かを判定する。すなわち、判定部４２は、特徴量照合処理と座標照合処理とを実行する。なお、判定部４２は、特徴量照合処理において、受付けたクエリ画像または類似画像の特徴量と類似度が所定の閾値を超える全ての特徴量を検索対象データベース３１から特定してもよい。
In such a case, the
計数部４３は、検索対象画像から抽出された特徴量ごとに、類似画像から抽出された特徴量と類似すると判定された回数を計数する。また、計数部４３は、検索対象画像から抽出された特徴量ごとに、類似画像から抽出された特徴量と最も類似すると判定された回数を計数する。また、計数部４３は、複数の対象特徴量の位置関係と類似特徴量の位置関係とが類似すると判定された回数を計数する。
The
例えば、計数部４３は、検索対象データベース３１に登録された特徴量が、類似画像から抽出された特徴量と類似すると判定部４２により判定された場合は、その特徴量の比較利用回数に１を加算する。また、計数部４３は、検索対象データベース３１に登録された特徴量が、類似画像から抽出された特徴量と類似しないと判定部４２により判定された場合は、その特徴量の比較非利用回数に１を加算する。
For example, when the
また、例えば、計数部４３は、検索対象データベース３１に登録された特徴量のうち、類似画像から抽出された特徴量と対応付けられた特徴量を対象特徴量とし、類似画像から抽出された特徴量のうち、対象特徴量と対応付けられた特徴量を類似特徴量とする。そして、計数部４３は、判定部４２により、ある検索対象画像の対象特徴量と、類似画像の築地特徴量との位置関係が類似すると判定された場合は、その対象特徴量の座標利用回数に１を加算する。一方、計数部４３は、判定部４２により、ある検索対象画像の対象特徴量と、類似画像の築地特徴量との位置関係が類似しないと判定された場合は、その対象特徴量の座標非利用回数に１を加算する。
Further, for example, the
一方、計数部４３は、類似画像検索の運用時においては、以下の処理を実行する。まず、判定部４２による判定結果を一時的に保持する。また、計数部４３は、端末装置１００から、検索結果に含まれる検索対象画像のうち、利用者が選択した検索対象画像の通知を受付けると、通知された検索対象画像の特徴量のうち、クエリ画像から抽出された特徴量と類似すると判定された特徴量の比較利用回数に１を加算する。また、計数部４３は、通知された検索対象画像の特徴量のうち、クエリ画像から抽出された特徴量であって、対応付けられた特徴量との位置関係が類似すると判定部４２により判定された特徴量の座標利用回数に１を加算する。
On the other hand, the
検索部４４は、有用特徴量を用いて、クエリ画像と類似する情報を検索する。例えば、検索部４４は、判定部４２による判定結果に基づいて、クエリ画像と類似する検索対象画像を検索する。例えば、検索部４４は、類似画像検索の運用時において、判定部４２による特徴量照合処理や座標照合処理の結果を取得する。そして、検索部４４は、座標照合処理の結果、類似する特徴量同士の位置関係が類似すると判定された検索対象画像を、クエリ画像と類似する画像として選択する。
The
また、検索部４４は、クエリ画像と類似する画像のサムネイル等、各種の情報を配置した検索結果を生成する。そして、検索部４４は、クエリ画像の送信元となる端末装置１００に対し、生成した検索結果を提供する。
The
生成部４５は、検索対象画像から、類似画像を生成する。例えば、生成部４５は、類似画像を用いて有用特徴量の抽出を行う場合、検索対象データベース３１からいずれかの検索対象画像を選択し、各種の画像変換技術を用いて、選択した検索対象画像の類似画像を生成する。そして、生成部４５は、生成した類似画像を抽出部４１に提供する。
The
学習部４６は、有用特徴量が有する特徴をモデルに学習させる。例えば、学習部４６は、クエリ画像と類似する検索対象画像を検索する際に用いる有用特徴量よりもより有用性が高い特徴量を用いて、モデルの学習を行う。例えば、学習部４６は、抽出部４１により抽出された有用特徴量の通知を受付けると、通知された有用特徴量が有する特徴を学習モデル３２に学習させる。なお、学習部４６は、例えば、有用特徴量が有する特徴と非有用特徴量が有する特徴と差を学習モデル１２に学習させてもよい。
The
〔３．情報提供装置が実行する処理の流れの一例〕
続いて、図５を用いて、情報提供装置１０が実行する処理の流れの一例を説明する。図５は、実施形態に係る情報提供装置が実行する検索処理の流れの一例を示すフローチャートである。
[3. Example of flow of processing executed by information providing apparatus]
Subsequently, an example of a flow of processing executed by the
例えば、情報提供装置１０は、検索対象画像から特徴量を抽出する（ステップＳ１０１）。続いて、情報提供装置１０は、類似画像をクエリ画像とした際に、検索に用いられた回数を特徴量ごとに計数する（ステップＳ１０２）。例えば、情報提供装置１０は、クエリ画像の特徴量と類似すると判定された回数や、クエリ画像の特徴量と位置関係が類似すると判定された回数等を計数する。
For example, the
そして、情報提供装置１０は、計数した回数に基づいて、有用特徴量を抽出する（ステップＳ１０３）。すなわち、情報提供装置１０は、類似画像検索においてクエリ画像の特徴量と類似すると判定された頻度が高い特徴量、すなわち、類似画像検索に有用な特徴量を有用特徴量として抽出する。
And the
ここで、情報提供装置１０は、クエリ画像を端末装置１００から取得したか否かを判定し（ステップＳ１０４）、取得していない場合は（ステップＳ１０４：Ｎｏ）、取得するまで待機する。そして、情報提供装置１０は、クエリ画像を端末装置１００から取得した場合は(ステップＳ１０５：Ｙｅｓ)、クエリ画像の特徴量と有用特徴量とを比較し（ステップＳ１０５）、比較結果に基づいて、クエリ画像に類似する画像を検索対象画像から検索し（ステップＳ１０６）、処理を終了する。
Here, the
〔４．変形例〕
上記では、情報提供装置１０による検索処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、検索処理のバリエーションについて説明する。
[4. (Modification)
In the above, an example of search processing by the
〔４−１．特徴量の比較について〕
上述した例では、情報提供装置１０は、クエリ情報の特徴量と、検索対象となる情報（以下、「対象情報」と記載する場合がある。）のクエリ特徴量とを比較した。ここで、情報提供装置１０は、任意の情報が有する特徴量を特徴量としてもよい。例えば、情報提供装置１０は、検索対象が画像である場合、特徴点の周囲の画素の彩度や明度の平均値等を特徴量としてもよく、検索対象が音声である場合、特徴点の周囲数秒の周囲の周波数特性を特徴量としてもよい。また、上述した処理以外にも、情報提供装置１０は、任意の特徴量比較技術を併用してもよい。
[4-1. (Comparison of features)
In the above-described example, the
〔４−２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[4-2. Others]
In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be performed manually, and conversely, the processes described as being performed manually. All or a part of the above can be automatically performed by a known method. In addition, the processing procedures, specific names, and information including various data and parameters shown in the document and drawings can be arbitrarily changed unless otherwise specified. For example, the various types of information illustrated in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 In addition, the above-described embodiments can be appropriately combined within a range in which processing contents do not contradict each other.
〔４−３．プログラム〕
また、上述した実施形態に係る情報提供装置１０および端末装置１００は、例えば図６に示すような構成のコンピュータ１０００によって実現される。図６は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
[4-3. program〕
Further, the
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。
The
出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。
The output IF 1060 is an interface for transmitting information to be output to an
なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。
The
ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
The network IF 1080 receives data from other devices via the network N and sends the data to the
演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
The
例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、例えば、コンピュータ１０００が端末装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。
For example, when the
〔５．効果〕
上述したように、情報提供装置１０は、クエリ画像など、クエリとなる情報であるクエリ情報または検索対象画像等、検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する。そして、情報提供装置１０は、抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する。この結果、情報提供装置１０は、類似検索に有用な特徴量を用いて、類似検索を行うので、検索精度を向上させるととともに、検索に要する時間や計算コストを削減する結果、類似検索の効率を改善できる。
[5. effect〕
As described above, the
また、例えば、情報提供装置１０は、検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。例えば、情報提供装置１０は、検索対象となる情報から抽出された特徴量と、その情報と類似する類似情報から抽出された特徴量との比較結果に基づいて、その検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。また、情報提供装置１０は、検索対象となる複数の情報から抽出された特徴量と、その情報のうちいずれかの情報と類似する類似情報から抽出された特徴量との比較結果に基づいて、その検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。
For example, the
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量と、類似情報から抽出された特徴量とが類似するか否かを判定する。また、情報提供装置１０は、検索対象となる情報から抽出された特徴量ごとに、類似情報から抽出された特徴量と類似すると判定された回数を計数する。そして、情報提供装置１０は、計数された回数に基づいて、その検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。例えば、情報提供装置１０は、検索対象となる情報から抽出された特徴量ごとに、類似情報から抽出された特徴量と最も類似すると判定された回数を計数する。これらの処理の結果、情報提供装置１０は、類似検索に有用な特徴量を抽出することができる。
In addition, the
また、情報提供装置１０は、検索対象となる情報から抽出された複数の特徴量のうち、類似情報から抽出された特徴量に類似すると判定された複数の対象特徴量の位置関係と、類似情報から抽出された複数の特徴量のうち、複数の対象特徴量に類似すると判定された複数の類似特徴量の位置関係とが類似するか否かを判定し、複数の対象特徴量の位置関係と類似特徴量の位置関係とが類似すると判定された回数を計数し、計数部により計数された回数に基づいて、その検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。このため、情報提供装置１０は、座標照合処理を実行する類似検索において有用な特徴量を有用特徴量として抽出できる。
The
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量と、第１クエリ情報から抽出された特徴量とが類似するか否かを判定し、判定結果に基づいて、第１クエリ情報と類似する情報を検索する。ここで、情報提供装置１０は、検索結果に基づいて、第１クエリ情報と類似する情報の特徴量から有用特徴量を抽出し、抽出された有用特徴量に基づいて、第２クエリ画像と類似する情報を検索する。このため、情報提供装置１０は、類似検索の運用時における検索結果に基づいて、有用特徴量を抽出できるので、例えば、検索対象となる情報と類似する情報を準備する手間を省くことができる。
Further, the
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量のうち、計数された回数が所定の閾値以上となる特徴量を有用特徴量として抽出する。このため、情報提供装置１０は、適切な有用特徴量を抽出できる。
In addition, the
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量が登録された記憶装置から、有用特徴量以外の特徴量を削除する。このため、情報提供装置１０は、類似検索の効率を改善できる。
In addition, the
また、情報提供装置１０は、検索対象となる情報のうち、第１クエリ情報と類似する情報を検索し、第１クエリ情報と類似する情報の検索結果に基づいて、検索対象となる情報から抽出された特徴量から有用特徴量を抽出し、抽出された有用特徴量を用いて、第２クエリ情報と類似する情報を検索する。このため、情報提供装置１０は、類似検索の運用時における検索結果に基づいて、有用特徴量を抽出できるので、例えば、検索対象となる情報と類似する情報を準備する手間を省くことができる。
Further, the
また、情報提供装置１０は、検索対象となる情報から、その情報と類似する類似情報を生成し、検索対象となる情報から抽出された特徴量と、生成部により生成された情報から抽出された特徴量との比較結果に基づいて、検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。このため、情報提供装置１０は、類似検索に有用な特徴量を有用特徴量として抽出できる。
Further, the
また、情報提供装置１０は、有用特徴量が有する特徴をモデルに学習させる。また、情報提供装置１０は、学習されたモデルを用いて、クエリ情報から抽出された特徴量から有用特徴量を抽出する。また、情報提供装置１０は、学習されたモデルを用いて、検索対象となる情報から抽出された特徴量から有用特徴量を抽出する。このため、情報提供装置１０は、類似検索の効率を改善できる。
In addition, the
また、情報提供装置１０は、検索対象となる情報から抽出された特徴量と、その情報と類似する類似情報から抽出された特徴量とが類似するか否かを判定する。また、情報提供装置１０は、検索対象となる情報から抽出された特徴量ごとに、類似情報から抽出された特徴量と類似すると判定された回数を計数する。また、情報提供装置１０は、計数された回数が所定の第１閾値以上となる特徴量を第１有用特徴量として抽出するとともに、計数された回数が第１閾値よりも大きい第２閾値以上となる特徴量を第２有用特徴量として抽出する。そして、情報提供装置１０は、第１有用特徴量を用いて、クエリ情報と類似する情報を検索し、第２有用特徴量が有する特徴をモデルに学習させる。この結果、情報提供装置１０は、有用特徴量を適切に抽出可能なモデルを学習できる。
In addition, the
また、情報提供装置１０は、クエリ画像、または、検索対象となる画像から抽出された特徴量のうち、類似する画像の検索に有用な有用特徴量を抽出し、有用特徴量を用いて、クエリ画像と類似する画像を検索する。また、情報提供装置１０は、類似する画像の検索に有用な有用特徴量として、撮像対象が類似する画像の検索に有用な有用特徴量を抽出する。このため、情報提供装置１０は、類似検索の効率を改善できる。
Further, the
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 As described above, some of the embodiments of the present application have been described in detail with reference to the drawings. However, these are merely examples, and various modifications, including the aspects described in the disclosure section of the invention, based on the knowledge of those skilled in the art, It is possible to implement the present invention in other forms with improvements.
また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、抽出部は、抽出手段や抽出回路に読み替えることができる。 Moreover, the above-mentioned “section (module, unit)” can be read as “means”, “circuit”, and the like. For example, the extraction unit can be read as extraction means or an extraction circuit.
１０ 情報提供装置
２０ 通信部
３０ 記憶部
３１ 検索対象データベース
３２ 学習モデル
４０ 制御部
４１ 抽出部
４２ 判定部
４３ 計数部
４４ 検索部
４５ 生成部
４６ 学習部
１００ 端末装置
DESCRIPTION OF
Claims (20)
前記抽出部により抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する検索部と
を有することを特徴とする検索装置。 An extractor that extracts useful features useful for searching for similar information out of features extracted from query information or information to be searched;
And a search unit that searches for information similar to the query information using the useful feature amount extracted by the extraction unit.
ことを特徴とする請求項１に記載の検索装置。 The search device according to claim 1, wherein the extraction unit extracts the useful feature amount from a feature amount extracted from information to be searched.
ことを特徴とする請求項２に記載の検索装置。 The extraction unit extracts features extracted from the information to be searched based on a comparison result between the feature values extracted from the information to be searched and the feature values extracted from similar information similar to the information. The search device according to claim 2, wherein the useful feature amount is extracted from a quantity.
ことを特徴とする請求項２または３に記載の検索装置。 The extraction unit is configured to search based on a comparison result between a feature amount extracted from a plurality of pieces of information to be searched and a feature amount extracted from similar information similar to any of the information. The search device according to claim 2 or 3, wherein the useful feature amount is extracted from a feature amount extracted from information that becomes.
前記検索対象となる情報から抽出された特徴量ごとに、前記類似情報から抽出された特徴量と類似すると判定された回数を計数する計数部と
を有し、
前記抽出部は、前記計数部により計数された回数に基づいて、当該検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項３または４に記載の検索装置。 A determination unit that determines whether or not the feature amount extracted from the information to be searched is similar to the feature amount extracted from the similar information;
For each feature amount extracted from the information to be searched, a counting unit that counts the number of times determined to be similar to the feature amount extracted from the similar information,
The said extraction part extracts the said useful feature-value from the feature-value extracted from the information used as the said search object based on the frequency | count counted by the said counting part. The Claim 3 or 4 characterized by the above-mentioned. Search device.
ことを特徴とする請求項５に記載の検索装置。 The said counting part counts the frequency | count determined as the most similar to the feature-value extracted from the said similar information for every feature-value extracted from the information used as said search object. Search device.
前記計数部は、前記複数の対象特徴量の位置関係と前記類似特徴量の位置関係とが類似すると判定された回数を計数し、
前記抽出部は、前記計数部により計数された回数に基づいて、当該検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項５または６に記載の検索装置。 The determination unit includes a positional relationship between a plurality of target feature amounts determined to be similar to a feature amount extracted from the similar information among a plurality of feature amounts extracted from information to be searched, and the similarity information. It is determined whether or not the positional relationship of the plurality of similar feature amounts determined to be similar to the plurality of target feature amounts among the plurality of extracted feature amounts is similar.
The counting unit counts the number of times that the positional relationship between the plurality of target feature amounts and the positional relationship between the similar feature amounts are determined to be similar;
The said extraction part extracts the said useful feature-value from the feature-value extracted from the information used as the said search object based on the frequency | count counted by the said counting part. The Claim 5 or 6 characterized by the above-mentioned. Search device.
前記検索部は、前記判定部による判定結果に基づいて、第１クエリ情報と類似する情報を検索し、
前記抽出部は、前記検索部による検索結果に基づいて、前記第１クエリ情報と類似する情報の特徴量から有用特徴量を抽出し、
前記検索部は、前記抽出部により抽出された有用特徴量に基づいて、第２クエリ画像と類似する情報を検索する
ことを特徴とする請求項５〜７のうちいずれか１つに記載の検索装置。 The determination unit determines whether the feature amount extracted from the information to be searched is similar to the feature amount extracted from the first query information,
The search unit searches for information similar to the first query information based on a determination result by the determination unit,
The extraction unit extracts a useful feature amount from a feature amount of information similar to the first query information based on a search result by the search unit,
The search unit according to claim 5, wherein the search unit searches for information similar to the second query image based on the useful feature amount extracted by the extraction unit. apparatus.
ことを特徴とする請求項５〜８のうちいずれか１つに記載の検索装置。 The extraction unit extracts, as the useful feature amount, a feature amount whose number of times counted by the counting unit is equal to or greater than a predetermined threshold among the feature amounts extracted from the information to be searched. The search device according to any one of claims 5 to 8.
を有することを特徴とする請求項２〜９のうちいずれか１つに記載の検索装置。 10. A deletion unit that deletes feature quantities other than useful feature quantities extracted by the extraction unit from a storage device in which feature quantities extracted from information to be searched are registered. The search device according to any one of the above.
前記抽出部は、前記第１クエリ情報と類似する情報の検索結果に基づいて、前記検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出し、
前記検索部は、前記抽出部により抽出された有用特徴量を用いて、第２クエリ情報と類似する情報を検索する
ことを特徴とする請求項１〜１０のうちいずれか１つに記載の検索装置。 The search unit searches for information similar to the first query information among the information to be searched,
The extraction unit extracts the useful feature amount from the feature amount extracted from the information to be searched based on a search result of information similar to the first query information,
The search according to any one of claims 1 to 10, wherein the search unit searches for information similar to the second query information by using the useful feature amount extracted by the extraction unit. apparatus.
を有し、
前記抽出部は、前記検索対象となる情報から抽出された特徴量と、前記生成部により生成された情報から抽出された特徴量との比較結果に基づいて、前記検索対象となる情報から抽出された特徴量から前記有用特徴量を抽出する
ことを特徴とする請求項１〜１１のうちいずれか１つに記載の検索装置。 A generation unit that generates similar information similar to the information from the information to be searched;
The extraction unit is extracted from the information to be searched based on a comparison result between the feature amount extracted from the information to be searched and the feature amount extracted from the information generated by the generation unit. The useful feature amount is extracted from the obtained feature amount. The search apparatus according to claim 1, wherein the useful feature amount is extracted.
を有することを特徴とする請求項１〜１２のうちいずれか１つに記載の検索装置。 The search device according to claim 1, further comprising: a learning unit that causes a model to learn a feature included in the useful feature amount extracted by the extraction unit.
ことを特徴とする請求項１３に記載の検索装置。 The search device according to claim 13, wherein the extraction unit extracts the useful feature amount from the feature amount extracted from the query information using the model learned by the learning unit.
ことを特徴とする請求項１３または１４に記載の検索装置。 The said extraction part extracts the said useful feature-value from the feature-value extracted from the information used as said search object using the model learned by the said learning part. The Claim 13 or 14 characterized by the above-mentioned. Search device.
前記検索対象となる情報から抽出された特徴量ごとに、前記類似情報から抽出された特徴量と類似すると判定された回数を計数する計数部と
を有し、
前記抽出部は、前記計数部により計数された回数が所定の第１閾値以上となる特徴量を第１有用特徴量として抽出するとともに、前記計数部により計数された回数が前記第１閾値よりも大きい第２閾値以上となる特徴量を第２有用特徴量として抽出し、
前記検索部は、前記第１有用特徴量を用いて、前記クエリ情報と類似する情報を検索し、
前記学習部は、前記第２有用特徴量が有する特徴を前記モデルに学習させる
ことを特徴とする請求項１３〜１５のうちいずれか１つに記載の検索装置。 A determination unit that determines whether or not a feature amount extracted from information to be searched is similar to a feature amount extracted from similar information similar to the information;
For each feature amount extracted from the information to be searched, a counting unit that counts the number of times determined to be similar to the feature amount extracted from the similar information,
The extraction unit extracts, as a first useful feature amount, a feature amount whose number of times counted by the counting unit is equal to or greater than a predetermined first threshold value, and the number of times counted by the counting unit is greater than the first threshold value. Extract feature values that are greater than or equal to the second threshold value as second useful feature values
The search unit searches for information similar to the query information using the first useful feature amount,
The search device according to any one of claims 13 to 15, wherein the learning unit causes the model to learn a feature of the second useful feature amount.
前記検索部は、前記有用特徴量を用いて、クエリ画像と類似する画像を検索する
ことを特徴とする請求項１〜１６のうちいずれか１つに記載の検索装置。 The extraction unit extracts a useful feature amount useful for searching for a similar image out of feature amounts extracted from a query image or an image to be searched,
The search device according to any one of claims 1 to 16, wherein the search unit searches for an image similar to a query image using the useful feature amount.
ことを特徴とする請求項１７に記載の検索装置。 The search device according to claim 17, wherein the extraction unit extracts a useful feature amount useful for searching for an image with a similar imaging target as a useful feature amount useful for searching for the similar image.
クエリ情報または検索対象となる情報から抽出された特徴量のうち、類似する情報の検索に有用な有用特徴量を抽出する抽出工程と、
前記抽出工程により抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する検索工程と
を含むことを特徴とする検索方法。 A search method executed by a search device,
An extraction step for extracting useful feature amounts useful for searching for similar information out of feature amounts extracted from query information or information to be searched; and
And a search step of searching for information similar to the query information using the useful feature amount extracted in the extraction step.
前記抽出手順により抽出された有用特徴量を用いて、クエリ情報と類似する情報を検索する検索手順と
をコンピュータに実行させるための検索プログラム。 An extraction procedure for extracting useful features useful for searching for similar information out of features extracted from query information or information to be searched,
A search program for causing a computer to execute a search procedure for searching for information similar to query information using the useful feature amount extracted by the extraction procedure.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018047700A JP6974222B2 (en) | 2018-03-15 | 2018-03-15 | Search device, search method and search program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018047700A JP6974222B2 (en) | 2018-03-15 | 2018-03-15 | Search device, search method and search program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019159999A true JP2019159999A (en) | 2019-09-19 |
| JP6974222B2 JP6974222B2 (en) | 2021-12-01 |
Family
ID=67993498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018047700A Active JP6974222B2 (en) | 2018-03-15 | 2018-03-15 | Search device, search method and search program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6974222B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011186604A (en) * | 2010-03-05 | 2011-09-22 | Osaka Prefecture Univ | Method, device, and processing program for restoring handwriting |
| US8515212B1 (en) * | 2009-07-17 | 2013-08-20 | Google Inc. | Image relevance model |
| JP2015022631A (en) * | 2013-07-22 | 2015-02-02 | 富士ゼロックス株式会社 | Information processor, information processing system and program |
| JP2017010468A (en) * | 2015-06-25 | 2017-01-12 | Kddi株式会社 | System and method for retrieving objects reflected in imaging picture |
-
2018
- 2018-03-15 JP JP2018047700A patent/JP6974222B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8515212B1 (en) * | 2009-07-17 | 2013-08-20 | Google Inc. | Image relevance model |
| JP2011186604A (en) * | 2010-03-05 | 2011-09-22 | Osaka Prefecture Univ | Method, device, and processing program for restoring handwriting |
| JP2015022631A (en) * | 2013-07-22 | 2015-02-02 | 富士ゼロックス株式会社 | Information processor, information processing system and program |
| JP2017010468A (en) * | 2015-06-25 | 2017-01-12 | Kddi株式会社 | System and method for retrieving objects reflected in imaging picture |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6974222B2 (en) | 2021-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590255B (en) | Information pushing method and device | |
| CN104994426B (en) | Program video identification method and system | |
| US20230267523A1 (en) | Systems and methods of multicolor search of images | |
| US10380461B1 (en) | Object recognition | |
| US8737737B1 (en) | Representing image patches for matching | |
| WO2017000109A1 (en) | Search method, search apparatus, user equipment, and computer program product | |
| US9424466B2 (en) | Shoe image retrieval apparatus and method using matching pair | |
| WO2019136897A1 (en) | Image processing method, apparatus, electronic device and storage medium | |
| US9940552B1 (en) | Sublinear time classification via feature padding and hashing | |
| JP6365024B2 (en) | Service providing apparatus, method, and program | |
| JP7354014B2 (en) | Information processing device, information processing method, and information processing program | |
| US20130121598A1 (en) | System and Method for Randomized Point Set Geometry Verification for Image Identification | |
| JP6997656B2 (en) | Search device, search method and search program | |
| US9639808B2 (en) | Non-transitory computer readable medium, information processing apparatus, and attribute estimation method | |
| JP2017219984A (en) | Image retrieval system, image dictionary creation system, image processing system and program | |
| JPH11250106A (en) | Method for automatically retrieving registered trademark through the use of video information of content substrate | |
| CN110209895B (en) | Vector retrieval method, device and equipment | |
| JP6974222B2 (en) | Search device, search method and search program | |
| WO2017143979A1 (en) | Image search method and device | |
| JP7088665B2 (en) | Search device, search method and search program | |
| JP7109414B2 (en) | IDENTIFICATION DEVICE, IDENTIFICATION METHOD AND IDENTIFICATION PROGRAM | |
| JP7091055B2 (en) | Search device, search method and search program | |
| US9092694B2 (en) | Method and system for creating a digital image album | |
| JP7044677B2 (en) | Judgment device, judgment method and judgment program | |
| JP7161002B1 (en) | Information processing device, information processing method and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211104 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6974222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |