JP6767342B2 - Search device, search method and search program - Google Patents
Search device, search method and search program Download PDFInfo
- Publication number
- JP6767342B2 JP6767342B2 JP2017220199A JP2017220199A JP6767342B2 JP 6767342 B2 JP6767342 B2 JP 6767342B2 JP 2017220199 A JP2017220199 A JP 2017220199A JP 2017220199 A JP2017220199 A JP 2017220199A JP 6767342 B2 JP6767342 B2 JP 6767342B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- search
- image
- meta
- meta information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 73
- 230000014509 gene expression Effects 0.000 claims description 92
- 230000008569 process Effects 0.000 claims description 43
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Images
Description
本発明は、検索装置、検索方法および検索プログラムに関する。 The present invention relates to a search device, a search method, and a search program.
従来、入力された検索クエリと対応する画像の検索を行う技術が知られている。このような技術の一例として、検索クエリと対応するタグが予め付与された画像を検索し、検査した画像の色や形状等といった特徴量同士を比較することで、検索クエリと対応する画像を検索する技術が知られている。 Conventionally, there is known a technique for searching an image corresponding to an input search query. As an example of such a technology, a search query and an image corresponding to the search query are searched by searching for an image to which a tag corresponding to the search query is attached in advance and comparing feature quantities such as the color and shape of the inspected image. The technology to do is known.
しかしながら、上記の方法では、検索クエリと対応する画像の検索精度が向上するとは限らなかった。 However, the above method does not always improve the search accuracy of the image corresponding to the search query.
例えば、上述した従来技術では、タグ等の文字列を用いた検索と、画像の特徴量を用いた検索とが独立して行われるため、例えば、検索クエリと意味が異なるが文字列が類似するタグが付与された画像や、利用者の検索意図とは異なる画像であるが、色や形状等の特徴量が類似する画像が検索結果に含まれる恐れがある。 For example, in the above-mentioned conventional technique, a search using a character string such as a tag and a search using an image feature amount are performed independently. Therefore, for example, the character string is similar to the search query although the meaning is different. There is a possibility that the search result may include an image with a tag or an image that is different from the user's search intention but has similar features such as color and shape.
本願は、上記に鑑みてなされたものであって、画像の検索精度を向上させることを目的とする。 The present application has been made in view of the above, and an object of the present application is to improve the search accuracy of images.
本願に係る検索装置は、所定のメタ情報の分散表現のみが投影された分散表現空間と、第１情報の特徴を示す第１メタ情報の分散表現とを生成する生成部と、前記所定のメタ情報の中から、前記分散表現空間に投影された分散表現が前記第１情報の分散表現と類似する１以上のメタ情報を特定する特定部と、第２情報の特徴を示す第２メタ情報と前記特定部により特定されたメタ情報とを比較し、前記第２メタ情報が１以上対応付けられた検索対象となる前記第２情報の中から、前記第２メタ情報と前記特定部により特定されたメタ情報との一致度が所定の閾値よりも高い第２情報を抽出し、抽出した第２情報と前記第１情報との比較結果に基づいて、前記第１情報と類似する第２情報を検索する検索部とを有することを特徴とする。 The search device according to the present application includes a generation unit that generates a distributed representation space in which only a distributed representation of predetermined meta information is projected, a distributed representation of first meta information indicating the characteristics of the first information, and the predetermined meta. From the information, a specific part that specifies one or more meta information in which the distributed expression projected on the distributed expression space is similar to the distributed expression of the first information, and a second meta information indicating the characteristics of the second information. The meta information specified by the specific unit is compared, and the second meta information is specified by the specific unit from the second information to be searched to which one or more of the second meta information is associated. Second information having a degree of agreement with the meta information higher than a predetermined threshold is extracted, and based on the comparison result between the extracted second information and the first information, second information similar to the first information is obtained. It is characterized by having a search unit for searching.
実施形態の一態様によれば、画像の検索精度を向上させる。 According to one aspect of the embodiment, the image search accuracy is improved.
以下に、本願に係る検索装置、検索方法および検索プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る検索装置、検索方法および検索プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, a search device, a search method, and a mode for carrying out the search program (hereinafter, referred to as “the embodiment”) according to the present application will be described in detail with reference to the drawings. Note that this embodiment does not limit the search device, search method, and search program according to the present application. Further, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicate description is omitted.
［実施形態］
〔１−１．検索装置の一例〕
まず、図１を用いて、検索装置が実行する抽出処理の一例について説明する。図１は、実施形態に係る検索装置が実行する抽出処理の一例を示す図である。図１では、検索装置１０は、インターネット等の所定のネットワークＮを介して、利用者Ｕ０１が使用する端末装置１００と通信可能である。なお、検索装置１０は、任意の利用者が使用する任意の数の端末装置１００と通信可能であってよい。
[Embodiment]
[1-1. An example of a search device]
First, an example of the extraction process executed by the search device will be described with reference to FIG. FIG. 1 is a diagram showing an example of an extraction process executed by the search device according to the embodiment. In FIG. 1, the search device 10 can communicate with the
検索装置１０は、利用者Ｕ０１が検索クエリとして入力した第１情報と類似する第２情報を検索し、検索した第２情報を検索結果として端末装置１００へと送信する検索処理を実行する。例えば、検索装置１０は、サーバ装置やクラウドシステム等の情報処理装置により実現される。
The search device 10 searches for second information similar to the first information input by the user U01 as a search query, and executes a search process of transmitting the searched second information as a search result to the
端末装置１００は、利用者Ｕ０１が使用する端末装置であり、例えば、スマートフォンやタブレット等といった携帯移動端末装置やＰＣ（Personal Computer）端末、サーバ装置等により実現される。例えば、端末装置１００は、任意の情報を表示可能な画面を有し、検索装置１０から配信を受付けた検索結果、すなわち、第２情報を表示することで、利用者Ｕ０１が入力した第１情報と類似する第２情報を表示する。
The
なお、後述するように、検索装置１０は、インターネット等のネットワークＮを介して、任意のサーバと任意の情報を送受信することができるものとする。例えば、検索装置１０は、ブログ、マイクロブログ、ウェブページ、メッセージ、静止画像、動画像、音声等といった各種コンテンツの投稿を受付けると、受付けたコンテンツを公開することで、コンテンツに関する各種の情報を世間一般に拡散させる各種のＳＮＳ（Social Networking Service）を提供するサーバ装置や、電子商取引やオークションに関するサービスを提供するサーバ装置等、各種のウェブコンテンツを配信するウェブサーバと通信可能であるものとする。 As will be described later, the search device 10 can send and receive arbitrary information to and from an arbitrary server via a network N such as the Internet. For example, when the search device 10 accepts postings of various contents such as blogs, microblogs, web pages, messages, still images, moving images, sounds, etc., the received contents are published to release various information about the contents to the public. It is assumed that it is possible to communicate with a web server that distributes various web contents such as a server device that provides various SNS (Social Networking Service) to be spread to the general public and a server device that provides services related to electronic commerce and auction.
〔１−２．情報の一例〕
ここで、以下の説明においては、検索装置１０は、検索クエリとして入力された画像と類似する画像を検索する検索処理を行うものとする。例えば、検索装置１０は、第１情報である画像（以下、「クエリ画像」と記載する。）を端末装置１００から受付けると、検索対象となる画像（以下、「検索対象画像」と記載する。）、すなわち、第２情報である画像の中から、クエリ画像と類似する画像を検索し、検索結果を端末装置１００へと送信する。
[1-2. An example of information]
Here, in the following description, it is assumed that the search device 10 performs a search process for searching for an image similar to the image input as the search query. For example, when the search device 10 receives the image (hereinafter, referred to as “query image”) which is the first information from the
より具体的には、検索装置１０は、検索対象となる画像と、画像の特徴を示す第３情報（以下、「メタ情報」と記載する。）とをあらかじめ対応付けて記憶している。ここで、メタ情報は、対応付けられた画像の特徴を示す情報であり、例えば、対応付けられた画像に含まれる撮像対象を示す情報等、画像が有する意味的な特徴を示すテキストである。このような検索装置１０は、クエリ画像を受付けると、メタ情報を考慮して、検索対象画像の中から、クエリ画像と類似する画像を検索する。そして、検索装置１０は、検索した画像を端末装置１００へと送信する。
More specifically, the search device 10 stores the image to be searched and the third information indicating the characteristics of the image (hereinafter, referred to as "meta information") in association with each other in advance. Here, the meta information is information indicating the characteristics of the associated image, and is text indicating the semantic characteristics of the image, such as information indicating an imaging target included in the associated image. When such a search device 10 receives a query image, it searches for an image similar to the query image from the search target images in consideration of meta information. Then, the search device 10 transmits the searched image to the
〔１−３．検索処理について〕
ここで、画像検索を行う処理として、クエリ画像と特徴量が類似する画像を検索する手法が考えられる。しかしながら、このような手法では、画像の色や形状等、外観的な特徴が類似する画像も類似画像として抽出されるため、クエリ画像とは意味合いが異なる画像、すなわち、セマンティックが異なる画像が抽出される恐れがある。例えば、クエリ画像に「赤い色の靴」が撮像されている場合、色彩や形状が類似する「赤い色の靴下」や「赤い色の靴のオーナメント」が撮像されている画像が類似画像として抽出される恐れがある。
[1-3. About search process]
Here, as a process for performing an image search, a method of searching for an image having a feature amount similar to that of the query image can be considered. However, in such a method, images having similar appearance features such as color and shape of the image are also extracted as similar images, so that an image having a different meaning from the query image, that is, an image having a different semantic is extracted. There is a risk of For example, if "red shoes" are captured in the query image, images with similar colors and shapes of "red socks" and "red shoe ornaments" are extracted as similar images. There is a risk of being done.
ここで、検索対象画像に何が撮像されているかといった情報を示すタグをあらかじめ付与しておくといった手法が考えられる。しかしながら、このような手法では、検索クエリとしてクエリ画像が入力された場合には、クエリ画像に何が撮像されているかを示すテキストを利用者が検索クエリとして入力する必要がある。 Here, it is conceivable to add a tag indicating information such as what is captured in the search target image in advance. However, in such a method, when a query image is input as a search query, the user needs to input text indicating what is captured in the query image as a search query.
そこで、検索装置１０は、以下の検索処理を実行する。まず、検索装置１０は、第１情報の特徴を示す分散表現を生成する。続いて、検索装置１０は、検索対象となる第２情報の特徴を示す第３情報の中から、分散表現が生成された分散表現と類似する第３情報を特定する。そして、検索装置１０は、特定された第３情報が特徴を示す第２情報の中から、第１情報と類似する情報を検索する。例えば、検索装置１０は、特定された第３情報に基づいて、第２情報の順位付けを行い、順位が所定の閾値よりも高い第２情報のうち、第１情報と類似する第２情報を検索する。 Therefore, the search device 10 executes the following search process. First, the search device 10 generates a distributed representation indicating the characteristics of the first information. Subsequently, the search device 10 identifies the third information similar to the distributed representation in which the distributed representation is generated from the third information indicating the characteristics of the second information to be searched. Then, the search device 10 searches for information similar to the first information from the second information in which the specified third information is characteristic. For example, the search device 10 ranks the second information based on the specified third information, and among the second information whose rank is higher than a predetermined threshold value, the second information similar to the first information is selected. Search for.
より具体的には、検索装置１０は、クエリ画像の特徴を示す分散表現を生成する。また、検索装置１０は、検索対象画像の特徴を示すメタ情報の中から、分散表現がクエリ画像の特徴と類似するメタ情報を特定する。そして、検索装置１０は、特定したメタ情報が特徴を示す検索対象画像の中から、クエリ画像と類似する画像を選択する。例えば、検索装置１０は、特定したメタ情報が付与された検索対象画像や、特定したメタ情報との類似度が所定の閾値を超える検索対象画像を抽出し、抽出した検索対象画像の中から、外観的な特徴がクエリ画像と類似する画像を検索結果として端末装置１００に配信する。
More specifically, the search device 10 generates a distributed representation that shows the characteristics of the query image. Further, the search device 10 identifies meta information whose distributed expression is similar to the characteristics of the query image from the meta information indicating the characteristics of the search target image. Then, the search device 10 selects an image similar to the query image from the search target images whose features are the specified meta information. For example, the search device 10 extracts a search target image to which the specified meta information is added and a search target image whose similarity with the specified meta information exceeds a predetermined threshold value, and from the extracted search target images. An image whose appearance is similar to that of the query image is delivered to the
すなわち、検索装置１０は、分散表現空間上において、セマンティックな特徴がクエリ画像のセマンティックな特徴と類似するメタ情報を、クエリ画像のセマンティックな特徴を示すと推定されるメタ情報として特定する。そして、検索装置１０は、特定したメタ情報を用いて、検索対象画像の中から、セマンティックな特徴がクエリ画像と類似する検索対象画像を抽出する。その後、検索装置１０は、抽出した検索対象画像のうち、撮像対象の色彩や形状がクエリ画像と類似する検索対象画像を検索し、検索結果を端末装置１００へと送信する。
That is, the search device 10 specifies meta information whose semantic features are similar to those of the query image on the distributed representation space as meta information which is presumed to indicate the semantic features of the query image. Then, the search device 10 uses the specified meta information to extract a search target image having a semantic feature similar to that of the query image from the search target image. After that, the search device 10 searches for the search target image whose color and shape of the image capture target are similar to the query image among the extracted search target images, and transmits the search result to the
〔１−４．検索処理の一例〕
次に、図１を用いて、検索装置１０が実行する検索処理の一例について説明する。なお、検索装置１０は、検索対象画像と、検索対象画像に像が含まれる撮像対象の特徴や検索対象画像の意味的な特徴を示すメタ情報とをあらかじめ対応付けて記憶しているものとする。
[1-4. An example of search processing]
Next, an example of the search process executed by the search device 10 will be described with reference to FIG. It is assumed that the search device 10 stores in advance the search target image and the meta information indicating the feature of the imaging target whose image is included in the search target image and the semantic feature of the search target image. ..
例えば、検索装置１０は、利用者Ｕ０１が使用する端末装置１００から、クエリ画像Ｑ１を受付ける（ステップＳ１）。このような場合、検索装置１０は、クエリ画像Ｑ１に像が含まれる撮像対象の特徴や、画像の意味的な特徴等、クエリ画像のセマンティックな特徴を示す分散表現＃Ｑ１を生成する（ステップＳ２）。ここで、分散表現とは、クエリ画像Ｑ１から生成され、クエリ画像Ｑ１の特徴を示す多次元量である。
For example, the search device 10 receives the query image Q1 from the
例えば、検索装置１０は、ＩＬＳＶＲＣ（ImageNet Large Scale Visual Recognition Challenge）等における技術を用いて、画像から撮像対象の特徴を抽出するように学習が行われたモデルを用いて、クエリ画像Ｑ１に像が含まれる撮像対象の特徴を示す分散表現、すなわち、クエリ画像Ｑ１の意味的な特徴を示す分散表現を生成する。なお、このようなモデルは、例えば、畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）等のニューラルネットワークにより実現されてもよい。また、検索装置１０は、クエリ画像Ｑ１のフィッシャーベクターに基づいて、クエリ画像Ｑ１に像が含まれる撮像対象の分類を行うモデルを用いて、クエリ画像Ｑ１の分散表現を生成してもよい。このような処理の結果、検索装置１０は、例えば、「赤いブーツの写真」等といった被写体の特徴を示す分散表現＃Ｑ１を生成する。 For example, the search device 10 uses a model trained to extract features to be imaged from an image using a technique such as ILSVRC (ImageNet Large Scale Visual Recognition Challenge), and an image is displayed on the query image Q1. A distributed representation showing the characteristics of the included imaging target, that is, a distributed representation showing the semantic features of the query image Q1 is generated. In addition, such a model may be realized by a neural network such as a convolutional neural network (CNN), for example. Further, the search device 10 may generate a distributed representation of the query image Q1 by using a model that classifies the imaging target including the image in the query image Q1 based on the Fisher vector of the query image Q1. As a result of such processing, the search device 10 generates a distributed expression # Q1 indicating the characteristics of the subject such as "a photograph of red boots".
続いて、検索装置１０は、検索対象画像のメタ情報の中から、分散表現がクエリ画像Ｑ１の分散表現＃Ｑ１と類似するメタ情報を特定する（ステップＳ３）。例えば、検索装置１０は、メタ情報についての何らかな表現となる分散表現をあらかじめ生成する。このような分散表現は、例えば、検索対象画像のメタ情報が有する意味的な特徴を示す分散表現等が適用可能である。なお、分散表現は、メタ情報が有する意味的な特徴以外にも、メタ情報から認識されうる任意の情報を表現するものであればよい。より具体的な例を挙げると、分散表現は、メタ情報から認識される任意の情報（例えば、メタ情報の内容や、メタ情報の種別等）に基づいて、メタ情報を分類することができる情報である。なお、以下の説明では、分散表現の一例として、メタ情報の意味的な特徴とともに、撮像対象等といった画像の見た目から特定可能な何らかの特徴をも示す分散表現を生成する処理の一例について説明する。 Subsequently, the search device 10 identifies meta information whose distributed expression is similar to the distributed expression # Q1 of the query image Q1 from the meta information of the search target image (step S3). For example, the search device 10 pre-generates a distributed representation that is some representation of the meta information. As such a distributed expression, for example, a distributed expression showing a semantic feature of the meta information of the search target image can be applied. In addition to the semantic features of the meta information, the distributed representation may represent any information that can be recognized from the meta information. To give a more specific example, the distributed representation is information that can classify meta information based on arbitrary information recognized from meta information (for example, the content of meta information, the type of meta information, etc.). Is. In the following description, as an example of the distributed representation, an example of a process of generating a distributed representation showing not only the semantic features of the meta information but also some features that can be identified from the appearance of the image such as the image capture target will be described.
続いて、検索装置１０は、分散表現＃Ｑ１と類似するメタ情報の分散表現を特定する。例えば、検索装置１０は、メタ情報の分散表現を含む分散表現空間上において、分散表現＃Ｑ１とユークリッド距離が所定の範囲内となる分散表現＃１〜＃４を特定する。そして、検索装置１０は、特定した分散表現＃１〜＃４と対応するメタ情報＃１〜＃４を特定する。このような処理の結果、例えば、検索装置１０は、「赤いブーツの写真」等といったクエリ画像Ｑ１の意味的な特徴と類似する特徴を示すメタ情報＃１〜＃４を特定することとなる。なお、検索装置１０は、分散表現＃Ｑ１とコサイン類似度が所定の範囲内となる分散表現を特定してもよい。 Subsequently, the search device 10 identifies a distributed representation of meta information similar to the distributed representation # Q1. For example, the search device 10 specifies the distributed expressions # 1 to # 4 in which the distributed expression # Q1 and the Euclidean distance are within a predetermined range on the distributed expression space including the distributed expression of the meta information. Then, the search device 10 identifies the meta information # 1 to # 4 corresponding to the specified distributed expressions # 1 to # 4. As a result of such processing, for example, the search device 10 identifies meta information # 1 to # 4 indicating features similar to the semantic features of the query image Q1 such as "photograph of red boots". The search device 10 may specify a distributed expression in which the cosine similarity with the distributed expression # Q1 is within a predetermined range.
続いて、検索装置１０は、メタ情報を集約した集約情報を用いて、検索対象となる画像の順位付けと足切とを実行する（ステップＳ４）。例えば、検索装置１０は、Ｂａｇ−ｏｆ−Ｗｏｒｄｓの技術を用いて、メタ情報＃１〜＃４の意味的な特徴を集約した集約情報＃Ｑ１を生成する。なお、例えば、検索装置１０は、特定したメタ情報＃１〜＃４が属するカテゴリのうち、特定したメタ情報＃１〜＃４が最も多く属するカテゴリを示す情報を集約情報＃Ｑ１としてもよい。 Subsequently, the search device 10 executes ranking and cutoff of images to be searched by using the aggregated information that aggregates the meta information (step S4). For example, the search device 10 uses the Bag-of-Words technique to generate aggregated information # Q1 that aggregates the semantic features of meta information # 1 to # 4. For example, the search device 10 may use the information indicating the category to which the specified meta information # 1 to # 4 belongs most as the aggregated information # Q1 among the categories to which the specified meta information # 1 to # 4 belong.
また、検索装置１０は、検索対象画像である画像＃Ｐ１〜＃Ｐ４と、各画像＃Ｐ１〜＃Ｐ４の意味的な特徴を示すメタ情報＃Ｐ１〜＃Ｐ４とをあらかじめ記憶する。このような場合、検索装置１０は、画像とメタ情報＃Ｐ１〜＃Ｐ４との組を、メタ情報＃Ｐ１〜＃Ｐ４と集約情報＃Ｑ１との類似度の順に並べ替え、上位から所定の数の組を抽出する。すなわち、検索装置１０は、ｔｏｐ−ｋアルゴリズムを用いて、メタ情報と集約情報＃Ｑ１との類似度が所定の閾値よりも高い画像を抽出する。 Further, the search device 10 stores in advance images # P1 to # P4, which are search target images, and meta information # P1 to # P4 indicating the semantic features of each of the images # P1 to # P4. In such a case, the search device 10 rearranges the pair of the image and the meta information # P1 to # P4 in the order of the similarity between the meta information # P1 to # P4 and the aggregated information # Q1, and a predetermined number from the top. Extract the set of. That is, the search device 10 uses the top−k algorithm to extract an image in which the similarity between the meta information and the aggregated information # Q1 is higher than a predetermined threshold value.
例えば、メタ情報＃Ｐ１〜＃Ｐ４と集約情報＃Ｑ１との類似度が、メタ情報＃Ｐ３、メタ情報＃Ｐ４、メタ情報＃Ｐ１、メタ情報＃Ｐ２の順に高く、かつ、メタ情報の類似度が高い方から順に３つの画像を抽出する場合、検索装置１０は、メタ情報＃Ｐ３と対応する画像＃Ｐ３、メタ情報＃Ｐ４と対応する画像＃Ｐ４、およびメタ情報＃Ｐ１と対応する画像＃Ｐ１を抽出する。このような処理の結果、例えば、検索装置１０は、「赤い履物の写真」や「ブーツの写真」等、分散表現＃Ｑ１が示すクエリ画像Ｑ１の意味的な特徴と類似する特徴を有する画像を抽出することとなる。 For example, the similarity between meta information # P1 to # P4 and aggregate information # Q1 is higher in the order of meta information # P3, meta information # P4, meta information # P1, and meta information # P2, and the similarity of meta information. When extracting three images in order from the highest, the search device 10 has the meta information # P3 and the corresponding image # P3, the meta information # P4 and the corresponding image # P4, and the meta information # P1 and the corresponding image #. Extract P1. As a result of such processing, for example, the search device 10 obtains an image having characteristics similar to the semantic characteristics of the query image Q1 indicated by the distributed expression # Q1, such as "photograph of red footwear" and "photograph of boots". It will be extracted.
そして、検索装置１０は、類似度の順位が高い画像の中から、画像としての特徴量、すなわち、画像の外観的な特徴を示す特徴量がクエリ画像Ｑ１と類似する画像を検索する（ステップＳ５）。例えば、検索装置１０は、フィッシャーベクター等の技術を用いて、クエリ画像Ｑ１の画像特徴量＃Ｑ１を生成し、画像＃Ｐ３から画像特徴量＃Ｐ３を生成し、画像＃Ｐ４から画像特徴量＃Ｐ４を生成し、画像＃Ｐ１から画像特徴量＃Ｐ１を生成する。そして、検索装置１０は、画像特徴量＃Ｐ３、＃Ｐ４、＃Ｐ１と画像特徴量＃Ｑ１との類似度をそれぞれ算出し、算出した類似度が所定の閾値を超える画像特徴量を特定する。すなわち、検索装置１０は、クエリ画像Ｑ１と意味的な特徴が類似する画像＃Ｐ１〜＃Ｐ４を特定する際よりも低レベルな類似判定（セマンティックではない類似判定）を行う。 Then, the search device 10 searches for an image having a feature amount as an image, that is, a feature amount indicating the appearance feature of the image, which is similar to the query image Q1 from the images having a high degree of similarity (step S5). ). For example, the search device 10 generates the image feature amount # Q1 of the query image Q1, generates the image feature amount # P3 from the image # P3, and generates the image feature amount # P3 from the image # P4 by using a technique such as Fisher Vector. P4 is generated, and the image feature amount # P1 is generated from the image # P1. Then, the search device 10 calculates the similarity between the image feature amounts # P3, # P4, # P1 and the image feature amount # Q1, respectively, and identifies the image feature amount whose calculated similarity exceeds a predetermined threshold value. That is, the search device 10 performs a lower level similarity determination (non-semantic similarity determination) than when identifying images # P1 to # P4 having semantic features similar to the query image Q1.
その後、検索装置１は、特定した画像特徴量と対応する画像をクエリ画像Ｑ１の類似画像として端末装置１００へと配信する（ステップＳ６）。なお、例えば、検索装置１０は、画像＃Ｐ３、＃Ｐ４、＃Ｐ１を、画像特徴量＃Ｐ３、＃Ｐ４、＃Ｐ１と画像特徴量＃Ｑ１との類似度に応じて順位づけし、順位づけした順に画像＃Ｐ３、＃Ｐ４、＃Ｐ１を並べたウェブページを類似画像の検索結果として端末装置１００へ配信してもよい。
After that, the search device 1 delivers the image corresponding to the specified image feature amount to the
このように、検索装置１０は、分散表現空間上において、分散表現がクエリ画像Ｑ１のセマンティックな特徴を示す分散表現と類似するメタ情報を検索し、検索したメタ情報に対応する画像を検索対象画像から抽出する。すなわち、検索装置１０は、画像である第１情報の被写体の特徴を示す分散表現を生成し、画像である第２情報の被写体の特徴を示すテキストである第３情報の中から、分散表現が、第１情報から生成された分散表現と類似する第３情報を特定する。そして、検索装置１０は、特定された第３情報が特徴を示す第２情報の中から、外観の特徴が第１情報と類似する情報を検索する。 In this way, the search device 10 searches for meta information similar to the distributed representation in which the distributed representation shows the semantic features of the query image Q1 on the distributed representation space, and searches for an image corresponding to the searched meta information. Extract from. That is, the search device 10 generates a distributed expression indicating the characteristics of the subject of the first information which is an image, and the distributed expression is obtained from the third information which is the text indicating the characteristics of the subject of the second information which is an image. , Identify a third piece of information that is similar to the distributed representation generated from the first piece of information. Then, the search device 10 searches for information whose appearance characteristics are similar to those of the first information from the second information whose characteristics are the specified third information.
この結果、検索装置１０は、意味的な特徴が異なる画像（すなわち、セマンティックノイズとなる画像）を検索結果から除外することができるので、検索結果の利用者の意図を反映させる結果、画像の検索精度を向上させることができる。 As a result, the search device 10 can exclude images having different semantic characteristics (that is, images that cause semantic noise) from the search results. Therefore, as a result of reflecting the user's intention of the search results, the image is searched. The accuracy can be improved.
〔２．検索処理のバリエーション〕
上述した説明では、検索処理の一例として、クエリ画像と画像の特徴およびセマンティックな特徴が類似する画像（すなわち、画像の見た目から特定することができるセミセマンティックな特徴が類似する画像）を抽出し、抽出した画像のうち外観的な特徴がクエリ画像と類似する画像を検索する処理について記載した。しかしながら、上述した説明は、あくまで一例であり、実施形態は、これに限定されるものではない。以下、検索処理のバリエーションの一例について説明する。
[2. Variations in search processing]
In the above description, as an example of the search process, an image having similar features and semantic features of the query image and the image (that is, an image having similar semi-semantic features that can be identified from the appearance of the image) is extracted. The process of searching for an image whose appearance characteristics are similar to the query image among the extracted images is described. However, the above description is merely an example, and the embodiment is not limited thereto. An example of a variation of the search process will be described below.
〔２−１．情報の種別について〕
例えば、検索装置１０は、画像以外にも、動画像、テキスト、ウェブページ、音声等、任意のコンテンツを第１情報、第２情報および第３情報としてもよい。また、検索装置１０は、第１情報とは異なる種別のコンテンツを第２情報としてもよい。例えば、検索装置１０は、クエリ画像を入力した際に、クエリ画像と類似する動画像やウェブページ等の任意の情報を出力してよい。また、第３情報は、例えば、第１情報が画像や動画像である場合に、画像の特徴的な部分を示す画像やサムネイル画像、同じ撮像対象を異なる位置から撮像した画像等、第２情報を補助する同種の情報であってもよく、異なる種別の情報であってもよい。
[2-1. Information type]
For example, the search device 10 may use arbitrary contents such as moving images, texts, web pages, and sounds as first information, second information, and third information in addition to images. Further, the search device 10 may use content of a type different from the first information as the second information. For example, when the search device 10 inputs a query image, it may output arbitrary information such as a moving image or a web page similar to the query image. Further, the third information includes, for example, when the first information is an image or a moving image, a second information such as an image or a thumbnail image showing a characteristic part of the image, an image obtained by capturing the same imaging target from different positions, and the like. It may be the same kind of information that assists, or it may be a different kind of information.
例えば、検索装置１０は、検索対象となる動画像と、動画像の意味を示すメタ情報とを対応付けて記憶する。このようなメタ情報は、例えば、動画像に撮像された被写体の意味的な特徴のみならず、動画像の外観的な特徴、監督や出演者の氏名、ドラマやサスペンス等といったジャンル等、動画像の各種特徴を示すメタ情報である。一方、検索装置１０は、クエリ画像を受信すると、受信した検索クエリの意味的な特徴を示す分散表現を生成し、分散表現がクエリ画像の分散表現と類似するメタ情報を特定する。そして、検索装置１０は、特定したメタ情報と類似するメタ情報が対応付けられた動画像を抽出し、抽出した動画像のうち、外観的な特徴がクエリ画像と類似する動画像を検索する。 For example, the search device 10 stores a moving image to be searched and meta information indicating the meaning of the moving image in association with each other. Such meta information includes not only the semantic characteristics of the subject captured in the moving image, but also the external characteristics of the moving image, the names of directors and performers, genres such as drama and suspense, and the like. It is meta information which shows various features of. On the other hand, when the search device 10 receives the query image, it generates a distributed representation showing the semantic characteristics of the received search query, and identifies meta information in which the distributed representation is similar to the distributed representation of the query image. Then, the search device 10 extracts a moving image associated with the meta information similar to the specified meta information, and searches for a moving image having an external feature similar to that of the query image among the extracted moving images.
また、他の例では、検索装置１０は、検索クエリとして、映画のＰＶ（Promotion Video）を受付けた場合、ＰＶの意味的な分散表現を生成し、分散表現がＰＶの分散表現と類似するメタ情報を特定する。そして、検索装置１０は、特定したメタ情報との関連性が高い動画像（例えば、映画コンテンツ）を抽出し、抽出した動画像のうち、検索クエリであるＰＶとの外観的な関連性が高い動画像を検索してもよい。 In another example, when the search device 10 receives the PV (Promotion Video) of a movie as a search query, it generates a semantic distributed representation of PV, and the distributed representation is a meta similar to the distributed representation of PV. Identify the information. Then, the search device 10 extracts a moving image (for example, movie content) having a high relevance to the specified meta information, and the extracted moving image has a high visual relevance to the PV which is a search query. You may search for moving images.
また、他の例では、検索装置１０は、メタ情報として、検索対象画像を補助する補助画像を記憶する。このような補助画像は、例えば、検索対象画像の撮像対象を異なる位置から撮影した画像や、異なるタイミングで撮影した画像である。例えば、検索対象画像が人物の顔である場合、補助画像は、同一人物の異なる表情を撮像した画像等であってもよい。また、例えば、検索対象画像が所定の地域の航空写真である場合、補助画像は、その地域の地上からの写真や地図等であってもよい。すなわち、第３情報は、検索対象画像に含まれる撮像対象の情報を補完する情報を含む画像等、検索対象となる第２情報とはドメインが異なる情報であれば、任意の情報が採用可能である。 Further, in another example, the search device 10 stores an auxiliary image that assists the search target image as meta information. Such an auxiliary image is, for example, an image obtained by capturing an image of a search target image from different positions or an image taken at different timings. For example, when the search target image is the face of a person, the auxiliary image may be an image obtained by capturing different facial expressions of the same person. Further, for example, when the search target image is an aerial photograph of a predetermined area, the auxiliary image may be a photograph or a map from the ground of the area. That is, any information can be adopted as the third information as long as the information has a domain different from that of the second information to be searched, such as an image including information that complements the information to be imaged included in the search target image. is there.
このような補助画像を記憶する場合、検索装置１０は、誰の顔であるか、横顔であるか、被写体となる人物の性別、年代等といった意味的な特徴を示す分散表現をあらかじめ生成しておく。そして、検索装置１０は、補助画像のうち、分散表現がクエリ画像の分散表現と類似する補助画像を特定し、特定した補助画像が対応付けられた検索対象画像の中から、外観的な特徴がクエリ画像と類似する画像を検索してもよい。 When storing such an auxiliary image, the search device 10 previously generates a distributed expression indicating a semantic feature such as who's face, profile, gender, age, etc. of the person to be the subject. deep. Then, the search device 10 identifies an auxiliary image whose distributed expression is similar to the distributed expression of the query image among the auxiliary images, and the search target image associated with the specified auxiliary image has an appearance feature. You may search for an image similar to the query image.
すなわち、検索装置１０は、検索クエリとなる第１情報の特徴を示す分散表現を生成し、検索対象情報である第２情報の特徴を示すメタ情報である第３情報の中から、分散表現が生成された分散表現と類似する第３情報を特定し、特定された第３情報が特徴を示す第２情報の中から、第１情報と類似する情報を検索するのであれば、任意の種別の情報を、第１情報、第２情報および第３情報として採用可能である。 That is, the search device 10 generates a distributed expression indicating the characteristics of the first information to be the search query, and the distributed expression is selected from the third information which is the meta information indicating the characteristics of the second information which is the search target information. If the third information similar to the generated distributed representation is specified, and the information similar to the first information is searched from the second information in which the specified third information exhibits characteristics, any type of information can be used. The information can be adopted as the first information, the second information, and the third information.
また、検索装置１０は、上述したように、第３情報として、第１情報とは種別が異なる情報を特定してもよい。例えば、検索装置１０は、画像を第１情報および第３情報とし、検索対象画像の意味的な特徴を示すテキストをメタ情報、すなわち、第３情報として採用してもよい。 Further, as described above, the search device 10 may specify information having a type different from that of the first information as the third information. For example, the search device 10 may use the image as the first information and the third information, and may adopt the text indicating the semantic feature of the search target image as the meta information, that is, the third information.
なお、第１情報の種別と第３情報の種別とが異なる場合であっても、第１情報の意味的な特徴を示す分散表現と、第３情報の意味的な特徴を示す分散表現とを比較することにより、第１情報と意味的な特徴が類似する第３情報を特定することが可能である。また、第１情報の分散表現と第３情報の分散表現とは、複数の特徴のうち、共通する一部の特徴を示しているのであれば、完全に同一の特徴を示す情報でなくともよい。 Even when the type of the first information and the type of the third information are different, the distributed expression indicating the semantic feature of the first information and the distributed expression indicating the semantic feature of the third information are used. By comparing, it is possible to identify the third information whose semantic characteristics are similar to those of the first information. Further, the distributed representation of the first information and the distributed representation of the third information do not have to be information showing exactly the same feature as long as they show some common features among the plurality of features. ..
〔２−２．分散表現について〕
ここで、検索装置１０は、分散表現を用いて検索クエリとして受付けた第１情報を分類することができるのであれば、任意の手法により第１情報の特徴を示す分散表現を生成してよい。同様に、検索装置１０は、分散表現を用いてメタ情報の分類を行うことができるのであれば、任意の手法によりメタ情報の分散表現をあらかじめ生成しておいてよい。このように、分散表現を用いて第１情報と、メタ情報とをそれぞれ分類することができるのであれば、分類後の第１情報と分類後のメタ情報との対応付けを行うことにより、第１情報と意味的な特徴が類似するメタ情報を特定することができる。
[2-2. About distributed representation]
Here, the search device 10 may generate a distributed representation showing the characteristics of the first information by any method as long as the first information received as the search query can be classified using the distributed representation. Similarly, the search device 10 may generate a distributed representation of the meta information in advance by an arbitrary method as long as the meta information can be classified using the distributed representation. In this way, if the first information and the meta information can be classified by using the distributed representation, the first information after the classification and the meta information after the classification can be associated with each other. It is possible to identify meta information whose semantic characteristics are similar to those of information.
すなわち、検索装置１０は、第１情報の特徴が属する分類を示す分散表現を生成する。そして、検索装置１０は、第３情報の特徴が属する分類を示す分散表現、すなわち、メタ情報の分散表現の中から、生成された分散表現と類似する分散表現を特定し、特定した分散表現と対応する第３情報を特定してもよい。 That is, the search device 10 generates a distributed representation indicating the classification to which the feature of the first information belongs. Then, the search device 10 identifies a distributed representation similar to the generated distributed representation from the distributed representation indicating the classification to which the feature of the third information belongs, that is, the distributed representation of the meta information, and obtains the specified distributed representation. The corresponding third information may be specified.
なお、検索装置１０は、意味的な特徴が類似する第１情報と第３情報や、同じ分野に属する第１情報と第３情報とから、類似する分散表現を生成するように学習が行われたモデルを用いて、分散表現の生成を行ってもよい。例えば、検索装置１０は、クエリ画像が靴の画像である場合、意味が履物の分野に属するテキスト（例えば、「ブーツ」や「スニーカー」等）の分散表現と類似する分散表現をクエリ画像から生成するように学習が行われたモデルを用いて、クエリ画像の分散表現を生成すればよい。 The search device 10 is learned so as to generate similar distributed expressions from the first information and the third information having similar semantic features and the first information and the third information belonging to the same field. The distributed representation may be generated using the above model. For example, when the query image is an image of shoes, the search device 10 generates a distributed expression similar to the distributed expression of text (for example, "boots", "sneakers", etc.) whose meaning belongs to the field of footwear from the query image. A distributed representation of the query image may be generated using a model trained to do so.
すなわち、検索装置１０は、ある第１情報から、その第１情報の意味を示す第３情報の分散表現と類似する分散表現を生成するように学習が行われたモデルを用いるのであれば、任意のモデルを用いて、分散表現の生成を行ってよい。このようなモデルは、例えば、畳み込みニューラルネットワークやフィッシャーベクターを用いて生成することが可能である。 That is, if the search device 10 uses a model trained to generate a distributed representation similar to the distributed representation of the third information indicating the meaning of the first information from the first information, it is arbitrary. The distributed representation may be generated using the model of. Such a model can be generated using, for example, a convolutional neural network or a Fisher vector.
また、検索装置１０は、任意の手法により、分散表現が第１情報の分散表現と類似する第３情報を特定してよい。例えば、検索装置１０は、分散表現の各要素が１または０で表現される場合、ハミング距離が第１情報の分散表現と所定の範囲内となる分散表現を特定し、特定した分散表現と対応する第３情報を特定してもよい。また、検索装置１０は、第３情報のうち、第１情報から生成された分散表現からのユークリッド距離またはコサイン類似度が所定の範囲内となる分散表現と対応する第３情報を特定してもよい。 Further, the search device 10 may specify the third information whose distributed representation is similar to the distributed representation of the first information by an arbitrary method. For example, when each element of the distributed representation is represented by 1 or 0, the search device 10 identifies the distributed representation of the first information and the distributed representation in which the Hamming distance is within a predetermined range, and corresponds to the specified distributed representation. The third information to be used may be specified. Further, the search device 10 may specify, among the third information, the third information corresponding to the distributed representation in which the Euclidean distance or the cosine similarity from the distributed representation generated from the first information is within a predetermined range. Good.
例えば、クエリ画像やメタ情報等から意味の特徴を示す分散表現を生成する場合、分散表現の生成手法によっては、分散表現のノルムが意味の特徴を示す場合と、意味の特徴を示さない場合とが存在する。ここで、ノルムが意味の特徴を示す場合、コサイン類似度に基づいて類似度を判定すると、適切な第３情報の特定を行うことができない恐れがある。そこで、検索装置１０は、ノルムに意味の特徴が現れるような手法で第１情報から分散表現を生成する場合は、第１情報から生成した分散表現と分散表現空間上におけるユークリッド距離が所定の閾値以下となる分散表現と対応する第３情報を特定すればよい。また、検索装置１０は、ノルムに意味の特徴が現れない手法で第１情報から分散表現を生成する場合は、第１情報から生成した分散表現と分散表現空間上におけるコサイン類似度が所定の閾値以上となる分散表現と対応する第３情報を特定すればよい。 For example, when generating a distributed representation that shows a characteristic of meaning from a query image or meta information, depending on the method of generating the distributed representation, the norm of the distributed representation may or may not show the characteristic of meaning. Exists. Here, when the norm shows a characteristic of meaning, if the similarity is determined based on the cosine similarity, it may not be possible to specify an appropriate third information. Therefore, when the search device 10 generates a distributed representation from the first information by a method in which a characteristic of meaning appears in the norm, the distributed representation generated from the first information and the Euclidean distance on the distributed representation space have a predetermined threshold value. The third information corresponding to the following distributed representation may be specified. Further, when the search device 10 generates a distributed representation from the first information by a method in which the feature of meaning does not appear in the norm, the cosine similarity between the distributed representation generated from the first information and the distributed representation space is a predetermined threshold value. The third information corresponding to the above distributed representation may be specified.
なお、検索装置１０は、検索クエリとなる第１情報や、検索対象となる第２情報の特徴を示す第３情報の分散表現であれば、第１情報や第３情報から特定可能な任意の数の任意の特徴を有する分散表現を生成および比較してよい。例えば、検索装置１０は、第１情報が画像である場合は、画像の見た目、撮像対象、画像の撮像年月日等、任意の情報のうち任意の組み合わせを示す分散表現を生成してよい。また、検索装置１０は、第１情報と同様の特徴を示す分散表現を第３情報から生成してもよく、第１情報とは異なる特徴を示す分散表現を第３情報から生成してもよい。 The search device 10 can be arbitrarily identified from the first information and the third information as long as it is a distributed representation of the first information to be a search query and the third information indicating the characteristics of the second information to be searched. Distributed representations with arbitrary characteristics of numbers may be generated and compared. For example, when the first information is an image, the search device 10 may generate a distributed representation indicating any combination of arbitrary information such as the appearance of the image, the image capture target, and the image capture date. Further, the search device 10 may generate a distributed expression showing the same characteristics as the first information from the third information, or may generate a distributed expression showing characteristics different from the first information from the third information. ..
〔２−３．複数の検索クエリについて〕
ここで、検索装置１０は、複数の検索クエリを受付けてもよい。具体的には、検索装置１０は、複数の第１情報の特徴を示す１つの分散表現を生成し、分散表現が生成された分散表現と類似する第３情報を特定し、特定した第３表現が特徴を示す第２情報の中から、検索クエリとして受付けた複数の第１情報と類似する情報を検索してもよい。
[2-3. About multiple search queries]
Here, the search device 10 may accept a plurality of search queries. Specifically, the search device 10 generates one distributed representation indicating the characteristics of the plurality of first information, identifies the third information similar to the distributed representation in which the distributed representation is generated, and identifies the third representation. From the second information exhibiting the characteristics of, information similar to the plurality of first information received as the search query may be searched.
例えば、検索装置１０は、複数のクエリ画像を受付けた場合、各クエリ画像のそれぞれから、各クエリ画像の特徴を示す分散表現を生成し、生成した分散表現を集約することで、各クエリ画像の特徴を示す１つの分散表現を生成する。ここで、検索装置１０は、各クエリ画像から生成した分散表現を単純に連結してもよく、各分散表現のテンソル積を算出してもよい。そして、検索装置１０は、分散表現が生成した１つの分散表現と類似する第３情報を特定し、特定した第３情報が特徴を示す第２情報の中から、各クエリ画像との類似度が所定の条件を満たす第２情報を検索してもよい。 For example, when the search device 10 receives a plurality of query images, the search device 10 generates a distributed expression indicating the characteristics of each query image from each of the query images, and aggregates the generated distributed expressions to obtain each query image. Generate one distributed representation that is characteristic. Here, the search device 10 may simply concatenate the distributed representations generated from each query image, or may calculate the tensor product of each distributed representation. Then, the search device 10 identifies the third information similar to the one distributed representation generated by the distributed representation, and the similarity with each query image is determined from the second information in which the identified third information is characteristic. The second information satisfying a predetermined condition may be searched.
〔２−４．検索について〕
また、上述した説明においては、検索装置１０は、分散表現が第１情報の分散表現と類似する第３情報を特定し、特定した第３情報が特徴を示す第２情報の中から、第１情報と類似する情報を検索した。しかしながら、実施形態は、これに限定されるものではない。検索装置１０は、第１情報と意味的な特徴と外観的な特徴とが類似する第３情報を検索するのであれば、任意の検索処理を実行して良い。
[2-4. About search]
Further, in the above description, the search device 10 identifies the third information in which the distributed representation is similar to the distributed representation of the first information, and the first of the second information in which the identified third information is characteristic. We searched for information similar to the information. However, the embodiments are not limited to this. The search device 10 may execute an arbitrary search process as long as it searches for the third information whose semantic features and appearance features are similar to those of the first information.
例えば、検索装置１０は、分散表現が第１情報から生成された分散表現と類似する複数の第３情報を特定し、特定された複数の第３情報を集約した情報が特徴を示す第２情報の中から、第１情報と類似する情報を検索してもよい。例えば、検索装置１０は、特定された複数の第３情報が属するカテゴリのうち、最も多くの第３情報が属するカテゴリを特定し、特定したカテゴリに属する第３情報が特徴を示す第２情報の中から、第１情報と類似する情報を検索してもよい。また、検索装置１０は、複数の第３情報のうち、対応付けられた第２情報が最も多い第３情報を特定し、特定した第３情報と対応付けられた第２情報のうち、第１情報と類似する情報を検索してもよい。 For example, the search device 10 identifies a plurality of third information in which the distributed representation is similar to the distributed representation generated from the first information, and the second information characterized by the information obtained by aggregating the specified plurality of third information. You may search for information similar to the first information. For example, the search device 10 identifies the category to which the most third information belongs among the categories to which the specified plurality of third information belongs, and the third information belonging to the specified category is characteristic of the second information. Information similar to the first information may be searched from among them. Further, the search device 10 identifies the third information having the most associated second information among the plurality of third information, and the first of the second information associated with the identified third information. You may search for information similar to the information.
〔２−５．利用者属性を考慮した処理について〕
ここで、電子商取引における商品の画像検索を考慮すると、利用者Ｕ０１の属性に応じて類似画像とする範囲を変更することで、より適切な検索処理を実現できると予測される。例えば、クエリ画像に撮像された商品とは異なる種別の商品が撮像された画像を含めたとしても、利用者Ｕ０１が移り気な性格である場合は、クエリ画像に撮像された商品とは異なる種別の商品に対する利用者Ｕ０１の興味を生じさせる結果、販売機会を向上させることができると予測される。一方、利用者Ｕ０１が移り気な性格ではない場合は、クエリ画像に撮像された商品と同じ種別の商品の画像のみを検索結果とすることで、販売機会を向上させることができると予測される。
[2-5. About processing considering user attributes]
Here, considering the image search of the product in the electronic commerce, it is predicted that a more appropriate search process can be realized by changing the range of similar images according to the attribute of the user U01. For example, even if a product of a type different from the product captured in the query image is included, if the user U01 has a fickle personality, the type of product different from the product captured in the query image is included. As a result of causing the user U01's interest in the product, it is expected that the sales opportunity can be improved. On the other hand, if the user U01 does not have a fickle personality, it is predicted that the sales opportunity can be improved by using only the image of the product of the same type as the product captured in the query image as the search result.
また、利用者Ｕ０１の属性によっては、クエリ画像が有する意味の特徴が変化するとも考えられる。例えば、利用者Ｕ０１の性別や年代等といったデモグラフィック属性や、利用者Ｕ０１の好み等といったサイコグラフィック属性によっては、クエリ画像が有する意味の特徴が変化すると考えられる。 Further, it is considered that the characteristic of the meaning of the query image changes depending on the attribute of the user U01. For example, it is considered that the characteristics of the meaning of the query image change depending on the demographic attributes such as the gender and age of the user U01 and the psychographic attributes such as the preference of the user U01.
また、検索処理の目的が、電子商取引の対象となる商品を検索する場合、電子商取引の対象となる商品の説明を補強する画像を検索する場合、ネット上に投稿された画像を検索する場合とでは、画像が有する意味的な特徴のうち、異なる特徴に基づいて分散表現の生成や類似画像の検索を行った方が良いとも考えられる。また、このような検索処理の目的によっては、類似画像とする範囲を変更した方が良いとも考えられる。 In addition, the purpose of the search process is to search for products that are subject to electronic commerce, to search for images that reinforce the description of products that are subject to electronic commerce, and to search for images posted on the Internet. Then, among the semantic features of the image, it is considered better to generate a distributed expression or search for a similar image based on different features. Further, depending on the purpose of such a search process, it may be better to change the range of similar images.
そこで、検索装置１０は、分散表現同士の類似範囲や、第１情報と第３情報との類似範囲を、利用者Ｕ０１の属性や画像の使用態様に応じて動的に変更してもよく、第１情報から分散表現を生成する際に使用するモデルを動的に変更してもよい。 Therefore, the search device 10 may dynamically change the similar range between the distributed expressions and the similar range between the first information and the third information according to the attribute of the user U01 and the usage mode of the image. The model used when generating the distributed representation from the first information may be dynamically changed.
例えば、検索装置１０は、検索結果となる第２情報の提供先となる利用者Ｕ０１の属性、または、第２情報の利用目的の少なくともいずれか一方に応じたモデルを用いて、前記第１情報から分散表現を生成してもよい。例えば、検索装置１０は、入力された画像が有する意味的な特徴のうちそれぞれ異なる特徴を分散表現に反映させる複数のモデルの中から、利用者Ｕ０１の性別や年代に応じて、クエリ画像の分散表現を生成する際に使用するモデルを選択し、選択したモデルを用いて分散表現の生成を行ってもよい。また、検索装置１０は、複数のモデルの中から、検索結果となる画像の利用目的に応じて、クエリ画像の分散表現を生成する際に使用するモデルを選択し、選択したモデルを用いて分散表現の生成を行ってもよい。 For example, the search device 10 uses the first information using a model according to at least one of the attributes of the user U01, which is the destination of the second information to be the search result, and the purpose of using the second information. You may generate a distributed representation from. For example, the search device 10 distributes the query image according to the gender and age of the user U01 from among a plurality of models that reflect different features among the semantic features of the input image in the distributed representation. You may select the model to be used when generating the representation and generate the distributed representation using the selected model. Further, the search device 10 selects a model to be used when generating a distributed representation of the query image from a plurality of models according to the purpose of use of the image as the search result, and distributes using the selected model. Expressions may be generated.
また、例えば、検索装置１０は、利用者Ｕ０１の属性、または、第２情報の利用目的の少なくともいずれか一方に応じて、第１情報から生成された分散表現と第３情報との類似範囲を変更してもよい。例えば、検索装置１０は、利用者Ｕ０１の属性が移り気である場合は、第１情報の分類情報と類似すると判定する第３情報の分類情報の範囲を拡大し、利用者Ｕ０１の属性が移り気ではない場合は、第１情報の分類情報と類似すると判定する第３情報の分類情報の範囲を縮小してもよい。すなわち、検索装置１０は、利用者Ｕ０１の属性や検索結果となる画像の利用目的に応じて、クエリ画像と意味的な特徴が類似すると判定するメタ情報の範囲を変更してもよい。 Further, for example, the search device 10 sets a similar range between the distributed expression generated from the first information and the third information according to at least one of the attribute of the user U01 and the purpose of using the second information. You may change it. For example, the search device 10 expands the range of the classification information of the third information that is determined to be similar to the classification information of the first information when the attribute of the user U01 is fickle, and the attribute of the user U01 is fickle. If not, the range of the classification information of the third information determined to be similar to the classification information of the first information may be reduced. That is, the search device 10 may change the range of meta information that is determined to have similar semantic features to the query image, depending on the attributes of the user U01 and the purpose of use of the image that is the search result.
また、例えば、検索装置１０は、利用者Ｕ０１の属性、または、第２情報の利用目的の少なくともいずれか一方に応じて、第１情報と第２情報との類似範囲を変更してもよい。例えば、検索装置１０は、利用者Ｕ０１の属性が移り気である場合は、第１情報と類似すると判定する第２情報の範囲を拡大し、利用者Ｕ０１の属性が移り気ではない場合は、第１情報と類似すると判定する第２情報の範囲を縮小してもよい。 Further, for example, the search device 10 may change the similar range between the first information and the second information according to at least one of the attributes of the user U01 and the purpose of using the second information. For example, the search device 10 expands the range of the second information that is determined to be similar to the first information when the attribute of the user U01 is volatile, and the first when the attribute of the user U01 is not volatile. The range of the second information determined to be similar to the information may be reduced.
〔２−６．意味的な特徴について〕
ここで、検索装置１０は、クエリ画像等の第１情報から、第１情報の意味的な特徴を示す分散表現を生成した。ここで、第１情報の意味的な特徴とは、例えば、第１情報がテキストである場合は、テキストが有するトピックスであってもよく、第１情報が画像や動画像である場合は、被写体となる物体、風景、現象等の特徴であってもよい。また、例えば、第１情報の意味的な特徴とは、第１情報が映画等の動画像である場合、監督、出演者、脚本家、ジャンル等といった第１情報に付随する情報の特徴であってもよい。また、第１情報の意味的な特徴とは、第１情報が音楽コンテンツである場合は、例えば、曲名、作曲家、演奏者等の特徴であってもよい。
[2-6. About semantic features]
Here, the search device 10 generated a distributed representation showing the semantic features of the first information from the first information such as the query image. Here, the semantic feature of the first information may be, for example, a topic of the text when the first information is a text, and a subject when the first information is an image or a moving image. It may be a feature of an object, a landscape, a phenomenon, or the like. Further, for example, the semantic feature of the first information is a feature of information accompanying the first information such as a director, a performer, a scriptwriter, a genre, etc. when the first information is a moving image of a movie or the like. You may. Further, the semantic feature of the first information may be, for example, a feature of a song title, a composer, a performer, or the like when the first information is music content.
すなわち、第１情報の意味的な特徴とは、第１情報が利用者Ｕ０１に対して伝えようとする情報の内容や、第１情報から想起される付随的な情報の内容等を含む概念である。より具体的には、第１情報の意味的な特徴とは、テキストの書体、画像の外観、音声の波形等、利用者Ｕ０１に対して情報を伝達するために用いられる情報形式以外の特徴を含む概念である。 That is, the semantic feature of the first information is a concept including the content of the information that the first information intends to convey to the user U01, the content of the incidental information recalled from the first information, and the like. is there. More specifically, the semantic features of the first information include features other than the information format used to convey information to the user U01, such as the typeface of the text, the appearance of the image, and the waveform of the voice. It is a concept that includes.
同様に、第２情報の意味的な特徴を示す第３情報とは、第２情報が利用者Ｕ０１に対して伝えようとする情報の内容や、第１情報から想起される付随的な情報の内容等を含む概念である。また、第３情報の意味的な特徴を示す分散表現とは、第３情報が利用者Ｕ０１に対して伝えようとする情報の内容や、第３情報から想起される付随的な情報の内容等を含む概念である。 Similarly, the third information indicating the semantic characteristics of the second information is the content of the information that the second information intends to convey to the user U01 and the incidental information recalled from the first information. It is a concept that includes contents. Further, the distributed expression indicating the semantic feature of the third information is the content of the information that the third information intends to convey to the user U01, the content of the incidental information recalled from the third information, and the like. Is a concept that includes.
〔３．検索装置の構成〕
以下、上記した検索処理を実現する検索装置１０が有する機能構成の一例について説明する。なお、以下の説明では、検索装置１０は、第１情報としてクエリ画像を受付けると、第２情報として、分散表現がクエリ画像の分散表現と類似するタグ情報を特定し、第３情報として、特定したタグ情報と対応する画像の中からクエリ画像と類似する画像を検索する処理を実行するものとする。
[3. Search device configuration]
Hereinafter, an example of the functional configuration of the search device 10 that realizes the above-mentioned search process will be described. In the following description, when the search device 10 receives the query image as the first information, the search device 10 identifies the tag information whose distributed expression is similar to the distributed expression of the query image as the second information, and specifies it as the third information. It is assumed that the process of searching for an image similar to the query image from the images corresponding to the tagged information is executed.
図２は、実施形態に係る検索装置の構成例を示す図である。図２に示すように、検索装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
FIG. 2 is a diagram showing a configuration example of the search device according to the embodiment. As shown in FIG. 2, the search device 10 includes a
通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００との間で情報の送受信を行う。
The
記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、生成モデルデータベース３１、分散表現データベース３２、および画像データベース３３（以下、「各データベース３１〜３３」と総称する場合がある）を記憶する。
The
生成モデルデータベース３１には、クエリ画像から分散表現を生成する際に用いるモデルが登録されている。例えば、図３は、実施形態に係る生成モデルデータベースに登録される情報の一例を示す図である。図３に示すように、生成モデルデータベース３１には、「モデルＩＤ（Identifier）」および「モデルデータ」といった項目を有する情報が登録される。ここで、「モデルＩＤ」とは、モデルを識別する識別子である。また、「モデルデータ」とは、モデルのデータであり、例えば、ＣＮＮにおける各ノード間の接続関係や伝播係数を示すデータである。
In the
なお、図３に示す情報以外にも、モデルに関する情報であれば、任意の情報が生成モデルデータベース３１に登録されていてよい。例えば、生成モデルデータベース３１には、各モデルが、利用者Ｕ０１の属性がどのような属性の際に選択されるモデルであるか、検索結果となる画像がどのような利用目的の際に選択されるモデルであるか等といった情報が登録されていてもよい。
In addition to the information shown in FIG. 3, any information may be registered in the
なお、生成モデルデータベース３１に登録されるモデルは、例えば、畳み込みニューラルネットワークや、フィッシャーベクター等の技術を用いて、画像から画像が有する特徴を示す分散表現を生成するように学習等が行われたモデルである。また、生成モデルデータベース３１に登録される各モデルは、利用者Ｕ０１の属性や、検索結果として検索される画像の利用目的等に応じて最適化がなされたモデルである。
The model registered in the
例えば、図３に示す例では、生成モデルデータベース３１には、モデルＩＤ「モデルＩＤ＃１」およびモデルデータ「モデルデータ＃１」が対応付けて登録されている。このような情報は、例えば、モデルＩＤ「モデルＩＤ＃１」が示すモデルのデータがモデルデータ「モデルデータ＃１」である旨を示す。なお、図３に示す例では、「モデルＩＤ＃１」や「モデルデータ＃１」といった概念的な値について記載したが、実際には、識別子となる文字列や、モデルのデータ等が登録されることとなる。
For example, in the example shown in FIG. 3, the model ID “model ID # 1” and the model data “model data # 1” are registered in association with each other in the generated
図２に戻り、説明を続ける。分散表現データベース３２には、メタ情報の分散表現が登録される。すなわち、分散表現データベース３２には、第１情報であるクエリ画像の分散表現と類似する分散表現を検索する分散表現空間が登録されている。例えば、図４は、実施形態に係る分散表現データベースに登録される情報の一例を示す図である。図４に示すように、分散表現データベース３２には、「メタ情報」および「分散表現」といった項目を有する情報が登録される。ここで、「メタ情報」は、検索対象となる画像（すなわち、第３情報）に対して実際に付与されたメタ情報のみならず、検索対象となる画像に対して付与される可能性のあるメタ情報をも含む。また、「分散表現」は、対応付けられたメタ情報の意味的な特徴を示す分散表現であり、検索対象となる画像の見た目から特定可能な意味的な特徴（すなわち、セミセマンティックな特徴）を示す分散表現である。
Returning to FIG. 2, the explanation will be continued. The distributed representation of meta information is registered in the distributed
例えば、図４に示す例では、分散表現データベース３２には、メタ情報「メタ情報＃Ｔ０１」および分散表現「分散表現＃Ｔ０１」が対応付けて登録されている。このような情報は、メタ情報「メタ情報＃Ｔ０１」の意味的な特徴を示す分散表現が分散表現「分散表現＃Ｔ０１」である旨を示す。なお、図４に示す例では、「メタ情報＃Ｔ０１」や「分散表現＃Ｔ０１」といった概念的な値について記載したが、実際には、検索対象となる画像の意味的な特徴を示す単語や所定の数値等といったテキストがメタ情報として登録され、対応付けられたメタ情報の意味的な特徴を示す多次元量が分散表現として登録されることとなる。
For example, in the example shown in FIG. 4, the meta information "meta information # T01" and the distributed expression "distributed expression # T01" are registered in association with each other in the distributed
図２に戻り、説明を続ける。画像データベース３３には、検索対象となる画像が登録されている。例えば、図５は、実施形態に係る画像データベースに登録される情報の一例を示す図である。図５に示すように、画像データベース３３には、「画像ＩＤ」、「画像データ」、および「メタ情報」といった項目を有する情報が登録される。ここで、「画像ＩＤ」とは、画像を識別するための識別子である。また、「画像データ」とは、検索対象となる画像のデータである。また、「メタ情報」とは、対応付けられた画像の意味的な特徴を示す単語や数値等のメタ情報である。
Returning to FIG. 2, the explanation will be continued. Images to be searched are registered in the
例えば、図５に示す例では、画像データベース３３には、画像ＩＤ「画像ＩＤ＃０１」、画像データ「画像データ＃０１」、およびメタ情報「メタ情報＃Ｐ１（メタ情報＃Ｔ０１、メタ情報＃Ｔ０３・・・）」が対応付けて登録されている。このような情報は、画像ＩＤ「画像ＩＤ＃０１」が示す画像の画像データが画像データ「画像データ＃０１」であり、画像ＩＤ「画像ＩＤ＃０１」が示す画像の意味的な特徴を示すメタ情報がメタ情報「メタ情報＃Ｐ１」である旨を示す。ここで、「メタ情報＃Ｐ１」は、「メタ情報＃Ｔ０１」や「メタ情報＃Ｔ０３」を含む情報、または、「メタ情報＃Ｔ０１」や「メタ情報＃Ｔ０３」を集約した情報であるものとする。
For example, in the example shown in FIG. 5, the
なお、図５に示す例では、「画像ＩＤ＃０１」や「画像データ＃０３」といった概念的な値について記載したが、実際には、画像を識別するための数値や文字列、任意の形式の画像の画像データ等が登録されることとなる。 In the example shown in FIG. 5, conceptual values such as "image ID # 01" and "image data # 03" have been described, but in reality, numerical values, character strings, and arbitrary formats for identifying images have been described. The image data and the like of the image of the above will be registered.
図２に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、検索装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。
Returning to FIG. 2, the explanation will be continued. The
図２に示すように、制御部４０は、受付部４１、生成部４２、特定部４３、検索部４４、出力部４５、および収集部４６を有する。例えば、受付部４１は、端末装置１００からクエリ画像を受付ける。このような場合、検索装置１０は、検索処理を実行することで、クエリ画像と類似する類似画像検索を実行する。
As shown in FIG. 2, the
生成部４２は、第１情報の特徴を示す分散表現を生成する。具体的には、生成部４２は、クエリ画像等の第１情報の意味的な特徴を示す分散表現、すなわち、第１情報の特徴が属する分類を示す分散表現を生成する。例えば、生成部４２は、クエリ画像に含まれる被写体の特徴を示す分散表現を生成する。なお、生成部４２は、画像の見た目から特定可能な分散表現であって、画像の意味的な特徴を示す分散表現（例えば、撮像対象等）を示す分散表現、すなわち、セミセマンティックな特徴を示す分散表現を生成するのであれば、任意の情報を示す分散表現を生成してよい。
The
例えば、生成部４２は、利用者Ｕ０１の特徴や検索結果となる画像の利用目的に応じて、生成モデルデータベース３１に登録されたモデルの中から、クエリ画像の分散表現を生成するために用いるモデルを選択する。より具体的には、生成部４２は、生成モデルデータベース３１に登録されたモデルの中から、利用者Ｕ０１の特徴や検索結果となる画像の利用目的に応じて最適化がなされたモデルを選択し、選択したモデルを用いて、クエリ画像の意味的な特徴を示す分散表現を生成する。なお、生成部４２は、例えば、複数のクエリ画像を受付けた場合は、クエリ画像ごとに分散表現を生成する。
For example, the
特定部４３は、検索対象となる第２情報の特徴を示す第３情報の中から、分散表現が第１情報から生成された分散表現と類似する第３情報を特定する。より具体的には、と特定部４３は、テキスト等、第１情報であるクエリ画像とは種別が異なるメタ情報を第３情報として特定する。
The
例えば、特定部４３は、生成部４２が生成したクエリ画像の分散表現を受付ける。このような場合、特定部４３は、分散表現データベース３２に登録された分散表現のうち、生成部４２が生成した分散表現と類似する分散表現を特定し、特定した分散表現と対応付けられたメタ情報を分散表現データベース３２から特定する。すなわち、特定部４３は、メタ情報の特徴が属する分野等、メタ情報の意味的な特徴を示す分散表現の中から、生成部４２により生成された分散表現と類似する１つまたは複数の分散表現を特定し、特定した分散表現と対応するメタ情報を特定する。
For example, the
例えば、特定部４３は、生成部４２が生成した分散表現と、分散表現データベース３２に登録された各分散表現とのユークリッド距離やコサイン類似度を算出し、算出した距離や類似度が所定の範囲内となる分散表現を特定する。すなわち、特定部４３は、クエリ画像の分散表現と類似する分散表現を特定する。そして、特定部４３は、特定した分散表現と対応付けられたメタ情報を特定する。
For example, the
このようなメタ情報は、検索結果となる画像の被写体の特徴等、検索結果となる画像の意味的な特徴を示すテキストである。特定部４３は、上述した処理を実行することで、検索結果となる画像のうち、クエリ画像と意味的な特徴が類似する画像のメタ情報を特定することができる。より具体的には、特定部４３は、検索結果となる画像の意味的な特徴を示すテキスト等のメタ情報であって、分散表現がクエリ画像の分散表現と類似するメタ情報を特定することができる。
Such meta information is text indicating a semantic feature of the image that is the search result, such as a feature of the subject of the image that is the search result. By executing the above-described processing, the
なお、特定部４３は、検索結果となる画像の提供先となる利用者Ｕ０１の属性、または、画像の利用目的の少なくともいずれか一方に応じて、分散表現との類似範囲を変更してもよい。例えば、特定部４３は、利用者Ｕ０１が移り気である場合は、クエリ画像の分散表現と類似する分散表現の範囲（例えば、ユークリッド距離）を基準となる閾値よりも大きい第１の閾値まで拡大する。また、特定部４３は、利用者Ｕ０１が移り気ではない場合は、クエリ画像の分散表現と類似する分散表現の範囲を、基準となる閾値よりも小さい第２の閾値まで縮小する。この結果、特定部４３は、利用者Ｕ０１の属性や画像の利用目的の少なくともいずれか一方に応じて、メタ情報のうち、クエリ画像と意味的な特徴が類似すると判定するメタ情報の範囲を動的に変更することができる。
In addition, the
検索部４４は、特定された第３情報が特徴を示す第２情報の中から、第１情報と類似する情報を検索する。より具体的には、検索部４４は、特定部４３により特定されたメタ情報に基づいて、検索結果となる画像の順位付けを行い、順位が所定の閾値よりも高い画像のうち、クエリ画像と外観の特徴が類似する画像を画像データベース３３から検索する。
The
例えば、検索部４４は、特定部４３が特定したメタ情報を複数受付けた場合は、受付けたメタ情報の集約処理を実行する。例えば、検索部４４は、各メタ情報の分散表現を連結した集約情報を生成する。また、他の例では、検索部４４は、特定部４３が特定したメタ情報が属するカテゴリのうち、特定部４３が特定したメタ情報が最も多く属しているカテゴリを特定する。そして、検索部４４は、特定したカテゴリを示す分散表現を集約情報としてもよい。そして、検索部４４は、画像データベース３３に登録された各画像のメタ情報と、集約情報との類似度を算出する。
For example, when the
また、検索部４４は、画像データベース３３に登録された画像のうち、算出した類似度が高い方から順に所定の数の画像を特定する。なお、検索部４４は、メタ情報と、集約情報との類似度が所定の閾値以上となる画像のみを特定してもよい。そして、検索部４４は、特定した画像の中からクエリ画像と外観的な特徴が類似する画像を検索する。例えば、検索部４４は、特定した画像の画像特徴量と、クエリ画像の画像特徴量とを比較し、画像特徴量の類似度が高い方から順に所定の数の画像を特定する。なお、検索部４４は、画像特徴量の類似度が所定の閾値以上となる画像のみを特定してもよい。そして、検索部４４は、特定した画像を出力部４５に通知する。
In addition, the
なお、検索部４４は、利用者Ｕ０１の属性や、画像の利用目的の少なくともいずれか一方に応じて、クエリ画像との類似範囲を変更してもよい。例えば、検索部４４は、画像データベース３３に登録された画像から特定する画像の数を多くしてもよく、メタ情報と集約情報との類似度、あるいは、画像特徴量の類似度の閾値を変更してもよい。
The
出力部４５は、検索処理の結果となる画像を利用者Ｕ０１に提供する。例えば、出力部４５は、画像特徴量の類似度が高い方から順に、検索部４４により検索された複数の画像を配置したウェブページを検索結果として生成する。そして、出力部４５は、生成したウェブページを端末装置１００へと送信する。
The output unit 45 provides the user U01 with an image that is the result of the search process. For example, the output unit 45 generates as a search result a web page in which a plurality of images searched by the
収集部４６は、検索対象となる画像とメタ情報との組を収集する。例えば、収集部４６は、ＳＮＳサーバやウェブサーバ等から、画像とその画像が有する意味的な特徴を示すテキスト、すなわちメタ情報との組を検索対象データとして収集する。そして、収集部４６は、収集した画像とメタ情報との組を画像データベース３３に登録する。
The collecting
そこで、収集部４６は、電子商取引やオークションに関するウェブページ中に配置された画像とテキストとの組を取得する。例えば、図６は、検索対象データを収集する処理の一例を示す図である。例えば、図６に示すウェブページＷＰ０１は、電子商取引やオークションにおいて、所定の取引対象の販売を行うウェブページである。このようなウェブページＷＰ０１には、所定の取引対象の画像である「画像＃１」や、所定の取引対象を説明するテキストである「説明文＃１」が含まれている。また、ウェブページＷＰ０１には、所定の取引対象が属するカテゴリを示すテキスト「カテゴリ＃１」や、所定の取引対象を検索する際に用いた検索クエリ「検索クエリ＃１」が含まれている。
Therefore, the
このような電子商取引やオークション等に関するのウェブページＷＰ０１において、「説明文＃１」、「カテゴリ＃１」、「検索クエリ＃１」等といったテキストは、所定の取引対象の特徴を示す情報であると考えられる。また、このようなウェブページＷＰ０１に配置された「画像＃１」は、取引対象を被写体とする画像、すなわち、取引対象を示す画像であると考えられる。すると、ウェブページＷＰ０１において、「画像＃１」と「説明文＃１」、「カテゴリ＃１」または「検索クエリ＃１」との組は、画像とタグ情報との組と見做すことができる。 In the web page WP01 related to such electronic commerce and auctions, texts such as "description # 1", "category # 1", and "search query # 1" are information indicating the characteristics of a predetermined transaction target. it is conceivable that. Further, the "image # 1" arranged on the web page WP01 is considered to be an image in which the transaction target is a subject, that is, an image showing the transaction target. Then, in the web page WP01, the pair of "image # 1" and "description # 1", "category # 1" or "search query # 1" can be regarded as a pair of image and tag information. it can.
そこで、収集部４６は、図６に例示するように、ウェブページＷＰ０１に配置された「画像＃１」、「説明文＃１」、「カテゴリ＃１」、および「検索クエリ＃１」を抽出する。また、収集部４６は、形態素解析等といった文章解析技術を用いて、「説明文＃１」、「カテゴリ＃１」、「検索クエリ＃１」のそれぞれの意味を示すメタ情報を生成する。なお、収集部４６は、「説明文＃１」、「カテゴリ＃１」、「検索クエリ＃１」のそれぞれをそのままメタ情報としてもよい。そして、収集部４６は、「画像＃１」に対し、「説明文＃１」、「カテゴリ＃１」および「検索クエリ＃１」のそれぞれから生成したメタ情報を対応付けた検索データＤ０１を生成し、生成した検索データＤ０１を画像データベース３３に登録する。
Therefore, as illustrated in FIG. 6, the collecting
また、収集部４６は、所定のモデルを用いて、画像データベース３３に登録したメタ情報の意味的な特徴を示す分散表現を生成する。そして、収集部４６は、生成したメタ情報と、メタ情報の分散表現との組を分散表現データベース３２に登録する。なお、収集部４６は、分散表現を用いて、メタ情報を分類することができるのであれば、任意のモデルを用いてメタ情報から分散表現を生成してよい。なお、収集部４６は、インターネット上からテキストや画像等、任意の情報をメタ情報として収集し、収集したメタ情報と、そのメタ情報の分散表現とを対応付けて分散表現データベース３２に登録してもよい。
In addition, the
また、収集部４６は、テキストのみならず、ウェブページにおいて主となる画像を補佐する画像をメタ情報として収集してもよい。すなわち、収集部４６は、第１情報と同じ種別の情報を第３情報としてもよい。例えば、図７は、検索対象データを収集する処理のバリエーションを示す図である。
Further, the collecting
例えば、図７に示すウェブページＷＰ０２には、所定の取引対象の画像である「画像＃２」に加えて、「画像＃２−１」や「画像＃２−２」が含まれている。このような「画像＃２−１」や「画像＃２−２」は、「画像＃２」と同じ取引対象を示す画像であって、「画像＃２」とは異なる画像、すなわち、「画像＃２」が有する意味的な特徴を補佐する情報であると考えられる。このような「画像＃２−１」や「画像＃２−２」は、「画像＃２」の意味的な特徴を示す情報、すなわち、タグ情報として用いてもよいと考えられる。 For example, the web page WP02 shown in FIG. 7 includes "image # 2-1" and "image # 2-2" in addition to "image # 2" which is an image of a predetermined transaction target. Such "image # 2-1" and "image # 2-2" are images showing the same transaction target as "image # 2", and are different from "image # 2", that is, "image". It is considered to be information that assists the semantic features of "# 2". It is considered that such "image # 2-1" and "image # 2-2" may be used as information indicating the semantic features of "image # 2", that is, tag information.
そこで、収集部４６は、図７に例示するように、ウェブページＷＰ０２に配置された「画像＃２」とともに、「画像＃２−１」や「画像＃２−２」を収集する。そして、収集部４６は、収集した「画像＃２−１」や「画像＃２−２」を「画像＃２」のメタ情報として画像データベース３３に登録する。また、収集部４６は、畳み込みニューラルネットワークやフィッシャーベクター等の技術を用いて、「画像＃２−１」や「画像＃２−２」の意味的な特徴を示す分散表現を生成し、生成した分散表現を分散表現データベース３２に登録してもよい。
Therefore, as illustrated in FIG. 7, the collecting
〔４．検索処理の一例〕
次に、図８を用いて、検索装置１０が実行する検索処理の流れの一例について説明する。図８は、実施形態に係る検索装置が実行する検索処理の流れの一例を示すフローチャートである。例えば、検索装置１０は、クエリ画像を受付ける（ステップＳ１０１）。このような場合、検索装置１０は、クエリ画像の意味的な特徴を示す分散表現を生成する（ステップＳ１０２）。続いて、検索装置１０は、分散表現がクエリ画像の分散表現と類似するメタ情報を特定し（ステップＳ１０３）、特定したメタ情報に基づいて、検索対象となる画像の順位付けを行う（ステップＳ１０４）。そして、検索装置１０は、順位が所定の閾値よりも上位の画像から、クエリ画像と類似する画像を検索し（ステップＳ１０５）、検索した画像を出力して（ステップＳ１０６）、処理を終了する。
[4. An example of search processing]
Next, an example of the flow of the search process executed by the search device 10 will be described with reference to FIG. FIG. 8 is a flowchart showing an example of the flow of the search process executed by the search device according to the embodiment. For example, the search device 10 receives the query image (step S101). In such a case, the search device 10 generates a distributed representation showing the semantic features of the query image (step S102). Subsequently, the search device 10 identifies meta information whose distributed representation is similar to the distributed representation of the query image (step S103), and ranks the images to be searched based on the identified meta information (step S104). ). Then, the search device 10 searches for an image similar to the query image from the images whose rank is higher than the predetermined threshold value (step S105), outputs the searched image (step S106), and ends the process.
〔５．変形例〕
上記では、検索装置１０による検索処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、検索装置１０が実行する検索処理のバリエーションについて説明する。
[5. Modification example]
In the above, an example of the search process by the search device 10 has been described. However, the embodiments are not limited to this. Hereinafter, variations of the search process executed by the search device 10 will be described.
〔５−１．実現手法について〕
例えば、検索装置１０は、第１情報の分散表現を生成する処理、分散表現が第１情報の分散表現と類似する第３情報を特定する処理、および特定した第３情報が特徴を示す第２情報の中から第１情報と類似する情報を検索する処理を実行するように、ニューラルネットワークの学習を行い、学習したニューラルネットワークを用いて、上述した検索処理を実現してもよい。また、検索装置１０は、検索処理に含まれる各処理の一部を実行するニューラルネットワークを組み合わせて使用することで、上述した検索処理を実現してもよい。
[5-1. Realization method]
For example, the search device 10 performs a process of generating a distributed representation of the first information, a process of specifying a third information whose distributed representation is similar to the distributed representation of the first information, and a second information characterized by the specified third information. The above-mentioned search process may be realized by learning the neural network and using the learned neural network so as to execute the process of searching the information similar to the first information from the information. Further, the search device 10 may realize the above-mentioned search process by using a neural network that executes a part of each process included in the search process in combination.
〔５−２．分散表現空間について〕
ここで、所定の分野に属する第３情報の分散表現が多数存在する際に、第１情報の分散表現と類似する第３情報の分散表現を検索した場合は、ロバストな結果を得ることができない場合がある。そこで、検索装置１０は、分散表現を用いたカテゴリ分けの処理を検索処理に適用してもよい。
[5-2. About distributed expression space]
Here, when there are many distributed representations of the third information belonging to a predetermined field, if a distributed representation of the third information similar to the distributed representation of the first information is searched, a robust result cannot be obtained. In some cases. Therefore, the search device 10 may apply the categorization process using the distributed representation to the search process.
例えば、検索装置１０は、第３情報の分散表現をあらかじめ生成し、生成した分散表現に基づいて、第３情報のカテゴリ分類を行う。そして、検索装置１０は、第１情報を受付けると、受付けた第１情報の分散表現を生成し、生成した分散表現を用いて、第１情報が属する第３情報のカテゴリを特定する。その後、検索装置１０は、特定したカテゴリと対応する第２情報（例えば、特定したカテゴリに属する第３情報が対応付けられた画像）のうち、第１情報と類似する情報を検索してもよい。 For example, the search device 10 generates a distributed representation of the third information in advance, and categorizes the third information based on the generated distributed representation. Then, when the search device 10 receives the first information, it generates a distributed representation of the received first information, and uses the generated distributed representation to specify the category of the third information to which the first information belongs. After that, the search device 10 may search for information similar to the first information among the second information corresponding to the specified category (for example, an image associated with the third information belonging to the specified category). ..
〔５−３．レコメンドについて〕
上述した説明では、検索装置１０は、利用者Ｕ０１が検索クエリとして入力した第１情報と類似する第２情報を検索結果として配信した。しかしながら、実施形態は、これに限定されるものではない。例えば、検索装置１０は、利用者Ｕ０１の入力や行動等に基づく第１情報と類似する第２情報を、利用者Ｕ０１に対するレコメンド情報として配信してもよい。
[5-3. About recommendations]
In the above description, the search device 10 delivers second information similar to the first information input by the user U01 as a search query as a search result. However, the embodiments are not limited to this. For example, the search device 10 may distribute second information similar to the first information based on the input or action of the user U01 as the recommendation information for the user U01.
例えば、検索装置１０は、利用者Ｕ０１によるウェブコンテンツの閲覧履歴や電子商取引等における購買履歴等に応じて、利用者Ｕ０１が好意を有している商品の画像を特定する。このような場合、検索装置１０は、特定した画像をクエリ画像として類似する商品の画像を検索し、検索結果となる画像をリコメンド情報として利用者Ｕ０１に配信してもよい。 For example, the search device 10 identifies an image of a product favored by the user U01 according to a browsing history of web contents by the user U01, a purchase history in electronic commerce, or the like. In such a case, the search device 10 may search for an image of a similar product using the specified image as a query image, and deliver the image as the search result to the user U01 as recommendation information.
また、他の例では、検索装置１０は、利用者Ｕ０１によるウェブコンテンツの閲覧結果に基づいて、利用者Ｕ０１が興味を有している映画のＰＶを特定する。このような場合、検索装置１０は、特定したＰＶの映画の監督によって撮影された他の映画等、特定したＰＶと類似する動画像を検索処理によって検索し、検索した動画像をリコメンド情報として利用者Ｕ０１に配信してもよい。 In another example, the search device 10 identifies the PV of the movie that the user U01 is interested in based on the result of browsing the web content by the user U01. In such a case, the search device 10 searches for a moving image similar to the specified PV, such as another movie shot by the director of the specified PV movie, by a search process, and uses the searched moving image as recommendation information. It may be delivered to the person U01.
〔５−４．装置構成〕
検索装置１０は、端末装置１００と情報の送受信を行うフロントエンドサーバと、上述した抽出処理を実行するバックエンドサーバにより実現されてもよい。このような場合、バックエンドサーバは、生成部４２、特定部４３、検索部４４、および収集部４６を有する情報処理装置により実現される。また、フロントエンドサーバは、受付部４１と出力部４５とを有する情報処理装置により実現される。また、バックエンドサーバは、さらに複数の情報処理装置が協調して動作することで実現されてもよい。
[5-4. Device configuration〕
The search device 10 may be realized by a front-end server that transmits / receives information to / from the
また、記憶部３０に格納された各データベース３１〜３３は、検索装置１０の内部ではなく、例えば、外部のストレージサーバ等に格納されていてもよい。
Further, each
〔５−５．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[5-5. Others]
Further, among the processes described in the above-described embodiment, all or a part of the processes described as being automatically performed can be manually performed, or the processes described as being manually performed can be performed. All or part of it can be done automatically by a known method. In addition, the processing procedure, specific name, and information including various data and parameters shown in the above document and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. It can be integrated and configured.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 In addition, the above-described embodiments can be appropriately combined as long as the processing contents do not contradict each other.
〔６．プログラム〕
また、上述してきた実施形態に係る検索装置１０は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。
[6. program〕
Further, the search device 10 according to the above-described embodiment is realized by, for example, a
演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。
The
出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。
The output IF 1060 is an interface for transmitting information to be output to an
なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。
The
ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。
The network IF1080 receives data from another device via the network N and sends it to the
演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。
The
例えば、コンピュータ１０００が検索装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。
For example, when the
〔７．効果〕
上述したように、検索装置１０は、第１情報の特徴を示す分散表現を生成する。また、検索装置１０は、検索対象となる第２情報の特徴を示す第３情報の中から、分散表現が第１情報の分散表現と類似する第３情報を特定する。そして、検索装置１０は、特定された第３情報が特徴を示す第２情報の中から、第１情報と類似する情報を検索する。
[7. effect〕
As described above, the search device 10 generates a distributed representation indicating the characteristics of the first information. Further, the search device 10 identifies the third information whose distributed expression is similar to the distributed expression of the first information from the third information indicating the characteristics of the second information to be searched. Then, the search device 10 searches for information similar to the first information from the second information in which the specified third information is characteristic.
このように、検索装置１０は、検索対象となる第２情報のうち、分散表現が第１情報と類似する第３情報と対応する第２情報の中から、第１情報と類似する情報を検索する。このような処理の結果、例えば、検索装置１０は、第１情報と意味的な特徴が類似する第２情報の中から、第１情報と類似する情報を検索するので、利用者Ｕ０１の意図を反映した検索を実現する結果、検索精度を向上させることができる。 In this way, the search device 10 searches for information similar to the first information from the second information corresponding to the third information whose distributed representation is similar to the first information among the second information to be searched. To do. As a result of such processing, for example, the search device 10 searches for information similar to the first information from the second information having similar semantic features to the first information, so that the intention of the user U01 is determined. As a result of realizing the reflected search, the search accuracy can be improved.
また、検索装置１０は、第３情報として、第１情報とは種別が異なる情報を特定する。例えば、検索装置１０は、第１情報の特徴が属する分類を示す分散表現を生成する。そして、検索装置１０は、第３情報の特徴が属する分類を示す分散表現の中から、第１情報の分散表現と類似する分散表現を特定し、特定した分散表現と対応する第３情報を特定する。このため、検索装置１０は、メタ情報等、第１情報とは種別が異なる情報が検索対象となる第２情報に対応付けられている場合でも、検索精度を向上させることができる。 Further, the search device 10 identifies information having a type different from that of the first information as the third information. For example, the search device 10 generates a distributed representation indicating the classification to which the feature of the first information belongs. Then, the search device 10 identifies a distributed expression similar to the distributed expression of the first information from the distributed expressions indicating the classification to which the feature of the third information belongs, and identifies the third information corresponding to the specified distributed expression. To do. Therefore, the search device 10 can improve the search accuracy even when information having a type different from that of the first information, such as meta information, is associated with the second information to be searched.
また、検索装置１０は、第１情報の意味的な特徴を示す分散表現を生成し、第２情報の意味的な特徴を示す第３情報の中から、分散表現が第１情報の分散表現と類似する第２情報を特定する。このため、検索装置１０は、第１情報と意味的な特徴が類似する第２情報の中から、第１情報と類似する情報を検索することができる。 Further, the search device 10 generates a distributed representation indicating the semantic characteristics of the first information, and the distributed representation is a distributed representation of the first information from the third information indicating the semantic characteristics of the second information. Identify similar second information. Therefore, the search device 10 can search for information similar to the first information from the second information having similar semantic features to the first information.
また、検索装置１０は、画像である第１情報の特徴を示す分散表現を生成し、画像である第２情報の特徴を示すテキストである第３情報の中から、分散表現が第１情報の特徴と類似する第３情報を特定する。このため、検索装置１０は、画像検索の精度を向上させることができる。 Further, the search device 10 generates a distributed expression indicating the characteristics of the first information which is an image, and the distributed expression is the first information from the third information which is the text indicating the characteristics of the second information which is an image. Identify a third piece of information that is similar to the feature. Therefore, the search device 10 can improve the accuracy of the image search.
また、検索装置１０は、検索した第２情報の提供先となる利用者の属性、または、第２情報の利用目的の少なくともいずれか一方に応じたモデルを用いて、第１情報から分散表現を生成する。また、検索装置１０は、検索した第２情報の提供先となる利用者の属性、または、第２情報の利用目的の少なくともいずれか一方に応じて、第１情報の分散表現との類似範囲を変更する。また、検索装置１０は、検索した第２情報の提供先となる利用者の属性、または、第２情報の利用目的の少なくともいずれか一方に応じて、第１情報との類似範囲を変更する。このため、検索装置１０は、利用者の意図を検索処理により反映させることができる結果、検索精度をさらに向上させることができる。 Further, the search device 10 uses a model according to at least one of the attributes of the user to whom the searched second information is provided or the purpose of use of the second information, and makes a distributed representation from the first information. Generate. Further, the search device 10 sets a range similar to the distributed representation of the first information according to at least one of the attributes of the user who is the destination of the searched second information and the purpose of using the second information. change. Further, the search device 10 changes the range of similarity with the first information according to at least one of the attributes of the user who is the destination of the searched second information and the purpose of using the second information. Therefore, the search device 10 can reflect the user's intention by the search process, and as a result, the search accuracy can be further improved.
また、検索装置１０は、特定された第３情報に基づいて、第２情報の順位付けを行い、順位が所定の閾値よりも高い第２情報のうち、第１情報と類似する第２情報を検索する。このため、検索装置１０は、例えば、第１情報と意味的な特徴がより類似する第２情報を優先的に検索結果に含めることができる。 Further, the search device 10 ranks the second information based on the specified third information, and among the second information whose rank is higher than a predetermined threshold value, the second information similar to the first information is selected. Search for. Therefore, the search device 10 can preferentially include the second information whose semantic characteristics are more similar to those of the first information in the search result.
また、検索装置１０は、画像である第１情報の被写体の特徴を示す分散表現を生成する。また、検索装置１０は、画像である第２情報の被写体の特徴を示すテキストである第３情報の中から、分散表現が第１情報の分散表現と類似する第３情報を特定する。そして、検索装置１０は、特定部により特定された第３情報が特徴を示す第２情報の中から、外観の特徴が第１情報と類似する情報を検索する。このため、検索装置１０は、画像検索の精度を向上させることができる。 Further, the search device 10 generates a distributed expression indicating the characteristics of the subject of the first information which is an image. Further, the search device 10 identifies the third information whose distributed expression is similar to the distributed expression of the first information from the third information which is the text indicating the characteristics of the subject of the second information which is an image. Then, the search device 10 searches for information whose appearance characteristics are similar to those of the first information from the second information whose characteristics are the third information specified by the specific unit. Therefore, the search device 10 can improve the accuracy of the image search.
また、検索装置１０は、分散表現が第１情報の分散表現と類似する複数の第３情報を特定し、特定された複数の第３情報を集約した情報が特徴を示す第２情報の中から、第１情報と類似する情報を検索する。例えば、検索装置１０は、特定された複数の第３情報が属するカテゴリのうち、最も多くの第３情報が属するカテゴリを特定し、特定したカテゴリに属する第３情報が特徴を示す第２情報の中から、第１情報と類似する情報を検索する。このため、検索装置１０は、第１情報と特徴が総合的に類似する第２情報を検索することができる。 Further, the search device 10 identifies a plurality of third information whose distributed representation is similar to the distributed representation of the first information, and among the second information whose characteristics are the information obtained by aggregating the specified plurality of third information. , Search for information similar to the first information. For example, the search device 10 identifies the category to which the most third information belongs among the categories to which the specified plurality of third information belongs, and the third information belonging to the specified category is characteristic of the second information. Search for information similar to the first information. Therefore, the search device 10 can search for the second information whose characteristics are comprehensively similar to those of the first information.
また、検索装置１０は、第３情報のうち、第１情報の分散表現からのユークリッド距離またはコサイン類似度が所定の範囲内となる分散表現と対応する第３情報を特定する。このため、検索装置１０は、第１情報と特徴が類似する第３情報が特徴を示す第２情報を検索することができる。 Further, the search device 10 identifies, among the third information, the third information corresponding to the distributed representation in which the Euclidean distance or the cosine similarity from the distributed representation of the first information is within a predetermined range. Therefore, the search device 10 can search for the second information whose features are similar to those of the first information and whose features are similar to those of the first information.
また、検索装置１０は、畳み込みニューラルネットワーク又はフィッシャーベクターを用いて、第１情報の特徴を示す分散表現を生成する。このため、検索装置１０は、第１情報の分散表現と第３情報の分散表現とを精度良く比較することができる。 Further, the search device 10 uses a convolutional neural network or a Fisher vector to generate a distributed representation indicating the characteristics of the first information. Therefore, the search device 10 can accurately compare the distributed representation of the first information and the distributed representation of the third information.
また、検索装置１０は、複数の第１情報の特徴を示す１つの分散表現を生成し、複数の第１情報と類似する情報を検索する。このため、検索装置１０は、第１情報と特徴が総合的に類似する第２情報を検索することができる。 In addition, the search device 10 generates one distributed representation showing the characteristics of the plurality of first information, and searches for information similar to the plurality of first information. Therefore, the search device 10 can search for the second information whose characteristics are comprehensively similar to those of the first information.
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 Although some of the embodiments of the present application have been described in detail with reference to the drawings, these are examples, and various modifications are made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure column of the invention. It is possible to practice the present invention in other improved forms.
また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、特定部は、特定手段や特定回路に読み替えることができる。 In addition, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the specific unit can be read as a specific means or a specific circuit.
１０ 検索装置
２０ 通信部
３０ 記憶部
３１ 生成モデルデータベース
３２ 分散表現データベース
３３ 画像データベース
４０ 制御部
４１ 受付部
４２ 生成部
４３ 特定部
４４ 検索部
４５ 出力部
４６ 収集部
１００ 端末装置
10
Claims (16)
前記所定のメタ情報の中から、前記分散表現空間に投影された分散表現が前記第１情報の分散表現と類似する１以上のメタ情報を特定する特定部と、
第２情報の特徴を示す第２メタ情報と前記特定部により特定されたメタ情報を集約した単一の集約情報とを比較し、前記第２メタ情報が１以上対応付けられた検索対象となる前記第２情報の中から、前記第２メタ情報と前記集約情報との一致度が所定の閾値よりも高い第２情報を抽出し、抽出した第２情報と前記第１情報との比較結果に基づいて、前記第１情報と類似する第２情報を検索する検索部と
を有することを特徴とする検索装置。 A generator that generates a distributed representation space in which only a distributed representation of predetermined meta information is projected, and a distributed representation of the first meta information that indicates the characteristics of the first information.
From the predetermined meta information, a specific unit that specifies one or more meta information in which the distributed expression projected on the distributed expression space is similar to the distributed expression of the first information.
The second meta information indicating the characteristics of the second information is compared with a single aggregated information that aggregates the meta information specified by the specific unit, and the second meta information is associated with one or more search targets. From the second information, the second information in which the degree of coincidence between the second meta information and the aggregated information is higher than a predetermined threshold is extracted, and the result of comparison between the extracted second information and the first information is obtained. A search device comprising a search unit for searching for second information similar to the first information based on the first information.
前記特定部は、前記所定のメタ情報として、前記第２情報の特徴が属する分類を示すメタ情報の中から、分散表現が前記生成部により生成された分散表現と類似するメタ情報を特定する
ことを特徴とする請求項１に記載の検索装置。 The generation unit generates a distributed representation of the first meta information indicating the classification to which the feature of the first information belongs.
As the predetermined meta information, the specific unit specifies meta information whose distributed expression is similar to the distributed expression generated by the generation unit from the meta information indicating the classification to which the feature of the second information belongs. The search device according to claim 1.
前記特定部は、前記所定のメタ情報として、前記第２情報の意味的な特徴を示すメタ情報の中から、分散表現が前記生成部により生成された分散表現と類似するメタ情報を特定する
ことを特徴とする請求項１または２に記載の検索装置。 The generation unit generates a distributed representation of the first meta information showing the semantic features of the first information.
The specific unit specifies, as the predetermined meta information, meta information whose distributed expression is similar to the distributed expression generated by the generation unit from the meta information indicating the semantic characteristics of the second information. The search device according to claim 1 or 2.
前記特定部は、前記所定のメタ情報として、画像である前記第２情報の特徴を示すメタ情報の中から、分散表現が前記生成部により生成された分散表現と類似するメタ情報を特定する
ことを特徴とする請求項１〜３のうちいずれか１つに記載の検索装置。 The generation unit generates a distributed representation of the first meta information indicating the characteristics of the first information which is an image.
As the predetermined meta information, the specific unit specifies meta information whose distributed expression is similar to the distributed expression generated by the generation unit from the meta information indicating the characteristics of the second information which is an image. The search device according to any one of claims 1 to 3.
ことを特徴とする請求項１〜４のうちいずれか１つに記載の検索装置。 The generation unit uses a model according to at least one of the attributes of the user who provides the second information searched by the search unit and the purpose of use of the second information, to obtain the first information. The search device according to any one of claims 1 to 4, wherein a distributed representation of the first meta information is generated.
ことを特徴とする請求項１〜５のうちいずれか１つに記載の検索装置。 The specific unit is a distributed expression generated by the generation unit according to at least one of the attributes of the user who provides the second information searched by the search unit and the purpose of use of the second information. The search device according to any one of claims 1 to 5, wherein the range of similarity with the above is changed.
ことを特徴とする請求項１〜６のうちいずれか１つに記載の検索装置。 The search unit sets a similar range to the first information according to at least one of the attributes of the user who provides the second information searched by the search unit and the purpose of use of the second information. The search device according to any one of claims 1 to 6, wherein the search device is changed.
ことを特徴とする請求項１〜７のうちいずれか１つに記載の検索装置。 The search unit ranks the second information based on the degree of coincidence between the meta information specified by the specific unit and the second meta information indicating the characteristics of each second information, and the ranking is a predetermined threshold value. The search device according to any one of claims 1 to 7, wherein the second information similar to the first information is searched among the higher second information.
前記特定部は、前記所定のメタ情報として、画像である前記第２情報の被写体の特徴を示すテキストであるメタ情報の中から、分散表現が前記生成部により生成された分散表現と類似するメタ情報を特定する
ことを特徴とする請求項１〜８のうちいずれか１つに記載の検索装置。 The generation unit generates a distributed representation of the first meta information indicating the characteristics of the subject of the first information which is an image.
As the predetermined meta information, the specific unit is a meta in which the distributed expression is similar to the distributed expression generated by the generation unit from the meta information which is the text indicating the characteristics of the subject of the second information which is an image. The search device according to any one of claims 1 to 8, wherein the search device specifies information.
ことを特徴とする請求項１〜９のうちいずれか１つに記載の検索装置。 The search unit is associated with the second meta information whose degree of agreement with a single aggregated information that aggregates the semantic features of the plurality of meta information specified by the specific unit is higher than a predetermined threshold value. 2. The search device according to any one of claims 1 to 9, wherein the information is extracted.
ことを特徴とする請求項１〜１０のうちいずれか１つに記載の検索装置。 The search unit identifies the category to which the most meta information belongs among the categories to which the plurality of meta information specified by the specific unit belongs, and the second meta information associated with the second meta information belonging to the specified category. The search device according to any one of claims 1 to 10 , wherein information similar to the first information is searched from the information.
ことを特徴とする請求項１〜１１のうちいずれか１つに記載の検索装置。 The specific unit is characterized in that, of the predetermined meta information, the distributed expression specifies the meta information in which the Euclidean distance or the cosine similarity from the distributed expression generated by the generation unit is within a predetermined range. The search device according to any one of claims 1 to 11.
ことを特徴とする請求項１〜１２のうちいずれか１つに記載の検索装置。 The search device according to any one of claims 1 to 12, wherein the generation unit uses a convolutional neural network or a Fisher vector to generate a distributed representation showing the characteristics of the first information.
前記検索部は、複数の前記第１情報と類似する情報を検索する
ことを特徴とする請求項１〜１３のうちいずれか１つに記載の検索装置。 The generation unit generates one distributed representation showing the characteristics of the plurality of first information.
The search device according to any one of claims 1 to 13, wherein the search unit searches for a plurality of information similar to the first information.
所定のメタ情報の分散表現のみが投影された分散表現空間と、第１情報の特徴を示す第１メタ情報の分散表現とを生成する生成工程と、
前記所定のメタ情報の中から、前記分散表現空間に投影された分散表現が前記第１情報の分散表現と類似する１以上のメタ情報を特定する特定工程と、
第２情報の特徴を示す第２メタ情報と前記特定工程により特定されたメタ情報を集約した単一の集約情報とを比較し、前記第２メタ情報が１以上対応付けられた検索対象となる前記第２情報の中から、前記第２メタ情報と前記集約情報との一致度が所定の閾値よりも高い第２情報を抽出し、抽出した第２情報と前記第１情報との比較結果に基づいて、前記第１情報と類似する第２情報を検索する検索工程と
を含むことを特徴とする検索方法。 It is a search method executed by the search device.
A generation process for generating a distributed representation space in which only a distributed representation of predetermined meta information is projected, and a distributed representation of the first meta information showing the characteristics of the first information.
A specific step of specifying one or more meta information in which the distributed expression projected onto the distributed expression space is similar to the distributed expression of the first information from the predetermined meta information.
The second meta information indicating the characteristics of the second information is compared with a single aggregated information that aggregates the meta information specified by the specific step, and the second meta information is associated with one or more search targets. From the second information, the second information in which the degree of coincidence between the second meta information and the aggregated information is higher than a predetermined threshold is extracted, and the result of comparison between the extracted second information and the first information is obtained. A search method comprising a search step of searching for second information similar to the first information based on the first information.
所定のメタ情報の分散表現のみが投影された分散表現空間と、第１情報の特徴を示す第１メタ情報の分散表現とを生成する生成手順と、
前記所定のメタ情報の中から、前記分散表現空間に投影された分散表現が前記第１情報の分散表現と類似する１以上のメタ情報を特定する特定手順と、
第２情報の特徴を示す第２メタ情報と前記特定手順により特定されたメタ情報を集約した単一の集約情報とを比較し、前記第２メタ情報が１以上対応付けられた検索対象となる前記第２情報の中から、前記第２メタ情報と前記集約情報との一致度が所定の閾値よりも高い第２情報を抽出し、抽出した第２情報と前記第１情報との比較結果に基づいて、前記第１情報と類似する第２情報を検索する検索手順と
を実行させるための検索プログラム。 On the computer
A generation procedure for generating a distributed representation space in which only the distributed representation of predetermined meta information is projected, and a distributed representation of the first meta information showing the characteristics of the first information, and
A specific procedure for identifying one or more meta information in which the distributed representation projected on the distributed representation space is similar to the distributed representation of the first information from the predetermined meta information.
The second meta information indicating the characteristics of the second information is compared with a single aggregated information that aggregates the meta information specified by the specific procedure, and the second meta information is associated with one or more search targets. From the second information, the second information in which the degree of coincidence between the second meta information and the aggregated information is higher than a predetermined threshold is extracted, and the result of comparison between the extracted second information and the first information is obtained. Based on this, a search program for executing a search procedure for searching for second information similar to the first information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017220199A JP6767342B2 (en) | 2017-11-15 | 2017-11-15 | Search device, search method and search program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017220199A JP6767342B2 (en) | 2017-11-15 | 2017-11-15 | Search device, search method and search program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016214636A Division JP6310529B1 (en) | 2016-11-01 | 2016-11-01 | SEARCH DEVICE, SEARCH METHOD, AND SEARCH PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018073429A JP2018073429A (en) | 2018-05-10 |
| JP6767342B2 true JP6767342B2 (en) | 2020-10-14 |
Family
ID=62114371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017220199A Active JP6767342B2 (en) | 2017-11-15 | 2017-11-15 | Search device, search method and search program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6767342B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6553793B1 (en) * | 2018-09-20 | 2019-07-31 | ヤフー株式会社 | Information processing apparatus, information processing method, and information processing program |
| JP7259935B2 (en) * | 2019-03-04 | 2023-04-18 | 日本電気株式会社 | Information processing system, information processing method and program |
| US20220164381A1 (en) * | 2019-03-29 | 2022-05-26 | Semiconductor Energy Laboratory Co., Ltd. | Image retrieval system and image retrieval method |
| JP2021149613A (en) * | 2020-03-19 | 2021-09-27 | 株式会社野村総合研究所 | Natural language processing apparatus and program |
| JP7362076B2 (en) | 2021-05-25 | 2023-10-17 | ソフトバンク株式会社 | Information processing device, information processing method, and information processing program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011244043A (en) * | 2010-05-14 | 2011-12-01 | Mitsubishi Electric Corp | Recorded video playback system |
| JP2013175956A (en) * | 2012-02-27 | 2013-09-05 | Sony Corp | Image pickup device, image pickup method, image processing device, image processing method and image processing system |
| WO2013175608A1 (en) * | 2012-05-24 | 2013-11-28 | 株式会社日立製作所 | Image analysis device, image analysis system, and image analysis method |
| US11222044B2 (en) * | 2014-05-16 | 2022-01-11 | Microsoft Technology Licensing, Llc | Natural language image search |
-
2017
- 2017-11-15 JP JP2017220199A patent/JP6767342B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018073429A (en) | 2018-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10922350B2 (en) | Associating still images and videos | |
| JP7154334B2 (en) | Using machine learning to recommend livestream content | |
| JP6767342B2 (en) | Search device, search method and search program | |
| US10360623B2 (en) | Visually generated consumer product presentation | |
| US8380727B2 (en) | Information processing device and method, program, and recording medium | |
| JP6381775B2 (en) | Information processing system and information processing method | |
| JP6261547B2 (en) | Determination device, determination method, and determination program | |
| US20200226168A1 (en) | Methods and systems for optimizing display of user content | |
| US20200226651A1 (en) | Methods and systems for product discovery in user generated content | |
| Yamasaki et al. | Social popularity score: Predicting numbers of views, comments, and favorites of social photos using only annotations | |
| US20150131967A1 (en) | Computerized systems and methods for generating models for identifying thumbnail images to promote videos | |
| JP2021051368A (en) | Provision device, provision method and provision program | |
| JP2017201535A (en) | Determination device, learning device, determination method, and determination program | |
| US20180239790A1 (en) | Provision device, provision method and non-transitory computer readable storage medium | |
| CN116051192A (en) | Method and device for processing data | |
| JP6310529B1 (en) | SEARCH DEVICE, SEARCH METHOD, AND SEARCH PROGRAM | |
| US11410418B2 (en) | Methods and systems for tagged image generation | |
| US20140278983A1 (en) | Using entity repository to enhance advertisement display | |
| US11727051B2 (en) | Personalized image recommendations for areas of interest | |
| US20200226167A1 (en) | Methods and systems for dynamic content provisioning | |
| JP6982675B1 (en) | Information processing equipment, information processing methods, and programs | |
| US11282104B2 (en) | Provision device, provision method and non-transitory computer readable storage medium | |
| JP6664600B2 (en) | Provision device, provision method and provision program | |
| JP2018156333A (en) | Generation device, generation method, and generation program | |
| JP7034015B2 (en) | Selection device, learning device, extraction device, selection method, learning method, extraction method, selection program, learning program, and extraction program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171208 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181213 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200917 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6767342 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |