JP2016218578A - Image search device, image search system, image search method and image search program - Google Patents
Image search device, image search system, image search method and image search program Download PDFInfo
- Publication number
- JP2016218578A JP2016218578A JP2015100326A JP2015100326A JP2016218578A JP 2016218578 A JP2016218578 A JP 2016218578A JP 2015100326 A JP2015100326 A JP 2015100326A JP 2015100326 A JP2015100326 A JP 2015100326A JP 2016218578 A JP2016218578 A JP 2016218578A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- attribute
- unit
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムに関する。 The present invention relates to an image search device, an image search system, an image search method, and an image search program.
近年、画像や動画に写る物体を自動的に識別する技術によって、入力画像に類似した画像を、ＷＥＢコンテンツや商品データベース等から検索することが可能である。類似画像に紐づいた情報を提示することで、画像をトリガーとして様々な情報を検索できる画像検索システムが実現されている。例えば写真に撮った商品の名前とその値段、ランドマークの名称や成り立ち等といった情報を簡便に検索することが可能である。 In recent years, it is possible to search for an image similar to an input image from a web content, a product database, or the like by a technique for automatically identifying an object appearing in an image or a moving image. By presenting information associated with similar images, an image search system that can search various information using an image as a trigger is realized. For example, it is possible to easily search for information such as the name and price of a product taken in a photograph, the name and history of a landmark, and the like.
ユーザの検索ニーズが、「撮影した被写体の名称が分からないため，その名称を知りたい」といった場合、すなわち被写体そのものの情報が必要ならば、従来の画像検索システムで実現可能である。 If the user's search needs are "I don't know the name of the photographed subject, I want to know its name", that is, if information on the subject itself is needed, it can be realized with a conventional image search system.
一方で被写体そのものの情報を提示するだけでは不十分な検索ニーズも存在する。例えば衣服の購買シーンが考えられる。衣服のようにデザインの幅が広い商品は、必然的に個人の嗜好も幅広い。そのため被写体となる商品がユーザの求める商品に近しいことはあっても，完全に一致することは稀である、そこで被写体そのものの情報を提示するのではなく、被写体に類似した他の商品画像や当該商品に関する情報を提示することが必要となる。 On the other hand, there is a search need that is insufficient to present information on the subject itself. For example, a purchase scene of clothes can be considered. Products with a wide range of designs, such as clothes, inevitably have a wide range of personal preferences. Therefore, even if the product that is the subject is close to the product that the user wants, it is rare that the product is exactly the same, so instead of presenting information about the subject itself, other product images similar to the subject It is necessary to present information about the product.
図９に、従来の技術の一例を説明するための図を示す。店頭で見つけたポロシャツの画像をクエリ画像とし、類似画像の検索を行いユーザＡ、Ｂそれぞれが求める商品を提示したい。ユーザＡの目的商品はクエリ画像における襟ボタンが無く、左胸にポケットがあるポロシャツであり、ユーザＢの目的商品はクエリ画像の袖の部分が無地のポロシャツであるとする。一般的な画像検索システムでは、クエリ画像全域から画像特徴量を抽出し、データベース画像から同様にして抽出した画像特徴量との類似度を求め，画像特徴空間上での類似度が高い順に検索結果としてユーザに提示する。そのためユーザＡの場合のように、目的商品が必ずしも検索結果の上位に挙がらないという問題が存在する（ユーザＡの目的商品は３番目の検索結果に掲示されている）。またユーザＢの場合のように、目的商品に完全に一致する商品がデータベースに存在しない場合、それをシステムは判定することができないため、ユーザＢにとって不必要な検索結果を提示せざるを得ないという問題も存在する。 FIG. 9 is a diagram for explaining an example of the prior art. The image of the polo shirt found at the store is used as a query image, and a similar image is searched for and the products that users A and B seek are presented. User A's target product is a polo shirt with no collar button in the query image and a pocket on the left chest, and user B's target product is a plain polo shirt with a sleeve on the query image. In a general image search system, image feature values are extracted from the entire query image, the similarity with the image feature values extracted in the same way from the database image is obtained, and the search results are in descending order of similarity in the image feature space. To the user. Therefore, as in the case of the user A, there is a problem that the target product is not necessarily listed at the top of the search results (the target product of the user A is posted in the third search result). Further, as in the case of the user B, when a product that completely matches the target product does not exist in the database, the system cannot determine the product, and thus the search result unnecessary for the user B must be presented. There is also a problem.
そこで、ユーザの持つ嗜好や意図を検索結果に反映させるため、ユーザにフィードバックを要求することで検索精度を向上させる技術がある。 Therefore, there is a technique for improving the search accuracy by requesting feedback from the user in order to reflect the preference and intention of the user in the search result.
特許文献１に記載の技術では、入力された画像における注目領域をユーザに指定させ、その領域のみから抽出した画像特徴量を基に、類似した画像をデータベースから検索することで、ユーザの意図を限定し検索精度を向上させている。 In the technique described in Patent Document 1, the user's intention is specified by letting the user specify a region of interest in the input image, and searching for a similar image from the database based on the image feature amount extracted from only that region. Limited to improve search accuracy.
また、特許文献２に記載の技術では、映像検索に対してユーザフィードバックを利用し検索精度を高めている。ユーザは検索結果の映像それぞれに対して、ユーザの目的映像と関連性があるか否かを評価する。評価結果に基づき、初期入力からは類推できなかった、所望する映像に対する情報を補完し、検索結果をユーザの意図に合わせて更新していく関連フィードバックに基づく検索システムが提案されている。 In the technique described in Patent Document 2, user feedback is used for video search to improve search accuracy. The user evaluates whether or not each of the search result videos is related to the user target video. Based on the evaluation result, a search system based on related feedback that complements information on a desired video that could not be inferred from the initial input and updates the search result according to the user's intention has been proposed.
しかしながら、上記特許文献１に記載の、注目領域に基づく画像検索では、注目領域外の情報を用いないため、例えば図９のユーザＡの場合のように、ユーザが複数の検索要求を持つ場合にこれらを満たしたフィードバックを指示することは困難である。また、画像のある部分を強調して検索することは可能であるが、ユーザＢの検索要求のように被写体の画像のある部分をユーザの所望する要素に置き換えるようなフィードバックを与えることはできない。 However, in the image search based on the attention area described in Patent Document 1, information outside the attention area is not used. For example, when the user has a plurality of search requests as in the case of the user A in FIG. It is difficult to indicate feedback that satisfies these requirements. Although it is possible to search by emphasizing a certain part of the image, it is not possible to give feedback that replaces a certain part of the image of the subject with an element desired by the user as in the search request of the user B.
上記特許文献２に記載の、関連フィードバックに基づく検索システムでは、フィードバックの指示方法がユーザの目的画像と関連しているか否かの二択であるため、複数の検索要求や被写体画像の細部の変更要求に対しては上記特許文献１の技術と同様の問題を有する。また、データベースにユーザの目的商品が存在するか否かを判定する術を持たないため、複数回のフィードバックを行って初めて目的商品が存在しないことをユーザ自身が認識できる。そのために利便性が著しく損なわれている。 In the search system based on related feedback described in Patent Document 2, since the feedback instruction method is two choices of whether or not it is related to the target image of the user, a plurality of search requests and changes in the details of the subject image The request has the same problem as that of the technique disclosed in Patent Document 1. Further, since there is no way to determine whether or not the user's target product exists in the database, the user can recognize that the target product does not exist only after performing feedback multiple times. For this reason, convenience is significantly impaired.
以上示したように、このような従来技術のみでは、類似画像検索において、ユーザの細やかな嗜好や意図を正しく反映した検索結果を提示すること、すなわちクエリ画像の一部分のみを変更する類似画像検索は不可能であった。 As described above, with such a conventional technique alone, in the similar image search, it is possible to present a search result that accurately reflects the user's detailed preferences and intentions, that is, a similar image search in which only a part of the query image is changed. It was impossible.
本発明は上記を鑑みてなされたものであり、クエリ画像に関するユーザの要求を正確にフィードバックして、類似画像を検索することができる、画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムを提供することを目的とする。 The present invention has been made in view of the above, and provides an image search apparatus, an image search system, an image search method, and an image search capable of accurately feeding back a user request regarding a query image and searching for similar images. The purpose is to provide a program.
上記目的を達成するために、本発明の画像検索装置は、クエリ画像が有する属性を検出して、属性検出結果を属性検出結果表示部に出力する属性検出部と、前記属性検出結果表示部に表示された前記属性検出結果に含まれる属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として検索結果表示部に出力する画像検索部と、を備える。 In order to achieve the above object, an image search device of the present invention detects an attribute of a query image and outputs an attribute detection result to an attribute detection result display unit; and the attribute detection result display unit Based on the search condition including the attribute changed in response to the change instruction by the user, the image included in the displayed attribute detection result is searched for an image corresponding to the search condition. An image search unit that searches and outputs an image of the search result to the search result display unit as a similar image similar to the query image according to the search condition.
さらに、本発明の画像検索装置の前記検索条件は、複数の属性を表す特徴ベクトルであり、前記画像検索部は、前記検索条件の特徴ベクトルと、前記検索対象の画像に付与された前記特徴ベクトルとの類似度を計算した計算結果に基づいて検索を行ってもよい。 Further, the search condition of the image search device of the present invention is a feature vector representing a plurality of attributes, and the image search unit includes the feature vector of the search condition and the feature vector assigned to the search target image. You may search based on the calculation result which calculated the similarity with.
またさらに、本発明の画像検索装置の前記特徴ベクトルは、前記複数の属性の有無を表すバイナリの特徴ベクトルであってもよい。 Still further, the feature vector of the image search device of the present invention may be a binary feature vector representing the presence or absence of the plurality of attributes.
また、本発明の画像検索システムは、クエリ画像が有する属性を検出して、属性検出結果を出力する属性検出部と、前記属性検出部から出力された属性検出結果を表示する属性検出結果表示部と、前記属性検出結果表示部に表示された前記属性検出結果に含まれる前記属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件を生成して出力する検索条件指示部と、前記検索条件指示部から出力された前記検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として出力する画像検索部と、前記画像検索部から出力された前記検索結果を表示する検索結果表示部と、を備える。 The image search system according to the present invention includes an attribute detection unit that detects an attribute of a query image and outputs an attribute detection result, and an attribute detection result display unit that displays the attribute detection result output from the attribute detection unit A search condition instruction unit that generates and outputs a search condition that includes an attribute that is changed according to a change instruction by a user, the attribute included in the attribute detection result displayed on the attribute detection result display unit; Based on the search condition output from the search condition instructing unit, an image corresponding to the search condition is searched from the search target images to which an attribute is given, and an image as a search result is searched for the query according to the search condition. An image search unit that outputs a similar image similar to an image, and a search result display unit that displays the search result output from the image search unit.
また、本発明の画像検索方法は、属性検出部が、クエリ画像が有する属性を検出して、属性検出結果を属性検出結果表示部に出力するステップと、画像検索部が、前記属性検出結果表示部に表示された前記属性検出結果に含まれる前記属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として検索結果表示部に出力するステップと、を備える。 In the image search method of the present invention, the attribute detection unit detects an attribute of the query image and outputs the attribute detection result to the attribute detection result display unit; and the image search unit displays the attribute detection result display. The attribute included in the attribute detection result displayed in the section is based on a search condition including an attribute that is changed according to a change instruction by a user. A search result image, and outputting the search result image as a similar image similar to the query image according to the search condition to the search result display unit.
また、本発明の画像検索プログラムは、コンピュータを、本発明の画像検索装置の各部として機能させるためのものである。 The image search program of the present invention is for causing a computer to function as each part of the image search apparatus of the present invention.
本発明の画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラムによれば、クエリ画像に関するユーザの要求を正確にフィードバックして、類似画像を検索することができる、という効果が得られる。 According to the image search device, the image search system, the image search method, and the image search program of the present invention, it is possible to accurately feed back a user request regarding a query image and search for a similar image. .
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that this embodiment does not limit the present invention.
図１は、本実施の形態の画像検索システム１の概略構成の一例を示す機能ブロック図である。なお、本実施の形態では、被写体を撮影した被写体の撮影画像をクエリ画像とする場合について説明するが、クエリ画像は、画像であれば何ら制限されず、被写体を撮影した撮影画像でなくてもよい。また、本実施の形態では、被写体については、衣服を一例とする場合について説明するが、何ら制限されるものではなく、他の被写体であっても後述の属性を含むものであれば同様の効果を得ることができる。 FIG. 1 is a functional block diagram illustrating an example of a schematic configuration of an image search system 1 according to the present embodiment. In this embodiment, a case where a captured image of a subject obtained by capturing a subject is used as a query image is described. However, the query image is not limited as long as it is an image, and may not be a captured image obtained by capturing a subject. Good. Further, in this embodiment, the case where clothes are used as an example for the subject will be described. However, the subject is not limited at all, and the same effect can be obtained if other subjects include the attributes described later. Can be obtained.
本実施の形態の画像検索システム１は、端末装置１０及び画像検索装置２０を備える。 The image search system 1 according to the present embodiment includes a terminal device 10 and an image search device 20.
端末装置１０は、ユーザが指示したクエリ画像の入力及び検索条件の入力を指示し、画像検索装置２０による検索結果をユーザに提示する機能を有する。画像検索装置２０は、入力された画像に対して属性を検出し、入力された検索条件に基づいて画像を検索し、検索結果を端末装置１０に出力する機能を有する。 The terminal device 10 has a function of instructing input of a query image and a search condition specified by the user, and presenting a search result by the image search device 20 to the user. The image search device 20 has a function of detecting an attribute for the input image, searching for an image based on the input search condition, and outputting the search result to the terminal device 10.
端末装置１０と画像検索装置２０は、例えばウェブやネットワーク等を介して相互に通信可能に接続されている。 The terminal device 10 and the image search device 20 are connected to be communicable with each other via, for example, the web or a network.
端末装置１０は、画像指示部１２、属性検出結果表示部１４、検索条件指示部１６、及び検索結果表示部１８を備える。 The terminal device 10 includes an image instruction unit 12, an attribute detection result display unit 14, a search condition instruction unit 16, and a search result display unit 18.
端末装置１０は、例えば、ウェブ接続機能（通信機能）、ディスプレイ等の表示機能、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及び後述する端末装置処理を実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）を備えた、一般的なＰＣ（Personal Computer）や、スマートフォン・タブレットなどのモバイル端末等によって実現可能である。 The terminal device 10 stores, for example, a web connection function (communication function), a display function such as a display, a CPU (Central Processing Unit), a RAM (Random Access Memory), and a program for executing a terminal device process described later. This can be realized by a general PC (Personal Computer) having a ROM (Read Only Memory), a mobile terminal such as a smartphone / tablet, or the like.
画像指示部１２は、端末装置１０に入力された画像からクエリとなる画像（クエリ画像）をユーザが指示し、画像検索装置２０の画像入力部２２に出力する機能を有する。ここで検索クエリとなるクエリ画像は、端末装置１０がカメラを備える場合は、当該カメラで被写体を撮影した撮影画像であってもよいし、ウェブ等から収集した撮影画像であってもよい。 The image instruction unit 12 has a function in which a user instructs an image (query image) to be a query from images input to the terminal device 10 and outputs the image to the image input unit 22 of the image search device 20. Here, when the terminal device 10 includes a camera, the query image serving as the search query may be a captured image obtained by capturing the subject with the camera, or may be a captured image collected from the web or the like.
属性検出結果表示部１４は、画像検索装置２０の属性検出部２４から送信された属性検出結果を受信し、ユーザに提示する機能を有する。なお、属性検出部２４における属性検出結果は、クエリ画像に含まれる各属性の有無及び当該属性のクエリ画像内の出現位置を含み、このうち、クエリ画像に含まれる各属性の有無は、検索条件の初期値であるため「初期検索条件」という。また、属性検出結果表示部１４は、受信した初期検索条件を検索条件指示部１６に出力する機能を有する。 The attribute detection result display unit 14 has a function of receiving the attribute detection result transmitted from the attribute detection unit 24 of the image search device 20 and presenting it to the user. The attribute detection result in the attribute detection unit 24 includes the presence / absence of each attribute included in the query image and the appearance position of the attribute in the query image. Of these, the presence / absence of each attribute included in the query image Since this is the initial value, it is called “initial search condition”. The attribute detection result display unit 14 has a function of outputting the received initial search condition to the search condition instruction unit 16.
検索条件指示部１６は、属性検出結果表示部１４から初期検索条件受信する機能と、ユーザが任意に検索条件を指示可能な機能と、ユーザが指示した検索条件を画像検索装置２０の画像検索部２８に送信する機能と、を有する。 The search condition instruction unit 16 has a function of receiving an initial search condition from the attribute detection result display unit 14, a function that allows the user to arbitrarily specify a search condition, and a search condition instructed by the user. 28.
検索結果表示部１８は、画像検索装置２０の画像検索部２８から受信した検索結果をユーザに提示する機能を有する。 The search result display unit 18 has a function of presenting the search result received from the image search unit 28 of the image search device 20 to the user.
一方、画像検索装置２０は，画像入力部２２、属性検出部２４、属性検出器記憶部２６、画像検索部２８、及び商品データ記憶部３０を備える。 On the other hand, the image search device 20 includes an image input unit 22, an attribute detection unit 24, an attribute detector storage unit 26, an image search unit 28, and a product data storage unit 30.
画像検索装置２０は、ウェブ接続機能（通信機能）、ＣＰＵ、ＲＡＭ、及び後述する画像検索装置処理を実行するためのプログラムを記憶したＲＯＭを備えた、一般的なＰＣ等によって実現可能である。 The image search device 20 can be realized by a general PC or the like including a web connection function (communication function), a CPU, a RAM, and a ROM storing a program for executing image search device processing described later.
画像入力部２２は、端末装置１０の画像指示部１２から送信されたクエリ画像を受信し、画像検索装置２０内に入力された当該クエリ画像を属性検出部２４に出力する機能を有する。 The image input unit 22 has a function of receiving the query image transmitted from the image instruction unit 12 of the terminal device 10 and outputting the query image input into the image search device 20 to the attribute detection unit 24.
属性検出部２４は属性検出器記憶部２６を参照して、入力されたクエリ画像に含まれる属性を検出し、各属性の有無と出現位置とを含む属性検出結果を端末装置１０の属性検出結果表示部１４に送信する機能を有する。 The attribute detection unit 24 refers to the attribute detector storage unit 26 to detect the attribute included in the input query image, and the attribute detection result including the presence / absence of each attribute and the appearance position is the attribute detection result of the terminal device 10. It has a function of transmitting to the display unit 14.
本実施の形態では、属性検出部２４における属性検出結果は、各属性がクエリ画像に含まれるか否かを示す特徴ベクトル（バイナリベクトル）と、各属性のクエリ画像内の出現位置の座標ベクトルと、を含む。バイナリベクトルの各ビットが各属性の有無を示し、ビットが１の場合は当該属性が含まれることを意味し、ビットが０の場合は当該属性が含まれないことを意味する（図６参照）。座標ベクトルは、本実施の形態では出現位置を矩形で表現するため４点の座標で記述する。 In the present embodiment, the attribute detection result in the attribute detection unit 24 includes a feature vector (binary vector) indicating whether or not each attribute is included in the query image, and a coordinate vector of the appearance position in the query image of each attribute. ,including. Each bit of the binary vector indicates the presence or absence of each attribute. When the bit is 1, it means that the attribute is included, and when the bit is 0, the attribute is not included (see FIG. 6). . In the present embodiment, the coordinate vector is described by coordinates of four points in order to represent the appearance position by a rectangle.
属性検出器記憶部２６には、検出対象である属性と画像特徴とを対応付けて学習した検出器が格納されている。本実施の形態において「属性」とは、ある物体を構成している部品や素材等の要素（アトリビュート）が挙げられる。例えば、衣服であれば、Ｖネックやタートルネック等の襟の種類、ポケットやリボン等の装飾、及びコットンやウール等の素材等である。当該検出器は何ら制限されず、属性の有無とクエリ画像内の出現位置とを出力すれば任意のものを用いることができる。例えば物体検出において広く用いられているＳＶＭ（Support Vector Machine）等を用いればよい。また画像特徴としては、ＨＳＶヒストグラム等の色に関するもの、ＬＢＰ（Local binary pattern）等のテクスチャに関するもの、ＨＯＧ（Histogram of Oriented Gradients）等の局所特徴等を用いるのがよい。このように属性検出器記憶部２６に記憶される検出器の学習方法及び画像特徴については何ら制限されない。 The attribute detector storage unit 26 stores a detector that learns by associating an attribute to be detected with an image feature. In the present embodiment, “attributes” include elements (attributes) such as parts and materials that constitute an object. For example, in the case of clothes, there are types of collars such as V-neck and turtleneck, decorations such as pockets and ribbons, and materials such as cotton and wool. The detector is not limited at all, and any detector can be used as long as the presence / absence of attributes and the appearance position in the query image are output. For example, SVM (Support Vector Machine) widely used in object detection may be used. As image features, it is preferable to use color features such as HSV histograms, texture features such as LBP (Local binary pattern), local features such as HOG (Histogram of Oriented Gradients), and the like. Thus, the learning method and the image feature of the detector stored in the attribute detector storage unit 26 are not limited at all.
画像検索部２８は、商品データ記憶部３０を参照し、端末装置１０の検索条件指示部１６から受信した検索条件にあてはまる商品データを検索する機能と、検索結果を端末装置１０の検索結果表示部１８に送信する機能と、を有する。 The image search unit 28 refers to the product data storage unit 30 and searches for product data that matches the search condition received from the search condition instruction unit 16 of the terminal device 10, and the search result is displayed on the search result display unit of the terminal device 10. And a function of transmitting to the network.
商品データ記憶部３０は、様々な複数の商品データを記憶しておく機能を有する。商品データは、少なくとも商品画像（商品を被写体として撮影した撮影画像)とその属性データとが対応付けられていればよい。図２には、本実施の形態の商品データ記憶部３０に記憶されている商品データの一例を示す。図２に示すように本実施の形態の商品データは、個々の商品を識別するための商品ＩＤ（Identification）と、商品（本実施の形態では衣服）と、商品の属性データと、が対応付けられている。 The product data storage unit 30 has a function of storing various pieces of product data. The product data only needs to be associated with at least a product image (a photographed image obtained by shooting the product as a subject) and its attribute data. FIG. 2 shows an example of product data stored in the product data storage unit 30 of the present embodiment. As shown in FIG. 2, the product data of the present embodiment associates a product ID (Identification) for identifying individual products, a product (clothes in the present embodiment), and product attribute data. It has been.
図２に示すように、本実施の形態では、具体例として、「色属性」、「襟属性」、「スカート属性」、「柄属性」、及び「袖属性」の５種類の属性グループの各々に属する属性が商品画像に対応付けられている。なお、「属性グループ」とは、複数の属性をグループわけ（分類）したものであり、何ら制限されるものではない。 As shown in FIG. 2, in the present embodiment, as specific examples, each of five types of attribute groups of “color attribute”, “collar attribute”, “skirt attribute”, “pattern attribute”, and “sleeve attribute” The attribute belonging to is associated with the product image. The “attribute group” is a grouping (classification) of a plurality of attributes, and is not limited at all.
なお、商品画像と当該商品画像の属性との対応付けの方法は何ら制限されず、例えば、上述した属性検出器記憶部２６に記憶されている検出器等を用いて自動的に行ってもよいし、ショッピングサイトのタグ情報等を用いてもよい。また、商品データ記憶部３０に記憶される商品の種類についても、何ら制限されない。 Note that the method for associating the product image with the attribute of the product image is not limited at all, and may be automatically performed using, for example, the detector stored in the attribute detector storage unit 26 described above. In addition, tag information of a shopping site may be used. Further, the types of products stored in the product data storage unit 30 are not limited at all.
次に、本実施の形態の画像検索システム１における画像検索処理の流れの概略について説明する。本実施の形態の画像検索処理は、端末装置１０で実行される端末装置処理と、画像検索装置２０で実行される画像検索装置処理と、を含む。 Next, an outline of the flow of image search processing in the image search system 1 of the present embodiment will be described. The image search process of the present embodiment includes a terminal apparatus process executed by the terminal apparatus 10 and an image search apparatus process executed by the image search apparatus 20.
まず、本実施の形態の画像検索処理において端末装置１０で実行される端末装置処理について説明する。 First, terminal device processing executed by the terminal device 10 in the image search processing of the present embodiment will be described.
図３は、本実施の形態の端末装置１０における端末装置処理の流れの一例を表すフローチャートである。図３に示した端末装置処理は、所定のタイミング、例えば、端末装置１０にクエリ画像となる画像が入力された場合や、ユーザが画像検索処理の実行を指示した場合に実行される。 FIG. 3 is a flowchart showing an example of the flow of terminal device processing in the terminal device 10 of the present embodiment. The terminal device processing shown in FIG. 3 is executed at a predetermined timing, for example, when an image to be a query image is input to the terminal device 10 or when the user instructs execution of the image search processing.
ステップＳ１００で画像指示部１２は、入力された画像からユーザが指示した画像をクエリ画像とするように、画像検索装置２０の画像入力部２２に送信する。画像検索装置２０では、画像入力部２２が画像指示部１２からクエリ画像を受信すると、属性検出部２４が当該クエリ画像の属性を検出して属性検出結果を送信する（詳細後述）。 In step S100, the image instruction unit 12 transmits the image instructed by the user from the input image to the image input unit 22 of the image search device 20 so as to be a query image. In the image search device 20, when the image input unit 22 receives a query image from the image instruction unit 12, the attribute detection unit 24 detects the attribute of the query image and transmits an attribute detection result (details will be described later).
そこで、次のステップＳ１０２で属性検出結果表示部１４は、属性検出結果を画像検索装置２０の属性検出部２４から受信する。本実施の形態では、上述したように、属性検出部２４による属性検出結果は、バイナリベクトルと座標ベクトルとを含んでいる。 Therefore, in the next step S102, the attribute detection result display unit 14 receives the attribute detection result from the attribute detection unit 24 of the image search device 20. In the present embodiment, as described above, the attribute detection result by the attribute detection unit 24 includes a binary vector and a coordinate vector.
次のステップＳ１０４で属性検出結果表示部１４は、属性検出部２４から受信した属性検出結果を表示してユーザに提示する。 In the next step S104, the attribute detection result display unit 14 displays the attribute detection result received from the attribute detection unit 24 and presents it to the user.
ここで端末装置１０において表示される画面（インターフェイス）の一例を参照しながら、属性検出結果表示部１４及び検索条件指示部１６の動作を説明する。 Here, operations of the attribute detection result display unit 14 and the search condition instruction unit 16 will be described with reference to an example of a screen (interface) displayed on the terminal device 10.
図４は、属性検出結果表示部１４が、画像検索装置２０の属性検出部２４から属性検出結果の受信後に表示する画面４０である。図４に示した一例では、属性検出結果に含まれる色属性は白、襟属性はスクエアネック、スカート属性はギャザースカート、柄属性は無地、及び袖属性はショートスリーブの場合を示している。 FIG. 4 is a screen 40 that the attribute detection result display unit 14 displays after receiving the attribute detection result from the attribute detection unit 24 of the image search device 20. In the example shown in FIG. 4, the color attribute included in the attribute detection result is white, the collar attribute is a square neck, the skirt attribute is a gathered skirt, the pattern attribute is plain, and the sleeve attribute is a short sleeve.
図４に示すように、属性検出結果表示部１４は、画面４０中左側の指示画像表示部分４２には画像指示部１２によりユーザが指示したクエリ画像４４を表示する。さらに属性検出結果表示部１４は、クエリ画像４４（指示画像表示部分４２）の上部にユーザが選択した属性グループの検出結果４６（ユーザ選択属性検出結果４６）を表示する。 As shown in FIG. 4, the attribute detection result display unit 14 displays a query image 44 instructed by the user from the image instruction unit 12 in the instruction image display part 42 on the left side of the screen 40. Further, the attribute detection result display unit 14 displays the detection result 46 (user selection attribute detection result 46) of the attribute group selected by the user on the upper part of the query image 44 (instruction image display portion 42).
また、図４に示すように、属性検出結果表示部１４は、画面４０中右側には、属性検出器記憶部２６に予め記憶されている属性の一覧をボタンで表示する。なお、属性検出器記憶部２６に記憶されている属性に関する情報は、予め端末装置１０内に格納しておいてもよいし、画像検索装置２０から取得してもよい。 As shown in FIG. 4, the attribute detection result display unit 14 displays a list of attributes stored in advance in the attribute detector storage unit 26 with buttons on the right side of the screen 40. Information regarding the attributes stored in the attribute detector storage unit 26 may be stored in the terminal device 10 in advance or may be acquired from the image search device 20.
なお、本実施の形態ではユーザの利便性を考慮し、全ての属性の一覧を表示するのではなく、属性のグループを表す属性グループボタン５０を表示する。本実施の形態の属性グループボタン５０は、襟属性グループを表す「Neck Type」ボタン５０Ａ、袖属性グループを表す「Sleeve Length」ボタン５０Ｂ、スカート属性グループを表す「Skirt Type」ボタン５０Ｃ、柄属性グループを表す「Pattern Type」ボタン５０Ｄ、及び色属性グループを表す「Colors」ボタン５０Ｅを含む。 In this embodiment, in consideration of user convenience, a list of attributes is not displayed, but an attribute group button 50 representing a group of attributes is displayed. The attribute group button 50 of the present embodiment includes a “Neck Type” button 50A representing a collar attribute group, a “Sleeve Length” button 50B representing a sleeve attribute group, a “Skirt Type” button 50C representing a skirt attribute group, and a pattern attribute group "Pattern Type" button 50D representing the color and a "Colors" button 50E representing the color attribute group.
属性検出結果表示部１４は、属性グループボタン５０がユーザにより押下（操作）されたことを検出すると、当該属性グループボタン５０に応じた属性グループに含まれる属性及び画像検索装置２０の属性検出部２４から受信した属性検出結果を画面４０に表示する。そのため、ユーザは属性グループボタン５０を押下（操作）することで、クエリ画像４４に対する属性検出結果の閲覧及び当該属性グループに含まれる属性を一覧できる。 When the attribute detection result display unit 14 detects that the attribute group button 50 is pressed (operated) by the user, the attribute detection unit 24 of the image search apparatus 20 and the attributes included in the attribute group corresponding to the attribute group button 50 are detected. The attribute detection result received from is displayed on the screen 40. Therefore, the user can browse (view) the attribute detection results for the query image 44 and list the attributes included in the attribute group by pressing (operating) the attribute group button 50.
図５は、属性検出結果表示部１４が、ユーザが襟属性グループを表す「Neck Type」ボタン５０Ａを押下した場合に表示する画面である。図５に示すように属性検出結果表示部１４は、襟属性グループに含まれる属性を表す属性ボタン５４の一覧を画面４０に表示する。襟属性グループに含まれる属性に応じた属性ボタン５４は、ラウンドネックを表す「Round Neck」ボタン５４Ａ、スクエアネックを表す「Square Neck」ボタン５４Ｂ、タートルネックを表す「Turtle Neck」ボタン５４Ｃ、Ｕネックを表す「U Neck」ボタン５４Ｄ、及びＶネックを表す「V Neck」ボタン５４Ｅを含む。 FIG. 5 is a screen displayed when the attribute detection result display unit 14 presses the “Neck Type” button 50A representing the collar attribute group. As shown in FIG. 5, the attribute detection result display unit 14 displays a list of attribute buttons 54 representing attributes included in the collar attribute group on the screen 40. The attribute buttons 54 corresponding to the attributes included in the collar attribute group include a “Round Neck” button 54A representing a round neck, a “Square Neck” button 54B representing a square neck, a “Turtle Neck” button 54C representing a turtle neck, and a U neck. It includes a “U Neck” button 54D for representing, and a “V Neck” button 54E for representing a V-neck.
また、属性検出結果表示部１４は、ユーザ選択属性検出結果４６に、属性検出結果に応じた属性（図５に示した場合では「Square Neck」）を表示する。 Further, the attribute detection result display unit 14 displays an attribute corresponding to the attribute detection result (“Square Neck” in the case of FIG. 5) in the user selection attribute detection result 46.
なお、図５に示した一例のように、属性検出部２４から受信した属性検出結果に含まれる、属性のうちユーザにより属性グループボタン５０が押下された属性の出現位置４８をクエリ画像４４に重畳してもよい。また、ユーザの視認性を向上させるために、押下された属性グループボタン５０（図５における「Neck Type」ボタン５０Ａ）については色を変更する等ハイライト表示（強調表示）をしてもよい。また、ユーザの視認性を向上させるために、属性検出結果に応じた（クエリ画像４４に存在する）属性ボタン５４（図５における「Square Neck」ボタン５４Ｂ）も同様にハイライト表示してもよい。 Note that, as in the example illustrated in FIG. 5, the appearance position 48 of the attribute in which the attribute group button 50 is pressed by the user among the attributes included in the attribute detection result received from the attribute detection unit 24 is superimposed on the query image 44. May be. In order to improve the visibility of the user, the pressed attribute group button 50 (“Neck Type” button 50A in FIG. 5) may be highlighted (e.g., highlighted) by changing the color. Further, in order to improve the visibility of the user, the attribute button 54 (existing in the query image 44) corresponding to the attribute detection result (“Square Neck” button 54B in FIG. 5) may be highlighted as well. .
ユーザは、画面４０に表示された属性ボタン５４を押下することで、クエリ画像４４の属性を任意の属性に変更した類似画像を画像検索装置２０により検索することができる。 The user can search the similar image in which the attribute of the query image 44 is changed to an arbitrary attribute by the image search device 20 by pressing the attribute button 54 displayed on the screen 40.
そのため、次のステップＳ１０６で検索条件指示部１６は、ユーザが属性の変更を指示したか否かを判断する。具体的には、検索条件指示部１６は、属性ボタン５４のいずれがユーザにより押下されたか否かを検出することにより、ユーザが属性の変更を指示したか否かを判断する。 Therefore, in the next step S106, the search condition instruction unit 16 determines whether or not the user has instructed to change the attribute. Specifically, the search condition instructing unit 16 determines whether the user has instructed to change the attribute by detecting which of the attribute buttons 54 has been pressed by the user.
検索条件指示部１６が属性ボタン５４のいずれかが押下されたことを検出した場合は、肯定判定となりステップＳ１０８へ移行する。 If the search condition instructing unit 16 detects that any of the attribute buttons 54 is pressed, an affirmative determination is made and the process proceeds to step S108.
ステップＳ１０８で検索条件指示部１６は、ユーザによる属性ボタン５０の押下をトリガーとして、属性検出結果表示部１４から入力された初期検索条件（ａｉｎｉｔ）に含まれる属性を変更して新たな検索条件（ａｎｅｗ）を生成し、画像検索装置２０の画像検索部２４に送信する。 In step S <b > 108, the search condition instructing unit 16 changes the attribute included in the initial search condition (a init ) input from the attribute detection result display unit 14 to trigger a new search condition, triggered by the user pressing the attribute button 50. (A new ) is generated and transmitted to the image search unit 24 of the image search device 20.
図６には、具体例として、ユーザが属性の変更指示として図５に示した「V Neck」ボタン５４Ｅを押下した場合の検索条件の生成を説明する図を示す。検索条件指示部１６は、襟属性グループである「Neck Type」の初期検索条件（属性検出結果）であるスクエアネックに該当する初期検索条件ａｉｎｉｔの５番目のビットを０に設定する。さらに検索条件指示部１６は、Ｖネックに該当する８番目のビットを１に設定する。その他のビットは初期検索条件ａｉｎｉｔから変更しない。従って、図６に示した検索条件ａｎｅｗは、色属性は白、襟属性はＶネック、スカート属性はギャザースカート、及び柄属性は無地、袖属性はショートスリーブを表している。 FIG. 6 is a diagram illustrating generation of search conditions when the user presses the “V Neck” button 54E shown in FIG. 5 as an attribute change instruction, as a specific example. The search condition instructing unit 16 sets the fifth bit of the initial search condition a init corresponding to the square neck that is the initial search condition (attribute detection result) of “Neck Type” that is the collar attribute group to 0. Further, the search condition instructing unit 16 sets the eighth bit corresponding to the V neck to 1. Other bits are not changed from the initial search condition a init . Accordingly, the search condition a new shown in FIG. 6 indicates that the color attribute is white, the collar attribute is V-neck, the skirt attribute is a gathered skirt, the pattern attribute is plain, and the sleeve attribute is short sleeve.
画像検索装置２０の属性検出部２４は、検索条件指示部１６から検索条件ａｎｅｗを受信すると、当該検索条件ａｎｅｗに応じて商品データ記憶部３０に記憶されている商品データを検索し、検索結果を端末装置１０に送信する（詳細後述）。 Attribute detector 24 of the image search apparatus 20 receives the search condition a new from the search condition instructing section 16, it retrieves the item data stored in the product data storage section 30 in accordance with the search condition a new, Search The result is transmitted to the terminal device 10 (details will be described later).
そこで、次のステップＳ１１０で検索結果表示部１８は、検索結果を画像検索装置２０の画像検索部２８から受信する。 Accordingly, in the next step S110, the search result display unit 18 receives the search result from the image search unit 28 of the image search device 20.
次のステップＳ１１２で検索結果表示部１８は、受信した検索結果を表示することによりユーザに提示する。 In the next step S112, the search result display unit 18 displays the received search result and presents it to the user.
図７は、検索結果表示部１８が、ユーザが検索条件としてＶネックの属性ボタン「V Neck」ボタン５４Ｅを押下した場合に表示される検索結果を表す画面４４を示している。図７に示すように、検索結果表示部１８は、画面４０中右側下部に、商品データの検索結果画像５８を表示する。本実施の形態では、図７における左側から検索条件に対する商品データの類似度が降順となるように表示する。さらに検索結果表示部１８は、検索条件ａｎｅｗと完全に一致する商品である場合は、その旨を表す表示（図７、表示５８Ａ２）を表示し、検索条件ａｎｅｗと完全に一致する商品ではない場合は、各商品画像に対応付けられている属性のうち検索条件と異なる属性の名称（図７、名称５８Ｂ２、５８Ｃ２）を各商品画像に重畳して表示する。 FIG. 7 shows a screen 44 showing the search result displayed when the search result display unit 18 presses the V-neck attribute button “V Neck” button 54E as a search condition. As shown in FIG. 7, the search result display unit 18 displays a search result image 58 of product data in the lower right part of the screen 40. In the present embodiment, the product data is displayed in descending order from the left side in FIG. Furthermore the search result display section 18, if a product that exactly matches the search condition a new, the display (Fig. 7, the display 58A2) representing that effect is displayed, and search a new and a product that exactly match If not, the attribute names (FIG. 7, names 58B2 and 58C2) different from the search condition among the attributes associated with each product image are displayed superimposed on each product image.
上述した検索条件ａｎｅｗは、色属性は白、襟属性はＶネック、スカート属性はギャザースカート、柄属性は無地、及び袖属性はショートスリーブであった。図７に示した検索結果画像５８においては、検索結果画像５８Ａ１は検索条件ａｎｅｗと完全に一致する商品（図２の商品ＩＤが「２」の商品）の商品画像である。また、検索結果画像５８Ｂ１は検索条件ａｎｅｗに対して袖の長さのみが異なる商品（図２の商品ＩＤが「３」の商品）の商品画像（色属性は白、襟属性はＶネック、スカート属性はギャザースカート、柄属性は無地、及び袖属性はロングスリーブ）である。また、検索結果画像５８Ｃ１は検索条件ａｎｅｗに対して柄のみが異なる商品（図２の商品ＩＤが「４」の商品）の商品画像（色属性は白、襟属性はＶネック、スカート属性はギャザースカート、柄属性はチェック、及び袖属性はショートスリーブ）である。 The search condition a new described above was white for the color attribute, V-neck for the collar attribute, gathered skirt for the skirt attribute, plain color for the pattern attribute, and short sleeve for the sleeve attribute. In the search result image 58 shown in FIG. 7, the search result image 58A1 is a product image of a product (a product with the product ID “2” in FIG. 2) that completely matches the search condition a new . The search result image 58B1 is a product image (a product with a product ID of “3” in FIG. 2) having only a sleeve length different from the search condition a new (color attribute is white, collar attribute is V-neck, The skirt attribute is a gathered skirt, the pattern attribute is plain, and the sleeve attribute is long sleeve). Further, the search result image 58C1 is a product image (a product with a product ID of “4” in FIG. 2) having only a pattern different from the search condition a new (a color attribute is white, a collar attribute is V-neck, and a skirt attribute is Gathered skirt, pattern attribute is check, and sleeve attribute is short sleeve).
以上の表示が完了した時点で、ユーザは再び属性の変更を指示することができる。そのため、ステップＳ１１２が終了するとステップＳ１０６に戻り、クエリ画像の一部をユーザが変更した類似画像の検索を繰り返す。 When the above display is completed, the user can instruct the attribute change again. Therefore, when step S112 ends, the process returns to step S106, and the search for similar images in which a part of the query image is changed by the user is repeated.
なお、ステップＳ１０６でユーザが属性ボタン５４を押下しなかった場合、すなわち属性の変更を指示しなかった場合は、否定判定となり本端末装置１０は端末装置処理を終了する。具体例としては、検索条件指示部１６が、所定の時間が経過しても属性ボタン５４が押下されたことを検出しなかった場合は、否定判定となる。 If the user does not press the attribute button 54 in step S106, that is, if no attribute change instruction is given, a negative determination is made and the terminal device 10 ends the terminal device processing. As a specific example, if the search condition instructing unit 16 does not detect that the attribute button 54 has been pressed even after a predetermined time has elapsed, a negative determination is made.
次に、本実施の形態の画像検索処理において画像検索装置２０で実行される画像検索装置処理について説明する。画像検索装置処理は、属性検出部２４によりクエリ画像の属性を検出する属性検出ルーチンと、画像検索部２８により検索条件ａｎｅｗに応じた商品画像を検索する画像検索ルーチンと、を含む。 Next, image search device processing executed by the image search device 20 in the image search processing of the present embodiment will be described. The image search device process includes an attribute detection routine for detecting the attribute of the query image by the attribute detection unit 24, and an image search routine for searching for a product image corresponding to the search condition a new by the image search unit 28.
図８は、本実施の形態の画像検索装置２０における画像検索装置処理の流れの一例を表すフローチャートである。図８に示した画像検索装置処理は、所定のタイミング、例えば、ユーザが画像検索処理の実行を指示した場合に実行される。 FIG. 8 is a flowchart showing an example of the flow of image search device processing in the image search device 20 of the present embodiment. The image search apparatus process shown in FIG. 8 is executed at a predetermined timing, for example, when the user instructs execution of the image search process.
Ｓ２００で画像入力部２２が、端末装置１０の画像指示部１２からクエリ画像を受信し、受信したクエリ画像を属性検出部２４に出力する。 In S <b> 200, the image input unit 22 receives a query image from the image instruction unit 12 of the terminal device 10, and outputs the received query image to the attribute detection unit 24.
次のステップＳ２０２で属性検出部２４が、属性検出器記憶部２６を参照してクエリ画像に対して属性検出を行い、属性検出結果を端末装置１０の属性検出結果表示部１４に送信する。 In next step S <b> 202, the attribute detection unit 24 refers to the attribute detector storage unit 26 to perform attribute detection on the query image, and transmits the attribute detection result to the attribute detection result display unit 14 of the terminal device 10.
上述したように本実施の形態における属性検出結果は、各属性がクエリ画像に含まれるか否かを示すバイナリベクトルと、各属性の出現位置の座標ベクトルとを含む。バイナリベクトルの各ビットが各属性の有無を示し、ビットが１の場合は当該属性が含まれることを意味し、ビットが０の場合は当該属性が含まれないことを意味する。座標ベクトルは、本実施の形態では出現位置を矩形で表現するため４点の座標で記述する。 As described above, the attribute detection result in the present embodiment includes a binary vector indicating whether or not each attribute is included in the query image, and a coordinate vector of the appearance position of each attribute. Each bit of the binary vector indicates the presence or absence of each attribute. If the bit is 1, it means that the attribute is included, and if the bit is 0, it means that the attribute is not included. In the present embodiment, the coordinate vector is described by coordinates of four points in order to represent the appearance position by a rectangle.
次のステップＳ２０４で画像検索部２８は、端末装置１０の検索条件指示部１６を受信したか否かを判断する。上述したように、検索条件指示部１６は、端末装置処理においてユーザが属性の変更を指示した場合、ステップＳ１０８で検索条件ａｎｅｗを画像検索装置２０に送信する。画像検索部２８は、当該検索条件ａｎｅｗを受信したか否かを判断する。 In the next step S204, the image search unit 28 determines whether or not the search condition instruction unit 16 of the terminal device 10 has been received. As described above, the search condition instructing unit 16 transmits the search condition a new to the image search device 20 in step S108 when the user instructs to change the attribute in the terminal device processing. The image search unit 28 determines whether or not the search condition a new has been received.
画像検索部２８が検索条件ａｎｅｗを受信した場合は、肯定判定となりステップＳ２０６へ移行する。 When the image search unit 28 receives the search condition a new , the determination is affirmative and the process proceeds to step S206.
ステップＳ２０６で画像検索部２８は、商品データ記憶部３０を参照して検索条件指示部１６から受信した検索条件ａｎｅｗをクエリに商品データを検索し、検索結果を端末装置１０の検索結果表示部１８に送信する。本実施の形態の画像検索部２８における検索は、検索条件ａｎｅｗと商品データ記憶部３０に記憶されている各商品の属性データａｐｒｏｄｕｃｔとの類似度を計算することで実行される。 In step S <b> 206, the image search unit 28 searches the product data using the search condition a new received from the search condition instruction unit 16 with reference to the product data storage unit 30 and queries the search result display unit of the terminal device 10. 18 to send. The search in the image search unit 28 of the present embodiment is executed by calculating the similarity between the search condition a new and the attribute data a product of each product stored in the product data storage unit 30.
検索条件ａｎｅｗ及び各商品に付与されている属性データａｐｒｏｄｕｃｔは各属性の有無を示すバイナリベクトルであるため、類似度の計算には例えばハミング距離（Hamming Distance）を用いればよい。計算した距離が小さい順、すなわち検索条件ａｎｅｗとの類似度が高い順に、任意の数だけ選んだ商品に対応する各商品画像を検索結果とする。さらに本実施の形態の画像検索部２８は、検索結果として出力する各商品の属性データａｐｒｏｄｕｃｔに対して、検索条件ａｎｅｗと異なるビットに該当する属性の名称を各商品画像に対応づけて検索結果表示部１８に送信する。 Since the search condition a new and the attribute data a product assigned to each product are binary vectors indicating the presence or absence of each attribute, for example, a Hamming distance may be used for calculating the similarity. Calculated distance is ascending order, i.e. in the order of higher similarity to the search condition a new new, and results each commodity image corresponding to the selected product any number. Furthermore, the image search unit 28 of the present embodiment searches the attribute data a product of each product output as a search result by associating each product image with an attribute name corresponding to a bit different from the search condition a new . The result is sent to the result display unit 18.
ステップＳ２０６が終了するとステップＳ２０４に戻り、端末装置１０の検索条件指示部１６から受信した検索条件ａｎｅｗに応じて画像検索部２８による検索を繰り返す。 When step S206 ends, the process returns to step S204, and the search by the image search unit 28 is repeated according to the search condition a new received from the search condition instructing unit 16 of the terminal device 10.
なお、ステップＳ２０４で検索結果を受信しない場合は、否定判定となり本画像検索装置処理を終了する。すなわち、上述したように端末装置１０においてユーザが属性ボタン５４を押下しなかった場合、すなわち検索条件を指示しなかった場合は、本画像検索装置処理を終了する。 If no search result is received in step S204, a negative determination is made and the image search apparatus processing is terminated. That is, as described above, when the user does not press the attribute button 54 in the terminal device 10, that is, when the search condition is not instructed, the image search device processing is terminated.
以上説明したように本実施の形態の画像検索システム１の画像検索装置２０は、クエリ画像４４が有する属性を検出して、属性検出結果を属性検出結果表示部１４に出力する属性検出部２４と、属性検出結果表示部１４に表示された属性検出結果に含まれる属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件ａｎｅｗに基づいて、属性が付与された検索対象の商品画像から、検索条件ａｎｅｗに応じた商品画像を検索し、検索結果の商品画像を検索条件ａｎｅｗに応じたクエリ画像４４に類似する類似画像（商品画像）として検索結果表示部１８に出力する画像検索部２８と、を備える。 As described above, the image search device 20 of the image search system 1 according to the present embodiment detects the attribute of the query image 44 and outputs the attribute detection result to the attribute detection result display unit 14. The product image of the search target to which the attribute is given based on the search condition a new including the attribute included in the attribute detection result displayed on the attribute detection result display unit 14 according to the change instruction by the user The product image corresponding to the search condition a new is searched, and the product image of the search result is output to the search result display unit 18 as a similar image (product image) similar to the query image 44 corresponding to the search condition a new. And a search unit 28.
これにより本実施の形態の画像検索システム１によれば、端末装置１０においてクエリ画像の属性をユーザに提示し、ユーザが変更したい属性を指示することで、画像検索装置２０によりクエリ画像を部分的に変更した類似画像を検索することができる。本実施の形態の画像検索システム１によれば、クエリ画像の属性を媒介とすることでユーザの検索意図を明示的にフィードバックできるため、ユーザの意図を正しく反映する類似画像検索システムを実現できる。 Thus, according to the image search system 1 of the present embodiment, the query image is partially displayed by the image search device 20 by presenting the attribute of the query image to the user in the terminal device 10 and instructing the attribute that the user wants to change. It is possible to search for similar images changed to. According to the image search system 1 of the present embodiment, since the user's search intention can be explicitly fed back by using the attribute of the query image as a medium, a similar image search system that correctly reflects the user's intention can be realized.
従って、本実施の形態の画像検索システム１の画像検索装置２０によれば、クエリ画像に関するユーザの要求を正確にフィードバックして、類似画像を検索することができる。 Therefore, according to the image search device 20 of the image search system 1 of the present embodiment, it is possible to search for similar images by accurately feeding back the user request regarding the query image.
また検索条件及び属性データをバイナリベクトルで表現することで、ユーザが所望する商品と完全に一致する商品のみを提示することも可能であるため、ユーザの利便性を向上できる。さらに完全に一致する商品が存在しない場合は、類似度の高い商品を提示することができる。この場合、当該商品が持つ属性のうち、ユーザの検索条件と一致していない属性も併せて提示することで、ユーザは各商品と自分の所望する商品とで異なる属性を一目で判断できるため、検索結果を閲覧する際の負担を軽減できる。 In addition, by expressing the search condition and attribute data as a binary vector, it is possible to present only products that completely match the product desired by the user, so that convenience for the user can be improved. In addition, when there is no completely matching product, a product with a high degree of similarity can be presented. In this case, by presenting attributes that do not match the search conditions of the user among the attributes of the product, the user can determine at a glance the attributes that differ between each product and the product desired by the user, The burden on browsing search results can be reduced.
なお、本実施の形態では、クエリ画像から１つの属性のみを変更した場合の検索条件ａｎｅｗに基づいて画像検索装置２０が検索を行う場合について説明したが、属性グループが異なっていれば複数の属性を変更した検索条件ａｎｅｗであっても、上述したのと同様に画像検索装置２０において検索を行うことができることはいうまでもない。 In the present embodiment, the case where the image search apparatus 20 performs a search based on the search condition a new when only one attribute is changed from the query image has been described. Needless to say, even with the search condition a new with the attribute changed, the image search apparatus 20 can perform the search in the same manner as described above.
また、本実施の形態では、画像検索システム１が端末装置１０及び画像検索装置２０を備える場合について説明したが、端末装置１０及び画像検索装置２０を１台の装置として構成してもよい。また、端末装置１０及び画像検索装置２０の一方が有する機能の一部または全部を他方が有していてもよい。例えば、本実施の形態では、端末装置１０の検索条件指示部１６が、初期検索条件ａｉｎｉｔから検索条件ａｎｅｗを生成していたが、検索条件ａｎｅｗの生成は、画像検索装置２０で行ってもよい。例えば、検索条件指示部１６から画像検索装置２０の画像検索部２８へ、ユーザが指示した属性（クエリ画像から変更する属性）に関する情報のみを送信し、当該情報を受信した画像検索部２８が当該情報に基づいて初期検索条件ａｉｎｉｔから検索条件ａｎｅｗを生成してもよい。 Moreover, although the case where the image search system 1 includes the terminal device 10 and the image search device 20 has been described in the present embodiment, the terminal device 10 and the image search device 20 may be configured as one device. Moreover, the other may have a part or all of the functions which one of the terminal device 10 and the image search device 20 has. For example, in the present embodiment, the search condition instructing unit 16 of the terminal device 10 generates the search condition a new from the initial search condition a init . The image search apparatus 20 generates the search condition a new. May be. For example, only the information related to the attribute designated by the user (attribute to be changed from the query image) is transmitted from the search condition instruction unit 16 to the image search unit 28 of the image search device 20, and the image search unit 28 that has received the information transmits the information. The search condition a new may be generated from the initial search condition a init based on the information.
また、本実施の形態では、商品データ記憶部３０に予め各商品の商品データ（属性データ）を記憶しておく場合について説明したが、これに限らず、画像検索部２８が、検索条件指示部１６から検索条件ａｎｅｗを受信した場合に、検索対象となる画像（商品画像）から随時属性データを検出して、類似度の計算を行ってもよい。 Further, in the present embodiment, a case has been described in which product data (attribute data) of each product is stored in advance in the product data storage unit 30. However, the present invention is not limited to this, and the image search unit 28 includes a search condition instruction unit. When the search condition a new is received from 16, the attribute data may be detected as needed from the image (product image) to be searched, and the similarity may be calculated.
また、上記各実施の形態は一例であり、具体的な構成は本実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。 Moreover, each said embodiment is an example, and a specific structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the summary of this invention are included, and it can change according to a condition. Needless to say.
１ 画像検索システム
１０ 端末装置
１２ 画像指示部
１４ 属性検出結果表示部
１６ 検索条件指示部
１８ 検索結果表示部
２０ 画像検索装置
２２ 画像入力部
２４ 属性検出部
２６ 属性検出器記憶部
２８ 画像検索部
３０ 商品データ記憶部
DESCRIPTION OF SYMBOLS 1 Image search system 10 Terminal device 12 Image instruction | indication part 14 Attribute detection result display part 16 Search condition instruction | indication part 18 Search result display part 20 Image search device 22 Image input part 24 Attribute detection part 26 Attribute detector memory | storage part 28 Image search part 30 Product data storage
Claims (6)
前記属性検出結果表示部に表示された前記属性検出結果に含まれる属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として検索結果表示部に出力する画像検索部と、
を備えた画像検索装置。 An attribute detection unit that detects an attribute of the query image and outputs an attribute detection result to the attribute detection result display unit;
Based on a search condition that includes an attribute that is included in the attribute detection result displayed on the attribute detection result display unit and includes an attribute that is changed according to a change instruction by a user, An image search unit that searches for an image according to the search condition, and outputs an image of the search result to the search result display unit as a similar image similar to the query image according to the search condition;
An image search device comprising:
前記画像検索部は、前記検索条件の特徴ベクトルと、前記検索対象の画像に付与された前記特徴ベクトルとの類似度を計算した計算結果に基づいて検索を行う、
請求項１に記載の画像検索装置。 The search condition is a feature vector representing a plurality of attributes,
The image search unit performs a search based on a calculation result of calculating a similarity between the feature vector of the search condition and the feature vector assigned to the search target image;
The image search device according to claim 1.
請求項２に記載の画像検索装置。 The feature vector is a binary feature vector that represents the presence or absence of the plurality of attributes.
The image search device according to claim 2.
前記属性検出部から出力された属性検出結果を表示する属性検出結果表示部と、
前記属性検出結果表示部に表示された前記属性検出結果に含まれる前記属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件を生成して出力する検索条件指示部と、
前記検索条件指示部から出力された前記検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として出力する画像検索部と、
前記画像検索部から出力された前記検索結果を表示する検索結果表示部と、
を備えた画像検索システム。 An attribute detection unit that detects an attribute of the query image and outputs an attribute detection result;
An attribute detection result display unit for displaying the attribute detection result output from the attribute detection unit;
A search condition instruction unit that generates and outputs a search condition including an attribute obtained by changing the attribute included in the attribute detection result displayed on the attribute detection result display unit according to a change instruction by a user;
Based on the search condition output from the search condition instructing unit, an image according to the search condition is searched from the search target images to which an attribute is given, and an image as a search result is determined according to the search condition. An image search unit that outputs a similar image similar to the query image;
A search result display unit for displaying the search result output from the image search unit;
Image search system with
画像検索部が、前記属性検出結果表示部に表示された前記属性検出結果に含まれる前記属性を、ユーザによる変更指示に応じて変更した属性を含む検索条件に基づいて、属性が付与された検索対象の画像から、前記検索条件に応じた画像を検索し、検索結果の画像を前記検索条件に応じた前記クエリ画像に類似する類似画像として検索結果表示部に出力するステップと、
を備えた画像検索方法。 An attribute detection unit detecting an attribute of the query image and outputting an attribute detection result to the attribute detection result display unit;
A search in which an attribute is given based on a search condition that includes an attribute in which the image search unit has changed the attribute included in the attribute detection result displayed on the attribute detection result display unit according to a change instruction from a user Searching for an image according to the search condition from a target image, and outputting an image of the search result to the search result display unit as a similar image similar to the query image according to the search condition;
An image search method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015100326A JP2016218578A (en) | 2015-05-15 | 2015-05-15 | Image search device, image search system, image search method and image search program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015100326A JP2016218578A (en) | 2015-05-15 | 2015-05-15 | Image search device, image search system, image search method and image search program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016218578A true JP2016218578A (en) | 2016-12-22 |
Family
ID=57578353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015100326A Pending JP2016218578A (en) | 2015-05-15 | 2015-05-15 | Image search device, image search system, image search method and image search program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016218578A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018159095A1 (en) * | 2017-02-28 | 2018-09-07 | 株式会社日立製作所 | Image searching device and image searching method |
| JP2020517038A (en) * | 2017-05-22 | 2020-06-11 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Business object recommendation method, device, electronic device and storage medium |
| US11455332B2 (en) | 2019-10-18 | 2022-09-27 | Fujifilm Business Innovation Corp. | Query change system, search system, and computer readable medium |
-
2015
- 2015-05-15 JP JP2015100326A patent/JP2016218578A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018159095A1 (en) * | 2017-02-28 | 2018-09-07 | 株式会社日立製作所 | Image searching device and image searching method |
| JP2020517038A (en) * | 2017-05-22 | 2020-06-11 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Business object recommendation method, device, electronic device and storage medium |
| US11455332B2 (en) | 2019-10-18 | 2022-09-27 | Fujifilm Business Innovation Corp. | Query change system, search system, and computer readable medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7196885B2 (en) | Search system, search method, and program | |
| US10747826B2 (en) | Interactive clothes searching in online stores | |
| US20200387763A1 (en) | Item recommendations based on image feature data | |
| US9111255B2 (en) | Methods, apparatuses and computer program products for determining shared friends of individuals | |
| US20200342320A1 (en) | Non-binary gender filter | |
| JP6397879B2 (en) | Information processing apparatus, information processing method, and information processing program | |
| KR101639657B1 (en) | Method and server for searching similar goods | |
| JP6114706B2 (en) | Search system and search system control method | |
| US20190287163A1 (en) | Method and device for generating object coordination information | |
| KR102580009B1 (en) | Clothes Fitting System And Operation Method of Threof | |
| JP2024045510A (en) | Information processing device, information processing method, and program | |
| JP2016218578A (en) | Image search device, image search system, image search method and image search program | |
| US9672436B1 (en) | Interfaces for item search | |
| JP2021086438A (en) | Image searching apparatus, image searching method, and program | |
| US20150269189A1 (en) | Retrieval apparatus, retrieval method, and computer program product | |
| JP6321204B2 (en) | Product search device and product search method | |
| US20240220535A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium |