JP6204957B2 - Information processing apparatus, information processing method, and information processing program - Google Patents

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。   The present invention relates to an information processing apparatus, an information processing method, and an information processing program.

近年、データの集合の中から目的とするデータを探し出す検索技術が知られている。このような検索に関する技術として、画像コンテンツを用いて、画像に描出された対象物の検索を行なう技術が知られている。例えば、このような技術では、ユーザ端末から入力された位置情報付きの検索クエリ画像内のランドマークの名称を検索クエリとした検索結果を受信する。   In recent years, a search technique for searching for target data from a set of data is known. As a technique related to such a search, a technique for searching for an object depicted in an image using image content is known. For example, in such a technique, a search result using a landmark name in a search query image with position information input from a user terminal as a search query is received.

特開２０１０−２２４７４５号公報JP 2010-224745 A

しかしながら、上記の従来技術では、ユーザが所望する検索結果を得ることができるとは限らなかった。例えば、上記の従来技術では、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報に基づいて検索クエリ画像内のランドマークを推測し、推測したランドマークの名称を検索クエリとして検索を行なう。このため、検索クエリがユーザの所望するものではない場合がある。このようなことから、上記の従来技術では、ユーザが所望する検索結果を得ることができるとは限らなかった。   However, with the above-described conventional technology, it is not always possible to obtain a search result desired by the user. For example, in the above prior art, a landmark in a search query image is estimated based on feature information in a search query image with position information input from a user terminal, and the name of the estimated landmark is searched as a search query. To do. For this reason, the search query may not be what the user desires. For this reason, the above-described conventional technology cannot always obtain a search result desired by the user.

本願は、上記に鑑みてなされたものであって、ユーザが所望する検索を可能にすることができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。   The present application has been made in view of the above, and an object thereof is to provide an information processing apparatus, an information processing method, and an information processing program capable of enabling a search desired by a user.

本願に係る情報処理装置は、画像を受け付ける受付部と、前記受付部によって受け付けられた画像に基づいて、検索クエリの候補を抽出する抽出部と、前記抽出部によって抽出された検索クエリの候補を出力する出力部とを備えたことを特徴とする。   An information processing apparatus according to the present application includes: an accepting unit that accepts an image; an extracting unit that extracts search query candidates based on the image accepted by the accepting unit; and a search query candidate extracted by the extracting unit. And an output unit for outputting.

実施形態の一態様によれば、ユーザが所望する検索を可能にすることができるという効果を奏する。   According to one aspect of the embodiment, there is an effect that a search desired by the user can be made possible.

図１は、実施形態に係る情報処理装置による提示処理の一例を示す説明図である。FIG. 1 is an explanatory diagram illustrating an example of a presentation process performed by the information processing apparatus according to the embodiment. 図２は、実施形態に係る提示システムの構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of the presentation system according to the embodiment. 図３は、実施形態に係る情報処理装置の構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of the information processing apparatus according to the embodiment. 図４は、実施形態に係る検索クエリ情報記憶部の一例を示す図である。FIG. 4 is a diagram illustrating an example of a search query information storage unit according to the embodiment. 図５は、提示システムによる提示処理手順を示すシーケンスである。FIG. 5 is a sequence showing a presentation processing procedure by the presentation system. 図６は、被写体が複数の場合の表示画面の一例を示す図である。FIG. 6 is a diagram illustrating an example of a display screen when there are a plurality of subjects. 図７は、検索クエリが画像の場合の表示画面の一例を示す図である。FIG. 7 is a diagram illustrating an example of a display screen when the search query is an image. 図８は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 8 is a hardware configuration diagram illustrating an example of a computer that realizes the functions of the information processing apparatus.

以下に、本願に係る情報処理装置、情報処理方法および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法および情報処理プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。   Hereinafter, a mode for carrying out an information processing apparatus, an information processing method, and an information processing program according to the present application (hereinafter referred to as “embodiment”) will be described in detail with reference to the drawings. Note that the information processing apparatus, the information processing method, and the information processing program according to the present application are not limited by this embodiment. Moreover, in the following embodiment, the same code | symbol is attached | subjected to the same site | part and the overlapping description is abbreviate | omitted.

〔１．実施形態〕
〔１−１．実施形態に係る提示処理〕
まず、図１を用いて、実施形態に係る提示処理の一例について説明する。図１は、実施形態に係る情報処理装置１００による提示処理の一例を示す説明図である。図１の例では、ユーザが有する端末装置１０から入力された画像に基づいて検索クエリの候補を提示する提示処理が行われる。 [1. Embodiment)
[1-1. Presentation processing according to embodiment]
First, an example of presentation processing according to the embodiment will be described with reference to FIG. FIG. 1 is an explanatory diagram illustrating an example of a presentation process performed by the information processing apparatus 100 according to the embodiment. In the example of FIG. 1, a presentation process for presenting search query candidates based on an image input from the terminal device 10 owned by the user is performed.

まず、端末装置１０を有するユーザは、被写体Ｏｂ１の撮影を行なう。具体的には、ユーザは、検索クエリの候補を望む被写体Ｏｂ１の方向にカメラを向ける。そして、ユーザは、図１の（ａ）に示すように、端末装置１０の表示画面Ｗｉに表示されるＡＦ（Auto Focus）枠Ｆｒの内側に被写体Ｏｂ１を収めることで被写体Ｏｂ１にピントを合わせる。そして、ユーザは、被写体Ｏｂ１にピントを合わせた状態で撮影ボタンＢｔ１を押下する。これにより、端末装置１０は、被写体Ｏｂ１が描出された画像Ｐ１を生成する。   First, the user having the terminal device 10 captures the subject Ob1. Specifically, the user points the camera toward the subject Ob1 for which a search query candidate is desired. Then, as shown in FIG. 1A, the user focuses the subject Ob1 by placing the subject Ob1 inside an AF (Auto Focus) frame Fr displayed on the display screen Wi of the terminal device 10. Then, the user presses the shooting button Bt1 while focusing on the subject Ob1. Thereby, the terminal device 10 generates an image P1 in which the subject Ob1 is depicted.

続いて、ユーザは、図１の（ｂ）に示すように、端末装置１０の表示画面Ｗｉに表示される画像Ｐ１のうち被写体Ｏｂ１の顔を含む部分の範囲を指定して画像ＴＰを選択する。そして、ユーザは、画像ＴＰを選択した状態で検索ボタンＢｔ２を押下する。これにより、端末装置１０は、情報処理装置１００に画像ＴＰを送信する。   Subsequently, as illustrated in FIG. 1B, the user selects an image TP by designating a range of a portion including the face of the subject Ob <b> 1 in the image P <b> 1 displayed on the display screen Wi of the terminal device 10. . Then, the user presses the search button Bt2 with the image TP selected. Thereby, the terminal apparatus 10 transmits the image TP to the information processing apparatus 100.

そして、情報処理装置１００は、画像ＴＰを端末装置１０から受け付ける。続いて、情報処理装置１００は、受け付けられた画像ＴＰに基づいて、検索クエリの候補を抽出する。具体的には、情報処理装置１００は、画像ＴＰの特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。例えば、情報処理装置１００は、画像ＴＰに描出された被写体Ｏｂ１の顔の特徴量と、参照画像に描出された人物の顔の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。一例としては、情報処理装置１００は、画像ＴＰとの間の類似度が所定の閾値以上である参照画像に対応する名称などのキーワードを検索クエリの候補として抽出する。   Then, the information processing apparatus 100 receives the image TP from the terminal device 10. Subsequently, the information processing apparatus 100 extracts search query candidates based on the received image TP. Specifically, the information processing apparatus 100 selects a search query candidate based on the similarity between the feature quantity of the image TP and the feature quantity of the reference image associated with the search query and stored in the storage unit. Extract. For example, the information processing apparatus 100 extracts search query candidates based on the similarity between the facial feature quantity of the subject Ob1 depicted in the image TP and the facial feature quantity of the person depicted in the reference image. To do. As an example, the information processing apparatus 100 extracts keywords such as names corresponding to reference images whose similarity to the image TP is equal to or greater than a predetermined threshold as search query candidates.

続いて、情報処理装置１００は、抽出された検索クエリの候補を出力する。具体的には、情報処理装置１００は、類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する。例えば、情報処理装置１００は、類似度が高い順に検索クエリの候補を上から表示したリストを端末装置１０に出力する。これにより、端末装置１０は、図１の（ｃ）に示すように、類似度が高い順に検索クエリの候補ＳＱ１〜ＳＱ５が掲載されたリストＬｉを表示画面Ｗｉに表示する。この結果、情報処理装置１００は、ユーザが所望する検索クエリの候補を端末装置１０に提示することができる。   Subsequently, the information processing apparatus 100 outputs the extracted search query candidates. Specifically, the information processing apparatus 100 outputs a list in which search query candidates are displayed in an order based on the similarity. For example, the information processing apparatus 100 outputs a list displaying search query candidates from the top in descending order of similarity to the terminal apparatus 10. Thereby, the terminal device 10 displays, on the display screen Wi, the list Li in which the search query candidates SQ1 to SQ5 are listed in descending order of similarity, as illustrated in FIG. As a result, the information processing apparatus 100 can present a search query candidate desired by the user to the terminal device 10.

その後、端末装置１０は、例えば、ユーザによって検索クエリの候補ＳＱ１が選択された場合に、選択された検索クエリの候補ＳＱ１に対応する「Ａ男」について検索を行なった検索結果の要求を検索サーバ５０に送信する。続いて、端末装置１０は、検索結果の要求の応答として、「Ａ男」について検索を行なった検索結果ＳＲを受信する。そして、端末装置１０は、図１の（ｄ）に示すように、受信した「Ａ男」についての検索結果ＳＲを表示画面Ｗｉに表示する。   Thereafter, for example, when the search query candidate SQ1 is selected by the user, the terminal device 10 sends a search result request for the search for “A man” corresponding to the selected search query candidate SQ1. 50. Subsequently, the terminal apparatus 10 receives a search result SR obtained by performing a search for “Male A” as a response to the search result request. Then, as illustrated in FIG. 1D, the terminal device 10 displays the received search result SR for “A man” on the display screen Wi.

このように、実施形態に係る情報処理装置１００は、画像を受け付ける。また、情報処理装置１００は、受け付けられた画像に基づいて、検索クエリの候補を抽出する。また、情報処理装置１００は、抽出された検索クエリの候補を出力する。   As described above, the information processing apparatus 100 according to the embodiment receives an image. In addition, the information processing apparatus 100 extracts search query candidates based on the received image. In addition, the information processing apparatus 100 outputs the extracted search query candidates.

これにより、情報処理装置１００は、画像に基づいて検索クエリの候補を提示することができるので、ユーザが所望する検索を可能にすることができる。例えば、情報処理装置１００は、ユーザが検索を所望するキーワードを抽出することができるので、ユーザの意思を言語化することができる。一例としては、情報処理装置１００は、画像に描出された被写体の名称などをユーザに提示することができる。   Thereby, since the information processing apparatus 100 can present search query candidates based on the image, it is possible to enable a search desired by the user. For example, since the information processing apparatus 100 can extract a keyword that the user desires to search, the user's intention can be verbalized. As an example, the information processing apparatus 100 can present the name of the subject drawn in the image to the user.

また、情報処理装置１００は、検索クエリの候補が表示されたリストをユーザに提示することができるので、検索クエリをユーザに容易に把握させることができる。例えば、情報処理装置１００は、被写体の名称などといった被写体に関する各種の情報を提示することができるので、被写体について深く知りたいユーザなどにとって有益な情報を提供することができる。   Moreover, since the information processing apparatus 100 can present the user with a list on which search query candidates are displayed, the user can easily grasp the search query. For example, the information processing apparatus 100 can present various types of information related to the subject such as the name of the subject, and thus can provide useful information for a user who wants to know the subject deeply.

〔１−２．実施形態に係る提示システムの構成〕
次に、図２を用いて、実施形態に係る提示システム１の構成について説明する。図２は、実施形態に係る提示システム１の構成例を示す図である。図２に示すように、提示システム１には、端末装置１０と、情報処理装置１００と、検索サーバ５０とが含まれる。端末装置１０と、情報処理装置１００と、検索サーバ５０とは、それぞれネットワークＮと有線または無線により通信可能に接続される。 [1-2. Configuration of Presentation System According to Embodiment]
Next, the configuration of the presentation system 1 according to the embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating a configuration example of the presentation system 1 according to the embodiment. As shown in FIG. 2, the presentation system 1 includes a terminal device 10, an information processing device 100, and a search server 50. The terminal device 10, the information processing device 100, and the search server 50 are connected to the network N so that they can communicate with each other by wire or wirelessly.

端末装置１０は、スマートフォンや、携帯電話機、タブレット型端末や、ＰＤＡ（Personal Digital Assistant）や、ノート型ＰＣ（Personal Computer）等の情報処理装置である。端末装置１０は、各種の機能（例えば、検索クエリの提示機能）を利用するユーザによって所有される。具体的には、端末装置１０は、ユーザによって選択された画像を情報処理装置１００に送信する。   The terminal device 10 is an information processing device such as a smartphone, a mobile phone, a tablet terminal, a PDA (Personal Digital Assistant), or a notebook PC (Personal Computer). The terminal device 10 is owned by a user who uses various functions (for example, a search query presenting function). Specifically, the terminal device 10 transmits an image selected by the user to the information processing device 100.

情報処理装置１００は、検索クエリの候補を出力するサーバ装置である。具体的には、情報処理装置１００は、端末装置１０から受け付けた画像に基づいて検索クエリの候補を抽出し、抽出した検索クエリの候補を端末装置１０に出力する。   The information processing apparatus 100 is a server apparatus that outputs search query candidates. Specifically, the information processing apparatus 100 extracts search query candidates based on the image received from the terminal apparatus 10, and outputs the extracted search query candidates to the terminal apparatus 10.

検索サーバ５０は、検索クエリについて検索を行なった検索結果を出力するサーバ装置である。具体的には、検索サーバ５０は、検索クエリの検索結果の要求を端末装置１０から受信する。そして、検索サーバ５０は、受信した要求の応答として検索クエリの検索結果を端末装置１０に送信する。   The search server 50 is a server device that outputs a search result obtained by performing a search for a search query. Specifically, the search server 50 receives a request for a search result of the search query from the terminal device 10. Then, the search server 50 transmits the search query search result to the terminal device 10 as a response to the received request.

なお、図２では、提示システム１に、１台の端末装置１０と、１台の情報処理装置１００と、１台の検索サーバ５０とが含まれる例を示したが、提示システム１には、複数台の端末装置１０や、複数台の情報処理装置１００や、複数台の検索サーバ５０が含まれてもよい。   2 illustrates an example in which the presentation system 1 includes one terminal device 10, one information processing device 100, and one search server 50. However, the presentation system 1 includes A plurality of terminal devices 10, a plurality of information processing devices 100, and a plurality of search servers 50 may be included.

〔１−３．実施形態に係る情報処理装置の構成〕
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００を利用する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。 [1-3. Configuration of Information Processing Device According to Embodiment]
Next, the configuration of the information processing apparatus 100 according to the embodiment will be described with reference to FIG. FIG. 3 is a diagram illustrating a configuration example of the information processing apparatus 100 according to the embodiment. As illustrated in FIG. 3, the information processing apparatus 100 includes a communication unit 110, a storage unit 120, and a control unit 130. The information processing apparatus 100 includes an input unit (for example, a keyboard and a mouse) that receives various operations from an administrator who uses the information processing apparatus 100, and a display unit (for example, a liquid crystal display) that displays various types of information. ).

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、ネットワークと有線または無線で接続され、ネットワークを介して、端末装置１０との間で情報の送受信を行う。例えば、通信部１１０は、ネットワークを介して、端末装置１０との間で画像や検索クエリの候補の送受信を行う。 (About the communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card). The communication unit 110 is connected to a network by wire or wireless, and transmits / receives information to / from the terminal device 10 via the network. For example, the communication unit 110 transmits and receives images and search query candidates to and from the terminal device 10 via the network.

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、検索クエリ情報記憶部１２１を有する。 (About the storage unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 120 includes a search query information storage unit 121.

（検索クエリ情報記憶部１２１について）
検索クエリ情報記憶部１２１は、検索クエリに関する情報を記憶する。具体的には、検索クエリ情報記憶部１２１は、検索クエリ毎に、検索クエリに対応するキーワードや画像を記憶する。ここで、図４に、実施形態に係る検索クエリ情報記憶部１２１の一例を示す。図４に示すように、検索クエリ情報記憶部１２１は、「検索クエリＩＤ」、「キーワード」および「画像」といった項目を有する。 (Regarding the search query information storage unit 121)
The search query information storage unit 121 stores information related to the search query. Specifically, the search query information storage unit 121 stores a keyword and an image corresponding to the search query for each search query. Here, FIG. 4 shows an example of the search query information storage unit 121 according to the embodiment. As shown in FIG. 4, the search query information storage unit 121 includes items such as “search query ID”, “keyword”, and “image”.

「検索クエリＩＤ」は、検索クエリを識別するための識別情報を示す。例えば、「検索クエリＩＤ」には、検索クエリごとに割り当てられる固有の英数字等の識別子が記憶される。「キーワード」は、検索クエリに対応するキーワードを示す。例えば、「キーワード」には、検索クエリを表現する文字列等が記憶される。「画像」は、検索クエリに対応する画像を示す。例えば、「画像」には、検索クエリに対応するものが描出された参照画像が記憶される。一例としては、「画像」には、検索クエリに対応するものが様々な角度から撮影された複数の参照画像が記憶される。なお、「画像」には、図に示す複数の参照画像に限らず、任意の数の参照画像が記憶される。また、図４では「画像」に「ＲＰ１１」といった概念的な情報が格納される例を示したが、実際には、静止画像や画像の格納場所を示すファイルパス名などが格納される。   “Search query ID” indicates identification information for identifying a search query. For example, “search query ID” stores an identifier such as a unique alphanumeric character assigned to each search query. “Keyword” indicates a keyword corresponding to the search query. For example, the “keyword” stores a character string representing a search query. “Image” indicates an image corresponding to the search query. For example, a reference image in which an image corresponding to a search query is drawn is stored in “image”. As an example, “image” stores a plurality of reference images taken from various angles corresponding to the search query. The “image” is not limited to a plurality of reference images shown in the figure, and an arbitrary number of reference images is stored. FIG. 4 illustrates an example in which conceptual information such as “RP11” is stored in “image”, but actually, a still image, a file path name indicating a storage location of the image, and the like are stored.

すなわち、図４では、検索クエリＩＤ「Ｑ１」によって識別される検索クエリに対応するキーワードは、「Ａ男」である例を示している。また、検索クエリＩＤ「Ｑ１」によって識別される検索クエリに対応する画像は、「ＲＰ１１」、「ＲＰ１２」、「ＲＰ１３」などである例を示している。   That is, FIG. 4 illustrates an example in which the keyword corresponding to the search query identified by the search query ID “Q1” is “A man”. Further, an example is shown in which the images corresponding to the search query identified by the search query ID “Q1” are “RP11”, “RP12”, “RP13”, and the like.

（制御部１３０について）
図３に戻り、制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。 (About the control unit 130)
Returning to FIG. 3, the control unit 130 uses various programs (an example of an information processing program) stored in a storage device inside the information processing apparatus 100 by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). This is realized by executing the RAM as a work area. The control unit 130 is realized by an integrated circuit such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).

制御部１３０は、図３に示すように、受付部１３１と、抽出部１３２と、出力部１３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する提示処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。   As illustrated in FIG. 3, the control unit 130 includes a reception unit 131, an extraction unit 132, and an output unit 133, and realizes or executes functions and operations of information processing described below. Note that the internal configuration of the control unit 130 is not limited to the configuration illustrated in FIG. 3, and may be other configurations as long as the presentation process described later is performed. Further, the connection relationship between the processing units included in the control unit 130 is not limited to the connection relationship illustrated in FIG. 3, and may be another connection relationship.

（受付部１３１について）
受付部１３１は、画像を受け付ける。具体的には、受付部１３１は、ユーザが検索クエリを所望する対象が描出された画像を端末装置１０から受け付ける。より具体的には、受付部１３１は、ユーザによって選択された画像を端末装置１０から受信することで画像を受け付ける。例えば、受付部１３１は、画像として、ユーザが検索クエリを所望する対象が撮影された撮影画像を受け付ける。一例としては、受付部１３１は、ユーザによって撮影ボタンが押下されたタイミングでモニタに表示されている画像を撮影画像として受け付ける。 (About the reception unit 131)
The accepting unit 131 accepts an image. Specifically, the accepting unit 131 accepts from the terminal device 10 an image in which an object for which the user desires a search query is depicted. More specifically, the receiving unit 131 receives an image by receiving an image selected by the user from the terminal device 10. For example, the accepting unit 131 accepts, as an image, a captured image obtained by capturing an object for which the user desires a search query. As an example, the accepting unit 131 accepts an image displayed on the monitor as a captured image when the user presses the capture button.

（抽出部１３２について）
抽出部１３２は、受付部１３１によって受け付けられた画像に基づいて、検索クエリの候補を抽出する。具体的には、抽出部１３２は、画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。例えば、抽出部１３２は、まず、検索クエリ情報記憶部１２１を参照し、受付部１３１によって受け付けられた画像と各参照画像とを照合することで類似度を算出する。そして、抽出部１３２は、類似度が高い参照画像に対応するキーワードを検索クエリの候補として優先して抽出する。一例としては、抽出部１３２は、画像との間の類似度が所定の閾値以上である参照画像に対応するキーワードを検索クエリの候補として抽出する。一態様としては、抽出部１３２は、受付部１３１によって受け付けられた画像に人物の顔が描出されている場合には、人物の顔が描出された参照画像が人物ごとに記憶された記憶部を参照し、画像に描出された被写体の顔の特徴量と、参照画像に描出された人物の顔の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。 (About the extraction unit 132)
The extraction unit 132 extracts search query candidates based on the image received by the reception unit 131. Specifically, the extraction unit 132 extracts search query candidates based on the similarity between the feature amount of the image and the feature amount of the reference image associated with the search query and stored in the storage unit. . For example, the extraction unit 132 first refers to the search query information storage unit 121 and calculates the similarity by collating the image received by the reception unit 131 with each reference image. Then, the extraction unit 132 preferentially extracts keywords corresponding to reference images having a high degree of similarity as search query candidates. As an example, the extraction unit 132 extracts a keyword corresponding to a reference image whose similarity with the image is equal to or greater than a predetermined threshold as a search query candidate. As one aspect, in the case where a person's face is depicted in the image received by the accepting unit 131, the extracting unit 132 includes a storage unit in which a reference image depicting the person's face is stored for each person. The search query candidate is extracted based on the similarity between the feature amount of the face of the subject depicted in the image and the feature amount of the face of the person depicted in the reference image.

（出力部１３３について）
出力部１３３は、抽出部１３２によって抽出された検索クエリの候補を出力する。具体的には、出力部１３３は、検索クエリの候補が表示されたリストを端末装置１０に対して出力する。例えば、出力部１３３は、受け付けた画像の特徴量と検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する。一例としては、出力部１３３は、抽出部１３２によって抽出された参照画像に対応するキーワードを類似度が高い順に上から表示したリストを端末装置１０に出力する。これにより、端末装置１０は、出力部１３３によって出力されたリストを表示画面に表示する。 (About the output unit 133)
The output unit 133 outputs search query candidates extracted by the extraction unit 132. Specifically, the output unit 133 outputs a list on which search query candidates are displayed to the terminal device 10. For example, the output unit 133 displays search query candidates in an order based on the similarity between the received image feature quantity and the reference image feature quantity associated with the search query and stored in the storage unit. Output a list. As an example, the output unit 133 outputs, to the terminal device 10, a list in which keywords corresponding to the reference image extracted by the extraction unit 132 are displayed from the top in descending order of similarity. Thereby, the terminal device 10 displays the list output by the output unit 133 on the display screen.

〔１−４．実施形態に係る提示処理手順〕
次に、図５を用いて、実施形態に係る提示システム１による処理の手順について説明する。図５は、実施形態に係る提示システム１による提示処理手順を示すシーケンスである。 [1-4. Presentation processing procedure according to embodiment]
Next, a processing procedure by the presentation system 1 according to the embodiment will be described with reference to FIG. FIG. 5 is a sequence showing a presentation processing procedure by the presentation system 1 according to the embodiment.

図５に示すように、端末装置１０は、画像を選択する（ステップＳ１０１）。例えば、端末装置１０は、ユーザが検索クエリを所望する被写体を撮影した画像を選択する。そして、情報処理装置１００は、画像を受け付ける（ステップＳ１０２）。例えば、情報処理装置１００は、ユーザによって選択された画像を端末装置１０から受信することで画像を受け付ける。   As shown in FIG. 5, the terminal device 10 selects an image (step S101). For example, the terminal device 10 selects an image obtained by photographing a subject for which the user desires a search query. Then, the information processing apparatus 100 receives an image (step S102). For example, the information processing apparatus 100 receives an image by receiving an image selected by the user from the terminal device 10.

その後、情報処理装置１００は、受け付けられた画像に基づいて、検索クエリの候補を抽出する（ステップＳ１０３）。具体的には、情報処理装置１００は、受け付けられた画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。一例としては、情報処理装置１００は、画像との間の類似度が所定の閾値以上である参照画像に対応する検索クエリを候補として抽出する。   Thereafter, the information processing apparatus 100 extracts search query candidates based on the received image (step S103). Specifically, the information processing apparatus 100 determines the search query based on the similarity between the received image feature amount and the reference image feature amount associated with the search query and stored in the storage unit. Extract candidates. As an example, the information processing apparatus 100 extracts, as candidates, a search query corresponding to a reference image whose similarity with an image is equal to or greater than a predetermined threshold.

続いて、情報処理装置１００は、抽出された検索クエリの候補を出力する（ステップＳ１０４）。具体的には、情報処理装置１００は、類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する。例えば、情報処理装置１００は、類似度が高い順に検索クエリの候補を上から表示したリストを端末装置１０に出力する。   Subsequently, the information processing apparatus 100 outputs the extracted search query candidates (step S104). Specifically, the information processing apparatus 100 outputs a list in which search query candidates are displayed in an order based on the similarity. For example, the information processing apparatus 100 outputs a list displaying search query candidates from the top in descending order of similarity to the terminal apparatus 10.

これにより、端末装置１０は、検索クエリの候補を情報処理装置１００から受信する。そして、端末装置１０は、情報処理装置１００から出力された検索クエリの候補を表示する（ステップＳ１０５）。例えば、端末装置１０は、類似度が高い順に検索クエリの候補を上から表示したリストを表示する。   As a result, the terminal device 10 receives search query candidates from the information processing device 100. Then, the terminal device 10 displays the search query candidates output from the information processing apparatus 100 (step S105). For example, the terminal device 10 displays a list in which search query candidates are displayed from the top in descending order of similarity.

その後、端末装置１０は、ユーザによって検索クエリの候補が選択された場合に（ステップＳ１０６）、選択された検索クエリの候補についての検索結果の要求を検索サーバ５０に送信する（ステップＳ１０７）。これにより、検索サーバ５０は、検索クエリの検索結果の要求を端末装置１０から受信する。   Thereafter, when a search query candidate is selected by the user (step S106), the terminal device 10 transmits a search result request for the selected search query candidate to the search server 50 (step S107). Thereby, the search server 50 receives a search result request for the search query from the terminal device 10.

続いて、検索サーバ５０は、受信した要求が示す検索クエリについて検索を行なう。そして、検索サーバ５０は、端末装置１０からの要求の応答として、検索クエリについての検索結果を端末装置１０に送信する（ステップＳ１０８）。これにより、端末装置１０は、検索クエリについての検索結果を検索サーバ５０から受信する。そして、端末装置１０は、受信した検索結果を表示する（ステップＳ１０９）。   Subsequently, the search server 50 searches for the search query indicated by the received request. And the search server 50 transmits the search result about a search query to the terminal device 10 as a response to the request from the terminal device 10 (step S108). Thereby, the terminal device 10 receives the search result for the search query from the search server 50. Then, the terminal device 10 displays the received search result (step S109).

〔１−５．実施形態の効果〕
上述してきたように、実施形態に係る情報処理装置１００は、受付部１３１と、抽出部１３２と、出力部１３３とを有する。受付部１３１は、画像を受け付ける。抽出部１３２は、受付部１３１によって受け付けられた画像に基づいて、検索クエリの候補を抽出する。出力部１３３は、抽出部１３２によって抽出された検索クエリの候補を出力する。 [1-5. Effects of the embodiment
As described above, the information processing apparatus 100 according to the embodiment includes the reception unit 131, the extraction unit 132, and the output unit 133. The accepting unit 131 accepts an image. The extraction unit 132 extracts search query candidates based on the image received by the reception unit 131. The output unit 133 outputs search query candidates extracted by the extraction unit 132.

これにより、情報処理装置１００は、画像に基づいて検索クエリの候補を提示することができるので、ユーザが所望する検索を可能にすることができる。例えば、情報処理装置１００は、ユーザが検索を所望するキーワードを抽出することができるので、ユーザの意思を言語化することができる。一例としては、情報処理装置１００は、画像に描出された被写体の名称などをユーザに提示することができる。   Thereby, since the information processing apparatus 100 can present search query candidates based on the image, it is possible to enable a search desired by the user. For example, since the information processing apparatus 100 can extract a keyword that the user desires to search, the user's intention can be verbalized. As an example, the information processing apparatus 100 can present the name of the subject drawn in the image to the user.

また、情報処理装置１００は、検索クエリの候補が表示されたリストをユーザに提示することができるので、検索クエリをユーザに容易に把握させることができる。例えば、情報処理装置１００は、被写体の名称など被写体に関する各種の情報を提示することができるので、被写体について深く知りたいユーザなどに有益な情報を提供することができる。   Moreover, since the information processing apparatus 100 can present the user with a list on which search query candidates are displayed, the user can easily grasp the search query. For example, the information processing apparatus 100 can present various types of information related to the subject such as the name of the subject, and thus can provide useful information to a user who wants to know the subject deeply.

また、実施形態に係る情報処理装置１００において、抽出部１３２は、画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。これにより、情報処理装置１００は、受け付けた画像と類似する参照画像に対応する検索クエリを抽出することができるので、ユーザが所望する検索を高い精度で可能にすることができる。   In the information processing apparatus 100 according to the embodiment, the extraction unit 132 is based on the similarity between the feature amount of the image and the feature amount of the reference image stored in the storage unit in association with the search query. Extract search query candidates. As a result, the information processing apparatus 100 can extract a search query corresponding to a reference image similar to the received image, thereby enabling a search desired by the user with high accuracy.

また、実施形態に係る情報処理装置１００において、出力部１３３は、類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する。これにより、情報処理装置１００は、ユーザが所望する検索である可能性が高い検索クエリの候補をユーザに見易く提示することができるので、ユーザの利便性を向上させることができる。   In the information processing apparatus 100 according to the embodiment, the output unit 133 outputs a list in which search query candidates are displayed in an order based on the similarity. As a result, the information processing apparatus 100 can present the search query candidates that are highly likely to be a search desired by the user to the user in an easy-to-view manner, thereby improving user convenience.

また、実施形態に係る情報処理装置１００において、受付部１３１は、画像として、検索対象が撮影された撮影画像を受け付ける。これにより、情報処理装置１００は、ユーザが対象を撮影するだけで容易に画像を受け付けることができるので、ユーザが検索を所望する対象の検索クエリを迅速かつ容易にユーザに提示することができる。   In the information processing apparatus 100 according to the embodiment, the reception unit 131 receives a captured image in which a search target is captured as an image. As a result, the information processing apparatus 100 can easily accept an image simply by the user capturing an image of the target, and thus can quickly and easily present a search query for a target that the user desires to search to the user.

〔２．変形例〕
上述した実施形態に係る情報処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の情報処理装置１００の他の実施形態について説明する。 [2. (Modification)
The information processing apparatus 100 according to the above-described embodiment may be implemented in various different forms other than the above-described embodiment. Therefore, hereinafter, another embodiment of the information processing apparatus 100 will be described.

〔２−１．行動履歴に基づく検索クエリ〕
上記の実施形態では、情報処理装置１００が類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する例を挙げて説明した。ここで、情報処理装置１００は、各種の情報に基づいて検索クエリの候補を出力してもよい。 [2-1. Search query based on action history)
In the embodiment described above, an example in which the information processing apparatus 100 outputs a list in which search query candidates are displayed in the order based on the similarity is described. Here, the information processing apparatus 100 may output search query candidates based on various types of information.

具体的には、情報処理装置１００の出力部１３３は、ユーザの行動履歴に基づいて検索クエリの候補を出力する。例えば、情報処理装置１００は、ユーザの行動履歴として、ユーザの検索履歴またはユーザに関するメッセージの履歴に基づいて検索クエリの候補を出力する。一例としては、情報処理装置１００は、ユーザが直近に検索したキーワードに関連する検索クエリほど優先して出力する。他の例では、情報処理装置１００は、ユーザが直近に送受信したメッセージに含まれるキーワードに関連する検索クエリほど優先して出力する。他の例では、情報処理装置１００は、ユーザの行動履歴として、ウェブサービスの利用履歴やアプリケーションの利用履歴に基づいて検索クエリの候補を出力する。例えば、情報処理装置１００は、ユーザが直近に利用したオンラインショッピングやオークション、動画配信サービス、音楽配信サービス、地図情報提供サービス、予約サービスなどといった各種のウェブサービスやアプリケーションに関連する検索クエリほど優先して出力する。一態様としては、情報処理装置１００は、ユーザの行動履歴に基づく優先度が高い検索クエリほど上から表示されるリストを出力する。なお、情報処理装置１００は、ユーザの趣味や嗜好を示すユーザ属性に基づいて検索クエリの候補を出力してもよい。   Specifically, the output unit 133 of the information processing apparatus 100 outputs search query candidates based on the user's behavior history. For example, the information processing apparatus 100 outputs search query candidates based on the user search history or the history of messages about the user as the user action history. As an example, the information processing apparatus 100 outputs more preferentially the search query related to the keyword searched by the user most recently. In another example, the information processing apparatus 100 preferentially outputs a search query related to a keyword included in a message transmitted / received most recently by the user. In another example, the information processing apparatus 100 outputs search query candidates based on a web service usage history or an application usage history as a user activity history. For example, the information processing apparatus 100 gives priority to a search query related to various web services and applications such as online shopping, auction, video distribution service, music distribution service, map information providing service, reservation service, etc. that the user has used most recently. Output. As one aspect, the information processing apparatus 100 outputs a list that is displayed from the top as a search query having a higher priority based on a user's behavior history. Note that the information processing apparatus 100 may output search query candidates based on user attributes indicating the user's hobbies and preferences.

このように、変形例に係る情報処理装置１００は、ユーザの行動履歴に基づいて検索クエリの候補を出力する。これにより、情報処理装置１００は、ユーザの行動に関わる検索クエリを出力することができるので、ユーザが所望する検索を可能にする検索クエリを提示することができる。   Thus, the information processing apparatus 100 according to the modification outputs search query candidates based on the user's behavior history. Thereby, since the information processing apparatus 100 can output a search query related to the user's behavior, it is possible to present a search query that enables a search desired by the user.

また、変形例に係る情報処理装置１００は、ユーザの行動履歴として、ユーザの検索履歴またはユーザに関するメッセージの履歴に基づいて検索クエリの候補を出力する。これにより、情報処理装置１００は、ユーザが検索やメッセージで用いたキーワードに関わる検索クエリを出力することができるので、ユーザが所望する検索を可能にする検索クエリを高い精度で提示することができる。   Further, the information processing apparatus 100 according to the modification outputs search query candidates based on the user search history or the history of messages about the user as the user action history. As a result, the information processing apparatus 100 can output a search query related to a keyword used by a user in a search or a message, and can therefore present a search query that enables a search desired by the user with high accuracy. .

〔２−２．入力画像〕
上記の実施形態では、情報処理装置１００が画像として、検索対象が撮影された撮影画像を受け付ける例を挙げて説明した。ここで、情報処理装置１００は、ユーザによって撮影された撮影画像に限らず、各種の画像を受け付けてもよい。 [2-2. Input image)
In the above-described embodiment, an example in which the information processing apparatus 100 receives a captured image in which a search target is captured as an image has been described. Here, the information processing apparatus 100 may accept various images without being limited to the captured images captured by the user.

具体的には、情報処理装置１００の受付部１３１は、画像として、ユーザが有する端末装置１０の画面に表示中の画像を受け付ける。より具体的には、情報処理装置１００は、ユーザが撮影ボタンを押す前のタイミングで画面に表示されている画像を端末装置１０から受け付ける。他の例では、情報処理装置１００は、撮影画像や撮影前のタイミングで画面に表示中の画像に限らず、インターネットを介してダウンロードされた画像やキャプチャされた画像などを端末装置１０から受け付けてもよい。   Specifically, the reception unit 131 of the information processing apparatus 100 receives an image being displayed on the screen of the terminal device 10 owned by the user as an image. More specifically, the information processing apparatus 100 receives from the terminal device 10 an image displayed on the screen at a timing before the user presses the shooting button. In another example, the information processing apparatus 100 accepts not only a captured image or an image currently displayed on the screen at the timing before shooting but also an image downloaded via the Internet, a captured image, and the like from the terminal device 10. Also good.

このように、変形例に係る情報処理装置１００は、画像として、ユーザが有する端末装置の画面に表示中の画像を受け付ける。これにより、情報処理装置１００は、画面に表示中の画像を受け付けることができるので、ユーザが検索クエリを求める対象の撮影を行なう手間を削減することができる。   As described above, the information processing apparatus 100 according to the modification receives an image being displayed on the screen of the terminal device owned by the user as an image. Thereby, since the information processing apparatus 100 can accept the image being displayed on the screen, it is possible to reduce time and effort for the user to shoot the target for which the search query is requested.

〔２−３．被写体の面積に応じて検索クエリの候補を抽出〕
上記の実施形態では、情報処理装置１００が受付部１３１によって受け付けられた画像に基づいて検索クエリの候補を抽出する例を挙げて説明した。ここで、情報処理装置１００は、各種の条件に基づいて検索クエリの候補を抽出してもよい。 [2-3. (Search query candidates are extracted according to the area of the subject)
In the embodiment described above, an example in which the information processing apparatus 100 extracts search query candidates based on an image received by the receiving unit 131 has been described. Here, the information processing apparatus 100 may extract search query candidates based on various conditions.

具体的には、情報処理装置１００の抽出部１３２は、受付部１３１によって受け付けられた画像のうち所定の割合以上の面積を占める被写体の検索クエリの候補を抽出する。例えば、情報処理装置１００は、受付部１３１によって受け付けられた画像のうち３０％以上の面積を占める被写体をユーザが検索クエリを所望する対象として検索クエリの候補を抽出する。一態様としては、情報処理装置１００は、所定の割合以上の面積を占める被写体が複数ある場合には、被写体ごとに検索クエリの候補を抽出する。他の態様としては、情報処理装置１００は、被写体が人物である場合には、画像に描出されている全ての人物の検索クエリの候補を抽出する。   Specifically, the extraction unit 132 of the information processing apparatus 100 extracts a search query candidate for a subject that occupies an area of a predetermined ratio or more in the image received by the reception unit 131. For example, the information processing apparatus 100 extracts search query candidates by using a subject that occupies an area of 30% or more of the image received by the receiving unit 131 as a target for which the user desires a search query. As one aspect, the information processing apparatus 100 extracts search query candidates for each subject when there are a plurality of subjects occupying an area of a predetermined ratio or more. As another aspect, when the subject is a person, the information processing apparatus 100 extracts search query candidates for all persons depicted in the image.

このように、変形例に係る情報処理装置１００は、画像のうち所定の割合以上の面積を占める被写体の検索クエリの候補を抽出する。これにより、情報処理装置１００は、画像の中で一定水準を満たす被写体の検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。   As described above, the information processing apparatus 100 according to the modified example extracts a search query candidate for a subject that occupies an area of a predetermined ratio or more in the image. Accordingly, the information processing apparatus 100 can extract a search query candidate for a subject that satisfies a certain level in the image, and thus extracts a search query candidate that enables a search desired by the user with high accuracy. be able to.

〔２−４．位置情報に基づいて検索クエリの候補を抽出〕
上記の実施形態では、情報処理装置１００が受付部１３１によって受け付けられた画像の特徴量と検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する例を挙げて説明した。ここで、情報処理装置１００は、類似度に限らず、各種の情報に基づいて検索クエリの候補を抽出してもよい。 [2-4. Extract search query candidates based on location information)
In the above embodiment, the information processing apparatus 100 is based on the similarity between the feature amount of the image received by the receiving unit 131 and the feature amount of the reference image stored in the storage unit in association with the search query. An example of extracting search query candidates has been described. Here, the information processing apparatus 100 may extract search query candidates based on various types of information without being limited to the similarity.

具体的には、情報処理装置１００の抽出部１３２は、受付部１３１によって受け付けられた画像が撮影された位置を示す位置情報に基づいて、検索クエリの候補を抽出する。例えば、情報処理装置１００は、画像が撮影された場所と関わりが深い検索クエリを優先して抽出する。一例としては、情報処理装置１００は、画像に建物が描出されている場合に、かかる画像が撮影された場所から推定される建物に関する情報を検索クエリの候補として抽出する。   Specifically, the extraction unit 132 of the information processing apparatus 100 extracts search query candidates based on position information indicating the position where the image received by the reception unit 131 was captured. For example, the information processing apparatus 100 preferentially extracts search queries that are closely related to the location where the image was taken. As an example, when a building is depicted in the image, the information processing apparatus 100 extracts information on the building estimated from the place where the image was captured as a search query candidate.

このように、変形例に係る情報処理装置１００は、画像が撮影された位置を示す位置情報に基づいて、検索クエリの候補を抽出する。これにより、情報処理装置１００は、位置情報を活用して検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。   As described above, the information processing apparatus 100 according to the modification extracts search query candidates based on the position information indicating the position where the image is taken. As a result, the information processing apparatus 100 can extract search query candidates by utilizing position information, and therefore can extract search query candidates that enable a search desired by the user with high accuracy.

〔２−５．時間情報に基づいて検索クエリの候補を抽出〕
上記の変形例では、情報処理装置１００が受付部１３１によって受け付けられた画像が撮影された位置を示す位置情報に基づいて検索クエリの候補を抽出する例を挙げて説明した。ここで、情報処理装置１００は、位置情報に限らず、各種の情報に基づいて検索クエリの候補を抽出してもよい。 [2-5. Extract search query candidates based on time information)
In the above modification, the information processing apparatus 100 has been described by taking an example in which search query candidates are extracted based on position information indicating the position where the image received by the receiving unit 131 is captured. Here, the information processing apparatus 100 may extract search query candidates based on various types of information without being limited to the position information.

具体的には、情報処理装置１００の抽出部１３２は、受付部１３１によって受け付けられた画像が撮影された時間を示す時間情報に基づいて、検索クエリの候補を抽出する。例えば、情報処理装置１００は、画像が撮影された時間と関わりが深い検索クエリを優先して抽出する。一例としては、情報処理装置１００は、１１時から１４時の昼食時や１７時から２２時の夕食時の時間帯などに繁華街が描出された画像が撮影された場合に、かかる繁華街に存在する飲食店に関する情報を検索クエリの候補として抽出する。   Specifically, the extraction unit 132 of the information processing apparatus 100 extracts search query candidates based on time information indicating the time when the image received by the reception unit 131 was captured. For example, the information processing apparatus 100 preferentially extracts search queries that are closely related to the time at which an image was captured. As an example, the information processing apparatus 100 may be displayed in such a downtown area when an image depicting the downtown area is taken at a lunch time from 11:00 to 14:00 or a dinner time from 17:00 to 22:00. Information on existing restaurants is extracted as a search query candidate.

他の例では、情報処理装置１００は、季節に応じて検索クエリの候補を抽出する。一例としては、情報処理装置１００は、７月〜８月など夏に山が描出された画像が撮影された場合に、かかる山の登山に関する情報を検索クエリの候補として抽出する。一方、情報処理装置１００は、１２月〜２月など冬に山が描出された画像が撮影された場合に、かかる山のウィンタースポーツに関する情報を検索クエリの候補として抽出する。   In another example, the information processing apparatus 100 extracts search query candidates according to the season. As an example, when an image in which a mountain is depicted in summer, such as July to August, is captured, the information processing apparatus 100 extracts information related to mountain climbing as a search query candidate. On the other hand, when an image depicting a mountain is taken in winter, such as December to February, the information processing apparatus 100 extracts information related to winter sports in the mountain as a search query candidate.

このように、変形例に係る情報処理装置１００は、画像が撮影された時間を示す時間情報に基づいて、検索クエリの候補を抽出する。これにより、情報処理装置１００は、場所情報を活用して検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。   As described above, the information processing apparatus 100 according to the modification extracts search query candidates based on the time information indicating the time when the image was captured. As a result, the information processing apparatus 100 can extract search query candidates using location information, and therefore can extract search query candidates that enable a search desired by the user with high accuracy.

〔２−６．リスト〕
上記の実施形態では、情報処理装置１００が受付部１３１によって受け付けられた画像の特徴量と検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する例を挙げて説明した。ここで、情報処理装置１００は、各種のデータ形式の検索クエリの候補が表示されるリストを出力してもよい。 [2-6. list〕
In the above embodiment, the information processing apparatus 100 is based on the similarity between the feature amount of the image received by the receiving unit 131 and the feature amount of the reference image stored in the storage unit in association with the search query. An example of outputting a list in which search query candidates are displayed in order has been described. Here, the information processing apparatus 100 may output a list in which search query candidates in various data formats are displayed.

具体的には、情報処理装置１００の出力部１３３は、検索クエリの候補として、テキストデータ、画像データまたは音声データに関する情報を並べたリストを出力する。例えば、情報処理装置１００は、検索クエリの候補として、キーワード、画像、音声が並べられたリストを端末装置１０に出力する。   Specifically, the output unit 133 of the information processing apparatus 100 outputs a list in which information on text data, image data, or audio data is arranged as a search query candidate. For example, the information processing apparatus 100 outputs a list in which keywords, images, and sounds are arranged as search query candidates to the terminal device 10.

このように、変形例に係る情報処理装置１００は、検索クエリの候補として、テキストデータ、画像データまたは音声データに関する情報を並べたリストを出力する。これにより、情報処理装置１００は、受付部１３１によって受け付けられた画像に基づく検索クエリの候補をデータ形式に関わらず出力することができるので、バラエティに富んだデータが表示されるリストをユーザに提示することができる。   As described above, the information processing apparatus 100 according to the modification outputs a list in which information on text data, image data, or audio data is arranged as a search query candidate. As a result, the information processing apparatus 100 can output search query candidates based on the image received by the receiving unit 131 regardless of the data format, and thus presents a list of a variety of data to the user. can do.

〔２−７．被写体に関連する特徴に基づいて検索クエリの候補を抽出〕
上記の実施形態では、情報処理装置１００が受付部１３１によって受け付けられた画像に描出された被写体の顔の特徴量と参照画像に描出された被写体の顔の特徴量との間の類似度に基づいて検索クエリの候補を抽出する例を挙げて説明した。ここで、情報処理装置１００は、被写体の顔に限らず、各種の情報に基づいて検索クエリの候補を抽出してもよい。 [2-7. (Search query candidates are extracted based on features related to the subject)
In the above embodiment, the information processing apparatus 100 is based on the similarity between the feature amount of the face of the subject depicted in the image accepted by the accepting unit 131 and the feature amount of the face of the subject depicted in the reference image. In this example, search query candidates are extracted. Here, the information processing apparatus 100 may extract search query candidates based on various types of information, not limited to the face of the subject.

具体的には、情報処理装置１００の抽出部１３３は、受付部１３１によって受け付けられた画像に描出された被写体に関連する特徴から推定される検索クエリの候補を抽出する。例えば、情報処理装置１００は、画像に描出された被写体の顔と、被写体が着用している服装とに基づいて検索クエリの候補を抽出する。一例としては、情報処理装置１００は、被写体の顔から推定される被写体の名称と、被写体が着用している服装から推定される被写体が出演する映画などの出演作品に関する情報とを検索クエリの候補として抽出する。   Specifically, the extraction unit 133 of the information processing apparatus 100 extracts search query candidates estimated from the features related to the subject depicted in the image received by the reception unit 131. For example, the information processing apparatus 100 extracts search query candidates based on the face of the subject depicted in the image and the clothes worn by the subject. As an example, the information processing apparatus 100 searches for candidate names of subjects estimated from the subject's face and information about a appearing work such as a movie in which the subject estimated from clothes worn by the subject appears. Extract as

このように、変形例に係る情報処理装置１００は、受付部１３１によって受け付けられた画像に描出された被写体に関連する特徴から推定される検索クエリの候補を抽出する。これにより、情報処理装置１００は、被写体の各種の特徴に基づいて検索クエリの候補を抽出することができるので、ユーザが所望する検索クエリの候補をより高い精度で抽出することができる。   As described above, the information processing apparatus 100 according to the modification extracts search query candidates estimated from the features related to the subject depicted in the image received by the receiving unit 131. Accordingly, the information processing apparatus 100 can extract search query candidates based on various characteristics of the subject, and thus can extract search query candidates desired by the user with higher accuracy.

〔２−８．検索クエリの表示〕
上記の実施形態では、情報処理装置１００が受付部１３１によって受け付けられた画像の特徴量と検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する例を挙げて説明した。ここで、情報処理装置１００は、各種の態様で検索クエリの候補を出力してもよい。 [2-8. Display search query)
In the above embodiment, the information processing apparatus 100 is based on the similarity between the feature amount of the image received by the receiving unit 131 and the feature amount of the reference image stored in the storage unit in association with the search query. An example of outputting a list in which search query candidates are displayed in order has been described. Here, the information processing apparatus 100 may output search query candidates in various modes.

具体的には、情報処理装置１００の出力部１３３は、検索クエリの候補を受付部１３１によって受け付けられた画像上に表示した画像を出力する。例えば、情報処理装置１００は、受付部１３１によって受け付けられた画像上のうち、検索クエリの候補に対応する被写体に基づく位置に検索クエリの候補を表示した画像を出力する。この点について、図６を用いて説明する。   Specifically, the output unit 133 of the information processing apparatus 100 outputs an image in which search query candidates are displayed on the image received by the receiving unit 131. For example, the information processing apparatus 100 outputs an image in which the search query candidate is displayed at a position based on the subject corresponding to the search query candidate on the image received by the reception unit 131. This point will be described with reference to FIG.

図６は、被写体が複数の場合の表示画面の一例を示す図である。まず、ユーザは、図６に示すように、被写体Ｏｂ２１〜Ｏｂ２４が描出された画像Ｐ２を、検索クエリの候補を所望する画像として選択したものとする。この場合、端末装置１０は、画像Ｐ２を情報処理装置１００に送信する。これにより、情報処理装置１００は、画像Ｐ２を端末装置１０から受け付ける。   FIG. 6 is a diagram illustrating an example of a display screen when there are a plurality of subjects. First, as shown in FIG. 6, it is assumed that the user has selected an image P2 in which the subjects Ob21 to Ob24 are drawn as desired search query images. In this case, the terminal apparatus 10 transmits the image P2 to the information processing apparatus 100. Thereby, the information processing apparatus 100 receives the image P2 from the terminal device 10.

続いて、情報処理装置１００は、画像Ｐ２に描出された被写体Ｏｂ２１〜Ｏｂ２４ごとに検索クエリの候補を抽出する。例えば、情報処理装置１００は、被写体Ｏｂ２１〜Ｏｂ２４の顔の特徴量と参照画像に描出された顔の特徴量との間の類似度が最も高い参照画像に対応する検索クエリの候補ＳＱ２１〜ＳＱ２４をそれぞれ抽出する。   Subsequently, the information processing apparatus 100 extracts search query candidates for each of the subjects Ob21 to Ob24 depicted in the image P2. For example, the information processing apparatus 100 selects search query candidates SQ21 to SQ24 corresponding to the reference image having the highest degree of similarity between the facial feature amount of the subjects Ob21 to Ob24 and the facial feature amount depicted in the reference image. Extract each one.

その後、情報処理装置１００は、検索クエリの候補ＳＱ２１〜ＳＱ２４を受付部１３１によって受け付けられた画像Ｐ２上に表示した画像Ｐ３を出力する。具体的には、情報処理装置１００は、受付部１３１によって受け付けられた画像Ｐ２上のうち、検索クエリの候補ＳＱ２１〜ＳＱ２４に対応する被写体Ｏｂ２１〜Ｏｂ２４を示す位置に検索クエリの候補ＳＱ２１〜ＳＱ２４をそれぞれ表示した画像Ｐ３を出力する。例えば、情報処理装置１００は、被写体に近い前後左右の位置に検索クエリの候補を表示した画像を出力する。一例としては、情報処理装置１００は、図６に示すように、被写体Ｏｂ２１の上の位置に検索クエリの候補ＳＱ２１を表示した画像Ｐ３を出力する。他の例では、情報処理装置１００は、図６に示すように、被写体Ｏｂ２３の下の位置に検索クエリの候補ＳＱ２３を表示した画像Ｐ３を出力する。   Thereafter, the information processing apparatus 100 outputs an image P3 in which the search query candidates SQ21 to SQ24 are displayed on the image P2 received by the receiving unit 131. Specifically, the information processing apparatus 100 places the search query candidates SQ21 to SQ24 at positions indicating the subjects Ob21 to Ob24 corresponding to the search query candidates SQ21 to SQ24 on the image P2 received by the reception unit 131. Each displayed image P3 is output. For example, the information processing apparatus 100 outputs an image in which search query candidates are displayed at front, back, left, and right positions close to the subject. As an example, as illustrated in FIG. 6, the information processing apparatus 100 outputs an image P3 in which a search query candidate SQ21 is displayed at a position above the subject Ob21. In another example, as illustrated in FIG. 6, the information processing apparatus 100 outputs an image P3 in which a search query candidate SQ23 is displayed at a position below the subject Ob23.

このように、変形例に係る情報処理装置１００は、検索クエリの候補を受付部１３１によって受け付けられた画像上に表示した画像を出力する。これにより、情報処理装置１００は、ユーザから受け付けた画像上に検索クエリの候補を表示することができるので、被写体に対応する検索クエリの候補をユーザに容易に把握させることができる。   As described above, the information processing apparatus 100 according to the modified example outputs an image in which search query candidates are displayed on the image received by the receiving unit 131. As a result, the information processing apparatus 100 can display search query candidates on the image received from the user, so that the user can easily grasp the search query candidates corresponding to the subject.

また、変形例に係る情報処理装置１００は、受付部１３１によって受け付けられた画像上のうち、検索クエリの候補に対応する被写体に基づく位置に検索クエリの候補を表示した画像を出力する。これにより、情報処理装置１００は、ユーザから受け付けた画像上のうち被写体に対応する位置に検索クエリの候補を表示することができるので、被写体に対応する検索クエリの候補をユーザにより容易に把握させることができる。   Further, the information processing apparatus 100 according to the modification outputs an image in which the search query candidate is displayed at a position based on the subject corresponding to the search query candidate on the image received by the reception unit 131. As a result, the information processing apparatus 100 can display search query candidates at positions corresponding to the subject in the image received from the user, so that the user can easily grasp the search query candidates corresponding to the subject. be able to.

〔２−９．付帯情報を表示〕
上記の変形例では、情報処理装置１００が検索クエリの候補を受付部１３１によって受け付けられた画像上に表示した画像を出力する例を挙げて説明した。ここで、情報処理装置１００は、類似度に関する付帯情報を検索クエリの候補とともに表示してもよい。例えば、情報処理装置１００は、図１に示すように、検索クエリの候補とともに検索クエリに対応する類似度が表示されるリストを端末装置１０に出力する。 [2-9. (Display incidental information)
In the above modification, the information processing apparatus 100 has been described with an example in which the search query candidate is output on the image received by the receiving unit 131. Here, the information processing apparatus 100 may display the auxiliary information related to the similarity together with the search query candidates. For example, as illustrated in FIG. 1, the information processing apparatus 100 outputs, to the terminal device 10, a list in which the similarity corresponding to the search query is displayed together with the search query candidates.

また、情報処理装置１００は、類似度に応じた付帯情報を検索クエリの候補とともに出力してもよい。具体的には、情報処理装置１００は、類似度の高低を表現する文字列を検索クエリの候補とともに出力する。例えば、情報処理装置１００は、図６に示すように、類似度が相対的に高い場合には「おそらく」といった文字列を表示し、類似度が相対的に低い場合には「もしかして」といった文字列を表示する画像を出力する。他の例では、情報処理装置１００は、図６に示すように、類似度が相対的に高い場合には「！」を検索クエリの候補の語尾に表示し、類似度が相対的に低い場合には「？」を検索クエリの候補の語尾に表示する画像を出力する。   Further, the information processing apparatus 100 may output incidental information according to the similarity together with search query candidates. Specifically, the information processing apparatus 100 outputs a character string expressing the level of similarity together with search query candidates. For example, as illustrated in FIG. 6, the information processing apparatus 100 displays a character string “probably” when the similarity is relatively high, and “probably” when the similarity is relatively low. Output an image that displays the columns. In another example, as illustrated in FIG. 6, when the similarity is relatively high, the information processing apparatus 100 displays “!” At the end of the search query candidate, and the similarity is relatively low. Output an image displaying “?” At the end of the candidate search query.

他の例では、情報処理装置１００は、類似度に応じて検索クエリ候補の濃淡や形状を変更した画像を出力する。例えば、情報処理装置１００は、類似度が相対的に高い場合には検索クエリの候補を相対的に濃く表示し、類似度が相対的に低い場合には検索クエリの候補を相対的に薄く表示する画像を出力する。他の例では、情報処理装置１００は、類似度が相対的に高い場合には検索クエリの候補を相対的に大きいサイズで表示し、類似度が相対的に低い場合には検索クエリの候補を相対的に小さいサイズで表示する画像を出力する。   In another example, the information processing apparatus 100 outputs an image in which the density or shape of the search query candidate is changed according to the similarity. For example, the information processing apparatus 100 displays the search query candidates relatively dark when the similarity is relatively high, and displays the search query candidates relatively light when the similarity is relatively low. The image to be output is output. In another example, the information processing apparatus 100 displays search query candidates in a relatively large size when the similarity is relatively high, and displays the search query candidates when the similarity is relatively low. Output an image to be displayed in a relatively small size.

このように、変形例に係る情報処理装置１００は、受付部１３１によって受け付けられた画像の特徴量と検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に関する付帯情報を検索クエリの候補とともに表示する。これにより、情報処理装置１００は、検索クエリの候補とともに類似度に応じた指標を表示することができるので、検索クエリの候補の信頼性をユーザに把握させることができる。   As described above, the information processing apparatus 100 according to the modification includes the similarity between the feature amount of the image received by the reception unit 131 and the feature amount of the reference image stored in the storage unit in association with the search query. Attached information about is displayed along with search query candidates. As a result, the information processing apparatus 100 can display the index according to the similarity together with the search query candidate, so that the user can grasp the reliability of the search query candidate.

〔２−１０．検索クエリの表示形式〕
上記の変形例では、情報処理装置１００が被写体に対応する名称を検索クエリの候補として表示した画像を出力する例を挙げて説明した。ここで、情報処理装置１００は、名称などのキーワードに限らず、各種の形式の検索クエリの候補を表示した画像を出力してもよい。この点について、図７を用いて説明する。図７は、検索クエリが画像の場合の表示画面の一例を示す図である。図７に示すように、まず、情報処理装置１００は、被写体Ｏｂ２１〜Ｏｂ２４が描出された画像Ｐ２を端末装置１０から受け付ける。 [2-10. Search query display format)
In the above-described modification, the information processing apparatus 100 has been described with an example of outputting an image in which a name corresponding to a subject is displayed as a search query candidate. Here, the information processing apparatus 100 may output an image displaying search query candidates in various formats, not limited to keywords such as names. This point will be described with reference to FIG. FIG. 7 is a diagram illustrating an example of a display screen when the search query is an image. As illustrated in FIG. 7, first, the information processing apparatus 100 receives an image P <b> 2 in which the subjects Ob <b> 21 to Ob <b> 24 are drawn from the terminal device 10.

続いて、情報処理装置１００は、被写体Ｏｂ２１の顔の特徴量と参照画像に描出された顔の特徴量との間の類似度が最も高い参照画像ＰＳＱ２１を検索クエリの候補として抽出する。同様に、情報処理装置１００は、被写体Ｏｂ２２〜Ｏｂ２４の顔の特徴量と参照画像に描出された顔の特徴量との間の類似度が最も高い参照画像ＰＳＱ２２〜ＰＳＱ２４を検索クエリの候補としてそれぞれ抽出する。   Subsequently, the information processing apparatus 100 extracts the reference image PSQ21 having the highest similarity between the facial feature amount of the subject Ob21 and the facial feature amount depicted in the reference image as a search query candidate. Similarly, the information processing apparatus 100 uses the reference images PSQ22 to PSQ24 having the highest degree of similarity between the facial feature values of the subjects Ob22 to Ob24 and the facial feature values depicted in the reference image as search query candidates, respectively. Extract.

その後、情報処理装置１００は、参照画像ＰＳＱ２１〜ＰＳＱ２４を受付部１３１によって受け付けられた画像Ｐ２上に表示した画像Ｐ４を出力する。具体的には、情報処理装置１００は、受付部１３１によって受け付けられた画像Ｐ２上のうち、参照画像ＰＳＱ２１〜ＰＳＱ２４に対応する被写体Ｏｂ２１〜Ｏｂ２４を示す位置に参照画像ＰＳＱ２１〜ＰＳＱ２４をそれぞれ表示した画像Ｐ４を出力する。   Thereafter, the information processing apparatus 100 outputs an image P4 in which the reference images PSQ21 to PSQ24 are displayed on the image P2 received by the receiving unit 131. Specifically, the information processing apparatus 100 displays the reference images PSQ21 to PSQ24 at positions indicating the subjects Ob21 to Ob24 corresponding to the reference images PSQ21 to PSQ24 on the image P2 received by the reception unit 131, respectively. P4 is output.

このように、変形例に係る情報処理装置１００は、各種の形式の検索クエリの候補を表示した画像を出力する。これにより、情報処理装置１００は、データの形式に関わらず検索クエリの候補を表示することができるので、バラエティに富んだ態様で検索クエリの候補をユーザに把握させることができる。例えば、情報処理装置１００は、類似度が最も高い参照画像を検索クエリの候補として画像上に表示して出力することができるので、検索クエリの候補をユーザに容易に把握させることができる。   As described above, the information processing apparatus 100 according to the modified example outputs an image displaying search query candidates in various formats. Thereby, since the information processing apparatus 100 can display search query candidates regardless of the data format, the user can be made aware of search query candidates in a variety of manners. For example, the information processing apparatus 100 can display the reference image having the highest similarity as a search query candidate on the image and output it, so that the user can easily grasp the search query candidate.

〔２−１１．適用対象〕
上記の実施形態では、情報処理装置１００が検索クエリの候補として被写体の名称を抽出する例を挙げて説明した。ここで、情報処理装置１００は、被写体の名称に限らず、被写体に関する各種の情報を出力してもよい。 [2-11. (Applicable)
In the above-described embodiment, an example in which the information processing apparatus 100 extracts a subject name as a search query candidate has been described. Here, the information processing apparatus 100 may output not only the name of the subject but also various types of information regarding the subject.

例えば、情報処理装置１００は、野菜や魚などの食物が描出された画像を受け付けた場合に、かかる食物の食べ方や調理方法、入手可能な場所などに関する情報を検索クエリの候補として抽出する。   For example, when the information processing apparatus 100 receives an image depicting food such as vegetables and fish, the information processing apparatus 100 extracts information on how to eat the food, a cooking method, an available place, and the like as search query candidates.

他の例では、情報処理装置１００は、空が描出された画像を受け付けた場合に、天候に関する情報を検索クエリの候補として抽出する。一例としては、情報処理装置１００は、空が描出された画像が撮影された場所の天気や気温、湿度などを検索クエリの候補として抽出する。   In another example, when the information processing apparatus 100 accepts an image in which the sky is depicted, the information processing apparatus 100 extracts information about the weather as a search query candidate. As an example, the information processing apparatus 100 extracts, as search query candidates, the weather, temperature, humidity, and the like of a place where an image depicting the sky is captured.

他の例では、情報処理装置１００は、飲食店が描出された画像を受け付けた場合に、かかる飲食店が提供するメニューやＷｅｂサイトやクーポンなどを検索クエリの候補として抽出する。   In another example, when the information processing apparatus 100 receives an image depicting a restaurant, the information processing apparatus 100 extracts a menu, a Web site, a coupon, and the like provided by the restaurant as search query candidates.

他の例では、情報処理装置１００は、レストラン街が描出された画像を受け付けた場合に、かかるレストラン街に存在する飲食店に関する情報を検索クエリの候補として抽出する。一例としては、情報処理装置１００は、かかるレストラン街に存在する飲食店の口コミの一覧や評価ランキングなどを検索クエリの候補として抽出する。   In another example, when the information processing apparatus 100 receives an image depicting a restaurant street, the information processing device 100 extracts information about restaurants that exist in the restaurant street as search query candidates. As an example, the information processing apparatus 100 extracts a list of reviews and evaluation rankings of restaurants in the restaurant area as search query candidates.

他の例では、情報処理装置１００は、商品が描出された画像を受け付けた場合に、かかる商品の価格や販売場所、類似商品、口コミ、販売メーカなどを検索クエリの候補として抽出する。   In another example, when the information processing apparatus 100 receives an image in which a product is drawn, the information processing device 100 extracts the price, sales location, similar product, word-of-mouth, sales maker, and the like of the product as search query candidates.

このように、変形例に係る情報処理装置１００は、被写体に関する各種の情報を出力する。これにより、情報処理装置１００は、被写体に関するバラエティに富んだ情報を出力することができるので、ユーザが所望する検索を可能にすることができる。   As described above, the information processing apparatus 100 according to the modification outputs various types of information regarding the subject. As a result, the information processing apparatus 100 can output a variety of information about the subject, thereby enabling a search desired by the user.

〔２−１２．変形例の効果〕
上述してきたように、変形例に係る情報処理装置１００において、出力部１３３は、ユーザの行動履歴に基づいて検索クエリの候補を出力する。これにより、情報処理装置１００は、ユーザの行動に関わる検索クエリを出力することができるので、ユーザが所望する検索を可能にする検索クエリを提示することができる。 [2-12. Effect of modification)
As described above, in the information processing apparatus 100 according to the modification, the output unit 133 outputs search query candidates based on the user's behavior history. Thereby, since the information processing apparatus 100 can output a search query related to the user's behavior, it is possible to present a search query that enables a search desired by the user.

また、変形例に係る情報処理装置１００において、出力部１３３は、ユーザの行動履歴として、ユーザの検索履歴またはユーザに関するメッセージの履歴に基づいて検索クエリの候補を出力する。これにより、情報処理装置１００は、ユーザが検索やメッセージで用いたキーワードに関わる検索クエリを出力することができるので、ユーザが所望する検索を可能にする検索クエリを高い精度で提示することができる。   In the information processing apparatus 100 according to the modification, the output unit 133 outputs search query candidates based on the user search history or the history of messages about the user as the user action history. As a result, the information processing apparatus 100 can output a search query related to a keyword used by a user in a search or a message, and can therefore present a search query that enables a search desired by the user with high accuracy. .

また、変形例に係る情報処理装置１００において、受付部１３１は、画像として、ユーザが有する端末装置の画面に表示中の画像を受け付ける。これにより、情報処理装置１００は、画面に表示中の画像を受け付けることができるので、ユーザが検索クエリを求める対象の撮影を行なう手間を削減することができる。   In the information processing apparatus 100 according to the modification, the reception unit 131 receives an image being displayed on the screen of the terminal device owned by the user as an image. Thereby, since the information processing apparatus 100 can accept the image being displayed on the screen, it is possible to reduce time and effort for the user to shoot the target for which the search query is requested.

また、変形例に係る情報処理装置１００において、抽出部１３２は、画像のうち所定の割合以上の面積を占める被写体の検索クエリの候補を抽出する。これにより、情報処理装置１００は、画像の中で一定水準を満たす被写体の検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。   Further, in the information processing apparatus 100 according to the modification, the extraction unit 132 extracts a search query candidate for a subject that occupies an area of a predetermined ratio or more in the image. Accordingly, the information processing apparatus 100 can extract a search query candidate for a subject that satisfies a certain level in the image, and thus extracts a search query candidate that enables a search desired by the user with high accuracy. be able to.

また、変形例に係る情報処理装置１００において、抽出部１３２は、画像が撮影された位置を示す位置情報に基づいて、検索クエリの候補を抽出する。これにより、情報処理装置１００は、位置情報を活用して検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。   Further, in the information processing apparatus 100 according to the modification, the extraction unit 132 extracts search query candidates based on position information indicating a position where an image is taken. As a result, the information processing apparatus 100 can extract search query candidates by utilizing position information, and therefore can extract search query candidates that enable a search desired by the user with high accuracy.

また、変形例に係る情報処理装置１００において、抽出部１３２は、画像が撮影された時間を示す時間情報に基づいて、検索クエリの候補を抽出する。これにより、情報処理装置１００は、場所情報を活用して検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。   Further, in the information processing apparatus 100 according to the modification, the extraction unit 132 extracts search query candidates based on time information indicating the time at which an image was captured. As a result, the information processing apparatus 100 can extract search query candidates using location information, and therefore can extract search query candidates that enable a search desired by the user with high accuracy.

また、変形例に係る情報処理装置１００において、出力部１３３は、検索クエリの候補として、テキストデータ、画像データまたは音声データに関する情報を並べたリストを出力する。これにより、情報処理装置１００は、受付部１３１によって受け付けられた画像に基づく検索クエリの候補をデータ形式に関わらず出力することができるので、バラエティに富んだデータが表示されるリストをユーザに提示することができる。   In the information processing apparatus 100 according to the modification, the output unit 133 outputs a list in which information on text data, image data, or audio data is arranged as a search query candidate. As a result, the information processing apparatus 100 can output search query candidates based on the image received by the receiving unit 131 regardless of the data format, and thus presents a list of a variety of data to the user. can do.

また、変形例に係る情報処理装置１００において、抽出部１３２は、受付部１３１によって受け付けられた画像に描出された被写体に関連する特徴から推定される検索クエリの候補を抽出する。これにより、情報処理装置１００は、被写体の各種の特徴に基づいて検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補をより高い精度で抽出することができる。   Further, in the information processing apparatus 100 according to the modification, the extraction unit 132 extracts search query candidates estimated from the characteristics related to the subject depicted in the image received by the reception unit 131. As a result, the information processing apparatus 100 can extract search query candidates based on various characteristics of the subject, so that the search query candidates that enable a search desired by the user can be extracted with higher accuracy. Can do.

また、変形例に係る情報処理装置１００において、出力部１３３は、検索クエリの候補を受付部１３１によって受け付けられた画像上に表示した画像を出力する。これにより、情報処理装置１００は、ユーザから受け付けた画像上に検索クエリの候補を表示することができるので、被写体に対応する検索クエリの候補をユーザに容易に把握させることができる。   Further, in the information processing apparatus 100 according to the modification, the output unit 133 outputs an image in which search query candidates are displayed on an image received by the receiving unit 131. As a result, the information processing apparatus 100 can display search query candidates on the image received from the user, so that the user can easily grasp the search query candidates corresponding to the subject.

また、変形例に係る情報処理装置１００において、出力部１３３は、受付部１３１によって受け付けられた画像上のうち、検索クエリの候補に対応する被写体に基づく位置に検索クエリの候補を表示した画像を出力する。これにより、情報処理装置１００は、ユーザから受け付けた画像上のうち被写体に対応する位置に検索クエリの候補を表示することができるので、被写体に対応する検索クエリの候補をユーザにより容易に把握させることができる。   In the information processing apparatus 100 according to the modification, the output unit 133 displays an image in which the search query candidate is displayed at a position based on the subject corresponding to the search query candidate on the image received by the reception unit 131. Output. As a result, the information processing apparatus 100 can display search query candidates at positions corresponding to the subject in the image received from the user, so that the user can easily grasp the search query candidates corresponding to the subject. be able to.

〔３．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 [3. Others]
In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedures, specific names, and information including various data and parameters shown in the document and drawings can be arbitrarily changed unless otherwise specified.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。   Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.

例えば、上記実施形態において説明した情報処理装置１００が有する受付部１３１、抽出部１３２、出力部１３３によって行われる処理は、端末装置１０によって行われてもよい。一例としては、かかる処理は、端末装置１０にインストールされるアプリケーションによって実行される。この場合、端末装置１０は、画像を受け付ける受付部と、受付部によって受け付けられた画像に基づいて、検索クエリの候補を抽出する抽出部と、抽出部によって抽出された検索クエリの候補を出力する出力部とを備える。   For example, the processing performed by the reception unit 131, the extraction unit 132, and the output unit 133 included in the information processing apparatus 100 described in the above embodiment may be performed by the terminal device 10. As an example, such processing is executed by an application installed in the terminal device 10. In this case, the terminal device 10 outputs an image receiving unit, an extracting unit that extracts search query candidates based on the image received by the receiving unit, and a search query candidate extracted by the extracting unit. And an output unit.

具体的には、端末装置１０は、まず、ユーザによって選択操作がなされることで画像を受け付ける。続いて、端末装置１０は、受け付けられた画像に基づいて、検索クエリの候補を抽出する。例えば、端末装置１０は、受け付けられた画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。一例としては、端末装置１０は、画像との間の類似度が所定の閾値以上である参照画像に対応する検索クエリを候補として抽出する。その後、端末装置１０は、抽出された検索クエリの候補を出力する。例えば、端末装置１０は、類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する。一例としては、端末装置１０は、類似度が高い順に検索クエリの候補を上から表示したリストを端末装置１０が備える表示画面に出力する。これにより、端末装置１０は、サーバとの通信を行なわなくても画像に基づく検索クエリの候補を抽出して表示することができる。言い換えると、端末装置１０内で画像に基づく検索クエリの候補を出力する処理を実現することができる。   Specifically, the terminal device 10 first accepts an image by performing a selection operation by the user. Subsequently, the terminal device 10 extracts search query candidates based on the received image. For example, the terminal device 10 extracts search query candidates based on the similarity between the received image feature amount and the reference image feature amount associated with the search query and stored in the storage unit. . As an example, the terminal device 10 extracts, as candidates, a search query corresponding to a reference image whose similarity with an image is equal to or greater than a predetermined threshold. Thereafter, the terminal device 10 outputs the extracted search query candidates. For example, the terminal device 10 outputs a list in which search query candidates are displayed in an order based on the similarity. As an example, the terminal device 10 outputs a list in which search query candidates are displayed from the top in descending order of similarity on a display screen included in the terminal device 10. Thereby, the terminal device 10 can extract and display the search query candidates based on the image without performing communication with the server. In other words, it is possible to realize processing for outputting search query candidates based on images in the terminal device 10.

他の例では、上記実施形態において説明した受付部１３１、出力部１３３によって行われる処理は端末装置１０によって実行され、抽出部１３２によって行われる処理は情報処理装置１００によって行われてもよい。この場合、情報処理装置１００は、受付部１３１および出力部１３３を備えずに抽出部１３２を備える。端末装置１０は、画像を受け付ける受付部と、情報処理装置１００の抽出部１３２によって抽出された検索クエリの候補を出力する出力部とを備える。   In another example, the processing performed by the reception unit 131 and the output unit 133 described in the above embodiment may be performed by the terminal device 10, and the processing performed by the extraction unit 132 may be performed by the information processing device 100. In this case, the information processing apparatus 100 includes the extraction unit 132 without including the reception unit 131 and the output unit 133. The terminal device 10 includes a reception unit that receives an image and an output unit that outputs search query candidates extracted by the extraction unit 132 of the information processing device 100.

具体的には、端末装置１０は、まず、ユーザによって選択操作がなされることで画像を受け付ける。続いて、端末装置１０は、受け付けた画像に関する情報を情報処理装置１００に送信する。例えば、端末装置１０は、画像に関する情報として、画像の特徴量など画像そのものなどを情報処理装置１００に送信する。これにより、情報処理装置１００は、画像に関する情報を端末装置１０から受信する。そして、情報処理装置１００は、受信した画像に関する情報に基づいて、検索クエリの候補を抽出する。例えば、情報処理装置１００は、受信した画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。その後、情報処理装置１００は、抽出された検索クエリの候補に関する情報を端末装置１０に送信する。これにより、端末装置１０は、検索クエリの候補に関する情報を情報処理装置１００から受信する。そして、端末装置１０は、情報処理装置１００によって抽出された検索クエリの候補を端末装置１０が備える表示画面に出力する。これにより、情報処理装置１００は、サーバ側で検索クエリの候補を抽出することができるので、端末装置１０側の処理負荷を軽減することができる。   Specifically, the terminal device 10 first accepts an image by performing a selection operation by the user. Subsequently, the terminal apparatus 10 transmits information regarding the received image to the information processing apparatus 100. For example, the terminal device 10 transmits the image itself such as the feature amount of the image to the information processing apparatus 100 as information about the image. As a result, the information processing apparatus 100 receives information about the image from the terminal apparatus 10. Then, the information processing apparatus 100 extracts search query candidates based on the received information about the image. For example, the information processing apparatus 100 extracts a search query candidate based on the similarity between the received image feature amount and the reference image feature amount associated with the search query and stored in the storage unit. . Thereafter, the information processing apparatus 100 transmits information related to the extracted search query candidates to the terminal apparatus 10. As a result, the terminal device 10 receives information related to the search query candidate from the information processing device 100. Then, the terminal device 10 outputs the search query candidates extracted by the information processing device 100 to the display screen included in the terminal device 10. Thereby, since the information processing apparatus 100 can extract search query candidates on the server side, the processing load on the terminal apparatus 10 side can be reduced.

また、他の例では、図３に示した検索クエリ情報記憶部１２１は、情報処理装置１００が保持せずに、ストレージサーバ等に保持されてもよい。この場合、情報処理装置１００は、ストレージサーバにアクセスすることで、検索クエリに関する情報を取得する。   In another example, the search query information storage unit 121 illustrated in FIG. 3 may be stored in a storage server or the like without being stored in the information processing apparatus 100. In this case, the information processing apparatus 100 acquires information related to the search query by accessing the storage server.

また、情報処理装置１００は、出力処理は行わず、抽出処理のみを行う情報処理装置であってもよい。この場合、情報処理装置１００は、出力部１３３を有しない。そして、出力部１３３を有する出力装置が情報処理装置１００によって抽出された検索クエリの候補を出力する。   Further, the information processing apparatus 100 may be an information processing apparatus that performs only an extraction process without performing an output process. In this case, the information processing apparatus 100 does not have the output unit 133. Then, the output device having the output unit 133 outputs search query candidates extracted by the information processing device 100.

また、上述してきた実施形態に係る情報処理装置１００は、例えば図８に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１００を例に挙げて説明する。図８は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、およびメディアインターフェイス（Ｉ／Ｆ）１７００を有する。   Further, the information processing apparatus 100 according to the embodiment described above is realized by a computer 1000 having a configuration as shown in FIG. 8, for example. Hereinafter, the information processing apparatus 100 will be described as an example. FIG. 8 is a hardware configuration diagram illustrating an example of a computer 1000 that implements the functions of the information processing apparatus 100. The computer 1000 includes a CPU 1100, RAM 1200, ROM 1300, HDD 1400, communication interface (I / F) 1500, input / output interface (I / F) 1600, and media interface (I / F) 1700.

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。   The CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400 and controls each unit. The ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started up, a program depending on the hardware of the computer 1000, and the like.

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。   The HDD 1400 stores programs executed by the CPU 1100, data used by the programs, and the like. The communication interface 1500 receives data from other devices via the network N and sends the data to the CPU 1100, and transmits data generated by the CPU 1100 to other devices via the network N.

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。   The CPU 1100 controls an output device such as a display and a printer and an input device such as a keyboard and a mouse via the input / output interface 1600. The CPU 1100 acquires data from the input device via the input / output interface 1600. In addition, the CPU 1100 outputs the generated data to the output device via the input / output interface 1600.

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disk）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。   The media interface 1700 reads a program or data stored in the recording medium 1800 and provides it to the CPU 1100 via the RAM 1200. The CPU 1100 loads such a program from the recording medium 1800 onto the RAM 1200 via the media interface 1700, and executes the loaded program. The recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disk) or PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.

例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。   For example, when the computer 1000 functions as the information processing apparatus 100 according to the embodiment, the CPU 1100 of the computer 1000 implements the function of the control unit 130 by executing a program loaded on the RAM 1200. The HDD 1400 stores data in the storage unit 120. The CPU 1100 of the computer 1000 reads these programs from the recording medium 1800 and executes them. However, as another example, these programs may be acquired from other devices via the network N.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の概要の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。   As described above, some of the embodiments of the present application have been described in detail with reference to the drawings. However, these are merely examples, and various modifications based on the knowledge of those skilled in the art, including the aspects described in the Summary of Invention section. It is possible to implement the present invention in other forms with improvements.

また、上述した情報処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。   In addition, the information processing apparatus 100 described above may be realized by a plurality of server computers, and depending on the function, an external platform or the like may be realized by calling an API (Application Programming Interface) or network computing. Can be changed flexibly.

また、特許請求の範囲に記載した「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、受付部は、受付手段や受付回路に読み替えることができる。   Further, “section (module, unit)” described in the claims can be read as “means”, “circuit”, and the like. For example, the reception unit can be read as reception means or a reception circuit.

１ 提示システム
１０ 端末装置
５０ 検索サーバ
１００ 情報処理装置
１２１ 検索クエリ情報記憶部
１３１ 受付部
１３２ 抽出部
１３３ 出力部 DESCRIPTION OF SYMBOLS 1 Presentation system 10 Terminal device 50 Search server 100 Information processing apparatus 121 Search query information storage part 131 Reception part 132 Extraction part 133 Output part

Claims (14)

画像を受け付ける受付部と、
前記受付部によって受け付けられた画像に基づいて、検索クエリの候補を抽出する抽出部と、
前記受付部によって前記画像が受け付けられる時点より以前のウェブサービスの利用履歴又はアプリケーションの利用履歴に基づいて、前記抽出部によって抽出された検索クエリの候補の中からクエリを出力する出力部と
を備えたことを特徴とする情報処理装置。 A reception unit for receiving images;
An extraction unit that extracts search query candidates based on the image received by the reception unit;
An output unit that outputs a query from search query candidates extracted by the extraction unit based on a web service usage history or an application usage history before the time when the image is received by the reception unit. An information processing apparatus characterized by that. 前記抽出部は、
前記画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する
ことを特徴とする請求項１に記載の情報処理装置。 The extraction unit includes:
A feature value of the image, to claim 1, characterized in that to extract the candidate of a search query based on the similarity between the feature quantity of the reference image stored in the storage unit associated with the search query The information processing apparatus described. 前記出力部は、
前記画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいた順序で前記検索クエリの候補が表示されるリストを出力する
ことを特徴とする請求項１または２に記載の情報処理装置。 The output unit is
Outputting a list in which candidates for the search query are displayed in an order based on the similarity between the feature amount of the image and the feature amount of the reference image associated with the search query and stored in the storage unit the information processing apparatus according to claim 1 or 2, characterized in. 前記受付部は、
前記画像として、検索対象が撮影された撮影画像を受け付ける
ことを特徴とする請求項１〜３のいずれか一つに記載の情報処理装置。 The reception unit
The image as information processing apparatus according to any one of claims 1-3, characterized in that to accept the captured image is searched was taken. 前記受付部は、
前記画像として、ユーザが有する端末装置の画面に表示中の画像を受け付ける
ことを特徴とする請求項１〜４のいずれか一つに記載の情報処理装置。 The reception unit
The image as information processing apparatus according to any one of claims 1-4, characterized in that to accept the image being displayed on the screen of the terminal device having a user. 前記抽出部は、
前記画像のうち所定の割合以上の面積を占める被写体の検索クエリの候補を抽出する
ことを特徴とする請求項１〜５のいずれか一つに記載の情報処理装置。 The extraction unit includes:
The information processing apparatus according to any one of claims 1-5, characterized in that to extract the candidate of a search query of the subject occupies a predetermined proportion or more of the area of the image. 前記抽出部は、
前記画像が撮影された位置を示す位置情報に基づいて、検索クエリの候補を抽出する
ことを特徴とする請求項１〜６のいずれか一つに記載の情報処理装置。 The extraction unit includes:
Based on the position information indicating the position where the image was captured, the information processing apparatus according to any one of claims 1-6, characterized in that to extract the candidate of a search query. 前記抽出部は、
前記画像が撮影された時間を示す時間情報に基づいて、検索クエリの候補を抽出する
ことを特徴とする請求項１〜７のいずれか一つに記載の情報処理装置。 The extraction unit includes:
Based on the time information indicating the time at which the image was captured, the information processing apparatus according to any one of claims 1-7, characterized in that to extract the candidate of a search query. 前記出力部は、
前記検索クエリの候補として、テキストデータ、画像データまたは音声データに関する情報を並べたリストを出力する
ことを特徴とする請求項１〜８のいずれか一つに記載の情報処理装置。 The output unit is
The information processing apparatus according to any one of claims 1 to 8 , wherein a list in which information on text data, image data, or audio data is arranged is output as the search query candidate. 前記抽出部は、
前記画像に描出された被写体に関連する特徴から推定される検索クエリの候補を抽出する
ことを特徴とする請求項１〜９のいずれか一つに記載の情報処理装置。 The extraction unit includes:
The information processing apparatus according to any one of claims 1-9, characterized in that to extract the candidate of a search query which is estimated from the feature associated with the subject being depicted in the image. 前記出力部は、
前記検索クエリの候補を前記画像上に表示した画像を出力する
ことを特徴とする請求項１〜１０のいずれか一つに記載の情報処理装置。 The output unit is
The information processing apparatus according to any one of claims 1 to 10 , wherein an image in which the search query candidates are displayed on the image is output. 前記出力部は、
前記画像上のうち、前記検索クエリの候補に対応する被写体に基づく位置に当該検索クエリの候補を表示した画像を出力する
ことを特徴とする請求項１〜１１のいずれか一つに記載の情報処理装置。 The output unit is
The information according to any one of claims 1 to 11 , wherein an image displaying the search query candidate at a position based on a subject corresponding to the search query candidate is output on the image. Processing equipment. 情報処理装置が実行する情報処理方法であって、
画像を受け付ける受付工程と、
前記受付工程によって受け付けられた画像に基づいて、検索クエリの候補を抽出する抽出工程と、
前記受付工程によって前記画像が受け付けられる時点より以前のウェブサービスの利用履歴又はアプリケーションの利用履歴に基づいて、前記抽出工程によって抽出された検索クエリの候補の中からクエリを出力する出力工程と
を含んだことを特徴とする情報処理方法。 An information processing method executed by an information processing apparatus,
A reception process for receiving images;
An extraction step of extracting search query candidates based on the image received by the reception step;
An output step of outputting a query from search query candidates extracted by the extraction step based on a web service usage history or an application usage history before the time when the image is received by the receiving step. An information processing method characterized by that. 画像を受け付ける受付手順と、
前記受付手順によって受け付けられた画像に基づいて、検索クエリの候補を抽出する抽出手順と、
前記受付手順によって前記画像が受け付けられる時点より以前のウェブサービスの利用履歴又はアプリケーションの利用履歴に基づいて、前記抽出手順によって抽出された検索クエリの候補の中からクエリを出力する出力手順と
をコンピュータに実行させることを特徴とする情報処理プログラム。 Acceptance procedure to accept images,
An extraction procedure for extracting search query candidates based on the image accepted by the acceptance procedure;
An output procedure for outputting a query from the search query candidates extracted by the extraction procedure based on a web service usage history or an application usage history before the time when the image is received by the reception procedure. An information processing program to be executed.

Images