JP6204957B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

近年、データの集合の中から目的とするデータを探し出す検索技術が知られている。このような検索に関する技術として、画像コンテンツを用いて、画像に描出された対象物の検索を行なう技術が知られている。例えば、このような技術では、ユーザ端末から入力された位置情報付きの検索クエリ画像内のランドマークの名称を検索クエリとした検索結果を受信する。

特開２０１０−２２４７４５号公報

しかしながら、上記の従来技術では、ユーザが所望する検索結果を得ることができるとは限らなかった。例えば、上記の従来技術では、ユーザ端末から入力された位置情報付きの検索クエリ画像内の特徴情報に基づいて検索クエリ画像内のランドマークを推測し、推測したランドマークの名称を検索クエリとして検索を行なう。このため、検索クエリがユーザの所望するものではない場合がある。このようなことから、上記の従来技術では、ユーザが所望する検索結果を得ることができるとは限らなかった。

本願は、上記に鑑みてなされたものであって、ユーザが所望する検索を可能にすることができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

本願に係る情報処理装置は、画像を受け付ける受付部と、前記受付部によって受け付けられた画像に基づいて、検索クエリの候補を抽出する抽出部と、前記抽出部によって抽出された検索クエリの候補を出力する出力部とを備えたことを特徴とする。

実施形態の一態様によれば、ユーザが所望する検索を可能にすることができるという効果を奏する。

図１は、実施形態に係る情報処理装置による提示処理の一例を示す説明図である。 図２は、実施形態に係る提示システムの構成例を示す図である。 図３は、実施形態に係る情報処理装置の構成例を示す図である。 図４は、実施形態に係る検索クエリ情報記憶部の一例を示す図である。 図５は、提示システムによる提示処理手順を示すシーケンスである。 図６は、被写体が複数の場合の表示画面の一例を示す図である。 図７は、検索クエリが画像の場合の表示画面の一例を示す図である。 図８は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理装置、情報処理方法および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法および情報処理プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．実施形態〕
〔１−１．実施形態に係る提示処理〕
まず、図１を用いて、実施形態に係る提示処理の一例について説明する。図１は、実施形態に係る情報処理装置１００による提示処理の一例を示す説明図である。図１の例では、ユーザが有する端末装置１０から入力された画像に基づいて検索クエリの候補を提示する提示処理が行われる。

まず、端末装置１０を有するユーザは、被写体Ｏｂ１の撮影を行なう。具体的には、ユーザは、検索クエリの候補を望む被写体Ｏｂ１の方向にカメラを向ける。そして、ユーザは、図１の（ａ）に示すように、端末装置１０の表示画面Ｗｉに表示されるＡＦ（Auto Focus）枠Ｆｒの内側に被写体Ｏｂ１を収めることで被写体Ｏｂ１にピントを合わせる。そして、ユーザは、被写体Ｏｂ１にピントを合わせた状態で撮影ボタンＢｔ１を押下する。これにより、端末装置１０は、被写体Ｏｂ１が描出された画像Ｐ１を生成する。

続いて、ユーザは、図１の（ｂ）に示すように、端末装置１０の表示画面Ｗｉに表示される画像Ｐ１のうち被写体Ｏｂ１の顔を含む部分の範囲を指定して画像ＴＰを選択する。そして、ユーザは、画像ＴＰを選択した状態で検索ボタンＢｔ２を押下する。これにより、端末装置１０は、情報処理装置１００に画像ＴＰを送信する。

そして、情報処理装置１００は、画像ＴＰを端末装置１０から受け付ける。続いて、情報処理装置１００は、受け付けられた画像ＴＰに基づいて、検索クエリの候補を抽出する。具体的には、情報処理装置１００は、画像ＴＰの特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。例えば、情報処理装置１００は、画像ＴＰに描出された被写体Ｏｂ１の顔の特徴量と、参照画像に描出された人物の顔の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。一例としては、情報処理装置１００は、画像ＴＰとの間の類似度が所定の閾値以上である参照画像に対応する名称などのキーワードを検索クエリの候補として抽出する。

続いて、情報処理装置１００は、抽出された検索クエリの候補を出力する。具体的には、情報処理装置１００は、類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する。例えば、情報処理装置１００は、類似度が高い順に検索クエリの候補を上から表示したリストを端末装置１０に出力する。これにより、端末装置１０は、図１の（ｃ）に示すように、類似度が高い順に検索クエリの候補ＳＱ１〜ＳＱ５が掲載されたリストＬｉを表示画面Ｗｉに表示する。この結果、情報処理装置１００は、ユーザが所望する検索クエリの候補を端末装置１０に提示することができる。

その後、端末装置１０は、例えば、ユーザによって検索クエリの候補ＳＱ１が選択された場合に、選択された検索クエリの候補ＳＱ１に対応する「Ａ男」について検索を行なった検索結果の要求を検索サーバ５０に送信する。続いて、端末装置１０は、検索結果の要求の応答として、「Ａ男」について検索を行なった検索結果ＳＲを受信する。そして、端末装置１０は、図１の（ｄ）に示すように、受信した「Ａ男」についての検索結果ＳＲを表示画面Ｗｉに表示する。

このように、実施形態に係る情報処理装置１００は、画像を受け付ける。また、情報処理装置１００は、受け付けられた画像に基づいて、検索クエリの候補を抽出する。また、情報処理装置１００は、抽出された検索クエリの候補を出力する。

これにより、情報処理装置１００は、画像に基づいて検索クエリの候補を提示することができるので、ユーザが所望する検索を可能にすることができる。例えば、情報処理装置１００は、ユーザが検索を所望するキーワードを抽出することができるので、ユーザの意思を言語化することができる。一例としては、情報処理装置１００は、画像に描出された被写体の名称などをユーザに提示することができる。

また、情報処理装置１００は、検索クエリの候補が表示されたリストをユーザに提示することができるので、検索クエリをユーザに容易に把握させることができる。例えば、情報処理装置１００は、被写体の名称などといった被写体に関する各種の情報を提示することができるので、被写体について深く知りたいユーザなどにとって有益な情報を提供することができる。

〔１−２．実施形態に係る提示システムの構成〕
次に、図２を用いて、実施形態に係る提示システム１の構成について説明する。図２は、実施形態に係る提示システム１の構成例を示す図である。図２に示すように、提示システム１には、端末装置１０と、情報処理装置１００と、検索サーバ５０とが含まれる。端末装置１０と、情報処理装置１００と、検索サーバ５０とは、それぞれネットワークＮと有線または無線により通信可能に接続される。

端末装置１０は、スマートフォンや、携帯電話機、タブレット型端末や、ＰＤＡ（Personal Digital Assistant）や、ノート型ＰＣ（Personal Computer）等の情報処理装置である。端末装置１０は、各種の機能（例えば、検索クエリの提示機能）を利用するユーザによって所有される。具体的には、端末装置１０は、ユーザによって選択された画像を情報処理装置１００に送信する。

情報処理装置１００は、検索クエリの候補を出力するサーバ装置である。具体的には、情報処理装置１００は、端末装置１０から受け付けた画像に基づいて検索クエリの候補を抽出し、抽出した検索クエリの候補を端末装置１０に出力する。

検索サーバ５０は、検索クエリについて検索を行なった検索結果を出力するサーバ装置である。具体的には、検索サーバ５０は、検索クエリの検索結果の要求を端末装置１０から受信する。そして、検索サーバ５０は、受信した要求の応答として検索クエリの検索結果を端末装置１０に送信する。

なお、図２では、提示システム１に、１台の端末装置１０と、１台の情報処理装置１００と、１台の検索サーバ５０とが含まれる例を示したが、提示システム１には、複数台の端末装置１０や、複数台の情報処理装置１００や、複数台の検索サーバ５０が含まれてもよい。

〔１−３．実施形態に係る情報処理装置の構成〕
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００を利用する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、ネットワークと有線または無線で接続され、ネットワークを介して、端末装置１０との間で情報の送受信を行う。例えば、通信部１１０は、ネットワークを介して、端末装置１０との間で画像や検索クエリの候補の送受信を行う。

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、検索クエリ情報記憶部１２１を有する。

（検索クエリ情報記憶部１２１について）
検索クエリ情報記憶部１２１は、検索クエリに関する情報を記憶する。具体的には、検索クエリ情報記憶部１２１は、検索クエリ毎に、検索クエリに対応するキーワードや画像を記憶する。ここで、図４に、実施形態に係る検索クエリ情報記憶部１２１の一例を示す。図４に示すように、検索クエリ情報記憶部１２１は、「検索クエリＩＤ」、「キーワード」および「画像」といった項目を有する。

「検索クエリＩＤ」は、検索クエリを識別するための識別情報を示す。例えば、「検索クエリＩＤ」には、検索クエリごとに割り当てられる固有の英数字等の識別子が記憶される。「キーワード」は、検索クエリに対応するキーワードを示す。例えば、「キーワード」には、検索クエリを表現する文字列等が記憶される。「画像」は、検索クエリに対応する画像を示す。例えば、「画像」には、検索クエリに対応するものが描出された参照画像が記憶される。一例としては、「画像」には、検索クエリに対応するものが様々な角度から撮影された複数の参照画像が記憶される。なお、「画像」には、図に示す複数の参照画像に限らず、任意の数の参照画像が記憶される。また、図４では「画像」に「ＲＰ１１」といった概念的な情報が格納される例を示したが、実際には、静止画像や画像の格納場所を示すファイルパス名などが格納される。

すなわち、図４では、検索クエリＩＤ「Ｑ１」によって識別される検索クエリに対応するキーワードは、「Ａ男」である例を示している。また、検索クエリＩＤ「Ｑ１」によって識別される検索クエリに対応する画像は、「ＲＰ１１」、「ＲＰ１２」、「ＲＰ１３」などである例を示している。

（制御部１３０について）
図３に戻り、制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

制御部１３０は、図３に示すように、受付部１３１と、抽出部１３２と、出力部１３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する提示処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。

（受付部１３１について）
受付部１３１は、画像を受け付ける。具体的には、受付部１３１は、ユーザが検索クエリを所望する対象が描出された画像を端末装置１０から受け付ける。より具体的には、受付部１３１は、ユーザによって選択された画像を端末装置１０から受信することで画像を受け付ける。例えば、受付部１３１は、画像として、ユーザが検索クエリを所望する対象が撮影された撮影画像を受け付ける。一例としては、受付部１３１は、ユーザによって撮影ボタンが押下されたタイミングでモニタに表示されている画像を撮影画像として受け付ける。

（抽出部１３２について）
抽出部１３２は、受付部１３１によって受け付けられた画像に基づいて、検索クエリの候補を抽出する。具体的には、抽出部１３２は、画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。例えば、抽出部１３２は、まず、検索クエリ情報記憶部１２１を参照し、受付部１３１によって受け付けられた画像と各参照画像とを照合することで類似度を算出する。そして、抽出部１３２は、類似度が高い参照画像に対応するキーワードを検索クエリの候補として優先して抽出する。一例としては、抽出部１３２は、画像との間の類似度が所定の閾値以上である参照画像に対応するキーワードを検索クエリの候補として抽出する。一態様としては、抽出部１３２は、受付部１３１によって受け付けられた画像に人物の顔が描出されている場合には、人物の顔が描出された参照画像が人物ごとに記憶された記憶部を参照し、画像に描出された被写体の顔の特徴量と、参照画像に描出された人物の顔の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。

（出力部１３３について）
出力部１３３は、抽出部１３２によって抽出された検索クエリの候補を出力する。具体的には、出力部１３３は、検索クエリの候補が表示されたリストを端末装置１０に対して出力する。例えば、出力部１３３は、受け付けた画像の特徴量と検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する。一例としては、出力部１３３は、抽出部１３２によって抽出された参照画像に対応するキーワードを類似度が高い順に上から表示したリストを端末装置１０に出力する。これにより、端末装置１０は、出力部１３３によって出力されたリストを表示画面に表示する。

〔１−４．実施形態に係る提示処理手順〕
次に、図５を用いて、実施形態に係る提示システム１による処理の手順について説明する。図５は、実施形態に係る提示システム１による提示処理手順を示すシーケンスである。

図５に示すように、端末装置１０は、画像を選択する（ステップＳ１０１）。例えば、端末装置１０は、ユーザが検索クエリを所望する被写体を撮影した画像を選択する。そして、情報処理装置１００は、画像を受け付ける（ステップＳ１０２）。例えば、情報処理装置１００は、ユーザによって選択された画像を端末装置１０から受信することで画像を受け付ける。

その後、情報処理装置１００は、受け付けられた画像に基づいて、検索クエリの候補を抽出する（ステップＳ１０３）。具体的には、情報処理装置１００は、受け付けられた画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。一例としては、情報処理装置１００は、画像との間の類似度が所定の閾値以上である参照画像に対応する検索クエリを候補として抽出する。

続いて、情報処理装置１００は、抽出された検索クエリの候補を出力する（ステップＳ１０４）。具体的には、情報処理装置１００は、類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する。例えば、情報処理装置１００は、類似度が高い順に検索クエリの候補を上から表示したリストを端末装置１０に出力する。

これにより、端末装置１０は、検索クエリの候補を情報処理装置１００から受信する。そして、端末装置１０は、情報処理装置１００から出力された検索クエリの候補を表示する（ステップＳ１０５）。例えば、端末装置１０は、類似度が高い順に検索クエリの候補を上から表示したリストを表示する。

その後、端末装置１０は、ユーザによって検索クエリの候補が選択された場合に（ステップＳ１０６）、選択された検索クエリの候補についての検索結果の要求を検索サーバ５０に送信する（ステップＳ１０７）。これにより、検索サーバ５０は、検索クエリの検索結果の要求を端末装置１０から受信する。

続いて、検索サーバ５０は、受信した要求が示す検索クエリについて検索を行なう。そして、検索サーバ５０は、端末装置１０からの要求の応答として、検索クエリについての検索結果を端末装置１０に送信する（ステップＳ１０８）。これにより、端末装置１０は、検索クエリについての検索結果を検索サーバ５０から受信する。そして、端末装置１０は、受信した検索結果を表示する（ステップＳ１０９）。

〔１−５．実施形態の効果〕
上述してきたように、実施形態に係る情報処理装置１００は、受付部１３１と、抽出部１３２と、出力部１３３とを有する。受付部１３１は、画像を受け付ける。抽出部１３２は、受付部１３１によって受け付けられた画像に基づいて、検索クエリの候補を抽出する。出力部１３３は、抽出部１３２によって抽出された検索クエリの候補を出力する。

これにより、情報処理装置１００は、画像に基づいて検索クエリの候補を提示することができるので、ユーザが所望する検索を可能にすることができる。例えば、情報処理装置１００は、ユーザが検索を所望するキーワードを抽出することができるので、ユーザの意思を言語化することができる。一例としては、情報処理装置１００は、画像に描出された被写体の名称などをユーザに提示することができる。

また、情報処理装置１００は、検索クエリの候補が表示されたリストをユーザに提示することができるので、検索クエリをユーザに容易に把握させることができる。例えば、情報処理装置１００は、被写体の名称など被写体に関する各種の情報を提示することができるので、被写体について深く知りたいユーザなどに有益な情報を提供することができる。

また、実施形態に係る情報処理装置１００において、抽出部１３２は、画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。これにより、情報処理装置１００は、受け付けた画像と類似する参照画像に対応する検索クエリを抽出することができるので、ユーザが所望する検索を高い精度で可能にすることができる。

また、実施形態に係る情報処理装置１００において、出力部１３３は、類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する。これにより、情報処理装置１００は、ユーザが所望する検索である可能性が高い検索クエリの候補をユーザに見易く提示することができるので、ユーザの利便性を向上させることができる。

また、実施形態に係る情報処理装置１００において、受付部１３１は、画像として、検索対象が撮影された撮影画像を受け付ける。これにより、情報処理装置１００は、ユーザが対象を撮影するだけで容易に画像を受け付けることができるので、ユーザが検索を所望する対象の検索クエリを迅速かつ容易にユーザに提示することができる。

〔２．変形例〕
上述した実施形態に係る情報処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の情報処理装置１００の他の実施形態について説明する。

〔２−１．行動履歴に基づく検索クエリ〕
上記の実施形態では、情報処理装置１００が類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する例を挙げて説明した。ここで、情報処理装置１００は、各種の情報に基づいて検索クエリの候補を出力してもよい。

具体的には、情報処理装置１００の出力部１３３は、ユーザの行動履歴に基づいて検索クエリの候補を出力する。例えば、情報処理装置１００は、ユーザの行動履歴として、ユーザの検索履歴またはユーザに関するメッセージの履歴に基づいて検索クエリの候補を出力する。一例としては、情報処理装置１００は、ユーザが直近に検索したキーワードに関連する検索クエリほど優先して出力する。他の例では、情報処理装置１００は、ユーザが直近に送受信したメッセージに含まれるキーワードに関連する検索クエリほど優先して出力する。他の例では、情報処理装置１００は、ユーザの行動履歴として、ウェブサービスの利用履歴やアプリケーションの利用履歴に基づいて検索クエリの候補を出力する。例えば、情報処理装置１００は、ユーザが直近に利用したオンラインショッピングやオークション、動画配信サービス、音楽配信サービス、地図情報提供サービス、予約サービスなどといった各種のウェブサービスやアプリケーションに関連する検索クエリほど優先して出力する。一態様としては、情報処理装置１００は、ユーザの行動履歴に基づく優先度が高い検索クエリほど上から表示されるリストを出力する。なお、情報処理装置１００は、ユーザの趣味や嗜好を示すユーザ属性に基づいて検索クエリの候補を出力してもよい。

このように、変形例に係る情報処理装置１００は、ユーザの行動履歴に基づいて検索クエリの候補を出力する。これにより、情報処理装置１００は、ユーザの行動に関わる検索クエリを出力することができるので、ユーザが所望する検索を可能にする検索クエリを提示することができる。

また、変形例に係る情報処理装置１００は、ユーザの行動履歴として、ユーザの検索履歴またはユーザに関するメッセージの履歴に基づいて検索クエリの候補を出力する。これにより、情報処理装置１００は、ユーザが検索やメッセージで用いたキーワードに関わる検索クエリを出力することができるので、ユーザが所望する検索を可能にする検索クエリを高い精度で提示することができる。

〔２−２．入力画像〕
上記の実施形態では、情報処理装置１００が画像として、検索対象が撮影された撮影画像を受け付ける例を挙げて説明した。ここで、情報処理装置１００は、ユーザによって撮影された撮影画像に限らず、各種の画像を受け付けてもよい。

具体的には、情報処理装置１００の受付部１３１は、画像として、ユーザが有する端末装置１０の画面に表示中の画像を受け付ける。より具体的には、情報処理装置１００は、ユーザが撮影ボタンを押す前のタイミングで画面に表示されている画像を端末装置１０から受け付ける。他の例では、情報処理装置１００は、撮影画像や撮影前のタイミングで画面に表示中の画像に限らず、インターネットを介してダウンロードされた画像やキャプチャされた画像などを端末装置１０から受け付けてもよい。

このように、変形例に係る情報処理装置１００は、画像として、ユーザが有する端末装置の画面に表示中の画像を受け付ける。これにより、情報処理装置１００は、画面に表示中の画像を受け付けることができるので、ユーザが検索クエリを求める対象の撮影を行なう手間を削減することができる。

〔２−３．被写体の面積に応じて検索クエリの候補を抽出〕
上記の実施形態では、情報処理装置１００が受付部１３１によって受け付けられた画像に基づいて検索クエリの候補を抽出する例を挙げて説明した。ここで、情報処理装置１００は、各種の条件に基づいて検索クエリの候補を抽出してもよい。

具体的には、情報処理装置１００の抽出部１３２は、受付部１３１によって受け付けられた画像のうち所定の割合以上の面積を占める被写体の検索クエリの候補を抽出する。例えば、情報処理装置１００は、受付部１３１によって受け付けられた画像のうち３０％以上の面積を占める被写体をユーザが検索クエリを所望する対象として検索クエリの候補を抽出する。一態様としては、情報処理装置１００は、所定の割合以上の面積を占める被写体が複数ある場合には、被写体ごとに検索クエリの候補を抽出する。他の態様としては、情報処理装置１００は、被写体が人物である場合には、画像に描出されている全ての人物の検索クエリの候補を抽出する。

このように、変形例に係る情報処理装置１００は、画像のうち所定の割合以上の面積を占める被写体の検索クエリの候補を抽出する。これにより、情報処理装置１００は、画像の中で一定水準を満たす被写体の検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。

〔２−４．位置情報に基づいて検索クエリの候補を抽出〕
上記の実施形態では、情報処理装置１００が受付部１３１によって受け付けられた画像の特徴量と検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する例を挙げて説明した。ここで、情報処理装置１００は、類似度に限らず、各種の情報に基づいて検索クエリの候補を抽出してもよい。

具体的には、情報処理装置１００の抽出部１３２は、受付部１３１によって受け付けられた画像が撮影された位置を示す位置情報に基づいて、検索クエリの候補を抽出する。例えば、情報処理装置１００は、画像が撮影された場所と関わりが深い検索クエリを優先して抽出する。一例としては、情報処理装置１００は、画像に建物が描出されている場合に、かかる画像が撮影された場所から推定される建物に関する情報を検索クエリの候補として抽出する。

このように、変形例に係る情報処理装置１００は、画像が撮影された位置を示す位置情報に基づいて、検索クエリの候補を抽出する。これにより、情報処理装置１００は、位置情報を活用して検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。

〔２−５．時間情報に基づいて検索クエリの候補を抽出〕
上記の変形例では、情報処理装置１００が受付部１３１によって受け付けられた画像が撮影された位置を示す位置情報に基づいて検索クエリの候補を抽出する例を挙げて説明した。ここで、情報処理装置１００は、位置情報に限らず、各種の情報に基づいて検索クエリの候補を抽出してもよい。

具体的には、情報処理装置１００の抽出部１３２は、受付部１３１によって受け付けられた画像が撮影された時間を示す時間情報に基づいて、検索クエリの候補を抽出する。例えば、情報処理装置１００は、画像が撮影された時間と関わりが深い検索クエリを優先して抽出する。一例としては、情報処理装置１００は、１１時から１４時の昼食時や１７時から２２時の夕食時の時間帯などに繁華街が描出された画像が撮影された場合に、かかる繁華街に存在する飲食店に関する情報を検索クエリの候補として抽出する。

他の例では、情報処理装置１００は、季節に応じて検索クエリの候補を抽出する。一例としては、情報処理装置１００は、７月〜８月など夏に山が描出された画像が撮影された場合に、かかる山の登山に関する情報を検索クエリの候補として抽出する。一方、情報処理装置１００は、１２月〜２月など冬に山が描出された画像が撮影された場合に、かかる山のウィンタースポーツに関する情報を検索クエリの候補として抽出する。

このように、変形例に係る情報処理装置１００は、画像が撮影された時間を示す時間情報に基づいて、検索クエリの候補を抽出する。これにより、情報処理装置１００は、場所情報を活用して検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。

〔２−６．リスト〕
上記の実施形態では、情報処理装置１００が受付部１３１によって受け付けられた画像の特徴量と検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する例を挙げて説明した。ここで、情報処理装置１００は、各種のデータ形式の検索クエリの候補が表示されるリストを出力してもよい。

具体的には、情報処理装置１００の出力部１３３は、検索クエリの候補として、テキストデータ、画像データまたは音声データに関する情報を並べたリストを出力する。例えば、情報処理装置１００は、検索クエリの候補として、キーワード、画像、音声が並べられたリストを端末装置１０に出力する。

このように、変形例に係る情報処理装置１００は、検索クエリの候補として、テキストデータ、画像データまたは音声データに関する情報を並べたリストを出力する。これにより、情報処理装置１００は、受付部１３１によって受け付けられた画像に基づく検索クエリの候補をデータ形式に関わらず出力することができるので、バラエティに富んだデータが表示されるリストをユーザに提示することができる。

〔２−７．被写体に関連する特徴に基づいて検索クエリの候補を抽出〕
上記の実施形態では、情報処理装置１００が受付部１３１によって受け付けられた画像に描出された被写体の顔の特徴量と参照画像に描出された被写体の顔の特徴量との間の類似度に基づいて検索クエリの候補を抽出する例を挙げて説明した。ここで、情報処理装置１００は、被写体の顔に限らず、各種の情報に基づいて検索クエリの候補を抽出してもよい。

具体的には、情報処理装置１００の抽出部１３３は、受付部１３１によって受け付けられた画像に描出された被写体に関連する特徴から推定される検索クエリの候補を抽出する。例えば、情報処理装置１００は、画像に描出された被写体の顔と、被写体が着用している服装とに基づいて検索クエリの候補を抽出する。一例としては、情報処理装置１００は、被写体の顔から推定される被写体の名称と、被写体が着用している服装から推定される被写体が出演する映画などの出演作品に関する情報とを検索クエリの候補として抽出する。

このように、変形例に係る情報処理装置１００は、受付部１３１によって受け付けられた画像に描出された被写体に関連する特徴から推定される検索クエリの候補を抽出する。これにより、情報処理装置１００は、被写体の各種の特徴に基づいて検索クエリの候補を抽出することができるので、ユーザが所望する検索クエリの候補をより高い精度で抽出することができる。

〔２−８．検索クエリの表示〕
上記の実施形態では、情報処理装置１００が受付部１３１によって受け付けられた画像の特徴量と検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する例を挙げて説明した。ここで、情報処理装置１００は、各種の態様で検索クエリの候補を出力してもよい。

具体的には、情報処理装置１００の出力部１３３は、検索クエリの候補を受付部１３１によって受け付けられた画像上に表示した画像を出力する。例えば、情報処理装置１００は、受付部１３１によって受け付けられた画像上のうち、検索クエリの候補に対応する被写体に基づく位置に検索クエリの候補を表示した画像を出力する。この点について、図６を用いて説明する。

図６は、被写体が複数の場合の表示画面の一例を示す図である。まず、ユーザは、図６に示すように、被写体Ｏｂ２１〜Ｏｂ２４が描出された画像Ｐ２を、検索クエリの候補を所望する画像として選択したものとする。この場合、端末装置１０は、画像Ｐ２を情報処理装置１００に送信する。これにより、情報処理装置１００は、画像Ｐ２を端末装置１０から受け付ける。

続いて、情報処理装置１００は、画像Ｐ２に描出された被写体Ｏｂ２１〜Ｏｂ２４ごとに検索クエリの候補を抽出する。例えば、情報処理装置１００は、被写体Ｏｂ２１〜Ｏｂ２４の顔の特徴量と参照画像に描出された顔の特徴量との間の類似度が最も高い参照画像に対応する検索クエリの候補ＳＱ２１〜ＳＱ２４をそれぞれ抽出する。

その後、情報処理装置１００は、検索クエリの候補ＳＱ２１〜ＳＱ２４を受付部１３１によって受け付けられた画像Ｐ２上に表示した画像Ｐ３を出力する。具体的には、情報処理装置１００は、受付部１３１によって受け付けられた画像Ｐ２上のうち、検索クエリの候補ＳＱ２１〜ＳＱ２４に対応する被写体Ｏｂ２１〜Ｏｂ２４を示す位置に検索クエリの候補ＳＱ２１〜ＳＱ２４をそれぞれ表示した画像Ｐ３を出力する。例えば、情報処理装置１００は、被写体に近い前後左右の位置に検索クエリの候補を表示した画像を出力する。一例としては、情報処理装置１００は、図６に示すように、被写体Ｏｂ２１の上の位置に検索クエリの候補ＳＱ２１を表示した画像Ｐ３を出力する。他の例では、情報処理装置１００は、図６に示すように、被写体Ｏｂ２３の下の位置に検索クエリの候補ＳＱ２３を表示した画像Ｐ３を出力する。

このように、変形例に係る情報処理装置１００は、検索クエリの候補を受付部１３１によって受け付けられた画像上に表示した画像を出力する。これにより、情報処理装置１００は、ユーザから受け付けた画像上に検索クエリの候補を表示することができるので、被写体に対応する検索クエリの候補をユーザに容易に把握させることができる。

また、変形例に係る情報処理装置１００は、受付部１３１によって受け付けられた画像上のうち、検索クエリの候補に対応する被写体に基づく位置に検索クエリの候補を表示した画像を出力する。これにより、情報処理装置１００は、ユーザから受け付けた画像上のうち被写体に対応する位置に検索クエリの候補を表示することができるので、被写体に対応する検索クエリの候補をユーザにより容易に把握させることができる。

〔２−９．付帯情報を表示〕
上記の変形例では、情報処理装置１００が検索クエリの候補を受付部１３１によって受け付けられた画像上に表示した画像を出力する例を挙げて説明した。ここで、情報処理装置１００は、類似度に関する付帯情報を検索クエリの候補とともに表示してもよい。例えば、情報処理装置１００は、図１に示すように、検索クエリの候補とともに検索クエリに対応する類似度が表示されるリストを端末装置１０に出力する。

また、情報処理装置１００は、類似度に応じた付帯情報を検索クエリの候補とともに出力してもよい。具体的には、情報処理装置１００は、類似度の高低を表現する文字列を検索クエリの候補とともに出力する。例えば、情報処理装置１００は、図６に示すように、類似度が相対的に高い場合には「おそらく」といった文字列を表示し、類似度が相対的に低い場合には「もしかして」といった文字列を表示する画像を出力する。他の例では、情報処理装置１００は、図６に示すように、類似度が相対的に高い場合には「！」を検索クエリの候補の語尾に表示し、類似度が相対的に低い場合には「？」を検索クエリの候補の語尾に表示する画像を出力する。

他の例では、情報処理装置１００は、類似度に応じて検索クエリ候補の濃淡や形状を変更した画像を出力する。例えば、情報処理装置１００は、類似度が相対的に高い場合には検索クエリの候補を相対的に濃く表示し、類似度が相対的に低い場合には検索クエリの候補を相対的に薄く表示する画像を出力する。他の例では、情報処理装置１００は、類似度が相対的に高い場合には検索クエリの候補を相対的に大きいサイズで表示し、類似度が相対的に低い場合には検索クエリの候補を相対的に小さいサイズで表示する画像を出力する。

このように、変形例に係る情報処理装置１００は、受付部１３１によって受け付けられた画像の特徴量と検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に関する付帯情報を検索クエリの候補とともに表示する。これにより、情報処理装置１００は、検索クエリの候補とともに類似度に応じた指標を表示することができるので、検索クエリの候補の信頼性をユーザに把握させることができる。

〔２−１０．検索クエリの表示形式〕
上記の変形例では、情報処理装置１００が被写体に対応する名称を検索クエリの候補として表示した画像を出力する例を挙げて説明した。ここで、情報処理装置１００は、名称などのキーワードに限らず、各種の形式の検索クエリの候補を表示した画像を出力してもよい。この点について、図７を用いて説明する。図７は、検索クエリが画像の場合の表示画面の一例を示す図である。図７に示すように、まず、情報処理装置１００は、被写体Ｏｂ２１〜Ｏｂ２４が描出された画像Ｐ２を端末装置１０から受け付ける。

続いて、情報処理装置１００は、被写体Ｏｂ２１の顔の特徴量と参照画像に描出された顔の特徴量との間の類似度が最も高い参照画像ＰＳＱ２１を検索クエリの候補として抽出する。同様に、情報処理装置１００は、被写体Ｏｂ２２〜Ｏｂ２４の顔の特徴量と参照画像に描出された顔の特徴量との間の類似度が最も高い参照画像ＰＳＱ２２〜ＰＳＱ２４を検索クエリの候補としてそれぞれ抽出する。

その後、情報処理装置１００は、参照画像ＰＳＱ２１〜ＰＳＱ２４を受付部１３１によって受け付けられた画像Ｐ２上に表示した画像Ｐ４を出力する。具体的には、情報処理装置１００は、受付部１３１によって受け付けられた画像Ｐ２上のうち、参照画像ＰＳＱ２１〜ＰＳＱ２４に対応する被写体Ｏｂ２１〜Ｏｂ２４を示す位置に参照画像ＰＳＱ２１〜ＰＳＱ２４をそれぞれ表示した画像Ｐ４を出力する。

このように、変形例に係る情報処理装置１００は、各種の形式の検索クエリの候補を表示した画像を出力する。これにより、情報処理装置１００は、データの形式に関わらず検索クエリの候補を表示することができるので、バラエティに富んだ態様で検索クエリの候補をユーザに把握させることができる。例えば、情報処理装置１００は、類似度が最も高い参照画像を検索クエリの候補として画像上に表示して出力することができるので、検索クエリの候補をユーザに容易に把握させることができる。

〔２−１１．適用対象〕
上記の実施形態では、情報処理装置１００が検索クエリの候補として被写体の名称を抽出する例を挙げて説明した。ここで、情報処理装置１００は、被写体の名称に限らず、被写体に関する各種の情報を出力してもよい。

例えば、情報処理装置１００は、野菜や魚などの食物が描出された画像を受け付けた場合に、かかる食物の食べ方や調理方法、入手可能な場所などに関する情報を検索クエリの候補として抽出する。

他の例では、情報処理装置１００は、空が描出された画像を受け付けた場合に、天候に関する情報を検索クエリの候補として抽出する。一例としては、情報処理装置１００は、空が描出された画像が撮影された場所の天気や気温、湿度などを検索クエリの候補として抽出する。

他の例では、情報処理装置１００は、飲食店が描出された画像を受け付けた場合に、かかる飲食店が提供するメニューやＷｅｂサイトやクーポンなどを検索クエリの候補として抽出する。

他の例では、情報処理装置１００は、レストラン街が描出された画像を受け付けた場合に、かかるレストラン街に存在する飲食店に関する情報を検索クエリの候補として抽出する。一例としては、情報処理装置１００は、かかるレストラン街に存在する飲食店の口コミの一覧や評価ランキングなどを検索クエリの候補として抽出する。

他の例では、情報処理装置１００は、商品が描出された画像を受け付けた場合に、かかる商品の価格や販売場所、類似商品、口コミ、販売メーカなどを検索クエリの候補として抽出する。

このように、変形例に係る情報処理装置１００は、被写体に関する各種の情報を出力する。これにより、情報処理装置１００は、被写体に関するバラエティに富んだ情報を出力することができるので、ユーザが所望する検索を可能にすることができる。

〔２−１２．変形例の効果〕
上述してきたように、変形例に係る情報処理装置１００において、出力部１３３は、ユーザの行動履歴に基づいて検索クエリの候補を出力する。これにより、情報処理装置１００は、ユーザの行動に関わる検索クエリを出力することができるので、ユーザが所望する検索を可能にする検索クエリを提示することができる。

また、変形例に係る情報処理装置１００において、出力部１３３は、ユーザの行動履歴として、ユーザの検索履歴またはユーザに関するメッセージの履歴に基づいて検索クエリの候補を出力する。これにより、情報処理装置１００は、ユーザが検索やメッセージで用いたキーワードに関わる検索クエリを出力することができるので、ユーザが所望する検索を可能にする検索クエリを高い精度で提示することができる。

また、変形例に係る情報処理装置１００において、受付部１３１は、画像として、ユーザが有する端末装置の画面に表示中の画像を受け付ける。これにより、情報処理装置１００は、画面に表示中の画像を受け付けることができるので、ユーザが検索クエリを求める対象の撮影を行なう手間を削減することができる。

また、変形例に係る情報処理装置１００において、抽出部１３２は、画像のうち所定の割合以上の面積を占める被写体の検索クエリの候補を抽出する。これにより、情報処理装置１００は、画像の中で一定水準を満たす被写体の検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。

また、変形例に係る情報処理装置１００において、抽出部１３２は、画像が撮影された位置を示す位置情報に基づいて、検索クエリの候補を抽出する。これにより、情報処理装置１００は、位置情報を活用して検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。

また、変形例に係る情報処理装置１００において、抽出部１３２は、画像が撮影された時間を示す時間情報に基づいて、検索クエリの候補を抽出する。これにより、情報処理装置１００は、場所情報を活用して検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補を高い精度で抽出することができる。

また、変形例に係る情報処理装置１００において、出力部１３３は、検索クエリの候補として、テキストデータ、画像データまたは音声データに関する情報を並べたリストを出力する。これにより、情報処理装置１００は、受付部１３１によって受け付けられた画像に基づく検索クエリの候補をデータ形式に関わらず出力することができるので、バラエティに富んだデータが表示されるリストをユーザに提示することができる。

また、変形例に係る情報処理装置１００において、抽出部１３２は、受付部１３１によって受け付けられた画像に描出された被写体に関連する特徴から推定される検索クエリの候補を抽出する。これにより、情報処理装置１００は、被写体の各種の特徴に基づいて検索クエリの候補を抽出することができるので、ユーザが所望する検索を可能にする検索クエリの候補をより高い精度で抽出することができる。

また、変形例に係る情報処理装置１００において、出力部１３３は、検索クエリの候補を受付部１３１によって受け付けられた画像上に表示した画像を出力する。これにより、情報処理装置１００は、ユーザから受け付けた画像上に検索クエリの候補を表示することができるので、被写体に対応する検索クエリの候補をユーザに容易に把握させることができる。

また、変形例に係る情報処理装置１００において、出力部１３３は、受付部１３１によって受け付けられた画像上のうち、検索クエリの候補に対応する被写体に基づく位置に検索クエリの候補を表示した画像を出力する。これにより、情報処理装置１００は、ユーザから受け付けた画像上のうち被写体に対応する位置に検索クエリの候補を表示することができるので、被写体に対応する検索クエリの候補をユーザにより容易に把握させることができる。

〔３．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、上記実施形態において説明した情報処理装置１００が有する受付部１３１、抽出部１３２、出力部１３３によって行われる処理は、端末装置１０によって行われてもよい。一例としては、かかる処理は、端末装置１０にインストールされるアプリケーションによって実行される。この場合、端末装置１０は、画像を受け付ける受付部と、受付部によって受け付けられた画像に基づいて、検索クエリの候補を抽出する抽出部と、抽出部によって抽出された検索クエリの候補を出力する出力部とを備える。

具体的には、端末装置１０は、まず、ユーザによって選択操作がなされることで画像を受け付ける。続いて、端末装置１０は、受け付けられた画像に基づいて、検索クエリの候補を抽出する。例えば、端末装置１０は、受け付けられた画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。一例としては、端末装置１０は、画像との間の類似度が所定の閾値以上である参照画像に対応する検索クエリを候補として抽出する。その後、端末装置１０は、抽出された検索クエリの候補を出力する。例えば、端末装置１０は、類似度に基づいた順序で検索クエリの候補が表示されるリストを出力する。一例としては、端末装置１０は、類似度が高い順に検索クエリの候補を上から表示したリストを端末装置１０が備える表示画面に出力する。これにより、端末装置１０は、サーバとの通信を行なわなくても画像に基づく検索クエリの候補を抽出して表示することができる。言い換えると、端末装置１０内で画像に基づく検索クエリの候補を出力する処理を実現することができる。

他の例では、上記実施形態において説明した受付部１３１、出力部１３３によって行われる処理は端末装置１０によって実行され、抽出部１３２によって行われる処理は情報処理装置１００によって行われてもよい。この場合、情報処理装置１００は、受付部１３１および出力部１３３を備えずに抽出部１３２を備える。端末装置１０は、画像を受け付ける受付部と、情報処理装置１００の抽出部１３２によって抽出された検索クエリの候補を出力する出力部とを備える。

具体的には、端末装置１０は、まず、ユーザによって選択操作がなされることで画像を受け付ける。続いて、端末装置１０は、受け付けた画像に関する情報を情報処理装置１００に送信する。例えば、端末装置１０は、画像に関する情報として、画像の特徴量など画像そのものなどを情報処理装置１００に送信する。これにより、情報処理装置１００は、画像に関する情報を端末装置１０から受信する。そして、情報処理装置１００は、受信した画像に関する情報に基づいて、検索クエリの候補を抽出する。例えば、情報処理装置１００は、受信した画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する。その後、情報処理装置１００は、抽出された検索クエリの候補に関する情報を端末装置１０に送信する。これにより、端末装置１０は、検索クエリの候補に関する情報を情報処理装置１００から受信する。そして、端末装置１０は、情報処理装置１００によって抽出された検索クエリの候補を端末装置１０が備える表示画面に出力する。これにより、情報処理装置１００は、サーバ側で検索クエリの候補を抽出することができるので、端末装置１０側の処理負荷を軽減することができる。

また、他の例では、図３に示した検索クエリ情報記憶部１２１は、情報処理装置１００が保持せずに、ストレージサーバ等に保持されてもよい。この場合、情報処理装置１００は、ストレージサーバにアクセスすることで、検索クエリに関する情報を取得する。

また、情報処理装置１００は、出力処理は行わず、抽出処理のみを行う情報処理装置であってもよい。この場合、情報処理装置１００は、出力部１３３を有しない。そして、出力部１３３を有する出力装置が情報処理装置１００によって抽出された検索クエリの候補を出力する。

また、上述してきた実施形態に係る情報処理装置１００は、例えば図８に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１００を例に挙げて説明する。図８は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、およびメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disk）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の概要の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した情報処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、受付部は、受付手段や受付回路に読み替えることができる。

１ 提示システム
１０ 端末装置
５０ 検索サーバ
１００ 情報処理装置
１２１ 検索クエリ情報記憶部
１３１ 受付部
１３２ 抽出部
１３３ 出力部

Claims (14)

1. 画像を受け付ける受付部と、
   前記受付部によって受け付けられた画像に基づいて、検索クエリの候補を抽出する抽出部と、
   前記受付部によって前記画像が受け付けられる時点より以前のウェブサービスの利用履歴又はアプリケーションの利用履歴に基づいて、前記抽出部によって抽出された検索クエリの候補の中からクエリを出力する出力部と
   を備えたことを特徴とする情報処理装置。
2. 前記抽出部は、
   前記画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいて検索クエリの候補を抽出する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記出力部は、
   前記画像の特徴量と、検索クエリと対応付けられて記憶部に記憶された参照画像の特徴量との間の類似度に基づいた順序で前記検索クエリの候補が表示されるリストを出力する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記受付部は、
   前記画像として、検索対象が撮影された撮影画像を受け付ける
   ことを特徴とする請求項１〜３のいずれか一つに記載の情報処理装置。
5. 前記受付部は、
   前記画像として、ユーザが有する端末装置の画面に表示中の画像を受け付ける
   ことを特徴とする請求項１〜４のいずれか一つに記載の情報処理装置。
6. 前記抽出部は、
   前記画像のうち所定の割合以上の面積を占める被写体の検索クエリの候補を抽出する
   ことを特徴とする請求項１〜５のいずれか一つに記載の情報処理装置。
7. 前記抽出部は、
   前記画像が撮影された位置を示す位置情報に基づいて、検索クエリの候補を抽出する
   ことを特徴とする請求項１〜６のいずれか一つに記載の情報処理装置。
8. 前記抽出部は、
   前記画像が撮影された時間を示す時間情報に基づいて、検索クエリの候補を抽出する
   ことを特徴とする請求項１〜７のいずれか一つに記載の情報処理装置。
9. 前記出力部は、
   前記検索クエリの候補として、テキストデータ、画像データまたは音声データに関する情報を並べたリストを出力する
   ことを特徴とする請求項１〜８のいずれか一つに記載の情報処理装置。
10. 前記抽出部は、
    前記画像に描出された被写体に関連する特徴から推定される検索クエリの候補を抽出する
    ことを特徴とする請求項１〜９のいずれか一つに記載の情報処理装置。
11. 前記出力部は、
    前記検索クエリの候補を前記画像上に表示した画像を出力する
    ことを特徴とする請求項１〜１０のいずれか一つに記載の情報処理装置。
12. 前記出力部は、
    前記画像上のうち、前記検索クエリの候補に対応する被写体に基づく位置に当該検索クエリの候補を表示した画像を出力する
    ことを特徴とする請求項１〜１１のいずれか一つに記載の情報処理装置。
13. 情報処理装置が実行する情報処理方法であって、
    画像を受け付ける受付工程と、
    前記受付工程によって受け付けられた画像に基づいて、検索クエリの候補を抽出する抽出工程と、
    前記受付工程によって前記画像が受け付けられる時点より以前のウェブサービスの利用履歴又はアプリケーションの利用履歴に基づいて、前記抽出工程によって抽出された検索クエリの候補の中からクエリを出力する出力工程と
    を含んだことを特徴とする情報処理方法。
14. 画像を受け付ける受付手順と、
    前記受付手順によって受け付けられた画像に基づいて、検索クエリの候補を抽出する抽出手順と、
    前記受付手順によって前記画像が受け付けられる時点より以前のウェブサービスの利用履歴又はアプリケーションの利用履歴に基づいて、前記抽出手順によって抽出された検索クエリの候補の中からクエリを出力する出力手順と
    をコンピュータに実行させることを特徴とする情報処理プログラム。

Images