JP2014016882A - 情報提供装置、情報提供方法および情報提供プログラム - Google Patents

Abstract

【課題】動画コンテンツの画像に応じた適切なレコメンド情報をユーザに提示することができる情報提供装置、情報提供方法および情報提供プログラムを提供すること。
【解決手段】実施形態に係る情報提供装置は、物体認識手段と、検索手段と、取得手段と、送信手段とを備える。物体認識手段は、端末装置へ配信される動画コンテンツの画像に出現する特定物体の画像を抽出する。検索手段は、物体認識手段によって抽出された特定物体の画像を検索キーとして検索装置に対して類似画像の検索要求を行い、検索装置から検索結果を取得する。取得手段は、検索手段によって取得された検索結果に基づき、動画コンテンツの画像に出現する特定物体の画像に関連するレコメンド情報を取得する。送信手段は、取得手段によって取得されたレコメンド情報を端末装置へ送信する。
【選択図】図１Ａ

Description

本発明は、情報提供装置、情報提供方法および情報提供プログラムに関する。

従来、ＡＤＳＬや光ファイバなど高速かつ大容量のインターネット接続環境すなわちブロードバンドの普及に伴い、パーソナルコンピュータに代表される端末装置にドラマや映画などの動画コンテンツを配信する動画配信サービスが展開されている。

かかる動画配信サービスにおいて、動画コンテンツの再生画像に関連するキーワードをその再生時間に関連付け、動画コンテンツを再生中の端末装置において再生時間に対応するキーワードに基づいて広告を表示する技術が知られている（例えば、特許文献１参照）。

特開２０１１−０３４４８１号公報

ところで、上記従来の動画配信サービスでは、動画コンテンツの再生時間にキーワードを関連付ける必要がある。かかる作業を人手で行うことはコスト的な問題も生じるため、容易ではない。そこで、物体認識技術によって動画コンテンツ中の物体を認識することで再生時間に対応するキーワードを抽出することが考えられる。

しかしながら、かかる物体認識技術は、「車」や「人」などのような抽象的な情報を把握できるものの、物体の具体的な「車種」や「人物名」などのような詳細な情報まで把握することは難しい。そのため、物体認識技術により物体の情報を抽出した場合であっても、動画コンテンツの再生時間に応じた適切なレコメンド情報をユーザに提示することが難しい。

実施形態の一態様は、上記に鑑みてなされたものであって、動画コンテンツの画像に応じた適切なレコメンド情報をユーザに提示することができる情報提供装置、情報提供方法および情報提供プログラムを提供することを目的とする。

実施形態の一態様に係る情報提供装置は、端末装置へ配信される動画コンテンツの画像に出現する特定物体の画像を抽出する物体認識手段と、前記物体認識手段によって抽出された前記特定物体の画像を検索キーとして検索装置に対して類似画像の検索要求を行い、前記検索装置から検索結果を取得する検索手段と、前記検索手段によって取得された検索結果に基づき、前記特定物体の画像に関連するレコメンド情報を取得する取得手段と、前記取得手段によって取得された前記レコメンド情報を前記端末装置へ送信する送信手段と、を備える。

実施形態の一態様によれば、動画コンテンツの画像に応じた適切なレコメンド情報をユーザに提示することができる情報提供装置、情報提供方法および情報提供プログラムを提供することができる。

図１Ａは、実施形態に係る情報提供処理の流れを示す図である。 図１Ｂは、実施形態に係る情報提供装置から提供される動画ページの一例を示す図である。 図１Ｃは、実施形態に係る情報提供装置による情報処理の一例を説明するための図である。 図２は、実施形態に係る情報提供装置の構成例を示す図である。 図３は、端末装置の再生タイミングと物体認識部の処理タイミングとの関係を示す図である。 図４は、特定オブジェクトの抽出処理の流れを示す図である。 図５は、選択情報を含む動画ページの一例を示す図である。 図６は、端末装置の再生タイミングと物体認識部の処理タイミングとの関係を示す図である。 図７は、実施形態に係る情報提供装置による情報処理のフローチャートである。 図８は、特定オブジェクトテーブルの一例を示す図である。

以下に、本願に係る情報提供装置、情報提供方法および情報提供プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、かかる実施形態により本願に係る情報提供装置、情報提供方法および情報提供プログラムが限定されるものではない。

〔１．情報提供処理〕
実施形態に係る情報提供処理について説明する。図１Ａは、情報提供処理の流れを示す図、図１Ｂは、情報提供装置から提供される動画ページの一例を示す図である。また、図１Ｃは、情報提供装置による情報処理の一例を説明するための図である。

図１Ａに示すように、実施形態に係る情報提供システム１は、情報提供装置２と、類似画像検索装置３とを備え、端末装置４に対して動画コンテンツやレコメンド情報を含む動画ページを配信する。なお、情報提供装置２、類似画像検索装置３および端末装置４は、通信ネットワークを介して互いに接続される。

また、図１Ｂに示すように、情報提供システム１から配信される動画ページ３０には、動画コンテンツを表示するコンテンツ表示枠３１と、レコメンド情報を表示する情報表示枠３２ａ、３２ｂとが配置される。以下においては、情報表示枠３２ａ、３２ｂを総称して情報表示枠３２と記載する場合がある。なお、情報表示枠３２の位置、数、大きさなどは適宜変更が可能である。

動画コンテンツは、例えば、ドラマ、映画、プロモーションビデオなどの動画のコンテンツであり、ストリーミング形式で配信される。また、レコメンド情報は、例えば、商品やサービスに関する情報や広告情報であり、ユーザにレコメンド（提案）する情報である。

情報表示枠３２に割り当てられるレコメンド情報は、端末装置４で再生される動画コンテンツの画像に応じたレコメンド情報であり、次のように、端末装置４に送信される。なお、かかるレコメンド情報は、例えば、バナー広告やアニメーション広告などの広告情報、おすすめの商品・サービスの情報など種々の情報を含むことができ、これらの情報は、例えば、静止像、動画、テキストなどで表現される。

図１Ａに示すように、まず、端末装置４は、情報提供装置２に対して動画コンテンツ要求を行う（ステップＳ１）。情報提供装置２は、端末装置４から動画コンテンツ要求を取得すると、要求に応じた動画コンテンツを含む動画ページ３０を要求元の端末装置４へ送信する（ステップＳ２）。

端末装置４は、情報提供装置２から動画ページ３０を取得すると、かかる動画ページ３０を表示部に表示して、動画コンテンツの再生を開始する。また、情報表示枠３２には、例えば、動画コンテンツの内容（例えば、タイトル、あらすじ、役者、監督、スタッフ、制作会社、協賛会社など）に基づいたレコメンド情報が最初に設定される。

情報提供装置２は、動画ページ３０の配信を開始すると、端末装置４に配信中の動画コンテンツの画像に出現するオブジェクトのうち特定オブジェクト（特定物体の一例に相当）の画像認識処理を行う。そして、情報提供装置２は、特定オブジェクトの画像を認識できた場合、この特定オブジェクトの画像を動画コンテンツの画像から抽出する（ステップＳ３）。

次に、情報提供装置２は、抽出した特定オブジェクトの画像を検索キーとして類似画像検索装置３に対して類似画像の検索要求を行う（ステップＳ４）。ここでは、図１Ｃに示すように、端末装置４で再生されている動画コンテンツの画像（以下、再生中画像と記載する）には、特定オブジェクト３４ａ、３４ｂの画像３３ａ、３３ｂが含まれているものとする。この場合、情報提供装置２は、特定オブジェクトの画像３３ａ、３３ｂをそれぞれ抽出し、特定オブジェクトの画像３３ａ、３３ｂをそれぞれ検索キーとして類似画像検索装置３に対して類似画像の検索要求を行う。

類似画像検索装置３は、情報提供装置２から特定オブジェクトの画像３３ａ、３３ｂをそれぞれ検索キーとした類似画像の検索要求があると、特定オブジェクトの画像３３ａ、３３ｂにそれぞれ類似する画像を検索し（ステップＳ５）、検索結果を情報提供装置２へ送信する（ステップＳ６）。情報提供装置２は、類似画像検索装置３から検索結果を取得すると、かかる検索結果に基づき、特定オブジェクトの画像３３ａ、３３ｂにそれぞれ関連するレコメンド情報を取得する。

類似画像検索装置３の検索結果には、例えば、類似画像のアドレスと、この類似画像が掲載されているウェブページのアドレスとを関連付けた情報の一覧が含まれている。情報提供装置２は、類似画像が掲載されているウェブページの情報を通信ネットワーク経由で収集する。そして、情報提供装置２は、収集したウェブページの情報で共通する内容を解析し（ステップＳ７）、かかる解析結果に対応するレコメンド情報を、特定オブジェクトの画像３３ａ、３３ｂに関連するレコメンド情報として取得する（ステップＳ８）。

例えば、特定オブジェクト３４ａ、３４ｂの類似画像を掲載しているウェブページに共通する情報がそれぞれ「Ａ社製の製品番号Ａ１１の帽子」、「Ｄ社の型式Ｄ１１のスマートフォン」であるとする。この場合、情報提供装置２は、「Ａ社製の製品番号Ａ１１の帽子」、「Ｄ社の型式Ｄ１１のスマートフォン」に対応するレコメンド情報（例えば、対応するメーカのウェブページにリンクするバナー広告、対応するショッピングサイトの商品ページの一部）をそれぞれ取得する。

次に、情報提供装置２は、取得したレコメンド情報を端末装置４へ送信する（ステップＳ９）。レコメンド情報を受信した端末装置４は、かかるレコメンド情報を情報表示枠３２に表示する。これにより、動画コンテンツの画像に応じた適切なレコメンド情報をユーザに提示することができる。以下、本実施形態に係る情報提供システム１について、さらに具体的に説明する。

〔２．情報提供装置の構成〕
次に、情報提供装置２の構成について具体的に説明する。図２は、実施形態に係る情報提供装置２の構成例を示す図である。図２に示すように、情報提供装置２は、通信部１０と、コンテンツデータベース１１と、レコメンド情報データベース１２と、ユーザ情報データベース１３と、制御部１４とを備える。以下、データベースをＤＢと記載する。

通信部１０は、通信ネットワーク５に接続され、通信ネットワーク５を介して類似画像検索装置３や端末装置４との間で情報の送受信を行う。かかる通信部１０は、通信ネットワーク５との接続を有線または無線で行う。

コンテンツＤＢ１１、レコメンド情報ＤＢ１２およびユーザ情報ＤＢ１３は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。コンテンツＤＢ１１は、複数の動画コンテンツなどを記憶し、レコメンド情報ＤＢ１２は、複数のレコメンド情報などを記憶する。また、ユーザ情報ＤＢ１３は、ユーザの属性情報などを記憶する。

制御部１４は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。また、制御部１４は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。

かかる制御部１４は、要求取得部２１と、コンテンツ取得部２２と、情報配信部２３と、物体認識部２４と、類似画像検索部２５と、レコメンド情報取得部２６とを備え、以下に説明する情報処理の機能や作用を実現または実行する。制御部１４の内部構成は、かかる構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

なお、情報配信部２３は、「送信手段」の一例に相当し、物体認識部２４は、「物体認識手段」の一例に相当する。また、類似画像検索部２５は、「検索手段」の一例に相当し、レコメンド情報取得部２６は、「取得手段」、「選択情報送信手段」、「選択結果取得手段」、「レコメンド情報取得手段」の一例に相当する。

（要求取得部について）
要求取得部２１は、端末装置４から送信される動画コンテンツ要求を通信部１０経由で取得する。かかる動画コンテンツ要求は、例えば、動画選択ページ（図示せず）に対するユーザの操作部４３への操作によって端末装置４の制御部４２から通信部４１を介して送信される。なお、動画選択ページは、例えば、端末装置４が情報提供装置２にアクセスした際に、情報配信部２３から送信されるウェブページであり、端末装置４の表示部４４に表示される。

（コンテンツ取得部について）
コンテンツ取得部２２は、要求取得部２１によって取得された動画コンテンツ要求に基づいてコンテンツＤＢ１１から動画コンテンツを取得して情報配信部２３へ出力する。動画コンテンツ要求には、動画コンテンツの識別情報が含まれており、かかる識別情報に基づいてコンテンツ取得部２２による動画コンテンツの取得が行われる。

（情報配信部について）
情報配信部２３は、動画コンテンツ要求に対応する動画コンテンツを含む動画ページ３０（図１Ｂ参照）を生成し、通信部１０を介して要求元の端末装置４へ送信する。動画コンテンツは、動画ページ３０のコンテンツ表示枠３１に割り当てられ、ストリーミング形式で端末装置４へ配信される。

また、動画ページ３０の情報表示枠３２には、例えば、コンテンツ表示枠３１に表示される動画コンテンツの内容に基づいたレコメンド情報が設定される。コンテンツＤＢ１１に記憶される動画コンテンツには、動画データのほか、動画コンテンツの内容を示す情報（以下、コンテンツ内容情報と記載する）が関連付けられている。なお、コンテンツ内容情報としては、例えば、タイトル、あらすじ、役者、監督、スタッフ、制作会社、協賛会社などの情報がある。

情報配信部２３は、レコメンド情報取得部２６に対してコンテンツ内容情報に応じたレコメンド情報の取得を要求する。そして、情報配信部２３は、レコメンド情報取得部２６から出力されたレコメンド情報を各情報表示枠３２に割り当てて動画ページ３０を生成する。

レコメンド情報取得部２６は、コンテンツ内容情報に応じたレコメンド情報として、例えば、協賛会社が提供する商品やサービスの情報を含むウェブページをリンク先とする広告バナーの情報をレコメンド情報ＤＢ１２から取得する。また、例えば、あらすじに関連する情報（例えば、サッカーに関する動画コンテンツであれば、サッカーウェアやサッカーシューズの広告）をレコメンド情報ＤＢ１２から取得することもできる。

また、情報配信部２３は、端末装置４における動画コンテンツの再生に同期して、動画コンテンツの画像データを物体認識部２４へ出力する。この場合、図３に示すように、情報配信部２３は、例えば、動画コンテンツの画像データのうち所定時間Ｔａ後に端末装置４で再生される画像データを物体認識部２４へ順次出力する。図３は、端末装置４の再生タイミングと物体認識部２４の処理タイミングとの関係を示す図である。

図３において、「再生フレーム」は、端末装置４で再生されるフレームの順番を示し、「認識処理フレーム」は、物体認識部２４で処理されるフレームの順番を示す。また、各シーンは、所定数のフレームから構成される。なお、図３の例では、「シーン５」のフレームで特定オブジェクトが出現していることを示している。

所定時間Ｔａ後に端末装置４で再生される画像データを情報配信部２３から物体認識部２４へ出力するのは、レコメンド情報を端末装置４へ送信するまでに要する処理時間などを考慮したためである。これにより、図３に示すように、端末装置４で再生中の画像に特定オブジェクトの画像が現れたタイミングで、対応するレコメンド情報を端末装置４で表示可能となる。

（物体認識部について）
物体認識部２４は、情報配信部２３から出力される画像データから、端末装置４で再生される動画コンテンツの画像に出現する特定オブジェクトの画像を抽出する。特定オブジェクトは、動画コンテンツに含まれるオブジェクトのうち、端末装置４のユーザの興味を示すようなオブジェクトであり、物体認識部２４において予め設定されている。

例えば、動画コンテンツに含まれるオブジェクトのうち、商品やサービスなどに関するオブジェクトが特定オブジェクトとして規定される。商品やサービスなどに関するオブジェクトとしては、例えば、商品自体を示すオブジェクト（例えば、靴、服、カバン、時計、アクセサリー、車など）、サービスを提供する建物を示すオブジェクト（例えば、飲食店や美容院の店舗など）などがある。

図４は、特定オブジェクトの抽出処理の流れを示す図である。図４に示すように、特定オブジェクトの画像を抽出する際、物体認識部２４は、まず、動画コンテンツの画像に出現するオブジェクトのうち人物を識別する。物体認識部２４が識別する人物の画像には、当該人物が所持するオブジェクトの画像が含まれる。物体認識部２４は、識別した人物の画像から特定オブジェクトの画像を抽出する。

このように人物の画像を抽出した後に特定オブジェクトの画像を抽出することで、特定オブジェクトを容易に抽出することができる。また、ドラマや映画などで登場人物が所持しているアイテムは、視聴者である端末装置４のユーザにとって興味のあるアイテムである場合が多く、かかるアイテムを特定オブジェクトとすることで、効果的なレコメンド情報を端末装置４のユーザに提示することが可能となる。なお、物体認識部２４は、人物の画像を抽出することなく、特定オブジェクトの画像を直接抽出することもできる。

ここで、物体認識部２４における処理について具体的に説明する。物体認識部２４は、人物の特徴ベクトルの情報が設定された第１辞書データ、および、靴、服、カバン、車などの各特定オブジェクトの名称と特徴ベクトルの情報とを対にした第２辞書データを記憶している。特徴ベクトルとしては、例えば、輪郭や使用されている色の数などがある。

物体認識部２４は、第１辞書データに基づき、情報配信部２３から入力される画像データ（以下、入力画像と記載する）の中から人物の画像を含む領域を判定する。かかる処理において、物体認識部２４は、入力画像をスキャンし、第１辞書データに設定されている人物の特徴ベクトルとの距離が所定値以下の特徴ベクトルを有する画像が存在するか否かを判定する。人物の画像が入力画像に存在すると判定した場合、物体認識部２４は、入力画像から人物の画像（以下、人物領域画像と記載する）を抽出する。

さらに、物体認識部２４は、第２辞書データに基づき、人物領域画像の中から特定オブジェクトの画像を判定する。かかる処理において、物体認識部２４は、人物領域画像をスキャンし、第２辞書データに設定されている各特定オブジェクトの特徴ベクトルとの距離が所定値以下の特徴ベクトルを有する画像が存在するか否かを判定する。特定オブジェクトの画像が人物領域画像に存在すると判定した場合、物体認識部２４は、人物領域画像から特定オブジェクトの画像を抽出し、類似画像検索部２５へ出力する。

物体認識部２４は、入力画像のフレーム毎または数フレーム毎に特定オブジェクトの抽出処理を行うこともできるが、フレーム間での入力画像の変化量が所定値以上あると判定した場合に、特定オブジェクトの抽出処理を行うこともできる。このようにすることで処理負荷を低減することができる。

なお、物体認識部２４は、端末装置４のユーザの属性情報（例えば、性別、年齢、住所、嗜好など）に応じて、識別対象とする特定オブジェクトを、第２辞書データに設定されている一部の特定オブジェクトに限定することもできる。ユーザ情報ＤＢ１３は、ユーザＩＤ、クッキーＩＤおよびユーザの属性情報を関連付けて記憶しており、情報配信部２３は、端末装置４から送信されるユーザＩＤまたはクッキーＩＤに基づいて、ユーザ情報ＤＢ１３からユーザの属性情報を取得し、物体認識部２４へ出力する。

そして、物体認識部２４は、特定オブジェクトと属性情報とを関連付けて記憶しており、物体認識部２４から出力される属性情報に応じて識別対象の特定オブジェクトを限定する。例えば、ユーザが「男性」である場合、化粧品や髪飾りなどの女性専用のオブジェクトを除く特定オブジェクトを識別対象とする。

このように、端末装置４のユーザの属性情報に応じて識別対象の特定オブジェクトを限定することで、オブジェクトを識別するための処理負荷を低減でき、しかも、端末装置４のユーザの興味が低い特定オブジェクトの抽出を抑制できる。

（類似画像検索部について）
類似画像検索部２５は、物体認識部２４によって抽出された特定オブジェクトの画像を検索キーとし、類似画像検索装置３に対して類似画像の検索要求を行って、類似画像検索装置３から検索結果を取得する。

具体的には、類似画像検索部２５は、物体認識部２４によって所定期間連続して抽出された特定オブジェクトの画像を検索キーとし、類似画像検索装置３に対して類似画像の検索要求を行う。なお、動画コンテンツの画像に１フレームだけ出現した特定オブジェクトの画像を検索キーとすることもできる。

類似画像検索装置３は、情報提供装置２から類似画像の検索要求を取得すると、検索要求に含まれる特定オブジェクトの画像を検索キーとして類似画像の検索を実行する。類似画像検索装置３は、通信ネットワーク５上のウェブページに掲載されている画像の情報と掲載元ウェブページのアドレス（例えば、ＩＰアドレスやＵＲＬ）とを関連付けて内部のＤＢに記憶しており、かかるＤＢから類似画像を検索する。

類似画像の検索は、例えば、画像の特徴ベクトル同士を比較し、特徴ベクトル間の距離が所定値以下のものを類似と判定することによって行われる。なお、画像の特徴ベクトルとしては、例えば、輪郭や色の数などがある。

類似画像検索装置３は、検索要求に含まれる特定オブジェクトの画像と類似する画像と掲載元ウェブページのアドレスとを含む情報（以下、類似画像情報と記載する）を内部のＤＢから抽出する。抽出する類似画像情報の数は、類似画像検索装置３で予め設定された数、または、検索要求で指定される数であり、画像の類似度が高いものから順に選択される。なお、類似画像検索装置３は、抽出する類似画像情報として、特徴ベクトル間の距離が所定値以下のものをすべて抽出することもできる。

類似画像検索装置３は、このように抽出した類似画像情報を検索結果として情報提供装置２へ送信する。情報提供装置２の類似画像検索部２５は、類似画像検索装置３から送信される類似画像情報を取得し、レコメンド情報取得部２６へ出力する。

レコメンド情報取得部２６は、類似画像検索部２５によって取得された類似画像の検索結果に基づき、端末装置４で再生中の動画コンテンツの画像に出現する特定オブジェクトの画像に関連するレコメンド情報を取得する。

具体的には、レコメンド情報取得部２６は、類似画像情報に含まれるアドレスに基づき、通信部１０を介して各類似画像の掲載元ウェブページを収集する。そして、レコメンド情報取得部２６は、収集したウェブページの情報で共通する商品またはサービスを判定し、共通する掲載元ウェブページの数が多い順に所定数（例えば、５つ）の商品またはサービスの名称をレコメンド候補の情報として抽出する。

レコメンド情報取得部２６は、抽出したレコメンド候補の情報を情報配信部２３へ出力する。情報配信部２３は、レコメンド候補の情報を取得すると、選択情報を生成し、端末装置４へ送信する。端末装置４は、受信した選択情報を表示部４４に表示する。

選択情報は、レコメンド候補の中からユーザに所望するものを選択させるための情報である。例えば、「Ａ社製の製品番号Ａ１１の帽子」、「Ａ社製の製品番号Ａ１２の帽子」、「Ｂ社製の製品番号Ｂ１１の帽子」、「Ｂ社製の製品番号Ｂ１２の帽子」、「Ｃ社製の製品番号Ｃ１１の帽子」がレコメンド候補として抽出されたとする。

この場合、例えば、図５に示すような選択情報３５を含む動画ページ３０Ａが端末装置４の表示部４４に表示される。図５は、選択情報３５を含む動画ページ３０Ａの一例を示す図である。図５に示すように、選択情報３５として、チェックボックス形式で、レコメンド候補の情報が表示される。かかる動画ページ３０Ａでは、情報表示枠３２に代えて選択情報３５が表示される。

端末装置４のユーザは、操作部４３への操作によってレコメンド候補の選択を行うと、制御部４２は、かかる選択結果を情報提供装置２へ送信する。例えば、図５に示すように選択情報３５が表示部４４に表示されている場合に、ユーザが、「Ａ社製の帽子Ａ１１」のチェックボックスを選択すると、選択結果として「Ａ社製の製品番号Ａ１１の帽子」の識別情報が端末装置４から情報提供装置２へ送信される。

情報提供装置２のレコメンド情報取得部２６は、端末装置４から選択結果を取得すると、かかる選択結果に対応するレコメンド情報をレコメンド情報ＤＢ１２から取得する。なお、レコメンド情報は、例えば、図示しないサーバから取得するようにしてもよい。

ここで、選択結果として「Ａ社製の製品番号Ａ１１の帽子」の識別情報が端末装置４から情報提供装置２へ送信されたとする。この場合、レコメンド情報取得部２６は、例えば、「Ａ社製の製品番号Ａ１１の帽子」を販売するショッピングサイトのウェブページをリンク先とするバナー広告をレコメンド情報ＤＢ１２から取得する。

また、レコメンド情報取得部２６は、例えば、「Ａ社製の製品番号Ａ１１の帽子」を製造するメーカのウェブページをリンク先とするバナー広告をレコメンド情報ＤＢ１２から取得することもできる。

また、レコメンド情報取得部２６は、例えば、「Ａ社製の製品番号Ａ１１の帽子」を検索キーとして図示しない検索装置へアクセスし、かかる検索結果に基づいてレコメンド情報を生成することもできる。この場合、レコメンド情報取得部２６は、例えば、ショッピングサイトのウェブページから「Ａ社製の製品番号Ａ１１の帽子」の価格や画像を抽出し、抽出した情報をレコメンド情報とする。

レコメンド情報取得部２６は、レコメンド情報を取得すると、かかるレコメンド情報を情報配信部２３へ出力する。情報配信部２３は、レコメンド情報取得部２６から取得したレコメンド情報を端末装置４へ送信する。端末装置４の制御部４２は、情報提供装置２からレコメンド情報を受信すると、かかるレコメンド情報を選択情報３５に代えて動画ページ３０の情報表示枠３２（図１Ｂ参照）に表示する。

なお、情報配信部２３は、例えば、物体認識部２４によって特定オブジェクトの画像の抽出が開始されるタイミングまたはその直前のタイミングを物体認識部２４から取得し、かかるタイミングレコメンド情報を端末装置４へ送信する。これにより、端末装置４では、動画コンテンツの再生中画像に特定オブジェクトの画像が現れたタイミングで、この特定オブジェクトの画像に関連するレコメンド情報が情報表示枠３２に表示される。ただし、表示タイミングはかかるタイミングに限られず、種々の変更が可能である。

例えば、図６に示すように、動画コンテンツの再生中画像に出現していた特定オブジェクトの画像が消えたタイミングでこの特定オブジェクトの画像に関連するレコメンド情報が情報表示枠３２に表示されるようにしてもよい。図６は、図３と同様に、端末装置４の再生タイミングと物体認識部２４の処理タイミングとの関係を示す図である。

この場合、情報配信部２３は、例えば、物体認識部２４によって特定オブジェクトの画像が抽出されなくなったタイミングまたはその直前のタイミングを物体認識部２４から取得し、かかるタイミングでレコメンド情報を端末装置４へ送信する。

また、上述の例では、選択情報３５を生成して端末装置４へ送信するようにしたが、選択情報３５を生成することなく、レコメンド情報を端末装置４へ送信することもできる。この場合、レコメンド情報取得部２６は、類似画像情報に含まれるアドレスに基づき、通信部１０を介して各類似画像の掲載元ウェブページを収集する。そして、レコメンド情報取得部２６は、収集したウェブページの情報で共通する商品またはサービスを判定し、共通する掲載元ウェブページの数が最も多い商品またはサービスの名称を抽出し、かかる商品またはサービスに対応するレコメンド情報をレコメンド情報ＤＢ１２から取得する。

〔３．情報提供装置の処理フロー〕
次に、実施形態に係る情報提供装置２の情報処理について、図７を参照して説明する。図７は、実施形態に係る情報提供装置２における情報処理のフローチャートである。

図７に示すように、情報提供装置２の制御部１４は、動画コンテンツ要求を端末装置４から通信部１０を介して取得したか否かを判定する（ステップＳ１１）。動画コンテンツ要求を取得したと判定した場合（ステップＳ１１；Ｙｅｓ）、制御部１４は、動画コンテンツを含む動画ページ３０（図１Ｂ参照）を生成して端末装置４へ送信し、動画コンテンツのストリーミング配信を開始する（ステップＳ１２）。

端末装置４の制御部４２は、情報提供装置２から動画ページ３０を取得すると、かかる動画ページ３０のコンテンツ表示枠３１で動画コンテンツを再生することで、表示部４４に動画コンテンツを表示する。

情報提供装置２の制御部１４は、端末装置４へ配信している動画コンテンツのフレームのうち、端末装置４で再生中のフレームよりも所定時間前のフレームの画像を順次解析して、動画コンテンツの画像に特定オブジェクトが出現したか否かを判定する（ステップＳ１３）。

特定オブジェクトが出現したと判定すると（ステップＳ１３；Ｙｅｓ）、制御部１４は、出現した特定オブジェクトの画像を検索キーとして類似画像検索装置３に対して類似画像の検索要求を行い、類似画像検索装置３から検索結果を取得する（ステップＳ１４）。そして、制御部１４は、検索結果に基づいてレコメンド候補の選択情報３５（図５参照）を端末装置４へ送信する（ステップＳ１５）。

その後、制御部１４は、端末装置４から選択情報３５に対する選択結果を取得したか否かを判定する（ステップＳ１６）。かかる処理において、選択情報３５に対する選択結果を取得したと判定すると（ステップＳ１６；Ｙｅｓ）、制御部１４は、選択結果に対応するレコメンド情報をレコメンド情報ＤＢ１２から取得し、端末装置４へ送信する（ステップＳ１７）。

端末装置４の制御部４２は、情報提供装置２からレコメンド情報を取得すると、かかるレコメンド情報を動画ページ３０の情報表示枠３２に表示することで、表示部４４にレコメンド情報を表示する。

〔４．変形例〕
上述の実施形態では、情報提供装置２から端末装置４に対してプッシュ方式でレコメンド情報を送信するものであるが、端末装置４が情報提供装置２からプル方式でレコメンド情報を取得するようにしてもよい。例えば、動画ページ３０がウェブページである場合、かかるウェブページにおいて情報表示枠３２に表示するレコメンド情報を繰り返し情報提供装置２に要求するスクリプトを設定する。これにより、端末装置４からレコメンド情報の要求が繰り返し行われ、情報提供装置２は、レコメンド情報を取得した場合に、かかるレコメンド情報を端末装置４から要求があったタイミングで送信する。

また、情報提供装置２の制御部１４は、動画コンテンツの配信を開始する前に、動画コンテンツの画像に含まれる特定オブジェクトの画像を取得し、かかる特定オブジェクトの画像と再生位置とを関連付けた特定オブジェクトテーブルをコンテンツＤＢ１１に記憶することもできる。

具体的には、コンテンツ取得部２２は、特定オブジェクトテーブルが設定されていない動画コンテンツをコンテンツＤＢ１１から取得する。コンテンツ取得部２２は、取得した動画コンテンツを再生して、かかる動画コンテンツの画像を再生時間の情報と共に物体認識部２４へ順次出力する。物体認識部２４は、動画コンテンツの画像に出現する特定オブジェクトの画像を順次抽出し、対応する再生時間の情報と共にコンテンツＤＢ１１の特定オブジェクトテーブルに設定する。

図８に示す特定オブジェクトテーブルでは、動画コンテンツの識別情報であるコンテンツＩＤに、再生位置と特定オブジェクト情報とが関連付けられる。例えば、コンテンツＩＤ「１０００１」の動画コンテンツでは、再生開始後の２分０３秒から２分２１秒までの間に出現する特定コンテンツの名称が「靴」で、その画像が「／１０００１／ｉｍａｇｅ１／」のフォルダに格納されていることを示す。また、再生開始後の３分１９秒から３分５４秒までの間に出現する特定コンテンツの名称が「時計」で、その画像が「／１０００１／ｉｍａｇｅ２／」のフォルダに格納されていることを示す。

このように特定オブジェクトテーブルが設定された後、要求取得部２１が動画コンテンツ要求を取得した場合、コンテンツ取得部２２は、動画コンテンツ要求に応じた動画コンテンツをコンテンツＤＢ１１から取得する。また、情報配信部２３は、取得した動画コンテンツのコンテンツＩＤに対応する情報をコンテンツＤＢ１１の特定オブジェクトテーブルから取得する。情報配信部２３は、特定オブジェクトテーブルから取得した情報に基づいたスクリプトを生成してウェブページに設定することで動画ページ３０を生成する。かかるスクリプトは、各特定オブジェクトが現れたタイミングまたはその直前（または、各特定オブジェクトが消えたタイミングまたはその直前）に端末装置４からレコメンド情報の取得要求（以下、レコメンド要求と記載する）を情報提供装置２へ送信させるプログラムである。

例えば、要求取得部２１が端末装置４からコンテンツＩＤ「１０００１」に対応する動画コンテンツ要求を取得した場合、端末装置４で動画コンテンツの再生開始後、２分０３秒後、３分１９秒後などにそれぞれ「２分０３秒」、「３分１９秒」などの情報とコンテンツＩＤ「１０００１」とを含むレコメンド要求を端末装置４から情報提供装置２へ送信するように記述したスクリプトを動画ページ３０に設定する。

なお、レコメンド要求に含まれる情報として、再生位置に代えて、再生位置を識別する情報（例えば、出現する順番を示すなど）を用いるようにしてもよい。また、端末装置４で再生している動画コンテンツが把握できる場合には、レコメンド要求にコンテンツＩＤを含めなくてもよい。

このようにスクリプトが設定された動画ページ３０を取得すると、端末装置４の制御部４２は、スクリプトにしたがって、情報提供装置２に対してレコメンド要求を行う。要求取得部２１がレコメンド要求を取得すると、コンテンツ取得部２２は、要求取得部２１が取得したレコメンド要求に含まれるコンテンツＩＤと再生位置の情報とに基づき、コンテンツＤＢ１１からレコメンド要求に対応する特定オブジェクトの画像を取得する。

そして、コンテンツ取得部２２は、取得した特定オブジェクトの画像を類似画像検索部２５へ出力する。類似画像検索部２５は、コンテンツ取得部２２から取得した特定オブジェクトの画像を検索キーとし、類似画像検索装置３に対して類似画像の検索要求を行い、類似画像検索装置３から検索結果を取得する。

レコメンド情報取得部２６は、類似画像検索装置３からの検索結果に基づき、端末装置４で再生中の動画コンテンツの画像に出現する特定オブジェクトの画像に関連するレコメンド情報をレコメンド情報ＤＢ１２から取得する。かかるレコメンド情報は、情報配信部２３へ出力され、情報配信部２３によって端末装置４へ送信される。

なお、レコメンド情報取得部２６は、上述したように選択情報３５を生成して端末装置４へ送信し、選択結果に応じたレコメンド情報を端末装置４へ送信することもできる。

また、端末装置４に対してプッシュ方式でレコメンド情報を送信する場合であっても、特定オブジェクトテーブルを設定することができる。このようにすることで、動画コンテンツを配信するたびに物体認識部２４で特定オブジェクトの識別処理を行う必要がなくなり、処理負荷を軽減することができる。この場合、類似画像検索部２５は、特定オブジェクトテーブルに基づき、配信中の動画コンテンツの再生位置に応じた特定オブジェクトの画像を検索キーとして類似画像検索装置３に対して類似画像の検索要求を行う。

また、上述の実施形態において、制御部１４は、連続して出現している特定オブジェクトの画像のうちの一つの画像を検索キーとし、類似画像検索装置３に対して類似画像の検索要求を行うが、かかる検索方法に限定されるものではない。

例えば、連続して出現する特定オブジェクトの画像のうち複数の画像のそれぞれを検索キーとし、類似画像検索装置３に対して類似画像の検索要求を行うこともできる。この場合、類似画像検索部２５は、コンテンツ取得部２２から取得した特定オブジェクトの画像の中から複数の特定オブジェクトの画像を選択し、選択した画像をそれぞれ検索キーとして類似画像検索装置３に対して類似画像の検索要求を行う。

そして、レコメンド情報取得部２６は、類似画像検索装置３による各検索結果を収集してこれらの検索結果を統合した後、最も多いまたは上位の数個の商品またはサービスの名称を抽出し、かかる商品またはサービスに対応するレコメンド情報をレコメンド情報ＤＢ１２から取得する。これにより、より適切なレコメンド情報を取得することができる。

なお、連続して出現する特定オブジェクトの画像のうち、最初に出現した際の特定オブジェクトの画像と、消える前の特定オブジェクトの画像とをそれぞれ検索キーとするようにしてもよい。これにより、検索数を減らしつつ、適切なレコメンド情報を取得することができる。

また、上述の実施形態では、動画ページ３０の情報表示枠３２にレコメンド情報を表示するようにしたが、レコメンド情報の表示先は情報表示枠３２に限定されるものではない。例えば、情報配信部２３がレコメンド情報取得部２６からのレコメンド情報を所定時間の間蓄積しておき、蓄積したレコメンド情報を動画コンテンツ中にコマーシャルとして挿入することもできる。この場合、レコメンド情報取得部２６がコンテンツＤＢ１１から取得して情報配信部２３へ出力するレコメンド情報は、商品やサービスに関する動画情報とすることができる。

また、上述の実施形態では、制御部１４は、再生位置に応じてレコメンド情報を端末装置４に表示するようにしたが、再生位置に関わらず、特定オブジェクトの画像に関連するレコメンド情報を端末装置４に表示することもできる。例えば、制御部１４は、動画コンテンツに出現する特定オブジェクトのうち出現回数が所定数以上のものをランダムまたは所定の規則にしたがって端末装置４に表示させることもできる。

また、上述した実施形態において、抽出する人物の画像を特定人物の画像のみとすることができる。この場合、物体認識部２４は、例えば、特定オブジェクトの抽出対象となる動画コンテンツに登場する特定人物（例えば、主役）の情報をコンテンツＤＢ１１から取得し、通信ネットワーク５を介して図示しないウェブサイトから特定人物の画像を取得して第１辞書データに設定する。

そして、物体認識部２４は、第１辞書データに基づき、人物の画像が特定人物の画像である場合に限り、この特定人物の画像から特定オブジェクトの画像を取得するようにする。これにより、特定人物が身に付けているアイテムに関する情報を効率的にレコメンド情報として端末装置４のユーザへ提示することができる。なお、端末装置４のユーザの属性情報からユーザの好きな人物が把握できる場合には、ユーザの好きな人物を特定人物とすることで、より効果的にレコメンド情報をユーザに提示することができる。

また、制御部１４は、情報表示枠３２の数よりも多い特定オブジェクトが同時期に動画コンテンツの画像に出現した場合、未だに出現していない特定オブジェクトの画像に関連するレコメンド情報を情報表示枠３２に設定することもできる。

また、上述した実施形態では、情報提供装置２と類似画像検索装置３とを別構成としたが、類似画像検索装置３の構成を情報提供装置２に含めるようにしてもよい。

また、類似画像検索装置３は、ショッピングサイトで提供されるウェブページを類似画像の掲載元ウェブページとして、類似画像の検索を行うことができる。ショッピングサイトで提供されるウェブページには、商品やサービスの画像が含まれている。そのため、特定オブジェクトの画像から、精度よく特定オブジェクトに関連する商品やサービスの情報を取得することが可能となる。

また、上述の実施形態では、動画コンテンツをストリーミング配信するものとして説明したが、ダウンロード形式で動画コンテンツを配信することもできる。この場合、制御部１４は、例えば、特定オブジェクトが出現するタイミングまたはその直前で端末装置４からレコメンド要求を送信させるための情報（例えば、再生時間に対応する情報）を動画コンテンツに付加して端末装置４へ送信することができる。

また、上述の実施形態では、画像の抽出や類似画像の検索を特徴ベクトルに基づいて行う例について説明したが、画像の類似判定はかかる方法に限定されるものではなく、各種の方法を採用することができる。

また、上述の実施形態では、情報提供装置２が動画コンテンツを送信するようにしたが、動画コンテンツは情報提供装置２とは別のコンテンツサーバから送信するようにしてもよい。

また、上述の実施形態において、制御部１４は、レコメンド情報が動画コンテンツに関連する情報である旨が明示されるように、かかる情報を動画ページ３０に設定することもできる。また、制御部１４は、特定人物の画像から抽出した特定オブジェクトの画像に関連するレコメンド情報である場合、レコメンド情報が特定人物が身に付けている商品の情報である旨が明示されるように、かかる情報を動画ページ３０に設定することもできる。

〔５．効果〕
上述してきたように、実施形態に係る情報提供装置２は、物体認識部２４（物体認識手段の一例に相当）が、端末装置４へ配信される動画コンテンツの画像に出現する特定オブジェクト（特定物体の一例に相当）の画像を抽出し、類似画像検索部２５（検索手段の一例に相当）が、物体認識部２４によって抽出された特定オブジェクトの画像を検索キーとして類似画像検索装置３（検索装置の一例に相当）に対して類似画像の検索要求を行い、類似画像検索装置３から検索結果を取得し、レコメンド情報取得部２６（取得手段の一例に相当）が、類似画像検索部２５によって取得された検索結果に基づき、動画コンテンツの画像に出現する特定オブジェクトの画像に関連するレコメンド情報を取得し、情報配信部２３（送信手段の一例に相当）が、レコメンド情報取得部２６によって取得されたレコメンド情報を端末装置４へ送信する。

このように、実施形態に係る情報提供装置２では、特定オブジェクトの画像を検索キーとして類似画像の検索を行い、かかる検索結果に基づいて端末装置４で再生中の動画コンテンツの画像に出現する特定オブジェクトの画像に関連するレコメンド情報を取得する。これにより、動画コンテンツの画像に応じた適切なレコメンド情報をユーザに提示することができる。すなわち、実施形態に係る情報提供装置２では、物体認識処理だけでは取得するのが難しい特定オブジェクトの具体的な情報を取得することができ、したがって、特定オブジェクトに応じた適切なレコメンド情報を端末装置４に表示することができる。

また、実施形態に係る情報提供装置２は、物体認識部２４が、動画コンテンツの画像に出現する人物の画像を抽出した後、当該人物の画像から特定オブジェクトの画像を抽出する。

これにより、実施形態に係る情報提供装置２では、動画コンテンツの画像に出現する人物に関連する特定オブジェクトを容易に抽出することができ、また、端末装置４のユーザが注視しやすい人物に関する商品等が抽出できるため、端末装置４のユーザに対してより適切なレコメンド情報を提供することができる。また、端末装置４のユーザの属性情報からユーザの好きな人物が把握できる場合には、ユーザの好きな人物を抽出対象の人物とすることで、ユーザに対し、より効果的にレコメンド情報を提示することができる。

また、実施形態に係る情報提供装置２は、情報配信部２３が、端末装置４における動画コンテンツの再生中画像に特定オブジェクトの画像が現れたタイミングまたは再生中画像から特定オブジェクトの画像が消えたタイミングで端末装置４に表示されるように特定オブジェクトの画像に関連するレコメンド情報を端末装置４へ送信する。

これにより、実施形態に係る情報提供装置２では、特定オブジェクトの画像の出現タイミングと同期した適切なタイミングでレコメンド情報を端末装置４に表示することができ、レコメンド情報に対するユーザの関心をより高めることができる。

また、実施形態に係る情報提供装置２は、レコメンド情報取得部２６（選択情報送信手段、選択結果取得手段およびレコメンド情報取得手段の一例）が、類似画像検索部２５による検索結果に基づいたレコメンド候補の選択情報３５を端末装置４へ送信し、その後、端末装置４から選択情報３５に対する選択結果を取得し、かかる選択結果に対応するレコメンド情報を取得する。

これにより、実施形態に係る情報提供装置２では、特定オブジェクトの画像とより関連性が高いレコメンド情報を端末装置４で表示することができ、レコメンド情報に対するユーザの関心をより高めることができる。

また、実施形態に係る情報提供装置２は、情報配信部２３が、動画コンテンツを端末装置４へストリーミング方式によって配信し、物体認識部２４が、端末装置４へ配信中の動画コンテンツの画像から特定オブジェクトを抽出する。

これにより、実施形態に係る情報提供装置２では、ストリーミング配信と同期して特定オブジェクト画像を抽出することができるので、例えば、動画コンテンツが投稿コンテンツなどの場合であっても適切なレコメンド情報を端末装置４へ送信することができる。

また、実施形態に係る情報提供装置２は、コンテンツＤＢ１１（記憶手段の一例に相当）が、物体認識部２４によって抽出された特定オブジェクトの画像と、当該特定オブジェクトを抽出した動画コンテンツの再生位置とを関連付けた特定オブジェクトテーブルを記憶し、物体認識部２４が、動画コンテンツの再生位置に応じた特定オブジェクトの画像をコンテンツＤＢ１１の特定オブジェクトテーブルから取得し、当該取得した特定オブジェクトの画像を検索キーとして類似画像の検索を行う。

これにより、実施形態に係る情報提供装置２では、同一の動画コンテンツであれば、一度特定オブジェクト画像を抽出した後は、特定オブジェクト画像の抽出処理を行う必要がないため、制御部１４による処理負荷を軽減することができる。また、特定オブジェクトの画像を記憶し、必要に応じて類似画像の検索を行うことから、特定オブジェクトに関連する最新の情報を取得することができる。

また、実施形態に係る情報提供装置２では、特定オブジェクトテーブルに基づき、特定オブジェクトが現れたタイミングまたはその直前に端末装置４からレコメンド要求を送信させるスクリプトを動画ページ３０に設定することで、端末装置４からの要求に基づき適切なタイミングでレコメンド情報を端末装置４へ提供することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 情報提供システム
２ 情報提供装置
３ 類似画像検索装置
４ 端末装置
５ 通信ネットワーク
１０ 通信部
１１ コンテンツＤＢ
１２ レコメンド情報ＤＢ
１３ ユーザ情報ＤＢ
１４ 制御部
２１ 要求取得部
２２ コンテンツ取得部
２３ 情報配信部
２４ 物体認識部
２５ 類似画像検索部
２６ レコメンド情報取得部

Claims (8)

1. 端末装置へ配信される動画コンテンツの画像に出現する特定物体の画像を抽出する物体認識手段と、
   前記物体認識手段によって抽出された前記特定物体の画像を検索キーとして検索装置に対して類似画像の検索要求を行い、前記検索装置から検索結果を取得する検索手段と、
   前記検索手段によって取得された検索結果に基づき、前記特定物体の画像に関連するレコメンド情報を取得する取得手段と、
   前記取得手段によって取得された前記レコメンド情報を前記端末装置へ送信する送信手段と、を備える情報提供装置。
2. 前記物体認識手段は、
   前記動画コンテンツの画像に出現する人物の画像を抽出した後、前記人物の画像から前記特定物体の画像を抽出する
   ことを特徴とする請求項１に記載の情報提供装置。
3. 前記送信手段は、
   前記端末装置における前記動画コンテンツの再生中画像に前記特定物体の画像が現れたタイミングまたは前記再生中画像から前記特定物体の画像が消えたタイミングで前記端末装置に表示されるように前記特定物体の画像に関連する前記レコメンド情報を前記端末装置へ送信する
   ことを特徴とする請求項１または２に記載の情報提供装置。
4. 前記取得手段は、
   前記検索手段による検索結果に基づいたレコメンド候補の選択情報を前記端末装置へ送信する選択情報送信手段と、
   前記端末装置から前記選択情報に対する選択結果を取得する選択結果取得手段と、
   前記選択結果取得手段によって取得された選択結果に対応する前記レコメンド情報を取得するレコメンド情報取得手段と、を備える
   ことを特徴とする請求項１〜３のいずれか１項に記載の情報提供装置。
5. 前記送信手段は、
   前記動画コンテンツを前記端末装置へストリーミング方式によって配信し、
   前記物体認識手段は、
   前記端末装置へ配信中の前記動画コンテンツの画像から前記特定物体を抽出する
   ことを特徴とする請求項１〜４のいずれか１項に記載の情報提供装置。
6. 前記物体認識手段によって抽出された前記特定物体の画像と、当該特定物体の画像を抽出した前記動画コンテンツの再生位置とを関連付けて記憶する記憶手段を備え、
   前記検索手段は、
   前記動画コンテンツの再生位置に応じた前記特定物体の画像を前記記憶手段から取得し、当該取得した前記特定物体の画像を検索キーとして類似画像の検索を行う
   ことを特徴とする請求項１〜４のいずれか１項に記載の情報提供装置。
7. コンピュータが実行する情報提供方法であって、
   端末装置へ配信される動画コンテンツの画像に出現する特定物体の画像を抽出する物体認識ステップと、
   前記抽出された前記特定物体の画像を検索キーとして検索装置に対して類似画像の検索要求を行い、前記検索装置から検索結果を取得する検索ステップと、
   前記取得された検索結果に基づき、前記特定物体の画像に関連するレコメンド情報を取得する取得ステップと、
   前記取得された前記レコメンド情報を前記端末装置へ送信する送信ステップと、
   を含む情報提供方法。
8. 端末装置へ配信される動画コンテンツの画像に出現する特定物体の画像を抽出する物体認識手順と、
   前記抽出された前記特定物体の画像を検索キーとして検索装置に対して類似画像の検索要求を行い、前記検索装置から検索結果を取得する検索手順と、
   前記取得された検索結果に基づき、前記特定物体の画像に関連するレコメンド情報を取得する取得手順と、
   前記取得された前記レコメンド情報を前記端末装置へ送信する情報送信手順と、
   をコンピュータに実行させることを特徴とする情報提供プログラム。

Images