JP6396568B1 - 提供プログラム、提供装置、提供方法、端末装置および情報提供装置 - Google Patents

Abstract

【課題】画像を用いた選択対象の検索における操作性を向上させる提供プログラム、提供装置、提供方法、端末装置および情報提供装置を提供する。
【解決手段】本願に係る提供プログラムは、所定の画像に含まれる複数の選択対象を識別する識別手順と、前記識別手順により識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する特定手順と、特定手順により特定された選択対象を示す情報を利用者に提供する提供手順とをコンピュータに実行させる。
【選択図】図１

Description

本発明は、提供プログラム、提供装置、提供方法、端末装置および情報提供装置に関する。

従来、端末装置が撮影した選択対象の画像から、電子商店街の選択対象を検索する技術が知られている。例えば、端末装置が撮影した画像から選択対象を認識した場合は、認識した選択対象を購入するためのウェブページを端末装置に表示させる技術が知られている。

"Amazonショッピングアプリ"、［online］、［平成２９年９月１１日検索］、インターネット＜https://www.amazon.co.jp/b?node=3211799051＞

しかしながら、上述した従来技術では、操作性が必ずしも良くない場合がある。

例えば、上述した従来技術では、複数の選択対象が撮影されている画像から、いずれかの選択対象を認識すると、認識した選択対象を購入するためのウェブページを表示させる。このため、利用者が所望する選択対象を認識するよりも先に他の選択対象を認識した場合には、利用者が所望しない選択対象を購入するためのウェブページを表示してしまう。

本願は、上記に鑑みてなされたものであって、画像を用いた選択対象の検索における操作性を向上させることを目的とする。

本願に係る提供プログラムは、所定の画像に含まれる複数の選択対象を識別する識別手順と、前記識別手順により識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する特定手順と、特定手順により特定された選択対象を示す情報を利用者に提供する提供手順とをコンピュータに実行させる。

実施形態の一態様によれば、画像を用いた選択対象の検索における操作性を向上させることができる。

図１は、実施形態に係る提供処理の一例を示す図である。 図２は、実施形態に係る提供処理の他の例を示す図である。 図３は、実施形態に係る端末装置の構成例を示す図である。 図４は、実施形態に係る情報提供装置の構成例を示す図である。 図５は、実施形態に係る選択対象データベースに登録される情報の一例を示す図である。 図６は、実施形態に係る利用者データベースに登録される情報の一例を示す図である。 図７は、実施形態に係る提供処理において利用者が興味を有する選択対象を学習する処理の一例を説明する図である。 図８は、実施形態に係る情報提供装置が実行する表示処理の流れの一例を示すフローチャートである。 図９は、ハードウェア構成の一例を示す図である。

以下に、本願に係る提供プログラム、提供装置、提供方法、端末装置および情報提供装置を実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る提供装置、提供方法、端末装置および情報提供装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

〔１．提供システムの概要〕
以下、図１を用いて、提供装置の一例となる情報提供装置１０と、端末装置１００を有する提供システム１の一例について説明する。図１は、実施形態に係る提供処理の一例を示す図である。図１に示す例では、提供システム１は、情報提供装置１０および端末装置１００を有する。なお、以下の説明では、情報提供装置１０および端末装置１００が実行する処理として、端末装置１００が撮影した静止画像または動画像（以下、「画像」と総称する。）に撮影された商品等の選択対象のうち、所定の条件を満たす選択対象の情報を提供する提供処理の一例について説明する。

情報提供装置１０は、インターネット等の所定のネットワークＮ（例えば、図４を参照。）を介して、端末装置１００と通信可能な情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。なお、情報提供装置１０は、ネットワークＮを介して、任意の数の端末装置１００と通信可能であってもよく、任意の数のＥＣサーバ２００と通信可能であってもよい。また、情報提供装置１０は、複数の情報処理装置が協調して以下に説明する検索処理を実行することで実現されてもよい。

端末装置１００は、任意の利用者が使用する情報処理装置であり、ＰＣ（Personal Computer）、サーバ装置、スマートデバイスといった情報処理装置により実現される。例えば、端末装置１００は、デジタルカメラを有し、利用者の操作に従って画像を撮影する撮影機能と、撮影された画像や情報提供装置１０から提供される情報、ＥＣサーバ２００から提供される情報等、任意のコンテンツを表示する表示機能とを有する。なお、以下の説明では、以下に説明する表示処理を実行させるアプリケーションをインストールしたスマートフォンを端末装置１００の一例として説明する。

ＥＣサーバ２００は、端末装置１００に対し、電子商店街に関する各種のサービスを提供する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。

〔１−１．提供処理の概要について〕
従来、電子商店街に出品されている選択対象を、端末装置１００が撮影した画像を用いて検索する技術が知られている。しかしながら、従来技術では、画像から選択対象を認識した場合、選択対象を購入するためのウェブページを表示する。このため、利用者が撮影した画像に複数の選択対象が撮影されている場合、いずれかの選択対象を認識すると、認識した選択対象を購入するためのウェブページを表示してしまうので、利用者が所望する選択対象を認識するよりも先に他の選択対象を認識した場合には、利用者が所望しない選択対象を購入するためのウェブページを表示してしまう。

そこで、端末装置１００が撮像した画像から複数の選択対象を識別し、識別した各選択対象を示す情報を利用者に提供するといった態様が考えられる。例えば、識別した選択対象を電子商店街で検索し、検索結果として電子商店街に登録された商品の画像や価格等を選択対象ごとに表示するといった態様が考えられる。しかしながら、このような手法では、利用者が所望する選択対象のみならず、利用者が所望しない選択対象の情報をも表示してしまう恐れがある。

そこで、端末装置１００または情報提供装置１０は、以下の提供処理を実行する。例えば、情報提供装置１０または端末装置１００は、所定の画像に含まれる複数の選択対象を識別する。また、情報提供装置１０または端末装置１００は、識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する。そして、情報提供装置１０または端末装置１００は、特定された選択対象を示す情報を利用者に提供する。例えば、情報提供装置１０は、所定の条件を満たす選択対象を示す情報として、電子商店街等に出品された商品や役務を示す画像（以下、「出品画像」と記載する。）を取得し、取得した出品画像を端末装置１００に提供する。そして、情報提供装置１０は、端末装置１００に出品画像を表示させる。

なお、以下の説明では、提供処理の提供態様として、情報提供装置１０と端末装置１００とが連携して提供処理を実行する例について説明するが、実施形態は、これに限定されるものではない。例えば、情報提供装置１０または端末装置１００は、以下に説明する提供処理を単独で実現してもよい。

〔１−２．提供処理の一例について〕
以下、図１を用いて、提供処理の一例について説明する。例えば、図１に示す例では、端末装置１００は、利用者の操作に従って、選択対象の画像を撮影する（ステップＳ１）。または、撮影を開始する操作によって特定のタイミングで連続して撮影し、終了操作によって撮影を停止しても良い。動画として画面に表示して特定の間隔で静止画を抽出してもよい。また停止後も動画を表示していてもよい。図１に示す例では、端末装置１００は、酒類である選択対象Ａ〜Ｄおよび缶入飲料である選択対象Ｅ〜Ｈが陳列された棚を撮影したものとする。このような場合、端末装置１００は、撮影した選択対象の画像を撮影画像として情報提供装置１０に送信する（ステップＳ２）。

このような場合、情報提供装置１０は、撮影画像の中から選択対象が撮影されたと推定される範囲を抽出する（ステップＳ３）。そして、情報提供装置１０は、撮影された範囲から抽出される特徴量に基づいて、撮影された選択対象を識別する（ステップＳ４）。なお、局所特徴量を用いる特定物体認識といった技術を用いた場合には、各特徴量の照合を行った後に、選択対象の範囲を抽出する、といった逆の順となる。

例えば、情報提供装置１０は、各種の画像認識技術を用いて、受付けた画像から選択対象が撮影された範囲を抽出し、抽出した範囲の画像特徴量を取得する。なお、このような画像特徴量の取得は、GIST（http://ilab.usc.edu/siagian/Research/Gist/Gist.html）、カラーヒストグラム、色分布などの広域特徴量やＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speed-Up Robust Features）、局所画像特徴量等、画像が有する特徴量を取得する任意の技術が採用可能である。なお、ニューラルネットで生成される特徴量も利用可能である。

また、情報提供装置１０は、画像特徴量を用いて、画像に撮影された選択対象を電子商店街から検索する（ステップＳ５）。例えば、情報提供装置１０は、電子商店街に出品された選択対象の画像の特徴量と、撮影画像から取得した画像特徴量とを比較することで、画像に撮影された選択対象の検索を行う。なお、このような特徴量の比較においては、各種特徴量を比較する技術が採用可能である。また、情報提供装置１０は、例えば、撮影された選択対象の特徴から、選択対象が属するカテゴリを推定し、推定したカテゴリを考慮して、電子商店街から選択対象の検索を行ってもよい。また、情報提供装置１０は、例えば、あらかじめ選択対象の特徴量を保持しておき、撮影画像から取得した画像特徴量と保持した特徴量とを比較することで、撮影された選択対象が何であるかを識別してもよい。

続いて、情報提供装置１０は、画像に撮影された選択対象の情報を取得する（ステップＳ６）。例えば、情報提供装置１０は、識別した選択対象の情報であって、電子商店街に登録された情報を取得する。より具体的な例を挙げると、情報提供装置１０は、電子商店街に出品された選択対象の画像、選択対象の名称、価格、サイズといった外見的な情報のみならず内容量、原材料、使用方法、味（例えば、塩味であるかコンソメ味であるか）、種別（例えば、ノンシュガーであるか否か）といった内容物に関する各種の情報をも取得する。なお、情報提供装置１０は、電子商店街からではなく、例えば、識別した選択対象を製造販売する事業者のサーバ装置等から、選択対象の情報を取得してもよい。

そして、情報提供装置１０は、取得した情報が利用者に応じた所定の条件を満たすか否かを判定し、満たすと判定された選択対象を特定する（ステップＳ７）。すなわち、情報提供装置１０は、識別された選択対象に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定する。例えば、情報提供装置１０は、撮影画像に撮影された選択対象Ａ〜Ｈのそれぞれについて情報を取得し、取得した情報が、撮影画像を撮影した利用者に応じた所定の条件を満たすか否かをそれぞれ判定する。例えば、情報提供装置１０は、予め利用者がアレルギーを有する食材の情報を条件として保持する。そして、情報提供装置１０は、選択対象Ａ〜Ｈのそれぞれについて、原材料に利用者がアレルギーを有する食材が含まれるか否かを判定し、含まれると判定した場合は、表示対象から除外する。すなわち、情報提供装置１０は、選択対象Ａ〜Ｈのうち、利用者がアレルギーを有しない原材料からなる選択対象を特定する。

また、情報提供装置１０は、ステップＳ７にて特定された選択対象の出品画像を取得する（ステップＳ８）。すなわち、情報提供装置１０は、取得した情報が利用者に応じた所定の条件を満たす選択対象の画像であって、電子商店街に出品された出品対象の画像を取得する。例えば、情報提供装置１０は、ＥＣサーバ２００（例えば、図３）等から、特定された選択対象の画像であって、出品対象の画像として電子商店街のデータベースに登録されている選択対象の画像を取得する。

そして、情報提供装置１０は、特定した選択対象を端末装置１００に強調表示させるとともに、電子商店街の情報として、特定した選択対象の出品画像を提供する（ステップＳ９）。例えば、情報提供装置１０は、条件に合致する選択対象として、選択対象Ｂおよび選択対象Ｇを特定したものとする。このような場合、情報提供装置１０は、撮影画像のうち、選択対象Ｂが撮影された範囲と、選択対象Ｇが撮影された範囲とを特定し、特定した範囲を端末装置１００に通知する。また、情報提供装置１０は、電子商店街に出品された選択対象のうち、選択対象Ｂと同じ選択対象の画像、および選択対象Ｇと同じ選択対象の画像、すなわち、選択対象Ｂおよび選択対象Ｇの出品画像を端末装置１００に送信する。

このような場合、端末装置１００は、撮影画像のうち特定された選択対象が撮影された範囲を強調表示するとともに、電子商店街に出品された選択対象の画像、すなわち、提供された出品画像を選択可能な状態で、撮影画像とともに複数表示する（ステップＳ１０）。なお、端末装置１００は、撮影画像に強調表示するだけでなく、常時撮影し、特定された選択対象が画面上に表示されていれば、その領域を強調しても良い。なお、このような処理を行う際、選択対象が画面上のどの位置であるかは、特徴量により特定することができる。例えば、図１に示す例では、端末装置１００は、画面上を、撮影画像ウインドウＣＷ、画像表示ウインドウＰＷ、および操作ウインドウＭＷに分割する。そして、端末装置１００は、撮影画像ウインドウＣＷに撮影画像を配置して表示するとともに、撮影画像のうち、特定された選択対象Ｂおよび選択対象Ｇが含まれる範囲を強調表示する。例えば、端末装置１００は、選択対象Ｂおよび選択対象Ｇが含まれる範囲を囲む点線や点滅する点線等を表示する。

また、端末装置１００は、画像表示ウインドウＰＷに、情報提供装置１０から取得した画像をクエリ情報として並べて表示する。例えば、端末装置１００は、電子商店街に出品された選択対象のうち、選択対象Ｂの出品画像および選択対象Ｇの出品画像を画像表示ウインドウＰＷにならべて配置する。なお、端末装置１００は、各出品画像を、選択対象が認識される度に追加していってもよい。また、端末装置１００は、操作ウインドウＭＷに、画像の撮影に関する各種操作を受付けるためのアイコンを表示してもよい。

また、端末装置１００は、画像表示ウインドウＰＷに並べて表示された出品画像を利用者が選択した場合は、出品画像が選択された選択対象の識別情報をＥＣサーバ２００（図３参照）に送信してもよい。このような場合、ＥＣサーバ２００は、受信した識別情報が示す出品対象、すなわち、出品画像が選択された出品対象の検索結果を価格順にリスティングした検索結果を生成し、生成した検索結果を端末装置１００に提供する（ステップＳ１１）。すなわち、端末装置１００は、撮影された選択対象のうち、利用者に応じた条件を満たす選択対象の画像を、利用者に応じた条件を満たす選択対象を電子商店街において検索するための検索クエリとして、撮影画像とともに表示する。

このように、情報提供装置１０および端末装置１００は、撮影画像に撮影された選択対象のうち、所定の条件に応じた選択対象を特定し、特定した選択対象を示す情報を提供する。このため、情報提供装置１０および端末装置１００は、ユーザビリティを向上させることができる。

〔１−３．出品画像について〕
上述した例では、端末装置１００は、出品画像を撮影画像とともに表示したが、実施形態は、これに限定されるものではない。例えば、端末装置１００は、画像表示ウインドウＰＷを表示せず、所定の条件を満たす選択対象として特定された選択対象（以下、「特定選択対象」と記載する。）を強調表示するための各種アイコンを撮影画像とともに表示してもよい。

また、端末装置１００は、例えば、撮影画像のうち特定選択対象が撮影されていない範囲に、特定選択対象の名称、原材料、電子商店街での価格、各種利用者がＳＮＳ（Social Networking Service）や電子商店街に投稿した評価の内容等を配置した吹き出し型のアイコンを重ねて表示してもよい。すなわち、端末装置１００は、特定選択対象の情報であって、電子商店街に登録された選択対象の情報を利用者に提供してもよい。また、端末装置１００は、このような吹き出しに電子商店街で特定取引対象を検索するためのリンクを設定してもよい。

また、情報提供装置１０は、出品画像に代えて、特定選択対象の名称や価格等といった情報、すなわち、特定選択対象を示す情報を電子商店街から取得し、取得した情報を端末装置１００に表示させてもよい。また、情報提供装置１０は、特定選択対象を示す情報として、特定選択対象に関する情報であって、所定の条件と関連する情報を所定の画像と共に提供してもよい。例えば、情報提供装置１０は、利用者がアレルギーを有する選択対象を特定選択対象として特定した場合、かかる特定選択対象を示す吹き出しを表示するとともに、吹き出し内に「アレルゲンが含まれます」といった情報を表示してもよい。

また、上述した例では、端末装置１００は、撮影画像のうち特定選択対象が撮影された範囲を抽出した範囲を出品画像として画像表示ウインドウＰＷに表示してもよい。すなわち、端末装置１００は、少なくとも、撮影された選択対象のうちどの選択対象が特定選択対象であるか、特定選択対象がどこにあるか等を示す情報を表示することができるのであれば、任意の態様で情報を表示してよい。また、例えば、上述した各処理は、端末装置１００が各処理を実行するように情報提供装置１０が端末装置１００を制御することで実現してもよい。

〔１−４．特定する選択対象について〕
上述した例では、情報提供装置１０は、原材料に利用者がアレルギーを有する原材料が含まれていないという条件を満たす選択対象を特定した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、撮影画像に含まれる選択対象のうち利用者が所望するであろう選択対象を特定することができるのであれば、任意の条件を満たす選択対象の特定を行ってよい。

例えば、情報提供装置１０は、識別された選択対象の内容物に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定してもよい。例えば、情報提供装置１０は、選択対象に糖質が含まれていない選択対象や保存料が含まれていない選択対象を特定してもよい。また、情報提供装置１０は、含まれている糖質の量が所定の閾値以下となる選択対象やカロリーが所定の閾値以下となる選択対象を特定してもよく、例えば、タンパク質の含有量が所定の閾値を超える選択対象を特定してもよい。

また、情報提供装置１０は、生産地や製造地に応じた条件を満たす選択対象を特定してもよい。例えば、情報提供装置１０は、製造地が国産の選択対象を特定してもよい。また、情報提供装置１０は、例えば、端末装置１００の位置情報に基づいて、利用者が所在する店舗を特定し、特定した店舗が管理する情報処理装置から、各選択対象の生産地の情報を取得する。そして、情報提供装置１０は、生産地が国内の選択対象を特定してもよい。

また、情報提供装置１０は、利用者により設定された条件を満たす選択対象を特定してもよい。また、情報提供装置１０は、複数の選択対象のうち、利用者が身体的に利用可能な選択対象を特定してもよい。例えば、情報提供装置１０は、利用者からアレルギーを有する食品の登録をあらかじめ受付ける。そして、情報提供装置１０は、選択対象のうち、登録された食品以外の食品を特定してもよい。また、情報提供装置１０は、例えば、利用者が着用可能な衣類のサイズの登録をあらかじめ受付けておき、選択対象のうち、サイズが登録されたサイズの衣類を特定してもよい。また、情報提供装置１０は、内容量が所定の条件を満たす選択対象を特定してもよい。例えば、情報提供装置１０は、内容物が同一の商品であって内容量が異なる複数の商品が撮影されていた場合、内容量が予め登録された条件を満たす商品を特定し、特定した商品のみを強調表示してもよい。

また、情報提供装置１０は、例えば、あらかじめ利用者から所望する選択対象の条件として、選択対象が有する雰囲気や印象の指定を受付けてもよい。このような場合、情報提供装置１０は、指定された雰囲気や印象を有する選択対象を特定してもよい。例えば、情報提供装置１０は、各利用者が選択対象に対して有している印象を示す投稿を取得し、取得した投稿に基づいて、選択対象に対して各利用者が有している印象を特定する。そして、情報提供装置１０は、撮影された選択対象のうち、利用者があらかじめ指定した印象と対応する選択対象の特定を行ってもよい。

また、情報提供装置１０は、動的に変化する条件を満たす選択対象を特定してもよい。例えば、情報提供装置１０は、処理を実行する日時や利用者の位置情報等に応じて変化する条件を満たす選択対象を特定してもよい。例えば、情報提供装置１０は、昼間の間はアルコールを含有しない飲料を特定し、夜間の間はアルコールを含有する飲料を特定してもよい。また、情報提供装置１０は、各種の推定技術を用いて、利用者の移動手段を推定し、利用者が自家用車で移動していると推定される場合は、アルコールを含有しない飲料を特定してもよい。また、情報提供装置１０は、アルコールを含有する飲料や食品を特定し、かかる飲料や食品を強調表示するとともに、「アルコールが含まれています」といった注意喚起の情報を提供してもよい。

また、情報提供装置１０は、複数の選択対象のうち、利用者の属性に応じた条件を満たす選択対象を特定してもよい。例えば、情報提供装置１０は、利用者の性別や年齢といったデモグラフィック属性や、利用者の趣味趣向といったサイコグラフィック属性等に応じて、利用者が所望すると推定される選択対象の条件を推定し、推定した条件を満たす選択対象の特定を行ってもよい。なお、このような属性は、利用者によってあらかじめ登録されたものであってもよく、各種の推定技術により推定されたものであってもよい。

例えば、情報提供装置１０は、選択対象のうち利用者の行動の履歴に応じた条件を満たす選択対象を特定してもよい。例えば、情報提供装置１０は、利用者がインターネット検索を行うために入力した検索クエリや電子商店街において商品やサービスを検索するために入力した検索クエリ等、各種の検索クエリの履歴に応じた条件を満たす選択対象を特定してもよい。また、情報提供装置１０は、利用者が閲覧したウェブページの履歴、利用者が視聴した動画像や音楽等といった各種コンテンツの履歴に応じた条件を満たす選択対象を特定してもよい。また、情報提供装置１０は、利用者が電子商店街で購入した商品やサービスの履歴に応じた選択対象を特定してもよい。また、情報提供装置１０は、利用者の位置情報の履歴等に応じた条件を満たす選択対象を特定してもよい。

例えば、情報提供装置１０は、利用者の検索クエリの履歴や購入履歴、コンテンツの履歴、位置履歴等から利用者が好む選択対象の傾向を推定し、推定した傾向に基づく条件を設定する。そして、情報提供装置１０は、撮影された選択対象のうち条件を満たす選択対象、すなわち、利用者が好む選択対象と同じ傾向を有する選択対象を特定し、特定した選択対象を強調表示させてもよい。なお、このような利用者の属性に応じた条件を採用する場合、条件の内容は、利用者の行動の履歴に応じて逐次変化してもよい。また、情報提供装置１０は、時間帯や曜日ごとに利用者が好む選択対象の傾向を特定し、提供処理を行う場合は、提供処理を行う日時に応じた傾向を選択対象が有するか否かを判定してもよい。

また、情報提供装置１０は、複数の選択対象のうち、利用者と選択対象との関係性に応じた条件を満たす選択対象を特定してもよい。例えば、情報提供装置１０は、過去に購入した異なる選択対象や、選択対象を購入してから所定の期間が経過した選択対象等を特定してもよい。より具体的には、情報提供装置１０は、選択対象を購入してから、その選択対象の種別に応じた所定の期間が経過した選択対象を特定してもよい。

例えば、情報提供装置１０は、利用者があるシャンプーを選択してから１か月が経過している際に、そのシャンプーを撮影画像から識別した場合は、そのシャンプーを特定し、強調表示させてもよい。また、情報提供装置１０は、強調表示したシャンプーの横に、例えば、「購入してから１か月が経過しています」という表示を行ってもよい。

また、情報提供装置１０は、複数の選択対象のうち、各選択対象が属するカテゴリに応じた条件を満たす選択対象を特定してもよい。例えば、情報提供装置１０は、飲料、食品、衣料品、雑貨等、選択対象のカテゴリごとに異なる条件を保持する。そして、情報提供装置１０は、撮影画像から選択対象を識別した場合は、識別した選択対象が属するカテゴリを特定し、識別した選択対象が特定したカテゴリに応じた条件を満たすか否かを判定してもよい。

また、情報提供装置１０は、利用者が選択した選択対象と共通する特徴を有する選択対象を特定してもよい。例えば、情報提供装置１０は、利用者が過去に購入した選択対象や、利用者が選択した出品画像の履歴等に応じて、利用者が選択した選択対象を特定し、特定した選択対象が有する特徴をモデルに学習させる。例えば、情報提供装置１０は、選択対象の外観、内容物、価格等といった各種の情報が有する特徴をモデルに学習させる。そして、情報提供装置１０は、撮影画像から選択対象を識別した場合、利用者が選択した選択対象と共通する特徴を識別した選択対象が有するか否かをモデルを用いて判定し、有すると判定された場合は、かかる選択対象を強調表示させてもよい。

また、情報提供装置１０は、複数の選択対象のうち、利用者が意図的に撮影した複数の選択対象が共通して有する特徴を有する選択対象を特定してもよい。例えば、情報提供装置１０は、あらかじめ利用者に利用者が所望する選択対象の画像を撮影させ、撮影された選択対象の特徴を学習する。そして、情報提供装置１０は、改めて利用者が撮影した画像に含まれる選択対象のうち、学習した特徴を有する選択対象を特定してもよい。

ここで、情報提供装置１０は、利用者が所定の撮影装置を用いて撮像する動画像に含まれる複数の選択対象を識別し、動画像に含まれる複数の選択対象のうち、利用者が撮影装置の移動を所定の間だけ停止した際に撮影された選択対象を識別してもよい。例えば、利用者が端末装置１００を移動させながら撮影を行う際、撮影対象となる領域の位置が止まった場合には、その際に撮影されている選択対象のうちいずれかの選択対象に利用者が興味を有していると推定される。そこで、情報提供装置１０は、動画像のうち注視点が所定の時間（例えば、２秒）停止したと推定される領域を特定し、特定した領域に撮影されている選択対象を識別する。そして、情報提供装置１０は、識別した選択対象が有する特徴をモデルに学習させることで、利用者が興味を有すると推定される選択対象の特徴をモデルに学習させる。その後、情報提供装置１０は、学習を行ったモデルを用いて、利用者が興味を有すると推定される選択対象を特定してもよい。

また、情報提供装置１０は、利用者が選択あるいは購入した選択対象と関連性が高い選択対象を特定してもよい。例えば、情報提供装置１０は、利用者が旅行の申し込みをしていた場合は、撮影された選択対象のうち、スーツケース等の旅行と関連性を有する選択対象を特定してもよい。

なお、情報提供装置１０は、上述した条件を満たす選択対象を特定するための条件を随時設定してもよい。すなわち、上述した各種の条件はリアルタイムに変更されてもよく、モデルの学習は、リアルタイムに行われてもよい。例えば、情報提供装置１０は、利用者が選択対象を撮影あるいは選択する度に、撮影あるいは選択された選択対象に応じて条件を変更してもよい。また、情報提供装置１０は、利用者が選択対象を撮影あるいは選択する度に、条件をより詳細な条件（例えば、より利用者がより好むと推定される確度がより高い選択対象の条件）に変更してもよく、条件をよりゆるい条件（例えば、より利用者が好むと推定される確度がより低い選択対象の条件）に変更してもよい。

また、上述した条件は、利用者が撮影を行う度、利用者が選択対象を選択する度、利用者が選択対象を購入する度に所定の初期条件に戻してもよい。また、情報提供装置１０は、上述した処理によって得られた条件やモデルに応じて、利用者に応じた商品やサービスを電子商店街から検索し、検索した商品やサービスの広告やリコメンド情報を配信してもよい。

また、情報提供装置１０は、上述した条件を適宜組み合わせて用いてもよく、例えば、利用者があらかじめ選択した条件のみを用いて、選択対象の特定を行ってもよい。

〔１−５．提供する情報について〕
ここで、情報提供装置１０は、電子商店街に出品された選択対象の情報以外にも、選択対象の情報であれば、任意の情報を提供して良い。例えば、利用者は、商品のサンプルが配置されたサンプル領域と、実際に販売される商品が配置された倉庫領域とを有する店舗において、サンプル領域に配置された商品の撮影を行う。このような場合、情報提供装置１０は、条件を満たす商品の特定を行うとともに、特定した商品が倉庫領域のうちどこに配置されているかを特定し、特定した配置位置を利用者に提供してもよい。

また、例えば、利用者は、商品の写真のみが配置された無人店舗内で撮影を行う。このような場合、情報提供装置１０は、条件を満たす商品の特定を行うとともに、特定した商品の価格等といった情報を利用者に提供する。そして、情報提供装置１０は、利用者が特定した商品を選択した場合は、かかる商品を利用者が指定した配送先に配送するように、ＥＣサーバ２００を制御してもよい。このような処理が実行される場合、利用者は、店舗内のレジで店舗倉庫から自動搬送された商品を受け取っても良い。

また、情報提供装置１０は、利用者が特定選択対象の画像を選択した場合は、選択された特定選択対象を電子商店街で検索した検索結果を表示してもよく、検索結果を価格順等の各種ランキング形式で表示してもよい。また、情報提供装置１０は、特定選択対象に対する利用者のレビュー情報や評価の情報を提供してもよい。

また、情報提供装置１０は、特定選択対象に基づいて選択された各種広告コンテンツを利用者に対して提供してもよい。

〔１−６．表示条件について〕
ここで、情報提供装置１０は、選択対象の特定を行う条件（以下、「フィルタリング条件」と記載する場合がある。）以外にも、特定選択対象に関する情報を表示するための条件（以下、「表示条件」と記載する。）の設定を行ってもよい。例えば、情報提供装置１０は、利用者の趣味に合致する選択対象を特定選択対象として特定するとともに、特定選択対象のうち、利用者が購入してから所定の期間が経過した特定選択対象の情報のみを提供してもよい。また、情報提供装置１０は、過去に利用者が購入していない特定選択対象の情報のみを提供してもよい。

〔１−７．選択対象について〕
ここで、上述した例では、情報提供装置１０は、選択対象として飲食物等といった商品の中から所定の条件を満たす商品を特定した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、飲食店やマッサージの施術を行う店舗等、各種店舗の中から所定の条件を満たす店舗を特定し、特定した店舗の情報を利用者に提供してもよい。

例えば、図２は、実施形態に係る提供処理の他の例を示す図である。例えば、図２に示す例では、端末装置１００は、複数店舗「ＳＨＯＰ＃１」〜「ＳＨＯＰ＃４」の看板を含む画像を撮影する。このような場合、情報提供装置１０は、文字解析技術等を用いて、撮影画像に含まれる看板から、撮影された店舗「ＳＨＯＰ＃１」〜「ＳＨＯＰ＃４」を特定する。

続いて、情報提供装置１０は、店舗「ＳＨＯＰ＃１」〜「ＳＨＯＰ＃４」の情報を取得する。例えば、情報提供装置１０は、店舗「ＳＨＯＰ＃１」が「イタリアンレストラン」であり、店舗「ＳＨＯＰ＃２」が「雑貨屋」であり、店舗「ＳＨＯＰ＃３」が「タイ料理」を提供する店舗であり、店舗「ＳＨＯＰ＃４」が「寿司」を提供する店舗である旨を取得する。また、情報提供装置１０は、店舗「ＳＨＯＰ＃１」〜「ＳＨＯＰ＃４」の平均予算や、空き状況を取得する。なお、このような店舗の情報や平均予算、空き状況等は、例えば、店舗の評価を行うウェブサイトや、店舗のオンライン予約を行うウェブサイト等から取得可能である。

そして、例えば、情報提供装置１０は、利用者がイタリアンや寿司が好きである場合、所定の条件を満たす店舗として、「イタリアンレストラン」である店舗「ＳＨＯＰ＃１」、および「寿司」を提供する店舗「ＳＨＯＰ＃４」を特定する。なお、情報提供装置１０は、例えば、各店舗の平均予算が、利用者が予め設定された予算額を上回るか否かといった条件を考慮してもよい。

そして、情報提供装置１０は、特定した店舗「ＳＨＯＰ＃１」および店舗「ＳＨＯＰ＃４」に関する情報を撮影画像とともに表示する。例えば、情報提供装置１０は、特定した店舗「ＳＨＯＰ＃１」の看板や店舗「ＳＨＯＰ＃１」が所在するビルを示す吹き出しと共に、「イタリアンレストラン 平均予算３０００円 空きあり」といった店舗「ＳＨＯＰ＃１」に関する各種の情報を表示してもよい。例えば、情報提供装置１０は、店舗「ＳＨＯＰ＃４」を示す吹き出しと共に、「寿司 平均予算２０００円 空きなし」といった店舗「ＳＨＯＰ＃４」に関する各種の情報を表示してもよい。また、情報提供装置１０は、例えば、店舗「ＳＨＯＰ＃１」のように、空きがある店舗の情報のみを表示してもよい。

また、上述した処理以外にも、情報提供装置１０は、各種施設等、撮影画像に含まれる任意の対象の中から所定の条件を満たす対象の特定を行ってよい。すなわち、情報提供装置１０は、複数の対象の中から選択される対象であれば、任意の対象を選択対象として採用してよい。また、情報提供装置１０は、例えば、同じ画像に複数の施設と複数の商品とが撮影されている場合、施設に関するフィルタリング条件を満たす施設と、商品に関するフィルタリング条件を満たす商品との特定を行い、特定した施設および商品の情報を提供してもよく、施設または商品のいずれかのみについて、特定や情報提供を行ってよい。例えば、情報提供装置１０は、撮影された選択対象から、ホテルを特定し、特定したホテルのうち、空き室があるホテルの情報を表示してもよい。

また、例えば、情報提供装置１０は、撮影された人物のうち、利用者と所定の関連性を有する人物（例えば、ＳＮＳでつながっている、アドレスブックに登録されている等）を特定し、特定した人物の情報を提供してもよい。

〔１−８．処理の実行主体について〕
上述した提供処理は、端末装置１００が単体で実行してもよい。また、上述した提供処理は、任意の粒度で分割され、情報提供装置１０および端末装置１００が分割された任意の処理を実行することで実現されてもよい。例えば、撮影画像から選択対象を認識する処理は、端末装置１００が実行してもよく、情報提供装置１０が実行してもよい。また、認識された選択対象のうち、所定の条件を満たす選択対象を特定する処理については、端末装置１００が実行してもよく、情報提供装置１０が実行してもよい。

また、上述した例では、端末装置１００は、撮影した画像を情報提供装置１０に送信した。しかしながら、実施形態は、これに限定されるものではない。例えば、端末装置１００は、撮影画像が有する特徴点や特徴量等を情報提供装置１０に送信してもよい。このような場合、情報提供装置１０は、撮影画像に代えて、受信した特徴点や特徴量から撮影された選択対象を識別してもよい。

〔２．端末装置の構成〕
次に、図３を用いて、実施形態に係る端末装置１００の構成について説明する。図３は、実施形態に係る端末装置の構成例を示す図である。図３に示すように、端末装置１００は、通信部１１０と、入力部１２０と、出力部１３０と、カメラ１４０と、制御部１５０とを有する。

通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、情報提供装置１０およびＥＣサーバ２００との間で情報の送受信を行う。

入力部１２０は、利用者から各種操作を受け付ける入力装置である。例えば、入力部１２０は、キーボードやマウスや操作キー等によって実現される。出力部１３０は、各種情報を表示するための表示装置である。例えば、出力部１３０は、液晶ディスプレイ等によって実現される。なお、端末装置１００にタッチパネルが採用される場合には、入力部１２０と出力部１３０とは一体化される。カメラ１４０は、動画像や静止画像等の画像を撮影可能なカメラであり、各種のデジタルカメラにより実現される。

制御部１５０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、端末装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１５０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図３に示すように、制御部１５０は、要求部１５１と、操作制御部１５２と、表示制御部１５３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１５０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。

要求部１５１は、ＥＣサーバ２００に対し、利用者が選択した選択対象の検索を要求する。例えば、要求部１５１は、画面上に表示された選択対象の情報が選択され、電子商限外の検索を行うための所定の操作が行われた場合は、選択された選択対象を識別する識別情報（例えば、選択対象の名称や、ＪＩＳコード等）をＥＣサーバ２００に送信し、検索結果を取得する。そして、要求部１５１は、検索結果を取得した場合は、表示制御部１５３に検索結果を出力する。なお、このような識別情報は、例えば、情報提供装置１０が選択対象の情報を取得した際に取得され、特定選択対象の情報と共に端末装置１００へと通知されるものである。

操作制御部１５２は、入力部１２０を介して受け付けた利用者の操作にしたがって、各種制御を実行する。例えば、操作制御部１５２は、利用者の選択処理や各種操作の内容を、要求部１５１や表示制御部１５３に出力し、各種制御を実行させる。なお、操作制御部１５２が出力する操作内容としては、例えば、画面上におけるスクロール操作やタップ等の選択操作等である。

表示制御部１５３は、撮影画像やクエリ情報、検索結果等の各種コンテンツの表示を行う。例えば、表示制御部１５３は、制御部１５０が、表示処理を実行させる提供プログラムやアプリケーションをＲＡＭを作業領域として実行することで、図３に示すように撮影部１５４、取得部１５５、および表示部１５６として動作する。

撮影部１５４は、画像を撮影する。例えば、撮影部１５４は、カメラ１４０を用いて、静止画像または動画像の撮影を行う。また、撮影部１５４は、撮影した画像を端末装置１００が有する不揮発性の記憶領域（図示は、省略）に登録する。なお、撮影部１５４は、所謂クラウド上に存在する端末装置１００用の記憶領域に、撮影した画像を登録してもよい。

取得部１５５は、撮影された画像に含まれる選択対象の画像を取得する。例えば、取得部１５５は、撮影した画像に含まれる選択対象の画像であって、電子商店街に登録された選択対象の画像を取得する。例えば、取得部１５５は、撮影部１５４によって撮影された画像を情報提供装置１０に対してストリーミング形式で送信する。そして、取得部１５５は、撮影された選択対象であって、電子商店街に登録された選択対象の画像（すなわち、出品画像）と、選択対象を電子商店街で識別する識別情報を情報提供装置１０から取得する。すなわち、取得部１５５は、画像に撮影された選択対象の画像であって、電子商店街に登録された選択対象の画像を検索する情報提供装置１０に対して、カメラ１４０を用いて撮影された画像を出力する。

表示部１５６は、撮影された画像に含まれる選択対象の画像を、選択対象を電子商店街で検索するための検索クエリを示すクエリ情報として、撮影した画像と共に複数表示する。例えば、表示部１５６は、撮影画像ウインドウＣＷに撮影部１５４が撮影した画像を表示する。また、表示部１５６は、取得部１５５によって出品画像と対応する識別情報とが取得される度に、取得された出品画像をクエリ情報として画像表示ウインドウＰＷに順次追加表示する。そして、表示部１５６は、例えば、利用者が画像表示ウインドウＰＷ上でスクロール操作を行った場合は、画像表示ウインドウＰＷ上に表示したクエリ情報をスクロールさせる。すなわち、表示部１５６は、出品画像を、出品画像が示す選択対象を電子商店街で検索するための検索クエリである識別情報を示す情報として表示する。

また、表示部１５６は、表示したクエリ情報が選択された場合は、選択されたクエリ情報と対応する識別情報を要求部１５１に出力する。この結果、要求部１５１は、選択されたクエリ情報と対応する識別情報を用いた電子商店街の検索結果をＥＣサーバ２００から取得する。そして、表示部１５６は、取得された検索結果を表示する。なお、表示部１５６は、複数のクエリ情報が選択された場合は、選択された複数のクエリ情報と対応する複数の識別情報を用いた検索結果を表示することとなる。

なお、表示部１５６は、情報提供装置１０が出品画像ではなく、撮影画像のうち選択対象が含まれる領域の画像を提供する場合は、その画像をクエリ情報として表示してもよい。このような場合、ＥＣサーバ２００は、クエリ情報である画像を用いた画像検索により、出品された選択対象を検索することとなる。また、例えば、取得部１５５は、撮影された画像のうち、選択対象が含まれる領域を画像解析技術等によって特定し、特定した範囲のみを情報提供装置１０に送信することで、選択対象の識別情報を取得する。このような場合、表示部１５６は、撮影画像のうち取得部１５５によって特定された範囲を、クエリ情報として表示してもよい。

〔３．情報提供装置の構成〕
続いて、上記した情報提供装置１０が有する機能構成の一例について説明する。図４は、実施形態に係る情報提供装置の構成例を示す図である。図４に示すように、情報提供装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

通信部２０は、例えば、ＮＩＣ等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００やＥＣサーバ２００との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、選択対象データベース３１および利用者データベース３２を記憶する。

以下、図５〜図６を用いて、選択対象データベース３１および利用者データベース３２に登録される情報の一例について説明する。例えば、選択対象データベース３１には、選択対象に関する各種の情報が登録される。例えば、図５は、実施形態に係る選択対象データベースに登録される情報の一例を示す図である。図５に示す例では、選択対象データベース３１には、「選択対象ＩＤ」、「カテゴリパス」、「画像情報」、「識別情報」、「特徴量」、「対象情報」といった項目を有する情報が登録される。

ここで、「選択対象ＩＤ」とは、選択対象を一意に示す識別子である。また、「カテゴリパス」とは、電子商店街において選択対象が属するカテゴリのカテゴリパスである。また、「画像情報」とは、電子商店街に登録された選択対象の画像である。また、「識別情報」とは、選択対象を識別するための情報である。また、「特徴量」とは、選択対象の外観を撮影した画像が有する特徴量である。また、「対象情報」とは、選択対象の原材料、製法、生産地等といった選択対象に関する各種の情報である。

例えば、図５に示す例では、選択対象データベース３１には、選択対象ＩＤ「選択対象＃Ａ」、カテゴリパス「カテゴリ＃１＞カテゴリ＃１−１・・・」、画像情報「画像＃Ａ」、識別情報「識別情報＃Ａ」、特徴量「特徴量＃Ａ」、対象情報「原材料＃Ａ、製法＃・・・」等が対応付けて登録されている。このような情報は、選択対象ＩＤ「選択対象＃Ａ」が示す選択対象が、カテゴリパス「カテゴリ＃１＞カテゴリ＃１−１・・・」が示すカテゴリに属するものとして電子商店がに出品されており、選択対象の画像情報が「画像＃Ａ」である旨を示す。また、このような情報は、選択対象ＩＤ「選択対象＃Ａ」が示す選択対象を識別する識別情報が「識別情報＃Ａ」である旨を示す。また、このような情報は、選択対象ＩＤ「選択対象＃Ａ」が示す選択対象の外観を撮影した画像が有する特徴量が「特徴量＃Ａ」である旨を示す。また、このような情報は、選択対象ＩＤ「選択対象＃Ａ」が示す選択対象の対象情報が「原材料＃Ａ、製法＃Ａ・・・」である旨を示す。

なお、図５に示す例では、「選択対象＃Ａ」、「カテゴリ＃１」、「画像＃Ａ」、「識別情報＃Ａ」、「特徴量＃Ａ」、「原材料＃Ａ」、「製法＃Ａ」等といった概念的な値を記載したが、実際には、各選択対象を識別するための数値や文字列、カテゴリを示す数値や文字列、画像データ、選択対象を識別するための数値や文字列、特徴量の値、選択対象に関する各種の情報等が登録されることとなる。また、図６に示す情報以外にも、選択対象データベース３１には、選択対象に関する任意の情報が登録されていてよい。

利用者データベース３２には、利用者に関する各種の情報が登録される。例えば、図６は、実施形態に係る利用者データベースに登録される情報の一例を示す図である。図６に示すように、利用者データベース３２には、「利用者ＩＤ」、「属性情報」、「検索履歴」、「閲覧履歴」、「購買履歴」、「選択履歴」、「アレルギー情報」、「フィルタリング条件」、「表示条件」、および「推定モデル」といった項目を有する情報が登録される。

ここで、「利用者ＩＤ」とは、利用者Ｕを識別するための識別子である。また、「属性情報」とは、利用者の名前、性別、年齢、趣味趣向、居住地等といった各種属性を示す情報である。また、「検索履歴」とは、利用者が入力した各種検索クエリの履歴である。また、「閲覧履歴」とは、利用者が閲覧若しくは視聴したコンテンツの履歴である。また、「購買履歴」とは、利用者が購入した取引対象の履歴である。また、「選択履歴」、とは、上述した提供処理を介して情報が提供された選択対象のうち、利用者が選択した選択対象を示す情報である。また、「アレルギー情報」とは、利用者がアレルゲンとする食材などの情報である。また、「フィルタリング条件」、とは、利用者に応じたフィルタリング条件である。なお、利用者データベース３２には、選択対象のカテゴリごとに異なる「フィルタリング条件」が登録されていてもよい。また、「表示条件」とは、フィルタリング条件を満たす選択対象のうち、情報を表示する選択対象を示す情報である。また、「推定モデル」とは、利用者の行動の履歴が有する特徴を学習したモデルであり、利用者が興味を有すると推定される選択対象を特定するモデルである。

例えば、図６に示す例では、利用者データベース３２には、利用者ＩＤ「利用者＃１」、属性情報「属性情報＃１」、検索履歴「検索履歴＃１」、閲覧履歴「閲覧履歴＃１」、購買履歴「購買履歴＃１」、選択履歴「選択履歴＃１」、アレルギー情報「アレルギー情報＃１」、フィルタリング条件「フィルタリング条件＃１」、表示条件「表示条件＃１」、および推定モデル「推定モデル＃１」が対応付けて登録されている。

なお、図６に示す情報以外にも、利用者データベース３２には、利用者Ｕに関する任意の情報が登録されていてよい。また、図６に示す例では、「属性情報＃１」等といった概念的な値を記載したが、実際には、利用者データベース３２には、利用者Ｕの属性や検索履歴等、各種の情報を示す文字列や数値やモデルのデータ等が登録されることとなる。

図４に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。図５に示すように、制御部４０は、受付部４１、識別部４２、特定部４３、および提供部４４を有する。

受付部４１は、端末装置１００が撮影した撮影画像を受付ける。また、受付部４１は、ＥＣサーバ２００等から、所定の時間間隔で、電子商店街に出品された選択対象の情報を取得し、取得した情報を選択対象データベース３１に登録する。

識別部４２は、所定の画像に含まれる複数の選択対象を識別する。例えば、識別部４２は、利用者が所定の撮影装置を用いて撮像する動画像に含まれる複数の選択対象を識別する。例えば、識別部４２は、画像解析の技術を用いて、撮影画像の中から選択対象が撮影された範囲を特定する。また、識別部４２は、撮影画像のうち特定した範囲の特徴量を抽出し、抽出した特徴量と選択対象データベース３１に登録された特徴量との比較結果に基づいて、撮影された選択対象が何であるか（例えば、選択対象がどの識別番号で識別されるか）を識別する。

特定部４３は、識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する。例えば、特定部４３は、識別された選択対象に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定する。また、例えば、特定部４３は、識別された選択対象の内容物に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定する。また、特定部４３は、利用者により設定された条件を満たす選択対象を特定する。

ここで、特定部４３は、例えば、複数の選択対象のうち、利用者の属性に応じた条件を満たす選択対象を特定してもよい。また、例えば、特定部４３は、複数の選択対象のうち、利用者と選択対象との関係性に応じた条件を満たす選択対象を特定してもよい。また、例えば、特定部４３は、複数の選択対象のうち、利用者が身体的に利用可能な選択対象を特定してもよい。また、例えば、特定部４３は、複数の選択対象のうち、選択対象が属するカテゴリに応じた条件を満たす選択対象を特定してもよい。また、例えば、特定部４３は、複数の選択対象のうち利用者の行動の履歴に応じた条件を満たす選択対象を特定してもよい。

また、例えば、特定部４３は、利用者が選択した選択対象と共通する特徴を有する選択対象を特定してもよい。また、例えば、特定部４３は、利用者が選択した選択対象が有する特徴を学習した学習モデルを用いて、複数の選択対象のうち、利用者が選択した選択対象と共通する特徴を有する選択対象を特定してもよい。

例えば、特定部４３は、利用者データベース３２を参照し、各利用者の属性情報や検索履歴等を用いて、利用者が購入、選択した選択対象や利用者が興味があると推定される選択対象の共通性を推定モデルに学習させる。また、特定部４３は、画像を撮影した利用者があらかじめ設定したフィルタリング条件と推定モデルとを参照する。そして、特定部４３は、識別された選択対象がフィルタリング条件を満たすか否かを判定するとともに、推定モデルを用いて、識別された選択対象に利用者が興味を有するか否かを判定する。そして、特定部４３は、判定結果に基づいて、情報の提供対象となる選択対象を特定する。

また、例えば、特定部４３は、動画像に含まれる複数の選択対象のうち、利用者が撮影装置の移動を所定の間だけ停止した際に撮影された選択対象を識別してもよい。また、例えば、特定部４３は、複数の選択対象のうち、利用者が意図的に撮影した複数の選択対象が共通して有する特徴を有する選択対象を特定してもよい。

例えば、図７は、実施形態に係る提供処理において利用者が興味を有する選択対象を学習する処理の一例を説明する図である。例えば、利用者は、図７中（Ａ）に示すように、選択対象Ｅの撮影を行い、そのまま注視点を移動させることで、選択対象Ｆおよび選択対象Ｇを撮影したものとする。また、利用者は、図７中（Ｂ）に示すように、選択対象Ｇを撮影した際に、所定の時間だけ注視点を移動させず（すなわち、手を止め）、その後、図７中（Ｃ）に示すように、再度注視点を移動させることで、選択対象Ｈを撮影したものとする。

このような場合、特定部４３は、利用者が興味を有する選択対象の特徴として、選択対象＃Ｇの特徴を学習モデルに学習させ、かかる学習モデルを用いて選択対象の特定を行う。例えば、特定部４３は、画像解析技術等を用いて、利用者が手を止めて撮影した選択対象を特定し、特定した選択対象が有する特徴を推定モデルに学習させてもよい。

提供部４４は、特定された選択対象を示す情報を利用者に提供する。例えば、提供部４４は、選択対象を示す情報として、所定の画像のうち選択対象が含まれる範囲を強調した画像を提供する。また、提供部４４は、選択対象を示す情報として、選択対象に関する情報を所定の画像と共に提供する。例えば、提供部４４は、特定部４３により特定された選択対象、すなわち、特定選択対象が撮影された範囲を撮影画像から特定し、特定した範囲を示す情報を生成する。また、提供部４４は、選択対象データベース３１から特定選択対象の情報を抽出する。そして、提供部４４は、特定した範囲を示す情報と、特定選択対象の情報とを端末装置１００に送信し、撮影画像のうち特定した範囲を強調表示させるとともに、特定選択対象の情報を表示させる。

なお、提供部４４は、選択対象を示す情報として、選択対象に関する情報であって、所定の条件と関連する情報を所定の画像と共に提供してもよい。例えば、提供部４４は、特定選択対象のうち、利用者データベース３２に登録された表示条件を満たす特定選択対象の情報のみを端末装置１００に配信してもよい。また、提供部４４は、特定選択対象の情報であって、電子商店街に登録された選択対象の情報を利用者に提供してもよい。

なお、上述した説明では、特定部４３が、各種属性やモデルを用いて所定の条件を満たす選択対象を特定するとともに、各種履歴に基づいたモデルの学習を行ったが、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、モデルの学習を行う学習部を有し、学習部が、利用者の各種履歴や、利用者が撮影した選択対象の履歴等を用いて、利用者が興味を有すると推定される選択対象や、利用者に情報を提供した方が良いと推定される選択対象の特徴を推定モデルに学習させてもよい。

〔４．情報提供装置が実行する処理の流れの一例〕
続いて、図８を用いて、情報提供装置１０が実行する処理の流れの一例を説明する。図８は、実施形態に係る情報提供装置が実行する表示処理の流れの一例を示すフローチャートである。

例えば、情報提供装置１０は、端末装置１００から画像を受付ける（ステップＳ２０１）。このような場合、情報提供装置１０は、選択対象が撮影された範囲を抽出する（ステップＳ２０２）。そして、情報提供装置１０は、特徴量を用いて、撮影された選択対象を識別する（ステップＳ２０３）。なお、情報提供装置１０は、先に特徴量を用いて撮影された選択対象を識別し（ステップＳ２０３）、その後、識別した選択対象が撮影された範囲の抽出（ステップＳ２０２）を行ってもよい。続いて、情報提供装置１０は、識別した選択対象の情報を取得する（ステップＳ２０４）。例えば、情報提供装置１０は、識別した選択対象の出品画像を電子商店街から取得する。そして、情報提供装置１０は、選択対象の情報が利用者に関する所定の条件を満たすか否かを判定する（ステップＳ２０５）。

ここで、情報提供装置１０は、選択対象の情報が利用者に関する所定の条件を満たすと判定された場合は（ステップＳ２０５：Ｙｅｓ）、選択対象の情報とともに、選択対象が撮影された範囲を端末装置１００に強調表示させ（ステップＳ２０６）、処理を終了する。一方、情報提供装置１０は、選択対象の情報が利用者に関する所定の条件を満たさないと判定された場合は（ステップＳ２０５：Ｎｏ）、そのまま処理を終了する。

〔５．変形例〕
上記では、情報提供装置１０および端末装置１００による提供処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、検索処理や表示処理のバリエーションについて説明する。

〔５−１．提供処理の態様について〕
上述した例では、情報提供装置１０は、端末装置１００が撮影した画像からリアルタイムに選択対象の識別やフィルタリング条件を満たす選択対象の特定を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、端末装置１００が過去に撮影した静止画像や動画像から、選択対象の識別やフィルタリング条件を満たす選択対象の特定を行ってもよい。

〔５−２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔５−３．プログラム〕
また、上述した実施形態に係る情報提供装置１０および端末装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、例えば、コンピュータ１０００が端末装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部１５０の機能を実現する。

〔６．効果〕
上述したように、情報提供装置１０や端末装置１００を有する提供システム１は、所定の画像に含まれる複数の選択対象を識別する。また、提供システム１は、識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する。また、提供システム１は、特定選択対象を示す情報を利用者に提供する。このため、提供システム１は、利用者が所望する可能性が高い選択対象の特定を行い、特定した特定選択対象の情報を提供するので、画像を用いた選択対象の検索における操作性を向上させることができる。

また、提供システム１は、識別された選択対象に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定する。例えば、提供システム１は、識別された選択対象の内容物に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定する。このため、提供システム１は、例えば、パッケージ等といった選択対象の外観を撮影するだけで、内容物が所定の条件を満たす選択対象を特定できるので、利用者に応じて適切に特定された選択対象の情報を提供することができる。

また、提供システム１は、利用者により設定された条件を満たす選択対象を特定する。例えば、提供システム１は、複数の選択対象のうち、利用者の属性に応じた条件を満たす選択対象を特定する。また、例えば、提供システム１は、複数の選択対象のうち、利用者と選択対象との関係性に応じた条件を満たす選択対象を特定する。また、例えば、提供システム１は、複数の選択対象のうち、利用者が身体的に利用可能な選択対象を特定する。また、例えば、提供システム１は、複数の選択対象のうち、その選択対象が属するカテゴリに応じた条件を満たす選択対象を特定する。また、例えば、提供システム１は、複数の選択対象のうち利用者の行動の履歴に応じた条件を満たす選択対象を特定する。

また、例えば、提供システム１は、利用者が選択した選択対象と共通する特徴を有する選択対象を特定する。また、例えば、提供システム１は、利用者が選択した選択対象が有する特徴を学習した学習モデルを用いて、複数の選択対象のうち、利用者が選択した選択対象と共通する特徴を有する選択対象を特定する。また、例えば、提供システム１は、利用者が所定の撮影装置を用いて撮像する動画像に含まれる複数の選択対象を識別し、動画像に含まれる複数の選択対象のうち、利用者が撮影装置の移動を所定の間だけ停止した際に撮影された選択対象を識別する。また、提供システム１は、複数の選択対象のうち、利用者が意図的に撮影した複数の選択対象が共通して有する特徴を有する選択対象を特定する。

これらの処理の結果、提供システム１は、撮影された選択対象のうち、様々な観点から利用者にとってふさわしいと推定される選択対象を特定し、特定した選択対象の情報を提供するので、画像を用いた選択対象の検索における操作性を向上させることができる。

また、提供システム１は、選択対象を示す情報として、所定の画像のうちその選択対象が含まれる範囲を強調した画像を提供する。また、提供システム１は、選択対象を示す情報として、その選択対象に関する情報を所定の画像と共に提供する。また、提供システム１は、選択対象を示す情報として、その選択対象に関する情報であって、所定の条件と関連する情報を所定の画像と共に提供する。また、提供システム１は、特定選択対象の情報であって、電子商店街に登録されたその選択対象の情報を利用者に提供する。これらの処理の結果、提供システム１は、利用者にとって適切であると推定される選択対象が、撮影された選択対象のうちどの選択対象であるかを利用者に認識させることができる。

また、端末装置１００は、画像を撮影し、画像に含まれる複数の選択対象のうち、所定の条件を満たす選択対象を示す情報を利用者に提供する。このため、端末装置１００は、画像を用いた選択対象の検索における操作性を向上させることができる。

また、情報提供装置１０は、端末装置１００が撮影した画像を受付ける。また、情報提供装置１０は、画像に含まれる複数の選択対象を識別し、識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する。そして、情報提供装置１０は、特定された選択対象を示す情報を利用者に提供する。このため、情報提供装置１０は、画像を用いた選択対象の検索における操作性を向上させることができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、特定部は、特定手段や特定回路に読み替えることができる。

１ 提供システム
１０ 情報提供装置
２０、１１０ 通信部
３０ 記憶部
３１ 選択対象データベース
３２ 利用者データベース
４０、１５０ 制御部
４１ 受付部
４２ 識別部
４３ 特定部
４４ 提供部
１００ 端末装置
１２０ 入力部
１３０ 出力部
１４０ カメラ
１５１ 要求部
１５２ 操作制御部
１５３ 表示制御部
１５４ 撮影部
１５５ 取得部
１５６ 表示部
２００ ＥＣサーバ

Claims (19)

1. 所定の画像に含まれる複数の選択対象を識別する識別手順と、
   利用者が予め選択した選択対象の内容物の特徴を学習した学習モデルを用いて、前記識別手順により識別された複数の選択対象のうち、内容物の特徴が前記利用者が予め選択した選択対象の内容物と類似する選択対象を特定する特定手順と、
   特定手順により特定された選択対象を示す情報を利用者に提供する提供手順と
   をコンピュータに実行させるための提供プログラム。
2. 前記特定手順は、前記識別手順により識別された選択対象の内容物に関する情報を取得し、取得した内容物に関する情報が前記利用者が予め選択した選択対象の内容物と類似する選択対象を特定する
   ことを特徴とする請求項１に記載の提供プログラム。
3. 前記特定手順は、特定した選択対象の内容物に関する情報が前記所定の条件を満たす選択対象を特定する
   ことを特徴とする請求項１または２に記載の提供プログラム。
4. 前記特定手順は、特定した選択対象のうち前記利用者により設定された条件を満たす選択対象を特定する
   ことを特徴とする請求項１〜３のうちいずれか１つに記載の提供プログラム。
5. 前記特定手順は、特定した選択対象のうち、前記利用者の属性に応じた条件を満たす選択対象を特定する
   ことを特徴とする請求項１〜４のうちいずれか１つに記載の提供プログラム。
6. 前記特定手順は、特定した選択対象のうち、前記利用者と前記選択対象との関係性に応じた条件を満たす選択対象を特定する
   ことを特徴とする請求項１〜５のうちいずれか１つに記載の提供プログラム。
7. 前記特定手順は、特定した選択対象のうち、前記利用者が身体的に利用可能な選択対象を特定する
   ことを特徴とする請求項１〜６のうちいずれか１つに記載の提供プログラム。
8. 前記特定手順は、特定した選択対象のうち、当該選択対象が属するカテゴリに応じた条件を満たす選択対象を特定する
   ことを特徴とする請求項１〜７のうちいずれか１つに記載の提供プログラム。
9. 前記特定手順は、特定した選択対象のうち前記利用者の行動の履歴に応じた条件を満たす選択対象を特定する
   ことを特徴とする請求項１〜８のうちいずれか１つに記載の提供プログラム。
10. 前記識別手順は、前記利用者が所定の撮影装置を用いて撮像する動画像に含まれる複数の選択対象を識別し、
    前記特定手順は、前記動画像に含まれる複数の選択対象のうち、前記利用者が前記撮影装置の移動を所定の間だけ停止した際に撮影された選択対象を識別する
    ことを特徴とする請求項１〜９のうちいずれか１つに記載の提供プログラム。
11. 前記提供手順は、前記選択対象を示す情報として、前記所定の画像のうち当該選択対象が含まれる範囲を強調した画像を提供する
    ことを特徴とする請求項１〜１０のうちいずれか１つに記載の提供プログラム。
12. 前記提供手順は、前記選択対象を示す情報として、当該選択対象に関する情報を前記所定の画像と共に提供する
    ことを特徴とする請求項１〜１１のうちいずれか１つに記載の提供プログラム。
13. 前記提供手順は、前記選択対象を示す情報として、当該選択対象に関する情報であって、前記所定の条件と関連する情報を前記所定の画像と共に提供する
    ことを特徴とする請求項１〜１２のうちいずれか１つに記載の提供プログラム。
14. 前記提供手順は、前記特定手順により特定された選択対象の情報であって、電子商店街に登録された当該選択対象の情報を前記利用者に提供する
    ことを特徴とする請求項１〜１３のうちいずれか１つに記載の提供プログラム。
15. 前記特定手順は、さらに、前記複数の選択対象のうち、前記利用者が意図的に撮影した複数の選択対象が共通して有する特徴を有する選択対象を特定する
    ことを特徴とする請求項１〜１４のうちいずれか１つに記載の提供プログラム。
16. 所定の画像に含まれる複数の選択対象を識別する識別部と、
    利用者が予め選択した選択対象の内容物の特徴を学習した学習モデルを用いて、前記識別部により識別された複数の選択対象のうち、内容物の特徴が前記利用者が予め選択した選択対象の内容物と類似する選択対象を特定する特定部と、
    特定部により特定された選択対象を示す情報を利用者に提供する提供部と
    を有することを特徴とする提供装置。
17. 提供装置が実行する提供方法であって、
    所定の画像に含まれる複数の選択対象を識別する識別工程と、
    利用者が予め選択した選択対象の内容物の特徴を学習した学習モデルを用いて、前記識別工程により識別された複数の選択対象のうち、内容物の特徴が前記利用者が予め選択した選択対象の内容物と類似する選択対象を特定する特定工程と、
    特定工程により特定された選択対象を示す情報を利用者に提供する提供工程と
    を含むことを特徴とする提供方法。
18. 画像を撮影する撮影部と、
    前記画像に含まれる複数の選択対象のうち、利用者が予め選択した選択対象の内容物の特徴を学習した学習モデルを用いて、内容物の特徴が前記利用者が予め選択した選択対象の内容物と類似すると判定された選択対象を示す情報を利用者に提供する提供部と
    を有することを特徴とする端末装置。
19. 端末装置が撮影した画像を受付ける受付部と、
    所定の画像に含まれる複数の選択対象を識別する識別部と、
    利用者が予め選択した選択対象の内容物の特徴を学習した学習モデルを用いて、前記識別部により識別された複数の選択対象のうち、内容物の特徴が前記利用者が予め選択した選択対象の内容物と類似する選択対象を特定する特定部と、
    特定部により特定された選択対象を示す情報を利用者に提供する提供部と
    を有することを特徴とする情報提供装置。

Images