JP2020038562A

JP2020038562A - 情報処理装置、情報処理方法、および情報処理プログラム

Info

Publication number: JP2020038562A
Application number: JP2018166228A
Authority: JP
Inventors: 一希笠井; Kazuki KASAI
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2018-09-05
Filing date: 2018-09-05
Publication date: 2020-03-12
Anticipated expiration: 2038-09-05
Also published as: JP6724090B2

Abstract

【課題】各ユーザに最適化した情報を提供し、各ユーザへの利益の提供を実現することを目的とする。【解決手段】本発明の一態様に係る情報処理装置は、ユーザ情報取得部（１）と、顔情報取得部（２）と、ユーザの状態を検出する状態検出部（４）と、視認オブジェクト判定部（５）と、ユーザの趣向情報を生成する趣向情報生成部（６）と、趣向情報に基づきプログラムを実行するプログラム実行部（３０）と、を備える。【選択図】図１

Description

本発明は情報処理装置、情報処理方法、および情報処理プログラムに関する。

近年、顧客の購買行動と、該顧客の動向とを照合することにより、顧客の趣向等を推定する方法が、マーケティングに利用されている。

特許公報４９９１４４０号（２０１２年５月１１日登録）

しかしながら、上述のような従来技術は不特定多数の顧客（ユーザ）の購買履歴および趣向に関するデータを蓄積し、マーケティングで利用することのみを考えられたものであり、各ユーザに最適化した情報を提供するような、ユーザにとっての利益を考えたものではなかった。また、該情報が提供された後の各ユーザの動向についてはフォローされず、提供した該情報の評価はできなかった。

本発明の一態様は、各ユーザに最適化した情報を提供し、各ユーザへの利益の提供を実現することを目的とする。

また、本発明の一態様は、情報が提供された後の各ユーザの動向をフォローし、提供した情報の評価を行うことを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、上記ユーザの顔情報を取得する顔情報取得部と、上記顔情報取得部が取得した顔情報から上記ユーザの状態を検出する状態検出部と、上記状態検出部が検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部と、上記状態検出部によるユーザの状態および上記視認オブジェクト判定部による判定結果を参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部と、上記趣向情報に基づきプログラムを実行するプログラム実行部と、を備えている。

これにより、情報処理装置は、ユーザの趣向情報を好適に生成することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、視認オブジェクト判定部を備え、上記視認オブジェクト判定部は、上記ユーザが閲覧しているページの配置情報を更に参照して、上記ユーザが視認しているオブジェクトを判定する。

これにより、情報処理装置１００は、ユーザが視認しているオブジェクトを正確に判定することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、視認オブジェクト判定部を備え、上記視認オブジェクト判定部は、上記状態検出部が検出した結果を参照し、上記ユーザの集中度および上記ユーザの感情のうち少なくとも１つを更に判定する。

これにより、ユーザがどの程度オブジェクトに興味を持ち、どのような感情を持って該オブジェクトを視認しているかを判定することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部を更に備え、上記視認オブジェクト判定部は、上記画像取得部が取得した撮像画像と、上記状態検出部が検出した結果と、を参照して、上記ユーザが視認しているオブジェクトを判定する。

これにより、ユーザが視認しているオブジェクトを好適に判定することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、プログラム実行部を備え、上記プログラム実行部は、上記ユーザに対応したアバター画像であって、上記ユーザの状態、上記ユーザが視認しているオブジェクト、上記ユーザの感情、および上記趣向情報のうち少なくとも１つに応じたアバター画像を生成する。

これにより、ユーザが視認しているオブジェクト、ユーザの感情、および趣向情報を可視化することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、プログラム実行部を備え、上記プログラム実行部は、上記趣向情報に基づいた提案情報を上記ユーザに提案する。

これにより、ユーザは、自身の趣向に基づいた情報を享受することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、プログラム実行部を備え、上記プログラム実行部は、上記趣向情報と、上記提案情報とに基づいた評価を行う。

これにより、提案情報が適当なものであったかの評価を行うことができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、プログラム実行部を備え、上記プログラム実行部は、上記趣向情報を、表示データとして外部の表示装置へ出力する。

これにより、学習者の推定理解度を可視化することができる。

上記の課題を解決するために、上記趣向情報は、ある問題に解答したユーザの推定理解度である。

これにより、ユーザの推定理解度を好適に生成することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、プログラム実行部を備え、上記プログラム実行部は、上記推定理解度を可視化したオブジェクトを含む表示データを外部の表示装置へ出力する。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、プログラム実行部を備え、上記プログラム実行部は、上記趣向情報に基づいて、外部の表示装置に表示させるための表示情報を変更する。

これにより、各ユーザの趣向情報に基づいたレイアウト等を各ユーザに提供することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ユーザ情報を取得するユーザ情報取得部を備え、上記ユーザ情報には、上記ユーザの属性情報が含まれる。

これにより、ユーザの属性を取得することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ユーザ情報を取得するユーザ情報取得部を備え、上記ユーザ情報には、上記ユーザを他のユーザと識別するためのユーザ識別情報が含まれる。

これにより、他のユーザと対象ユーザとを識別することができ、ユーザの趣向情報と、ユーザ情報とを紐づけることができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、上記顔情報取得部が取得した顔情報から上記ユーザの状態を検出する状態検出部を備え、上記状態検出部が検出する上記ユーザの状態は、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つである。

これにより、情報処理装置は、ユーザの状態を好適に検出することできる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部を備え、上記趣向情報生成部が生成する上記趣向情報は、上記ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である。

これにより、各ユーザの興味が強いオブジェクトおよび興味の弱いオブジェクトの情報を知ることができ、趣向情報生成部は、重みづけを行った趣向情報を生成することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、上記顔情報に仮ＩＤを付与する仮ＩＤ付与部と、上記仮ＩＤ上記とユーザが決済を行ったか否かの決済情報とを照合する照合部と、を更に備える。

これにより、情報処理装置は、顔情報を一時的に他の顔情報と区別することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理プログラムは、上記情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、上記趣向情報生成部としてコンピュータを機能させる。

これにより、情報処理プログラムは、趣向情報生成部としてコンピュータを機能させることができる。

上記の課題を解決するために、本発明の一態様に係る情報処理方法は、情報処理装置によって実行される情報処理方法であって、登録された特定のユーザのユーザ情報を取得するユーザ情報取得ステップと、上記ユーザの顔情報を取得する顔情報取得ステップと、上記顔情報取得ステップにおいて取得した顔情報から上記ユーザの状態を検出する状態検出ステップと、上記状態検出ステップにおいて検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定ステップと、上記ユーザのユーザ情報と、上記視認オブジェクト判定ステップにおける判定結果とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成ステップと、上記趣向情報に基づきプログラムを実行するプログラム実行ステップとを含んでいる。

これにより、趣向情報を好適に生成することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、上記ユーザの顔情報を取得する顔情報取得部と、上記ユーザのユーザ情報と、上記ユーザの顔情報とを参照して得られる趣向情報を取得する趣向情報取得部と、を備えている。

これにより、情報処理装置は、ユーザの趣向情報を取得することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、上記趣向情報に基づきプログラムを実行するプログラム実行部を更に備えている。

これにより、ユーザの趣向情報に基づいたプログラムを実行することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、上記顔情報取得部が取得した顔情報から上記ユーザの状態を検出する状態検出部と、上記状態検出部が検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部と、を更に備えている。

これにより、情報処理装置４００は、ユーザの状態を検出できると共に、ユーザが視認しているオブジェクトを好適に判定することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部を備え、上記視認オブジェクト判定部は、上記ユーザが閲覧しているページの配置情報を更に参照して、上記ユーザが視認しているオブジェクトを判定する。

これにより、ユーザがページ上のどのオブジェクトを視認しているか、正確に判定することができる。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部を備え、上記視認オブジェクト判定部は、上記状態検出部が検出した結果を参照し、上記ユーザの集中度および上記ユーザの感情のうち少なくとも１つを更に判定する。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ユーザの状態を検出する状態検出部を備え、上記状態検出部が検出する上記ユーザの状態は、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つである。

これにより、ユーザの集中度を好適に判定することができる。

これにより、ユーザの属性を取得することができる。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、上記ユーザの顔情報を取得する顔情報取得部と、上記ユーザのユーザ情報と、上記ユーザの顔情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部と、上記趣向情報に基づきプログラムを実行するプログラム実行部と、を備えている。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、プログラム実行部を備え、上記プログラム実行部は、趣向情報に基づいて、外部の表示装置に表示させるための表示情報を変更する。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、趣向情報を生成する趣向情報生成部、または、趣向情報を取得する趣向情報取得部を備え、上記趣向情報は、上記ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である。

これにより、各ユーザの興味が強いオブジェクトおよび興味の弱いオブジェクトの情報を知ることができ、趣向情報生成部は、重みづけを行った趣向情報を生成することができる。また、趣向情報取得部が該趣向情報を取得することで、ユーザは、自身の趣向に基づいた趣向情報を取得することができる。

本発明の一態様によれば、各ユーザの趣向に合わせた各ユーザへの利益を提供することができる。

本発明の実施形態１および２に係る情報処理装置の構成要素を示すブロック図である。本発明の実施形態１および３に係る情報処理装置を備えたスマートフォンの表示部を示す図である。本発明の実施形態１および３に係る情報処理装置を備えたパソコンの表示部を示す図である。本発明の実施形態１、３および４に係る情報処理装置の視認オブジェクト判定部が出力するデータの一例を示す表である。本発明の実施形態１、３および４に係る情報処理装置の趣向情報生成部が生成する趣向情報の一例を示す表である。本発明の実施形態１に係る情報処理装置のプログラム実行部が生成するアバター画像の一例を示す表である。本発明の実施形態１、３および４に係る情報処理装置のプログラム実行部が出力するデータの一例を示す表である。本発明の実施形態１、３および４に係る情報処理装置のプログラム実行部が出力するデータの一例を示す表である。本発明の実施形態１、３および４に係る情報処理装置を備えたパソコンの表示部を示し、（ａ）表示が変更される前、（ｂ）表示が変更された後の表示部を示す図である。本発明の実施形態１に係る情報処理装置の処理の流れの一例を示すフローチャートである。本発明の実施形態１に係る情報処理装置のプログラム実行部が出力するデータの一例を示す表である。本発明の実施形態１に係る情報処理装置のプログラム実行部が出力するデータの一例を示す表である。本発明の実施形態２に係る情報処理装置を備えた端末装置が表示するブラウザ画面の一例を示す図である。本発明の実施形態２に係る情報処理装置の趣向生成部が生成する趣向情報の一例を示す図である。本発明の実施形態２に係る情報処理装置の趣向生成部が生成する趣向情報の一例を示す図である。本発明の実施形態２に係る情報処理装置の趣向生成部が生成する趣向情報の一例を示す図である。本発明の実施形態３に係る情報処理装置の構成要素を示すブロック図である。本発明の実施形態３および４に係る情報処理装置同士の趣向情報の送受信の概要を示す図である。本発明の実施形態３に係る情報処理装置を備えた端末装置が表示するブラウザ画面の一例を示す図である。本発明の実施形態４に係る情報処理装置の構成要素を示すブロック図である。

＜実施形態１＞
以下、本発明の一実施形態について、詳細に説明する。以下の特定の項目（実施形態）における構成について、それが他の項目で説明されている構成と同じである場合は、説明を省略する場合がある。また、説明の便宜上、各項目に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。

〔情報処理装置１００の要部構成〕
図１は、情報処理装置１００の構成要素を示すブロック図である。図１に示すように、本実施形態に係る情報処理装置１００は、ユーザ情報取得部１、顔情報取得部２、状態検出部４、視認オブジェクト判定部５、趣向情報生成部６、およびプログラム実行部３０を備えている。

これにより、情報処理装置１００は、ユーザの趣向情報を好適に生成することができる。

ここで、状態検出部４、視認オブジェクト判定部５、趣向情報生成部６およびプログラム実行部３０は、情報処理装置１００の備える制御部９の一構成として実現される。

情報処理装置１００は、一例として、ローカルネットワーク又はグローバルネットワークに接続可能な端末装置（例えば、スマートフォン、タブレット、パソコン、テレビジョン受像機等）に実装される。図２は、情報処理装置１００をスマートフォンに実装した場合の、当該スマートフォンの表示画面と、当該表示画面における視線位置とを模式的に示している。図３は、情報処理装置１００を、パソコンに実装した場合の、当該パソコンの表示画面と、当該表示画面における視線位置とを模式的に示している。図２および図３に含まれる他の構成については後述する。

また、本実施形態においては、ユーザが電子商取引（ＥＣ（ＥｌｅｃｔｒｏｎｉｃＣｏｍｍｅｒｃｅ））サービスを利用して、商品を購入する形態について説明する。

（ユーザ情報取得部）
ユーザ情報取得部１は、例えば、ショッピングサイト等のデータベース等に予め登録されている特定のユーザのユーザ情報を取得し、取得したユーザ情報を趣向情報生成部６に送信する。一例として、ユーザ情報には、ユーザの属性を示す属性情報と、他のユーザと対象ユーザとを識別するためのユーザ識別情報が含まれる。ユーザの属性情報とは、例えば、ユーザの年齢、性別、会員の種別（有料会員であるか否か）等である。また、ユーザ識別情報とは、例えば、ユーザのＩＤ、ユーザのメールアドレス等である。

これにより、ユーザの属性を取得することができる。また、ユーザ情報に、ユーザ識別情報が含まれることで、他のユーザと対象ユーザとを識別することができ、ユーザの趣向情報と、ユーザ情報とを紐づけることができる。

（顔情報取得部）
顔情報取得部２は、例えば、カメラ等の撮像部から取得した画像から、ユーザの顔情報を取得する。ユーザの顔情報とは、顔の特徴量を示す情報である。顔の特徴量とは、例えば、顔の各部位（例えば、目、鼻、口、頬および眉等）の位置を示す位置情報、形状を示す形状情報および大きさを示す大きさ情報等を指す。特に、目の情報からは、ユーザが注視する対象に対するユーザの興味および関心の度合い等を評価することができるため、特に有用である。目の情報としては、例えば目頭および目尻の端点、虹彩および瞳孔等のエッジ等が挙げられる。また、顔情報取得部２は、撮像部から取得した画像に、ノイズ低減、エッジ強調等の補正処理を適宜行ってもよい。顔情報取得部２は、抽出した顔情報を状態検出部４に送信する。

（状態検出部）
状態検出部４は、顔情報取得部２が取得した顔情報に基づき、ユーザの状態を検出する。状態検出部４は、ユーザの状態を検出した後、該検出結果を視認オブジェクト判定部５へ送信する。上記状態検出部４が検出する上記ユーザの状態は、例えば、ユーザの顔の各部位の状態であり、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、頬の動き、瞼の動き、唇の動きおよび顎の動きのうち少なくとも１つである。

状態検出部４は、一例として、顔情報取得部２が取得した顔の特徴量である顔の各部位（例えば、目、鼻、口、頬および眉等）の位置を示す位置情報、形状を示す形状情報および大きさを示す大きさ情報等を参照し、ユーザの状態として、例えば、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、頬の動き、瞼の動き、唇の動きおよび顎の動きのうち少なくとも１つを検出してもよい。

例えば、視線の検出方法としては、特に限定されないが、情報処理装置１００に、点光源（不図示）を設け、点光源からの光の角膜反射像を撮像部で所定時間撮影することにより、ユーザの視線の移動先を検出する方法が挙げられる。点光源の種類は特に限定されず、可視光、赤外光が挙げられるが、例えば赤外線ＬＥＤを用いることで、ユーザに不快感を与えることなく、視線の検出をすることができる。視線の検出において、視線が所定時間以上移動しない場合は、同じ場所を注視しているといえる。

また、瞳孔の状態を検出する方法としては、特に限定されないが、例えば、ハフ変換を利用して、目の画像から円形の瞳孔を検出する方法等が挙げられる。一般的に、人間は、集中している場合に開瞳する傾向にあるため、瞳孔のサイズを検出することで、ユーザの集中の度合いを評価することができる。例えば、瞳孔のサイズを所定時間検出し、所定時間内で瞳孔が大きくなっている時間は、ユーザがある対象を注視している可能性が高いといえる。瞳孔のサイズに関して、閾値を設定し、瞳孔のサイズが閾値以上である場合は「開」、瞳孔のサイズが閾値未満である場合は「閉」として評価してもよい。

また、瞬きの回数を検出する方法としては、特に限定されないが、例えば、赤外光をユーザの目に対して照射し、開眼時と、閉眼時との赤外光量反射量の差を検出する方法等が挙げられる。一般的に、人間は、集中している場合、低い頻度で安定した間隔で瞬きをする傾向にあるため、瞬きの回数を検出することで、ユーザの集中度を評価することができる。例えば、瞬きの回数を所定時間検出し、所定時間内で瞬きが安定した間隔で行われている場合、ユーザがある対象を注視している可能性が高いといえる。

状態検出部４は、ユーザの視線、瞳孔の状態および瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つを検出すればよいが、これらを組み合わせることが好ましい。このように検出方法を組み合わせることで、状態検出部４は、ある対象物を視認しているときのユーザの集中度を好適に評価することができる。

目の状態以外では、例えば、眉の内側を持ち上げるか、外側を上げるか等の眉の動き、上瞼を上げる、瞼を緊張させる等の瞼の動き、鼻に皺を寄せる等の鼻の動き、上唇を持ち上げる、唇をすぼめる等の唇の動き、頬を持ち上げる等の頬の動き、顎を下げる等の顎の動き等の顔の各部位の状態が挙げられる。ユーザの状態として、顔の複数の部位の状態を組み合わせてもよい。

また、ユーザの表情を検出させる場合、状態検出部４は、ユーザの表情に関する情報を機械学習により算出することもできる。表情に関する情報を取得するための学習処理の具体的な構成は本実施形態を限定するものではないが、例えば、以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いることができる。

・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Baysian Network）
・ニューラルネットワーク（NN: Neural Network）
ニューラルネットワークを用いる場合、データをニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データアーギュメンテーション（Deta Argumentation）等の手法を用いることができる。

また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）を用いてもよい。より具体的には、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

また、ニューラルネットワークとして、数十〜数千層に至る多層型又は超多層型のニューラルネットワークを用いてもよい。

（視認オブジェクト判定部）
視認オブジェクト判定部５は、ユーザが閲覧しているページの配置情報を更に参照して、ユーザが視認しているオブジェクトを判定する。

視認オブジェクト判定部５の具体的な処理について、情報処理装置１００を備える端末装置１０を例に挙げ、図２および図３を用いて説明する。図２は、情報処理装置１００を備えるスマートフォン、図３は、情報処理装置１００を備えるパソコンを示す。

図２において、本実施形態に係る情報処理装置１００を備える端末装置（スマートフォン）１０は、撮像部１４と、表示部１２とを更に備えている。例えば、図２のように、ブラウザの表示領域が、スマートフォンの表示部のサイズと同じであり、商品の画像が並んで配置されている場合を想定する。例えば、商品の表示順、各商品の製造会社および商品名は、表示部１２が表示しているウェブページのソースコードから抽出することができる。各商品画像領域はブラウザによって制御されているため、視認オブジェクト判定部５は、ソースコードおよびブラウザを参照して、各商品の画像領域の座標を取得することができる。視認オブジェクト判定部５は、取得した各商品の画像領域の座標と、状態検出部４から取得した視線情報とを照合して、ユーザの視線の位置座標が、どの商品の画像領域の座標内にあるかを判定する。例えば、図２に示されるように、ユーザの視線の位置座標が、商品ａの画像領域１８の座標内にあると判定された場合、視認オブジェクト判定部５は、ユーザの視線の位置座標が、商品ａの画像領域の座標内に留まっている時間のカウントを開始する。このように、ユーザの視線の位置座標と、商品の画像領域の座標とを照合することで、ユーザがどの商品を視認しているかを好適に判定することができる。また、視線の情報に加えて、（状態検出部）で記載したように、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きの検出結果を参照することで、ユーザがどの商品を集中して視認しているかを更に好適に判定することができる。

図３において、本実施形態に係る情報処理装置１００を備える端末装置（パソコン）１０も、図２と同様に、撮像部１４と、表示部１２とを更に備えている。図３の場合、ブラウザ画面１６の大きさは、表示部１２よりも小さいため、視認オブジェクト判定部５は、表示部１２におけるブラウザ画面１６の位置の情報も取得する必要がある。ブラウザの位置および領域は情報処理装置１００のＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）によって制御されているため、視認オブジェクト判定部５は、ソースコードおよびブラウザに加え、ＯＳを参照して、各商品の画像領域の座標を取得することができる。例えば、図３に示されるように、ユーザの視線の位置座標が、商品ｂの画像領域１８の座標内にあると判定された場合、視認オブジェクト判定部５は、ユーザの視線の位置座標が、商品ｂの画像領域の座標内に留まっている時間のカウントを開始する。

また、視認オブジェクト判定部５は、状態検出部４から取得した結果を参照し、ユーザの集中度およびユーザの感情のうち少なくとも１つを更に判定してもよい。

視認オブジェクト判定部５は、状態検出部４から取得したユーザの顔の各部位の状態から、ユーザの感情を判定する。ユーザの感情を判定するために、例えば、ＰａｕｌＥｋｍａｎ感情分類モデルを用いてもよい。該感情分類モデルには、例えば、「幸福」、「驚き」、「怒り」、「嫌悪」、「恐れ」、「悲しみ」が含まれる。なお、該感情分類モデルは、「平常」を含んでいてもよい。更に該感情分類モデルは、「面白さ」、「軽蔑」、「満足」、「困惑」、「興奮」、「罪悪感」、「功績に基づく自負心」、「安心」、「納得感」、「恥」のような感情およびこれら感情を複合したもの（例えば、怒り＋嫌悪、幸福＋満足など）を含むものであってもよい。

また、視認オブジェクト判定部５は、ユーザがどの商品を集中して視認しているかの判定およびユーザの感情の判定を、（状態検出部）に記載の機械学習的手法を用いて判定してもよい。

視認オブジェクト判定部５は、判定した結果を趣向情報生成部６へ送信する。

（画像取得部）
情報処理装置１００は、ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部１５を更に備えてもよい。ここで、ユーザが身に着ける撮像装置は、ユーザの状態を検出できれば特に限定されないが、例えば、メガネ型のウェアラブルデバイスに搭載されたカメラ、ヘッドマウントデバイスに搭載されたカメラ等が挙げられる。これらのデバイスの種類としては、透過型でもよいし、非透過型でもよい。非透過型の場合、一例として、カメラ（撮像装置）と、ユーザが視認している先のディスプレイ（表示部）とが同じ装置に備えられる構成であってもよい。

ユーザの視野を含む撮像画像とは、例えば、ユーザが見ている先の景色およびディスプレイ（表示部）等を撮影した画像である。

視認オブジェクト判定部５は、画像取得部１５が取得した撮像画像と、上記状態検出部４が検出した結果と、を参照して、上記ユーザが視認しているオブジェクトを判定してもよい。具体的には、視認オブジェクト判定部５は、撮像画像領域の座標と、状態検出部４が検出したユーザの視線情報とを照合し、ユーザの視線の位置座標が、撮像画像中のどの座標に対応するかを判定する。視認オブジェクト判定部５は、画像取得部１５が取得した撮像画像に含まれるオブジェクトを、例えば、機械学習を用いて認識させる構成としてもよい。

（趣向情報生成部）
趣向情報生成部６は、ユーザ情報取得部１から取得したユーザ情報および視認オブジェクト判定部５から取得した判定結果を参照して、ユーザの趣向に関する趣向情報を生成する。ここで、趣向情報とは、ユーザの興味がどのオブジェクトに対して強く、どのオブジェクトに対して弱いかを示す情報である。

これにより、各ユーザの興味が強いオブジェクトおよび興味の弱いオブジェクトの情報を知ることができ、趣向情報生成部６は、重みづけを行った趣向情報を生成することができる。

例えば、趣向情報生成部６は、視認オブジェクト判定部５で判定された、ユーザが視認した商品の情報、該商品を視認していたときのユーザの集中度の結果、およびユーザの感情の結果を参照する。

図４は、趣向情報生成部６に入力される、状態検出部４で検出された結果を示すデータである。図４は、ＩＤがＡであるユーザ（以下、ユーザＡと称する）についてのデータの一例である。図４の表は、商品ごとに、ユーザＡがその商品を視認した時間（「視線」）、１分あたりの瞬きの回数（「瞬き」）、瞳孔の開閉（「瞳孔の状態」）を表している。図４の表から、ユーザＡは、商品ａを長時間視認しており、その間の瞬きの回数および瞳孔の状態から高い集中状態であることが判定される。また、図４の表から、ユーザＡは商品ｃに関して、商品ｃの視認時間は短く、それほど高い集中状態ではないことが判定される。

図５の表は、各ユーザの属性、興味が強い商品および興味が弱い商品について生成される趣向情報の一例である。ここで、各ユーザの属性は、一例として性別である。趣向情報生成部６は、図４の表のデータを参照して、図５に示すような趣向情報を生成する。図５の表は、ユーザＡが男性であり、実際にユーザＡが商品ａに強い興味を持っていること、商品ｂにはあまり興味を持っていないことを示している。このような趣向情報は、各ユーザ毎の趣向を示す情報であってもよいし、図５に示すように、複数のユーザの趣向を示す情報であってもよい。

また、趣向情報生成部６は、（状態検出部）に記載の機械学習的手法を用いて趣向情報を生成してもよい。

また、趣向情報生成部６は、上述の各種情報と共に、又は、上述の各種情報に代えて、クリック情報等の他の情報を参照してユーザの趣向情報を生成する構成としてもよい。ここで、クリック情報とは、ユーザがクリック又はタッチした位置、クリック又はタッチの回数、ダブルクリックの時間間隔等の情報を含み得る。また、クリック又はタッチの強さを検出する強度検出部を備え、趣向情報生成部６が当該クリック又はタッチの強さを参照してユーザの趣向情報を生成する構成としてもよい。

なお、表示部をタッチパネルとして構成する場合、いわゆる抵抗膜方式を採用すればユーザのタッチの強さを検出することができる。

趣向情報生成部６は、生成した趣向情報をプログラム実行部３０へ送信する。

（プログラム実行部１−１）
プログラム実行部３０は、ユーザに対応したアバター画像を生成し、状態検出部４が検出するユーザの状態、視認オブジェクト判定部５が判定するユーザが視認しているオブジェクト、ユーザの感情、および趣向情報生成部６から取得する趣向情報のうち少なくとも１つに応じたアバター画像を生成する。

アバター画像は、ユーザを象徴的に表す情報であり、主には、ユーザを想起させる画像である。ユーザがショッピングサイトで商品を選んでいる場合、一例として、アバター画像は、実店舗を模倣して形成される画像上に生成される。

ユーザの状態は、（状態検出部）で記載したユーザの顔の各部位の状態である。ユーザが視認しているオブジェクトおよびユーザの感情は、（視認オブジェクト判定部）で記載した方法で判定される。また、趣向情報は、（趣向情報生成部）で記載したように、ユーザの興味がどのオブジェクトに対して強く、どのオブジェクトに対して弱いかを示す情報である。

図６は、プログラム実行部３０が、生成するアバター画像の一例である。図６（ａ）は従来のアバター画像の一例、図６（ｂ）はユーザの表情に応じたアバター画像の一例、図６（ｃ）はユーザの表情および視線に応じたアバター画像の一例である。従来のアバター画像は、図６（ａ）で示すように、ユーザの表情は反映されていなかった。本実施形態のプログラム実行部３０は、図６（ｂ）で示すように、ユーザの表情に応じたアバター画像を生成する。例えば、ユーザがある商品を視認している際、口角を上げた表情をしている場合、口角を上げた表情のアバター画像を生成する。また、プログラム実行部３０は、趣向情報を参照することにより、ユーザのある商品に対する好意の度合い（好み）を可視化したゲージを表示してもよい。図６（ｃ）で示すように、ユーザの視線の情報に応じたアバター画像を生成してもよい。視線の情報とは、例えば、視線の方向、瞳孔の状態および瞬きの回数等である。例えば、ユーザがショッピングサイトの商品ａの画像を視認している場合、実店舗のように商品が陳列されている画像上において、陳列されている商品ａの方向をアバターが見ているように、アバター画像の視線を設定してもよい。また、プログラム実行部３０は、ユーザが視認しているオブジェクトを、例えば、アバターの手に持たせて、アバターが手に持った商品を視認しているような画像を生成してもよい。

なお、アバター画像は、ユーザ自身が見ることが出来るように、該ユーザの端末装置の表示部１２に表示されてもよいし、他のユーザが該ユーザのアバター画像を見ることが出来るように、他の端末装置およびショッピングサイトのサーバ等に送信されてもよい。

これにより、ユーザは、ショッピングサイトで自身がショッピングをしている様子を、あたかも実店舗でショッピングしている自身の姿として客観視ができる。また、他のユーザ（店舗のスタッフ等）は、ショッピングサイトでショッピングしているユーザを、アバター画像を介して、実店舗でショッピングしている客の一人として捉えることができ、ユーザにより良いサービスを提供するための意識の向上を図ることが出来る。

（プログラム実行部１−２）
プログラム実行部３０は、趣向情報生成部６が生成した趣向情報を、表示データとして外部の表示装置へ出力してもよい。表示データの種類は特に限定されないが、例えば、数値、文字、表、グラフ、アニメーション等が挙げられる。表の例としては、例えば図５のような表が挙げられる。また、出力の対象となる趣向情報は、ある特定の一人のユーザの趣向情報であってもよいし、複数のユーザの趣向情報であってもよい。

これにより、ユーザの趣向情報を可視化することができる。

（プログラム実行部１−３）
プログラム実行部３０は、趣向情報生成部６から取得した趣向情報に基づいた提案情報をユーザに提案する。提案情報とは、例えば、ユーザの趣向情報における興味が強い商品の電子公告、値下がりの情報、および電子クーポン等である。プログラム実行部３０は、例えば、メール、ソーシャルネットワークサービス（ＳＮＳ）およびインスタントメッセージ（ＩＭ）等の通信手段を用いて、生成した提案情報をユーザに送信してもよい。また、バナー広告としてユーザに通知してもよい。

図７は、趣向情報生成部６から取得した趣向情報に基づいて、プログラム実行部３０が生成した提案情報の一例を示す表である。趣向情報生成部６は、一例として、ユーザＡ、ＣおよびＤは商品ａに強い興味を持っていると推定し、ユーザＥおよびＦは商品ｂに強い興味を持っていると推定した趣向情報を生成する。その場合、プログラム実行部３０は、趣向情報に基づきユーザＡ、ＣおよびＤに商品ａの広告（提案情報）を送信し、ユーザＥおよびＦに商品ｂの広告を送信する。

このように、プログラム実行部３０が提案情報をユーザに提案することで、ユーザは、自身の趣向に基づいた情報を享受することができる。

プログラム実行部３０は、ユーザが提案情報を視認したか否かを判定してもよい。視認したか否かの判定は、例えば、広告に記載されたショッピングサイトのアドレスにユーザがアクセスしたか否かの情報をプログラム実行部３０が参照することにより判定してもよい。また、例えば、広告を配信した後の所定期間内に、ユーザがショッピングサイトにログインした否かの情報をプログラム実行部３０が参照して判定してもよい。ユーザがショッピングサイトにログインしたか否かの情報は、例えば、ユーザ情報取得部１から取得することができる。ショッピングサイトにログインした際、プログラム実行部３０は、ユーザがどの商品画像を視認していたかの情報を参照することにより、ユーザが広告に記載された商品と同じ商品画像を視認しているか否かを判定してもよい。ユーザがどの商品画像を視認していたかの情報は、例えば、視認オブジェクト判定部５によって、（視認オブジェクト判定部）で記載の方法を用いて、判定されればよい。

また、プログラム実行部３０は、趣向情報生成部６が生成した趣向情報と、プログラム実行部３０が提案した提案情報とに基づいて評価を行ってもよい。評価の方法について以下に説明する。ここで、評価とは、例えば、ユーザへ提案した提案情報が適当であったかの評価である。

図８は、プログラム実行部３０が行う評価の一例を示す表である。図８の表は、プログラム実行部３０が、ユーザＡ、ＣおよびＤに商品ａの広告を送信し、ユーザＥおよびＦに商品ｂの広告を送信した場合に、各ユーザが広告の商品画像を視認したか否かの判定の結果に基づいて、評価を行った結果である。本実施形態において、プログラム実行部３０が行う評価とは、一例として、広告を送信した全ユーザの人数における、広告を視認したユーザの人数の割合を評価値としてもよい。ここで、評価値とは、一例として、「注目率」として表される。例えば、商品ａの広告を送信したユーザＡ、ＣおよびＤのうち、プログラム実行部３０が、該広告を視認したと判定したのはユーザＡおよびＣであったため、プログラム実行部３０は、注目率が６６％であると評価する。また、商品ｂの広告を送信したユーザＥおよびＦのうち、プログラム実行部３０が、該広告を視認したと判定したのはユーザＦのみであったため、プログラム実行部３０は、注目率は５０％であると評価する。

このように、プログラム実行部３０が評価を行うことで、提案情報が適当なものであったかの評価を行うができる。

（プログラム実行部１−４）
プログラム実行部３０は、趣向情報生成部６から取得した趣向情報に基づいて、外部の表示装置に表示させるための表示情報を変更する。ここで、外部の表示装置とは、一例として、端末装置の表示部１２である。表示情報は、例えば、表示部１２に表示されている画像を示す画像情報、および該画像の座標等を示すレイアウト情報等が含まれる。表示情報は、ソースコード、ブラウザ、およびＯＳから取得することができる。また、情報の変更とは、特に限定されないが、一例として、表示部１２に表示させる商品画像のレイアウトの変更である。プログラム実行部３０は、変更した表示情報を表示部１２に送信する。

プログラム実行部３０が行う処理の具体例を説明する。図９は、パソコンの表示部１２を示す。図９（ａ）は表示が変更される前の表示部１２を示し、表示部１２は、商品ａ〜ｆの画像を表示している。図９（ｂ）は表示が変更された後の表示部１２を示している。

ここで、例えば、商品ａ〜ｆの中で、ユーザの興味の強い商品がｄ、ｅ、ｆであるという趣向情報を、趣向情報生成部６が生成したとする。プログラム実行部３０は、現在表示されている図９（ａ）の表示情報と、趣向情報生成部６が生成した趣向情報に基づき、商品ａ〜ｃの画像の位置と、商品ｄ〜ｆの画像の位置とを入れ替えることによってレイアウトが変更された表示情報を生成する。表示部１２は、プログラム実行部３０から取得した変更された表示情報に基づき、図９（ｂ）のような表示をさせる。すなわち、プログラム実行部３０は、表示される画面の中で、最も目立つ場所に商品ｄ、ｅ、ｆの画像を配置し、表示させる。なお、レイアウトの変更は、この形態に限定されず、商品画像の上下の入れ替え、左右の入れ替え等が挙げられる。また、趣向情報生成部６の趣向情報に基づき、ユーザの興味が強い順に１つずつ画像を並べ替えてもよい。

表示部１２の表示情報が変更されるタイミングは、特に限定されないが、ウェブページが更新されるタイミングでもよいし、所定の時間毎に変更されてもよい。また、ユーザがショッピングサイト等から一度ログアウトをし、次に同じサイトにログインした場合に変更されてもよい。

上記の説明では、プログラム実行部３０による表示情報の変更処理として、表示情報に含まれるレイアウト情報の変更を例に挙げたが、本実施形態はこれに限定されるものではない。表示情報の変更の他の例として、ユーザの興味の強い商品の画像を強調表示する構成が挙げられる。具体的は強調表示の例として、
・当該商品の画像を枠囲みする
・当該商品の画像の周辺の背景色を変更する
・当該商品の画像を、他の商品よりも大きく表示する
・当該商品の画像をポップアップウィンドウとして表示する
等が挙げられる。

（制御部）
制御部９は、情報処理装置１００の各部を統括的に制御するものである。制御部９は、状態検出部４、視認オブジェクト判定部５、趣向情報生成部６、およびプログラム実行部３０を含むものである。制御部９の各機能、および情報処理装置１００に含まれる全ての機能は、例えば、記憶部（不図示）等に記憶されたプログラムを、ＣＰＵが実行することによって実現されてもよい。

〔情報処理装置の処理例１〕
次に、図１０のフローチャートに基づき、情報処理装置１００の処理について説明する。

まず情報処理装置の使用を開始（ステップＳ１００）し、処理を開始する。ステップＳ（以下、「ステップ」は省略する）１０２に進む。

Ｓ１０２では、ユーザ情報取得部１が、ユーザ情報を取得する（ユーザ情報取得ステップ）。処理の詳細は、（ユーザ情報取得部）に記載の通りである。ユーザ情報取得部１は、ユーザ情報を趣向情報生成部６に送信し、Ｓ１０４に進む。

Ｓ１０４では、顔情報取得部２が、ユーザの顔画像を撮像部から取得し、顔画像から顔の各部位を抽出する（顔情報取得ステップ）。処理の詳細は、（顔情報取得部）に記載の通りである。顔情報取得部２は、抽出した結果を状態検出部４に送信し、Ｓ１０６に進む。

Ｓ１０６では、状態検出部４が、ユーザの視線、瞬き、瞳孔の状態、および顔の各部位の状態を検出する（状態検出ステップ）。処理の詳細は（状態検出部）に記載の通りである。検出結果を視認オブジェクト判定部５に送信し、Ｓ１０８に進む。

Ｓ１０８では、視認オブジェクト判定部５が、ユーザの視認する商品画像（視認オブジェクト）、視認しているときの集中度、および視認しているときの感情を判定する（視認オブジェクト判定ステップ）。処理の詳細は、（視認オブジェクト判定部）に記載の通りである。視認オブジェクト判定部５は、判定した結果を、趣向情報生成部６に送信し、Ｓ１１０に進む。

Ｓ１１０では、趣向情報生成部６が、ユーザ情報取得部１から取得されたユーザ情報と、視認オブジェクト判定部５から取得された判定結果とを参照し、趣向情報を生成し（趣向情報生成ステップ）、Ｓ１１２へ進む。処理の詳細は、（趣向情報生成部）に記載の通りである。

Ｓ１１２では、制御部９は、趣向情報生成部６が生成した趣向情報をデータベース等に記録し、Ｓ１１４に進む。

Ｓ１１４では、プログラム実行部３０が、アバター画像の生成、提案情報の提案、評価、および表示情報の変更のうち少なくとも１つを行う（プログラム実行ステップ）。プログラム実行部３０が行う処理の詳細は、（プログラム実行部１−１）〜（プログラム実行部１−３）に記載の通りである。Ｓ１１６に進み、趣向推定処理を終了する。

これにより、趣向情報を好適に生成することができる。

（変形例１−１）
情報処理装置１００は、決済情報取得部（不図示）を更に備えてもよい。決済情報取得部は、例えば、ユーザが商品を購入したか否かの決済情報を取得する。決済情報は、例えば、ショッピングサイト等に予め登録されているクレジットカード情報、ショッピングサイトの決済用サーバ、および決済代行事業者の決済用サーバ等から取得することができる。決済情報取得部は、ユーザが該ショッピングサイト内で、どの商品を購入したかの情報を取得することができる。決済情報は、クレジットカード情報に限定されず、ユーザの個人情報と紐づけられている媒体から取得することができる。例えば、デビットカード情報、プリペイドカード情報等が挙げられる。決済情報取得部は、取得した決済情報を、趣向情報生成部６へ送信する。

決済情報とは、ショッピング等においては、商品を購入したか否かの情報であるが、これに限定されず、より一般的に言えば、ユーザの意思を反映する意思決定情報である。

このような構成により、情報処理装置１００は、より正確な趣向情報を生成することができる。

また、情報処理装置１００が、決済情報取得部を備えることにより、プログラム実行部３０は、ユーザが提案情報に基づく商品を購入したか否かを判定し、該判定の結果に基づいて評価を行うことができる。

図１１は、プログラム実行部３０が、ユーザＡ、ＣおよびＤに商品ａの広告（提案情報）を送信し、ユーザＥおよびＦに商品ｂの広告を送信した場合に、各ユーザが広告の商品の購入に至ったか否かを評価した結果である。図１１の表中の成約率とは、プログラム実行部３０が広告を送信したユーザの人数における、実際に広告の商品を購入したユーザの人数の割合である。商品ａの広告を送信したユーザＡ、ＣおよびＤは、全員が商品ａを購入しているため、プログラム実行部３０は、成約率は１００％であると評価する。また、商品ｂの広告を送信したユーザＥおよびＦについては、ユーザＥのみが商品ｂの購入に至っているため、プログラム実行部３０は、成約率は５０％であると評価する。このとき、広告を送信されたユーザが実際に広告を見たか否かについては必ずしも判定しなくてもよい。特に、メール等、オフライン状態でも確認できる広告においては、判定しなくてもよい。

また、プログラム実行部３０は、広告を送信されたユーザが実際に広告を見たか否かという、広告の視認情報を参照して評価を行ってもよい。

図１２は、プログラム実行部３０が、ユーザＡ、ＣおよびＤに商品ａの広告を送信し、ユーザＥおよびＦに商品ｂの広告を送信した場合に、各ユーザが広告の商品の購入に至ったか否かを評価した結果を示す図である。図１２の表中の成約率とは、プログラム実行部３０が広告を送信したユーザの人数における、広告を視認して商品の購入に至ったユーザの人数の割合である。図１２の表に示されるように、商品ａの広告を送信したユーザＡ、ＣおよびＤは、全員が商品ａを購入したが、広告を見て購入に至ったのは、ユーザＡおよびＣのみであったため、プログラム実行部３０は、成約率は６６％であると評価する。また、商品ｂの広告を送信したユーザＥおよびＦについては、広告を見たうえで商品の購入に至ったユーザはいなかったため、プログラム実行部３０は、成約率は０％であると評価する。

広告の視認情報は、（視認オブジェクト判定部）に記載の方法を用いて広告を見たか否かを判定してもよい。

（変形例１−２）
本変形例に係る情報処理装置１００は、実施形態１に係る情報処理装置１００と同じ部を備え、各部が行う処理についても視認オブジェクト判定部５以外は同じである。視認オブジェクト判定部５については後述する。また、本実施形態に係る情報処理装置１００は、ユーザの決済情報を取得する決済情報取得部（不図示）と、仮ＩＤを付与する仮ＩＤ付与部（不図示）と、仮ＩＤと上記ユーザの決済情報とを照合する照合部（不図示）とを更に備える点で実施形態１に係る情報処理装置１００と異なる。

決済情報取得部を備えることで、情報処理装置１００は、より正確な趣向情報を生成することができる。仮ＩＤ付与部を備えることで、情報処理装置１００は、顔情報を一時的に他の顔情報と区別することができる。また、照合部を更に備えることで、仮ＩＤとユーザの決済情報とを照合することができる。

実施形態１においては、ユーザがＥＣサービスを利用して商品を購入する形態について説明したが、本変形例では、ユーザが実店舗で商品を購入する形態について説明する。

実施形態１において、情報処理装置１００は、ユーザの個人情報をまず取得する。これは、例えば、ショッピングサイトにおいて、ユーザがＩＤおよびパスワードを入力して、ショッピングサイトにログインすることに相当するが、実店舗では、ユーザが予めログインする場面は稀である。

本変形例においては、例えば、情報処理装置は、決済情報取得部から決済情報を取得した後に、または決済情報と同時にユーザ情報を取得する。一例として、店舗内の商品の陳列棚等に撮像部を設置し、ユーザが商品を選んでいる際のユーザの視線、瞬きおよび瞳孔の状態等を検出できるようにする。ユーザ情報が取得されるまでは、例えば、ユーザには仮ＩＤ付与部が仮のＩＤを付与しておき、ユーザが視認している商品の情報等を仮ＩＤ情報として、キャッシュメモリ等に格納してもよい。ユーザがレジでクレジットカード等、ユーザ情報が紐付けられている媒体を使用して決済を行った際に、初めて決済情報およびユーザ情報が取得されることになる。例えば、レジにも撮像部を設置しておき、陳列棚の撮像部から取得した画像と、レジの撮像部から取得した画像とを同期させた上で、どの仮ＩＤのユーザが決済を行ったか判定し、照合部が、仮ＩＤ情報とユーザの決済情報とを、または仮ＩＤ情報とユーザ情報とを照合してもよい。

なお、仮ＩＤのユーザが、現金で決済を行った場合等、ユーザ情報と照合できない方法で決済を行った場合は、仮ＩＤ情報を破棄してもよい。

＜実施形態２＞
本実施形態に係る情報処理装置は、学習支援装置である。学習支援装置の形態としては、例えばＥラーニングを実施する装置が挙げられる。本実施形態において、情報処理装置は、複数の選択問題に解答する学習者の推定理解度を生成する。

図１３は、本実施形態に係る情報処理装置が表示する問題文および解答選択肢の一例である。学習者は、図１３のように、表示された問題文を読み、解答の選択肢を読んだ上で、正解だと思う選択肢を選択する。このような選択式の問題では、学習者が、最終的に正解である選択肢を選択した場合であっても、学習者が本当にその問題を理解した上で正解したとは限らない。複数の選択肢で迷った結果、偶然正解する場合もあれば、問題文を読まずにある選択肢を選択した結果、偶然正解する場合もある。本実施形態に係る情報処理装置は、学習者が該解答に至るまでの過程を考慮して、学習者の推定理解度を出力する。このように、推定理解度を出力することで、学習者本人、又は、学習者を指導する第三者が、該学習者の理解度を正確に知ることができる。

本実施形態に係る情報処理装置は、実施形態１と同じく、ユーザ情報取得部１と、顔情報取得部２と、状態検出部４と、視認オブジェクト判定部５と、趣向情報生成部６と、プログラム実行部３０とを備えている。

ユーザ情報取得部１は、予め登録された学習者をユーザとして、該ユーザの情報を取得する。

顔情報取得部２は、ユーザの顔情報を取得する。顔情報取得部２が行うユーザの顔情報の取得は、実施形態１の顔情報取得部２と同じ処理を用いればよい。

状態検出部４は、顔情報取得部２が取得したユーザの顔情報から上記ユーザの状態を検出する。検出方法は、実施形態１の状態検出部４と同じ判定方法を用いればよい。

視認オブジェクト判定部５は、状態検出部４が検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する。視認オブジェクト判定部５は、ユーザが閲覧しているページの配置情報を更に参照して、ユーザが視認しているオブジェクトを判定してもよい。

また、視認オブジェクト判定部５は、状態検出部４が検出した結果を参照し、ユーザの集中度およびユーザの感情のうち少なくとも１つを更に判定してもよい。視認オブジェクト判定部５が行う判定方法は、実施形態１の視認オブジェクト判定部５の判定方法と同じ方法を用いればよい。本実施形態において、ユーザが視認しているオブジェクトとは、ユーザが視認している問題文および解答の選択肢である。本実施形態において、ユーザの感情は、例えば、自信に満ちている、困っている等、問題を解いているときの学習者の感情である。

本実施形態において、趣向情報生成部６が生成する趣向情報は、ある問題に解答したユーザの推定理解度である。ここで、推定理解度とは、学習者（ユーザ）が該解答に至るまでの過程のみを考慮した上で、学習者の理解度を推定するための度合いである。趣向情報生成部６は、ユーザ情報取得部１から取得したユーザ情報および視認オブジェクト判定部５から取得した判定結果を参照して、学習者の推定理解度を生成する。一例として、視認オブジェクト判定部５が、学習者が何度も視線を向けていると判定したオブジェクト、すなわち、何度も読み返している解答の選択肢について、趣向情報生成部６は、学習者が正解の候補として迷った選択肢であると判定し、推定理解度を生成する。本実施形態において、趣向情報生成部６は、ユーザがどの選択肢を実際に選択したかの結果は考慮せず、ユーザ情報および判定結果から学習者の推定理解度を生成する。

これにより、学習者の推定理解度を好適に生成することができる。

図１４は、趣向情報生成部６が生成する情報の一例である。図１４は、趣向情報生成部６が生成する情報の一例である。図１４において、「ＩＤ」は、学習者を識別するための情報、「迷った選択肢」は、視認オブジェクト判定部５において、学習者が視認していたと判定された選択肢であり、「迷わなかった選択肢」は、学習者がそれほど視認していなかったと判定された選択肢である。「推定理解度」は、「迷った選択肢」および「迷わなかった選択肢」を総合的に判定し、学習者の理解度を５段階で示した結果である。本例において、解答の選択肢はａ〜ｄの４つであり、正解の選択肢はａである。

学習者Ａ〜Ｄの推定理解度について、それぞれ以下に説明する。

学習者Ａは、正解である選択肢ａ以外に、選択肢ｂおよびｃも視認していたため、学習者Ａは、選択肢ａ、ｂおよびｃで迷ったといえる。逆に、学習者Ａは、選択肢ｄについては、それほど視認していなかったため、選択肢ｄを一読した上で正解の候補から除外していた可能性が高いといえる。このことより、学習者Ａは、選択肢ｄを正解の候補から除外するだけの理解度はあったと趣向情報生成部６が判定し、中程度の理解度として推定理解度「３」を生成する。

学習者Ｂは、正解である選択肢ａと、選択肢ｂとを視認しており、選択肢ｃおよびｄをそれほど視認していなかったことより、選択肢ａとｂとで迷ったといえる。選択肢ａおよびｂのどちらかが正解であると絞り込んでいる点で、趣向情報生成部６は、学習者Ｂの推定理解度を学習者Ａよりも高い「４」とする。

学習者Ｃは、問題文および選択肢を一読した上で、迷わず即答した。このことより、趣向情報生成部６は、学習者Ｃの理解度が高いと判定し、推定理解度「５」を生成する。

学習者Ｄは、選択肢ａ以外の選択肢ｂ、ｃ、およびｄを視認していることから、正解である選択肢ａを最初から正解の候補として含まず、選択肢ｂ、ｃ、およびｄで迷ったといえる。このことより、趣向情報生成部６は、学習者Ｄの理解度はそれほど高くないと判定し、推定理解度「２」を生成する。

学習者Ｅは、全ての選択肢を同じように視認し、全ての選択肢で迷ったといえる。このことより、趣向情報生成部６は、学習者Ｅの理解度はそれほど高くないと判定し、推定理解度「１」を生成する。

（プログラム実行部２−１）
プログラム実行部３０は、趣向情報生成部６が生成した推定理解度を可視化したオブジェクトを含む表示データを外部の表示装置へ出力してもよい。表示データの一例として、グラフが挙げられる。

図１５は、問題文５つに解答した、ある学習者の推定理解度を棒グラフに示したものである。可視化の方法は、限定されず、レーダチャート等を用いてもよい。また、図１５は、１人の学習者の推定理解度を示しているが、同じ問題を解いた複数の学習者の平均の推定理解度等を併せて表示してもよい。

本実施形態において、趣向情報生成部６が生成する趣向情報の形態は、特に限定されない。図１４で示すように、各問題における複数の学習者の推定理解度を示す情報であってもよいし、図１５のように、各学習者における解答済みの複数の問題の推定理解度を示す情報であってもよい。

本実施形態に係る情報処理装置は、例えば、以下の事項を更に判定して、推定理解度を生成してもよい。

問題文および解答の選択肢の文全体を一読するのに最低限必要であるとされる閾値の時間より短い時間で解答した場合は、そもそも学習者が問題文および選択肢の文を読まずに解答した可能性が高く、理解した上での解答ではないといえる。この場合、趣向情報生成部６は、推定理解度を下げる等の処理を行ってもよい。

また、解答の選択肢に重みづけをした上で、学習者が複数の選択肢を解答の候補として迷った場合に、その選択肢の重みを推定理解度に反映させてもよい。例えば、事前に学習をしたはずの学習者なら通常選び得ない解答の選択肢が解答の候補とされた場合、趣向情報生成部６は、推定理解度を下げる等の処理を行ってもよい。

（プログラム実行部２−２）
プログラム実行部３０は、趣向情報生成部６から取得した趣向情報に基づいた提案情報をユーザに提案する。本実施形態において、提案情報とは、例えば、趣向情報生成部６が生成する趣向情報に含まれる、各学習者における解答済みの複数の問題のうち推定理解度が低い問題について学習者に復習させるための情報である。復習させるための情報とは、具体的には、推定理解度が低い問題を学習者に理解させるための解説等である。復習させるための情報とは、更に具体的には、「英文法の過去完了形についての理解が低いようです。」、「教科書１０ページから１３ページを再度復習してください。」等のメッセージであってもよい。

提案情報の提案の方法として、例えば、学習者が所定の複数の問題を解き終わった後、解答の正誤を確認する画面において、プログラム実行部３０が提案情報を表示部に表示してもよい。また、プログラム実行部３０は、メール、ソーシャルネットワークサービス（ＳＮＳ）およびインスタントメッセージ（ＩＭ）等の通信手段を用いて、生成した提案情報を学習者に送信してもよい。

このように、プログラム実行部３０が提案情報を学習者に提案することで、学習者は、自身の推定理解度に基づいた情報を享受することができる。

プログラム実行部３０は、ユーザが提案情報を視認したか否かを判定してもよい。ユーザが提案情報を視認したか否かの判定は、例えば、学習者に提案した、問題を復習させるための情報を表示した画面を、学習者が視認したか否かの情報をプログラム実行部３０が参照することにより判定してもよい。学習者が視認したか否かの情報は、例えば、視認オブジェクト判定部５より取得する。視認オブジェクト判定部５は、例えば、実施形態１の（視認オブジェクト判定部）で記載の処理を行えばよい。

また、プログラム実行部３０は、上述の判定の結果に基づいて評価を行ってもよい。ここで、評価とは、例えば、学習者へ提案した、問題を復習させるための情報（提案情報）が適当であったかの評価である。一例として、プログラム実行部３０は、問題を復習させるための情報を視認した学習者が、再度問題を解くためのサイトにログインしたか、実際に問題を解いたか等の情報を参照することにより評価を行う。一例として、問題を復習させるための情報を提案した全学習者の人数における、再度問題を解いた学習者の人数の割合を評価値としてもよい。

（変形例２−１）
情報処理装置１００は、選択情報取得部（不図示）を更に備えてもよい。選択情報取得部は、ユーザの選択情報を取得する。本実施形態において、選択情報とは、学習者が選択した選択肢の番号である。

本変形例に係る情報処理装置は、ユーザ情報取得部１と、顔情報取得部２と、状態検出部４と、視認オブジェクト判定部５と、選択情報取得部と、趣向情報生成部６とを備えている。

ユーザ情報取得部１、顔情報取得部２、状態検出部４、および視認オブジェクト判定部５の機能は、実施形態２で説明した部材の機能と同じであるため、その説明を省略する。

趣向情報生成部６は、ユーザ情報取得部１から取得したユーザ情報、視認オブジェクト判定部５から取得した判定結果、および選択情報取得部から取得した選択情報を参照して、学習者の推定理解度を生成する。一例として、視認オブジェクト判定部５が、学習者が何度も視線を向けていると判定したオブジェクト、すなわち、何度も読み返している解答の選択肢について、趣向情報生成部６は、学習者が正解の候補として迷った選択肢であると判定し、推定理解度を生成する。

図１６は、趣向情報生成部６が生成する情報の一例である。図１６において、「ＩＤ」は、学習者を識別するための情報、「選択番号」は、各ＩＤの学習者が実際に選択した選択肢の番号、「正否」は、解答の正否である。「迷った選択肢」とは、視認オブジェクト判定部５において、学習者が視認していたと判定された選択肢であり、「迷わなかった選択肢」とは、学習者がそれほど視認していなかったと判定された選択肢である。「推定理解度」は、「正否」、「迷った選択肢」および「迷わなかった選択肢」を総合的に判定し、学習者の理解度を５段階で示した結果である。本例において、解答の選択肢はａ〜ｄの４つであり、正解の選択肢はａである。

図１６において、問題に正解した、学習者Ａ、ＣおよびＤの推定理解度について説明する。学習者Ａ、ＣおよびＤは、何れも正解である選択肢ａを選択したが、選択肢ａを選択するに至った過程が異なる。

学習者Ａは、選択肢ａ以外に、選択肢ｂおよびｃを視認していたため、学習者Ａは、選択肢ａ、ｂ、およびｃで迷ったといえる。逆に、学習者Ａは、選択肢ｄについては、それほど視認していなかったため、選択肢ｄを一読した上で正解の候補から除外していた可能性が高いといえる。このことより、学習者Ａは、選択肢ｄを正解の候補から除外するだけの理解度はあったと趣向情報生成部６が判定し、中程度の理解度として推定理解度「３」を生成する。

学習者Ｃは、問題文および選択肢を一読した上で、選択肢ａのみを視認し、選択肢ａを正解として選択した。このことより、学習者Ｃは、理解度が高いと趣向情報生成部６が判定し、推定理解度「５」を生成する。

学習者Ｄは、選択肢ａ以外に、選択肢ｂ、ｃ、およびｄも視認していたため、学習者Ａは、選択肢全てで迷ったといえる。このことより、学習者Ｄは、最終的に正解の選択肢を選択したが、全ての選択肢で迷ったことから、偶然正解した可能性が高く、理解度はそれほど高くないと趣向情報生成部６が判定し、推定理解度「２」を生成する。

また、問題に不正解であった、学習者ＢおよびＥの推定理解度についても同様に判定される。例えば、学習者Ｂは、不正解であったが、選択肢ａおよびｂで迷い、その他の選択肢では迷わなかったことから、選択肢ａおよびｂまで絞り込むまでの理解度は備えていたと趣向情報生成部６は判定し、推定理解度「４」を生成する。また、学習者Ｅは、全ての選択肢で迷った挙句、結局不正解であったため、理解度が低いと趣向情報生成部６が判定し、推定理解度「１」を生成する。

本変形例においても、＜実施形態２＞で記載のように、プログラム実行部３０が、推定理解度に基づき提案情報を提案し、推定理解度と、提案情報とに基づき、評価を行ってもよい。

ここでの評価は、＜実施形態２＞と同じく、学習者へ提案した、問題を復習させるための情報（提案情報）が適当であったかの評価である。本変形例では、問題を復習させるための情報を視認した学習者が、再度問題を解いた際に、該学習者の成績が向上したか否かの情報等を、更に考慮して評価を行ってもよい。

＜実施形態３＞
本実施形態の情報処理装置１００は、他の端末装置と趣向情報の共有を行う。図１７は、情報処理装置１００の構成要素を示すブロック図である。図１７に示すように、本実施形態に係る情報処理装置１００は、ユーザ情報取得部１、顔情報取得部２、状態検出部４、視認オブジェクト判定部５、趣向情報生成部６、プログラム実行部３０、趣向共有依頼送信部２０、趣向共有依頼受信部２１、趣向共有依頼承認部２２、および趣向共有部２３を備える。趣向共有依頼送信部２０、趣向共有依頼受信部２１、趣向共有依頼承認部２２、および趣向共有部２３以外の部材の機能は、実施形態１で説明した部材の機能と同じであるため、その説明を省略する。

図１８は、本実施形態に係る情報処理システムの概要を示す図である。図１８に示すように本実施形態に係る情報処理システムは、サーバ３００と、複数の情報処理装置１００の一例としての複数の端末装置（１０、１０ａ）とを備えている。

趣向共有依頼送信部２０は、サーバ３００を介して他の端末に、趣向情報の共有を依頼するための情報を送信する。

趣向共有依頼受信部２１は、サーバ３００を介して他の端末の趣向共有依頼送信部から、趣向情報の共有を依頼されたことの情報を受信する。趣向共有依頼受信部２１は、受信した情報を趣向共有依頼承認部へ通知する。

趣向共有依頼承認部２２は、趣向共有依頼受信部２１から受信した情報に基づき、趣向情報を他の端末に送信してもよいか、ユーザに認可を求める通知を表示部に表示させる。この表示に基づき、ユーザは、認可をするか否かを示す操作入力を行い、趣向共有依頼承認部２２は、該入力の情報を趣向共有部２３に送信する。

趣向共有部２３は、趣向共有依頼承認部２２から受信した情報が、認可を示す情報である場合、趣向情報生成部６から趣向情報を取得し、該趣向情報を、サーバ３００を介して他の端末装置へ送信する。また、趣向共有部２３は、サーバ３００を介して他の端末から趣向情報を受信し、自身の端末装置の趣向情報および他の端末の趣向情報を合わせて両者の趣向情報を生成し、生成した両者の趣向情報の少なくとも一部を表示部１２に表示させる。具体的には、両者の趣向情報を端末装置に表示させてもよいし、他の端末からの趣向情報のみを自身の端末装置に表示させてもよい。また、両者の趣向情報と、他の端末からの趣向情報のみとを、ユーザの操作等によって適宜切り換えて表示させてもよい。このような構成により、ユーザは、他の端末のユーザである相手の趣向情報を知ることができる。また、自分の趣向情報と、相手の趣向情報とを考慮した両者の趣向情報を知ることができる。

サーバ３００は、上述した趣向情報の共有を依頼するための情報を、送信元の端末装置の端末ＩＤ又はユーザＩＤ、および、送信先の端末装置の端末ＩＤ又はユーザＩＤと関連付けて管理している。また、サーバ３００は、「趣向情報」を、当該趣向情報の取得元の端末装置の端末ＩＤ又はユーザＩＤ、および当該趣向情報を共有可能な端末装置の端末ＩＤ又はユーザＩＤと関連付けて管理している。

一例として、飲食店の趣向情報を共有する場合を説明する。ユーザＡおよびユーザＢが、二人で利用する飲食店を選択する際、ユーザＡと、ユーザＢとが、お互いの飲食店に関する趣向情報を共有することで、お互いの趣向が最も近い、又は同じ飲食店を選択することができる。

例えば、ユーザＡの端末装置の趣向共有依頼送信部は、ユーザＢの端末装置にユーザＢの飲食店の趣向情報の共有を依頼するための情報を送信する。ユーザＢの端末装置の趣向共有依頼受信部２１は、ユーザＡの趣向共有依頼送信部から受信した情報を趣向共有依頼承認部２２へ通知し、ユーザＢの端末装置の表示部に、趣向情報を他の端末に送信してもよいか、ユーザＢに認可を求める通知をさせる。ユーザＢが、認可をするための入力を行うことで、趣向共有依頼承認部２２は、趣向共有部２３に認可されたことの情報を送信する。趣向共有部２３は、趣向情報生成部６から趣向情報を取得し、ユーザＡの端末装置へ趣向情報を送信する。また、趣向情報生成部６は、ユーザＡの端末装置から趣向情報を取得し、ユーザＡおよびユーザＢの趣向情報に基づき、二人の趣向情報を生成し、生成した結果を表示部１２に表示させる。

（プログラム実行部３）
プログラム実行部３０は、実施形態１の（プログラム実行部１−１）で記載したように、ユーザに対応したアバター画像を生成し、状態検出部４が検出するユーザの状態、視認オブジェクト判定部５が判定するユーザが視認しているオブジェクト、ユーザの感情、および趣向情報生成部６から取得する趣向情報のうち少なくとも１つに応じたアバター画像を生成する。

本実施形態において、プログラム実行部３０は、生成したアバター画像を、例えば、ユーザ自身が見ることが出来るように、該ユーザの端末装置の表示部１２に表示してもよいし、趣向共有部２３を介して、他の端末装置へ送信してもよい。すなわち、複数ユーザの間で、趣向情報と共にアバター画像を共有してもよい。

このように、プログラム実行部３０がアバター画像を生成することにより、ユーザが視認しているオブジェクト、ユーザの感情、および趣向情報を可視化することができる。また、複数のユーザの間でアバター画像を共有することで、端末装置の表示部を見ながらもユーザ同士の親近感を増すことが可能となる。

図１９は、ユーザＡおよびユーザＢの趣向情報を表示した一例である。例えば、ユーザＡの趣向情報およびユーザＢの趣向情報のうち、両方に含まれていた店舗は、両者の共通する趣向情報として上位に表示する。図１９では、例えば、ブラウザ画面１６において、上段に表示されている店舗Ｙ、Ｐ、Ｘ、およびＣは、ユーザＡおよびユーザＢの共通の好みである店舗である。また、ブラウザ画面１６がユーザＡの端末装置の表示部１２に表示されている場合、ユーザＡの端末装置の表示部１２には、ユーザＢの好みの店舗のみが表示されていてもよい。

本実施形態のプログラム実行部３０は、表示部１２のレイアウトを適宜変更してもよい。プログラム実行部３０の処理は、実施形態１に記載のプログラム実行部３０の処理と同じである。

趣向情報を共有する端末の数は、特に限定されず、３つ以上の端末装置の間で共有されてもよい。

本実施形態では、端末装置が、趣向情報生成部６および趣向共有部２３を備えており、複数の端末装置同士で趣向情報を共有する形態であったが、この形態に限定されない。図１８に示す例において、サーバ３００が、趣向情報生成部６および趣向共有部２３を備え、サーバを経由して、複数のユーザがお互いの趣向情報を共有し、複数人の趣向情報を生成する形態であってもよい。

サーバが趣向情報生成部６を備える構成については、実施形態４で説明する。

＜実施形態４＞
〔情報処理装置４００およびサーバ２００の要部構成〕
本実施形態に係る情報処理装置について、図２０を用いて説明する。図２０は、本実施形態に係る情報処理装置４００を備える端末装置１０および本実施形態に係る情報処理装置であるサーバ２００の構成要素を示すブロック図である。

端末装置１０は、ユーザのユーザ情報および顔情報を取得し、取得した情報をサーバ２００に送信し、サーバ２００は受信した情報を参照して趣向情報を生成する。サーバ２００は、生成した趣向情報を端末装置１０に送信し、端末装置１０は、趣向情報を取得する。

本実施形態に係る情報処理装置４００は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部１、ユーザの顔情報を取得する顔情報取得部２、ユーザのユーザ情報と、ユーザの顔情報とを参照して得られる趣向情報を取得する趣向情報取得部２４、およびプログラム実行部３０を備えている。また、情報処理装置を備える端末装置１０は、表示部を更に備える。

これにより、本実施形態に係る情報処理装置４００は、ユーザの趣向情報を取得することができる。

ユーザ情報取得部１および顔情報取得部２は、実施形態１と同じく、それぞれ、ユーザ情報およびユーザの顔情報を取得する。

ユーザ情報には、ユーザの属性情報が含まれ、具体的なユーザの属性情報は、実施形態１で記載の属性情報と同じである。

また、上記ユーザ情報には、上記ユーザを他のユーザと識別するためのユーザ識別情報が含まれ、具体的なユーザの識別情報は、実施形態１で記載の識別情報と同じである。

本実施形態では、図２０に示すように、ユーザ情報取得部１、および顔情報取得部２が取得した情報を、サーバ２００に送信する点で、実施形態１とは異なる。

また、趣向情報取得部２４は、サーバ２００から趣向情報を取得し、取得した結果を表示部１２に表示させる。

情報処理装置４００は、趣向情報に基づきプログラムを実行するプログラム実行部（不図示）を更に備えてもよい。

これにより、情報処理装置４００は、ユーザの趣向情報に基づいたプログラムを実行することができる。

（プログラム実行部４−１）
プログラム実行部３０は、ユーザに対応したアバター画像であって、ユーザの状態、ユーザが視認しているオブジェクト、ユーザの感情、および趣向情報のうち少なくとも１つに応じたアバター画像を生成する。プログラム実行部が行うアバター画像の生成についての詳細は、実施形態１で説明した通りである。

このように、プログラム実行部３０がアバター画像を生成することにより、ユーザが視認しているオブジェクト、ユーザの感情、および趣向情報を可視化することができる。

プログラム実行部３０は、趣向情報に基づいた提案情報をユーザに提案し、趣向情報と、上記提案情報とに基づいた評価を行ってもよい。プログラム実行部が行う提案情報の提案および評価についての詳細は、実施形態１で説明した通りである。

このように、プログラム実行部３０が提案情報をユーザに提案することで、ユーザは、自身の趣向に基づいた情報を享受することができる。また、プログラム実行部３０が評価を行うことで、提案情報が適当なものであったかの評価を行うことができる。

プログラム実行部は、趣向情報に基づいて、外部の表示装置に表示させるための表示情報を変更してもよい。プログラム実行部が行う表示情報の変更についての詳細は、実施形態１で説明した通りである。

〔サーバ２００の要部構成〕
図２０に基づき、サーバ２００について説明する。本実施形態に係るサーバ２００は、登録された特定のユーザのユーザ情報を取得するユーザ情報取得部１ａと、上記ユーザの顔情報を取得する顔情報取得部２ａと、上記ユーザのユーザ情報と、上記ユーザの顔情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部６ａと、上記趣向情報に基づきプログラムを実行するプログラム実行部３０ａを備えている。

これにより、サーバ２００は、ユーザの趣向情報を好適に生成することができる。

図２０に示すように、また、本実施形態に係るサーバ２００は、趣向情報を送信する送信部１９を更に備えている。

サーバ２００が備えるユーザ情報取得部１ａおよび顔情報取得部２ａは、端末装置１０内のユーザ情報取得部１および顔情報取得部２から、それぞれユーザ情報および顔情報を受信し、受信した情報を趣向情報生成部６ａに送信する。

趣向情報生成部６ａは、受信したユーザ情報および顔情報を参照することにより、ユーザの趣向情報を生成する。趣向情報生成部６ａの具体的な動作は、実施形態１において説明した趣向情報生成部６と同様であるが、図２０に示すように、本実施形態に係るサーバ２００の趣向情報生成部６ａは、状態検出部４ａ、および視認オブジェクト判定部５ａを備え得る。ここで、状態検出部４ａおよび視認オブジェクト判定部５ａの機能は、実施形態１において説明した状態検出部４および視認オブジェクト判定部５の機能と同じである。

このように、状態検出部４ａと、視認オブジェクト判定部５ａとを備えることで、サーバ２００は、ユーザの状態を検出できると共に、ユーザが視認しているオブジェクトを好適に判定することができる。

なお、サーバ２００と送受信を行う情報処理装置４００が、顔情報取得部２が取得した顔情報からユーザの状態を検出する状態検出部と、状態検出部が検出した結果を参照し、上記ユーザが視認しているオブジェクト判定する視認オブジェクト判定部とを備えてもよい。

このように、状態検出部と、視認オブジェクト判定部とを備えることで、情報処理装置４００は、ユーザの状態を検出できると共に、ユーザが視認しているオブジェクトを好適に判定することができる。

視認オブジェクト判定部は、実施形態１に係る視認オブジェクト判定部と同様に、上記ユーザが閲覧しているページの配置情報を更に参照して、ユーザが視認しているオブジェクトを判定する。

このように視認オブジェクト判定部が、ページの配置情報を更に参照することで、ユーザがページ上のどのオブジェクトを視認しているか、正確に判定することができる。

また、視認オブジェクト判定部は、状態検出部が検出した結果を参照し、ユーザの集中度およびユーザの感情のうち少なくとも１つを更に判定してもよい。視認オブジェクト判定部の機能は、実施形態１に係る視認オブジェクト判定部５と同じである。

情報処理装置１００は、ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部（不図示）を更に備えてもよい。また、視認オブジェクト判定部は、画像取得部が取得した撮像画像と、上記状態検出部が検出した結果と、を参照して、上記ユーザが視認しているオブジェクトを判定してもよい。

画像取得部および視認オブジェクト判定部の機能は、実施形態１で記載の画像取得部１５および視認オブジェクト判定部５の機能と同じである。

状態検出部が検出するユーザの状態は、実施形態１に係る状態検出部４と同じであり、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つである。

ここで、趣向情報は、実施形態１と同様に、ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である。

これにより、サーバ２００が備える趣向情報生成部６ａは、各ユーザの興味が強いオブジェクトおよび興味の弱いオブジェクトの情報を知ることができ、趣向情報生成部は、重みづけを行った趣向情報を生成することができる。また、情報処理装置４００が備える趣向情報取得部２４が該趣向情報を取得することで、ユーザは、自身の趣向に基づいた趣向情報を取得することができる。

情報処理装置が、サーバであり、サーバが備える趣向情報生成部において趣向情報が生成される形態は、本実施形態に限定されず、上述した、実施形態１〜３にも適用され得る。

このように、サーバが趣向情報生成部を備えることで、例えば、ユーザが使用する端末装置が常に同じでなくても、該ユーザの趣向情報をサーバ上で生成することができるという効果を奏する。ユーザのユーザ情報および顔情報さえ取得出来れば、ユーザが、パソコン、タブレット、スマートフォンなどいずれの端末装置を使用した場合においても、該ユーザの趣向情報を安定して生成することができる。

また、サーバが趣向情報生成部を備えることは、実施形態３に記載の複数ユーザの趣向情報を共有する形態においては、特に有用である。複数ユーザの趣向情報を共有する場合、例えば、サーバが趣向共有部を更に備えてもよい。このような構成により、複数ユーザの趣向情報をサーバ上で好適に生成することができる。

（プログラム実行部４−２）
プログラム実行部３０ａは、ユーザに対応したアバター画像であって、ユーザの状態、ユーザが視認しているオブジェクト、ユーザの感情、および趣向情報のうち少なくとも１つに応じたアバター画像を生成する。プログラム実行部３０ａが行う処理は、実施形態１の（プログラム実行部１−１）に記載の処理と同じである。

なお、本実施形態のプログラム実行部３０ａが生成するアバター画像は、送信部１９を介して端末装置１０の趣向情報取得部２４に送信される。図２０では、端末装置１０にのみ送信される形態であるが、送信先の装置の種類および数は特に限定されず、複数の装置に送信されてもよい。

このように、サーバが複数の装置にプログラム実行部３０ａが生成するアバター画像を送信することにより、複数のユーザが、アバター画像を見ることができる。

また、図２０では、端末装置１０のみから、顔情報およびユーザ情報を受信している形態であるが、顔情報およびユーザ情報を送信する装置の種類および数は特に限定されず、サーバ２００は、複数の装置から顔情報およびユーザ情報を受信してもよい。この場合、サーバ２００の趣向情報生成部６ａは、複数のユーザの顔情報およびユーザ情報を参照することにより、各ユーザの趣向情報を生成してもよい。また、趣向情報生成部６ａは、複数のユーザの顔情報およびユーザ情報を参照することにより、複数のユーザの趣向情報を統合した趣向情報を生成してもよい。プログラム実行部３０ａは、趣向情報生成部６ａが生成した各ユーザの趣向情報を参照して、各ユーザに対応するアバター画像を生成してもよい。また、プログラム実行部３０ａは、あるユーザに対応するアバター画像を、他のユーザに関連付けられた端末装置に送信可能な構成としてもよい。一例として、プログラム実行部３０ａは、複数のユーザに対応するアバター画像を１つの仮想空間に表示させるような画像を生成し、当該画像を、当該複数のユーザに関連付けられた各々の端末装置に送信可能な構成としてもよい。より具体的には、プログラム実行部３０ａは、各ユーザに対応するアバター画像を、実店舗を模した仮想空間に配置し、各ユーザが実店舗でショッピングをしているように見せるための画像を生成してもよい。

このように、サーバが複数の装置から複数のユーザの顔情報およびユーザ情報を受信することにより、趣向情報生成部６ａは複数のユーザの趣向情報を生成することができる。また、プログラム実行部３０ａは、複数のユーザの趣向情報を参照して、アバター画像を生成することができる。

プログラム実行部３０ａは、趣向情報生成部６ａが生成した趣向情報と、プログラム実行部３０ａが提案した提案情報とに基づいて評価を行ってもよい。プログラム実行部３０ａが行う提案情報の提案および評価についての詳細は、実施形態１で説明した通りである。

このように、プログラム実行部３０ａが提案情報をユーザに提案することで、ユーザは、自身の趣向に基づいた情報を享受することができる。また、プログラム実行部３０ａが評価を行うことで、提案情報が適当なものであったかの評価を行うことができる。

プログラム実行部３０ａは、趣向情報に基づいて、外部の表示装置に表示させるための表示情報を変更してもよい。プログラム実行部３０が行う表示情報の変更についての詳細は、実施形態１で説明した通りである。

〔ソフトウェアによる実現例〕
情報処理装置１００の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導
体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などを更に備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。更に、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１、１ａユーザ情報取得部
２、２ａ顔情報取得部
４、４ａ状態検出部
５、５ａ視認オブジェクト判定部
６、６ａ趣向情報生成部
１５画像取得部
３０、３０ａプログラム実行部
２４趣向情報取得部
１００、４００情報処理装置

Claims

登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、
上記ユーザの顔情報を取得する顔情報取得部と、
上記顔情報取得部が取得した顔情報から上記ユーザの状態を検出する状態検出部と、
上記状態検出部が検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部と、
上記状態検出部によるユーザの状態および上記視認オブジェクト判定部による判定結果を参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部と、
上記趣向情報に基づきプログラムを実行するプログラム実行部と
を備えていることを特徴とする情報処理装置。
上記視認オブジェクト判定部は、
上記ユーザが閲覧しているページの配置情報を更に参照して、上記ユーザが視認しているオブジェクトを判定することを特徴とする、請求項１に記載の情報処理装置。
上記視認オブジェクト判定部は、
上記状態検出部が検出した結果を参照し、上記ユーザの集中度および上記ユーザの感情のうち少なくとも１つを更に判定することを特徴とする、請求項１または２に記載の情報処理装置。
ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部を更に備え、
上記視認オブジェクト判定部は、
上記画像取得部が取得した撮像画像と、
上記状態検出部が検出した結果と、
を参照して、上記ユーザが視認しているオブジェクトを判定することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
上記プログラム実行部は、
上記ユーザに対応したアバター画像であって、上記ユーザの状態、上記ユーザが視認しているオブジェクト、上記ユーザの感情、および上記趣向情報のうち少なくとも１つに応じたアバター画像を生成することを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
上記プログラム実行部は、
上記趣向情報に基づいた提案情報を上記ユーザに提案することを特徴とする請求項１〜５の何れか１項に記載の情報処理装置。
上記プログラム実行部は、
上記趣向情報と、上記提案情報とに基づいた評価を行うことを特徴とする請求項６に記載の情報処理装置。
上記プログラム実行部は、
上記趣向情報を、表示データとして外部の表示装置へ出力することを特徴とする請求項１〜７の何れか１項に記載の情報処理装置。
上記趣向情報は、ユーザの推定理解度である、請求項１〜８の何れか１項に記載の情報処理装置。
上記プログラム実行部は、
上記推定理解度を可視化したオブジェクトを含む表示データを外部の表示装置へ出力することを特徴とする請求項９に記載の情報処理装置。
上記プログラム実行部は、
上記趣向情報に基づいて、外部の表示装置に表示させるための表示情報を変更することを特徴とする請求項１〜１０の何れか１項に記載の情報処理装置。
上記ユーザ情報には、上記ユーザの属性情報が含まれる、請求項１〜１１の何れか１項に記載の情報処理装置。
上記ユーザ情報には、上記ユーザを他のユーザと識別するためのユーザ識別情報が含まれる、請求項１〜１２の何れか１項に記載の情報処理装置。
上記状態検出部が検出する上記ユーザの状態は、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つである、請求項１〜１３の何れか１項に記載の情報処理装置。
上記趣向情報生成部が生成する上記趣向情報は、上記ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である、請求項１〜１４の何れか１項に記載の情報処理装置。
上記顔情報に仮ＩＤを付与する仮ＩＤ付与部と、
上記仮ＩＤと上記ユーザが決済を行ったか否かの決済情報とを照合する照合部と、
を更に備える請求項１〜１５の何れか１項に記載の情報処理装置。
請求項１に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、
上記趣向情報生成部としてコンピュータを機能させるための情報処理プログラム。
情報処理装置によって実行される情報処理方法であって、
登録された特定のユーザのユーザ情報を取得するユーザ情報取得ステップと、
上記ユーザの顔情報を取得する顔情報取得ステップと、
上記顔情報取得ステップにおいて取得した顔情報から上記ユーザの状態を検出する状態検出ステップと、
上記状態検出ステップにおいて検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定ステップと、
上記ユーザのユーザ情報と、上記視認オブジェクト判定ステップにおける判定結果とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成ステップと、
上記趣向情報に基づきプログラムを実行するプログラム実行ステップと
を含んでいることを特徴とする情報処理方法。
登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、
上記ユーザの顔情報を取得する顔情報取得部と、
上記ユーザのユーザ情報と、上記ユーザの顔情報とを参照して得られる趣向情報を取得する趣向情報取得部と、
を備えていることを特徴とする情報処理装置。
上記趣向情報に基づきプログラムを実行するプログラム実行部を更に備えていることを特徴とする請求項１９に記載の情報処理装置。
上記プログラム実行部は、
上記ユーザに対応したアバター画像であって、上記ユーザの状態、上記ユーザが視認しているオブジェクト、上記ユーザの感情、および上記趣向情報のうち少なくとも１つに応じたアバター画像を生成することを特徴とする請求項２０に記載の情報処理装置。
上記プログラム実行部は、
上記趣向情報に基づいた提案情報を上記ユーザに提案することを特徴とする請求項２０または２１の何れか１項に記載の情報処理装置。
上記プログラム実行部は、
上記趣向情報と、上記提案情報とに基づいた評価を行うことを特徴とする請求項２２に記載の情報処理装置。
上記プログラム実行部は、
上記趣向情報に基づいて、外部の表示装置に表示させるための表示情報を変更することを特徴とする請求項２０〜２３の何れか１項に記載の情報処理装置。
上記顔情報取得部が取得した顔情報から上記ユーザの状態を検出する状態検出部と、
上記状態検出部が検出した結果を参照し、上記ユーザが視認しているオブジェクトを判定する視認オブジェクト判定部と、
を更に備えていることを特徴とする請求項１９〜２４の何れか１項に記載の情報処理装置。
上記視認オブジェクト判定部は、
上記ユーザが閲覧しているページの配置情報を更に参照して、上記ユーザが視認しているオブジェクトを判定することを特徴とする、請求項２５に記載の情報処理装置。
上記視認オブジェクト判定部は、
上記状態検出部が検出した結果を参照し、上記ユーザの集中度および上記ユーザの感情のうち少なくとも１つを更に判定することを特徴とする、請求項２５または２６の何れか１項に記載の情報処理装置。
ユーザが身に着ける撮像装置から、ユーザの視野を含む撮像画像を取得する画像取得部を更に備え、
上記視認オブジェクト判定部は、
上記画像取得部が取得した撮像画像と、
上記状態検出部が検出した結果と、
を参照して、上記ユーザが視認しているオブジェクトを判定することを特徴とする請求項２５〜２７の何れか１項に記載の情報処理装置。
上記状態検出部が検出する上記ユーザの状態は、上記ユーザの視線、瞳孔の状態、瞬きの回数、眉の動き、瞼の動き、頬の動き、鼻の動き、唇の動きおよび顎の動きのうち少なくとも１つである、請求項２５〜２８の何れか１項に記載の情報処理装置。
上記ユーザ情報には、上記ユーザの属性情報が含まれる、請求項１９〜２９の何れか１項に記載の情報処理装置。
上記ユーザ情報には、上記ユーザを他のユーザと識別するためのユーザ識別情報が含まれる、請求項１９〜３０の何れか１項に記載の情報処理装置。
登録された特定のユーザのユーザ情報を取得するユーザ情報取得部と、
上記ユーザの顔情報を取得する顔情報取得部と、
上記ユーザのユーザ情報と、上記ユーザの顔情報とを参照して、上記ユーザの趣向に関する趣向情報を生成する趣向情報生成部と、
上記趣向情報に基づきプログラムを実行するプログラム実行部と
を備えていることを特徴とする情報処理装置。
上記プログラム実行部は、
上記ユーザに対応したアバター画像であって、上記ユーザの状態、上記ユーザが視認しているオブジェクト、上記ユーザの感情、および上記趣向情報のうち少なくとも１つに応じたアバター画像を生成することを特徴とする請求項３２に記載の情報処理装置。
上記プログラム実行部は、
上記趣向情報に基づいた提案情報を上記ユーザに提案することを特徴とする請求項３２または３３に記載の情報処理装置。
上記プログラム実行部は、
上記趣向情報と、上記提案情報とに基づいた評価を行うことを特徴とする請求項３４に記載の情報処理装置。
上記プログラム実行部は、
上記趣向情報に基づいて、外部の表示装置に表示させるための表示情報を変更することを特徴とする請求項３２〜３５の何れか１項に記載の情報処理装置。
上記趣向情報は、上記ユーザの興味が強いオブジェクトおよび興味が弱いオブジェクトに関する情報である、請求項１９〜３６の何れか１項に記載の情報処理装置。