JP2021128350A - 情報処理システム、情報処理方法、および記録媒体 - Google Patents

Abstract

【課題】ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する情報処理システム、情報処理方法、および記録媒体を提供する。
【解決手段】情報処理システムは、ユーザに関わるセンシングデータに基づき、ユーザがメッセージを受け入れ易い状況であると推定されるとき、ユーザにメッセージを提示するように提示部を制御する制御部を備える。
【選択図】図１

Description

本開示は、情報処理システム、情報処理方法、および記録媒体に関する。

近年、スマートフォンやスマートウォッチなどのウェアラブルデバイスに代表されるモバイル端末の技術および通信技術が進化し、いつでも必要な情報を得ることができるようになった。また、大画面液晶や単焦点プロジェクタなどの表示デバイス技術も大きな進化を遂げ、情報を表示する場所に制約が少なくなり、どこでも情報を表示できるようになってきた。

このような技術背景の中、様々なシーンにおいて情報を表示する技術が提案されている。例えば下記特許文献１では、車内においてメールなどの情報を音声で読み上げる直前に、その内容を反映したアイコンを表示することが開示されている。

また、下記特許文献２では、玄関等にプロジェクタが設置され、帰宅した家族が玄関の照明スイッチを入れることにより、プロジェクタが起動して照明機能を果たすと共に、メッセージを投影する技術が開示されている。

また、下記特許文献３では、車両のサイドミラーに取り付けられたプロジェクタにより、乗車者が降車するときに乗車者にとって有益な情報または必要な画像情報を路面に投射する技術が開示されている。

また、下記特許文献４では、ユーザの行動を予測して案内画像を生成し、壁や廊下等にプロジェクタで案内画像を表示する投影ナビゲーションについて開示されている。

また、下記特許文献５では、透過型のＨＭＤ（ヘッドマウンドディスプレイ）を装着しているユーザに対し、どの実物体もＵＩ（ユーザインタフェース）として用いることができるよう、マウスパッド領域等のＵＩ画像を表示する技術が開示されている。

特開２００５−３５２６４５号公報 特開２０１４−０２１４２８号公報 特開２０１７−０８７８７６号公報 特開２０１４−１２３２７７号公報 国際公開第２０１４／０４５６８３号

しかしながら、上述した従来技術では、情報提示を受ける側のユーザの状況については考慮されていなかった。したがって、色々な場所にメッセージ等が提示されても、ユーザが焦っている場合等、情報を受け入れ易い状態にない場合は、提示した情報が十分に認識されず、見過ごされてしまうことが考え得る。

そこで、本開示では、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する情報処理システム、情報処理方法、および記録媒体を提案する。

本開示によれば、ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、情報処理システムを提案する。

本開示によれば、プロセッサが、ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御することを含む、情報処理方法を提案する。

本開示によれば、コンピュータを、ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部として機能させるためのプログラムが記録された、記録媒体を提案する。

以上説明したように本開示によれば、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理システムの全体構成の一例を示す図である。 本実施形態による出力デバイスの構成の一例を示すブロック図である。 本実施形態による管理サーバの構成の一例を示すブロック図である。 第１の実施例による情報提示処理の流れの一例を示すシーケンス図である。 第１の実施例によるメッセージの出力制御処理の流れの一例を示すフローチャートである。 第１の実施例によるセンシングデータに基づくユーザ状況の認識処理の流れの一例を示すシーケンス図である。 第２の実施例によるメッセージの蓄積処理の流れの一例を示すシーケンス図である。 第２の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。 第３の実施例によるユーザの状況を変容させるガイドコンテンツの一例を示す図である。 第３の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。 第３の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。 第３の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。 第４の実施例によるユーザが視認し易い場所への投影制御について説明する図である。 第４の実施例による投影制御処理の流れの一例を示すフローチャートである。 第５の実施例によるメッセージを受け入れ易い状況であるか否かの判断について学習する処理の流れの一例を示すシーケンス図である。 第５の実施例によるメッセージを受け入れ易い状況であるか否かの判断について学習する処理の流れの一例を示すシーケンス図である。 第５の実施例によるメッセージがユーザに受け入れられたか否かを判断する処理の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成例
２−１．システム構成例
２−２．出力デバイス１の構成例
２−３．管理サーバ２の構成例
３．各実施例
３−１．第１の実施例（メッセージの提示）
３−２．第２の実施例（メッセージ内容とユーザ状態に応じて提示）
３−３．第３の実施例（ユーザ状況の変容）
３−４．第４の実施例（ユーザが視認できる場所に提示）
３−５．第５の実施例（「メッセージを受け入れ易い状況」の学習）
４．まとめ

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムでは、出力デバイス１を用いて、日常生活における様々なシーンで情報提示を行う。出力デバイス１は、例えば、壁や床等の様々な場所に画像を投影するプロジェクタが想定される。プロジェクタは、ユーザに把持されたり装着されたりして持ち運び可能なウェアラブル型と、部屋や玄関、キッチン、浴室等の様々な場所に固定される設置型が想定される。ウェアラブル型プロジェクタの場合、例えば図１に示すような肩乗り型の出力デバイス１Ａであってもよい（例えば、キャラクターをかたどった親しみやすいコンパクトな形状により構成されてもよい。また、肩乗り型プロジェクタの装着方法は特に限定しないが、例えばクリップやベルト等で身体に固定してもよい）。また、ウェアラブル型プロジェクタは、プロジェクタが帽子やヘルメット、メガネ等に装着（一体化）されてもよいし、首から下げて装着されてもよいし、胸部や腰に巻かれたベルトに装着されてもよい。また、プロジェクタは、パン・チルト方向に駆動が可能な駆動型プロジェクタであってもよい。出力デバイス１は、所定の投影場所に画像を投影するよう、プロジェクタの角度等を制御し得る。また、プロジェクタは、パン・チルト方向への駆動の他、プロジェクタ自体が前後左右等に移動できる移動型プロジェクタであってもよい。

このような種々のプロジェクタにより、本実施形態による情報処理システムでは、日常生活における様々なシーンでユーザに情報提示を行うことができる。

ここで、上述したように、色々な場所でユーザにメッセージ等を提示しても、ユーザが仲間と談笑している場合や、周囲が騒がしい場合、急いでいる場合、焦っている場合、興奮状態にある場合、激しく体を動かしている場合等、状況的に情報を受け入れられる状態にない場合は、提示した情報が十分に認識されず、見過ごされてしまうといったことが想定される。また、このような場合は、ユーザがメッセージを認識できたとしても、心理的に受け入れられない状態（無視してしまう、若しくは不快な思いを抱いてしまう等）になりかねない。

そこで、本実施形態では、情報提示を受けるユーザの状況を鑑みて、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する。本実施形態による出力デバイス１には、ユーザや周囲の状況を検知するための各種センサ（例えば、音声や環境音を検知するマイクロホン、屋内／屋外における位置を測位する位置測位部、体温や心拍等を検知する生体センサ、動きを検知するモーションセンサ、対象物との距離を測る測距センサ等）が設けられる。出力デバイス１は、各種センシングデータに基づいて、ユーザが情報を受け入れ易い状況であるか否かを判断し、受け入れ易い状況である場合に情報提示を行う。例えば図１に示す出力デバイス１Ａは、生体センサ１２２ａを有し、生体センサ１２２ａが先端に設けられたコードが出力デバイス１Ａから引き出されて身体に装着され、ユーザの心拍や体温等が常時検知されている。

なお、本明細書において、「情報を受け入れ易い状況」とは、例えば、ユーザの心理状態が落ち着いている状態の場合や、感情がフラットな状態、リラックスしている状態、または、ぼんやりしている状態などが想定される。このようなユーザの心理状況は、例えば心拍や体温、呼吸等の生体センサデータや、顔の表情、呟き、動き等により認識し得る。また、心理状態の他、ユーザが他者と会話中ではない場合や、忙しく動き回っていない場合、ユーザが静止している場合、周りが静かである場合、ユーザが一人でいる場合等も、「情報を受け入れ易い状況」と推定し得る。これらは、例えばマイクロホンにより集音した音声データの解析や、モーションセンサデータにより検知した加速度情報等の解析により認識することが可能である。

また、「情報を受け入れ易い状況」とは、例えば以下のようなユーザの基本的行動に基づいて判断してもよい。
・ユーザがＰＣを使用している際に、一定時間、キー入力がなかった場合（作業を行っていない可能性が高いため、情報提示が邪魔にならずに受け入れられる）
・ＡＩスピーカなどのエージェント端末に対して、朝、起床した時に第一声を掛けた場合（情報を受け入れる態勢にある）

出力デバイス１がユーザに提示する情報は、コンテキストに応じてコンテンツや行動の推薦を行うエージェントシステムからの応答であってもよいし、メール、メッセージ、通知情報、推薦情報、広告情報、健康情報等の各種情報を提示する情報提示システムからの提示情報であってもよい。本実施形態による情報処理システムは、このような様々なシステムから出力される各種情報のユーザへの提示タイミングを制御する共通基盤（プラットフォーム）として活用し得る。

また、出力デバイス１からユーザに提示する情報は、例えば、テキスト、音声データ、または画像（動画、静止画）のいずれか、または、少なくともいずれかを含む組み合わせであってもよい。エージェントシステムからの応答の場合は、エージェントの画像（キャラクター画像）を表示すると共にエージェントの音声でメッセージを読み上げることで、よりユーザに受け入れ易くしてもよい。

また、出力デバイス１による情報提示は、壁、廊下、天井、またはテーブル等の家具への投影の他、図１に示すように、鏡や、湯気（白色の煙状）、水面（鍋に張ったお湯や油など）等に投影することも可能である。例えば図１に示す例では、ユーザが鏡を見て歯磨きをしている際に、落ち着いた状態であるため、出力デバイス１Ａが鏡面にエージェントを投影すると共に、エージェントシステムからのメッセージを音声出力する。また、出力デバイス１Ａは、ユーザが湯船に浸かって寛いでいる際に、湯気や浴室の鏡面にエージェントを投影すると共に、エージェントシステムからのメッセージを音声出力する。また、ユーザが料理中に鍋の湯が沸騰するのを待っていて暇な際に、キッチンに設けられた設置型の出力デバイス１Ｂにより、鍋の水面にエージェントを投影すると共に、エージェントシステムからのメッセージを音声出力する。いずれもユーザの視界にエージェントを投影することでユーザの注意を引き、音声出力やテキスト表示等により情報提示を行い、ユーザにストレスなく情報を受け入れさせることが可能となる。エージェント音声は、例えば出力デバイス１に設けられたスピーカから出力される。なお、エージェント音声は、指向性スピーカや、モスキート音等を用いて、ユーザにだけ聞こえるように音声出力してもよい。また、エージェント音声は、エージェントの投影方向から聞こえるよう音像定位してもよい（音声ＡＲ（Augmented Reality）など）。

また、さらに、本実施形態による情報処理システムは、提示する情報の内容と、ユーザの状況を照らし合わせて、情報の出し分けを行うことも可能である。これにより、ユーザの状況に合った受け入れ易いメッセージを受け入れ易いタイミングで提示することが可能となる。

さらに、本実施形態による情報処理システムは、ユーザが情報を受け入れ易い状況ではない場合に、ユーザの状況の変容を促す情報を提示し、情報を受け入れ易い状況にさせた上で、情報提示を行うことも可能である。

以上、本実施形態による情報処理システムの概要について説明した。なお、出力デバイス１は、画像を実物体に投影して表示するプロジェクタに限定されず、例えば、表示画面を有するスマートフォン、スマートバンド、スマートウォッチ、タブレット端末、ＰＣ、テレビ装置、ゲーム装置等の表示装置であってもよいし、透過型または非透過型のＨＭＤ（Head Mounted Display）であってもよい。透過型のＨＭＤを用いる場合、エージェント画像は、実空間に画像を重畳表示するＡＲによりユーザの視界内に表示され得る。また、非透過型のＨＭＤによりユーザが仮想空間映像を見ている際も、仮想空間映像上に、エージェント画像の表示を行い得る。また、出力デバイス１は、スマートイヤホンやスマートネックレス等、表示手段を有さない音声出力デバイスであってもよい。

続いて、このような本実施形態による情報処理システムの構成について、図面を参照して具体的に説明する。

＜＜２．構成例＞＞
＜２−１．システム構成例＞
図２は、本実施形態による情報処理システムの全体構成の一例を示す図である。図２に示すように、本実施形態による情報処理システムは、出力デバイス１と、管理サーバ２とを含む。出力デバイス１と管理サーバ２は、ネットワーク３を介して接続され得る。出力デバイス１は、各ユーザが所持するウェアラブル型のプロジェクタであってもよいし、設置型のプロジェクタであってもよい。

管理サーバ２は、例えばエージェントシステムサーバ４からメッセージを受信した際、出力デバイス１から取得したユーザのセンシングデータに基づいたユーザ状況に応じて、ユーザがメッセージを受け入れ易い状況である場合は、出力デバイス１からメッセージを出力するよう制御する。ここでは一例として、エージェントシステムからメッセージを受信する場合について説明しているが、本実施形態はこれに限定されない。例えば管理サーバ２は、一般的な情報提示システム、例えば、コンテンツ推薦システム（音楽、映画、イベント、ゲーム等の様々なコンテンツ情報の推薦）や、ヘルスケアシステム（健康管理情報の提示）等から情報を受信してもよいし、メールサーバやソーシャルネットワークサーバからメッセージを受信してもよい。

また、管理サーバ２は、ユーザに対して直接的で短期的な１セッションの応答を行う一般的なエージェントシステムからのメッセージの受信に限られず、例えば、長期的な視野に立って徐々に課題解決に近付けていくための行動変容をユーザに促すマスターシステムと称す新たなシステムからのメッセージを受信してもよい。ここで、マスターとは、ユーザに自発的な行動変容を促す仮想的なエージェントの一例であって、マスターシステムは、例えば特定コミュニティやユーザ毎に所定の行動規範を自動生成し、行動規範に基づいて行動変容を間接的に促すことで、コミュニティの課題解決等を行い得る。ユーザがマスター（師匠的存在）の言葉に従って行動しているうちに、行動規範を意識せずとも、ユーザが気付かないうちに、コミュニティ内の課題が解決していたり、コミュニティ内の価値基準を合わせ行動を取ったりすることができ、コミュニティの状況を改善することが可能となる。

＜２−２．出力デバイス１の構成例＞
次に、出力デバイス１の構成について図３を参照して説明する。図３は、本実施形態による出力デバイス１の構成の一例を示すブロック図である。図３に示すように、出力デバイス１は、制御部１００、通信部１１０、入力部１２０、出力部１３０、および記憶部１４０を有する。

制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って出力デバイス１内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

また、本実施形態による制御部１００は、センサ１２２から取得したセンシングデータを、通信部１１０から管理サーバ２に送信する制御と、通信部１１０を介して管理サーバ２から受信した情報を、出力部１３０から出力する制御と、を行い得る。また、制御部１００は、各種センシングデータの解析（音声認識、生体データの解析、カメラ画像や測距データに基づく物体認識、移動状態の認識、表情解析、動作解析、姿勢認識、顔認識、視線認識等）を行い得る。

（通信部１１０）
通信部１１０は、有線または無線によりネットワーク３と接続し、ネットワーク上の管理サーバ２とデータの送受信を行う。通信部１１０は、例えば有線／無線ＬＡＮ（Local Area Network）、またはＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯通信網（ＬＴＥ（Long Term Evolution）、３Ｇ（第３世代の移動体通信方式））等によりネットワーク３と通信接続する。

（入力部１２０）
入力部１２０は、操作入力部１２１、およびセンサ１２２を有し、操作入力部１２１、またはセンサ１２２から取得した情報を、制御部１００に入力する。操作入力部１２１は、ユーザによる出力デバイス１に対する操作入力を検出する。操作入力部１２１は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよいし、ボタン、スイッチ、およびレバーなどの物理的構成であってもよい。

センサ１２２は、ユーザ状況または周辺環境をセンシングする各種センサであり、センシングしたデータを、制御部１００に入力する。センサ１２２は、例えば、位置測位部（ＧＰＳ（Global Positioning System）等を用いた屋外測位、ＢｌｕｅｔｏｏｔｈやＷｉ-Ｆｉ等を用いた屋内測位）、カメラ、マイクロホン（以下、マイクと称す）、測距センサ、サーモセンサ（例えば設置型プロジェクタに設けられ、ユーザの体温を測る）、超音波センサ、モーションセンサ（例えば加速度センサ、ジャイロセンサ、地磁気センサ）、生体センサ（例えば体温、静脈、脈拍、心拍、呼吸、発汗、血圧、脳波、眼電位、筋電値、眼球の動き、視線等の検知）、環境センサ（例えば照度、気温、湿度等）が想定される。

（出力部１３０）
出力部１３０は、制御部１００の制御に従って、ユーザに対して情報提示を行う提示部である。出力部１３０は、プロジェクタ１３１およびスピーカ１３２を有する。プロジェクタ１３１は、壁や床、天井、鏡面、湯気等、様々な場所に画像を投影することが可能な情報表示手段の一例である。なお、ここでは情報表示手段としてプロジェクタ１３１を用いているが、本実施形態はこれに限定されず、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置等により実現される表示部であってもよい。

スピーカ１３２は、制御部１００の制御に従って音声信号の再生を行う。スピーカ１３２は、例えば指向性スピーカであってもよい。指向性スピーカを用いることで、ユーザにだけエージェント音声が聞こえるようにすることができる。また、スピーカ１３２は、ユーザの年齢等を考慮し、モスキート音を用いることで、ユーザにだけエージェント音声が聞こえるようにすることもできる。また、スピーカ１３２は、制御部１００により、エージェント画像の投影方向からエージェントの音声が聞こえるよう音像定位された音声信号を再生し、音声ＡＲを実現することが可能なものであってもよい。

（記憶部１４０）
記憶部１４０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。

以上、本実施形態による出力デバイス１の構成例について具体的に説明した。なお出力デバイス１の構成は、図３に示す例に限定されず、例えば、出力デバイス１が複数の装置により構成されていてもよいし、出力部１３０として、さらに表示装置を有していてもよい。

＜２−３．管理サーバ２の構成例＞
続いて、管理サーバ２の構成について図４を参照して説明する。図４は、本実施形態による管理サーバ２の構成の一例を示すブロック図である。図４に示すように、管理サーバ２（情報処理装置）は、制御部２００、通信部２１０、および記憶部２２０を有する。

（制御部２００）
制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従って管理サーバ２内の動作全般を制御する。制御部２００は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

また、本実施形態による制御部２００は、ユーザ管理部２０１、状況認識部２０２、メッセージ管理部２０３、およびメッセージ提示制御部２０４としても機能する。

ユーザ管理部２０１は、出力デバイス１を取り扱う各ユーザに関する情報（識別情報、年齢や性別等の属性情報、嗜好情報、出力デバイス１の端末情報等）を管理する。各ユーザの情報は、記憶部２２０に記憶され得る。

状況認識部２０２は、出力デバイス１から受信したセンシングデータまたはセンシングデータの解析結果に基づいて、ユーザ自身やユーザの周囲環境等の状況の認識を行う。例えば、状況認識部２０２は、ユーザが誰かと話している最中か、焦ったり急いだりしているか、周囲が騒がしい状況であるか、一人でいるか、じっとして落ち着いているか、興奮しているか等の認識を行う。さらに、状況認識部２０２は、ユーザがメッセージを受け入れ易い状況であるか否かを推定し得る。

メッセージ管理部２０３は、エージェントシステムサーバ４から受信したユーザに伝えるべき情報を、ユーザの識別情報等に関連付けて管理する。ユーザに伝えるべき情報は、上述したように、エージェントからのユーザへの応答メッセージや、ユーザ宛のメール、ソーシャルネットワークを介したユーザ宛のメッセージ、ユーザへの通知情報、推薦情報、広告情報、または健康情報等が想定される。また、マスターシステム（ユーザの行動規範を示すマスター）から受信した、ユーザに対する自発的な行動変容を促すメッセージであってもよい。メッセージ管理部２０３は、これらのメッセージをユーザに関連付けて記憶部２２０に蓄積する。

メッセージ提示制御部２０４は、状況認識部２０２により、ユーザがメッセージを受け入れ易い状況であると推定された場合、当該ユーザ宛のメッセージを記憶部２２０から抽出し、出力デバイス１からユーザに提示するよう制御する。メッセージ提示制御部２０４は、エージェントシステムサーバ４からメッセージを受信した際に、状況認識部２０２によるユーザの現在の状況認識結果に基づいて、メッセージを（リアルタイムで）提示できるか否かを判断してもよい。また、メッセージ提示制御部２０４は、メッセージを提示できなかった場合、その後、状況認識部２０２によりユーザがメッセージを受け入れ易い状況になったと推定されたタイミングで提示するよう制御してもよい。

また、メッセージ提示制御部２０４は、ユーザ状況とメッセージの内容を照らし合わせ、メッセージの内容がユーザ状況に合っている場合に、ユーザがメッセージを受け入れ易い状況の際に提示するよう制御してもよい。

また、メッセージ提示制御部２０４は、状況認識部２０２により、ユーザがメッセージを受け入れ易い状況ではないと推定された場合、ユーザ状況（感情等のユーザ自身の状況やユーザ周辺の環境）を変容させるメッセージを送信するようにしてもよい。

（通信部２１０）
通信部２１０は、有線または無線によりネットワーク３と接続し、ネットワーク３を介して各出力デバイス１とデータの送受信を行う。通信部２１０は、例えば有線／無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ、またはＷｉ−Ｆｉ（Wireless Fidelity、登録商標）等によりネットワーク３と通信接続する。

（記憶部２２０）
記憶部２２０は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、および適宜変化するパラメータ等を一時記憶するＲＡＭにより実現される。例えば本実施形態による記憶部２２０は、エージェントシステムサーバ４から受信したメッセージを記憶してもよい。

以上、本実施形態による管理サーバ２の構成について具体的に説明した。なお図４に示す管理サーバ２の構成は一例であって、本実施形態はこれに限定されない。例えば管理サーバ２の少なくとも一部の構成が外部装置にあってもよいし、制御部２００の各機能の少なくとも一部が出力デバイス１や、エッジサーバなどにより実現されてもよい。また、図４に示す制御部２００の各構成および記憶部１４０を全て出力デバイス１に設け、出力デバイス１のアプリケーションにより、エージェントシステムサーバ４から受信したメッセージをユーザ状況に応じて提示する制御を実行するようにしてもよい。

＜＜３．各実施例＞＞
続いて、本実施形態による情報処理システムの各実施例について図面を用いて具体的に説明する。

＜３−１．第１の実施例（メッセージの提示）＞
まず、本実施形態の第１の実施例について、図５〜図７を参照して説明する。第１の実施例では、ユーザがメッセージを受け入れやすい状況にあるときにユーザに対してメッセージを提示することで、より効果的に情報提示を行うことを可能とする。

図５は、第１の実施例による情報提示処理の流れの一例を示すシーケンス図である。図５に示すように、まず、出力デバイス１は、メッセージの有無を管理サーバ２に確認する（ステップＳ１０３）。

次に、管理サーバ２のユーザ管理部２０１は、メッセージの検索を行う（ステップＳ１０６）。ユーザ管理部２０１は、エージェントシステムサーバ４に問い合わせてユーザに伝えるべきメッセージを検索してもよいし、予めエージェントシステムサーバ４から受信して記憶部２２０に蓄積していたメッセージから、ユーザ宛のメッセージを検索してもよい。

次いで、管理サーバ２は、検索したメッセージを出力デバイス１に送信する（ステップＳ１０９）。

次に、出力デバイス１は、センサ１２２によりセンシングデータを取得し（ステップＳ１１２）、取得したセンシングデータを管理サーバ２に送信する（ステップＳ１１５）。なお、出力デバイス１は、センシングデータの解析結果をリアルタイムで管理サーバ２に送信するようにしてもよい。

次いで、管理サーバ２の状況認識部２０２は、出力デバイス１から送信された情報（センシングデータや、センシングデータの解析結果）に基づいて、ユーザ状況の認識を行う（ステップＳ１１８）。ユーザ状況の認識処理の詳細については、図７を参照して後述する。

次に、ユーザがメッセージを受け入れ易い状況にあると推定された場合（ステップＳ１２１／Ｙｅｓ）、管理サーバ２は、ユーザが受け入れ易い状況にあることを出力デバイス１に通知する（ステップＳ１２４）。

そして、出力デバイス１は、管理サーバ２からの通知に応じて、ユーザへのメッセージの出力制御を行う（ステップＳ１２７）。ユーザへのメッセージの出力制御の詳細については、図６を参照して後述する。

以上により、本実施例によれば、ユーザがメッセージを受け入れ易い状況にあるときに、ユーザへのメッセージを出力することが可能となる。

（メッセージの出力制御処理）
続いて、上記ステップＳ１２７に示すメッセージの出力制御処理の一例について、図６を参照して説明する。図６は、本実施例によるメッセージの出力制御処理の流れの一例を示すフローチャートである。ここでは、プロジェクタ１３１を用いてメッセージを出力する場合について説明する。

図６に示すように、ユーザがメッセージを受け入れ易い状況にある場合（ステップＳ１３０／Ｙｅｓ）、出力デバイス１の制御部１００は、センサ１２２のセンシングデータに基づいて、プロジェクタ１３１が投影可能な距離に単一色の平面があるか否かを判断する（ステップＳ１３３）。具体的には、制御部１００は、センサ１２２により取得されたカメラ画像および測距データを解析し、プロジェクタ１３１から投影可能な距離に、投影可能な形状をした物体（ここでは、単一色の平面）があるか否かを判断する。

若しくは、制御部１００は、同様にカメラ画像および測距データを解析し、プロジェクタ１３１から投影可能な距離に、鏡面、静かな水面、または白色の煙状のものがあるか否かを判断する（ステップＳ１３６、Ｓ１３９）。

次いで、制御部１００は、プロジェクタ１３１が投影可能な距離に、単一色の平面、鏡面、静かな水面、または白色の煙状のものがある場合（ステップＳ１３３／Ｙｅｓ、ステップＳ１３６／Ｙｅｓ、または、ステップＳ１３９／Ｙｅｓ）、キャラクター（エージェント画像）やマルチメディアコンテンツ（メッセージのテキスト、動画、静止画等）を用いて、プロジェクタ１３１によりメッセージを表示（投影）する（ステップＳ１４２）。また、制御部１００は、エージェント画像の表示と共に、マルチメディアコンテンツとしてメッセージの音声データ（エージェント音声データ）をスピーカ１３２から出力してもよい。

以上説明したように、プロジェクタ１３１を用いてメッセージを提示する際、出力デバイス１は、ユーザ周辺から適切な投影場所（一定の条件を満たす投影場所）を適宜判断し、当該投影場所に、メッセージを投影するよう制御する（プロジェクタ１３１の駆動制御）。これにより、日常生活における様々なシーンにおいて、ユーザがメッセージを受け入れ易い状況の際に、どこででも、メッセージを提示することが可能となる。

（ユーザ状況の認識処理）
次に、図５に示す上記ステップＳ１１２〜Ｓ１２１に示すユーザ状況の認識処理の詳細については、図７を参照して後述する。

図７は、本実施例によるセンシングデータに基づくユーザ状況の認識処理の流れの一例を示すシーケンス図である。図７に示すように、まず、出力デバイス１は、マイクにより音声情報を取得し、音声データの解析を行い（ステップＳ１５３）、その解析結果（特徴量データ）を管理サーバ２に送信する（ステップＳ１５６）。

次いで、管理サーバ２の状況認識部２０２は、解析結果に基づいて、ユーザ当人の話し声がするか否か（ステップＳ１５９）、および周辺環境が騒がしいか否かを判断する（ステップＳ１６２）。

また、出力デバイス１は、生体センサ（心拍センサや、体温センサ等）により、ユーザの身体状況を測定し（ステップＳ１６５）、その測定結果（身体状況データ）を管理サーバ２に送信する（ステップＳ１６８）。

次いで、管理サーバ２の状況認識部２０２は、測定結果に基づいて、ユーザの心拍が高すぎず、体温も平熱で平穏な状態が保たれているか否かを判断する（ステップＳ１７１）。具体的には、状況認識部２０２は、ユーザの心拍が所定値を超えていないか、また、体温がユーザの平熱であるか否かを判断する。

また、出力デバイス１は、モーションセンサ（加速度センサや、ジャイロセンサ等）により、ユーザの動きを検知し（ステップＳ１７４）、その検知結果（動き情報）を管理サーバ２に送信する（ステップＳ１７７）。

次いで、管理サーバ２の状況認識部２０２は、検知結果に基づいて、ユーザが激しく動いているか否かを判断する（ステップＳ１８０）。ユーザが激しく動いているか否かは、例えば加速度データ等を解析して得られた特徴量から判断してもよいし、所定の閾値と比較して判断してもよい。

そして、管理サーバ２の状況認識部２０２は、ユーザ当人の話し声がせず（ステップＳ１５９／Ｎｏ）、周辺環境が騒がしくなく（ステップＳ１６２／Ｎｏ）、ユーザの心拍が高すぎず、体温も平熱で平穏な状態が保たれており（ステップＳ１７１／Ｙｅｓ）、かつ、ユーザが激しく動いていない場合（ステップＳ１８０／Ｎｏ）、ユーザはメッセージを受け入れ易い状況にあると推定する（ステップＳ１８３）。

以上、本実施例によるユーザ状況の認識処理の一例について説明した。これにより、ユーザがメッセージを受け入れ易い状況にある場合にメッセージを提示することが可能となり、メッセージをより効果的に提示することが可能となる。特にマスターシステムからの（間接的に）行動変容を促すメッセージの場合、ユーザがメッセージを受け入れ易い状況にあることが、より望ましい。マスターシステムから提示されるメッセージとしては、例えば、家事や子育てをあまり手伝わない父親に対して、一人で苦労している妻や、泣いている乳児の様子を伝えること（例えば子育て中の様子のカメラ画像の投影等）が挙げられる。このようなメッセージが、例えばユーザ（父親）が湯船に浸かってのんびりしている時等に提示されることで、自然と、家事や子育てを手伝おうという気持ちにさせることが（すなわちメッセージを受け入れて自発的な行動変容が起こることが）、より期待できる。
また、オフィスのユーザの席が散らかっていることを職場の同僚たちがあまりよく思っていないことを知らせること（例えば散らかっている席を怪訝そうに人が見ている様子のカメラ画像の投影等）を提示することで、自然と、席を片付けようという気持ちにさせることが（すなわちメッセージを受け入れて自発的な行動変容が起こることが）、より期待できる。

なお、図７に示す判断基準は一例であって、本実施例はこれに限定されない。

また、図７に示すステップＳ１５３〜Ｓ１６２（音声データに基づく判断処理）、ステップＳ１６５〜ステップＳ１７１（生体データに基づく判断処理）、およびステップＳ１７４〜Ｓ１８０（モーションデータに基づく判断処理）の順番は、図７に示す順番に限定されず、並列であってもよいし、異なる順番であってもよい。

＜３−２．第２の実施例（メッセージ内容とユーザ状態に応じて提示）＞
続いて、本実施形態の第２の実施例について説明する。本実施例では、第１の実施例に示すユーザ状況のタイミングに加えて、提示するメッセージの内容と、ユーザ状態とを照らし合わせ、ユーザ状態がメッセージの内容に合っている場合にメッセージを提示することで、メッセージ提示の効果をさらに高めることを可能とする。すなわち、ユーザがメッセージを受け入れ易い状況であっても、メッセージの内容がユーザの状態（体調や感情など）に合っていない場合は、メッセージの提示を行わないようにする。

例えば、メッセージの内容が、運動や外出等、移動や身体を動かすことに関するキーワードが含まれている場合は、ユーザの体調がよく気力が充実している状態の場合に提示することが望ましい。一方、メッセージの内容が、休憩や帰宅等、体力を温存することに関するキーワードが含まれている場合は、ユーザの体調が悪く疲れている状態の場合に提示することが望ましい。したがって、例えば運動を勧めるメッセージのときは、ユーザの体調も考慮し、ユーザが疲れている時にはメッセージの提示を行わないようにする。

以下、図８〜図９を参照して本実施例の動作処理について具体的に説明する。

図８は、第２の実施例によるメッセージの蓄積処理の流れの一例を示すシーケンス図である。図８に示すように、まず、マスターシステムサーバは、ユーザに自発的な行動変容を促すメッセージを生成し（ステップＳ１９３）、管理サーバ２に送信する（ステップＳ１９６）。なお、ここではメッセージの一例として、ユーザに自発的な行動変容を促すマスターシステムにより提示されるものを挙げているが、本実施例はこれに限定されず、一般的なエージェントシステムから提示される応答メッセージや、各情報提示システムから提示される情報等であってももちろんよい。

次に、管理サーバ２のメッセージ管理部２０３は、マスターシステムサーバから受信したメッセージの意味解析を行う（ステップＳ１９９）。

次いで、管理サーバ２のメッセージ管理部２０３は、メッセージをユーザに表示する際にユーザの状態を考慮すべき内容であるか否かを判断する（ステップＳ２０２）。例えば、メッセージ管理部２０３は、ユーザの状態に関連する所定のキーワード（例えば、「運動」など体力を要することに関するキーワードや、「休む」など体力温存に関するキーワード）が含まれているメッセージの場合、ユーザの状態を考慮すべきメッセージ内容であると判断する。

次に、ユーザの状態を考慮すべきメッセージ内容であると判断した場合（ステップＳ２０２／Ｙｅｓ）、メッセージ管理部２０３は、メッセージの内容に合致するユーザ状態の条件を、付帯情報として当該メッセージに対応付ける（ステップＳ２０５）。ユーザ状態の条件は、例えば、「体調が良い／悪い」「気力がある／ない」「元気である／疲れている」等が考え得る。

そして、メッセージ管理部２０３は、受信したメッセージを記憶部２２０に蓄積する（ステップＳ２０８）。

以上説明したように、管理サーバ２のメッセージ管理部２０３は、ユーザ宛のメッセージをシステムから取得した際、内容の意味解析を行い、ユーザ状態を考慮した方がよいメッセージについては、ユーザ状態の条件を付帯情報として対応付けた上で、予め蓄積しておくことが可能となる。

このようなメッセージの蓄積処理は、継続的に行われ得る。次いで、蓄積したメッセージを出力デバイス１からユーザに提示する場合の動作処理について、図９を参照して説明する。

図９は、本実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。図９に示すステップＳ１０３〜Ｓ１２４の処理は、第１の実施例において図５を参照して説明した同符号の処理と同様である。すなわち、ユーザに提示するメッセージがある場合に、現在のユーザ状況が、メッセージを受け入れ易い状況であるか否かの推定処理が行われる。

次に、メッセージを受け入れ易い状況である旨の通知を管理サーバ２から受けた際、第１の実施例ではメッセージの出力制御処理を行っていたが、本実施例では、出力デバイス１は、上記ステップＳ１０９において管理サーバ２から送信されたメッセージに付帯情報（ユーザ状態の条件）が対応付けられているか否かを確認する（ステップＳ２１３）。

次いで、付帯情報が対応付けられている場合（ステップＳ２１３／Ｙｅｓ）、出力デバイス１は、センサ１２２により取得したセンシングデータの解析を行い（ステップＳ２１６）、解析結果を管理サーバ２に送信する（ステップＳ２１９）。

次に、管理サーバ２の状況認識部２０２において、センシングデータの解析結果に基づいてユーザ状態の認識が行われ（ステップＳ２２２）、認識結果が出力デバイス１に送信される（ステップＳ２２５）。
ユーザ状態の認識は、例えば、体温が平熱、ため息などが無い、声が大きい、笑顔等の場合は、「体調が良い」と認識し、体温が平熱より高い、ため息が所定値より多い、声が小さい、無言、笑顔が無い等の場合は、「体調が悪い」と認識してもよい。

次いで、出力デバイス１は、管理サーバ２からの認識結果で示されるユーザ状態が、メッセージに対応付けられていた付帯情報（ユーザ状態の条件）に合致するか否かを判断する（ステップＳ２２８）。付帯情報であるユーザ状態の条件は、上述したように、例えば、「体調が良い／悪い」「気力がある／ない」「元気である／疲れている」等であってもよく、出力デバイス１は、ユーザの現在の状態が、かかる条件に合致するか否かを判断する。

そして、ユーザの状態が付帯情報に合致する場合（ステップＳ２２８／Ｙｅｓ）、出力デバイス１は、ユーザへのメッセージの出力制御を行う（ステップＳ１２７）。メッセージの出力制御の詳細は、第１の実施例と同様である（図６参照）。なお、上記ステップＳ２１３で、メッセージに付帯情報が対応付けられていない場合は（ステップＳ２１３／Ｎｏ）、ユーザの状態と内容の合致について考慮せずに、ユーザへのメッセージの出力制御を行い得る（ステップＳ１２７）。

これにより、ユーザがメッセージを受け入れ易い状況にあり、かつ、提示するメッセージの内容がユーザの状態に合致する場合にメッセージを提示することが可能となる。

また、出力デバイス１は、管理サーバ２から受信した複数のメッセージのうち、ユーザの状態に合致する内容のメッセージを提示するようにしてもよい。例えば家族の団欒時間を増やすための行動変容メッセージとして、「バッティングセンターに行って適度な運動をしたら？」というメッセージと、「早く帰りましょう」というメッセージがある場合、ユーザの体調が悪く疲れ切っているときは後者のメッセージを提示し、ユーザの体調がよく気力が充実しているときは前者のメッセージを提示するようにしてもよい。なお、マスターシステムからの前者の運動を勧めるメッセージは、運動によりストレス発散をさせ、ユーザのストレス量に起因する飲酒量を押さえ、これによりユーザの睡眠の質を上げ、睡眠時間に起因する起床時間を早めて、家族と一緒に朝食を取って団欒時間を確保させることが可能となる。また、マスターシステムからの後者のメッセージは、ユーザが早く帰宅することで他の家族との生活リズムが合い、夕食を一緒に取って団欒時間を確保させることが可能となる。

＜３−３．第３の実施例（ユーザ状況の変容）＞
次に、本実施形態の第３の実施例について説明する。本実施例では、ユーザがメッセージを受け入れ難い状況にあるとき、ユーザの状況をメッセージを受け入れ易い状況に変容させるコントロールガイド（以下、ガイドコンテンツとも称す）を提示する。これにより、メッセージを受け入れ易い状況でメッセージを提示できる機会を増加させることができる。

また、さらに、メッセージ内容がユーザ状態と合致しない場合、ユーザの状態をメッセージ内容に合致した状態に変容させる何らかのガイドコンテンツを提示する。これにより、ユーザ状態に合致した内容のメッセージを提示できる機会を増加させることができる。

ユーザの状況や状態を変容させるガイドコンテンツとしては、例えば図１０に示すような例が考えられる。図１０は、第３の実施例によるユーザの状況を変容させるガイドコンテンツの一例を示す図である。

図１０に示すように、例えばユーザが会話をしている場合は、静かにするよう要求するガイド表示画像５００を提示（出力デバイス１により投影）することで、メッセージを受け入れ易い静かな状況に導くことができる。また、ユーザが疲れて元気のない状態の場合は、ユーザの子供や家族の写真画像５０１や、ユーザを好きなキャラクターが励ましてくれている画像５０２等を提示することで、元気な状態に合致する内容のメッセージをより効果的に提示することが可能となる。また、ユーザが興奮したり焦ったり慌てている場合は、「落ち着け！」「深呼吸しましょう」等の直接的なメッセージ５０４等を提示することで、メッセージを受け入れ易い落ち着いた状況に導くことができる。

このような本実施例の動作処理について、図１１〜図１３を参照して説明する。

図１１〜図１３は、第３の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。

図１１に示すステップＳ１０３〜Ｓ１２１の処理は、第１の実施例において図５を参照して説明した同符号の処理と同様である。すなわち、ユーザに提示するメッセージがある場合に、現在のユーザ状況が、メッセージを受け入れ易い状況であるか否かの推定処理が行われる。

次に、メッセージを受け入れ易い状況ではないと推定された場合（ステップＳ１２１／Ｎｏ）、管理サーバ２は、ユーザの状況をコントロールする（つまり、受け入れ易い状況へ変容させる）ガイド画像を選択し（ステップＳ２５３）、ガイド画像を出力デバイス１に送信する（ステップＳ２５６）。ガイド画像は、例えば予め記憶部２２０に蓄積されており、管理サーバ２は、現在のユーザ状況に基づいて、適切なガイド画像を選択する。

次いで、出力デバイス１は、受信したガイド画像の出力制御を行う（ステップＳ２５９）。ガイド画像の出力制御は、例えばプロジェクタ１３１により周囲の適切な投影場所に投影される。ガイド画像の投影制御の詳細は、第１の実施例において図６を参照して説明したメッセージの出力制御処理が適用される。すなわち、出力デバイス１は、投影可能な距離に、単一色の平面、鏡面、静かな水面、または白色の煙状のもの等がある場合に、その場所にガイド画像を投影する。

かかるガイド画像の提示により、ユーザの状況がメッセージを受け入れ易い状況に変容することが期待される。ガイド画像を提示した後は、図１１に示すように、上記ステップＳ１１２からの処理が再度繰り返される。

一方、メッセージを受け入れ易い状況にあると推定された場合（ステップＳ１２１／Ｙｅｓ）、管理サーバ２は、図１２に示すように、ユーザが受け入れ易い状況にあることを出力デバイス１に通知する（ステップＳ１２４）。

次に、出力デバイス１は、管理サーバ２から送信されたメッセージに付帯情報（ユーザ状態の条件）が対応付けられているか否かを確認し（ステップＳ２１３）、付帯情報が対応付けられていない場合は（ステップＳ２１３／Ｎｏ）、ユーザへのメッセージの出力制御を行う（ステップＳ１２７）。なお、かかるステップＳ１２４、Ｓ２１３、Ｓ１２７に示す処理は、第２の実施例において図９を参照して説明した同符号の処理と同様である。

続いて、管理サーバ２から送信されたメッセージに付帯情報が対応付けられている場合（ステップＳ２１３／Ｙｅｓ）、図１３に示すように、出力デバイス１は、センシングデータを取得して管理サーバ２に送信し（ステップＳ２１６、Ｓ２１９）、管理サーバ２からユーザ状態の認識結果を取得する（ステップＳ２２２、Ｓ２２５）。

次いで、出力デバイス１は、管理サーバ２からの認識結果で示されるユーザ状態が、メッセージに対応付けられていた付帯情報（ユーザ状態の条件）に合致するか否かを判断する（ステップＳ２２８）。なお、上記ステップＳ２１６〜Ｓ２２８に示す処理は、第２の実施例で説明した図９に示す同符号の処理と同様である。

次に、ユーザ状態が、メッセージの付帯情報（ユーザ状態の条件）に合致しない場合（ステップＳ２２８／Ｎｏ）、出力デバイス１は、ユーザ状態が合致しないことを管理サーバ２に通知する（ステップＳ２６３）。

次いで、管理サーバ２は、付帯情報に応じて、ユーザの状態（感情など）を、付帯情報で示されるユーザ状態の条件に合致するようコントロールする（変容させる）ガイド画像を選択し（ステップＳ２６６）、ガイド画像を出力デバイス１に送信する（ステップＳ２６９）。

そして、出力デバイス１は、受信したガイド画像の出力制御を行う（ステップＳ２７２）。ガイド画像の出力制御は、例えばプロジェクタ１３１により周囲の適切な投影場所に投影される。ガイド画像の投影制御の詳細は、第１の実施例において図６を参照して説明したメッセージの出力制御処理が適用される。すなわち、出力デバイス１は、投影可能な距離に、単一色の平面、鏡面、静かな水面、または白色の煙状のもの等がある場合に、その場所にガイド画像を投影する。

かかるガイド画像の提示により、ユーザ状態がメッセージ内容に合致した状態に変容することが期待される。ガイド画像を提示した後は、図１３に示すように、上記ステップＳ２１６からの処理が再度繰り返される。

なお、ユーザ状態が、メッセージの付帯情報（ユーザ状態の条件）に合致する場合（ステップＳ２２８／Ｙｅｓ）、出力デバイス１は、ユーザへのメッセージの出力制御を行う（図１２のステップＳ１２７）。

＜３−４．第４の実施例（ユーザが視認できる場所に提示）＞
次いで、本実施形態の第４の実施例について説明する。ユーザにメッセージやガイド画像を提示する場合、上述した各実施例では、一例としてプロジェクタ１３１によりユーザ周辺の適切な投影場所に適宜投影することで、日常生活の様々なシーンでどこでもメッセージやガイド画像を表示することを可能としている。ここで、投影場所（投影対象物）としては適切な場所（物体）であっても、ユーザの背後であったり、またはユーザが違う場所を見ていたり、焦点が合っていない場合、実際にはユーザが視認し難い場所となる。

そこで、本実施例では、図１４に示すように、ユーザの頭や顔の向き、視線等から基づいて判断した視認可能領域に、適切な投影場所がある場合、当該投影場所に、ユーザへのメッセージやガイド画像を投影するよう制御することで、日常生活の様々なシーンにおいて、より確実に、ユーザにメッセージを提示することを可能とする。例えば、出力デバイス１は、ユーザの視線が投影場所に向いているか否かに応じて投影制御を行ってもよいし、ユーザの焦点が投影場所に合っているか否かに応じて投影制御を行ってもよい。

以下、このような本実施例による投影制御について図１５を参照して説明する。

図１５は、本実施例による投影制御処理の流れの一例を示すフローチャートである。図１５のステップＳ１３０〜Ｓ１３９に示す処理は、第１の実施例で説明した図６に示す同符号の処理と同様である。すなわち、ユーザがメッセージを受け入れ易い状況である場合にメッセージを表示する際、出力デバイス１は、ユーザ周辺で適切な投影場所（例えば、投影可能な距離にある、単一色の平面、鏡面、静かな水面、または白色の煙状のもの等）を判断する処理を行う。

次いで、出力デバイス１は、視線検出センサによりユーザの視線を検出し（ステップＳ３０３）、上記ステップＳ１３３〜Ｓ１３９で判断した適切な投影場所の方向にユーザの視線が向いているか否かを判断する（ステップＳ３０６）。視線検出センサは、センサ１２２の一例であって、視線検出の方法としては、例えば眼電位センサの検出結果から検出する方式や、赤外光（ＩＲ）を眼球に当ててその反射光を検知して検出する方式（角膜反射法または強膜反射法等）、また、可視光カメラを用いて目の基準点（目頭や角膜反射）と動点（虹彩や瞳孔等）の位置に基づいて検出する方式等を利用し得る。また、出力デバイス１は、ユーザの顔を撮像したカメラ映像やモーションセンサのセンシングデータに基づいて、ユーザの顔向きや頭部方向を判断し、これを視線方向とみなしてもよい。

次に、投影場所の方向にユーザの視線が向いている場合（ステップＳ３０６／Ｙｅｓ）、出力デバイス１は、例えば眼の屈折度測定センサ（オートレフケラトメータなど）により、投影場所にユーザの焦点が合っているか（すなわち、網膜の前で像が結ばれているか）を測定する（ステップＳ３０９）。

次いで、投影場所に焦点が合っている場合（ステップＳ３１２／Ｙｅｓ）、出力デバイス１は、メッセージやガイド画像の投影を行う（ステップＳ３１５）。

なお、出力デバイス１は、適切な投影場所を複数判断し、その中から、ユーザが視認し易い場所を選択するようにしてもよい。また、図１５に示すフローチャートでは、ユーザが視認し易い場所か否かを、視線方向と焦点に基づいて判断しているが、本実施例はこれに限定されない。例えば視線方向と焦点のいずれかを用いて判断してもよいし、他の要素（ユーザの前方にあること、進行方向にあること、視界範囲に入っていること、すぐに視線を向けることが予測される場所であること等）に基づいて判断してもよい。

＜３−５．第５の実施例（「メッセージを受け入れ易い状況」の学習）＞
最後に、本実施形態の第５の実施例について説明する。ユーザがメッセージを受け入れ易い状況にあるか否かは、マイクやカメラ、生体センサ、モーションセンサ等の各種センサから得られたセンシングデータを、所定の基準（予め設定された既定の基準）と比較することで判断することが可能であるが、ユーザを取り巻く環境等によっては、その判断基準が変化する場合もあり、予め決めた一定のルールだけでは的確に判断できない場合もある。

そこで、本実施例では、メッセージを提示した後のユーザの反応（フィードバック）に基づいて、「メッセージを受け入れやすい状況」であったか否かを学習し、より精度良く、状況を判断することを可能とする。例えば、エージェント画像を投影してメッセージを音声出力した場合に、ユーザがエージェントの方を見て「わかった」「ＯＫ」等のメッセージ受容の言葉を発した場合、「メッセージを受け入れやすい状況」であったと学習してもよい。また、メッセージを提示した後のユーザの行動を観測し、メッセージ提示前と後で行動変容があった場合、「メッセージを受け入れやすい状況」であったと学習してもよい。

以下、このような本実施例による投影制御について図１６〜図１８を参照して説明する。

図１６および図１７は、本実施例によるメッセージを受け入れ易い状況であるか否かの判断について学習する処理の流れの一例を示すシーケンス図である。

図１６に示すステップＳ１０３〜Ｓ１１８の処理は、第１の実施例において図５を参照して説明した同符号の処理と同様である。すなわち、ユーザに伝えるべきメッセージがある際に、出力デバイス１において取得したセンシングデータに基づいて、管理サーバ２によりユーザ状況の認識が行われる。

次に、管理サーバ２は、ユーザ状況の認識結果を出力デバイス１に送信する（ステップＳ３３０）。ここで、既に管理サーバ２において、後述するユーザ状況認識の学習が既に行われており、「受け入れ易い状況」のデータを記録している場合、管理サーバ２は、当該データを、ユーザ状況の認識結果と併せて出力デバイス１に送信する。

次に、「受け入れ易い状況」のデータを管理サーバ２から取得できなかった場合（すなわち、「受け入れ易い状況」の学習が行われていない場合）（ステップＳ３３３／Ｎｏ）、出力デバイス１は、メッセージの出力制御を行う（ステップＳ１２７）。メッセージの出力制御の詳細は、第１の実施例と同様である（図６参照）。

次いで、出力デバイス１は、メッセージを提示した後のユーザの反応に基づいて、当該メッセージがユーザに受け入れられたか否かを判断する（ステップＳ３３９）。かかる判断処理の詳細は、図１８を参照して後述する。

次に、メッセージがユーザに受け入れられたと判断された場合（ステップＳ３４２／Ｙｅｓ）、出力デバイス１は、メッセージが受け入れられたことを管理サーバ２に通知する（ステップＳ３４５）。

そして、管理サーバ２は、上記ステップＳ１１８におけるユーザ状況の認識結果を、「（ユーザがメッセージを）受け入れ易い状況」として記憶する（ステップＳ３４８）。

一方、メッセージがユーザに受け入れられなかったと判断された場合は（ステップＳ３４２／Ｎｏ）、出力デバイス１は、管理サーバ２への通知は行わない。

以上により、管理サーバ２は、ユーザ毎に、メッセージが受け入れ易い状況について学習することが可能となる。これにより、例えばジムのランニングマシーンでランニングをしている際など、人によっては激しく動いている場合にメッセージを受け入れ易い状況となる場合もあるため、このような人によって異なる受け入れ易さの状況を学習していくことが可能となる。

なお、上記ステップＳ３３３で、「受け入れ易い状況」のデータを管理サーバ２から取得できた場合（すなわち、「受け入れ易い状況」の学習が既に行われていた場合）（ステップＳ３３３／Ｙｅｓ）、図１７に示すように、出力デバイス１は、認識されたユーザ状況が、「受け入れ易い状況」に合致するか否かを判断する（ステップＳ３５３）。

次いで、認識されたユーザ状況が、「受け入れ易い状況」に合致する場合（ステップＳ３５３／Ｙｅｓ）、出力デバイス１は、メッセージの出力制御を行う（ステップＳ１２７）。メッセージの出力制御の詳細は、第１の実施例と同様である（図６参照）。

次に、出力デバイス１は、メッセージを提示した後のユーザの反応に基づいて、メッセージがユーザに受け入れられたか否かを判断する（ステップＳ３３９）。かかる判断処理の詳細は、図１８を参照して後述する。本実施例では、ユーザを取り巻く環境等に応じて、ユーザのメッセージを受け入れ易い状況が変化している場合もあるため、学習結果に基づいてメッセージを受け入れ易い状況と判断してメッセージを提示した場合であっても、再度、その後のユーザの反応を観測し、実際にメッセージが受け入れられたか否かを判断する。

次いで、メッセージがユーザに受け入れられなかったと判断された場合（ステップＳ３６２／Ｎｏ）、出力デバイス１は、メッセージが受け入れられなかったことを管理サーバ２に通知する（ステップＳ３６５）。

そして、管理サーバ２は、既に記録されている「受け入れ易い状況」のデータのうち、今回のユーザ状況（メッセージが受け入れられなかった状況）を削除する（ステップＳ３６８）。これにより、メッセージを受け入れ易い状況が変化した場合を学習し、「受け入れ易い状況」を更新していくことが可能となる。

なお、メッセージがユーザに受け入れられた場合は（ステップＳ３６２／Ｙｅｓ）、出力デバイス１は、管理サーバ２への通知は行わない。

（メッセージが受け入れられたか否かの判断処理）
続いて、上記ステップＳ３３９に示す、メッセージが受け入れられたか否かの判断処理の一例について、図１８を参照して説明する。

図１８は、本実施例による、メッセージがユーザに受け入れられたか否かを判断する処理の流れの一例を示すフローチャートである。

図１８に示すように、まず、出力デバイス１は、センサ１２２（カメラ）によりユーザの顔を撮影したカメラ画像に基づき、ユーザの顔認識と視線解析を行い（ステップＳ３６３）、ユーザが、メッセージの提示として投影したエージェント画像の方を向いたか否か（すなわち、エージェント画像の方に視線や顔を向けたか否か）を判断する（ステップＳ３６６）。

次いで、エージェント画像の方を向かなかった場合（ステップＳ３６６／Ｎｏ）、出力デバイス１は、メッセージが受け入れられなかったと判断する（ステップＳ３７８）。なお、出力デバイス１は、エージェント画像の方を一瞬見ただけですぐに視線を外した場合や、エージェント画像に焦点が合っていない場合、注視していない場合、エージェント画像を見たが不快な顔をした場合等も、メッセージが受け入れられなかったと判断してもよい。

次に、出力デバイス１は、センサ１２２（マイク）により集音した音声データに基づき、音声認識を行い（ステップＳ３６９）、メッセージの了承を示す音声が検出されたか否かを判断する（ステップＳ３７２）。

次いで、メッセージの了承を示す音声（「わかったよ」「ＯＫ」「いいね」「そうなんだ」「面白そうだね」等）が検出されなかった場合（ステップＳ３７２／Ｎｏ）、出力デバイス１は、メッセージが受け入れられなかったと判断する（ステップＳ３７８）。なお、出力デバイス１は、メッセージの了承を示す音声が検出されなかった場合に限定されず、例えば、ユーザが溜息をついたり、舌打ちをしたり、メッセージの提示を邪魔に感じていることを示す音声等を検出した場合に、メッセージが受け入れられなかったと判断してもよい。

そして、ユーザがエージェント画像の方を向いており（ステップＳ３６６／Ｙｅｓ）、かつ、メッセージの了承を示す音声が検出された場合（ステップＳ３７２／Ｙｅｓ）、出力デバイス１は、メッセージが受け入れられたと判断する（ステップＳ３７５）。

なお、ここでは一例として視線と音声に基づいて、メッセージが受け入れられたことを判断しているが、本実施例はこれに限定されない。例えば視線と音声のいずれかを用いて判断してもよいし、他の要素（メッセージ提示後のユーザの行動や、ジェスチャ等）に基づいて判断してもよい。

＜＜４．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した出力デバイス１、または管理サーバ２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、出力デバイス１、または管理サーバ２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
（１）
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、
情報処理システム。
（２）
前記制御部は、
前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかに応じて、当該ユーザがメッセージを受け入れ易い状況であるか否かを推定する、前記（１）に記載の情報処理システム。
（３）
前記提示部は、プロジェクタであり、
前記制御部は、
前記ユーザ周辺に一定の条件を満たす投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、前記（１）または（２）に記載の情報処理システム。
（４）
前記制御部は、
前記ユーザ周辺のセンシングデータに基づいて、前記一定の条件を満たす投影場所を決定する、前記（３）に記載の情報処理システム。
（５）
前記制御部は、
前記ユーザが視認可能な投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、前記（３）に記載の情報処理システム。
（６）
前記制御部は、
前記ユーザに関わるセンシングデータに基づいて、前記ユーザの視線解析を行い、前記視認可能な投影場所を判断する、前記（５）に記載の情報処理システム。
（７）
前記制御部は、
前記ユーザが知覚可能な前記メッセージを提示するように前記提示部を制御する、前記（１）〜（６）のいずれか１項に記載の情報処理システム。
（８）
前記制御部は、
前記メッセージを、画像または音声の少なくともいずれかにより提示する、前記（７）に記載の情報処理システム。
（９）
前記制御部は、
前記ユーザがメッセージを受け入れ易い状況であると推定された際であっても、前記メッセージの内容に応じて、前記ユーザへのメッセージ提示を行わないよう制御する、前記（１）〜（８）のいずれか１項に記載の情報処理システム。
（１０）
前記制御部は、
前記メッセージの内容と、前記ユーザの状態とが合致する場合に、前記ユーザへのメッセージ提示を行い、
前記メッセージの内容と、前記ユーザの状態とが合致しない場合は、前記ユーザへのメッセージ提示を行わないよう制御する、前記（９）に記載の情報処理システム。
（１１）
前記制御部は、
前記ユーザがメッセージを受け入れ易い状況ではないと推定されるとき、
前記ユーザの状況を、メッセージをより受け入れ易い状況にするためのコントロールガイドを提示する、前記（１）〜（１０）のいずれか１項に記載の情報処理システム。
（１２）
前記コントロールガイドは、前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかを変化させることを目的とした画像または音声である、前記（１１）に記載の情報処理システム。
（１３）
前記制御部は、
前記ユーザの状態が前記メッセージの内容に合わないと推定されるとき、
前記ユーザの状態を、前記メッセージの内容に合うようにするためのコントロールガイドを提示する、前記（１０）に記載の情報処理システム。
（１４）
前記制御部は、
前記ユーザに関わるセンシングデータに基づき、前記提示部により提示されたメッセージに対する前記ユーザの反応を検出し、
前記検出の結果と、前記ユーザの状況との関係性を学習することにより、前記ユーザのメッセージを受け入れ易い状況を更新する、前記（１）〜（１３）のいずれか１項に記載の情報処理システム。
（１５）
前記制御部は、
外部のエージェントシステムから提供されるメッセージを、前記ユーザに提示するように提示部を制御する、前記（１）〜（１４）のいずれか１項に記載の情報処理システム。
（１６）
プロセッサが、
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御することを含む、情報処理方法。
（１７）
コンピュータを、
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部として機能させるためのプログラムが記録された、記録媒体。

１ 出力デバイス
２ 管理サーバ
３ ネットワーク
４ エージェントシステムサーバ
１００ 制御部
１１０ 通信部
１２０ 入力部
１２１ 操作入力部
１２２ センサ
１２２ａ 生体センサ
１３０ 出力部
１３１ プロジェクタ
１３２ スピーカ
１４０ 記憶部
２００ 制御部
２０１ ユーザ管理部
２０２ 状況認識部
２０３ メッセージ管理部
２０４ メッセージ提示制御部
２１０ 通信部
２２０ 記憶部

Claims (17)

1. ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、
   情報処理システム。
2. 前記制御部は、
   前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかに応じて、当該ユーザがメッセージを受け入れ易い状況であるか否かを推定する、請求項１に記載の情報処理システム。
3. 前記提示部は、プロジェクタであり、
   前記制御部は、
   前記ユーザ周辺に一定の条件を満たす投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、請求項１に記載の情報処理システム。
4. 前記制御部は、
   前記ユーザ周辺のセンシングデータに基づいて、前記一定の条件を満たす投影場所を決定する、請求項３に記載の情報処理システム。
5. 前記制御部は、
   前記ユーザが視認可能な投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、請求項３に記載の情報処理システム。
6. 前記制御部は、
   前記ユーザに関わるセンシングデータに基づいて、前記ユーザの視線解析を行い、前記視認可能な投影場所を判断する、請求項５に記載の情報処理システム。
7. 前記制御部は、
   前記ユーザが知覚可能な前記メッセージを提示するように前記提示部を制御する、請求項１に記載の情報処理システム。
8. 前記制御部は、
   前記メッセージを、画像または音声の少なくともいずれかにより提示する、請求項７に記載の情報処理システム。
9. 前記制御部は、
   前記ユーザがメッセージを受け入れ易い状況であると推定された際であっても、前記メッセージの内容に応じて、前記ユーザへのメッセージ提示を行わないよう制御する、請求項１に記載の情報処理システム。
10. 前記制御部は、
    前記メッセージの内容と、前記ユーザの状態とが合致する場合に、前記ユーザへのメッセージ提示を行い、
    前記メッセージの内容と、前記ユーザの状態とが合致しない場合は、前記ユーザへのメッセージ提示を行わないよう制御する、請求項９に記載の情報処理システム。
11. 前記制御部は、
    前記ユーザがメッセージを受け入れ易い状況ではないと推定されるとき、
    前記ユーザの状況を、メッセージをより受け入れ易い状況にするためのコントロールガイドを提示する、請求項１に記載の情報処理システム。
12. 前記コントロールガイドは、前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかを変化させることを目的とした画像または音声である、請求項１１に記載の情報処理システム。
13. 前記制御部は、
    前記ユーザの状態が前記メッセージの内容に合わないと推定されるとき、
    前記ユーザの状態を、前記メッセージの内容に合うようにするためのコントロールガイドを提示する、請求項１０に記載の情報処理システム。
14. 前記制御部は、
    前記ユーザに関わるセンシングデータに基づき、前記提示部により提示されたメッセージに対する前記ユーザの反応を検出し、
    前記検出の結果と、前記ユーザの状況との関係性を学習することにより、前記ユーザのメッセージを受け入れ易い状況を更新する、請求項１に記載の情報処理システム。
15. 前記制御部は、
    外部のエージェントシステムから提供されるメッセージを、前記ユーザに提示するように提示部を制御する、請求項１に記載の情報処理システム。
16. プロセッサが、
    ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御することを含む、情報処理方法。
17. コンピュータを、
    ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部として機能させるためのプログラムが記録された、記録媒体。
    

Images