JP2021128350A - 情報処理システム、情報処理方法、および記録媒体 - Google Patents
情報処理システム、情報処理方法、および記録媒体 Download PDFInfo
- Publication number
- JP2021128350A JP2021128350A JP2018090706A JP2018090706A JP2021128350A JP 2021128350 A JP2021128350 A JP 2021128350A JP 2018090706 A JP2018090706 A JP 2018090706A JP 2018090706 A JP2018090706 A JP 2018090706A JP 2021128350 A JP2021128350 A JP 2021128350A
- Authority
- JP
- Japan
- Prior art keywords
- user
- message
- information processing
- processing system
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/046—Interoperability with other network applications or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【課題】ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する情報処理システム、情報処理方法、および記録媒体を提供する。
【解決手段】情報処理システムは、ユーザに関わるセンシングデータに基づき、ユーザがメッセージを受け入れ易い状況であると推定されるとき、ユーザにメッセージを提示するように提示部を制御する制御部を備える。
【選択図】図1
【解決手段】情報処理システムは、ユーザに関わるセンシングデータに基づき、ユーザがメッセージを受け入れ易い状況であると推定されるとき、ユーザにメッセージを提示するように提示部を制御する制御部を備える。
【選択図】図1
Description
本開示は、情報処理システム、情報処理方法、および記録媒体に関する。
近年、スマートフォンやスマートウォッチなどのウェアラブルデバイスに代表されるモバイル端末の技術および通信技術が進化し、いつでも必要な情報を得ることができるようになった。また、大画面液晶や単焦点プロジェクタなどの表示デバイス技術も大きな進化を遂げ、情報を表示する場所に制約が少なくなり、どこでも情報を表示できるようになってきた。
このような技術背景の中、様々なシーンにおいて情報を表示する技術が提案されている。例えば下記特許文献1では、車内においてメールなどの情報を音声で読み上げる直前に、その内容を反映したアイコンを表示することが開示されている。
また、下記特許文献2では、玄関等にプロジェクタが設置され、帰宅した家族が玄関の照明スイッチを入れることにより、プロジェクタが起動して照明機能を果たすと共に、メッセージを投影する技術が開示されている。
また、下記特許文献3では、車両のサイドミラーに取り付けられたプロジェクタにより、乗車者が降車するときに乗車者にとって有益な情報または必要な画像情報を路面に投射する技術が開示されている。
また、下記特許文献4では、ユーザの行動を予測して案内画像を生成し、壁や廊下等にプロジェクタで案内画像を表示する投影ナビゲーションについて開示されている。
また、下記特許文献5では、透過型のHMD(ヘッドマウンドディスプレイ)を装着しているユーザに対し、どの実物体もUI(ユーザインタフェース)として用いることができるよう、マウスパッド領域等のUI画像を表示する技術が開示されている。
しかしながら、上述した従来技術では、情報提示を受ける側のユーザの状況については考慮されていなかった。したがって、色々な場所にメッセージ等が提示されても、ユーザが焦っている場合等、情報を受け入れ易い状態にない場合は、提示した情報が十分に認識されず、見過ごされてしまうことが考え得る。
そこで、本開示では、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する情報処理システム、情報処理方法、および記録媒体を提案する。
本開示によれば、ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、情報処理システムを提案する。
本開示によれば、プロセッサが、ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御することを含む、情報処理方法を提案する。
本開示によれば、コンピュータを、ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部として機能させるためのプログラムが記録された、記録媒体を提案する。
以上説明したように本開示によれば、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成例
2−1.システム構成例
2−2.出力デバイス1の構成例
2−3.管理サーバ2の構成例
3.各実施例
3−1.第1の実施例(メッセージの提示)
3−2.第2の実施例(メッセージ内容とユーザ状態に応じて提示)
3−3.第3の実施例(ユーザ状況の変容)
3−4.第4の実施例(ユーザが視認できる場所に提示)
3−5.第5の実施例(「メッセージを受け入れ易い状況」の学習)
4.まとめ
1.本開示の一実施形態による情報処理システムの概要
2.構成例
2−1.システム構成例
2−2.出力デバイス1の構成例
2−3.管理サーバ2の構成例
3.各実施例
3−1.第1の実施例(メッセージの提示)
3−2.第2の実施例(メッセージ内容とユーザ状態に応じて提示)
3−3.第3の実施例(ユーザ状況の変容)
3−4.第4の実施例(ユーザが視認できる場所に提示)
3−5.第5の実施例(「メッセージを受け入れ易い状況」の学習)
4.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システムでは、出力デバイス1を用いて、日常生活における様々なシーンで情報提示を行う。出力デバイス1は、例えば、壁や床等の様々な場所に画像を投影するプロジェクタが想定される。プロジェクタは、ユーザに把持されたり装着されたりして持ち運び可能なウェアラブル型と、部屋や玄関、キッチン、浴室等の様々な場所に固定される設置型が想定される。ウェアラブル型プロジェクタの場合、例えば図1に示すような肩乗り型の出力デバイス1Aであってもよい(例えば、キャラクターをかたどった親しみやすいコンパクトな形状により構成されてもよい。また、肩乗り型プロジェクタの装着方法は特に限定しないが、例えばクリップやベルト等で身体に固定してもよい)。また、ウェアラブル型プロジェクタは、プロジェクタが帽子やヘルメット、メガネ等に装着(一体化)されてもよいし、首から下げて装着されてもよいし、胸部や腰に巻かれたベルトに装着されてもよい。また、プロジェクタは、パン・チルト方向に駆動が可能な駆動型プロジェクタであってもよい。出力デバイス1は、所定の投影場所に画像を投影するよう、プロジェクタの角度等を制御し得る。また、プロジェクタは、パン・チルト方向への駆動の他、プロジェクタ自体が前後左右等に移動できる移動型プロジェクタであってもよい。
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システムでは、出力デバイス1を用いて、日常生活における様々なシーンで情報提示を行う。出力デバイス1は、例えば、壁や床等の様々な場所に画像を投影するプロジェクタが想定される。プロジェクタは、ユーザに把持されたり装着されたりして持ち運び可能なウェアラブル型と、部屋や玄関、キッチン、浴室等の様々な場所に固定される設置型が想定される。ウェアラブル型プロジェクタの場合、例えば図1に示すような肩乗り型の出力デバイス1Aであってもよい(例えば、キャラクターをかたどった親しみやすいコンパクトな形状により構成されてもよい。また、肩乗り型プロジェクタの装着方法は特に限定しないが、例えばクリップやベルト等で身体に固定してもよい)。また、ウェアラブル型プロジェクタは、プロジェクタが帽子やヘルメット、メガネ等に装着(一体化)されてもよいし、首から下げて装着されてもよいし、胸部や腰に巻かれたベルトに装着されてもよい。また、プロジェクタは、パン・チルト方向に駆動が可能な駆動型プロジェクタであってもよい。出力デバイス1は、所定の投影場所に画像を投影するよう、プロジェクタの角度等を制御し得る。また、プロジェクタは、パン・チルト方向への駆動の他、プロジェクタ自体が前後左右等に移動できる移動型プロジェクタであってもよい。
このような種々のプロジェクタにより、本実施形態による情報処理システムでは、日常生活における様々なシーンでユーザに情報提示を行うことができる。
ここで、上述したように、色々な場所でユーザにメッセージ等を提示しても、ユーザが仲間と談笑している場合や、周囲が騒がしい場合、急いでいる場合、焦っている場合、興奮状態にある場合、激しく体を動かしている場合等、状況的に情報を受け入れられる状態にない場合は、提示した情報が十分に認識されず、見過ごされてしまうといったことが想定される。また、このような場合は、ユーザがメッセージを認識できたとしても、心理的に受け入れられない状態(無視してしまう、若しくは不快な思いを抱いてしまう等)になりかねない。
そこで、本実施形態では、情報提示を受けるユーザの状況を鑑みて、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する。本実施形態による出力デバイス1には、ユーザや周囲の状況を検知するための各種センサ(例えば、音声や環境音を検知するマイクロホン、屋内/屋外における位置を測位する位置測位部、体温や心拍等を検知する生体センサ、動きを検知するモーションセンサ、対象物との距離を測る測距センサ等)が設けられる。出力デバイス1は、各種センシングデータに基づいて、ユーザが情報を受け入れ易い状況であるか否かを判断し、受け入れ易い状況である場合に情報提示を行う。例えば図1に示す出力デバイス1Aは、生体センサ122aを有し、生体センサ122aが先端に設けられたコードが出力デバイス1Aから引き出されて身体に装着され、ユーザの心拍や体温等が常時検知されている。
なお、本明細書において、「情報を受け入れ易い状況」とは、例えば、ユーザの心理状態が落ち着いている状態の場合や、感情がフラットな状態、リラックスしている状態、または、ぼんやりしている状態などが想定される。このようなユーザの心理状況は、例えば心拍や体温、呼吸等の生体センサデータや、顔の表情、呟き、動き等により認識し得る。また、心理状態の他、ユーザが他者と会話中ではない場合や、忙しく動き回っていない場合、ユーザが静止している場合、周りが静かである場合、ユーザが一人でいる場合等も、「情報を受け入れ易い状況」と推定し得る。これらは、例えばマイクロホンにより集音した音声データの解析や、モーションセンサデータにより検知した加速度情報等の解析により認識することが可能である。
また、「情報を受け入れ易い状況」とは、例えば以下のようなユーザの基本的行動に基づいて判断してもよい。
・ユーザがPCを使用している際に、一定時間、キー入力がなかった場合(作業を行っていない可能性が高いため、情報提示が邪魔にならずに受け入れられる)
・AIスピーカなどのエージェント端末に対して、朝、起床した時に第一声を掛けた場合(情報を受け入れる態勢にある)
・ユーザがPCを使用している際に、一定時間、キー入力がなかった場合(作業を行っていない可能性が高いため、情報提示が邪魔にならずに受け入れられる)
・AIスピーカなどのエージェント端末に対して、朝、起床した時に第一声を掛けた場合(情報を受け入れる態勢にある)
出力デバイス1がユーザに提示する情報は、コンテキストに応じてコンテンツや行動の推薦を行うエージェントシステムからの応答であってもよいし、メール、メッセージ、通知情報、推薦情報、広告情報、健康情報等の各種情報を提示する情報提示システムからの提示情報であってもよい。本実施形態による情報処理システムは、このような様々なシステムから出力される各種情報のユーザへの提示タイミングを制御する共通基盤(プラットフォーム)として活用し得る。
また、出力デバイス1からユーザに提示する情報は、例えば、テキスト、音声データ、または画像(動画、静止画)のいずれか、または、少なくともいずれかを含む組み合わせであってもよい。エージェントシステムからの応答の場合は、エージェントの画像(キャラクター画像)を表示すると共にエージェントの音声でメッセージを読み上げることで、よりユーザに受け入れ易くしてもよい。
また、出力デバイス1による情報提示は、壁、廊下、天井、またはテーブル等の家具への投影の他、図1に示すように、鏡や、湯気(白色の煙状)、水面(鍋に張ったお湯や油など)等に投影することも可能である。例えば図1に示す例では、ユーザが鏡を見て歯磨きをしている際に、落ち着いた状態であるため、出力デバイス1Aが鏡面にエージェントを投影すると共に、エージェントシステムからのメッセージを音声出力する。また、出力デバイス1Aは、ユーザが湯船に浸かって寛いでいる際に、湯気や浴室の鏡面にエージェントを投影すると共に、エージェントシステムからのメッセージを音声出力する。また、ユーザが料理中に鍋の湯が沸騰するのを待っていて暇な際に、キッチンに設けられた設置型の出力デバイス1Bにより、鍋の水面にエージェントを投影すると共に、エージェントシステムからのメッセージを音声出力する。いずれもユーザの視界にエージェントを投影することでユーザの注意を引き、音声出力やテキスト表示等により情報提示を行い、ユーザにストレスなく情報を受け入れさせることが可能となる。エージェント音声は、例えば出力デバイス1に設けられたスピーカから出力される。なお、エージェント音声は、指向性スピーカや、モスキート音等を用いて、ユーザにだけ聞こえるように音声出力してもよい。また、エージェント音声は、エージェントの投影方向から聞こえるよう音像定位してもよい(音声AR(Augmented Reality)など)。
また、さらに、本実施形態による情報処理システムは、提示する情報の内容と、ユーザの状況を照らし合わせて、情報の出し分けを行うことも可能である。これにより、ユーザの状況に合った受け入れ易いメッセージを受け入れ易いタイミングで提示することが可能となる。
さらに、本実施形態による情報処理システムは、ユーザが情報を受け入れ易い状況ではない場合に、ユーザの状況の変容を促す情報を提示し、情報を受け入れ易い状況にさせた上で、情報提示を行うことも可能である。
以上、本実施形態による情報処理システムの概要について説明した。なお、出力デバイス1は、画像を実物体に投影して表示するプロジェクタに限定されず、例えば、表示画面を有するスマートフォン、スマートバンド、スマートウォッチ、タブレット端末、PC、テレビ装置、ゲーム装置等の表示装置であってもよいし、透過型または非透過型のHMD(Head Mounted Display)であってもよい。透過型のHMDを用いる場合、エージェント画像は、実空間に画像を重畳表示するARによりユーザの視界内に表示され得る。また、非透過型のHMDによりユーザが仮想空間映像を見ている際も、仮想空間映像上に、エージェント画像の表示を行い得る。また、出力デバイス1は、スマートイヤホンやスマートネックレス等、表示手段を有さない音声出力デバイスであってもよい。
続いて、このような本実施形態による情報処理システムの構成について、図面を参照して具体的に説明する。
<<2.構成例>>
<2−1.システム構成例>
図2は、本実施形態による情報処理システムの全体構成の一例を示す図である。図2に示すように、本実施形態による情報処理システムは、出力デバイス1と、管理サーバ2とを含む。出力デバイス1と管理サーバ2は、ネットワーク3を介して接続され得る。出力デバイス1は、各ユーザが所持するウェアラブル型のプロジェクタであってもよいし、設置型のプロジェクタであってもよい。
<2−1.システム構成例>
図2は、本実施形態による情報処理システムの全体構成の一例を示す図である。図2に示すように、本実施形態による情報処理システムは、出力デバイス1と、管理サーバ2とを含む。出力デバイス1と管理サーバ2は、ネットワーク3を介して接続され得る。出力デバイス1は、各ユーザが所持するウェアラブル型のプロジェクタであってもよいし、設置型のプロジェクタであってもよい。
管理サーバ2は、例えばエージェントシステムサーバ4からメッセージを受信した際、出力デバイス1から取得したユーザのセンシングデータに基づいたユーザ状況に応じて、ユーザがメッセージを受け入れ易い状況である場合は、出力デバイス1からメッセージを出力するよう制御する。ここでは一例として、エージェントシステムからメッセージを受信する場合について説明しているが、本実施形態はこれに限定されない。例えば管理サーバ2は、一般的な情報提示システム、例えば、コンテンツ推薦システム(音楽、映画、イベント、ゲーム等の様々なコンテンツ情報の推薦)や、ヘルスケアシステム(健康管理情報の提示)等から情報を受信してもよいし、メールサーバやソーシャルネットワークサーバからメッセージを受信してもよい。
また、管理サーバ2は、ユーザに対して直接的で短期的な1セッションの応答を行う一般的なエージェントシステムからのメッセージの受信に限られず、例えば、長期的な視野に立って徐々に課題解決に近付けていくための行動変容をユーザに促すマスターシステムと称す新たなシステムからのメッセージを受信してもよい。ここで、マスターとは、ユーザに自発的な行動変容を促す仮想的なエージェントの一例であって、マスターシステムは、例えば特定コミュニティやユーザ毎に所定の行動規範を自動生成し、行動規範に基づいて行動変容を間接的に促すことで、コミュニティの課題解決等を行い得る。ユーザがマスター(師匠的存在)の言葉に従って行動しているうちに、行動規範を意識せずとも、ユーザが気付かないうちに、コミュニティ内の課題が解決していたり、コミュニティ内の価値基準を合わせ行動を取ったりすることができ、コミュニティの状況を改善することが可能となる。
<2−2.出力デバイス1の構成例>
次に、出力デバイス1の構成について図3を参照して説明する。図3は、本実施形態による出力デバイス1の構成の一例を示すブロック図である。図3に示すように、出力デバイス1は、制御部100、通信部110、入力部120、出力部130、および記憶部140を有する。
次に、出力デバイス1の構成について図3を参照して説明する。図3は、本実施形態による出力デバイス1の構成の一例を示すブロック図である。図3に示すように、出力デバイス1は、制御部100、通信部110、入力部120、出力部130、および記憶部140を有する。
制御部100は、演算処理装置および制御装置として機能し、各種プログラムに従って出力デバイス1内の動作全般を制御する。制御部100は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部100は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部100は、センサ122から取得したセンシングデータを、通信部110から管理サーバ2に送信する制御と、通信部110を介して管理サーバ2から受信した情報を、出力部130から出力する制御と、を行い得る。また、制御部100は、各種センシングデータの解析(音声認識、生体データの解析、カメラ画像や測距データに基づく物体認識、移動状態の認識、表情解析、動作解析、姿勢認識、顔認識、視線認識等)を行い得る。
(通信部110)
通信部110は、有線または無線によりネットワーク3と接続し、ネットワーク上の管理サーバ2とデータの送受信を行う。通信部110は、例えば有線/無線LAN(Local Area Network)、またはWi−Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等によりネットワーク3と通信接続する。
通信部110は、有線または無線によりネットワーク3と接続し、ネットワーク上の管理サーバ2とデータの送受信を行う。通信部110は、例えば有線/無線LAN(Local Area Network)、またはWi−Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等によりネットワーク3と通信接続する。
(入力部120)
入力部120は、操作入力部121、およびセンサ122を有し、操作入力部121、またはセンサ122から取得した情報を、制御部100に入力する。操作入力部121は、ユーザによる出力デバイス1に対する操作入力を検出する。操作入力部121は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよいし、ボタン、スイッチ、およびレバーなどの物理的構成であってもよい。
入力部120は、操作入力部121、およびセンサ122を有し、操作入力部121、またはセンサ122から取得した情報を、制御部100に入力する。操作入力部121は、ユーザによる出力デバイス1に対する操作入力を検出する。操作入力部121は、例えばタッチセンサ、圧力センサ、若しくは近接センサであってもよいし、ボタン、スイッチ、およびレバーなどの物理的構成であってもよい。
センサ122は、ユーザ状況または周辺環境をセンシングする各種センサであり、センシングしたデータを、制御部100に入力する。センサ122は、例えば、位置測位部(GPS(Global Positioning System)等を用いた屋外測位、BluetoothやWi-Fi等を用いた屋内測位)、カメラ、マイクロホン(以下、マイクと称す)、測距センサ、サーモセンサ(例えば設置型プロジェクタに設けられ、ユーザの体温を測る)、超音波センサ、モーションセンサ(例えば加速度センサ、ジャイロセンサ、地磁気センサ)、生体センサ(例えば体温、静脈、脈拍、心拍、呼吸、発汗、血圧、脳波、眼電位、筋電値、眼球の動き、視線等の検知)、環境センサ(例えば照度、気温、湿度等)が想定される。
(出力部130)
出力部130は、制御部100の制御に従って、ユーザに対して情報提示を行う提示部である。出力部130は、プロジェクタ131およびスピーカ132を有する。プロジェクタ131は、壁や床、天井、鏡面、湯気等、様々な場所に画像を投影することが可能な情報表示手段の一例である。なお、ここでは情報表示手段としてプロジェクタ131を用いているが、本実施形態はこれに限定されず、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置等により実現される表示部であってもよい。
出力部130は、制御部100の制御に従って、ユーザに対して情報提示を行う提示部である。出力部130は、プロジェクタ131およびスピーカ132を有する。プロジェクタ131は、壁や床、天井、鏡面、湯気等、様々な場所に画像を投影することが可能な情報表示手段の一例である。なお、ここでは情報表示手段としてプロジェクタ131を用いているが、本実施形態はこれに限定されず、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置等により実現される表示部であってもよい。
スピーカ132は、制御部100の制御に従って音声信号の再生を行う。スピーカ132は、例えば指向性スピーカであってもよい。指向性スピーカを用いることで、ユーザにだけエージェント音声が聞こえるようにすることができる。また、スピーカ132は、ユーザの年齢等を考慮し、モスキート音を用いることで、ユーザにだけエージェント音声が聞こえるようにすることもできる。また、スピーカ132は、制御部100により、エージェント画像の投影方向からエージェントの音声が聞こえるよう音像定位された音声信号を再生し、音声ARを実現することが可能なものであってもよい。
(記憶部140)
記憶部140は、制御部100の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
記憶部140は、制御部100の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
以上、本実施形態による出力デバイス1の構成例について具体的に説明した。なお出力デバイス1の構成は、図3に示す例に限定されず、例えば、出力デバイス1が複数の装置により構成されていてもよいし、出力部130として、さらに表示装置を有していてもよい。
<2−3.管理サーバ2の構成例>
続いて、管理サーバ2の構成について図4を参照して説明する。図4は、本実施形態による管理サーバ2の構成の一例を示すブロック図である。図4に示すように、管理サーバ2(情報処理装置)は、制御部200、通信部210、および記憶部220を有する。
続いて、管理サーバ2の構成について図4を参照して説明する。図4は、本実施形態による管理サーバ2の構成の一例を示すブロック図である。図4に示すように、管理サーバ2(情報処理装置)は、制御部200、通信部210、および記憶部220を有する。
(制御部200)
制御部200は、演算処理装置および制御装置として機能し、各種プログラムに従って管理サーバ2内の動作全般を制御する。制御部200は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部200は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
制御部200は、演算処理装置および制御装置として機能し、各種プログラムに従って管理サーバ2内の動作全般を制御する。制御部200は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部200は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部200は、ユーザ管理部201、状況認識部202、メッセージ管理部203、およびメッセージ提示制御部204としても機能する。
ユーザ管理部201は、出力デバイス1を取り扱う各ユーザに関する情報(識別情報、年齢や性別等の属性情報、嗜好情報、出力デバイス1の端末情報等)を管理する。各ユーザの情報は、記憶部220に記憶され得る。
状況認識部202は、出力デバイス1から受信したセンシングデータまたはセンシングデータの解析結果に基づいて、ユーザ自身やユーザの周囲環境等の状況の認識を行う。例えば、状況認識部202は、ユーザが誰かと話している最中か、焦ったり急いだりしているか、周囲が騒がしい状況であるか、一人でいるか、じっとして落ち着いているか、興奮しているか等の認識を行う。さらに、状況認識部202は、ユーザがメッセージを受け入れ易い状況であるか否かを推定し得る。
メッセージ管理部203は、エージェントシステムサーバ4から受信したユーザに伝えるべき情報を、ユーザの識別情報等に関連付けて管理する。ユーザに伝えるべき情報は、上述したように、エージェントからのユーザへの応答メッセージや、ユーザ宛のメール、ソーシャルネットワークを介したユーザ宛のメッセージ、ユーザへの通知情報、推薦情報、広告情報、または健康情報等が想定される。また、マスターシステム(ユーザの行動規範を示すマスター)から受信した、ユーザに対する自発的な行動変容を促すメッセージであってもよい。メッセージ管理部203は、これらのメッセージをユーザに関連付けて記憶部220に蓄積する。
メッセージ提示制御部204は、状況認識部202により、ユーザがメッセージを受け入れ易い状況であると推定された場合、当該ユーザ宛のメッセージを記憶部220から抽出し、出力デバイス1からユーザに提示するよう制御する。メッセージ提示制御部204は、エージェントシステムサーバ4からメッセージを受信した際に、状況認識部202によるユーザの現在の状況認識結果に基づいて、メッセージを(リアルタイムで)提示できるか否かを判断してもよい。また、メッセージ提示制御部204は、メッセージを提示できなかった場合、その後、状況認識部202によりユーザがメッセージを受け入れ易い状況になったと推定されたタイミングで提示するよう制御してもよい。
また、メッセージ提示制御部204は、ユーザ状況とメッセージの内容を照らし合わせ、メッセージの内容がユーザ状況に合っている場合に、ユーザがメッセージを受け入れ易い状況の際に提示するよう制御してもよい。
また、メッセージ提示制御部204は、状況認識部202により、ユーザがメッセージを受け入れ易い状況ではないと推定された場合、ユーザ状況(感情等のユーザ自身の状況やユーザ周辺の環境)を変容させるメッセージを送信するようにしてもよい。
(通信部210)
通信部210は、有線または無線によりネットワーク3と接続し、ネットワーク3を介して各出力デバイス1とデータの送受信を行う。通信部210は、例えば有線/無線LAN(Local Area Network)、Bluetooth、またはWi−Fi(Wireless Fidelity、登録商標)等によりネットワーク3と通信接続する。
通信部210は、有線または無線によりネットワーク3と接続し、ネットワーク3を介して各出力デバイス1とデータの送受信を行う。通信部210は、例えば有線/無線LAN(Local Area Network)、Bluetooth、またはWi−Fi(Wireless Fidelity、登録商標)等によりネットワーク3と通信接続する。
(記憶部220)
記憶部220は、制御部200の処理に用いられるプログラムや演算パラメータ等を記憶するROM、および適宜変化するパラメータ等を一時記憶するRAMにより実現される。例えば本実施形態による記憶部220は、エージェントシステムサーバ4から受信したメッセージを記憶してもよい。
記憶部220は、制御部200の処理に用いられるプログラムや演算パラメータ等を記憶するROM、および適宜変化するパラメータ等を一時記憶するRAMにより実現される。例えば本実施形態による記憶部220は、エージェントシステムサーバ4から受信したメッセージを記憶してもよい。
以上、本実施形態による管理サーバ2の構成について具体的に説明した。なお図4に示す管理サーバ2の構成は一例であって、本実施形態はこれに限定されない。例えば管理サーバ2の少なくとも一部の構成が外部装置にあってもよいし、制御部200の各機能の少なくとも一部が出力デバイス1や、エッジサーバなどにより実現されてもよい。また、図4に示す制御部200の各構成および記憶部140を全て出力デバイス1に設け、出力デバイス1のアプリケーションにより、エージェントシステムサーバ4から受信したメッセージをユーザ状況に応じて提示する制御を実行するようにしてもよい。
<<3.各実施例>>
続いて、本実施形態による情報処理システムの各実施例について図面を用いて具体的に説明する。
続いて、本実施形態による情報処理システムの各実施例について図面を用いて具体的に説明する。
<3−1.第1の実施例(メッセージの提示)>
まず、本実施形態の第1の実施例について、図5〜図7を参照して説明する。第1の実施例では、ユーザがメッセージを受け入れやすい状況にあるときにユーザに対してメッセージを提示することで、より効果的に情報提示を行うことを可能とする。
まず、本実施形態の第1の実施例について、図5〜図7を参照して説明する。第1の実施例では、ユーザがメッセージを受け入れやすい状況にあるときにユーザに対してメッセージを提示することで、より効果的に情報提示を行うことを可能とする。
図5は、第1の実施例による情報提示処理の流れの一例を示すシーケンス図である。図5に示すように、まず、出力デバイス1は、メッセージの有無を管理サーバ2に確認する(ステップS103)。
次に、管理サーバ2のユーザ管理部201は、メッセージの検索を行う(ステップS106)。ユーザ管理部201は、エージェントシステムサーバ4に問い合わせてユーザに伝えるべきメッセージを検索してもよいし、予めエージェントシステムサーバ4から受信して記憶部220に蓄積していたメッセージから、ユーザ宛のメッセージを検索してもよい。
次いで、管理サーバ2は、検索したメッセージを出力デバイス1に送信する(ステップS109)。
次に、出力デバイス1は、センサ122によりセンシングデータを取得し(ステップS112)、取得したセンシングデータを管理サーバ2に送信する(ステップS115)。なお、出力デバイス1は、センシングデータの解析結果をリアルタイムで管理サーバ2に送信するようにしてもよい。
次いで、管理サーバ2の状況認識部202は、出力デバイス1から送信された情報(センシングデータや、センシングデータの解析結果)に基づいて、ユーザ状況の認識を行う(ステップS118)。ユーザ状況の認識処理の詳細については、図7を参照して後述する。
次に、ユーザがメッセージを受け入れ易い状況にあると推定された場合(ステップS121/Yes)、管理サーバ2は、ユーザが受け入れ易い状況にあることを出力デバイス1に通知する(ステップS124)。
そして、出力デバイス1は、管理サーバ2からの通知に応じて、ユーザへのメッセージの出力制御を行う(ステップS127)。ユーザへのメッセージの出力制御の詳細については、図6を参照して後述する。
以上により、本実施例によれば、ユーザがメッセージを受け入れ易い状況にあるときに、ユーザへのメッセージを出力することが可能となる。
(メッセージの出力制御処理)
続いて、上記ステップS127に示すメッセージの出力制御処理の一例について、図6を参照して説明する。図6は、本実施例によるメッセージの出力制御処理の流れの一例を示すフローチャートである。ここでは、プロジェクタ131を用いてメッセージを出力する場合について説明する。
続いて、上記ステップS127に示すメッセージの出力制御処理の一例について、図6を参照して説明する。図6は、本実施例によるメッセージの出力制御処理の流れの一例を示すフローチャートである。ここでは、プロジェクタ131を用いてメッセージを出力する場合について説明する。
図6に示すように、ユーザがメッセージを受け入れ易い状況にある場合(ステップS130/Yes)、出力デバイス1の制御部100は、センサ122のセンシングデータに基づいて、プロジェクタ131が投影可能な距離に単一色の平面があるか否かを判断する(ステップS133)。具体的には、制御部100は、センサ122により取得されたカメラ画像および測距データを解析し、プロジェクタ131から投影可能な距離に、投影可能な形状をした物体(ここでは、単一色の平面)があるか否かを判断する。
若しくは、制御部100は、同様にカメラ画像および測距データを解析し、プロジェクタ131から投影可能な距離に、鏡面、静かな水面、または白色の煙状のものがあるか否かを判断する(ステップS136、S139)。
次いで、制御部100は、プロジェクタ131が投影可能な距離に、単一色の平面、鏡面、静かな水面、または白色の煙状のものがある場合(ステップS133/Yes、ステップS136/Yes、または、ステップS139/Yes)、キャラクター(エージェント画像)やマルチメディアコンテンツ(メッセージのテキスト、動画、静止画等)を用いて、プロジェクタ131によりメッセージを表示(投影)する(ステップS142)。また、制御部100は、エージェント画像の表示と共に、マルチメディアコンテンツとしてメッセージの音声データ(エージェント音声データ)をスピーカ132から出力してもよい。
以上説明したように、プロジェクタ131を用いてメッセージを提示する際、出力デバイス1は、ユーザ周辺から適切な投影場所(一定の条件を満たす投影場所)を適宜判断し、当該投影場所に、メッセージを投影するよう制御する(プロジェクタ131の駆動制御)。これにより、日常生活における様々なシーンにおいて、ユーザがメッセージを受け入れ易い状況の際に、どこででも、メッセージを提示することが可能となる。
(ユーザ状況の認識処理)
次に、図5に示す上記ステップS112〜S121に示すユーザ状況の認識処理の詳細については、図7を参照して後述する。
次に、図5に示す上記ステップS112〜S121に示すユーザ状況の認識処理の詳細については、図7を参照して後述する。
図7は、本実施例によるセンシングデータに基づくユーザ状況の認識処理の流れの一例を示すシーケンス図である。図7に示すように、まず、出力デバイス1は、マイクにより音声情報を取得し、音声データの解析を行い(ステップS153)、その解析結果(特徴量データ)を管理サーバ2に送信する(ステップS156)。
次いで、管理サーバ2の状況認識部202は、解析結果に基づいて、ユーザ当人の話し声がするか否か(ステップS159)、および周辺環境が騒がしいか否かを判断する(ステップS162)。
また、出力デバイス1は、生体センサ(心拍センサや、体温センサ等)により、ユーザの身体状況を測定し(ステップS165)、その測定結果(身体状況データ)を管理サーバ2に送信する(ステップS168)。
次いで、管理サーバ2の状況認識部202は、測定結果に基づいて、ユーザの心拍が高すぎず、体温も平熱で平穏な状態が保たれているか否かを判断する(ステップS171)。具体的には、状況認識部202は、ユーザの心拍が所定値を超えていないか、また、体温がユーザの平熱であるか否かを判断する。
また、出力デバイス1は、モーションセンサ(加速度センサや、ジャイロセンサ等)により、ユーザの動きを検知し(ステップS174)、その検知結果(動き情報)を管理サーバ2に送信する(ステップS177)。
次いで、管理サーバ2の状況認識部202は、検知結果に基づいて、ユーザが激しく動いているか否かを判断する(ステップS180)。ユーザが激しく動いているか否かは、例えば加速度データ等を解析して得られた特徴量から判断してもよいし、所定の閾値と比較して判断してもよい。
そして、管理サーバ2の状況認識部202は、ユーザ当人の話し声がせず(ステップS159/No)、周辺環境が騒がしくなく(ステップS162/No)、ユーザの心拍が高すぎず、体温も平熱で平穏な状態が保たれており(ステップS171/Yes)、かつ、ユーザが激しく動いていない場合(ステップS180/No)、ユーザはメッセージを受け入れ易い状況にあると推定する(ステップS183)。
以上、本実施例によるユーザ状況の認識処理の一例について説明した。これにより、ユーザがメッセージを受け入れ易い状況にある場合にメッセージを提示することが可能となり、メッセージをより効果的に提示することが可能となる。特にマスターシステムからの(間接的に)行動変容を促すメッセージの場合、ユーザがメッセージを受け入れ易い状況にあることが、より望ましい。マスターシステムから提示されるメッセージとしては、例えば、家事や子育てをあまり手伝わない父親に対して、一人で苦労している妻や、泣いている乳児の様子を伝えること(例えば子育て中の様子のカメラ画像の投影等)が挙げられる。このようなメッセージが、例えばユーザ(父親)が湯船に浸かってのんびりしている時等に提示されることで、自然と、家事や子育てを手伝おうという気持ちにさせることが(すなわちメッセージを受け入れて自発的な行動変容が起こることが)、より期待できる。
また、オフィスのユーザの席が散らかっていることを職場の同僚たちがあまりよく思っていないことを知らせること(例えば散らかっている席を怪訝そうに人が見ている様子のカメラ画像の投影等)を提示することで、自然と、席を片付けようという気持ちにさせることが(すなわちメッセージを受け入れて自発的な行動変容が起こることが)、より期待できる。
また、オフィスのユーザの席が散らかっていることを職場の同僚たちがあまりよく思っていないことを知らせること(例えば散らかっている席を怪訝そうに人が見ている様子のカメラ画像の投影等)を提示することで、自然と、席を片付けようという気持ちにさせることが(すなわちメッセージを受け入れて自発的な行動変容が起こることが)、より期待できる。
なお、図7に示す判断基準は一例であって、本実施例はこれに限定されない。
また、図7に示すステップS153〜S162(音声データに基づく判断処理)、ステップS165〜ステップS171(生体データに基づく判断処理)、およびステップS174〜S180(モーションデータに基づく判断処理)の順番は、図7に示す順番に限定されず、並列であってもよいし、異なる順番であってもよい。
<3−2.第2の実施例(メッセージ内容とユーザ状態に応じて提示)>
続いて、本実施形態の第2の実施例について説明する。本実施例では、第1の実施例に示すユーザ状況のタイミングに加えて、提示するメッセージの内容と、ユーザ状態とを照らし合わせ、ユーザ状態がメッセージの内容に合っている場合にメッセージを提示することで、メッセージ提示の効果をさらに高めることを可能とする。すなわち、ユーザがメッセージを受け入れ易い状況であっても、メッセージの内容がユーザの状態(体調や感情など)に合っていない場合は、メッセージの提示を行わないようにする。
続いて、本実施形態の第2の実施例について説明する。本実施例では、第1の実施例に示すユーザ状況のタイミングに加えて、提示するメッセージの内容と、ユーザ状態とを照らし合わせ、ユーザ状態がメッセージの内容に合っている場合にメッセージを提示することで、メッセージ提示の効果をさらに高めることを可能とする。すなわち、ユーザがメッセージを受け入れ易い状況であっても、メッセージの内容がユーザの状態(体調や感情など)に合っていない場合は、メッセージの提示を行わないようにする。
例えば、メッセージの内容が、運動や外出等、移動や身体を動かすことに関するキーワードが含まれている場合は、ユーザの体調がよく気力が充実している状態の場合に提示することが望ましい。一方、メッセージの内容が、休憩や帰宅等、体力を温存することに関するキーワードが含まれている場合は、ユーザの体調が悪く疲れている状態の場合に提示することが望ましい。したがって、例えば運動を勧めるメッセージのときは、ユーザの体調も考慮し、ユーザが疲れている時にはメッセージの提示を行わないようにする。
以下、図8〜図9を参照して本実施例の動作処理について具体的に説明する。
図8は、第2の実施例によるメッセージの蓄積処理の流れの一例を示すシーケンス図である。図8に示すように、まず、マスターシステムサーバは、ユーザに自発的な行動変容を促すメッセージを生成し(ステップS193)、管理サーバ2に送信する(ステップS196)。なお、ここではメッセージの一例として、ユーザに自発的な行動変容を促すマスターシステムにより提示されるものを挙げているが、本実施例はこれに限定されず、一般的なエージェントシステムから提示される応答メッセージや、各情報提示システムから提示される情報等であってももちろんよい。
次に、管理サーバ2のメッセージ管理部203は、マスターシステムサーバから受信したメッセージの意味解析を行う(ステップS199)。
次いで、管理サーバ2のメッセージ管理部203は、メッセージをユーザに表示する際にユーザの状態を考慮すべき内容であるか否かを判断する(ステップS202)。例えば、メッセージ管理部203は、ユーザの状態に関連する所定のキーワード(例えば、「運動」など体力を要することに関するキーワードや、「休む」など体力温存に関するキーワード)が含まれているメッセージの場合、ユーザの状態を考慮すべきメッセージ内容であると判断する。
次に、ユーザの状態を考慮すべきメッセージ内容であると判断した場合(ステップS202/Yes)、メッセージ管理部203は、メッセージの内容に合致するユーザ状態の条件を、付帯情報として当該メッセージに対応付ける(ステップS205)。ユーザ状態の条件は、例えば、「体調が良い/悪い」「気力がある/ない」「元気である/疲れている」等が考え得る。
そして、メッセージ管理部203は、受信したメッセージを記憶部220に蓄積する(ステップS208)。
以上説明したように、管理サーバ2のメッセージ管理部203は、ユーザ宛のメッセージをシステムから取得した際、内容の意味解析を行い、ユーザ状態を考慮した方がよいメッセージについては、ユーザ状態の条件を付帯情報として対応付けた上で、予め蓄積しておくことが可能となる。
このようなメッセージの蓄積処理は、継続的に行われ得る。次いで、蓄積したメッセージを出力デバイス1からユーザに提示する場合の動作処理について、図9を参照して説明する。
図9は、本実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。図9に示すステップS103〜S124の処理は、第1の実施例において図5を参照して説明した同符号の処理と同様である。すなわち、ユーザに提示するメッセージがある場合に、現在のユーザ状況が、メッセージを受け入れ易い状況であるか否かの推定処理が行われる。
次に、メッセージを受け入れ易い状況である旨の通知を管理サーバ2から受けた際、第1の実施例ではメッセージの出力制御処理を行っていたが、本実施例では、出力デバイス1は、上記ステップS109において管理サーバ2から送信されたメッセージに付帯情報(ユーザ状態の条件)が対応付けられているか否かを確認する(ステップS213)。
次いで、付帯情報が対応付けられている場合(ステップS213/Yes)、出力デバイス1は、センサ122により取得したセンシングデータの解析を行い(ステップS216)、解析結果を管理サーバ2に送信する(ステップS219)。
次に、管理サーバ2の状況認識部202において、センシングデータの解析結果に基づいてユーザ状態の認識が行われ(ステップS222)、認識結果が出力デバイス1に送信される(ステップS225)。
ユーザ状態の認識は、例えば、体温が平熱、ため息などが無い、声が大きい、笑顔等の場合は、「体調が良い」と認識し、体温が平熱より高い、ため息が所定値より多い、声が小さい、無言、笑顔が無い等の場合は、「体調が悪い」と認識してもよい。
ユーザ状態の認識は、例えば、体温が平熱、ため息などが無い、声が大きい、笑顔等の場合は、「体調が良い」と認識し、体温が平熱より高い、ため息が所定値より多い、声が小さい、無言、笑顔が無い等の場合は、「体調が悪い」と認識してもよい。
次いで、出力デバイス1は、管理サーバ2からの認識結果で示されるユーザ状態が、メッセージに対応付けられていた付帯情報(ユーザ状態の条件)に合致するか否かを判断する(ステップS228)。付帯情報であるユーザ状態の条件は、上述したように、例えば、「体調が良い/悪い」「気力がある/ない」「元気である/疲れている」等であってもよく、出力デバイス1は、ユーザの現在の状態が、かかる条件に合致するか否かを判断する。
そして、ユーザの状態が付帯情報に合致する場合(ステップS228/Yes)、出力デバイス1は、ユーザへのメッセージの出力制御を行う(ステップS127)。メッセージの出力制御の詳細は、第1の実施例と同様である(図6参照)。なお、上記ステップS213で、メッセージに付帯情報が対応付けられていない場合は(ステップS213/No)、ユーザの状態と内容の合致について考慮せずに、ユーザへのメッセージの出力制御を行い得る(ステップS127)。
これにより、ユーザがメッセージを受け入れ易い状況にあり、かつ、提示するメッセージの内容がユーザの状態に合致する場合にメッセージを提示することが可能となる。
また、出力デバイス1は、管理サーバ2から受信した複数のメッセージのうち、ユーザの状態に合致する内容のメッセージを提示するようにしてもよい。例えば家族の団欒時間を増やすための行動変容メッセージとして、「バッティングセンターに行って適度な運動をしたら?」というメッセージと、「早く帰りましょう」というメッセージがある場合、ユーザの体調が悪く疲れ切っているときは後者のメッセージを提示し、ユーザの体調がよく気力が充実しているときは前者のメッセージを提示するようにしてもよい。なお、マスターシステムからの前者の運動を勧めるメッセージは、運動によりストレス発散をさせ、ユーザのストレス量に起因する飲酒量を押さえ、これによりユーザの睡眠の質を上げ、睡眠時間に起因する起床時間を早めて、家族と一緒に朝食を取って団欒時間を確保させることが可能となる。また、マスターシステムからの後者のメッセージは、ユーザが早く帰宅することで他の家族との生活リズムが合い、夕食を一緒に取って団欒時間を確保させることが可能となる。
<3−3.第3の実施例(ユーザ状況の変容)>
次に、本実施形態の第3の実施例について説明する。本実施例では、ユーザがメッセージを受け入れ難い状況にあるとき、ユーザの状況をメッセージを受け入れ易い状況に変容させるコントロールガイド(以下、ガイドコンテンツとも称す)を提示する。これにより、メッセージを受け入れ易い状況でメッセージを提示できる機会を増加させることができる。
次に、本実施形態の第3の実施例について説明する。本実施例では、ユーザがメッセージを受け入れ難い状況にあるとき、ユーザの状況をメッセージを受け入れ易い状況に変容させるコントロールガイド(以下、ガイドコンテンツとも称す)を提示する。これにより、メッセージを受け入れ易い状況でメッセージを提示できる機会を増加させることができる。
また、さらに、メッセージ内容がユーザ状態と合致しない場合、ユーザの状態をメッセージ内容に合致した状態に変容させる何らかのガイドコンテンツを提示する。これにより、ユーザ状態に合致した内容のメッセージを提示できる機会を増加させることができる。
ユーザの状況や状態を変容させるガイドコンテンツとしては、例えば図10に示すような例が考えられる。図10は、第3の実施例によるユーザの状況を変容させるガイドコンテンツの一例を示す図である。
図10に示すように、例えばユーザが会話をしている場合は、静かにするよう要求するガイド表示画像500を提示(出力デバイス1により投影)することで、メッセージを受け入れ易い静かな状況に導くことができる。また、ユーザが疲れて元気のない状態の場合は、ユーザの子供や家族の写真画像501や、ユーザを好きなキャラクターが励ましてくれている画像502等を提示することで、元気な状態に合致する内容のメッセージをより効果的に提示することが可能となる。また、ユーザが興奮したり焦ったり慌てている場合は、「落ち着け!」「深呼吸しましょう」等の直接的なメッセージ504等を提示することで、メッセージを受け入れ易い落ち着いた状況に導くことができる。
このような本実施例の動作処理について、図11〜図13を参照して説明する。
図11〜図13は、第3の実施例によるメッセージ提示処理の流れの一例を示すシーケンス図である。
図11に示すステップS103〜S121の処理は、第1の実施例において図5を参照して説明した同符号の処理と同様である。すなわち、ユーザに提示するメッセージがある場合に、現在のユーザ状況が、メッセージを受け入れ易い状況であるか否かの推定処理が行われる。
次に、メッセージを受け入れ易い状況ではないと推定された場合(ステップS121/No)、管理サーバ2は、ユーザの状況をコントロールする(つまり、受け入れ易い状況へ変容させる)ガイド画像を選択し(ステップS253)、ガイド画像を出力デバイス1に送信する(ステップS256)。ガイド画像は、例えば予め記憶部220に蓄積されており、管理サーバ2は、現在のユーザ状況に基づいて、適切なガイド画像を選択する。
次いで、出力デバイス1は、受信したガイド画像の出力制御を行う(ステップS259)。ガイド画像の出力制御は、例えばプロジェクタ131により周囲の適切な投影場所に投影される。ガイド画像の投影制御の詳細は、第1の実施例において図6を参照して説明したメッセージの出力制御処理が適用される。すなわち、出力デバイス1は、投影可能な距離に、単一色の平面、鏡面、静かな水面、または白色の煙状のもの等がある場合に、その場所にガイド画像を投影する。
かかるガイド画像の提示により、ユーザの状況がメッセージを受け入れ易い状況に変容することが期待される。ガイド画像を提示した後は、図11に示すように、上記ステップS112からの処理が再度繰り返される。
一方、メッセージを受け入れ易い状況にあると推定された場合(ステップS121/Yes)、管理サーバ2は、図12に示すように、ユーザが受け入れ易い状況にあることを出力デバイス1に通知する(ステップS124)。
次に、出力デバイス1は、管理サーバ2から送信されたメッセージに付帯情報(ユーザ状態の条件)が対応付けられているか否かを確認し(ステップS213)、付帯情報が対応付けられていない場合は(ステップS213/No)、ユーザへのメッセージの出力制御を行う(ステップS127)。なお、かかるステップS124、S213、S127に示す処理は、第2の実施例において図9を参照して説明した同符号の処理と同様である。
続いて、管理サーバ2から送信されたメッセージに付帯情報が対応付けられている場合(ステップS213/Yes)、図13に示すように、出力デバイス1は、センシングデータを取得して管理サーバ2に送信し(ステップS216、S219)、管理サーバ2からユーザ状態の認識結果を取得する(ステップS222、S225)。
次いで、出力デバイス1は、管理サーバ2からの認識結果で示されるユーザ状態が、メッセージに対応付けられていた付帯情報(ユーザ状態の条件)に合致するか否かを判断する(ステップS228)。なお、上記ステップS216〜S228に示す処理は、第2の実施例で説明した図9に示す同符号の処理と同様である。
次に、ユーザ状態が、メッセージの付帯情報(ユーザ状態の条件)に合致しない場合(ステップS228/No)、出力デバイス1は、ユーザ状態が合致しないことを管理サーバ2に通知する(ステップS263)。
次いで、管理サーバ2は、付帯情報に応じて、ユーザの状態(感情など)を、付帯情報で示されるユーザ状態の条件に合致するようコントロールする(変容させる)ガイド画像を選択し(ステップS266)、ガイド画像を出力デバイス1に送信する(ステップS269)。
そして、出力デバイス1は、受信したガイド画像の出力制御を行う(ステップS272)。ガイド画像の出力制御は、例えばプロジェクタ131により周囲の適切な投影場所に投影される。ガイド画像の投影制御の詳細は、第1の実施例において図6を参照して説明したメッセージの出力制御処理が適用される。すなわち、出力デバイス1は、投影可能な距離に、単一色の平面、鏡面、静かな水面、または白色の煙状のもの等がある場合に、その場所にガイド画像を投影する。
かかるガイド画像の提示により、ユーザ状態がメッセージ内容に合致した状態に変容することが期待される。ガイド画像を提示した後は、図13に示すように、上記ステップS216からの処理が再度繰り返される。
なお、ユーザ状態が、メッセージの付帯情報(ユーザ状態の条件)に合致する場合(ステップS228/Yes)、出力デバイス1は、ユーザへのメッセージの出力制御を行う(図12のステップS127)。
<3−4.第4の実施例(ユーザが視認できる場所に提示)>
次いで、本実施形態の第4の実施例について説明する。ユーザにメッセージやガイド画像を提示する場合、上述した各実施例では、一例としてプロジェクタ131によりユーザ周辺の適切な投影場所に適宜投影することで、日常生活の様々なシーンでどこでもメッセージやガイド画像を表示することを可能としている。ここで、投影場所(投影対象物)としては適切な場所(物体)であっても、ユーザの背後であったり、またはユーザが違う場所を見ていたり、焦点が合っていない場合、実際にはユーザが視認し難い場所となる。
次いで、本実施形態の第4の実施例について説明する。ユーザにメッセージやガイド画像を提示する場合、上述した各実施例では、一例としてプロジェクタ131によりユーザ周辺の適切な投影場所に適宜投影することで、日常生活の様々なシーンでどこでもメッセージやガイド画像を表示することを可能としている。ここで、投影場所(投影対象物)としては適切な場所(物体)であっても、ユーザの背後であったり、またはユーザが違う場所を見ていたり、焦点が合っていない場合、実際にはユーザが視認し難い場所となる。
そこで、本実施例では、図14に示すように、ユーザの頭や顔の向き、視線等から基づいて判断した視認可能領域に、適切な投影場所がある場合、当該投影場所に、ユーザへのメッセージやガイド画像を投影するよう制御することで、日常生活の様々なシーンにおいて、より確実に、ユーザにメッセージを提示することを可能とする。例えば、出力デバイス1は、ユーザの視線が投影場所に向いているか否かに応じて投影制御を行ってもよいし、ユーザの焦点が投影場所に合っているか否かに応じて投影制御を行ってもよい。
以下、このような本実施例による投影制御について図15を参照して説明する。
図15は、本実施例による投影制御処理の流れの一例を示すフローチャートである。図15のステップS130〜S139に示す処理は、第1の実施例で説明した図6に示す同符号の処理と同様である。すなわち、ユーザがメッセージを受け入れ易い状況である場合にメッセージを表示する際、出力デバイス1は、ユーザ周辺で適切な投影場所(例えば、投影可能な距離にある、単一色の平面、鏡面、静かな水面、または白色の煙状のもの等)を判断する処理を行う。
次いで、出力デバイス1は、視線検出センサによりユーザの視線を検出し(ステップS303)、上記ステップS133〜S139で判断した適切な投影場所の方向にユーザの視線が向いているか否かを判断する(ステップS306)。視線検出センサは、センサ122の一例であって、視線検出の方法としては、例えば眼電位センサの検出結果から検出する方式や、赤外光(IR)を眼球に当ててその反射光を検知して検出する方式(角膜反射法または強膜反射法等)、また、可視光カメラを用いて目の基準点(目頭や角膜反射)と動点(虹彩や瞳孔等)の位置に基づいて検出する方式等を利用し得る。また、出力デバイス1は、ユーザの顔を撮像したカメラ映像やモーションセンサのセンシングデータに基づいて、ユーザの顔向きや頭部方向を判断し、これを視線方向とみなしてもよい。
次に、投影場所の方向にユーザの視線が向いている場合(ステップS306/Yes)、出力デバイス1は、例えば眼の屈折度測定センサ(オートレフケラトメータなど)により、投影場所にユーザの焦点が合っているか(すなわち、網膜の前で像が結ばれているか)を測定する(ステップS309)。
次いで、投影場所に焦点が合っている場合(ステップS312/Yes)、出力デバイス1は、メッセージやガイド画像の投影を行う(ステップS315)。
なお、出力デバイス1は、適切な投影場所を複数判断し、その中から、ユーザが視認し易い場所を選択するようにしてもよい。また、図15に示すフローチャートでは、ユーザが視認し易い場所か否かを、視線方向と焦点に基づいて判断しているが、本実施例はこれに限定されない。例えば視線方向と焦点のいずれかを用いて判断してもよいし、他の要素(ユーザの前方にあること、進行方向にあること、視界範囲に入っていること、すぐに視線を向けることが予測される場所であること等)に基づいて判断してもよい。
<3−5.第5の実施例(「メッセージを受け入れ易い状況」の学習)>
最後に、本実施形態の第5の実施例について説明する。ユーザがメッセージを受け入れ易い状況にあるか否かは、マイクやカメラ、生体センサ、モーションセンサ等の各種センサから得られたセンシングデータを、所定の基準(予め設定された既定の基準)と比較することで判断することが可能であるが、ユーザを取り巻く環境等によっては、その判断基準が変化する場合もあり、予め決めた一定のルールだけでは的確に判断できない場合もある。
最後に、本実施形態の第5の実施例について説明する。ユーザがメッセージを受け入れ易い状況にあるか否かは、マイクやカメラ、生体センサ、モーションセンサ等の各種センサから得られたセンシングデータを、所定の基準(予め設定された既定の基準)と比較することで判断することが可能であるが、ユーザを取り巻く環境等によっては、その判断基準が変化する場合もあり、予め決めた一定のルールだけでは的確に判断できない場合もある。
そこで、本実施例では、メッセージを提示した後のユーザの反応(フィードバック)に基づいて、「メッセージを受け入れやすい状況」であったか否かを学習し、より精度良く、状況を判断することを可能とする。例えば、エージェント画像を投影してメッセージを音声出力した場合に、ユーザがエージェントの方を見て「わかった」「OK」等のメッセージ受容の言葉を発した場合、「メッセージを受け入れやすい状況」であったと学習してもよい。また、メッセージを提示した後のユーザの行動を観測し、メッセージ提示前と後で行動変容があった場合、「メッセージを受け入れやすい状況」であったと学習してもよい。
以下、このような本実施例による投影制御について図16〜図18を参照して説明する。
図16および図17は、本実施例によるメッセージを受け入れ易い状況であるか否かの判断について学習する処理の流れの一例を示すシーケンス図である。
図16に示すステップS103〜S118の処理は、第1の実施例において図5を参照して説明した同符号の処理と同様である。すなわち、ユーザに伝えるべきメッセージがある際に、出力デバイス1において取得したセンシングデータに基づいて、管理サーバ2によりユーザ状況の認識が行われる。
次に、管理サーバ2は、ユーザ状況の認識結果を出力デバイス1に送信する(ステップS330)。ここで、既に管理サーバ2において、後述するユーザ状況認識の学習が既に行われており、「受け入れ易い状況」のデータを記録している場合、管理サーバ2は、当該データを、ユーザ状況の認識結果と併せて出力デバイス1に送信する。
次に、「受け入れ易い状況」のデータを管理サーバ2から取得できなかった場合(すなわち、「受け入れ易い状況」の学習が行われていない場合)(ステップS333/No)、出力デバイス1は、メッセージの出力制御を行う(ステップS127)。メッセージの出力制御の詳細は、第1の実施例と同様である(図6参照)。
次いで、出力デバイス1は、メッセージを提示した後のユーザの反応に基づいて、当該メッセージがユーザに受け入れられたか否かを判断する(ステップS339)。かかる判断処理の詳細は、図18を参照して後述する。
次に、メッセージがユーザに受け入れられたと判断された場合(ステップS342/Yes)、出力デバイス1は、メッセージが受け入れられたことを管理サーバ2に通知する(ステップS345)。
そして、管理サーバ2は、上記ステップS118におけるユーザ状況の認識結果を、「(ユーザがメッセージを)受け入れ易い状況」として記憶する(ステップS348)。
一方、メッセージがユーザに受け入れられなかったと判断された場合は(ステップS342/No)、出力デバイス1は、管理サーバ2への通知は行わない。
以上により、管理サーバ2は、ユーザ毎に、メッセージが受け入れ易い状況について学習することが可能となる。これにより、例えばジムのランニングマシーンでランニングをしている際など、人によっては激しく動いている場合にメッセージを受け入れ易い状況となる場合もあるため、このような人によって異なる受け入れ易さの状況を学習していくことが可能となる。
なお、上記ステップS333で、「受け入れ易い状況」のデータを管理サーバ2から取得できた場合(すなわち、「受け入れ易い状況」の学習が既に行われていた場合)(ステップS333/Yes)、図17に示すように、出力デバイス1は、認識されたユーザ状況が、「受け入れ易い状況」に合致するか否かを判断する(ステップS353)。
次いで、認識されたユーザ状況が、「受け入れ易い状況」に合致する場合(ステップS353/Yes)、出力デバイス1は、メッセージの出力制御を行う(ステップS127)。メッセージの出力制御の詳細は、第1の実施例と同様である(図6参照)。
次に、出力デバイス1は、メッセージを提示した後のユーザの反応に基づいて、メッセージがユーザに受け入れられたか否かを判断する(ステップS339)。かかる判断処理の詳細は、図18を参照して後述する。本実施例では、ユーザを取り巻く環境等に応じて、ユーザのメッセージを受け入れ易い状況が変化している場合もあるため、学習結果に基づいてメッセージを受け入れ易い状況と判断してメッセージを提示した場合であっても、再度、その後のユーザの反応を観測し、実際にメッセージが受け入れられたか否かを判断する。
次いで、メッセージがユーザに受け入れられなかったと判断された場合(ステップS362/No)、出力デバイス1は、メッセージが受け入れられなかったことを管理サーバ2に通知する(ステップS365)。
そして、管理サーバ2は、既に記録されている「受け入れ易い状況」のデータのうち、今回のユーザ状況(メッセージが受け入れられなかった状況)を削除する(ステップS368)。これにより、メッセージを受け入れ易い状況が変化した場合を学習し、「受け入れ易い状況」を更新していくことが可能となる。
なお、メッセージがユーザに受け入れられた場合は(ステップS362/Yes)、出力デバイス1は、管理サーバ2への通知は行わない。
(メッセージが受け入れられたか否かの判断処理)
続いて、上記ステップS339に示す、メッセージが受け入れられたか否かの判断処理の一例について、図18を参照して説明する。
続いて、上記ステップS339に示す、メッセージが受け入れられたか否かの判断処理の一例について、図18を参照して説明する。
図18は、本実施例による、メッセージがユーザに受け入れられたか否かを判断する処理の流れの一例を示すフローチャートである。
図18に示すように、まず、出力デバイス1は、センサ122(カメラ)によりユーザの顔を撮影したカメラ画像に基づき、ユーザの顔認識と視線解析を行い(ステップS363)、ユーザが、メッセージの提示として投影したエージェント画像の方を向いたか否か(すなわち、エージェント画像の方に視線や顔を向けたか否か)を判断する(ステップS366)。
次いで、エージェント画像の方を向かなかった場合(ステップS366/No)、出力デバイス1は、メッセージが受け入れられなかったと判断する(ステップS378)。なお、出力デバイス1は、エージェント画像の方を一瞬見ただけですぐに視線を外した場合や、エージェント画像に焦点が合っていない場合、注視していない場合、エージェント画像を見たが不快な顔をした場合等も、メッセージが受け入れられなかったと判断してもよい。
次に、出力デバイス1は、センサ122(マイク)により集音した音声データに基づき、音声認識を行い(ステップS369)、メッセージの了承を示す音声が検出されたか否かを判断する(ステップS372)。
次いで、メッセージの了承を示す音声(「わかったよ」「OK」「いいね」「そうなんだ」「面白そうだね」等)が検出されなかった場合(ステップS372/No)、出力デバイス1は、メッセージが受け入れられなかったと判断する(ステップS378)。なお、出力デバイス1は、メッセージの了承を示す音声が検出されなかった場合に限定されず、例えば、ユーザが溜息をついたり、舌打ちをしたり、メッセージの提示を邪魔に感じていることを示す音声等を検出した場合に、メッセージが受け入れられなかったと判断してもよい。
そして、ユーザがエージェント画像の方を向いており(ステップS366/Yes)、かつ、メッセージの了承を示す音声が検出された場合(ステップS372/Yes)、出力デバイス1は、メッセージが受け入れられたと判断する(ステップS375)。
なお、ここでは一例として視線と音声に基づいて、メッセージが受け入れられたことを判断しているが、本実施例はこれに限定されない。例えば視線と音声のいずれかを用いて判断してもよいし、他の要素(メッセージ提示後のユーザの行動や、ジェスチャ等)に基づいて判断してもよい。
<<4.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する。
上述したように、本開示の実施形態による情報処理システムでは、ユーザが情報を受け入れ易い状況である際に情報提示を行うことで、より効果的な情報提示を実現する。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した出力デバイス1、または管理サーバ2に内蔵されるCPU、ROM、およびRAM等のハードウェアに、出力デバイス1、または管理サーバ2の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
(1)
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、
情報処理システム。
(2)
前記制御部は、
前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかに応じて、当該ユーザがメッセージを受け入れ易い状況であるか否かを推定する、前記(1)に記載の情報処理システム。
(3)
前記提示部は、プロジェクタであり、
前記制御部は、
前記ユーザ周辺に一定の条件を満たす投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、前記(1)または(2)に記載の情報処理システム。
(4)
前記制御部は、
前記ユーザ周辺のセンシングデータに基づいて、前記一定の条件を満たす投影場所を決定する、前記(3)に記載の情報処理システム。
(5)
前記制御部は、
前記ユーザが視認可能な投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、前記(3)に記載の情報処理システム。
(6)
前記制御部は、
前記ユーザに関わるセンシングデータに基づいて、前記ユーザの視線解析を行い、前記視認可能な投影場所を判断する、前記(5)に記載の情報処理システム。
(7)
前記制御部は、
前記ユーザが知覚可能な前記メッセージを提示するように前記提示部を制御する、前記(1)〜(6)のいずれか1項に記載の情報処理システム。
(8)
前記制御部は、
前記メッセージを、画像または音声の少なくともいずれかにより提示する、前記(7)に記載の情報処理システム。
(9)
前記制御部は、
前記ユーザがメッセージを受け入れ易い状況であると推定された際であっても、前記メッセージの内容に応じて、前記ユーザへのメッセージ提示を行わないよう制御する、前記(1)〜(8)のいずれか1項に記載の情報処理システム。
(10)
前記制御部は、
前記メッセージの内容と、前記ユーザの状態とが合致する場合に、前記ユーザへのメッセージ提示を行い、
前記メッセージの内容と、前記ユーザの状態とが合致しない場合は、前記ユーザへのメッセージ提示を行わないよう制御する、前記(9)に記載の情報処理システム。
(11)
前記制御部は、
前記ユーザがメッセージを受け入れ易い状況ではないと推定されるとき、
前記ユーザの状況を、メッセージをより受け入れ易い状況にするためのコントロールガイドを提示する、前記(1)〜(10)のいずれか1項に記載の情報処理システム。
(12)
前記コントロールガイドは、前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかを変化させることを目的とした画像または音声である、前記(11)に記載の情報処理システム。
(13)
前記制御部は、
前記ユーザの状態が前記メッセージの内容に合わないと推定されるとき、
前記ユーザの状態を、前記メッセージの内容に合うようにするためのコントロールガイドを提示する、前記(10)に記載の情報処理システム。
(14)
前記制御部は、
前記ユーザに関わるセンシングデータに基づき、前記提示部により提示されたメッセージに対する前記ユーザの反応を検出し、
前記検出の結果と、前記ユーザの状況との関係性を学習することにより、前記ユーザのメッセージを受け入れ易い状況を更新する、前記(1)〜(13)のいずれか1項に記載の情報処理システム。
(15)
前記制御部は、
外部のエージェントシステムから提供されるメッセージを、前記ユーザに提示するように提示部を制御する、前記(1)〜(14)のいずれか1項に記載の情報処理システム。
(16)
プロセッサが、
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御することを含む、情報処理方法。
(17)
コンピュータを、
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部として機能させるためのプログラムが記録された、記録媒体。
(1)
(1)
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、
情報処理システム。
(2)
前記制御部は、
前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかに応じて、当該ユーザがメッセージを受け入れ易い状況であるか否かを推定する、前記(1)に記載の情報処理システム。
(3)
前記提示部は、プロジェクタであり、
前記制御部は、
前記ユーザ周辺に一定の条件を満たす投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、前記(1)または(2)に記載の情報処理システム。
(4)
前記制御部は、
前記ユーザ周辺のセンシングデータに基づいて、前記一定の条件を満たす投影場所を決定する、前記(3)に記載の情報処理システム。
(5)
前記制御部は、
前記ユーザが視認可能な投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、前記(3)に記載の情報処理システム。
(6)
前記制御部は、
前記ユーザに関わるセンシングデータに基づいて、前記ユーザの視線解析を行い、前記視認可能な投影場所を判断する、前記(5)に記載の情報処理システム。
(7)
前記制御部は、
前記ユーザが知覚可能な前記メッセージを提示するように前記提示部を制御する、前記(1)〜(6)のいずれか1項に記載の情報処理システム。
(8)
前記制御部は、
前記メッセージを、画像または音声の少なくともいずれかにより提示する、前記(7)に記載の情報処理システム。
(9)
前記制御部は、
前記ユーザがメッセージを受け入れ易い状況であると推定された際であっても、前記メッセージの内容に応じて、前記ユーザへのメッセージ提示を行わないよう制御する、前記(1)〜(8)のいずれか1項に記載の情報処理システム。
(10)
前記制御部は、
前記メッセージの内容と、前記ユーザの状態とが合致する場合に、前記ユーザへのメッセージ提示を行い、
前記メッセージの内容と、前記ユーザの状態とが合致しない場合は、前記ユーザへのメッセージ提示を行わないよう制御する、前記(9)に記載の情報処理システム。
(11)
前記制御部は、
前記ユーザがメッセージを受け入れ易い状況ではないと推定されるとき、
前記ユーザの状況を、メッセージをより受け入れ易い状況にするためのコントロールガイドを提示する、前記(1)〜(10)のいずれか1項に記載の情報処理システム。
(12)
前記コントロールガイドは、前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかを変化させることを目的とした画像または音声である、前記(11)に記載の情報処理システム。
(13)
前記制御部は、
前記ユーザの状態が前記メッセージの内容に合わないと推定されるとき、
前記ユーザの状態を、前記メッセージの内容に合うようにするためのコントロールガイドを提示する、前記(10)に記載の情報処理システム。
(14)
前記制御部は、
前記ユーザに関わるセンシングデータに基づき、前記提示部により提示されたメッセージに対する前記ユーザの反応を検出し、
前記検出の結果と、前記ユーザの状況との関係性を学習することにより、前記ユーザのメッセージを受け入れ易い状況を更新する、前記(1)〜(13)のいずれか1項に記載の情報処理システム。
(15)
前記制御部は、
外部のエージェントシステムから提供されるメッセージを、前記ユーザに提示するように提示部を制御する、前記(1)〜(14)のいずれか1項に記載の情報処理システム。
(16)
プロセッサが、
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御することを含む、情報処理方法。
(17)
コンピュータを、
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部として機能させるためのプログラムが記録された、記録媒体。
1 出力デバイス
2 管理サーバ
3 ネットワーク
4 エージェントシステムサーバ
100 制御部
110 通信部
120 入力部
121 操作入力部
122 センサ
122a 生体センサ
130 出力部
131 プロジェクタ
132 スピーカ
140 記憶部
200 制御部
201 ユーザ管理部
202 状況認識部
203 メッセージ管理部
204 メッセージ提示制御部
210 通信部
220 記憶部
2 管理サーバ
3 ネットワーク
4 エージェントシステムサーバ
100 制御部
110 通信部
120 入力部
121 操作入力部
122 センサ
122a 生体センサ
130 出力部
131 プロジェクタ
132 スピーカ
140 記憶部
200 制御部
201 ユーザ管理部
202 状況認識部
203 メッセージ管理部
204 メッセージ提示制御部
210 通信部
220 記憶部
Claims (17)
- ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部を備える、
情報処理システム。 - 前記制御部は、
前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかに応じて、当該ユーザがメッセージを受け入れ易い状況であるか否かを推定する、請求項1に記載の情報処理システム。 - 前記提示部は、プロジェクタであり、
前記制御部は、
前記ユーザ周辺に一定の条件を満たす投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、請求項1に記載の情報処理システム。 - 前記制御部は、
前記ユーザ周辺のセンシングデータに基づいて、前記一定の条件を満たす投影場所を決定する、請求項3に記載の情報処理システム。 - 前記制御部は、
前記ユーザが視認可能な投影場所があるときに、当該投影場所に前記メッセージを投影するように前記プロジェクタを制御する、請求項3に記載の情報処理システム。 - 前記制御部は、
前記ユーザに関わるセンシングデータに基づいて、前記ユーザの視線解析を行い、前記視認可能な投影場所を判断する、請求項5に記載の情報処理システム。 - 前記制御部は、
前記ユーザが知覚可能な前記メッセージを提示するように前記提示部を制御する、請求項1に記載の情報処理システム。 - 前記制御部は、
前記メッセージを、画像または音声の少なくともいずれかにより提示する、請求項7に記載の情報処理システム。 - 前記制御部は、
前記ユーザがメッセージを受け入れ易い状況であると推定された際であっても、前記メッセージの内容に応じて、前記ユーザへのメッセージ提示を行わないよう制御する、請求項1に記載の情報処理システム。 - 前記制御部は、
前記メッセージの内容と、前記ユーザの状態とが合致する場合に、前記ユーザへのメッセージ提示を行い、
前記メッセージの内容と、前記ユーザの状態とが合致しない場合は、前記ユーザへのメッセージ提示を行わないよう制御する、請求項9に記載の情報処理システム。 - 前記制御部は、
前記ユーザがメッセージを受け入れ易い状況ではないと推定されるとき、
前記ユーザの状況を、メッセージをより受け入れ易い状況にするためのコントロールガイドを提示する、請求項1に記載の情報処理システム。 - 前記コントロールガイドは、前記ユーザ周辺の騒音状況、前記ユーザの生体情報、表情、動き情報の少なくともいずれかを変化させることを目的とした画像または音声である、請求項11に記載の情報処理システム。
- 前記制御部は、
前記ユーザの状態が前記メッセージの内容に合わないと推定されるとき、
前記ユーザの状態を、前記メッセージの内容に合うようにするためのコントロールガイドを提示する、請求項10に記載の情報処理システム。 - 前記制御部は、
前記ユーザに関わるセンシングデータに基づき、前記提示部により提示されたメッセージに対する前記ユーザの反応を検出し、
前記検出の結果と、前記ユーザの状況との関係性を学習することにより、前記ユーザのメッセージを受け入れ易い状況を更新する、請求項1に記載の情報処理システム。 - 前記制御部は、
外部のエージェントシステムから提供されるメッセージを、前記ユーザに提示するように提示部を制御する、請求項1に記載の情報処理システム。 - プロセッサが、
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御することを含む、情報処理方法。 - コンピュータを、
ユーザに関わるセンシングデータに基づき、前記ユーザがメッセージを受け入れ易い状況であると推定されるとき、前記ユーザにメッセージを提示するように提示部を制御する制御部として機能させるためのプログラムが記録された、記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018090706A JP2021128350A (ja) | 2018-05-09 | 2018-05-09 | 情報処理システム、情報処理方法、および記録媒体 |
PCT/JP2019/005729 WO2019215983A1 (ja) | 2018-05-09 | 2019-02-18 | 情報処理システム、情報処理方法、および記録媒体 |
US17/044,066 US11544968B2 (en) | 2018-05-09 | 2019-02-18 | Information processing system, information processingmethod, and recording medium |
CN201980029807.9A CN112074804A (zh) | 2018-05-09 | 2019-02-18 | 信息处理***、信息处理方法和记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018090706A JP2021128350A (ja) | 2018-05-09 | 2018-05-09 | 情報処理システム、情報処理方法、および記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021128350A true JP2021128350A (ja) | 2021-09-02 |
Family
ID=68468300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018090706A Pending JP2021128350A (ja) | 2018-05-09 | 2018-05-09 | 情報処理システム、情報処理方法、および記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11544968B2 (ja) |
JP (1) | JP2021128350A (ja) |
CN (1) | CN112074804A (ja) |
WO (1) | WO2019215983A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113015955A (zh) * | 2018-11-01 | 2021-06-22 | 索尼集团公司 | 信息处理装置、其控制方法及程序 |
US11137874B2 (en) * | 2019-02-22 | 2021-10-05 | Microsoft Technology Licensing, Llc | Ergonomic mixed reality information delivery system for dynamic workflows |
GB2613619B (en) * | 2021-12-09 | 2024-07-31 | Arafat Khalil | Projector |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4481682B2 (ja) * | 2004-02-25 | 2010-06-16 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
JP2005352645A (ja) | 2004-06-09 | 2005-12-22 | Nissan Motor Co Ltd | 情報提供装置および情報提供方法 |
US20060133586A1 (en) * | 2004-12-08 | 2006-06-22 | Ntt Docomo, Inc. | Information notification system and information notification method |
JP4954467B2 (ja) * | 2004-12-08 | 2012-06-13 | 株式会社エヌ・ティ・ティ・ドコモ | 通知用ユーザ状態管理装置、通知制御装置、および情報通知方法 |
JP6051648B2 (ja) | 2012-07-23 | 2016-12-27 | セイコーエプソン株式会社 | プロジェクター、およびその制御方法 |
IN2015DN02046A (ja) | 2012-09-21 | 2015-08-14 | Sony Corp | |
US9232247B2 (en) * | 2012-09-26 | 2016-01-05 | Sony Corporation | System and method for correlating audio and/or images presented to a user with facial characteristics and expressions of the user |
JP5942840B2 (ja) | 2012-12-21 | 2016-06-29 | ソニー株式会社 | 表示制御システム及び記録媒体 |
CN107211104A (zh) * | 2015-02-03 | 2017-09-26 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
WO2016157658A1 (ja) * | 2015-03-31 | 2016-10-06 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
US10403112B2 (en) * | 2015-07-28 | 2019-09-03 | Sony Corporation | Communication device, information processing system, recording medium, and information processing method |
JP6570425B2 (ja) | 2015-11-06 | 2019-09-04 | アルパイン株式会社 | 車両用投射装置および車両用投射システム |
CN107087152B (zh) * | 2017-05-09 | 2018-08-14 | 成都陌云科技有限公司 | 三维成像信息通信*** |
-
2018
- 2018-05-09 JP JP2018090706A patent/JP2021128350A/ja active Pending
-
2019
- 2019-02-18 CN CN201980029807.9A patent/CN112074804A/zh active Pending
- 2019-02-18 WO PCT/JP2019/005729 patent/WO2019215983A1/ja active Application Filing
- 2019-02-18 US US17/044,066 patent/US11544968B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210049352A1 (en) | 2021-02-18 |
WO2019215983A1 (ja) | 2019-11-14 |
US11544968B2 (en) | 2023-01-03 |
CN112074804A (zh) | 2020-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6719535B2 (ja) | 情報処理システム、サーバシステム、情報処理プログラム、および情報処理方法 | |
Benssassi et al. | Wearable assistive technologies for autism: opportunities and challenges | |
US11576597B2 (en) | Sleepiness estimating device and wakefulness inducing device | |
CN103561652B (zh) | 用于辅助患者的方法和*** | |
JP7424285B2 (ja) | 情報処理システム、情報処理方法、および記録媒体 | |
WO2016170810A1 (ja) | 情報処理装置、制御方法、およびプログラム | |
WO2019215983A1 (ja) | 情報処理システム、情報処理方法、および記録媒体 | |
JP4609475B2 (ja) | 情報処理装置及び情報処理方法、並びに記録媒体 | |
JP7367530B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7347414B2 (ja) | 情報処理システム、情報処理方法、および記録媒体 | |
Mansouri Benssassi et al. | Wearable assistive technologies for autism: opportunities and challenges | |
US11942216B2 (en) | Method for controlling robot, robot, and non-transitory computer-readable recording medium storing program | |
US11270682B2 (en) | Information processing device and information processing method for presentation of word-of-mouth information | |
WO2022244298A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2011070679A (ja) | 情報処理装置及び情報処理方法、並びに記録媒体 |