JP2023127043A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】ユーザの今後の状態を予測してユーザを支援することができるようにする。【解決手段】支援部は、ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。本技術は、例えば、ユーザの発話等による依頼に対し、ユーザが最も受け取りやすいメッセージを返答として音声でユーザに伝達することによりユーザを支援する音声支援システムの音声エージェント装置等に適用できる。【選択図】図１

Description

本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ユーザの今後の状態を予測してユーザを支援することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

AI（Artificial Intelligence）アシスタントをはじめとしたユーザ支援エージェントにおいて、ユーザを適切に支援するためには、ユーザの現在の状態を正確に推定したり、ユーザの今後の状態を予測したりする必要がある。しかしながら、ユーザの顔の表情や発話内容だけでは、ユーザの状態を正確に推定することは困難である。

そこで、ユーザの周囲の環境、ユーザの感情、ユーザの状況、およびユーザの周囲にいる他の人の感情や状況のうちの少なくともいずれかに基づいて、ユーザの現在のコンテキストを認識する情報処理システムがある（例えば、特許文献１参照）。

国際公開第２０１８／０２１０４０号

しかしながら、このような情報処理システムにおいて、ユーザの今後の状態を予測することは困難である。よって、ユーザの今後の状態を予測してユーザを支援することを実現できる手法の提供が要望されているが、そのような要望に十分にこたえられていない状況である。

本技術は、このような状況に鑑みてなされたものであり、ユーザの今後の状態を予測してユーザを支援することができるようにするものである。

本技術一側面の情報処理装置、または、プログラムは、ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部を備える情報処理装置、または、情報処理装置として、コンピュータを機能させるためのプログラムである。

本技術の一側面の情報処理方法は、情報処理装置が、ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援ステップを含む情報処理方法である。

本技術の一側面においては、ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザが支援される。

本技術を適用した音声支援システムの構成例を示すブロック図である。 ラッセルの感情円環モデルを示す図である。 図１のデータベースに記憶される情報の例を示す図である。 音声支援システムによる処理の概要の例を示す図である。 音声支援処理を説明するフローチャートである。 本技術を適用した自転車ナビゲーションシステムの構成例を示すブロック図である。 図６のデータベースに記憶される情報の例を示す図である。 自転車ナビゲーションシステムによる処理の概要の例を示す図である。 本技術を適用したペット型ロボットシステムの構成例を示すブロック図である。 図９のデータベースに記憶される情報の例を示す図である。 ペット型ロボットシステムによる処理の概要の例を示す図である。 本技術を適用した運転支援システムの構成例を示すブロック図である。 図１２のデータベースに記憶される情報の例を示す図である。 運転支援システムによる処理の概要の例を示す図である。 本技術を適用した料理支援システムの構成例を示すブロック図である。 図１５のデータベースに記憶される情報の例を示す図である。 料理支援システムによる処理の概要の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態（音声支援システム）
２．第２実施の形態（自転車ナビゲーションシステム）
３．第３実施の形態（ペット型ロボットシステム）
４．第４実施の形態（運転支援システム）
５．第５実施の形態（料理支援システム）
６．コンピュータ

＜第１実施の形態＞
＜音声支援システムの構成例＞
図１は、本技術を適用した情報処理装置としての音声エージェント装置を含む音声支援システムの構成例を示すブロック図である。

図１の音声支援システム１０は、１以上のウェアラブルデバイス１１、１以上のIoT（Internet of Things）デバイス１２、１以上のヒューマンインターフェースデバイス１３、および音声エージェント装置１４により構成される。

音声支援システム１０は、ユーザの発話等による依頼に対し、ユーザが最も受け取りやすいメッセージを返答として音声でユーザに伝達することにより、ユーザを支援する。なお、ユーザが最も受け取りやすいメッセージとは、例えば、ユーザの状態を大きく変化させない、即ちユーザの邪魔をしないメッセージである。

具体的には、音声支援システム１０のウェアラブルデバイス１１は、スマートウォッチ、ヒアラブルデバイスなどにより構成され、ユーザの手首、耳などの身体の一部に装着される。ウェアラブルデバイス１１は、生体センサ２１と動きセンサ２２を有する。生体センサ２１は、ユーザのEEG（Electroencephalography）,ECG（Electrocardiogram）,PPG（Photoplethysmogram）,EDA（Electro Dermal Activity）,LDF（Laser Doppler flowmetry）法により検出される血流、呼吸等を表す信号である生体信号を取得する。生体センサ２１は、その生体信号を音声エージェント装置１４に入力する。

動きセンサ２２は、加速度センサやジャイロセンサなどにより構成される。動きセンサ２２は、生体センサ２１の加速度や角速度を、生体信号に付随する情報である生体付随情報として取得する。動きセンサ２２は、生体付随情報を音声エージェント装置１４に入力する。

なお、音声支援システム１０は、ウェアラブルデバイス１１の代わりに、リモートセンシングを行うリモートセンシング装置を備えるようにしてもよい。この場合、例えば、Webカメラなどのリモートセンシング装置によりユーザの心拍数などが推定され、生体信号として取得される。

IoTデバイス１２は、ユーザやユーザの周囲の環境の状態を示す環境情報を取得する各種のセンサである環境センサ３１を有する。環境センサ３１としては、例えば、GPS(Global Positioning System)センサ、画像センサ、超音波センサ、赤外線カメラ、加速度センサ、ジャイロセンサ、温湿度センサ、気象センサ等がある。GPSセンサは、例えばユーザの現在の位置情報を環境情報として取得する。画像センサ、超音波センサ、赤外線カメラ、加速度センサ、およびジャイロセンサは、例えばユーザの体勢や動きを表す情報を環境情報として取得するために用いられる。温湿度センサは、ユーザの周囲の温度や湿度を表す情報を環境情報として取得する。気象センサは、ユーザの周囲の気象情報を環境情報として取得する。IoTデバイス１２は、環境センサ３１により取得された環境情報を音声エージェント装置１４に入力する。

ヒューマンインターフェースデバイス１３としては、ユーザからの入力を受け付ける入力デバイスやユーザに対して出力を行う出力デバイスがある。入力デバイスとしては、マイク、タッチセンサ、感圧センサ、キーボード等があり、出力デバイスとしては、スピーカ等がある。

ヒューマンインターフェースデバイス１３は、ユーザとのインタラクションを行う各種Ｉ／Ｆ４１を有する。例えば、マイクの各種Ｉ／Ｆ４１は、ユーザから入力された発話を表す情報を、ユーザから入力される情報である入力情報として、音声エージェント装置１４に入力する。タッチセンサの各種Ｉ／Ｆ４１は、ユーザのタッチ入力により選択された内容を表す情報を入力情報として、音声エージェント装置１４に入力する。感圧センサの各種Ｉ／Ｆ４１は、ユーザの押圧により選択された内容を表す情報を入力情報として、音声エージェント装置１４に入力する。キーボードの各種Ｉ／Ｆ４１は、ユーザから入力された文字を表す情報を入力情報として、音声エージェント装置１４に入力する。スピーカの各種Ｉ／Ｆ４１は、音声エージェント装置１４から入力される制御情報に基づいて、ユーザに対して音声を出力することにより支援を行う。

ウェアラブルデバイス１１、IoTデバイス１２、およびヒューマンインターフェースデバイス１３と、音声エージェント装置１４との情報のやり取りは、有線または無線のネットワークを介して行われる。

音声エージェント装置１４は、生体処理部５１、コンテキスト処理部５２、解析部５３、情動処理部５４、支援制御部５５、データベース５６、および支援部５７により構成される。

音声エージェント装置１４の生体処理部５１は、動きセンサ２２から入力される生体付随情報に基づいて、生体センサ２１から入力される生体信号のノイズ判定を行い、生体信号のノイズを除去する。生体処理部５１は、ノイズが除去された生体信号からユーザの情動の推定または予測に用いる各種の特徴量を抽出する。この特徴量は、例えば、生体信号がユーザの心拍を表す信号である場合、低周波（ＬＦ）、高周波（ＨＦ）などであり、生体信号がユーザの脳波を表す信号である場合、例えばα波、θ波等である。生体処理部５１は、生体信号の特徴量を支援制御部５５に供給する。

コンテキスト処理部５２は、環境センサ３１から入力される環境情報と解析部５３から供給される入力情報の解析結果のうちの少なくとも一方に基づいて、行動認識によるユーザの現在のコンテキストの推定を行い、推定結果を求める。

ここで推定されるコンテキストとは、環境センサ３１や入力情報の解析結果単体から直接得られるプリミティブなものから、環境情報と入力情報の解析結果の組み合わせにより推定されるものまでを含む。例えば、ユーザのコンテキストとしては、ユーザの位置、ユーザの周囲の温湿度や天候などの環境（状況）、ユーザの体勢(座っている、立っている、寝ている)などの状態、ユーザの動作(走っている、歩いている、食べている)などの行動、ユーザの発話内容、現在起動中のアプリケーションの情報などの入力情報の解析結果、ユーザの状況（作業中、ゲーム中、食事中、移動中）とその状況の継続時間などがある。なお、作業中とは、ユーザが勉強、仕事、運転、料理などの作業をしている状況である。

コンテキスト処理部５２は、ユーザの現在のコンテキストの推定結果を保持するとともに、情動処理部５４と支援制御部５５に供給する。コンテキスト処理部５２は、保持している時系列のコンテキストの推定結果に基づいてユーザの今後のコンテキストを予測し、予測結果を求める。コンテキスト処理部５２は、ユーザの今後のコンテキストの予測結果を情動処理部５４と支援制御部５５に供給する。

解析部５３は、各種Ｉ／Ｆ４１から入力される入力情報に基づいて、ユーザからの入力の内容を解析する。例えば、解析部５３は、マイクの各種Ｉ／Ｆ４１から入力された入力情報に基づいて、ユーザの発話の内容を解析する。解析部５３は、キーボードの各種Ｉ／Ｆ４１から入力された入力情報に基づいて、ユーザの文字入力の内容を解析する。解析部５３は、タッチセンサの各種Ｉ／Ｆ４１から入力された入力情報に基づいて、ユーザがタッチ入力により選択した内容を解析する。解析部５３は、入力情報の解析結果をコンテキスト処理部５２と支援制御部５５に供給する。

情動処理部５４は、生体処理部５１から供給される生体信号の特徴量を用いてユーザの現在の情動の推定結果を求める。具体的には、情動処理部５４は、生体信号の特徴量に基づいて、ラッセル（RUSSELL）の感情円環モデルによりユーザの現在の情動の推定結果を表す。ラッセルの感情円環モデルとは、横軸を快感度とし、縦軸を覚醒度とした２次元平面を用いて、感情を円環状で表すモデルであり、情動の推定結果は、２次元平面上の座標で表すことができる。

また、情動処理部５４は、情動の推定結果と、コンテキスト処理部５２から供給されるコンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、ユーザの短期間（例えば１時間程度）先の情動を今後の情動として信頼度付きで予測する。具体的には、情動処理部５４は、情動の推定結果とコンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、ラッセルの感情円環モデルにおけるユーザの今後の情動の１以上の予測結果を求めるとともに、各予測結果の信頼度を求める。

例えば、ユーザがリビングのソファに座っている場合、今後覚醒度が下がることが予測される。従って、コンテキストの推定結果が、ユーザがリビングのソファに座っている状態である場合、情動処理部５４は、例えば、現在の情動の推定結果より覚醒度が低い予測結果に対する信頼度を、覚醒度が高い予測結果に対する信頼度に比べて高く設定する。

ユーザが仕事を開始した直後である場合、ユーザの覚醒度は高まることが予測されるが、仕事の継続時間が長くなるにつれて、徐々に覚醒度が低下することが予測される。従って、コンテキストの推定結果が、仕事中の状況であり、その状況の継続時間が所定の時間を超えている場合、情動処理部５４は、例えば、超えた時間に応じて、現在の情動の推定結果より覚醒度が低い予測結果に対する信頼度が上昇し、覚醒度が高い予測結果に対する信頼度が低下するように各予測結果の信頼度を設定する。

ユーザが仕事中である場合、今後の情動が突然変化する可能性が高いと予測される。従って、コンテキストの推定結果が仕事中である場合、情動処理部５４は、例えば、現在の情動の推定結果と異なる情動の予測結果に対する信頼度を高く設定する。一方、ユーザが余暇中である場合、今後の情動が継続する可能性が高いと予測される。従って、コンテキストの推定結果が余暇中である場合、情動処理部５４は、例えば、現在の情動の推定結果と同一の情動の予測結果に対する信頼度を高く設定する。

なお、情動処理部５４は、コンテキストの推定結果および予測結果のうちの少なくとも一方に基づいて、情動の推定結果を補正するようにしてもよい。例えば、コンテキストの推定結果が、ユーザがリビングのソファに座っている状態である場合、情動処理部５４は、情動の推定結果の覚醒度を低下させる補正を行う。

情動処理部５４は、コンテキストの推定結果と信頼度付き予測結果を支援制御部５５に供給する。

支援制御部５５は、設定部６１、決定部６２、および結果処理部６３により構成される。支援制御部５５には、情動処理部５４から情動の推定結果および予測結果が入力され、コンテキスト処理部５２からコンテキストの推定結果および予測結果が入力される。

具体的には、支援制御部５５の設定部６１は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザに対する支援の内容である支援内容を設定する。設定部６１は、設定された支援内容を支援部５７に供給する。

決定部６２は、データベース５６を参照して、情動およびコンテキストの推定結果のうちの少なくとも一方に基づいて、設定部６１により設定された支援内容に対応する支援方法の１つを、今回の支援方法に決定する。

また、決定部６２は、データベース５６を参照して、情動およびコンテキストの推定結果のうちの少なくとも一方に基づいて、今回の支援方法に対応する支援手段の１つを、今回の支援手段に決定する。決定部６２は、決定された支援方法と支援手段を支援部５７に供給する。

結果処理部６３は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部５３から供給される入力情報の解析結果に基づいて、ユーザに対する支援結果を生成する。具体的には、結果処理部６３は、入力情報の解析結果を、支援に対するユーザからのフィードバックとして解釈する。結果処理部６３は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果と、ユーザからのフィードバックとをユーザに対する支援結果とする。結果処理部６３は、その支援結果をデータベース５６（記憶部）に供給し、その支援結果が得られた際の支援の支援内容、支援方法、および支援手段に対応付けて支援結果テーブルとして記憶させる。この支援結果テーブルは、決定部６２による支援方法および支援手段の決定の際に用いられる。これにより、個々のユーザに最適な支援を行うことができる。

データベース５６は、支援内容ごとに、想定される支援方法と、その支援方法での支援が適したユーザの情動およびコンテキストの推定結果とを対応付けた支援方法テーブルを予め記憶している。データベース５６は、支援方法ごとに、想定される支援手段と、その支援手段での支援が適したユーザの情動およびコンテキストの推定結果とを対応付けた支援手段テーブルを予め記憶している。

また、データベース５６は、結果処理部６３から供給される支援結果と、その支援結果が得られた際の支援の支援内容、支援方法、および支援手段とを対応付けた支援結果テーブルを記憶する。

支援部５７は、設定部６１から供給される支援内容並びに決定部６２から供給される支援方法および支援手段にしたがって、ユーザを音声により支援する。具体的には、支援部５７は、支援内容、支援方法、および支援手段に対応する発話内容の音声がヒューマンインターフェースデバイス１３としてのスピーカから出力するようにスピーカを制御する制御情報を生成する。そして、支援部５７は、その制御情報をスピーカの各種Ｉ／Ｆ４１に供給する。これにより、スピーカから、支援内容、支援方法、および支援手段に対応する発話内容の音声が出力され、音声によるユーザ支援が行われる。

なお、データベース５６は、音声エージェント装置１４の内部に設けられるのではなく、外部に設けられ、有線または無線のネットワークを介して支援制御部５５と接続されるようにしてもよい。音声支援システム１０のIoTデバイス１２は、例えば、ユーザの居室などに設置される。

＜ラッセルの感情円環モデルの説明＞
図２は、ラッセルの感情円環モデルを示す図である。

図２に示すように、ラッセルの感情円環モデルは、横軸を快感度（快－不快）とし、縦軸を覚醒度（覚醒－非覚醒）とした２次元平面を用いて、各種の感情を円環状で表すモデルである。

例えば、「緊張」という感情は、不快、即ち快感度が低く、かつ、覚醒度が高い座標で表すことができる。「満足」という感情は、快感度が高く、かつ、覚醒度が低い座標で表すことができる。

以上のように、ラッセルの感情円環モデルでは、横軸を快感度とし、縦軸を覚醒度とした２次元平面を用いて各種の感情を表すことができる。従って、情動処理部５４は、ラッセルの感情円環モデルを用いて、ユーザの現在の情動の推定結果および今後の情動の予測結果を２次元平面上の座標で示す。

例えば、生体信号の特徴量が心拍の低周波と高周波である場合、情動処理部５４は、その低周波と高周波に基づいて、ユーザの現在の交感神経の状態を認識する。そして、例えば、ユーザの交感神経の状態が強く働いている状態である場合、情動処理部５４は、ユーザの現在の情動の推定結果の覚醒度に対応する縦方向の座標の値を高い値に決定する。生体信号の特徴量が脳波のθ波である場合、情動処理部５４は、そのθ波に基づいて、ユーザの現在の集中度を認識する。そして、例えば、ユーザの集中度が高い場合、情動処理部５４は、ユーザの現在の情動の推定結果の覚醒度に対応する縦方向の座標の値を高い値に決定する。

＜データベースの例＞
図３は、図１のデータベース５６に記憶される情報の例を示す図である。

図３では、データベース５６に記憶される、支援内容「次の予定に関するメッセージをユーザに伝達する」に対応する支援方法テーブル、「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブル、および支援結果テーブルを示している。

具体的には、図３の例では、支援内容「次の予定に関するメッセージをユーザに伝達する」に対応する支援方法テーブルには、支援方法を表す「端的に音声で伝達する」に対応付けて、適切な情動の推定結果を表す「覚醒度が高い」、適切なコンテキストの推定結果を表す「作業中」、不適切な情動の推定結果を表す「覚醒度が低い」、不適切なコンテキストの推定結果を表す「なし」、適切な今後の情動を表す「変化する可能性が高い」、適切な今後のコンテキストを表す「変化する可能性が高い」、不適切な今後の情動を表す「覚醒度が低い」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「端的に音声で伝達する」が表す支援方法とは、次の予定に関するメッセージの概要のみを音声でユーザに伝達（発信）する伝達方法（発信方法）である。

また、支援方法を表す「関連話題と共に音声で伝達する」に対応付けて、適切な情動の推定結果を表す「(なし)」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「覚醒度が高い」、不適切なコンテキストの推定結果を表す「変化する可能性が高い」、適切な今後の情動を表す「覚醒度が上昇する」、適切な今後のコンテキストが表す「変化しない」、不適切な今後の情動を表す「快感度が低い」、および不適切な今後のコンテキストを表す「変化する可能性が高い」が登録されている。なお、「関連話題と共に音声で伝達する」が表す支援方法とは、次の予定に関するメッセージの概要と共にそのメッセージに関連する情報も伝達する伝達方法である。

「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブルには、支援手段を表す「穏やかかつ優しく伝達する」に対応付けて、適切な情動の推定結果を表す「覚醒度が低い/快感度が低い」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「快感度が高い」、不適切なコンテキストの推定結果を表す「活動中」、適切な今後の情動を表す「覚醒度が低い」、適切な今後のコンテキストを表す「持続」、不適切な今後の情動を表す「(なし)」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「穏やかかつ優しく伝達する」が表す支援手段とは、穏やかで静かで優しい口調という伝達手段である。

また、支援手段「穏やかかつ明るく伝達する」に対応付けて、適切な情動の推定結果を表す「覚醒度が低い/快感度が高い」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「快感度が低い」、不適切なコンテキストの推定結果を表す「なし」、適切な今後の情動を表す「快感度が高い」、適切な今後のコンテキストを表す「持続」、不適切な今後の情動を表す「快感度が低い」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「穏やかかつ明るく伝達する」が表す支援手段とは、穏やかではあるが楽しく親しみやすい口調という伝達手段である。

支援結果テーブルには、過去の支援履歴として、支援内容「次の予定に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-001」、および支援手段を表す「YYY-001」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。

ここで、支援方法テーブルの各支援方法には固有の番号が付与されており、「XXX-001」が表す支援方法とは、その番号が「XXX-001」である支援方法である。図３の例では、「端的に音声で伝達する」が表す支援方法に番号「XXX-001」が付与されている。同様に、「YYY-001」が表す支援手段とは、支援手段テーブルの各支援手段に付与された固有の番号が「YYY-001」である支援手段である。図３の例では、「穏やかかつ優しく伝達する」が表す支援手段に番号「YYY-001」が付与されている。

支援結果テーブルにはまた、支援内容「次の予定に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-002」、および支援手段を表す「YYY-002」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。

なお、図３の例では、「関連話題と共に音声で伝達する」が表す支援方法に番号「XXX-002」が付与されており、この支援方法が、「XXX-002」が表す支援方法である。支援手段「穏やかかつ明るく伝達する」が表す支援手段に番号「YYY-002」が付与されており、この支援手段が、「YYY-002」が表す支援手段である。

支援結果テーブルに登録されている、支援後の情動の推定結果の覚醒度が支援前の情動の推定結果の覚醒度に比べて高い場合、決定部６２は、実施された支援がユーザの気を引くものであったと判断することができる。支援後の情動の推定結果の快感度が支援前の情動の推定結果の快感度に比べて低い場合、決定部６２は、実施された支援がユーザにとって不快なものであったと判断することができる。

また、支援結果テーブルにおいて、支援内容「歩行中の危険を警告するメッセージをユーザに伝達する」に対応付けて登録されている支援前後のコンテキストの推定結果が変化しない場合、決定部６２は、実施された支援が十分ではないと判断することができる。この場合、決定部６２は、次回の支援手段を、今回の支援手段とは異なる支援手段、例えば支援手段「大音量」などに決定する。

以上のように、音声エージェント装置１４は、支援結果テーブルを生成することにより、ユーザに適した支援方法および支援手段を、支援前後のユーザの情動およびコンテキストの推定結果に基づいて学習することができる。この学習は、ユーザから入力される明示的なフィードバックにのみ基づいて学習する場合に比べて効率的である。

なお、データベース５６に記憶される支援方法テーブル、支援手段テーブル、および支援結果テーブルは、図３の例に限定されない。例えば、支援方法テーブルには、支援方法が表す「関連話題と共に音声で伝達する」に対応付けて、適切なコンテキストの推定結果を表す「余暇中」が登録されるようにしてもよい。これにより、ユーザが余暇中である場合、即ち現在の情動が継続する可能性が高い場合、「関連話題と共に音声で伝達する」が表す支援方法が今回の支援方法に決定され、継続性の高い会話を行うことができる。

＜音声支援システムによる処理の概要の例＞
図４は、図１の音声支援システム１０による処理の概要の例を示す図である。

図４に示すように、例えば、コンテキスト処理部５２によるコンテキストの推定結果が「仕事中」であり、かつ、信頼度の高いコンテキストの予測結果が「３０分後に買い物に行く」である場合、または、解析部５３による解析結果が、ユーザからの「次の予定は？」という問いかけである場合、設定部６１は、支援内容を「次の予定に関するメッセージをユーザに伝達する」に設定する。

決定部６２は、データベース５６に記憶されている支援内容「次の予定に関するメッセージをユーザに伝達する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの１つを選択して読み出す。なお、このとき、決定部６２は、支援結果テーブルに基づいて、選択候補の支援方法のうちの、その支援方法に対応付けて登録されている支援結果が最も望ましいものを選択する。

例えば、コンテキストの推定結果が仕事中である場合、決定部６２は、図３の支援方法テーブルから、適切なコンテキストの推定結果を表す「作業中」に対応付けられた、番号「XXX-001」の「端的に音声で伝達する」が表す支援方法を選択候補とする。そして、図３の支援結果テーブルにおいて番号「XXX-001」に対応する支援後の情動またはコンテキストの推定結果が、支援方法テーブルにおいて番号「XXX-001」に対応する適切な今後の情動またはコンテキストである場合、決定部６２は、この選択候補を今回の支援方法に決定して読み出す。その結果、ユーザが仕事中である場合、即ちユーザの今後の情動が突然変化する可能性が高い場合、次の予定に関するメッセージが端的にユーザに伝達され、瞬間性を重視した会話を行うことができる。

また、決定部６２は、データベース５６に記憶されている今回の支援方法に対応する支援手段テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援手段のうちの１つを選択して読み出す。なお、このとき、決定部６２は、支援結果テーブルに基づいて、選択候補の支援手段のうちの、その支援手段に対応付けて登録されている支援結果が最も望ましいものを選択する。

例えば、情動の推定結果の快感度が低い場合、決定部６２は、図３の支援手段テーブルから、適切な情動の推定結果を表す「快感度が低い」に対応付けられた、番号「YYY-001」の支援手段「穏やかで静かで優しい口調」を選択候補とする。そして、図３の支援結果テーブルにおいて番号「YYY-001」に対応する支援後の情動またはコンテキストの推定結果が、支援手段テーブルにおいて番号「YYY-001」に対応する適切な今後の情動またはコンテキストである場合、決定部６２は、この選択候補を今回の支援手段に決定して読み出す。

支援部５７は、設定部６１により設定された支援内容並びに決定部６２により決定された支援方法および支援手段に基づいて、音声で次の予定に関するメッセージをユーザに伝達するという支援を行う。具体的には、支援部５７は、支援内容、支援方法、および支援手段に基づいて、次の予定に関するメッセージをスピーカが出力するように制御する制御情報を生成し、スピーカの各種Ｉ／Ｆ４１に供給する。例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法に決定され、今回の支援手段が支援手段「穏やかで静かで優しい口調」に決定された場合、支援部５７は、穏やかで静かで優しい口調で次の予定に関するメッセージの概要のみを伝達する音声をスピーカから出力するように制御情報を生成し、スピーカの各種Ｉ／Ｆ４１に供給する。これにより、穏やかで静かで優しい口調で次の予定に関するメッセージの概要のみを伝達する音声がスピーカから出力される。

なお、次の予定に関するメッセージの概要のみを伝達する音声とは、例えば「妻と買い物の予定です。」という次の予定を端的に伝達する音声である。一方、「関連話題と共に音声で伝達する」が表す支援方法にしたがって次の予定に関するメッセージをユーザに伝達する音声は、例えば「妻と買い物の予定です。雨の予報です。ガソリンが少なくなっています。」という、次の予定と次の予定に関連する情報の両方を伝達する音声である。

支援部５７による支援後、結果処理部６３は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部５３から供給される入力情報の解析結果に基づいて、支援結果を生成する。そして、結果処理部６３は、その支援結果を、今回の支援内容、支援方法、および支援手段に対応付けて、データベース５６内の支援結果テーブルに登録する。例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法であり、支援手段が支援手段「穏やかで静かで優しい口調」である場合、図３に示した支援結果テーブルの最も左側の情報が登録される。

＜音声エージェント装置の処理の説明＞
図５は、図１の音声エージェント装置１４の音声支援処理を説明するフローチャートである。この音声支援処理は、例えば、音声支援システム１０の開始が指示されたとき、開始される。

図５のステップＳ１０において、音声エージェント装置１４の解析部５３は、各種Ｉ／Ｆ４１から入力される入力情報に基づいてユーザからの入力の内容を解析する解析処理を開始する。

ステップＳ１１において、生体処理部５１は、生体センサ２１から入力される生体信号に対して生体信号処理を開始する。生体信号処理とは、動きセンサ２２から入力される生体付随情報に基づいて生体信号のノイズを除去し、ノイズ除去後の生体信号から各種の特徴量を抽出する処理である。

また、コンテキスト処理部５２は、環境センサ３１から入力される環境情報とステップＳ１０で開始された解析処理の結果の少なくとも一方に基づいてコンテキストの推定結果と予測結果を求めるコンテキスト処理を開始する。

ステップＳ１２において、情動処理部５４は、情動の推定結果と予測結果を求める情動処理を開始する。情動処理では、情動の推定結果が、ステップＳ１１で開始された生体信号処理により得られる特徴量を用いて求められる。また、情動の予測結果が、情動の推定結果と、ステップＳ１１で開始されたコンテキスト処理により得られるコンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて求められる。

ステップＳ１３において、音声エージェント装置１４は、音声支援処理を終了するかどうかを判定する。例えば、解析処理による結果が音声支援処理の終了を示す内容である場合、音声エージェント装置１４は、音声支援処理を終了すると判定する。ステップＳ１３で音声支援処理を終了すると判定された場合、音声エージェント装置１４は、解析処理、生体信号処理、コンテキスト処理、および情動処理を終了し、音声支援処理は終了する。

一方、ステップＳ１３で音声支援処理を終了しないと判定された場合、処理はステップＳ１４に進む。

ステップＳ１４において、支援制御部５５は、既に支援部５７による支援が行われたかどうかを判定する。ステップＳ１４で既に支援部５７による支援が行われたと判定された場合、処理はステップＳ１５に進む。

ステップＳ１５において、支援制御部５５の結果処理部６３は、データベース５６内の支援結果テーブルを更新する。この支援結果テーブルの更新には、コンテキスト処理により求められる支援前後のコンテキストの推定結果および情動処理により求められる支援前後の情動の推定結果のうちの少なくとも一方と解析処理による解析結果とに基づいて生成された支援結果が用いられる。そして、処理はステップＳ１６に進む。

一方、ステップＳ１４でまだ支援が行われていないと判定された場合、処理はステップＳ１６に進む。

ステップＳ１６において、設定部６１は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザに対して支援を行う必要があるかどうかを判定する。ステップＳ１６でユーザに対して支援を行う必要があると判定された場合、処理はステップＳ１７に進む。ステップＳ１７において、設定部６１は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、支援内容を設定する。

ステップＳ１８において、決定部６２は、データベース５６を参照して、情動およびコンテキストの推定結果のうちの少なくとも一方とステップＳ１７で設定された支援内容とに基づいて、今回の支援方法および支援手段を決定する。

ステップＳ１９において、支援部５７は、ステップＳ１７で設定された支援内容並びにステップＳ１８で決定された支援方法および支援手段にしたがって制御情報を生成し、スピーカの各種Ｉ／Ｆ４１に供給することにより、ユーザに対して音声による支援を行う。そして、処理はステップＳ１３に戻り、ステップＳ１３以降の処理が繰り返される。

一方、ステップＳ１６で支援を行う必要がないと判定された場合、支援は行われず、処理はステップＳ１３に戻り、ステップＳ１３以降の処理が繰り返される。

以上のように、音声エージェント装置１４は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。従って、ユーザの今後の状態を予測してユーザを支援することができる。また、音声エージェント装置１４は、支援結果テーブルを参照して、支援方法および支援手段を決定する。従って、ユーザに対する支援をパーソナライゼーション（個人最適化）することができる。

＜第２実施の形態＞
＜自転車ナビゲーションシステムの構成例＞
図６は、本技術を適用した情報処理装置としてのナビゲーション装置を含む自転車ナビゲーションシステムの構成例を示すブロック図である。

図６の自転車ナビゲーションシステム１００において、図１の音声支援システム１０と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、音声支援システム１０と異なる部分に着目して説明する。

自転車ナビゲーションシステム１００は、ヒアラブルデバイス１０１、IoTデバイス１０２、１以上のヒューマンインターフェースデバイス１０３、およびナビゲーション装置１０４により構成される。自転車ナビゲーションシステム１００は、自転車に乗っているユーザに対して、緊急度や重要度に応じて、ユーザが設定した目的地までの道順の案内や危険の警告を行うことにより、ユーザを支援する。

具体的には、ヒアラブルデバイス１０１は、ユーザの耳に装着される。ヒアラブルデバイス１０１は、環境センサ３１が新たに設けられる点が図１のウェアラブルデバイス１１と異なり、その他はウェアラブルデバイス１１と同様に構成されている。ヒアラブルデバイス１０１により取得された環境情報は、ナビゲーション装置１０４に入力される。

IoTデバイス１０２は、例えば自転車に設置され、自転車に乗っているユーザの周囲の画像を取得する全方位画像センサ１１１を有する。全方位画像センサ１１１により取得されたユーザの周囲の画像は環境情報としてナビゲーション装置１０４に入力される。

ヒューマンインターフェースデバイス１０３としては、ユーザからの入力を受け付ける入力デバイスやユーザに対して出力する出力デバイスがある。入力デバイスとしては、マイク、タッチセンサ、感圧センサ等があり、出力デバイスとしては、イヤホン、振動装置等がある。

ヒューマンインターフェースデバイス１０３は、ユーザとのインタラクションを行う各種Ｉ／Ｆ１２１を有する。例えば、マイク、タッチセンサ、および感圧センサの各種Ｉ／Ｆ１２１は、各種Ｉ／Ｆ４１と同様に入力情報をナビゲーション装置１０４に入力する。イヤホンや振動装置の各種Ｉ／Ｆ１２１は、ナビゲーション装置１０４から入力される制御情報に基づいて、ユーザに対して音声や振動を出力することにより支援を行う。

ヒアラブルデバイス１０１、IoTデバイス１０２、およびヒューマンインターフェースデバイス１０３と、ナビゲーション装置１０４との情報のやり取りは、有線または無線のネットワークを介して行われる。

ナビゲーション装置１０４は、コンテキスト処理部５２、データベース５６、支援部５７の代わりに、コンテキスト処理部１３１、データベース１３２、支援部１３３が設けられる点が音声エージェント装置１４と異なっており、その他は音声エージェント装置１４と同様に構成されている。

ナビゲーション装置１０４のコンテキスト処理部１３１は、コンテキストの推定に用いられる環境情報が、環境センサ３１と全方位画像センサ１１１の少なくとも一方から入力されるものである点が図１のコンテキスト処理部５２と異なり、その他はコンテキスト処理部５２と同様に構成されている。

データベース１３２は、データベース５６と同様に、支援方法テーブル、支援手段テーブル、および支援結果テーブルを記憶するが、この支援方法テーブルおよび支援手段テーブルは、ナビゲーション装置１０４による支援に適したものであり、支援結果テーブルは、ナビゲーション装置１０４による支援に対応するものである。

支援部１３３は、設定部６１から供給される支援内容並びに決定部６２から供給される支援方法および支援手段にしたがって、ユーザを音声または振動により支援する。

具体的には、支援部１３３は、支援内容、支援方法、および支援手段に対応する発話内容の音声がヒューマンインターフェースデバイス１０３としてのイヤホンから出力するようにイヤホンを制御する制御情報を生成する。そして、支援部１３３は、その制御情報をイヤホンの各種Ｉ／Ｆ１２１に供給する。これにより、イヤホンから、支援内容、支援方法、および支援手段に対応する発話内容の音声が出力され、音声によるユーザ支援が行われる。

また、支援部１３３は、支援内容、支援方法、および支援手段に対応する振動がヒューマンインターフェースデバイス１０３としての振動装置から出力するように振動装置を制御する制御情報を生成する。そして、支援部１３３は、その制御情報を振動装置の各種Ｉ／Ｆ１２１に供給する。これにより、振動装置から、支援内容、支援方法、および支援手段に対応する振動が出力され、振動によるユーザ支援が行われる。

なお、ヒアラブルデバイス１０１とヒューマンインターフェースデバイス１０３は一体化されていてもよい。データベース１３２は、ナビゲーション装置１０４の内部に設けられるのではなく、外部に設けられ、有線または無線のネットワークを介して支援制御部５５と接続されるようにしてもよい。

＜データベースの例＞
図７は、図６のデータベース１３２に記憶される情報の例を示す図である。

図７では、データベース１３２に記憶される、支援内容「次の道筋に関するメッセージをユーザに伝達する」に対応する支援方法テーブル、「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブル、および支援結果テーブルを示している。

具体的には、図７の例では、支援内容「次の道筋に関するメッセージをユーザに伝達する」に対応する支援方法テーブルには、図３の番号「XXX-001」および番号「XXX-002」の支援方法が登録されている。

「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブルには、支援手段を表す「明確に伝達する」に対応付けて、適切な情動の推定結果を表す「（なし）」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「（なし）」、不適切なコンテキストの推定結果を表す「（なし）」、適切な今後の情動を表す「覚醒度が上昇する」、適切な今後のコンテキストを表す「（なし）」、不適切な今後の情動を表す「覚醒度が低下する」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「明確に伝達する」が表す支援手段とは、的確な口調（ニュース風の口調）という伝達手段である。この支援手段には、番号「YYY-003」が付与されている。

また、支援手段を表す「強い口調で伝達する」に対応付けて、適切な情動の推定結果を表す「覚醒度が低い」、適切なコンテキストの推定結果を表す「活動中」、不適切な情動の推定結果を表す「なし」、不適切なコンテキストの推定結果を表す「快感度が低い」、適切な今後の情動を表す「覚醒度が上昇する/高い」、適切な今後のコンテキストを表す「(なし)」、不適切な今後の情動を表す「(なし)」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「強い口調で伝達する」が表す支援手段とは、警告音と命令口調という伝達手段である。この支援手段には、番号「YYY-004」が付与されている。

支援結果テーブルには、支援内容「次の道筋に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-001」、および支援手段を表す「YYY-003」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。

支援内容「次の道筋に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-002」、および支援手段を表す「YYY-004」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。

なお、データベース１３２に記憶される支援方法テーブル、支援手段テーブル、および支援結果テーブルは、図７の例に限定されない。

例えば、支援内容「危険を警告するメッセージをユーザに伝達する」に対応する支援方法が図７の番号「XXX-001」と「XXX-002」の支援方法である場合、「音声で伝達する」を含む支援方法に対応する支援手段テーブルにおいて、適切な情動の推定結果を表す「覚醒度が上昇した」に対応付けて、支援方法「優しい口調」が登録されるようにしてもよい。

これにより、例えばコンテキストの推定結果が「危険物がある」であり、支援内容「危険を警告するメッセージをユーザに伝達する」が設定された場合、「音声で伝達する」を含む支援方法が選択されると、ユーザの覚醒度が上昇する、即ちユーザが警告される危険に気付いていると推測されるときには、優しい口調で危険を警告するメッセージがユーザに伝達される。その結果、ユーザが既に気付いている危険に対して厳しい口調で警告を行うことによりユーザに不快感を与えることを防止することができる。

一方、適切な情動の推定結果を表す「覚醒度が上昇しない」に対応付けて、支援方法「大音量」が登録されるようにしてもよい。これにより、ユーザの覚醒度が上昇しない、即ちユーザが警告される危険に気付いていないと推測される場合、大音量で危険を警告するメッセージがユーザに伝達される。その結果、ユーザが気付いていない危険に対してユーザの注意を引き付け、ユーザに危険を回避させることができる。

なお、支援方法「端的に音声で伝達する」にしたがった支援内容「前方に危険物があることを警告するメッセージをユーザに伝達する」の支援における音声は、例えば、「前方危険物あり」という前方に危険物があることを端的に警告する音声である。

＜自転車ナビゲーションシステムによる処理の概要の例＞
図８は、図６の自転車ナビゲーションシステム１００による処理の概要の例を示す図である。

図８に示すように、例えば、コンテキスト処理部１３１によるコンテキストの推定結果が「〇〇まで自転車で移動中」であり、かつ、信頼度の高いコンテキストの予測結果が「移動を継続」である場合、または、解析部５３による解析結果が、ユーザからの「〇〇までナビして」という問いかけである場合、設定部６１は、支援内容を「次の道筋に関するメッセージをユーザに伝達する」に設定する。

決定部６２は、データベース１３２に記憶されている支援内容「次の道筋に関するメッセージをユーザに伝達する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの１つを選択して読み出す。なお、このとき、決定部６２は、支援結果テーブルに基づいて、選択候補の支援方法のうちの、その支援方法に対応付けて登録されている支援結果が最も望ましいものを選択する。

例えば、情動の推定結果の覚醒度が高い場合、決定部６２は、図７の支援方法テーブルから、適切な情動の推定結果を表す「覚醒度が高い」に対応付けられた、番号「XXX-001」の「端的に音声で伝達する」が表す支援方法を選択候補とする。そして、図７の支援結果テーブルにおいて番号「XXX-001」に対応する支援後の情動またはコンテキストの推定結果が、支援方法テーブルにおいて番号「XXX-001」に対応する適切な今後の情動またはコンテキストである場合、決定部６２は、この選択候補を今回の支援方法に決定して読み出す。

また、決定部６２は、データベース１３２に記憶されている今回の支援方法に対応する支援手段テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援手段のうちの１つを選択して読み出す。なお、このとき、決定部６２は、支援結果テーブルに基づいて、選択候補の支援手段のうちの、その支援手段に対応付けて登録されている支援結果が最も望ましいものを選択する。

例えば、決定部６２は、図７に示した支援方法テーブルから、番号「YYY-003」の支援手段「的確な口調」を選択候補とする。そして、例えば、図７の支援結果テーブルにおいて支援手段「的確な口調」に対応する支援後の情動の推定結果が、支援手段テーブルにおいて番号「YYY-003」に対応する支援後の情動またはコンテキストの推定結果が、支援手段テーブルにおいて番号「YYY-003」に対応する適切な今後の情動またはコンテキストである場合、決定部６２は、この選択候補を今回の支援手段に決定して読み出す。

支援部１３３は、設定部６１により設定された支援内容並びに決定部６２により決定された支援方法および支援手段に基づいて、次の道筋に関するメッセージをナビゲーション情報としてユーザに伝達するという支援を行う。具体的には、支援部１３３は、支援内容、支援方法、および支援手段に基づいて制御情報を生成し、各種Ｉ／Ｆ１２１に供給する。

例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法に決定され、今回の支援手段が支援手段「的確な口調」に決定された場合、支援部１３３は、的確な口調で次の道順に関するメッセージの概要のみを伝達する音声をスピーカが出力するように制御情報を生成し、スピーカの各種Ｉ／Ｆ１２１に供給する。これにより、的確な口調で次の道順に関するメッセージの概要のみを伝達する音声がスピーカから出力される。

なお、次の道順に関するメッセージの概要のみを伝達する音声とは、例えば「300メートル先、右折です。」、「次の角を右折です。」という次の道順を端的に伝達する音声である。一方、「関連話題と共に音声で伝達する」が表す支援方法にしたがって次の道順に関するメッセージをユーザに伝達する音声は、例えば「300メートル先、右折です。その先渋滞しています。雨が降りそうです。」という、次の道順と次の道順に関連する情報の両方を伝達する音声となる。

支援部１３３による支援後、結果処理部６３は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部５３から供給される入力情報の解析結果に基づいて、支援結果を生成する。そして、結果処理部６３は、その支援結果を、今回の支援内容、支援方法、および支援手段に対応付けて、データベース１３２内の支援結果テーブルに登録する。例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法であり、支援手段が支援手段「的確な口調」である場合、図７に示した支援結果テーブルの最も左側の情報が登録される。

この支援結果テーブルは、次回の支援の支援方法や支援手段の決定に用いられる。例えば、支援結果テーブルにおいて、支援内容「次の道筋に関するメッセージをユーザに伝達する」、支援方法を表す番号「XXX-001」、および支援手段を表す番号「YYY-003」に対応する、支援前後の情動の推定結果の覚醒度が変化せず、支援前後のコンテキストの推定結果が表す自転車の速度も変化しない場合、支援後の情動およびコンテキストの推定結果は、その支援方法および支援手段に対応する適切な今後の情動およびコンテキストではない。即ち、このような場合、今回実施された支援がユーザの注意を引くものでなく、ユーザは次の道筋に関するメッセージを正確に受け取っていない可能性がある。従って、決定部６２は、例えば、次回の支援手段を番号「YYY-003」の支援手段以外のユーザの注意を引く支援手段に決定する。

例えば、決定部６２は、番号「YYY-004」の支援手段を次回の支援手段に決定する。これにより、次回の支援時に、「ピンポン」という警告音が出力された後、次の道筋に関するメッセージが命令口調でユーザに伝達される。なお、番号「YYY-003」の支援手段による支援時にも、警告音以外の音であれば、次の道筋に関するメッセージの前に音が出力されてもよい。

または、支援手段テーブルに支援手段「大音量」が登録されている場合、決定部６２は、その支援手段を選択する。これにより、次の道筋に関するメッセージが大音量でユーザに伝達される。または、支援手段テーブルに支援手段「注意を引く語尾」が登録されている場合、決定部６２は、その支援手段を選択する。これにより、「次の角を右折ですよ」、「次の角を右折です。右折です。」などの通常とは異なる語尾を有する次の道筋に関するメッセージがユーザに伝達される。

なお、ここでは、決定部６２が支援結果テーブルを用いて支援手段を決定する場合について説明したが、支援方法を決定する場合も同様である。以上のように、決定部６２は、支援結果テーブルを用いて支援方法や支援手段を決定することにより、ユーザが確実に次の道筋に関するメッセージを受け取るようにすることができる。

自転車ナビゲーションシステム１００により行われるナビゲーション処理の流れは、図５の音声支援処理の流れと基本的に同様であるので、説明は省略する。

以上のように、ナビゲーション装置１０４は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。従って、ユーザの今後の状態を予測してユーザを支援することができる。また、ナビゲーション装置１０４は、支援結果テーブルを参照して、支援方法および支援手段を決定する。従って、ユーザに対する支援を個人最適化することができる。

＜第３実施の形態＞
＜ペット型ロボットシステムの構成例＞
図９は、本技術を適用した情報処理装置としてのペット型ロボットエージェント装置を含むペット型ロボットシステムの構成例を示すブロック図である。

図９のペット型ロボットシステム２００において、図１の音声支援システム１０と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、音声支援システム１０と異なる部分に着目して説明する。

図９のペット型ロボットシステム２００は、1以上のウェアラブルデバイス１１とペット型ロボット２０１により構成される。ペット型ロボットシステム２００は、ユーザのストレスを管理し、ストレスが軽減するようにユーザを支援する。

具体的には、ペット型ロボットシステム２００のペット型ロボット２０１は、１以上のIoTデバイス１２、１以上のヒューマンインターフェースデバイス２１１、およびペット型ロボットエージェント装置２１２を含む。

ヒューマンインターフェースデバイス２１１としては、ユーザからの入力を受け付ける入力デバイスやユーザに対して出力を行う出力デバイスがある。入力デバイスとしては、ペット型ロボット２０１の耳としてのマイク、タッチセンサ、感圧センサ等があり、出力デバイスとしては、ペット型ロボット２０１の口としてのスピーカ、ペット型ロボットの各部位（図示せず）を駆動する駆動部等がある。

ヒューマンインターフェースデバイス２１１は、ユーザとのインタラクションを行う各種Ｉ／Ｆ２２１を有する。例えば、マイク、タッチセンサ、および感圧センサの各種Ｉ／Ｆ２２１は、各種Ｉ／Ｆ４１と同様に入力情報をナビゲーション装置１０４に入力する。スピーカの各種Ｉ／Ｆ２２１は、ペット型ロボットエージェント装置２１２から入力される制御情報に基づいて、ユーザに対して音声を出力することにより支援を行う。駆動部の各種Ｉ／Ｆ２２１は、ペット型ロボットエージェント装置２１２から入力される制御情報に基づいて、ペット型ロボット２０１の各部位を駆動することにより支援を行う。

ウェアラブルデバイス１１とペット型ロボット２０１との情報のやり取りは、有線または無線のネットワークを介して行われる。

ペット型ロボットエージェント装置２１２は、データベース５６、支援部５７の代わりにデータベース２３１、支援部２３２が設けられる点が音声エージェント装置１４と異なり、その他は音声エージェント装置１４と同様に構成されている。

ペット型ロボットエージェント装置２１２のデータベース２３１は、データベース５６と同様に、支援方法テーブル、支援手段テーブル、および支援結果テーブルを記憶するが、この支援方法テーブルおよび支援手段テーブルは、ペット型ロボットエージェント装置２１２による支援に適したものであり、支援結果テーブルは、ペット型ロボットエージェント装置２１２による支援に対応するものである。

支援部２３２は、設定部６１から供給される支援内容並びに決定部６２から供給される支援方法および支援手段にしたがって、ペット型ロボット２０１を介してユーザを支援する。

具体的には、支援部２３２は、支援部５７と同様に、スピーカを制御する制御情報を生成してスピーカの各種Ｉ／Ｆ３２１に供給することにより、ペット型ロボット２０１の音声によるユーザ支援を行う。

また、支援部２３２は、支援内容、支援方法、および支援手段に対応する動作をペット型ロボット２０１が行うように駆動部を制御する制御情報を生成する。そして、支援部２３２は、その制御情報を駆動部の各種Ｉ／Ｆ２２１に供給する。これにより、ペット型ロボット２０１が所定の動作を行い、ペット型ロボット２０１の動作によるユーザ支援が行われる。

なお、ペット型ロボット２０１のIoTデバイス１２の画像センサは、例えば、ペット型ロボット２０１の目として設置される。データベース２３１は、ペット型ロボット２０１の内部に設けられるのではなく、外部に設けられ、有線または無線のネットワークを介して支援制御部５５と接続されるようにしてもよい。

＜データベースの例＞
図１０は、図９のデータベース２３１に記憶される情報の例を示す図である。

図１０では、データベース２３１に記憶される、支援内容「ユーザに休憩を提案する」に対応する支援方法テーブル、支援方法「ペット型ロボットの動作を介して提案する」に対応する支援手段テーブル、および支援結果テーブルを示している。

具体的には、図１０の例では、支援内容「ユーザに休憩を提案する」に対応する支援方法テーブルには、支援方法を表す「端的に音声で提案する」に対応付けて、適切な情動の推定結果を表す「覚醒度が高い」、適切なコンテキストの推定結果を表す「作業中」、不適切な情動の推定結果を表す「覚醒度が低い」、不適切なコンテキストの推定結果を表す「行動中」、適切な今後の情動を表す「変化する可能性が高い」、適切な今後のコンテキストを表す「変化する可能性が高い」、不適切な今後の情動を表す「覚醒度が低い」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「端的に音声で提案する」が表す支援方法とは、提案内容に関するメッセージの概要のみを音声で伝達する提案方法である。

支援方法を表す「ペット型ロボットの動作を介して提案する」に対応付けて、適切な情動の推定結果を表す「(なし)」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「覚醒度が高い」、不適切なコンテキストの推定結果を表す「他人がいる」、適切な今後の情動を表す「覚醒度が低下する」、適切な今後のコンテキストが表す「変化しない」、不適切な今後の情動を表す「覚醒度が上昇する」、および不適切な今後のコンテキストを表す「変化する可能性が高い」が登録されている。なお、「ペット型ロボットの動作を介して提案する」が表す支援方法とは、ペット型ロボット２０１の動作を介してユーザが提案内容を行うように導く提案方法である。

支援方法「ペット型ロボットの動作を介して提案する」に対応する支援手段テーブルには、支援手段を表す「見つめて甘えた声を出す」に対応付けて、適切な情動の推定結果を表す「覚醒度が高い」、適切なコンテキストの推定結果を表す「作業中」、不適切な情動の推定結果を表す「覚醒度が低い／快感度が低い」、不適切なコンテキストの推定結果を表す「なし」、適切な今後の情動を表す「覚醒度が低い」、適切な今後のコンテキストを表す「休憩中」、不適切な今後の情動を表す「覚醒度が高い」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「見つめて甘えた声を出す」が表す支援手段とは、心配そうな目で見つめて甘えた声を出す動作という提案手段である。この支援手段には、番号「WWW-001」が付与されている。

また、支援手段を表す「じゃれる」に対応付けて、適切な情動の推定結果を表す「覚醒度が低い」、適切なコンテキストの推定結果を表す「休憩中」、不適切な情動の推定結果を表す「快感度が低い」、不適切なコンテキストの推定結果を表す「活動中」、適切な今後の情動を表す「快感度が高い」、適切な今後のコンテキストを表す「持続」、不適切な今後の情動を表す「快感度が低い」、および不適切な今後のコンテキストを表す「変化する」が登録される。なお、「じゃれる」が表す支援手段とは、ユーザの周りでたわむれる動作という提案手段である。この支援手段には、番号「WWW-002」が付与されている。

支援結果テーブルには、支援内容「ユーザに休憩を提案する」、支援方法を表す「ZZZ-001」、および支援手段を表す「YYY-001」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。図１０の例では、「音声で提案する」を含む支援方法に対応する支援手段テーブルに、図３の番号「YYY-001」の支援手段が登録されている。

支援内容「ユーザに休憩を提案する」、支援方法を表す「ZZZ-003」、および支援手段を表す「WWW-001」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。

なお、データベース２３１に記憶される支援方法テーブル、支援手段テーブル、および支援結果テーブルは、図１０の例に限定されない。

＜ペット型ロボットシステムによる処理の概要の例＞
図１１は、図９のペット型ロボットシステム２００による処理の概要の例を示す図である。

図１１に示すように、例えば、コンテキスト処理部５２によるコンテキストの推定結果が「ユーザが長時間作業をしている」であり、信頼度が高いコンテキストの予測結果が「作業が継続する」であり、かつ、情動処理部５４による情動の推定結果および信頼度が高い予測結果が、「長時間覚醒度が高い」である場合、設定部６１は、支援内容を「ユーザに休憩を提案する」に設定する。即ち、ユーザが長時間集中して作業を行っている場合、ユーザのストレスが高いため、設定部６１は、ユーザに休憩を提案する支援を行い、ユーザをリラックスさせる。

決定部６２は、データベース２３１に記憶されている支援内容「ユーザに休憩を提案する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの１つを選択して読み出す。なお、このとき、決定部６２は、支援結果テーブルに基づいて、選択候補の支援方法のうちの、その支援方法に対応付けて登録されている支援結果が最も望ましいものを選択する。

例えば、情動の推定結果の覚醒度が高いので、決定部６２は、図１０の支援方法テーブルから、適切な情動の推定結果を表す「覚醒度が高い」に対応付けられた、番号「ZZZ-001」の「端的に音声で提案する」が表す支援方法を選択候補とする。そして、図１０の支援結果テーブルにおいて番号「ZZZ-001」に対応する支援後の情動またはコンテキストの推定結果が、支援方法テーブルにおいて番号「ZZZ-001」に対応する適切な今後の情動またはコンテキストである場合、決定部６２は、この選択候補を今回の支援方法に決定して読み出す。

また、決定部６２は、データベース２３１に記憶されている今回の支援方法に対応する支援手段テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援手段のうちの１つを選択して読み出す。なお、このとき、決定部６２は、支援結果テーブルに基づいて、選択候補の支援手段のうちの、その支援手段に対応付けて登録されている支援結果が最も望ましいものを選択する。

例えば、「音声で提案する」を含む支援方法に対応する支援手段テーブルとして図３の番号「YYY-001」と「YYY-002」の支援手段が登録されており、情動の推定結果の快感度が低い場合、決定部６２は、その支援手段テーブルから、情動の推定結果を表す「快感度が低い」に対応付けられた、番号「YYY-001」の支援手段「穏やかで静かで優しい口調」を選択候補とする。そして、図１０の支援結果テーブルにおいて番号「YYY-001」に対応する支援後の情動またはコンテキストの推定結果が、支援手段テーブルにおいて番号「YYY-001」に対応する適切な今後の情動またはコンテキストである場合、決定部６２は、この支援手段を今回の支援手段に決定して読み出す。

支援部２３２は、設定部６１により設定された支援内容並びに決定部６２により決定された支援方法および支援手段に基づいて、ペット型ロボット２０１を介してユーザに休憩を提案するという支援を行う。具体的には、支援部２３２は、支援内容、支援方法、および支援手段に基づいて制御情報を生成し、各種Ｉ／Ｆ２２１に供給する。

例えば、今回の支援方法が「端的に音声で提案する」が表す支援方法に決定され、今回の支援手段が支援手段「穏やかで静かで優しい口調」に決定された場合、支援部２３２は、穏やかで静かで優しい口調で休憩の提案に関するメッセージの概要のみを伝達する音声をスピーカが出力するように制御情報を生成し、スピーカの各種Ｉ／Ｆ２２１に供給する。これにより、穏やかで静かで優しい口調で休憩の提案に関するメッセージの概要のみを伝達する音声がスピーカから出力される。なお、休憩の提案に関するメッセージの概要のみを伝達する音声とは、例えば「休憩しませんか？」という休憩を端的に提案する音声となる。

また、今回の支援方法が「ペット型ロボットの動作を介して提案する」が表す支援方法に決定され、今回の支援手段が支援手段「心配そうな眼で見つめて甘えた声を出す動作」に決定された場合、支援部２３２は、ペット型ロボット２０１がユーザに対して心配そうな眼で見つめる動作を行うように駆動部を制御する制御情報を生成し、駆動部の各種Ｉ／Ｆ２２１に供給する。また、支援部２３２は、甘えた声をスピーカが出力するように制御情報を生成し、スピーカの各種Ｉ／Ｆ２２１に供給する。以上により、ペット型ロボット２０１は、心配そうな眼で見つめて甘えた声を出す。

即ち、この場合、支援部２３２は、「休憩を取りましょう」という命令を行うのではなく、ペット型ロボット２０１にユーザが休憩を取りたくなるような動作を行わせることにより、ユーザに休憩を提案する支援を行う。

支援部２３２による支援後、結果処理部６３は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部５３から供給される入力情報の解析結果に基づいて、支援結果を生成する。そして、結果処理部６３は、その支援結果を、今回の支援内容、支援方法、および支援手段に対応付けて、データベース２３１内の支援結果テーブルに登録する。例えば、今回の支援方法が「端的に音声で提案する」が表す支援方法であり、支援手段が支援手段「穏やかで静かで優しい口調」である場合、図１０に示した支援結果テーブルの最も左側の情報が登録される。

この支援結果テーブルは、次回の支援の支援方法や支援手段の決定に用いられる。例えば、支援結果テーブルにおいて、支援内容「ユーザに休憩を提案する」、支援方法を表す番号「ZZZ-001」、および支援手段を表す番号「YYY-001」に対応する、支援後のコンテキストの推定結果が休憩中ではない場合、支援後のコンテキストの推定結果は、その支援方法および支援手段に対応する適切な今後のコンテキストではない。即ち、このような場合、今回実施された支援がユーザの注意を引くものでない可能性がある。従って、決定部６２は、次回の支援の支援方法および支援手段の少なくとも一方を、今回の支援とは異なるものに決定する。

例えば、決定部６２は、次回の支援方法として「ペット型ロボットの動作を介して提案する」が表す支援方法を選択し、その支援方法に対応する支援手段の１つである支援手段「ユーザに近付き体当たりする動作」を次回の支援手段として選択する。または、決定部６２は、次回の支援方法として「ペット型ロボットの動作を介して提案する」が表す支援方法を選択し、その支援方法に対応する支援手段の１つである支援手段「休憩に適した音楽を歌う動作」を次回の支援手段として選択する。

一方、コンテキストの推定結果および信頼度の高い予測結果が「休憩中」であり、情動の推定結果および信頼度の高い予測結果の覚醒度が低い場合、設定部６１は、支援内容を「ユーザに楽しい休憩を提供する」に設定する。この支援内容「ユーザに楽しい休憩を提供する」に対応する支援方法テーブルに「ペット型ロボットの動作を介して提供する」が表す支援方法が登録されている場合、決定部６２は、例えば、図１０の支援手段テーブルから支援手段「じゃれる」を今回の支援手段として読み出す。これにより、ユーザが現在休憩中で今後も休憩すると予測され、ユーザの覚醒度が低い状態が継続すると予測される場合に、ペット型ロボット２０１がユーザに対してじゃれる。

以上のように、ペット型ロボットエージェント装置２１２は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。従って、ユーザの今後の状態を予測してユーザを支援することができる。また、ペット型ロボットエージェント装置２１２は、支援結果テーブルを参照して、支援方法および支援手段を決定する。従って、ユーザに対する支援を個人最適化することができる。

＜第４実施の形態＞
＜運転支援システムの構成例＞
図１２は、本技術を適用した情報処理装置としての運転支援装置を含む運転支援システムの構成例を示すブロック図である。

図１２の運転支援システム３００において、図１の音声支援システム１０と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、音声支援システム１０と異なる部分に着目して説明する。

図１２の運転支援システム３００は、１以上のウェアラブルデバイス１１、１以上のIoTデバイス３０１、１以上のヒューマンインターフェースデバイス３０２、および運転支援装置３０３により構成される。運転支援システム３００は、例えば自動車などに組み込まれる。運転支援システム３００は、自動車などを運転しているユーザが快適かつ安全に運転することができるようにユーザを支援する。

具体的には、IoTデバイス３０１は、環境情報を取得する各種のセンサである環境センサ３１１を有する。環境センサ３１１としては、環境センサ３１と同様のGPSセンサ、画像センサ、超音波センサ、赤外線カメラ、加速度センサ、ジャイロセンサ、温湿度センサ、気象センサのほか、ユーザの周囲の交通情報を環境情報として取得する交通情報取得部等がある。IoTデバイス３０１は、環境センサ３１１により取得された環境情報を運転支援装置３０３に入力する。

ヒューマンインターフェースデバイス３０２としては、ユーザからの入力を受け付ける入力デバイスやユーザに対して出力を行う出力デバイスがある。入力デバイスとしては、マイク、タッチセンサ、感圧センサ等があり、出力デバイスとしては、スピーカ、振動装置、ディスプレイ等がある。ヒューマンインターフェースデバイス３０２は、ユーザとのインタラクションを行う各種Ｉ／Ｆ３２１を有する。マイク、タッチセンサ、および感圧センサの各種Ｉ／Ｆ３２１は、各種Ｉ／Ｆ４１と同様に入力情報をナビゲーション装置１０４に入力する。スピーカ、振動装置、およびディスプレイの各種Ｉ／Ｆ３２１は、それぞれ、運転支援装置３０３から入力される制御情報に基づいて、ユーザに対して音声、振動、映像を出力することにより支援を行う。

ウェアラブルデバイス１１、IoTデバイス３０１、およびヒューマンインターフェースデバイス３０２と、運転支援装置３０３との情報のやり取りは、有線または無線のネットワークを介して行われる。

運転支援装置３０３は、データベース５６、支援部５７の代わりに、データベース３３１、支援部３３２を設ける点が音声エージェント装置１４と異なっており、その他は音声エージェント装置１４と同様に構成されている。

運転支援装置３０３のデータベース３３１は、データベース５６と同様に、支援方法テーブル、支援手段テーブル、および支援結果テーブルを記憶するが、この支援方法テーブルおよび支援手段テーブルは、運転支援装置３０３による支援に適したものであり、支援結果テーブルは、運転支援装置３０３による支援に対応するものである。

支援部３３２は、設定部６１から供給される支援内容並びに決定部６２から供給される支援方法および支援手段にしたがって、ユーザを音声、振動、または映像により支援する。

具体的には、支援部３３２は、支援部５７と同様に、スピーカを制御する制御情報を生成してスピーカの各種Ｉ／Ｆ３２１に供給することにより、音声によるユーザ支援を行う。支援部３３２は、図６の支援部１３３と同様に、振動装置を制御する制御情報を生成して振動装置の各種Ｉ／Ｆ３２１に供給することにより、振動によるユーザ支援を行う。支援部３３２は、支援内容、支援方法、および支援手段に対応する映像がヒューマンインターフェースデバイス３０２としてのディスプレイに表示されるようにディスプレイを制御する制御情報を生成する。そして、支援部３３２は、その制御情報をディスプレイの各種Ｉ／Ｆ３２１に供給する。これにより、ディスプレイに、支援内容、支援方法、および支援手段に対応する映像が表示され、映像によるユーザ支援が行われる。

なお、データベース３３１は、運転支援装置３０３の内部に設けられるのではなく、外部に設けられ、有線または無線のネットワークを介して支援制御部５５と接続されるようにしてもよい。

＜データベースの例＞
図１３は、図１２のデータベース３３１に記憶される情報の例を示す図である。

図１３では、データベース３３１に記憶される、支援内容「BGM(Background Music)の変更をユーザに提案する」に対応する支援方法テーブル、「音声で提案する」を含む情報が表す支援方法に対応する支援手段テーブル、および支援結果テーブルを示している。

具体的には、図１３の例では、支援内容「BGMの変更をユーザに提案する」に対応する支援方法テーブルには、図１０の番号「ZZZ-001」の支援方法が登録されている。

支援方法を表す「関連話題と共に音声で提案する」に対応付けて、適切な情動の推定結果を表す「(なし)」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「覚醒度が高い」、不適切なコンテキストの推定結果を表す「変化する可能性が高い」、適切な今後の情動を表す「覚醒度が上昇する」、適切な今後のコンテキストが表す「変化しない」、不適切な今後の情動を表す「快感度が低い」、および不適切な今後のコンテキストを表す「変化する可能性が高い」が登録されている。この支援方法には番号「ZZZ-002」が付与されている。

「音声で提案する」を含む情報が表す支援方法に対応する支援手段テーブルには、図３の番号「YYY-001」と「YYY-002」の支援手段が登録されている。

支援結果テーブルには、支援内容「BGMの変更をユーザに提案する」、支援方法を表す「ZZZ-001」、および支援手段を表す「YYY-001」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。

支援内容「BGMの変更をユーザに提案する」、支援方法を表す「ZZZ-002」、および支援手段を表す「YYY-002」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。

なお、データベース３３１に記憶される支援方法テーブル、支援手段テーブル、および支援結果テーブルは、図１３の例に限定されない。

＜運転支援システムによる処理の概要の例＞
図１４は、図１２の運転支援システム３００による処理の概要の例を示す図である。

図１４に示すように、例えば、コンテキスト処理部５２によるコンテキストの推定結果が「渋滞中」であり、信頼度の高いコンテキストの予測結果が「渋滞解消」であり、かつ、情動処理部５４による情動の推定結果の快感度が低く、信頼度の高い情動の予測結果の快感度が高い場合、設定部６１は、支援内容を「渋滞解消に関するメッセージをユーザに伝達する」と「BGMの変更をユーザに提案する」に設定する。即ち、運転支援装置３０３は、渋滞中で不快なユーザに対して、渋滞の解消を伝達するとともにBGMの変更を提案する支援を行い、ユーザの状態を快感度が低い状態から高い状態に遷移させる。

決定部６２は、データベース３３１に記憶されている支援内容「渋滞解消に関するメッセージをユーザに伝達する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの１つを選択して読み出す。決定部６２は、データベース３３１に記憶されている支援内容「BGMの変更をユーザに提案する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの１つを選択して読み出す。なお、このとき、決定部６２は、支援結果テーブルに基づいて、選択候補の支援方法のうちの、その支援方法に対応付けて登録されている支援結果が最も望ましいものを選択する。

例えば、情動の推定結果の覚醒度が高い場合、決定部６２は、図１３の支援方法テーブルから、適切な情動の推定結果を表す「覚醒度が高い」に対応付けられた、番号「ZZZ-001」の「端的に音声で提案する」が表す支援方法を選択候補とする。そして、図１３の支援結果テーブルにおいて番号「ZZZ-001」に対応する支援後の情動またはコンテキストの推定結果が、支援方法テーブルにおいて、番号「ZZZ-001」に対応する適切な今後の情動またはコンテキストである場合、決定部６２は、この選択候補を今回の支援方法に決定して読み出す。

また、決定部６２は、データベース３３１に記憶されている今回の支援方法に対応する支援手段テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの１つを選択して読み出す。なお、このとき、決定部６２は、支援結果テーブルに基づいて、選択候補の支援手段のうちの、その支援手段に対応付けて登録されている支援結果が最も望ましいものを選択する。

例えば、情動の推定結果の快感度が低いので、決定部６２は、図１３の支援手段テーブルから、情動の推定結果を表す「快感度が低い」に対応付けられた、番号「YYY-001」の支援手段「穏やかで静かで優しい口調」を選択候補とする。そして、図１３の支援結果テーブルにおいて番号「YYY-001」に対応する支援後の情動またはコンテキストの推定結果が、支援手段テーブルにおいて番号「YYY-001」に対応する適切な今後の情動またはコンテキストである場合、決定部６２は、この選択候補を今回の支援手段に決定して読み出す。

支援部３３２は、設定部６１により設定された支援内容並びに決定部６２により決定された支援方法および支援手段に基づいて、渋滞解消に関するメッセージをユーザの運転を支援する運転支援情報としてユーザに伝達するという支援とBGMの変更をユーザに提案するという支援とを行う。

例えば、支援内容「BGMの変更をユーザに提案する」に対して、今回の支援方法として「端的に音声で伝達する」が表す支援方法が決定され、今回の支援手段として支援手段「穏やかで静かで優しい口調」が決定された場合、支援部３３２は、穏やかで静かで優しい口調でBGMの変更の提案に関するメッセージの概要のみを伝達する音声をスピーカが出力するように制御情報を生成し、スピーカの各種Ｉ／Ｆ３２１に供給する。これにより、穏やかで静かで優しい口調でBGMの変更の提案に関するメッセージの概要のみを伝達する音声がスピーカから出力される。

なお、BGMの変更の提案に関するメッセージの概要のみを伝達する音声とは、例えば「曲を〇〇（爽快なテンポの曲）に変更しませんか？」というBGMの変更を端的に提案する音声となる。一方、「関連話題と共に音声で提案する」が表す支援方法にしたがってBGMの変更の提案に関するするメッセージをユーザに伝達する音声は、例えば「曲を〇〇（爽快なテンポの曲）に変更しませんか？以前△△へドライブに行った際にも聴いていい気分になりましたよ。」という、BGMの変更の提案とその提案に関連する情報の両方を伝達する音声となる。

また、支援内容「渋滞解消に関するメッセージをユーザに伝達する」に対応する支援方法テーブルに、図７の番号「XXX-002」の支援方法が登録されている場合、この支援方法にしたがって渋滞解消に関するメッセージをユーザに伝達する音声は、例えば、「お疲れ様でした。まもなく渋滞が解消する予定です。」という音声となる。即ち、この場合、渋滞解消と、その渋滞解消に関連する情報としての渋滞の我慢の労をねぎらうメッセージの両方を伝達する音声が出力される。

支援部３３２による支援後、結果処理部６３は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部５３から供給される入力情報の解析結果に基づいて、支援結果を生成する。そして、結果処理部６３は、その支援結果を、今回の支援内容、支援方法、および支援手段に対応付けて、データベース３３１内の支援結果テーブルに登録する。例えば、今回の支援方法が「端的に音声で提案する」が表す支援方法であり、支援手段が支援手段「穏やかで静かで優しい口調」である場合、図１３に示した支援結果テーブルの最も左側の情報が登録される。

この支援結果テーブルは、次回の支援の支援方法や支援手段の決定だけでなく、支援内容の設定にも用いることができる。例えば、今回の支援後の情動の推定結果の覚醒度が低い場合、現在のユーザの状態は運転に不適切な状態である。従って、設定部６１は、支援結果テーブルにおいて、支援後の情動の推定結果の覚醒度が高い支援内容を次回の支援内容に設定する。

例えば、設定部６１は、「急に周辺の交通情報をユーザに伝達する」、「BGMの音量を一時的に変更する」、「起きていることを確認するメッセージをユーザに伝達する」等を支援内容に設定する。支援内容「BGMの音量を一時的に変更する」の支援後、ユーザから「音量を元に戻して」等の音声の入力が行われた場合、支援後の情動の推定結果の覚醒度が高くなる。従って、設定部６１は、支援結果テーブルにおいて各支援内容に対応付けて登録されている支援後の情動の推定結果の覚醒度の高さを考慮せずに、次回の支援内容を設定する。

一方、支援内容「起きていることを確認するメッセージを伝達する」の支援後、ユーザから何の音声の入力も行われない場合、支援後の情動の推定結果の覚醒度は低いままになる。従って、設定部６１は、支援結果テーブルにおいて支援後の情動の推定結果の覚醒度が高い他の支援内容、例えば支援内容「起きることを命令するメッセージをユーザに伝達する」を次回の支援内容に設定する。

なお、支援結果テーブルにおいて支援後の情動の推定結果の覚醒度が高い複数種類の支援内容に対応する支援が行われても、支援後の情動の推定結果の覚醒度が低いままである場合、情動の推定エラーの可能性がある。従って、設定部６１は、支援内容「システムエラーを警告し、速やかに車を停止するメッセージをユーザに伝達する」を次回の支援内容に設定する。

図１３の例では、設定部６１が、渋滞解消後の加速に備えて、支援内容「BGMの変更をユーザに提案する」を設定したが、まだ渋滞中であることを考慮して、支援内容「渋滞回避策をユーザに提案する」や「渋滞中に快適に過ごす方法をユーザに提案する」を設定するようにしてもよい。渋滞回避策の提案としては、ルート変更、休憩、寄り道などの提案、コンビニエンスストアやパーキングに立ち寄り食べ物や飲み物を購入することの提案などがある。渋滞中に快適に過ごす方法の提案としては、例えば、ユーザが長時間運転していて他にも運転可能な人が存在する場合の運転手交代の提案、体勢や姿勢をリクライニングさせることの提案、深呼吸や運転席で可能なストレッチの提案などがある。

コンテキストの予測結果が「渋滞発生」であり、情動の推定結果の快感度が高く、情動の予測結果が「快感度が低下する」である場合、設定部６１は、例えば、支援内容「渋滞発生に関するメッセージをユーザに伝達する」と「渋滞回避策をユーザに提案する」を設定する。なお、設定部６１は、支援内容「渋滞回避策をユーザに提案する」の代わりに、支援内容「渋滞中に快適に過ごす方法をユーザに提案する」を設定するようにしてもよい。

コンテキストの予測結果が「渋滞継続」であり、情動の推定結果の快感度が低い場合、設定部６１は、例えば、支援内容「今後の見通しとしてのコンテキストの予測結果の詳細に関するメッセージをユーザに伝達する」または「渋滞中に快適に過ごす方法をユーザに提案する」を設定する。この支援内容の選択は、支援結果テーブルを参照して行われるようにしてもよい。

例えば、支援結果テーブルにおいて、支援内容「今後の見通しとしてのコンテキストの予測結果の詳細に関するメッセージをユーザに伝達する」に対応する支援後の情動の推定結果が「快感度が低下する」である場合、設定部６１は、支援内容「渋滞中に快適に過ごす方法をユーザに提案する」を設定する。一方、支援内容「渋滞中に快適に過ごす方法をユーザに提案する」に対応する支援後の情動の推定結果が「快感度が低下する」である場合、設定部６１は、支援内容「今後の見通しとしてのコンテキストの予測結果の詳細に関するメッセージをユーザに伝達する」を設定する。以上により、渋滞中、今後の見通しの詳細を知ることにより不快になるユーザには、今後の見通しが伝達されず、今後の見通しの詳細を知ることにより安心するユーザには、今後の見通しが伝達される。なお、設定部６１は、支援内容「BGMを変更する」や「現在のニュースをユーザに伝達する」などであってもよい。

以上のように、運転支援装置３０３は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。従って、ユーザの今後の状態を予測してユーザを支援することができる。また、運転支援装置３０３は、支援結果テーブルを参照して、支援方法および支援手段を決定する。従って、ユーザに対する支援を個人最適化することができる。

＜第５実施の形態＞
＜料理支援システムの構成例＞
図１５は、本技術を適用した情報処理装置としての料理支援装置を含む料理支援システムの構成例を示すブロック図である。

図１５の料理支援システム４００において、図１の音声支援システム１０と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、音声支援システム１０と異なる部分に着目して説明する。

図１５の料理支援システム４００は、１以上のヒアラブルデバイス４０１、１以上のIoTデバイス１２、１以上のヒューマンインターフェースデバイス４０２、および料理支援装置４０３により構成される。料理支援システム４００は、料理をしているユーザが落ち着いて料理が進められるように、ユーザを支援する。

具体的には、ヒアラブルデバイス４０１は、ユーザの耳に装着される。ヒアラブルデバイス４０１は、ウェアラブルデバイス１１と同様に、生体センサ２１と動きセンサ２２を有する。生体センサ２１により取得された生体信号および動きセンサ２２により取得された生体付随情報は、料理支援装置４０３に入力される。

ヒューマンインターフェースデバイス４０２としては、ユーザからの入力を受け付ける入力デバイスやユーザに対して出力を行う出力デバイスがある。入力デバイスとしては、マイク、タッチセンサ、感圧センサ、キーボード等があり、出力デバイスとしては、スピーカ、振動装置、ディスプレイ等がある。この出力デバイスはスマートフォン等に設けられることができる。

ヒューマンインターフェースデバイス４０２は、ユーザとのインタラクションを行う各種Ｉ／Ｆ４１１を有する。マイク、タッチセンサ、感圧センサ、およびキーボードの各種Ｉ／Ｆ４１１は、各種Ｉ／Ｆ４１と同様に入力情報を料理支援装置４０３に入力する。スピーカ、振動装置、およびディスプレイの各種Ｉ／Ｆ４１１は、それぞれ、料理支援装置４０３から入力される制御情報に基づいて、ユーザに対して音声、振動、映像を出力することにより支援を行う。

ヒアラブルデバイス４０１、IoTデバイス１２、およびヒューマンインターフェースデバイス４０２と、料理支援装置４０３との情報のやり取りは、有線または無線のネットワークを介して行われる。

料理支援装置４０３は、データベース５６、支援部５７の代わりに、データベース４２１、支援部４２２を設ける点が音声エージェント装置１４と異なっており、その他は音声エージェント装置１４と同様に構成されている。

料理支援装置４０３のデータベース４２１は、データベース５６と同様に、支援方法テーブル、支援手段テーブル、および支援結果テーブルを記憶するが、この支援方法テーブルおよび支援手段テーブルは、料理支援装置４０３による支援に適したものであり、支援結果テーブルは、料理支援装置４０３による支援に対応するものである。

支援部４２２は、図１２の支援部３３２と同様に、設定部６１から供給される支援内容並びに決定部６２から供給される支援方法および支援手段にしたがって、ユーザを音声、振動、または映像により支援する。

なお、データベース４２１は、料理支援装置４０３の内部に設けられるのではなく、外部に設けられ、有線または無線のネットワークを介して支援制御部５５と接続されるようにしてもよい。

＜データベースの例＞
図１６は、図１５のデータベース４２１に記憶される情報の例を示す図である。

図１６では、データベース４２１に記憶される、支援内容「手順に関するメッセージをユーザに伝達する」に対応する支援方法テーブル、「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブル、および支援結果テーブルを示している。

具体的には、図１６の例では、支援内容「手順に関するメッセージをユーザに伝達する」に対応する支援方法テーブルには、図３の番号「XXX-001」の支援方法が登録されている。

支援方法を表す「映像と共に音声で伝達する」に対応付けて、適切な情動の推定結果を表す「覚醒度が高い(緊張)」、適切なコンテキストの推定結果を表す「作業中」、不適切な情動の推定結果を表す「（なし）」、不適切なコンテキストの推定結果を表す「（なし）」、適切な今後の情動を表す「覚醒度が低下する」、適切な今後のコンテキストが表す「変化しない」、不適切な今後の情動を表す「覚醒度が上昇する」、および不適切な今後のコンテキストを表す「変化する可能性が高い」が登録されている。なお、「映像と共に音声で伝達する」が表す支援方法とは、メッセージを映像と音声の両方で伝達する伝達方法である。この支援方法には番号「XXX-004」が付与されている。

「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブルには、図３の番号「YYY-001」と「YYY-002」の支援手段が登録されている。

支援結果テーブルには、支援内容「手順に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-001」、および支援手段を表す「YYY-001」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録される。

支援内容「手順に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-001」、および支援手段を表す「YYY-002」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録される。

なお、データベース４２１に記憶される支援方法テーブル、支援手段テーブル、および支援結果テーブルは、図１６の例に限定されない。

＜料理支援システムによる処理の概要の例＞
図１７は、図１５の料理支援システム４００による処理の概要の例を示す図である。

図１７に示すように、例えば、コンテキスト処理部５２によるコンテキストの推定結果が「料理中に手順を飛ばした」であり、信頼度の高いコンテキストの予測結果が「料理継続」であり、かつ、情動処理部５４による情動の推定結果と信頼度の高い予測結果が「覚醒度が高い（焦っている）」である場合、設定部６１は、支援内容を「手順に関するメッセージをユーザに伝達する」に設定する。

決定部６２は、データベース４２１に記憶されている支援内容「手順に関するメッセージをユーザに伝達する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの１つを選択して読み出す。なお、このとき、決定部６２は、支援結果テーブルに基づいて、選択候補の支援方法のうちの、その支援方法に対応付けて登録されている支援結果が最も望ましいものを選択する。

例えば、情動の推定結果の覚醒度が高いので、決定部６２は、図１６の支援方法テーブルから、適切な情動の推定結果を表す「覚醒度が高い」に対応付けられた、番号「XXX-001」の「端的に音声で伝達する」が表す支援方法を選択候補とする。そして、図１６の支援結果テーブルにおいて番号「XXX-001」に対応する支援後の情動またはコンテキストの推定結果が、支援方法テーブルにおいて番号「XXX-001」に対応する適切な今後の情動またはコンテキストである場合、決定部６２は、この選択候補を今回の支援方法に決定して読み出す。

また、決定部６２は、データベース４２１に記憶されている今回の支援方法に対応する支援手段テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援手段のうちの１つを選択して読み出す。なお、このとき、決定部６２は、支援結果テーブルに基づいて、選択候補の支援手段のうちの、その支援手段に対応付けて登録されている支援結果が最も望ましいものを選択する。

例えば、情動の推定結果の快感度が低い場合、決定部６２は、図１６の支援手段テーブルから、適切な情動の推定結果を表す「快感度が低い」に対応付けられた、番号「YYY-001」の支援手段「穏やかで静かで優しい口調」を選択候補とする。そして、図１６の支援結果テーブルにおいて番号「YYY-001」に対応する支援後の情動またはコンテキストの推定結果が、支援手段テーブルにおいて番号「YYY-001」に対応する適切な今後の情動またはコンテキストである場合、決定部６２は、この選択候補を今回の支援手段に決定して読み出す。番号「YYY-001」の支援手段に対応する適切な今後の情動を表す情報は、「覚醒度が低い」であるため、この支援手段が今回の支援手段に決定される場合、料理支援装置４０３は、焦っているユーザを落ち着かせるように支援することができる。

支援部４２２は、設定部６１により設定された支援内容並びに決定部６２により決定された支援方法および支援手段に基づいて、手順に関するメッセージをユーザの料理を支援する料理支援情報としてユーザに伝達するという支援を行う。具体的には、支援部４２２は、支援内容、支援方法、および支援手段に基づいて制御情報を生成し、各種Ｉ／Ｆ４１１に供給する。

例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法に決定され、今回の支援手段が支援手段「穏やかで静かで優しい口調」に決定された場合、支援部４２２は、穏やかで静かで優しい口調で手順に関するメッセージの概要のみを伝達する音声をスピーカが出力するように制御情報を生成し、スピーカの各種Ｉ／Ｆ４１１に供給する。これにより、穏やかで静かで優しい口調で手順に関するメッセージの概要のみを伝達する音声がスピーカから出力される。なお、手順に関するメッセージの概要のみを伝達する音声とは、例えば「手順〇をやりましょう。」という手順を端的に伝達する音声である。

一方、「映像と共に音声で伝達する」が表す支援方法にしたがって手順に関するメッセージをユーザに伝達する音声は、例えば「手順〇をやりましょう。ディスプレイを見て下さい。」という、手順を端的に伝達し、ディスプレイを見るように促す音声となる。支援部４２２は、この支援方法による支援を行う場合、手順を表す映像をディスプレイが表示するように制御する制御情報も生成し、ディスプレイの各種Ｉ／Ｆ４１１に供給する。その結果、スピーカから「手順〇をやりましょう。ディスプレイを見て下さい。」という音声が出力されるとともに、手順を表す映像がディスプレイに表示される。即ち、音声と映像により、手順に関するメッセージをユーザに伝達する支援が行われる。

なお、ユーザに伝達される手順は、例えば、インターネットなどを介して取得されたユーザの作りたい料理の人気の調理手順である。

支援部４２２による支援後、結果処理部６３は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部５３から供給される入力情報の解析結果に基づいて、支援結果を生成する。そして、結果処理部６３は、その支援結果を、今回の支援内容、支援方法、および支援手段に対応付けて、データベース４２１内の支援結果テーブルに登録する。例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法であり、支援手段が支援手段「穏やかで静かで優しい口調」である場合、図１６に示した支援結果テーブルの最も左側の情報が登録される。

この支援結果テーブルは、次回の支援の支援方法や支援手段の決定に用いられる。例えば、今回の支援後の情動の推定結果の覚醒度が高い場合、即ちユーザが不安を感じている場合、決定部６２は、支援結果テーブルにおいて支援後の情動の推定結果の覚醒度が低い支援手段、例えば支援手段「優しい口調」を次回の支援手段に決定する。支援手段「優しい口調」で支援が行われた後も、覚醒度が高い場合には、決定部６２は、支援結果テーブルにおいて支援後の情動の推定結果の覚醒度が低い他の支援方法、例えば図１６の「XXX-003」の支援方法を次回の支援方法に決定する。以上のようにして、音声による手順の伝達に不安を感じるユーザには、映像も用いて手順を伝達することができる。

コンテキストの推定結果が「料理中に手順を飛ばした」や「間違った手順を行った」であり、予測結果が「料理継続」であり、情動の推定結果と予測結果の覚醒度が低い場合、例えば、支援内容および支援方法は、覚醒度が高い場合と同様であるが、支援手段は、適切な今後の情動を表す「覚醒度が高い」に対応する支援手段、例えば支援手段「強い口調」に決定される。これにより、覚醒度が低い、即ち集中力がないことにより、料理中に手順を飛ばしたり、間違った手順を行ったりしたユーザに対して、集中力を取り戻すように支援が行われる。

この支援内容、支援方法、および支援手段に対応する支援後の情動の推定結果の覚醒度が支援前に比べて上昇した場合、この支援が有効であると判断される。そして、この支援の支援結果テーブルを参照して、今回の支援時とコンテキストの推定結果および予測結果並びに情動の推定結果および予測結果の少なくとも１つが同一である場合の支援時に、今回の支援と同一の支援内容、支援方法、および支援手段の支援が行われる。

一方、支援後の情動の推定結果の覚醒度が支援前に比べて上昇しない場合には、例えば、設定部６１は、支援結果テーブルにおいて支援後の情動の推定結果を表す「覚醒度が高い」に対応する他の支援内容を次回の支援内容に設定する。他の支援内容としては、例えば支援内容「激しいリズムのBGMを出力する」、「ストレッチを行うことをユーザに提案する」、「飲み物を飲むことをユーザに提案する」、「一時的な休憩をユーザに提案する」等がある。以上のように、設定部６１が支援結果テーブルを参照して支援内容を設定することにより、ユーザの覚醒度を上昇させる、即ち集中力を取り戻す支援が行われる。

以上のように、料理支援装置４０３は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。従って、ユーザの今後の状態を予測してユーザを支援することができる。また、料理支援装置４０３は、支援結果テーブルを参照して、支援方法および支援手段を決定する。従って、ユーザに対する支援を個人最適化することができる。

なお、上述した説明では、情動処理部５４が、生体信号の特徴量に基づいてユーザの現在の情動を推定するものとしたが、DNN(Deep Neural Network)などにより生体信号から直接ユーザの現在の情動を推定することもできる。この場合、生体処理部５１は、生体信号に対して、生体付随情報に基づくノイズ除去、リサンプリング等の前処理のみを行い、生体信号から特徴量を抽出する処理を行わない。また、情動処理部５４は、ラッセルの感情円環モデル以外のモデルを用いて情動の推定結果や予測結果を求めるようにしてもよい。

＜コンピュータの説明＞
上述した音声エージェント装置１４、ナビゲーション装置１０４、ペット型ロボットエージェント装置２１２、運転支援装置３０３、および料理支援装置４０３の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１８は、上述した音声エージェント装置１４、ナビゲーション装置１０４、ペット型ロボットエージェント装置２１２、運転支援装置３０３、および料理支援装置４０３の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本技術は、上述した音声支援システム、自転車ナビゲーションシステム、ペット型ロボットシステム、運転支援システム、料理支援システム以外のユーザを支援するユーザ支援エージェントシステムに適用することができる。例えば、ユーザの作業として運転や料理ではなく、勉強や仕事を支援する他の作業支援システムに適用することもできる、この作業支援システムは、作業が料理から勉強や仕事に代わる点を除いて料理支援システム４００と同様に構成される。上述した運転支援情報や料理支援情報は、いずれもユーザの作業を支援する支援情報であるので、それらをまとめて、ユーザの作業を支援する作業支援情報ということもできる。出力デバイスとしては、プロジェクタ等が用いられるようにしてもよい。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

本技術は、以下の構成を取ることができる。
（１）
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部
を備える情報処理装置。
（２）
前記情動の推定結果と、前記コンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、前記情動の予測結果を求める情動処理部
をさらに備える
前記（１）に記載の情報処理装置。
（３）
前記情動処理部はまた、前記情動の推定結果と、前記コンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、前記情動の予測結果の信頼度も求める
ように構成された
前記（２）に記載の情報処理装置。
（４）
前記ユーザの生体信号を用いて前記情動の推定結果を求める情動処理部
をさらに備える
前記（１）に記載の情報処理装置。
（５）
時系列の前記コンテキストの推定結果に基づいて前記コンテキストの予測結果を求めるコンテキスト処理部
をさらに備える
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記ユーザの周囲の環境を示す環境情報と、前記ユーザから入力される情報である入力情報のうちの少なくとも一方に基づいて、前記コンテキストの推定結果を求めるコンテキスト処理部
をさらに備える
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（７）
前記情動および前記コンテキストのうちの少なくとも一方の推定結果と、前記情動および前記コンテキストのうちの少なくとも一方の予測結果とに基づいて、前記支援部による支援の内容である支援内容を設定する設定部
をさらに備え、
前記支援部は、前記設定部により設定された前記支援内容の支援を行う
ように構成された
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記情動および前記コンテキストの推定結果のうちの少なくとも一方に基づいて、前記支援部による支援の方法である支援方法を決定する決定部
をさらに備え、
前記支援部は、前記決定部により決定された前記支援方法で前記支援内容の支援を行う
ように構成された
前記（７）に記載の情報処理装置。
（９）
前記支援部による支援の前後の前記情動および前記コンテキストのうちの少なくとも一方の推定結果に基づいて、前記支援方法に対応付けて前記ユーザに対する支援結果を記憶部に記憶させる結果処理部
をさらに備える
前記（８）に記載の情報処理装置。
（１０）
前記決定部は、前記記憶部に記憶された前記支援結果にも基づいて、前記支援方法を決定する
ように構成された
前記（９）に記載の情報処理装置。
（１１）
前記決定部は、前記情動および前記コンテキストの推定結果のうちの少なくとも一方に基づいて、前記支援部による支援の手段である支援手段も決定し、
前記支援部は、前記決定部により決定された前記支援方法および前記支援手段で前記支援内容の支援を行う
ように構成された
前記（８）に記載の情報処理装置。
（１２）
前記支援部による支援の前後の前記情動および前記コンテキストのうちの少なくとも一方の推定結果に基づいて、前記支援方法および前記支援手段に対応付けて前記ユーザに対する支援結果を記憶部に記憶させる結果処理部
をさらに備える
前記（１１）に記載の情報処理装置。
（１３）
前記決定部は、前記記憶部に記憶された前記支援結果にも基づいて、前記支援方法および前記支援手段を決定する
ように構成された
前記（１２）に記載の情報処理装置。
（１４）
前記支援内容は、メッセージを前記ユーザに伝達することであり、
前記支援方法は、前記メッセージを音声で前記ユーザに伝達する方法であり、
前記支援手段は、前記音声の口調または音量である
ように構成された
前記（１１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記メッセージは、ナビゲーション情報である
ように構成された
前記（１４）に記載の情報処理装置。
（１６）
前記メッセージは、前記ユーザの作業を支援する作業支援情報である
ように構成された
前記（１４）に記載の情報処理装置。
（１７）
前記支援内容は、前記ユーザに提案することであり、
前記支援方法は、前記ユーザにロボットの動作を介して提案する方法であり、
前記支援手段は、前記ロボットの所定の動作である
ように構成された
前記（１１）乃至（１３）のいずれかに記載の情報処理装置。
（１８）
情報処理装置が、
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援ステップ
を含む情報処理方法。
（１９）
コンピュータを、
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部
として機能させるためのプログラム。

１４ 音声エージェント装置， ５２ コンテキスト処理部， ５４ 情動処理部， ５６ データベース， ５７ 支援部， ６１ 設定部， ６２ 決定部， ６３ 結果処理部， １０４ ナビゲーション装置， １３１ コンテキスト処理部， １３２ データベース， １３３ 支援部， ２１２ ペット型ロボットエージェント装置， ２３１ データベース， ２３２ 支援部， ３０３ 運転支援装置， ３３１ データベース， ３３２ 支援部， ４０３ 料理支援装置， ４２１ データベース， ４２２ 支援部

Claims (19)

1. ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部
   を備える情報処理装置。
2. 前記情動の推定結果と、前記コンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、前記情動の予測結果を求める情動処理部
   をさらに備える
   請求項１に記載の情報処理装置。
3. 前記情動処理部はまた、前記情動の推定結果と、前記コンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、前記情動の予測結果の信頼度も求める
   ように構成された
   請求項２に記載の情報処理装置。
4. 前記ユーザの生体信号を用いて前記情動の推定結果を求める情動処理部
   をさらに備える
   請求項１に記載の情報処理装置。
5. 時系列の前記コンテキストの推定結果に基づいて前記コンテキストの予測結果を求めるコンテキスト処理部
   をさらに備える
   請求項１に記載の情報処理装置。
6. 前記ユーザの周囲の環境を示す環境情報と、前記ユーザから入力される情報である入力情報のうちの少なくとも一方に基づいて、前記コンテキストの推定結果を求めるコンテキスト処理部
   をさらに備える
   請求項１に記載の情報処理装置。
7. 前記情動および前記コンテキストのうちの少なくとも一方の推定結果と、前記情動および前記コンテキストのうちの少なくとも一方の予測結果とに基づいて、前記支援部による支援の内容である支援内容を設定する設定部
   をさらに備え、
   前記支援部は、前記設定部により設定された前記支援内容の支援を行う
   ように構成された
   請求項１に記載の情報処理装置。
8. 前記情動および前記コンテキストの推定結果のうちの少なくとも一方に基づいて、前記支援部による支援の方法である支援方法を決定する決定部
   をさらに備え、
   前記支援部は、前記決定部により決定された前記支援方法で前記支援内容の支援を行う
   ように構成された
   請求項７に記載の情報処理装置。
9. 前記支援部による支援の前後の前記情動および前記コンテキストのうちの少なくとも一方の推定結果に基づいて、前記支援方法に対応付けて前記ユーザに対する支援結果を記憶部に記憶させる結果処理部
   をさらに備える
   請求項８に記載の情報処理装置。
10. 前記決定部は、前記記憶部に記憶された前記支援結果にも基づいて、前記支援方法を決定する
    ように構成された
    請求項９に記載の情報処理装置。
11. 前記決定部は、前記情動および前記コンテキストの推定結果のうちの少なくとも一方に基づいて、前記支援部による支援の手段である支援手段も決定し、
    前記支援部は、前記決定部により決定された前記支援方法および前記支援手段で前記支援内容の支援を行う
    ように構成された
    請求項８に記載の情報処理装置。
12. 前記支援部による支援の前後の前記情動および前記コンテキストのうちの少なくとも一方の推定結果に基づいて、前記支援方法および前記支援手段に対応付けて前記ユーザに対する支援結果を記憶部に記憶させる結果処理部
    をさらに備える
    請求項１１に記載の情報処理装置。
13. 前記決定部は、前記記憶部に記憶された前記支援結果にも基づいて、前記支援方法および前記支援手段を決定する
    ように構成された
    請求項１２に記載の情報処理装置。
14. 前記支援内容は、メッセージを前記ユーザに伝達することであり、
    前記支援方法は、前記メッセージを音声で前記ユーザに伝達する方法であり、
    前記支援手段は、前記音声の口調または音量である
    ように構成された
    請求項１１に記載の情報処理装置。
15. 前記メッセージは、ナビゲーション情報である
    ように構成された
    請求項１４に記載の情報処理装置。
16. 前記メッセージは、前記ユーザの作業を支援する作業支援情報である
    ように構成された
    請求項１４に記載の情報処理装置。
17. 前記支援内容は、前記ユーザに提案することであり、
    前記支援方法は、前記ユーザにロボットの動作を介して提案する方法であり、
    前記支援手段は、前記ロボットの所定の動作である
    ように構成された
    請求項１１に記載の情報処理装置。
18. 情報処理装置が、
    ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援ステップ
    を含む情報処理方法。
19. コンピュータを、
    ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部
    として機能させるためのプログラム。

Images