JP2023127043A - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2023127043A JP2023127043A JP2022030583A JP2022030583A JP2023127043A JP 2023127043 A JP2023127043 A JP 2023127043A JP 2022030583 A JP2022030583 A JP 2022030583A JP 2022030583 A JP2022030583 A JP 2022030583A JP 2023127043 A JP2023127043 A JP 2023127043A
- Authority
- JP
- Japan
- Prior art keywords
- support
- user
- emotion
- context
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 56
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims abstract description 373
- 230000008451 emotion Effects 0.000 claims abstract description 301
- 230000033001 locomotion Effects 0.000 claims description 26
- 230000007613 environmental effect Effects 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 15
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 3
- 230000037007 arousal Effects 0.000 description 68
- 238000010411 cooking Methods 0.000 description 42
- 230000008859 change Effects 0.000 description 37
- 238000004458 analytical method Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 30
- 238000005516 engineering process Methods 0.000 description 21
- 230000036626 alertness Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 235000009508 confectionery Nutrition 0.000 description 6
- 238000012559 user support system Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000537 electroencephalography Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000035582 behavioral recognition Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Psychology (AREA)
- Pathology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biophysics (AREA)
- Developmental Disabilities (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】ユーザの今後の状態を予測してユーザを支援することができるようにする。【解決手段】支援部は、ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。本技術は、例えば、ユーザの発話等による依頼に対し、ユーザが最も受け取りやすいメッセージを返答として音声でユーザに伝達することによりユーザを支援する音声支援システムの音声エージェント装置等に適用できる。【選択図】図1
Description
本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ユーザの今後の状態を予測してユーザを支援することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
AI(Artificial Intelligence)アシスタントをはじめとしたユーザ支援エージェントにおいて、ユーザを適切に支援するためには、ユーザの現在の状態を正確に推定したり、ユーザの今後の状態を予測したりする必要がある。しかしながら、ユーザの顔の表情や発話内容だけでは、ユーザの状態を正確に推定することは困難である。
そこで、ユーザの周囲の環境、ユーザの感情、ユーザの状況、およびユーザの周囲にいる他の人の感情や状況のうちの少なくともいずれかに基づいて、ユーザの現在のコンテキストを認識する情報処理システムがある(例えば、特許文献1参照)。
しかしながら、このような情報処理システムにおいて、ユーザの今後の状態を予測することは困難である。よって、ユーザの今後の状態を予測してユーザを支援することを実現できる手法の提供が要望されているが、そのような要望に十分にこたえられていない状況である。
本技術は、このような状況に鑑みてなされたものであり、ユーザの今後の状態を予測してユーザを支援することができるようにするものである。
本技術一側面の情報処理装置、または、プログラムは、ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部を備える情報処理装置、または、情報処理装置として、コンピュータを機能させるためのプログラムである。
本技術の一側面の情報処理方法は、情報処理装置が、ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援ステップを含む情報処理方法である。
本技術の一側面においては、ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザが支援される。
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態(音声支援システム)
2.第2実施の形態(自転車ナビゲーションシステム)
3.第3実施の形態(ペット型ロボットシステム)
4.第4実施の形態(運転支援システム)
5.第5実施の形態(料理支援システム)
6.コンピュータ
1.第1実施の形態(音声支援システム)
2.第2実施の形態(自転車ナビゲーションシステム)
3.第3実施の形態(ペット型ロボットシステム)
4.第4実施の形態(運転支援システム)
5.第5実施の形態(料理支援システム)
6.コンピュータ
<第1実施の形態>
<音声支援システムの構成例>
図1は、本技術を適用した情報処理装置としての音声エージェント装置を含む音声支援システムの構成例を示すブロック図である。
<音声支援システムの構成例>
図1は、本技術を適用した情報処理装置としての音声エージェント装置を含む音声支援システムの構成例を示すブロック図である。
図1の音声支援システム10は、1以上のウェアラブルデバイス11、1以上のIoT(Internet of Things)デバイス12、1以上のヒューマンインターフェースデバイス13、および音声エージェント装置14により構成される。
音声支援システム10は、ユーザの発話等による依頼に対し、ユーザが最も受け取りやすいメッセージを返答として音声でユーザに伝達することにより、ユーザを支援する。なお、ユーザが最も受け取りやすいメッセージとは、例えば、ユーザの状態を大きく変化させない、即ちユーザの邪魔をしないメッセージである。
具体的には、音声支援システム10のウェアラブルデバイス11は、スマートウォッチ、ヒアラブルデバイスなどにより構成され、ユーザの手首、耳などの身体の一部に装着される。ウェアラブルデバイス11は、生体センサ21と動きセンサ22を有する。生体センサ21は、ユーザのEEG(Electroencephalography),ECG(Electrocardiogram),PPG(Photoplethysmogram),EDA(Electro Dermal Activity),LDF(Laser Doppler flowmetry)法により検出される血流、呼吸等を表す信号である生体信号を取得する。生体センサ21は、その生体信号を音声エージェント装置14に入力する。
動きセンサ22は、加速度センサやジャイロセンサなどにより構成される。動きセンサ22は、生体センサ21の加速度や角速度を、生体信号に付随する情報である生体付随情報として取得する。動きセンサ22は、生体付随情報を音声エージェント装置14に入力する。
なお、音声支援システム10は、ウェアラブルデバイス11の代わりに、リモートセンシングを行うリモートセンシング装置を備えるようにしてもよい。この場合、例えば、Webカメラなどのリモートセンシング装置によりユーザの心拍数などが推定され、生体信号として取得される。
IoTデバイス12は、ユーザやユーザの周囲の環境の状態を示す環境情報を取得する各種のセンサである環境センサ31を有する。環境センサ31としては、例えば、GPS(Global Positioning System)センサ、画像センサ、超音波センサ、赤外線カメラ、加速度センサ、ジャイロセンサ、温湿度センサ、気象センサ等がある。GPSセンサは、例えばユーザの現在の位置情報を環境情報として取得する。画像センサ、超音波センサ、赤外線カメラ、加速度センサ、およびジャイロセンサは、例えばユーザの体勢や動きを表す情報を環境情報として取得するために用いられる。温湿度センサは、ユーザの周囲の温度や湿度を表す情報を環境情報として取得する。気象センサは、ユーザの周囲の気象情報を環境情報として取得する。IoTデバイス12は、環境センサ31により取得された環境情報を音声エージェント装置14に入力する。
ヒューマンインターフェースデバイス13としては、ユーザからの入力を受け付ける入力デバイスやユーザに対して出力を行う出力デバイスがある。入力デバイスとしては、マイク、タッチセンサ、感圧センサ、キーボード等があり、出力デバイスとしては、スピーカ等がある。
ヒューマンインターフェースデバイス13は、ユーザとのインタラクションを行う各種I/F41を有する。例えば、マイクの各種I/F41は、ユーザから入力された発話を表す情報を、ユーザから入力される情報である入力情報として、音声エージェント装置14に入力する。タッチセンサの各種I/F41は、ユーザのタッチ入力により選択された内容を表す情報を入力情報として、音声エージェント装置14に入力する。感圧センサの各種I/F41は、ユーザの押圧により選択された内容を表す情報を入力情報として、音声エージェント装置14に入力する。キーボードの各種I/F41は、ユーザから入力された文字を表す情報を入力情報として、音声エージェント装置14に入力する。スピーカの各種I/F41は、音声エージェント装置14から入力される制御情報に基づいて、ユーザに対して音声を出力することにより支援を行う。
ウェアラブルデバイス11、IoTデバイス12、およびヒューマンインターフェースデバイス13と、音声エージェント装置14との情報のやり取りは、有線または無線のネットワークを介して行われる。
音声エージェント装置14は、生体処理部51、コンテキスト処理部52、解析部53、情動処理部54、支援制御部55、データベース56、および支援部57により構成される。
音声エージェント装置14の生体処理部51は、動きセンサ22から入力される生体付随情報に基づいて、生体センサ21から入力される生体信号のノイズ判定を行い、生体信号のノイズを除去する。生体処理部51は、ノイズが除去された生体信号からユーザの情動の推定または予測に用いる各種の特徴量を抽出する。この特徴量は、例えば、生体信号がユーザの心拍を表す信号である場合、低周波(LF)、高周波(HF)などであり、生体信号がユーザの脳波を表す信号である場合、例えばα波、θ波等である。生体処理部51は、生体信号の特徴量を支援制御部55に供給する。
コンテキスト処理部52は、環境センサ31から入力される環境情報と解析部53から供給される入力情報の解析結果のうちの少なくとも一方に基づいて、行動認識によるユーザの現在のコンテキストの推定を行い、推定結果を求める。
ここで推定されるコンテキストとは、環境センサ31や入力情報の解析結果単体から直接得られるプリミティブなものから、環境情報と入力情報の解析結果の組み合わせにより推定されるものまでを含む。例えば、ユーザのコンテキストとしては、ユーザの位置、ユーザの周囲の温湿度や天候などの環境(状況)、ユーザの体勢(座っている、立っている、寝ている)などの状態、ユーザの動作(走っている、歩いている、食べている)などの行動、ユーザの発話内容、現在起動中のアプリケーションの情報などの入力情報の解析結果、ユーザの状況(作業中、ゲーム中、食事中、移動中)とその状況の継続時間などがある。なお、作業中とは、ユーザが勉強、仕事、運転、料理などの作業をしている状況である。
コンテキスト処理部52は、ユーザの現在のコンテキストの推定結果を保持するとともに、情動処理部54と支援制御部55に供給する。コンテキスト処理部52は、保持している時系列のコンテキストの推定結果に基づいてユーザの今後のコンテキストを予測し、予測結果を求める。コンテキスト処理部52は、ユーザの今後のコンテキストの予測結果を情動処理部54と支援制御部55に供給する。
解析部53は、各種I/F41から入力される入力情報に基づいて、ユーザからの入力の内容を解析する。例えば、解析部53は、マイクの各種I/F41から入力された入力情報に基づいて、ユーザの発話の内容を解析する。解析部53は、キーボードの各種I/F41から入力された入力情報に基づいて、ユーザの文字入力の内容を解析する。解析部53は、タッチセンサの各種I/F41から入力された入力情報に基づいて、ユーザがタッチ入力により選択した内容を解析する。解析部53は、入力情報の解析結果をコンテキスト処理部52と支援制御部55に供給する。
情動処理部54は、生体処理部51から供給される生体信号の特徴量を用いてユーザの現在の情動の推定結果を求める。具体的には、情動処理部54は、生体信号の特徴量に基づいて、ラッセル(RUSSELL)の感情円環モデルによりユーザの現在の情動の推定結果を表す。ラッセルの感情円環モデルとは、横軸を快感度とし、縦軸を覚醒度とした2次元平面を用いて、感情を円環状で表すモデルであり、情動の推定結果は、2次元平面上の座標で表すことができる。
また、情動処理部54は、情動の推定結果と、コンテキスト処理部52から供給されるコンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、ユーザの短期間(例えば1時間程度)先の情動を今後の情動として信頼度付きで予測する。具体的には、情動処理部54は、情動の推定結果とコンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、ラッセルの感情円環モデルにおけるユーザの今後の情動の1以上の予測結果を求めるとともに、各予測結果の信頼度を求める。
例えば、ユーザがリビングのソファに座っている場合、今後覚醒度が下がることが予測される。従って、コンテキストの推定結果が、ユーザがリビングのソファに座っている状態である場合、情動処理部54は、例えば、現在の情動の推定結果より覚醒度が低い予測結果に対する信頼度を、覚醒度が高い予測結果に対する信頼度に比べて高く設定する。
ユーザが仕事を開始した直後である場合、ユーザの覚醒度は高まることが予測されるが、仕事の継続時間が長くなるにつれて、徐々に覚醒度が低下することが予測される。従って、コンテキストの推定結果が、仕事中の状況であり、その状況の継続時間が所定の時間を超えている場合、情動処理部54は、例えば、超えた時間に応じて、現在の情動の推定結果より覚醒度が低い予測結果に対する信頼度が上昇し、覚醒度が高い予測結果に対する信頼度が低下するように各予測結果の信頼度を設定する。
ユーザが仕事中である場合、今後の情動が突然変化する可能性が高いと予測される。従って、コンテキストの推定結果が仕事中である場合、情動処理部54は、例えば、現在の情動の推定結果と異なる情動の予測結果に対する信頼度を高く設定する。一方、ユーザが余暇中である場合、今後の情動が継続する可能性が高いと予測される。従って、コンテキストの推定結果が余暇中である場合、情動処理部54は、例えば、現在の情動の推定結果と同一の情動の予測結果に対する信頼度を高く設定する。
なお、情動処理部54は、コンテキストの推定結果および予測結果のうちの少なくとも一方に基づいて、情動の推定結果を補正するようにしてもよい。例えば、コンテキストの推定結果が、ユーザがリビングのソファに座っている状態である場合、情動処理部54は、情動の推定結果の覚醒度を低下させる補正を行う。
情動処理部54は、コンテキストの推定結果と信頼度付き予測結果を支援制御部55に供給する。
支援制御部55は、設定部61、決定部62、および結果処理部63により構成される。支援制御部55には、情動処理部54から情動の推定結果および予測結果が入力され、コンテキスト処理部52からコンテキストの推定結果および予測結果が入力される。
具体的には、支援制御部55の設定部61は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザに対する支援の内容である支援内容を設定する。設定部61は、設定された支援内容を支援部57に供給する。
決定部62は、データベース56を参照して、情動およびコンテキストの推定結果のうちの少なくとも一方に基づいて、設定部61により設定された支援内容に対応する支援方法の1つを、今回の支援方法に決定する。
また、決定部62は、データベース56を参照して、情動およびコンテキストの推定結果のうちの少なくとも一方に基づいて、今回の支援方法に対応する支援手段の1つを、今回の支援手段に決定する。決定部62は、決定された支援方法と支援手段を支援部57に供給する。
結果処理部63は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部53から供給される入力情報の解析結果に基づいて、ユーザに対する支援結果を生成する。具体的には、結果処理部63は、入力情報の解析結果を、支援に対するユーザからのフィードバックとして解釈する。結果処理部63は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果と、ユーザからのフィードバックとをユーザに対する支援結果とする。結果処理部63は、その支援結果をデータベース56(記憶部)に供給し、その支援結果が得られた際の支援の支援内容、支援方法、および支援手段に対応付けて支援結果テーブルとして記憶させる。この支援結果テーブルは、決定部62による支援方法および支援手段の決定の際に用いられる。これにより、個々のユーザに最適な支援を行うことができる。
データベース56は、支援内容ごとに、想定される支援方法と、その支援方法での支援が適したユーザの情動およびコンテキストの推定結果とを対応付けた支援方法テーブルを予め記憶している。データベース56は、支援方法ごとに、想定される支援手段と、その支援手段での支援が適したユーザの情動およびコンテキストの推定結果とを対応付けた支援手段テーブルを予め記憶している。
また、データベース56は、結果処理部63から供給される支援結果と、その支援結果が得られた際の支援の支援内容、支援方法、および支援手段とを対応付けた支援結果テーブルを記憶する。
支援部57は、設定部61から供給される支援内容並びに決定部62から供給される支援方法および支援手段にしたがって、ユーザを音声により支援する。具体的には、支援部57は、支援内容、支援方法、および支援手段に対応する発話内容の音声がヒューマンインターフェースデバイス13としてのスピーカから出力するようにスピーカを制御する制御情報を生成する。そして、支援部57は、その制御情報をスピーカの各種I/F41に供給する。これにより、スピーカから、支援内容、支援方法、および支援手段に対応する発話内容の音声が出力され、音声によるユーザ支援が行われる。
なお、データベース56は、音声エージェント装置14の内部に設けられるのではなく、外部に設けられ、有線または無線のネットワークを介して支援制御部55と接続されるようにしてもよい。音声支援システム10のIoTデバイス12は、例えば、ユーザの居室などに設置される。
<ラッセルの感情円環モデルの説明>
図2は、ラッセルの感情円環モデルを示す図である。
図2は、ラッセルの感情円環モデルを示す図である。
図2に示すように、ラッセルの感情円環モデルは、横軸を快感度(快-不快)とし、縦軸を覚醒度(覚醒-非覚醒)とした2次元平面を用いて、各種の感情を円環状で表すモデルである。
例えば、「緊張」という感情は、不快、即ち快感度が低く、かつ、覚醒度が高い座標で表すことができる。「満足」という感情は、快感度が高く、かつ、覚醒度が低い座標で表すことができる。
以上のように、ラッセルの感情円環モデルでは、横軸を快感度とし、縦軸を覚醒度とした2次元平面を用いて各種の感情を表すことができる。従って、情動処理部54は、ラッセルの感情円環モデルを用いて、ユーザの現在の情動の推定結果および今後の情動の予測結果を2次元平面上の座標で示す。
例えば、生体信号の特徴量が心拍の低周波と高周波である場合、情動処理部54は、その低周波と高周波に基づいて、ユーザの現在の交感神経の状態を認識する。そして、例えば、ユーザの交感神経の状態が強く働いている状態である場合、情動処理部54は、ユーザの現在の情動の推定結果の覚醒度に対応する縦方向の座標の値を高い値に決定する。生体信号の特徴量が脳波のθ波である場合、情動処理部54は、そのθ波に基づいて、ユーザの現在の集中度を認識する。そして、例えば、ユーザの集中度が高い場合、情動処理部54は、ユーザの現在の情動の推定結果の覚醒度に対応する縦方向の座標の値を高い値に決定する。
<データベースの例>
図3は、図1のデータベース56に記憶される情報の例を示す図である。
図3は、図1のデータベース56に記憶される情報の例を示す図である。
図3では、データベース56に記憶される、支援内容「次の予定に関するメッセージをユーザに伝達する」に対応する支援方法テーブル、「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブル、および支援結果テーブルを示している。
具体的には、図3の例では、支援内容「次の予定に関するメッセージをユーザに伝達する」に対応する支援方法テーブルには、支援方法を表す「端的に音声で伝達する」に対応付けて、適切な情動の推定結果を表す「覚醒度が高い」、適切なコンテキストの推定結果を表す「作業中」、不適切な情動の推定結果を表す「覚醒度が低い」、不適切なコンテキストの推定結果を表す「なし」、適切な今後の情動を表す「変化する可能性が高い」、適切な今後のコンテキストを表す「変化する可能性が高い」、不適切な今後の情動を表す「覚醒度が低い」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「端的に音声で伝達する」が表す支援方法とは、次の予定に関するメッセージの概要のみを音声でユーザに伝達(発信)する伝達方法(発信方法)である。
また、支援方法を表す「関連話題と共に音声で伝達する」に対応付けて、適切な情動の推定結果を表す「(なし)」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「覚醒度が高い」、不適切なコンテキストの推定結果を表す「変化する可能性が高い」、適切な今後の情動を表す「覚醒度が上昇する」、適切な今後のコンテキストが表す「変化しない」、不適切な今後の情動を表す「快感度が低い」、および不適切な今後のコンテキストを表す「変化する可能性が高い」が登録されている。なお、「関連話題と共に音声で伝達する」が表す支援方法とは、次の予定に関するメッセージの概要と共にそのメッセージに関連する情報も伝達する伝達方法である。
「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブルには、支援手段を表す「穏やかかつ優しく伝達する」に対応付けて、適切な情動の推定結果を表す「覚醒度が低い/快感度が低い」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「快感度が高い」、不適切なコンテキストの推定結果を表す「活動中」、適切な今後の情動を表す「覚醒度が低い」、適切な今後のコンテキストを表す「持続」、不適切な今後の情動を表す「(なし)」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「穏やかかつ優しく伝達する」が表す支援手段とは、穏やかで静かで優しい口調という伝達手段である。
また、支援手段「穏やかかつ明るく伝達する」に対応付けて、適切な情動の推定結果を表す「覚醒度が低い/快感度が高い」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「快感度が低い」、不適切なコンテキストの推定結果を表す「なし」、適切な今後の情動を表す「快感度が高い」、適切な今後のコンテキストを表す「持続」、不適切な今後の情動を表す「快感度が低い」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「穏やかかつ明るく伝達する」が表す支援手段とは、穏やかではあるが楽しく親しみやすい口調という伝達手段である。
支援結果テーブルには、過去の支援履歴として、支援内容「次の予定に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-001」、および支援手段を表す「YYY-001」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。
ここで、支援方法テーブルの各支援方法には固有の番号が付与されており、「XXX-001」が表す支援方法とは、その番号が「XXX-001」である支援方法である。図3の例では、「端的に音声で伝達する」が表す支援方法に番号「XXX-001」が付与されている。同様に、「YYY-001」が表す支援手段とは、支援手段テーブルの各支援手段に付与された固有の番号が「YYY-001」である支援手段である。図3の例では、「穏やかかつ優しく伝達する」が表す支援手段に番号「YYY-001」が付与されている。
支援結果テーブルにはまた、支援内容「次の予定に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-002」、および支援手段を表す「YYY-002」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。
なお、図3の例では、「関連話題と共に音声で伝達する」が表す支援方法に番号「XXX-002」が付与されており、この支援方法が、「XXX-002」が表す支援方法である。支援手段「穏やかかつ明るく伝達する」が表す支援手段に番号「YYY-002」が付与されており、この支援手段が、「YYY-002」が表す支援手段である。
支援結果テーブルに登録されている、支援後の情動の推定結果の覚醒度が支援前の情動の推定結果の覚醒度に比べて高い場合、決定部62は、実施された支援がユーザの気を引くものであったと判断することができる。支援後の情動の推定結果の快感度が支援前の情動の推定結果の快感度に比べて低い場合、決定部62は、実施された支援がユーザにとって不快なものであったと判断することができる。
また、支援結果テーブルにおいて、支援内容「歩行中の危険を警告するメッセージをユーザに伝達する」に対応付けて登録されている支援前後のコンテキストの推定結果が変化しない場合、決定部62は、実施された支援が十分ではないと判断することができる。この場合、決定部62は、次回の支援手段を、今回の支援手段とは異なる支援手段、例えば支援手段「大音量」などに決定する。
以上のように、音声エージェント装置14は、支援結果テーブルを生成することにより、ユーザに適した支援方法および支援手段を、支援前後のユーザの情動およびコンテキストの推定結果に基づいて学習することができる。この学習は、ユーザから入力される明示的なフィードバックにのみ基づいて学習する場合に比べて効率的である。
なお、データベース56に記憶される支援方法テーブル、支援手段テーブル、および支援結果テーブルは、図3の例に限定されない。例えば、支援方法テーブルには、支援方法が表す「関連話題と共に音声で伝達する」に対応付けて、適切なコンテキストの推定結果を表す「余暇中」が登録されるようにしてもよい。これにより、ユーザが余暇中である場合、即ち現在の情動が継続する可能性が高い場合、「関連話題と共に音声で伝達する」が表す支援方法が今回の支援方法に決定され、継続性の高い会話を行うことができる。
<音声支援システムによる処理の概要の例>
図4は、図1の音声支援システム10による処理の概要の例を示す図である。
図4は、図1の音声支援システム10による処理の概要の例を示す図である。
図4に示すように、例えば、コンテキスト処理部52によるコンテキストの推定結果が「仕事中」であり、かつ、信頼度の高いコンテキストの予測結果が「30分後に買い物に行く」である場合、または、解析部53による解析結果が、ユーザからの「次の予定は?」という問いかけである場合、設定部61は、支援内容を「次の予定に関するメッセージをユーザに伝達する」に設定する。
決定部62は、データベース56に記憶されている支援内容「次の予定に関するメッセージをユーザに伝達する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの1つを選択して読み出す。なお、このとき、決定部62は、支援結果テーブルに基づいて、選択候補の支援方法のうちの、その支援方法に対応付けて登録されている支援結果が最も望ましいものを選択する。
例えば、コンテキストの推定結果が仕事中である場合、決定部62は、図3の支援方法テーブルから、適切なコンテキストの推定結果を表す「作業中」に対応付けられた、番号「XXX-001」の「端的に音声で伝達する」が表す支援方法を選択候補とする。そして、図3の支援結果テーブルにおいて番号「XXX-001」に対応する支援後の情動またはコンテキストの推定結果が、支援方法テーブルにおいて番号「XXX-001」に対応する適切な今後の情動またはコンテキストである場合、決定部62は、この選択候補を今回の支援方法に決定して読み出す。その結果、ユーザが仕事中である場合、即ちユーザの今後の情動が突然変化する可能性が高い場合、次の予定に関するメッセージが端的にユーザに伝達され、瞬間性を重視した会話を行うことができる。
また、決定部62は、データベース56に記憶されている今回の支援方法に対応する支援手段テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援手段のうちの1つを選択して読み出す。なお、このとき、決定部62は、支援結果テーブルに基づいて、選択候補の支援手段のうちの、その支援手段に対応付けて登録されている支援結果が最も望ましいものを選択する。
例えば、情動の推定結果の快感度が低い場合、決定部62は、図3の支援手段テーブルから、適切な情動の推定結果を表す「快感度が低い」に対応付けられた、番号「YYY-001」の支援手段「穏やかで静かで優しい口調」を選択候補とする。そして、図3の支援結果テーブルにおいて番号「YYY-001」に対応する支援後の情動またはコンテキストの推定結果が、支援手段テーブルにおいて番号「YYY-001」に対応する適切な今後の情動またはコンテキストである場合、決定部62は、この選択候補を今回の支援手段に決定して読み出す。
支援部57は、設定部61により設定された支援内容並びに決定部62により決定された支援方法および支援手段に基づいて、音声で次の予定に関するメッセージをユーザに伝達するという支援を行う。具体的には、支援部57は、支援内容、支援方法、および支援手段に基づいて、次の予定に関するメッセージをスピーカが出力するように制御する制御情報を生成し、スピーカの各種I/F41に供給する。例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法に決定され、今回の支援手段が支援手段「穏やかで静かで優しい口調」に決定された場合、支援部57は、穏やかで静かで優しい口調で次の予定に関するメッセージの概要のみを伝達する音声をスピーカから出力するように制御情報を生成し、スピーカの各種I/F41に供給する。これにより、穏やかで静かで優しい口調で次の予定に関するメッセージの概要のみを伝達する音声がスピーカから出力される。
なお、次の予定に関するメッセージの概要のみを伝達する音声とは、例えば「妻と買い物の予定です。」という次の予定を端的に伝達する音声である。一方、「関連話題と共に音声で伝達する」が表す支援方法にしたがって次の予定に関するメッセージをユーザに伝達する音声は、例えば「妻と買い物の予定です。雨の予報です。ガソリンが少なくなっています。」という、次の予定と次の予定に関連する情報の両方を伝達する音声である。
支援部57による支援後、結果処理部63は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部53から供給される入力情報の解析結果に基づいて、支援結果を生成する。そして、結果処理部63は、その支援結果を、今回の支援内容、支援方法、および支援手段に対応付けて、データベース56内の支援結果テーブルに登録する。例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法であり、支援手段が支援手段「穏やかで静かで優しい口調」である場合、図3に示した支援結果テーブルの最も左側の情報が登録される。
<音声エージェント装置の処理の説明>
図5は、図1の音声エージェント装置14の音声支援処理を説明するフローチャートである。この音声支援処理は、例えば、音声支援システム10の開始が指示されたとき、開始される。
図5は、図1の音声エージェント装置14の音声支援処理を説明するフローチャートである。この音声支援処理は、例えば、音声支援システム10の開始が指示されたとき、開始される。
図5のステップS10において、音声エージェント装置14の解析部53は、各種I/F41から入力される入力情報に基づいてユーザからの入力の内容を解析する解析処理を開始する。
ステップS11において、生体処理部51は、生体センサ21から入力される生体信号に対して生体信号処理を開始する。生体信号処理とは、動きセンサ22から入力される生体付随情報に基づいて生体信号のノイズを除去し、ノイズ除去後の生体信号から各種の特徴量を抽出する処理である。
また、コンテキスト処理部52は、環境センサ31から入力される環境情報とステップS10で開始された解析処理の結果の少なくとも一方に基づいてコンテキストの推定結果と予測結果を求めるコンテキスト処理を開始する。
ステップS12において、情動処理部54は、情動の推定結果と予測結果を求める情動処理を開始する。情動処理では、情動の推定結果が、ステップS11で開始された生体信号処理により得られる特徴量を用いて求められる。また、情動の予測結果が、情動の推定結果と、ステップS11で開始されたコンテキスト処理により得られるコンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて求められる。
ステップS13において、音声エージェント装置14は、音声支援処理を終了するかどうかを判定する。例えば、解析処理による結果が音声支援処理の終了を示す内容である場合、音声エージェント装置14は、音声支援処理を終了すると判定する。ステップS13で音声支援処理を終了すると判定された場合、音声エージェント装置14は、解析処理、生体信号処理、コンテキスト処理、および情動処理を終了し、音声支援処理は終了する。
一方、ステップS13で音声支援処理を終了しないと判定された場合、処理はステップS14に進む。
ステップS14において、支援制御部55は、既に支援部57による支援が行われたかどうかを判定する。ステップS14で既に支援部57による支援が行われたと判定された場合、処理はステップS15に進む。
ステップS15において、支援制御部55の結果処理部63は、データベース56内の支援結果テーブルを更新する。この支援結果テーブルの更新には、コンテキスト処理により求められる支援前後のコンテキストの推定結果および情動処理により求められる支援前後の情動の推定結果のうちの少なくとも一方と解析処理による解析結果とに基づいて生成された支援結果が用いられる。そして、処理はステップS16に進む。
一方、ステップS14でまだ支援が行われていないと判定された場合、処理はステップS16に進む。
ステップS16において、設定部61は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザに対して支援を行う必要があるかどうかを判定する。ステップS16でユーザに対して支援を行う必要があると判定された場合、処理はステップS17に進む。ステップS17において、設定部61は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、支援内容を設定する。
ステップS18において、決定部62は、データベース56を参照して、情動およびコンテキストの推定結果のうちの少なくとも一方とステップS17で設定された支援内容とに基づいて、今回の支援方法および支援手段を決定する。
ステップS19において、支援部57は、ステップS17で設定された支援内容並びにステップS18で決定された支援方法および支援手段にしたがって制御情報を生成し、スピーカの各種I/F41に供給することにより、ユーザに対して音声による支援を行う。そして、処理はステップS13に戻り、ステップS13以降の処理が繰り返される。
一方、ステップS16で支援を行う必要がないと判定された場合、支援は行われず、処理はステップS13に戻り、ステップS13以降の処理が繰り返される。
以上のように、音声エージェント装置14は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。従って、ユーザの今後の状態を予測してユーザを支援することができる。また、音声エージェント装置14は、支援結果テーブルを参照して、支援方法および支援手段を決定する。従って、ユーザに対する支援をパーソナライゼーション(個人最適化)することができる。
<第2実施の形態>
<自転車ナビゲーションシステムの構成例>
図6は、本技術を適用した情報処理装置としてのナビゲーション装置を含む自転車ナビゲーションシステムの構成例を示すブロック図である。
<自転車ナビゲーションシステムの構成例>
図6は、本技術を適用した情報処理装置としてのナビゲーション装置を含む自転車ナビゲーションシステムの構成例を示すブロック図である。
図6の自転車ナビゲーションシステム100において、図1の音声支援システム10と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、音声支援システム10と異なる部分に着目して説明する。
自転車ナビゲーションシステム100は、ヒアラブルデバイス101、IoTデバイス102、1以上のヒューマンインターフェースデバイス103、およびナビゲーション装置104により構成される。自転車ナビゲーションシステム100は、自転車に乗っているユーザに対して、緊急度や重要度に応じて、ユーザが設定した目的地までの道順の案内や危険の警告を行うことにより、ユーザを支援する。
具体的には、ヒアラブルデバイス101は、ユーザの耳に装着される。ヒアラブルデバイス101は、環境センサ31が新たに設けられる点が図1のウェアラブルデバイス11と異なり、その他はウェアラブルデバイス11と同様に構成されている。ヒアラブルデバイス101により取得された環境情報は、ナビゲーション装置104に入力される。
IoTデバイス102は、例えば自転車に設置され、自転車に乗っているユーザの周囲の画像を取得する全方位画像センサ111を有する。全方位画像センサ111により取得されたユーザの周囲の画像は環境情報としてナビゲーション装置104に入力される。
ヒューマンインターフェースデバイス103としては、ユーザからの入力を受け付ける入力デバイスやユーザに対して出力する出力デバイスがある。入力デバイスとしては、マイク、タッチセンサ、感圧センサ等があり、出力デバイスとしては、イヤホン、振動装置等がある。
ヒューマンインターフェースデバイス103は、ユーザとのインタラクションを行う各種I/F121を有する。例えば、マイク、タッチセンサ、および感圧センサの各種I/F121は、各種I/F41と同様に入力情報をナビゲーション装置104に入力する。イヤホンや振動装置の各種I/F121は、ナビゲーション装置104から入力される制御情報に基づいて、ユーザに対して音声や振動を出力することにより支援を行う。
ヒアラブルデバイス101、IoTデバイス102、およびヒューマンインターフェースデバイス103と、ナビゲーション装置104との情報のやり取りは、有線または無線のネットワークを介して行われる。
ナビゲーション装置104は、コンテキスト処理部52、データベース56、支援部57の代わりに、コンテキスト処理部131、データベース132、支援部133が設けられる点が音声エージェント装置14と異なっており、その他は音声エージェント装置14と同様に構成されている。
ナビゲーション装置104のコンテキスト処理部131は、コンテキストの推定に用いられる環境情報が、環境センサ31と全方位画像センサ111の少なくとも一方から入力されるものである点が図1のコンテキスト処理部52と異なり、その他はコンテキスト処理部52と同様に構成されている。
データベース132は、データベース56と同様に、支援方法テーブル、支援手段テーブル、および支援結果テーブルを記憶するが、この支援方法テーブルおよび支援手段テーブルは、ナビゲーション装置104による支援に適したものであり、支援結果テーブルは、ナビゲーション装置104による支援に対応するものである。
支援部133は、設定部61から供給される支援内容並びに決定部62から供給される支援方法および支援手段にしたがって、ユーザを音声または振動により支援する。
具体的には、支援部133は、支援内容、支援方法、および支援手段に対応する発話内容の音声がヒューマンインターフェースデバイス103としてのイヤホンから出力するようにイヤホンを制御する制御情報を生成する。そして、支援部133は、その制御情報をイヤホンの各種I/F121に供給する。これにより、イヤホンから、支援内容、支援方法、および支援手段に対応する発話内容の音声が出力され、音声によるユーザ支援が行われる。
また、支援部133は、支援内容、支援方法、および支援手段に対応する振動がヒューマンインターフェースデバイス103としての振動装置から出力するように振動装置を制御する制御情報を生成する。そして、支援部133は、その制御情報を振動装置の各種I/F121に供給する。これにより、振動装置から、支援内容、支援方法、および支援手段に対応する振動が出力され、振動によるユーザ支援が行われる。
なお、ヒアラブルデバイス101とヒューマンインターフェースデバイス103は一体化されていてもよい。データベース132は、ナビゲーション装置104の内部に設けられるのではなく、外部に設けられ、有線または無線のネットワークを介して支援制御部55と接続されるようにしてもよい。
<データベースの例>
図7は、図6のデータベース132に記憶される情報の例を示す図である。
図7は、図6のデータベース132に記憶される情報の例を示す図である。
図7では、データベース132に記憶される、支援内容「次の道筋に関するメッセージをユーザに伝達する」に対応する支援方法テーブル、「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブル、および支援結果テーブルを示している。
具体的には、図7の例では、支援内容「次の道筋に関するメッセージをユーザに伝達する」に対応する支援方法テーブルには、図3の番号「XXX-001」および番号「XXX-002」の支援方法が登録されている。
「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブルには、支援手段を表す「明確に伝達する」に対応付けて、適切な情動の推定結果を表す「(なし)」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「(なし)」、不適切なコンテキストの推定結果を表す「(なし)」、適切な今後の情動を表す「覚醒度が上昇する」、適切な今後のコンテキストを表す「(なし)」、不適切な今後の情動を表す「覚醒度が低下する」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「明確に伝達する」が表す支援手段とは、的確な口調(ニュース風の口調)という伝達手段である。この支援手段には、番号「YYY-003」が付与されている。
また、支援手段を表す「強い口調で伝達する」に対応付けて、適切な情動の推定結果を表す「覚醒度が低い」、適切なコンテキストの推定結果を表す「活動中」、不適切な情動の推定結果を表す「なし」、不適切なコンテキストの推定結果を表す「快感度が低い」、適切な今後の情動を表す「覚醒度が上昇する/高い」、適切な今後のコンテキストを表す「(なし)」、不適切な今後の情動を表す「(なし)」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「強い口調で伝達する」が表す支援手段とは、警告音と命令口調という伝達手段である。この支援手段には、番号「YYY-004」が付与されている。
支援結果テーブルには、支援内容「次の道筋に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-001」、および支援手段を表す「YYY-003」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。
支援内容「次の道筋に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-002」、および支援手段を表す「YYY-004」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。
なお、データベース132に記憶される支援方法テーブル、支援手段テーブル、および支援結果テーブルは、図7の例に限定されない。
例えば、支援内容「危険を警告するメッセージをユーザに伝達する」に対応する支援方法が図7の番号「XXX-001」と「XXX-002」の支援方法である場合、「音声で伝達する」を含む支援方法に対応する支援手段テーブルにおいて、適切な情動の推定結果を表す「覚醒度が上昇した」に対応付けて、支援方法「優しい口調」が登録されるようにしてもよい。
これにより、例えばコンテキストの推定結果が「危険物がある」であり、支援内容「危険を警告するメッセージをユーザに伝達する」が設定された場合、「音声で伝達する」を含む支援方法が選択されると、ユーザの覚醒度が上昇する、即ちユーザが警告される危険に気付いていると推測されるときには、優しい口調で危険を警告するメッセージがユーザに伝達される。その結果、ユーザが既に気付いている危険に対して厳しい口調で警告を行うことによりユーザに不快感を与えることを防止することができる。
一方、適切な情動の推定結果を表す「覚醒度が上昇しない」に対応付けて、支援方法「大音量」が登録されるようにしてもよい。これにより、ユーザの覚醒度が上昇しない、即ちユーザが警告される危険に気付いていないと推測される場合、大音量で危険を警告するメッセージがユーザに伝達される。その結果、ユーザが気付いていない危険に対してユーザの注意を引き付け、ユーザに危険を回避させることができる。
なお、支援方法「端的に音声で伝達する」にしたがった支援内容「前方に危険物があることを警告するメッセージをユーザに伝達する」の支援における音声は、例えば、「前方危険物あり」という前方に危険物があることを端的に警告する音声である。
<自転車ナビゲーションシステムによる処理の概要の例>
図8は、図6の自転車ナビゲーションシステム100による処理の概要の例を示す図である。
図8は、図6の自転車ナビゲーションシステム100による処理の概要の例を示す図である。
図8に示すように、例えば、コンテキスト処理部131によるコンテキストの推定結果が「〇〇まで自転車で移動中」であり、かつ、信頼度の高いコンテキストの予測結果が「移動を継続」である場合、または、解析部53による解析結果が、ユーザからの「〇〇までナビして」という問いかけである場合、設定部61は、支援内容を「次の道筋に関するメッセージをユーザに伝達する」に設定する。
決定部62は、データベース132に記憶されている支援内容「次の道筋に関するメッセージをユーザに伝達する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの1つを選択して読み出す。なお、このとき、決定部62は、支援結果テーブルに基づいて、選択候補の支援方法のうちの、その支援方法に対応付けて登録されている支援結果が最も望ましいものを選択する。
例えば、情動の推定結果の覚醒度が高い場合、決定部62は、図7の支援方法テーブルから、適切な情動の推定結果を表す「覚醒度が高い」に対応付けられた、番号「XXX-001」の「端的に音声で伝達する」が表す支援方法を選択候補とする。そして、図7の支援結果テーブルにおいて番号「XXX-001」に対応する支援後の情動またはコンテキストの推定結果が、支援方法テーブルにおいて番号「XXX-001」に対応する適切な今後の情動またはコンテキストである場合、決定部62は、この選択候補を今回の支援方法に決定して読み出す。
また、決定部62は、データベース132に記憶されている今回の支援方法に対応する支援手段テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援手段のうちの1つを選択して読み出す。なお、このとき、決定部62は、支援結果テーブルに基づいて、選択候補の支援手段のうちの、その支援手段に対応付けて登録されている支援結果が最も望ましいものを選択する。
例えば、決定部62は、図7に示した支援方法テーブルから、番号「YYY-003」の支援手段「的確な口調」を選択候補とする。そして、例えば、図7の支援結果テーブルにおいて支援手段「的確な口調」に対応する支援後の情動の推定結果が、支援手段テーブルにおいて番号「YYY-003」に対応する支援後の情動またはコンテキストの推定結果が、支援手段テーブルにおいて番号「YYY-003」に対応する適切な今後の情動またはコンテキストである場合、決定部62は、この選択候補を今回の支援手段に決定して読み出す。
支援部133は、設定部61により設定された支援内容並びに決定部62により決定された支援方法および支援手段に基づいて、次の道筋に関するメッセージをナビゲーション情報としてユーザに伝達するという支援を行う。具体的には、支援部133は、支援内容、支援方法、および支援手段に基づいて制御情報を生成し、各種I/F121に供給する。
例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法に決定され、今回の支援手段が支援手段「的確な口調」に決定された場合、支援部133は、的確な口調で次の道順に関するメッセージの概要のみを伝達する音声をスピーカが出力するように制御情報を生成し、スピーカの各種I/F121に供給する。これにより、的確な口調で次の道順に関するメッセージの概要のみを伝達する音声がスピーカから出力される。
なお、次の道順に関するメッセージの概要のみを伝達する音声とは、例えば「300メートル先、右折です。」、「次の角を右折です。」という次の道順を端的に伝達する音声である。一方、「関連話題と共に音声で伝達する」が表す支援方法にしたがって次の道順に関するメッセージをユーザに伝達する音声は、例えば「300メートル先、右折です。その先渋滞しています。雨が降りそうです。」という、次の道順と次の道順に関連する情報の両方を伝達する音声となる。
支援部133による支援後、結果処理部63は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部53から供給される入力情報の解析結果に基づいて、支援結果を生成する。そして、結果処理部63は、その支援結果を、今回の支援内容、支援方法、および支援手段に対応付けて、データベース132内の支援結果テーブルに登録する。例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法であり、支援手段が支援手段「的確な口調」である場合、図7に示した支援結果テーブルの最も左側の情報が登録される。
この支援結果テーブルは、次回の支援の支援方法や支援手段の決定に用いられる。例えば、支援結果テーブルにおいて、支援内容「次の道筋に関するメッセージをユーザに伝達する」、支援方法を表す番号「XXX-001」、および支援手段を表す番号「YYY-003」に対応する、支援前後の情動の推定結果の覚醒度が変化せず、支援前後のコンテキストの推定結果が表す自転車の速度も変化しない場合、支援後の情動およびコンテキストの推定結果は、その支援方法および支援手段に対応する適切な今後の情動およびコンテキストではない。即ち、このような場合、今回実施された支援がユーザの注意を引くものでなく、ユーザは次の道筋に関するメッセージを正確に受け取っていない可能性がある。従って、決定部62は、例えば、次回の支援手段を番号「YYY-003」の支援手段以外のユーザの注意を引く支援手段に決定する。
例えば、決定部62は、番号「YYY-004」の支援手段を次回の支援手段に決定する。これにより、次回の支援時に、「ピンポン」という警告音が出力された後、次の道筋に関するメッセージが命令口調でユーザに伝達される。なお、番号「YYY-003」の支援手段による支援時にも、警告音以外の音であれば、次の道筋に関するメッセージの前に音が出力されてもよい。
または、支援手段テーブルに支援手段「大音量」が登録されている場合、決定部62は、その支援手段を選択する。これにより、次の道筋に関するメッセージが大音量でユーザに伝達される。または、支援手段テーブルに支援手段「注意を引く語尾」が登録されている場合、決定部62は、その支援手段を選択する。これにより、「次の角を右折ですよ」、「次の角を右折です。右折です。」などの通常とは異なる語尾を有する次の道筋に関するメッセージがユーザに伝達される。
なお、ここでは、決定部62が支援結果テーブルを用いて支援手段を決定する場合について説明したが、支援方法を決定する場合も同様である。以上のように、決定部62は、支援結果テーブルを用いて支援方法や支援手段を決定することにより、ユーザが確実に次の道筋に関するメッセージを受け取るようにすることができる。
自転車ナビゲーションシステム100により行われるナビゲーション処理の流れは、図5の音声支援処理の流れと基本的に同様であるので、説明は省略する。
以上のように、ナビゲーション装置104は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。従って、ユーザの今後の状態を予測してユーザを支援することができる。また、ナビゲーション装置104は、支援結果テーブルを参照して、支援方法および支援手段を決定する。従って、ユーザに対する支援を個人最適化することができる。
<第3実施の形態>
<ペット型ロボットシステムの構成例>
図9は、本技術を適用した情報処理装置としてのペット型ロボットエージェント装置を含むペット型ロボットシステムの構成例を示すブロック図である。
<ペット型ロボットシステムの構成例>
図9は、本技術を適用した情報処理装置としてのペット型ロボットエージェント装置を含むペット型ロボットシステムの構成例を示すブロック図である。
図9のペット型ロボットシステム200において、図1の音声支援システム10と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、音声支援システム10と異なる部分に着目して説明する。
図9のペット型ロボットシステム200は、1以上のウェアラブルデバイス11とペット型ロボット201により構成される。ペット型ロボットシステム200は、ユーザのストレスを管理し、ストレスが軽減するようにユーザを支援する。
具体的には、ペット型ロボットシステム200のペット型ロボット201は、1以上のIoTデバイス12、1以上のヒューマンインターフェースデバイス211、およびペット型ロボットエージェント装置212を含む。
ヒューマンインターフェースデバイス211としては、ユーザからの入力を受け付ける入力デバイスやユーザに対して出力を行う出力デバイスがある。入力デバイスとしては、ペット型ロボット201の耳としてのマイク、タッチセンサ、感圧センサ等があり、出力デバイスとしては、ペット型ロボット201の口としてのスピーカ、ペット型ロボットの各部位(図示せず)を駆動する駆動部等がある。
ヒューマンインターフェースデバイス211は、ユーザとのインタラクションを行う各種I/F221を有する。例えば、マイク、タッチセンサ、および感圧センサの各種I/F221は、各種I/F41と同様に入力情報をナビゲーション装置104に入力する。スピーカの各種I/F221は、ペット型ロボットエージェント装置212から入力される制御情報に基づいて、ユーザに対して音声を出力することにより支援を行う。駆動部の各種I/F221は、ペット型ロボットエージェント装置212から入力される制御情報に基づいて、ペット型ロボット201の各部位を駆動することにより支援を行う。
ウェアラブルデバイス11とペット型ロボット201との情報のやり取りは、有線または無線のネットワークを介して行われる。
ペット型ロボットエージェント装置212は、データベース56、支援部57の代わりにデータベース231、支援部232が設けられる点が音声エージェント装置14と異なり、その他は音声エージェント装置14と同様に構成されている。
ペット型ロボットエージェント装置212のデータベース231は、データベース56と同様に、支援方法テーブル、支援手段テーブル、および支援結果テーブルを記憶するが、この支援方法テーブルおよび支援手段テーブルは、ペット型ロボットエージェント装置212による支援に適したものであり、支援結果テーブルは、ペット型ロボットエージェント装置212による支援に対応するものである。
支援部232は、設定部61から供給される支援内容並びに決定部62から供給される支援方法および支援手段にしたがって、ペット型ロボット201を介してユーザを支援する。
具体的には、支援部232は、支援部57と同様に、スピーカを制御する制御情報を生成してスピーカの各種I/F321に供給することにより、ペット型ロボット201の音声によるユーザ支援を行う。
また、支援部232は、支援内容、支援方法、および支援手段に対応する動作をペット型ロボット201が行うように駆動部を制御する制御情報を生成する。そして、支援部232は、その制御情報を駆動部の各種I/F221に供給する。これにより、ペット型ロボット201が所定の動作を行い、ペット型ロボット201の動作によるユーザ支援が行われる。
なお、ペット型ロボット201のIoTデバイス12の画像センサは、例えば、ペット型ロボット201の目として設置される。データベース231は、ペット型ロボット201の内部に設けられるのではなく、外部に設けられ、有線または無線のネットワークを介して支援制御部55と接続されるようにしてもよい。
<データベースの例>
図10は、図9のデータベース231に記憶される情報の例を示す図である。
図10は、図9のデータベース231に記憶される情報の例を示す図である。
図10では、データベース231に記憶される、支援内容「ユーザに休憩を提案する」に対応する支援方法テーブル、支援方法「ペット型ロボットの動作を介して提案する」に対応する支援手段テーブル、および支援結果テーブルを示している。
具体的には、図10の例では、支援内容「ユーザに休憩を提案する」に対応する支援方法テーブルには、支援方法を表す「端的に音声で提案する」に対応付けて、適切な情動の推定結果を表す「覚醒度が高い」、適切なコンテキストの推定結果を表す「作業中」、不適切な情動の推定結果を表す「覚醒度が低い」、不適切なコンテキストの推定結果を表す「行動中」、適切な今後の情動を表す「変化する可能性が高い」、適切な今後のコンテキストを表す「変化する可能性が高い」、不適切な今後の情動を表す「覚醒度が低い」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「端的に音声で提案する」が表す支援方法とは、提案内容に関するメッセージの概要のみを音声で伝達する提案方法である。
支援方法を表す「ペット型ロボットの動作を介して提案する」に対応付けて、適切な情動の推定結果を表す「(なし)」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「覚醒度が高い」、不適切なコンテキストの推定結果を表す「他人がいる」、適切な今後の情動を表す「覚醒度が低下する」、適切な今後のコンテキストが表す「変化しない」、不適切な今後の情動を表す「覚醒度が上昇する」、および不適切な今後のコンテキストを表す「変化する可能性が高い」が登録されている。なお、「ペット型ロボットの動作を介して提案する」が表す支援方法とは、ペット型ロボット201の動作を介してユーザが提案内容を行うように導く提案方法である。
支援方法「ペット型ロボットの動作を介して提案する」に対応する支援手段テーブルには、支援手段を表す「見つめて甘えた声を出す」に対応付けて、適切な情動の推定結果を表す「覚醒度が高い」、適切なコンテキストの推定結果を表す「作業中」、不適切な情動の推定結果を表す「覚醒度が低い/快感度が低い」、不適切なコンテキストの推定結果を表す「なし」、適切な今後の情動を表す「覚醒度が低い」、適切な今後のコンテキストを表す「休憩中」、不適切な今後の情動を表す「覚醒度が高い」、および不適切な今後のコンテキストを表す「(なし)」が登録されている。なお、「見つめて甘えた声を出す」が表す支援手段とは、心配そうな目で見つめて甘えた声を出す動作という提案手段である。この支援手段には、番号「WWW-001」が付与されている。
また、支援手段を表す「じゃれる」に対応付けて、適切な情動の推定結果を表す「覚醒度が低い」、適切なコンテキストの推定結果を表す「休憩中」、不適切な情動の推定結果を表す「快感度が低い」、不適切なコンテキストの推定結果を表す「活動中」、適切な今後の情動を表す「快感度が高い」、適切な今後のコンテキストを表す「持続」、不適切な今後の情動を表す「快感度が低い」、および不適切な今後のコンテキストを表す「変化する」が登録される。なお、「じゃれる」が表す支援手段とは、ユーザの周りでたわむれる動作という提案手段である。この支援手段には、番号「WWW-002」が付与されている。
支援結果テーブルには、支援内容「ユーザに休憩を提案する」、支援方法を表す「ZZZ-001」、および支援手段を表す「YYY-001」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。図10の例では、「音声で提案する」を含む支援方法に対応する支援手段テーブルに、図3の番号「YYY-001」の支援手段が登録されている。
支援内容「ユーザに休憩を提案する」、支援方法を表す「ZZZ-003」、および支援手段を表す「WWW-001」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。
なお、データベース231に記憶される支援方法テーブル、支援手段テーブル、および支援結果テーブルは、図10の例に限定されない。
<ペット型ロボットシステムによる処理の概要の例>
図11は、図9のペット型ロボットシステム200による処理の概要の例を示す図である。
図11は、図9のペット型ロボットシステム200による処理の概要の例を示す図である。
図11に示すように、例えば、コンテキスト処理部52によるコンテキストの推定結果が「ユーザが長時間作業をしている」であり、信頼度が高いコンテキストの予測結果が「作業が継続する」であり、かつ、情動処理部54による情動の推定結果および信頼度が高い予測結果が、「長時間覚醒度が高い」である場合、設定部61は、支援内容を「ユーザに休憩を提案する」に設定する。即ち、ユーザが長時間集中して作業を行っている場合、ユーザのストレスが高いため、設定部61は、ユーザに休憩を提案する支援を行い、ユーザをリラックスさせる。
決定部62は、データベース231に記憶されている支援内容「ユーザに休憩を提案する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの1つを選択して読み出す。なお、このとき、決定部62は、支援結果テーブルに基づいて、選択候補の支援方法のうちの、その支援方法に対応付けて登録されている支援結果が最も望ましいものを選択する。
例えば、情動の推定結果の覚醒度が高いので、決定部62は、図10の支援方法テーブルから、適切な情動の推定結果を表す「覚醒度が高い」に対応付けられた、番号「ZZZ-001」の「端的に音声で提案する」が表す支援方法を選択候補とする。そして、図10の支援結果テーブルにおいて番号「ZZZ-001」に対応する支援後の情動またはコンテキストの推定結果が、支援方法テーブルにおいて番号「ZZZ-001」に対応する適切な今後の情動またはコンテキストである場合、決定部62は、この選択候補を今回の支援方法に決定して読み出す。
また、決定部62は、データベース231に記憶されている今回の支援方法に対応する支援手段テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援手段のうちの1つを選択して読み出す。なお、このとき、決定部62は、支援結果テーブルに基づいて、選択候補の支援手段のうちの、その支援手段に対応付けて登録されている支援結果が最も望ましいものを選択する。
例えば、「音声で提案する」を含む支援方法に対応する支援手段テーブルとして図3の番号「YYY-001」と「YYY-002」の支援手段が登録されており、情動の推定結果の快感度が低い場合、決定部62は、その支援手段テーブルから、情動の推定結果を表す「快感度が低い」に対応付けられた、番号「YYY-001」の支援手段「穏やかで静かで優しい口調」を選択候補とする。そして、図10の支援結果テーブルにおいて番号「YYY-001」に対応する支援後の情動またはコンテキストの推定結果が、支援手段テーブルにおいて番号「YYY-001」に対応する適切な今後の情動またはコンテキストである場合、決定部62は、この支援手段を今回の支援手段に決定して読み出す。
支援部232は、設定部61により設定された支援内容並びに決定部62により決定された支援方法および支援手段に基づいて、ペット型ロボット201を介してユーザに休憩を提案するという支援を行う。具体的には、支援部232は、支援内容、支援方法、および支援手段に基づいて制御情報を生成し、各種I/F221に供給する。
例えば、今回の支援方法が「端的に音声で提案する」が表す支援方法に決定され、今回の支援手段が支援手段「穏やかで静かで優しい口調」に決定された場合、支援部232は、穏やかで静かで優しい口調で休憩の提案に関するメッセージの概要のみを伝達する音声をスピーカが出力するように制御情報を生成し、スピーカの各種I/F221に供給する。これにより、穏やかで静かで優しい口調で休憩の提案に関するメッセージの概要のみを伝達する音声がスピーカから出力される。なお、休憩の提案に関するメッセージの概要のみを伝達する音声とは、例えば「休憩しませんか?」という休憩を端的に提案する音声となる。
また、今回の支援方法が「ペット型ロボットの動作を介して提案する」が表す支援方法に決定され、今回の支援手段が支援手段「心配そうな眼で見つめて甘えた声を出す動作」に決定された場合、支援部232は、ペット型ロボット201がユーザに対して心配そうな眼で見つめる動作を行うように駆動部を制御する制御情報を生成し、駆動部の各種I/F221に供給する。また、支援部232は、甘えた声をスピーカが出力するように制御情報を生成し、スピーカの各種I/F221に供給する。以上により、ペット型ロボット201は、心配そうな眼で見つめて甘えた声を出す。
即ち、この場合、支援部232は、「休憩を取りましょう」という命令を行うのではなく、ペット型ロボット201にユーザが休憩を取りたくなるような動作を行わせることにより、ユーザに休憩を提案する支援を行う。
支援部232による支援後、結果処理部63は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部53から供給される入力情報の解析結果に基づいて、支援結果を生成する。そして、結果処理部63は、その支援結果を、今回の支援内容、支援方法、および支援手段に対応付けて、データベース231内の支援結果テーブルに登録する。例えば、今回の支援方法が「端的に音声で提案する」が表す支援方法であり、支援手段が支援手段「穏やかで静かで優しい口調」である場合、図10に示した支援結果テーブルの最も左側の情報が登録される。
この支援結果テーブルは、次回の支援の支援方法や支援手段の決定に用いられる。例えば、支援結果テーブルにおいて、支援内容「ユーザに休憩を提案する」、支援方法を表す番号「ZZZ-001」、および支援手段を表す番号「YYY-001」に対応する、支援後のコンテキストの推定結果が休憩中ではない場合、支援後のコンテキストの推定結果は、その支援方法および支援手段に対応する適切な今後のコンテキストではない。即ち、このような場合、今回実施された支援がユーザの注意を引くものでない可能性がある。従って、決定部62は、次回の支援の支援方法および支援手段の少なくとも一方を、今回の支援とは異なるものに決定する。
例えば、決定部62は、次回の支援方法として「ペット型ロボットの動作を介して提案する」が表す支援方法を選択し、その支援方法に対応する支援手段の1つである支援手段「ユーザに近付き体当たりする動作」を次回の支援手段として選択する。または、決定部62は、次回の支援方法として「ペット型ロボットの動作を介して提案する」が表す支援方法を選択し、その支援方法に対応する支援手段の1つである支援手段「休憩に適した音楽を歌う動作」を次回の支援手段として選択する。
一方、コンテキストの推定結果および信頼度の高い予測結果が「休憩中」であり、情動の推定結果および信頼度の高い予測結果の覚醒度が低い場合、設定部61は、支援内容を「ユーザに楽しい休憩を提供する」に設定する。この支援内容「ユーザに楽しい休憩を提供する」に対応する支援方法テーブルに「ペット型ロボットの動作を介して提供する」が表す支援方法が登録されている場合、決定部62は、例えば、図10の支援手段テーブルから支援手段「じゃれる」を今回の支援手段として読み出す。これにより、ユーザが現在休憩中で今後も休憩すると予測され、ユーザの覚醒度が低い状態が継続すると予測される場合に、ペット型ロボット201がユーザに対してじゃれる。
以上のように、ペット型ロボットエージェント装置212は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。従って、ユーザの今後の状態を予測してユーザを支援することができる。また、ペット型ロボットエージェント装置212は、支援結果テーブルを参照して、支援方法および支援手段を決定する。従って、ユーザに対する支援を個人最適化することができる。
<第4実施の形態>
<運転支援システムの構成例>
図12は、本技術を適用した情報処理装置としての運転支援装置を含む運転支援システムの構成例を示すブロック図である。
<運転支援システムの構成例>
図12は、本技術を適用した情報処理装置としての運転支援装置を含む運転支援システムの構成例を示すブロック図である。
図12の運転支援システム300において、図1の音声支援システム10と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、音声支援システム10と異なる部分に着目して説明する。
図12の運転支援システム300は、1以上のウェアラブルデバイス11、1以上のIoTデバイス301、1以上のヒューマンインターフェースデバイス302、および運転支援装置303により構成される。運転支援システム300は、例えば自動車などに組み込まれる。運転支援システム300は、自動車などを運転しているユーザが快適かつ安全に運転することができるようにユーザを支援する。
具体的には、IoTデバイス301は、環境情報を取得する各種のセンサである環境センサ311を有する。環境センサ311としては、環境センサ31と同様のGPSセンサ、画像センサ、超音波センサ、赤外線カメラ、加速度センサ、ジャイロセンサ、温湿度センサ、気象センサのほか、ユーザの周囲の交通情報を環境情報として取得する交通情報取得部等がある。IoTデバイス301は、環境センサ311により取得された環境情報を運転支援装置303に入力する。
ヒューマンインターフェースデバイス302としては、ユーザからの入力を受け付ける入力デバイスやユーザに対して出力を行う出力デバイスがある。入力デバイスとしては、マイク、タッチセンサ、感圧センサ等があり、出力デバイスとしては、スピーカ、振動装置、ディスプレイ等がある。ヒューマンインターフェースデバイス302は、ユーザとのインタラクションを行う各種I/F321を有する。マイク、タッチセンサ、および感圧センサの各種I/F321は、各種I/F41と同様に入力情報をナビゲーション装置104に入力する。スピーカ、振動装置、およびディスプレイの各種I/F321は、それぞれ、運転支援装置303から入力される制御情報に基づいて、ユーザに対して音声、振動、映像を出力することにより支援を行う。
ウェアラブルデバイス11、IoTデバイス301、およびヒューマンインターフェースデバイス302と、運転支援装置303との情報のやり取りは、有線または無線のネットワークを介して行われる。
運転支援装置303は、データベース56、支援部57の代わりに、データベース331、支援部332を設ける点が音声エージェント装置14と異なっており、その他は音声エージェント装置14と同様に構成されている。
運転支援装置303のデータベース331は、データベース56と同様に、支援方法テーブル、支援手段テーブル、および支援結果テーブルを記憶するが、この支援方法テーブルおよび支援手段テーブルは、運転支援装置303による支援に適したものであり、支援結果テーブルは、運転支援装置303による支援に対応するものである。
支援部332は、設定部61から供給される支援内容並びに決定部62から供給される支援方法および支援手段にしたがって、ユーザを音声、振動、または映像により支援する。
具体的には、支援部332は、支援部57と同様に、スピーカを制御する制御情報を生成してスピーカの各種I/F321に供給することにより、音声によるユーザ支援を行う。支援部332は、図6の支援部133と同様に、振動装置を制御する制御情報を生成して振動装置の各種I/F321に供給することにより、振動によるユーザ支援を行う。支援部332は、支援内容、支援方法、および支援手段に対応する映像がヒューマンインターフェースデバイス302としてのディスプレイに表示されるようにディスプレイを制御する制御情報を生成する。そして、支援部332は、その制御情報をディスプレイの各種I/F321に供給する。これにより、ディスプレイに、支援内容、支援方法、および支援手段に対応する映像が表示され、映像によるユーザ支援が行われる。
なお、データベース331は、運転支援装置303の内部に設けられるのではなく、外部に設けられ、有線または無線のネットワークを介して支援制御部55と接続されるようにしてもよい。
<データベースの例>
図13は、図12のデータベース331に記憶される情報の例を示す図である。
図13は、図12のデータベース331に記憶される情報の例を示す図である。
図13では、データベース331に記憶される、支援内容「BGM(Background Music)の変更をユーザに提案する」に対応する支援方法テーブル、「音声で提案する」を含む情報が表す支援方法に対応する支援手段テーブル、および支援結果テーブルを示している。
具体的には、図13の例では、支援内容「BGMの変更をユーザに提案する」に対応する支援方法テーブルには、図10の番号「ZZZ-001」の支援方法が登録されている。
支援方法を表す「関連話題と共に音声で提案する」に対応付けて、適切な情動の推定結果を表す「(なし)」、適切なコンテキストの推定結果を表す「(なし)」、不適切な情動の推定結果を表す「覚醒度が高い」、不適切なコンテキストの推定結果を表す「変化する可能性が高い」、適切な今後の情動を表す「覚醒度が上昇する」、適切な今後のコンテキストが表す「変化しない」、不適切な今後の情動を表す「快感度が低い」、および不適切な今後のコンテキストを表す「変化する可能性が高い」が登録されている。この支援方法には番号「ZZZ-002」が付与されている。
「音声で提案する」を含む情報が表す支援方法に対応する支援手段テーブルには、図3の番号「YYY-001」と「YYY-002」の支援手段が登録されている。
支援結果テーブルには、支援内容「BGMの変更をユーザに提案する」、支援方法を表す「ZZZ-001」、および支援手段を表す「YYY-001」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。
支援内容「BGMの変更をユーザに提案する」、支援方法を表す「ZZZ-002」、および支援手段を表す「YYY-002」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録されている。
なお、データベース331に記憶される支援方法テーブル、支援手段テーブル、および支援結果テーブルは、図13の例に限定されない。
<運転支援システムによる処理の概要の例>
図14は、図12の運転支援システム300による処理の概要の例を示す図である。
図14は、図12の運転支援システム300による処理の概要の例を示す図である。
図14に示すように、例えば、コンテキスト処理部52によるコンテキストの推定結果が「渋滞中」であり、信頼度の高いコンテキストの予測結果が「渋滞解消」であり、かつ、情動処理部54による情動の推定結果の快感度が低く、信頼度の高い情動の予測結果の快感度が高い場合、設定部61は、支援内容を「渋滞解消に関するメッセージをユーザに伝達する」と「BGMの変更をユーザに提案する」に設定する。即ち、運転支援装置303は、渋滞中で不快なユーザに対して、渋滞の解消を伝達するとともにBGMの変更を提案する支援を行い、ユーザの状態を快感度が低い状態から高い状態に遷移させる。
決定部62は、データベース331に記憶されている支援内容「渋滞解消に関するメッセージをユーザに伝達する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの1つを選択して読み出す。決定部62は、データベース331に記憶されている支援内容「BGMの変更をユーザに提案する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの1つを選択して読み出す。なお、このとき、決定部62は、支援結果テーブルに基づいて、選択候補の支援方法のうちの、その支援方法に対応付けて登録されている支援結果が最も望ましいものを選択する。
例えば、情動の推定結果の覚醒度が高い場合、決定部62は、図13の支援方法テーブルから、適切な情動の推定結果を表す「覚醒度が高い」に対応付けられた、番号「ZZZ-001」の「端的に音声で提案する」が表す支援方法を選択候補とする。そして、図13の支援結果テーブルにおいて番号「ZZZ-001」に対応する支援後の情動またはコンテキストの推定結果が、支援方法テーブルにおいて、番号「ZZZ-001」に対応する適切な今後の情動またはコンテキストである場合、決定部62は、この選択候補を今回の支援方法に決定して読み出す。
また、決定部62は、データベース331に記憶されている今回の支援方法に対応する支援手段テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの1つを選択して読み出す。なお、このとき、決定部62は、支援結果テーブルに基づいて、選択候補の支援手段のうちの、その支援手段に対応付けて登録されている支援結果が最も望ましいものを選択する。
例えば、情動の推定結果の快感度が低いので、決定部62は、図13の支援手段テーブルから、情動の推定結果を表す「快感度が低い」に対応付けられた、番号「YYY-001」の支援手段「穏やかで静かで優しい口調」を選択候補とする。そして、図13の支援結果テーブルにおいて番号「YYY-001」に対応する支援後の情動またはコンテキストの推定結果が、支援手段テーブルにおいて番号「YYY-001」に対応する適切な今後の情動またはコンテキストである場合、決定部62は、この選択候補を今回の支援手段に決定して読み出す。
支援部332は、設定部61により設定された支援内容並びに決定部62により決定された支援方法および支援手段に基づいて、渋滞解消に関するメッセージをユーザの運転を支援する運転支援情報としてユーザに伝達するという支援とBGMの変更をユーザに提案するという支援とを行う。
例えば、支援内容「BGMの変更をユーザに提案する」に対して、今回の支援方法として「端的に音声で伝達する」が表す支援方法が決定され、今回の支援手段として支援手段「穏やかで静かで優しい口調」が決定された場合、支援部332は、穏やかで静かで優しい口調でBGMの変更の提案に関するメッセージの概要のみを伝達する音声をスピーカが出力するように制御情報を生成し、スピーカの各種I/F321に供給する。これにより、穏やかで静かで優しい口調でBGMの変更の提案に関するメッセージの概要のみを伝達する音声がスピーカから出力される。
なお、BGMの変更の提案に関するメッセージの概要のみを伝達する音声とは、例えば「曲を〇〇(爽快なテンポの曲)に変更しませんか?」というBGMの変更を端的に提案する音声となる。一方、「関連話題と共に音声で提案する」が表す支援方法にしたがってBGMの変更の提案に関するするメッセージをユーザに伝達する音声は、例えば「曲を〇〇(爽快なテンポの曲)に変更しませんか?以前△△へドライブに行った際にも聴いていい気分になりましたよ。」という、BGMの変更の提案とその提案に関連する情報の両方を伝達する音声となる。
また、支援内容「渋滞解消に関するメッセージをユーザに伝達する」に対応する支援方法テーブルに、図7の番号「XXX-002」の支援方法が登録されている場合、この支援方法にしたがって渋滞解消に関するメッセージをユーザに伝達する音声は、例えば、「お疲れ様でした。まもなく渋滞が解消する予定です。」という音声となる。即ち、この場合、渋滞解消と、その渋滞解消に関連する情報としての渋滞の我慢の労をねぎらうメッセージの両方を伝達する音声が出力される。
支援部332による支援後、結果処理部63は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部53から供給される入力情報の解析結果に基づいて、支援結果を生成する。そして、結果処理部63は、その支援結果を、今回の支援内容、支援方法、および支援手段に対応付けて、データベース331内の支援結果テーブルに登録する。例えば、今回の支援方法が「端的に音声で提案する」が表す支援方法であり、支援手段が支援手段「穏やかで静かで優しい口調」である場合、図13に示した支援結果テーブルの最も左側の情報が登録される。
この支援結果テーブルは、次回の支援の支援方法や支援手段の決定だけでなく、支援内容の設定にも用いることができる。例えば、今回の支援後の情動の推定結果の覚醒度が低い場合、現在のユーザの状態は運転に不適切な状態である。従って、設定部61は、支援結果テーブルにおいて、支援後の情動の推定結果の覚醒度が高い支援内容を次回の支援内容に設定する。
例えば、設定部61は、「急に周辺の交通情報をユーザに伝達する」、「BGMの音量を一時的に変更する」、「起きていることを確認するメッセージをユーザに伝達する」等を支援内容に設定する。支援内容「BGMの音量を一時的に変更する」の支援後、ユーザから「音量を元に戻して」等の音声の入力が行われた場合、支援後の情動の推定結果の覚醒度が高くなる。従って、設定部61は、支援結果テーブルにおいて各支援内容に対応付けて登録されている支援後の情動の推定結果の覚醒度の高さを考慮せずに、次回の支援内容を設定する。
一方、支援内容「起きていることを確認するメッセージを伝達する」の支援後、ユーザから何の音声の入力も行われない場合、支援後の情動の推定結果の覚醒度は低いままになる。従って、設定部61は、支援結果テーブルにおいて支援後の情動の推定結果の覚醒度が高い他の支援内容、例えば支援内容「起きることを命令するメッセージをユーザに伝達する」を次回の支援内容に設定する。
なお、支援結果テーブルにおいて支援後の情動の推定結果の覚醒度が高い複数種類の支援内容に対応する支援が行われても、支援後の情動の推定結果の覚醒度が低いままである場合、情動の推定エラーの可能性がある。従って、設定部61は、支援内容「システムエラーを警告し、速やかに車を停止するメッセージをユーザに伝達する」を次回の支援内容に設定する。
図13の例では、設定部61が、渋滞解消後の加速に備えて、支援内容「BGMの変更をユーザに提案する」を設定したが、まだ渋滞中であることを考慮して、支援内容「渋滞回避策をユーザに提案する」や「渋滞中に快適に過ごす方法をユーザに提案する」を設定するようにしてもよい。渋滞回避策の提案としては、ルート変更、休憩、寄り道などの提案、コンビニエンスストアやパーキングに立ち寄り食べ物や飲み物を購入することの提案などがある。渋滞中に快適に過ごす方法の提案としては、例えば、ユーザが長時間運転していて他にも運転可能な人が存在する場合の運転手交代の提案、体勢や姿勢をリクライニングさせることの提案、深呼吸や運転席で可能なストレッチの提案などがある。
コンテキストの予測結果が「渋滞発生」であり、情動の推定結果の快感度が高く、情動の予測結果が「快感度が低下する」である場合、設定部61は、例えば、支援内容「渋滞発生に関するメッセージをユーザに伝達する」と「渋滞回避策をユーザに提案する」を設定する。なお、設定部61は、支援内容「渋滞回避策をユーザに提案する」の代わりに、支援内容「渋滞中に快適に過ごす方法をユーザに提案する」を設定するようにしてもよい。
コンテキストの予測結果が「渋滞継続」であり、情動の推定結果の快感度が低い場合、設定部61は、例えば、支援内容「今後の見通しとしてのコンテキストの予測結果の詳細に関するメッセージをユーザに伝達する」または「渋滞中に快適に過ごす方法をユーザに提案する」を設定する。この支援内容の選択は、支援結果テーブルを参照して行われるようにしてもよい。
例えば、支援結果テーブルにおいて、支援内容「今後の見通しとしてのコンテキストの予測結果の詳細に関するメッセージをユーザに伝達する」に対応する支援後の情動の推定結果が「快感度が低下する」である場合、設定部61は、支援内容「渋滞中に快適に過ごす方法をユーザに提案する」を設定する。一方、支援内容「渋滞中に快適に過ごす方法をユーザに提案する」に対応する支援後の情動の推定結果が「快感度が低下する」である場合、設定部61は、支援内容「今後の見通しとしてのコンテキストの予測結果の詳細に関するメッセージをユーザに伝達する」を設定する。以上により、渋滞中、今後の見通しの詳細を知ることにより不快になるユーザには、今後の見通しが伝達されず、今後の見通しの詳細を知ることにより安心するユーザには、今後の見通しが伝達される。なお、設定部61は、支援内容「BGMを変更する」や「現在のニュースをユーザに伝達する」などであってもよい。
以上のように、運転支援装置303は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。従って、ユーザの今後の状態を予測してユーザを支援することができる。また、運転支援装置303は、支援結果テーブルを参照して、支援方法および支援手段を決定する。従って、ユーザに対する支援を個人最適化することができる。
<第5実施の形態>
<料理支援システムの構成例>
図15は、本技術を適用した情報処理装置としての料理支援装置を含む料理支援システムの構成例を示すブロック図である。
<料理支援システムの構成例>
図15は、本技術を適用した情報処理装置としての料理支援装置を含む料理支援システムの構成例を示すブロック図である。
図15の料理支援システム400において、図1の音声支援システム10と対応する部分については同一の符号を付してある。従って、その部分の説明は適宜省略し、音声支援システム10と異なる部分に着目して説明する。
図15の料理支援システム400は、1以上のヒアラブルデバイス401、1以上のIoTデバイス12、1以上のヒューマンインターフェースデバイス402、および料理支援装置403により構成される。料理支援システム400は、料理をしているユーザが落ち着いて料理が進められるように、ユーザを支援する。
具体的には、ヒアラブルデバイス401は、ユーザの耳に装着される。ヒアラブルデバイス401は、ウェアラブルデバイス11と同様に、生体センサ21と動きセンサ22を有する。生体センサ21により取得された生体信号および動きセンサ22により取得された生体付随情報は、料理支援装置403に入力される。
ヒューマンインターフェースデバイス402としては、ユーザからの入力を受け付ける入力デバイスやユーザに対して出力を行う出力デバイスがある。入力デバイスとしては、マイク、タッチセンサ、感圧センサ、キーボード等があり、出力デバイスとしては、スピーカ、振動装置、ディスプレイ等がある。この出力デバイスはスマートフォン等に設けられることができる。
ヒューマンインターフェースデバイス402は、ユーザとのインタラクションを行う各種I/F411を有する。マイク、タッチセンサ、感圧センサ、およびキーボードの各種I/F411は、各種I/F41と同様に入力情報を料理支援装置403に入力する。スピーカ、振動装置、およびディスプレイの各種I/F411は、それぞれ、料理支援装置403から入力される制御情報に基づいて、ユーザに対して音声、振動、映像を出力することにより支援を行う。
ヒアラブルデバイス401、IoTデバイス12、およびヒューマンインターフェースデバイス402と、料理支援装置403との情報のやり取りは、有線または無線のネットワークを介して行われる。
料理支援装置403は、データベース56、支援部57の代わりに、データベース421、支援部422を設ける点が音声エージェント装置14と異なっており、その他は音声エージェント装置14と同様に構成されている。
料理支援装置403のデータベース421は、データベース56と同様に、支援方法テーブル、支援手段テーブル、および支援結果テーブルを記憶するが、この支援方法テーブルおよび支援手段テーブルは、料理支援装置403による支援に適したものであり、支援結果テーブルは、料理支援装置403による支援に対応するものである。
支援部422は、図12の支援部332と同様に、設定部61から供給される支援内容並びに決定部62から供給される支援方法および支援手段にしたがって、ユーザを音声、振動、または映像により支援する。
なお、データベース421は、料理支援装置403の内部に設けられるのではなく、外部に設けられ、有線または無線のネットワークを介して支援制御部55と接続されるようにしてもよい。
<データベースの例>
図16は、図15のデータベース421に記憶される情報の例を示す図である。
図16は、図15のデータベース421に記憶される情報の例を示す図である。
図16では、データベース421に記憶される、支援内容「手順に関するメッセージをユーザに伝達する」に対応する支援方法テーブル、「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブル、および支援結果テーブルを示している。
具体的には、図16の例では、支援内容「手順に関するメッセージをユーザに伝達する」に対応する支援方法テーブルには、図3の番号「XXX-001」の支援方法が登録されている。
支援方法を表す「映像と共に音声で伝達する」に対応付けて、適切な情動の推定結果を表す「覚醒度が高い(緊張)」、適切なコンテキストの推定結果を表す「作業中」、不適切な情動の推定結果を表す「(なし)」、不適切なコンテキストの推定結果を表す「(なし)」、適切な今後の情動を表す「覚醒度が低下する」、適切な今後のコンテキストが表す「変化しない」、不適切な今後の情動を表す「覚醒度が上昇する」、および不適切な今後のコンテキストを表す「変化する可能性が高い」が登録されている。なお、「映像と共に音声で伝達する」が表す支援方法とは、メッセージを映像と音声の両方で伝達する伝達方法である。この支援方法には番号「XXX-004」が付与されている。
「音声で伝達する」を含む情報が表す支援方法に対応する支援手段テーブルには、図3の番号「YYY-001」と「YYY-002」の支援手段が登録されている。
支援結果テーブルには、支援内容「手順に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-001」、および支援手段を表す「YYY-001」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録される。
支援内容「手順に関するメッセージをユーザに伝達する」、支援方法を表す「XXX-001」、および支援手段を表す「YYY-002」に対応付けて、その支援内容の支援が、その支援方法および支援手段で実施された際の支援日時、支援前の情動の推定結果、支援前のコンテキストの推定結果、支援後の情動の推定結果、支援後のコンテキストの推定結果、およびユーザからのフィードバックが登録される。
なお、データベース421に記憶される支援方法テーブル、支援手段テーブル、および支援結果テーブルは、図16の例に限定されない。
<料理支援システムによる処理の概要の例>
図17は、図15の料理支援システム400による処理の概要の例を示す図である。
図17は、図15の料理支援システム400による処理の概要の例を示す図である。
図17に示すように、例えば、コンテキスト処理部52によるコンテキストの推定結果が「料理中に手順を飛ばした」であり、信頼度の高いコンテキストの予測結果が「料理継続」であり、かつ、情動処理部54による情動の推定結果と信頼度の高い予測結果が「覚醒度が高い(焦っている)」である場合、設定部61は、支援内容を「手順に関するメッセージをユーザに伝達する」に設定する。
決定部62は、データベース421に記憶されている支援内容「手順に関するメッセージをユーザに伝達する」に対応する支援方法テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援方法のうちの1つを選択して読み出す。なお、このとき、決定部62は、支援結果テーブルに基づいて、選択候補の支援方法のうちの、その支援方法に対応付けて登録されている支援結果が最も望ましいものを選択する。
例えば、情動の推定結果の覚醒度が高いので、決定部62は、図16の支援方法テーブルから、適切な情動の推定結果を表す「覚醒度が高い」に対応付けられた、番号「XXX-001」の「端的に音声で伝達する」が表す支援方法を選択候補とする。そして、図16の支援結果テーブルにおいて番号「XXX-001」に対応する支援後の情動またはコンテキストの推定結果が、支援方法テーブルにおいて番号「XXX-001」に対応する適切な今後の情動またはコンテキストである場合、決定部62は、この選択候補を今回の支援方法に決定して読み出す。
また、決定部62は、データベース421に記憶されている今回の支援方法に対応する支援手段テーブルから、情動およびコンテキストの推定結果のうちの少なくとも一方に対応する支援手段のうちの1つを選択して読み出す。なお、このとき、決定部62は、支援結果テーブルに基づいて、選択候補の支援手段のうちの、その支援手段に対応付けて登録されている支援結果が最も望ましいものを選択する。
例えば、情動の推定結果の快感度が低い場合、決定部62は、図16の支援手段テーブルから、適切な情動の推定結果を表す「快感度が低い」に対応付けられた、番号「YYY-001」の支援手段「穏やかで静かで優しい口調」を選択候補とする。そして、図16の支援結果テーブルにおいて番号「YYY-001」に対応する支援後の情動またはコンテキストの推定結果が、支援手段テーブルにおいて番号「YYY-001」に対応する適切な今後の情動またはコンテキストである場合、決定部62は、この選択候補を今回の支援手段に決定して読み出す。番号「YYY-001」の支援手段に対応する適切な今後の情動を表す情報は、「覚醒度が低い」であるため、この支援手段が今回の支援手段に決定される場合、料理支援装置403は、焦っているユーザを落ち着かせるように支援することができる。
支援部422は、設定部61により設定された支援内容並びに決定部62により決定された支援方法および支援手段に基づいて、手順に関するメッセージをユーザの料理を支援する料理支援情報としてユーザに伝達するという支援を行う。具体的には、支援部422は、支援内容、支援方法、および支援手段に基づいて制御情報を生成し、各種I/F411に供給する。
例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法に決定され、今回の支援手段が支援手段「穏やかで静かで優しい口調」に決定された場合、支援部422は、穏やかで静かで優しい口調で手順に関するメッセージの概要のみを伝達する音声をスピーカが出力するように制御情報を生成し、スピーカの各種I/F411に供給する。これにより、穏やかで静かで優しい口調で手順に関するメッセージの概要のみを伝達する音声がスピーカから出力される。なお、手順に関するメッセージの概要のみを伝達する音声とは、例えば「手順〇をやりましょう。」という手順を端的に伝達する音声である。
一方、「映像と共に音声で伝達する」が表す支援方法にしたがって手順に関するメッセージをユーザに伝達する音声は、例えば「手順〇をやりましょう。ディスプレイを見て下さい。」という、手順を端的に伝達し、ディスプレイを見るように促す音声となる。支援部422は、この支援方法による支援を行う場合、手順を表す映像をディスプレイが表示するように制御する制御情報も生成し、ディスプレイの各種I/F411に供給する。その結果、スピーカから「手順〇をやりましょう。ディスプレイを見て下さい。」という音声が出力されるとともに、手順を表す映像がディスプレイに表示される。即ち、音声と映像により、手順に関するメッセージをユーザに伝達する支援が行われる。
なお、ユーザに伝達される手順は、例えば、インターネットなどを介して取得されたユーザの作りたい料理の人気の調理手順である。
支援部422による支援後、結果処理部63は、支援前後のユーザの情動およびコンテキストのうちの少なくとも一方の推定結果および解析部53から供給される入力情報の解析結果に基づいて、支援結果を生成する。そして、結果処理部63は、その支援結果を、今回の支援内容、支援方法、および支援手段に対応付けて、データベース421内の支援結果テーブルに登録する。例えば、今回の支援方法が「端的に音声で伝達する」が表す支援方法であり、支援手段が支援手段「穏やかで静かで優しい口調」である場合、図16に示した支援結果テーブルの最も左側の情報が登録される。
この支援結果テーブルは、次回の支援の支援方法や支援手段の決定に用いられる。例えば、今回の支援後の情動の推定結果の覚醒度が高い場合、即ちユーザが不安を感じている場合、決定部62は、支援結果テーブルにおいて支援後の情動の推定結果の覚醒度が低い支援手段、例えば支援手段「優しい口調」を次回の支援手段に決定する。支援手段「優しい口調」で支援が行われた後も、覚醒度が高い場合には、決定部62は、支援結果テーブルにおいて支援後の情動の推定結果の覚醒度が低い他の支援方法、例えば図16の「XXX-003」の支援方法を次回の支援方法に決定する。以上のようにして、音声による手順の伝達に不安を感じるユーザには、映像も用いて手順を伝達することができる。
コンテキストの推定結果が「料理中に手順を飛ばした」や「間違った手順を行った」であり、予測結果が「料理継続」であり、情動の推定結果と予測結果の覚醒度が低い場合、例えば、支援内容および支援方法は、覚醒度が高い場合と同様であるが、支援手段は、適切な今後の情動を表す「覚醒度が高い」に対応する支援手段、例えば支援手段「強い口調」に決定される。これにより、覚醒度が低い、即ち集中力がないことにより、料理中に手順を飛ばしたり、間違った手順を行ったりしたユーザに対して、集中力を取り戻すように支援が行われる。
この支援内容、支援方法、および支援手段に対応する支援後の情動の推定結果の覚醒度が支援前に比べて上昇した場合、この支援が有効であると判断される。そして、この支援の支援結果テーブルを参照して、今回の支援時とコンテキストの推定結果および予測結果並びに情動の推定結果および予測結果の少なくとも1つが同一である場合の支援時に、今回の支援と同一の支援内容、支援方法、および支援手段の支援が行われる。
一方、支援後の情動の推定結果の覚醒度が支援前に比べて上昇しない場合には、例えば、設定部61は、支援結果テーブルにおいて支援後の情動の推定結果を表す「覚醒度が高い」に対応する他の支援内容を次回の支援内容に設定する。他の支援内容としては、例えば支援内容「激しいリズムのBGMを出力する」、「ストレッチを行うことをユーザに提案する」、「飲み物を飲むことをユーザに提案する」、「一時的な休憩をユーザに提案する」等がある。以上のように、設定部61が支援結果テーブルを参照して支援内容を設定することにより、ユーザの覚醒度を上昇させる、即ち集中力を取り戻す支援が行われる。
以上のように、料理支援装置403は、情動およびコンテキストのうちの少なくとも一方の推定結果と、情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、ユーザを支援する。従って、ユーザの今後の状態を予測してユーザを支援することができる。また、料理支援装置403は、支援結果テーブルを参照して、支援方法および支援手段を決定する。従って、ユーザに対する支援を個人最適化することができる。
なお、上述した説明では、情動処理部54が、生体信号の特徴量に基づいてユーザの現在の情動を推定するものとしたが、DNN(Deep Neural Network)などにより生体信号から直接ユーザの現在の情動を推定することもできる。この場合、生体処理部51は、生体信号に対して、生体付随情報に基づくノイズ除去、リサンプリング等の前処理のみを行い、生体信号から特徴量を抽出する処理を行わない。また、情動処理部54は、ラッセルの感情円環モデル以外のモデルを用いて情動の推定結果や予測結果を求めるようにしてもよい。
<コンピュータの説明>
上述した音声エージェント装置14、ナビゲーション装置104、ペット型ロボットエージェント装置212、運転支援装置303、および料理支援装置403の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した音声エージェント装置14、ナビゲーション装置104、ペット型ロボットエージェント装置212、運転支援装置303、および料理支援装置403の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図18は、上述した音声エージェント装置14、ナビゲーション装置104、ペット型ロボットエージェント装置212、運転支援装置303、および料理支援装置403の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、及びドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロフォンなどよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記憶部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインタフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア511を駆動する。
以上のように構成されるコンピュータでは、CPU501が、例えば、記憶部508に記憶されているプログラムを、入出力インタフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インタフェース505を介して、記憶部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記憶部508にインストールすることができる。その他、プログラムは、ROM502や記憶部508に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術は、上述した音声支援システム、自転車ナビゲーションシステム、ペット型ロボットシステム、運転支援システム、料理支援システム以外のユーザを支援するユーザ支援エージェントシステムに適用することができる。例えば、ユーザの作業として運転や料理ではなく、勉強や仕事を支援する他の作業支援システムに適用することもできる、この作業支援システムは、作業が料理から勉強や仕事に代わる点を除いて料理支援システム400と同様に構成される。上述した運転支援情報や料理支援情報は、いずれもユーザの作業を支援する支援情報であるので、それらをまとめて、ユーザの作業を支援する作業支援情報ということもできる。出力デバイスとしては、プロジェクタ等が用いられるようにしてもよい。
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
本技術は、以下の構成を取ることができる。
(1)
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部
を備える情報処理装置。
(2)
前記情動の推定結果と、前記コンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、前記情動の予測結果を求める情動処理部
をさらに備える
前記(1)に記載の情報処理装置。
(3)
前記情動処理部はまた、前記情動の推定結果と、前記コンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、前記情動の予測結果の信頼度も求める
ように構成された
前記(2)に記載の情報処理装置。
(4)
前記ユーザの生体信号を用いて前記情動の推定結果を求める情動処理部
をさらに備える
前記(1)に記載の情報処理装置。
(5)
時系列の前記コンテキストの推定結果に基づいて前記コンテキストの予測結果を求めるコンテキスト処理部
をさらに備える
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記ユーザの周囲の環境を示す環境情報と、前記ユーザから入力される情報である入力情報のうちの少なくとも一方に基づいて、前記コンテキストの推定結果を求めるコンテキスト処理部
をさらに備える
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(7)
前記情動および前記コンテキストのうちの少なくとも一方の推定結果と、前記情動および前記コンテキストのうちの少なくとも一方の予測結果とに基づいて、前記支援部による支援の内容である支援内容を設定する設定部
をさらに備え、
前記支援部は、前記設定部により設定された前記支援内容の支援を行う
ように構成された
前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記情動および前記コンテキストの推定結果のうちの少なくとも一方に基づいて、前記支援部による支援の方法である支援方法を決定する決定部
をさらに備え、
前記支援部は、前記決定部により決定された前記支援方法で前記支援内容の支援を行う
ように構成された
前記(7)に記載の情報処理装置。
(9)
前記支援部による支援の前後の前記情動および前記コンテキストのうちの少なくとも一方の推定結果に基づいて、前記支援方法に対応付けて前記ユーザに対する支援結果を記憶部に記憶させる結果処理部
をさらに備える
前記(8)に記載の情報処理装置。
(10)
前記決定部は、前記記憶部に記憶された前記支援結果にも基づいて、前記支援方法を決定する
ように構成された
前記(9)に記載の情報処理装置。
(11)
前記決定部は、前記情動および前記コンテキストの推定結果のうちの少なくとも一方に基づいて、前記支援部による支援の手段である支援手段も決定し、
前記支援部は、前記決定部により決定された前記支援方法および前記支援手段で前記支援内容の支援を行う
ように構成された
前記(8)に記載の情報処理装置。
(12)
前記支援部による支援の前後の前記情動および前記コンテキストのうちの少なくとも一方の推定結果に基づいて、前記支援方法および前記支援手段に対応付けて前記ユーザに対する支援結果を記憶部に記憶させる結果処理部
をさらに備える
前記(11)に記載の情報処理装置。
(13)
前記決定部は、前記記憶部に記憶された前記支援結果にも基づいて、前記支援方法および前記支援手段を決定する
ように構成された
前記(12)に記載の情報処理装置。
(14)
前記支援内容は、メッセージを前記ユーザに伝達することであり、
前記支援方法は、前記メッセージを音声で前記ユーザに伝達する方法であり、
前記支援手段は、前記音声の口調または音量である
ように構成された
前記(11)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記メッセージは、ナビゲーション情報である
ように構成された
前記(14)に記載の情報処理装置。
(16)
前記メッセージは、前記ユーザの作業を支援する作業支援情報である
ように構成された
前記(14)に記載の情報処理装置。
(17)
前記支援内容は、前記ユーザに提案することであり、
前記支援方法は、前記ユーザにロボットの動作を介して提案する方法であり、
前記支援手段は、前記ロボットの所定の動作である
ように構成された
前記(11)乃至(13)のいずれかに記載の情報処理装置。
(18)
情報処理装置が、
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援ステップ
を含む情報処理方法。
(19)
コンピュータを、
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部
として機能させるためのプログラム。
(1)
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部
を備える情報処理装置。
(2)
前記情動の推定結果と、前記コンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、前記情動の予測結果を求める情動処理部
をさらに備える
前記(1)に記載の情報処理装置。
(3)
前記情動処理部はまた、前記情動の推定結果と、前記コンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、前記情動の予測結果の信頼度も求める
ように構成された
前記(2)に記載の情報処理装置。
(4)
前記ユーザの生体信号を用いて前記情動の推定結果を求める情動処理部
をさらに備える
前記(1)に記載の情報処理装置。
(5)
時系列の前記コンテキストの推定結果に基づいて前記コンテキストの予測結果を求めるコンテキスト処理部
をさらに備える
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記ユーザの周囲の環境を示す環境情報と、前記ユーザから入力される情報である入力情報のうちの少なくとも一方に基づいて、前記コンテキストの推定結果を求めるコンテキスト処理部
をさらに備える
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(7)
前記情動および前記コンテキストのうちの少なくとも一方の推定結果と、前記情動および前記コンテキストのうちの少なくとも一方の予測結果とに基づいて、前記支援部による支援の内容である支援内容を設定する設定部
をさらに備え、
前記支援部は、前記設定部により設定された前記支援内容の支援を行う
ように構成された
前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記情動および前記コンテキストの推定結果のうちの少なくとも一方に基づいて、前記支援部による支援の方法である支援方法を決定する決定部
をさらに備え、
前記支援部は、前記決定部により決定された前記支援方法で前記支援内容の支援を行う
ように構成された
前記(7)に記載の情報処理装置。
(9)
前記支援部による支援の前後の前記情動および前記コンテキストのうちの少なくとも一方の推定結果に基づいて、前記支援方法に対応付けて前記ユーザに対する支援結果を記憶部に記憶させる結果処理部
をさらに備える
前記(8)に記載の情報処理装置。
(10)
前記決定部は、前記記憶部に記憶された前記支援結果にも基づいて、前記支援方法を決定する
ように構成された
前記(9)に記載の情報処理装置。
(11)
前記決定部は、前記情動および前記コンテキストの推定結果のうちの少なくとも一方に基づいて、前記支援部による支援の手段である支援手段も決定し、
前記支援部は、前記決定部により決定された前記支援方法および前記支援手段で前記支援内容の支援を行う
ように構成された
前記(8)に記載の情報処理装置。
(12)
前記支援部による支援の前後の前記情動および前記コンテキストのうちの少なくとも一方の推定結果に基づいて、前記支援方法および前記支援手段に対応付けて前記ユーザに対する支援結果を記憶部に記憶させる結果処理部
をさらに備える
前記(11)に記載の情報処理装置。
(13)
前記決定部は、前記記憶部に記憶された前記支援結果にも基づいて、前記支援方法および前記支援手段を決定する
ように構成された
前記(12)に記載の情報処理装置。
(14)
前記支援内容は、メッセージを前記ユーザに伝達することであり、
前記支援方法は、前記メッセージを音声で前記ユーザに伝達する方法であり、
前記支援手段は、前記音声の口調または音量である
ように構成された
前記(11)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記メッセージは、ナビゲーション情報である
ように構成された
前記(14)に記載の情報処理装置。
(16)
前記メッセージは、前記ユーザの作業を支援する作業支援情報である
ように構成された
前記(14)に記載の情報処理装置。
(17)
前記支援内容は、前記ユーザに提案することであり、
前記支援方法は、前記ユーザにロボットの動作を介して提案する方法であり、
前記支援手段は、前記ロボットの所定の動作である
ように構成された
前記(11)乃至(13)のいずれかに記載の情報処理装置。
(18)
情報処理装置が、
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援ステップ
を含む情報処理方法。
(19)
コンピュータを、
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部
として機能させるためのプログラム。
14 音声エージェント装置, 52 コンテキスト処理部, 54 情動処理部, 56 データベース, 57 支援部, 61 設定部, 62 決定部, 63 結果処理部, 104 ナビゲーション装置, 131 コンテキスト処理部, 132 データベース, 133 支援部, 212 ペット型ロボットエージェント装置, 231 データベース, 232 支援部, 303 運転支援装置, 331 データベース, 332 支援部, 403 料理支援装置, 421 データベース, 422 支援部
Claims (19)
- ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部
を備える情報処理装置。 - 前記情動の推定結果と、前記コンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、前記情動の予測結果を求める情動処理部
をさらに備える
請求項1に記載の情報処理装置。 - 前記情動処理部はまた、前記情動の推定結果と、前記コンテキストの推定結果および予測結果のうちの少なくとも一方とに基づいて、前記情動の予測結果の信頼度も求める
ように構成された
請求項2に記載の情報処理装置。 - 前記ユーザの生体信号を用いて前記情動の推定結果を求める情動処理部
をさらに備える
請求項1に記載の情報処理装置。 - 時系列の前記コンテキストの推定結果に基づいて前記コンテキストの予測結果を求めるコンテキスト処理部
をさらに備える
請求項1に記載の情報処理装置。 - 前記ユーザの周囲の環境を示す環境情報と、前記ユーザから入力される情報である入力情報のうちの少なくとも一方に基づいて、前記コンテキストの推定結果を求めるコンテキスト処理部
をさらに備える
請求項1に記載の情報処理装置。 - 前記情動および前記コンテキストのうちの少なくとも一方の推定結果と、前記情動および前記コンテキストのうちの少なくとも一方の予測結果とに基づいて、前記支援部による支援の内容である支援内容を設定する設定部
をさらに備え、
前記支援部は、前記設定部により設定された前記支援内容の支援を行う
ように構成された
請求項1に記載の情報処理装置。 - 前記情動および前記コンテキストの推定結果のうちの少なくとも一方に基づいて、前記支援部による支援の方法である支援方法を決定する決定部
をさらに備え、
前記支援部は、前記決定部により決定された前記支援方法で前記支援内容の支援を行う
ように構成された
請求項7に記載の情報処理装置。 - 前記支援部による支援の前後の前記情動および前記コンテキストのうちの少なくとも一方の推定結果に基づいて、前記支援方法に対応付けて前記ユーザに対する支援結果を記憶部に記憶させる結果処理部
をさらに備える
請求項8に記載の情報処理装置。 - 前記決定部は、前記記憶部に記憶された前記支援結果にも基づいて、前記支援方法を決定する
ように構成された
請求項9に記載の情報処理装置。 - 前記決定部は、前記情動および前記コンテキストの推定結果のうちの少なくとも一方に基づいて、前記支援部による支援の手段である支援手段も決定し、
前記支援部は、前記決定部により決定された前記支援方法および前記支援手段で前記支援内容の支援を行う
ように構成された
請求項8に記載の情報処理装置。 - 前記支援部による支援の前後の前記情動および前記コンテキストのうちの少なくとも一方の推定結果に基づいて、前記支援方法および前記支援手段に対応付けて前記ユーザに対する支援結果を記憶部に記憶させる結果処理部
をさらに備える
請求項11に記載の情報処理装置。 - 前記決定部は、前記記憶部に記憶された前記支援結果にも基づいて、前記支援方法および前記支援手段を決定する
ように構成された
請求項12に記載の情報処理装置。 - 前記支援内容は、メッセージを前記ユーザに伝達することであり、
前記支援方法は、前記メッセージを音声で前記ユーザに伝達する方法であり、
前記支援手段は、前記音声の口調または音量である
ように構成された
請求項11に記載の情報処理装置。 - 前記メッセージは、ナビゲーション情報である
ように構成された
請求項14に記載の情報処理装置。 - 前記メッセージは、前記ユーザの作業を支援する作業支援情報である
ように構成された
請求項14に記載の情報処理装置。 - 前記支援内容は、前記ユーザに提案することであり、
前記支援方法は、前記ユーザにロボットの動作を介して提案する方法であり、
前記支援手段は、前記ロボットの所定の動作である
ように構成された
請求項11に記載の情報処理装置。 - 情報処理装置が、
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援ステップ
を含む情報処理方法。 - コンピュータを、
ユーザの現在の情動およびコンテキストのうちの少なくとも一方の推定結果と、前記ユーザの今後の情動およびコンテキストのうちの少なくとも一方の予測結果とに基づいて、前記ユーザを支援する支援部
として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022030583A JP2023127043A (ja) | 2022-03-01 | 2022-03-01 | 情報処理装置、情報処理方法、およびプログラム |
PCT/JP2023/005120 WO2023166979A1 (ja) | 2022-03-01 | 2023-02-15 | 情報処理装置、情報処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022030583A JP2023127043A (ja) | 2022-03-01 | 2022-03-01 | 情報処理装置、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023127043A true JP2023127043A (ja) | 2023-09-13 |
Family
ID=87883409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022030583A Pending JP2023127043A (ja) | 2022-03-01 | 2022-03-01 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023127043A (ja) |
WO (1) | WO2023166979A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005199403A (ja) * | 2004-01-16 | 2005-07-28 | Sony Corp | 情動認識装置及び方法、ロボット装置の情動認識方法、ロボット装置の学習方法、並びにロボット装置 |
JP2016110631A (ja) * | 2014-12-02 | 2016-06-20 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 状態推定装置、状態推定方法およびプログラム |
US10685297B2 (en) * | 2015-11-23 | 2020-06-16 | Google Llc | Automatic booking of transportation based on context of a user of a computing device |
JP6594235B2 (ja) * | 2016-03-16 | 2019-10-23 | Kddi株式会社 | 作業支援装置およびプログラム |
JP7365637B2 (ja) * | 2019-11-21 | 2023-10-20 | パナソニックIpマネジメント株式会社 | 環境制御システム、環境制御方法及びプログラム |
-
2022
- 2022-03-01 JP JP2022030583A patent/JP2023127043A/ja active Pending
-
2023
- 2023-02-15 WO PCT/JP2023/005120 patent/WO2023166979A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023166979A1 (ja) | 2023-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2953539C (en) | Voice affect modification | |
JP5688574B2 (ja) | 触覚提示付ロボット | |
JP6639444B2 (ja) | 情報提供装置及び情報提供方法 | |
JP6751536B2 (ja) | 装置、ロボット、方法、及びプログラム | |
JP6083441B2 (ja) | 車両用乗員感情対応制御装置 | |
JP7424285B2 (ja) | 情報処理システム、情報処理方法、および記録媒体 | |
JP6213489B2 (ja) | 車両用乗員感情対応制御装置 | |
JP6115577B2 (ja) | 車両用乗員感情対応制御装置 | |
CN113491519A (zh) | 基于情感-认知负荷的数字助理 | |
JP2016137200A (ja) | 車両用乗員感情対応制御装置 | |
US11250875B2 (en) | Behavior support system, behavior support apparatus, behavior support method, and storage medium storing program thereof | |
JP2021146214A (ja) | ドライバー監視システムでメディア誘発感情から運転感情を分離するための技術 | |
JP4247149B2 (ja) | ロボット | |
JP2024041746A (ja) | 情報処理装置 | |
JP5298923B2 (ja) | 居眠り防止装置及び居眠り防止方法 | |
US20200082818A1 (en) | Voice interaction device, control method for voice interaction device, and non-transitory recording medium storing program | |
WO2019215983A1 (ja) | 情報処理システム、情報処理方法、および記録媒体 | |
JP2016137202A (ja) | 車両用乗員感情対応制御装置 | |
WO2019198299A1 (ja) | 情報処理装置及び情報処理方法 | |
WO2023166979A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2016137201A (ja) | 車両用乗員感情対応制御装置 | |
WO2019187590A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2020124392A (ja) | 情報処理装置および情報処理システム | |
JP2002331890A (ja) | 乗物の推奨操作表現システム | |
JP6350586B2 (ja) | 運転支援装置 |