JP2017100221A - Communication robot - Google Patents
Communication robot Download PDFInfo
- Publication number
- JP2017100221A JP2017100221A JP2015234251A JP2015234251A JP2017100221A JP 2017100221 A JP2017100221 A JP 2017100221A JP 2015234251 A JP2015234251 A JP 2015234251A JP 2015234251 A JP2015234251 A JP 2015234251A JP 2017100221 A JP2017100221 A JP 2017100221A
- Authority
- JP
- Japan
- Prior art keywords
- biological state
- unit
- voice
- communication robot
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 85
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 13
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 13
- 230000008451 emotion Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 2
- 230000036541 health Effects 0.000 abstract description 25
- 230000035882 stress Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000007257 malfunction Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003862 health status Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010001497 Agitation Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005195 poor health Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Abstract
Description
本発明は、人と会話をするコミュニケーションロボットに関する。 The present invention relates to a communication robot that has a conversation with a person.
近年、人と会話をする各種コミュニケーションロボットが提案されている(例えば、特許文献1)。 In recent years, various communication robots that have conversations with people have been proposed (for example, Patent Document 1).
特許文献1では、コミュニケーションロボットの一例として、他の移動通信装置との無線接続の履歴に基づいて、その移動通信装置との親密度を決定する親密度評価部を備えるペット型移動ロボットが提案されている。この技術によれば、親密度に応じたメッセージが出力され、ユーザとのコミュニケーションが活発化されるというものである。
In
しかしながら、特許文献1の技術では、通常の健康状態にあるユーザのコミュニケーションが活発化されるものの、ユーザが体調不良等によって元気がない場合には、もはや対応しきれないという問題がある。ユーザが体調不良である場合には、ペット型移動ロボットとのコミュニケーションを活発化させることよりも、ユーザの健康を管理する人(介護士、家族等)が少しでも早くそのことを知り、ユーザに対処する必要がある。ところが、特許文献1の技術では、このようなケースには対応できないとう問題がある。
However, in the technique of
そこで、本発明は、上記問題に鑑みてなされたものであり、ユーザの健康管理を支援することができるコミュニケーションロボットを提供することを目的とする。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide a communication robot that can support user health management.
上記目的を達成するために、本発明の一形態に係るコミュニケーションロボットは、人と会話をするコミュニケーションロボットであって、マイクロホンと、スピーカと、前記マイクロホンから入力された音声を認識する音声認識部と、前記音声認識部による認識結果に基づいて、前記スピーカから音声を出力する音声合成部と、前記マイクロホンから入力された音声の音響的特徴に基づいて、前記音声を発した人の生体状態を推定する生体状態推定部とを備える。 In order to achieve the above object, a communication robot according to an aspect of the present invention is a communication robot that has a conversation with a person, and includes a microphone, a speaker, and a voice recognition unit that recognizes a voice input from the microphone. Based on the recognition result by the voice recognition unit, the voice synthesis unit that outputs the voice from the speaker, and the biological state of the person who emitted the voice is estimated based on the acoustic characteristics of the voice input from the microphone A living body state estimation unit.
本発明により、ユーザの健康管理を支援することができるコミュニケーションロボットが提供される。 The present invention provides a communication robot that can support the health management of a user.
(本発明の基礎となった知見)
近年の高齢化社会や介護士不足による介護士の負担増加により、自宅や介護施設、医療施設等に居住又は入院する独居高齢者(以下、「高齢者」)の話し相手は、介護士や看護師(以下、「介護士」)あるいは周囲の高齢者となってきている。高齢者の感情は、生体情報(血圧、脈拍等)や介護士自身の主観で判断されている。そのために、ケア期間が長ければ適切な対話も可能であるが、新人介護士やわずかなケア期間では、対応が不十分になりやすい。また、感情推移のライフログ化は、ケア期間中だけに限定され、介護士の記憶やメモに頼るところが大きく、客観性に欠ける。さらに、ある種“閉鎖的な施設”において、感情の起伏(特に落ち込み)を把握しても、その後の対応は介護士に委ねられているという現状がある。このような状況により、介護士の負担が増加するという問題、及び、高齢者の健康状態についての家族への情報共有が停滞するという問題が生じている。
(Knowledge that became the basis of the present invention)
Due to the increasing burden of caregivers due to the aging society and the shortage of caregivers in recent years, the elderly who live alone or are hospitalized at homes, nursing homes, medical facilities, etc. (Hereinafter referred to as “caregiver”) or the surrounding elderly. Elderly emotions are determined by biometric information (blood pressure, pulse, etc.) and the caregiver's own subjectivity. Therefore, an appropriate dialogue is possible if the care period is long, but a new caregiver or a slight care period tends to be insufficient. In addition, the life transition of emotional transition is limited only during the care period, and relies heavily on the caregiver's memory and notes, and lacks objectivity. Furthermore, even in a kind of “closed facility”, even if the undulations (especially depression) of emotions are grasped, the subsequent response is left to the caregiver. Under such circumstances, there arises a problem that the burden on the caregiver increases and a problem that information sharing with the family about the health condition of the elderly is stagnant.
また、近年の共働きや女性の躍進により、子どもだけで留守番をする頻度が増加している。これに伴い、介護施設及び医療施設等に居住又は入院する子どもの話し相手は、介護士あるいは同室の患者であるケースが増えてきている。一人で留守番する子どもの感情は察知が難しい。留守番をしなければならない期間が長いと、親子間のコミュニケーションに少なからず悪影響が与えられ得る。また、施設にいる子どもの感情は、生体情報(血圧、脈拍等)や介護士自身の主観で判断されることが多い。ケア期間が長ければ適切な対話も可能だが、新人介護士やわずかなケア期間では、対応が不十分になりやすい。また、感情推移のライフログ化は、ケア期間中だけに限定され、介護士の記憶やメモに頼るところが大きく、客観性に欠ける。さらに、ある種“閉鎖的な施設”において、感情の起伏(特に落ち込み)を把握しても、その後の対応は介護士に委ねられているという現状がある。このような状況により、介護士の負担が増加するという問題、及び、子供の健康状態についての家族での情報共有が停滞するという問題が生じている。 In addition, the frequency of answering only by children is increasing due to the recent advancement of co-working and women. In connection with this, the case where the talk partner of the child who lives in or is hospitalized in a nursing care facility, a medical facility, etc. is a caregiver or a patient in the same room is increasing. It is difficult to detect the emotion of a child who is answering alone. If the time period for which an answering machine has to be taken is long, communication between parents and children can be adversely affected. In addition, the emotion of a child in a facility is often judged by biometric information (blood pressure, pulse, etc.) and the caregiver's own subjectivity. Longer care periods allow for appropriate dialogue, but newer caregivers and minor care periods tend to be inadequate. In addition, the life transition of emotional transition is limited only during the care period, and relies heavily on the caregiver's memory and notes, and lacks objectivity. Furthermore, even in a kind of “closed facility”, even if the undulations (especially depression) of emotions are grasped, the subsequent response is left to the caregiver. Under such circumstances, there arises a problem that the burden on the caregiver increases and a problem that information sharing with the family about the health condition of the child is stagnant.
そこで、本発明は、以上のような介護士の負担が増加するという問題、高齢者の健康状態についての家族への情報共有が停滞するという問題、及び、子供の健康状態についての家族での情報共有が停滞するという問題を解決するためになされたものである。つまり、本発明は、ユーザの健康管理を支援することができるコミュニケーションロボットを提供することを目的とする。 Therefore, the present invention has a problem that the burden on the caregiver increases as described above, a problem that information sharing with the family about the health status of the elderly is stagnant, and information about the health status of the child with the family It was made to solve the problem of stagnation of sharing. That is, an object of the present invention is to provide a communication robot that can support the health management of a user.
そのために、本発明は、人と会話をするコミュニケーションロボットであって、マイクロホンと、スピーカと、マイクロホンから入力された音声を認識する音声認識部と、音声認識部による認識結果に基づいてスピーカから音声を出力する音声合成部と、マイクロホンから入力された音声の音響的特徴に基づいて、音声を発した人の生体状態を推定する生体状態推定部とを備えることを特徴とする。 For this purpose, the present invention is a communication robot that has a conversation with a person, a microphone, a speaker, a voice recognition unit that recognizes voice input from the microphone, and a voice from the speaker based on a recognition result by the voice recognition unit. And a biological state estimating unit that estimates the biological state of the person who has emitted the voice based on the acoustic characteristics of the voice input from the microphone.
これによって、高齢者や子ども等のユーザが発した音声に基づいてユーザの生体状態が推定される。よって、その推定結果を介護士や家族に通知するしくみを設けることで、介護士の負担が軽減され、ユーザの健康状態についての家族への情報共有が促進され、ユーザの健康管理が支援される。 As a result, the biological state of the user is estimated based on the voice uttered by the user such as an elderly person or a child. Therefore, by providing a mechanism for notifying caregivers and family members of the estimation results, the burden on caregivers is reduced, sharing of information about the user's health status with the family is promoted, and user health management is supported. .
(実施の形態)
以下、本発明に係るコミュニケーションロボットの実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(Embodiment)
Hereinafter, embodiments of a communication robot according to the present invention will be described in detail with reference to the drawings. Note that each of the embodiments described below shows a specific example of the present invention. Numerical values, shapes, materials, components, arrangement positions and connection forms of components, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present invention. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept of the present invention are described as optional constituent elements.
図1は、本発明の実施の形態におけるコミュニケーションロボット20の構成を示すブロック図である。ここでは、コミュニケーションロボット20と会話するユーザ10(ここでは、高齢者)も一緒に図示されている。
FIG. 1 is a block diagram showing a configuration of a
コミュニケーションロボット20は、人(ユーザ10)と会話をするロボットであり、マイクロホン21、スピーカ22、音声認識部23、生体状態推定部24、音声合成部25、会話エンジン26、バス27、記憶部28及び通信部29を備える。なお、コミュニケーションロボット20は、本図では、一例としてのペット型移動ロボットが図示されているが、人と会話をする電子機器であれば、いかなるタイプのものでもよく、移動しないロボットも含まれる。移動しないロボットとして、例えば、会話機能をもつ家電機器、あるいは、建物の壁等に設置される会話機能をもつHEMS(Home Energy Management System)コントローラ等が含まれる。また、図1では、本発明に関連しない一般的な構成要素(ペット型移動ロボットが備える視覚センサ、触角センサ、アクチュエータ等の機構部、エンコーダ等の動作センサ等)の図示は省略されている。
The
マイクロホン21は、ユーザが発した音声を収集して電気信号に変換する装置であり、例えば、ペット型移動ロボットの両耳等に設けられる。
The
スピーカ22は、電気信号を音声に変えて出力する装置であり、例えば、ペット型移動ロボットの口等に設けられる。なお、本明細書において、ユーザに向けて出力される「音声」には、人の声だけでなく、音楽、機械音等のあらゆる種類の音が含まれる。
The
音声認識部23は、マイクロホン21から入力された音声を認識する処理部であり、例えば、音声認識IC、又は、ソフトウェアとそれを実行するプロセッサ等で実現される。音声認識部23は、予め登録された声紋を参照することで、音声を発したユーザ10を識別する声紋個人認証部23aを有する。声紋個人認証部23aは、登録者ごとに予め入力された音声について音声認識部23で得られた特徴データを声紋として内部に記憶している。そして、いま入力された音声について音声認識部23で得られた特徴データを声紋と照合することで、ユーザ10を識別する。
The
生体状態推定部24は、マイクロホン21から入力された音声の音響的特徴(つまり、言葉の特徴ではない物理的特徴)に基づいて、音声を発したユーザ10の生体状態を推定する処理部であり、例えば、ソフトウェアとそれを実行するプロセッサ等で実現される。ここでは、例えば、ユーザ10が緊張しているかリラックスしているかの状態によって、声帯が収縮又は弛緩することで、音声における声の大小、一息での発話長等の音響的特徴が変化することが利用される。
The biological
ここで、生体状態推定部24は、声紋個人認証部23aで識別された人ごとに、生体状態を推定し、推定した生体状態を示す情報を、ライフログとして、記憶部28に格納する処理を繰り返す。このとき、生体状態推定部24は、生体状態を推定する際に用いる判断基準を更新しながら、生体状態を示す情報をライフログとして記憶部28に格納していく。また、生体状態推定部24は、記憶部28に格納されたログを分析することで生体状態が変化したか否かを判断し、生体状態が変化したと判断した場合に、生体状態が変化したことを報知(ここでは、通信部29を介して、予め定められた通知先に通知)する。なお、「報知」とは、具体的な通知先への通知だけでなく、表示又は警報等の単に情報を出力する動作も含む意味である。
Here, the biological
より詳しくは、生体状態推定部24は、マイクロホン21から入力された音声の音響的特徴に基づいて、人の感情が予め定められた複数の感情のそれぞれに該当する確率を算出することで、生体状態を推定する。また、生体状態推定部24は、生体状態として、人が健康であるか、又は、健康でない不調であるかを推定することができる。具体的には、生体状態推定部24は、音響的特徴に基づいて、人の感情を表わす複数のパラメータのそれぞれの度合いを算出し、算出した複数のパラメータの度合いの組み合わせが第1範囲にある場合に人が健康であると推定し、複数のパラメータの度合いの組み合わせが第2範囲にある場合に人が不調であると推定する。
More specifically, the biological
会話エンジン26は、音声認識部23による認識結果に基づいて、コミュニケーションロボット20が発話すべき音声を決定する処理部であり、会話用データベース、ソフトウェア及びソフトウェアを実行するプロセッサ等で実現される。本実施の形態では、会話エンジン26は、例えば、内部のデータベースとのマッチングで人と音声で知的な会話をすることをシミュレートするプログラムである会話ボット(会話bot)である。
The
音声合成部25は、音声認識部23による認識結果に基づいて、スピーカ22から音声を出力する処理部である。本実施の形態では、音声合成部25は、会話エンジン26からの発話指示に従って音声を出力する音声合成IC、又は、ソフトウェアとそれを実行するプロセッサ等で実現される。
The
バス27は、音声認識部23、生体状態推定部24、会話エンジン26、記憶部28及び通信部29を電気的に接続する信号路である。
The
記憶部28は、生体状態推定部24で推定された生体状態を示す情報であるライフログ等を含む各種情報を記憶しておくためのメモリであり、例えば、不揮発性のRAMである。
The
通信部29は、他の通信装置(携帯情報端末、インターネット上のサーバ装置等)との間で通信をするインタフェースであり、例えば、無線LAN等の無線通信又は有線通信用の通信インタフェースである。
The
なお、コミュニケーションロボット20は、図示されていない構成要素として、生体状態推定部24での推定結果等を表示する表示部や、ユーザ10からの指示を受け付けるボタン等の入力装置を備えてもよい。
In addition, the
次に、以上のように構成された本実施の形態におけるコミュニケーションロボット20の動作について、説明する。
Next, the operation of the
図2は、ユーザ10(ここでは、高齢者)とコミュニケーションロボット20とが会話する場面での動作手順を示すシーケンス図である。
FIG. 2 is a sequence diagram showing an operation procedure in a scene where the user 10 (here, an elderly person) and the
まず、コミュニケーションロボット20が「こんにちは」と発話する(S10)。具体的には、音声合成部25は、会話エンジン26からの指示に従って、スピーカ22から、音声「こんにちは」を出力する。
First,
これに対して、ユーザ10は、例えば、「こんにちは」と発話する(S11)。この音声は、コミュニケーションロボット20のマイクロホン21を介して音声認識部23に入力され、音声認識部23において音声が認識される。また、声紋個人認証部23aは、いま入力された音声について音声認識部23で得られた特徴データを、登録者ごとに予め記憶している声紋と照合することで、ユーザ10を識別する。
In contrast, the
コミュニケーションロボット20では、音声認識と並行して、あるいは、その直後に、生体状態推定部24は、マイクロホン21から入力された音声の音響的特徴に基づいて、音声を発したユーザ10の生体状態を推定する(S12)。より詳しくは、生体状態推定部24は、声紋個人認証部23aで識別された人ごとに、生体状態を推定し、推定した生体状態を示す情報を、ライフログとして、識別したユーザ10と対応づけて記憶部28に格納する。ここでは、生体状態推定部24は、ユーザ10が不調であると推定したとする。
In the
続いて、コミュニケーションロボット20では、音声合成部25は、生体状態推定部24での推定結果(ここでは、「不調」)に従って会話エンジン26で決定された次の音声「なんか元気なさそう」をスピーカ22から出力する(S13)。
Subsequently, in the
これに対して、ユーザ10は、例えば、「そんなことないよ」と発話する(S14)。この音声は、上記ステップS11と同様に、コミュニケーションロボット20のマイクロホン21を介して音声認識部23に入力され、音声認識部23において音声が認識される。また、声紋個人認証部23aは、いま入力された音声について音声認識部23で得られた特徴データを、登録者ごとに予め記憶している声紋と照合することで、ユーザ10を識別する。
On the other hand, the
さらに、コミュニケーションロボット20では、音声認識と並行して、あるいは、その直後に、生体状態推定部24は、マイクロホン21から入力された音声の音響的特徴に基づいて、音声を発したユーザ10の生体状態を推定する(S15)。より詳しくは、生体状態推定部24は、声紋個人認証部23aで識別された人ごとに、生体状態を推定し、推定した生体状態を示す情報を、ライフログとして、識別したユーザ10と対応づけて記憶部28に格納する。
Further, in the
一連の会話が所定時間以上、途絶えた(無音状態が続いた)場合、又は、所定時間が経過した場合、又は、所定回数の生体状態が推定された場合、生体状態推定部24は、そのような場合を内部のタイマ等で検知し、推定結果を報知する(S16)。例えば、生体状態推定部24は、記憶部28に格納されたライフログを分析することで生体状態が変化したか否かを判断し、生体状態が変化したと判断した場合に、生体状態が変化したことを、通信部29を介して、予め定められた通知先に通知する。予め定められた通知先は、例えば、ユーザ10を世話する介護士又はユーザ10の家族である。
When a series of conversations have been interrupted for more than a predetermined time (silent state has continued), when a predetermined time has elapsed, or when a predetermined number of biological states have been estimated, the biological
このような処理手順によって、ユーザ10が発した音声に基づいてユーザ10の生体状態が推定され、その推定結果が介護士や家族等に通知される。これにより、例えば、「不調」の通知を受けた介護士又は家族は、速やかにユーザ10の元に出向き、一方、「健康」の通知を受けた介護士又は家族は、ユーザ10の元に出向くことを控えることができる。よって、介護士の負担が軽減され、ユーザの健康状態についての家族への情報共有が促進され、ユーザ10の健康管理が支援される。
According to such a processing procedure, the biological state of the
図3Aは、コミュニケーションロボット20の生体状態推定部24による生体状態の推定例を示すタイムチャートである。ここでは、4つの心理状態(4種類の感情「平静」、「哀しみ」、「怒り」、「喜び」)の確率(ここでは、百分率(%))の時間変化が示されている。
FIG. 3A is a time chart illustrating an example of estimation of a biological state by the biological
本図に示されるように、生体状態推定部24は、マイクロホン21から入力された音声の音響的特徴に基づいて、生体状態として、ユーザ10の感情が、予め定められた複数の感情(「平静」、「哀しみ」、「怒り」、「喜び」)のそれぞれに該当する確率を算出する。この処理は、会話中における所定時間間隔、あるいは、ユーザ10からの発話の所定回数ごとに行われる。
As shown in the figure, the biological
より具体的には、生体状態推定部24は、マイクロホン21から入力された音声に対して、声の高さ(周波数)及び大きさの変化から音響的な特徴データを抽出する。そして、生体状態推定部24は、抽出した特徴データに対して、SVM(「Support Vector Machine」)やディープラーニング等の機械学習により、4種類の感情のそれぞれである確率(「らしさ」)を百分率(%)で算出する。これにより、どの時間(例えば、図3Aにおける矢印が指す点線上の各確率)であっても、4種類の感情のそれぞれの確率の合計は、100になるように、正規化される。
More specifically, the biological
なお、生体状態推定部24によって推定された生体状態を示す情報は、声紋個人認証部23aで識別された人ごとに、ライフログとして、記憶部28又は通信部29を介した通信装置に格納される。
Information indicating the biological state estimated by the biological
図3Bは、図3Aに示された生体状態のライフログの例を示すタイムチャートである。ここでは、生体状態推定部24によって記憶部28に格納されたユーザごと(Aさん、Bさん)のライフログとして、4つの心理状態から選択された一つの心理状態(例えば、「哀しみ」)の確率(「出現率(%)」)の日ごとの変化が示されている。
FIG. 3B is a time chart showing an example of a life log of the biological state shown in FIG. 3A. Here, as a life log for each user (Mr. A, Mr. B) stored in the
本図に示されるように、生体状態推定部24は、記憶部28に格納されたログを、ユーザごとに、一日単位で平均化することで、ユーザの日ごとの生体状態の変化を示すカーブを得ることができる。そして、生体状態推定部24は、そのカーブにおいて、所定の範囲を超える箇所、あるいは、所定幅を超えて変化した箇所等があるか否かを判断することで、生体状態が変化したか否かを判断する。生体状態が変化したと判断した場合には、生体状態推定部24は、生体状態が変化したことを、通信部29を介して、予め定められた介護士又は家族がもつ携帯情報端末等の通知先に通知する。
As shown in the figure, the biological
このように、本実施の形態のコミュニケーションロボット20によれば、ユーザ10の生体状態が通常時よりも変化した場合に、そのことがユーザ10を世話する介護士又はユーザ10の家族に通知される。これにより、ユーザ10を世話する介護士の負担が軽減され、ユーザ10の健康状態についての家族への情報共有が促進され、ユーザ10の健康管理が支援される。
Thus, according to the
なお、図3Bでは、図3Aに示された4つの心理状態から選択された一つの心理状態の確率(「出現率(%)」)について、日ごとの変化が分析されたが、4つの心理状態から選択された二つ以上の心理状態の確率(「出現率(%)」)が分析されてもよい。例えば、「哀しみ」と「怒り」とを合わせた心理状態を分析するように設定されている(生体状態推定部24に対する指示が予め与えられている)場合には、生体状態推定部24は、「哀しみ」と「怒り」の確率の平均値について、同様の分析をする。
In FIG. 3B, the daily change was analyzed for the probability (“appearance rate (%)”) of one psychological state selected from the four psychological states shown in FIG. 3A. The probabilities (“appearance rate (%)”) of two or more psychological states selected from the states may be analyzed. For example, when the psychological state combining “sorrow” and “anger” is set to be analyzed (an instruction to the biological
図4Aは、コミュニケーションロボット20の生体状態推定部24による生体状態の別の推定例を示すプロット図である。ここでは、一定の期間(11月1日〜11月8日)において生体状態推定部24によって算出されたユーザ10の興奮度(横軸)とストレス度(縦軸)との組み合わせで定まる座標位置に、菱形の点が、検出された日付とともに、プロットされている。そして、興奮度とストレス度の組み合わせにより、生体状態として、ユーザ10が「健康」であると判断されたり、ユーザ10が健康でない「不調」であると判断されたりする様子が示されている。
FIG. 4A is a plot diagram illustrating another estimation example of the biological state by the biological
つまり、生体状態推定部24は、マイクロホン21から入力された音響的特徴に基づいて、人の感情を表わす複数のパラメータとして、興奮度及びストレス度を算出する。興奮度及びストレス度の算出方法としては、図3Aに示された4つの心理状態(4種類の感情「平静」、「哀しみ」、「怒り」、「喜び」)の確率から予め定められた関係式を用いて算出されてもよいし、図3Aに示される4つの心理状態の推定と同様の方法でもよい。例えば、「哀しみ」、「怒り」及び「喜び」の各確率の平均値を「興奮度」としてもよいし、音声から音響的な特徴データを抽出し、SVMやディープラーニング等の機械学習により、興奮度及びストレス度が新たに算出されてもよい。
That is, the biological
そして、生体状態推定部24は、算出した興奮度及びストレス度の度合いの組み合わせが第1範囲にある場合に人が健康であると推定し、興奮度及びストレス度の度合いの組み合わせが第2範囲にある場合に人が不調であると推定する。第1範囲は、興奮度が所定の第1しきい値よりも低く、かつ、ストレス度が所定の第2しきい値よりも低い範囲である。また、第2範囲は、興奮度が所定の第3しきい値よりも高く、かつ、ストレス度が所定の第4しきい値よりも高い範囲である。
The biological
なお、このように推定された生体状態を示す情報は、推定される度に、あるいは、「不調」と推定される度に、通信部29を介して、ユーザ10を世話する介護士又はユーザ10の家族がもつ携帯情報端末等の通知先に通知される。さらに、このように推定された生体状態を示す情報は、声紋個人認証部23aで識別された人ごとに、ライフログとして、記憶部28又は通信部29を介した通信装置に格納され、図3Bに示されたような分析に用いられる。
Note that the information indicating the biological state estimated in this manner is a caregiver or
このように、本実施の形態のコミュニケーションロボット20によれば、生体状態として、「健康」又は健康でない「不調」が判断され、その判断結果等がユーザ10を世話する介護士又はユーザ10の家族に通知される。これにより、例えば、「不調」の通知を受けた介護士又は家族は、速やかにユーザ10の元に出向き、一方、「健康」の通知を受けた介護士又は家族は、ユーザ10の元に出向くことを控えることができる。よって、介護士の負担が軽減され、ユーザの健康状態についての家族への情報共有が促進され、ユーザ10の健康管理が支援される。
As described above, according to the
図4Bは、図4Aに示された生体状態の推定例をユーザごとに分けたプロット図である。ここでは、ユーザが異なると、「健康」と判断される第1範囲、及び、「不調」と判断される第2範囲が異なることが示されている。ここでは、Aさんの生体状態の推定例(図4Bの(a))と、Bさんの生体状態の推定例(図4Bの(b))が示されている。 FIG. 4B is a plot diagram in which the estimation example of the biological state shown in FIG. 4A is divided for each user. Here, it is shown that the first range determined as “healthy” and the second range determined as “malfunction” differ for different users. Here, an estimation example of Mr. A's biological state (FIG. 4B (a)) and an estimation example of Mr. B's biological state (FIG. 4B (b)) are shown.
本図に示されるように、生体状態推定部24は、ユーザごとに対応づけた第1範囲及び第2範囲を用いて、興奮度及びストレス度の度合いの組み合わせから、「健康」及び「不調」を判断する。このとき、生体状態推定部24は、生体状態を推定する際に用いる判断基準(ユーザごとの第1範囲及び第2範囲)を更新しながら、生体状態を示す情報を、ライフログとして、記憶部28に格納していく。判断基準の更新については、例えば、ユーザ10から与えられる教師データ(現実の「健康」/「不調」)を用いて、あるいは、教師データを用いないで、SVMやディープラーニング等の教師あり機械学習又は教師なし機械学習により、行われる。
As shown in this figure, the biological
なお、生体状態の推定、あるいは、その推定における判断基準の更新については、コミュニケーションロボット20で行われるだけでない。コミュニケーションロボット20の通信部29と接続されたクラウドコンピューティング(以下、「クラウド」)によって行われてもよい。
It should be noted that the estimation of the biological state or the update of the judgment standard in the estimation is not only performed by the
図5は、生体状態の推定における判断基準の更新がクラウドによって実行される様子を示すイメージ図である。コミュニケーションロボット20の生体状態推定部24は、図3Aに示されるような感情データ(4種類の感情の確率の時間変化)を、通信部29を介して、クラウドに、ビッグデータの構成要素としてアップロードする。クラウドでは、ディープラーニングによって、ビッグデータを用いて、「健康」及び「不調」を判断する際に用いる判断基準(ユーザごとの第1範囲及び第2範囲)を更新する。更新が完了すると、コミュニケーションロボット20の生体状態推定部24は、通信部29を介して、クラウドから、更新された判断基準を受け取り、受け取った判断基準を用いて、それ以降の生体状態の推定を行う。
FIG. 5 is an image diagram illustrating a state in which the determination criteria are updated by the cloud in estimating the biological state. The biological
このように、クラウドによって生体状態の推定、あるいは、その推定における判断基準の更新が行われることで、生体状態の推定についての機械学習の処理時間が短縮化されたり、より正確な判断基準で生体状態を推定したりすることが可能になる。 In this way, by estimating the biological state or updating the judgment criteria in the estimation using the cloud, the processing time of machine learning for the estimation of the biological state can be shortened, or the biological state can be determined with more accurate judgment criteria. It is possible to estimate the state.
なお、コミュニケーションロボット20における生体状態の推定手法(図3Aに示される手法又は図4A及び図4Bに示される手法)の切り替え、クラウドを利用する/しない等の切り替えについては、いかなる形態で実現されてもよい。例えば、コミュニケーションロボット20において予め設定(切り替え情報が記憶)された情報が参照されてもよいし、コミュニケーションロボット20が備える表示部及び入力装置を介したユーザとの対話によって決定されてもよい。
It should be noted that the switching of the biological state estimation method (the method shown in FIG. 3A or the method shown in FIGS. 4A and 4B) and the use / non-use of the cloud in the
以上のように、本実施の形態におけるコミュニケーションロボット20は、人と会話をするコミュニケーションロボット20であって、マイクロホン21と、スピーカ22と、マイクロホン21から入力された音声を認識する音声認識部23と、音声認識部23による認識結果に基づいて、スピーカ22から音声を出力する音声合成部25と、マイクロホン21から入力された音声の音響的特徴に基づいて、音声を発した人の生体状態を推定する生体状態推定部24とを備える。
As described above, the
これにより、コミュニケーションロボット20のユーザが発した音声の音響的特徴に基づいて、音声を発した人の生体状態が推定される。よって、その推定結果をユーザの介護士や家族等が利用することで、ユーザとのコミュニケーションが維持されると同時に、ユーザの健康管理が支援される。
Thereby, based on the acoustic feature of the voice uttered by the user of the
また、音声認識部23は、予め登録された声紋を参照することで、音声を発した人を識別する声紋個人認証部23aを有する。
In addition, the
これにより、ユーザを区別したうえで生体状態を推定することが可能になる。 As a result, it is possible to estimate the biological state after distinguishing the users.
さらに、コミュニケーションロボット20は、記憶部28を備え、生体状態推定部24は、声紋個人認証部23aで識別された人ごとに、生体状態を推定し、推定した生体状態を示す情報を、ログとして、記憶部28に格納する処理を繰り返す。
Further, the
これにより、ユーザごとにライフログが蓄積され、ユーザごとの健康管理が可能になる。 Thereby, a life log is accumulated for each user, and health management for each user becomes possible.
また、生体状態推定部24は、さらに、記憶部28に格納されたログを分析することで生体状態が変化したか否かを判断し、生体状態が変化したと判断した場合に、生体状態が変化したことを報知する。
In addition, the biological
これにより、ライフログの活用によって、過去の生体状態を考慮したうえで生体状態の変化が検出され、報知されるので、報知先をユーザの介護士又は家族等に設定しておくことで、生体状態が変化した場合に、そのことが介護士や家族等に通知される。よって、生体状態が変化したことの通知を受けた介護士又は家族は、速やかにユーザの元に出向き、一方、通知がない場合には、ユーザがいつもと変わらない健康でいることが予測され、介護士又は家族は、ユーザの元に出向くことを控えることができる。その結果、介護士の負担が軽減され、ユーザの健康状態についての家族への情報共有が促進され、ユーザの健康管理が支援される。 As a result, by utilizing the life log, a change in the biological state is detected and notified in consideration of the past biological state. By setting the notification destination to the user's caregiver or family, the biological body When the state changes, this is notified to a caregiver or family member. Therefore, a caregiver or family member who has received a notification that the biological condition has changed promptly goes to the user. On the other hand, if there is no notification, the user is expected to be healthy as usual, A caregiver or family member can refrain from visiting the user. As a result, the burden on the caregiver is reduced, information sharing with the family about the user's health condition is promoted, and the user's health management is supported.
また、生体状態推定部24は、生体状態を推定する際に用いる判断基準を更新しながら、生体状態を示す情報を、ログとして、記憶部28に格納していく。
In addition, the biological
これにより、生体状態を推定する際の判断基準が学習され、より的確な値に修正されるので、時間の経過に伴って生体状態の推定精度が向上されていく。 As a result, the criterion for estimating the biological state is learned and corrected to a more accurate value, so that the estimation accuracy of the biological state is improved as time passes.
また、生体状態推定部24は、音響的特徴に基づいて、人の感情が予め定められた複数の感情のそれぞれに該当する確率を算出することで、生体状態を推定する。
Moreover, the biological
これにより、生体状態として、限定された代表的な複数の感情のそれぞれについて確率が算出されるので、絞り込んだ範囲での推定によって短い処理時間で精度の高い推定が行われる。 As a result, probabilities are calculated for each of a plurality of limited representative emotions as the biological state, so that high-precision estimation is performed in a short processing time by estimation in a narrowed range.
また、生体状態推定部24は、生体状態として、人が健康であるか、又は、健康でない不調であるかを推定する。より具体的には、生体状態推定部24は、音響的特徴に基づいて、人の感情を表わす複数のパラメータのそれぞれの度合いを算出し、算出した複数のパラメータの度合いの組み合わせが第1範囲にある場合に、人が健康であると推定し、複数のパラメータの度合いの組み合わせが第2範囲にある場合に、人が不調であると推定する。
In addition, the biological
これにより、健康か不調かの判断に用いる複数のパラメータを適切と思われるものに設定しておき、さらに、しきい値となる第1範囲及び第2範囲を適切と思われる値に設定しておくことで、所望の判断基準に基づく健康管理が実現される。 As a result, a plurality of parameters used for judgment of health or malfunction are set as appropriate, and further, the first range and the second range as threshold values are set as appropriate values. By doing so, health management based on a desired judgment standard is realized.
以上、本発明のコミュニケーションロボットについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。 While the communication robot of the present invention has been described based on the embodiment, the present invention is not limited to this embodiment. Without departing from the gist of the present invention, various modifications conceived by those skilled in the art have been made in the present embodiment, and other forms constructed by combining some components in the embodiment are also within the scope of the present invention. Contained within.
例えば、実施の形態では、コミュニケーションロボット20内に、音声認識部23、生体状態推定部24、音声合成部25及び会話エンジン26が備えられたが、このような装置構成に限られない。音声認識部23、生体状態推定部24、音声合成部25及び会話エンジン26の少なくとも一つは、コミュニケーションロボット20とは別体の装置、例えば、通信路で接続されたコンピュータ装置やクラウドに設けられてもよい。さらに、音声認識部23、生体状態推定部24、音声合成部25及び会話エンジン26の少なくとも一つは、コミュニケーションロボット20と別体の装置のそれぞれに分散にして設けられ、両装置間で通信し合いながら機能が発揮されるように構成されてもよい。
For example, in the embodiment, the
また、コミュニケーションロボット20が備える音声認識部23、生体状態推定部24、音声合成部25及び会話エンジン26は、ソフトウェアによって実現される場合には、共通のプロセッサによって実行されるソフトウェアとして構成されてもよい。そのソフトウェアは、メモリやDVD(Digital Versatile Disc)等のコンピュータ読み取り可能な記録媒体に格納されてもよい。
In addition, the
20 コミュニケーションロボット
21 マイクロホン
22 スピーカ
23 音声認識部
23a 声紋個人認証部
24 生体状態推定部
25 音声合成部
28 記憶部
DESCRIPTION OF
Claims (8)
マイクロホンと、
スピーカと、
前記マイクロホンから入力された音声を認識する音声認識部と、
前記音声認識部による認識結果に基づいて、前記スピーカから音声を出力する音声合成部と、
前記マイクロホンから入力された音声の音響的特徴に基づいて、前記音声を発した人の生体状態を推定する生体状態推定部と
を備えるコミュニケーションロボット。 A communication robot that talks to people
A microphone,
Speakers,
A speech recognition unit for recognizing speech input from the microphone;
A voice synthesis unit that outputs voice from the speaker based on a recognition result by the voice recognition unit;
A communication robot comprising: a biological state estimating unit that estimates a biological state of a person who has emitted the voice based on an acoustic feature of the voice input from the microphone.
請求項1記載のコミュニケーションロボット。 The communication robot according to claim 1, wherein the voice recognition unit includes a voiceprint personal authentication unit that identifies a person who has made the voice by referring to a voiceprint registered in advance.
前記生体状態推定部は、前記声紋個人認証部で識別された人ごとに、前記生体状態を推定し、推定した生体状態を示す情報を、ログとして、前記記憶部に格納する処理を繰り返す
請求項2記載のコミュニケーションロボット。 Furthermore, a storage unit is provided,
The biological state estimating unit repeats a process of estimating the biological state for each person identified by the voiceprint personal authentication unit, and storing information indicating the estimated biological state in the storage unit as a log. 2. The communication robot according to 2.
請求項3記載のコミュニケーションロボット。 The biological state estimation unit further determines whether the biological state has changed by analyzing the log stored in the storage unit, and if the biological state has changed, the biological state changes The communication robot according to claim 3.
請求項3記載のコミュニケーションロボット。 The communication robot according to claim 3, wherein the biological state estimating unit stores information indicating the biological state in the storage unit as the log while updating a criterion used when estimating the biological state. .
請求項1〜5のいずれか1項に記載のコミュニケーションロボット。 The biological state estimation unit estimates the biological state by calculating a probability that the human emotion corresponds to each of a plurality of predetermined emotions based on the acoustic feature. The communication robot according to any one of the above.
請求項1〜5のいずれか1項に記載のコミュニケーションロボット。 The communication robot according to claim 1, wherein the biological state estimation unit estimates whether the person is healthy or not healthy as the biological state.
請求項7記載のコミュニケーションロボット。 The biological state estimation unit calculates a degree of each of a plurality of parameters representing human emotion based on the acoustic feature, and when the combination of the calculated degrees of the parameters is in a first range, The communication robot according to claim 7, wherein the person is estimated to be healthy, and the person is estimated to be out of order when the combination of the degrees of the plurality of parameters is in the second range.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015234251A JP2017100221A (en) | 2015-11-30 | 2015-11-30 | Communication robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015234251A JP2017100221A (en) | 2015-11-30 | 2015-11-30 | Communication robot |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017100221A true JP2017100221A (en) | 2017-06-08 |
Family
ID=59015796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015234251A Pending JP2017100221A (en) | 2015-11-30 | 2015-11-30 | Communication robot |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017100221A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190135457A (en) * | 2019-11-29 | 2019-12-06 | 네이버 주식회사 | Method and system for automatic activation of machine |
JP2020042511A (en) * | 2018-09-10 | 2020-03-19 | ホーチキ株式会社 | Disaster prevention system |
WO2021020490A1 (en) * | 2019-07-30 | 2021-02-04 | 株式会社リビングロボット | Personal assistant control system |
JP2021049347A (en) * | 2019-07-30 | 2021-04-01 | 株式会社リビングロボット | Personal assistant control system |
JP2021146114A (en) * | 2020-03-23 | 2021-09-27 | 株式会社ケアコム | Nurse call system |
JP2022095619A (en) * | 2017-07-12 | 2022-06-28 | パラマウントベッド株式会社 | Recuperation support system |
WO2024043434A1 (en) * | 2022-08-24 | 2024-02-29 | 삼성전자주식회사 | Robot and control method therefor |
-
2015
- 2015-11-30 JP JP2015234251A patent/JP2017100221A/en active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022095619A (en) * | 2017-07-12 | 2022-06-28 | パラマウントベッド株式会社 | Recuperation support system |
JP7422797B2 (en) | 2017-07-12 | 2024-01-26 | パラマウントベッド株式会社 | Medical treatment support system |
JP2020042511A (en) * | 2018-09-10 | 2020-03-19 | ホーチキ株式会社 | Disaster prevention system |
JP7280024B2 (en) | 2018-09-10 | 2023-05-23 | ホーチキ株式会社 | disaster prevention system |
JP2021019966A (en) * | 2019-07-30 | 2021-02-18 | 株式会社リビングロボット | Personal assistant control system |
JP2021049347A (en) * | 2019-07-30 | 2021-04-01 | 株式会社リビングロボット | Personal assistant control system |
TWI795663B (en) * | 2019-07-30 | 2023-03-11 | 日商生活機器人股份有限公司 | personal assistant control system |
WO2021020490A1 (en) * | 2019-07-30 | 2021-02-04 | 株式会社リビングロボット | Personal assistant control system |
KR102239223B1 (en) * | 2019-11-29 | 2021-04-12 | 네이버 주식회사 | Method and system for automatic activation of machine |
KR20190135457A (en) * | 2019-11-29 | 2019-12-06 | 네이버 주식회사 | Method and system for automatic activation of machine |
JP2021146114A (en) * | 2020-03-23 | 2021-09-27 | 株式会社ケアコム | Nurse call system |
JP7436014B2 (en) | 2020-03-23 | 2024-02-21 | 株式会社ケアコム | nurse call system |
WO2024043434A1 (en) * | 2022-08-24 | 2024-02-29 | 삼성전자주식회사 | Robot and control method therefor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017100221A (en) | Communication robot | |
US10311869B2 (en) | Method and system for automation of response selection and composition in dialog systems | |
CN107053186B (en) | Dialogue device, robot, dialogue method, and storage medium | |
KR101753509B1 (en) | Identifying people that are proximate to a mobile device user via social graphs, speech models, and user context | |
JP7070544B2 (en) | Learning device, learning method, speech synthesizer, speech synthesizer | |
US20150348538A1 (en) | Speech summary and action item generation | |
JP7063779B2 (en) | Speech dialogue system, speech dialogue method, program, learning model generator and learning model generation method | |
JP6748965B2 (en) | Cognitive function evaluation device, cognitive function evaluation method, and program | |
CN114051639A (en) | Emotion detection using speaker baseline | |
WO2016089594A2 (en) | Conversation agent | |
CN111696559B (en) | Providing emotion management assistance | |
JP2019527864A (en) | Virtual health assistant to promote a safe and independent life | |
CN110598611B (en) | Nursing system, patient nursing method based on nursing system and readable storage medium | |
KR102276415B1 (en) | Apparatus and method for predicting/recognizing occurrence of personal concerned context | |
JP7350356B2 (en) | personal assistant control system | |
JP7416295B2 (en) | Robots, dialogue systems, information processing methods and programs | |
JP2012230535A (en) | Electronic apparatus and control program for electronic apparatus | |
JP4631464B2 (en) | Physical condition determination device and program thereof | |
US20220036878A1 (en) | Speech assessment using data from ear-wearable devices | |
JP2006230446A (en) | Health-condition estimating equipment | |
JP2017196115A (en) | Cognitive function evaluation device, cognitive function evaluation method, and program | |
CN112700765A (en) | Assistance techniques | |
JP2020173342A (en) | Cat type conversation robot | |
Oliveira et al. | Speaking robots: The challenges of acceptance by the ageing society | |
Ktistakis et al. | A multimodal human-machine interaction scheme for an intelligent robotic nurse |