JP2020135368A - 情報処理装置、見守りシステム、見守り方法、及び見守りプログラム - Google Patents
情報処理装置、見守りシステム、見守り方法、及び見守りプログラム Download PDFInfo
- Publication number
- JP2020135368A JP2020135368A JP2019027454A JP2019027454A JP2020135368A JP 2020135368 A JP2020135368 A JP 2020135368A JP 2019027454 A JP2019027454 A JP 2019027454A JP 2019027454 A JP2019027454 A JP 2019027454A JP 2020135368 A JP2020135368 A JP 2020135368A
- Authority
- JP
- Japan
- Prior art keywords
- information
- person
- action
- unit
- interactive robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000009471 action Effects 0.000 claims abstract description 103
- 230000002452 interceptive effect Effects 0.000 claims abstract description 91
- 238000004891 communication Methods 0.000 claims abstract description 67
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000000699 topical effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Landscapes
- Alarm Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Emergency Alarm Devices (AREA)
Abstract
Description
また、安否確認の他の手法として、監視カメラを室内に取り付け、監視カメラで撮影された動画を離れた場所にいる見守者に対して送信するシステムも提案されている。
また、電気ポット、炊飯器等における機器操作の検知に基づく安否確認では、使用者を特定することができないため、見守対象者本人の健康状態を把握することが難しかった。
更に、情報処理装置20は、後述する見守者側の情報処理装置40から受信した情報または該情報に基づいて生成された発話情報を対話型ロボット10に出力することにより、対話型ロボット10を通じて見守者Bからの情報を見守対象者Aへ通知する。
更に、情報処理装置40は、後述する見守対象者側の情報処理装置20から受信した情報または該情報に基づいて生成された発話情報を対話型ロボット30に出力することにより、対話型ロボット30を通じて見守対象者Aからの情報を見守者Bへ通知する。
本実施形態に係る対話型ロボット10は、携帯可能なロボットとされ、例えば、頭部2、胴体3、右上腕部4a、左上腕部4b、右手部5a、左手部5b、右脚部6a、左脚部6b、右足部7a、及び左足部7bを備えている。これらの各構成要素の接続部には図示しないモータが設けられており、モータを駆動させることで頭部2、胴体3、右上腕部4a、左上腕部4b、右手部5a、左手部5b、右脚部6a、左脚部6b、右足部7a、及び左足部7bを動かすことができる。頭部2には、例えば、カメラ(撮像部)11、マイクロフォン(音声取得部)12、及びスピーカ(音声出力部)13が設けられている。また、胴体3にはタッチパネル14が設けられている。また、胴体3には、対話型ロボットの各部の制御を司る制御装置(図示略)及び情報処理装置20等との通信を実現させるための通信部(図示略)等が内蔵されている。
情報処理装置20は、例えば、スマートフォン等の携帯電話機、ノートPC、タブレット端末、デスクトップ型PC端末等である。図3に示すように、情報処理装置20は、例えば、CPU21、CPU21が実行するプログラム及びこのプログラムにより参照されるデータ等を記憶するための補助記憶装置22、各プログラム実行時のワーク領域として機能する主記憶装置23を備えている。補助記憶装置22として、例えば、HDD(Hard Disk Drive)などの磁気ディスク、光磁気ディスク、SSD(Solid State Drive)等の半導体メモリ等が一例として挙げられる。
更に、情報処理装置20は、対話型ロボット10と通信を行うための第1通信部24、及びインターネット等のネットワーク50(図1参照)に接続するための第2通信部25主な構成として備えている。これら各部は、例えば、バスを介して接続されている。
また、情報処理装置20は、キーボードやマウス等の入力部や液晶表示装置等の表示部を備えていてもよい。
行動要約情報生成部26は、例えば、対話型ロボット10が見守対象者Aとの対話によって得た音声情報から会話内容を解析し、会話内容から見守対象者Aの行動要約情報を生成する。より具体的には、行動要約情報生成部26は、会話内容から見守対象者Aが所定の行動に要した時間を取得し、所定の行動に要した時間を含む行動要約情報を生成する。また、行動要約情報生成部26は、会話内容から見守対象者Aが所定の行動を行った時刻を取得し、所定の行動を行った時刻を含む行動要約情報を生成する。
所定の行動を行った時刻の一例として、起床時刻、就寝時刻等が挙げられる。
この元気度レベルの判定は、例えば、ニューラルネットワークやディープラーニング等の公知の機械学習技術を用いて実現することが可能であり、公知の技術を適宜採用すればよい。
抽出部28は、例えば、見守対象者Aの過去の行動要約情報に基づく所定の行動に要した時間と、行動要約情報生成部26によって生成された最新の行動要約情報に含まれる所定の行動に要した時間とを比較し、所定の閾値以上(例えば、1時間以上)の時間差が生じていた場合に、所定の行動を話題情報として抽出する。
例えば、過去の行動要約情報における外出時間を統計的に処理した結果、通常時における外出時間が1時間程度であるのにかかわらず、最新の行動要約情報では外出時間が3時間とされていた場合には、通常に比べて2時間以上の時間差があるため、所定の閾値以上(例えば、1時間以上)の時間差があると判定して、外出時間を話題情報として抽出する。
例えば、話題情報として、「散歩時間が2時間長かった」といった話題情報が抽出されていた場合、「おばあちゃん、いつもよりお散歩の時間が2時間も長かったね。どうしたの?」等の見守対象者Aへの発話情報を生成し、散歩時間がいつもよりも長かったことに関する理由等を対話型ロボット10を介して問い合わせることとしてもよい。見守対象者Aと対話型ロボット10との間で話題情報に関する対話が進められることにより、抽出部28によって抽出された話題情報に関する追加の情報を得ることができ、より詳細な情報を見守者Bに通知することが可能となる。
なお、話題情報に関する追加情報の問い合わせシナリオや、通知情報の生成については、例えば、ニューラルネットワークやディープラーニングなどの公知の機械学習技術を採用すればよい。
なお、第2通信部25から通知情報を送信する場合には、見守対象者Aに対して通知情報を見守者Bに通知してもよいか否かを問合わせることとし、見守対象者Aから送信の許可を得た場合に、第2通信部25から通知情報を送信することとしてもよい。この場合、情報生成部29は、送信可否を問い合わせるための発話情報を生成し、生成した発話情報を第1通信部24を介して対話型ロボット10に送信する。これにより、例えば、「いつもよりも2時間長いお散歩だったことと、転んで足が痛いことをBさんに伝えてもいいかな?」といった問い合わせが対話型ロボット10から発話される。
この問いかけに対して、見守対象者Aから通知情報の通知を許可する応答(例えば、「いいわよ」、「お願い」、「それでいいわ」等)が入力された場合に、第2通信部25が通知情報を情報処理装置40に送信することとしてもよい。
図5は、情報処理装置40の機能構成の概略を示した概略機能ブロック図である。図5に示すように、情報処理装置40は、例えば、第3通信部41、第4通信部42、及び情報生成部43を備えている。
第3通信部41は、インターネット等のネットワーク50を介して見守対象者Aの情報処理装置20と接続し、情報処理装置20との間での情報の授受を実現させる。また、第3通信部41を介してネットワーク上における種々の情報を取得してもよい。
この問いかけに対し、見守対象者Aと対話型ロボット10との間で対話が進められる。この結果、図6に示すように、「そうなの。ちょっと遠回りしちゃって。」、「そうなんだ、遅いから心配したよ。」、「それに、公園の階段で転んじゃって、足が痛いわ。」といった対話が行われる。
情報生成部29は、抽出部28から入力された話題情報と、第1通信部24から取得した話題情報に関する追加の会話内容に基づいて、見守者Bに通知する通知情報を生成する。例えば、追加の会話内容から、「転んでしまって足が痛いこと」を抽出し、「散歩時間が2時間長かったこと」、「転んでしまって足が痛いこと」を含む通知情報を生成する。
例えば、見守者Bが見守対象者Aの状況を知りたいと思い、「おばあちゃんどうしているかしら?」といった問いかけを対話型ロボット30にした場合や、見守者Bが対話型ロボット30に接近した場合、あるいは、見守者Bが情報処理装置40を操作した場合等に、情報処理装置40から情報処理装置20に対して見守対象者Aの状態確認を行う情報を送信し、これをトリガとして、上記のような通知情報の生成等が行われることとしてもよい。また、情報処理装置20、40間の情報のやり取りが所定の期間以上行われていなかった場合をトリガとして、情報処理装置20から通知情報が情報処理装置40に送信されるような構成としてもよい。
11 :カメラ
12 :マイクロフォン
13 :スピーカ
14 :タッチパネル
20、40 :情報処理装置
21 :CPU
22 :補助記憶装置
23 :主記憶装置
24 :第1通信部
25 :第2通信部
26 :行動要約情報生成部
27 :データベース
28 :抽出部
29、43 :情報生成部
41 :第3通信部
42 :第4通信部
50 :ネットワーク
A :見守対象者
B :見守者
Claims (13)
- 音声情報を取得する音声取得部、音声出力部、及び画像情報を取得する撮像部を備える対話型ロボットとの間で情報の送受信を行うための第1通信部と、
前記第1通信部を介して受信した前記対話型ロボットによって取得された音声情報及び画像情報の少なくともいずれか一つを含む行動情報を用いて、人物の行動要約情報を生成する行動要約情報生成部と、
前記人物の過去の行動要約情報に基づいて、前記行動要約情報生成部によって生成された前記行動要約情報から話題情報を抽出する抽出部と、
抽出された前記話題情報に基づいて通知情報を生成する情報生成部と、
前記通知情報を予め登録されている送信先に送信する第2通信部と
を具備する情報処理装置。 - 前記第1通信部は、前記通知情報の送信可否を前記対話型ロボットを介して問い合わせるための問い合わせ情報を前記対話型ロボットに送信し、
前記第2通信部は、前記第1通信部が前記対話型ロボットから前記通知情報の送信許可情報を受信した場合に、前記通知情報を送信する請求項1に記載の情報処理装置。 - 前記行動要約情報生成部は、前記対話型ロボットが前記人物との対話によって得た音声情報から会話内容を解析し、前記会話内容から前記人物の行動要約情報を生成する請求項1または2に記載の情報処理装置。
- 前記行動要約情報生成部は、前記会話内容から前記人物が所定の行動に要した時間を取得し、前記所定の行動に要した時間を含む前記行動要約情報を生成する請求項3に記載の情報処理装置。
- 前記抽出部は、前記人物の過去の行動要約情報に基づく所定の行動に要した時間と、前記行動要約情報生成部によって生成された前記行動要約情報に含まれる前記所定の行動に要した時間とを比較し、所定の閾値以上の時間差が生じている場合に、前記所定の行動を話題情報として抽出する請求項4に記載の情報処理装置。
- 前記行動要約情報生成部は、前記会話内容から前記人物が所定の行動を行った時刻を取得し、前記所定の行動を行った時刻を含む前記行動要約情報を生成する請求項3に記載の情報処理装置。
- 前記抽出部は、前記人物の過去の行動要約情報に基づく前記所定の行動を行った時刻と、前記行動要約情報生成部によって生成された前記行動要約情報に含まれる前記所定の行動を行った時刻とを比較し、所定の閾値以上の時間差が生じていた場合に、前記所定の行動を話題情報として抽出する請求項6に記載の情報処理装置。
- 前記行動要約情報生成部は、前記対話型ロボットが前記人物との対話によって得た音声情報から得られる声の大きさ、トーン、及び速度の少なくともいずれか一つ、及び/又は、前記対話型ロボットが取得した前記人物の画像情報から得られる眉の動き、口角、及び顔色の少なくともいずれか一つを用いて前記人物の元気度レベルを判定し、前記元気度レベルを含む行動要約情報を生成する請求項1から7のいずれかに記載の情報処理装置。
- 前記抽出部は、前記行動要約情報に含まれる前記人物の元気度レベルが所定のレベルよりも低かった場合に、前記人物の元気度レベルを話題情報として抽出する請求項8に記載の情報処理装置。
- 請求項1から9のいずれかに記載の情報処理装置と、
前記情報処理装置との間で情報の授受が可能な見守側情報処理装置と
を備え、
前記見守側情報処理装置は、
前記情報処理装置の前記第2通信部から送信された通知情報を受信するための第3通信部と、
前記第3通信部によって受信された通知情報を見守側対話型ロボットに送信するための第4通信部と
を備える見守りシステム。 - 音声情報を取得する音声取得部と、
音声を出力する音声出力部と、
画像情報を取得する撮像部と、
前記音声情報及び前記画像情報の少なくともいずれか一つを含む行動情報を用いて、人物の行動要約情報を生成する行動要約情報生成部と、
前記人物の過去の行動要約情報に基づいて、前記行動要約情報生成部によって生成された前記行動要約情報から話題情報を抽出する抽出部と、
抽出された前記話題情報に基づいて通知情報を生成する情報生成部と、
前記通知情報を予め登録されている送信先に送信する第2通信部と
を具備する対話型ロボット。 - 音声情報を取得する音声取得部、音声出力部、及び画像情報を取得する撮像部を備える対話型ロボットによって取得された音声情報及び画像情報の少なくともいずれか一つを含む行動情報を用いて、人物の行動要約情報を生成する工程と、
前記人物の過去の行動要約情報に基づいて、最新の前記行動要約情報から話題情報を抽出する工程と、
抽出された前記話題情報に基づいて通知情報を生成する工程と、
前記通知情報を予め登録されている送信先に送信する工程と
をコンピュータが実行する見守り方法。 - 音声情報を取得する音声取得部、音声出力部、及び画像情報を取得する撮像部を備える対話型ロボットによって取得された音声情報及び画像情報の少なくともいずれか一つを含む行動情報を用いて、人物の行動要約情報を生成する処理と、
前記人物の過去の行動要約情報に基づいて、最新の前記行動要約情報から話題情報を抽出する処理と、
抽出された前記話題情報に基づいて通知情報を生成する処理と、
前記通知情報を予め登録されている送信先に送信する処理と
をコンピュータに実行させるための見守りプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019027454A JP6868049B2 (ja) | 2019-02-19 | 2019-02-19 | 情報処理装置、見守りシステム、見守り方法、及び見守りプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019027454A JP6868049B2 (ja) | 2019-02-19 | 2019-02-19 | 情報処理装置、見守りシステム、見守り方法、及び見守りプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020135368A true JP2020135368A (ja) | 2020-08-31 |
JP6868049B2 JP6868049B2 (ja) | 2021-05-12 |
Family
ID=72278660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019027454A Active JP6868049B2 (ja) | 2019-02-19 | 2019-02-19 | 情報処理装置、見守りシステム、見守り方法、及び見守りプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6868049B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220055378A (ko) * | 2020-10-26 | 2022-05-03 | 주식회사 인피닉스 | 딥러닝 기반으로 이상 행동을 자동으로 감지하는 온디바이스 ai 장치 및 이의 동작 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269291A (ja) * | 2007-04-20 | 2008-11-06 | Casio Comput Co Ltd | セキュリティシステム |
JP2015026395A (ja) * | 2014-10-31 | 2015-02-05 | 三菱電機株式会社 | 見守り方法、機器管理システム、サーバ装置、機器管理装置及びプログラム |
JP2015069485A (ja) * | 2013-09-30 | 2015-04-13 | Necネッツエスアイ株式会社 | 遠隔宅内見守りシステム |
JP2015184563A (ja) * | 2014-03-25 | 2015-10-22 | シャープ株式会社 | 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム |
JP2016027450A (ja) * | 2014-06-27 | 2016-02-18 | 株式会社トラヴォス | 見守りシステム及び見守り方法 |
JP2018072876A (ja) * | 2016-10-24 | 2018-05-10 | 富士ゼロックス株式会社 | 感情推定システム、感情推定モデル生成システム |
-
2019
- 2019-02-19 JP JP2019027454A patent/JP6868049B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269291A (ja) * | 2007-04-20 | 2008-11-06 | Casio Comput Co Ltd | セキュリティシステム |
JP2015069485A (ja) * | 2013-09-30 | 2015-04-13 | Necネッツエスアイ株式会社 | 遠隔宅内見守りシステム |
JP2015184563A (ja) * | 2014-03-25 | 2015-10-22 | シャープ株式会社 | 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム |
JP2016027450A (ja) * | 2014-06-27 | 2016-02-18 | 株式会社トラヴォス | 見守りシステム及び見守り方法 |
JP2015026395A (ja) * | 2014-10-31 | 2015-02-05 | 三菱電機株式会社 | 見守り方法、機器管理システム、サーバ装置、機器管理装置及びプログラム |
JP2018072876A (ja) * | 2016-10-24 | 2018-05-10 | 富士ゼロックス株式会社 | 感情推定システム、感情推定モデル生成システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220055378A (ko) * | 2020-10-26 | 2022-05-03 | 주식회사 인피닉스 | 딥러닝 기반으로 이상 행동을 자동으로 감지하는 온디바이스 ai 장치 및 이의 동작 방법 |
KR102481995B1 (ko) * | 2020-10-26 | 2022-12-27 | 주식회사 인피닉스 | 딥러닝 기반으로 이상 행동을 자동으로 감지하는 온디바이스 ai 장치 및 이의 동작 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP6868049B2 (ja) | 2021-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6054283B2 (ja) | 音声認識端末、サーバ、サーバの制御方法、音声認識システム、音声認識端末の制御プログラム、サーバの制御プログラムおよび音声認識端末の制御方法 | |
US10224060B2 (en) | Interactive home-appliance system, server device, interactive home appliance, method for allowing home-appliance system to interact, and nonvolatile computer-readable data recording medium encoded with program for allowing computer to implement the method | |
US9848166B2 (en) | Communication unit | |
US11706603B2 (en) | Emergency event detection and response system | |
CN111869185B (zh) | 生成基于IoT的通知并提供命令以致使客户端设备的自动助手客户端自动呈现基于IoT的通知 | |
KR20070029794A (ko) | 유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템 | |
IL229370A (en) | Interface system and method for providing user interaction with network entities | |
WO2018006370A1 (zh) | 一种虚拟3d机器人的交互方法、***及机器人 | |
KR102338888B1 (ko) | 검출된 이벤트들에 관한 정보를 제공하기 위한 방법들, 시스템들 및 매체들 | |
KR20220104304A (ko) | 루틴 실행 중에 클라이언트 디바이스간 자동화 어시스턴트 루틴 전송 | |
JP4370410B2 (ja) | 対話システム、対話ロボット、プログラム及び記録媒体 | |
JP6291303B2 (ja) | コミュニケーション支援ロボットシステム | |
JP6868049B2 (ja) | 情報処理装置、見守りシステム、見守り方法、及び見守りプログラム | |
JP2016085478A (ja) | 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム | |
WO2019215983A1 (ja) | 情報処理システム、情報処理方法、および記録媒体 | |
JP2016189121A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6317266B2 (ja) | ロボット制御装置及びロボット | |
KR102519599B1 (ko) | 멀티모달 기반의 인터랙션 로봇, 및 그 제어 방법 | |
JP2023180943A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2005182357A (ja) | 対話システム | |
JP4307177B2 (ja) | 在宅者支援システム | |
WO2023286224A1 (ja) | 会話処理プログラム、会話処理システムおよび会話型ロボット | |
US20230360507A1 (en) | In-home event intercom and notifications | |
KR20240049992A (ko) | 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치 | |
JP2018005308A (ja) | 徘徊抑制装置、徘徊抑制方法及び徘徊抑制プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6868049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |