JP2020160608A - 異常検知システム - Google Patents
異常検知システム Download PDFInfo
- Publication number
- JP2020160608A JP2020160608A JP2019057213A JP2019057213A JP2020160608A JP 2020160608 A JP2020160608 A JP 2020160608A JP 2019057213 A JP2019057213 A JP 2019057213A JP 2019057213 A JP2019057213 A JP 2019057213A JP 2020160608 A JP2020160608 A JP 2020160608A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- behavior
- person
- alert mode
- detection system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 230000005856 abnormality Effects 0.000 title claims abstract description 66
- 230000006399 behavior Effects 0.000 claims abstract description 104
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 2
- 230000009471 action Effects 0.000 description 42
- 238000012544 monitoring process Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000004579 scanning voltage microscopy Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
Landscapes
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Emergency Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Heart & Thoracic Surgery (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Marketing (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
【課題】見守り対象者への負担が小さい異常検知システムを提供する。【解決手段】本発明の異常検知システムは、人の行動を検出するセンサNSと、センサの検出情報に基づき機械学習モデルにより人の行動を予測する行動予測部12と、人の正常時の行動を示す平均行動ラベルと、行動予測部で求めた予測行動ラベルとの差が閾値を超えた場合に、センサを詳細検出するアラートモードに設定して、人の異常の有無を判定するアラートモード動作制御部16と、を備える。そして、センサは、人感センサ、照度センサ、温湿度センサのいずれかを含む。行動予測部は、センサの検出値と検出時刻に基づき、LSTMネットワークモデルにより予測行動ラベルを算出する。【選択図】図2
Description
本発明は、異常検知システムに関する。
近年、少子高齢化の進行により、独居老人世帯が増加している。離れて暮らす独居老人の家族にとっては、老人の日々の行動の内容、健康の状態、周囲の状況を容易に把握できることが望ましい。
例えば、特許文献1には、見守り対象者の健康状態や周囲の状況を検知する多数のセンサ類と、センサの信号に基づいて、見守り対象者の健康状態や周囲の状況を予め設定された管理項目で管理する管理手段と、管理項目に異常が生じたときに、その旨を通知する監視手段と、を設けた見守りシステムが記載されている。
例えば、特許文献1には、見守り対象者の健康状態や周囲の状況を検知する多数のセンサ類と、センサの信号に基づいて、見守り対象者の健康状態や周囲の状況を予め設定された管理項目で管理する管理手段と、管理項目に異常が生じたときに、その旨を通知する監視手段と、を設けた見守りシステムが記載されている。
上記の先行技術によれば、独居老人の健康状態や周囲の状況を的確に把握して、日々の行動を良好に見守ることができる。しかし、行動パターンアラートの管理項目の出力条件を、睡眠データと活動検知データの過去一カ月分の平均値を求め、これと、現時点における値との6〜12時間のずれがあるときとしており(図3、段落0026参照)、正常状態から大きな状態変化があった場合しか検出できない問題がある。また、室温信号が、5℃以下もしくは30℃以上の状態が60分継続したときに、室内温度異常を検出しており(図4、段落0028)、異常状態が長時間継続する問題がある。
本発明の目的は、上記の問題を解決し、見守り対象者への負担が小さい異常検知システムを提供することにある。
前記課題を解決するため、本発明の異常検知システムは、人の行動を検出するセンサと、前記センサの検出情報に基づき機械学習モデルにより人の行動を予測する行動予測部と、人の正常時の行動を示す平均行動ラベルと、前記行動予測部で求めた予測行動ラベルとの差が閾値を超えた場合に、前記センサを詳細検出するアラートモードに設定して、人の異常の有無を判定するアラートモード動作制御部と、を備えるようにした。
本発明によれば、異常状態になる可能性を検知した段階で、詳細な情報を取得して異常判定を行えるので、見守り対象者の異常状態への対応を迅速に行うことができ、見守り対象者の負担を低減することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図1は、実施形態の異常検知システムを適用して、居住する見守り対象者を監視し、異常検知する住居の一例を示す図である。
図1は、実施形態の異常検知システムを適用して、居住する見守り対象者を監視し、異常検知する住居の一例を示す図である。
住居には、部屋の明るさを検出する照度センサ、人の所在の有無を検出する人感センサ、部屋の温度・湿度を検出する温湿度センサ等の複数のセンサ(NS1からNS7)が、部屋(NR1からNR7)の所定位置に設置されている。
例えば、人感センサを部屋の出入口付近に設置すれば、人の部屋への出入り行動を検出することができる。
また、寝室の設置した照度センサの検出値が、夜間に、明から暗に変化すれば、人の就寝行動を検出することができる。
さらに、浴室や洗面所に設置された温湿度センサの湿度値により、入浴行動と洗顔行動を区別することができる。
また、寝室の設置した照度センサの検出値が、夜間に、明から暗に変化すれば、人の就寝行動を検出することができる。
さらに、浴室や洗面所に設置された温湿度センサの湿度値により、入浴行動と洗顔行動を区別することができる。
上記のように、一つのセンサ検出値から人の行動を推定することができ、また、複数のセンサ検出値の組合せから、人の行動を推定することもできる。例えば、複数の人感センサの時間変化により、人の移動行動を推定することができる。
また、図1では、複数のセンサNS1からNS7のそれぞれが、部屋ごとに設置されているが、これに限らず、一つの部屋に複数のセンサを設置してよい。これにより、複数の行動推定を行うことができる。
図1のロボット掃除機3は、部屋の地図情報を記憶し、自走して掃除を行う掃除機である。待機時には、充電ステーション31に待機している。図1の実線は、ロボット掃除機3の自走路の一例を示している。実施形態の異常検知システムでは、ロボット掃除機3に搭載されたスピーカ、カメラ、マイク、生体情報モニタ等により、異常検出時に、見守り対象者の状態把握を行えるようにする。
実施形態の異常検知システムは、センサNSとして、エアコン等のセンサを搭載した家電製品からセンサ情報を取得して、行動検知してもよい。例えば、エアコンには、室内温度センサや、人の温度や位置取得を行う赤外線カメラが搭載されており、これらをセンサNSとして検出情報を活用する。
また、センサNSとして、部屋内の音声を集音するマイクや、Webカメラ等のカメラを設け、実施形態の異常検知システムが見守り対象者の行動異常を検知した際に、集音マイクやカメラにより見守り対象者の状態把握するようにしてもよい。これにより、見守り対象者のプライバシーを管理しながら、詳細な異常判定を行うことができる。
詳細は、後述するが、実施形態の異常検知システムは、見守り対象者の異常を検知した際に、部屋に設置したマイク、カメラ、スピーカを、見守り対象者の家族や介護サービス事業者の端末に接続し、家族や介護サービス事業者による見守り対象者への“声かけ”を可能にする。
図2は実施形態の異常検知システムの構成図である。
異常検知システムは、図1で説明したセンサNS、ロボット掃除機3と、見守り対象者の異常判定を行う行動認識サーバ1と、行動認識サーバ1の動作設定を行う操作端末51、異常を通知する家族端末52と警報端末53(介護サービス事業者用)と、から構成され、無線あるいは有線方式のネットワーク61、62により接続されている。
異常検知システムは、図1で説明したセンサNS、ロボット掃除機3と、見守り対象者の異常判定を行う行動認識サーバ1と、行動認識サーバ1の動作設定を行う操作端末51、異常を通知する家族端末52と警報端末53(介護サービス事業者用)と、から構成され、無線あるいは有線方式のネットワーク61、62により接続されている。
行動認識サーバ1は、プロセッサのプログラム実行により所望の機能を実現する情報処理装置であり、プログラム実行により後述する機能を実現している。また、行動認識サーバ1は、後述する情報を記憶するハードディスクドライブ等の記憶装置を備えて構成する。
センサNSは、室内の状態を検出する検出素子である検出部21と、検出部21を制御する制御部22と、ネットワーク61を介したセンサNSと行動認識サーバ1との通信を制御する通信部23と、から構成される。
詳しくは、検出部21は、部屋の明るさを検出するフォトダイオード等の照度検出素子、サーミスタ等の温度検出素子、湿度の変化に対応してセンサ素子の抵抗値が変化する抵抗変化型湿度センサ、焦電型赤外線センサである。
制御部22は、所定周期で検出部21から検出値を取得し、通信部23を介して、行動認識サーバ1に検出値を通知する。この際、検出値を検出範囲で正規化して通知してもよい。また、検出部21の検出値が所定量変化した際に、変化時刻とともに検出値または検出値の正規化値を通知してもよい。
また、制御部22は、行動認識サーバ1からの設定に応じて、検出部21による検出周期を変更するともに、検出部21の動作可否を制御する。
また、制御部22は、行動認識サーバ1からの設定に応じて、検出部21による検出周期を変更するともに、検出部21の動作可否を制御する。
ロボット掃除機3は、見守り対象者の状態を検出する検出素子である検出部32と、検出部32を制御する制御部33と、ネットワーク61を介したロボット掃除機3と行動認識サーバ1と通信を制御する通信部34と、住居内を自走する駆動部35と、自走路を算出するための走行地図情報36を記憶する記憶部と、ゴミの吸い込み部(不図示)と、から構成される。
詳しくは、検出部32は、見守り対象者の状態を撮像するカメラ、見守り対象者の音声を集音するマイク、見守り対象者の体温、心拍数、呼吸数等の生体情報を検出する生体情報モニタである。また、見守り対象者に“声かけ”するためのスピーカを搭載する。
制御部33は、行動認識サーバ1からの設定に応じて、走行地図情報36を参照して駆動部35を制御し、住居内の設定された位置に自走する。そして、検出部32により、見守り対象者の状態を検出し、検出値を、行動認識サーバ1に通知する。
つぎに、行動認識サーバ1の構成を説明する。行動認識サーバ1は、異常検知処理を行うための情報として、センサ情報41と、センサ定義情報42と、平均行動ラベル43と、アラートモード動作設定44と、を記憶する記憶部を有している。
センサ通信部11は、ネットワーク61を介して、センサNSに接続し、検出部21で検出した住居あるいは見守り対象者の状態(以下、センサ情報と記す)を取得する通信部である。
行動予測部12は、センサ通信部11で取得したセンサ情報を、センサ情報41に記憶するとともに、センサ情報の履歴から、見守り対象者の行動を予測する。
行動予測部12は、センサ通信部11で取得したセンサ情報を、センサ情報41に記憶するとともに、センサ情報の履歴から、見守り対象者の行動を予測する。
具体的には、行動予測部12は、例えば、正規化されたセンサ情報の時系列データに基づいて、再帰型ニューラルネットワーク(Recurrent Neural Network: RNN)の一種であるLSTM(Long Short Term Memory)ネットワークを使用して、予測行動ラベルを算出する。
行動予測部12のLSTMネットワークによる行動学習モデルは、見守り対象者の所定の分析期間(2週間から1カ月)における正常状態(異常行動でない状態)のセンサ情報を学習して構築する。そして、この分析期間の行動学習モデルのラベルは、人の正常時の行動を示し、平均行動ラベル43として記憶される。
上記の平均行動ラベルは、LSTMネットワークによる行動学習モデルに限らず、見守り対象者の行動が正常な所定の分析期間において、例えば、K近傍法、決定木、Random forestやSVMなどをアンサンブルした、深層学習でない機械学習モデルに基づいて、求めてもよい。
また、類似の人の行動パターンを監視する他の異常検知システムにおける平均行動ラベルを流用し、当該異常検知システムの平均行動ラベルとして設定するようにしてもよい。
また、類似の人の行動パターンを監視する他の異常検知システムにおける平均行動ラベルを流用し、当該異常検知システムの平均行動ラベルとして設定するようにしてもよい。
アラート判定部13は、行動予測部12で算出した予測行動ラベルと平均行動ラベル43とを比較し、差が所定値より大きいか否かを判定する。詳細は後述するが、差が所定値より大きい場合には、行動認識サーバ1は、アラートモードに移行する。
これは、行動予測部12の行動学習モデルは、正常状態(異常でない状態)を学習するが、全ての正常状態を学習できるわけではない。このため、行動認識サーバ1は、アラートモードに移行して、見守り対象者の行動の詳細分析を行い、異常の有無を検知するためである。
アラートモード動作選択部14は、センサ情報41と現在のセンサ情報に基づいて、アラートモード動作設定44を参照し、詳細分析のためのセンサNSの動作設定を選択する。
アラートモード動作設定部15は、アラートモード動作選択部14で選択されたセンサNSの動作設定に従って、センサNSあるいはロボット掃除機3の動作設定を変更する。具体的には、センサNSの測定間隔を短く設定するか、または、センサNSの他のセンサ情報を取得する。あるいは、アラートモード動作設定部15は、センサ定義情報を参照して、詳細分析を行う領域に移動してセンサ情報を取得するように、ロボット掃除機3を動作設定する。
アラートモード動作制御部16は、アラートモード設定されたセンサNSまたはロボット掃除機3のセンサ情報に基づいて、詳細分析を行い、見守り対象者の異常の有無を判定する。
また、アラートモード動作制御部16は、見守り対象者の異常を検知した場合には、見守り対象者の家族の家族端末52、あるいは、介護サービス事業者の警報端末53に警報通知(見守り対象者の異常通知)するとともに、異常を検知した際のセンサ情報を通知する。
また、アラートモード動作制御部16は、見守り対象者の異常を検知した場合には、見守り対象者の家族の家族端末52、あるいは、介護サービス事業者の警報端末53に警報通知(見守り対象者の異常通知)するとともに、異常を検知した際のセンサ情報を通知する。
行動学習モデル更新部18は、見守り対象者の家族、または介護サービス事業者が、警報通知に対して、見守り対象者に異常がない旨を行動認識サーバ1に通知した場合に、アラート判定部13でアラートモードへの移行を判定したセンサ情報を、正常状態のセンサ情報として、行動学習モデルの追加学習を行い、行動学習モデルおよび平均行動ラベルを更新する。これにより、行動予測部12の行動学習モデルのロバスト性を向上する。
外部通信部17は、ネットワーク62を介して、行動認識サーバ1と、家族端末52および警報端末53を接続し、見守り対象者の異常通知の送信、センサ情報の送信、異常通知に対する確認結果の受信を行う通信部である。
操作端末51は、センサ定義情報42や、アラートモード動作設定44の初期情報の設定や、異常報知する家族端末52や警報端末53の通知先アドレス等を、行動認識サーバ1に設定する端末である。
操作端末51は、センサ定義情報42や、アラートモード動作設定44の初期情報の設定や、異常報知する家族端末52や警報端末53の通知先アドレス等を、行動認識サーバ1に設定する端末である。
行動認識サーバ1は、住居に設置せずに、ネットワークサーバとして機能し、住居に設置されたエッジサーバを介してセンサNSと接続する構成であってもよい。
上記では、行動予測部12の行動学習モデルをLSTMネットワークにより構成する例を記載したが、これに限定されず、時系列情報に対応する機械学習モデルであれば、他のアルゴリズムであってもよい。
つぎに、図3により、行動認識サーバ1の処理フローを説明する。
なお、図3の処理フローは、予め、所定の分析期間においてセンサ情報を学習して行動予測部12の行動学習モデルが構築され、平均行動ラベル43が記憶されていることを前提としている。
なお、図3の処理フローは、予め、所定の分析期間においてセンサ情報を学習して行動予測部12の行動学習モデルが構築され、平均行動ラベル43が記憶されていることを前提としている。
ステップS31で、行動認識サーバ1は、センサ通信部11によりセンサNSからセンサ情報を取得し、センサ情報41に時系列情報として蓄積するとともに、行動予測部12に取得したセンサ情報を設定する。
図4は、センサ情報の時系列情報の一例を示す図である。センサ情報は、センサNS1〜NS7の検出部21の検出値を正規化したデータと、検出部21の検出値が変化した時刻(イベント時刻)とが、行動認識サーバ1に通知され、行動認識サーバ1で、検出値が変化した時刻を基に、周期的なセンサ情報に補完して、センサ情報として、蓄積および行動予測部12に設定する。
もちろん、取得するデータは、所定周期な、センサNS1〜NS7の生の検出値であってもよく、これを蓄積し、行動認識サーバ1に通知してもよい。この場合には、行動認識サーバ1で、データの正規化を行う。
もちろん、取得するデータは、所定周期な、センサNS1〜NS7の生の検出値であってもよく、これを蓄積し、行動認識サーバ1に通知してもよい。この場合には、行動認識サーバ1で、データの正規化を行う。
図3に戻り、ステップS32で、行動予測部12(行動学習モデル)は、順次設定された複数のセンサ情報の履歴に基づいて、予測行動ラベルを算出する。
ステップS33で、アラート判定部13は、平均行動ラベル43と予測行動ラベルとを比較して、行動認識サーバ1がアラートモードに移行して、見守り対象者の行動の詳細分析を行うか否かのアラート要否を判定する。
ステップS33で、アラート判定部13は、平均行動ラベル43と予測行動ラベルとを比較して、行動認識サーバ1がアラートモードに移行して、見守り対象者の行動の詳細分析を行うか否かのアラート要否を判定する。
図5は、行動予測部12の行動ラベル値の時間変化を示し、ステップS33のアラート要否の判定方法を説明する図である。
図5の破線は、平均行動ラベル43の行動ラベル値の時間変化を示している。行動予測部12は、所定の時間幅の予測行動ラベル(複数点の予測行動ラベル)と、平均行動ラベルの対応する時間帯のラベル値を比較し、その差分の面積(図4の斜線領域)が所定の閾値以上の場合に、アラートモードに移行要と判定する。
図5の破線は、平均行動ラベル43の行動ラベル値の時間変化を示している。行動予測部12は、所定の時間幅の予測行動ラベル(複数点の予測行動ラベル)と、平均行動ラベルの対応する時間帯のラベル値を比較し、その差分の面積(図4の斜線領域)が所定の閾値以上の場合に、アラートモードに移行要と判定する。
図3に戻り、ステップS33(アラート判定)で、アラート判定部13は、所定の時間幅の予測行動ラベルと平均行動ラベルとの差分面積が、所定値より小さければ、見守り対象者の行動は正常と見なして、アラートモードへの移行は不要と判定し(S33の不要)、ステップS31に戻る。予測行動ラベルと平均行動ラベルとの差分面積が所定値以上であれば、見守り対象者の行動は正常でないと見なして、アラートモードへの移行要と判定し(S33の要)、ステップS34に進む。
ここで、平均行動ラベル43について説明する。
実施形態の異常検知システムでは、図5に示したように、一日分の行動ラベルの時間変化を、平均行動ラベル43としている。
この見守り対象者の行動パターンが、平日と休日で異なる場合や、通院等の定期的な外出予定のある場合には、それぞれの行動パターンに対応して、平均行動ラベル43を選択することが望ましい。
詳しくは、図3の処理フローの実施にあたり、曜日や見守り対象者の行動予定を取得し、これに対応する平均行動ラベル43を選択する。これにより、アラート判定精度を向上することができる。
実施形態の異常検知システムでは、図5に示したように、一日分の行動ラベルの時間変化を、平均行動ラベル43としている。
この見守り対象者の行動パターンが、平日と休日で異なる場合や、通院等の定期的な外出予定のある場合には、それぞれの行動パターンに対応して、平均行動ラベル43を選択することが望ましい。
詳しくは、図3の処理フローの実施にあたり、曜日や見守り対象者の行動予定を取得し、これに対応する平均行動ラベル43を選択する。これにより、アラート判定精度を向上することができる。
ところで、図3のステップS33で、アラートモードへの移行は不要と判定した場合に、ステップS32で生成した予測行動ラベルにより、平均行動ラベルを更新してもよい。これにより、ステップS33の判定精度を向上することができる。
図3に戻り、ステップS34で、アラートモード動作選択部14は、センサ情報41と現在のセンサ情報に基づいて、アラートモード動作設定44を参照し、詳細分析のためのセンサ動作設定を選択する。
より具体的には、図6に示すように、アラートモード動作設定44として、予め、センサNSごとに、アラートモード時の動作設定を定義し、アラートモードへの移行判定した際に、アラートモード動作設定44を参照して、異常状態に関連するセンサNSの動作設定を取得する。
詳しくは、センサNSごとのアラートモード時の動作設定は、異常検知システムの運用開始時に、センサNSそれぞれにおける、検出周期等の複数の設定選択肢から一つを選択し、設定する。また、カメラ起動やマイク集音の設定は、見守り対象者のプライバシーへの影響が大きいため、見守り対象者あるいは家族の承認のうえ設定することが望ましい。
図6に示すように、アラートモード時の動作設定として、“検出周期の増加”等の当該センサNSの動作設定を変更すること以外に、ロボット掃除機を派遣して搭載するカメラや生体情報モニタの動作する指示や、住居の設置したカメラ起動指示や、マイク集音指示、スピーカ出力指示等のセンサ情報を取得するセンサNS以外のセンサを動作する設定を行ってもよい。
また、アラートモード動作選択部14は、全てのセンサNSをアラートモードに設定するアラートモード動作を選択してもよいし、また、アラートモードへの移行判定した際に、センサNSの組合せに応じて、センサNSの動作内容を変えてもよい。
ステップS35で、アラートモード動作設定部15は、ステップS34で選択した図6のアラートモード動作設定情報の設定内容に従って、センサNSの動作設定を変更する。
ここで、図6に示すアラートモード動作設定44のNS2のように、ロボット掃除機を派遣する動作を行う場合について詳細に説明する。
ここで、図6に示すアラートモード動作設定44のNS2のように、ロボット掃除機を派遣する動作を行う場合について詳細に説明する。
実施形態の異常検知システムでは、図7のように、各センサNSのセンサ種別とセンサ識別情報(ID)と設置位置を示すセンサ定義情報42を定義している。
アラートモード動作設定部15は、アラートモード動作設定44において、ロボット掃除機を派遣する動作が設定されたセンサNS2について、図7のセンサ定義情報42を参照して、センサNS2の設置位置を取得する。アラートモード動作設定部15は、取得した設置位置に移動するようにロボット掃除機3を設定する。この際、搭載しているカメラや生体情報モニタの動作指示をあわせて設定する。
アラートモード動作設定部15は、アラートモード動作設定44において、ロボット掃除機を派遣する動作が設定されたセンサNS2について、図7のセンサ定義情報42を参照して、センサNS2の設置位置を取得する。アラートモード動作設定部15は、取得した設置位置に移動するようにロボット掃除機3を設定する。この際、搭載しているカメラや生体情報モニタの動作指示をあわせて設定する。
ステップS36で、アラートモード動作制御部16は、ステップS35でアラートモード動作を設定したセンサNSおよびロボット掃除機3から、見守り対象者の状態の詳細分析を行うためのセンサ情報を取得する。
そして、ステップS37(異常判定)で、アラートモード動作制御部16は、センサ情報に基づいて、アラートモードにおける異常判定を行い、正常判定の場合には、ステップS30に進み(S37の正常)、異常判定の場合には、ステップS38に進む(S37の異常)。
より具体的には、アラートモード動作制御部16は、カメラの撮像画像(センサ情報)に基づいて画像処理を行い見守り対象者の転倒を検出すること、または、マイクのセンサ情報に基づいて救助要請の音声を認識することにより、見守り対象者の異常状態を判定する。
また、ロボット掃除機3に搭載した生体情報モニタのセンサ情報により、見守り対象者の異常状態を判定する。
また、ロボット掃除機3に搭載した生体情報モニタのセンサ情報により、見守り対象者の異常状態を判定する。
ステップS38で、アラートモード動作制御部16は、家族端末52あるいは警報端末53に、見守り対象者が異常な状態にあると検知したことを通知するとともに、見守り対象者の異常有無の確認を依頼する。
この際、ステップS36で取得したカメラの撮像画像(センサ情報)等をあわせて送付することで、見守り対象者の家族や介護業者の、状況把握が容易になる。
この際、ステップS36で取得したカメラの撮像画像(センサ情報)等をあわせて送付することで、見守り対象者の家族や介護業者の、状況把握が容易になる。
ステップS39(確認結果判定)で、アラートモード動作制御部16は、家族端末52あるいは警報端末53から、ステップS38で依頼した見守り対象者の異常有無の確認結果を取得する。
そして、ステップS39で、アラートモード動作制御部16は、確認結果の異常の有無を判定し、異常状態であった場合には、ステップS40に進み、正常状態であった場合には、ステップS30に進む。
そして、ステップS39で、アラートモード動作制御部16は、確認結果の異常の有無を判定し、異常状態であった場合には、ステップS40に進み、正常状態であった場合には、ステップS30に進む。
ステップS40で、アラートモード動作制御部16は、家族端末52あるいは警報端末53と、住居に設置された家電のスピーカ、センサNSとしてのマイクやカメラと、を接続する救護活動支援を行う。これにより、見守り対象者の家族や介護サービス事業者が、隔地から見守り対象者への“声かけ”などの介護活動を行うことができる。
ステップS40の救護活動支援が終わると、ステップS31に戻る。
ステップS40の救護活動支援が終わると、ステップS31に戻る。
ステップS30で、行動学習モデル更新部18は、ステップS33においてアラート判定部13がアラートモードへの移行を判定したセンサ情報を、正常状態のセンサ情報として、行動学習モデルの追加学習を行い、行動学習モデルおよび平均行動ラベルを更新する。これにより、行動予測部12の行動学習モデルのロバスト性を向上する。
そして、ステップS31に戻り、所定周期で繰り返し実行される。
そして、ステップS31に戻り、所定周期で繰り返し実行される。
上記の実施形態の異常検知システムでは、複数のセンサ情報を入力して一つの予測行動ラベルを算出する行動学習モデルを構築して、異常行動を推測する例を説明したが、
行動学習モデルを群衆の予測行動ラベルを算出するととらえれば、商標施設における群衆行動の異常検知システムとして、使用することができる。
行動学習モデルを群衆の予測行動ラベルを算出するととらえれば、商標施設における群衆行動の異常検知システムとして、使用することができる。
また、上記の実施形態の異常検知システムでは、複数のセンサ情報を入力して一つの予測行動ラベルを算出する行動学習モデルを構築して、異常行動を推測する例を説明したが、人の識別センサを含む複数のセンサ情報を入力して複数人の予測行動ラベルを算出する行動学習モデルを構築して、複数人の異常行動を推測するようにしてもよい。
この異常検知システムは、老人ホーム等の施設に適用して、見守り対象者の異常状態への対応を迅速に行う効果を奏することができる。
この異常検知システムは、老人ホーム等の施設に適用して、見守り対象者の異常状態への対応を迅速に行う効果を奏することができる。
また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
11 センサ通信部
12 行動予測部
13 アラート判定部
14 アラートモード動作選択部
15 アラートモード動作設定部
16 アラートモード動作制御部
17 外部通信部
18 行動学習モデル更新部
41 センサ情報
42 センサ定義情報
43 平均行動ラベル
44 アラートモード動作設定
51 操作端末
52 家族端末
53 警報端末
NS センサ
21 検出部
22 制御部
23 通信部
3 ロボット掃除機
32 検出部
33 制御部
34 通信部
35 駆動部
36 走行地図情報
12 行動予測部
13 アラート判定部
14 アラートモード動作選択部
15 アラートモード動作設定部
16 アラートモード動作制御部
17 外部通信部
18 行動学習モデル更新部
41 センサ情報
42 センサ定義情報
43 平均行動ラベル
44 アラートモード動作設定
51 操作端末
52 家族端末
53 警報端末
NS センサ
21 検出部
22 制御部
23 通信部
3 ロボット掃除機
32 検出部
33 制御部
34 通信部
35 駆動部
36 走行地図情報
Claims (7)
- 人の行動を検出するセンサと、
前記センサの検出情報に基づき機械学習モデルにより人の行動を予測する行動予測部と、
人の正常時の行動を示す平均行動ラベルと、前記行動予測部で求めた予測行動ラベルとの差が閾値を超えた場合に、前記センサを詳細検出するアラートモードに設定して、人の異常の有無を判定するアラートモード動作制御部と、
を備えることを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、
前記センサは、人感センサ、照度センサ、温湿度センサのいずれかを含み、
前記行動予測部は、前記センサの検出値と検出時刻に基づき、LSTMネットワークモデルにより予測行動ラベルを算出する
ことを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、
アラートモード動作制御部は、前記センサの測定間隔を短くしてアラートモードに設定する
ことを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、さらに、
人の状態を撮像するカメラを備え、
前記アラートモード動作制御部は、前記センサのアラートモードにおいて、前記カメラの撮像画像により、人の異常の有無を判定する
ことを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、さらに、
人の音声を取得するマイクを備え、
前記アラートモード動作制御部は、前記センサのアラートモードにおいて、前記マイクの取得音声により、人の異常の有無を判定する
ことを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、さらに、
人の生体情報を検出する生体情報モニタを備え、
前記アラートモード動作制御部は、前記センサのアラートモードにおいて、前記生体情報モニタの検出情報により、人の異常の有無を判定する
ことを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、さらに、
人の状態を撮像するカメラ、人の音声を取得するマイクまたは人の生体情報を検出する生体情報モニタの少なくとも一つを前記センサとして搭載した自走家電を備え、
前記アラートモード動作制御部は、前記センサのアラートモードにおいて、前記自走家電に搭載された前記センサにより、人の異常の有無を判定する
ことを特徴とする異常検知システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057213A JP2020160608A (ja) | 2019-03-25 | 2019-03-25 | 異常検知システム |
CN201980079443.5A CN113168756A (zh) | 2019-03-25 | 2019-10-11 | 异常检测*** |
PCT/JP2019/040185 WO2020194809A1 (ja) | 2019-03-25 | 2019-10-11 | 異常検知システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019057213A JP2020160608A (ja) | 2019-03-25 | 2019-03-25 | 異常検知システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020160608A true JP2020160608A (ja) | 2020-10-01 |
Family
ID=72611267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019057213A Pending JP2020160608A (ja) | 2019-03-25 | 2019-03-25 | 異常検知システム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2020160608A (ja) |
CN (1) | CN113168756A (ja) |
WO (1) | WO2020194809A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023112757A1 (ja) * | 2021-12-17 | 2023-06-22 | 株式会社日立製作所 | センシングシステム、センシング装置、およびセンシング方法 |
WO2023189313A1 (ja) * | 2022-03-28 | 2023-10-05 | テルモ株式会社 | プログラム、情報処理装置、および情報処理方法 |
WO2023195425A1 (ja) * | 2022-04-08 | 2023-10-12 | 株式会社イトーキ | 介護ロボットシステム及び介護ロボット用制御装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907893A (zh) * | 2021-02-07 | 2021-06-04 | 杭州车玲珑科技有限公司 | 智能行为异常监测***及其工作方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049979A (ja) * | 2000-08-03 | 2002-02-15 | Seiko Precision Inc | 自動緊急警報装置及び自動緊急警報出力方法 |
JP2015011463A (ja) * | 2013-06-27 | 2015-01-19 | シャープ株式会社 | 監視装置、監視装置の制御方法、サーバ、サーバの制御方法、監視システム、および、制御プログラム |
JP2017153850A (ja) * | 2016-03-04 | 2017-09-07 | 栄夫 澤田 | 生体監視システム及び生体監視方法 |
JP2017199363A (ja) * | 2016-04-21 | 2017-11-02 | 国立研究開発法人情報通信研究機構 | 機械翻訳装置及び機械翻訳のためのコンピュータプログラム |
JP2018107751A (ja) * | 2016-12-26 | 2018-07-05 | エンコアード テクノロジーズ インク | 宅内構成員の異常状態判断方法及びサーバ |
JP2018173914A (ja) * | 2017-03-31 | 2018-11-08 | 綜合警備保障株式会社 | 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006285344A (ja) * | 2005-03-31 | 2006-10-19 | Osaka Gas Co Ltd | 安否確認システム及びコジェネレーションシステム |
CN108898108B (zh) * | 2018-06-29 | 2022-04-26 | 炬大科技有限公司 | 一种基于扫地机器人的用户异常行为监测***及方法 |
CN108833586A (zh) * | 2018-07-05 | 2018-11-16 | 浙江中点人工智能科技有限公司 | 一种家用老人看护智能*** |
CN109166276A (zh) * | 2018-10-21 | 2019-01-08 | 河南汇纳科技有限公司 | 一种老人看护*** |
-
2019
- 2019-03-25 JP JP2019057213A patent/JP2020160608A/ja active Pending
- 2019-10-11 CN CN201980079443.5A patent/CN113168756A/zh active Pending
- 2019-10-11 WO PCT/JP2019/040185 patent/WO2020194809A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049979A (ja) * | 2000-08-03 | 2002-02-15 | Seiko Precision Inc | 自動緊急警報装置及び自動緊急警報出力方法 |
JP2015011463A (ja) * | 2013-06-27 | 2015-01-19 | シャープ株式会社 | 監視装置、監視装置の制御方法、サーバ、サーバの制御方法、監視システム、および、制御プログラム |
JP2017153850A (ja) * | 2016-03-04 | 2017-09-07 | 栄夫 澤田 | 生体監視システム及び生体監視方法 |
JP2017199363A (ja) * | 2016-04-21 | 2017-11-02 | 国立研究開発法人情報通信研究機構 | 機械翻訳装置及び機械翻訳のためのコンピュータプログラム |
JP2018107751A (ja) * | 2016-12-26 | 2018-07-05 | エンコアード テクノロジーズ インク | 宅内構成員の異常状態判断方法及びサーバ |
JP2018173914A (ja) * | 2017-03-31 | 2018-11-08 | 綜合警備保障株式会社 | 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 |
Non-Patent Citations (1)
Title |
---|
PANKAJ MALHOTRA ET AL.: "Long Short Term Memory Networks for Anomaly Detection in Time Series", ESANN 2015 PROCEEDINGS, JPN7022005133, April 2015 (2015-04-01), pages 89 - 94, ISSN: 0004970292 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023112757A1 (ja) * | 2021-12-17 | 2023-06-22 | 株式会社日立製作所 | センシングシステム、センシング装置、およびセンシング方法 |
WO2023189313A1 (ja) * | 2022-03-28 | 2023-10-05 | テルモ株式会社 | プログラム、情報処理装置、および情報処理方法 |
WO2023195425A1 (ja) * | 2022-04-08 | 2023-10-12 | 株式会社イトーキ | 介護ロボットシステム及び介護ロボット用制御装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2020194809A1 (ja) | 2020-10-01 |
CN113168756A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020194809A1 (ja) | 異常検知システム | |
US11398145B2 (en) | Thoughtful elderly monitoring in a smart home environment | |
JP7463102B2 (ja) | 人の日常生活動作を監視するためのシステム及び方法 | |
US10270609B2 (en) | Automatically learning and controlling connected devices | |
US20220044140A1 (en) | Event condition detection | |
EP1782406B1 (en) | Monitoring devices | |
US10605470B1 (en) | Controlling connected devices using an optimization function | |
KR20100005494A (ko) | 독거노인 원격 모니터링 시스템 및 그 방법 | |
US11892187B2 (en) | Thermostat device with improved energy optimization | |
US20100315509A1 (en) | System and method for monitoring the activity of a person in a compound, and sensor for detecting a person in a predefined area | |
US10416143B2 (en) | Devices and methods for determining and acting upon cumulative exposure of a building occupant to a hazardous substance | |
KR20180057368A (ko) | 독거노인별 생활패턴을 이용한 원격 관리시스템 | |
KR102233937B1 (ko) | 돌봄 플러그 장치의 센싱 데이터에 대해 시맨틱 분석을 통한 건강 관리 서버 및 그 방법 | |
WO2018145911A1 (en) | Monitoring activity of a person | |
US20230252874A1 (en) | Shadow-based fall detection | |
WO2017104044A1 (ja) | 遠隔健康管理装置、遠隔健康管理方法、および遠隔健康管理システム | |
JP7137154B2 (ja) | 行動検知装置および該方法ならびに被監視者監視支援システム | |
JP6899709B2 (ja) | 見守りシステム | |
JP2012221332A (ja) | 異変検知型映像転送装置 | |
JP6415919B2 (ja) | 情報報知システム及び情報報知方法 | |
Ohiwa et al. | Sensor system to advice health-aware information for elderly people on daily living activities | |
JP2016168067A (ja) | 管理装置、遠隔健康管理システム、及びプログラム | |
JP2017058912A (ja) | 監視装置、監視方法及び監視プログラム | |
JP2016218697A (ja) | 人体の活動量と異常判断付加情報で異常を検知する見守りシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230124 |