WO2020194809A1 - 異常検知システム - Google Patents
異常検知システム Download PDFInfo
- Publication number
- WO2020194809A1 WO2020194809A1 PCT/JP2019/040185 JP2019040185W WO2020194809A1 WO 2020194809 A1 WO2020194809 A1 WO 2020194809A1 JP 2019040185 W JP2019040185 W JP 2019040185W WO 2020194809 A1 WO2020194809 A1 WO 2020194809A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sensor
- person
- alert mode
- behavior
- detection system
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 238000010801 machine learning Methods 0.000 claims abstract description 5
- 230000006399 behavior Effects 0.000 claims description 98
- 230000005856 abnormality Effects 0.000 claims description 62
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 2
- 230000009471 action Effects 0.000 abstract description 48
- 238000005286 illumination Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000004579 scanning voltage microscopy Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
Definitions
- the present invention relates to an abnormality detection system.
- Patent Document 1 a large number of sensors for detecting the health condition and surrounding conditions of the monitoring target person, and preset management of the health condition and surrounding conditions of the monitoring target person based on the sensor signals.
- a monitoring system provided with a management means for managing by item and a monitoring means for notifying the fact when an abnormality occurs in the management item is described.
- the output condition of the management item of the behavior pattern alert is that the average value of the sleep data and the activity detection data for the past month is calculated, and there is a difference of 6 to 12 hours between this and the current value ( (See Fig. 3, paragraph 0026), there is a problem that it can be detected only when there is a large change of state from the normal state. Further, when the room temperature signal is 5 ° C. or lower or 30 ° C. or higher for 60 minutes, the room temperature abnormality is detected (FIG. 4, paragraph 0028), and there is a problem that the abnormal state continues for a long time.
- An object of the present invention is to solve the above-mentioned problems and to provide an abnormality detection system that has a small burden on the person to be watched over.
- the abnormality detection system of the present invention includes a sensor that detects human behavior, a behavior prediction unit that predicts human behavior by a machine learning model based on the detection information of the sensor, and a normal human behavior.
- a sensor that detects human behavior
- a behavior prediction unit that predicts human behavior by a machine learning model based on the detection information of the sensor
- a normal human behavior When the difference between the average behavior label indicating the behavior of the person and the predicted behavior label obtained by the behavior prediction unit exceeds the threshold value, the sensor is set to the alert mode for detailed detection to determine the presence or absence of a human abnormality.
- the alert mode operation control unit is provided.
- the present invention since detailed information can be acquired and an abnormality determination can be made at the stage when the possibility of an abnormal state is detected, it is possible to quickly respond to the abnormal state of the person to be watched over, and the object to be watched over. The burden on the person can be reduced.
- FIG. 1 is a diagram showing an example of a residence in which an abnormality detection system of the embodiment is applied to monitor a resident watching target person and detect an abnormality.
- NS1 to NS7 there are multiple sensors (NS1 to NS7) such as an illuminance sensor that detects the brightness of a room, a motion sensor that detects the presence or absence of a person, and a temperature / humidity sensor that detects the temperature / humidity of a room. It is installed at a predetermined position (NR1 to NR7).
- a motion sensor is installed near the entrance / exit of a room, it is possible to detect the behavior of a person entering / exiting the room. Further, if the detection value of the illuminance sensor installed in the bedroom changes from light to dark at night, the sleeping behavior of a person can be detected. Furthermore, bathing behavior and face-washing behavior can be distinguished by the humidity value of the temperature / humidity sensor installed in the bathroom or washroom.
- human behavior can be estimated from one sensor detection value, and human behavior can also be estimated from a combination of a plurality of sensor detection values.
- the movement behavior of a person can be estimated from the time change of a plurality of motion sensors.
- each of the plurality of sensors NS1 to NS7 is installed in each room, but the present invention is not limited to this, and a plurality of sensors may be installed in one room. As a result, a plurality of behavior estimates can be performed.
- the robot vacuum cleaner 3 in FIG. 1 is a vacuum cleaner that stores map information of a room and runs on its own for cleaning. At the time of standby, it is waiting at the charging station 31.
- the solid line in FIG. 1 shows an example of the self-propelled path of the robot vacuum cleaner 3.
- a speaker, a camera, a microphone, a biological information monitor, and the like mounted on the robot vacuum cleaner 3 enable the state of the person to be watched over to be grasped at the time of abnormality detection.
- the abnormality detection system of the embodiment may acquire sensor information from a home electric appliance equipped with a sensor such as an air conditioner as a sensor NS and detect an action.
- a sensor such as an air conditioner as a sensor NS
- an air conditioner is equipped with an indoor temperature sensor and an infrared camera that acquires the temperature and position of a person, and these are used as sensor NS to utilize detection information.
- the sensor NS a microphone for collecting sound in the room and a camera such as a Web camera are provided, and when the abnormality detection system of the embodiment detects a behavioral abnormality of the target person, the sound collecting microphone or the camera The state of the person to be watched over may be grasped. As a result, detailed abnormality determination can be performed while managing the privacy of the person to be watched over.
- the abnormality detection system of the embodiment detects an abnormality of the monitoring target person, the microphone, camera, and speaker installed in the room are attached to the family of the monitoring target person or the terminal of the care service provider. It connects and enables family members and care service providers to "call out" to those who are being watched over.
- FIG. 2 is a configuration diagram of the abnormality detection system of the embodiment.
- the abnormality detection system notifies the sensor NS and the robot vacuum cleaner 3 described with reference to FIG. 1, an action recognition server 1 that determines an abnormality of the person being watched over, an operation terminal 51 that sets the operation of the action recognition server 1, and an abnormality. It is composed of a family terminal 52 and an alarm terminal 53 (for a care service provider), and is connected by wireless or wired networks 61 and 62.
- the action recognition server 1 is an information processing device that realizes a desired function by executing a program of a processor, and realizes a function described later by executing the program. Further, the action recognition server 1 is configured to include a storage device such as a hard disk drive for storing information described later.
- the sensor NS is a communication unit that controls communication between the detection unit 21, which is a detection element for detecting the state in the room, the control unit 22 that controls the detection unit 21, and the sensor NS and the action recognition server 1 via the network 61. 23 and.
- the detection unit 21 is an illuminance detection element such as a photodiode that detects the brightness of a room, a temperature detection element such as a thermistor, and a resistance change type humidity sensor in which the resistance value of the sensor element changes in response to a change in humidity.
- a photodiode type infrared sensor is an illuminance detection element such as a photodiode that detects the brightness of a room.
- a temperature detection element such as a thermistor
- a resistance change type humidity sensor in which the resistance value of the sensor element changes in response to a change in humidity.
- It is a photodiode type infrared sensor.
- the control unit 22 acquires the detected value from the detection unit 21 at a predetermined cycle, and notifies the action recognition server 1 of the detected value via the communication unit 23. At this time, the detected value may be normalized in the detection range and notified. Further, when the detected value of the detection unit 21 changes by a predetermined amount, the detected value or the normalized value of the detected value may be notified together with the change time. Further, the control unit 22 changes the detection cycle by the detection unit 21 according to the setting from the action recognition server 1 and controls whether or not the detection unit 21 can operate.
- the robot vacuum cleaner 3 communicates with the detection unit 32, which is a detection element for detecting the state of the person to be watched over, the control unit 33 for controlling the detection unit 32, the robot vacuum cleaner 3 and the action recognition server 1 via the network 61. It is composed of a communication unit 34 for controlling the vehicle, a drive unit 35 for self-propelling in the house, a storage unit for storing travel map information 36 for calculating the self-propelled road, and a dust suction unit (not shown). To.
- the detection unit 32 includes a camera that captures the state of the watching subject, a microphone that collects the voice of the watching target, and a biological information monitor that detects biological information such as the body temperature, heart rate, and respiratory rate of the watching target. Is.
- a speaker will be installed to "call out" to the person being watched over.
- the control unit 33 controls the drive unit 35 with reference to the travel map information 36 according to the setting from the action recognition server 1, and self-propells to the set position in the house. Then, the detection unit 32 detects the state of the monitoring target person and notifies the action recognition server 1 of the detected value.
- the action recognition server 1 has a storage unit that stores sensor information 41, sensor definition information 42, average action label 43, and alert mode operation setting 44 as information for performing abnormality detection processing. ..
- the sensor communication unit 11 is a communication unit that connects to the sensor NS via the network 61 and acquires the state (hereinafter referred to as sensor information) of the house or the person to be watched detected by the detection unit 21.
- the behavior prediction unit 12 stores the sensor information acquired by the sensor communication unit 11 in the sensor information 41, and predicts the behavior of the person to be watched from the history of the sensor information.
- the behavior prediction unit 12 is, for example, an LSTM (Long Short Term Memory) network which is a kind of recurrent neural network (RNN) based on time series data of normalized sensor information. Use to calculate the predictive behavior label.
- LSTM Long Short Term Memory
- RNN recurrent neural network
- the behavior learning model by the LSTM network of the behavior prediction unit 12 is constructed by learning the sensor information of the normal state (state without abnormal behavior) in the predetermined analysis period (2 weeks to 1 month) of the person to be watched.
- the label of the behavior learning model during this analysis period indicates the normal behavior of the person and is stored as the average behavior label 43.
- the above average behavior label is not limited to the behavior learning model by the LSTM network, but is a deep layer that ensemble, for example, the K-nearest neighbor method, decision tree, Random forest, SVM, etc. It may be obtained based on a non-learning machine learning model. Further, the average behavior label in another abnormality detection system that monitors the behavior pattern of a similar person may be diverted and set as the average behavior label of the abnormality detection system.
- the alert determination unit 13 compares the predicted behavior label calculated by the behavior prediction unit 12 with the average behavior label 43, and determines whether or not the difference is larger than a predetermined value. The details will be described later, but when the difference is larger than the predetermined value, the action recognition server 1 shifts to the alert mode.
- the behavior learning model of the behavior prediction unit 12 learns a normal state (a state that is not abnormal), but not all normal states can be learned. Therefore, the behavior recognition server 1 shifts to the alert mode, performs detailed analysis of the behavior of the watching target person, and detects the presence or absence of an abnormality.
- the alert mode operation selection unit 14 refers to the alert mode operation setting 44 based on the sensor information 41 and the current sensor information, and selects the operation setting of the sensor NS for detailed analysis.
- the alert mode operation setting unit 15 changes the operation setting of the sensor NS or the robot vacuum cleaner 3 according to the operation setting of the sensor NS selected by the alert mode operation selection unit 14. Specifically, the measurement interval of the sensor NS is set short, or other sensor information of the sensor NS is acquired. Alternatively, the alert mode operation setting unit 15 sets the operation of the robot vacuum cleaner 3 so as to move to the area where detailed analysis is performed and acquire the sensor information with reference to the sensor definition information.
- the alert mode operation control unit 16 performs detailed analysis based on the sensor NS set in the alert mode or the sensor information of the robot vacuum cleaner 3, and determines whether or not there is an abnormality in the watch target person. Further, when the alert mode operation control unit 16 detects an abnormality of the monitoring target person, the alert mode operation control unit 16 notifies the family terminal 52 of the family of the monitoring target person or the alarm terminal 53 of the care service provider (of the monitoring target person). Abnormality notification) and sensor information when an abnormality is detected.
- the behavior learning model update unit 18 notifies the behavior recognition server 1 that the monitoring target person has no abnormality in response to the alarm notification by the family of the monitoring target person or the care service provider, and the alert determination unit 13
- the sensor information determined to shift to the alert mode in is used as the sensor information in the normal state, additional learning of the behavior learning model is performed, and the behavior learning model and the average behavior label are updated. As a result, the robustness of the behavior learning model of the behavior prediction unit 12 is improved.
- the external communication unit 17 connects the action recognition server 1, the family terminal 52, and the alarm terminal 53 via the network 62, transmits an abnormality notification of the person to be watched, transmits sensor information, and receives a confirmation result for the abnormality notification. It is a communication unit that performs.
- the operation terminal 51 is a terminal that sets the sensor definition information 42, the initial information of the alert mode operation setting 44, the notification destination address of the family terminal 52 and the alarm terminal 53 for abnormal notification, and the like in the action recognition server 1. ..
- the behavior recognition server 1 may be configured to function as a network server without being installed in the residence and to be connected to the sensor NS via an edge server installed in the residence.
- the present invention is not limited to this, and any other algorithm may be used as long as it is a machine learning model corresponding to time series information. ..
- the processing flow of the action recognition server 1 is based on the premise that the sensor information is learned in advance in a predetermined analysis period, the behavior learning model of the behavior prediction unit 12 is constructed, and the average behavior label 43 is stored.
- step S31 the action recognition server 1 acquires sensor information from the sensor NS by the sensor communication unit 11, stores it as time-series information in the sensor information 41, and sets the acquired sensor information in the action prediction unit 12.
- FIG. 4 is a diagram showing an example of time-series information of sensor information.
- the behavior recognition server 1 is notified of the data obtained by normalizing the detection values of the detection units 21 of the sensors NS1 to NS7 and the time (event time) when the detection value of the detection units 21 changes, and the behavior recognition server. Based on the time when the detected value changes in 1, the sensor information is complemented with the periodic sensor information and set in the accumulation and behavior prediction unit 12 as the sensor information.
- the data to be acquired may be the raw detection values of the sensors NS1 to NS7 at a predetermined cycle, and may be accumulated and notified to the action recognition server 1. In this case, the behavior recognition server 1 normalizes the data.
- the behavior prediction unit 12 (behavior learning model) calculates the prediction behavior label based on the history of the plurality of sensor information set sequentially.
- the alert determination unit 13 compares the average behavior label 43 with the predicted behavior label, and whether or not the behavior recognition server 1 shifts to the alert mode and performs detailed analysis of the behavior of the watch target person. Determine if an alert is required.
- FIG. 5 is a diagram showing a time change of the action label value of the action prediction unit 12 and explaining a method of determining whether or not an alert is necessary in step S33.
- the broken line in FIG. 5 shows the time change of the action label value of the average action label 43.
- the action prediction unit 12 compares the predicted action label (a plurality of predicted action labels) having a predetermined time width with the label value of the corresponding time zone of the average action label, and the area of the difference (shaded area in FIG. 5). When is greater than or equal to a predetermined threshold, it is determined that it is necessary to shift to the alert mode.
- step S33 if the difference area between the predicted action label and the average action label of the predetermined time width is smaller than the predetermined value, the alert determination unit 13 is normal in the behavior of the watching target person. It is determined that the transition to the alert mode is unnecessary (S33 is unnecessary), and the process returns to step S31. If the difference area between the predicted behavior label and the average behavior label is equal to or greater than a predetermined value, it is considered that the behavior of the person to be watched is not normal, it is determined that the transition to the alert mode is necessary (essential of S33), and the process proceeds to step S34. ..
- the average behavior label 43 will be described.
- the time change of the action label for one day is set as the average action label 43. If the behavior pattern of the person to be watched differs between weekdays and holidays, or if there is a regular outing schedule such as going to the hospital, it is desirable to select the average behavior label 43 corresponding to each behavior pattern. .. Specifically, in carrying out the processing flow of FIG. 3, the day of the week and the action schedule of the person to be watched are acquired, and the average action label 43 corresponding to this is selected. As a result, the alert determination accuracy can be improved.
- step S33 of FIG. 3 when it is determined in step S33 of FIG. 3 that the transition to the alert mode is unnecessary, the average action label may be updated by the predicted action label generated in step S32. As a result, the determination accuracy of step S33 can be improved.
- the alert mode operation selection unit 14 refers to the alert mode operation setting 44 based on the sensor information 41 and the current sensor information, and selects the sensor operation setting for detailed analysis.
- the operation setting in the alert mode is defined in advance for each sensor NS, and when the transition to the alert mode is determined, the alert mode operation is performed.
- the operation setting of the sensor NS related to the abnormal state is acquired by referring to the setting 44.
- the operation setting in the alert mode for each sensor NS is set by selecting one from a plurality of setting options such as the detection cycle for each sensor NS at the start of operation of the abnormality detection system.
- the camera activation and microphone sound collection settings have a large effect on the privacy of the person being watched over, it is desirable to set them with the approval of the person being watched over or their family members.
- a camera or a biological information monitor to be mounted by dispatching a robot vacuum cleaner
- You may set to operate a sensor other than the sensor NS that acquires sensor information such as an instruction to operate the sensor, an instruction to start a camera installed in a house, a microphone sound collection instruction, and a speaker output instruction.
- the alert mode operation selection unit 14 may select an alert mode operation in which all the sensor NSs are set to the alert mode, or when the transition to the alert mode is determined, the sensor NS combination is used. , The operation content of the sensor NS may be changed.
- step S35 the alert mode operation setting unit 15 changes the operation setting of the sensor NS according to the setting content of the alert mode operation setting information of FIG. 6 selected in step S34.
- the robot vacuum cleaner is dispatched as in NS2 of the alert mode operation setting 44 shown in FIG. 6 will be described in detail.
- sensor definition information 42 indicating the sensor type, sensor identification information (ID), and installation position of each sensor NS is defined.
- the alert mode operation setting unit 15 acquires the installation position of the sensor NS2 with reference to the sensor definition information 42 of FIG. 7 for the sensor NS2 in which the operation of dispatching the robot vacuum cleaner is set in the alert mode operation setting 44. ..
- the alert mode operation setting unit 15 sets the robot vacuum cleaner 3 so as to move to the acquired installation position. At this time, the operation instructions of the mounted camera and biometric information monitor are also set.
- step S36 the alert mode operation control unit 16 acquires sensor information for performing detailed analysis of the state of the person to be watched from the sensor NS and the robot vacuum cleaner 3 for which the alert mode operation is set in step S35.
- step S37 abnormality determination
- the alert mode operation control unit 16 determines the abnormality in the alert mode based on the sensor information, and in the case of normal determination, proceeds to step S30 (normality of S37) and abnormalities. In the case of determination, the process proceeds to step S38 (abnormality in S37).
- the alert mode operation control unit 16 performs image processing based on the captured image (sensor information) of the camera to detect the fall of the watching target person, or requests rescue based on the sensor information of the microphone. By recognizing the voice of, the abnormal state of the watching target person is determined. In addition, the abnormal state of the person to be watched is determined from the sensor information of the biological information monitor mounted on the robot vacuum cleaner 3.
- step S38 the alert mode operation control unit 16 notifies the family terminal 52 or the alarm terminal 53 that the monitoring target person is in an abnormal state, and requests confirmation of the presence or absence of the abnormality of the monitoring target person. ..
- the captured image (sensor information) of the camera acquired in step S36 together, it becomes easy to grasp the situation of the family and the caregiver of the person to be watched over.
- step S39 confirmation result determination
- the alert mode operation control unit 16 acquires the confirmation result of the presence or absence of abnormality of the monitoring target person requested in step S38 from the family terminal 52 or the alarm terminal 53. Then, in step S39, the alert mode operation control unit 16 determines whether or not there is an abnormality in the confirmation result, proceeds to step S40 if it is in an abnormal state, and proceeds to step S30 if it is in a normal state. move on.
- step S40 the alert mode operation control unit 16 supports the rescue activity by connecting the family terminal 52 or the alarm terminal 53 to the speaker of the home appliance installed in the house, the microphone or the camera as the sensor NS.
- the family of the person to be watched over and the long-term care service provider can carry out care activities such as "calling out” to the person to be watched from a remote location.
- the relief activity support in step S40 is completed, the process returns to step S31.
- step S30 the behavior learning model update unit 18 additionally learns the behavior learning model by using the sensor information that the alert determination unit 13 has determined to shift to the alert mode in step S33 as the normal state sensor information, and performs behavior learning. Update the model and average behavior label. As a result, the robustness of the behavior learning model of the behavior prediction unit 12 is improved. Then, the process returns to step S31 and is repeatedly executed at a predetermined cycle.
- the behavior learning model is considered to calculate the predicted behavior label of the crowd, it can be used as an anomaly detection system of the crowd behavior in the trademark facility.
- a behavior learning model may be constructed in which a plurality of sensor information including a sensor is input to calculate a predicted behavior label of a plurality of people, and an abnormal behavior of a plurality of people may be estimated.
- This abnormality detection system can be applied to facilities such as elderly homes, and can have the effect of promptly responding to an abnormal state of a person to be watched over.
Landscapes
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Emergency Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Heart & Thoracic Surgery (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Marketing (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
見守り対象者への負担が小さい異常検知システムを提供する。本発明の異常検知システムは、人の行動を検出するセンサ(NS)と、センサの検出情報に基づき機械学習モデルにより人の行動を予測する行動予測部(12)と、人の正常時の行動を示す平均行動ラベルと、前記行動予測部で求めた予測行動ラベルとの差が閾値を超えた場合に、センサを詳細検出するアラートモードに設定して、人の異常の有無を判定するアラートモード動作制御部(16)と、を備えるようにした。そして、センサは、人感センサ、照度センサ、温湿度センサのいずれかを含み、行動予測部は、センサの検出値と検出時刻に基づき、LSTMネットワークモデルにより予測行動ラベルを算出する。
Description
本発明は、異常検知システムに関する。
近年、少子高齢化の進行により、独居老人世帯が増加している。離れて暮らす独居老人の家族にとっては、老人の日々の行動の内容、健康の状態、周囲の状況を容易に把握できることが望ましい。
例えば、特許文献1には、見守り対象者の健康状態や周囲の状況を検知する多数のセンサ類と、センサの信号に基づいて、見守り対象者の健康状態や周囲の状況を予め設定された管理項目で管理する管理手段と、管理項目に異常が生じたときに、その旨を通知する監視手段と、を設けた見守りシステムが記載されている。
例えば、特許文献1には、見守り対象者の健康状態や周囲の状況を検知する多数のセンサ類と、センサの信号に基づいて、見守り対象者の健康状態や周囲の状況を予め設定された管理項目で管理する管理手段と、管理項目に異常が生じたときに、その旨を通知する監視手段と、を設けた見守りシステムが記載されている。
上記の先行技術によれば、独居老人の健康状態や周囲の状況を的確に把握して、日々の行動を良好に見守ることができる。しかし、行動パターンアラートの管理項目の出力条件を、睡眠データと活動検知データの過去一カ月分の平均値を求め、これと、現時点における値との6~12時間のずれがあるときとしており(図3、段落0026参照)、正常状態から大きな状態変化があった場合しか検出できない問題がある。また、室温信号が、5℃以下もしくは30℃以上の状態が60分継続したときに、室内温度異常を検出しており(図4、段落0028)、異常状態が長時間継続する問題がある。
本発明の目的は、上記の問題を解決し、見守り対象者への負担が小さい異常検知システムを提供することにある。
前記課題を解決するため、本発明の異常検知システムは、人の行動を検出するセンサと、前記センサの検出情報に基づき機械学習モデルにより人の行動を予測する行動予測部と、人の正常時の行動を示す平均行動ラベルと、前記行動予測部で求めた予測行動ラベルとの差が閾値を超えた場合に、前記センサを詳細検出するアラートモードに設定して、人の異常の有無を判定するアラートモード動作制御部と、を備えるようにした。
本発明によれば、異常状態になる可能性を検知した段階で、詳細な情報を取得して異常判定を行えるので、見守り対象者の異常状態への対応を迅速に行うことができ、見守り対象者の負担を低減することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図1は、実施形態の異常検知システムを適用して、居住する見守り対象者を監視し、異常検知する住居の一例を示す図である。
図1は、実施形態の異常検知システムを適用して、居住する見守り対象者を監視し、異常検知する住居の一例を示す図である。
住居には、部屋の明るさを検出する照度センサ、人の所在の有無を検出する人感センサ、部屋の温度・湿度を検出する温湿度センサ等の複数のセンサ(NS1からNS7)が、部屋(NR1からNR7)の所定位置に設置されている。
例えば、人感センサを部屋の出入口付近に設置すれば、人の部屋への出入り行動を検出することができる。
また、寝室の設置した照度センサの検出値が、夜間に、明から暗に変化すれば、人の就寝行動を検出することができる。
さらに、浴室や洗面所に設置された温湿度センサの湿度値により、入浴行動と洗顔行動を区別することができる。
また、寝室の設置した照度センサの検出値が、夜間に、明から暗に変化すれば、人の就寝行動を検出することができる。
さらに、浴室や洗面所に設置された温湿度センサの湿度値により、入浴行動と洗顔行動を区別することができる。
上記のように、一つのセンサ検出値から人の行動を推定することができ、また、複数のセンサ検出値の組合せから、人の行動を推定することもできる。例えば、複数の人感センサの時間変化により、人の移動行動を推定することができる。
また、図1では、複数のセンサNS1からNS7のそれぞれが、部屋ごとに設置されているが、これに限らず、一つの部屋に複数のセンサを設置してよい。これにより、複数の行動推定を行うことができる。
図1のロボット掃除機3は、部屋の地図情報を記憶し、自走して掃除を行う掃除機である。待機時には、充電ステーション31に待機している。図1の実線は、ロボット掃除機3の自走路の一例を示している。実施形態の異常検知システムでは、ロボット掃除機3に搭載されたスピーカ、カメラ、マイク、生体情報モニタ等により、異常検出時に、見守り対象者の状態把握を行えるようにする。
実施形態の異常検知システムは、センサNSとして、エアコン等のセンサを搭載した家電製品からセンサ情報を取得して、行動検知してもよい。例えば、エアコンには、室内温度センサや、人の温度や位置取得を行う赤外線カメラが搭載されており、これらをセンサNSとして検出情報を活用する。
また、センサNSとして、部屋内の音声を集音するマイクや、Webカメラ等のカメラを設け、実施形態の異常検知システムが見守り対象者の行動異常を検知した際に、集音マイクやカメラにより見守り対象者の状態把握するようにしてもよい。これにより、見守り対象者のプライバシーを管理しながら、詳細な異常判定を行うことができる。
詳細は、後述するが、実施形態の異常検知システムは、見守り対象者の異常を検知した際に、部屋に設置したマイク、カメラ、スピーカを、見守り対象者の家族や介護サービス事業者の端末に接続し、家族や介護サービス事業者による見守り対象者への“声かけ”を可能にする。
図2は実施形態の異常検知システムの構成図である。
異常検知システムは、図1で説明したセンサNS、ロボット掃除機3と、見守り対象者の異常判定を行う行動認識サーバ1と、行動認識サーバ1の動作設定を行う操作端末51、異常を通知する家族端末52と警報端末53(介護サービス事業者用)と、から構成され、無線あるいは有線方式のネットワーク61、62により接続されている。
異常検知システムは、図1で説明したセンサNS、ロボット掃除機3と、見守り対象者の異常判定を行う行動認識サーバ1と、行動認識サーバ1の動作設定を行う操作端末51、異常を通知する家族端末52と警報端末53(介護サービス事業者用)と、から構成され、無線あるいは有線方式のネットワーク61、62により接続されている。
行動認識サーバ1は、プロセッサのプログラム実行により所望の機能を実現する情報処理装置であり、プログラム実行により後述する機能を実現している。また、行動認識サーバ1は、後述する情報を記憶するハードディスクドライブ等の記憶装置を備えて構成する。
センサNSは、室内の状態を検出する検出素子である検出部21と、検出部21を制御する制御部22と、ネットワーク61を介したセンサNSと行動認識サーバ1との通信を制御する通信部23と、から構成される。
詳しくは、検出部21は、部屋の明るさを検出するフォトダイオード等の照度検出素子、サーミスタ等の温度検出素子、湿度の変化に対応してセンサ素子の抵抗値が変化する抵抗変化型湿度センサ、焦電型赤外線センサである。
制御部22は、所定周期で検出部21から検出値を取得し、通信部23を介して、行動認識サーバ1に検出値を通知する。この際、検出値を検出範囲で正規化して通知してもよい。また、検出部21の検出値が所定量変化した際に、変化時刻とともに検出値または検出値の正規化値を通知してもよい。
また、制御部22は、行動認識サーバ1からの設定に応じて、検出部21による検出周期を変更するともに、検出部21の動作可否を制御する。
また、制御部22は、行動認識サーバ1からの設定に応じて、検出部21による検出周期を変更するともに、検出部21の動作可否を制御する。
ロボット掃除機3は、見守り対象者の状態を検出する検出素子である検出部32と、検出部32を制御する制御部33と、ネットワーク61を介したロボット掃除機3と行動認識サーバ1と通信を制御する通信部34と、住居内を自走する駆動部35と、自走路を算出するための走行地図情報36を記憶する記憶部と、ゴミの吸い込み部(不図示)と、から構成される。
詳しくは、検出部32は、見守り対象者の状態を撮像するカメラ、見守り対象者の音声を集音するマイク、見守り対象者の体温、心拍数、呼吸数等の生体情報を検出する生体情報モニタである。また、見守り対象者に“声かけ”するためのスピーカを搭載する。
制御部33は、行動認識サーバ1からの設定に応じて、走行地図情報36を参照して駆動部35を制御し、住居内の設定された位置に自走する。そして、検出部32により、見守り対象者の状態を検出し、検出値を、行動認識サーバ1に通知する。
つぎに、行動認識サーバ1の構成を説明する。行動認識サーバ1は、異常検知処理を行うための情報として、センサ情報41と、センサ定義情報42と、平均行動ラベル43と、アラートモード動作設定44と、を記憶する記憶部を有している。
センサ通信部11は、ネットワーク61を介して、センサNSに接続し、検出部21で検出した住居あるいは見守り対象者の状態(以下、センサ情報と記す)を取得する通信部である。
行動予測部12は、センサ通信部11で取得したセンサ情報を、センサ情報41に記憶するとともに、センサ情報の履歴から、見守り対象者の行動を予測する。
行動予測部12は、センサ通信部11で取得したセンサ情報を、センサ情報41に記憶するとともに、センサ情報の履歴から、見守り対象者の行動を予測する。
具体的には、行動予測部12は、例えば、正規化されたセンサ情報の時系列データに基づいて、再帰型ニューラルネットワーク(Recurrent Neural Network: RNN)の一種であるLSTM(Long Short Term Memory)ネットワークを使用して、予測行動ラベルを算出する。
行動予測部12のLSTMネットワークによる行動学習モデルは、見守り対象者の所定の分析期間(2週間から1カ月)における正常状態(異常行動でない状態)のセンサ情報を学習して構築する。そして、この分析期間の行動学習モデルのラベルは、人の正常時の行動を示し、平均行動ラベル43として記憶される。
上記の平均行動ラベルは、LSTMネットワークによる行動学習モデルに限らず、見守り対象者の行動が正常な所定の分析期間において、例えば、K近傍法、決定木、Random forestやSVMなどをアンサンブルした、深層学習でない機械学習モデルに基づいて、求めてもよい。
また、類似の人の行動パターンを監視する他の異常検知システムにおける平均行動ラベルを流用し、当該異常検知システムの平均行動ラベルとして設定するようにしてもよい。
また、類似の人の行動パターンを監視する他の異常検知システムにおける平均行動ラベルを流用し、当該異常検知システムの平均行動ラベルとして設定するようにしてもよい。
アラート判定部13は、行動予測部12で算出した予測行動ラベルと平均行動ラベル43とを比較し、差が所定値より大きいか否かを判定する。詳細は後述するが、差が所定値より大きい場合には、行動認識サーバ1は、アラートモードに移行する。
これは、行動予測部12の行動学習モデルは、正常状態(異常でない状態)を学習するが、全ての正常状態を学習できるわけではない。このため、行動認識サーバ1は、アラートモードに移行して、見守り対象者の行動の詳細分析を行い、異常の有無を検知する。
アラートモード動作選択部14は、センサ情報41と現在のセンサ情報に基づいて、アラートモード動作設定44を参照し、詳細分析のためのセンサNSの動作設定を選択する。
アラートモード動作設定部15は、アラートモード動作選択部14で選択されたセンサNSの動作設定に従って、センサNSあるいはロボット掃除機3の動作設定を変更する。具体的には、センサNSの測定間隔を短く設定するか、または、センサNSの他のセンサ情報を取得する。あるいは、アラートモード動作設定部15は、センサ定義情報を参照して、詳細分析を行う領域に移動してセンサ情報を取得するように、ロボット掃除機3を動作設定する。
アラートモード動作制御部16は、アラートモード設定されたセンサNSまたはロボット掃除機3のセンサ情報に基づいて、詳細分析を行い、見守り対象者の異常の有無を判定する。
また、アラートモード動作制御部16は、見守り対象者の異常を検知した場合には、見守り対象者の家族の家族端末52、あるいは、介護サービス事業者の警報端末53に警報通知(見守り対象者の異常通知)するとともに、異常を検知した際のセンサ情報を通知する。
また、アラートモード動作制御部16は、見守り対象者の異常を検知した場合には、見守り対象者の家族の家族端末52、あるいは、介護サービス事業者の警報端末53に警報通知(見守り対象者の異常通知)するとともに、異常を検知した際のセンサ情報を通知する。
行動学習モデル更新部18は、見守り対象者の家族、または介護サービス事業者が、警報通知に対して、見守り対象者に異常がない旨を行動認識サーバ1に通知した場合に、アラート判定部13でアラートモードへの移行を判定したセンサ情報を、正常状態のセンサ情報として、行動学習モデルの追加学習を行い、行動学習モデルおよび平均行動ラベルを更新する。これにより、行動予測部12の行動学習モデルのロバスト性を向上する。
外部通信部17は、ネットワーク62を介して、行動認識サーバ1と、家族端末52および警報端末53を接続し、見守り対象者の異常通知の送信、センサ情報の送信、異常通知に対する確認結果の受信を行う通信部である。
操作端末51は、センサ定義情報42や、アラートモード動作設定44の初期情報の設定や、異常報知する家族端末52や警報端末53の通知先アドレス等を、行動認識サーバ1に設定する端末である。
操作端末51は、センサ定義情報42や、アラートモード動作設定44の初期情報の設定や、異常報知する家族端末52や警報端末53の通知先アドレス等を、行動認識サーバ1に設定する端末である。
行動認識サーバ1は、住居に設置せずに、ネットワークサーバとして機能し、住居に設置されたエッジサーバを介してセンサNSと接続する構成であってもよい。
上記では、行動予測部12の行動学習モデルをLSTMネットワークにより構成する例を記載したが、これに限定されず、時系列情報に対応する機械学習モデルであれば、他のアルゴリズムであってもよい。
つぎに、図3により、行動認識サーバ1の処理フローを説明する。
なお、図3の処理フローは、予め、所定の分析期間においてセンサ情報を学習して行動予測部12の行動学習モデルが構築され、平均行動ラベル43が記憶されていることを前提としている。
なお、図3の処理フローは、予め、所定の分析期間においてセンサ情報を学習して行動予測部12の行動学習モデルが構築され、平均行動ラベル43が記憶されていることを前提としている。
ステップS31で、行動認識サーバ1は、センサ通信部11によりセンサNSからセンサ情報を取得し、センサ情報41に時系列情報として蓄積するとともに、行動予測部12に取得したセンサ情報を設定する。
図4は、センサ情報の時系列情報の一例を示す図である。センサ情報は、センサNS1~NS7の検出部21の検出値を正規化したデータと、検出部21の検出値が変化した時刻(イベント時刻)とが、行動認識サーバ1に通知され、行動認識サーバ1で、検出値が変化した時刻を基に、周期的なセンサ情報に補完して、センサ情報として、蓄積および行動予測部12に設定する。
もちろん、取得するデータは、所定周期な、センサNS1~NS7の生の検出値であってもよく、これを蓄積し、行動認識サーバ1に通知してもよい。この場合には、行動認識サーバ1で、データの正規化を行う。
もちろん、取得するデータは、所定周期な、センサNS1~NS7の生の検出値であってもよく、これを蓄積し、行動認識サーバ1に通知してもよい。この場合には、行動認識サーバ1で、データの正規化を行う。
図3に戻り、ステップS32で、行動予測部12(行動学習モデル)は、順次設定された複数のセンサ情報の履歴に基づいて、予測行動ラベルを算出する。
ステップS33で、アラート判定部13は、平均行動ラベル43と予測行動ラベルとを比較して、行動認識サーバ1がアラートモードに移行して、見守り対象者の行動の詳細分析を行うか否かのアラート要否を判定する。
ステップS33で、アラート判定部13は、平均行動ラベル43と予測行動ラベルとを比較して、行動認識サーバ1がアラートモードに移行して、見守り対象者の行動の詳細分析を行うか否かのアラート要否を判定する。
図5は、行動予測部12の行動ラベル値の時間変化を示し、ステップS33のアラート要否の判定方法を説明する図である。
図5の破線は、平均行動ラベル43の行動ラベル値の時間変化を示している。行動予測部12は、所定の時間幅の予測行動ラベル(複数点の予測行動ラベル)と、平均行動ラベルの対応する時間帯のラベル値を比較し、その差分の面積(図5の斜線領域)が所定の閾値以上の場合に、アラートモードに移行要と判定する。
図5の破線は、平均行動ラベル43の行動ラベル値の時間変化を示している。行動予測部12は、所定の時間幅の予測行動ラベル(複数点の予測行動ラベル)と、平均行動ラベルの対応する時間帯のラベル値を比較し、その差分の面積(図5の斜線領域)が所定の閾値以上の場合に、アラートモードに移行要と判定する。
図3に戻り、ステップS33(アラート判定)で、アラート判定部13は、所定の時間幅の予測行動ラベルと平均行動ラベルとの差分面積が、所定値より小さければ、見守り対象者の行動は正常と見なして、アラートモードへの移行は不要と判定し(S33の不要)、ステップS31に戻る。予測行動ラベルと平均行動ラベルとの差分面積が所定値以上であれば、見守り対象者の行動は正常でないと見なして、アラートモードへの移行要と判定し(S33の要)、ステップS34に進む。
ここで、平均行動ラベル43について説明する。
実施形態の異常検知システムでは、図5に示したように、一日分の行動ラベルの時間変化を、平均行動ラベル43としている。
この見守り対象者の行動パターンが、平日と休日で異なる場合や、通院等の定期的な外出予定のある場合には、それぞれの行動パターンに対応して、平均行動ラベル43を選択することが望ましい。
詳しくは、図3の処理フローの実施にあたり、曜日や見守り対象者の行動予定を取得し、これに対応する平均行動ラベル43を選択する。これにより、アラート判定精度を向上することができる。
実施形態の異常検知システムでは、図5に示したように、一日分の行動ラベルの時間変化を、平均行動ラベル43としている。
この見守り対象者の行動パターンが、平日と休日で異なる場合や、通院等の定期的な外出予定のある場合には、それぞれの行動パターンに対応して、平均行動ラベル43を選択することが望ましい。
詳しくは、図3の処理フローの実施にあたり、曜日や見守り対象者の行動予定を取得し、これに対応する平均行動ラベル43を選択する。これにより、アラート判定精度を向上することができる。
ところで、図3のステップS33で、アラートモードへの移行は不要と判定した場合に、ステップS32で生成した予測行動ラベルにより、平均行動ラベルを更新してもよい。これにより、ステップS33の判定精度を向上することができる。
図3に戻り、ステップS34で、アラートモード動作選択部14は、センサ情報41と現在のセンサ情報に基づいて、アラートモード動作設定44を参照し、詳細分析のためのセンサ動作設定を選択する。
より具体的には、図6に示すように、アラートモード動作設定44として、予め、センサNSごとに、アラートモード時の動作設定を定義し、アラートモードへの移行判定した際に、アラートモード動作設定44を参照して、異常状態に関連するセンサNSの動作設定を取得する。
詳しくは、センサNSごとのアラートモード時の動作設定は、異常検知システムの運用開始時に、センサNSそれぞれにおける、検出周期等の複数の設定選択肢から一つを選択し、設定する。また、カメラ起動やマイク集音の設定は、見守り対象者のプライバシーへの影響が大きいため、見守り対象者あるいは家族の承認のうえ設定することが望ましい。
図6に示すように、アラートモード時の動作設定として、“検出周期の増加”等の当該センサNSの動作設定を変更すること以外に、ロボット掃除機を派遣して搭載するカメラや生体情報モニタの動作する指示や、住居の設置したカメラ起動指示や、マイク集音指示、スピーカ出力指示等のセンサ情報を取得するセンサNS以外のセンサを動作する設定を行ってもよい。
また、アラートモード動作選択部14は、全てのセンサNSをアラートモードに設定するアラートモード動作を選択してもよいし、また、アラートモードへの移行判定した際に、センサNSの組合せに応じて、センサNSの動作内容を変えてもよい。
ステップS35で、アラートモード動作設定部15は、ステップS34で選択した図6のアラートモード動作設定情報の設定内容に従って、センサNSの動作設定を変更する。
ここで、図6に示すアラートモード動作設定44のNS2のように、ロボット掃除機を派遣する動作を行う場合について詳細に説明する。
ここで、図6に示すアラートモード動作設定44のNS2のように、ロボット掃除機を派遣する動作を行う場合について詳細に説明する。
実施形態の異常検知システムでは、図7のように、各センサNSのセンサ種別とセンサ識別情報(ID)と設置位置を示すセンサ定義情報42を定義している。
アラートモード動作設定部15は、アラートモード動作設定44において、ロボット掃除機を派遣する動作が設定されたセンサNS2について、図7のセンサ定義情報42を参照して、センサNS2の設置位置を取得する。アラートモード動作設定部15は、取得した設置位置に移動するようにロボット掃除機3を設定する。この際、搭載しているカメラや生体情報モニタの動作指示をあわせて設定する。
アラートモード動作設定部15は、アラートモード動作設定44において、ロボット掃除機を派遣する動作が設定されたセンサNS2について、図7のセンサ定義情報42を参照して、センサNS2の設置位置を取得する。アラートモード動作設定部15は、取得した設置位置に移動するようにロボット掃除機3を設定する。この際、搭載しているカメラや生体情報モニタの動作指示をあわせて設定する。
ステップS36で、アラートモード動作制御部16は、ステップS35でアラートモード動作を設定したセンサNSおよびロボット掃除機3から、見守り対象者の状態の詳細分析を行うためのセンサ情報を取得する。
そして、ステップS37(異常判定)で、アラートモード動作制御部16は、センサ情報に基づいて、アラートモードにおける異常判定を行い、正常判定の場合には、ステップS30に進み(S37の正常)、異常判定の場合には、ステップS38に進む(S37の異常)。
より具体的には、アラートモード動作制御部16は、カメラの撮像画像(センサ情報)に基づいて画像処理を行い見守り対象者の転倒を検出すること、または、マイクのセンサ情報に基づいて救助要請の音声を認識することにより、見守り対象者の異常状態を判定する。
また、ロボット掃除機3に搭載した生体情報モニタのセンサ情報により、見守り対象者の異常状態を判定する。
また、ロボット掃除機3に搭載した生体情報モニタのセンサ情報により、見守り対象者の異常状態を判定する。
ステップS38で、アラートモード動作制御部16は、家族端末52あるいは警報端末53に、見守り対象者が異常な状態にあると検知したことを通知するとともに、見守り対象者の異常有無の確認を依頼する。
この際、ステップS36で取得したカメラの撮像画像(センサ情報)等をあわせて送付することで、見守り対象者の家族や介護業者の、状況把握が容易になる。
この際、ステップS36で取得したカメラの撮像画像(センサ情報)等をあわせて送付することで、見守り対象者の家族や介護業者の、状況把握が容易になる。
ステップS39(確認結果判定)で、アラートモード動作制御部16は、家族端末52あるいは警報端末53から、ステップS38で依頼した見守り対象者の異常有無の確認結果を取得する。
そして、ステップS39で、アラートモード動作制御部16は、確認結果の異常の有無を判定し、異常状態であった場合には、ステップS40に進み、正常状態であった場合には、ステップS30に進む。
そして、ステップS39で、アラートモード動作制御部16は、確認結果の異常の有無を判定し、異常状態であった場合には、ステップS40に進み、正常状態であった場合には、ステップS30に進む。
ステップS40で、アラートモード動作制御部16は、家族端末52あるいは警報端末53と、住居に設置された家電のスピーカ、センサNSとしてのマイクやカメラと、を接続する救護活動支援を行う。これにより、見守り対象者の家族や介護サービス事業者が、隔地から見守り対象者への“声かけ”などの介護活動を行うことができる。
ステップS40の救護活動支援が終わると、ステップS31に戻る。
ステップS40の救護活動支援が終わると、ステップS31に戻る。
ステップS30で、行動学習モデル更新部18は、ステップS33においてアラート判定部13がアラートモードへの移行を判定したセンサ情報を、正常状態のセンサ情報として、行動学習モデルの追加学習を行い、行動学習モデルおよび平均行動ラベルを更新する。これにより、行動予測部12の行動学習モデルのロバスト性を向上する。
そして、ステップS31に戻り、所定周期で繰り返し実行される。
そして、ステップS31に戻り、所定周期で繰り返し実行される。
上記の実施形態の異常検知システムでは、複数のセンサ情報を入力して一つの予測行動ラベルを算出する行動学習モデルを構築して、異常行動を推測する例を説明したが、
行動学習モデルを群衆の予測行動ラベルを算出するととらえれば、商標施設における群衆行動の異常検知システムとして、使用することができる。
行動学習モデルを群衆の予測行動ラベルを算出するととらえれば、商標施設における群衆行動の異常検知システムとして、使用することができる。
また、上記の実施形態の異常検知システムでは、複数のセンサ情報を入力して一つの予測行動ラベルを算出する行動学習モデルを構築して、異常行動を推測する例を説明したが、人の識別センサを含む複数のセンサ情報を入力して複数人の予測行動ラベルを算出する行動学習モデルを構築して、複数人の異常行動を推測するようにしてもよい。
この異常検知システムは、老人ホーム等の施設に適用して、見守り対象者の異常状態への対応を迅速に行う効果を奏することができる。
この異常検知システムは、老人ホーム等の施設に適用して、見守り対象者の異常状態への対応を迅速に行う効果を奏することができる。
また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
11 センサ通信部
12 行動予測部
13 アラート判定部
14 アラートモード動作選択部
15 アラートモード動作設定部
16 アラートモード動作制御部
17 外部通信部
18 行動学習モデル更新部
41 センサ情報
42 センサ定義情報
43 平均行動ラベル
44 アラートモード動作設定
51 操作端末
52 家族端末
53 警報端末
NS センサ
21 検出部
22 制御部
23 通信部
3 ロボット掃除機
32 検出部
33 制御部
34 通信部
35 駆動部
36 走行地図情報
12 行動予測部
13 アラート判定部
14 アラートモード動作選択部
15 アラートモード動作設定部
16 アラートモード動作制御部
17 外部通信部
18 行動学習モデル更新部
41 センサ情報
42 センサ定義情報
43 平均行動ラベル
44 アラートモード動作設定
51 操作端末
52 家族端末
53 警報端末
NS センサ
21 検出部
22 制御部
23 通信部
3 ロボット掃除機
32 検出部
33 制御部
34 通信部
35 駆動部
36 走行地図情報
Claims (7)
- 人の行動を検出するセンサと、
前記センサの検出情報に基づき機械学習モデルにより人の行動を予測する行動予測部と、
人の正常時の行動を示す平均行動ラベルと、前記行動予測部で求めた予測行動ラベルとの差が閾値を超えた場合に、前記センサを詳細検出するアラートモードに設定して、人の異常の有無を判定するアラートモード動作制御部と、
を備えることを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、
前記センサは、人感センサ、照度センサ、温湿度センサのいずれかを含み、
前記行動予測部は、前記センサの検出値と検出時刻に基づき、LSTMネットワークモデルにより予測行動ラベルを算出する
ことを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、
アラートモード動作制御部は、前記センサの測定間隔を短くしてアラートモードに設定する
ことを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、さらに、
人の状態を撮像するカメラを備え、
前記アラートモード動作制御部は、前記センサのアラートモードにおいて、前記カメラの撮像画像により、人の異常の有無を判定する
ことを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、さらに、
人の音声を取得するマイクを備え、
前記アラートモード動作制御部は、前記センサのアラートモードにおいて、前記マイクの取得音声により、人の異常の有無を判定する
ことを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、さらに、
人の生体情報を検出する生体情報モニタを備え、
前記アラートモード動作制御部は、前記センサのアラートモードにおいて、前記生体情報モニタの検出情報により、人の異常の有無を判定する
ことを特徴とする異常検知システム。 - 請求項1に記載の異常検知システムにおいて、さらに、
人の状態を撮像するカメラ、人の音声を取得するマイクまたは人の生体情報を検出する生体情報モニタの少なくとも一つを前記センサとして搭載した自走家電を備え、
前記アラートモード動作制御部は、前記センサのアラートモードにおいて、前記自走家電に搭載された前記センサにより、人の異常の有無を判定する
ことを特徴とする異常検知システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980079443.5A CN113168756A (zh) | 2019-03-25 | 2019-10-11 | 异常检测*** |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-057213 | 2019-03-25 | ||
JP2019057213A JP2020160608A (ja) | 2019-03-25 | 2019-03-25 | 異常検知システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020194809A1 true WO2020194809A1 (ja) | 2020-10-01 |
Family
ID=72611267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/040185 WO2020194809A1 (ja) | 2019-03-25 | 2019-10-11 | 異常検知システム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2020160608A (ja) |
CN (1) | CN113168756A (ja) |
WO (1) | WO2020194809A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907893A (zh) * | 2021-02-07 | 2021-06-04 | 杭州车玲珑科技有限公司 | 智能行为异常监测***及其工作方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023090273A (ja) * | 2021-12-17 | 2023-06-29 | 株式会社日立製作所 | センシングシステム、センシング装置、およびセンシング方法 |
WO2023189313A1 (ja) * | 2022-03-28 | 2023-10-05 | テルモ株式会社 | プログラム、情報処理装置、および情報処理方法 |
JP7349038B1 (ja) * | 2022-04-08 | 2023-09-21 | 株式会社イトーキ | 介護ロボット用制御装置及び介護ロボットシステム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049979A (ja) * | 2000-08-03 | 2002-02-15 | Seiko Precision Inc | 自動緊急警報装置及び自動緊急警報出力方法 |
JP2006285344A (ja) * | 2005-03-31 | 2006-10-19 | Osaka Gas Co Ltd | 安否確認システム及びコジェネレーションシステム |
JP2015011463A (ja) * | 2013-06-27 | 2015-01-19 | シャープ株式会社 | 監視装置、監視装置の制御方法、サーバ、サーバの制御方法、監視システム、および、制御プログラム |
JP2017153850A (ja) * | 2016-03-04 | 2017-09-07 | 栄夫 澤田 | 生体監視システム及び生体監視方法 |
JP2017199363A (ja) * | 2016-04-21 | 2017-11-02 | 国立研究開発法人情報通信研究機構 | 機械翻訳装置及び機械翻訳のためのコンピュータプログラム |
JP2018107751A (ja) * | 2016-12-26 | 2018-07-05 | エンコアード テクノロジーズ インク | 宅内構成員の異常状態判断方法及びサーバ |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6905850B2 (ja) * | 2017-03-31 | 2021-07-21 | 綜合警備保障株式会社 | 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置 |
CN108898108B (zh) * | 2018-06-29 | 2022-04-26 | 炬大科技有限公司 | 一种基于扫地机器人的用户异常行为监测***及方法 |
CN108833586A (zh) * | 2018-07-05 | 2018-11-16 | 浙江中点人工智能科技有限公司 | 一种家用老人看护智能*** |
CN109166276A (zh) * | 2018-10-21 | 2019-01-08 | 河南汇纳科技有限公司 | 一种老人看护*** |
-
2019
- 2019-03-25 JP JP2019057213A patent/JP2020160608A/ja active Pending
- 2019-10-11 CN CN201980079443.5A patent/CN113168756A/zh active Pending
- 2019-10-11 WO PCT/JP2019/040185 patent/WO2020194809A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049979A (ja) * | 2000-08-03 | 2002-02-15 | Seiko Precision Inc | 自動緊急警報装置及び自動緊急警報出力方法 |
JP2006285344A (ja) * | 2005-03-31 | 2006-10-19 | Osaka Gas Co Ltd | 安否確認システム及びコジェネレーションシステム |
JP2015011463A (ja) * | 2013-06-27 | 2015-01-19 | シャープ株式会社 | 監視装置、監視装置の制御方法、サーバ、サーバの制御方法、監視システム、および、制御プログラム |
JP2017153850A (ja) * | 2016-03-04 | 2017-09-07 | 栄夫 澤田 | 生体監視システム及び生体監視方法 |
JP2017199363A (ja) * | 2016-04-21 | 2017-11-02 | 国立研究開発法人情報通信研究機構 | 機械翻訳装置及び機械翻訳のためのコンピュータプログラム |
JP2018107751A (ja) * | 2016-12-26 | 2018-07-05 | エンコアード テクノロジーズ インク | 宅内構成員の異常状態判断方法及びサーバ |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907893A (zh) * | 2021-02-07 | 2021-06-04 | 杭州车玲珑科技有限公司 | 智能行为异常监测***及其工作方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020160608A (ja) | 2020-10-01 |
CN113168756A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020194809A1 (ja) | 異常検知システム | |
EP1782406B1 (en) | Monitoring devices | |
US11953881B2 (en) | Property control and configuration based on floor contact monitoring | |
US10062233B1 (en) | Automatic emergency door unlock system | |
JP7463102B2 (ja) | 人の日常生活動作を監視するためのシステム及び方法 | |
KR100980426B1 (ko) | 독거노인 원격 모니터링 시스템 및 그 방법 | |
US20220044140A1 (en) | Event condition detection | |
US20100315509A1 (en) | System and method for monitoring the activity of a person in a compound, and sensor for detecting a person in a predefined area | |
US11892187B2 (en) | Thermostat device with improved energy optimization | |
US10438465B1 (en) | Camera enhanced with light detecting sensor | |
KR20180057368A (ko) | 독거노인별 생활패턴을 이용한 원격 관리시스템 | |
JP4812459B2 (ja) | セキュリティシステム | |
EP2903217A1 (en) | Building automation method and system | |
KR102233937B1 (ko) | 돌봄 플러그 장치의 센싱 데이터에 대해 시맨틱 분석을 통한 건강 관리 서버 및 그 방법 | |
WO2018145911A1 (en) | Monitoring activity of a person | |
US20230252874A1 (en) | Shadow-based fall detection | |
JP7137154B2 (ja) | 行動検知装置および該方法ならびに被監視者監視支援システム | |
JP6899709B2 (ja) | 見守りシステム | |
WO2017104044A1 (ja) | 遠隔健康管理装置、遠隔健康管理方法、および遠隔健康管理システム | |
JP2012221332A (ja) | 異変検知型映像転送装置 | |
JP6415919B2 (ja) | 情報報知システム及び情報報知方法 | |
Ohiwa et al. | Sensor system to advice health-aware information for elderly people on daily living activities | |
WO2023037637A1 (ja) | 通知システムおよび通知方法 | |
EP3286743A1 (en) | System and method for monitoring a person in one or more buildings | |
JP2006163930A (ja) | 安否確認システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19921286 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19921286 Country of ref document: EP Kind code of ref document: A1 |