WO2017061371A1 - 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム - Google Patents
行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム Download PDFInfo
- Publication number
- WO2017061371A1 WO2017061371A1 PCT/JP2016/079273 JP2016079273W WO2017061371A1 WO 2017061371 A1 WO2017061371 A1 WO 2017061371A1 JP 2016079273 W JP2016079273 W JP 2016079273W WO 2017061371 A1 WO2017061371 A1 WO 2017061371A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- action
- behavior
- subject
- type
- state
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1115—Monitoring leaving of a patient support, e.g. a bed or a wheelchair
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
- A61B5/1117—Fall detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present disclosure relates to a behavior detection system, a behavior detection device, a behavior detection method, and a behavior detection program that can determine the type of a person's behavior.
- This technology is applied to, for example, a behavior detection system that watches the behavior of a care recipient who needs care for an elderly person or a patient.
- the behavior detection system detects that the cared person has performed a dangerous action (such as getting up or getting out of bed) accompanied by a fall or the like, and notifies the caregiver of this. As a result, the caregiver can rush to the cared person and prevent the cared person from falling over.
- Patent Document 1 discloses a state detection device that can detect a subject's state with high accuracy with a simple configuration.
- the behavior detection system may falsely detect the behavior of the care recipient. There is. In this case, the frequency
- Patent Document 1 determines the current state of the subject based on the moving direction of the subject on the bed and the past state of the subject. By considering the moving direction of the subject, the accuracy of determining the state of the subject is improved. However, Patent Document 1 does not disclose the discrimination process when an unexpected situation occurs. Therefore, when an unexpected situation occurs in the state detection device, misidentification of the state of the subject increases.
- an object in one aspect is to provide a behavior detection system that can reduce false alarms that occur in an unexpected situation.
- An object in another aspect is to provide a behavior detection device that can reduce false alarms that occur in an unexpected situation.
- Still another object of the present invention is to provide a behavior detection method that can reduce false alarms that occur in unexpected situations.
- Still another object of the present invention is to provide a behavior detection program that can reduce false alarms that occur in unexpected situations.
- the behavior detection system includes an acquisition unit for acquiring motion data representing the motion of the subject, a state transition table that defines a transition relationship between a plurality of types of behavior, and a behavior of the notification target behavior.
- a storage unit for storing the type and the type of the current action of the subject, and an action that can be transitioned from the current action based on the state transition table are specified, and the action that can be changed is determined as the motion data.
- a behavior detecting unit for detecting based on the behavior, a transition control unit for updating the current behavior to the new behavior when a new behavior is detected by the behavior sensing unit, and the new behavior Is detected, and when the new action is the action to be notified, the notification unit for notifying the type of the new action and the action type of the subject are determined. Not suitable When a predetermined first condition indicating a is satisfied, with reducing the number of types of actions of the notification object, and a update unit for updating the transition relation of the state transition table.
- the behavior detection system includes an acquisition unit for acquiring motion data representing the motion of the subject, a state transition table that defines transition relationships between a plurality of types of behavior, and the current status of the subject. For storing a behavior that can be transitioned from the current behavior based on the state transition table, and for detecting the transitionable behavior based on the operation data
- a transition control unit for updating the current behavior to the new behavior and a case where the new behavior is detected.
- a notifying unit for notifying the type of the new action when the new action is a predetermined action to be notified.
- the notification unit stops reporting the predetermined notification target behavior when a predetermined condition indicating that it is not suitable for determining the type of action of the subject is satisfied To do.
- the behavior detection device includes an acquisition unit for acquiring motion data representing the motion of the subject, a state transition table that defines a transition relationship between a plurality of types of behaviors, and a notification target
- a storage unit for storing the type of action and the type of current action of the subject, an action that can be transitioned from the current action based on the state transition table,
- a behavior detection unit for detecting based on motion data
- a transition control unit for updating the current behavior to the new behavior when a new behavior is detected by the behavior detection unit, and the new
- a notification unit for notifying the new action type and the action type of the subject are determined. Not suitable for When a predetermined first condition indicating bets are met, with reducing the number of types of actions of the notification object, and a update unit for updating the transition relation of the state transition table.
- the behavior detection method includes a step of obtaining motion data representing the motion of a subject, a state transition table defining transition relationships between a plurality of types of behaviors, and types of behaviors to be notified And a step of preparing a current action type of the subject, an action that can be transitioned from the current action is identified based on the state transition table, and the transitionable action is detected based on the operation data And when the new action is detected in the detecting step, the step of updating the current action to the new action, and the new action being detected, wherein the new action is detected.
- a step of notifying the new action type and a first predetermined value indicating that the action type is not suitable for determining the action type of the subject When the matter is satisfied, with reducing the number of types of actions of the notification object, and a step of updating the transition relation of the state transition table.
- the behavior detection program causes the computer to acquire operation data representing the motion of the subject, a state transition table that defines a transition relationship between a plurality of types of behaviors, and a notification target Preparing a behavior type of the subject and a current behavior type of the subject, identifying a behavior that can be transitioned from the current behavior based on the state transition table, and identifying the transitionable behavior as the motion data And when detecting a new action in the detecting step, the step of updating the current action to the new action and the new action being detected. When the new action is the action to be notified, the step of notifying the new action type and the action type of the subject are not suitable. When a predetermined first condition indicating a is satisfied, with reducing the number of types of actions of the notification object, and a step of updating the transition relation of the state transition table.
- FIG. 1 is a diagram illustrating an example of the configuration of the behavior detection system 300.
- the behavior detection system 300 can be used, for example, to watch over a care receiver 500 who is a person to be monitored.
- the behavior detection system 300 includes a camera 50, a behavior detection device 100, and a mobile terminal 200.
- the camera 50 and the behavior detection apparatus 100 are connected to each other via a network.
- the behavior detection apparatus 100 and the mobile terminal 200 are connected to each other via a network.
- the camera 50 is installed, for example, in a nursing facility, a medical facility, a home, or the like.
- FIG. 1 shows a state where the camera 50 is photographing the care receiver 500 and the bed 520 from the ceiling.
- the camera 50 may be attached to the ceiling or to the side wall.
- the behavior detection apparatus 100 determines the behavior of the care recipient 500 based on time-series images (that is, videos) obtained from the camera 50.
- the behavior of the cared person 500 that can be detected by the behavior detecting device 100 includes the rising of the cared person 500, falling from the bed 520, and the like.
- the behavior detection device 100 When the behavior detection device 100 detects the behavior to be notified, the behavior detection device 100 transmits information indicating the type of the behavior to the mobile terminal 200 for the caregiver 501.
- the mobile terminal 200 receives information indicating the type of action to be notified from the action detection device 100, the mobile terminal 200 notifies the caregiver 501 that the action to be notified has been detected.
- the mobile terminal 200 displays information indicating the type of action as a message, or utters the type of action by voice.
- the caregiver 501 can grasp the behavior of the care receiver 500 such as getting up or falling, and can quickly rush to the care receiver 500.
- FIG. 1 illustrates an example in which the behavior detection system 300 includes one behavior detection device 100, the behavior detection system 300 may include a plurality of behavior detection devices 100. Further, in FIG. 1, the camera 50 and the behavior detection device 100 are configured as separate devices, but the camera 50 and the behavior detection device 100 may be configured integrally. Furthermore, although the example in which the action detection system 300 is provided with the some portable terminal 200 is shown by FIG. 1, the action detection system 300 may be comprised with the one portable terminal 200. FIG.
- FIG. 2 is a diagram for explaining behavior detection processing by the behavior detection system 300.
- the behavior detection system 300 includes a behavior detection device 100 and an acquisition unit 150.
- the behavior detection apparatus 100 includes, as a functional configuration, a moving object detection unit 250, a person determination unit 252, a behavior detection unit 255, a transition control unit 260, a notification unit 270, an abnormality determination unit 280, an update unit 285, A normality determination unit 290.
- the behavior detection device 100 stores, as data, a state transition table 222, a current behavior 224 indicating the type of the care recipient's current behavior, and notification behavior information 226 that defines the type of behavior to be notified. ing.
- the state transition table 222, the current behavior 224, and the notification behavior information 226 are stored in the storage device 120 (see FIG. 14) of the behavior detection device 100 or the like.
- the acquisition unit 150 the moving object detection unit 250, the person determination unit 252, the behavior detection unit 255, the transition control unit 260, the notification unit 270, the abnormality determination unit 280, the update unit 285, and the normality determination unit 290 will be described in order.
- the acquisition unit 150 acquires operation data representing the operation of the care recipient.
- the acquisition unit 150 is the camera 50 shown in FIG.
- the acquisition unit 150 generates an image obtained by photographing the cared person as the operation data, and outputs the images to the moving object detection unit 250 in chronological order.
- the acquisition unit 150 is the camera 50 and the operation data is a time-series image (that is, video) will be described.
- the acquisition unit 150 is not limited to the camera 50, and the operation data is limited to video.
- the acquisition part 150 should just be an apparatus which can acquire the data which show the time change of a care receiver's operation
- the acquisition unit 150 may be a pressure-sensitive mat placed under a bed, a TOF (Time Of Flight) type distance sensor, an acceleration sensor, a microwave sensor, or the like.
- the pressure sensitive mat outputs a pressure value as operation data.
- the distance sensor outputs a distance image as operation data.
- the acceleration sensor outputs acceleration as operation data.
- the microwave sensor outputs the distance from itself to the cared person as operation data.
- the moving object detection unit 250 detects a moving object from the time-series images obtained from the acquisition unit 150.
- the moving object region in the image is realized by a background difference that is different from a predetermined background image from the input image or a time difference that is different between images whose shooting times are around.
- the moving object detection unit 250 outputs the moving object region in the image to the person determination unit 252 and outputs the background region other than the moving object region to the abnormality determination unit 280.
- the person determination unit 252 determines whether or not the detected moving object region represents a person. In a certain aspect, the person determination unit 252 determines that the moving object region represents a person when the size of the moving object region is included in a predetermined range. In another aspect, the person determination unit 252 determines that the moving object region represents a person when the aspect ratio of the moving object region is included in a predetermined range. In yet another aspect, the person determination unit 252 performs face detection in the moving object region, and determines that the moving object region represents a person when a face is detected.
- the person determination unit 252 determines whether or not the detected person area represents a cared person registered in advance.
- the behavior detection system 300 extracts a feature amount from an image obtained by photographing a care recipient and holds the feature amount as a template in advance.
- the person determination unit 252 calculates a similarity between the template and a feature amount extracted from the detected person region.
- the person determination unit 252 determines that the detected person area represents a pre-registered care recipient when the similarity is equal to or greater than a predetermined value.
- the person determination unit 252 needs to determine the person. There is no.
- FIG. 3 is a diagram showing the contents of the state transition table 222.
- FIG. 4 is a diagram illustrating an example of the behavior of the care recipient 500.
- FIG. 5 is a diagram showing the definition of each action state defined in the state transition table 222.
- FIG. 6 is a conceptual diagram schematically showing the action determination process according to the modification.
- the behavior detection unit 255 identifies a transitionable behavior from the current behavior 224 based on the state transition table 222, and detects the transitionable behavior based on operation data. That is, the behavior detection unit 255 sets a behavior that can be transitioned from the current behavior 224 as a behavior to be determined.
- the state transition table 222 defines transition relationships between a plurality of types of actions.
- the state transition table 222 defines a bed leaving state 222A, a wake-up state 222B, a bedside state 222C, and a fall-and-fall state 222D as action states.
- FIG. 4 shows an example of the behavior state of the care recipient 500.
- FIG. 5 shows definitions of the bed leaving state 222A, the wake-up state 222B, the bedside state 222C, and the fall-and-fall state 222D.
- the action state can transition from the bed leaving state 222A to the wake-up state 222B or the fall-and-fall state 222D.
- the behavioral state can transition from the rising state 222B to the leaving state 222A, the bedside state 222C, or the fall-and-falling state 222D.
- the behavioral state can transition from the bedside state 222C to the bed leaving state 222A, the wake-up state 222B, or the fall-and-fall state 222D.
- the action state can transition from the fall-and-fall state 222D to the leaving state 222A or the rising state 222B.
- the behavior detection unit 255 identifies the type of behavior that can be transitioned from the current behavior 224 based on the state transition table 222, and detects the transitionable behavior that is identified based on the image obtained from the acquisition unit 150.
- the behavior that can be discriminated by the behavior detection unit 255 includes, for example, at least one of rising of the cared person, getting out of the cared person, lying down of the cared person, and falling of the cared person.
- the behavior detection unit 255 includes at least the position of the cared person in the image, information on the operation of the cared person (for example, the movement direction and the amount of movement within a predetermined time), and the attitude of the cared person. Based on one, the type of action of the care recipient is determined.
- a bed area is preset in the image.
- the bed area may be manually set in advance or automatically detected by an image processing technique such as template matching.
- the behavior detection unit 255 detects the care receiver's wake-up.
- the behavior detection unit 255 detects the care receiver being out of bed.
- the behavior detection unit 255 detects the care receiver's bed.
- the behavior detection unit 255 detects the fall of the care receiver.
- the behavior detection unit 255 refers to the state transition table 222 and sets the wake-up state 222B and the fall-and-fall state 222D that can be transitioned from the bed leaving state 222A as behaviors to be detected.
- the behavior detection unit 255 detects the subject's getting up or falling over based on the image obtained from the acquisition unit 150.
- the behavior detection unit 255 specifies the behavior to be discriminated based on the current behavior 224. However, as shown in FIG. 6, the behavior detection unit 255 further uses the previous behavior. You may identify the action of discrimination object. That is, the behavior detection unit 255 identifies a behavior that can be transitioned from the previous behavior and the current behavior 224 based on the state transition table 222, and sets the behavior as a behavior to be determined.
- the behavior detection unit 255 is detected based on the state transition table 222 with the behavior detected in the image of the (N ⁇ 3) th frame and the image of the (N ⁇ 2) th frame. Actions that can be transitioned from actions are taken as discrimination targets.
- the behavior detection unit 255 determines whether or not a discrimination target behavior has occurred based on the detected moving body region image information.
- the behavior detection unit 255 outputs the type of the detected behavior to the notification unit 270, and the behavior detected in the image of the (N-2) th frame is defined as the current behavior 224. Is prepared for the action detection in the image of the next N-th frame.
- the behavior detection unit 255 sets a behavior that can be transitioned from the previous behavior and the current behavior 224 based on the state transition table 222 as a discrimination target.
- the behavior detection unit 255 determines whether or not a discrimination target behavior has occurred based on the detected moving body region image information.
- the behavior detection unit 255 outputs the type of the detected behavior to the notification unit 270, sets the behavior detected in the Nth frame image as the current behavior 224, and the behavior detected in the N ⁇ 1th frame image as the previous behavior. As an action, it prepares for action detection in the next N + 1 frame image.
- Transition control unit 260 updates the current behavior 224 to a new behavior when a new behavior is detected by the behavior detection unit 255. Thereby, the transition control unit 260 causes the current action 224 to transition to the next state.
- the transition control unit 260 may rewrite the current action 224 with the newly detected action, or may sequentially add the newly detected action to the current action 224 as history information. Good.
- FIG. 7 is a diagram showing transition conditions from each action state defined in the state transition table 222. More specifically, the transition condition 6 indicates a transition condition from the fall-down state 222D to the wake-up state 222B. In the transition condition 7, a transition condition from the fall-and-fall state 222D to the bed leaving state 222A is shown. In the transition condition 8, a transition condition from the bed leaving state 222A to the falling fall state 222D is shown. The transition condition 10 indicates a transition condition from the leaving state 222A to the rising state 222B. The transition condition 11 indicates a transition condition from the rising state 222B to the leaving state 222A. The transition condition 12 indicates a transition condition from the wake-up state 222B to the fall-down state 222D.
- the transition condition 13 indicates a transition condition from the wake-up state 222B to the heel-up state 222C.
- the transition condition 15 indicates a transition condition from the initial state where the behavior state is not determined to the wake-up state 222B.
- the transition condition 16 indicates a transition condition from the initial state to the bed leaving state 222A.
- the transition condition 17 indicates a transition condition from the initial state to the fall-down state 222D.
- the transition condition 18 indicates a transition condition from the initial state to the bed state 222C.
- the transition condition 20 indicates a transition condition from the laid-up state 222C to the wake-up state 222B.
- the transition condition 21 indicates a transition condition from the bed state 222C to the bed leaving state 222A.
- the transition condition 22 indicates a transition condition from the bed state 222C to the fall-down state 222D.
- transition condition when a vibration sensor is used for behavior detection instead of a camera, it is determined according to the output from the vibration sensor whether the transition conditions 10 and 11 are satisfied.
- transition condition 20 when a temperature sensor or a distance sensor is used for action detection, whether or not the transition condition 20 is satisfied is determined according to an output from the temperature sensor or the distance sensor.
- FIG. 8 is a diagram showing the content of the notification behavior information 226.
- the notification unit 270 notifies the type of the new behavior when the new behavior is detected by the behavior detection unit 255 and the new behavior is a behavior to be notified. Whether or not it is a notification target is defined in advance in the notification behavior information 226, for example.
- the notification behavior information 226, whether or not it is a notification target for each type of behavior is shown.
- the bed leaving state 222A, the wake-up state 222B, and the fall-over state 222D are defined as notification targets.
- the bed state 222C is defined as a non-notification target.
- the notification action information 226 When a new action is detected by the action detection unit 255, the notification action information 226 is referred to. When the notification action information 226 defines that the new action is a notification target, the notification action information 226 notifies the caregiver of the content of the new action.
- the notification unit 270 displays information indicating the type of action on the caregiver's mobile terminal 200 (see FIG. 1) as a message. Or the alerting
- the types of actions that can be notified are, for example, caregiver's wake-up, caregiver's leaving, caregiver's fall, caregiver's fall, caregiver's entry, caregiver's bed, caregiver Including at least one of entering the person and leaving the cared person.
- the subject into which the care recipient enters the room includes at least one of a care recipient's room, a toilet, and a bath.
- the subject from which the cared person leaves the room includes at least one of the cared person's room, toilet, and bath.
- the behavior to be notified may be arbitrarily set by the administrator of the behavior detection system 300.
- the behavior to be notified is set for each transition condition shown in FIG.
- the administrator can, for example, make a setting so that the wake-up is notified when the transition condition 20 is satisfied, and the wake-up is not notified when the transition condition 10 is satisfied.
- the notification of the target action is not always performed when the transition condition is satisfied.
- the notification unit 270 may stop reporting a predetermined notification target action. In this case, even if the transition condition is satisfied, The target action is not notified.
- FIG. 9 is a diagram illustrating an example of an image obtained by photographing the room of the care recipient 500.
- the abnormality determination unit 280 determines a predetermined condition (hereinafter referred to as “below” indicating that the type of action of the care recipient 500 is not suitable). It is also determined whether or not “invalid condition” is satisfied. When the invalid condition is satisfied, as will be described later, the update unit 285 updates the state transition table 222 (see FIG. 3) and the notification action information 226 (see FIG. 8) to reduce the type of action to be notified. It is. This reduces false alarms that occur in unexpected situations.
- the abnormality determination unit 280 determines whether or not a disturbance has occurred using the image information in the background area. As an example, when the change amount of the pixel value in the background region is larger than a predetermined amount, the abnormality determination unit 280 determines that there is a disturbance in the image and determines that the invalid condition is satisfied.
- the abnormality determination unit 280 determines that the invalid condition is satisfied when a person other than the care recipient 500 is detected in the image by the person determination unit 252 (see FIG. 2). Whether or not the invalid condition is satisfied may be determined based on whether or not a person other than the cared person 500 is included in the image, as described above. As described above, the image information in the background area May be determined based on
- the behavior detection system 300 is initialized (reset) by the administrator.
- the current behavior 224 cannot be acquired, and the behavior detection system 300 may not be able to accurately determine the care recipient's behavior. Therefore, the abnormality determination unit 280 determines that the invalid condition is satisfied when the behavior detection system 300 is initialized or when an error occurs in the behavior detection system 300.
- the invalid condition is that a disturbance occurs in the image, a person other than the cared person 500 is included in the image, the action detection system 300 is initialized, and the action detection system 300. Is satisfied in at least one of the cases where an error has occurred.
- the updating unit 285 reduces the types of behaviors to be notified defined in the notification behavior information 226 (see FIG. 8) as compared to the normal time, and the state transition table 222 (see FIG. 3). ) Is updated.
- the update unit 285 updates the state transition table 222 so as not to transit to at least a part of the behavior to be notified.
- the updated state transition table is stored in advance in the storage device of the behavior detection system 300, for example.
- the types of behaviors to be notified are reduced, so that misreporting to the caregiver is suppressed even if erroneous detection occurs. As a result, the burden on the caregiver is reduced.
- the updating unit 285 sets the type of action to be notified defined in the notification action information 226 to zero. Thereby, the behavior detection system 300 can reliably prevent a false alarm that occurs when an unexpected situation occurs. Note that while the notification is stopped, the state transition in the state transition table 222 may be executed.
- the type of action that can be transitioned from the current action 224 (see FIG. 2) is specified based on the updated state transition table while the abnormal condition is satisfied. Thereby, since the action of the notification target is less detected, the false alarm is suppressed.
- the update unit 285 may rewrite the state transition table 222 according to update information prepared in advance for an unexpected situation, or is prepared in advance for an unexpected situation.
- the state transition table 222 may be replaced with the state transition table.
- transition itself in the state transition table 222 may be stopped when the invalid condition is satisfied. As a result, the behavior to be notified is not detected, so that misreporting is suppressed.
- FIG. 10 is a diagram illustrating a state where the caregiver 501 is caring for the care recipient 500.
- FIG. 11 is a diagram illustrating an example of state transition when the abnormal condition is no longer satisfied.
- the normality determination unit 290 determines whether or not the invalid condition has been eliminated. That is, the normality determination unit 290 determines whether or not a normal condition indicating that it is suitable for determining the type of behavior of the care recipient is satisfied.
- the update unit 285 returns the state transition table 222 updated so as to suppress the notification to the state transition table 222 before the update, and sets the type of action to be notified to the original Return to the state.
- the normal condition may be a condition opposite to the invalid condition, or may be a condition not related to the invalid condition.
- the normal condition is a condition opposite to the invalid condition, the normal condition is satisfied when the invalid condition is not satisfied.
- the behavior detection system 300 may control to stop the transition in the state transition table 222.
- the care receiver 500 may have different behavioral states before and after the state transition is stopped. An example is shown in FIG.
- step (1) only the care recipient 500 exists in the room. In step (1), the normal condition is satisfied.
- step (2) Suppose that caregiver 501 enters the room in step (2).
- the abnormal condition is satisfied.
- the behavior detection system 300 suppresses notification by stopping the state transition.
- step (3) the caregiver 501 assists the care receiver 500 to get up from the bed 520. Also at this time, since a plurality of persons are in the room, the abnormal condition is continuously satisfied.
- step (4) the caregiver 501 assists the care recipient 500 to sit on the sofa. Also at this time, since a plurality of persons are in the room, the abnormal condition is continuously satisfied.
- the caregiver 501 leaves the room in step (5). Since only the care recipient 500 exists in the room, the abnormal condition is eliminated. Thereby, the normal condition is satisfied. As a result, the behavior detection system 300 resumes the state transition and cancels the suppression of notification.
- the behavior state of the care receiver 500 is changed before and after the stop of the state transition. Therefore, if the action state before the stop of the state transition is used as the current action 224 (see FIG. 2) after the restart of the state transition, the action detecting unit 255 (see FIG. 2) mistakes the action of the care recipient 500. There is a possibility of detection. Therefore, the behavior detection unit 255 detects the behavior of the care recipient 500 when the state transition is resumed, and rewrites the current behavior 224 with the detected behavior.
- the behavior detection unit 255 detects the behavior of the care recipient 500 and restarts the state transition from the detected behavior. That is, the state transition may be resumed from the behavior state A, the state transition may be resumed from the behavior state B, or the state transition may be resumed from another behavior state C.
- the behavior detection system 300 can accurately detect the behavior of the care receiver after the restart of the state transition. Can do.
- FIG. 12 is a flowchart showing the process of the behavior detection system 300 when the normal condition is satisfied.
- FIG. 13 is a flowchart showing the process of the behavior detection system 300 when the invalid condition is satisfied.
- the processing of FIGS. 12 and 13 is realized by the CPU 102 (see FIG. 14) of the behavior detection system 300 executing a program. In other aspects, some or all of the processing may be performed by circuit elements or other hardware.
- step S110 the CPU 102 determines whether or not only the care recipient exists in the room as the abnormality determination unit 280 (see FIG. 2).
- CPU 102 determines that only the cared person exists in the room (YES in step S110)
- CPU 102 determines that the normal condition is satisfied, and switches control to step S120. If not (NO in step S110), CPU 102 determines that the invalid condition is satisfied, and switches control to step S112.
- step S112 the CPU 102 stops the state transition in the state transition table 222 (see FIG. 3) as the updating unit 285 (see FIG. 2).
- step S120 the CPU 102 determines whether or not the care receiver's current action 224 in the image of the (N-1) th frame is in a fall-down state.
- CPU102 switches control to step S122, when it is judged that the care receiver's current action 224 is in a fall-and-fall state (YES in step S120). If not (NO in step S120), CPU 102 switches control to step S130.
- step S122 the CPU 102 determines whether or not the fall and fall state has ended.
- CPU 102 determines that the fall-and-fall state has ended (YES in step S122)
- CPU 102 switches control to step S124. If not (NO in step S122), CPU returns control to step S110.
- step S124 the CPU 102 rewrites the care receiver's current action 224 in the Nth frame image to the bed leaving state as the transition control unit 260 (see FIG. 2).
- step S130 the CPU 102 determines whether the care receiver has fallen as the behavior detection unit 255 (see FIG. 2). When CPU 102 determines that the care recipient has fallen (YES in step S130), CPU 102 switches control to step S132. If not (NO in step S130), CPU 102 switches control to step S140.
- step S132 the CPU 102 notifies the caregiver's mobile terminal 200 (see FIG. 1) that the care receiver has fallen as the notification unit 270 (see FIG. 2).
- step S134 as the transition control unit 260, the CPU 102 rewrites the care receiver's current action 224 in the Nth frame image into a fall-down state.
- step S140 the CPU 102, as the transition control unit 260, determines whether or not the state transition in the state transition table 222 is stopped.
- CPU 102 determines that the state transition in state transition table 222 is stopped (YES in step S140)
- CPU 102 switches control to step S142. If not (NO in step S140), CPU 102 switches control to step S150.
- step S142 the CPU 102 determines whether or not to stop the state transition in the state transition table 222. This determination is made based on at least one of the following information (a) to (e), for example.
- step S142 Input to the action detection system 300 (for example, an administrator input or an output of another action detection system)
- the action detection system 300 for example, an administrator input or an output of another action detection system
- stop of the state transition is continued, the current action 224 is returned to the action state before the stop of the state transition, or the current action 224 is changed to an action state different from the action state before the stop of the state transition.
- One of the settings is determined. Thereafter, the process of FIG. 12 is executed again. Details of the determination processing in step S142 will be described later (see FIG. 13).
- step S150 the CPU 102 determines whether or not the current action 224 of the care recipient in the image of the (N-1) th frame indicates a bed leaving state.
- CPU102 switches control to step S152, when it is judged that the care receiver's present action 224 is showing a bed leaving state (in step S150 YES). If not (NO in step S150), CPU 102 switches control to step S160.
- step S152 the CPU 102 determines whether or not the care recipient has entered the floor.
- CPU 102 determines that the care recipient has entered the floor (YES in step S152)
- CPU 102 switches control to step S154. If not (NO in step S152), CPU 102 returns the control to step S110.
- step S154 as the transition control unit 260, the CPU 102 rewrites the care receiver's current action 224 in the Nth frame image to the wake-up state.
- step S160 the CPU 102 determines whether or not the care receiver's current action 224 in the image of the (N-1) th frame is in the wake-up state.
- CPU 102 determines that the current action 224 of the care recipient in the image of the (N ⁇ 1) th frame is in the wake-up state (YES in step S160)
- control is switched to step S162. If not (NO in step S160), CPU 102 switches control to step S190.
- step S162 the CPU 102 determines whether or not the cared person is bedded. CPU102 switches control to step S163, when it is judged that the cared person has been in bed (in step S162 YES). If not (NO in step S162), CPU 102 switches control to step S164.
- step S163 as the transition control unit 260, the CPU 102 rewrites the care receiver's current action 224 in the image of the Nth frame into a bedridden state.
- step S164 the CPU 102 determines whether or not the bed leaving condition is satisfied.
- the bed leaving condition is satisfied when the position of the care recipient in the image is outside the preset bed area.
- CPU 102 determines that the bed leaving condition is satisfied (YES in step S164)
- CPU 102 switches control to step S170. If not (NO in step S164), CPU 102 returns control to step S110.
- step S170 the CPU 102 determines whether or not a disturbance is detected in the image.
- CPU 102 determines that a disturbance has been detected in the image (YES in step S170)
- CPU 102 switches control to step S172. If not (NO in step S170), CPU 102 switches control to step S174.
- step S172 the CPU 102 stops the state transition in the state transition table 222 as the transition control unit 260. That is, the CPU 102 stops the state transition when a disturbance is detected in the image.
- step S174 the CPU 102 notifies the care giver's mobile terminal 200 that the care receiver is getting out of bed as the notification unit 270. Only when there is no influence of disturbance and the cared person leaves the bed, the state transition changes to the bed leaving state, and the cared person's bed leaving is notified.
- step S176 as the transition control unit 260, the CPU 102 rewrites the care receiver's current action 224 in the N-th frame image to the bed leaving state.
- step S190 the CPU 102 determines whether or not the care receiver's current action 224 in the image of the (N-1) th frame is in a bedridden state.
- CPU 102 determines that the current action 224 of the care recipient in the image of the (N ⁇ 1) th frame is a bedridden state (YES in step S190)
- control is switched to step S194. If not (NO in step S190), CPU 102 switches control to step S192.
- step S 192 the CPU 102 stops the state transition in the state transition table 222 as the transition control unit 260.
- step S194 the CPU 102 determines whether or not the cared person has woken up.
- CPU 102 determines that the cared person has woken up (YES in step S194)
- CPU 102 switches control to step S196. If not (NO in step S194), CPU 102 switches control to step S164.
- step S196 the CPU 102 notifies the care giver's mobile terminal 200 that the care receiver has woken up as the notification unit 270.
- step S198 as the transition control unit 260, the CPU 102 rewrites the care receiver's current action 224 in the Nth frame image to the wake-up state.
- step S210 the CPU 102 determines whether or not the care receiver has fallen.
- CPU 102 determines that the cared person has fallen down (YES in step S210)
- CPU 102 switches control to step S212. If not (NO in step S210), CPU 102 switches control to step S220.
- step S212 the CPU 102 notifies the care giver's mobile terminal 200 that the care receiver has fallen as the notification unit 270.
- step S214 the CPU 102 rewrites the care receiver's current action 224 in the N-th frame image as a fall-down state as the transition control unit 260.
- step S220 the CPU 102 determines whether or not the normal condition is satisfied.
- CPU 102 determines that the normal condition is satisfied (YES in step S220)
- CPU 102 switches control to step S230. If not (NO in step S220), CPU 102 ends the action determination process shown in FIG.
- An example of the case where the normal condition is eliminated is a case where the reset state of the behavior detection system 300 is eliminated.
- the current action 224 may also be reset, and the next action of the care recipient cannot be detected. Therefore, when the reset of the behavior detection system 300 is canceled and the normal condition is satisfied, the CPU 102 detects the care receiver's behavior, sets the behavior to the current behavior 224, 12 process is resumed.
- the CPU 102 detects the care-taker's bed leaving condition when the position of the care-taker in the image is outside the bed.
- the CPU 102 may detect the behavior state of the care recipient using a distance sensor instead of the camera.
- the distance sensor is installed on the bed and detects a distance from the bed to a surrounding object.
- the CPU 102 detects the care recipient when the distance changes by a predetermined value or more.
- the distance sensor is provided on a wall surface on the bed. The CPU 102 may detect the thickness of the person on the bed based on the detection result by the distance sensor, and determine the care receiver's bed or wake-up based on the thickness.
- the CPU 102 may detect the action state of the care recipient using a mat-shaped gravity sensor instead of the camera. More specifically, the gravity sensor is provided so as to straddle the bed area and its peripheral area. When gravity is detected both inside and outside the bed area, the CPU 102 detects the care receiver's wake-up. When the gravity is detected only in the bed area, the CPU 102 detects the bedded state of the care recipient.
- step S230 the CPU 102 determines whether or not the state transition in the state transition table 222 is stopped due to a disturbance.
- CPU 102 determines that the state transition in state transition table 222 is stopped due to disturbance (YES in step S230)
- CPU 102 switches control to step S260. If not (NO in step S230), CPU 102 switches control to step S232.
- step S232 the CPU 102 determines whether or not the position of the care recipient in the image is outside the bed.
- CPU 102 determines that the position of the cared person in the image is outside the bed (YES in step S232)
- CPU 102 switches control to step S234. If not (NO in step S232), CPU 102 switches control to step S240.
- step S234 as the transition control unit 260, the CPU 102 rewrites the care receiver's current action 224 in the Nth frame image to the wake-up state.
- step S240 the CPU 102 determines whether or not the position of the care recipient in the image is in the bed.
- CPU 102 determines that the position of the cared person in the image is in the bed (YES in step S240)
- CPU 102 switches control to step S244. If not (NO in step S240), CPU 102 switches control to step S242.
- step S242 the CPU 102 continues to stop the state transition in the state transition table 222. That is, the CPU 102 executes the action determination process shown in FIG. 13 again.
- step S244 as the transition control unit 260, the CPU 102 rewrites the care receiver's current action 224 in the Nth frame image to the wake-up state.
- step S250 the CPU 102 determines whether or not the care recipient is lying on the floor. If CPU 102 determines that the care recipient is lying (YES in step S250), control is switched to step S254. If not (NO in step S250), CPU 102 switches control to step S252.
- step S252 the CPU 102 determines whether or not a certain time has elapsed since the process of step S250 was executed. If CPU 102 determines that a certain time has elapsed since the execution of step S250 (YES in step S252), CPU 102 executes the action determination process shown in FIG. 13 again. If not (NO in step S252), CPU 102 executes the process of step S250 again.
- step S254 as the transition control unit 260, the CPU 102 rewrites the care receiver's current action 224 in the image of the Nth frame into a bedridden state.
- step S260 the CPU 102 determines whether or not the previous action of the care recipient in the N-1th frame is a wake-up state.
- CPU 102 determines that the previous action of the cared person in the (N ⁇ 1) th frame is a wake-up state (YES in step S260)
- CPU 102 switches control to step S262. If not (NO in step S260), CPU 102 switches control to step S270.
- step S262 as the transition control unit 260, the CPU 102 rewrites the care receiver's current action 224 in the Nth frame image to the wake-up state.
- step S270 the CPU 102 determines whether or not the previous action of the cared person in the N-1th frame is a bedridden state.
- CPU 102 determines that the previous action of the cared person in the (N ⁇ 1) th frame is a bedridden state (YES in step S270)
- CPU 102 switches control to step S272. If not (NO in step S270), CPU 102 switches control to step S244.
- step S ⁇ b> 272 the CPU 102 rewrites the care receiver's current action 224 in the N-th frame image as a transitional state as the transition control unit 260.
- FIG. 14 is a block diagram illustrating a main hardware configuration of the behavior detection apparatus 100.
- the behavior detection apparatus 100 includes a ROM (Read Only Memory) 101, a CPU 102, a RAM (Random Access Memory) 103, a network interface 104, a camera interface 105, and a storage device 120. Including.
- ROM 101 stores an operating system, behavior detection program 122 according to the present embodiment, and the like.
- the CPU 102 controls the operation of the behavior detection apparatus 100 by executing various programs such as the operating system and the behavior detection program 122.
- the RAM 103 functions as a working memory and temporarily stores various data necessary for executing the behavior detection program 122.
- the network interface 104 is connected to a communication device such as an antenna or a NIC (Network Interface Card).
- the behavior detection apparatus 100 transmits / receives data to / from other communication terminals via the communication device.
- Other communication terminals include, for example, a camera 50 (see FIG. 1), a portable terminal 200 (see FIG. 1), a server, and other terminals.
- the behavior detection apparatus 100 may be configured to download the behavior detection program 122 from a server via a network.
- the camera interface 105 is an interface for connecting the camera 50 and the behavior detection apparatus 100 with a wired or wireless connection.
- the behavior detection apparatus 100 acquires an image from the camera 50 via the camera interface 105.
- the camera 50 includes, for example, a network camera or other imaging device capable of photographing a subject.
- the camera 50 may be configured integrally with the behavior detection device 100, or may be configured separately from the behavior detection device 100 as illustrated in FIG.
- the storage device 120 is a storage medium such as a hard disk or an external storage device.
- the storage device 120 stores a behavior detection program 122 according to the present embodiment, a state transition table 222 (see FIG. 3), a current behavior 224 (see FIG. 2), notification behavior information 226 (see FIG. 8), and the like. .
- the behavior detection program 122 may be provided as a part of an arbitrary program, not as a single program. In this case, processing according to the present embodiment is realized in cooperation with an arbitrary program. Even such a program that does not include some modules does not depart from the spirit of the behavior detection apparatus 100 according to the present embodiment. Furthermore, part or all of the functions provided by behavior detection program 122 according to the present embodiment may be realized by dedicated hardware. Furthermore, part or all of the functions provided by the behavior detection program 122 may be realized through the cooperation of the behavior detection device 100 and the mobile terminal 200. Furthermore, the behavior detection apparatus 100 may be configured in a form such as a so-called cloud service in which at least one server realizes processing according to the present embodiment.
- the behavior detection system 300 is a notification target when a predetermined invalid condition indicating that the type of behavior of the care recipient is not suitable is satisfied. And the transition relation of the state transition table 222 is updated. This suppresses false alarms that occur in unintended situations and reduces the burden on caregivers.
- the behavior detection system 300 according to the second embodiment can discriminate more types of behavior than the behavior detection system 300 according to the first embodiment.
- FIG. 15 shows the contents of state transition table 222 according to the second embodiment.
- FIG. 16 is a diagram showing the definition of each action state defined in the state transition table 222 according to the second embodiment.
- FIG. 17 is a diagram showing transition conditions from each action state defined in the state transition table 222 according to the second embodiment.
- the state transition table 222 defines transition relationships between a plurality of types of actions.
- the state transition table 222 defines a bed leaving state 222A, a room absent state 222E, a bath occupying state 222F, an abnormal state 222G, and a toilet occupying state 222H as action states. Yes.
- FIG. 16 shows definitions of these action states.
- the action state can transition from the bed leaving state 222A to the room absent state 222E, the bath occupancy state 222F, or the toilet occupancy state 222H.
- the behavioral state can transition from the indoor absence state 222E to the bed leaving state 222A.
- the behavioral state can transition from the bath occupancy state 222F to the bed leaving state 222A or the abnormal state 222G.
- the behavioral state can transition from the abnormal state 222G to the bath occupancy state 222F or the toilet occupancy state 222H.
- the behavioral state can transition from the toilet occupancy state 222H to the bed leaving state 222A or the abnormal state 222G.
- the behavior detection unit 255 (see FIG. 2) identifies the type of behavior that can be transitioned from the current behavior 224 (see FIG. 2) based on the state transition table 222, and uses the identified transitionable behavior as an input image. To detect.
- a bed area, an indoor area, a bath area, and a toilet area are set in advance.
- the bed area, indoor area, bath area, and toilet area may be set manually in advance, or may be automatically detected by an image processing technique such as template matching.
- the behavior detection unit 255 detects the absence of the care receiver in the room.
- the behavior detection unit 255 detects the absence state of the cared person.
- the behavior detection unit 255 detects the bath occupancy state 222F, the abnormal state 222G, or the toilet occupancy state 222H according to the use state of the bath or toilet.
- the action detection unit 255 detects the bath occupancy state 222F when the time in which the position of the care recipient in the image is in the bath area is shorter than a certain time.
- the behavior detection unit 255 detects the care receiver's abnormal state 222G.
- the behavior detection unit 255 detects the toilet occupancy state 222H.
- the behavior detection unit 255 detects the abnormal state 222G of the care receiver.
- FIG. 17 shows transition conditions for transitioning from each behavior state defined in the state transition table 222 to another behavior state. More specifically, the transition condition 23 indicates a transition condition from the bed leaving state 222A to the bath occupancy state 222F.
- the transition condition 24 indicates a transition condition from the bed leaving state 222A to the toilet occupancy state 222H.
- the transition condition 25 indicates a transition condition from the bath occupancy state 222F to the bed leaving state 222A.
- the transition condition 27 indicates a transition condition from the bath occupancy state 222F to the abnormal state 222G.
- the transition condition 28 indicates a transition condition from the abnormal state 222G to the bath occupancy state 222F.
- the transition condition 30 indicates a transition condition from the abnormal state 222G to the toilet occupancy state 222H.
- the transition condition 31 indicates a transition condition from the toilet occupancy state 222H to the abnormal state 222G.
- the transition condition 33 indicates a transition condition from the toilet occupancy state 222H to the bed leaving state 222A.
- the transition condition 34 indicates a transition condition from the initial state where the behavior state is not determined to the bath occupancy state 222F.
- the transition condition 35 indicates a transition condition from the initial state where the behavior state is not determined to the abnormal state 222G.
- the transition condition 36 indicates a transition condition from the initial state where the behavior state is not determined to the toilet occupancy state 222H.
- the transition condition 37 shows a transition condition from the bed leaving state 222A to the room absent state 222E.
- the transition condition 38 indicates a transition condition from the room absent state 222E to the bed leaving state 222A.
- the transition condition 39 indicates a transition condition from the initial state where the behavior state is not determined to the room absent state 222E.
- transition conditions 27 and 31 may be satisfied when the care recipient's bath occupancy state or toilet occupancy state is extremely longer than usual.
- the transition conditions 27 and 31 may be satisfied when bath or toilet water is continuously used for a long time.
- Whether or not the transition conditions 23 and 24 are satisfied may be determined based on the usage status of water or the toilet.
- Whether or not the transition conditions 37 and 38 are satisfied may be determined based on an indoor door opening / closing operation.
- the transition conditions shown in FIG. 17 can be set by the administrator of the behavior detection system 300.
- the behavior detection system 300 can detect more types of behavior compared to the first embodiment. Thereby, the caregiver can grasp
- the behavior detection system includes an acquisition unit for acquiring motion data representing the motion of a subject, a state transition table that defines transition relationships between a plurality of types of behavior, the types of behaviors to be notified, and the subject
- a storage unit for storing the current action type and an action that can be transitioned from the current action based on the state transition table are identified, and the transitionable action is detected based on the operation data
- a transition control unit for updating the current behavior to the new behavior and the new behavior are detected
- the notifying unit for notifying the type of the new action and being not suitable for determining the type of action of the subject Predetermined If the first condition is satisfied, with reducing the number of types of actions of the notification object, and a update unit for updating the transition relation of the state transition table.
- the type of action that can be transitioned is specified based on the updated state transition table while the first condition is satisfied.
- the update unit sets the type of action to be notified to zero when the first condition is satisfied.
- the update unit displays the updated state transition table before the update when a predetermined second condition indicating that it is suitable for determining the type of action of the subject is satisfied. Return to the state transition table.
- the operation data is a video.
- the first condition is that the motion data includes a disturbance, the motion data includes a person other than the subject, the behavior detection system is initialized, and the behavior It is satisfied in at least one of the cases where an error has occurred in the detection system.
- the type of action to be notified includes the wake-up of the subject, the leaving of the subject, the fall of the subject, the fall of the subject, the entrance of the subject, the bedside of the subject, the entrance of the subject, and the subject Including at least one of the exits.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- General Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Nursing (AREA)
- Signal Processing (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
予期しない状況に生じる誤報を軽減することができる行動検知システムを提供する。行動検知システム(300)は、画像を取得する取得部(150)と、複数種類の行動の間の遷移関係を規定している状態遷移表(222)と、報知対象の行動を規定している報知行動情報(226)と、被介護者の現在行動(224)とを格納する記憶部と、状態遷移表(222)に基づいて現在行動(224)から遷移可能な行動を特定し、当該遷移可能な行動を画像から検知する行動検知部(255)と、現在行動(224)を検知された新たな行動に更新する遷移制御部(260)と、当該新たな行動が報知対象の行動であるときに、当該新たな行動の種類を報知する報知部(270)と、被介護者の行動の種類を判別するのに適していないことを示す予め定められた条件が満たされた場合に、報知対象の行動の種類を減らすとともに、状態遷移表(222)の遷移関係を更新する更新部(285)とを備える。
Description
本開示は、人物の行動の種類を判別することが可能な行動検知システム、行動検知装置、行動検知方法、および行動検知プログラムに関する。
画像から人物の行動を判別するための技術がある。この技術は、たとえば、高齢者や患者等の介護を要する被介護者の行動を見守る行動検知システムに応用されている。当該行動検知システムは、被介護者が転倒等を伴う危険な行動(たとえば、起床や離床等)を行ったことを検知し、そのことを介護者に報知する。これにより、介護者は、被介護者の元に駆け付けることができ、被介護者の転倒等を未然に防ぐことができる。
このような行動検知システムに関し、特開2012-170483号公報(特許文献1)は、「簡易な構成により、対象者の状態を高い精度で検知可能な」状態検知装置を開示している。
カメラが光等の外乱を受けた場合やシステム障害が生じている場合等の予期しない状況が行動検知システムに生じている場合には、行動検知システムは、被介護者の行動を誤検知することがある。この場合、介護者への報知の回数が増加し、介護者の負担が増える。したがって、予期しない状況が生じた場合であっても介護者の負担の増加を抑制することが可能な行動検知システムが望まれている。
特許文献1に開示される状態検知装置は、ベッド上の対象者の移動方向と当該対象者の過去の状態とに基づいて、当該対象者の現在の状態を判別している。対象者の移動方向が考慮されることにより、対象者の状態の判別精度が改善される。しかしながら、特許文献1は、予期しない状況が生じた場合における判別処理については開示していない。そのため、予期しない状況が当該状態検知装置に生じた場合には対象者の状態の誤判別が増加する。
本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、予期しない状況に生じる誤報を軽減することが可能な行動検知システムを提供することである。他の局面における目的は、予期しない状況に生じる誤報を軽減することが可能な行動検知装置を提供することである。さらに他の局面における目的は、予期しない状況に生じる誤報を軽減することが可能な行動検知方法を提供することである。さらに他の局面における目的は、予期しない状況に生じる誤報を軽減することが可能な行動検知プログラムを提供することである。
ある局面に従うと、行動検知システムは、被写体の動作を表わす動作データを取得するための取得部と、複数種類の行動の間の遷移関係を規定している状態遷移表と、報知対象の行動の種類と、上記被写体の現在の行動の種類とを格納するための記憶部と、上記状態遷移表に基づいて上記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を上記動作データに基づいて検知するための行動検知部と、上記行動検知部によって新たな行動が検知された場合に、上記現在の行動を上記新たな行動に更新するための遷移制御部と、上記新たな行動が検知された場合であって、当該新たな行動が上記報知対象の行動であるときに、当該新たな行動の種類を報知するための報知部と、上記被写体の行動の種類を判別するのに適していないことを示す予め定められた第1条件が満たされた場合に、上記報知対象の行動の種類を減らすとともに、上記状態遷移表の上記遷移関係を更新するための更新部とを備える。
他の局面に従うと、行動検知システムは、被写体の動作を表わす動作データを取得するための取得部と、複数種類の行動の間の遷移関係を規定している状態遷移表と、上記被写体の現在の行動の種類とを格納するための記憶部と、上記状態遷移表に基づいて上記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を上記動作データに基づいて検知するための行動検知部と、上記行動検知部によって新たな行動が検知された場合に、上記現在の行動を上記新たな行動に更新するための遷移制御部と、上記新たな行動が検知された場合であって、当該新たな行動が予め定められた報知対象の行動であるときに、当該新たな行動の種類を報知するための報知部とを備える。上記報知部は、上記被写体の行動の種類を判別するのに適していないことを示す予め定められた条件が満たされた場合には、上記予め定められた報知対象の行動を報知することを停止する。
さらに他の局面に従うと、行動検知装置は、被写体の動作を表わす動作データを取得するための取得部と、複数種類の行動の間の遷移関係を規定している状態遷移表と、報知対象の行動の種類と、上記被写体の現在の行動の種類とを格納するための記憶部と、上記状態遷移表に基づいて上記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を上記動作データに基づいて検知するための行動検知部と、上記行動検知部によって新たな行動が検知された場合に、上記現在の行動を上記新たな行動に更新するための遷移制御部と、上記新たな行動が検知された場合であって、当該新たな行動が上記報知対象の行動であるときに、当該新たな行動の種類を報知するための報知部と、上記被写体の行動の種類を判別するのに適していないことを示す予め定められた第1条件が満たされた場合に、上記報知対象の行動の種類を減らすとともに、上記状態遷移表の上記遷移関係を更新するための更新部とを備える。
さらに他の局面に従うと、行動検知方法は、被写体の動作を表わす動作データを取得するステップと、複数種類の行動の間の遷移関係を規定している状態遷移表と、報知対象の行動の種類と、上記被写体の現在の行動の種類とを準備するステップと、上記状態遷移表に基づいて上記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を上記動作データに基づいて検知するステップと、上記検知するステップで新たな行動が検知された場合に、上記現在の行動を上記新たな行動に更新するステップと、上記新たな行動が検知された場合であって、当該新たな行動が上記報知対象の行動であるときに、当該新たな行動の種類を報知するステップと、上記被写体の行動の種類を判別するのに適していないことを示す予め定められた第1条件が満たされた場合に、上記報知対象の行動の種類を減らすとともに、上記状態遷移表の上記遷移関係を更新するステップとを備える。
さらに他の局面に従うと、上記行動検知プログラムは、コンピュータに、被写体の動作を表わす動作データを取得するステップと、複数種類の行動の間の遷移関係を規定している状態遷移表と、報知対象の行動の種類と、上記被写体の現在の行動の種類とを準備するステップと、上記状態遷移表に基づいて上記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を上記動作データに基づいて検知するステップと、上記検知するステップで新たな行動が検知された場合に、上記現在の行動を上記新たな行動に更新するステップと、上記新たな行動が検知された場合であって、当該新たな行動が上記報知対象の行動であるときに、当該新たな行動の種類を報知するステップと、上記被写体の行動の種類を判別するのに適していないことを示す予め定められた第1条件が満たされた場合に、上記報知対象の行動の種類を減らすとともに、上記状態遷移表の上記遷移関係を更新するステップとを実行させる。
ある局面において、予期しない状況に生じる誤報を軽減することができる。
本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
<第1の実施の形態>
[行動検知システム300の装置構成]
図1を参照して、行動検知システム300の装置構成について説明する。図1は、行動検知システム300の構成の一例を示す図である。
[行動検知システム300の装置構成]
図1を参照して、行動検知システム300の装置構成について説明する。図1は、行動検知システム300の構成の一例を示す図である。
行動検知システム300は、たとえば、監視対象の人物である被介護者500を見守るために利用され得る。図1に示されるように、行動検知システム300は、カメラ50と、行動検知装置100と、携帯端末200とを含む。カメラ50および行動検知装置100は、ネットワークを介して互いに接続されている。行動検知装置100および携帯端末200は、ネットワークを介して互いに接続されている。
カメラ50は、たとえば、介護施設、医療施設、宅内等に設置される。図1には、カメラ50が被介護者500およびベッド520を天井から撮影している様子が示されている。カメラ50は、天井に取り付けられてもよいし、側壁に取り付けられてもよい。
行動検知装置100は、カメラ50から得られた時系列の画像(すなわち、映像)に基づいて被介護者500の行動を判別する。一例として、行動検知装置100が検知可能な被介護者500の行動は、被介護者500の起床やベッド520からの転落等を含む。
行動検知装置100は、報知対象の行動を検知した場合に、当該行動の種類を示す情報を介護者501用の携帯端末200に送信する。携帯端末200は、報知対象の行動の種類を示す情報を行動検知装置100から受信すると、報知対象の行動が検知されたことを介護者501に報知する。報知方法の一例として、携帯端末200は、行動の種類を示す情報をメッセージとして表示したり、行動の種類を音声で発したりする。これにより、介護者501は、被介護者500の起床や転倒等の行動を把握でき、被介護者500の元に素早く駆け付けることができる。
なお、図1には、行動検知システム300が1つのカメラ50を備えている例が示されているが、行動検知システム300は、複数のカメラ50を備えてもよい。また、図1には、行動検知システム300が1つの行動検知装置100を備えている例が示されているが、行動検知システム300は、複数の行動検知装置100を備えてもよい。さらに、図1には、カメラ50と行動検知装置100とが別個の装置として構成されているが、カメラ50と行動検知装置100とは一体的に構成されてもよい。さらに、図1には、行動検知システム300が複数の携帯端末200を備えている例が示されているが、行動検知システム300は、1つの携帯端末200で構成されてもよい。
[行動検知システム300の行動判別方法]
図2~図11を参照して、行動検知システム300による行動判別方法について説明する。図2は、行動検知システム300による行動検知処理を説明するための図である。
図2~図11を参照して、行動検知システム300による行動判別方法について説明する。図2は、行動検知システム300による行動検知処理を説明するための図である。
図2に示されるように、行動検知システム300は、行動検知装置100と、取得部150とを備える。行動検知装置100は、機能構成として、動体検知部250と、人物判別部252と、行動検知部255と、遷移制御部260と、報知部270と、異常判別部280と、更新部285と、正常判別部290とを含む。行動検知装置100は、データとして、状態遷移表222と、被介護者の現在の行動の種類を表わす現在行動224と、報知対象の行動の種類を規定している報知行動情報226とを記憶している。状態遷移表222、現在行動224、および報知行動情報226は、行動検知装置100の記憶装置120(図14参照)等に格納されている。
以下では、取得部150、動体検知部250、人物判別部252、行動検知部255、遷移制御部260、報知部270、異常判別部280、更新部285、および正常判別部290について順に説明する。
(取得部150)
取得部150は、被介護者の動作を表わす動作データを取得する。一例として、取得部150は、図1に示されるカメラ50である。取得部150は、動作データとして、被介護者を撮影して得られる画像を生成し、時系列の順に画像を動体検知部250に出力する。
取得部150は、被介護者の動作を表わす動作データを取得する。一例として、取得部150は、図1に示されるカメラ50である。取得部150は、動作データとして、被介護者を撮影して得られる画像を生成し、時系列の順に画像を動体検知部250に出力する。
以下では、取得部150がカメラ50であり、動作データが時系列の画像(すなわち、映像)である例について説明を行うが、取得部150はカメラ50に限定されず、動作データは映像に限定されない。取得部150は、被介護者の動作の時間的な変化を示すデータを取得することが可能な装置であればよい。たとえば、取得部150は、ベッドの下に配置された感圧マット、TOF(Time Of Flight)形式の距離センサ、加速度センサ、マイクロ波センサ等であってもよい。感圧マットは、圧力値を動作データとして出力する。距離センサは、距離画像を動作データとして出力する。加速度センサは、加速度を動作データとして出力する。マイクロ波センサは、自身から被介護者までの距離を動作データとして出力する。
(動体検知部250)
動体検知部250は、取得部150から得られる時系列の画像から動体を検知する。一例として、画像内の動体領域は、入力画像から予め定められた背景画像を差分する背景差分や、撮影時刻が前後である画像を差分する時間差分によって実現される。
動体検知部250は、取得部150から得られる時系列の画像から動体を検知する。一例として、画像内の動体領域は、入力画像から予め定められた背景画像を差分する背景差分や、撮影時刻が前後である画像を差分する時間差分によって実現される。
動体検知部250は、画像内の動体領域を人物判別部252に出力するとともに、動体領域以外の背景領域を異常判別部280に出力する。
(人物判別部252)
人物判別部252は、検知された動体領域が人物を表わしているか否かを判断する。ある局面において、人物判別部252は、当該動体領域のサイズが予め定められた範囲に含まれる場合に、当該動体領域が人物を表わしていると判断する。他の局面において、人物判別部252は、当該動体領域の縦横比が予め定められた範囲に含まれる場合に、当該動体領域が人物を表わしていると判断する。さらに他の局面において、人物判別部252は、当該動体領域において顔検知を実行し、顔が検知された場合に当該動体領域が人物を表わしていると判断する。
人物判別部252は、検知された動体領域が人物を表わしているか否かを判断する。ある局面において、人物判別部252は、当該動体領域のサイズが予め定められた範囲に含まれる場合に、当該動体領域が人物を表わしていると判断する。他の局面において、人物判別部252は、当該動体領域の縦横比が予め定められた範囲に含まれる場合に、当該動体領域が人物を表わしていると判断する。さらに他の局面において、人物判別部252は、当該動体領域において顔検知を実行し、顔が検知された場合に当該動体領域が人物を表わしていると判断する。
次に、人物判別部252は、検知された人物領域が予め登録されている被介護者を表わしているか否かを判別する。一例として、行動検知システム300は、被介護者を撮影して得られた画像から特徴量を抽出し、当該特徴量をテンプレートとして予め保持しておく。人物判別部252は、当該テンプレートと、検知された人物領域から抽出された特徴量との間の類似度を算出する。人物判別部252は、当該類似度が所定値以上である場合に、検知された人物領域が予め登録されている被介護者を表わしていると判別する。
なお、監視対象の部屋に被介護者以外の人物が存在しないことが予め分かっている場合や監視領域がベッド領域に限られている場合等には、人物判別部252は、人物を判別する必要はない。
(行動検知部255)
図3~図6を参照して、行動検知部255による行動判別処理について説明する。図3は、状態遷移表222の内容を示す図である。図4は、被介護者500の行動の一例を示す図である。図5は、状態遷移表222に規定されている各行動状態の定義を示す図である。図6は、変形例に従う行動判別処理を概略的に示す概念図である。
図3~図6を参照して、行動検知部255による行動判別処理について説明する。図3は、状態遷移表222の内容を示す図である。図4は、被介護者500の行動の一例を示す図である。図5は、状態遷移表222に規定されている各行動状態の定義を示す図である。図6は、変形例に従う行動判別処理を概略的に示す概念図である。
行動検知部255は、状態遷移表222に基づいて現在行動224から遷移可能な行動を特定し、当該遷移可能な行動を動作データに基づいて検知する。すなわち、行動検知部255は、現在行動224から遷移可能な行動を判別対象の行動とする。
状態遷移表222には、複数種類の行動の間の遷移関係が規定されている。図3の例では、状態遷移表222には、行動状態として、離床状態222Aと、起床状態222Bと、臥床状態222Cと、転倒転落状態222Dとが規定されている。図4には、被介護者500の行動状態の一例が示されている。図5には、離床状態222A、起床状態222B、臥床状態222C、および転倒転落状態222Dの定義が示されている。
図3および図4に示されるように、行動状態は、離床状態222Aからは、起床状態222Bまたは転倒転落状態222Dに遷移することができる。行動状態は、起床状態222Bからは、離床状態222A、臥床状態222C、または転倒転落状態222Dに遷移することができる。行動状態は、臥床状態222Cからは、離床状態222A、起床状態222B、または転倒転落状態222Dに遷移することができる。行動状態は、転倒転落状態222Dからは、離床状態222Aまたは起床状態222Bに遷移することができる。
行動検知部255は、状態遷移表222に基づいて、現在行動224から遷移可能な行動の種類を特定し、取得部150から得られる画像に基づいて特定された遷移可能な行動を検知する。行動検知部255によって判別され得る行動は、たとえば、被介護者の起床、被介護者の離床、被介護者の臥床、および被介護者の転倒転落の少なくとも1つを含む。
一例として、行動検知部255は、画像内における被介護者の位置と、被介護者の動作に関する情報(たとえば、移動方向やと所定時間内の移動量)と、被介護者の姿勢との少なくとも1つに基づいて、被介護者の行動の種類を判別する。
より具体的な行動検知方法について説明する。画像内にはベッド領域が予め設定されている。当該ベッド領域は、手動で予め設定されてもよいし、テンプレートマッチング等の画像処理技術で自動的に検知されてもよい。画像内における被介護者の一部領域がベッド領域に重なっている場合に、行動検知部255は、被介護者の起床を検知する。画像内における被介護者の位置がベッド領域に含まれていない場合に、行動検知部255は、被介護者の離床を検知する。画像内における被介護者の位置がベッド領域に含まれており、かつ移動量が所定量以下である場合に、行動検知部255は、被介護者の臥床を検知する。画像内における被介護者の位置がベッド領域に含まれておらず、かつ移動量が所定量以上である場合に、行動検知部255は、被介護者の転倒転落を検知する。
行動検知の具体例として、現在行動224が離床状態222Aを示しているとする。この場合、行動検知部255は、状態遷移表222を参照して、離床状態222Aから遷移可能な起床状態222Bおよび転倒転落状態222Dを検知対象の行動とする。行動検知部255は、取得部150から得られた画像に基づいて被験者の起床または転倒転落を検知する。
なお、上述の例には、行動検知部255が現在行動224に基づいて判別対象の行動を特定しているが、図6に示されるように、行動検知部255は、前回行動をさらに用いて判別対象の行動を特定してもよい。すなわち、行動検知部255は、状態遷移表222に基づいて前回行動および現在行動224から遷移可能な行動を特定し、当該行動を判別対象の行動とする。
一例として、N-1フレーム目の画像において、行動検知部255は、状態遷移表222に基づいて、N-3フレーム目の画像で検知された行動とN-2フレーム目の画像で検知された行動とから遷移可能な行動を判別対象とする。行動検知部255は、検知された動体領域の画像情報に基づいて、判別対象の行動が生じているか否か判断する。行動検知部255は、検知した行動の種類を報知部270に出力するとともに、N-1フレーム目の画像で検知された行動を現在行動224として、N-2フレーム目の画像で検知された行動を前回行動として、次のNフレーム目の画像における行動検知に備える。
同様に、Nフレーム目の画像において、行動検知部255は、状態遷移表222に基づいて、前回行動と現在行動224とから遷移可能な行動を判別対象とする。行動検知部255は、検知された動体領域の画像情報に基づいて、判別対象の行動が生じているか否か判断する。行動検知部255は、検知した行動の種類を報知部270に出力するとともに、Nフレーム目の画像で検知された行動を現在行動224として、N-1フレーム目の画像で検知された行動を前回行動として、次のN+1フレーム目の画像における行動検知に備える。
(遷移制御部260)
遷移制御部260は、行動検知部255によって新たな行動が検知された場合に、現在行動224を新たな行動に更新する。これにより、遷移制御部260は、現在行動224を次状態へ遷移させる。
遷移制御部260は、行動検知部255によって新たな行動が検知された場合に、現在行動224を新たな行動に更新する。これにより、遷移制御部260は、現在行動224を次状態へ遷移させる。
現在行動224の更新方法として、遷移制御部260は、現在行動224を新たに検知された行動で書き換えてもよいし、新たに検知された行動を履歴情報として現在行動224に順次追加してもよい。
図7は、状態遷移表222に規定されている各行動状態からの遷移条件を示す図である。より具体的には、遷移条件6には、転倒転落状態222Dから起床状態222Bへの遷移条件が示されている。遷移条件7には、転倒転落状態222Dから離床状態222Aへの遷移条件が示されている。遷移条件8には、離床状態222Aから転倒転落状態222Dへの遷移条件が示されている。遷移条件10には、離床状態222Aから起床状態222Bへの遷移条件が示されている。遷移条件11には、起床状態222Bから離床状態222Aへの遷移条件が示されている。遷移条件12には、起床状態222Bから転倒転落状態222Dへの遷移条件が示されている。遷移条件13には、起床状態222Bから臥床状態222Cへの遷移条件が示されている。遷移条件15には、行動状態が判別されていない初期状態から起床状態222Bへの遷移条件が示されている。遷移条件16には、初期状態から離床状態222Aへの遷移条件が示されている。遷移条件17には、初期状態から転倒転落状態222Dへの遷移条件が示されている。遷移条件18には、初期状態から臥床状態222Cへの遷移条件が示されている。遷移条件20には、臥床状態222Cから起床状態222Bへの遷移条件が示されている。遷移条件21には、臥床状態222Cから離床状態222Aへの遷移条件が示されている。遷移条件22には、臥床状態222Cから転倒転落状態222Dへの遷移条件が示されている。
なお、図7に示される遷移条件には、他の条件が規定されてもよい。たとえば、カメラの代わりに振動センサが行動検知に用いられる場合、遷移条件10,11が満たされたか否かが振動センサからの出力に応じて判断される。他にも、温度センサや距離センサが行動検知に用いられる場合、遷移条件20が満たされたか否かが温度センサや距離センサからの出力に応じて判断される。
(報知部270)
図8を参照して、報知部270による報知処理について説明する。図8は、報知行動情報226の内容を示す図である。
図8を参照して、報知部270による報知処理について説明する。図8は、報知行動情報226の内容を示す図である。
報知部270は、行動検知部255によって新たな行動が検知された場合であって、当該新たな行動が報知対象の行動であるときに、当該新たな行動の種類を報知する。報知対象であるか否かは、たとえば、報知行動情報226に予め規定されている。
図8に示されるように、報知行動情報226において、行動の種類別に報知対象であるか否かが示される。図8の例では、離床状態222A、起床状態222B、および転倒転落状態222Dは報知対象として規定されている。臥床状態222Cは非報知対象として規定されている。
行動検知部255によって新たな行動が検知された場合に、報知行動情報226を参照する。当該新たな行動が報知対象であることが報知行動情報226において規定されている場合には、報知行動情報226は、当該新たな行動の内容を介護者に報知する。
報知方法の一例として、報知部270は、行動の種類を示す情報をメッセージとして介護者の携帯端末200(図1参照)に表示させる。あるいは、報知部270は、介護者の携帯端末200に行動の種類を音声で出力させる。
報知対象となり得る行動の種類は、たとえば、被介護者の起床、被介護者の離床、被介護者の転落、被介護者の転倒、被介護者の入床、被介護者の臥床、被介護者の入室、被介護者の退室の少なくとも1つを含む。一例として、被介護者が入室する対象は、被介護者の部屋、トイレ、風呂の少なくとも1つを含む。被介護者が退室する対象は、被介護者の部屋、トイレ、風呂の少なくとも1つを含む。
報知対象の行動は、行動検知システム300の管理者によって任意に設定されてもよい。なお、好ましくは、報知対象の行動は、図7に示される遷移条件ごとに設定される。これにより、管理者は、たとえば、遷移条件20が満たされた場合に起床を報知し、遷移条件10が満たされた場合に起床を報知しないように設定することができる。
また、対象行動の報知は、遷移条件が満たされたときに必ず行われるわけではない。たとえば、無効条件が満たされた場合には、報知部270は、予め定められた報知対象の行動を報知することを停止してもよく、この場合には、遷移条件が満たされたとしても、対象行動の報知は行われない。
(異常判別部280)
図9を参照して、異常判別部280による異常判別処理について説明する。図9は、被介護者500の部屋を撮影して得られる映像の一例を示す図である。
図9を参照して、異常判別部280による異常判別処理について説明する。図9は、被介護者500の部屋を撮影して得られる映像の一例を示す図である。
カメラが光等の外乱を受けた場合や行動検知システム300に障害が生じている場合等の予期しない状況が生じている場合には、被介護者500の行動を誤検知する可能性が高くなる。異常判別部280は、予期しない状況が発生しているか否かを判別するために、被介護者500の行動の種類を判別するのに適していないことを示す予め定められた条件(以下、「無効条件」ともいう。)が満たされたか否かを判別する。無効条件が満たされた場合は、後述するように、更新部285は、状態遷移表222(図3参照)および報知行動情報226(図8参照)を更新し、報知対象の行動の種類が減らされる。これにより、予期しない状況に生じる誤報が軽減される。
予期しない状況として、たとえば、図9に示されるように、画像内に映るカーテン505や仕切り506等の障害物が動かされた場合が挙げられる。他にも、部屋の照明が点灯または消灯された場合等、カメラが光の影響を受けた場合が挙げられる。これらの外乱は、動体として検知されてしまい、被介護者500の行動を誤検知する要因となる。したがって、無効条件は、画像に外乱が生じている場合に満たされる。
外乱が生じている場合には、画像内の被介護者以外の背景を含む領域(以下、「背景領域」ともいう。)における画素値の変化が大きくなる。そのため、異常判別部280は、背景領域における画像情報を用いて外乱が生じているか否かを判別する。一例として、異常判別部280は、背景領域における画素値の変化量が所定量よりも大きい場合に、画像内に外乱が生じていると判別し、無効条件が満たされたと判別する。
予期しない状況の他の例として、被介護者500の部屋に介護者等の他の人物(たとえば、人物503,504)が存在する場合が挙げられる。他の人物が部屋に存在する場合には、被介護者500の行動が監視される必要性が低い。そのため、異常判別部280は、人物判別部252(図2参照)によって画像内に被介護者500以外の人物が検知された場合に、無効条件が満たされたと判別する。無効条件が満たされたか否かは、このように、画像内に被介護者500以外の人物が含まれるか否かに基づいて判別されてもよいし、上述のように、背景領域における画像情報に基づいて判別されてもよい。
予期しない状況のさらに他の例として、行動検知システム300が管理者によって初期化(リセット)される場合が挙げられる。他にも、行動検知システム300のネットワーク障害やその他のエラーが生じている場合が挙げられる。これらの場合には、現在行動224が取得され得ず、行動検知システム300が被介護者の行動を正確に判別できない可能性がある。そのため、異常判別部280は、行動検知システム300が初期化された場合、または、行動検知システム300にエラーが生じている場合に、無効条件が満たされたと判別する。
以上のように、無効条件は、画像に外乱が生じている場合、画像に被介護者500以外の人物が含まれている場合、行動検知システム300が初期化された場合、および行動検知システム300にエラーが生じている場合の少なくとも1つの場合に満たされる。
(更新部285)
更新部285は、無効条件が満たされた場合に、報知行動情報226(図8参照)に規定されている報知対象の行動の種類を通常時よりも減らすとともに、状態遷移表222(図3参照)の遷移関係を更新する。一例として、更新部285は、無効条件が満たされた場合に、報知対象の行動の少なくとも一部に遷移しないように状態遷移表222を更新する。更新後の状態遷移表は、たとえば、行動検知システム300の記憶装置に予め保持されている。無効条件が満たされた場合に、報知対象の行動の種類が減らされることで、誤検知が生じた場合であっても介護者への誤報が抑制される。その結果、介護者の負担が軽減される。
更新部285は、無効条件が満たされた場合に、報知行動情報226(図8参照)に規定されている報知対象の行動の種類を通常時よりも減らすとともに、状態遷移表222(図3参照)の遷移関係を更新する。一例として、更新部285は、無効条件が満たされた場合に、報知対象の行動の少なくとも一部に遷移しないように状態遷移表222を更新する。更新後の状態遷移表は、たとえば、行動検知システム300の記憶装置に予め保持されている。無効条件が満たされた場合に、報知対象の行動の種類が減らされることで、誤検知が生じた場合であっても介護者への誤報が抑制される。その結果、介護者の負担が軽減される。
好ましくは、更新部285は、報知行動情報226に規定されている報知対象の行動の種類をゼロにする。これにより、行動検知システム300は、予期しない状況が生じているときに生じる誤報を確実に阻止することができる。なお、報知が停止されている間、状態遷移表222における状態遷移は実行されていてもよい。
現在行動224(図2参照)から遷移可能な行動の種類は、異常条件が満たされている間は、更新後の状態遷移表に基づいて特定される。これにより、報知対象の行動が検知されることが少なくなるので、誤報が抑制される。
状態遷移表222の更新方法として、更新部285は、予期しない状況に備えて予め準備されている更新情報に従って状態遷移表222を書き換えてもよいし、予期しない状況に備えて予め準備されている状態遷移表で状態遷移表222を置き換えてもよい。
なお、無効条件が満たされた場合に、状態遷移表222における遷移自体が停止されてもよい。これにより、報知対象の行動が検知されることがなくなるので、誤報が抑制される。
(正常判別部290)
図10および図11を参照して、正常判別部290による正常判別処理について説明する。図10は、介護者501が被介護者500を介護している様子を示す図である。図11は、異常条件が満たされなくなった場合における状態遷移例を示す図である。
図10および図11を参照して、正常判別部290による正常判別処理について説明する。図10は、介護者501が被介護者500を介護している様子を示す図である。図11は、異常条件が満たされなくなった場合における状態遷移例を示す図である。
上述したように、被介護者の行動の種類を判別するのに適していないことを示す無効条件が満たされている場合には、介護者への報知が抑制される。その後、正常判別部290は、無効条件が解消されたか否かを判断する。すなわち、正常判別部290は、被介護者の行動の種類を判別するのに適していることを示す正常条件が満たされたか否かを判別する。正常条件が満たされた場合には、更新部285は、報知を抑制するように更新されている状態遷移表222を更新前の状態遷移表222に戻すとともに、報知対象の行動の種類を元の状態に戻す。
正常条件は、無効条件と反対の条件であってもよいし、無効条件とは関連しない条件であってもよい。正常条件が無効条件と反対の条件である場合には、無効条件が満たされなくなったときに正常条件が満たされる。
上述したように、無効条件が満たされている場合には、行動検知システム300は、状態遷移表222における遷移を停止するように制御する場合がある。正常条件が満たされて状態遷移が再度開始された場合には、状態遷移の停止前と再開後とで被介護者500の行動状態が異なることがある。その例が図10に示されている。
ステップ(1)において、被介護者500のみが室内に存在する。ステップ(1)においては、正常条件が満たされている。
ステップ(2)において、介護者501が入室したとする。上述したように、室内に被介護者500以外の人物が存在する場合には、異常条件が満たされる。行動検知システム300は、状態遷移を停止させることで報知を抑制する。
ステップ(3)において、介護者501は、被介護者500がベッド520から起床することを補助している。このときにも、複数人の人物が室内にいるので、異常条件は、継続して満たされている。
ステップ(4)において、介護者501は、被介護者500がソファーに座ることを補助している。このときにも、複数人の人物が室内にいるので、異常条件は、継続して満たされている。
ステップ(5)において、介護者501は部屋から退出したとする。被介護者500のみが室内に存在するので、異常条件が解消される。これにより、正常条件が満たされる。その結果、行動検知システム300は、状態遷移を再開するし、報知の抑制を解除する。
図10に示されるように、状態遷移の停止前と再開後とでは、被介護者500の行動状態が変わっている。そのため、状態遷移の停止前における行動状態が、状態遷移の再開後において現在行動224(図2参照)として用いられると、行動検知部255(図2参照)は、被介護者500の行動を誤検知してしまう可能性がある。そのため、行動検知部255は、状態遷移が再開されたときに、被介護者500の行動を検知し、検知した行動で現在行動224を書き換える。
図11に示されるように、行動状態Bが検知された場合に、異常条件が満たされている。これにより、行動状態Aから行動状態Bへの遷移が停止される。その後、異常条件が満たされなくなったことにより、行動検知システム300は、状態遷移を再開する。このとき、行動検知部255は、被介護者500の行動を検知し、検知した行動から状態遷移を再開する。すなわち、行動状態Aから状態遷移が再開される場合もあるし、行動状態Bから状態遷移が再開される場合もあるし、別の行動状態Cから状態遷移が再開される場合もある。
これにより、状態遷移の停止と再開後とで被介護者の位置や姿勢が異なっていたとしても、行動検知システム300は、状態遷移の再開後において、被介護者の行動を正確に検知することができる。
[行動検知システム300の制御構造]
図12および図13を参照して、行動検知システム300の制御構造について説明する。図12は、正常条件が満たされているときの行動検知システム300の処理を表わすフローチャートである。図13は、無効条件が満たされているときの行動検知システム300の処理を表わすフローチャートである。図12および図13の処理は、行動検知システム300のCPU102(図14参照)がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
図12および図13を参照して、行動検知システム300の制御構造について説明する。図12は、正常条件が満たされているときの行動検知システム300の処理を表わすフローチャートである。図13は、無効条件が満たされているときの行動検知システム300の処理を表わすフローチャートである。図12および図13の処理は、行動検知システム300のCPU102(図14参照)がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
ステップS110において、CPU102は、異常判別部280(図2参照)として、室内に被介護者のみが存在するか否かを判断する。CPU102は、室内に被介護者のみが存在すると判断した場合(ステップS110においてYES)、正常条件が満たされていると判断し、制御をステップS120に切り替える。そうでない場合には(ステップS110においてNO)、CPU102は、無効条件が満たされていると判断し、制御をステップS112に切り替える。
ステップS112において、CPU102は、更新部285(図2参照)として、状態遷移表222(図3参照)における状態遷移を停止する。
ステップS120において、CPU102は、N-1フレーム目の画像における被介護者の現在行動224が転倒転落状態であるか否かを判断する。CPU102は、被介護者の現在行動224が転倒転落状態であると判断した場合(ステップS120においてYES)、制御をステップS122に切り替える。そうでない場合には(ステップS120においてNO)、CPU102は、制御をステップS130に切り替える。
ステップS122において、CPU102は、転倒転落状態が終了したか否かを判断する。CPU102は、転倒転落状態が終了したと判断した場合(ステップS122においてYES)、制御をステップS124に切り替える。そうでない場合には(ステップS122においてNO)、CPU102は、制御をステップS110に戻す。
ステップS124において、CPU102は、遷移制御部260(図2参照)として、Nフレーム目の画像における被介護者の現在行動224を離床状態に書き換える。
ステップS130において、CPU102は、行動検知部255(図2参照)として、被介護者が転倒したか否かを判断する。CPU102は、被介護者が転倒したと判断した場合(ステップS130においてYES)、制御をステップS132に切り替える。そうでない場合には(ステップS130においてNO)、CPU102は、制御をステップS140に切り替える。
ステップS132において、CPU102は、報知部270(図2参照)として、被介護者が転倒転落していることを介護者の携帯端末200(図1参照)に報知させる。
ステップS134において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を転倒転落状態に書き換える。
ステップS140において、CPU102は、遷移制御部260として、状態遷移表222における状態遷移が停止中であるか否かを判断する。CPU102は、状態遷移表222における状態遷移が停止中であると判断した場合(ステップS140においてYES)、制御をステップS142に切り替える。そうでない場合には(ステップS140においてNO)、CPU102は、制御をステップS150に切り替える。
ステップS142において、CPU102は、状態遷移表222における状態遷移の停止を継続するか否かを判断する。当該判断は、たとえば、以下の(a)~(e)の情報の少なくとも1つに基づいて判断される。
(a)前回行動の種類
(b)被介護者の現在行動の種類
(c)画像に外乱が生じているか否か
(d)カメラ以外の他のセンサから判断した被介護者の行動検知結果
(e)行動検知システム300への入力(たとえば、管理者の入力または他の行動検知システムの出力等)
ステップS142における判断処理により、状態遷移の停止を継続するか、状態遷移の停止前の行動状態に現在行動224を戻すか、状態遷移の停止前の行動状態とは異なる行動状態に現在行動224を設定するかのいずれかが決定される。その後、図12の処理が再び実行される。ステップS142の判断処理の詳細については後述する(図13参照)。
(b)被介護者の現在行動の種類
(c)画像に外乱が生じているか否か
(d)カメラ以外の他のセンサから判断した被介護者の行動検知結果
(e)行動検知システム300への入力(たとえば、管理者の入力または他の行動検知システムの出力等)
ステップS142における判断処理により、状態遷移の停止を継続するか、状態遷移の停止前の行動状態に現在行動224を戻すか、状態遷移の停止前の行動状態とは異なる行動状態に現在行動224を設定するかのいずれかが決定される。その後、図12の処理が再び実行される。ステップS142の判断処理の詳細については後述する(図13参照)。
ステップS150において、CPU102は、N-1フレーム目の画像における被介護者の現在行動224が離床状態を示しているか否かを判断する。CPU102は、被介護者の現在行動224が離床状態を示していると判断した場合(ステップS150においてYES)、制御をステップS152に切り替える。そうでない場合には(ステップS150においてNO)、CPU102は、制御をステップS160に切り替える。
ステップS152において、CPU102は、被介護者が入床したか否かを判断する。CPU102は、被介護者が入床したと判断した場合(ステップS152においてYES)、制御をステップS154に切り替える。そうでない場合には(ステップS152においてNO)、CPU102は、制御をステップS110に戻す。
ステップS154において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を起床状態に書き換える。
ステップS160において、CPU102は、N-1フレーム目の画像における被介護者の現在行動224が起床状態であるか否かを判断する。CPU102は、N-1フレーム目の画像における被介護者の現在行動224が起床状態であると判断した場合(ステップS160においてYES)、制御をステップS162に切り替える。そうでない場合には(ステップS160においてNO)、CPU102は、制御をステップS190に切り替える。
ステップS162において、CPU102は、被介護者が臥床したか否かを判断する。CPU102は、被介護者が臥床したと判断した場合(ステップS162においてYES)、制御をステップS163に切り替える。そうでない場合には(ステップS162においてNO)、CPU102は、制御をステップS164に切り替える。
ステップS163において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を臥床状態に書き換える。
ステップS164において、CPU102は、離床条件が満たされたか否かを判断する。一例として、画像内における被介護者の位置が予め設定されているベッド領域外である場合に、離床条件が満たされる。CPU102は、離床条件が満たされたと判断した場合(ステップS164においてYES)、制御をステップS170に切り替える。そうでない場合には(ステップS164においてNO)、CPU102は、制御をステップS110に戻す。
ステップS170において、CPU102は、画像内において外乱を検知したか否かを判断する。CPU102は、画像内において外乱を検知したと判断した場合(ステップS170においてYES)、制御をステップS172に切り替える。そうでない場合には(ステップS170においてNO)、CPU102は、制御をステップS174に切り替える。
ステップS172において、CPU102は、遷移制御部260として、状態遷移表222における状態遷移を停止する。すなわち、CPU102は、画像内において外乱を検知した場合に、状態遷移を停止する。
ステップS174において、CPU102は、報知部270として、被介護者が離床していることを介護者の携帯端末200に報知させる。外乱の影響がなく、被介護者がベッドから離れた場合のみ、状態遷移が離床状態に遷移し、被介護者の離床が報知される。
ステップS176において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を離床状態に書き換える。
ステップS190において、CPU102は、N-1フレーム目の画像における被介護者の現在行動224が臥床状態であるか否かを判断する。CPU102は、N-1フレーム目の画像における被介護者の現在行動224が臥床状態であると判断した場合(ステップS190においてYES)、制御をステップS194に切り替える。そうでない場合には(ステップS190おいてNO)、CPU102は、制御をステップS192に切り替える。
ステップS192において、CPU102は、遷移制御部260として、状態遷移表222における状態遷移を停止する。
ステップS194において、CPU102は、被介護者が起床したか否かを判断する。CPU102は、被介護者が起床したと判断した場合(ステップS194においてYES)、制御をステップS196に切り替える。そうでない場合には(ステップS194においてNO)、CPU102は、制御をステップS164に切り替える。
ステップS196において、CPU102は、報知部270として、被介護者が起床したことを介護者の携帯端末200に報知させる。
ステップS198において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を起床状態に書き換える。
次に、図13を参照して、無効条件が満たされているときの行動検知システム300の処理について説明する。
ステップS210において、CPU102は、被介護者が転倒転落したか否かを判断する。CPU102は、被介護者が転倒転落したと判断した場合(ステップS210においてYES)、制御をステップS212に切り替える。そうでない場合には(ステップS210においてNO)、CPU102は、制御をステップS220に切り替える。
ステップS212において、CPU102は、報知部270として、被介護者が転倒転落していることを介護者の携帯端末200に報知させる。
ステップS214において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を転倒転落状態に書き換える。
ステップS220において、CPU102は、正常条件が満たされたか否かを判断する。CPU102は、正常条件が満たされたと判断した場合(ステップS220においてYES)、制御をステップS230に切り替える。そうでない場合には(ステップS220においてNO)、CPU102は、図13に示される行動判別処理を終了する。
正常条件が解消される場合の一例として、行動検知システム300のリセット状態が解消される場合が挙げられる。この場合には、現在行動224もリセットされている可能性があり、被介護者の次回の行動が検知され得ない。そのため、行動検知システム300のリセットが解消された場合であって、正常条件が満たされたときには、CPU102は、被介護者の行動を検知し、当該行動を現在行動224に設定した上で、図12の処理を再開する。
処理再開時における現在行動224の検知方法として、CPU102は、画像内の被介護者の位置がベッド外にある場合に、被介護者の離床状態を検知する。なお、CPU102は、カメラの代わりに距離センサを用いて被介護者の行動状態を検知してもよい。ある局面において、距離センサは、ベッドに設置され、ベッドから周囲の物体までの距離を検知する。CPU102は、当該距離が所定値以上変化した場合に、被介護者を検知する。他の局面において、距離センサは、ベッド上の壁面に設けられる。CPU102は、距離センサによる検知結果に基づいて、ベッド上の人物の厚みを検知し、当該厚みに基づいて被介護者の臥床または起床を判別してもよい。
また、CPU102は、カメラの代わりにマット状の重力センサを用いて被介護者の行動状態を検知してもよい。より具体的には、重力センサは、ベッド領域とその周辺領域に跨るように設けられている。重力がベッド領域内とベッド領域外との両方で検知された場合に、CPU102は、被介護者の起床を検知する。重力がベッド領域内でのみ検知された場合に、CPU102は、被介護者の臥床状態を検知する。
ステップS230において、CPU102は、状態遷移表222における状態遷移が外乱により停止中であるか否かを判断する。CPU102は、状態遷移表222における状態遷移が外乱により停止中であると判断した場合(ステップS230においてYES)、制御をステップS260に切り替える。そうでない場合には(ステップS230においてNO)、CPU102は、制御をステップS232に切り替える。
ステップS232において、CPU102は、画像内における被介護者の位置がベッド外であるか否かを判断する。CPU102は、画像内における被介護者の位置がベッド外であると判断した場合(ステップS232においてYES)、制御をステップS234に切り替える。そうでない場合には(ステップS232においてNO)、CPU102は、制御をステップS240に切り替える。
ステップS234において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を起床状態に書き換える。
ステップS240において、CPU102は、画像内における被介護者の位置がベッド内であるか否かを判断する。CPU102は、画像内における被介護者の位置がベッド内であると判断した場合(ステップS240においてYES)、制御をステップS244に切り替える。そうでない場合には(ステップS240においてNO)、CPU102は、制御をステップS242に切り替える。
ステップS242において、CPU102は、状態遷移表222における状態遷移の停止を継続する。すなわち、CPU102は、図13に示される行動判別処理を再び実行する。
ステップS244において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を起床状態に書き換える。
ステップS250において、CPU102は、被介護者が臥床しているか否かを判断する。CPU102は、被介護者が臥床していると判断した場合(ステップS250においてYES)、制御をステップS254に切り替える。そうでない場合には(ステップS250においてNO)、CPU102は、制御をステップS252に切り替える。
ステップS252において、CPU102は、ステップS250の処理が実行されてから一定時間が経過したか否かを判断する。CPU102は、ステップS250の処理が実行されてから一定時間が経過したと判断した場合(ステップS252においてYES)、図13に示される行動判別処理を再び実行する。そうでない場合には(ステップS252においてNO)、CPU102は、ステップS250の処理を再び実行する。
ステップS254において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を臥床状態に書き換える。
ステップS260において、CPU102は、N-1フレーム目における被介護者の前回行動が起床状態であるか否かを判断する。CPU102は、N-1フレーム目における被介護者の前回行動が起床状態であると判断した場合(ステップS260においてYES)、制御をステップS262に切り替える。そうでない場合には(ステップS260においてNO)、CPU102は、制御をステップS270に切り替える。
ステップS262において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を起床状態に書き換える。
ステップS270において、CPU102は、N-1フレーム目における被介護者の前回行動が臥床状態であるか否かを判断する。CPU102は、N-1フレーム目における被介護者の前回行動が臥床状態であると判断した場合(ステップS270においてYES)、制御をステップS272に切り替える。そうでない場合には(ステップS270においてNO)、CPU102は、制御をステップS244に切り替える。
ステップS272において、CPU102は、遷移制御部260として、Nフレーム目の画像における被介護者の現在行動224を臥床状態に書き換える。
[行動検知装置100のハードウェア構成]
図14を参照して、図1に示される行動検知装置100のハードウェア構成の一例について説明する。図14は、行動検知装置100の主要なハードウェア構成を示すブロック図である。図14に示されるように、行動検知装置100は、ROM(Read Only Memory)101と、CPU102と、RAM(Random Access Memory)103と、ネットワークインターフェイス104と、カメラインターフェイス105と、記憶装置120とを含む。
図14を参照して、図1に示される行動検知装置100のハードウェア構成の一例について説明する。図14は、行動検知装置100の主要なハードウェア構成を示すブロック図である。図14に示されるように、行動検知装置100は、ROM(Read Only Memory)101と、CPU102と、RAM(Random Access Memory)103と、ネットワークインターフェイス104と、カメラインターフェイス105と、記憶装置120とを含む。
ROM101は、オペレーティングシステム、本実施の形態に従う行動検知プログラム122等を格納する。CPU102は、オペレーティングシステムや行動検知プログラム122等の各種プログラムを実行することで、行動検知装置100の動作を制御する。RAM103は、ワーキングメモリとして機能し、行動検知プログラム122の実行に必要な各種データを一時的に格納する。
ネットワークインターフェイス104には、アンテナやNIC(Network Interface Card)等の通信機器が接続される。行動検知装置100は、当該通信機器を介して、他の通信端末との間でデータを送受信する。他の通信端末は、たとえば、カメラ50(図1参照)、携帯端末200(図1参照)、サーバー、その他の端末等を含む。行動検知装置100は、ネットワークを介して行動検知プログラム122をサーバーからダウンロードできるように構成されてもよい。
カメラインターフェイス105は、カメラ50と行動検知装置100とを有線または無線で接続するためのインタフェースである。行動検知装置100は、カメラインターフェイス105を介してカメラ50から画像を取得する。カメラ50は、たとえば、ネットワークカメラまたは被写体を撮影することが可能なその他の撮像装置を含む。カメラ50は、行動検知装置100と一体的に構成されてもよいし、図14に示されるように、行動検知装置100と別個に構成されてもよい。
記憶装置120は、たとえば、ハードディスクや外付けの記憶装置等の記憶媒体である。一例として、記憶装置120は、本実施の形態に従う行動検知プログラム122、状態遷移表222(図3参照)、現在行動224(図2参照)、報知行動情報226(図8参照)等を格納する。
なお、行動検知プログラム122は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う行動検知装置100の趣旨を逸脱するものではない。さらに、本実施の形態に従う行動検知プログラム122によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、行動検知装置100と携帯端末200とが協働して、行動検知プログラム122によって提供される機能の一部または全部が実現されてもよい。さらに、少なくとも1つのサーバーが本実施の形態に従う処理を実現する、所謂クラウドサービスのような形態で行動検知装置100が構成されてもよい。
[小括]
以上のようにして、本実施の形態に従う行動検知システム300は、被介護者の行動の種類を判別するのに適していないことを示す予め定められた無効条件が満たされた場合に、報知対象の行動の種類を減らすとともに、状態遷移表222の遷移関係を更新する。これにより、意図しない状況に生じる誤報が抑制され、介護者の負担が軽減される。
以上のようにして、本実施の形態に従う行動検知システム300は、被介護者の行動の種類を判別するのに適していないことを示す予め定められた無効条件が満たされた場合に、報知対象の行動の種類を減らすとともに、状態遷移表222の遷移関係を更新する。これにより、意図しない状況に生じる誤報が抑制され、介護者の負担が軽減される。
<第2の実施の形態>
第2の実施の形態に従う行動検知システム300は、第1の実施の形態に従う行動検知システム300よりもさらに多くの種類の行動を判別することができる。
第2の実施の形態に従う行動検知システム300は、第1の実施の形態に従う行動検知システム300よりもさらに多くの種類の行動を判別することができる。
図15~図17を参照して、第2の実施の形態に従う行動検知システム300について説明する。図15は、第2の実施の形態に従う状態遷移表222の内容を示す図である。図16は、第2の実施の形態に従う状態遷移表222に規定されている各行動状態の定義を示す図である。図17は、第2の実施の形態に従う状態遷移表222に規定されている各行動状態からの遷移条件を示す図である。
図15に示されるように、状態遷移表222には、複数種類の行動の間の遷移関係が規定されている。図15の例では、状態遷移表222には、行動状態として、離床状態222Aと、室内不在状態222Eと、風呂在室状態222Fと、異常状態222Gと、トイレ在室状態222Hとが規定されている。図16には、これらの行動状態の定義が示されている。
図15に示されるように、行動状態は、離床状態222Aからは、室内不在状態222E、風呂在室状態222F、またはトイレ在室状態222Hに遷移することができる。行動状態は、室内不在状態222Eからは、離床状態222Aに遷移することができる。行動状態は、風呂在室状態222Fからは、離床状態222Aまたは異常状態222Gに遷移することができる。行動状態は、異常状態222Gからは、風呂在室状態222Fまたはトイレ在室状態222Hに遷移することができる。行動状態は、トイレ在室状態222Hからは、離床状態222Aまたは異常状態222Gに遷移することができる。
行動検知部255(図2参照)は、状態遷移表222に基づいて、現在行動224(図2参照)から遷移可能な行動の種類を特定し、特定された遷移可能な行動を入力画像を用いて検知する。
より具体的な行動知方法について説明する。画像内には、ベッド領域、室内領域、風呂領域およびトイレ領域が予め設定されている。ベッド領域、室内領域、風呂領域およびトイレ領域は、手動で予め設定されてもよいし、テンプレートマッチング等の画像処理技術で自動的に検知されてもよい。
画像内における被介護者の位置が室内領域に含まれない場合に、行動検知部255は、被介護者の室内不在状態を検知する。あるいは、画像内における被介護者が予め設定されている部屋の出入口を通過した場合に、行動検知部255は、被介護者の室内不在状態を検知する。
行動検知部255は、風呂またはトイレの使用状況に応じて、風呂在室状態222F、異常状態222G、またはトイレ在室状態222Hを検知する。一例として、画像内における被介護者の位置が風呂領域にある時間が一定時間よりも短い場合に、行動検知部255は、風呂在室状態222Fを検知する。画像内における被介護者の位置が風呂領域にある時間が一定時間よりも長い場合に、行動検知部255は、被介護者の異常状態222Gを検知する。画像内における被介護者の位置がトイレ領域にある時間が一定時間よりも短い場合に、行動検知部255は、トイレ在室状態222Hを検知する。画像内における被介護者の位置がトイレ領域にある時間が一定時間よりも長い場合に、行動検知部255は、被介護者の異常状態222Gを検知する。
図17には、状態遷移表222に規定されている各行動状態から他の行動状態に遷移させるための遷移条件が示されている。より具体的には、遷移条件23には、離床状態222Aから風呂在室状態222Fへの遷移条件が示されている。遷移条件24には、離床状態222Aからトイレ在室状態222Hへの遷移条件が示されている。遷移条件25には、風呂在室状態222Fから離床状態222Aへの遷移条件が示されている。遷移条件27には、風呂在室状態222Fから異常状態222Gへの遷移条件が示されている。遷移条件28には、異常状態222Gから風呂在室状態222Fへの遷移条件が示されている。遷移条件30には、異常状態222Gからトイレ在室状態222Hへの遷移条件が示されている。遷移条件31には、トイレ在室状態222Hから異常状態222Gへの遷移条件が示されている。遷移条件33には、トイレ在室状態222Hから離床状態222Aへの遷移条件が示されている。遷移条件34には、行動状態が判別されていない初期状態から風呂在室状態222Fへの遷移条件が示されている。遷移条件35には、行動状態が判別されていない初期状態から異常状態222Gへの遷移条件が示されている。遷移条件36には、行動状態が判別されていない初期状態からトイレ在室状態222Hへの遷移条件が示されている。遷移条件37には、離床状態222Aから室内不在状態222Eへの遷移条件が示されている。遷移条件38には、室内不在状態222Eから離床状態222Aへの遷移条件が示されている。遷移条件39には、行動状態が判別されていない初期状態から室内不在状態222Eへの遷移条件が示されている。
なお、図17に示される遷移条件には、他の条件が規定されてもよい。たとえば、遷移条件27,31は、被介護者の風呂在室状態またはトイレ在室状態が通常よりも極端に長い場合に満たされてもよい。あるいは、遷移条件27,31は、風呂またはトイレの水が長時間継続的に氏用されている場合に満たされてもよい。遷移条件23,24が満たされたか否かは、水またはトイレの使用状況に基づいて判断されてもよい。遷移条件37,38が満たされたか否かは、室内のドアの開閉動作に基づいて判断されてもよい。図17に示される遷移条件は、行動検知システム300の管理者によって設定され得る。
[小括]
以上のようにして、第2の実施の形態に従う行動検知システム300は、第1の実施の形態と比較して、さらに多くの種類の行動を検知することができる。これにより、介護者は、被介護者の行動を正確に把握することができる。
以上のようにして、第2の実施の形態に従う行動検知システム300は、第1の実施の形態と比較して、さらに多くの種類の行動を検知することができる。これにより、介護者は、被介護者の行動を正確に把握することができる。
<まとめ>
行動検知システムは、被写体の動作を表わす動作データを取得するための取得部と、複数種類の行動の間の遷移関係を規定している状態遷移表と、報知対象の行動の種類と、上記被写体の現在の行動の種類とを格納するための記憶部と、上記状態遷移表に基づいて上記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を上記動作データに基づいて検知するための行動検知部と、上記行動検知部によって新たな行動が検知された場合に、上記現在の行動を上記新たな行動に更新するための遷移制御部と、上記新たな行動が検知された場合であって、当該新たな行動が上記報知対象の行動であるときに、当該新たな行動の種類を報知するための報知部と、上記被写体の行動の種類を判別するのに適していないことを示す予め定められた第1条件が満たされた場合に、上記報知対象の行動の種類を減らすとともに、上記状態遷移表の上記遷移関係を更新するための更新部とを備える。
行動検知システムは、被写体の動作を表わす動作データを取得するための取得部と、複数種類の行動の間の遷移関係を規定している状態遷移表と、報知対象の行動の種類と、上記被写体の現在の行動の種類とを格納するための記憶部と、上記状態遷移表に基づいて上記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を上記動作データに基づいて検知するための行動検知部と、上記行動検知部によって新たな行動が検知された場合に、上記現在の行動を上記新たな行動に更新するための遷移制御部と、上記新たな行動が検知された場合であって、当該新たな行動が上記報知対象の行動であるときに、当該新たな行動の種類を報知するための報知部と、上記被写体の行動の種類を判別するのに適していないことを示す予め定められた第1条件が満たされた場合に、上記報知対象の行動の種類を減らすとともに、上記状態遷移表の上記遷移関係を更新するための更新部とを備える。
好ましくは、上記遷移可能な行動の種類は、上記第1条件が満たされている間は、更新後の上記状態遷移表に基づいて特定される。
好ましくは、上記更新部は、上記第1条件が満たされた場合に、上記報知対象の行動の種類をゼロにする。
好ましくは、上記更新部は、上記被写体の行動の種類を判別するのに適していることを示す予め定められた第2条件が満たされた場合に、更新後の上記状態遷移表を更新前の上記状態遷移表に戻す。
好ましくは、上記動作データは、映像である。
好ましくは、上記第1条件は、上記動作データに外乱が生じている場合、上記動作データに上記被写体以外の人物が含まれている場合、上記行動検知システムが初期化された場合、および上記行動検知システムにエラーが生じている場合の少なくとも1つの場合に満たされる。
好ましくは、上記第1条件は、上記動作データに外乱が生じている場合、上記動作データに上記被写体以外の人物が含まれている場合、上記行動検知システムが初期化された場合、および上記行動検知システムにエラーが生じている場合の少なくとも1つの場合に満たされる。
好ましくは、上記報知対象の行動の種類は、上記被写体の起床、上記被写体の離床、上記被写体の転落、上記被写体の転倒、上記被写体の入床、上記被写体の臥床、上記被写体の入室、上記被写体の退室の少なくとも1つを含む。
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
6,7,8,10,11,12,13,15,16,17,18,20,21,22,23,24,25,27,28,30,31,33,34,35,36,37,38,39 遷移条件、50 カメラ、100 行動検知装置、101 ROM、102 CPU、103 RAM、104 ネットワークインターフェイス、105 カメラインターフェイス、120 記憶装置、122 行動検知プログラム、150 取得部、200 携帯端末、222 状態遷移表、222A 離床状態、222B 起床状態、222C 臥床状態、222D 転倒転落状態、222E 室内不在状態、222F 風呂在室状態、222G 異常状態、222H トイレ在室状態、224 現在行動、226 報知行動情報、250 動体検知部、252 人物判別部、255 行動検知部、260 遷移制御部、270 報知部、280 異常判別部、285 更新部、290 正常判別部、300 行動検知システム、500 被介護者、501 介護者、503,504 人物、505 カーテン、520 ベッド。
Claims (11)
- 被写体の動作を表わす動作データを取得するための取得部と、
複数種類の行動の間の遷移関係を規定している状態遷移表と、報知対象の行動の種類と、前記被写体の現在の行動の種類とを格納するための記憶部と、
前記状態遷移表に基づいて前記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を前記動作データに基づいて検知するための行動検知部と、
前記行動検知部によって新たな行動が検知された場合に、前記現在の行動を前記新たな行動に更新するための遷移制御部と、
前記新たな行動が検知された場合であって、当該新たな行動が前記報知対象の行動であるときに、当該新たな行動の種類を報知するための報知部と、
前記被写体の行動の種類を判別するのに適していないことを示す予め定められた第1条件が満たされた場合に、前記報知対象の行動の種類を減らすとともに、前記状態遷移表の前記遷移関係を更新するための更新部とを備える、行動検知システム。 - 前記遷移可能な行動の種類は、前記第1条件が満たされている間は、更新後の前記状態遷移表に基づいて特定される、請求項1に記載の行動検知システム。
- 前記更新部は、前記第1条件が満たされた場合に、前記報知対象の行動の種類をゼロにする、請求項1または2に記載の行動検知システム。
- 前記更新部は、前記被写体の行動の種類を判別するのに適していることを示す予め定められた第2条件が満たされた場合に、更新後の前記状態遷移表を更新前の前記状態遷移表に戻す、請求項1~3のいずれか1項に記載の行動検知システム。
- 前記動作データは、映像である、請求項1~4のいずれか1項に記載の行動検知システム。
- 前記第1条件は、前記動作データに外乱が生じている場合、前記動作データに前記被写体以外の人物が含まれている場合、前記行動検知システムが初期化された場合、および前記行動検知システムにエラーが生じている場合の少なくとも1つの場合に満たされる、請求項1~5のいずれか1項に記載の行動検知システム。
- 前記報知対象の行動の種類は、前記被写体の起床、前記被写体の離床、前記被写体の転落、前記被写体の転倒、前記被写体の入床、前記被写体の臥床、前記被写体の入室、前記被写体の退室の少なくとも1つを含む、請求項1~6のいずれか1項に記載の行動検知システム。
- 被写体の動作を表わす動作データを取得するための取得部と、
複数種類の行動の間の遷移関係を規定している状態遷移表と、前記被写体の現在の行動の種類とを格納するための記憶部と、
前記状態遷移表に基づいて前記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を前記動作データに基づいて検知するための行動検知部と、
前記行動検知部によって新たな行動が検知された場合に、前記現在の行動を前記新たな行動に更新するための遷移制御部と、
前記新たな行動が検知された場合であって、当該新たな行動が予め定められた報知対象の行動であるときに、当該新たな行動の種類を報知するための報知部とを備え、
前記報知部は、前記被写体の行動の種類を判別するのに適していないことを示す予め定められた条件が満たされた場合には、前記予め定められた報知対象の行動を報知することを停止する、行動検知システム。 - 被写体の動作を表わす動作データを取得するための取得部と、
複数種類の行動の間の遷移関係を規定している状態遷移表と、報知対象の行動の種類と、前記被写体の現在の行動の種類とを格納するための記憶部と、
前記状態遷移表に基づいて前記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を前記動作データに基づいて検知するための行動検知部と、
前記行動検知部によって新たな行動が検知された場合に、前記現在の行動を前記新たな行動に更新するための遷移制御部と、
前記新たな行動が検知された場合であって、当該新たな行動が前記報知対象の行動であるときに、当該新たな行動の種類を報知するための報知部と、
前記被写体の行動の種類を判別するのに適していないことを示す予め定められた第1条件が満たされた場合に、前記報知対象の行動の種類を減らすとともに、前記状態遷移表の前記遷移関係を更新するための更新部とを備える、行動検知装置。 - 被写体の動作を表わす動作データを取得するステップと、
複数種類の行動の間の遷移関係を規定している状態遷移表と、報知対象の行動の種類と、前記被写体の現在の行動の種類とを準備するステップと、
前記状態遷移表に基づいて前記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を前記動作データに基づいて検知するステップと、
前記検知するステップで新たな行動が検知された場合に、前記現在の行動を前記新たな行動に更新するステップと、
前記新たな行動が検知された場合であって、当該新たな行動が前記報知対象の行動であるときに、当該新たな行動の種類を報知するステップと、
前記被写体の行動の種類を判別するのに適していないことを示す予め定められた第1条件が満たされた場合に、前記報知対象の行動の種類を減らすとともに、前記状態遷移表の前記遷移関係を更新するステップとを備える、行動検知方法。 - 行動検知プログラムであって、
前記行動検知プログラムは、コンピュータに、
被写体の動作を表わす動作データを取得するステップと、
複数種類の行動の間の遷移関係を規定している状態遷移表と、報知対象の行動の種類と、前記被写体の現在の行動の種類とを準備するステップと、
前記状態遷移表に基づいて前記現在の行動から遷移可能な行動を特定し、当該遷移可能な行動を前記動作データに基づいて検知するステップと、
前記検知するステップで新たな行動が検知された場合に、前記現在の行動を前記新たな行動に更新するステップと、
前記新たな行動が検知された場合であって、当該新たな行動が前記報知対象の行動であるときに、当該新たな行動の種類を報知するステップと、
前記被写体の行動の種類を判別するのに適していないことを示す予め定められた第1条件が満たされた場合に、前記報知対象の行動の種類を減らすとともに、前記状態遷移表の前記遷移関係を更新するステップとを実行させる、行動検知プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16853525.0A EP3361443A4 (en) | 2015-10-06 | 2016-10-03 | Action detecting system, action detecting device, action detecting method, and action detecting program |
JP2017544486A JP6856026B2 (ja) | 2015-10-06 | 2016-10-03 | 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム |
CN201680057351.3A CN108337914A (zh) | 2015-10-06 | 2016-10-03 | 行动检测***、行动检测装置、行动检测方法以及行动检测程序 |
US15/763,914 US20180286206A1 (en) | 2015-10-06 | 2016-10-03 | Action Detection System, Action Detection Device, Action Detection Method, and Action Detection Program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-198356 | 2015-10-06 | ||
JP2015198356 | 2015-10-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017061371A1 true WO2017061371A1 (ja) | 2017-04-13 |
Family
ID=58487558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/079273 WO2017061371A1 (ja) | 2015-10-06 | 2016-10-03 | 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180286206A1 (ja) |
EP (1) | EP3361443A4 (ja) |
JP (1) | JP6856026B2 (ja) |
CN (1) | CN108337914A (ja) |
WO (1) | WO2017061371A1 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018230104A1 (ja) * | 2017-06-16 | 2018-12-20 | コニカミノルタ株式会社 | 被監視者監視支援システムの中央処理装置および中央処理方法ならびに被監視者監視支援システム |
WO2019031010A1 (ja) * | 2017-08-10 | 2019-02-14 | コニカミノルタ株式会社 | 睡眠状態検出装置および該方法ならびに被監視者監視支援システム |
WO2019031012A1 (ja) * | 2017-08-10 | 2019-02-14 | コニカミノルタ株式会社 | 行動検知装置および該方法ならびに被監視者監視支援システム |
WO2019031011A1 (ja) * | 2017-08-10 | 2019-02-14 | コニカミノルタ株式会社 | 睡眠状態検出装置および該方法ならびに被監視者監視支援システム |
CN109394223A (zh) * | 2017-08-17 | 2019-03-01 | 香港理工大学 | 监测人体活动的方法、装置和服务器 |
JP2019074806A (ja) * | 2017-10-12 | 2019-05-16 | 株式会社日立エルジーデータストレージ | 生活リズム測定システム及び生活リズム測定方法 |
JP2019139288A (ja) * | 2018-02-06 | 2019-08-22 | 日本電気株式会社 | 情報処理装置 |
JP2019146712A (ja) * | 2018-02-26 | 2019-09-05 | パナソニックIpマネジメント株式会社 | 行動監視システム、及び、行動監視方法 |
JP2019204464A (ja) * | 2018-05-27 | 2019-11-28 | 株式会社アジラ | 行動推定装置 |
JP2019216807A (ja) * | 2018-06-15 | 2019-12-26 | エイアイビューライフ株式会社 | 情報処理装置 |
WO2020031850A1 (ja) * | 2018-08-06 | 2020-02-13 | エイアイビューライフ株式会社 | 情報処理装置 |
JP2021144631A (ja) * | 2020-03-13 | 2021-09-24 | エヌ・ティ・ティ・ビズリンク株式会社 | 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム |
WO2022249635A1 (ja) * | 2021-05-26 | 2022-12-01 | コニカミノルタ株式会社 | 行動検知システムおよび行動検知プログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10878676B1 (en) * | 2018-01-31 | 2020-12-29 | Amazon Technologies, Inc. | Methods and systems for customization of video monitoring systems |
JP7199086B2 (ja) * | 2018-10-10 | 2023-01-05 | ファミリーイナダ株式会社 | 防犯システム及びこの防犯システムを備えたマッサージ機 |
JP6816087B2 (ja) | 2018-11-02 | 2021-01-20 | ファナック株式会社 | ロボットのアラーム通知システム |
CN109886120B (zh) * | 2019-01-22 | 2021-04-30 | 贵州民族大学 | 一种斑马线检测方法及*** |
JP7169213B2 (ja) * | 2019-02-05 | 2022-11-10 | 株式会社日立製作所 | 身体健康状態映像分析装置、方法並びにシステム |
JP2021033837A (ja) * | 2019-08-28 | 2021-03-01 | 株式会社ノーリツ | 浴室監視システム |
CN111248915B (zh) * | 2019-12-30 | 2021-08-17 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
CN111803769A (zh) * | 2020-06-19 | 2020-10-23 | 周建 | 病人***异常管理***以及相应终端 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012170483A (ja) * | 2011-02-17 | 2012-09-10 | Fujitsu Ltd | 状態検知装置および状態検知方法 |
WO2015133195A1 (ja) * | 2014-03-06 | 2015-09-11 | Nkワークス株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6400830B1 (en) * | 1998-02-06 | 2002-06-04 | Compaq Computer Corporation | Technique for tracking objects through a series of images |
CN101228555A (zh) * | 2005-07-07 | 2008-07-23 | 独创目标实验室公司 | 用于目标的运动行为的三维监控和分析的*** |
US20080021731A1 (en) * | 2005-12-09 | 2008-01-24 | Valence Broadband, Inc. | Methods and systems for monitoring patient support exiting and initiating response |
US9740823B2 (en) * | 2007-08-16 | 2017-08-22 | Earl Edward Breazeale, JR. | Healthcare tracking |
DE102007058684A1 (de) * | 2007-12-06 | 2009-07-09 | Siemens Ag | Verfahren zur Überwachung einer Untersuchungsperson |
US9934427B2 (en) * | 2010-09-23 | 2018-04-03 | Stryker Corporation | Video monitoring system |
US9500865B2 (en) * | 2013-03-04 | 2016-11-22 | Alex C. Chen | Method and apparatus for recognizing behavior and providing information |
WO2015037542A1 (ja) * | 2013-09-13 | 2015-03-19 | コニカミノルタ株式会社 | 報知システム |
WO2015037269A1 (ja) * | 2013-09-13 | 2015-03-19 | コニカミノルタ株式会社 | 被監視者監視装置および該方法ならびに被監視者監視システム |
-
2016
- 2016-10-03 EP EP16853525.0A patent/EP3361443A4/en not_active Withdrawn
- 2016-10-03 JP JP2017544486A patent/JP6856026B2/ja active Active
- 2016-10-03 CN CN201680057351.3A patent/CN108337914A/zh not_active Withdrawn
- 2016-10-03 WO PCT/JP2016/079273 patent/WO2017061371A1/ja active Application Filing
- 2016-10-03 US US15/763,914 patent/US20180286206A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012170483A (ja) * | 2011-02-17 | 2012-09-10 | Fujitsu Ltd | 状態検知装置および状態検知方法 |
WO2015133195A1 (ja) * | 2014-03-06 | 2015-09-11 | Nkワークス株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3361443A4 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018230104A1 (ja) * | 2017-06-16 | 2018-12-20 | コニカミノルタ株式会社 | 被監視者監視支援システムの中央処理装置および中央処理方法ならびに被監視者監視支援システム |
JPWO2019031012A1 (ja) * | 2017-08-10 | 2020-07-09 | コニカミノルタ株式会社 | 行動検知装置および該方法ならびに被監視者監視支援システム |
WO2019031010A1 (ja) * | 2017-08-10 | 2019-02-14 | コニカミノルタ株式会社 | 睡眠状態検出装置および該方法ならびに被監視者監視支援システム |
WO2019031012A1 (ja) * | 2017-08-10 | 2019-02-14 | コニカミノルタ株式会社 | 行動検知装置および該方法ならびに被監視者監視支援システム |
WO2019031011A1 (ja) * | 2017-08-10 | 2019-02-14 | コニカミノルタ株式会社 | 睡眠状態検出装置および該方法ならびに被監視者監視支援システム |
JP7180601B2 (ja) | 2017-08-10 | 2022-11-30 | コニカミノルタ株式会社 | 睡眠状態検出装置および該方法ならびに被監視者監視支援システム |
JP7137154B2 (ja) | 2017-08-10 | 2022-09-14 | コニカミノルタ株式会社 | 行動検知装置および該方法ならびに被監視者監視支援システム |
JPWO2019031010A1 (ja) * | 2017-08-10 | 2020-07-09 | コニカミノルタ株式会社 | 睡眠状態検出装置および該方法ならびに被監視者監視支援システム |
CN109394223A (zh) * | 2017-08-17 | 2019-03-01 | 香港理工大学 | 监测人体活动的方法、装置和服务器 |
JP2019074806A (ja) * | 2017-10-12 | 2019-05-16 | 株式会社日立エルジーデータストレージ | 生活リズム測定システム及び生活リズム測定方法 |
JP7059663B2 (ja) | 2018-02-06 | 2022-04-26 | 日本電気株式会社 | 情報処理装置 |
JP2019139288A (ja) * | 2018-02-06 | 2019-08-22 | 日本電気株式会社 | 情報処理装置 |
JP2019146712A (ja) * | 2018-02-26 | 2019-09-05 | パナソニックIpマネジメント株式会社 | 行動監視システム、及び、行動監視方法 |
JP7080071B2 (ja) | 2018-02-26 | 2022-06-03 | ヌヴォトンテクノロジージャパン株式会社 | 行動監視システム、及び、行動監視方法 |
JP2019204464A (ja) * | 2018-05-27 | 2019-11-28 | 株式会社アジラ | 行動推定装置 |
WO2019230199A1 (ja) * | 2018-05-27 | 2019-12-05 | 株式会社アジラ | 行動推定装置 |
US11048924B1 (en) | 2018-05-27 | 2021-06-29 | Asilla, Inc. | Action-estimating device |
JP7090327B2 (ja) | 2018-06-15 | 2022-06-24 | エイアイビューライフ株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2019216807A (ja) * | 2018-06-15 | 2019-12-26 | エイアイビューライフ株式会社 | 情報処理装置 |
WO2020031850A1 (ja) * | 2018-08-06 | 2020-02-13 | エイアイビューライフ株式会社 | 情報処理装置 |
JP7095870B2 (ja) | 2018-08-06 | 2022-07-05 | エイアイビューライフ株式会社 | 情報処理装置 |
JP2020024480A (ja) * | 2018-08-06 | 2020-02-13 | エイアイビューライフ株式会社 | 情報処理装置 |
JP7012111B2 (ja) | 2020-03-13 | 2022-01-27 | エヌ・ティ・ティ・ビズリンク株式会社 | 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム |
JP2021144631A (ja) * | 2020-03-13 | 2021-09-24 | エヌ・ティ・ティ・ビズリンク株式会社 | 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム |
WO2022249635A1 (ja) * | 2021-05-26 | 2022-12-01 | コニカミノルタ株式会社 | 行動検知システムおよび行動検知プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017061371A1 (ja) | 2018-07-26 |
CN108337914A (zh) | 2018-07-27 |
US20180286206A1 (en) | 2018-10-04 |
EP3361443A1 (en) | 2018-08-15 |
JP6856026B2 (ja) | 2021-04-07 |
EP3361443A4 (en) | 2018-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017061371A1 (ja) | 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム | |
US9129506B1 (en) | Method and process for determining whether an individual suffers a fall requiring assistance | |
JP6708980B2 (ja) | 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム | |
WO2019013257A1 (ja) | 見守り支援システム及びその制御方法、プログラム | |
JP7138619B2 (ja) | 監視端末及び監視方法 | |
JP6273944B2 (ja) | 状態検知方法、装置、およびプログラム | |
WO2016199504A1 (ja) | 行動検知装置および行動検知方法ならびに被監視者監視装置 | |
JPWO2019021744A1 (ja) | 発報制御システム、検知ユニット、ケアサポートシステムおよび発報制御方法 | |
JP7081606B2 (ja) | 対象の転倒応答を決定する方法、システム、及び、コンピュータプログラム | |
JP4901674B2 (ja) | 滞在状況監視システム、滞在状況監視サーバ及び滞在状況監視方法 | |
US11410538B2 (en) | System and method for monitoring an individual | |
TWI783374B (zh) | 健康照護系統和健康照護方法 | |
US8593285B2 (en) | Safety-determination information generating apparatus and safety confirmation system | |
KR102157436B1 (ko) | 웨어러블 기기를 이용한 응급 상황 감지 방법 및 장치 | |
AU2015299180B2 (en) | A system for identifying a change in walking speed of a person. | |
EP3163546A1 (en) | Method and device for detecting anomalous behavior of a user | |
JP6601881B2 (ja) | 活動量算出システム、活動量算出装置、活動量算出方法、およびプログラム | |
JP2008165361A (ja) | 住宅監視システム | |
JP6222405B2 (ja) | 動作検出システム、動作検出装置、動作検出方法、および動作検出プログラム | |
JP2009205648A (ja) | 住宅監視システム | |
JP2022139196A (ja) | 監視端末及び監視方法 | |
JP2020190946A (ja) | 情報処理システムおよびプログラム | |
KR20240047778A (ko) | IoT 카메라 기반의 스마트홈 응급처리 장치 | |
JP2023025761A (ja) | 見守りシステム、見守り装置、見守り方法、および見守りプログラム | |
JP2021065617A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16853525 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017544486 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15763914 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |