WO2018159036A1 - 見守り支援システム及びその制御方法、並びにプログラム - Google Patents

見守り支援システム及びその制御方法、並びにプログラム Download PDF

Info

Publication number
WO2018159036A1
WO2018159036A1 PCT/JP2017/042510 JP2017042510W WO2018159036A1 WO 2018159036 A1 WO2018159036 A1 WO 2018159036A1 JP 2017042510 W JP2017042510 W JP 2017042510W WO 2018159036 A1 WO2018159036 A1 WO 2018159036A1
Authority
WO
WIPO (PCT)
Prior art keywords
determination
head
unit
subject
state
Prior art date
Application number
PCT/JP2017/042510
Other languages
English (en)
French (fr)
Inventor
純平 松永
田中　清明
信二 高橋
達哉 村上
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US16/461,253 priority Critical patent/US10786183B2/en
Priority to CN201780070868.0A priority patent/CN109963539B/zh
Priority to DE112017007167.4T priority patent/DE112017007167T5/de
Publication of WO2018159036A1 publication Critical patent/WO2018159036A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00—Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/05—Parts, details or accessories of beds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0079—Medical imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Definitions

  • the present invention relates to a technique for supporting watching of a subject on a bed.
  • Patent Document 1 recognizes the movement of a patient (moving his head / getting up / getting up / going / getting down / getting down) from the camera image, and describes the patient's movement contents and the patient's condition (evil / There has been proposed a system that performs notification at an appropriate alarm level according to a combination of (medium / good).
  • the movement direction of a patient is detected from a camera image, and the current state of the patient is determined based on a combination of the movement direction of the patient and a past state (a landing state / awake state / awake state / absence state).
  • a system to discriminate has been proposed.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique that can quickly and accurately detect a dangerous state of a subject on a bed.
  • the present invention employs a method of setting a plurality of determination areas based on the bed area and switching the determination criteria for the degree of danger for each determination area.
  • the first aspect of the present invention is a monitoring support system that supports monitoring of a subject on a bed, an image acquisition unit that acquires an image taken by an imaging device, and a bed in the image For each of a plurality of determination regions set based on the region, a determination criterion storage unit in which a determination criterion for determining a dangerous state is set in advance, and the target person from the image acquired by the image acquisition unit Using a detection unit for detecting, a state recognition unit for recognizing the state of the subject detected by the detection unit, and a determination criterion for a determination region corresponding to the position where the target is detected by the detection unit, A determination unit that determines the degree of risk of the state of the subject recognized by the state recognition unit, and an output unit that performs notification according to the degree of risk determined by the determination unit.
  • a determination criterion storage unit in which a determination criterion for determining a dangerous state is set in advance, and the target person from the image acquired by the image acquisition unit
  • the danger of the target person on the bed can be detected quickly and more accurately than before. It becomes possible. And the convenience by the side which receives notification can be improved by performing notification according to the degree of danger.
  • the state recognition unit may recognize the state of the subject's head, and the determination unit may determine the degree of danger of the state of the head. By monitoring the state of the head, it is possible to accurately detect the dangerous behavior of the subject.
  • the state of the head may include at least one item of head orientation, head movement speed, head movement direction, and head movement vector.
  • the state of the head includes a plurality of items among a head orientation, a head moving speed, a head moving direction, and a head moving vector, and the determination unit determines a risk level related to the plurality of items. It is preferable to determine. By comprehensively evaluating the state of the subject using the risk levels related to a plurality of items, it is possible to determine the risk level with higher reliability.
  • the output unit does not notify when the determined degree of risk is smaller than a threshold value.
  • the problem is that the necessary notification is issued only when it is necessary depending on the degree of danger, so that the target person is notified of an alarm in spite of being in a safe state, and troubles such as nurses are unnecessarily troubled. Can be eliminated.
  • the present invention can be understood as a watching support system having at least a part of the above configuration or function.
  • the present invention also includes a monitoring support method or a monitoring support system control method including at least a part of the above processing, a program for causing a computer to execute these methods, or such a program non-temporarily. It can also be understood as a recorded computer-readable recording medium.
  • the dangerous state of the subject on the bed can be detected quickly and more accurately.
  • FIG. 1 is a block diagram schematically showing a hardware configuration and a functional configuration of the watching support system.
  • FIG. 2 is a diagram illustrating an installation example of the imaging apparatus.
  • FIG. 3 is a flowchart of determination area setting processing.
  • 4A to 4C are examples of determination areas set for an image.
  • FIG. 5A is an example of the data structure of the determination criterion for the head direction for each determination region, and
  • FIG. 5B is a diagram for explaining symbols representing eight directions.
  • FIG. 6 is a flowchart of the watching process according to the first embodiment.
  • FIG. 7 is an example of risk level determination in the first embodiment.
  • FIG. 8 is a flowchart of the watching process according to the second embodiment.
  • FIG. 9 is an example of risk level determination in the second embodiment.
  • FIG. 10 is a flowchart of the watching process according to the third embodiment.
  • FIG. 11 is a flowchart of the watching process according to the fourth embodiment.
  • the present invention relates to a technique for supporting watching of a subject on a bed.
  • This technology can be applied to a system that automatically detects a getting-away / wake-up action of a patient or a care recipient in a hospital or a care facility, and performs a necessary notification when a dangerous state occurs.
  • This system can be preferably used for, for example, watching support for elderly people, dementia patients, children, and the like.
  • FIG. 1 is a block diagram schematically illustrating a hardware configuration and a functional configuration of the watching support system 1
  • FIG. 2 is a diagram illustrating an installation example of an imaging apparatus.
  • the watching support system 1 includes an imaging device 10 and an information processing device 11 as main hardware configurations.
  • the imaging device 10 and the information processing device 11 are connected by wire or wireless. Although only one imaging device 10 is shown in FIG. 1, a plurality of imaging devices 10 may be connected to the information processing device 11.
  • the imaging device 10 is a device that captures image data by capturing an image of a person on a bed.
  • the imaging device 10 a monochrome or color visible light camera, an infrared camera, or the like can be used.
  • the imaging device 10 including the infrared LED illumination 100 and the near-infrared camera 101 is employed in order to allow the subject to be watched even at night (even when the room is dark).
  • the imaging device 10 is installed so as to look down on the entire bed 20 from the upper side of the bed 20 toward the foot side.
  • the imaging device 10 captures images at a predetermined time interval (for example, 10 fps), and the image data is sequentially taken into the information processing device 11.
  • a predetermined time interval for example, 10 fps
  • the information processing device 11 is a device having a function of analyzing image data captured from the imaging device 10 in real time and automatically detecting whether the subject 21 on the bed 20 is abnormal (is not in a dangerous state). is there.
  • the information processing apparatus 11 includes an image acquisition unit 110, a detection unit 111, a state recognition unit 112, a determination unit 113, an output unit 114, an area setting unit 115, and a storage unit 116 as specific functions.
  • the information processing apparatus 11 according to the present embodiment includes a CPU (processor), memory, storage (HDD, SSD, etc.), input device (keyboard, mouse, touch panel, etc.), output device (display, speaker, etc.), communication interface, and the like.
  • Each function of the information processing apparatus 11 described above is realized by the CPU executing a program stored in the storage or memory.
  • the configuration of the information processing apparatus 11 is not limited to this example.
  • distributed computing by a plurality of computers may be performed, a part of the above functions may be executed by a cloud server, or a part of the above functions may be executed by a circuit such as an ASIC or FPGA. Also good.
  • the image acquisition unit 110 has a function of acquiring an image captured by the imaging device 10.
  • the image data input from the image acquisition unit 110 is temporarily stored in a memory or storage, and used for processing by the detection unit 111 and the state recognition unit 112.
  • the detecting unit 111 has a function of analyzing the image acquired by the image acquiring unit 110 and detecting the human body of the watching target person 21 or a part thereof (head, face, upper body, etc.) from the image. Any method may be used as a method for detecting a human body or a part thereof from an image. For example, a classifier using a classic Haar-like feature quantity or HoG feature quantity or an object detection algorithm using a recent Faster R-CNN technique can be preferably used.
  • the detection unit 111 detects the head 22 (portion above the neck) 22 of the subject 21 with a discriminator using the Haar-like feature quantity, and the position (x, y) and size (number of vertical and horizontal pixels) are output.
  • the position (x, y) of the head 22 is represented by, for example, image coordinates of the center point of a rectangular frame surrounding the head 22.
  • the detection unit 111 according to the present embodiment outputs the detection result in the position / size of the image coordinate system. However, the detection unit 111 converts the image coordinate system into a spatial coordinate system, and the three-dimensional image in the spatial coordinate system of the subject 21 is obtained. A position and a three-dimensional size may be output.
  • the state recognition unit 112 is a function that recognizes the state of the subject 21 detected by the detection unit 111.
  • the state of the head 22 of the subject 21 specifically, (1) the direction of the head 22, (2) the moving speed of the head 22, and (3) 3 of the moving direction of the head 22. Calculate at least one of the two.
  • the orientation of the head 22 may be recognized based on, for example, the positional relationship of facial organs (eyes, nose, mouth, etc.) in the image of the head 22, or a plurality of types of identification learned for each orientation of the head 22. May be recognized by using a container, or other algorithms may be used. Further, for the orientation of the head 22, a continuous value (angle) may be calculated, and for example, which of N types of orientations (directions) determined in advance, such as rightward, front, or leftward, is applicable. It may be determined. Also, the directions around the three axes of yaw, pitch, and roll may be calculated, or the directions in the image coordinate system (in the xy plane) may be simply calculated.
  • the moving speed of the head 22 is the moving amount of the head 22 per predetermined time.
  • the moving speed can be obtained by calculating the distance between the position of the head 22 in the image before a plurality of frames and the position of the head 22 in the latest image.
  • the moving direction of the head 22 can be calculated from, for example, the direction (angle) of the line segment that connects the position of the head 22 in the image before a plurality of frames and the position of the head 22 in the latest image.
  • the movement vector of the head 22 may be obtained by combining the movement speed and the movement direction.
  • the moving speed, moving direction, and moving vector in the real space may be calculated by converting the image coordinate system into a spatial coordinate system.
  • the determination unit 113 is a function for determining whether the state of the subject 21 is a safe state or a dangerous state based on the results of the detection unit 111 and the state recognition unit 112. Specifically, the determination unit 113 uses the “determination criteria” for evaluating and determining a dangerous state, and the state of the head 22 recognized by the state recognition unit 112 (direction, moving speed, moving direction, A process of determining the “risk degree” of at least one of the movement vectors is performed.
  • a plurality of determination criteria are set in advance in the determination criterion storage unit in the storage unit 116, and the determination unit 113 uses according to the position where the target person 21 (the head 22 thereof) is detected. It is characterized in that the judgment criteria are switched. This feature will be described in detail later.
  • the output unit 114 is a function that performs notification according to the degree of risk determined by the determination unit 113.
  • the output unit 114 determines whether notification is necessary (for example, notification is performed only in a dangerous state), notification content (for example, message content), notification means (for example, voice, mail, buzzer, warning) according to the degree of danger. Light), notification destination (for example, nurse, doctor), notification frequency, and the like.
  • the area setting unit 115 is a function for setting a determination area for an image captured by the imaging apparatus 10. Since the watching support system 1 aims at monitoring the state of the subject 21 on the bed 20, a determination area is set based on the area of the bed 20 in the image. The determination area may be set manually or automatically. In the case of manual setting, the area setting unit 115 may provide a user interface for allowing the user to input a bed area or a determination area itself in the image. In the case of automatic setting, the area setting unit 115 may detect a bed area from an image by object recognition processing.
  • the storage unit 116 is a function for storing various data used for processing by the monitoring support system 1.
  • the storage unit 116 is provided with at least a storage area for storing determination reference setting information, determination region setting information, image data of a plurality of past frames, or detection results (for calculation of moving speed and moving direction). .
  • FIG. 3 is a flowchart of determination area setting processing executed by the information processing apparatus 11, and FIGS. 4A to 4C are examples of determination areas set for an image.
  • the determination area setting process is executed when the determination area is not set (for example, when the watching support system 1 is installed) or when the determination area needs to be updated as the bed or the imaging device 10 moves.
  • step S30 the image acquisition unit 110 acquires an image from the imaging device 10 (FIG. 4A).
  • step S31 the area setting unit 115 causes the user to input the points 40 to 43 at the four corners of the bed, and sets a quadrangle surrounded by the four points 40 to 43 as the bed area 44 (FIG. 4B).
  • step S32 the area setting unit 115 calculates the ranges of the four determination areas A1 to A4 based on the bed area 44 (FIG. 4C).
  • step S33 the area setting unit 115 stores information on the bed area 44 (coordinates of the four corners of the bed area 44) and information on the four determination areas A1 to A4 (coordinates of the four corners of each determination area) in the storage unit 116. Store and finish the setting process.
  • the determination area A1 is an area set on the head side of the bed 20, and corresponds to a range where the head 22 can exist when the subject 21 is sleeping on the bed 20.
  • the determination area A ⁇ b> 2 is an area set at the center of the foot side of the bed 20, and when the subject 21 wakes up from the sleeping state, or descends or falls from the foot side of the bed 20, the head 22 Corresponds to the range in which can exist.
  • the determination area A3 is an area set on the left side of the bed 20 on the foot side. When the subject 21 sits on the left edge of the bed 20 or when the person 21 gets down from the left side of the bed 20 or falls, the head This corresponds to the range where 22 can exist.
  • the determination area A4 is an area set on the right side of the foot side of the bed 20, and when the subject 21 sits on the right edge of the bed 20, or descends or falls from the right side of the bed 20, This corresponds to the range where 22 can exist. As shown in FIG. 4C, the determination areas A 2 to A 4 extend to the outside of the bed area 44.
  • the reason why the plurality of determination areas are set in this way is that the evaluation of the safe state or the dangerous state can change depending on where the subject 21 exists on the bed 20. For example, if the head 22 of the subject 21 is present in the determination area A1, it is considered that the subject 21 is sleeping on the bed 20 in a normal posture, and the head 22 has moved or changed direction greatly. However, it can be said that the risk of the subject 21 falling from the bed 20 is low. In addition, when the head 22 of the subject 21 is present in the determination area A3, if the head 22 is facing the left side, the subject 21 is considered to be getting out of the bed 20 with his own intention. Although it can be evaluated that the degree of risk is low, if the head 22 faces upward, downward, or right side, it should be determined that some abnormality has occurred or there is a risk of falling. The determination area A4 is determined to be opposite to the determination area A3.
  • FIG. 5A shows an example of the data structure of the criterion set in the storage unit 116.
  • FIG. 5A is an example of a criterion for head orientation. Symbols such as “ ⁇ 1, ⁇ 1”, “ ⁇ 1, 0”,... Represent the head direction (8 directions) as shown in FIG. 5B, and the criterion value represents the degree of danger. . The larger the value, the higher the degree of danger. 1 is the head direction with the lowest degree of danger, and 5 is the head direction with the highest degree of danger. As described above, each of the determination areas A1 to A4 changes in the evaluation of whether it is a safe state or a dangerous state. Yes.
  • the example of FIG. 5A is a determination criterion for the head direction, but determination criteria corresponding to a plurality of items used for evaluation by the determination unit 113, such as a moving speed and a moving direction of the head, may be set.
  • FIG. 6 is a flowchart of the watching process of the first embodiment executed by the information processing apparatus 11, and FIG. 7 is an example of the risk degree determination.
  • step S60 the image acquisition unit 110 acquires an image from the imaging device 10.
  • the acquired image is temporarily stored in the storage unit 116.
  • step S61 the detection unit 111 detects the subject's head from the image acquired in step S60.
  • step S62 the state recognition unit 112 estimates the head direction detected in step S61.
  • FIG. 7 shows an example in which the head 22 is detected in the determination area A3 and the direction of the head 22 is estimated to be the direction of the arrow 70.
  • step S63 the determination unit 113 reads out the determination criterion corresponding to the determination region A3 from the storage unit 116.
  • Reference numeral 71 in FIG. 7 schematically illustrates a determination criterion corresponding to the determination area A3.
  • step S ⁇ b> 64 the determination unit 113 determines whether the orientation of the head 22 (arrow 70) is a safe orientation or a dangerous orientation using the determination criterion corresponding to the determination area A ⁇ b> 3.
  • the output unit 114 performs notification according to the degree of danger (step S65).
  • notification for example, nurse call
  • a predetermined threshold for example, 3
  • notification is not performed when the degree of danger is smaller than the threshold. Therefore, notification is not performed in the example of FIG.
  • the subject's danger on the bed can be detected quickly and with higher accuracy than before. It becomes. And by making necessary notifications only when necessary according to the degree of danger, the target person notifies the alarm despite the safe state, and troubles the nurses and the like unnecessarily. Can be solved.
  • FIG. 8 is a flowchart of the watching process according to the second embodiment executed by the information processing apparatus 11, and FIG. 9 is an example of risk level determination.
  • step S80 the image acquisition unit 110 acquires an image from the imaging device 10.
  • the acquired image is temporarily stored in the storage unit 116.
  • step S81 the detection unit 111 detects the head of the subject from the image acquired in step S80.
  • Information on the detected position of the head is stored in the storage unit 116 in association with time information or a frame number of the image.
  • the state recognizing unit 112 reads out information on the position of the head in the image before a predetermined time (for example, 1 second before) from the storage unit 116 (step S82), and the position of the head before the predetermined time and the step S81.
  • a predetermined time for example, 1 second before
  • FIG. 9 shows an example in which the head 22 is detected in the determination area A3 and the movement vector of the head 22 is calculated as indicated by an arrow 90.
  • step S84 the determination unit 113 reads out the determination criterion corresponding to the determination region A3 from the storage unit 116.
  • Reference numerals 91 and 92 in FIG. 9 schematically illustrate determination criteria corresponding to the determination region A3.
  • Reference numeral 91 is an example of a determination criterion relating to the moving direction.
  • Reference numeral 92 is an example of a determination criterion regarding the moving speed (movement amount), and the longer the arrow, the greater the degree of danger. In this example, four stages of risk levels 1 to 4 are assigned according to the moving speed.
  • step S85 the determination unit 113 determines the degree of danger of the movement vector 90 of the head 22 using the determination criteria 91 and 92.
  • the product (multiplication value) or sum (addition value) of the risk degree for the moving direction and the risk degree for the moving speed can be used as the risk degree of the movement vector 90.
  • the output unit 114 performs notification according to the degree of danger (step S86).
  • notification for example, nurse call
  • a predetermined threshold for example, 3
  • notification is performed.
  • the danger of the subject on the bed can be detected quickly and with higher accuracy than before, and unnecessary notifications can be reduced, so that the trouble of the nurse and the like is unnecessary. The problem of bothering can be solved.
  • FIG. 10 is a flowchart of the watching process of the third embodiment executed by the information processing apparatus 11.
  • step S100 the image acquisition unit 110 acquires an image from the imaging device 10.
  • the acquired image is temporarily stored in the storage unit 116.
  • step S101 the detection unit 111 detects the head of the subject from the image acquired in step S100.
  • Information on the detected position of the head is stored in the storage unit 116 in association with time information or a frame number of the image.
  • the state recognizing unit 112 reads out information on the position of the head in the image for a predetermined time before (for example, 1 second before) from the storage unit 116 (step S102), and the position of the head before the predetermined time and the step S101.
  • the moving speed of the head (movement amount per predetermined time) is calculated (step S103).
  • step S104 the determination unit 113 reads a determination criterion corresponding to the determination region in which the head is detected from the storage unit 116.
  • a determination criterion that associates the moving speed with the degree of danger is set for each determination region. For example, when the head is detected in the determination area A1, the subject person should be in a sleeping state. Accordingly, it is preferable to set a determination criterion for the determination region A1 based on the general speed (for example, 20 cm / second) of the head in the rising motion (the motion for raising the upper body) (for example, when the moving speed is 20 cm / second or less).
  • step S105 the determination unit 113 determines the degree of danger of the moving speed of the head 22 using the determination criterion described above. And the output part 114 performs notification according to the degree of danger (step S106).
  • notification for example, nurse call
  • a predetermined threshold for example, 2
  • the method of this embodiment can detect the danger of the subject on the bed more quickly and more accurately than before, reduce unnecessary notifications, and save the labor of nurses and the like. The problem of bothering the user can be solved.
  • FIG. 11 is a flowchart of the watching process of the fourth embodiment executed by the information processing apparatus 11.
  • step S110 the image acquisition unit 110 acquires an image from the imaging device 10.
  • the acquired image is temporarily stored in the storage unit 116.
  • step S111 the detection unit 111 detects the subject's head from the image acquired in step S100.
  • Information on the detected position of the head is stored in the storage unit 116 in association with time information or a frame number of the image.
  • step S112 the state recognition unit 112 calculates the head direction, the moving speed, and the moving direction.
  • a specific calculation method may be the same as that described in the first to third embodiments.
  • step S113 the determination unit 113 reads the determination criterion corresponding to the determination region in which the head is detected from the storage unit 116. Then, the determination unit 113 calculates the degree of danger with respect to the head direction (step S114), the degree of danger with respect to the head movement vector (step S115), and the degree of danger with respect to the moving speed of the head (step S116). A specific calculation method may be the same as that described in the first to third embodiments.
  • step S117 the determination unit 113 integrates the three values of the risk level obtained in steps S114 to S116, and calculates an integrated score of the risk level. For example, the maximum value among the three values may be selected as the integrated score, and the average value, the multiplied value, the added value, etc. of the three or two values may be selected as the integrated score.
  • step S118 the output unit 114 performs notification according to the integrated score of the degree of risk.
  • notification for example, nurse call
  • a predetermined threshold for example, 3
  • the method of this embodiment can detect the danger of the subject on the bed quickly and with higher accuracy than before, and can reduce unnecessary notifications and reduce the trouble of nurses. The problem of bothering the user can be solved.
  • the reliability and accuracy can be further improved.
  • the notification is performed only when the degree of danger is equal to or higher than a predetermined threshold.
  • the content, frequency, means, and the like of the notification may be switched according to the degree of danger.
  • information such as the determined degree of danger and the notification content corresponding to the degree of danger may be output on the screen of the information processing apparatus 11. In this case, the information may be output in the vicinity of the subject in the image captured from the imaging device 10. Further, the risk degree of each frame or each determination area may be averaged and output in the continuous motion of the subject (sleeping state ⁇ wake-up ⁇ leaving from the bed).
  • 1 monitoring support system
  • 10 imaging device
  • 11 information processing device
  • 110 image acquisition unit
  • 111 detection unit
  • 112 state recognition unit
  • 113 determination unit
  • 114 output unit
  • 115 region setting unit
  • 116 Storage unit 100: Illumination
  • 101 Near-infrared camera
  • 20 Bed
  • 21 Subject
  • 44 Bed area
  • A1-A4 Determination area

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Nursing (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Image Analysis (AREA)
  • Invalid Beds And Related Equipment (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

ベッド上の対象者の見守りを支援する見守り支援システムが、撮像装置により撮影された画像を取得する画像取得部と、画像内のベッドの領域に基づき設定される複数の判定領域ごとに、危険な状態を判定するための判定基準があらかじめ設定されている判定基準記憶部と、前記画像取得部により取得された前記画像から前記対象者を検出する検出部と、前記検出部により検出された前記対象者の状態を認識する状態認識部と、前記検出部により前記対象者が検出された位置に対応する判定領域の判定基準を用いて、前記状態認識部で認識された前記対象者の状態の危険度合いを判定する判定部と、前記判定部により判定された危険度合いに応じた通知を行う出力部と、を有する。

Description

見守り支援システム及びその制御方法、並びにプログラム
　本発明は、ベッド上の対象者の見守りを支援するための技術に関する。
　ベッドからの転落事故などを未然に防ぐため、病院や介護施設などにおける患者の見守りを支援するシステムが知られている。特許文献１には、カメラ映像から患者の動作（頭を動かす／起き上がろうとしている／起き上がった／ねがえり／降りようとしている／降りた）を認識し、患者の動作内容と患者の容態（悪／中／良）の組み合わせに応じて、適切な警報レベルで通知を行うシステムが提案されている。特許文献２には、カメラ映像から患者の移動方向を検出し、患者の移動方向と過去の状態（着床状態／起床状態／離床状態／不在状態）の組み合わせに基づき、患者の現在の状態を判別するシステムが提案されている。
特開２０１２－０７１００４号公報 特開２０１２－１７０４８３号公報
　上述のように、カメラ映像から人の動きや状態を検出し見守り支援に役立てるという試みは従来からなされている。しかしながら、例えば患者がベッドから離れたこと（離床）などを検出することはできるものの、安全に離床したのか、それとも転倒や転落の可能性があるのかを区別することはできない。また、患者の現在の状態が安全であるのか危険であるのかを判断することもできない。したがって、従来の方法では、患者が安全な状態にもかかわらず警報を通知し、看護師等の手間を不必要に煩わせてしまうという課題がある。
　本発明は、上記実情に鑑みなされたものであって、ベッド上の対象者の危険な状態をいち早く且つより精度良く検知可能な技術を提供することを目的とする。
　上記目的を達成するために、本発明では、ベッドの領域に基づき複数の判定領域を設定し、判定領域ごとに危険度合いの判定基準を切り替える、という方法を採用する。
　具体的には、本発明の第一態様は、ベッド上の対象者の見守りを支援する見守り支援システムであって、撮像装置により撮影された画像を取得する画像取得部と、画像内のベッドの領域に基づき設定される複数の判定領域ごとに、危険な状態を判定するための判定基準があらかじめ設定されている判定基準記憶部と、前記画像取得部により取得された前記画像から前記対象者を検出する検出部と、前記検出部により検出された前記対象者の状態を認識する状態認識部と、前記検出部により前記対象者が検出された位置に対応する判定領域の判定基準を用いて、前記状態認識部で認識された前記対象者の状態の危険度合いを判定する判定部と、前記判定部により判定された危険度合いに応じた通知を行う出力部と、を有することを特徴とする見守り支援システムを提供する。
　この構成によれば、対象者が安全な状態にあるのか危険な状態にあるのかを画像から判定することができる。特に、ベッドの領域に基づき複数の判定領域を設定し、対象者が検出された位置に応じて判定基準を切り替える構成としたので、ベッド上の対象者の危険をいち早く且つ従来よりも精度良く検知可能となる。そして、危険度合いに応じた通知を行うようにすることで、通知を受ける側の利便性を向上することができる。
　本発明において、前記状態認識部は、前記対象者の頭部の状態を認識し、前記判定部は、前記頭部の状態の危険度合いを判定するとよい。頭部の状態を監視することで、対象者の危険行動を精度良く検出することができる。具体的には、前記頭部の状態は、頭部の向き、頭部の移動速度、頭部の移動方向、頭部の移動ベクトルのうち少なくとも１つ以上の項目を含むとよい。
　前記頭部の状態は、頭部の向き、頭部の移動速度、頭部の移動方向、頭部の移動ベクトルのうち複数の項目を含み、前記判定部は、前記複数の項目に関する危険度合いを判定することが好ましい。複数の項目に関する危険度合いを用いて対象者の状態を総合評価することで、より信頼性の高い危険度合いの判定が可能となる。
　前記出力部は、前記判定された危険度合いが閾値より小さい場合は通知を行わないことが好ましい。危険度合いに応じ必要な場合にのみ必要な通知を行うようにすることで、対象者が安全な状態にもかかわらず警報を通知し、看護師等の手間を不必要に煩わせてしまうという問題を解消することができる。
　なお、本発明は、上記構成ないし機能の少なくとも一部を有する見守り支援システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、見守り支援方法又は見守り支援システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、ベッド上の対象者の危険な状態をいち早く且つより精度良く検知することができる。
図１は見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図２は撮像装置の設置例を示す図である。 図３は判定領域の設定処理のフローチャートである。 図４Ａ～図４Ｃは画像に対し設定された判定領域の例である。 図５Ａは判定領域ごとの頭部向きの判定基準のデータ構造の一例であり、図５Ｂは８方向を表す符号を説明する図である。 図６は実施例１の見守り処理のフローチャートである。 図７は実施例１の危険度合い判定の例である。 図８は実施例２の見守り処理のフローチャートである。 図９は実施例２の危険度合い判定の例である。 図１０は実施例３の見守り処理のフローチャートである。 図１１は実施例４の見守り処理のフローチャートである。
　本発明は、ベッド上の対象者の見守りを支援するための技術に関する。この技術は、病院や介護施設などにおいて、患者や要介護者などの離床・起床行動を自動で検知し、危険な状態が発生した場合などに必要な通知を行うシステムに適用することができる。このシステムは、例えば、高齢者、認知症患者、子供などの見守り支援に好ましく利用することができる。
　以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
　（システム構成）
　図１と図２を参照して、本発明の実施形態に係る見守り支援システムの構成を説明する。図１は、見守り支援システム１のハードウェア構成および機能構成を模式的に示すブロック図であり、図２は、撮像装置の設置例を示す図である。
　見守り支援システム１は、主なハードウェア構成として、撮像装置１０と情報処理装置１１を有している。撮像装置１０と情報処理装置１１の間は有線又は無線により接続されている。図１では、１つの撮像装置１０のみ示しているが、複数台の撮像装置１０を情報処理装置１１に接続してもよい。
　撮像装置１０は、ベッド上の対象者を撮影して画像データを取り込むためのデバイスである。撮像装置１０としては、モノクロ又はカラーの可視光カメラ、赤外線カメラなどを用いることができる。本実施形態では、夜間でも（部屋内が暗い場合でも）対象者の見守りを可能とするため、赤外線ＬＥＤ照明１００と近赤外線カメラ１０１で構成される撮像装置１０を採用する。撮像装置１０は、図２に示すように、ベッド２０の頭側上方から足側に向かって、ベッド２０の全体を俯瞰するように設置される。撮像装置１０は所定の時間間隔（例えば、１０ｆｐｓ）で撮影を行い、その画像データは情報処理装置１１に順次取り込まれる。
　情報処理装置１１は、撮像装置１０から取り込まれる画像データをリアルタイムに分析し、ベッド２０上の対象者２１に異常がないか（危険な状態にないか）を自動で検知する機能を備える装置である。情報処理装置１１は、具体的な機能として、画像取得部１１０、検出部１１１、状態認識部１１２、判定部１１３、出力部１１４、領域設定部１１５、記憶部１１６を有している。本実施形態の情報処理装置１１は、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤ、ＳＳＤなど）、入力デバイス（キーボード、マウス、タッチパネルなど）、出力デバイス（ディスプレイ、スピーカなど）、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置１１の各機能は、ストレージ又はメモリに格納されたプログラムをＣＰＵが実行することにより実現される。ただし、情報処理装置１１の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよいし、上記機能の一部をＡＳＩＣやＦＰＧＡのような回路で実行してもよい。
　画像取得部１１０は、撮像装置１０により撮影された画像を取得する機能である。画像取得部１１０より入力された画像データは一時的にメモリ又はストレージに記憶され、検出部１１１や状態認識部１１２の処理に供される。
　検出部１１１は、画像取得部１１０により取得された画像を分析し、当該画像から、見守り対象者２１の人体又はその一部（頭部、顔、上半身など）を検出する機能である。画像から人体やその一部を検出する方法としてはいかなる方法を用いてもよい。例えば、古典的なＨａａｒ－ｌｉｋｅ特徴量やＨｏＧ特徴量を用いた識別器による手法や近年のＦａｓｔｅｒ　Ｒ－ＣＮＮによる手法を用いた物体検出アルゴリズムを好ましく用いることができる。本実施形態の検出部１１１は、Ｈａａｒ－ｌｉｋｅ特徴量を用いた識別器により対象者２１の頭部（首より上の部分）２２を検出し、検出結果として、頭部２２の位置（ｘ，ｙ）及びサイズ（縦横のピクセル数）を出力する。頭部２２の位置（ｘ，ｙ）は、例えば、頭部２２を囲む矩形枠の中心点の画像座標で表される。なお、本実施形態の検出部１１１は検出結果を画像座標系の位置・サイズで出力するが、検出部１１１が画像座標系を空間座標系に換算し、対象者２１の空間座標系における３次元位置や３次元的なサイズを出力してもよい。
　状態認識部１１２は、検出部１１１により検出された対象者２１の状態を認識する機能である。本実施形態では、対象者２１の頭部２２の状態、具体的には、（１）頭部２２の向き、（２）頭部２２の移動速度、（３）頭部２２の移動方向の３つの少なくともいずれかを計算する。
　頭部２２の向きは、例えば、頭部２２の画像における顔器官（目、鼻、口など）の位置関係に基づき認識してもよいし、頭部２２の向きごとに学習した複数種類の識別器を用いることで認識してもよいし、その他のアルゴリズムを用いてもよい。また、頭部２２の向きについては、連続値（角度）を計算してもよいし、例えば右向き・正面・左向きというように予め決められたＮ種類の向き（方向）のいずれに該当するかを判別してもよい。また、ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌの３軸まわりの向きを計算してもよいし、単純に、画像座標系（ｘｙ面内）での向きを計算してもよい。
　頭部２２の移動速度は、所定時間あたりの頭部２２の移動量である。例えば、複数フレーム前の画像における頭部２２の位置と最新の画像における頭部２２の位置との間の距離を計算することにより、移動速度を得ることができる。また、頭部２２の移動方向は、例えば、複数フレーム前の画像における頭部２２の位置と最新の画像における頭部２２の位置とを結ぶ線分の向き（角度）から計算できる。移動速度と移動方向を組み合わせて、頭部２２の移動ベクトルを求めてもよい。なお、この場合も、画像座標系を空間座標系に換算することで、実空間（３次元空間）での移動速度、移動方向、移動ベクトルを計算してもよい。
　判定部１１３は、検出部１１１及び状態認識部１１２の結果に基づき、対象者２１の状態が安全な状態であるか危険な状態であるかを判定する機能である。具体的には、判定部１１３は、危険な状態を評価・判定するための「判定基準」を用いて、状態認識部１１２で認識された頭部２２の状態（向き、移動速度、移動方向、移動ベクトルの少なくともいずれか）の「危険度合い」を判定する処理を行う。危険度合いの判定は、安全／危険の２段階判定でもよいし、危険度合い＝０，１，２，・・・のような多段階判定でもよい。本実施形態では、記憶部１１６内の判定基準記憶部に複数の判定基準があらかじめ設定されており、判定部１１３が、対象者２１（の頭部２２）が検出された位置に応じて、用いる判定基準を切り替える点に特徴を有する。この特徴については後ほど詳しく説明する。
　出力部１１４は、判定部１１３により判定された危険度合いに応じた通知を行う機能である。出力部１１４は、危険度合いに応じて、通知の要否（例えば、危険な状態の場合のみ通知を行う）、通知の内容（例えばメッセージの内容）、通知手段（例えば音声、メール、ブザー、警告灯）、通知先（例えば看護師、医師）、通知の頻度などを切り替えることができる。
　領域設定部１１５は、撮像装置１０により撮影される画像に対し判定領域を設定するための機能である。見守り支援システム１はベッド２０上の対象者２１の状態監視を目的とするため、画像内のベッド２０の領域に基づき判定領域が設定される。判定領域の設定は、手動で行ってもよいし自動で行ってもよい。手動設定の場合、領域設定部１１５は、画像内のベッド領域ないし判定領域そのものをユーザに入力させるためのユーザインタフェースを提供するとよい。自動設定の場合、領域設定部１１５は、物体認識処理により画像からベッド領域を検出するとよい。
　記憶部１１６は、見守り支援システム１が処理に用いる各種のデータを記憶する機能である。記憶部１１６には、少なくとも、判定基準の設定情報、判定領域の設定情報、過去複数フレームの画像データ又は検出結果（移動速度や移動方向の計算のため）を記憶するための記憶エリアが設けられる。
　（判定領域の設定）
　図３と図４Ａ～図４Ｃを参照して、判定領域の設定処理の一例について説明する。図３は、情報処理装置１１により実行される判定領域の設定処理のフローチャートであり、図４Ａ～図４Ｃは、画像に対し設定された判定領域の例である。判定領域の設定処理は、判定領域が未設定の場合（例えば、見守り支援システム１の設置時など）、又は、ベッドや撮像装置１０の移動に伴い判定領域を更新する必要がある場合に実行される。
　ステップＳ３０において、画像取得部１１０が、撮像装置１０から画像を取得する（図４Ａ）。ステップＳ３１では、領域設定部１１５が、ベッドの四隅の点４０～４３をユーザに入力させ、その４点４０～４３で囲まれた四角形をベッド領域４４に設定する（図４Ｂ）。ステップＳ３２では、領域設定部１１５が、ベッド領域４４に基づき４つの判定領域Ａ１～Ａ４の範囲を計算する（図４Ｃ）。そして、ステップＳ３３で、領域設定部１１５が、ベッド領域４４の情報（ベッド領域４４の四隅の座標）及び４つの判定領域Ａ１～Ａ４の情報（各判定領域の四隅の座標）を記憶部１１６に格納し、設定処理を終了する。
　判定領域Ａ１はベッド２０の頭側に設定される領域であり、対象者２１がベッド２０に寝ている場合に頭部２２が存在し得る範囲に対応する。判定領域Ａ２はベッド２０の足側の中央に設定される領域であり、対象者２１が寝ている状態から上半身を起こした場合や、ベッド２０の足側から降りる又は落ちる場合に、頭部２２が存在し得る範囲に対応する。判定領域Ａ３はベッド２０の足側の左方に設定される領域であり、対象者２１がベッド２０の左の縁に腰かけている場合や、ベッド２０の左側から降りる又は落ちる場合に、頭部２２が存在し得る範囲に対応する。判定領域Ａ４はベッド２０の足側の右方に設定される領域であり、対象者２１がベッド２０の右の縁に腰かけている場合や、ベッド２０の右側から降りる又は落ちる場合に、頭部２２が存在し得る範囲に対応する。図４Ｃに示すように、判定領域Ａ２～Ａ４は、ベッド領域４４の外側まで拡張している。
　このように複数の判定領域を設定した理由は、安全な状態か危険な状態かの評価が、対象者２１がベッド２０上のどこに存在するかに依存して、変化し得るからである。例えば、対象者２１の頭部２２が判定領域Ａ１内に存在する場合は、対象者２１は正常な姿勢でベッド２０に寝ていると考えられ、頭部２２が大きく移動もしくは向きを変えたとしても、対象者２１がベッド２０から転落する危険性は低いといえる。また、対象者２１の頭部２２が判定領域Ａ３内に存在する場合において、頭部２２が左側を向いていれば、対象者２１は自らの意思でベッド２０から降りようとしていると考えられ、危険度合いは低いと評価できるが、頭部２２が上や下あるいは右側を向いていたら、何らかの異常が発生しているか転落の危険性ありと判断すべきである。判定領域Ａ４については、判定領域Ａ３とは左右反対の判定となる。
　図５Ａは、記憶部１１６に設定されている判定基準のデータ構造の一例を示している。図５Ａは頭部向きの判定基準の例である。「－１，－１」、「－１，０」・・・などの符号は図５Ｂに示すように頭部向き（８方向）を表しており、判定基準の値が危険度合いを表している。値が大きいほど危険度合いが高いことを示し、１が最も危険度合いの低い頭部向き、５が最も危険度合いの高い頭部向きである。前述のように判定領域Ａ１～Ａ４のそれぞれで安全な状態か危険な状態かの評価が変わるため、記憶部１１６内の判定基準記憶部には、判定領域ごとに異なる判定基準が対応付けられている。なお、図５Ａの例は、頭部向きの判定基準であるが、頭部の移動速度、移動方向など、判定部１１３で評価に用いる複数項目に対応する判定基準を設定してもよい。
　次に、本実施形態の見守り支援システム１による見守り処理の具体的な実施例について説明する。
　＜実施例１＞
　図６と図７を参照して実施例１の見守り処理の一例を説明する。図６は、情報処理装置１１により実行される実施例１の見守り処理のフローチャートであり、図７は、危険度合い判定の例である。
　ステップＳ６０において、画像取得部１１０が、撮像装置１０から画像を取得する。取得された画像は記憶部１１６に一時的に記憶される。ステップＳ６１では、検出部１１１が、ステップＳ６０で取得された画像から対象者の頭部を検出する。ステップＳ６２では、状態認識部１１２が、ステップＳ６１で検出された頭部の向きを推定する。図７は、判定領域Ａ３内で頭部２２が検出され、頭部２２の向きが矢印７０の方向と推定された例を示している。
　ステップＳ６３では、判定部１１３が、判定領域Ａ３に対応する判定基準を記憶部１１６から読み出す。図７の符号７１は、判定領域Ａ３に対応する判定基準を模式的に図示したものであり、実線の矢印７２が「安全な向き」（危険度合い＝１）を、破線の矢印７３が「危険な向き」（危険度合い＝５）を示している。そして、ステップＳ６４において、判定部１１３は、判定領域Ａ３に対応する判定基準を用いて、頭部２２の向き（矢印７０）が安全な向きか危険な向きかを判定する。図７の例では、安全な向き（危険度合い＝１）という判定結果が得られる。すなわち、頭部２２の向きがベッドの外側を向いていることから、対象者が自らの意思でベッドから降りようとしているとみなし、危険度合いは低いと判定するのである。
　その後、出力部１１４が、危険度合いに応じた通知を行う（ステップＳ６５）。本実施例では、危険度合いが所定の閾値（例えば３）以上の場合に通知（例えばナースコール）を行い（ステップＳ６６）、危険度合いが閾値より小さい場合は通知を行わない。したがって、図７の例の場合は、通知は行われない。
　以上述べた方法によれば、対象者が安全な状態にあるのか危険な状態にあるのかを画像から判定することができるので、ベッド上の対象者の危険をいち早く且つ従来よりも精度良く検知可能となる。そして、危険度合いに応じ必要な場合にのみ必要な通知を行うようにすることで、対象者が安全な状態にもかかわらず警報を通知し、看護師等の手間を不必要に煩わせてしまうという問題を解消することができる。
　＜実施例２＞
　図８と図９を参照して実施例２の見守り処理の一例を説明する。図８は、情報処理装置１１により実行される実施例２の見守り処理のフローチャートであり、図９は、危険度合い判定の例である。
　ステップＳ８０において、画像取得部１１０が、撮像装置１０から画像を取得する。取得された画像は記憶部１１６に一時的に記憶される。ステップＳ８１では、検出部１１１が、ステップＳ８０で取得された画像から対象者の頭部を検出する。検出された頭部の位置の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部１１６に記憶される。次に、状態認識部１１２が、所定時間前（例えば１秒前）の画像における頭部の位置の情報を記憶部１１６から読み出し（ステップＳ８２）、所定時間前の頭部の位置とステップＳ８１で検出した頭部の位置に基づき、頭部の移動速度（所定時間あたりの移動量）と移動方向とを算出し、頭部の移動ベクトルを求める（ステップＳ８３）。図９は、判定領域Ａ３内で頭部２２が検出され、頭部２２の移動ベクトルが矢印９０のように計算された例を示している。
　ステップＳ８４では、判定部１１３が、判定領域Ａ３に対応する判定基準を記憶部１１６から読み出す。図９の符号９１、９２は、判定領域Ａ３に対応する判定基準を模式的に図示したものである。符号９１は移動方向に関する判定基準の例であり、実線の矢印９３が「安全な方向」（危険度合い＝１）を、破線の矢印９４が「危険な方向」（危険度合い＝２）を示している。また、符号９２は移動速度（移動量）に関する判定基準の例であり、矢印が長いほど危険度合いが大きいことを示している。この例では、移動速度に応じて１～４の４段階の危険度合いが割り当てられている。
　ステップＳ８５では、判定部１１３が、判定基準９１、９２を用いて、頭部２２の移動ベクトル９０の危険度合いを判定する。例えば、移動方向についての危険度合いと移動速度についての危険度合いの積（乗算値）又は和（加算値）などを、移動ベクトル９０の危険度合いとすることができる。図９の例では、移動方向は安全（危険度合い＝１）であるが、移動速度が大きい（危険度合い＝４）ため、移動ベクトル９０の危険度合いは４（乗算値の場合）という判定結果が得られる。すなわち、頭部２２の移動方向だけをみればベッドから降りる方向ではあるが、その移動速度（移動量）が非常に大きいので、通常のベッドから降りる動作ではなくベッドから転落ないし転倒する動きであるとみなし、危険度合が高いと判定するのである。
　その後、出力部１１４が、危険度合いに応じた通知を行う（ステップＳ８６）。本実施例では、危険度合いが所定の閾値（例えば３）以上の場合に通知（例えばナースコール）を行う（ステップＳ８７）。したがって、図９の例の場合は、通知が行われる。本実施例の方法によっても実施例１と同様、ベッド上の対象者の危険をいち早く且つ従来よりも精度良く検知可能となるとともに、不必要な通知を減らし、看護師等の手間を不必要に煩わせてしまうという問題を解消することができる。
　＜実施例３＞
　図１０を参照して実施例３の見守り処理の一例を説明する。図１０は、情報処理装置１１により実行される実施例３の見守り処理のフローチャートである。
　ステップＳ１００において、画像取得部１１０が、撮像装置１０から画像を取得する。取得された画像は記憶部１１６に一時的に記憶される。ステップＳ１０１では、検出部１１１が、ステップＳ１００で取得された画像から対象者の頭部を検出する。検出された頭部の位置の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部１１６に記憶される。次に、状態認識部１１２が、所定時間前（例えば１秒前）の画像における頭部の位置の情報を記憶部１１６から読み出し（ステップＳ１０２）、所定時間前の頭部の位置とステップＳ１０１で検出した頭部の位置に基づき、頭部の移動速度（所定時間あたりの移動量）を算出する（ステップＳ１０３）。
　ステップＳ１０４では、判定部１１３が、頭部が検出された判定領域に対応する判定基準を記憶部１１６から読み出す。本実施例では、移動速度と危険度合いとを対応付けた判定基準が、判定領域ごとに設定されている。例えば、判定領域Ａ１で頭部が検出される場合、対象者は寝ている状態にあるはずである。したがって、起き上がり動作（上半身を起こす動作）における頭部の一般的な速度（例えば２０ｃｍ／秒）に基づいて、判定領域Ａ１に対する判定基準を設定するとよい（例えば、移動速度が２０ｃｍ／秒以下の場合：危険度合い＝１、２０～４０ｃｍ／秒の場合：危険度合い＝２、４０ｃｍ／秒より大きい場合：危険度合い＝３など）。また、判定領域Ａ３やＡ４で頭部が検出される場合、対象者が次にとり得る動作として、立ち上がり動作が想定される。したがって、立ち上がり動作における頭部の一般的な速度（例えば５０ｃｍ／秒）に基づいて、判定領域Ａ３やＡ４に対する判定基準を設定するとよい（例えば、移動速度が５０ｃｍ／秒以下の場合：危険度合い＝１、５０～８０ｃｍ／秒の場合：危険度合い＝２、８０ｃｍ／秒より大きい場合：危険度合い＝３など）。
　ステップＳ１０５では、判定部１１３が、上述した判定基準を用いて、頭部２２の移動速度の危険度合いを判定する。そして、出力部１１４が、危険度合いに応じた通知を行う（ステップＳ１０６）。本実施例では、危険度合いが所定の閾値（例えば２）以上の場合に通知（例えばナースコール）を行う（ステップＳ１０７）。本実施例の方法によっても実施例１、２と同様、ベッド上の対象者の危険をいち早く且つ従来よりも精度良く検知可能となるとともに、不必要な通知を減らし、看護師等の手間を不必要に煩わせてしまうという問題を解消することができる。
　＜実施例４＞
　図１１を参照して実施例４の見守り処理の一例を説明する。図１１は、情報処理装置１１により実行される実施例４の見守り処理のフローチャートである。
　ステップＳ１１０において、画像取得部１１０が、撮像装置１０から画像を取得する。取得された画像は記憶部１１６に一時的に記憶される。ステップＳ１１１では、検出部１１１が、ステップＳ１００で取得された画像から対象者の頭部を検出する。検出された頭部の位置の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部１１６に記憶される。ステップＳ１１２では、状態認識部１１２が、頭部の向き、移動速度、移動方向を計算する。具体的な計算方法は、実施例１～３で述べたものと同じでよい。
　ステップＳ１１３では、判定部１１３が、頭部が検出された判定領域に対応する判定基準を記憶部１１６から読み出す。そして、判定部１１３は、頭部の向きに対する危険度合い（ステップＳ１１４）、頭部の移動ベクトルに対する危険度合い（ステップＳ１１５）、頭部の移動速度に対する危険度合い（ステップＳ１１６）をそれぞれ計算する。具体的な計算方法は、実施例１～３で述べたものと同じでよい。次にステップＳ１１７において、判定部１１３が、ステップＳ１１４～Ｓ１１６で得られた危険度合いの３つの値を統合して、危険度合いの統合スコアを計算する。例えば、３つのうちの最大値を統合スコアに選んでもよいし、３つないし２つの値の平均値、乗算値、加算値などを統合スコアに選んでもよい。
　ステップＳ１１８では、出力部１１４が、危険度合いの統合スコアに応じた通知を行う。本実施例では、危険度合いの統合スコアが所定の閾値（例えば３）以上の場合に通知（例えばナースコール）を行う（ステップＳ１１９）。本実施例の方法によっても実施例１～３と同様、ベッド上の対象者の危険をいち早く且つ従来よりも精度良く検知可能となるとともに、不必要な通知を減らし、看護師等の手間を不必要に煩わせてしまうという問題を解消することができる。加えて、複数の観点から対象者の危険度合いを評価するので、信頼性及び精度をより高めることができる。
　＜その他＞
　上記の実施形態及び各実施例の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施例１～４では、危険度合いが所定の閾値以上の場合にのみ通知を行う構成としたが、危険度合いに応じて通知の内容や頻度や手段などを切り替える構成としてもよい。また、判定した危険度合いや、危険度合いに応じた通知内容といった情報を、情報処理装置１１の画面上に出力してもよい。この場合に、撮像装置１０から取り込まれた画像における対象者の近傍に上記情報を出力してもよい。また、対象者の連続した動き（寝ている状態→起床→ベッドからの離床）の中で、フレームごと又は各判定領域の危険度合いを平均して出力してもよい。
　１：見守り支援システム、１０：撮像装置、１１：情報処理装置、１１０：画像取得部、１１１：検出部、１１２：状態認識部、１１３：判定部、１１４：出力部、１１５：領域設定部、１１６：記憶部
　１００：照明、１０１：近赤外線カメラ、２０：ベッド、２１：対象者、２２：頭部
　４０～４３：ベッドの四隅の点、４４：ベッド領域、Ａ１～Ａ４：判定領域

Claims (7)

  1. 　ベッド上の対象者の見守りを支援する見守り支援システムであって、
    　撮像装置により撮影された画像を取得する画像取得部と、
    　画像内のベッドの領域に基づき設定される複数の判定領域ごとに、危険な状態を判定するための判定基準があらかじめ設定されている判定基準記憶部と、
    　前記画像取得部により取得された前記画像から前記対象者を検出する検出部と、
    　前記検出部により検出された前記対象者の状態を認識する状態認識部と、
    　前記検出部により前記対象者が検出された位置に対応する判定領域の判定基準を用いて、前記状態認識部で認識された前記対象者の状態の危険度合いを判定する判定部と、
    　前記判定部により判定された危険度合いに応じた通知を行う出力部と、
    を有することを特徴とする見守り支援システム。
  2. 　前記状態認識部は、前記対象者の頭部の状態を認識し、
    　前記判定部は、前記頭部の状態の危険度合いを判定する
    ことを特徴とする請求項１に記載の見守り支援システム。
  3. 　前記頭部の状態は、頭部の向き、頭部の移動速度、頭部の移動方向、頭部の移動ベクトルのうち少なくとも１つ以上の項目を含む
    ことを特徴とする請求項２に記載の見守り支援システム。
  4. 　前記頭部の状態は、頭部の向き、頭部の移動速度、頭部の移動方向、頭部の移動ベクトルのうち複数の項目を含み、
    　前記判定部は、前記複数の項目に関する危険度合いを判定する
    ことを特徴とする請求項２に記載の見守り支援システム。
  5. 　前記出力部は、前記判定された危険度合いが閾値より小さい場合は通知を行わない
    ことを特徴とする請求項１～４のうちいずれか１項に記載の見守り支援システム。
  6. 　ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
    　撮像装置により撮影された画像を取得するステップと、
    　画像内のベッドの領域に基づき設定される複数の判定領域ごとに、危険な状態を判定するための判定基準があらかじめ設定されているステップと、
    　前記取得された前記画像から前記対象者を検出するステップと、
    　前記検出された前記対象者の状態を認識するステップと、
    　前記対象者が検出された位置に対応する判定領域の判定基準を用いて、前記認識された前記対象者の状態の危険度合いを判定するステップと、
    　前記判定された危険度合いに応じた通知を行うステップと、
    を有することを特徴とする見守り支援システムの制御方法。
  7. 　請求項６に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2017/042510 2017-03-02 2017-11-28 見守り支援システム及びその制御方法、並びにプログラム WO2018159036A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/461,253 US10786183B2 (en) 2017-03-02 2017-11-28 Monitoring assistance system, control method thereof, and program
CN201780070868.0A CN109963539B (zh) 2017-03-02 2017-11-28 看护辅助***及其控制方法、以及计算机可读取的记录介质
DE112017007167.4T DE112017007167T5 (de) 2017-03-02 2017-11-28 Überwachungshilfssystem, steuerverfahren dafür und programm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017039385A JP6717235B2 (ja) 2017-03-02 2017-03-02 見守り支援システム及びその制御方法
JP2017-039385 2017-03-02

Publications (1)

Publication Number Publication Date
WO2018159036A1 true WO2018159036A1 (ja) 2018-09-07

Family

ID=63369894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042510 WO2018159036A1 (ja) 2017-03-02 2017-11-28 見守り支援システム及びその制御方法、並びにプログラム

Country Status (5)

Country Link
US (1) US10786183B2 (ja)
JP (1) JP6717235B2 (ja)
CN (1) CN109963539B (ja)
DE (1) DE112017007167T5 (ja)
WO (1) WO2018159036A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021065617A (ja) * 2019-10-28 2021-04-30 コニカミノルタ株式会社 画像処理装置および画像処理プログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102481883B1 (ko) * 2017-09-27 2022-12-27 삼성전자주식회사 위험 상황을 감지하는 방법 및 장치
JP7170411B2 (ja) * 2018-03-29 2022-11-14 キヤノン株式会社 情報処理装置および方法およびコンピュータプログラム、並びに監視システム
US20190328287A1 (en) * 2018-04-27 2019-10-31 Konica Minolta Business Solutions U.S.A., Inc. Entry-exit intervention system, method, and computer-readable medium
DE102019006326A1 (de) 2019-09-09 2021-03-11 Drägerwerk AG & Co. KGaA System und Verfahren zur Überwachung einer Lagesicherheit
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
GB202008326D0 (en) 2020-06-03 2020-07-15 Essence Smartcare Ltd Controlling frame rate of active reflected wave detector
JP7457625B2 (ja) 2020-10-07 2024-03-28 パラマウントベッド株式会社 ベッドシステム
CN112287821B (zh) * 2020-10-28 2023-08-11 业成科技（成都）有限公司 照护对象行为监测方法、装置、计算机设备和存储介质
GB2605647A (en) * 2021-04-09 2022-10-12 Secure Sensor Innovative Design Ltd Method and device
WO2023062688A1 (ja) * 2021-10-11 2023-04-20 日本電気株式会社 監視システム、監視方法、プログラムが格納された非一時的なコンピュータ可読媒体
JP7237382B1 (ja) 2021-12-24 2023-03-13 知能技術株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008307363A (ja) * 2007-05-14 2008-12-25 Kansai Electric Power Co Inc:The 離床予測装置及び離床予測方法
JP2011130827A (ja) * 2009-12-22 2011-07-07 Aisin Seiki Co Ltd 在床状態判定装置
JP2012071004A (ja) * 2010-09-29 2012-04-12 Omron Healthcare Co Ltd 安全看護システム、および、安全看護システムの制御方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4835395A (en) * 1987-10-19 1989-05-30 The United States Of America As Represented By The United States Department Of Energy Continuous aqueous tritium monitor
AU2001261198A1 (en) * 2000-05-05 2001-11-20 Hill-Rom Services, Inc. Patient point of care computer system
US7291118B2 (en) * 2002-09-05 2007-11-06 Biotonix Inc. Method for determining the risk of developing a skeletal condition
US7753991B2 (en) * 2004-07-30 2010-07-13 Kertzman Systems, Inc. Water transport method and assembly including a thin film membrane for the addition or removal of water from gases or liquids
US7319386B2 (en) * 2004-08-02 2008-01-15 Hill-Rom Services, Inc. Configurable system for alerting caregivers
US7487562B2 (en) * 2005-11-30 2009-02-10 Hill-Rom Services, Inc. Hospital bed having head angle alarm
US8045766B2 (en) * 2007-02-16 2011-10-25 Denso Corporation Device, program, and method for determining sleepiness
US7652583B2 (en) * 2007-03-20 2010-01-26 Deere & Company Method and system for maintaining operator alertness
CN101375791A (zh) * 2007-08-31 2009-03-04 佛山普立华科技有限公司 婴儿睡眠状态监视***及方法
US8620625B2 (en) * 2010-07-30 2013-12-31 Hill-Rom Services, Inc. Above bed sensor
US20120046009A1 (en) * 2010-08-23 2012-02-23 Sony Ericsson Mobile Communications Ab Personal Emergency System for a Mobile Communication Device
EP2619724A2 (en) * 2010-09-23 2013-07-31 Stryker Corporation Video monitoring system
US9934427B2 (en) * 2010-09-23 2018-04-03 Stryker Corporation Video monitoring system
US9492341B2 (en) * 2010-10-08 2016-11-15 Hill-Rom Services, Inc. Hospital bed with graphical user interface having advanced functionality
JP5782737B2 (ja) 2011-02-17 2015-09-24 富士通株式会社 状態検知装置、状態検知方法および状態検知プログラム
WO2012111150A1 (ja) 2011-02-18 2012-08-23 パイオニア株式会社 近接場光デバイス及びエネルギー移動の制御方法
WO2012135018A2 (en) * 2011-03-25 2012-10-04 Tk Holdings Inc. System and method for determining driver alertness
EP3566682A1 (en) * 2012-05-22 2019-11-13 Hill-Rom Services, Inc. Dynamic support system with inflatable turn bladders
US11071666B2 (en) * 2012-05-22 2021-07-27 Hill-Rom Services, Inc. Systems, methods, and devices for treatment of sleep disorders
TWI606816B (zh) * 2012-06-28 2017-12-01 亞果摩炫公司 具有腰部及頭部調整之連接床
CN104582661B (zh) * 2012-08-18 2017-11-28 有限会社知财经营社 睡眠姿势控制床***
US10446003B2 (en) * 2012-10-16 2019-10-15 Huntleigh Technology Limited System and methods for monitoring and entrapment prevention for a person disposed in a bed
JP6182917B2 (ja) * 2013-03-15 2017-08-23 ノーリツプレシジョン株式会社 監視装置
CZ306185B6 (cs) * 2013-08-15 2016-09-14 Linet, Spol. S R. O. Lůžko
US10445566B2 (en) * 2014-03-05 2019-10-15 Konica Minolta, Inc. Image processing apparatus, image processing method, and non-transitory recording medium storing computer readable program
US20170014051A1 (en) * 2014-03-20 2017-01-19 Noritsu Precision Co., Ltd. Information processing device, information processing method, and program
WO2015174228A1 (ja) 2014-05-13 2015-11-19 オムロン株式会社 姿勢推定装置、姿勢推定システム、姿勢推定方法、姿勢推定プログラム、および姿勢推定プログラムを記録したコンピュータ読み取り可能な記録媒体
US10363182B2 (en) * 2014-07-14 2019-07-30 Hill-Rom Services, Inc. Patient control arm with phone dock and head of bed lockout
CN104361321B (zh) * 2014-11-13 2018-02-09 侯振杰 一种判断老年人摔倒行为及身体平衡能力的方法
US9940810B2 (en) * 2014-11-19 2018-04-10 Stryker Corporation Person support apparatuses with patient mobility monitoring
US10092242B2 (en) * 2015-01-05 2018-10-09 Sleep Number Corporation Bed with user occupancy tracking
WO2016143641A1 (ja) 2015-03-06 2016-09-15 コニカミノルタ株式会社 姿勢検知装置および姿勢検知方法
US20160307429A1 (en) * 2015-04-14 2016-10-20 Hill-Rom Services, Inc. Monitoring of patient supports
US9836942B2 (en) * 2015-04-24 2017-12-05 Hill-Rom Services, Inc. Estimation and monitoring of patient torso angle
JP2017038777A (ja) * 2015-08-19 2017-02-23 アイホン株式会社 動作認識装置
US20170053190A1 (en) * 2015-08-20 2017-02-23 Elwha Llc Detecting and classifying people observing a person
JP2017042510A (ja) 2015-08-28 2017-03-02 株式会社平和 遊技機
US10682090B2 (en) * 2016-06-29 2020-06-16 General Electric Company Sensing device for controlling the delivery of care to immobile patients
US10447972B2 (en) * 2016-07-28 2019-10-15 Chigru Innovations (OPC) Private Limited Infant monitoring system
US11179286B2 (en) * 2016-10-21 2021-11-23 Zoll Medical Corporation Adaptive body positioning
US10945679B2 (en) * 2017-01-31 2021-03-16 Welch Allyn, Inc. Modular monitoring smart bed
US10482321B2 (en) * 2017-12-29 2019-11-19 Cerner Innovation, Inc. Methods and systems for identifying the crossing of a virtual barrier
US20200008734A1 (en) * 2018-05-07 2020-01-09 Rajneesh Bhandari Method and system for navigating a user for correcting a vestibular condition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008307363A (ja) * 2007-05-14 2008-12-25 Kansai Electric Power Co Inc:The 離床予測装置及び離床予測方法
JP2011130827A (ja) * 2009-12-22 2011-07-07 Aisin Seiki Co Ltd 在床状態判定装置
JP2012071004A (ja) * 2010-09-29 2012-04-12 Omron Healthcare Co Ltd 安全看護システム、および、安全看護システムの制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021065617A (ja) * 2019-10-28 2021-04-30 コニカミノルタ株式会社 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
US10786183B2 (en) 2020-09-29
CN109963539A (zh) 2019-07-02
US20190313948A1 (en) 2019-10-17
DE112017007167T5 (de) 2019-11-14
JP2018143338A (ja) 2018-09-20
JP6717235B2 (ja) 2020-07-01
CN109963539B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
WO2018159036A1 (ja) 見守り支援システム及びその制御方法、並びにプログラム
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
WO2016143641A1 (ja) 姿勢検知装置および姿勢検知方法
JP6822328B2 (ja) 見守り支援システム及びその制御方法
WO2016199495A1 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
JP6119938B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
US10762761B2 (en) Monitoring assistance system, control method thereof, and program
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
JP6822326B2 (ja) 見守り支援システム及びその制御方法
JP6729510B2 (ja) 見守り支援システム及びその制御方法
JP2018533240A (ja) 占有検出
JP6870514B2 (ja) 見守り支援システム及びその制御方法
JP6791731B2 (ja) 姿勢判定装置及び通報システム
JP2005258830A (ja) 人物行動理解システム
TWI697869B (zh) 姿態判斷方法、電子系統以及非暫態電腦可讀取記錄媒體
JP6729512B2 (ja) 見守り支援システム及びその制御方法
JP2021033379A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2021024691A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP6635074B2 (ja) 見守り支援システム及びその制御方法
US20220054046A1 (en) Assessing patient out-of-bed and out-of-chair activities using embedded infrared thermal cameras
JP2023051147A (ja) ナースコールシステム、および状態判断システム
JP2024046924A (ja) 転倒検出装置、転倒検出システム、転倒検出方法、およびプログラム
JP2023051148A (ja) ナースコールシステム、および状態判断システム

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898905

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17898905

Country of ref document: EP

Kind code of ref document: A1