WO2016185738A1 - 画像解析装置、画像解析方法、及び、画像解析プログラム - Google Patents

画像解析装置、画像解析方法、及び、画像解析プログラム Download PDF

Info

Publication number
WO2016185738A1
WO2016185738A1 PCT/JP2016/053347 JP2016053347W WO2016185738A1 WO 2016185738 A1 WO2016185738 A1 WO 2016185738A1 JP 2016053347 W JP2016053347 W JP 2016053347W WO 2016185738 A1 WO2016185738 A1 WO 2016185738A1
Authority
WO
WIPO (PCT)
Prior art keywords
bed
person
watched
image
behavior
Prior art date
Application number
PCT/JP2016/053347
Other languages
English (en)
French (fr)
Inventor
松本　修一
Original Assignee
ノ－リツプレシジョン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノ－リツプレシジョン株式会社 filed Critical ノ－リツプレシジョン株式会社
Priority to JP2017518775A priority Critical patent/JP6607253B2/ja
Publication of WO2016185738A1 publication Critical patent/WO2016185738A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image analysis apparatus, an image analysis method, and an image analysis program.
  • Patent Document 1 proposes a method of detecting the behavior of the watching target person based on whether or not at least a part of the body of the watching target has deviated from a preset monitoring area.
  • a rectangular monitoring region is set in a predetermined range on the bed surface, and a hemispherical monitoring region is set in a range covering the entire bed.
  • Patent Document 2 a method for extracting a foreground area from a captured image including the depth of each pixel and estimating the behavior of the watching target person based on the positional relationship between the extracted foreground area and a bed or the like. Proposed.
  • each estimation condition is set on the assumption that the extracted foreground area is related to the behavior of the person being watched over, and whether or not the positional relationship between the extracted foreground area and the bed satisfies each estimation condition. By determining whether or not, the behavior of the person being watched over can be detected.
  • the watching target person's rising, end sitting position, over fence, dropping, and getting out of the floor are exemplified as the detection target actions.
  • the slip-down refers to an action when the person being watched over changes from the state of being on the bed to the state of falling under the bed, for example, taking a time of about several minutes.
  • an elderly person whose muscle strength has declined significantly and is difficult to get up by himself, when trying to get out of bed by himself, gets his feet off the bed and tries to get up while clinging to the bed fence. At this time, the elderly person cannot raise his / her upper body and may gradually fall out of the bed from the lower body while holding onto the bed fence. A series of actions that gradually fall out of the bed corresponds to the sliding behavior of the person being watched over.
  • the present invention has been made in consideration of such points, and an object of the present invention is to provide a technique for detecting a person being watched over.
  • the present invention adopts the following configuration in order to solve the above-described problems.
  • the image analysis device includes an image acquisition unit that acquires a captured image captured by a capturing device installed to watch the behavior of the person being watched over in the bed, and the acquired captured image. And a foreground extraction unit that extracts a foreground region of the acquired captured image by calculating a difference between the background image set as a background of the captured image and the position of the extracted foreground region A behavior detection unit that detects the behavior of the watching target person in the bed by analyzing the behavior of the watching target person.
  • the behavior detection unit is a detection area for falling that is set to detect the falling of the person being watched from the bed, and is set within a predetermined height range from the bed surface at the bedside.
  • a captured image captured by a capturing device installed to monitor the behavior of the person being watched over in the bed is acquired, and the acquired captured image and the background image set as the background of the captured image The difference is calculated.
  • a foreground region is extracted from the acquired captured image (so-called background subtraction method).
  • the foreground area is extracted from the background image at a place where a change has occurred. Therefore, when the watching target person performs some action, a foreground region corresponding to the watching target person is extracted at a location where the watching target person has moved due to the action. Therefore, the behavior of the watching target person can be analyzed based on the position of the extracted foreground region.
  • the slipping is an action when the person being watched over changes from the state of falling on the bed to the state of falling below the bed, for example, gradually over a period of several minutes. Therefore, when the watching target person slides down from the bed, a foreground area having a predetermined size or more corresponding to the watching target person can continuously appear in a range of a predetermined height from the bed surface on the bedside.
  • a detection area for the fall is set within a predetermined height range from the bed surface on the bedside. Then, it is determined whether or not a foreground region having a predetermined size or more continuously appears in the slip detection region for a predetermined time or more. As a result, when it is determined that a foreground area of a predetermined size or more has continuously appeared in the detection area for sliding down for a predetermined time or longer, it is possible to detect sliding down of the watching target person from the bed. Therefore, according to the above configuration, it is possible to provide a technique for detecting a fall of the person being watched over.
  • the behavior detection unit is configured such that a person other than the watching target person is present on the bedside based on the analysis of the extracted foreground region. It may be determined whether one condition and a second condition in which the person being watched over performs a behavior other than sleeping on the bed are satisfied. And when the said action detection part determines that at least any one of the said 1st condition and the said 2nd condition is satisfy
  • the slip-down detection area for detecting slip-off from the bed of the person being watched over is set at the bedside. Therefore, if a person other than the person being watched over is present on the bedside, the foreground area corresponding to the person other than the person being watched over is mistaken for the foreground area corresponding to the person being watched, and There is a possibility of misdetecting the slipping-down.
  • the person to be watched is in a state other than sleeping on the bed (for example, the person to be watched is getting up on the bed, leaving the bed, etc.)
  • the foreground area appears in the detection area for slipping down by an action other than. Therefore, when the watching target person is in a state other than sleeping on the bed, there is a possibility that an action other than the falling of the watching target person is erroneously detected as the falling action. Further, in such a case, there is almost no possibility that the person being watched over will fall off the bed, and the necessity of detecting the person being watched off from the bed will be extremely low.
  • the first condition that a person other than the person to be watched exists on the bedside and the action other than the person to be watched go to sleep on the bed are performed. Whether or not the second condition is satisfied is determined. And when at least any one of the 1st condition and the 2nd condition is fulfilled, execution of the judgment processing which detects slipping off of a person to watch over from a bed is stopped. On the other hand, when both the first condition and the second condition are not satisfied, the execution of the determination process for detecting the passing of the watching target person from the bed is started. Thereby, according to the said structure, the misdetection of the slipping which arises in the above cases can be prevented.
  • the image analysis device when it is determined that both the first condition and the second condition are not satisfied, the bed of the person being watched over.
  • the image processing apparatus when starting execution of a determination process for detecting slipping off from the camera, the image processing apparatus further includes a background image update unit configured to update the background image by setting the captured image acquired at this time as the background image. Also good.
  • the background state may change in the bedside area
  • a case where a person other than the person being watched over arranges a wheelchair, a drip stand or the like on the bedside corresponds to a case where the background state is changed in the bedside region.
  • the foreground area appears in the detection area for slipping set in the bedside, and erroneously detects the falling of the person being watched off from the bed.
  • the execution of the determination process which detects the fall of a monitoring subject when the execution of the determination process which detects the fall of a monitoring subject is started, it sets to the background image, and it uses for extraction of a foreground area
  • the background image is updated. Therefore, even if the background state is changed in the bedside area for the reasons described above, the background image is updated with the captured image obtained after the change has occurred. It is possible to prevent the foreground area from being extracted. Therefore, according to the said structure, the misdetection of the slipping which arises in the above cases can be prevented.
  • the sliding detection area may be set at a position separated from the bed by at least the thickness of the futon.
  • the detection area for sliding-down for detecting sliding-off from the bed of the person being watched over is set at the bedside.
  • the detection area for slipping is set in the position away from the bed at least for the thickness of the futon. Therefore, according to the said structure, the misdetection of the slipping down resulting from the futon protruding from the bed can be prevented.
  • the image acquisition unit may acquire a captured image including depth data indicating the depth of each pixel in the captured image.
  • the foreground extraction unit may extract the foreground region of the acquired captured image by calculating a difference between the background image including depth data and the acquired captured image.
  • the behavior detection unit analyzes the behavior of the person being watched over based on the position of the foreground region specified in the real space by referring to the depth of each pixel included in the extracted foreground region.
  • the behavior of the watching target person in the bed may be detected.
  • the captured image and the background image each include depth data indicating the depth of each pixel.
  • the depth of each pixel expresses the depth of the subject shown in each pixel. Therefore, according to the depth data, the position of the subject in the real space can be specified. Therefore, according to the said structure, the position in the real space of the target object which exists in watching space, such as a monitoring object person and a bed, can be specified, without depending on the installation place and visual field direction of an imaging device. Therefore, according to the said structure, it is not limited to the installation conditions of an imaging device, A watched person's action can be detected accurately.
  • the image analysis device detects that the person being watched off has fallen from the bed. You may further provide the notification part which performs the notification for notifying that it exists in a state. According to the said structure, it can notify that the slipping-down from the bed of a monitoring subject was detected.
  • the notification destination and the notification method can be appropriately selected according to the embodiment.
  • the notification may be made to the watcher.
  • a watcher is a person who watches over the behavior of the person being watched over. When the person to be watched is an inpatient, a facility resident, a care recipient, etc., the watcher is, for example, a nurse, a facility staff, a caregiver, or the like.
  • an information processing system that realizes each of the above-described configurations, an information processing method, or a program may be used. It may be a storage medium that can be read by a computer, other devices, machines, or the like in which such a program is recorded.
  • the computer-readable recording medium is a medium that stores information such as programs by electrical, magnetic, optical, mechanical, or chemical action.
  • the information processing system may be realized by one or a plurality of information processing devices.
  • the computer acquires a captured image captured by an imaging device installed to watch the behavior of the person being watched over in the bed, and the acquired image capturing Extracting a foreground region of the acquired captured image by calculating a difference between the image and a background image set as a background of the captured image, and monitoring based on the extracted position of the foreground region Detecting the behavior of the person to be watched in the bed by analyzing the behavior of the person to be watched, and detecting the behavior of the person to be watched from the bed in the step of detecting the behavior of the person to be watched This is a slip-down detection area that is set to detect a fall, and is set within a predetermined height range from the bed surface at the bedside.
  • an image analysis program is obtained by acquiring a photographed image photographed by a photographing device installed in a computer so as to watch the behavior of the person being watched over in the bed. Extracting a foreground region of the acquired captured image by calculating a difference between the captured image and a background image set as a background of the captured image, and based on the extracted position of the foreground region Analyzing the behavior of the person being watched over, detecting the action in the bed of the person being watched over, and detecting the action of the person being watched over from the bed of the person being watched over This is a detection area for slippage that is set to detect slippage, and has a predetermined height from the bed surface at the bedside.
  • FIG. 1 schematically illustrates an example of a scene to which the present invention is applied.
  • FIG. 2 illustrates a hardware configuration of the image analysis apparatus according to the embodiment.
  • FIG. 3 illustrates the relationship between the depth acquired by the camera according to the embodiment and the subject.
  • FIG. 4 illustrates a functional configuration of the image analysis apparatus according to the embodiment.
  • FIG. 5 exemplifies a processing procedure related to behavior analysis of the watching target person in the image analysis apparatus according to the embodiment.
  • FIG. 6 illustrates a captured image acquired by the camera according to the embodiment.
  • FIG. 7 illustrates the coordinate relationship in the captured image according to the embodiment.
  • FIG. 8 illustrates the positional relationship between an arbitrary point (pixel) of the captured image and the camera in the real space according to the embodiment.
  • FIG. 9 exemplifies a three-dimensional distribution of the subject within the shooting range specified based on the depth data included in the shot image.
  • FIG. 10 illustrates a three-dimensional distribution of the foreground region extracted from the captured image.
  • FIG. 11A schematically illustrates a scene in which a watching target person is detected on the bed.
  • FIG. 11B schematically illustrates a scene in which the watching target person is detected on the bed.
  • FIG. 12A schematically illustrates a scene in which an end sitting position in the bed of the person being watched over is detected.
  • FIG. 12B schematically illustrates a scene in which the sitting position of the watching target person in the bed is detected.
  • FIG. 13A schematically illustrates a scene in which a person being watched is detected getting out of bed.
  • FIG. 13B schematically illustrates a scene in which the person being watched over is detected getting out of bed.
  • FIG. 14A schematically illustrates a scene in which a person being watched over is detected from falling off the bed.
  • FIG. 14B schematically illustrates a scene in which a person being watched over is detected from falling off the bed.
  • FIG. 15 is a state transition diagram illustrating a change in the determination processing mode for slip detection.
  • FIG. 16 exemplifies a processing procedure related to the control of the determination processing mode for slip detection.
  • FIG. 17A illustrates a scene where a third party exists on the bedside.
  • FIG. 17B illustrates a scene where a third party exists on the bedside.
  • this embodiment will be described with reference to the drawings.
  • this embodiment described below is only an illustration of the present invention in all respects. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention. That is, in implementing the present invention, a specific configuration according to the embodiment may be adopted as appropriate.
  • data appearing in the present embodiment is described in a natural language, more specifically, it is specified by a pseudo language, a command, a parameter, a machine language, or the like that can be recognized by a computer.
  • FIG. 1 schematically illustrates a scene where the image analysis apparatus 1 according to the present embodiment is used.
  • the image analysis apparatus 1 according to the present embodiment is an information processing apparatus that detects a person to be watched by photographing the person to be watched by the camera 2 and analyzing the captured image 3 obtained thereby. Therefore, the image analysis apparatus 1 according to the present embodiment can be widely used in a scene where the watching target person is watched.
  • the image analysis apparatus 1 photographs a person to be watched by a camera 2.
  • the camera 2 corresponds to the “photographing device” of the present invention.
  • the person to be watched over is a person to be watched over, for example, an inpatient, a facility resident, or a care recipient.
  • the person to be watched is sleeping on the bed, for example, and the camera 2 is installed to photograph the action of the person to be watched in such a state.
  • the camera 2 may be arranged at any location as long as it can shoot the range in which the person to be watched is watched.
  • the image analysis apparatus 1 acquires a captured image 3 captured by such a camera 2. Then, the image analysis apparatus 1 calculates the difference between the acquired captured image 3 and a background image (background image 4 described later) set as the background of the captured image 3, thereby acquiring the acquired captured image 3. Extract the foreground area. That is, the image analysis apparatus 1 extracts the foreground region of the captured image 3 based on a so-called background difference method.
  • the foreground area is extracted at a place where there is a difference between the photographed image 3 and the background image, in other words, a place where a change has occurred from the background image. Therefore, when the watching target person performs some action, a foreground region corresponding to the watching target person is extracted at a location where the watching target person has moved due to the action. For example, as illustrated in FIG. 1, when the watching target person gets up on the bed, the foreground area appears in a predetermined height range on the bed surface. Therefore, the image analysis device 1 detects the behavior of the watching target person in the bed by analyzing the behavior of the watching target person based on the extracted position of the foreground region.
  • sliding down is an action when the person being watched over gradually changes from a state of falling on the bed to a state of falling under the bed over a relatively long time. Therefore, when the watching target person slides down from the bed, the body of the watching target person gradually shifts from the top of the bed to the bottom of the bed at the bedside. Therefore, if the person being watched over falls from the bed, the path of the body of the person being watched moves, in other words, within a predetermined height range from the bed surface on the bedside, to the body part of the person being watched over. A corresponding foreground area of a predetermined size or larger may continuously appear.
  • a fall detection area (a fall detection area DD to be described later) within a predetermined height range from the bed surface on the bedside. Is set.
  • the image analysis apparatus 1 determines whether or not a foreground region having a predetermined size or more continuously appears in the detection region for slippage for a predetermined time or more. And when it determines with the foreground area
  • the arrangement location of the image analysis apparatus 1 can be appropriately determined according to the embodiment as long as the captured image 3 can be acquired from the camera 2.
  • the image analysis apparatus 1 may be disposed so as to be close to the camera 2 as illustrated in FIG.
  • the image analysis apparatus 1 may be connected to the camera 2 via a network, or may be disposed at a place completely different from the camera 2.
  • FIG. 2 illustrates the hardware configuration of the image analysis apparatus 1 according to the present embodiment.
  • the image analysis apparatus 1 stores a control unit 11 including a CPU, a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, a program 5 executed by the control unit 11, and the like.
  • Unit 12 a touch panel display 13 for displaying and inputting images, a speaker 14 for outputting sound, an external interface 15 for connecting to an external device, a communication interface 16 for communicating via a network, and This is a computer to which a drive 17 for reading a program stored in the storage medium 6 is electrically connected.
  • the communication interface and the external interface are described as “communication I / F” and “external I / F”, respectively.
  • the components can be omitted, replaced, and added as appropriate according to the embodiment.
  • the control unit 11 may include a plurality of processors.
  • the touch panel display 13 may be replaced with an input device and a display device that are separately connected independently.
  • the speaker 14 may be omitted.
  • the speaker 14 may be connected to the image analysis device 1 as an external device instead of as an internal device of the image analysis device 1.
  • the image analysis apparatus 1 may incorporate a camera 2.
  • the image analysis device 1 may include a plurality of external interfaces 15 and may be connected to a plurality of external devices.
  • the camera 2 is connected to the image analysis apparatus 1 via the external interface 15.
  • This camera 2 corresponds to the photographing apparatus of the present invention.
  • the camera 2 according to the present embodiment includes a depth sensor 21 for measuring the depth of the subject.
  • the type and measurement method of the depth sensor 21 may be appropriately selected according to the embodiment.
  • the depth sensor 21 may be a sensor of TOF (TimeFOf Flight) method or the like.
  • the configuration of the camera 2 does not have to be limited to such an example, and can be appropriately selected according to the embodiment.
  • the camera 2 may be a stereo camera. Since the stereo camera shoots the subject within the shooting range from a plurality of different directions, the depth of the subject can be recorded.
  • the camera 2 may be replaced with the depth sensor 21 alone.
  • the depth sensor 21 may be an infrared depth sensor that measures the depth based on infrared irradiation so that the depth can be acquired without being affected by the brightness of the shooting location.
  • relatively inexpensive imaging devices including such an infrared depth sensor include Kinect from Microsoft, Xtion from ASUS, and Stucture® Sensor from Occipital.
  • FIG. 3 shows an example of a distance that can be handled as the depth according to the present embodiment.
  • the depth represents the depth of the subject.
  • the depth of the subject may be expressed by, for example, a straight line distance A between the camera 2 and the object, or a perpendicular distance B from the horizontal axis with respect to the subject of the camera 2. It may be expressed as
  • the depth according to the present embodiment may be the distance A or the distance B.
  • the distance B is treated as the depth.
  • the distance A and the distance B can be converted into each other by using, for example, the three-square theorem. Therefore, the following description using the distance B can be applied to the distance A as it is.
  • the image analysis apparatus 1 according to the present embodiment can specify the position of the subject in the real space.
  • This camera 2 is installed so that the area around the bed can be photographed in order to watch the behavior of the person being watched on in the bed.
  • the camera 2 is arranged so as to photograph the person being watched over from the footboard side of the bed.
  • the camera 2 is configured to be able to measure the depth of the subject.
  • the position of the subject in the real space can be specified without depending on the installation location and the shooting direction of the camera 2. Therefore, the installation location and the shooting direction of the camera 2 do not have to be limited to such an example, and may be appropriately selected according to the embodiment as long as the area around the bed can be shot.
  • the storage unit 12 stores the program 5.
  • the program 5 is a program for causing the image analysis apparatus 1 to execute each process related to setting of a background image, which will be described later, and corresponds to the “image analysis program” of the present invention.
  • the program 5 may be recorded on the storage medium 6.
  • the storage medium 6 stores information such as a program by an electrical, magnetic, optical, mechanical, or chemical action so that information such as a program recorded by a computer or other device or machine can be read. It is a medium to do.
  • the storage medium 6 corresponds to the “storage medium” of the present invention.
  • 2 illustrates a disk-type storage medium such as a CD (Compact Disk) or a DVD (Digital Versatile Disk) as an example of the storage medium 6.
  • the type of the storage medium 6 is not limited to the disk type and may be other than the disk type. Examples of the storage medium other than the disk type include a semiconductor memory such as a flash memory.
  • an image analysis apparatus 1 may be, for example, an apparatus designed exclusively for a service to be provided, or a general-purpose apparatus such as a PC (Personal Computer) or a tablet terminal. Furthermore, the image analysis apparatus 1 may be implemented by one or a plurality of computers.
  • FIG. 4 illustrates a functional configuration of the image analysis apparatus 1 according to the present embodiment.
  • the control unit 11 of the image analysis device 1 expands the program 5 stored in the storage unit 12 in the RAM.
  • the control part 11 interprets and runs the program 5 expand
  • the image analysis apparatus 1 functions as a computer including the image acquisition unit 111, the foreground extraction unit 112, the behavior detection unit 113, the background update unit 114, and the notification unit 115.
  • the image acquisition unit 111 acquires a captured image 3 captured by the camera 2. Since the camera 2 includes the depth sensor 21, the acquired captured image 3 includes depth data indicating the depth of each pixel in the captured image 3.
  • the foreground extraction unit 112 extracts the foreground region of the acquired captured image 3 by calculating the difference between the acquired captured image 3 and the background image 4 set as the background of the captured image 3. That is, the foreground extraction unit 112 extracts a foreground region that is a region changed from the background in the captured image 3 based on a so-called background subtraction method.
  • the behavior detection unit 113 detects the behavior of the person being watched over based on the analysis of the extracted foreground region.
  • the foreground region is extracted from the background image 4 at a place where a change has occurred. Therefore, when the watching target person performs some action, a foreground region corresponding to the watching target person is extracted at a location where the watching target person has moved due to the action. Therefore, the behavior detection unit 113 detects the behavior of the watching target person in the bed by analyzing the behavior of the watching target person based on the extracted position of the foreground region.
  • the behavior detection unit 113 is configured to be able to detect a fall of the watching target person from the bed. Specifically, in order to detect a fall of the person being watched over from the bed, a detection area for the fall is set within a predetermined height range from the bed surface on the bedside. This slip-down detection area may be set by the user or may be set in advance on the system.
  • the behavior detection unit 113 determines whether or not a foreground region having a predetermined size or more continuously appears in the detection region for slipping down for a predetermined time or more. When the behavior detection unit 113 determines that a foreground area of a predetermined size or more has continuously appeared in the detection area for sliding down for a predetermined time or longer, the behavior detecting unit 113 detects the falling of the watching target person from the bed.
  • the background update unit 114 updates the background image 4 used by the foreground extraction unit 112 with the acquired captured image 3.
  • the background update unit 114 sets the captured image 3 acquired at this time to the background image 4 when starting the execution of the determination process for detecting slipping off the bed of the person being watched over.
  • the background image 4 held in the analysis device 1 is updated.
  • the notification unit 115 detects that the watching target person has slipped off the bed, the notification unit 115 performs a notification for notifying that the watching target person is falling off the bed.
  • FIG. 5 illustrates a processing procedure related to the behavior analysis of the person being watched over by the image analysis apparatus 1.
  • the processing procedure related to the behavior analysis of the person to be watched described below corresponds to the “image analysis method” of the present invention.
  • the processing procedure related to the behavior analysis of the watching target person described below is merely an example, and each process may be changed as much as possible. Further, in the processing procedure described below, steps can be omitted, replaced, and added as appropriate according to the embodiment.
  • Step S101 In step S ⁇ b> 101, the control unit 11 functions as the image acquisition unit 111 and acquires the captured image 3 captured by the camera 2. And if the picked-up image 3 is acquired, the control part 11 will advance a process to following step S102.
  • the camera 2 includes the depth sensor 21. Therefore, the captured image 3 acquired in this step S101 includes depth data indicating the depth of each pixel.
  • the control unit 11 acquires the captured image 3 illustrated in FIG. 6 as the captured image 3 including the depth data.
  • FIG. 6 shows an example of the captured image 3 including depth data.
  • the captured image 3 illustrated in FIG. 6 is an image in which the gray value of each pixel is determined according to the depth of each pixel.
  • a black pixel is closer to the camera 2.
  • a white pixel is farther from the camera 2.
  • This captured image 3 may be referred to as a depth image.
  • the control unit 11 can specify the position of each pixel in the real space. That is, the control unit 11 can specify the position in the three-dimensional space (real space) of the subject captured in each pixel from the coordinates (two-dimensional information) and the depth of each pixel in the captured image 3. .
  • FIG. 7 illustrates the coordinate relationship in the captured image 3.
  • FIG. 8 illustrates the positional relationship between an arbitrary pixel (point s) of the captured image 3 and the camera 2 in the real space. 7 corresponds to a direction perpendicular to the paper surface of FIG. That is, the length of the captured image 3 shown in FIG. 8 corresponds to the length in the vertical direction (H pixels) illustrated in FIG. Further, the length in the horizontal direction (W pixels) illustrated in FIG. 7 corresponds to the length in the vertical direction of the photographed image 3 that does not appear in FIG.
  • the coordinates of an arbitrary pixel (point s) of the captured image 3 are (x s , y s ), the horizontal angle of view of the camera 2 is V x , and the vertical image. Assume that the corner is V y . Further, it is assumed that the number of pixels in the horizontal direction of the captured image 3 is W, the number of pixels in the vertical direction is H, and the coordinates of the center point (pixel) of the captured image 3 are (0, 0).
  • the control unit 11 can acquire information indicating the angle of view (V x , V y ) of the camera 2 from the camera 2.
  • the method for acquiring information indicating the angle of view (V x , V y ) of the camera 2 is not limited to such an example, and the control unit 11 is information indicating the angle of view (V x , V y ) of the camera 2. May be acquired based on user input, or may be acquired as a preset setting value.
  • the control unit 11 can acquire the coordinates (x s , y s ) of the point s and the number of pixels (W ⁇ H) of the captured image 3 from the captured image 3.
  • the control unit 11 can acquire the depth Ds of the point s by referring to the depth data included in the captured image 3.
  • the control unit 11 can specify the position of each pixel (point s) in the real space by using these pieces of information. For example, the control unit 11 performs vector S (S x , S y , S z) from the camera 2 to the point s in the camera coordinate system illustrated in FIG. , 1) can be calculated. Thereby, the position of the point s in the two-dimensional coordinate system in the captured image 3 and the position of the point s in the camera coordinate system can be mutually converted.
  • the vector S is a vector of a three-dimensional coordinate system centered on the camera 2.
  • the camera 2 may be tilted with respect to the horizontal direction. That is, the camera coordinate system may be tilted from the world coordinate system in the three-dimensional space (real space). Therefore, the control unit 11 applies the projective transformation using the roll angle, pitch angle ( ⁇ in FIG. 8), and yaw angle of the camera 2 to the vector S, so that the vector S of the camera coordinate system is converted to the world coordinate system. And the position of the point s in the world coordinate system may be calculated.
  • the data format of the captured image 3 including the depth data may not be limited to such an example, and may be appropriately selected according to the embodiment.
  • the captured image 3 may be data (for example, a depth map) in which the depth of the subject within the imaging range is two-dimensionally distributed.
  • the captured image 3 may include an RGB image together with the depth data.
  • the captured image 3 may be a moving image or one or a plurality of still images.
  • the control unit 11 may acquire such a captured image 3 in synchronization with the video signal of the camera 2. Then, the control unit 11 may immediately execute processing from steps S102 to S105 described later on the captured image 3 acquired in synchronization with the camera 2.
  • the image analysis apparatus 1 can perform real-time image processing by continuously executing such an operation continuously, and can perform real-time monitoring of a person to be watched existing in the shooting range of the camera 2. In the following, an example in which the watching target person is watched by the captured images 3 continuously acquired as described above will be described.
  • Step S102 Returning to FIG. 5, in the next step S ⁇ b> 102, the control unit 11 functions as the foreground extraction unit 112, and the difference between the captured image 3 acquired in step S ⁇ b> 101 and the background image 4 set as the background of the captured image 3. Is calculated to extract the foreground region of the captured image 3.
  • the background image 4 is data used to extract a foreground region in the captured image 3 based on the background difference method.
  • the control unit 11 can create the background image 4 by using the captured image 3 acquired at an arbitrary timing, for example, when watching of the watching target person is started.
  • the method for creating the background image 4 from the captured image 3 may be selected as appropriate according to the embodiment.
  • the control unit 11 may set the captured image 3 for one frame obtained by the camera 2 as the background image 4 as it is.
  • the control unit 11 may create the background image 4 by calculating the average of the captured images 3 for several frames obtained by the camera 2. Thereby, the background image 4 including the depth data indicating the depth of each pixel can be generated.
  • step S102 the control unit 11 extracts a foreground region in the captured image 3 acquired in step S101 by calculating a difference between the background image 4 thus created and the captured image 3 acquired in step S101. To do.
  • the control unit 11 can extract the foreground region in the captured image 3 as illustrated in FIGS. 9 and 10.
  • FIG. 9 illustrates a three-dimensional distribution of each pixel (subject) within the shooting range specified based on the depth data included in the shot image 3.
  • FIG. 10 illustrates a three-dimensional distribution of the foreground region extracted from the captured image 3 among the subjects illustrated in FIG.
  • the position of each pixel of the captured image 3 in the three-dimensional space (real space) can be specified based on the depth data. Therefore, by plotting each pixel in the three-dimensional space according to the position and depth in the captured image 3, a three-dimensional distribution as illustrated in FIG. 9 can be created.
  • the background image 4 also includes depth data, similar to the captured image 3. Therefore, also for the background image 4, the three-dimensional distribution of each pixel as exemplified in FIG. 9 can be specified.
  • control unit 11 compares the depths of the corresponding pixels of the captured image 3 and the background image 4. Then, the control unit 11 extracts pixels having different depths as the foreground region between the captured image 3 and the background image 4. Thereby, the control unit 11 can extract the foreground region as exemplified in FIG.
  • the control unit 11 advances the processing to the next step S103.
  • Step S103 the control unit 11 functions as the behavior detection unit 113, and analyzes the behavior of the person being watched over based on the position of the foreground region extracted in step S102.
  • the captured image 3 includes depth data. Therefore, the control unit 11 specifies the position of the foreground area in the real space as exemplified in FIG. 10 by referring to the depth of each pixel included in the foreground area. Then, the control unit 11 analyzes the behavior of the person being watched over based on the position of the foreground region in the real space. Thereby, the control part 11 detects the action in a monitoring subject's bed.
  • the method of analyzing the behavior of the person being watched over based on the position of the foreground region can be set as appropriate according to the embodiment. That is, the method for detecting the behavior of the person being watched over, the predetermined condition for detecting each behavior, and the behavior to be detected may be appropriately selected according to the embodiment.
  • a method for detecting the behavior of the watching target person a method for detecting the watching target person's rising, end-sitting position, getting out of bed, and sliding down based on the positional relationship between the foreground region and the bed will be described.
  • FIG. 11A schematically illustrates a state in which a watching target person gets up on the bed as seen from the bedside side.
  • FIG. 11B schematically illustrates a state where the watching target person gets up on the bed as viewed from the footboard side.
  • the direction connecting the headboard and the footboard of the bed is referred to as “front-rear direction”
  • the direction connecting the side frames is referred to as “left-right direction”
  • the vertical direction of the bed is “ It is referred to as “vertical direction”.
  • the rising detection area DA may be set at a position having a predetermined height HA from the bed surface SU. Then, the control unit 11 may detect rising on the bed of the person being watched over when a foreground area exceeding a predetermined size appears in the detection area DA for rising.
  • the range of the bed surface SU may be set in advance on the system, or may be set as appropriate by the user.
  • the captured image 3 includes depth data. Therefore, the bed surface SU may be appropriately set on the three-dimensional space of the shooting range of the camera 2 illustrated in FIGS.
  • the rising detection area DA may be set in advance on the system or may be set as appropriate by the user. Further, the rising detection area DA may be set as appropriate on the three-dimensional space of the shooting range of the camera 2.
  • the predetermined height HA that defines the range of the detection area DA for rising and the ranges in the front-rear direction, the left-right direction, and the vertical direction of the detection area DA for rising are foreground areas that are extracted when the watching target person gets up on the bed. Is set as appropriate.
  • the threshold value of the size of the foreground area which is a reference for detecting rising, may be appropriately set according to the embodiment.
  • the size of the foreground area may be given by the number of pixels included in the foreground area.
  • the depth of the subject appearing in the captured image 3 is acquired with respect to the surface of the subject, the area of the surface portion of the subject corresponding to each pixel of the captured image 3 does not always match between the pixels.
  • the control unit 11 may calculate the area of the extracted foreground region in the real space using the depth of each pixel in step S103 in order to exclude the influence of the subject's perspective.
  • the area of the foreground area in the real space can be calculated as follows, for example. That is, the control unit 11 first determines the length of the arbitrary point s (one pixel) illustrated in FIGS. 7 and 8 in the real space in the real space on the basis of the following relational expressions 4 and 5. Each of w and / or length h in the vertical direction is calculated.
  • control unit 11 calculates the area of one pixel in the real space at the depth Ds by the square of w calculated in this way, the square of h, or the product of w and h. And the control part 11 calculates the area in the real space of a foreground area
  • the size of the foreground region can be obtained by excluding the influence of the distance of the subject. The same applies to the size of the foreground area calculated when detecting an action other than rising.
  • control unit 11 may use the average of the areas for several frames.
  • the control unit 11 determines the corresponding region. You may exclude from a process target.
  • control unit 11 may monitor the subject appearing in the foreground area of a predetermined size that appears in the rising detection area DA and estimate the subject as a target person. Then, when each process of the behavior analysis is repeated thereafter, the control unit 11 is extracted from each captured image 3 by tracking (tracking) the foreground area estimated as the area in which the watching target person is captured. Or you may identify the foreground area
  • FIG. 12A schematically illustrates a state in which the person being watched is viewing the end sitting position on the bed from the bedside side.
  • FIG. 12B schematically illustrates a state in which a watching target person is performing an end sitting position on the bed as viewed from the footboard side.
  • the end sitting position detection area DB may be set at a position near the side frame on the bed surface SU.
  • the control unit 11 may detect the end sitting position on the bed of the person being watched over when a foreground area exceeding a predetermined size appears in the end sitting position detection area DB.
  • the control unit 11 may detect the end sitting position on the bed of the person being watched over when the foreground area being tracked enters the end sitting position detection area DB after detecting the rising.
  • the edge sitting position detection area DB may be set in advance on the system, or may be set as appropriate by the user. Further, the end-sitting position detection area DB may be set as appropriate on a three-dimensional space of the imaging range of the camera 2. The position of the edge sitting position detection area DB and the range in each direction are appropriately set so as to include the foreground area extracted when the person to be watched performs the edge sitting position. Furthermore, the threshold value of the size of the foreground region that is a reference for detecting the end sitting position may be appropriately set according to the embodiment. This threshold value may be different from the threshold value when detecting the rising.
  • the end sitting position detection area DB is set above the bed surface SU.
  • the setting range of the end sitting position detection area DB may not be limited to such an example, and the end sitting position detection area DB may include an area below the bed surface SU.
  • the end-sitting position detection areas DB are set on both sides of the bed.
  • the end sitting position detection region DB may be set only on one of the sides.
  • FIG. 13A is a perspective view schematically illustrating a scene where the watching target person gets out of the bed.
  • FIG. 13B schematically illustrates a state in which the watching target person leaves the bed as seen from the footboard side.
  • the detection distance HC for getting out of the floor may be set in order to detect the getting-off of the person being watched over based on the foreground region appearing in such a place.
  • control part 11 appeared in the position where the foreground area
  • the value of the detection distance HC for getting out of the bed may be set in advance on the system, or may be set as appropriate by the user.
  • the value of the detection distance HC for getting out of the bed is set as appropriate so that the person to watch over can get out of the bed.
  • the distance in the left-right direction between the side of the bed surface SU and the foreground area can be calculated as appropriate.
  • the control unit 11 calculates the distance in the left-right direction between the side of the bed surface SU and the foreground area by calculating the distance in real space between an arbitrary point included in the foreground area and the side of the bed surface SU. May be.
  • an arbitrary point for calculating the distance can be set as appropriate.
  • the arbitrary point may be the center of gravity of the foreground area, or may be the pixel closest to the side of the bed surface SU in the foreground area.
  • the image analysis apparatus 1 is configured to be able to detect the person being watched from the bed on both sides of the bed.
  • the image analysis apparatus 1 may be configured to be able to detect the person leaving the watched person on either side of the bed. That is, the control unit 11 may omit the detection process of the watching target person on any one side of the bed.
  • a detection area for getting out of the bed may be set in place of the detection distance HC for getting out of the bed as in the case of the above-described rising and end-sitting position.
  • the control unit 11 can detect getting out of the bed of the person being watched over in the same manner as the above-described rising and end sitting positions.
  • the threshold value of the size of the foreground area that serves as a reference for detecting bed leaving may be set as appropriate according to the embodiment. This threshold value may be different from each threshold value when detecting the rising and the end sitting position.
  • FIG. 14A schematically illustrates a state in which the person being watched over slides down from the bed as viewed from the bedside side.
  • FIG. 14B schematically illustrates a state in which the watching target person is seen from the footboard side while sliding off the bed.
  • the bedside is an area in a direction away from the bed from each end (side frame) in the left-right direction of the bed. Therefore, as illustrated in FIGS. 14A and 14B, when the watching target person slides down from the bed, the body part of the watching target corresponds to the predetermined height range from the bed surface SU on the bedside. It is assumed that a foreground area having a predetermined size or larger continuously appears.
  • the detection area for the fall is within a predetermined height range from the bed surface SU on the bedside.
  • DD is set.
  • the control unit 11 determines whether or not a foreground area exceeding a predetermined size continuously appears in the slip detection area DD for a predetermined time or more. And when it determines with the foreground area
  • the slip-down detection area DD may be set in advance on the system, or may be set as appropriate by the user. Further, the slip-down detection area DD may be set as appropriate on the three-dimensional space of the shooting range of the camera 2. The position and the range in each direction of the slip-down detection area DD are appropriately set so as to include a foreground area that is extracted when the watching target person slips off the bed.
  • the length HD3 in the vertical direction from the bed surface SU of the slip-down detection area DD may be set to 300 mm.
  • the range in the vertical direction of the slip-down detection area DD may be set based on the height of the bed surface SU as described above, or may be set without using the height of the bed surface SU as a reference.
  • the length HD2 in the left-right direction of the slip-down detection area DD may be set to 450 mm.
  • the length HD4 in the front-rear direction of the slip-down detection area DD may be set corresponding to the length of each side of the bed surface SU.
  • the slip-down detection area DD is set so as to be in contact with or close to the side of the bed surface SU, the foreground area corresponding to the futon appears in the slip-down detection area DD when the futon protrudes from the bed.
  • the slip-down detection area DD is set at a position away from the bed at least by the thickness of the futon.
  • the slip-down detection area DD is set to be separated from the bed by a distance HD1 in the left-right direction. This distance HD1 may be appropriately set according to the embodiment.
  • the distance HD1 is set to 50 mm, for example. As a result, the accuracy of slip-off detection can be increased.
  • the threshold value of the size of the foreground area that is a reference for detecting slipping may be set as appropriate according to the embodiment. This threshold value may be different from each threshold value when detecting the rising, the end sitting position, and getting out of bed.
  • the slip-down detection areas DD are set on both sides of the bed.
  • the sliding detection area DD may be set only on one of the sides.
  • the control unit 11 detects each behavior of the watching target person by analyzing the behavior of the watching target person based on the position of the foreground region as described above. That is, when it determines with the control part 11 satisfy
  • a state for example, a sleeping state
  • the method of detecting the behavior of the person being watched over may not be limited to the above method, and may be appropriately selected according to the embodiment.
  • the control unit 11 may calculate the average position of the foreground region by taking the average of the position and depth in the captured image 3 of each pixel included in the foreground region. Then, the control unit 11 detects the behavior of the watching target person by determining whether or not the average position of the foreground region is included in the detection region set as a condition for detecting each behavior in the real space. May be.
  • control unit 11 may specify a body part that appears in the foreground area based on the shape of the foreground area.
  • the foreground area indicates a change from the background image. Therefore, the body part shown in the foreground region corresponds to the motion part of the person being watched over.
  • the control unit 11 may detect the behavior of the person being watched over based on the positional relationship between the specified body part (motion part) and the bed surface SU. Similarly, even if the control unit 11 detects the behavior of the person being watched over by determining whether or not the body part shown in the foreground area included in the detection area of each action is a predetermined body part. Good.
  • Step S104 the control unit 11 determines whether or not the watching target person has fallen off from the bed in step S ⁇ b> 103. Then, when it is detected in step S103 that the watching target person has slipped off the bed, the control unit 11 proceeds to the next step S105. On the other hand, in the case where it has not been detected in step S103 that the person being watched over has slipped off the bed, the control unit 11 omits the process of the next step S105 and ends the process according to this operation example.
  • Step S105 In the next step S105, the control unit 11 functions as the notification unit 115, and when it is detected in step S103 that the person to be watched is dropped from the bed, the person to be watched is in a state of being dropped from the bed. A notification is made to notify that there is something. Thereby, the processing according to this operation example is completed.
  • the control unit 11 may perform the notification to the watcher who watches the behavior of the watching target person or the watching target person himself.
  • the watcher is, for example, a nurse, a facility staff, a caregiver, or the like.
  • the image analysis apparatus 1 when used in a facility such as a hospital, the image analysis apparatus 1 can be connected to equipment such as a nurse call system via the external interface 15.
  • the control unit 11 may notify the slip detection in cooperation with the nurse call system or the like. That is, the control unit 11 may control the nurse call system via the external interface 15. And the control part 11 may perform the call by the said nurse call system as notification of a slip-off detection. Accordingly, it is possible to appropriately notify a nurse or the like who watches over the person being watched over that the person being watched over is falling from the bed.
  • control unit 11 may display a screen on the touch panel display 13 for notifying that the person to be watched has detected a fall from the bed as a notice of the fall detection. Further, for example, the control unit 11 may notify the slip detection by outputting a predetermined sound from the speaker 14 connected to the image analysis apparatus 1. By installing the touch panel display 13 and the speaker 14 in the watcher's room, it is possible to appropriately notify the watcher that the watch target person has slipped off the bed.
  • control unit 11 may notify such a slip detection using an e-mail, a short message service, a push notification, or the like.
  • the e-mail address, telephone number, and the like of the user terminal that is the notification destination may be registered in advance in the storage unit 12. Then, the control unit 11 may notify slip detection using the pre-registered e-mail address, telephone number, and the like.
  • the control part 11 may perform notification for notifying that the said action was detected also when actions other than the fall of a watching target person from the bed are detected.
  • the control unit 11 determines whether an action to be notified is detected in step S103. If the control unit 11 determines in step S103 that an action to be notified has been detected, the control unit 11 performs notification to notify that the action has been detected in step S105.
  • the image analysis apparatus 1 can notify the watcher and the like that the action has been detected even when the action other than slipping down from the bed of the person being watched over is detected.
  • said step S104 and this step S105 may be abbreviate
  • the slip-down detection area DD for detecting a slip-off from the bed of the person being watched over is set at the bedside. Therefore, if there is a person other than the person being watched over (hereinafter referred to as “third party”) on the bedside, the foreground area corresponding to this third person is mistaken for the foreground area of the person to be watched, and the person being watched over There is a possibility of false detection of a person falling off the bed.
  • the image analysis apparatus 1 determines that the watched person falls off from the bed in step S103 only in the following case. It may be configured to perform processing. That is, the image analysis apparatus 1 includes a first condition in which a third party other than the watching target person is present on the bedside, and a second condition in which the watching target person performs an action other than sleeping on the bed, When at least one of the above is satisfied, the execution of the slip detection determination process may be stopped in step S103. On the other hand, when both the first condition and the second condition are not satisfied, the image analysis apparatus 1 may be configured to execute (start) the slip detection determination process in step S103.
  • start an example of control in a determination process mode that determines whether or not to execute the determination process of the slipping detection will be described with reference to FIGS. 15 and 16.
  • FIG. 15 illustrates state transitions in the determination processing mode according to the present embodiment.
  • the execution mode is a mode in which the determination process for detection of a person being watched over is performed in step S103.
  • the stop mode is a mode in which the determination process of the detection of the person being watched over is omitted in step S103.
  • Information indicating such a determination processing mode is held on a RAM, for example.
  • the control unit 11 switches the determination processing mode by updating the information.
  • the control unit 11 sets the determination processing mode to the execution mode at the time when watching is started.
  • step S103 based on the analysis of the foreground area extracted in step S102, the control unit 11 includes a first condition in which a third party other than the watching target person exists on the bedside, and the watching target person. It is determined whether or not the second condition for performing an action other than sleeping on the bed is satisfied. Then, when it is determined that at least one of the first condition and the second condition is satisfied, the control unit 11 switches the determination processing mode from the execution mode to the stop mode. Thereafter, when both the first condition and the second condition are not satisfied, the control unit 11 switches the determination processing mode from the stop mode to the execution mode. Thereby, the control part 11 controls the determination processing mode of slip-off detection.
  • FIG. 16 illustrates a processing procedure relating to control of the determination processing mode according to the present embodiment.
  • the processing procedure relating to the control of the determination processing mode for slip detection described below is merely an example, and each processing may be changed as much as possible. Further, in the processing procedure described below, steps can be omitted, replaced, and added as appropriate according to the embodiment.
  • Step S201 the control unit 11 functions as the behavior detection unit 113, and based on the analysis of the foreground area extracted in step S102, a first condition in which a third party other than the watching target person exists on the bedside. And the second condition in which the person being watched over performs a behavior other than sleeping on the bed is determined.
  • step S202 when the control unit 11 determines in step S201 that either one of the first condition and the second condition is satisfied, the process proceeds to step S203. On the other hand, if the control unit 11 determines in step S201 that both the first condition and the second condition are not satisfied, the process proceeds to step S204. Whether the first condition and the second condition are satisfied can be determined as follows.
  • FIG. 17A is a perspective view schematically illustrating a scene in which a third party other than the watching target person exists on the bedside.
  • FIG. 17B schematically illustrates a state in which a third party other than the watching target person is present on the bedside as viewed from the footboard side.
  • a third-party detection range HE may be set in order to detect the presence of a third party based on the foreground area that appears in such a place.
  • the foreground region exceeding a predetermined size appears in the third party detection range HE from the right side of the bed surface SU to the right or from the left side of the bed surface SU to the left Alternatively, it may be determined that the first condition is satisfied. On the other hand, when the foreground area exceeding the predetermined size does not appear in the third party detection range HE, it may be determined that the first condition is not satisfied.
  • the third party detection range HE may be set in advance on the system or may be set as appropriate by the user. Moreover, the length of each direction of the third-party detection range HE may be set as appropriate on the three-dimensional space of the shooting range of the camera 2. This third party detection range HE is appropriately set so that the presence of a third party can be detected at the bedside.
  • the image analysis apparatus 1 is configured to be able to detect the presence of a third party on both sides of the bed.
  • the image analysis apparatus 1 may be configured to be able to detect the presence of a third party only on one side of the bed. That is, the control part 11 may abbreviate
  • control unit 11 may mistake the third person as a third person who has left the bed and returned to the bed again. Therefore, in order to deal with such misrecognition, the control unit 11 may recognize the watching target person as follows.
  • the third-party detection range HE when a person who enters the third-party detection range HE is a person to be watched over, it is assumed that this person moves on the bed. On the other hand, when the person who entered the third-party detection range HE is a third party other than the person to be watched over, it is assumed that this person does not move on the bed.
  • the control unit 11 may temporarily estimate the foreground area that appears within the detection range HE for the third party as a foreground area corresponding to the third party. In addition, in the subsequent processing, the control unit 11 may track the foreground region. When the foreground area enters the rising detection area DA, the foreground area does not correspond to a third party, and the foreground area corresponds to the person being watched over. May be. Accordingly, it is possible to prevent the control unit 11 from erroneously recognizing the foreground area corresponding to the watching target person and the foreground area corresponding to the third party.
  • the control unit 11 determines that the second condition is satisfied when it can be estimated that the watching target person is performing an action other than sleeping. On the other hand, the control unit 11 determines that the second condition is not satisfied when it can be estimated that the watching target person is sleeping.
  • control unit 11 estimates that the person to be watched is performing an action other than sleeping when the person to be watched rises, sits at the end, or gets out of bed in the same manner as in step S103. It may be determined that the second condition is satisfied. On the other hand, the control unit 11 may estimate that the watching target person is asleep when the watching target person is awakened, cannot detect the sitting position and getting out of bed, and may determine that the second condition is not satisfied.
  • control unit 11 may estimate that the watching target person is sleeping in the following case. That is, when the watching target person is sleeping on the bed, it is assumed that the foreground area corresponding to the watching target person appears above the bed surface SU and below the rising detection area DA.
  • the control unit 11 moves the person to be watched on the bed. You may estimate that you are sleeping. For example, the control unit 11 does not have a foreground area exceeding a predetermined size in the rising detection area DA, and exceeds a predetermined size between the rising detection area DA and the bed surface SU. When the foreground area appears, it may be estimated that the watching target person is sleeping on the bed. Based on these estimations, the control unit 11 may determine that the second condition is not satisfied.
  • Step S203 the control unit 11 sets the slippage detection determination processing mode to the stop mode, and ends the processing procedure according to this operation example. For example, if the judgment processing mode for slip detection is set to the stop mode, the control unit 11 keeps the judgment processing mode for slip detection in the stop mode. On the other hand, when the judgment processing mode for slip detection is set to the execution mode, the control unit 11 switches the judgment processing mode for slip detection from the execution mode to the stop mode. As a result, in step S ⁇ b> 103 executed thereafter, the control unit 11 omits the determination process of slip detection.
  • step S204 the control unit 11 sets the slip detection detection processing mode to the execution mode, and proceeds to the next step S205. For example, if the determination processing mode for slip detection is set to the stop mode, the control unit 11 switches the determination processing mode for slip detection from the stop mode to the execution mode. On the other hand, if the determination processing mode for slip detection is set to the execution mode, the control unit 11 keeps the determination processing mode for slip detection in the execution mode. As a result, in step S103 to be executed thereafter, the control unit 11 executes (restarts) the slip detection determination process.
  • Step S205 the control unit 11 functions as the background update unit 114, updates the background image 4 with the captured image 3 acquired in step S101 at this time, and ends the processing procedure according to this operation example. . Specifically, when the control unit 11 determines that both the first condition and the second condition are not satisfied in steps S201 and S202, the control unit 11 slips off the bed of the person being watched over in step S204. The execution of the determination process for detecting the error is started. At this time, the control unit 11 sets the captured image 3 acquired in step S101 at this time as the background image 4. As a result, the control unit 11 updates the background image 4 used in step S102 executed thereafter. This step S205 may be executed before step S204. Further, when the background image 4 is not updated, this step S205 may be omitted.
  • each process relating to the control of the judgment processing mode of the slip detection may be executed at an arbitrary timing.
  • each process relating to the control of the determination process mode of the slip detection may be performed after the process of step S102 and before the determination process of the slip detection is performed in step S103.
  • the image analysis apparatus 1 may not be configured to stop execution of the slip detection determination process in the above case, and always performs the slip detection determination process in step S103. It may be configured.
  • the image analysis apparatus 1 extracts the foreground region from the captured image 3 captured by the camera 2 based on the background difference method in steps S101 and S102.
  • the image analysis apparatus 1 detects the behavior of the person being watched over based on the extracted position of the foreground region.
  • the fall detection area DD is set in a range of a predetermined height from the bed surface SU on the bedside.
  • the control unit 11 determines whether or not a foreground area having a predetermined size or more continues to appear in the slip detection area DD for a predetermined time or longer. And when it determines with the foreground area
  • step S201 the control unit 11 performs actions other than the first condition in which a third party other than the watching target person is present on the bedside and the watching target person sleep on the bed. It is determined whether or not the second condition being performed is satisfied. If it is determined that at least one of the first condition and the second condition is satisfied, the control unit 11 determines the detection of the person being watched over in step S103 by the process of step S203. Stop execution of the process. On the other hand, when it is determined that both the first condition and the second condition are not satisfied, the control unit 11 executes the determination process for the detection of the person being watched over in step S103 by the process of step S204. Start.
  • the background state is changed in the bedside area due to the action of the third party or the person being watched over.
  • a case where a third party other than the person being watched over arranges a wheelchair, a drip stand or the like on the bedside corresponds to a case where the background state is changed in the bedside region.
  • the foreground area continuously appears in the detection area DD for falling down set on the bedside, and the falling of the person being watched over from the bed is prevented. There is a possibility of false detection.
  • step S205 the control unit 11 acquires the step S101 at this time when starting the execution of the determination process for detecting slippage from the bed of the person being watched over.
  • the background image 4 is updated by setting the captured image 3 as the background image 4. For this reason, even if the background state is changed in the bedside area for the reason described above, the background image 4 is updated with the captured image 3 acquired after the change has occurred. In this process, it is possible to prevent the foreground area from being extracted in the area where the background has changed. Therefore, according to the present embodiment, it is possible to prevent erroneous detection of slipping that occurs in the above case.
  • the control unit 11 acquires the captured image 3 including depth data.
  • the captured image that is a target for analyzing the behavior of the person being watched over may not be limited to such an example, and may not include depth data. That is, the image analysis device 1 may be configured to analyze the behavior of the watching target person based on the two-dimensional image.
  • the two-dimensional image may be a two-dimensional thermography, an infrared image, or the like taken by an infrared camera, an infrared sensor, or the like.
  • the image analysis apparatus 1 when it is detected that the person being watched over is slipped off, the image analysis apparatus 1 performs a notification for notifying the fact.
  • the image analysis apparatus 1 may be configured to perform an operation for preventing an accident.
  • the bed used by the person being watched over is an electric bed that can be controlled by a computer
  • the electric bed may be connected to the image analysis apparatus 1 via the external interface 15.
  • the control unit 11 controls the electric bed via the external interface 15 to reduce the height of the electric bed. You may operate as follows. Thereby, it is possible to prevent the person being watched over from falling from a high place and to prevent an accident due to falling from the bed.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Nursing (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)
  • Invalid Beds And Related Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

見守り対象者のずり落ちを検知する技術を提供する。本発明の一側面に係る画像解析装置は、見守り対象者のベッドからのずり落ちを検知するために、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前景領域がずり落ち用検知領域に所定時間以上継続して現れたと判定した場合に、見守り対象者のベッドからのずり落ちを検知する。

Description

画像解析装置、画像解析方法、及び、画像解析プログラム
　本発明は、画像解析装置、画像解析方法、及び、画像解析プログラムに関する。
　近年、入院患者、施設入居者、要介護者等の見守り対象者がベッドから転倒、転落する事故、及び、認知症患者の徘徊による事故が年々増加する傾向にある。このような事故を防止するため、室内に設置したカメラで見守り対象者を撮影し、撮影した画像を解析することで、起き上がり、端座位、離床等の見守り対象者の行動を検知する見守りシステムが開発されている。
　例えば、特許文献１では、見守り対象者の身体の少なくとも一部が予め設定された監視領域から逸脱したか否かによって、当該見守り対象者の行動を検知する方法が提案されている。この方法では、ベッド面上の所定の範囲に矩形状監視領域が設定され、ベッド全体を覆う範囲に半球状監視領域が設定される。これにより、見守り対象者の腕、足等の一部が矩形状監視領域から逸脱したことを検出することで、当該見守り対象者の身体の一部がベッドからはみ出したことを検知することができる。また、見守り対象者の頭部又は上半身が矩形状監視領域から逸脱したことを検出することで、当該見守り対象者の起き上がりを検知することができる。更に、見守り対象者の身体が半球状監視領域から逸脱したことを検出することで、当該見守り対象者の離床を検知することができる。
　また、例えば、特許文献２では、各画素の深度を含む撮影画像から前景領域を抽出し、抽出された前景領域とベッド等との位置関係に基づいて、見守り対象者の行動を推定する方法が提案されている。この方法では、抽出される前景領域が見守り対象者の行動に関連すると仮定して各推定条件が設定されており、抽出された前景領域とベッド等との位置関係が各推定条件を満たすか否かを判定することで、当該見守り対象者の行動を検知することができる。なお、この特許文献２では、検知対象の行動として、見守り対象者の起き上がり、端座位、柵越え、落下及び離床が例示されている。
特開２０１４－１４９７３１号公報 特開２０１４－２３６８９６号公報
　見守り対象者を介護する現場では、起き上がり、離床等の行動の他に、見守り対象者のベッドからのずり落ちを検知してほしいとの要望がある。ずり落ちとは、見守り対象者がベッド上にいる状態からベッドの下に転落した状態に、例えば数分程度の時間をかけて段階的に変化していく際の行動を指す。
　例えば、筋力が著しく低下し、自力で起き上がることが困難な高齢者は、自力で離床しようとする際に、ベッド外に足を下ろして、ベッドの柵にしがみつきながら起き上がろうとする。このとき、この高齢者は、自身の上半身を起こすことができず、ベッドの柵にしがみ付いたまま下半身からベッド外に徐々に転落してしまう可能性がある。このベッド外に徐々に転落していく一連の動作が、見守り対象者のずり落ち行動に相当する。
　見守り対象者のずり落ちを検知することができれば、当該見守り対象者がベッドから完全に転落してしまう事故を防止することができる。しかしながら、このずり落ち行動は、転落に向かって段階的に移動する動作であり、ベッド上での起き上がり、端座位等の行動とは相違している。そして、従来の見守りシステムでは、このようなベッド上からベッド下に段階的に転落していくような動作を検知することは想定されていなかった。そのため、従来の見守りシステムによれば、見守り対象者の起き上がり、離床等の行動を検知することはできるものの、このような見守り対象者のずり落ち行動を検知することができなかった。
　本発明は、一側面では、このような点を考慮してなされたものであり、見守り対象者のずり落ちを検知する技術を提供することを目的とする。
　本発明は、上述した課題を解決するために、以下の構成を採用する。
　すなわち、本発明の一側面に係る画像解析装置は、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得する画像取得部と、取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出する前景抽出部と、抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知する行動検知部と、を備える。そして、前記行動検知部は、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する。
　上記構成によれば、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像が取得され、取得された撮影画像と撮影画像の背景に設定された背景画像との差分が算出される。これによって、取得された撮影画像において前景領域が抽出される（いわゆる背景差分法）。前景領域は、背景画像から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。したがって、抽出される前景領域の位置に基づいて、見守り対象者の行動を解析することができる。
　ここで、ずり落ちとは、見守り対象者がベッド上にいる状態からベッドの下に転落した状態に、例えば数分程度の時間をかけて段階的に変化していく際の行動である。そのため、見守り対象者がベッドからずり落ちる場合には、ベッドサイドにおいてベッド面から所定の高さの範囲に、当該見守り対象者に対応する所定の大きさ以上の前景領域が継続的に現れ得る。
　そこで、上記構成では、見守り対象者のベッドからのずり落ちを検知するために、ベッドサイドにおいてベッド面から所定の高さの範囲にずり落ち用検知領域が設定される。そして、当該ずり落ち用検知領域に所定の大きさ以上の前景領域が所定時間以上継続して現れるか否かが判定される。これによって、所定の大きさ以上の前景領域がずり落ち用検知領域に所定時間以上継続して現れたと判定した場合に、当該見守り対象者のベッドからのずり落ちを検知することができる。したがって、上記構成によれば、見守り対象者のずり落ちを検知する技術を提供することができる。
　また、上記一側面に係る画像解析装置の別の形態として、前記行動検知部は、抽出された前記前景領域の解析に基づいて、前記見守り対象者以外の人物がベッドサイドに存在している第１条件と、前記見守り対象者が前記ベッド上で就寝する以外の行動を行っている第２条件と、が満たされているか否かを判定してもよい。そして、前記行動検知部は、前記第１条件及び前記第２条件の少なくともいずれか一方が満たされていると判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を停止してもよく、前記第１条件及び前記第２条件が共に満たされていないと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を開始してもよい。
　上記のとおり、見守り対象者のベッドからのずり落ちを検知するためのずり落ち用検知領域は、ベッドサイドに設定される。そのため、見守り対象者以外の人物がベッドサイドに存在している場合には、当該見守り対象者以外の人物に対応する前景領域を見守り対象者に対応する前景領域と間違え、見守り対象者のベッドからのずり落ちを誤検知してしまう可能性がある。
　また、見守り対象者がベッド上で就寝している以外の状態（例えば、見守り対象者がベッド上で起き上がっている、ベッドから離床している等）にある場合には、見守り対象者のずり落ち以外の行動によって、ずり落ち用検知領域に前景領域が現れる可能性がある。そのため、見守り対象者がベッド上で就寝している以外の状態にある場合には、当該見守り対象者のずり落ち以外の行動をずり落ち行動と誤検知してしまう可能性がある。更に、このような場合には、見守り対象者がベッドからずり落ちる可能性は殆どなく、当該見守り対象者のベッドからのずり落ちを検知する必要性が極めて低くなる。
　そこで、当該構成では、抽出された前景領域の解析に基づいて、見守り対象者以外の人物がベッドサイドに存在している第１条件と、見守り対象者がベッド上で就寝する以外の行動を行っている第２条件と、が満たされているか否かを判定する。そして、第１条件及び第２条件の少なくともいずれか一方が満たされている場合には、見守り対象者のベッドからのずり落ちを検知する判定処理の実行を停止する。一方、第１条件及び第２条件が共に満たされていない場合には、見守り対象者のベッドからのすり落ちを検知する判定処理の実行を開始する。これによって、当該構成によれば、上記のような場合に生じるずり落ちの誤検知を防止することができる。
　また、上記一側面に係る画像解析装置の別の形態として、上記画像解析装置は、前記第１条件及び前記第２条件が共に満たされていないと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を開始する際に、このときに取得された前記撮影画像を前記背景画像に設定することで、前記背景画像を更新する背景画像更新部を更に備えてもよい。
　見守り対象者以外の人物がベッドサイドに存在する場合、又は、見守り対象者がベッド上で就寝する以外の行動を行っている場合には、ベッドサイドの領域において背景の状態が変更される可能性がある。例えば、見守り対象者以外の人物が、車椅子、点滴台等をベッドサイドに配置したケースが、ベッドサイドの領域において背景の状態が変更されるケースに該当する。このようにベッドサイドの領域において背景の状態が変更されたときには、ベッドサイドに設定されたずり落ち用検知領域に前景領域が現れてしまい、見守り対象者のベッドからのずり落ちを誤検知してしまう可能性がある。
　これに対して、当該構成によれば、見守り対象者のずり落ちを検知する判定処理の実行を開始する際に取得される撮影画像を背景画像に設定することで、前景領域の抽出に利用する背景画像の更新が行われる。そのため、上記のような理由によりベッドサイドの領域において背景の状態が変更されても、その変更が生じた後に取得される撮影画像で背景画像を更新するため、その背景の変更が生じた領域で前景領域が抽出されるのを防ぐことができる。したがって、当該構成によれば、上記のような場合に生じるずり落ちの誤検知を防止することができる。
　また、上記一側面に係る画像解析装置の別の形態として、前記ずり落ち用検知領域は、少なくとも布団の厚み分は前記ベッドから離れた位置に設定されてよい。上記のとおり、見守り対象者のベッドからのずり落ちを検知するためのずり落ち用検知領域は、ベッドサイドに設定される。ベッド上から布団がはみ出した場合には、この布団に対応する前景領域がこのずり落ち用検知領域に表れてしまい、見守り対象者のベッドからのずり落ちを誤検知してしまう可能性がある。これに対して、当該構成では、ずり落ち用検知領域は、少なくとも布団の厚み分はベッドから離れた位置に設定される。そのため、当該構成によれば、ベッド上から布団がはみ出したことに起因するずり落ちの誤検知を防止することができる。
　また、上記一側面に係る画像解析装置の別の形態として、前記画像取得部は、前記撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得してもよい。また、前記前景抽出部は、深度データを含む前記背景画像と取得された前記撮影画像との差分を算出することで、取得された前記撮影画像の前記前景領域を抽出してもよい。そして、前記行動検知部は、抽出された前記前景領域に含まれる各画素の深度を参照することにより特定される前記前景領域の実空間における位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知してもよい。
　当該構成では、撮影画像及び背景画像はそれぞれ、各画素の深度を示す深度データを含む。各画素の深度は、各画素に写る被写体の深さを表現する。そのため、この深度データによれば、被写体の実空間における位置を特定することができる。したがって、当該構成によれば、撮影装置の設置場所及び視野方向に依存することなく、見守り対象者、ベッド等の見守り空間に存在する対象物の実空間上の位置を特定することができる。よって、当該構成によれば、撮影装置の設置条件に限定されず、見守り対象者の行動を精度よく検知することができる。
　また、上記一側面に係る画像解析装置の別の形態として、上記画像解析装置は、前記見守り対象者の前記ベッドからのずり落ちを検知した場合に、当該見守り対象者が前記ベッドからずり落ちている状態にあることを知らせるための通知を行う通知部を更に備えてもよい。当該構成によれば、見守り対象者のベッドからのずり落ちを検知したことを通知することができる。なお、通知先及び通知方法は、実施の形態に応じて適宜選択することができる。例えば、当該通知は、見守り者に対して行われてもよい。見守り者は、見守り対象者の行動を見守る者である。見守り対象者が、入院患者、施設入居者、要介護者等である場合は、見守り者は、例えば、看護師、施設職員、介護者等である。
　なお、上記各形態に係る画像解析装置の別の形態として、以上の各構成を実現する情報処理システムであってもよいし、情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、情報処理システムは、１又は複数の情報処理装置によって実現されてもよい。
　例えば、本発明の一側面に係る画像解析方法は、コンピュータが、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得するステップと、取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知するステップと、を実行し、前記見守り対象者の行動を検知するステップでは、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する、情報処理方法である。
　また、例えば、本発明の一側面に係る画像解析プログラムは、コンピュータに、見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得するステップと、取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知するステップと、を実行させ、前記見守り対象者の行動を検知するステップでは、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定させ、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知させる、ためのプログラムである。
　本発明によれば、見守り対象者のずり落ちを検知することが可能になる。
図１は、本発明が適用される場面の一例を模式的に例示する。 図２は、実施の形態に係る画像解析装置のハードウェア構成を例示する。 図３は、実施の形態に係るカメラにより取得される深度と被写体との関係を例示する。 図４は、実施の形態に係る画像解析装置の機能構成を例示する。 図５は、実施の形態に係る画像解析装置における見守り対象者の行動解析に関する処理手順を例示する。 図６は、実施の形態に係るカメラにより取得される撮影画像を例示する。 図７は、実施の形態に係る撮影画像内の座標関係を例示する。 図８は、実施の形態に係る撮影画像の任意の点（画素）とカメラとの実空間内での位置関係を例示する。 図９は、撮影画像に含まれる深度データに基づいて特定される撮影範囲内の被写体の三次元分布を例示する。 図１０は、撮影画像から抽出される前景領域の三次元分布を例示する。 図１１Ａは、見守り対象者のベッド上での起き上がりを検知する場面を模式的に例示する。 図１１Ｂは、見守り対象者のベッド上での起き上がりを検知する場面を模式的に例示する。 図１２Ａは、見守り対象者のベッドでの端座位を検知する場面を模式的に例示する。 図１２Ｂは、見守り対象者のベッドでの端座位を検知する場面を模式的に例示する。 図１３Ａは、見守り対象者のベッドからの離床を検知する場面を模式的に例示する。 図１３Ｂは、見守り対象者のベッドからの離床を検知する場面を模式的に例示する。 図１４Ａは、見守り対象者のベッドからのずり落ちを検知する場面を模式的に例示する。 図１４Ｂは、見守り対象者のベッドからのずり落ちを検知する場面を模式的に例示する。 図１５は、ずり落ち検知の判定処理モードの変化を例示する状態遷移図である。 図１６は、ずり落ち検知の判定処理モードの制御に関する処理手順を例示する。 図１７Ａは、第三者がベッドサイドに存在する場面を例示する。 図１７Ｂは、第三者がベッドサイドに存在する場面を例示する。
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語等で指定される。
　§１　適用場面
　まず、図１を用いて、本発明が適用される場面について説明する。図１は、本実施形態に係る画像解析装置１が用いられる場面を模式的に例示する。本実施形態に係る画像解析装置１は、カメラ２によって見守り対象者を撮影し、それにより得られた撮影画像３を画像解析することで、見守り対象者の行動を検知する情報処理装置である。そのため、本実施形態に係る画像解析装置１は、見守り対象者の見守りを行う場面で広く利用可能である。
　具体的には、図１で例示されるように、本実施形態に係る画像解析装置１は、カメラ２によって見守り対象者を撮影する。カメラ２は、本発明の「撮影装置」に相当する。また、見守り対象者は、見守りの対象となる人物であり、例えば、入院患者、施設入居者、要介護者である。
　この見守り対象者は、例えば、ベッド上で就寝しており、カメラ２は、そのような状態の見守り対象者のベッドにおける行動を撮影するために設置されている。このカメラ２は、この見守り対象者の見守りを行う範囲を撮影可能であれば、いかなる場所に配置されてもよい。
　本実施形態に係る画像解析装置１は、このようなカメラ２によって撮影された撮影画像３を取得する。そして、画像解析装置１は、取得された撮影画像３と当該撮影画像３の背景に設定された背景画像（後述する背景画像４）との差分を算出することにより、取得された撮影画像３の前景領域を抽出する。すなわち、画像解析装置１は、いわゆる背景差分法に基づいて、撮影画像３の前景領域を抽出する。
　前景領域は、撮影画像３と背景画像とで差がある場所、換言すると、背景画像から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。例えば、図１に例示されるように、見守り対象者がベッド上で起き上がった場合には、ベッド面上の所定の高さの範囲に前景領域が現れる。そこで、画像解析装置１は、抽出された前景領域の位置に基づいて見守り対象者の行動を解析することで、見守り対象者のベッドにおける行動を検知する。
　ここで、ずり落ちとは、見守り対象者がベッド上にいる状態からベッドの下に転落した状態に、比較的に長い時間をかけて段階的に変化していく際の行動である。したがって、見守り対象者がベッドからずり落ちる場合には、見守り対象者の身体は、ベッドサイドにおいてベッド上からベッド下に徐々に移行していく。そのため、見守り対象者がベッドからずり落ちる場合には、当該見守り対象者の身体が移動する経路に、換言すると、ベッドサイドにおけるベッド面から所定の高さの範囲に、当該見守り対象者の身体部位に対応する所定の大きさ以上の前景領域が継続的に現れ得る。
　そこで、本実施形態では、見守り対象者のベッドからのずり落ちを検知するために、ベッドサイドにおいてベッド面から所定の高さの範囲にずり落ち用検知領域（後述するずり落ち用検知領域ＤＤ）が設定される。画像解析装置１は、上記見守り対象者の行動を解析する際に、このずり落ち用検知領域に所定の大きさ以上の前景領域が所定時間以上継続して現れるか否かを判定する。そして、所定の大きさ以上の前景領域がずり落ち用検知領域に所定時間以上継続して現れたと判定した場合に、画像解析装置１は、見守り対象者のベッドからのずり落ちを検知する。したがって、本実施形態によれば、見守り対象者のずり落ちを検知する技術を提供することができる。
　なお、画像解析装置１の配置場所は、カメラ２から撮影画像３を取得可能であれば、実施の形態に応じて適宜決定可能である。例えば、画像解析装置１は、図１に例示されるように、カメラ２に近接するように配置されてもよい。また、画像解析装置１は、ネットワークを介してカメラ２と接続してもよく、当該カメラ２とは全く異なる場所に配置されてもよい。
　§２　構成例
　＜ハードウェア構成＞
　次に、図２を用いて、画像解析装置１のハードウェア構成を説明する。図２は、本実施形態に係る画像解析装置１のハードウェア構成を例示する。画像解析装置１は、図２に例示されるように、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む制御部１１、制御部１１で実行するプログラム５等を記憶する記憶部１２、画像の表示と入力を行うためのタッチパネルディスプレイ１３、音声を出力するためのスピーカ１４、外部装置と接続するための外部インタフェース１５、ネットワークを介して通信を行うための通信インタフェース１６、及び記憶媒体６に記憶されたプログラムを読み込むためのドライブ１７が電気的に接続されたコンピュータである。図２では、通信インタフェース及び外部インタフェースは、それぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載されている。
　なお、画像解析装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換、及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。また、例えば、タッチパネルディスプレイ１３は、それぞれ別個独立に接続される入力装置及び表示装置に置き換えられてもよい。また、例えば、スピーカ１４は省略されてもよい。また、例えば、スピーカ１４は、画像解析装置１の内部装置としてではなく、外部装置として画像解析装置１に接続されてもよい。また、画像解析装置１はカメラ２を内蔵してもよい。更に、画像解析装置１は、複数の外部インタフェース１５を備えてもよく、複数の外部装置と接続してもよい。
　本実施形態では、カメラ２は、外部インタフェース１５を介して画像解析装置１に接続している。このカメラ２は、本発明の撮影装置に相当する。本実施形態に係るカメラ２は、被写体の深度を測定するための深度センサ２１を備えている。この深度センサ２１の種類及び測定方法は、実施の形態に応じて適宜選択されてよい。例えば、深度センサ２１として、ＴＯＦ（Time Of Flight）方式等のセンサを挙げることができる。
　ただし、カメラ２の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択可能である。例えば、カメラ２は、ステレオカメラであってもよい。ステレオカメラは、撮影範囲内の被写体を複数の異なる方向から撮影するため、当該被写体の深度を記録することができる。また、カメラ２は、深度センサ２１単体に置き換わってもよい。
　なお、見守り対象者を撮影する場所は暗い可能性がある。そこで、撮影場所の明るさに影響されずに深度を取得可能なように、深度センサ２１は、赤外線の照射に基づいて深度を測定する赤外線深度センサであってもよい。このような赤外線深度センサを含む比較的安価な撮影装置として、例えば、マイクロソフト社のKinect、ＡＳＵＳ社のXtion、Occipital社のStucture Sensorを挙げることができる。
　ここで、図３を用いて、本実施形態に係る深度センサ２１によって測定される深度を詳細に説明する。図３は、本実施形態に係る深度として扱うことが可能な距離の一例を示す。当該深度は、被写体の深さを表現する。図３で例示されるように、被写体の深さは、例えば、カメラ２と対象物との直線の距離Ａで表現されてもよいし、カメラ２の被写体に対する水平軸から下ろした垂線の距離Ｂで表現されてもよい。
　すなわち、本実施形態に係る深度は、距離Ａであってもよいし、距離Ｂであってもよい。本実施形態では、距離Ｂを深度として扱うことにする。ただし、距離Ａと距離Ｂとは、例えば、三平方の定理等を用いることで、互いに変換可能である。そのため、距離Ｂを用いた以降の説明は、そのまま、距離Ａに適用することが可能である。このような深度を利用することで、本実施形態に係る画像解析装置１は、実空間上における被写体の位置を特定することができる。
　このカメラ２は、見守り対象者のベッドにおける行動を見守るために、ベッド周辺の領域を撮影可能なように設置されている。例えば、図１では、カメラ２は、ベッドのフットボード側から見守り対象者を撮影するように配置されている。ただし、上記のとおり、本実施形態では、カメラ２は、被写体の深度を測定可能に構成される。これにより、本実施形態では、カメラ２の設置場所及び撮影方向に依存することなく、被写体の実空間上の位置を特定することができる。そのため、カメラ２の設置場所及び撮影方向は、このような例に限定されなくてもよく、ベッド周辺を撮影可能であれば、実施の形態に応じて適宜選択されてよい。
　また、本実施形態では、記憶部１２は、プログラム５を格納する。このプログラム５は、画像解析装置１に後述する背景画像の設定に関する各処理を実行させるためのプログラムであり、本発明の「画像解析プログラム」に相当する。このプログラム５は記憶媒体６に記録されていてもよい。
　記憶媒体６は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体６は、本発明の「記憶媒体」に相当する。なお、図２は、記憶媒体６の一例として、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体６の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
　なお、このような画像解析装置１は、例えば、提供されるサービス専用に設計された装置であってもよいし、ＰＣ（Personal Computer）、タブレット端末等の汎用の装置であってもよい。更に、画像解析装置１は、１又は複数のコンピュータにより実装されてもよい。
　＜機能構成例＞
　次に、図４を用いて、画像解析装置１の機能構成を説明する。図４は、本実施形態に係る画像解析装置１の機能構成を例示する。本実施形態では、画像解析装置１の制御部１１は、記憶部１２に記憶されたプログラム５をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたプログラム５をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、画像解析装置１は、画像取得部１１１、前景抽出部１１２、行動検知部１１３、背景更新部１１４及び通知部１１５を備えるコンピュータとして機能する。
　画像取得部１１１は、カメラ２によって撮影された撮影画像３を取得する。カメラ２には深度センサ２１が含まれているため、取得される撮影画像３には、当該撮影画像３内の各画素の深度を示す深度データが含まれる。前景抽出部１１２は、取得された撮影画像３と当該撮影画像３の背景に設定された背景画像４との差分を算出することにより、取得された撮影画像３の前景領域を抽出する。すなわち、前景抽出部１１２は、いわゆる背景差分法に基づいて、背景から変化した領域である前景領域を撮影画像３において抽出する。
　行動検知部１１３は、抽出された前景領域の解析に基づいて見守り対象者の行動を検知する。上記のとおり、前景領域は、背景画像４から変化の生じた場所で抽出される。そのため、見守り対象者が何らかの行動を行った場合には、当該行動に起因して見守り対象者が移動した場所に、当該見守り対象者に対応する前景領域が抽出される。そこで、行動検知部１１３は、抽出された前景領域の位置に基づいて見守り対象者の行動を解析することで、当該見守り対象者のベッドにおける行動を検知する。
　特に、行動検知部１１３は、見守り対象者のベッドからのずり落ちを検知可能に構成される。具体的には、見守り対象者のベッドからのずり落ちを検知するために、ベッドサイドにおいてベッド面から所定の高さの範囲にずり落ち用検知領域が設定される。このずり落ち用検知領域は、ユーザによって設定されてもよいし、システム上で予め設定されてもよい。行動検知部１１３は、当該ずり落ち用検知領域に所定の大きさ以上の前景領域が所定時間以上継続して現れるか否かを判定する。そして、行動検知部１１３は、所定の大きさ以上の前景領域がずり落ち用検知領域に所定時間以上継続して現れたと判定した場合に、当該見守り対象者のベッドからのずり落ちを検知する。
　また、背景更新部１１４は、取得された撮影画像３によって、前景抽出部１１２の利用する背景画像４を更新する。特に、背景更新部１１４は、見守り対象者のベッドからのずり落ちを検知する判定処理の実行を開始する際に、このときに取得された撮影画像３を背景画像４に設定することで、画像解析装置１に保持された背景画像４を更新する。更に、通知部１１５は、見守り対象者のベッドからのずり落ちを検知した場合に、当該見守り対象者がベッドからずり落ちている状態にあることを知らせるための通知を行う。
　なお、本実施形態では、これらの機能がいずれも汎用のＣＰＵによって実現される例を説明している。しかしながら、これらの機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、画像解析装置１の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換、及び追加が行われてもよい。例えば、画像解析装置１が背景画像４の更新を行わない場合には、背景更新部１１４は省略されてもよい。また、画像解析装置１がずり落ち検知の通知を行わない場合には、通知部１１５は省略されてもよい。各機能に関しては後述する動作例で詳細に説明する。
　§３　動作例
　次に、図５を用いて、画像解析装置１の動作例を説明する。図５は、画像解析装置１による見守り対象者の行動解析に関する処理手順を例示する。なお、以下で説明する見守り対象者の行動解析に関する処理手順は、本発明の「画像解析方法」に相当する。ただし、以下で説明する見守り対象者の行動解析に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換及び追加が可能である。
　（ステップＳ１０１）
　ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、カメラ２により撮影された撮影画像３を取得する。そして、撮影画像３を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。
　上記のとおり、本実施形態では、カメラ２は、深度センサ２１を備えている。そのため、本ステップＳ１０１において取得される撮影画像３には、各画素の深度を示す深度データが含まれている。制御部１１は、この深度データを含む撮影画像３として、例えば、図６で例示される撮影画像３を取得する。
　図６は、深度データを含む撮影画像３の一例を示す。図６で例示される撮影画像３は、各画素の濃淡値が当該各画素の深度に応じて定められた画像である。黒色の画素ほど、カメラ２に近いことを示す。一方、白色の画素ほど、カメラ２から遠いことを示す。この撮影画像３は、深度画像と称されてもよい。制御部１１は、この深度データに基づいて、各画素の写る対象の実空間での位置を特定することができる。すなわち、制御部１１は、撮影画像３内の各画素の座標（二次元情報）と深度とから、当該各画素内に写る被写体の三次元空間（実空間）での位置を特定することができる。以下、図７及び図８を用いて、制御部１１が各画素の実空間上での位置を特定する計算例を示す。
　図７は、撮影画像３内の座標関係を例示する。また、図８は、撮影画像３の任意の画素（点ｓ）とカメラ２との実空間内での位置関係を例示する。なお、図７の左右方向は、図８の紙面に垂直な方向に対応する。すなわち、図８で表れている撮影画像３の長さは、図７で例示される縦方向の長さ（Ｈピクセル）に対応する。また、図７で例示される横方向の長さ（Ｗピクセル）は、図８で表れていない撮影画像３の紙面垂直方向の長さに対応する。
　図７で例示されるように、撮影画像３の任意の画素（点ｓ）の座標が（ｘs，ｙs）であるとし、カメラ２の横方向の画角がＶx、縦方向の画角がＶyであるとする。また、撮影画像３の横方向のピクセル数がＷであるとし、縦方向のピクセル数がＨであるとし、撮影画像３の中心点（画素）の座標が（０，０）であるとする。
　制御部１１は、カメラ２の画角（Ｖx、Ｖy）を示す情報をカメラ２から取得することができる。ただし、カメラ２の画角（Ｖx、Ｖy）を示す情報を取得する方法はこのような例に限られず、制御部１１は、カメラ２の画角（Ｖx、Ｖy）を示す情報を、ユーザ入力に基づき取得してもよいし、予め設定されている設定値として取得してもよい。また、制御部１１は、撮影画像３から、点ｓの座標（ｘs，ｙs）及び撮影画像３のピクセル数（Ｗ×Ｈ）を取得することができる。更に、制御部１１は、撮影画像３に含まれる深度データを参照することによって、点ｓの深度Ｄｓを取得することができる。
　制御部１１は、これらの情報を利用することで、当該各画素（点ｓ）の実空間上の位置を特定することができる。例えば、制御部１１は、以下の数１～３で示される関係式に基づいて、図８に例示されるカメラ座標系におけるカメラ２から点ｓまでのベクトルＳ（Ｓx，Ｓy，Ｓz，１）の各値を算出することができる。これにより、撮影画像３内の二次元座標系における点ｓの位置とカメラ座標系における点ｓの位置とは相互に変換可能になる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　ただし、上記ベクトルＳは、カメラ２を中心とした三次元座標系のベクトルである。このカメラ２は、図８に例示されるように、水平方向に対して傾いている場合がある。すなわち、カメラ座標系は、三次元空間（実空間）のワールド座標系から傾いている場合がある。そのため、制御部１１は、カメラ２のロール角、ピッチ角（図８のα）及びヨー角を用いた射影変換を上記ベクトルＳに適用することによって、上記カメラ座標系のベクトルＳをワールド座標系のベクトルに変換し、ワールド座標系における点ｓの位置を算出してもよい。
　なお、深度データを含む撮影画像３のデータ形式は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてもよい。例えば、撮影画像３は、撮影範囲内の被写体の深度が二次元状に分布したデータ（例えば、深度マップ）であってもよい。また、例えば、撮影画像３は、深度データとともに、ＲＧＢ画像を含んでもよい。
　また、撮影画像３は、動画像であってもよいし、１又は複数枚の静止画像であってもよい。更に、制御部１１は、このような撮影画像３を、カメラ２のビデオ信号に同期して取得してもよい。そして、制御部１１は、カメラ２と同期して取得した撮影画像３に対して、後述するステップＳ１０２～Ｓ１０５までの処理を即座に実行してもよい。画像解析装置１は、このような動作を絶え間なく継続的に実行することにより、リアルタイム画像処理を実現し、カメラ２の撮影範囲に存在する見守り対象者の見守りをリアルタイムに行うことができる。以下では、このように継続的に取得される撮影画像３により見守り対象者の見守りを行う例を説明する。
　（ステップＳ１０２）
　図５に戻り、次のステップＳ１０２では、制御部１１は、前景抽出部１１２として機能し、ステップＳ１０１で取得された撮影画像３と当該撮影画像３の背景に設定された背景画像４との差分を算出することにより、当該撮影画像３の前景領域を抽出する。背景画像４は、背景差分法に基づいて撮影画像３において前景領域を抽出するために利用されるデータである。制御部１１は、例えば、当該見守り対象者の見守りを開始したとき等任意のタイミングに取得される撮影画像３によって、この背景画像４を作成することができる。
　撮影画像３により背景画像４を作成する方法は、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、カメラ２により得られる１フレーム分の撮影画像３をそのまま背景画像４に設定してもよい。また、例えば、制御部１１は、カメラ２により得られる数フレーム分の撮影画像３の平均を算出することで、背景画像４を作成してもよい。これによって、各画素の深度を示す深度データを含む背景画像４を生成することができる。
　本ステップＳ１０２では、制御部１１は、このように作成される背景画像４とステップＳ１０１で取得した撮影画像３との差分を算出することにより、ステップＳ１０１で取得した撮影画像３において前景領域を抽出する。例えば、制御部１１は、図９及び図１０で例示されるように、撮影画像３において前景領域を抽出することができる。
　図９は、撮影画像３に含まれる深度データに基づいて特定される撮影範囲内の各画素（被写体）の三次元分布を例示する。図１０は、図９で例示した被写体のうち撮影画像３から抽出される前景領域の三次元分布を例示する。上記のとおり、深度データに基づいて、撮影画像３の各画素の三次元空間（実空間）上の位置を特定することができる。そのため、撮影画像３内の位置と深度とにより各画素を三次元空間内でプロットすることで、図９で例示されるような三次元分布を作成することができる。また、背景画像４も、撮影画像３と同様に、深度データを含んでいる。そのため、背景画像４についても、図９で例示されるような各画素の三次元分布を特定することができる。
　そこで、制御部１１は、撮影画像３及び背景画像４の対応する画素の深度を比較する。そして、制御部１１は、撮影画像３と背景画像４とで深度の相違する画素を前景領域として抽出する。これによって、制御部１１は、図１０で例示されるような前景領域を抽出することができる。ステップＳ１０１で取得した撮影画像３において前景領域を抽出すると、制御部１１は、次のステップＳ１０３に処理を進める。
　（ステップＳ１０３）
　図５に戻り、次のステップＳ１０３では、制御部１１は、行動検知部１１３として機能し、ステップＳ１０２で抽出した前景領域の位置に基づいて、見守り対象者の行動を解析する。本実施形態では、撮影画像３は深度データを含んでいる。そのため、制御部１１は、前景領域に含まれる各画素の深度を参照することにより、図１０で例示されるような前景領域の実空間における位置を特定する。そして、制御部１１は、この前景領域の実空間における位置に基づいて見守り対象者の行動を解析する。これにより、制御部１１は、見守り対象者のベッドにおける行動を検知する。
　なお、前景領域の位置に基づいて見守り対象者の行動を解析する方法は、実施の形態に応じて適宜設定可能である。すなわち、見守り対象者の行動を検知する方法、各行動を検知するための所定の条件及び検出対象とする行動はそれぞれ、実施の形態に応じて適宜選択されてよい。以下では、見守り対象者の行動を検知する方法の一例として、前景領域とベッドとの位置関係に基づいて、見守り対象者の起き上がり、端座位、離床及びずり落ちを検知する方法を説明する。
　（１）起き上がり
　まず、図１１Ａ及び図１１Ｂを用いて、見守り対象者の起き上がりを検知する方法の一例について説明する。図１１Ａは、見守り対象者がベッド上で起き上がる場面をベッドサイド側から見た状態を模式的に例示する。また、図１１Ｂは、見守り対象者がベッド上で起き上がる場面をフットボード側から見た状態を模式的に例示する。なお、以下では、説明の便宜のため、ベッドのヘッドボードとフットボードとを結ぶ方向を「前後方向」と称し、サイドフレーム間を結ぶ方向を「左右方向」と称し、ベッドの鉛直方向を「上下方向」と称する。
　図１１Ａ及び図１１Ｂに例示されるように、見守り対象者がベッド上で起き上がった場合、見守り対象者の上半身がベッド面ＳＵの上方に移動するため、ベッド面ＳＵの上方に前景領域が現れると想定される。そのため、このような場所に現れる前景領域に基づいて見守り対象者の起き上がりを検知するために、ベッド面ＳＵから所定の高さＨＡの位置に、起き上がり用検知領域ＤＡが設定されてもよい。そして、制御部１１は、この起き上がり用検知領域ＤＡに所定の大きさを超える前景領域が現れた場合に、見守り対象者のベッド上での起き上がりを検知してもよい。
　なお、ベッド面ＳＵの範囲は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。本実施形態では、撮影画像３は深度データを含んでいる。そのため、ベッド面ＳＵは、図９及び図１０で例示されるカメラ２の撮影範囲の三次元空間上で適宜設定されてよい。
　同様に、起き上がり用検知領域ＤＡは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。また、起き上がり用検知領域ＤＡは、カメラ２の撮影範囲の三次元空間上で適宜設定されてよい。この起き上がり用検知領域ＤＡの範囲を定める所定の高さＨＡ及び起き上がり用検知領域ＤＡの前後方向、左右方向並びに上下方向それぞれの範囲は、見守り対象者がベッド上で起き上がる際に抽出される前景領域を含むように適宜設定される。
　また、起き上がりを検知する基準となる前景領域の大きさの閾値は、実施の形態に応じて適宜設定されてよい。ここで、前景領域の大きさは、前景領域に含まれる画素数により与えられてもよい。ただし、カメラ２から被写体が遠ざかるほど、撮影画像３内の被写体の像は小さくなり、カメラ２に被写体が近づくほど、撮影画像３内の被写体の像は大きくなる。撮影画像３内に写る被写体の深度は被写体の表面に対して取得されるが、その撮影画像３の各画素に対応する被写体の表面部分の面積は各画素間で一致するとは限らない。
　そこで、制御部１１は、被写体の遠近による影響を除外するために、本ステップＳ１０３において、各画素の深度を利用して、抽出した前景領域の実空間における面積を算出してもよい。前景領域の実空間における面積は、例えば、次のようにして算出することができる。すなわち、制御部１１は、まず、以下の数４及び数５の関係式に基づいて、図７及び図８に例示される任意の点ｓ（１画素）の実空間内における横方向の長さｗ及び／又は縦方向の長さｈをそれぞれ算出する。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　続いて、制御部１１は、このように算出されるｗの２乗、ｈの２乗、又はｗとｈとの積によって、深度Ｄｓにおける１画素の実空間内での面積を算出する。そして、制御部１１は、前景領域に含まれる各画素の実空間内での面積の総和を求めることで、前景領域の実空間における面積を算出する。これにより、被写体の遠近の影響を除外し、前景領域の大きさを求めることができる。以下、起き上がり以外の行動を検知する際に算出する前景領域の大きさも同様である。
　なお、このような面積は、深度データのノイズ、見守り対象者以外の物体の動き、等によって、大きく変化してしまう場合がある。これに対応するため、制御部１１は、数フレーム分の面積の平均を利用してもよい。また、制御部１１は、処理対象のフレームにおける該当領域の面積と当該処理対象のフレームよりも過去の数フレームにおける当該該当領域の面積の平均との差が所定範囲を超える場合、当該該当領域を処理対象から除外してもよい。
　また、制御部１１は、この起き上がり用検知領域ＤＡに現れた所定の大きさの前景領域に写る被写体を見守り対象者として推定してもよい。そして、これ以降に行動解析の各処理が繰り返される場合に、制御部１１は、見守り対象者が写る領域として推定した前景領域を追跡（トラッキング）することで、各撮影画像３で抽出される１又は複数の前景領域のうち、見守り対象者に対応する前景領域を特定してもよい。これによって、撮影画像３において複数の前景領域が抽出される場合に、制御部１１は、いずれの前景領域が見守り対象者に対応するかを容易に推定することができる。
　（２）端座位
　次に、図１２Ａ及び図１２Ｂを用いて、見守り対象者の端座位を検知する方法の一例について説明する。図１２Ａは、見守り対象者がベッド上で端座位を行っている場面をベッドサイド側から見た状態を模式的に例示する。また、図１２Ｂは、見守り対象者がベッド上で端座位を行っている場面をフットボード側から見た状態を模式的に例示する。
　図１２Ａ及び図１２Ｂに例示されるように、見守り対象者がベッド上で端座位を行った場合、見守り対象者の身体がベッドのサイドフレーム寄りに移動するため、ベッドのサイドフレーム付近に前景領域が現れると想定される。そのため、このような場所に現れる前景領域に基づいて見守り対象者の端座位を検知するために、ベッド面ＳＵ上のサイドフレーム付近の位置に、端座位用検知領域ＤＢが設定されてもよい。
　そして、制御部１１は、この端座位用検知領域ＤＢに所定の大きさを超える前景領域が現れた場合に、見守り対象者のベッド上での端座位を検知してもよい。また、制御部１１は、起き上がりを検知した後に、トラッキングしている前景領域が端座位用検知領域ＤＢに進入した場合に、見守り対象者のベッド上での端座位を検知してもよい。
　なお、端座位用検知領域ＤＢは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。また、端座位用検知領域ＤＢは、カメラ２の撮影範囲の三次元空間上で適宜設定されてよい。この端座位用検知領域ＤＢの位置及び各方向の範囲は、見守り対象者が端座位を行った際に抽出される前景領域を含むように適宜設定される。更に、端座位を検知する基準となる前景領域の大きさの閾値は、実施の形態に応じて適宜設定されてよい。この閾値は、上記起き上がりを検知する際の閾値と相違してもよい。
　ここで、図１２Ａ及び図１２Ｂでは、端座位用検知領域ＤＢは、ベッド面ＳＵより上方に設定されている。しかしながら、端座位用検知領域ＤＢの設定範囲はこのような例に限定されなくてもよく、端座位用検知領域ＤＢは、ベッド面ＳＵより下方の領域を含んでもよい。また、図１２Ａ及び図１２Ｂでは、端座位用検知領域ＤＢは、ベッドの両サイドに設定されている。しかしながら、端座位用検知領域ＤＢは、いずれか一方のサイドにのみ設定されてもよい。
　（３）離床
　次に、図１３Ａ及び図１３Ｂを用いて、見守り対象者の離床を検知する方法の一例について説明する。図１３Ａは、見守り対象者がベッドから離床する場面を模式的に例示する斜視図である。また、図１３Ｂは、見守り対象者がベッドから離床する場面をフットボード側から見た状態を模式的に例示する。
　図１３Ａ及び図１３Ｂに例示されるように、見守り対象者がベッドから離床した場合には、見守り対象者の身体がベッドから離れる方向に移動するため、ベッドから離れた位置に前景領域が現れると想定される。そのため、このような場所に現れる前景領域に基づいて見守り対象者の離床を検知するために、離床用検知距離ＨＣが設定されてもよい。
　そして、制御部１１は、所定の大きさを超える前景領域が、ベッド面ＳＵの右サイドから右方向に又はベッド面ＳＵの左サイドから左方向に離床用検知距離ＨＣ以上離れた位置に現れた場合に、見守り対象者のベッドからの離床を検知してもよい。また、制御部１１は、起き上がりを検知した後に、トラッキングしている前景領域が、ベッド面ＳＵの右サイドから右方向に又はベッド面ＳＵの左サイドから左方向に離床用検知距離ＨＣ以上離れた場合に、見守り対象者のベッドからの離床を検知してもよい。
　なお、離床用検知距離ＨＣの値は、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。この離床用検知距離ＨＣの値は、見守り対象者の離床を検知可能に適宜設定される。また、ベッド面ＳＵのサイドと前景領域との左右方向の距離は、適宜算出可能である。例えば、制御部１１は、前景領域に含まれる任意の点とベッド面ＳＵのサイドとの実空間における距離を計算することで、ベッド面ＳＵのサイドと前景領域との左右方向の距離を算出してもよい。ここで、距離を計算する任意の点は、適宜設定することができる。例えば、この任意の点は、前景領域の重心であってもよいし、前景領域内のベッド面ＳＵのサイドに最も近接する画素であってもよい。
　また、図１３Ａ及び図１３Ｂでは、画像解析装置１は、見守り対象者の離床をベッドの両サイドで検知可能に構成されている。しかしながら、画像解析装置１は、ベッドのいずれか一方のサイドで見守り対象者の離床を検知可能に構成されてもよい。すなわち、制御部１１は、ベッドのいずれか一方のサイドで、見守り対象者の検知処理を省略してもよい。
　更に、見守り対象者の離床を検知するため、この離床用検知距離ＨＣに代えて、上記起き上がり及び端座位と同様に、離床用検知領域が設定されてもよい。この場合には、上記起き上がり及び端座位と同様の方法で、制御部１１は、見守り対象者のベッドからの離床を検知することができる。また、離床を検知する基準となる前景領域の大きさの閾値は、実施の形態に応じて適宜設定されてよい。この閾値は、上記起き上がり及び端座位を検知する際の各閾値と相違してもよい。
　（４）ずり落ち
　次に、図１４Ａ及び図１４Ｂを用いて、見守り対象者のずり落ちを検知する方法の一例について説明する。図１４Ａは、見守り対象者がベッドからずり落ちている場面をベッドサイド側から見た状態を模式的に例示する。また、図１４Ｂは、見守り対象者がベッドからずり落ちている場面をフットボード側から見た状態を模式的に例示する。
　上記のとおり、見守り対象者がベッドからずり落ちる場合には、見守り対象者の身体は、ベッドサイドにおいてベッド上からベッド下に徐々に移行していく。ベッドサイドとは、図１４Ｂに例示されるように、ベッドの左右方向の各端部（サイドフレーム）からベッドと離間する方向の領域である。そのため、図１４Ａ及び図１４Ｂに例示されるように、見守り対象者がベッドからずり落ちる場合には、ベッドサイドにおけるベッド面ＳＵから所定の高さの範囲に、当該見守り対象者の身体部位に対応する所定の大きさ以上の前景領域が継続的に現れると想定される。
　そこで、本実施形態では、このような場所に現れる前景領域に基づいて見守り対象者のずり落ちを検知するために、ベッドサイドにおけるベッド面ＳＵから所定の高さの範囲に、ずり落ち用検知領域ＤＤが設定される。制御部１１は、このずり落ち用検知領域ＤＤに所定の大きさを超える前景領域が所定時間以上継続して現れるか否かを判定する。そして、制御部１１は、所定の大きさ以上の前景領域がずり落ち用検知領域ＤＤに所定時間以上継続して現れたと判定した場合に、前記見守り対象者のベッドからのずり落ちを検知する。
　なお、ずり落ち用検知領域ＤＤは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。また、ずり落ち用検知領域ＤＤは、カメラ２の撮影範囲の三次元空間上で適宜設定されてよい。このずり落ち用検知領域ＤＤの位置及び各方向の範囲は、見守り対象者がベッドからずり落ちる際に抽出される前景領域を含むように適宜設定される。
　例えば、ずり落ち用検知領域ＤＤのベッド面ＳＵからの上下方向の長さＨＤ３はそれぞれ、３００ｍｍに設定されてもよい。ずり落ち用検知領域ＤＤの上下方向の範囲は、このようにベッド面ＳＵの高さを基準に設定されてもよいし、ベッド面ＳＵの高さを基準にせずに設定されてもよい。また、例えば、ずり落ち用検知領域ＤＤの左右方向の長さＨＤ２は、４５０ｍｍに設定されてもよい。更に、例えば、ずり落ち用検知領域ＤＤの前後方向の長さＨＤ４は、ベッド面ＳＵの各サイドの長さに対応して設定されてよい。
　ただし、ずり落ち用検知領域ＤＤをベッド面ＳＵのサイドに当接又は近接するように設定した場合、ベッド上から布団がはみ出すことで、布団に対応する前景領域がずり落ち用検知領域ＤＤに現れる可能性がある。そこで、このずり落ち用検知領域ＤＤは、少なくとも布団の厚み分はベッドから離れた位置に設定されるのが望ましい。例えば、ずり落ち用検知領域ＤＤは、ベッドから左右方向に距離ＨＤ１だけ離間するように設定される。この距離ＨＤ１は、実施の形態に応じて適宜設定されてよい。距離ＨＤ１は、例えば、５０ｍｍに設定される。これによって、ずり落ち検知の精度を高めることができる。
　また、ずり落ちを検知する基準となる前景領域の大きさの閾値は、実施の形態に応じて適宜設定されてよい。この閾値は、上記起き上がり、端座位及び離床を検知する際の各閾値と相違してもよい。ここで、図１４Ａ及び図１４Ｂでは、ずり落ち用検知領域ＤＤは、ベッドの両サイドに設定されている。しかしながら、ずり落ち用検知領域ＤＤは、いずれか一方のサイドにのみ設定されてもよい。
　（５）その他
　本ステップＳ１０３では、制御部１１は、上記のようにして、前景領域の位置に基づいて見守り対象者の行動を解析することで、当該見守り対象者の各行動を検知する。すなわち、制御部１１は、上記各行動の判定条件を満たすと判定した場合に、見守り対象者は判定条件を満たした行動を行っていると認識し、次のステップＳ１０４に処理を進める。一方、上記各行動の判定条件を満たさないと判定した場合には、制御部１１は、見守り対象者の上記各行動を検知することなく、次のステップＳ１０４に処理を進める。この場合、制御部１１は、見守り対象者は上記各行動以外の状態（例えば、就寝状態）にあると認識してもよい。
　なお、見守り対象者の行動を検出する方法は、上記の方法に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１は、前景領域に含まれる各画素の撮影画像３内の位置及び深度の平均を取ることで、前景領域の平均位置を算出してもよい。そして、制御部１１は、実空間内において各行動を検出する条件として設定された検知領域に当該前景領域の平均位置が含まれるか否かを判定することで、見守り対象者の行動を検出してもよい。
　また、制御部１１は、前景領域の形状に基づいて、前景領域に写る身体部位を特定してもよい。前景領域は、背景画像からの変化を示す。そのため、前景領域に写る身体部位は、見守り対象者の動作部位に対応する。これに基づいて、制御部１１は、特定した身体部位（動作部位）とベッド面ＳＵとの位置関係に基づいて、見守り対象者の行動を検出してもよい。これと同様に、制御部１１は、各行動の検知領域に含まれる前景領域に写る身体部位が所定の身体部位であるか否かを判定することで、見守り対象者の行動を検知してもよい。
　（ステップＳ１０４）
　図５に戻り、次のステップＳ１０４では、制御部１１は、ステップＳ１０３において見守り対象者のベッドからのずり落ちを検知したか否かを判定する。そして、ステップＳ１０３において見守り対象者のベッドからのずり落ちを検知した場合には、制御部１１は、次のステップＳ１０５に処理を進める。一方、ステップＳ１０３において見守り対象者のベッドからのずり落ちを検知しなかった場合には、制御部１１は、次のステップＳ１０５の処理を省略して、本動作例に係る処理を終了する。
　（ステップＳ１０５）
　次のステップＳ１０５では、制御部１１は、通知部１１５として機能し、上記ステップＳ１０３において見守り対象者のベッドからのずり落ちを検知した場合に、当該見守り対象者がベッドからずり落ちている状態にあることを知らせるための通知を行う。これによって、本動作例に係る処理が終了する。なお、通知先及び通知方法は、実施の形態に応じて適宜選択することができる。制御部１１は、見守り対象者の行動を見守る見守り者又は見守り対象者自身に当該通知を行ってもよい。見守り対象者が、入院患者、施設入居者、要介護者等である場合は、見守り者は、例えば、看護師、施設職員、介護者等である。
　例えば、本実施形態に係る画像解析装置１が病院等の施設で利用される場合、当該画像解析装置１は、外部インタフェース１５を介して、ナースコールシステム等の設備と接続することができる。この場合、制御部１１は、当該ナースコールシステム等の設備と連携して、ずり落ち検知の通知を行ってもよい。すなわち、制御部１１は、外部インタフェース１５を介して、当該ナースコールシステムを制御してもよい。そして、制御部１１は、ずり落ち検知の通知として、当該ナースコールシステムによる呼び出しを行ってもよい。これによって、見守り対象者がベッドからずり落ちている状態にあることを当該見守り対象者の見守りを行う看護師等に適切に知らせることができる。
　また、例えば、制御部１１は、タッチパネルディスプレイ１３上に、ずり落ち検知の通知として、見守り対象者がベッドからのずり落ちを検知したこと知らせるための画面を表示させてもよい。また、例えば、制御部１１は、画像解析装置１に接続されるスピーカ１４から所定の音声を出力することにより、ずり落ち検知の通知を行ってもよい。このタッチパネルディスプレイ１３及びスピーカ１４をそれぞれ見守り者の居室に設置することで、見守り対象者がベッドからずり落ちていることを当該見守り者に適切に知らせることができる。
　また、例えば、制御部１１は、電子メール、ショートメッセージサービス、プッシュ通知等を利用して、このようなずり落ち検知の通知を行ってもよい。このような通知を行う場合には、通知先となるユーザ端末の電子メールアドレス、電話番号等は記憶部１２に予め登録されていてもよい。そして、制御部１１は、この予め登録されている電子メールアドレス、電話番号等を利用して、ずり落ち検知の通知を行ってもよい。
　なお、通知対象とする行動は、ベッドからのずり落ちのみに限定されなくてもよい。例えば、制御部１１は、見守り対象者のベッドからのずり落ち以外の行動を検知した場合にも、当該行動を検知したことを知らせるための通知を行ってもよい。この場合、ステップＳ１０４において、制御部１１は、ステップＳ１０３において通知対象とする行動を検知したか否かを判定する。そして、制御部１１は、ステップＳ１０３において通知対象とする行動を検知したと判定した場合には、ステップＳ１０５において当該行動を検知したことを知らせるための通知を行う。これによって、画像解析装置１は、見守り対象者のベッドからのずり落ち以外の行動を検知した場合にも、当該行動を検知したことを見守り者等に知らせることができる。また、上記通知を行わない場合には、上記ステップＳ１０４及び本ステップＳ１０５は省略されてもよい。
　＜その他＞
　上記のとおり、見守り対象者のベッドからのずり落ちを検知するためのずり落ち用検知領域ＤＤはベッドサイドに設定される。そのため、見守り対象者以外の人物（以下、「第三者」）がベッドサイドに存在している場合には、この第三者に対応する前景領域を見守り対象者の前景領域と誤り、見守り対象者のベッドからのずり落ちを誤検知する可能性がある。
　同様に、見守り対象者がベッド上で就寝している以外の状態（例えば、見守り対象者がベッド上で起き上がっている、ベッドから離床している等）にある場合には、見守り対象者のずり落ち以外の行動によって、ずり落ち用検知領域に前景領域が現れる可能性がある。そのため、見守り対象者がベッド上で就寝している以外の状態にある場合には、見守り対象者のずり落ち以外の行動をずり落ち行動と誤検知してしまう可能性がある。更に、このような場合には、見守り対象者がベッドからずり落ちる可能性は殆どなく、当該見守り対象者のベッドからのずり落ちを検知する必要性が極めて低くなる。
　そこで、上記のような誤検知を回避するため、本実施形態に係る画像解析装置１は、次のような場合に限り、上記ステップＳ１０３において、見守り対象者のベッドからのずり落ちを検知する判定処理を実行するように構成されてよい。すなわち、画像解析装置１は、見守り対象者以外の第三者がベッドサイドに存在している第１条件、及び、見守り対象者がベッド上で就寝する以外の行動を行っている第２条件、の少なくともいずれか一方が満たされる場合に、上記ステップＳ１０３においてずり落ち検知の判定処理の実行を停止するように構成されてもよい。一方、画像解析装置１は、第１条件及び第２条件が共に満たされていない場合に、上記ステップＳ１０３においてずり落ち検知の判定処理の実行を行う（開始する）ように構成されてもよい。以下、図１５及び図１６を用いて、このずり落ち検知の判定処理を実行するか否かを定める判定処理モードの制御の一例について説明する。
　まず、図１５を用いて、当該ずり落ち検知の判定処理モードについて説明する。図１５は、本実施形態に係る判定処理モードの状態遷移を例示する。図１５に例示されるように、本実施形態に係る判定処理モードは、実行モード及び停止モードの２種類である。実行モードは、上記ステップＳ１０３において見守り対象者のずり落ち検知の判定処理を実行するモードである。一方、停止モードは、上記ステップＳ１０３において見守り対象者のずり落ち検知の判定処理を省略するモードである。このような判定処理モードを示す情報は、例えば、ＲＡＭ上に保持される。制御部１１は、当該情報を更新することで、判定処理モードの切り替えを行う。
　例えば、制御部１１は、見守りを開始した時点では、判定処理モードを実行モードに設定する。そして、制御部１１は、上記ステップＳ１０３において、ステップＳ１０２で抽出された前景領域の解析に基づいて、見守り対象者以外の第三者がベッドサイドに存在している第１条件と、見守り対象者がベッド上で就寝する以外の行動を行っている第２条件と、がそれぞれ満たされているか否かを判定する。そして、制御部１１は、第１条件及び第２条件の少なくとも一方が満たされていると判定した場合に、実行モードから停止モードに判定処理モードを切り替える。その後、制御部１１は、第１条件及び第２条件が共に満たされなくなると、停止モードから実行モードに判定処理モードを切り替える。これにより、制御部１１は、ずり落ち検知の判定処理モードを制御する。
　次に、図１６を用いて、当該ずり落ち検知の判定処理モードの制御に関する処理手順を詳細に説明する。図１６は、本実施形態に係る判定処理モードの制御に関する処理手順を例示する。なお、以下で説明するずり落ち検知の判定処理モードの制御に関する処理手順は一例にすぎず、各処理は可能な限り変更されてもよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換及び追加が可能である。
　（ステップＳ２０１＆ステップＳ２０２）
　ステップＳ２０１では、制御部１１は、行動検知部１１３として機能し、ステップＳ１０２で抽出された前景領域の解析に基づいて、見守り対象者以外の第三者がベッドサイドに存在している第１条件と、見守り対象者がベッド上で就寝する以外の行動を行っている第２条件と、がそれぞれ満たされているか否かを判定する。
　そして、次のステップＳ２０２では、制御部１１は、ステップＳ２０１において第１条件及び第２条件のいずれか一方が満たされていると判定した場合に、ステップＳ２０３に処理を進める。一方、制御部１１は、ステップＳ２０１において第１条件及び第２条件が共に満たされていないと判定した場合には、ステップＳ２０４に処理を進める。なお、第１条件及び第２条件がそれぞれ満たされているか否かは次のようにして判定することができる。
　（１）第１条件
　まず、図１７Ａ及び図１７Ｂを用いて、第１条件の判定処理について説明する。図１７Ａは、見守り対象者以外の第三者がベッドサイドに存在している場面を模式的に例示する斜視図である。また、図１７Ｂは、見守り対象者以外の第三者がベッドサイドに存在している場面をフットボード側から見た状態を模式的に例示する。
　図１７Ａ及び図１７Ｂに例示されるように、第三者がベッドサイドに存在する場合には、ベッドサイドを移動する第三者に対応する前景領域がベッドから左右方向に所定の範囲に現れると想定される。そのため、このような場所に現れる前景領域に基づいて第三者の存在を検知するために、第三者用検知範囲ＨＥが設定されてもよい。
　そして、制御部１１は、所定の大きさを超える前景領域が、ベッド面ＳＵの右サイドから右方向に又はベッド面ＳＵの左サイドから左方向に第三者用検知範囲ＨＥ内に現れた場合に、第１条件が満たされていると判定してもよい。一方、所定の大きさを超える前景領域がこの第三者用検知範囲ＨＥ内に現れていない場合に、第１条件が満たされていないと判定してもよい。
　なお、第三者用検知範囲ＨＥは、システム上で予め設定されてもよいし、ユーザによって適宜設定されてもよい。また、第三者用検知範囲ＨＥの各方向の長さは、カメラ２の撮影範囲の三次元空間上で適宜設定されてよい。この第三者用検知範囲ＨＥは、ベッドサイドにおいて第三者の存在を検知可能に適宜設定される。
　また、図１７Ａ及び図１７Ｂでは、画像解析装置１は、第三者の存在をベッドの両サイドで検知可能に構成されている。しかしながら、画像解析装置１は、ベッドのいずれか一方のサイドでのみ第三者の存在を検知可能に構成されてもよい。すなわち、制御部１１は、ベッドのいずれか一方のサイドで、第三者の存在の判定処理を省略してもよい。
　なお、上記のように第三者の存在を判定する場合には、制御部１１は、ベッドから離床し、再びベッドに戻ってきた見守り対象者を第三者と誤ってしまう可能性がある。そのため、このような誤認識に対応するため、制御部１１は、次のようにして、見守り対象者を認識してもよい。
　すなわち、第三者用検知範囲ＨＥに進入した人物が見守り対象者である場合には、この人物はベッド上に移動すると想定される。一方、第三者用検知範囲ＨＥに進入した人物が見守り対象者以外の第三者である場合には、この人物はベッド上には移動しないと想定される。
　そこで、制御部１１は、上記第三者用検知範囲ＨＥの範囲内に現れた前景領域を、一旦、第三者に対応する前景領域と推定してもよい。加えて、これ以降の処理において、制御部１１は、この前景領域をトラッキングしてもよい。そして、この前景領域が上記起き上がり用検知領域ＤＡに進入した場合に、この前景領域は第三者に対応するものではなく、この前景領域は見守り対象者に対応するものであると上記推定を修正してもよい。これによって、見守り対象者に対応する前景領域を第三者に対応する前景領域と制御部１１が誤認識するのを防止することができる。
　（２）第２条件
　次に、第２条件の判定処理について説明する。制御部１１は、見守り対象者が就寝している以外の行動を行っていると推定可能な場合には、第２条件が満たされていると判定する。一方、制御部１１は、見守り対象者が就寝していると推定可能な場合に、第２条件が満たされていないと判定する。
　例えば、制御部１１は、上記ステップＳ１０３と同様の方法で、見守り対象者の起き上がり、端座位又は離床を検知した場合に、見守り対象者が就寝している以外の行動を行っていると推定し、第２条件が満たされていると判定してもよい。一方、制御部１１は、見守り対象者の起き上がり、端座位及び離床を検知できない場合に、見守り対象者が就寝していると推定し、第２条件が満たされていないと判定してもよい。
　また、制御部１１は、次のような場合に、見守り対象者が就寝していると推定してもよい。すなわち、見守り対象者がベッド上で就寝している場合には、当該見守り対象者に対応する前景領域が、ベッド面ＳＵより上方で、かつ、上記起き上がり用検知領域ＤＡより下方に現れると想定される。
　そのため、制御部１１は、例えば、トラッキングしている見守り対象者に対応する前景領域が、起き上がり用検知領域ＤＡからベッド面ＳＵの方向（下方向）に移動した場合に、見守り対象者がベッド上で就寝していると推定してもよい。また、制御部１１は、例えば、上記起き上がり用検知領域ＤＡに所定の大きさを超える前景領域が現れておらず、上記起き上がり用検知領域ＤＡとベッド面ＳＵとの間に所定の大きさを超える前景領域が現れている場合に、見守り対象者がベッド上で就寝していると推定してもよい。これらの推定に基づいて、制御部１１は、第２条件が満たされていないと判定してもよい。
　（ステップＳ２０３）
　ステップＳ２０３では、制御部１１は、ずり落ち検知の判定処理モードを停止モードにして、本動作例に係る処理手順を終了する。例えば、ずり落ち検知の判定処理モードが停止モードに設定されていた場合には、制御部１１は、ずり落ち検知の判定処理モードを停止モードのままにする。一方、ずり落ち検知の判定処理モードが実行モードに設定されていた場合には、制御部１１は、ずり落ち検知の判定処理モードを実行モードから停止モードに切り替える。これによって、これ以降に実行される上記ステップＳ１０３では、制御部１１は、ずり落ち検知の判定処理を省略する。
　（ステップＳ２０４）
　ステップＳ２０４では、制御部１１は、ずり落ち検知の判定処理モードを実行モードにして、次のステップＳ２０５に処理を進める。例えば、ずり落ち検知の判定処理モードが停止モードに設定されていた場合には、制御部１１は、ずり落ち検知の判定処理モードを停止モードから実行モードに切り替える。一方、ずり落ち検知の判定処理モードが実行モードに設定されていた場合には、制御部１１は、ずり落ち検知の判定処理モードを実行モードのままにする。これによって、これ以降に実行される上記ステップＳ１０３では、制御部１１は、ずり落ち検知の判定処理を実行（再開）する。
　（ステップＳ２０５）
　次のステップＳ２０５では、制御部１１は、背景更新部１１４として機能し、このときのステップＳ１０１で取得された撮影画像３により背景画像４の更新を行い、本動作例に係る処理手順を終了する。具体的には、制御部１１は、ステップＳ２０１及びＳ２０２により、上記第１条件及び第２条件が共に満たされていないと判定した場合に、上記ステップＳ２０４により、見守り対象者のベッドからのずり落ちを検知する判定処理の実行を開始する。この際に、制御部１１は、このときのステップＳ１０１で取得された撮影画像３を背景画像４に設定する。これによって、制御部１１は、これ以降に実行される上記ステップＳ１０２で利用される背景画像４を更新する。なお、本ステップＳ２０５は、上記ステップＳ２０４の前に実行されてもよい。また、背景画像４の更新を行わない場合には、本ステップＳ２０５は省略されてもよい。
　なお、上記ずり落ち検知の判定処理モードの制御に関する各処理は、任意のタイミングで実行されてもよい。例えば、上記ずり落ち検知の判定処理モードの制御に関する各処理は、上記ステップＳ１０２を処理した後、上記ステップＳ１０３でずり落ち検知の判定処理を実行する前に、実行されてもよい。また、画像解析装置１は、上記のような場合にずり落ち検知の判定処理の実行を停止するように構成されなくてもよく、上記ステップＳ１０３において常にずり落ち検知の判定処理を実行するように構成されてもよい。
　（作用・効果）
　以上のように、本実施形態に係る画像解析装置１は、上記ステップＳ１０１及びＳ１０２において、背景差分法に基づいて、カメラ２により撮影された撮影画像３から前景領域を抽出する。そして、上記ステップＳ１０３において、画像解析装置１は、抽出された前景領域の位置に基づいて、見守り対象者の行動を検知する。
　ここで、本実施形態では、見守り対象者のベッドからのずり落ちを検知するために、ベッドサイドにおいてベッド面ＳＵから所定の高さの範囲にずり落ち用検知領域ＤＤが設定される。そして、上記ステップＳ１０３では、制御部１１は、このずり落ち用検知領域ＤＤに所定の大きさ以上の前景領域が所定時間以上継続して現れるか否かを判定する。そして、制御部１１は、所定の大きさ以上の前景領域がずり落ち用検知領域ＤＤに所定時間以上継続して現れたと判定した場合に、当該見守り対象者のベッドからのずり落ちを検知する。したがって、上記構成によれば、見守り対象者のずり落ちを検知する技術を提供することができる。
　また、本実施形態では、上記ステップＳ２０１において、制御部１１は、見守り対象者以外の第三者がベッドサイドに存在している第１条件及び見守り対象者がベッド上で就寝する以外の行動を行っている第２条件が、それぞれ満たされているか否かを判定する。そして、第１条件及び第２条件の少なくともいずれか一方が満たされていると判定した場合には、制御部１１は、ステップＳ２０３の処理により、上記ステップＳ１０３における見守り対象者のずり落ち検知の判定処理の実行を停止する。一方、第１条件及び第２条件が共に満たされていないと判定した場合には、制御部１１は、ステップＳ２０４の処理により、上記ステップＳ１０３における見守り対象者のずり落ち検知の判定処理の実行を開始する。これによって、本実施形態によれば、上記第１条件及び第２条件が満たされる場合に生じうるずり落ちの誤検知を防止することができる。すなわち、本実施形態によれば、見守り対象者のずり落ち検知の精度を高めることができる。
　また、上記第１条件又は第２条件が満たされる場合には、第三者又は見守り対象者の行動に起因して、ベッドサイドの領域において背景の状態が変更される可能性がある。例えば、見守り対象者以外の第三者が、車椅子、点滴台等をベッドサイドに配置したケースが、ベッドサイドの領域において背景の状態が変更されるケースに該当する。このようにベッドサイドの領域において背景の状態が変更されたときには、ベッドサイドに設定されたずり落ち用検知領域ＤＤに前景領域が継続的に現れてしまい、見守り対象者のベッドからのずり落ちを誤検知してしまう可能性がある。
　これに対して、本実施形態では、上記ステップＳ２０５において、制御部１１は、見守り対象者のベッドからのずり落ちを検知する判定処理の実行を開始する際に、このときにステップＳ１０１で取得された撮影画像３を背景画像４に設定することで、背景画像４の更新を行う。そのため、上記のような理由によりベッドサイドの領域において背景の状態が変更されても、その変更が生じた後に取得される撮影画像３で背景画像４を更新するため、その後に実行されるステップＳ１０２の処理において、その背景の変更が生じた領域で前景領域が抽出されるのを防ぐことができる。したがって、本実施形態によれば、上記のような場合に生じるずり落ちの誤検知を防止することができる。
　§４　変形例
　以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
　例えば、上記実施形態では、ステップＳ１０１において、制御部１１は、深度データを含む撮影画像３を取得している。しかしながら、見守り対象者の行動を解析する対象となる撮影画像は、このような例に限定されなくてもよく、深度データを含まなくてもよい。すなわち、画像解析装置１は、二次元画像に基づいて見守り対象者の行動を解析するように構成されてもよい。この二次元画像は、赤外線カメラ、赤外線センサ等により撮影された２次元のサーモグラフィ、赤外線画像等であってもよい。
　また、上記実施形態では、見守り対象者のずり落ちを検知した場合に、画像解析装置１は、そのことを知らせるための通知を行う。これに加えて、画像解析装置１は、事故の予防のための動作を行うよう構成されてもよい。例えば、見守り対象者の利用するベッドがコンピュータで制御可能な電動ベッドである場合、この電動ベッドは、外部インタフェース１５を介して、画像解析装置１に接続されてもよい。この場合に、上記ステップＳ１０３において、見守り対象者のベッドからのずり落ちを検知したとき、制御部１１は、外部インタフェース１５を介してこの電動ベッドを制御することで、電動ベッドの高さが低くなるように操作してもよい。これによって、見守り対象者が高いところから転落するのを防ぐことができ、ベッドからの転落による事故を予防することができる。
　１…画像解析装置、
　２…カメラ、２１…深度センサ、
　３…撮影画像、４…背景画像、
　５…プログラム、６…記憶媒体、
１１…制御部、１２…記憶部、１３…タッチパネルディスプレイ、
１４…スピーカ、１５…外部インタフェース、１６…通信インタフェース、
１７…ドライブ、
１１１…画像取得部、１１２…前景抽出部、１１３…行動検知部、
１１４…背景更新部、１１５…通知部、
ＤＤ…ずり落ち用検知領域、ＳＵ…ベッド面

Claims (8)

  1. 　見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得する画像取得部と、
    　取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出する前景抽出部と、
    　抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知する行動検知部と、
    を備え、
    　前記行動検知部は、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する、
    画像解析装置。
  2. 　前記行動検知部は、抽出された前記前景領域の解析に基づいて、前記見守り対象者以外の人物がベッドサイドに存在している第１条件と、前記見守り対象者が前記ベッド上で就寝する以外の行動を行っている第２条件と、が満たされているか否かを判定し、
    　　前記第１条件及び前記第２条件の少なくともいずれか一方が満たされていると判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を停止し、
    　　前記第１条件及び前記第２条件が共に満たされていないと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を開始する、
    請求項１に記載の画像解析装置。
  3. 　前記第１条件及び前記第２条件が共に満たされていないと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する判定処理の実行を開始する際に、このときに取得された前記撮影画像を前記背景画像に設定することで、前記背景画像を更新する背景画像更新部を更に備える、
    請求項２に記載の画像解析装置。
  4. 　前記ずり落ち用検知領域は、少なくとも布団の厚み分は前記ベッドから離れた位置に設定される、
    請求項１から３のいずれか１項に記載の画像解析装置。
  5. 　前記画像取得部は、前記撮影画像内の各画素の深度を示す深度データを含む撮影画像を取得し、
    　前記前景抽出部は、深度データを含む前記背景画像と取得された前記撮影画像との差分を算出することで、取得された前記撮影画像の前記前景領域を抽出し、
    　前記行動検知部は、抽出された前記前景領域に含まれる各画素の深度を参照することにより特定される前記前景領域の実空間における位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知する、
    請求項１から４のいずれか１項に記載の画像解析装置。
  6. 　前記見守り対象者の前記ベッドからのずり落ちを検知した場合に、当該見守り対象者が前記ベッドからずり落ちている状態にあることを知らせるための通知を行う通知部を更に備える、
    請求項１から５のいずれか１項に記載の画像解析装置。
  7. 　コンピュータが、
    　見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得するステップと、
    　取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、
    　抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知するステップと、
    を実行し、
    　前記見守り対象者の行動を検知するステップでは、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定し、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知する、
    画像解析方法。
  8. 　コンピュータに、
    　見守り対象者のベッドにおける行動を見守るために設置された撮影装置によって撮影された撮影画像を取得するステップと、
    　取得された前記撮影画像と前記撮影画像の背景に設定された背景画像との差分を算出することにより、取得された前記撮影画像の前景領域を抽出するステップと、
    　抽出された前記前景領域の位置に基づいて前記見守り対象者の行動を解析することで、前記見守り対象者のベッドにおける行動を検知するステップと、
    を実行させ、
    　前記見守り対象者の行動を検知するステップでは、前記見守り対象者の前記ベッドからのずり落ちを検知するために設定されたずり落ち用検知領域であって、ベッドサイドにおいてベッド面から所定の高さの範囲に設定されたずり落ち用検知領域に、所定の大きさ以上の前記前景領域が所定時間以上継続して現れるか否かを判定させ、当該所定の大きさ以上の前記前景領域が当該ずり落ち用検知領域に当該所定時間以上継続して現れたと判定した場合に、前記見守り対象者の前記ベッドからのずり落ちを検知させる、
    ための画像解析プログラム。
PCT/JP2016/053347 2015-05-20 2016-02-04 画像解析装置、画像解析方法、及び、画像解析プログラム WO2016185738A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017518775A JP6607253B2 (ja) 2015-05-20 2016-02-04 画像解析装置、画像解析方法、及び、画像解析プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-102465 2015-05-20
JP2015102465 2015-05-20

Publications (1)

Publication Number Publication Date
WO2016185738A1 true WO2016185738A1 (ja) 2016-11-24

Family

ID=57319748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/053347 WO2016185738A1 (ja) 2015-05-20 2016-02-04 画像解析装置、画像解析方法、及び、画像解析プログラム

Country Status (2)

Country Link
JP (1) JP6607253B2 (ja)
WO (1) WO2016185738A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220735A (ja) * 2018-06-15 2019-12-26 エイアイビューライフ株式会社 情報処理装置
JPWO2020003952A1 (ja) * 2018-06-26 2021-08-02 コニカミノルタ株式会社 コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008206868A (ja) * 2007-02-27 2008-09-11 Paramount Bed Co Ltd 寝台装置
JP2011086286A (ja) * 2009-09-17 2011-04-28 Shimizu Corp ベッド上及び室内の見守りシステム
JP2012005745A (ja) * 2010-06-28 2012-01-12 Tateyama System Laboratory Ltd 寝床看護システム
JP2012071004A (ja) * 2010-09-29 2012-04-12 Omron Healthcare Co Ltd 安全看護システム、および、安全看護システムの制御方法
JP2012094140A (ja) * 2010-10-28 2012-05-17 General Electric Co <Ge> 人及び物体の位置を監視するシステム及び方法
US20140092247A1 (en) * 2012-09-28 2014-04-03 Careview Communications, Inc. System and method for monitoring a fall state of a patient while minimizing false alarms
JP2014174627A (ja) * 2013-03-06 2014-09-22 Nk Works Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2014236896A (ja) * 2013-06-10 2014-12-18 Ｎｋワークス株式会社 情報処理装置、情報処理方法、及び、プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008206868A (ja) * 2007-02-27 2008-09-11 Paramount Bed Co Ltd 寝台装置
JP2011086286A (ja) * 2009-09-17 2011-04-28 Shimizu Corp ベッド上及び室内の見守りシステム
JP2012005745A (ja) * 2010-06-28 2012-01-12 Tateyama System Laboratory Ltd 寝床看護システム
JP2012071004A (ja) * 2010-09-29 2012-04-12 Omron Healthcare Co Ltd 安全看護システム、および、安全看護システムの制御方法
JP2012094140A (ja) * 2010-10-28 2012-05-17 General Electric Co <Ge> 人及び物体の位置を監視するシステム及び方法
US20140092247A1 (en) * 2012-09-28 2014-04-03 Careview Communications, Inc. System and method for monitoring a fall state of a patient while minimizing false alarms
JP2014174627A (ja) * 2013-03-06 2014-09-22 Nk Works Co Ltd 情報処理装置、情報処理方法、及び、プログラム
JP2014236896A (ja) * 2013-06-10 2014-12-18 Ｎｋワークス株式会社 情報処理装置、情報処理方法、及び、プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220735A (ja) * 2018-06-15 2019-12-26 エイアイビューライフ株式会社 情報処理装置
JP7232497B2 (ja) 2018-06-15 2023-03-03 エイアイビューライフ株式会社 情報処理装置
JPWO2020003952A1 (ja) * 2018-06-26 2021-08-02 コニカミノルタ株式会社 コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JP7327397B2 (ja) 2018-06-26 2023-08-16 コニカミノルタ株式会社 コンピューターで実行されるプログラム、情報処理システム、および、コンピューターで実行される方法

Also Published As

Publication number Publication date
JPWO2016185738A1 (ja) 2018-03-08
JP6607253B2 (ja) 2019-11-20

Similar Documents

Publication Publication Date Title
JP6115335B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6500785B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6167563B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6780641B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP6432592B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6171415B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6504156B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2016151966A1 (ja) 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム
JP6489117B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6638723B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP2011198161A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
JP2011209794A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
JP6607253B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP2019008515A (ja) 見守り支援システム及びその制御方法
JP6737262B2 (ja) 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム
JP6645503B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
JP6606912B2 (ja) 浴室異常検知装置、浴室異常検知方法、及び浴室異常検知プログラム
JP6565468B2 (ja) 呼吸検知装置、呼吸検知方法、及び呼吸検知プログラム
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796133

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017518775

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16796133

Country of ref document: EP

Kind code of ref document: A1