WO2020031531A1 - 移動行動異常判定装置および該方法ならびに被監視者監視支援システム - Google Patents
移動行動異常判定装置および該方法ならびに被監視者監視支援システム Download PDFInfo
- Publication number
- WO2020031531A1 WO2020031531A1 PCT/JP2019/025205 JP2019025205W WO2020031531A1 WO 2020031531 A1 WO2020031531 A1 WO 2020031531A1 JP 2019025205 W JP2019025205 W JP 2019025205W WO 2020031531 A1 WO2020031531 A1 WO 2020031531A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- abnormality
- behavior
- moving
- unit
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to a moving behavior abnormality judging device and a moving behavior abnormality judging method for judging an abnormality of a moving behavior in a subject, and a monitored person monitoring support system including the moving behavior abnormality judging device.
- Patent Literature 1 discloses this technology.
- the fall prevention device disclosed in Patent Literature 1 includes at least one sensor for collecting a measurement result of a movement of a user of the device, and estimating a value for a parameter related to walking of the user from the measurement result. And a processor for determining the fall risk of the user from a comparison of the estimated value and the value of a parameter determined from the movement of the user when the user is at a normal fall risk, the processor (I) identifying a cluster of consecutive measurements in the collected measurements, wherein each magnitude of the measurements exceeds a threshold, and (ii) each magnitude of the measurements exceeds a threshold.
- a subset of the measurement results whose size is less than the threshold Excluding, provided that said subset spans a time period less than a time threshold, or (iii) identifying a cluster of consecutive measurements in said collected measurements, the size of which is
- a first collected measurement in the collected measurement that exceeds one threshold represents a first measurement in the cluster and a first measurement in the cluster whose magnitude is below a second threshold.
- the first collected measurement result after the measurement result of represents the last measurement result in the cluster, provided that the last measurement result is greater than the shortest period after the first measurement result; Estimating the value for a parameter relating to the walking of the user by identifying a step boundary in the collected measurement results.
- the sensors are an accelerometer, a magnetometer and a gyroscope, and are mounted as pendants by suspending them from the user's neck (for example, the [0031] paragraph, [0032] paragraph and [ [0085] See paragraph).
- the fall prevention device disclosed in Patent Document 1 warns that the risk of falling is high, so that the falling itself can be prevented. For this reason, for example, in a system that detects a fall and notifies a nurse or a caregiver or the like, the notification of the fall is reduced, and it is expected that the burden on the nurse or the caregiver or the like due to the notification is reduced. In addition, injuries and the like due to falling can be avoided, and reduction of the burden on the subject himself can be expected.
- the fall prevention device disclosed in Patent Literature 1 the subject must wear the sensor, and there is a problem that the wearing operation and the wearing state are troublesome and that the subject forgets to wear the sensor.
- the present invention is an invention made in view of the above-mentioned circumstances, and its object is to eliminate the need for wearing, and to determine a moving behavior abnormality determining apparatus and a moving behavior abnormality determining method capable of non-contactly determining a moving behavior abnormality and the method.
- An object of the present invention is to provide a monitored person monitoring support system including a moving behavior abnormality determination device.
- a moving behavior abnormality determining device In order to achieve at least one of the above-described objects, a moving behavior abnormality determining device, a moving behavior abnormality determining method, and a monitored person monitoring support system that reflect one aspect of the present invention are provided in a time series in a predetermined first period. A plurality of images are acquired, a movement behavior of the subject is detected based on the acquired plurality of images, and it is determined whether or not the movement behavior is abnormal based on the detected movement behavior.
- FIG. 2 is a diagram showing a configuration of a management server device in the monitored person monitoring support system. It is a figure for explaining detection processing of movement behavior of a target person (monitored person).
- FIG. 9 is a diagram for explaining an abnormality determination process of a moving action in an initial stage.
- FIG. 7 is a sequence diagram showing an operation related to notification of an event in the monitored person monitoring support system. It is a flowchart which shows the operation
- the monitored person monitoring support system supports the monitoring of a monitored person (watching target, target person) who is a monitoring target (watching target) to be monitored (watched). Is what you do.
- the monitored person monitoring support system is provided corresponding to the monitored person, and a sensor device that detects a predetermined event related to the monitored person, is communicably connected to the sensor device, A central management device that receives the notification of the event detected by the sensor device and manages the event, and a notification of the event detected by the sensor device via the central management device communicably connected to the central management device.
- Terminal device for receiving the information.
- the sensor device includes a moving behavior abnormality determination device that determines an abnormal movement behavior in the target person with the monitored person as a target person.
- the central management device may include the moving behavior abnormality determination device.
- the moving behavior abnormality determination device includes an image acquisition unit that acquires a plurality of time-series images in a predetermined first period; A moving behavior detecting unit that detects the behavior; and an abnormality determining unit that determines whether the moving behavior has an abnormality based on the moving behavior detected by the moving behavior detecting unit.
- the terminal device may be one type of device, but in the present embodiment, the terminal device is two types of devices, a fixed terminal device and a portable terminal device.
- the main difference between these fixed terminal devices and portable terminal devices is that while the fixed terminal device is fixedly operated, the portable terminal device is operated while being carried by a supervisor (user) such as a nurse or a caregiver.
- the fixed terminal device and the portable terminal device are substantially the same. Hereinafter, a more specific description will be given.
- FIG. 1 is a diagram showing a configuration of a monitored person monitoring support system in the embodiment.
- FIG. 2 is a diagram showing a configuration of a sensor device in the monitored person monitoring support system.
- FIG. 3 is a diagram for explaining an arrangement position of the sensor device.
- FIG. 4 is a diagram showing a configuration of a management server device in the monitored person monitoring support system.
- FIG. 5 is a diagram for explaining the detection processing of the movement behavior of the target person (monitored person).
- FIG. 5A shows six head images extracted from each of the six images when six images are overlapped on one another (when projected onto the floor FL of the room RM), and FIG. Indicates the center position in each of these six head images.
- FIG. 6 is a diagram for explaining the abnormality determination processing of the movement behavior in the initial stage.
- FIG. 6A shows the reference vector RB and each inter-image vector IV when it is determined to be normal
- FIG. 6B shows the reference vector RB and each inter-image vector IV when it is determined to
- the monitored person monitoring support system MS in the embodiment is a system that supports monitoring of the monitored person Ob.
- one or a plurality of sensor devices SU SU-1 to SU-4.
- a management server device SV a fixed terminal device SP, one or more portable terminal devices TA (TA-1, TA-2), and a private branch exchange (PBX, Private branch exchange) CX.
- PBX Private branch exchange
- It is communicably connected via a network (network, communication line) NW such as a LAN (Local Area Network) by wire or wireless.
- NW network, communication line
- the network NW may be provided with a repeater that relays a communication signal, such as a repeater, a bridge, and a router.
- a repeater that relays a communication signal
- the plurality of sensor devices SU-1 to SU-4, the management server device SV, the fixed terminal device SP, the plurality of portable terminal devices TA-1, TA-2, and the private branch exchange CX are L2 switches. (Hubs, hubs) LS and access point APs, and are communicably connected to each other by a wired and wireless LAN (for example, a LAN according to the IEEE 802.11 standard) NW. More specifically, the plurality of sensor devices SU-1 to SU-4, the management server device SV, the fixed terminal device SP, and the private branch exchange CX are connected to the concentrator LS, and the plurality of mobile terminal devices TA-1, TA-2. Is connected to the line concentrator LS via the access point AP.
- the network NW configures a so-called intranet by using Internet protocol groups such as TCP (Transmission @ control @ protocol) and IP (Internet @ protocol).
- the private branch exchange (line switching unit) CX is connected to the network NW, controls extension telephones such as outgoing calls, incoming calls and telephone calls between the portable terminal devices TA, and performs extension telephone calls between the portable terminal devices TA.
- the external telephone is controlled between the external telephone TL and the portable terminal device TA by controlling the external telephone.
- the private branch exchange CX is, for example, a digital exchange, an IP-PBX (Internet Protocol Private Branch eXchange), or the like.
- the monitored person monitoring support system MS is provided at an appropriate place according to the monitored person Ob.
- the monitored person (watching target person) Ob is, for example, a person who needs nursing due to illness or injury, a person who needs nursing care due to a decrease in physical ability, or a single person living alone.
- the monitored person Ob may be a person who needs to be discovered when a predetermined inconvenient event such as an abnormal state occurs in the person. preferable.
- the monitored person monitoring support system MS is suitably disposed in a building such as a hospital, a welfare facility for the aged, and dwelling units according to the type of the monitored person Ob.
- the monitored person monitoring support system MS is disposed in a building of a nursing facility including a plurality of rooms RM in which a plurality of monitored persons Ob enter, and a plurality of rooms such as nurse stations. .
- the sensor device SU includes a communication function for communicating with the other devices SV, SP, and TA via the network NW, and notifies a predetermined event (event) relating to the monitored person Ob to the management server device SV.
- a predetermined event relating to the monitored person Ob to the management server device SV.
- the sensor device SU functions as a movement behavior abnormality determination device, and determines that the monitored person Ob is the target person Ob to determine the abnormality of the movement behavior in the target person Ob.
- the predetermined event is preferably a predetermined event that needs to be dealt with, for example, a predetermined action and a nurse call in the monitored person Ob in the present embodiment.
- the sensor device SU detects a predetermined action of the monitored person Ob, notifies (transmits) the detection result to the management server device SV as an example of the predetermined event, and receives a nurse call. Notify (transmit) the nurse call to the management server SV as another example of the predetermined event, make a voice call with the terminal devices SP and TA, generate an image including a moving image, and , A device that distributes a moving image to the TA, and determines an abnormality in the movement behavior of the monitored person (target person) Ob.
- the moving behavior is, for example, an action related to movement such as running or walking. It is a walking to go.
- Such a sensor device SU includes, for example, as shown in FIG.
- an image acquisition unit 11 an image acquisition unit 11, a sound input / output unit 12, a nurse call reception operation unit 13, a sensor-side control processing unit (SU control processing unit) 14, and the like. And a sensor-side communication interface unit (SU communication IF unit) 15 and a sensor-side storage unit (SU storage unit) 16.
- SU communication IF unit sensor-side communication interface unit
- SU storage unit sensor-side storage unit
- the image acquisition unit 11 is a device that is connected to the SU control processing unit 14 and acquires a plurality of time-series images in a predetermined first period under the control of the SU control processing unit 14.
- the image acquisition unit 11 since a predetermined action, which is an example of the predetermined event, is detected from the image, the image acquisition unit 11 is the imaging unit 11 that generates a plurality of time-series images (image data).
- the imaging unit 11 is capable of detecting a predetermined action that is an example of the predetermined event, and at the time interval at which it is possible to determine the abnormality of the moving action, the image capturing unit 11 captures the plurality of time-series images. Generate.
- the imaging unit 11 preferably generates a moving image such as 5 fps, 10 fps, 15 fps, 24 fps, or 30 fps as a plurality of time-series images.
- the imaging unit 11 is arranged so as to be able to monitor a space (location space, in the example shown in FIG. 1, a living room (room) RM of the installation location) where the monitored person Ob to be monitored is scheduled to be located.
- a space location space, in the example shown in FIG. 1, a living room (room) RM of the installation location
- the location space is imaged from above, an image (image data) of the bird's-eye view of the imaged object is generated, and the image of the imaged object (target image) is subjected to SU control.
- the imaging unit 11 may be, for example, a bedding (for example, a bed or the like) placed on the floor FL where the monitored person Ob lies down.
- the subject Ob is placed on the ceiling CE so that the subject can be imaged immediately above a preset head position (usually a pillow placement position) where the head of the subject Ob is expected to be located.
- the imaging unit 11 is disposed at a substantially central position of the ceiling surface CE.
- the sensor device SU uses the image capturing unit 11 to capture an image of the monitored person Ob from above the monitored person Ob, preferably from an image directly above the expected head position or substantially at the center of the ceiling CE. To get.
- Such an imaging unit 11 may be a device that generates a visible light image, but in the present embodiment, is a device that generates an infrared image so that the monitored person Ob can be monitored even in a relatively dark place. .
- such an imaging unit 11 forms an infrared optical image of an object to be imaged on a predetermined imaging surface, and a light-receiving surface coincides with the imaging surface.
- An area image sensor that is arranged and converts an infrared optical image of the imaging target into an electrical signal, and data representing an infrared image of the imaging target by performing image processing on an output of the area image sensor. It is a digital infrared camera including an image processing unit for generating image data, preferably moving image data.
- the imaging optical system of the imaging unit 11 is preferably a wide-angle optical system (a so-called wide-angle lens (including a fish-eye lens)) having an angle of view capable of imaging the entire living room RM provided. .
- the sound input / output unit 12 is a circuit that inputs and outputs sound. That is, the sound input / output unit 12 is a circuit that is connected to the SU control processing unit 14 and generates and outputs a sound corresponding to an electric signal representing the sound according to the control of the SU control processing unit 14. This is a circuit for acquiring sound and inputting it to the sensor device SU.
- the sound input / output unit 12 includes, for example, a speaker that converts a sound electric signal (sound data) into a sound mechanical vibration signal (sound signal), a microphone that converts a sound mechanical vibration signal in an audible region into an electric signal, and the like. It is comprised including.
- the sound input / output unit 12 outputs an electric signal representing an external sound to the SU control processing unit 14, and converts the electric signal input from the SU control processing unit 14 into a mechanical vibration signal of sound and outputs the same.
- the nurse call reception operation unit 13 is connected to the SU control processing unit 14 and is a switch circuit such as a push button switch for inputting a nurse call to the sensor device SU.
- the nurse call reception operation unit 13 may be connected to the SU control processing unit 14 by wire, or may be connected to the SU control processing unit 14 by short-range wireless communication such as Bluetooth (registered trademark) standard.
- the SU communication IF unit 15 is a communication circuit that is connected to the SU control processing unit 14 and performs communication under the control of the SU control processing unit 14.
- the SU communication IF unit 15 generates a communication signal containing the data to be transferred input from the SU control processing unit 14 according to the communication protocol used in the network NW of the monitored person monitoring support system MS, and generates the communication signal.
- the communication signal is transmitted to other devices SV, SP, and TA via the network NW.
- the SU communication IF unit 15 receives a communication signal from another device SV, SP, TA via the network NW, extracts data from the received communication signal, and the SU control processing unit 14 can process the extracted data. Then, the data is converted into data of a suitable format and output to the SU control processing unit 14.
- the SU communication IF unit 15 includes, for example, a communication interface circuit conforming to the IEEE 802.11 standard or the like.
- the SU storage unit 16 is a circuit that is connected to the SU control processing unit 14 and stores various predetermined programs and various predetermined data under the control of the SU control processing unit 14.
- the various predetermined programs include, for example, an SU control program for controlling each of the units 11 to 13, 15, and 16 of the sensor device SU in accordance with the function of each unit, and a predetermined information processing for monitoring the monitored person Ob.
- Control processing program such as a SU monitoring processing program that executes the above, a moving behavior abnormality determination program that executes predetermined information processing regarding the determination of an abnormality in the movement behavior of the monitored person Ob, and an SU clock program that measures time in year, month, day, hour, minute, and second Is included.
- the SU monitoring processing program detects a predetermined behavior of the monitored person Ob and notifies the detection result to the predetermined terminal devices SP and TA via the management server SV as an example of the predetermined event.
- the action detection processing program or the nurse call reception operation unit 13 receives a nurse call
- the management server device SV is notified as another example of the predetermined event, and the SU sound input / output unit 12 or the like is used.
- the moving behavior abnormality determining program includes a moving behavior detecting program that detects a moving behavior of a monitored person (subject) Ob based on a plurality of images acquired by the imaging unit 11 as an example of the image acquiring unit.
- An abnormality determination program for determining whether or not there is an abnormality in the movement behavior based on the movement behavior detected by the movement behavior detection program is included.
- the various types of predetermined data include a sensor device identifier (sensor ID) of the own device, which is an identifier for identifying and identifying the sensor device SU, a communication address of the management server device SV, and a moving image generated by the imaging unit 11. , And data necessary for executing each program, such as the first and second counters CT1 and CT2.
- the SU storage unit 16 includes, for example, a non-volatile storage element such as a ROM (Read Only Memory) and a rewritable non-volatile storage element such as an EEPROM (Electrically Erasable Programmable Read Only Only Memory).
- the SU storage unit 16 includes a RAM (Random Access Memory) serving as a working memory of the so-called SU control processing unit 14 for storing data and the like generated during execution of the predetermined program.
- the SU storage unit 16 functionally includes first and second number storage units 161 and 162 that store the first and second number counters CT1 and CT2, respectively.
- the first number counter CT1 is a counter that represents the first number in order to count the first number that is determined to be abnormal in the movement behavior at an initial stage in each of the plurality of first periods included in the second period. It is.
- the second number counter CT2 is a counter that represents the second number in order to count the second number that is determined to be abnormal in the movement behavior at an intermediate stage in each of the plurality of second periods included in the third period. It is.
- the SU control processing unit 14 controls each of the units 11 to 13, 15, and 16 of the sensor device SU according to the function of each unit, and sends a predetermined event (event) related to the monitored person Ob to the management server device SV.
- This is a circuit for notifying and transmitting an event moving image to the management server SV. Then, in the present embodiment, the SU control processing unit 14 determines that the monitored person Ob is the target person Ob and determines an abnormality in the movement behavior of the target person Ob.
- the SU control processing unit 14 detects a predetermined action of the monitored person Ob, and notifies the management server SV of the detection result as an example of the predetermined event (notification, Transmitting), receiving a nurse call, notifying (notifying, transmitting) the nurse call to the management server SV as another example of the predetermined event, making a voice call with the terminal devices SP, TA, and Is generated, the moving image is distributed to the terminal devices SP and TA, and the abnormality of the movement behavior in the monitored person (target person) Ob is determined.
- the SU control processing unit 14 includes, for example, a CPU (Central Processing Unit) and its peripheral circuits.
- the SU control processing unit 14 executes a sensor-side control unit (SU control unit) 141, a behavior detection processing unit 142, a nurse call processing unit 143, a streaming processing unit 144, a moving behavior detection unit. 145, an abnormality determination unit 146 and a sensor side clock unit (SU clock unit) 147 are functionally provided, and the abnormality determination unit 146 is functionally provided with first to third determination units 1461 to 1463.
- SU control unit sensor-side control unit
- the SU control unit 141 controls each of the units 11 to 13, 15, and 16 of the sensor device SU according to the function of each unit, and controls the entire control of the sensor device SU.
- the action detection processing unit 142 detects a predetermined action set in the monitored person Ob and notifies the management server SV of the detection result as an example of the predetermined event. More specifically, in the present embodiment, the predetermined action is, for example, getting up where the monitored person Ob has occurred, leaving the monitored person Ob getting off the bed, falling down when the monitored person Ob has fallen from the bedding, Also, there are four actions in which the monitored person Ob falls down. Then, the behavior detection processing unit 142 detects the head of the monitored person Ob based on the target image captured by the imaging unit 11, for example, and detects the temporal change in the size of the detected head of the monitored person Ob. Based on this, the wake-up, leaving, falling, and falling of the monitored person Ob are detected.
- the first threshold value Th1 is a threshold value for identifying the size of the head in the lying posture and the size of the head in the sitting posture in the area where the bedding BD is located.
- the second threshold Th2 is a threshold for identifying whether or not the size of the head in the standing posture in the living room RM excluding the area where the bedding BD is located.
- the third threshold Th3 is a threshold for identifying whether or not the size of the head in the reclining posture in the living room RM excluding the area where the bedding BD is located.
- the behavior detection processing unit 142 extracts a moving body region from the target image as the region of the person to be monitored Ob by, for example, the background difference method or the frame difference method.
- the action detection processing unit 142 performs, for example, a circular or elliptical Hough transform, and also performs, for example, pattern matching using a prepared head model,
- the head area of the monitored person Ob is extracted by the neural network learned in (1).
- the behavior detection processing unit 142 detects rising, leaving the bed, falling, and falling from the extracted position and size of the head.
- the behavior detection processing unit 142 determines that the position of the extracted head is within the area where the bedding BD is located, and the size of the extracted head is the size of the recumbent posture by using the first threshold Th1. When the time has changed from ⁇ to the size of the sitting posture, it is determined that the user has woken up and the wake-up is detected. For example, the behavior detection processing unit 142 may determine that the position of the extracted head changes from the inside of the area where the bedding BD is located to the outside of the area where the bedding is located, and the size of the extracted head is the second size.
- the behavior detection processing unit 142 may determine that the position of the extracted head changes with time from within the area where the bedding BD is located to outside the area where the bedding BD is located. If the threshold value Th3 is used to cause a temporal change from a certain size to the lying posture size, it is determined that a fall has occurred, and the fall is detected. For example, the behavior detection processing unit 142 determines that the position of the extracted head is within the living room RM excluding the area where the bedding BD is located, and the size of the extracted head is determined by using the third threshold value Th3. In the case where the size changes from the size to the reclining posture over time, it is determined that the vehicle has fallen, and the fall is detected.
- the action detection processing unit 142 When the predetermined action is detected in this way, the action detection processing unit 142 notifies the event containing event information (event information) indicating the content of the predetermined event (event) relating to the monitored person Ob.
- the communication signal (first event notification communication signal) is notified to the management server SV by the SU communication IF unit 15. More specifically, the action detection processing unit 142 includes a sensor ID of the own device, event information indicating the content of the event, a time at which the predetermined action was detected (detection time), and an object used for detecting the predetermined action.
- the first event notification communication signal containing the image is transmitted to the management server SV via the SU communication IF unit 15.
- the event information is one or more of wake-up, wake-up, fall, fall, and nurse call (NC).
- the behavior detection processing unit 142 detects the wake-up, One or more of the falls are contained in the first event notification communication signal as the event information.
- the image may be at least one of a still image and a moving image.
- the still image is notified, and the moving image is distributed in response to a user request.
- a moving image may be distributed, or a still image and a moving image may be transmitted, and the still image and the moving image may be displayed on the terminal devices SP and TA by screen division.
- the nurse call processing unit 143 notifies the management server device SV of a first event notification communication signal containing, when the nurse call is received by the nurse call reception operating unit 13, another example of the predetermined event.
- a voice call is made between the terminal devices SP and TA by using the sound input / output unit 12 and the like. More specifically, when the nurse call reception operation unit 13 is input, the nurse call processing unit 143 determines the sensor ID of the own device, the time at which the nurse call was detected (detection time), and the event information.
- a first event notification communication signal containing the nurse call is transmitted to the management server device SV via the SU communication IF unit 15. Then, the nurse call processing unit 143 makes a voice call with the terminal devices SP and TA by using, for example, VoIP (Voice over Internet Protocol) using the sound input / output unit 12 and the like.
- VoIP Voice over Internet Protocol
- the streaming processing unit 144 sends the request to the fixed terminal device SP or the mobile terminal device TA that has made the request.
- a moving image for example, a live moving image
- the imaging unit 11 is distributed via the SU communication IF unit 15 by streaming reproduction.
- the moving behavior detecting unit 145 detects the moving behavior of the monitored person (target person) Ob based on a plurality of images acquired by the imaging unit 11 as an example of the image acquiring unit. More specifically, in the present embodiment, for each of the plurality of images, the movement behavior detection unit 145 extracts an image of the head of the monitored person Ob from the images as a head image, and the extracted head A center position or a center of gravity position in a partial image is extracted as a movement position, and each of the extracted movement positions in the plurality of images is detected as a movement behavior of the subject.
- the moving behavior detection unit 145 firstly extracts the person of the monitored person Ob from the images by, for example, the background subtraction method or the frame difference method, similarly to the above-described behavior detection processing unit 142.
- a moving object region is extracted as a region.
- the moving behavior detection unit 145 performs, for example, a circular or elliptical Hough transform, and also performs, for example, pattern matching using a prepared head model.
- the head region of the monitored person Ob is extracted as the head image by the neural network learned in (1). Note that the head region of the monitored person Ob extracted by the action detection processing unit 142 may be used as the head image.
- the movement behavior detection unit 145 obtains, for example, the center position in the extracted head region (head image) of the monitored person Ob as the movement position.
- a center of gravity position may be used instead of the center position.
- the center position is, for example, the intersection of two diagonal lines in a circumscribed rectangle circumscribing the head region (head image) of the monitored person Ob, or circumscribing the head region (head image) of the monitored person Ob. This is the center point of the circumcircle.
- the position of the center of gravity is the center point of the distribution of each pixel constituting the head region (head image) of the monitored person Ob.
- the movement behavior detection unit 145 obtains each of the extracted movement positions in the plurality of images as the movement behavior of the monitored person Ob.
- the six head regions (head images) HP-1 to HP-6 are extracted, and the six head regions thus extracted are extracted.
- the center position of each of the regions (head images) HP-1 to HP-6 is determined as the movement position MP, as shown in FIG. 5B, the six movement positions MP-1 to MP-6 are It is required as the movement behavior of the monitored person Ob.
- the abnormality determination unit 146 determines whether or not there is an abnormality in the movement behavior based on the movement behavior detected by the movement behavior detection unit 145.
- the presence or absence of the abnormality in the movement behavior is, for example, whether or not the walking is indicative of a sign of a fall, for example, whether or not the walking is wandering left and right with respect to the destination, or the walking deviating from the destination. It is determined by whether or not.
- the abnormality of the movement behavior may be determined in one stage, but in the present embodiment, the presence or absence of the abnormality is determined in a plurality of stages, for example, three stages according to the length of the determination period.
- the abnormality determination unit 146 determines whether or not there is an abnormality at an initial stage in a predetermined first period, and determines whether or not there is an abnormality in an intermediate stage during a predetermined second period longer than the first period. It functionally includes a second determination unit 1462 for determining and a third determination unit 1463 for determining whether or not there is an abnormality at the final stage in a predetermined third period longer than the second period.
- the first determination unit 1461 obtains, as a reference vector, a vector whose starting point is the moving position of the first image in the first period and whose ending point is the moving position of the last image in the first period. For each of the plurality of images, a vector having a moving position of the image and a moving position of an image that is subsequently adjacent to the image in chronological order as a start point and an ending point in chronological order is obtained as an inter-image vector. For each of the plurality of inter-image vectors, an angle between the inter-image vector and the reference vector is obtained, and among the obtained plurality of angles, the number of angles equal to or greater than a predetermined angle threshold Than is obtained.
- the first period is a time required to determine whether or not the staggered walk or the walk away from the destination is performed, and is appropriately set using a plurality of samples.
- the time is several seconds or less.
- the angle threshold Than is an angle necessary to determine whether or not the staggered walk or whether or not the walk goes away from the destination point, and is appropriately set using a plurality of samples. You.
- the first determination threshold value DTh1 is the number of times necessary to determine whether or not the above-mentioned walking is unsteady or whether or not the user is walking away from the destination point, and is appropriately determined using a plurality of samples. Is set.
- the starting position is the moving position MP-1 of the first image in the first period and the moving position MP- of the last image in the first period.
- a vector ending at 6 is obtained as a reference vector RV.
- the moving position MP-k of the image and the moving position MP of an image that is subsequently adjacent to the image in chronological order For each of the six images (frames), the moving position MP-k of the image and the moving position MP of an image that is subsequently adjacent to the image in chronological order.
- the first determination unit 1461 determines that the movement behavior is abnormal in the initial stage
- the first determination unit 1461 communicates the initial stage abnormality information indicating that the movement behavior is abnormal in the initial stage and the sensor ID of the own device.
- a signal (initial-stage abnormality notification communication signal) is generated to the management server device SV, and the generated first-stage abnormality notification communication signal is transmitted by the SU communication IF unit 15.
- the second determination unit 1462 obtains a first number of times that it is determined that the moving behavior is abnormal in the initial stage in each of the plurality of first periods included in the second period, and the obtained first number is a predetermined number. If the difference is equal to or greater than the second determination threshold value DTh2, it is determined that there is an abnormality in the movement behavior at an intermediate stage.
- the second period is arbitrarily and appropriately set as long as it is longer than the first period as described above. For example, the second period is set to a period (for example, one or two days) for which the supervisor wants to make an intermediate determination.
- the second period may be set such that a plurality of first periods included in the second period partially overlap in two first periods adjacent to each other, or a plurality of first periods included in the second period may be set.
- the second period may be set to an integral multiple of the first period so that the first periods are independent of each other (so as not to overlap in two adjacent first periods).
- the second determination threshold value DTh2 is appropriately set using a plurality of samples.
- the second determining unit 1462 determines that the moving behavior is abnormal in the intermediate stage
- the second determining unit 1462 communicates the intermediate stage abnormality information indicating that the moving behavior is abnormal in the intermediate stage and the sensor ID of the own device.
- a signal (intermediate-stage abnormality notification communication signal) is generated for the management server SV, and the generated intermediate-stage abnormality notification communication signal is transmitted by the SU communication IF unit 15.
- the third determination unit 1463 obtains a second number of times in which it is determined that the moving behavior is abnormal in the intermediate stage in each of the plurality of second periods included in the third period, and the obtained second number is a predetermined number. If it is equal to or greater than the third determination threshold value DTh3, it is determined that the movement behavior is abnormal in the final stage.
- the third period is set arbitrarily and appropriately as long as it is longer than the second period as described above, and is set, for example, to a period (for example, one week, two weeks, one month, or the like) that the monitor wants to make a final determination.
- the third period may be set so that a plurality of second periods included in the third period partially overlap in two first periods adjacent to each other, or a plurality of second periods included in the third period may be set.
- the third period may be set to an integral multiple of the second period so that the second periods are independent of each other (so as not to overlap in two adjacent second periods).
- the third determination threshold value DTh3 is appropriately set using a plurality of samples.
- the third determining unit 1463 determines that the moving behavior is abnormal in the final stage
- the third determining unit 1463 communicates the final stage abnormality information indicating that the moving behavior is abnormal in the final stage and the sensor ID of the own device.
- a signal (final stage abnormality notification communication signal) is generated for the management server SV, and the generated final stage abnormality notification communication signal is transmitted by the SU communication IF unit 15.
- the SU clock unit 147 counts the year, month, day, hour, minute, and second.
- FIG. 1 shows, as an example, first to fourth sensor devices SU-1 to SU-4, and the first sensor device SU-1 is Mr.
- a Ob-1 which is one of the monitored persons Ob.
- the second sensor device SU-2 is provided in a room RM-2 (not shown) of Mr. B Ob-2, one of the monitored persons Ob,
- the third sensor device SU-3 is disposed in a living room RM-3 (not shown) of Mr. Ob-3, one of the monitored objects Ob
- the fourth sensor device SU-4 is positioned in the monitored object Ob. It is arranged in a room RM-4 (not shown) of Mr. D Ob-4, one of the Obs.
- the management server device SV has a communication function of communicating with the other devices SU, TA, and SP via the network NW, and upon receiving the notification of the predetermined event from the sensor device SU, information on monitoring of the monitored person Ob ( Monitoring information (in the present embodiment, for example, the predetermined event (a predetermined action type detected by the sensor device SU or a nurse call received by the sensor device SU), an image (still image and moving image) of the monitored person Ob, and The above-mentioned detection time, etc.) is managed, and the predetermined event is notified (re-notification, re-notification, transmission) to the predetermined terminal device SP, TA, and a request from the client (the terminal device SP, TA, etc. in the present embodiment).
- Monitoring information in the present embodiment, for example, the predetermined event (a predetermined action type detected by the sensor device SU or a nurse call received by the sensor device SU), an image (still image and moving image) of the monitored person Ob, and The above-mentioned detection time, etc
- the management server device SV receives the abnormality determination result of the movement behavior in the first stage, the abnormality determination result of the movement behavior in the intermediate stage, and the abnormality determination result of the movement behavior in the final stage received from the sensor device SU.
- the management is performed for each sensor device SU (for each monitored person Ob).
- a management server device SV includes a server-side communication interface unit (SV communication IF unit) 21, a server-side control processing unit (SV control processing unit) 22, and a server-side storage unit. (SV storage unit) 23.
- the SV communication IF unit 21 is a communication circuit that is connected to the SV control processing unit 22 and performs communication under the control of the SV control processing unit 22, like the SU communication IF unit 15.
- the SV communication IF unit 21 includes, for example, a communication interface circuit according to the IEEE 802.11 standard or the like.
- the SV storage unit 23 is a circuit that is connected to the SV control processing unit 22 and stores various predetermined programs and various predetermined data under the control of the SV control processing unit 22.
- the various predetermined programs include, for example, an SV control program for controlling the respective units 21 and 23 of the management server device SV according to the functions of the respective units, and a predetermined information process relating to monitoring of the monitored person Ob.
- a control processing program such as a monitoring processing program, a determination processing program for managing the abnormality determination result of the movement behavior at each stage received from the sensor device SU, and an SV clock program for measuring time in year, month, day, hour, minute, and second are included.
- the various kinds of predetermined data include a server identifier (server ID) for identifying the management server SV and identifying the management server SV, the monitoring information of the monitored person Ob, the predetermined information, and the like.
- Inter-device information indicating information between devices SU, SP, and TA, such as notification destinations of events, sensor information on sensor devices SU, terminal information on terminal devices SP, TA, and abnormal movement behavior at each stage. Data necessary for executing each program such as a determination result is included.
- the SV storage unit 23 stores a monitoring information storage unit 231, an inter-device information storage unit 232, and a sensor An information storage unit 233, a terminal information storage unit 234, and a determination result storage unit 235 are functionally provided.
- the SV monitoring information storage unit 231 stores monitoring information of the monitored person Ob transmitted to and received from each of the devices SU, SP, and TA. More specifically, in the present embodiment, the SV monitoring information storage unit 231 stores, as the monitoring information, a sensor ID and event information based on each information contained in a communication signal such as a first event notification communication signal. (Event information, wake-up, wake-up, fall, fall, and nurse call in this embodiment), the detection time, the target image, the communication address of the sensor device SU as the acquisition destination of the live video, and the presence / absence of a response (whether or not a response is accepted) They are stored in association with each other.
- a communication signal such as a first event notification communication signal.
- the presence or absence of the countermeasure indicates that the observer who handles the terminal device SP or TA has an intention to cope (response, measure, or take action) with respect to the event information contained in the communication signal received by the terminal device SP or TA. This is information indicating whether or not the information has been received by the terminal devices SP and TA.
- the inter-device information storage unit 232 indicates a notification destination (re-notification destination, re-notification destination, transmission destination) of the first event notification communication signal or the like transmitted from the sensor device SU in the present embodiment.
- the correspondence between the sensor ID of the transmission source and the terminal ID of the notification destination (re-notification destination) (correspondence of the notification destination), and the IDs (sensor ID and terminal ID) of each device SU, SP, and TA It stores a correspondence relationship with a communication address (communication address correspondence relationship) and the like.
- the terminal ID is a terminal identifier for identifying the terminal devices SP and TA and identifying the terminal devices SP and TA.
- Each of the sensor ID, the server ID, and the terminal ID may be, for example, a serial number or the like composed of a predetermined symbol string, or may be, for example, a communication address (in this case, the communication address correspondence relationship can be omitted).
- the sensor information storage unit 233 stores the sensor information.
- the sensor information is information on the sensor device SU, and is information in which the sensor ID of the sensor device SU and the monitored person name of the monitored person Ob are associated with each other.
- the terminal information storage unit 234 stores, as the terminal information, a log-in monitor that indicates a monitor (user) logging in to the terminal device SP or TA (a monitor handling the terminal device SP or TA). It stores information and monitor work information indicating work conditions (work shifts and work hours) of the monitor.
- the determination result storage unit 235 stores the abnormality determination result of the movement behavior in the first stage, the abnormality determination result of the movement behavior in the intermediate stage, and the abnormality determination result of the movement behavior in the final stage received from the sensor device SU, The information is stored in association with the sensor ID and reception time of the SU.
- the SV control processing unit 22 controls each of the units 21 and 23 of the management server device SV according to the function of each unit, and receives a notification of the predetermined event from the sensor device SU, and monitors the monitoring of the monitored person Ob. Manages information, notifies the terminal device SP, TA of the predetermined event (re-notification, re-notification, transmission), and provides data to the client in response to a request from the client; This is a circuit for managing the entire MS. Then, in the present embodiment, the SV control processing unit 22 manages the abnormality determination result of the movement behavior at each stage received from the sensor device SU.
- the SV control processing unit 22 includes, for example, a CPU and its peripheral circuits.
- the SV control processing unit 22 executes the control processing program to execute a server-side control unit (SV control unit) 221, a monitoring processing unit 222, a determination result processing unit 223, and a server-side clock unit (SV clock unit) 224. Is provided functionally.
- the SV control unit 221 controls each of the units 21 and 23 of the management server device SV according to the function of each unit, and controls the entire control of the management server device SV.
- the monitoring processing unit 222 Upon receiving the notification of the predetermined event from the sensor device SU, the monitoring processing unit 222 manages monitoring information regarding monitoring of the monitored person Ob, and notifies the predetermined event to predetermined terminal devices SP and TA. . More specifically, when the monitoring processing unit 222 receives the first event notification communication signal from the sensor device SU, the monitoring processing unit 222 includes monitoring information regarding monitoring of the monitored person Ob, which is contained in the received first event notification communication signal. Is stored (recorded) in the SV monitoring information storage unit 231. The monitoring processing unit 222 stores a notification destination (re-notification destination, transfer destination, transmission destination) corresponding to the sensor device SU that transmitted the received first event notification communication signal in the inter-device information storage unit 232.
- a notification destination re-notification destination, transfer destination, transmission destination
- Selection is performed based on the notification destination correspondence relationship, a second event notification communication signal is generated based on the selection result, and the generated second event notification communication signal is transmitted by the SV communication IF unit 21.
- the selection (search process) of the terminal devices SP and TA of the notification destination is performed based on the sensor ID corresponding to the sensor device SU that has transmitted the received first event notification communication signal. If the event information contained in the first event notification communication signal is the predetermined action (one or more of getting up, getting out of bed, falling, and falling), the second event notification communication signal contains The communication address corresponding to the sensor device SU having the sensor ID contained in the first event notification communication signal is stored as a download destination of the sensor ID, the event information, and the target image contained in the first event notification communication signal. Is done. When the event information contained in the first event notification communication signal is the nurse call, the sensor ID and the event information contained in the first event notification communication signal are contained in the second event notification communication signal. Is done.
- the determination result processing unit 223 manages the abnormality determination result of the moving behavior in each stage received from the sensor device SU.
- the determination result processing unit 223 determines the first-stage abnormality information and the sensor ID contained in the received first-stage abnormality notification communication signal, and the reception time. Are stored in the determination result storage unit 235 of the SV storage unit 23 in association with each other.
- the determination result processing unit 223 associates the intermediate stage abnormality information and the sensor ID contained in the received intermediate stage abnormality notification communication signal with the reception time, and associates the received SV with the SV.
- the determination result is stored in the determination result storage unit 235 of the storage unit 23.
- the determination result processing unit 223 associates the final stage abnormality information and the sensor ID contained in the received final floor abnormality notification communication signal with the reception time, and associates the SV with the SV.
- the determination result is stored in the determination result storage unit 235 of the storage unit 23.
- the determination time is replaced with the reception time. May be used.
- the determination result processing unit 223 stores the information in the determination result storage unit 235 of the SV storage unit 23.
- the first-stage abnormality information, the intermediate-stage abnormality information, and the last-stage abnormality information are returned to the requesting terminal devices SP and TA.
- the terminal devices SP and TA that have received this reply display the first-stage abnormality information, the intermediate-stage abnormality information, and the last-stage abnormality information.
- the management server apparatus transmits the first-stage abnormality notification communication signal, the intermediate-stage abnormality notification communication signal, and the last-floor abnormality notification in the same manner as the transmission of the second event notification communication signal by receiving the first event notification communication signal.
- the first-stage abnormal information, the intermediate-stage abnormal information, and the final-stage abnormal information may be transmitted to the transmission destination terminal devices SP and TA corresponding to the transmission source sensor device SU.
- the ⁇ ⁇ SV clock unit 224 counts the year, month, day, hour, minute, and second.
- the management server SV is connected to the SV control processing unit 22 as necessary, as shown by a broken line in FIG. 4, and is further connected to the server-side input unit (SV input unit) for inputting various commands and various data. ) 24, a server-side output unit (SV output unit) 25 that outputs various commands and various data input by the SV input unit 24 and monitoring information regarding monitoring of the monitored person Ob, and data between the server and the external device.
- a server-side interface unit (SVIF unit) 26 for inputting / outputting the data may be provided.
- Such a management server device SV can be configured by, for example, a computer having a communication function.
- This management server device SV corresponds to an example of a central processing unit.
- the fixed terminal device SP has a communication function of communicating with the other devices SU, SV, and TA via the network NW, a display function of displaying predetermined information, and an input function of inputting predetermined instructions and data, and the like.
- a communication function of communicating with the other devices SU, SV, and TA via the network NW a display function of displaying predetermined information, and an input function of inputting predetermined instructions and data, and the like.
- UI user interface
- the fixed terminal device SP displays first-stage abnormal information, intermediate-stage abnormal information, and final-stage abnormal information.
- Such a fixed terminal device SP can be constituted by, for example, a computer having a communication function.
- the mobile terminal device TA has a communication function for communicating with other devices SV, SP, and SU via the network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and a voice call. It has a call function to perform, and inputs predetermined instructions and data given to the management server device SV and the sensor device SU, displays the monitoring information obtained by the sensor device SU by a notification from the management server device SV, This is a device for answering or calling a nurse call by voice communication with the sensor device SU.
- the portable terminal device TA displays first-stage abnormal information, intermediate-stage abnormal information, and final-stage abnormal information.
- Such a mobile terminal device TA can be constituted by, for example, a tablet computer with a communication function or a so-called smartphone.
- FIG. 7 is a sequence diagram showing an operation related to notification of an event in the monitored person monitoring support system.
- FIG. 8 is a flowchart showing an operation relating to the determination of an abnormality in the movement behavior in the sensor device.
- the SU control processing unit 14 includes the SU control unit 141, the behavior detection processing unit 142, the nurse call processing unit 143, the SU streaming processing unit 144, the moving behavior detection unit 145,
- the abnormality determination unit 146 and the SU clock unit 147 are functionally configured, and the abnormality determination unit 146 functionally includes first to third determination units 1461 to 1463.
- the SV control processing unit 22 functionally includes an SV control unit 221, a monitoring processing unit 222, a determination result processing unit 223, and an SV clock unit 224.
- the sensor device SU transmits a first event notification communication signal to the management server device SV to notify the detected event (C2). More specifically, when the sensor device SU starts its operation, it detects the predetermined event by operating as follows every frame or every few frames, and detects the predetermined event. Is transmitted, the first event notification communication signal is transmitted to the management server SV.
- the sensor device SU acquires an image (image data) for one frame as a target image from the imaging unit 11, detects a predetermined action in the monitored person Ob based on the obtained target image, and performs the predetermined action.
- a first event notification communication signal for action detection containing the predetermined action detected as the event information is sent to the SU communication IF unit 15 in order to notify the detection result to the predetermined terminal devices SP and TA.
- the sensor device SU determines whether or not a nurse call has been received. Then, the sensor device SU transmits, as the event information, the first event notification communication signal of the nurse call detection containing the received nurse call to the management server device SV by the SU communication IF unit 15.
- the management server SV records (stores) the monitoring information based on the received first event notification communication signal by the monitoring processing unit 222.
- a second event notification communication signal corresponding to the received first event notification communication signal is transmitted to predetermined terminal devices SP and TA (C5). More specifically, when the monitoring processing unit 222 receives the first event notification communication signal from the sensor device SU via the network NW, the monitoring processing unit 222 detects the sensor ID and the event information contained in the received first event notification communication signal. Are stored (recorded) in the SV storage unit 23 as monitoring information of the monitored person Ob monitored by the sensor device SU having the sensor ID.
- the monitoring processing unit 222 generates a second event notification communication signal addressed to the terminal devices SP and TA having the terminal ID corresponding to the sensor ID contained in the received first event notification communication signal, and generates the second event notification communication signal.
- the SV communication IF unit 21 transmits the second event notification communication signal.
- the terminal devices SP and TA that have received the second event notification communication signal transmit the sensor contained in the second event notification communication signal.
- Each information such as ID and event information is stored as monitoring information of the monitored person Ob monitored by the sensor device SU having the sensor ID, and the monitoring information is displayed (C7).
- the event detected by the sensor device SU is displayed on predetermined terminal devices SP and TA via the management server device SV.
- the supervisor NS such as a nurse or a caregiver who refers to the monitoring information inputs a call request to the terminal devices SP and TA, for example, to make a call.
- the terminal devices SP and TA Upon receiving the input, the terminal devices SP and TA transmit a communication signal (call request communication signal) for requesting a call to the sensor device SU having the sensor ID related to the monitoring information being displayed.
- the terminal devices SP and TA and the sensor device SU are communicably connected by VoIP, and the supervisor NS communicates with the monitored person Ob.
- the observer NS inputs a moving image request to the terminal devices SP and TA.
- the terminal devices SP and TA transmit a communication signal (moving image request communication signal) for requesting a moving image to the sensor device SU having the sensor ID related to the monitoring information being displayed.
- the terminal devices SP and TA and the sensor device SU are connected so that the moving image can be reproduced by streaming, and the observer NS refers to the moving image displayed on the terminal devices SP and TA.
- the sensor device SU While notifying the event by detecting the event as described above, the sensor device SU determines whether there is an abnormality in the movement behavior by operating as follows.
- the sensor device SU determines whether or not the movement behavior is abnormal at the previous initial stage by the movement behavior detection unit 145 of the SU control processing unit 14 (described later in the previous description). After executing the process S13), it is determined whether or not a predetermined number of frames (images) corresponding to the first period has been newly acquired from the imaging unit 11 as the image acquisition unit (S11). As a result of this determination, when a predetermined number of frames have been obtained (Yes), the moving behavior detection unit 145 next executes the process S12, and on the other hand, as a result of the determination, has obtained a predetermined number of frames. If not (No), the movement behavior detection unit 145 returns the processing to step S11. That is, the moving behavior detection unit 145 repeats the process S11 from the previous determination of the presence or absence of the abnormality of the movement behavior at the initial stage until a predetermined number of frames are newly acquired from the imaging unit 11.
- the sensor device SU detects the moving behavior of the monitored person Ob by the moving behavior detecting unit 145 based on the predetermined number of frames acquired from the imaging unit 11 in the processing S11.
- the moving behavior detection unit 145 extracts the image of the head of the monitored person Ob as the head image HP from each of the six frames, and extracts the extracted image.
- the center position (or the center of gravity) in the head image HP is extracted as the movement position MP, and the extracted six movement positions MP-1 to MP-6 in these six frames are used as the movement behavior of the monitored person Ob. Detected as
- the sensor device SU determines whether or not there is an abnormality in the movement behavior in the initial stage by the first determination unit 1461 of the abnormality determination unit 146 in the SU control processing unit 14 (S13). For example, in the example illustrated in FIG. 6 described above, the first determination unit 1461 first determines each of the moving positions MP-1 and MP-6 obtained from the first and last frames of the six frames, respectively. A reference vector RV as a start point and an end point is obtained. Next, for each of the six frames, the first determination unit 1461 sets, as the start point and the end point, each of the moving positions MP-k and MP- (k + 1) obtained from the frame and the succeeding adjacent frames.
- the first determination unit 1461 obtains an angle ⁇ k between the inter-image vector IV-k and the reference vector RV for each of the inter-image vectors IV-1 to IV-5.
- the first determination unit 1461 obtains the number Nan of angles that are equal to or larger than the angle threshold Than among the obtained angles ⁇ 1 to ⁇ 5.
- the first determination unit 1461 determines that there is an abnormality in the movement behavior at the initial stage. If it is less than the threshold value DTh1, it is determined that there is no abnormality in the movement behavior at the initial stage (that is, it can be regarded as normal).
- the sensor device SU when it is determined in the initial stage that there is no abnormality in the moving behavior (No), the sensor device SU next executes the process S16. If it is determined that there is an abnormality (Yes), the sensor device SU next executes the processing of the processing S14 and the processing S15 sequentially, and then executes the processing S16.
- the sensor device SU determines that the movement behavior is abnormal in the initial stage of each of the plurality of first periods included in the second period by the second determining unit 1462 of the abnormality determining unit 146 in the SU control processing unit 14.
- the first number counter CT1 stored in the first number storage unit 161 of the SU storage unit 16 is incremented by one (CT1 + 1 ⁇ CT1).
- the sensor device SU transmits the first-stage abnormality notification message by the first determination unit 1461 of the abnormality determination unit 146 in the SU control processing unit 14 to notify the first-stage abnormality.
- a signal is transmitted to the management server SV.
- the management server device SV Upon receiving the first-stage abnormality notification communication signal from the sensor device SU, the management server device SV causes the determination result processing unit 223 of the SV control processing unit 22 to perform the first-stage abnormality information contained in the received first-stage abnormality notification communication signal.
- the sensor ID and the reception time are stored (recorded) in the determination result storage unit 235 of the SV storage unit 23 in association with each other, thereby managing the first-stage abnormality information.
- the management server SV may notify (transfer) the initial stage abnormality information to the predetermined terminal devices SP and TA.
- the notification of the intermediate stage abnormal information and the notification of the final stage abnormal information to be described later allow the monitor, such as a nurse or a caregiver, to pay attention to the monitored person Ob by receiving the notification. It is also possible to take measures to prevent falls.
- the sensor device SU determines, by the second determination unit 1462 of the abnormality determination unit 146 in the SU control processing unit 14, whether or not there is an abnormality in the movement behavior at the previous intermediate stage (described later in the previous description). After executing the processing S17), it is determined whether or not the second period has elapsed. When it is determined that the second period has not elapsed (No), the sensor device SU returns the process to the process S11. Thereby, in the second period, it is determined whether or not the moving behavior is abnormal at an initial stage in the next first period. On the other hand, when the result of the determination is that the second period has elapsed (Yes), the sensor device SU next executes a process S17.
- the sensor device SU determines whether or not the movement behavior is abnormal in the intermediate stage by the second determination unit 1462 of the abnormality determination unit 146 in the SU control processing unit 14. More specifically, the second determination unit 1462 determines whether the first number counter CT1 stored in the first number storage unit 161 of the SU storage unit 16 is equal to or greater than the second determination threshold DTh2. . If the result of this determination is that the first number counter CT1 is less than the second determination threshold DTh2, the second determination unit 1462 determines that there is no abnormality in the movement behavior in the intermediate stage (that is, it can be regarded as normal). (No) After resetting the first number counter CT1, the process S20 is executed.
- the process proceeds to an intermediate stage. After determining that there is an abnormality in the movement behavior (Yes), the sensor device SU resets the first number counter CT1 and then executes step S18 and step S19 sequentially, and then executes step S20.
- the sensor device SU determines that the moving behavior is abnormal in the intermediate stage in each of the plurality of second periods included in the third period by the third determining unit 1462 of the abnormality determining unit 146 in the SU control processing unit 14.
- the second number counter CT2 stored in the second number storage unit 162 of the SU storage unit 16 is incremented by one (CT2 + 1 ⁇ CT2).
- the sensor device SU notifies the intermediate stage abnormality by the second determination unit 1462 of the abnormality determination unit 146 in the SU control processing unit 14.
- An intermediate stage abnormality notification communication signal is transmitted to the management server device SV.
- the management server device SV Upon receiving the intermediate stage abnormality notification communication signal from the sensor device SU, the management server device SV causes the determination result processing unit 223 of the SV control processing unit 22 to execute the intermediate stage abnormality information contained in the received intermediate stage abnormality notification communication signal.
- the sensor ID and the reception time are stored in association with each other in the determination result storage unit 235 of the SV storage unit 23, thereby managing the intermediate stage abnormality information.
- the management server SV may notify (transfer) the intermediate stage abnormality information to the predetermined terminal devices SP and TA.
- the sensor device SU determines whether or not the movement behavior in the last stage is abnormal by the third determination unit 1462 of the abnormality determination unit 146 in the SU control processing unit 14 (described later in the previous description). After executing the processing S21), it is determined whether or not the third period has elapsed. As a result of this determination, when it is determined that the third period has not elapsed (No), the sensor device SU returns the processing to the processing S11. Thereby, in the third period, it is determined whether or not the moving behavior is abnormal at an intermediate stage in the next second period. On the other hand, when it is determined that the third period has elapsed as a result of the determination (Yes), the sensor device SU next performs a process S21.
- the sensor device SU determines whether or not there is an abnormality in the movement behavior in the final stage by the third determination unit 1463 of the abnormality determination unit 146 in the SU control processing unit 14. More specifically, the third determination unit 1463 determines whether the second number counter CT2 stored in the second number storage unit 162 of the SU storage unit 16 is equal to or greater than the third determination threshold DTh3. . If the result of this determination is that the second number counter CT2 is less than the third determination threshold value DTh3, the third determination unit 1463 determines that there is no abnormality in the movement behavior at the final stage (that is, it can be regarded as normal). (No), after resetting the second number counter CT2, the process S23 is executed.
- the final step is performed. It is determined that there is an abnormality in the movement behavior (Yes), and after resetting the second number counter CT2, the sensor device SU executes the process S22, and then executes the process S23.
- the sensor device SU notifies the final stage abnormality by the third determination unit 1463 of the abnormality determination unit 146 in the SU control processing unit 14.
- a final stage abnormality notification communication signal is transmitted to the management server SV.
- the management server device SV When receiving the final stage abnormality notification communication signal from the sensor device SU, the management server device SV causes the determination result processing unit 223 of the SV control processing unit 22 to transmit the final stage abnormality information contained in the received final stage abnormality notification communication signal.
- the sensor ID and the reception time are stored (recorded) in the determination result storage unit 235 of the SV storage unit 23 in association with each other, thereby managing the final stage abnormality information.
- the management server SV may notify (transfer) the final stage abnormality information to the predetermined terminal devices SP and TA.
- the SU control processing unit 14 determines whether or not the operation of the sensor device SU is completed (stopped). If the result of this determination is that the operation has ended (stopped) (Yes), the sensor device SU ends this processing, while if it has not been the operation end (stop) (No), the sensor device SU The SU returns the process to the process S11.
- the monitored person monitoring support system MS, the sensor device SU including the moving behavior abnormality determination device, and the moving behavior abnormality determination method mounted on the system according to the present embodiment include a plurality of time-series images. It is determined whether or not there is an abnormality in the movement behavior of the target person (monitored person) Ob on the basis of, so that there is no need to wear the object and it is possible to determine the abnormality in the movement behavior without contact.
- the monitored person monitoring support system MS, the sensor device SU including the moving behavior abnormality determination device, and the moving behavior abnormality determination method extract the head image HP of the subject Ob for each of a plurality of images (frames), and extract these. It is determined whether or not there is an abnormality in the movement behavior of the subject Ob in each direction of the inter-image vector IV with respect to the reference vector RV based on the head images HP of the plurality of subjects Ob, so that it is easy to detect the fluctuation. Abnormality of the movement behavior can be determined using the head.
- the monitored person monitoring support system MS, the sensor device SU including the moving behavior abnormality determination device, and the moving behavior abnormality determination method determine whether or not the movement behavior of the target person is abnormal in the second period longer than the first period. Since the determination is made, the abnormality of the movement behavior can be determined more accurately.
- the monitored person monitoring support system MS, the sensor device SU including the moving behavior abnormality determining device, and the moving behavior abnormality determining method determine whether or not the moving behavior of the subject is abnormal in the third period longer than the second period. Since the determination is made, the abnormality of the movement behavior can be determined even more accurately.
- the monitored person monitoring support system MS, the sensor device SU including the movement behavior abnormality determination device, and the movement behavior abnormality determination method manage the first-stage abnormality information, the intermediate-stage abnormality information, and the last-stage abnormality information in the management server device SV. Therefore, first-stage abnormality information, intermediate-stage abnormality information, and last-stage abnormality information are requested from the terminal devices SP and TA to the management server SV, and the first-stage abnormality information, intermediate-stage abnormality information, and final By referring to the stage abnormality information, a monitoring person such as a nurse or a caregiver can pay attention to the monitored person Ob and can take a fall prevention measure.
- the moving behavior abnormality determination device is provided in the sensor device SU and is incorporated in the monitored person monitoring support system MS. May be used alone.
- the moving behavior abnormality determination device is provided in the sensor device SU, but is not limited to this mode.
- the moving behavior abnormality determination device may be provided in a computer provided with an image acquisition unit other than the sensor device SU such as the management server device SV, for example.
- the image acquisition unit is an interface unit that receives input of data from an external device, and the interface unit is configured as the external device from an imaging unit that generates a plurality of time-series images. A plurality of time-series images are input in one period.
- the moving behavior abnormality judging device constituted by a computer provided with the image acquisition unit can remotely monitor the target person.
- the image acquisition unit is a communication interface unit that performs communication, and the communication interface unit communicates with a server device that manages a plurality of time-series images, and from the server device in the first period.
- the time-series plurality of images are received.
- the moving behavior abnormality determining device including the computer having the image acquisition unit can analyze the moving behavior abnormality in the target person using a plurality of time-series images of the target person stored in the server device.
- the image acquisition unit is a drive device that reads data from a recording medium, and the drive device reads the plurality of time-series images in the first period from a recording medium that records a plurality of time-series images. Load an image.
- the moving behavior abnormality determining device including the computer having the image acquisition unit can analyze the abnormality of the moving behavior of the subject using a plurality of time-series images of the subject stored in the recording medium.
- the moving behavior abnormality determination device including the computer including the image acquisition unit is incorporated in the monitored person monitoring support system MS and used (for example, provided in the management server device SV). It may be used alone.
- the presence or absence of the abnormality in the movement behavior is determined using the head image HP of the target person Ob. May be determined. According to this, it is possible to determine the abnormality of the movement behavior based on the fluctuation of the whole body and the deviation (deviation) from the destination.
- the moving behavior detection unit 145 extracts the image of the subject from the image as a subject image, and sets a center position or a center of gravity position in the extracted subject image as a movement position.
- Each of the extracted moving positions in the plurality of images is detected as the moving behavior of the subject. More specifically, for each of the plurality of images, the moving behavior detection unit 145 first converts the images from the images as the subject image using, for example, a background subtraction method or a frame difference method, as in the above-described behavior detection processing unit 142. The moving object region is extracted. Next, the moving action detection unit 145 obtains, for example, a center position in the extracted subject image (moving object region) as a moving position.
- a center of gravity position may be used instead of the center position.
- the center position is, for example, an intersection point of two diagonal lines in a circumscribed rectangle circumscribing the target person image or a center point of a circumscribed circle circumscribing the target person image.
- the position of the center of gravity is a center point of the distribution of each pixel forming the subject image.
- the abnormality determination unit 146 obtains, as a reference vector RV, a vector whose start point is the movement position of the first image in the first period and whose end point is the movement position of the last image in the first period.
- a vector having a starting point and an ending point in which the moving position of the image and the moving position of an image that is adjacent to the image in chronological order is determined as an inter-image vector IV.
- an angle ⁇ between the inter-image vector and the reference vector is obtained, and among the obtained plural angles ⁇ , the number of angles that are equal to or greater than a predetermined angle threshold Than is obtained, and the obtained number is obtained.
- the abnormality determination unit 146 further determines that the moving behavior has an abnormality at an initial stage as a determination that the moving behavior has an abnormality in the second period.
- a first number of times in which it is determined that the movement behavior is abnormal in the initial stage in each of the plurality of first periods included is determined, and when the determined first number is equal to or greater than a predetermined second determination threshold, an intermediate stage In the may be determined that there is an abnormality in the movement behavior, further obtained a second number of times determined that there is an abnormality in the movement behavior in the intermediate stage in each of the plurality of second periods included in the third period, When the obtained second number is equal to or more than a predetermined third determination threshold, it may be determined that the moving behavior is abnormal in the final stage.
- the sensor device US including the moving behavior abnormality determination device performs the first-stage abnormality notification communication to notify the first-stage abnormality when it is determined in the first stage that the movement behavior is abnormal.
- the signal is transmitted to the management server device SV, but instead or in addition to this, a warning indicating that there is an abnormality in the movement behavior at the initial stage may be output.
- the sensor device US determines that there is an abnormality in the movement behavior in the intermediate stage
- the sensor device US transmits an intermediate stage abnormality notification communication signal to the management server device SV in order to notify the intermediate stage abnormality.
- a warning indicating that there is an abnormality in the movement behavior in the intermediate stage may be output.
- the sensor device US determines in the final stage that there is an abnormality in the movement behavior
- the sensor device US transmits a final-stage abnormality notification communication signal to the management server device SV to notify the final-stage abnormality.
- a warning may be output to the effect that the movement behavior is abnormal in the final stage.
- the sensor device SU outputs a warning sound, a warning message, and the like from the sound input / output unit 12 by the control unit 141 of the SU control processing unit 14. According to this, falling down can be reduced by alerting the monitored person (target person) Ob, and even if falling down, injury can be reduced by taking a protective posture.
- the moving behavior abnormality determination device includes an image acquisition unit that acquires a plurality of images in a time series in a predetermined first period, and a movement behavior of the subject based on the plurality of images acquired by the image acquisition unit.
- a moving behavior detecting unit that detects the movement behavior; and an abnormality determining unit that determines whether the moving behavior has an abnormality based on the moving behavior detected by the moving behavior detecting unit.
- the moving behavior is a behavior related to movement such as running or walking, and the abnormality of the moving behavior is walking indicating a sign of a fall, for example, left or right with respect to a destination point. This is a staggered walk or a walk away from the destination.
- the image acquisition unit is an imaging unit that generates a plurality of time-series images.
- the image acquisition unit is an interface unit that receives data input from an external device, and the interface unit generates a plurality of time-series images as the external device. The plurality of time-series images are input from the imaging unit in the first period.
- the image acquisition unit is a communication interface unit that performs communication, the communication interface unit communicates with a server device that manages a plurality of images in time series, and the server The plurality of time-series images are received from the device in the first period.
- the image acquisition unit is a drive device that reads data from a recording medium, and the drive device is configured to read the first image from a recording medium that records a plurality of time-series images.
- the time-series plurality of images are read in a period.
- Such a moving behavior abnormality determination device determines whether or not there is an abnormality in the moving behavior of the subject based on a plurality of images in time series. Can be determined.
- the moving behavior detection unit extracts, for each of the plurality of images, an image of the subject from the images as a subject image, and extracts the extracted subject.
- a center position or a center of gravity position in an image is extracted as a movement position, and the extracted movement positions in the plurality of images are detected as a movement behavior of the subject.
- a vector whose starting point is the moving position of the image and whose ending point is the moving position of the last image in the first period is determined as a reference vector, and for each of the plurality of images, the moving position of the image and the image are arranged in chronological order.
- a vector having a start point and an end point in time series with the movement position of the succeeding adjacent image is obtained as an inter-image vector, For each of the inter-image vectors, an angle between the inter-image vector and the reference vector is obtained, and among the obtained plurality of angles, the number of angles that are equal to or greater than a predetermined angle threshold is obtained. It is determined that there is an abnormality in the movement behavior when the value is equal to or greater than the first determination threshold value.
- Such a moving behavior abnormality determination apparatus extracts an image of a target person from each of a plurality of images, and moves the target person in each direction shift of each inter-image vector with respect to a reference vector based on the extracted plurality of target person images. Since it is determined whether or not there is an abnormality in the behavior, it is possible to determine the abnormality in the movement behavior based on the fluctuation of the whole body or the deviation (deviation) from the destination.
- the moving behavior detection unit extracts, for each of the plurality of images, an image of the subject's head from the image as a head image, The center position or the center of gravity in the extracted head image is extracted as a movement position, and the extracted movement positions in the plurality of images are detected as the movement behavior of the subject, and the abnormality determination unit determines the first period.
- the starting position is the moving position of the first image and the vector having the moving position of the last image in the first period as the end point is obtained as a reference vector.
- a vector having a starting point and an end point in time series with the movement position of the succeeding adjacent image in time series is determined as an inter-image vector.
- the angle between the inter-image vector and the reference vector is obtained, and the number of angles that are equal to or greater than a predetermined angle threshold among the plurality of obtained angles is obtained.
- a predetermined first determination threshold it is determined that the moving behavior is abnormal.
- Such a moving behavior abnormality determination apparatus extracts an image of the head of a subject for each of a plurality of images, and determines each direction of an inter-image vector with respect to a reference vector based on the extracted images of the heads of the plurality of subjects. Since it is determined whether or not there is an abnormality in the movement behavior of the target person due to the displacement, it is possible to determine the abnormality in the movement behavior using the head in which the fluctuation is easily detected.
- the image acquisition unit acquires a plurality of time-series images in a predetermined second period longer than the first period
- the abnormality determination unit includes: The determined abnormality is regarded as an abnormality in an initial stage, and further, a first number of times in which it is determined that the movement behavior is abnormal in the initial stage in each of the plurality of first periods included in the second period is determined. If the first number of times is equal to or greater than the predetermined second determination threshold, it is determined in the next stage that the movement behavior is abnormal.
- the plurality of first periods included in the second period partially overlap in two adjacent first periods.
- the plurality of first periods included in the second period are independent of each other (do not overlap in two adjacent first periods).
- Such a moving behavior abnormality determining apparatus determines whether or not there is an abnormality in the moving behavior of the subject in the second period longer than the first period, it is possible to more accurately determine the abnormality of the moving behavior.
- the image acquisition unit acquires a plurality of time-series images in a predetermined third period longer than the second period
- the abnormality determination unit includes: The determined abnormality in the next stage is regarded as an abnormality in the intermediate stage, and further, a second number of times in which it is determined that the movement behavior is abnormal in the intermediate stage in each of the plurality of second periods included in the third period is obtained. If the obtained second number is equal to or greater than a predetermined third determination threshold, it is determined that the moving behavior is abnormal in the final stage.
- the plurality of second periods included in the third period partially overlap in two second periods adjacent to each other.
- the plurality of second periods included in the third period are independent of each other (do not overlap in two adjacent second periods).
- Such a moving behavior abnormality determination device determines whether there is an abnormality in the moving behavior of the subject in the third period longer than the second period, it is possible to more accurately determine the abnormality of the moving behavior.
- a moving behavior abnormality determining method includes an image acquiring step of acquiring a plurality of time-series images in a predetermined first period, and a movement of a subject based on the plurality of images acquired in the image acquiring step.
- the method includes a moving action detecting step of detecting an action, and an abnormality determining step of determining whether or not the moving action has an abnormality based on the moving action detected in the moving action detecting step.
- Such a moving behavior abnormality determination method determines whether or not there is an abnormality in the moving behavior of the subject based on a plurality of images in a time series. Can be determined.
- a monitored person monitoring support system corresponding to a monitored person to be monitored, and detects a predetermined event related to the monitored person, and can communicate with the sensor device.
- a central management device that receives the notification of the event detected by the sensor device and manages the event, and is communicably connected to the central management device and detected by the sensor device via the central management device.
- a monitored person monitoring support system including any of the above-described moving behavior abnormality determination devices. Since such a monitored person monitoring support system includes any of the above-described moving behavior abnormality determination devices, it is not necessary to wear the device, and it is possible to determine the abnormality of the moving behavior without contact.
- a moving behavior abnormality judging device and a moving behavior abnormality judging method for judging an abnormality of a moving behavior in a subject and a monitored person monitoring support system including the moving behavior abnormality judging device.
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Dentistry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本発明の移動行動異常判定装置、移動行動異常判定方法および被監視者監視支援システムは、所定の第1期間における時系列な複数の画像を取得し、この取得した複数の画像に基づいて対象者の移動行動を検出し、この検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する。
Description
本発明は、対象者における移動行動の異常を判定する移動行動異常判定装置および移動行動異常判定方法ならびに前記移動行動異常判定装置を備えた被監視者監視支援システムに関する。
近年、超高齢社会の突入に伴って、看護業界や介護業界等の業務を補完する技術が、研究、開発されており、例えば、特許文献1に開示されている。
この特許文献1に開示された転倒防止装置は、前記装置のユーザの動きの測定結果を収集するための少なくとも1つのセンサと、前記測定結果から前記ユーザの歩行に関するパラメータに対する値を推定するため、および、前記ユーザが通常の転倒リスクにある場合の前記ユーザの動きから決定されるパラメータの値と前記推定値の比較から前記ユーザの転倒リスクを決定するための、プロセッサとを有し、前記プロセッサは、(i)前記測定結果の各々の大きさが閾値を超える、前記収集された測定結果における連続する測定結果のクラスタを識別する、(ii)前記測定結果の各々の大きさが閾値を超える、前記収集された測定結果における連続する測定結果のクラスタを、その大きさが前記閾値未満である前記測定結果のサブセットを除いて、識別し、ただし前記サブセットは時間閾値未満の期間に及ぶことを条件とする、または、(iii)前記収集された測定結果における連続する測定結果のクラスタを識別し、その大きさが第1の閾値を超える前記収集された測定結果内の第1の収集された測定結果は、クラスタ内の第1の測定結果をあらわし、その大きさが第2の閾値を下回る前記クラスタ内の第1の測定結果後の最初の収集された測定結果は、前記クラスタ内の最後の測定結果をあらわし、ただし前記最後の測定結果は前記第1の測定結果後の最短期間を上回ることを条件とする、ことにより前記収集された測定結果においてステップ境界を識別することにより前記ユーザの歩行に関するパラメータに対する前記値を推定する。そして、この転倒防止装置では、前記センサは、加速時計、磁力計およびジャイロスコープであり、ペンダントとしてユーザの首から吊り下げられて装着される(例えばその[0031]段落、[0032]段落および[0085]段落参照)。
前記特許文献1に開示された転倒防止装置は、転倒リスクの高いことを警告するので、転倒そのものを予防できる。このため、例えば、転倒を検知して看護師や介護士等に報知するシステムでは、転倒の報知が低減され、これら看護師や介護士等における例えば報知による駆け付け等の負担の軽減が期待できる。また、転倒による怪我等を回避でき、対象者自身の負担の軽減も期待できる。しかしながら、前記特許文献1に開示された転倒防止装置では、対象者は、センサを装着しなければならず、装着行為や装着状態が煩わしいという問題や、装着を忘れてしまうという問題がある。
本発明は、上述の事情に鑑みて為された発明であり、その目的は、装着の必要が無く、非接触で移動行動の異常を判定できる移動行動異常判定装置および移動行動異常判定方法ならびに前記移動行動異常判定装置を備えた被監視者監視支援システムを提供することである。
上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映した移動行動異常判定装置、移動行動異常判定方法および被監視者監視支援システムは、所定の第1期間における時系列な複数の画像を取得し、この取得した複数の画像に基づいて対象者の移動行動を検出し、この検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する。
発明の1または複数の実施形態により与えられる利点および特徴は、以下に与えられる詳細な説明および添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。
以下、図面を参照して、本発明の1または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
実施形態における被監視者監視支援システムは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者、対象者)を監視する監視者(ユーザ)の前記監視を支援するものである。この被監視者監視支援システムは、本実施形態では、被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されたイベントの通知を受けて前記イベントを管理する中央管理装置、および、前記中央管理装置と通信可能に接続され前記中央管理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備える。そして、本実施形態の被監視者監視支援システムでは、前記センサ装置が前記被監視者を対象者として、前記対象者における移動行動の異常を判定する移動行動異常判定装置を備える。なお、後述するように、前記中央管理装置が前記移動行動異常判定装置を備えても良い。前記移動行動異常判定装置は、本実施形態では、所定の第1期間における時系列な複数の画像を取得する画像取得部と、前記画像取得部で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出部と、前記移動行動検出部で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定部とを備える。前記端末装置は、1種類の装置であって良いが、本実施形態態では、前記端末装置は、固定端末装置と携帯端末装置との2種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者(ユーザ)に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様である。以下、より具体的に説明する。
図1は、実施形態における被監視者監視支援システムの構成を示す図である。図2は、前記被監視者監視支援システムにおけるセンサ装置の構成を示す図である。図3は、前記センサ装置の配設位置を説明するための図である。図4は、前記被監視者監視支援システムにおける管理サーバ装置の構成を示す図である。図5は、対象者(被監視者)の移動行動の検出処理を説明するための図である。図5Aは、6個の画像を1個に互いに重ねた場合(部屋RMの床面FLに投影した場合)における前記6個の画像それぞれから抽出された6個の頭部画像を示し、図5Bは、これら6個の頭部画像それぞれにおける中心位置を示す。図6は、初段階における移動行動の異常判定処理を説明するための図である。図6Aは、正常と判定される場合における基準ベクトルRBおよび各画像間ベクトルIVを示し、図6Bは、異常と判定される場合における基準ベクトルRBおよび各画像間ベクトルIVを示す。
実施形態における被監視者監視支援システムMSは、被監視者Obの監視を支援するシステムであり、例えば、図1に示すように、1または複数のセンサ装置SU(SU-1~SU-4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)と、構内交換機(PBX、Private branch exchange)CXとを備え、これらは、有線や無線で、LAN(Local Area Network)等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SU-1~SU-4、管理サーバ装置SV、固定端末装置SP、複数の携帯端末装置TA-1、TA-2および構内交換機CXは、L2スイッチの集線装置(ハブ、HUB)LSおよびアクセスポイントAPを含む有線および無線の混在したLAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置SU-1~SU-4、管理サーバ装置SV、固定端末装置SPおよび構内交換機CXは、集線装置LSに接続され、複数の携帯端末装置TA-1、TA-2は、アクセスポイントAPを介して集線装置LSに接続されている。そして、ネットワークNWは、TCP(Transmission control protocol)およびIP(Internet protocol)等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。
構内交換機(回線切換機)CXは、ネットワークNWに接続され、携帯端末装置TA同士における発信、着信および通話等の内線電話の制御を行って前記携帯端末装置TA同士の内線電話を実施し、そして、例えば固定電話網や携帯電話網等の公衆電話網PNを介して例えば固定電話機や携帯電話機等の外線電話機TLに接続され、外線電話機TLと携帯端末装置TAとの間における発信、着信および通話等の外線電話の制御を行って外線電話機TLと携帯端末装置TAとの間における外線電話を実施するものである。構内交換機CXは、例えば、デジタル交換機や、IP-PBX(Internet Protocol Private Branch eXchange)等である。
被監視者監視支援システムMSは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視支援システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視支援システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
センサ装置SUは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能等を備え、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知し、後述のイベント動画を管理サーバ装置SVへ送信する装置である。そして、本実施形態では、センサ装置SUは、移動行動異常判定装置として機能し、前記被監視者Obを対象者Obとして、前記対象者Obにおける移動行動の異常を判定する。前記所定のイベント(事象)は、好適には対処が必要な所定のイベントであり、例えば、本実施形態では、被監視者Obにおける予め設定された所定の行動およびナースコールである。このため、本実施形態では、センサ装置SUは、被監視者Obにおける所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(送信)し、ナースコールを受け付けて前記ナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信する装置し、そして、被監視者(対象者)Obにおける移動行動の異常を判定する。前記移動行動は、例えば走行や歩行等の移動に関する行動であり、前記移動行動の異常は、転倒の予兆を表す歩行、例えば、目的地点に対し左右にふらついた歩行や、前記目的地点から乖離して行く歩行である。このようなセンサ装置SUは、例えば、図2に示すように、画像取得部11と、音入出力部12と、ナースコール受付操作部13と、センサ側制御処理部(SU制御処理部)14と、センサ側通信インターフェース部(SU通信IF部)15と、センサ側記憶部(SU記憶部)16とを備える。
画像取得部11は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、所定の第1期間における時系列な複数の画像を取得する装置である。本実施形態では、前記所定のイベントの一例である所定の行動を画像から検出するので、画像取得部11は、時系列な複数の画像(画像データ)を生成する撮像部11である。撮像部11は、本実施形態では、前記所定のイベントの一例である所定の行動を検出可能であって、前記移動行動の異常を判定可能である時間間隔で、前記時系列な複数の画像を生成する。撮像部11は、時系列な複数の画像として、好ましくは、例えば5fpsや10fpsや15fpsや24fpsや30fps等の動画を生成する。撮像部11は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室(部屋)RM)を監視可能に配置され、例えば、図3に示すように、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像(対象画像)をSU制御処理部14へ出力する。好ましくは、監視対象の被監視者Ob全体を撮像できる蓋然性が高いことから、撮像部11は、例えば、床面FLに配置された、被監視者Obが横臥する寝具(例えばベッド等)における、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように天井面CEに配設される。あるいは、例えば、前記所在空間全体を撮像できる蓋然性が高いことから、撮像部11は、天井面CEの略中央位置に配設される。センサ装置SUは、この撮像部11によって、被監視者Obを、被監視者Obの上方から撮像した画像、好ましくは前記頭部予定位置の直上や前記天井面CEの略中央位置から撮像した画像を取得する。
このような撮像部11は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外線の画像を生成する装置である。このような撮像部11は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データ、好ましくは動画データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部11の前記結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
音入出力部12は、音を入出力する回路である。すなわち、音入出力部12は、SU制御処理部14に接続され、SU制御処理部14の制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得してセンサ装置SUに入力するための回路である。音入出力部12は、例えば、音の電気信号(音データ)を音の機械振動信号(音響信号)に変換するスピーカ等と、可聴領域の音の機械振動信号を電気信号に変換するマイクロフォン等とを備えて構成される。音入出力部12は、外部の音を表す電気信号をSU制御処理部14へ出力し、また、SU制御処理部14から入力された電気信号を音の機械振動信号に変換して出力する。
ナースコール受付操作部13は、SU制御処理部14に接続され、ナースコールを当該センサ装置SUに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部13は、有線でSU制御処理部14に接続されて良く、また、例えばBluetooth(登録商標)規格等の近距離無線通信でSU制御処理部14に接続されて良い。
SU通信IF部15は、SU制御処理部14に接続され、SU制御処理部14の制御に従って通信を行うための通信回路である。SU通信IF部15は、SU制御処理部14から入力された転送すべきデータを収容した通信信号を、この被監視者監視支援システムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。SU通信IF部15は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSU制御処理部14が処理可能な形式のデータに変換してSU制御処理部14へ出力する。SU通信IF部15は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
SU記憶部16は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置SUの各部11~13、15、16を当該各部の機能に応じてそれぞれ制御するSU制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSU監視処理プログラムや、被監視者Obにおける移動行動の異常判定に関する所定の情報処理を実行する移動行動異常判定プログラムや、年月日時分秒で計時するSU時計プログラム等の制御処理プログラムが含まれる。前記SU監視処理プログラムには、被監視者Obにおける所定の行動を検知して検知結果を前記所定のイベント(事象)の一例として管理サーバ装置SVを介して所定の端末装置SP、TAへ通知する行動検知処理プログラムや、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うナースコール処理プログラムや、撮像部11で生成した動画を、その動画を要求した端末装置SP、TAへストリーミングで配信するストリーミング処理プログラム等が含まれる。前記移動行動異常判定プログラムには、前記画像取得部の一例としての撮像部11で取得した複数の画像に基づいて被監視者(対象者)Obの移動行動を検出する移動行動検出プログラムや、前記移動行動検出プログラムで検出した検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定プログラム等が含まれる。前記各種の所定のデータには、自機の、センサ装置SUを特定し識別するための識別子であるセンサ装置識別子(センサID)、管理サーバ装置SVの通信アドレス、撮像部11で生成された動画、第1および第2回数カウンタCT1、CT2等の、各プログラムを実行する上で必要なデータ等が含まれる。SU記憶部16は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。SU記憶部16は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるSU制御処理部14のワーキングメモリとなるRAM(Random Access Memory)等を含む。そして、本実施形態では、SU記憶部16は、前記第1および第2回数カウンタCT1、CT2それぞれを記憶する第1および第2回数記憶部161、162を機能的に備える。前記第1回数カウンタCT1は、前記第2期間に含まれる複数の第1期間それぞれにおける初段階において前記移動行動に異常があると判定した第1回数を数えるために、前記第1回数を表すカウンタである。前記第2回数カウンタCT2は、前記第3期間に含まれる複数の第2期間それぞれにおける中間段階において前記移動行動に異常があると判定した第2回数を数えるために、前記第2回数を表すカウンタである。
SU制御処理部14は、センサ装置SUの各部11~13、15、16を当該各部の機能に応じてそれぞれ制御し、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知し、イベント動画を管理サーバ装置SVへ送信するための回路である。そして、本実施形態では、SU制御処理部14は、前記被監視者Obを対象者Obとして、前記対象者Obにおける移動行動の異常を判定する。より具体的には、本実施形態では、SU制御処理部14は、被監視者Obにおける所定の行動を検知してその検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(報知、送信)し、ナースコールを受け付けてそのナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(報知、送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信し、そして、被監視者(対象者)Obにおける移動行動の異常を判定する。SU制御処理部14は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。SU制御処理部14は、前記制御処理プログラムが実行されることによって、センサ側制御部(SU制御部)141、行動検知処理部142、ナースコール処理部143、ストリーミング処理部144、移動行動検出部145、異常判定部146およびセンサ側時計部(SU時計部)147を機能的に備え、異常判定部146は、第1ないし第3判定部1461~1463を機能的に備える。
SU制御部141は、センサ装置SUの各部11~13、15、16を当該各部の機能に応じてそれぞれ制御し、センサ装置SUの全体制御を司るものである。
行動検知処理部142は、被監視者Obにおける、予め設定された所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知するものである。より具体的には、本実施形態では、前記所定の行動は、例えば、被監視者Obが起きた起床、被監視者Obが寝具から離れた離床、被監視者Obが寝具から落ちた転落、および、被監視者Obが倒れた転倒の4つの行動である。そして、行動検知処理部142は、例えば、撮像部11で撮像した対象画像に基づいて被監視者Obの頭部を検出し、この検出した被監視者Obの頭部における大きさの時間変化に基づいて被監視者Obの起床、離床、転倒および転落を検知する。より詳しくは、まず、寝具BDの所在領域、第1閾値Th1、第2閾値Th2および第3閾値Th3が前記各種の所定のデータの1つとして予めSU記憶部16に記憶される。前記第1閾値Th1は、寝具BDの所在領域内における横臥姿勢の頭部の大きさと座位姿勢の頭部の大きさとを識別するための閾値である。前記第2閾値Th2は、寝具BDの所在領域を除く居室RM内における立位姿勢の頭部の大きさであるか否かを識別するための閾値である。前記第3閾値Th3は、寝具BDの所在領域を除く居室RM内における横臥姿勢の頭部の大きさであるか否かを識別するための閾値である。そして、行動検知処理部142は、対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人物の領域として動体領域を抽出する。次に、行動検知処理部142は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を抽出する。次に、行動検知処理部142は、この抽出した頭部の位置および大きさから起床、離床、転倒および転落を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内であって、前記抽出した頭部の大きさが前記第1閾値Th1を用いることによって横臥姿勢の大きさから座位姿勢の大きさへ時間変化した場合には、起床と判定し、前記起床を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具の所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第2閾値Th2を用いることによって或る大きさから立位姿勢の大きさへ時間変化した場合には、離床と判定し、前記離床を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具BDの所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転落と判定し、前記転落を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒と判定し、前記転倒を検知する。
このように前記所定の行動を検知すると、行動検知処理部142は、被監視者Obに関わる所定のイベント(事象)の内容を表すイベント情報(事象情報)を収容した、前記イベントを通知するための通信信号(第1イベント通知通信信号)をSU通信IF部15で管理サーバ装置SVへ通知する。より詳しくは、行動検知処理部142は、自機のセンサID、前記イベントの内容を表すイベント情報、前記所定の行動を検知した時刻(検知時刻)、前記所定の行動の検知に用いられた対象画像を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。前記イベント情報は、本実施形態では、起床、離床、転落、転倒およびナースコール(NC)のうちの1または複数であり、ここでは、行動検知処理部142は、検知した起床、離床、転落および転倒のうちの1または複数を前記イベント情報として第1イベント通知通信信号に収容する。前記画像は、静止画および動画のうちの少なくとも一方であって良く、本実施形態では、まず、静止画が報知され、ユーザの要求に応じて動画が配信される。なお、まず、動画が配信されても良く、また、静止画および動画が送信され、画面分割で静止画および動画が端末装置SP、TAに表示されても良い。
ナースコール処理部143は、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として収容した第1イベント通知通信信号を管理サーバ装置SVへ通知し、音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うものである。より具体的には、ナースコール処理部143は、ナースコール受付操作部13が入力操作されると、自機のセンサID、前記ナースコールを検知した時刻(検知時刻)、および、前記イベント情報としてナースコールを収容した第1イベント通知通信信号をSU通信IF部15を介して管理サーバ装置SVへ送信する。そして、ナースコール処理部143は、音入出力部12等を用い、端末装置SP、TAとの間で例えばVoIP(Voice over Internet Protocol)によって音声通話を行う。
ストリーミング処理部144は、SU通信IF部15を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部11で生成した動画(例えばライブの動画)をストリーミング再生でSU通信IF部15を介して配信するものである。
移動行動検出部145は、前記画像取得部の一例としての撮像部11で取得した複数の画像に基づいて被監視者(対象者)Obの移動行動を検出するものである。より具体的には、本実施形態では、移動行動検出部145は、前記複数の画像それぞれについて、当該画像から前記被監視者Obの頭部の画像を頭部画像として抽出し、前記抽出した頭部画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出する。より詳しくは、移動行動検出部145は、前記複数の画像それぞれについて、上述の行動検知処理部142と同様に、まず、当該画像から例えば背景差分法やフレーム差分法によって被監視者Obの人物の領域として動体領域を抽出する。次に、移動行動検出部145は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を前記頭部画像として抽出する。なお、行動検知処理部142が抽出した被監視者Obの頭部領域が前記頭部画像として流用されても良い。次に、移動行動検出部145は、この抽出した被監視者Obの頭部領域(頭部画像)における例えば中心位置を移動位置として求める。なお、前記中心位置に代え、重心位置が用いられても良い。前記中心位置は、例えば、被監視者Obの頭部領域(頭部画像)に外接する外接矩形における2つの対角線の交点、あるいは、被監視者Obの頭部領域(頭部画像)に外接する外接円の中心点である。前記重心位置は、被監視者Obの頭部領域(頭部画像)を構成する各画素の分布の中心点である。そして、移動行動検出部145は、前記複数の画像における、前記抽出した各移動位置を前記被監視者Obの移動行動として求める。例えば、図5Aに示すように、6個の画像(フレーム)それぞれについて、6個の頭部領域(頭部画像)HP-1~HP-6が抽出され、これら抽出された6個の頭部領域(頭部画像)HP-1~HP-6それぞれから、その各中心位置が移動位置MPとして求められると、図5Bに示すように、6個の移動位置MP-1~MP-6が前記被監視者Obの移動行動として求められる。これら6個の移動位置MP-1~MP-6を順に線分で連結することで、前記被監視者Obの移動軌跡が分かる。
異常判定部146は、移動行動検出部145で検出した検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定するものである。前記移動行動の異常の有無は、転倒の予兆を表す歩行であるか否か、例えば、目的地点に対し左右にふらついた歩行であるか否かや、前記目的地点から乖離して行く歩行であるか否かによって判定される。そして、一段階で移動行動の異常が判定されても良いが、本実施形態では、判定期間の長短に応じた複数段階、例えば三段階で前記異常の有無が判定される。このため、異常判定部146は、所定の第1期間において初段階で異常の有無を判定する第1判定部1461と、前記第1期間より長い所定の第2期間において中間段階で異常の有無を判定する第2判定部1462と、前記第2期間より長い所定の第3期間において最終段階で異常の有無を判定する第3判定部1463とを機能的に備えている。
より具体的には、第1判定部1461は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値Than以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値DTh1以上である場合に、初段階において前記移動行動に異常があると判定するものである。前記第1期間は、本実施形態では、上記ふらつく歩行か否かや目的地点から乖離して行く歩行か否かを判定するために必要な時間であり、複数のサンプルを用いて適宜に設定され、例えば、数秒以下の時間である。前記角度閾値Thanは、本実施形態では、上記ふらつく歩行か否かや目的地点から乖離して行く歩行か否かを判定するために必要な角度であり、複数のサンプルを用いて適宜に設定される。前記第1判定閾値DTh1は、本実施形態では、上記ふらつく歩行か否かや目的地点から乖離して行く歩行か否かを判定するために必要な回数であり、複数のサンプルを用いて適宜に設定される。例えば、上述の図5に示す例では、図6Aに示すように、前記第1期間における最初の画像の移動位置MP-1を始点とすると共に前記第1期間における最後の画像の移動位置MP-6を終点とするベクトルが基準ベクトルRVとして求められ、前記6個の画像(フレーム)それぞれについて、当該画像の移動位置MP-kと当該画像に時系列順で後続に隣接する画像の移動位置MP-(k+1)とを時系列順に始点および終点とするベクトルが画像間ベクトルIV-1~IV-5として求められる。続いて、これら画像間ベクトルIV-1~IV-5それぞれについて、当該画像間ベクトルIV-k(k=1、2、3、4、5)と基準ベクトルRVとの間の角度θkが求められ、これら求められた角度θ1~θ5のうち、角度閾値Than以上である角度の個数Nanが求められる。そして、この求められた個数Nanが第1判定閾値DTh1以上である場合に、初段階において前記移動行動に異常があると判定される。一例として、前記角度閾値Thanが70度であり、前記第1判定閾値DTh1が3個である場合には、図6Aに示す場合は、前記個数Nanが0と求められ、初段階において異常無し(正常)と判定される。一方、図6Bに示す場合では、前記個数Nanが4と求められ、初段階において異常有りと判定される。
そして、第1判定部1461は、初段階において前記移動行動に異常があると判定すると、初段階において前記移動行動に異常がある旨を表す初段階異常情報および自機のセンサIDを収容した通信信号(初段階異常通知通信信号)を管理サーバ装置SV宛に生成し、この生成した初段階異常通知通信信号をSU通信IF部15で送信する。
第2判定部1462は、前記第2期間に含まれる複数の第1期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第1回数を求め、前記求めた第1回数が所定の第2判定閾値DTh2以上である場合に、中間段階において前記移動行動に異常があると判定するものである。前記第2期間は、上述のように前記第1期間より長ければ、任意で適宜に設定され、例えば監視者が中間判定したい期間(例えば1日や2日等)で設定される。前記第2期間に含まれる複数の第1期間が互いに隣接する2つの第1期間において一部重複するように、前記第2期間が設定されて良く、あるいは、前記第2期間に含まれる複数の第1期間が互いに独立であるように(互いに隣接する2つの第1期間において重複しないように)、前記第2期間が前記第1期間の整数倍で設定されて良い。前記第2判定閾値DTh2は、本実施形態では、複数のサンプルを用いて適宜に設定される。
そして、第2判定部1462は、中間段階において前記移動行動に異常があると判定すると、中間段階において前記移動行動に異常がある旨を表す中間段階異常情報および自機のセンサIDを収容した通信信号(中間段階異常通知通信信号)を管理サーバ装置SV宛に生成し、この生成した中間段階異常通知通信信号をSU通信IF部15で送信する。
第3判定部1463は、前記第3期間に含まれる複数の第2期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第2回数を求め、前記求めた第2回数が所定の第3判定閾値DTh3以上である場合に、最終段階において前記移動行動に異常があると判定するものである。前記第3期間は、上述のように前記第2期間より長ければ、任意で適宜に設定され、例えば監視者が最終判定したい期間(例えば1週間や2週間や1ヶ月等)で設定される。前記第3期間に含まれる複数の第2期間が互いに隣接する2つの第1期間において一部重複するように、前記第3期間が設定されて良く、あるいは、前記第3期間に含まれる複数の第2期間が互いに独立であるように(互いに隣接する2つの第2期間において重複しないように)、前記第3期間が前記第2期間の整数倍で設定されて良い。前記第3判定閾値DTh3は、本実施形態では、複数のサンプルを用いて適宜に設定される。
そして、第3判定部1463は、最終段階において前記移動行動に異常があると判定すると、最終段階において前記移動行動に異常がある旨を表す最終段階異常情報および自機のセンサIDを収容した通信信号(最終段階異常通知通信信号)を管理サーバ装置SV宛に生成し、この生成した最終段階異常通知通信信号をSU通信IF部15で送信する。
SU時計部147は、年月日時分秒で計時するものである。
図1には、一例として、第1ないし第4センサ装置SU-1~SU-4が示されており、第1センサ装置SU-1は、被監視者Obの一人であるAさんOb-1の居室RM-1(不図示)に配設され、第2センサ装置SU-2は、被監視者Obの一人であるBさんOb-2の居室RM-2(不図示)に配設され、第3センサ装置SU-3は、被監視者Obの一人であるCさんOb-3の居室RM-3(不図示)に配設され、そして、第4センサ装置SU-4は、被監視者Obの一人であるDさんOb-4の居室RM-4(不図示)に配設されている。
管理サーバ装置SVは、ネットワークNWを介して他の装置SU、TA、SPと通信する通信機能を備え、センサ装置SUから前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する情報(監視情報(本実施形態では例えば前記所定のイベント(センサ装置SUで検知した所定の行動の種類やセンサ装置SUで受け付けたナースコール)、被監視者Obの画像(静止画および動画)、および、前記検知時刻等))を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知(再通知、再報知、送信)し、クライアント(本実施形態では端末装置SP、TA等)の要求に応じたデータを前記クライアントに提供し、被監視者監視支援システムMS全体を管理する装置である。そして、本実施形態では、管理サーバ装置SVは、センサ装置SUから受信した、初段階における移動行動の異常判定結果、中間段階における移動行動の異常判定結果および最終段階における移動行動の異常判定結果を各センサ装置SUごとに(各被監視者Obごとに)管理する。このような管理サーバ装置SVは、例えば、図3に示すように、サーバ側通信インターフェース部(SV通信IF部)21と、サーバ側制御処理部(SV制御処理部)22と、サーバ側記憶部(SV記憶部)23とを備える。
SV通信IF部21は、SU通信IF部15と同様に、SV制御処理部22に接続され、SV制御処理部22の制御に従って通信を行うための通信回路である。SV通信IF部21は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
SV記憶部23は、SV制御処理部22に接続され、SV制御処理部22の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御するSV制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行する監視処理プログラムや、センサ装置SUから受信した各段階における移動行動の異常判定結果を管理する判定処理プログラムや、年月日時分秒で計時を行うSV時計プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、自機の、管理サーバ装置SVを特定し管理サーバ装置SVを識別するためのサーバ識別子(サーバID)や、被監視者Obの前記監視情報や、前記所定のイベント(事象)の通知先等の装置SU、SP、TA間の情報を表す装置間情報や、センサ装置SUに関するセンサ情報や、端末装置SP、TAに関する端末情報や、各段階における移動行動の異常判定結果等の各プログラムを実行する上で必要なデータ等が含まれる。これら監視情報、装置間情報、センサ情報、端末情報、各段階における移動行動の異常判定結果それぞれを記憶するために、SV記憶部23は、監視情報記憶部231、装置間情報記憶部232、センサ情報記憶部233、端末情報記憶部234および判定結果記憶部235を機能的に備える。
SV監視情報記憶部231は、各装置SU、SP、TAそれぞれとの間で送受信した被監視者Obの監視情報を記憶するものである。より具体的には、SV監視情報記憶部231には、本実施形態では、前記監視情報として、第1イベント通知通信信号等の通信信号に収容された各情報に基づいて、センサID、イベント情報(事象情報、本実施形態では起床、離床、転落、転倒およびナースコール)、検知時刻、対象画像、ライブ動画の取得先としてセンサ装置SUの通信アドレスおよび対処の有無(対応の受付の有無)が互いに対応付けて記憶される。前記対処の有無は、端末装置SP、TAで受信した通信信号に収容されたイベント情報に対する対処(対応、処置、措置)する意思が前記端末装置SP、TAを扱う監視者にある旨を、前記端末装置SP、TAで受け付けたか否かを表す情報である。
装置間情報記憶部232は、前記装置間情報として、本実施形態では、センサ装置SUから送信された第1イベント通知通信信号等の通知先(再通知先、再報知先、送信先)を示す、送信元であるセンサIDと通知先(再通知先)である端末IDとの対応関係(通知先対応関係)、および、各装置SU、SP、TAのID(センサID、端末ID)とその通信アドレスとの対応関係(通信アドレス対応関係)等を記憶するものである。前記端末IDは、端末装置SP、TAを特定し端末装置SP、TAを識別するための端末識別子である。
なお、センサID、サーバIDおよび端末IDそれぞれは、例えば所定の記号列から成るシリアル番号等であって良く、また例えば通信アドレスであって良い(この場合通信アドレス対応関係は省略できる)。
センサ情報記憶部233は、前記センサ情報を記憶するものである。本実施形態では、前記センサ情報は、センサ装置SUに関する情報であり、センサ装置SUのセンサIDと被監視者Obの被監視者名とを互いに対応付けた情報である。
端末情報記憶部234は、前記端末情報として、本実施形態では、端末装置SP、TAにログインしている監視者(ユーザ)(端末装置SP、TAを扱っている監視者)を示すログイン監視者情報、および、監視者の勤務状況(勤務シフト、勤務時間)を示す監視者勤務情報等を記憶するものである。
判定結果記憶部235は、センサ装置SUから受信した、初段階における移動行動の異常判定結果、中間段階における移動行動の異常判定結果および最終段階における移動行動の異常判定結果を、送信元のセンサ装置SUの持つセンサIDおよび受信時刻と対応付けて記憶するものである。
SV制御処理部22は、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御し、センサ装置SUから前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知(再通知、再報知、送信)し、クライアントの要求に応じたデータを前記クライアントに提供し、被監視者監視支援システムMS全体を管理するための回路である。そして、本実施形態では、SV制御処理部22は、センサ装置SUから受信した各段階における移動行動の異常判定結果を管理する。SV制御処理部22は、例えば、CPUおよびその周辺回路を備えて構成される。SV制御処理部22は、前記制御処理プログラムが実行されることによって、サーバ側制御部(SV制御部)221、監視処理部222、判定結果処理部223およびサーバ側時計部(SV時計部)224を機能的に備える。
SV制御部221は、管理サーバ装置SVの各部21、23を当該各部の機能に応じてそれぞれ制御し、管理サーバ装置SVの全体制御を司るものである。
監視処理部222は、センサ装置SUから前記所定のイベントの通知を受信すると被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知するものである。より具体的には、監視処理部222は、センサ装置SUから前記第1イベント通知通信信号を受信すると、この受信した第1イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報をSV監視情報記憶部231に記憶(記録)する。監視処理部222は、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応する通知先(再通知先、転送先、送信先)を、装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、これら選定結果に基づいて第2イベント通知通信信号を生成し、この生成した第2イベント通知通信信号をSV通信IF部21で送信する。この通知先の端末装置SP、TAの選定(検索処理)は、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応するセンサIDに基づいて実施される。前記第1イベント通知通信信号に収容されたイベント情報が前記所定の行動(起床、離床、転落および転倒のうちの1または複数)である場合には、前記第2イベント通知通信信号には、第1イベント通知通信信号に収容されたセンサID、イベント情報および対象画像、ならびに、動画のダウンロード先として、第1イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレスが収容される。前記第1イベント通知通信信号に収容されたイベント情報が前記ナースコールである場合には、前記第2イベント通知通信信号には、第1イベント通知通信信号に収容されたセンサIDおよびイベント情報が収容される。
判定結果処理部223は、センサ装置SUから受信した各段階における移動行動の異常判定結果を管理するものである。
より具体的には、初段階異常通知通信信号が受信されると、判定結果処理部223は、この受信した初段階異常通知通信信号に収容された初段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶する。中間段階異常通知通信信号が受信されると、判定結果処理部223は、この受信した中間段階異常通知通信信号に収容された中間段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶する。最終階異常通知通信信号が受信されると、判定結果処理部223は、この受信した最終階異常通知通信信号に収容された最終段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶する。なお、初段階異常通知通信信号、中間段階異常通知通信信号および最終段階異常通知通信信号それぞれに、センサ装置SUでその判定時刻が収容される場合には、前記受信時刻に代え、前記判定時刻が用いられても良い。そして、クライアントとして端末装置SP、TAから、初段階異常情報や中間段階異常情報や最終段階異常情報が要求されると、判定結果処理部223は、SV記憶部23の判定結果記憶部235に記憶されている初段階異常情報や中間段階異常情報や最終段階異常情報を、要求元の端末装置SP、TAへ返信する。この返信を受信した端末装置SP、TAは、初段階異常情報や中間段階異常情報や最終段階異常情報を表示する。なお、管理サーバ装置は、上述のように第1イベント通知通信信号の受信による第2イベント通知通信信号の送信と同様に、初段階異常通知通信信号、中間段階異常通知通信信号および最終階異常通知通信信号を受信した場合に、送信元のセンサ装置SUに対応する送信先の端末装置SP、TAへ、初段階異常情報、中間段階異常情報および最終段階異常情報を送信しても良い。
SV時計部224は、年月日時分秒で計時を行うものである。
なお、管理サーバ装置SVは、図4に破線で示すように、必要に応じて、さらに、SV制御処理部22に接続され例えば各種コマンドや各種データ等を入力するサーバ側入力部(SV入力部)24、SV入力部24で入力された各種コマンドや各種データおよび被監視者Obに対する監視に関する監視情報等を出力するサーバ側出力部(SV出力部)25、および、外部機器との間でデータの入出力を行うサーバ側インターフェース部(SVIF部)26等を備えても良い。
このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
この管理サーバ装置SVは、中央処理装置の一例に相当する。
固定端末装置SPは、ネットワークNWを介して他の装置SU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた監視情報を表示したり等することによって、被監視者監視支援システムMSのユーザインターフェース(UI)として機能する機器である。本実施形態では、固定端末装置SPは、初段階異常情報や中間段階異常情報や最終段階異常情報を表示する。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり、センサ装置SUとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。本実施形態では、携帯端末装置TAは、初段階異常情報や中間段階異常情報や最終段階異常情報を表示する。このような携帯端末装置TAは、例えば、通信機能付きのタブレット型コンピュータや、いわゆるスマートフォンによって構成可能である。
次に、本実施形態における被監視者監視支援システムMSの動作について説明する。図7は、前記被監視者監視支援システムにおけるイベントの通知に関する動作を示すシーケンス図である。図8は、前記センサ装置における移動行動の異常判定に関する動作を示すフローチャートである。
このような被監視者監視支援システムMSでは、各装置SU、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUでは、その制御処理プログラムの実行によって、SU制御処理部14には、SU制御部141、行動検知処理部142、ナースコール処理部143、SUストリーミング処理部144、移動行動検出部145、異常判定部146およびSU時計部147が機能的に構成され、異常判定部146には、第1ないし第3判定部1461~1463が機能的に構成される。管理サーバ装置SVでは、その制御処理プログラムの実行によって、SV制御処理部22には、SV制御部221、監視処理部222、判定結果処理部223およびSV時計部224が機能的に構成される。
まず、被監視者監視支援システムMSにおけるイベントの通知に関する動作について説明する。図7において、センサ装置SUは、イベントを検知すると(C1)、この検知したイベントを通知するために、第1イベント通知通信信号を管理サーバ装置SVへ送信する(C2)。より具体的には、センサ装置SUは、その稼働を始めると、各フレームごとに、あるいは、数フレームおきに、次のように動作することで、前記所定のイベントを検知し、前記所定のイベントを検知した場合に第1イベント通知通信信号を管理サーバ装置SVへ送信する。センサ装置SUは、撮像部11から1フレーム分の画像(画像データ)を対象画像として取得し、この取得した対象画像に基づいて被監視者Obにおける所定の行動を検知し、前記所定の行動を検知すると、その検知結果を所定の端末装置SP、TAへ通知するために、前記イベント情報として検知した前記所定の行動を収容した、行動検知の第1イベント通知通信信号を、SU通信IF部15で管理サーバ装置SVへ送信する。このように動作している間に、センサ装置SUは、ナースコールを受け付けているか否かを判定し、ナースコールを受け付けると、そのナースコールの受付を所定の端末装置SP、TAへ通知するために、センサ装置SUは、前記イベント情報として前記受け付けたナースコールを収容した、ナースコール検知の第1イベント通知通信信号を、SU通信IF部15で管理サーバ装置SVへ送信する。
続いて、センサ装置SUから第1イベント通知通信信号を受信すると(C3)、管理サーバ装置SVは、監視処理部222によって、この受信した第1イベント通知通信信号による監視情報を記録(記憶)し(C4)、前記受信した第1イベント通知通信信号に応じた第2イベント通知通信信号を所定の端末装置SP、TAへ送信する(C5)。より具体的には、監視処理部222は、第1イベント通知通信信号をネットワークNWを介してセンサ装置SUから受信すると、この受信した第1イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報としてSV記憶部23に記憶(記録)する。そして、監視処理部222は、前記受信した第1イベント通知通信信号に収容されたセンサIDに対応する端末IDを持つ端末装置SP、TA宛に第2イベント通知通信信号を生成し、この生成した第2イベント通知通信信号をSV通信IF部21で送信する。
続いて、管理サーバ装置SVから第2イベント通知通信信号を受信すると(C6)、この第2イベント通知通信信号を受信した端末装置SP、TAは、この第2イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報として記憶し、前記監視情報を表示する(C7)。これによってセンサ装置SUで検知されたイベントが管理サーバ装置SVを介して所定の端末装置SP、TAに表示される。
前記監視情報を参照した看護師や介護士等の監視者NSは、例えば通話するために、通話要求を端末装置SP、TAに入力する。この入力を受け付けると、端末装置SP、TAは、表示中の監視情報にかかるセンサIDを持つセンサ装置SUに通話を要求するための通信信号(通話要求通信信号)を送信する。この通話の要求に応じて端末装置SP、TAとセンサ装置SUとは、VoIPで通話可能に接続され、監視者NSは、被監視者Obと通話する。
また例えば、動画をライブで参照するために、監視者NSは、動画要求を端末装置SP、TAに入力する。この入力を受け付けると、端末装置SP、TAは、表示中の監視情報にかかるセンサIDを持つセンサ装置SUに動画を要求するための通信信号(動画要求通信信号)を送信する。この動画の要求に応じて端末装置SP、TAとセンサ装置SUとは、ストリーミングで動画を再生可能に接続され、監視者NSは、端末装置SP、TAに表示された動画を参照する。
次に、センサ装置SUにおける移動行動の異常判定に関する処理について説明する。上述のようにイベントの検知よってイベントを通知する一方で、センサ装置SUは、次のように動作することで移動行動の異常の有無を判定している。
移動行動の異常判定に関する処理では、まず、センサ装置SUは、SU制御処理部14の移動行動検出部145によって、前回の、初段階における移動行動の異常の有無を判定してから(前回における後述の処理S13を実行してから)、前記第1期間に相当する所定数のフレーム(画像)を前記画像取得部としての撮像部11から新たに取得したか否かを判定する(S11)。この判定の結果、所定数のフレームを取得した場合(Yes)には、移動行動検出部145は、次に、処理S12を実行し、一方、前記判定の結果、所定数のフレームを取得していない場合(No)には、移動行動検出部145は、処理を処理S11に戻す。すなわち、移動行動検出部145は、初段階における移動行動の異常の有無を前回において判定してから新たに所定数のフレームを撮像部11から取得するまで処理S11を繰り返す。
この処理S12では、センサ装置SUは、移動行動検出部145によって、処理S11で撮像部11から取得した所定数のフレームに基づいて被監視者Obの移動行動を検出する。例えば、上述の図5に示す例では、移動行動検出部145は、6個のフレームそれぞれについて、当該フレームから前記被監視者Obの頭部の画像を頭部画像HPとして抽出し、この抽出した頭部画像HPにおける中心位置(または重心位置)を移動位置MPとして抽出し、これら6個のフレームにおける、これら抽出した6個の移動位置MP-1~MP-6を被監視者Obの移動行動として検出する。
処理S12に続いて、センサ装置SUは、SU制御処理部14における異常判定部146の第1判定部1461によって、初段階において移動行動に異常があるか否かを判定する(S13)。例えば、上述の図6に示す例では、第1判定部1461は、まず、6個のフレームのうちの最初および最後それぞれの各フレームから求めた各移動位置MP-1、MP-6それぞれを、始点および終点とする基準ベクトルRVを求める。次に、第1判定部1461は、6個のフレームそれぞれについて、当該フレームおよびこれに後続に隣接するフレームそれぞれから求めた各移動位置MP-k、MP-(k+1)それぞれを始点および終点とする画像間ベクトルIV-kを求める(k=1、2、3、4、5)。次に、第1判定部1461は、これら画像間ベクトルIV-1~IV-5それぞれについて、当該画像間ベクトルIV-kと基準ベクトルRVとの間の角度θkを求める。次に、第1判定部1461は、これら求められた角度θ1~θ5のうち、角度閾値Than以上である角度の個数Nanを求める。そして、第1判定部1461は、この求めた個数Nanが第1判定閾値DTh1以上である場合に、初段階において移動行動に異常があると判定し、一方、この求めた個数Nanが第1判定閾値DTh1未満である場合に、初段階において移動行動に異常が無い(すなわち正常とみなせる)と判定する。この判定の結果、初段階において移動行動に異常が無いと判定した場合(No)には、センサ装置SUは、次に、処理S16を実行し、一方、前記判定の結果、初段階において移動行動に異常が有ると判定した場合(Yes)には、センサ装置SUは、次に、処理S14および処理S15の各処理を順次に実行した後に、処理S16を実行する。
この処理S14では、センサ装置SUは、SU制御処理部14における異常判定部146の第2判定部1462によって、前記第2期間に含まれる複数の第1期間それぞれにおける初段階において前記移動行動に異常があると判定した第1回数を数えるために、SU記憶部16の第1回数記憶部161に記憶されている第1回数カウンタCT1を1だけインクリメントする(CT1+1→CT1)。
前記処理S14に続いて実行される処理S15では、センサ装置SUは、SU制御処理部14における異常判定部146の第1判定部1461によって、初段階異常を通知するために、初段階異常通知通信信号を管理サーバ装置SVへ送信する。センサ装置SUから初段階異常通知通信信号を受信すると、管理サーバ装置SVは、SV制御処理部22の判定結果処理部223によって、この受信した初段階異常通知通信信号に収容された初段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶(記録)し、これによって初段階異常情報を管理する。なお、上述したように、管理サーバ装置SVは、初段階異常情報を所定の端末装置SP、TAへ通知(転送)しても良い。後述の中間段階異常情報の通知や最終段階異常情報の通知も同様に、前記通知を受けることで、看護師や介護士等の監視者は、当該被監視者Obに気を配ることができ、転倒防止策を講じることも可能となる。
前記処理S16では、センサ装置SUは、SU制御処理部14における異常判定部146の第2判定部1462によって、前回の、中間段階における移動行動の異常の有無を判定してから(前回における後述の処理S17を実行してから)、前記第2期間が経過したか否かを判定する。この判定の結果、前記第2期間が経過していないと判定した場合(No)には、センサ装置SUは、処理を処理S11に戻す。これによって、前記第2期間内において、次の前記第1期間での初段階において前記移動行動の異常の有無が判定される。一方、前記判定の結果、前記第2期間が経過していると判定した場合(Yes)には、センサ装置SUは、次に、処理S17を実行する。
この処理S17では、センサ装置SUは、SU制御処理部14における異常判定部146の第2判定部1462によって、中間段階において移動行動に異常があるか否かを判定する。より具体的には、第2判定部1462は、SU記憶部16の第1回数記憶部161に記憶されている第1回数カウンタCT1が前記第2判定閾値DTh2以上であるか否かを判定する。この判定の結果、前記第1回数カウンタCT1が前記第2判定閾値DTh2未満である場合には、第2判定部1462は、中間段階において移動行動に異常が無い(すなわち正常とみなせる)と判定し(No)、第1回数カウンタCT1をリセットした後に、処理S20を実行し、一方、前記判定の結果、前記第1回数カウンタCT1が前記第2判定閾値DTh2以上である場合には、中間段階において移動行動に異常が有ると判定し(Yes)、センサ装置SUは、第1回数カウンタCT1をリセットした後に、処理S18および処理S19の各処理を順次に実行した後に、処理S20を実行する。
この処理S18では、センサ装置SUは、SU制御処理部14における異常判定部146の第3判定部1462によって、前記第3期間に含まれる複数の第2期間それぞれにおける中間段階において前記移動行動に異常があると判定した第2回数を数えるために、SU記憶部16の第2回数記憶部162に記憶されている第2回数カウンタCT2を1だけインクリメントする(CT2+1→CT2)。
前記処理S18に続いて実行される処理S19では、センサ装置SUは、SU制御処理部14における異常判定部146の第2判定部1462によって、中間段階異常を通知するために。中間段階異常通知通信信号を管理サーバ装置SVへ送信する。センサ装置SUから中間段階異常通知通信信号を受信すると、管理サーバ装置SVは、SV制御処理部22の判定結果処理部223によって、この受信した中間段階異常通知通信信号に収容された中間段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶(記録)し、これによって中間段階異常情報を管理する。なお、上述したように、管理サーバ装置SVは、中間段階異常情報を所定の端末装置SP、TAへ通知(転送)しても良い。
前記処理S20では、センサ装置SUは、SU制御処理部14における異常判定部146の第3判定部1462によって、前回の、最終段階における移動行動の異常の有無を判定してから(前回における後述の処理S21を実行してから)、前記第3期間が経過したか否かを判定する。この判定の結果、前記第3期間が経過していないと判定した場合(No)には、センサ装置SUは、処理を処理S11に戻す。これによって、前記第3期間内において、次の前記第2期間での中間段階において前記移動行動の異常の有無が判定される。一方、前記判定の結果、前記第3期間が経過していると判定した場合(Yes)には、センサ装置SUは、次に、処理S21を実行する。
この処理S21では、センサ装置SUは、SU制御処理部14における異常判定部146の第3判定部1463によって、最終段階において移動行動に異常があるか否かを判定する。より具体的には、第3判定部1463は、SU記憶部16の第2回数記憶部162に記憶されている第2回数カウンタCT2が前記第3判定閾値DTh3以上であるか否かを判定する。この判定の結果、前記第2回数カウンタCT2が前記第3判定閾値DTh3未満である場合には、第3判定部1463は、最終段階において移動行動に異常が無い(すなわち正常とみなせる)と判定し(No)、第2回数カウンタCT2をリセットした後に、処理S23を実行し、一方、前記判定の結果、前記第2回数カウンタCT2が前記第3判定閾値DTh3以上である場合には、最終段階において移動行動に異常が有ると判定し(Yes)、センサ装置SUは、第2回数カウンタCT2をリセットした後に、処理S22を実行した後に、処理S23を実行する。
この処理S22では、センサ装置SUは、SU制御処理部14における異常判定部146の第3判定部1463によって、最終段階異常を通知するために。最終段階異常通知通信信号を管理サーバ装置SVへ送信する。センサ装置SUから最終段階異常通知通信信号を受信すると、管理サーバ装置SVは、SV制御処理部22の判定結果処理部223によって、この受信した最終段階異常通知通信信号に収容された最終段階異常情報およびセンサIDと、その受信時刻とを対応付けてSV記憶部23の判定結果記憶部235に記憶(記録)し、これによって最終段階異常情報を管理する。なお、上述したように、管理サーバ装置SVは、最終段階異常情報を所定の端末装置SP、TAへ通知(転送)しても良い。
前記処理S23では、センサ装置SUは、SU制御処理部14によって、その稼働が終了(停止)か否かを判定する。この判定の結果、稼働の終了(停止)である場合(Yes)には、センサ装置SUは、本処理を終了し、一方、稼働の終了(停止)ではない場合(No)には、センサ装置SUは、処理を処理S11に戻す。
以上説明したように、本実施形態における被監視者監視支援システムMS、移動行動異常判定装置を備えたセンサ装置SU、および、これに実装された移動行動異常判定方法は、時系列な複数の画像に基づいて対象者(被監視者)Obの移動行動に異常があるか否かを判定するので、装着の必要が無く、非接触で移動行動の異常を判定できる。
上記被監視者監視支援システムMS、移動行動異常判定装置を備えたセンサ装置SUおよび移動行動異常判定方法は、複数の画像(フレーム)それぞれについて対象者Obの頭部画像HPを抽出し、これら抽出した複数の対象者Obの頭部画像HPに基づく基準ベクトルRVに対する各画像間ベクトルIVの各方向ズレで対象者Obの移動行動に異常があるか否かを判定するので、ふらつきを検出し易い頭部を用いて移動行動の異常を判定できる。
上記被監視者監視支援システムMS、移動行動異常判定装置を備えたセンサ装置SUおよび移動行動異常判定方法は、第1期間より長い第2期間で対象者の移動行動に異常があるか否かを判定するので、より正確に移動行動の異常を判定できる。
上記被監視者監視支援システムMS、移動行動異常判定装置を備えたセンサ装置SUおよび移動行動異常判定方法は、第2期間より長い第3期間で対象者の移動行動に異常があるか否かを判定するので、さらにより正確に移動行動の異常を判定できる。
上記被監視者監視支援システムMS、移動行動異常判定装置を備えたセンサ装置SUおよび移動行動異常判定方法は、初段階異常情報、中間段階異常情報および最終段階異常情報を管理サーバ装置SVで管理しているので、端末装置SP、TAから初段階異常情報、中間段階異常情報および最終段階異常情報を管理サーバ装置SVに要求し、端末装置SP、TAで初段階異常情報、中間段階異常情報および最終段階異常情報を参照することで、看護師や介護士等の監視者は、該当の被監視者Obに気を配ることができ、転倒防止策を講じることも可能となる。
なお、上述の実施形態では、移動行動異常判定装置は、センサ装置SUに備えられ、被監視者監視支援システムMSに組み込まれたが、被監視者監視支援システムMSに組み込まれることなく、単体(単独)で用いられても良い。
また、上述の被監視者監視支援システムMSでは、移動行動異常判定装置は、センサ装置SUに備えられたが、この形態に限定されない。例えば、移動行動異常判定装置は、例えば管理サーバ装置SV等のセンサ装置SUを除く他の、画像取得部を備えたコンピュータに備えられても良い。この場合では、例えば、前記画像取得部は、外部機器からデータの入力を受けるインターフェース部であり、前記インターフェース部は、前記外部機器として、時系列な複数の画像を生成する撮像部から、前記第1期間で前記時系列な複数の画像の入力を受ける。この画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、リモートで対象者を監視できる。あるいは、例えば、前記画像取得部は、通信を行う通信インターフェース部であり、前記通信インターフェース部は、時系列な複数の画像を管理するサーバ装置と通信し、前記サーバ装置から、前記第1期間で前記時系列な複数の画像を受信する。この画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、前記サーバ装置に蓄積された対象者における時系列な複数の画像を用いて前記対象者における移動行動の異常を解析できる。あるいは、例えば、前記画像取得部は、記録媒体からデータを読み込むドライブ装置であり、前記ドライブ装置は、時系列な複数の画像を記録した記録媒体から、前記第1期間で前記時系列な複数の画像を読み込む。この画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、前記記録媒体に蓄積された対象者における時系列な複数の画像を用いて前記対象者における移動行動の異常を解析できる。これら各態様において、前記画像取得部を備えたコンピュータで構成される移動行動異常判定装置は、被監視者監視支援システムMSに組み込まれて用いられても(例えば管理サーバ装置SVに備えられる)、単体で用いられても良い。
また、上述の実施形態では、移動行動の異常の有無は、対象者Obの頭部画像HPを用いて判定されたが、対象者Obの画像(画像での対象者Ob全体の画像)を用いて判定されても良い。これによれば、体全体のふらつきや目的地点からの乖離(逸脱)で移動行動の異常を判定できる。
この場合では、移動行動検出部145は、前記複数の画像それぞれについて、当該画像から前記対象者の画像を対象者画像として抽出し、前記抽出した対象者画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出する。より具体的には、移動行動検出部145は、前記複数の画像それぞれについて、上述の行動検知処理部142と同様に、まず、当該画像から例えば背景差分法やフレーム差分法によって前記対象者画像として動体領域を抽出する。次に、移動行動検出部145は、この抽出した対象者画像(動体領域)における例えば中心位置を移動位置として求める。なお、前記中心位置に代え、重心位置が用いられても良い。前記中心位置は、例えば、対象者画像に外接する外接矩形における2つの対角線の交点、あるいは、対象者画像に外接する外接円の中心点である。前記重心位置は、対象者画像を構成する各画素の分布の中心点である。そして、移動行動検出部145は、前記複数の画像における、前記抽出した各移動位置を前記被監視者Obの移動行動として求める。
そして、異常判定部146は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルRVとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルIVとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度θを求め、前記求めた複数の角度θのうち、所定の角度閾値Than以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値DTh1以上である場合に、前記移動行動に異常があると判定する。さらに、上述の実施形態と同様に、前記移動行動に異常があるとの判定を、初段階において前記移動行動に異常があるとの判定として、異常判定部146は、さらに、前記第2期間に含まれる複数の第1期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第1回数を求め、前記求めた第1回数が所定の第2判定閾値以上である場合に、中間段階において前記移動行動に異常があると判定して良く、さらに、前記第3期間に含まれる複数の第2期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第2回数を求め、前記求めた第2回数が所定の第3判定閾値以上である場合に、最終段階において前記移動行動に異常があると判定して良い。
また、上述の実施形態では、移動行動異常判定装置を備えたセンサ装置USは、初段階において移動行動に異常があると判定した場合に、初段階異常を通知するために、初段階異常通知通信信号を管理サーバ装置SVへ送信するが、これに代え、あるいは、これに追加して、初段階において移動行動に異常がある旨の警告を出力しても良い。同様に、前記センサ装置USは、中間段階において移動行動に異常があると判定した場合に、中間段階異常を通知するために、中間段階異常通知通信信号を管理サーバ装置SVへ送信するが、これに代え、あるいは、これに追加して、中間段階において移動行動に異常がある旨の警告を出力しても良い。同様に、前記センサ装置USは、最終段階において移動行動に異常があると判定した場合に、最終段階異常を通知するために、最終段階異常通知通信信号を管理サーバ装置SVへ送信するが、これに代え、あるいは、これに追加して、最終段階において前記移動行動に異常がある旨の警告を出力しても良い。前記警告の出力では、例えば、前記センサ装置SUは、SU制御処理部14の制御部141によって、音入出力部12から、警告音や警告メッセージ等を出力する。これによれば、被監視者(対象者)Obに警告することで、転倒が低減でき、転倒したとしても、防護体勢が取れることで怪我等が低減できる。
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
一態様にかかる移動行動異常判定装置は、所定の第1期間における時系列な複数の画像を取得する画像取得部と、前記画像取得部で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出部と、前記移動行動検出部で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定部とを備える。好ましくは、上述の移動行動異常判定装置において、前記移動行動は、例えば走行や歩行等の移動に関する行動であり、前記移動行動の異常は、転倒の予兆を表す歩行、例えば、目的地点に対し左右にふらついた歩行や、前記目的地点から乖離して行く歩行である。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、時系列な複数の画像を生成する撮像部である。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、外部機器からデータの入力を受けるインターフェース部であり、前記インターフェース部は、前記外部機器として、時系列な複数の画像を生成する撮像部から、前記第1期間で前記時系列な複数の画像の入力を受ける。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、通信を行う通信インターフェース部であり、前記通信インターフェース部は、時系列な複数の画像を管理するサーバ装置と通信し、前記サーバ装置から、前記第1期間で前記時系列な複数の画像を受信する。好ましくは、上述の移動行動異常判定装置において、前記画像取得部は、記録媒体からデータを読み込むドライブ装置であり、前記ドライブ装置は、時系列な複数の画像を記録した記録媒体から、前記第1期間で前記時系列な複数の画像を読み込む。
このような移動行動異常判定装置は、時系列な複数の画像に基づいて対象者の移動行動に異常があるか否かを判定するので、装着の必要が無く、非接触で移動行動の異常を判定できる。
他の一態様では、上述の移動行動異常判定装置において、前記移動行動検出部は、前記複数の画像それぞれについて、当該画像から前記対象者の画像を対象者画像として抽出し、前記抽出した対象者画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出し、前記異常判定部は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値以上である場合に、前記移動行動に異常があると判定する。
このような移動行動異常判定装置は、複数の画像それぞれについて対象者の画像を抽出し、これら抽出した複数の対象者の画像に基づく基準ベクトルに対する各画像間ベクトルの各方向ズレで対象者の移動行動に異常があるか否かを判定するので、体全体のふらつきや目的地点からの乖離(逸脱)で移動行動の異常を判定できる。
他の一態様では、上述の移動行動異常判定装置において、前記移動行動検出部は、前記複数の画像それぞれについて、当該画像から前記対象者の頭部の画像を頭部画像として抽出し、前記抽出した頭部画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出し、前記異常判定部は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値以上である場合に、前記移動行動に異常があると判定する。
このような移動行動異常判定装置は、複数の画像それぞれについて対象者の頭部の画像を抽出し、これら抽出した複数の対象者の頭部の画像に基づく基準ベクトルに対する各画像間ベクトルの各方向ズレで対象者の移動行動に異常があるか否かを判定するので、ふらつきを検出し易い頭部を用いて移動行動の異常を判定できる。
他の一態様では、これら上述の移動行動異常判定装置において、前記画像取得部は、前記第1期間より長い所定の第2期間における時系列な複数の画像を取得し、前記異常判定部は、前記判定した異常を初段階での異常とし、さらに、前記第2期間に含まれる複数の第1期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第1回数を求め、前記求めた第1回数が所定の第2判定閾値以上である場合に、次段階において前記移動行動に異常があると判定する。好ましくは、上述の移動行動異常判定装置において、前記第2期間に含まれる複数の第1期間は、互いに隣接する2つの第1期間において一部重複する。好ましくは、上述の移動行動異常判定装置において、前記第2期間に含まれる複数の第1期間は、互いに独立である(互いに隣接する2つの第1期間において重複しない)。
このような移動行動異常判定装置は、第1期間より長い第2期間で対象者の移動行動に異常があるか否かを判定するので、より正確に移動行動の異常を判定できる。
他の一態様では、上述の移動行動異常判定装置において、前記画像取得部は、前記第2期間より長い所定の第3期間における時系列な複数の画像を取得し、前記異常判定部は、前記判定した次段階での異常を中間段階での異常とし、さらに、前記第3期間に含まれる複数の第2期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第2回数を求め、前記求めた第2回数が所定の第3判定閾値以上である場合に、最終段階において前記移動行動に異常があると判定する。好ましくは、上述の移動行動異常判定装置において、前記第3期間に含まれる複数の第2期間は、互いに隣接する2つの第2期間において一部重複する。好ましくは、上述の移動行動異常判定装置において、前記第3期間に含まれる複数の第2期間は、互いに独立である(互いに隣接する2つの第2期間において重複しない)。
このような移動行動異常判定装置は、第2期間より長い第3期間で対象者の移動行動に異常があるか否かを判定するので、さらにより正確に移動行動の異常を判定できる。
他の一態様にかかる移動行動異常判定方法は、所定の第1期間における時系列な複数の画像を取得する画像取得工程と、前記画像取得工程で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出工程と、前記移動行動検出工程で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定工程とを備える。
このような移動行動異常判定方法は、時系列な複数の画像に基づいて対象者の移動行動に異常があるか否かを判定するので、装着の必要が無く、非接触で移動行動の異常を判定できる。
他の一態様にかかる被監視者監視支援システムは、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されたイベントの通知を受けて前記イベントを管理する中央管理装置、および、前記中央管理装置と通信可能に接続され前記中央管理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムであって、前記センサ装置または前記中央管理装置は、前記被監視者を前記対象者とした、これら上述のいずれかの移動行動異常判定装置を備える。
これによれば、これら上述のいずれかの移動行動異常判定装置を備える被監視者監視支援システムが提供できる。このような被監視者監視支援システムは、これら上述のいずれかの移動行動異常判定装置を備えるので、装着の必要が無く、非接触で移動行動の異常を判定できる。
この出願は、2018年8月10日に出願された日本国特許出願特願2018-151307を基礎とするものであり、その内容は、本願に含まれるものである。
本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
本発明によれば、対象者における移動行動の異常を判定する移動行動異常判定装置および移動行動異常判定方法ならびに前記移動行動異常判定装置を備えた被監視者監視支援システムが提供できる。
Claims (7)
- 所定の第1期間における時系列な複数の画像を取得する画像取得部と、
前記画像取得部で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出部と、
前記移動行動検出部で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定部とを備える、
移動行動異常判定装置。 - 前記移動行動検出部は、前記複数の画像それぞれについて、当該画像から前記対象者の画像を対象者画像として抽出し、前記抽出した対象者画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出し、
前記異常判定部は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値以上である場合に、前記移動行動に異常があると判定する、
請求項1に記載の移動行動異常判定装置。 - 前記移動行動検出部は、前記複数の画像それぞれについて、当該画像から前記対象者の頭部の画像を頭部画像として抽出し、前記抽出した頭部画像における中心位置または重心位置を移動位置として抽出し、前記複数の画像における、前記抽出した各移動位置を前記対象者の移動行動として検出し、
前記異常判定部は、前記第1期間における最初の画像の移動位置を始点とすると共に前記第1期間における最後の画像の移動位置を終点とするベクトルを基準ベクトルとして求め、前記複数の画像それぞれについて、当該画像の移動位置と当該画像に時系列順で後続に隣接する画像の移動位置とを時系列順に始点および終点とするベクトルを画像間ベクトルとして求め、前記求めた複数の画像間ベクトルそれぞれについて、当該画像間ベクトルと前記基準ベクトルとの間の角度を求め、前記求めた複数の角度のうち、所定の角度閾値以上である角度の個数を求め、前記求めた個数が所定の第1判定閾値以上である場合に、前記移動行動に異常があると判定する、
請求項1に記載の移動行動異常判定装置。 - 前記画像取得部は、前記第1期間より長い所定の第2期間における時系列な複数の画像を取得し、
前記異常判定部は、前記判定した異常を初段階での異常とし、さらに、前記第2期間に含まれる複数の第1期間それぞれにおける前記初段階において前記移動行動に異常があると判定した第1回数を求め、前記求めた第1回数が所定の第2判定閾値以上である場合に、次段階において前記移動行動に異常があると判定する、
請求項2または請求項3に記載の移動行動異常判定装置。 - 前記画像取得部は、前記第2期間より長い所定の第3期間における時系列な複数の画像を取得し、
前記異常判定部は、前記判定した次段階での異常を中間段階での異常とし、さらに、前記第3期間に含まれる複数の第2期間それぞれにおける前記中間段階において前記移動行動に異常があると判定した第2回数を求め、前記求めた第2回数が所定の第3判定閾値以上である場合に、最終段階において前記移動行動に異常があると判定する、
請求項4に記載の移動行動異常判定装置。 - 所定の第1期間における時系列な複数の画像を取得する画像取得工程と、
前記画像取得工程で取得した複数の画像に基づいて対象者の移動行動を検出する移動行動検出工程と、
前記移動行動検出工程で検出した移動行動に基づいて前記移動行動に異常が有るか否かを判定する異常判定工程とを備える、
移動行動異常判定方法。 - 監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されたイベントの通知を受けて前記イベントを管理する中央管理装置、および、前記中央管理装置と通信可能に接続され前記中央管理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者の監視を支援するための被監視者監視支援システムであって、
前記センサ装置または前記中央管理装置は、前記被監視者を前記対象者とした請求項1ないし請求項5のいずれか1項に記載の移動行動異常判定装置を備える、
被監視者監視支援システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020536372A JP7352197B2 (ja) | 2018-08-10 | 2019-06-25 | 移動行動異常判定装置および該方法ならびに被監視者監視支援システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018151307 | 2018-08-10 | ||
JP2018-151307 | 2018-08-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020031531A1 true WO2020031531A1 (ja) | 2020-02-13 |
Family
ID=69414693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/025205 WO2020031531A1 (ja) | 2018-08-10 | 2019-06-25 | 移動行動異常判定装置および該方法ならびに被監視者監視支援システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7352197B2 (ja) |
WO (1) | WO2020031531A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017026308A1 (ja) * | 2015-08-10 | 2017-02-16 | コニカミノルタ株式会社 | 介護支援システム |
JP2018097416A (ja) * | 2016-12-08 | 2018-06-21 | 株式会社 日立産業制御ソリューションズ | 撮像装置および着目行動検出方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6766844B2 (ja) | 2018-06-01 | 2020-10-14 | 株式会社デンソー | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 |
-
2019
- 2019-06-25 JP JP2020536372A patent/JP7352197B2/ja active Active
- 2019-06-25 WO PCT/JP2019/025205 patent/WO2020031531A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017026308A1 (ja) * | 2015-08-10 | 2017-02-16 | コニカミノルタ株式会社 | 介護支援システム |
JP2018097416A (ja) * | 2016-12-08 | 2018-06-21 | 株式会社 日立産業制御ソリューションズ | 撮像装置および着目行動検出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7352197B2 (ja) | 2023-09-28 |
JPWO2020031531A1 (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6992749B2 (ja) | 被監視者監視システムの中央処理装置、中央処理方法およびプログラムならびに被監視者監視システム | |
WO2017146012A1 (ja) | 被監視者監視装置、該方法および該システム | |
WO2018230104A1 (ja) | 被監視者監視支援システムの中央処理装置および中央処理方法ならびに被監視者監視支援システム | |
JP7137154B2 (ja) | 行動検知装置および該方法ならびに被監視者監視支援システム | |
WO2020031531A1 (ja) | 移動行動異常判定装置および該方法ならびに被監視者監視支援システム | |
WO2020100461A1 (ja) | 被監視者監視支援システムのセンサ装置、監視画像保存方法および被監視者監視支援システム | |
JP6686523B2 (ja) | 被監視者監視装置、該方法および該システム | |
JP6740633B2 (ja) | 被監視者監視システムの中央処理装置および中央処理方法、ならびに、前記被監視者監視システム | |
JP6504255B2 (ja) | 介護支援システム及び介護支援方法 | |
JP7259540B2 (ja) | 判定装置、判定装置の制御プログラム、および判定方法 | |
JP6895090B2 (ja) | 検知システムおよび検知システムの表示処理方法 | |
JP7234931B2 (ja) | 被監視者監視支援システムのセンサ装置、該センサ装置の処理方法および被監視者監視支援システム | |
JP6673382B2 (ja) | 端末装置、プログラムおよび方法 | |
JP6213699B1 (ja) | 被監視者監視システムの中央処理装置および中央処理方法ならびに被監視者監視システム | |
JP7063333B2 (ja) | 被監視者監視装置および該方法ならびに被監視者監視支援システム | |
JP7425413B2 (ja) | 被監視者監視支援装置、被監視者監視支援方法、被監視者監視支援システムおよび被監視者監視支援サーバ装置 | |
JPWO2018096805A1 (ja) | 被監視者監視装置用設定装置および該方法ならびに被監視者監視システム | |
JP6737089B2 (ja) | 被監視者監視システム及び被監視者監視方法 | |
JP2020188487A (ja) | 中央処理装置、被監視者監視方法および被監視者監視システム | |
WO2017130684A1 (ja) | 被監視者監視装置、該方法および該システム | |
JPWO2019142449A1 (ja) | 画像記録システムおよび該方法ならびに被監視者監視支援システム | |
JP2020140418A (ja) | 携帯端末の制御プログラム、携帯端末および見守りシステム | |
JP2019212172A (ja) | 被監視者監視支援システムおよび該方法ならびに中央管理装置 | |
JPWO2019031011A1 (ja) | 睡眠状態検出装置および該方法ならびに被監視者監視支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19845964 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020536372 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19845964 Country of ref document: EP Kind code of ref document: A1 |