WO2020149126A1 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- WO2020149126A1 WO2020149126A1 PCT/JP2019/050827 JP2019050827W WO2020149126A1 WO 2020149126 A1 WO2020149126 A1 WO 2020149126A1 JP 2019050827 W JP2019050827 W JP 2019050827W WO 2020149126 A1 WO2020149126 A1 WO 2020149126A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- person
- biometric
- measured
- monitoring
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Definitions
- the present invention relates to an information processing device and an information processing method.
- Patent Document 1 many monitoring systems have been developed for monitoring a person such as a cared person using an image captured by a distance image sensor.
- the monitoring system disclosed in Patent Document 1 extracts the position of the bed from the distance image, detects the area of the person, and determines the movement of the person. Specifically, the position of the bed is obtained from the frequency distribution of height in the longitudinal direction and the lateral direction of the bed. In addition, by detecting the position of an object with respect to a predetermined height position, the motion of a person determines the motion of the person such as a bed rest state, an upper body upright state, and a standing state.
- Patent Document 2 describes a sensor device that detects biometric information of a person on a bed.
- the sensor device described in Patent Document 2 is installed in a bed and detects biological information such as a person's heartbeat and respiration by irradiating an electromagnetic wave. The state of the person can be monitored based on the biometric information thus detected.
- the above-mentioned technology has a problem that the state of the person who is a cared person cannot be detected more accurately. This is because, in the above-described technique, the posture and the state of the person are constantly changing, although the posture and the biometric information of the person are detected. Therefore, it is assumed that the criterion for monitoring is also constantly changing.
- an object of the present invention is to provide an information processing apparatus capable of solving the above-mentioned problem that the state of a person cannot be accurately detected.
- An information processing apparatus which is one mode of the present invention,
- Distance image acquisition means for acquiring a distance image of a predetermined area including the bed, Based on the distance image, a detection unit that detects a motion of a person in the distance image, Measuring means for measuring the biological information of the person on the bed from the measuring device, Based on the movement of the person and the biological information, monitoring means for performing a monitoring process for the biological information, Equipped with The monitoring means performs the monitoring process based on the measured biological information and biological reference information generated in advance, and the new biological reference to be used later based on the measured biological information used for the monitoring process. Generate information, Take the configuration.
- the monitoring means performs the monitoring process based on the biometric information and the biometric reference information measured by dividing a certain period into a plurality of periods, and the biometric information measured in the plurality of periods used for the monitoring process. Generate the new biometric reference information to be used later based on Take the configuration.
- the monitoring unit uses the new biological reference information generated based on the biological information measured during the immediately preceding monitoring process, Take the configuration.
- the monitoring means is the measurement device in a state where the motion of the person is in a lying position in which the person is lying on the bed, and the measured biometric information is not preset on the bed.
- the monitoring unit When the movement of the person changes by a predetermined reference or more, the monitoring unit generates the new biometric reference information based on the biometric information measured after that, and further generates the new biometric reference information. Performing the monitoring process based on the biological information measured in Take the configuration.
- the monitoring means when the measured biometric information is an unmonitorable value in which the monitoring process cannot be continued due to a preset standard, generates the new biometric standard information based on the subsequently measured biometric information. , Performing the monitoring process based on the generated new biological reference information and the biological information measured after that, Take the configuration.
- Equipped with exit detection means for detecting the exit of a person from a predetermined area including the bed the monitoring unit generates the new biometric reference information based on the biometric information measured thereafter, and measures the generated new biometric reference information and further thereafter. Performing the monitoring process based on the biological information, Take the configuration.
- the monitoring means detects the exit of the person, the motion of the person is in a lying position in which the person is lying on the bed, and the measured biometric information indicates that the person is on the bed. Is different from the absence reference value information which is a measurement value from the measuring device in a state where there is not, further, when the measured biological information is in a specific state that is not a preset unmonitorable value, While performing the monitoring process based on the biological information and the biological reference information, the new biological reference information to be used later based on the measured biological information used for the monitoring process is generated, When it is not the specific state, the monitoring process is stopped, Take the configuration.
- an information processing method which is another embodiment of the present invention is The information processing device Obtain a range image of a predetermined area including the bed, Based on the distance image, detects the movement of a person in the distance image, Measure the biometric information of the person on the bed from the measuring device, When performing a monitoring process for the biometric information based on the motion of the person and the biometric information, the monitoring process is performed based on the measured biometric information and pre-generated biometric reference information, and the monitoring is performed. Generate the new biological reference information to be used later based on the measured biological information used for processing, Take the configuration.
- a program that is another form of the present invention In the information processing device, Obtain a range image of a predetermined area including the bed, Based on the distance image, detects the movement of a person in the distance image, Measure the biometric information of the person on the bed from the measuring device, When performing a monitoring process for the biometric information based on the motion of the person and the biometric information, the monitoring process is performed based on the measured biometric information and pre-generated biometric reference information, and the monitoring is performed. Generate the new biological reference information to be used later based on the measured biological information used for processing, Execute processing, Take the configuration.
- the present invention configured as described above can accurately detect the state of a person.
- FIG. 1 It is a schematic diagram showing the composition of the information processing system in Embodiment 1 of the present invention. It is a block diagram which shows the structure of the monitoring server disclosed by FIG. It is a figure which shows the mode of image processing by the monitoring server disclosed in FIG. It is a figure which shows the mode of image processing by the monitoring server disclosed in FIG. It is a figure which shows the mode of processing of biometric information by the monitoring server disclosed by FIG. It is a figure which shows the mode of processing of biometric information by the monitoring server disclosed by FIG. 3 is a flowchart showing the processing operation of the monitoring server disclosed in FIG. 1.
- FIGS. 1 and 2 are diagrams showing the configuration of the information processing system.
- 3 to 7 are diagrams for explaining the processing operation of the information processing system. The configuration and operation of the information processing system will be described below with reference to the drawings.
- the information processing system is an information processing system for monitoring the behavior and biometric information of a person P to be monitored, such as a cared person or a monitored person.
- the information processing system includes a monitoring server 10, a range image camera C, a biometric sensor S installed under the bed or on the ceiling, a mobile terminal 20, and a monitoring terminal 30.
- the distance image camera C (imaging device) is arranged at a position where a distance image can be photographed in the area R in which the bed B on which the person P to be monitored lies is arranged.
- the distance image camera C is provided on the ceiling of a medical facility, a nursing facility, or one room in the home, and the entire bed B is placed at a position within the image.
- the range image camera C is not necessarily installed on the ceiling, and may be installed on any place such as a wall or a stand.
- the bed B to be photographed may be any bed such as a futon.
- the range image camera C captures a distance image with pixel values as distance values.
- the range image camera C may be of a type that measures the distance from the round-trip time when the infrared laser is projected onto the target, or may be any type of image capturing device. Then, the range image camera C has a function of shooting a range image at regular time intervals or at the timing of receiving a shooting instruction, and transmitting the range image to the monitoring server 10 described later.
- the function of the monitoring server 10 may be installed in the distance image camera C. That is, the function of the monitoring server 10 may be realized by the information processing device mounted on the range image camera C.
- the biometric sensor S (measuring device) is installed on the bed B on which the person P to be monitored lies.
- the biological sensor S is, for example, a microwave sensor, irradiates the person P lying on the bed B with microwaves, and uses the reflected waves to detect the heartbeat, respiration, and body movement of the person P as biological information.
- the biometric sensor S may be a measurement device that detects biometric information such as the heartbeat, respiration, and body movement of the person P by any method, and the biometric information to be detected necessarily represents heartbeat, respiration, and body movement. It is not limited to being information.
- the biometric sensor S may be installed in any place such as the ceiling.
- the mobile terminal 20 is an information processing terminal such as a smartphone operated and held by a user U who is a supervising person who takes care of and monitors a person who is a cared person.
- the mobile terminal 20 is connected to and can communicate with the monitoring server 10 via wireless communication, and can input an operation instruction of the user U to the monitoring server 10 as described later.
- the mobile terminal 20 displays a range image captured by the range image camera C on the display screen, and also displays an operation screen on which an operation instruction regarding monitoring can be input.
- the operation instruction is transmitted from the mobile terminal 20 to the monitoring server 10.
- the mobile terminal 20 also has a function of receiving a notification of abnormality of the person who is the cared person issued from the monitoring server 10 and notifying the user U of the notification.
- the monitoring terminal 30 is an information processing terminal operated by a user U who is a supervisor who takes care of and monitors a person who is a cared person.
- the monitoring terminal 30 is installed in a place such as a monitoring room in which a user U such as a monitor is enrolled, and can be operated by a plurality of users U. Similar to the mobile terminal 20 described above, the monitoring terminal 30 displays a distance image on the display screen, enables input of operation instructions regarding monitoring, and transmits such operation instructions to or from the monitoring server 10. It has a function of receiving a notice of abnormality of a person to be notified and notifying the user U.
- the monitoring server 10 is a server device (information processing device) having a computing device and a storage device. Then, as shown in FIG. 2, the monitoring server 10 has a distance image acquisition unit 11, a biological information measurement unit 12, a motion detection unit 13, a monitoring unit 14, and a notification unit, which are constructed by the arithmetic device executing a program. 15 are provided.
- the monitoring server 10 also includes a reference information storage unit 16 formed in the storage device.
- each configuration will be described in detail, and the operation of the monitoring server 10 will also be described with reference to the flowchart in FIG. 7.
- the distance image acquisition unit 11 (distance image acquisition means) periodically acquires, from the distance image camera C, a distance image including the bed B captured by the distance image camera C and the person P to be monitored as described above. get. Then, by passing the acquired distance image to the motion detection unit 13, the distance image is used for motion detection processing and monitoring processing described later.
- the biometric information measuring unit 12 (measurement means) periodically acquires biometric information (measured values) of the heartbeat, respiration, and body movement of the person P on the bed B detected by the biometric sensor S.
- the biological information is represented by the average value of the level of heartbeat, respiration, and body movement for each fixed period, as shown in the upper part of FIG.
- the biometric information is used for the monitoring process described later. Since the biometric sensor S measures an event that occurs on the bed B, the biometric information measurement unit 12 acquires the measurement value even when the person P does not exist on the bed B, and the measurement unit 14 monitors the measurement value. Have passed on.
- the motion detection unit 13 acquires a distance image via the distance image acquisition unit 11 (step S1 in FIG. 7), detects the person P in the distance image, and moves the person P.
- a motion detection process for detecting is performed. Specifically, the motion detection unit 13 detects the area of the bed B in the distance image and the person P. For example, the motion detection unit 13 first specifies the area of the bed B based on the coordinates in the distance image that specifies the area of the bed B that is specified in advance. Then, the motion detection unit 13 detects an object existing in the area of the bed B, and detects the highest point and the center of gravity of the person P from the object. At this time, the motion detection unit 13 detects, for example, an object formed of individual lumps in the distance image 21, and detects the person from the mass of the detected object, the positional relationship between the objects, the volume ratio (area ratio), and the like. To detect.
- the motion detection unit 13 detects the motion of the person P from the positional relationship between the highest vertex of the detected person P and the position of the center of gravity. Specifically, in this embodiment, the posture of the person P on the bed B is detected (step S2 in FIG. 7). At this time, the motion detection unit 13 detects the height and the position of the center of gravity of the person P, and determines the motion of the person P from the positional relationship between the height, the position of the center of gravity, and the distance image 21.
- the motion detection unit 13 detects whether or not the person P is lying on the bed B, that is, whether or not the person is in the “decubitus position” (Yes in step S3 of FIG. 7).
- the motion detection unit 13 has a positional relationship in which the highest point of the person P and the center of gravity are connected on the plane of the bed B, and each position is slightly higher than the preset supine height position. When the position does not exceed the set position, the motion of the person P is determined to be in the “decubitus position”.
- the upper diagram shows the distance image 21, and the lower diagram shows the bed B as seen from the side. The same applies to FIG. 4 described below.
- the motion detection unit 13 also detects whether or not the person P has changed the motion (posture) on the bed B. For example, the motion detection unit 13 detects that the motion has changed by detecting that the positions of the highest vertex and the center of gravity of the person detected from the distance image have changed. As an example, when the maximum vertex of the person or the position of the center of gravity changes by a predetermined value or more, it is detected that the motion has changed. At this time, the motion detection unit 13 also detects a motion change when the person P changes from the supine position in the supine position as illustrated in FIG. 3 to the sideways position in the lateral position illustrated in FIG. 4. The detection of the motion of the person P described above may be performed by any method.
- the motion detection unit 13 always performs the above-described motion detection process and notifies the monitoring unit 14 of the detected motion (posture). At this time, the motion detection unit 13 may notify the monitoring unit 14 of the detected motion at a constant time interval, and when the detected motion changes, the motion detecting unit 13 may monitor the fact that the motion has changed or the changed motion. 14 may be notified. Thereby, the monitoring unit 14 can always recognize the motion of the person P.
- the monitoring unit 14 (monitoring means) performs monitoring processing on the biometric information based on the action of the person P detected as described above and the biometric information of the person P.
- the monitoring unit 14 monitors the biological information detected by the biological sensor S. That is, the monitoring unit 14 does not perform the monitoring process on the biometric information in a state other than the lying position (No in step S3 of FIG. 7 ).
- the monitoring unit 14 determines that the biometric information detected by the biometric sensor S (step S4 in FIG. 7) is stored as the absent reference value information (person absent value) stored in the reference information storage unit 16 in advance.
- the monitoring unit 14 does not perform the monitoring process on the detected biometric information.
- the absence reference value information is a measurement value from the biometric sensor S in a state where the person P does not exist on the bed B stored in advance, as shown in the lower diagram of FIG. 5.
- the absence reference value information shows a slight waveform due to external vibration or the like, but is obviously different from the waveform when the person P is present on the bed B. Therefore, it is possible to determine that the biometric information is different from the absence reference value information by examining the difference between the amplitude and the frequency of the biometric information and the absence reference value information for a certain period.
- the monitoring unit 14 measures biometric information for a certain period of time (a series of periods), and determines whether the biometric information is normal or abnormal using the biometric information measured for the certain period of time. Then, the monitoring unit 14 repeatedly performs a series of processes such as measurement and determination of biological information for a fixed time. At this time, the monitoring unit 14 compares the measured biometric information with a previously generated normal reference value (biological reference information) to determine whether the measured biometric information is normal or abnormal.
- the normal reference value is information generated based on the biometric information measured when the person P in the lying position, which is the current movement (posture) of the person P, is normal. Therefore, upon entering the monitoring process, the monitoring unit 14 first checks whether or not the normal reference value generated during the immediately preceding monitoring process exists (step S6 in FIG. 7).
- the monitoring unit 14 newly generates a normal reference value (step S7 of FIG. 7). Specifically, the monitoring unit 14 generates a normal reference value using the biometric information measured at the current fixed time. At this time, as shown in the upper diagram of FIG. 6, the monitoring unit 14 divides the biometric information measured at the current fixed time into a plurality of periods W and generates a normal reference value using the biometric information of each period W. To do. For example, the biometric information for a certain time of 100 seconds may be divided into 20 seconds ⁇ 5 periods W, and the biometric information of each period W may be used as a normal reference value.
- One normal reference value may be generated by aggregating information such as averaging, or the normal reference value may be generated by any method.
- the normal reference value may be generated for each type of biometric information such as heartbeat frequency, heartbeat level, respiratory wavenumber, and respiratory level. Further, the fixed time and each period W are not limited to the above-mentioned time.
- the monitoring unit 14 stores the normal reference value in the reference information storage unit 16 and sets it for use in the next monitoring process (No in step S9 of FIG. 7). , No in step S10, step S11). Then, in the current monitoring process, normality/abnormality of the biometric information is determined using the normal reference value in the immediately preceding monitoring process (steps S8 and S12 in FIG. 7). When the process proceeds to the monitoring process (No in step S13 of FIG. 7) and the abnormality is detected (Yes in step S13 of FIG. 7), the notification unit 15 is notified of that fact.
- the monitoring unit 14 operates (posture) the person P while generating a new normal reference value as described above, that is, while measuring biological information for a certain period of time in the current monitoring process. Changes or when it is determined that the biometric information is a value that cannot be monitored (Yes in step S9 of FIG. 7), the normal reference value is not generated. In this case, it is confirmed that the motion (posture) of the person P is in the recumbent position, new biometric information for a certain period of time is newly measured, and the normal reference value is generated as described above.
- the monitoring unit 14 stores the unmonitorable value of the biological information in advance, and determines that the biological information is the unmonitorable value when the measured biological information matches the unmonitorable value.
- the unmonitorable value is a waveform of biometric information that can occur when the person P has a large body movement such as coughing or rolling over, or a value of the amplitude or frequency of the biometric information (value equal to or greater than a threshold value) ).
- the monitoring unit 14 proceeds to the next monitoring process and newly measures biometric information for a certain period of time (step S4 in FIG. 7). Then, when the newly measured biometric information is different from the absent reference value information (No in step S5 of FIG. 7, Yes in step S6), the monitoring unit 14 uses the measured biometric information and the immediately preceding monitoring process. Using the generated normal reference value, it is determined whether the biometric information is normal or abnormal (step S8 in FIG. 7). At this time, as shown in the upper diagram of FIG. 6, the monitoring unit 14 divides the newly measured biometric information into a plurality of periods W and makes a determination using the biometric information of each period W.
- the biometric information for 100 seconds may be divided into 20 seconds ⁇ 5 periods W, and the biometric information for each period W may be compared with a normal reference value to make a comprehensive determination. Then, it may be judged by comparing with a normal reference value.
- a normal reference value As an example, when the biometric information of the five periods W is used, the number of the periods W in which the biometric information of each period W can be determined to be abnormal such that the biological information is too large or too small with respect to the normal reference value is aggregated and determined as abnormal When there are four or more possible periods W, it is determined that the abnormal state is comprehensive.
- the normality/abnormality of the biometric information may be determined by any method.
- the monitoring unit 14 uses the newly measured biometric information in the monitoring process as described above, and at the same time, generates a new normal reference value to be used in the next monitoring process from the newly measured biometric information ( Step S11 of FIG. 7). That is, the monitoring unit 14 performs the monitoring process, and at the same time, generates a new normal reference value used in the next monitoring process from the biometric information used in the monitoring process.
- the method for generating the normal reference value is the same as above.
- the monitoring unit 14 performs the final determination of normality/abnormality of the biological information as described above, newly generates a normal reference value, and uses the normal reference value in the next monitoring process. Update (No in step S9 of FIG. 7, No in step S10, step S11). Then, when the monitoring process determines that the biometric information is normal (No in step S13 of FIG. 7 ), the process proceeds to the next monitoring process. As a result, the monitoring unit 14 measures new biometric information in the next monitoring process and compares it with the newly updated normal reference value to determine normality/abnormality. As a result, the monitoring unit 14 can always determine the currently measured biometric information by using the normal reference value generated from the biometric information measured in the immediately preceding monitoring process.
- the monitoring unit 14 changes the motion (posture) of the person P while generating the normal reference value while performing the monitoring process as described above, that is, while measuring the biometric information.
- the monitoring process is stopped and the generation of a new normal reference value is stopped.
- the monitoring unit 14 deletes the immediately preceding normal reference value stored in the reference information storage unit 16, confirms that the motion (posture) of the person P is in the recumbent position, as described above.
- the biological information for a certain period of time is measured, and a new normal reference value is generated.
- the monitoring process is restarted as described above.
- the monitoring unit 14 determines that the biometric information is abnormal (Yes in step S13 of FIG. 7), the monitoring unit 14 notifies the notification unit 15 to that effect. Then, the notification unit 15 notifies the mobile terminal 20 and the monitoring terminal 30 that the biometric information of the person P is abnormal (step S14 in FIG. 7).
- the upper waveform in FIG. 6 represents a normal time
- the lower waveform in FIG. 6 represents an abnormal time. Therefore, when the waveform as shown in the lower part of FIG. 6 is detected, it is determined to be abnormal.
- the operation detection unit 13 detects the distance image acquired via the distance image acquisition unit 11 or the detection data from the infrared sensor separately provided in the region R, It also has a function of detecting that a person has left.
- the motion detection unit 13 tracks the position of the person P in the distance image, and detects that the person P exits the region R when the person P passes through a preset entrance/exit point.
- an infrared sensor is provided at the entrance of the region R, and when it is detected that an object has passed from the indoor side to the outdoor side, it is detected that the person P has left the region R.
- any method may be used to detect that the person P has left the area R. Then, when the motion detection unit 13 detects that the person P has exited from the region R, the motion detection unit 13 notifies the monitoring unit 14 of that fact.
- the monitoring unit 14 Upon receiving the notification that the person P has exited from the area R, the monitoring unit 14 basically stops the above-described monitoring processing. That is, measurement of biometric information, determination of normality/abnormality of biometric information, and generation of a normal reference value are stopped. However, even when the notification that the person P has exited from the region R is received, the motion of the person P is in the lying position at this point, and the measured biometric information differs from the absence reference value information. Further, when the measured biometric information is in a state (specific state) that is not the unmonitorable value, the biometric information monitoring process is continued. That is, the biometric information is measured, the normality/abnormality of the biometric information is determined, and the normal reference value generation process is continued.
- the person P who is the monitoring target may have exited, and the subsequent determination of biometric information is unnecessary, so in principle, Stop the monitoring process.
- the area R there may be another person such as a caregiver of the person P to be monitored, and it may be detected that the other person exits the area R. ..
- the measured biometric information is different from the absence reference value information, and further, the measured biometric information is not the unmonitorable value, The biological information monitoring process is to be continued.
- the biometric sensor S mounted on the bed B measures the biometric information of the person P to determine normality/abnormality
- the value serving as the determination criterion is set to a specific state (for example, , The person is in the lying position). Therefore, it is possible to set an appropriate criterion for comparison with the current situation of the person P and compare them, and it is possible to detect the state of the person P more accurately.
- the above-mentioned program is stored in a storage device or a computer-readable recording medium.
- the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.
- the present invention enjoys the benefit of the priority claim based on the patent application of Japanese Patent Application No. 2019-004393 filed on January 15, 2019 in Japan, and is described in the patent application. All contents are included in the present specification.
- Monitoring Server 11 Distance Image Acquisition Unit 12 Biometric Information Measurement Unit 13 Motion Detection Unit 14 Monitoring Unit 15 Notification Unit 16 Reference Information Storage Unit 20 Mobile Terminal 21 Distance Image 30 Monitoring Terminal B Bed C Distance Image Camera S Biometric Sensor P Person U User
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Optics & Photonics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本発明の情報処理装置は、寝床を含む所定領域の距離画像を取得する距離画像取得手段と、距離画像に基づいて、当該距離画像内の人物の動作を検出する検出手段と、計測装置から寝床上の人物の生体情報を計測する計測手段と、人物の動作と生体情報とに基づいて、当該生体情報に対する監視処理を行う監視手段と、を備える。そして、上記監視手段は、計測した生体情報と予め生成された生体基準情報とに基づいて監視処理を行うと共に、当該監視処理に用いる計測した生体情報に基づいて後に使用する新たな前記生体基準情報を生成する。
Description
本発明は、情報処理装置及び情報処理方法に関する。
近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献1に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。
特許文献1に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置を検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。
また、特許文献2には、ベッド上の人の生体情報を検出するセンサ装置が記載されている。特許文献2に記載のセンサ装置は、ベッドに設置され、電磁波を照射することによって人物の心拍、呼吸などの生体情報を検出している。そして、このように検出された生体情報をもとに、人物の状態を監視することができる。
しかしながら、上述した技術では、被介護者である人物の状態をより正確に検出することができない、という問題が生じる。これは、上述した技術では、人物の姿勢や生体情報を検出しているものの、人物の姿勢や状態は常に変化するため、監視時の判断基準も常に変化することが想定されるためである。
このため、本発明の目的は、上述した課題である、人物の状態を正確に検出することができない、ということを解決することができる情報処理装置を提供することにある。
本発明の一形態である情報処理装置は、
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて、当該距離画像内の人物の動作を検出する検出手段と、
計測装置から前記寝床上の人物の生体情報を計測する計測手段と、
前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う監視手段と、
を備え、
前記監視手段は、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
という構成をとる。
寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて、当該距離画像内の人物の動作を検出する検出手段と、
計測装置から前記寝床上の人物の生体情報を計測する計測手段と、
前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う監視手段と、
を備え、
前記監視手段は、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
という構成をとる。
そして、上記情報処理装置では、
前記監視手段は、一定期間を複数期間に分けて計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる前記複数期間に分けて計測した前記生体情報に基づいて後に使用する前記新たな生体基準情報を生成する、
という構成をとる。
前記監視手段は、一定期間を複数期間に分けて計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる前記複数期間に分けて計測した前記生体情報に基づいて後に使用する前記新たな生体基準情報を生成する、
という構成をとる。
また、上記情報処理装置では、
前記監視手段は、前記監視処理の際に、直前の前記監視処理時に計測した前記生体情報に基づいて生成した前記新たな生体基準情報を用いる、
という構成をとる。
前記監視手段は、前記監視処理の際に、直前の前記監視処理時に計測した前記生体情報に基づいて生成した前記新たな生体基準情報を用いる、
という構成をとる。
また、上記情報処理装置では、
前記監視手段は、前記人物の動作が前記寝床上に人物が横たわっている臥位状態であり、計測した前記生体情報が予め設定された前記寝床上に人物が存在していない状態における前記計測装置からの計測値である不在時基準値情報と異なる場合に、計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて前記新たな生体基準情報を生成する、
という構成をとる。
前記監視手段は、前記人物の動作が前記寝床上に人物が横たわっている臥位状態であり、計測した前記生体情報が予め設定された前記寝床上に人物が存在していない状態における前記計測装置からの計測値である不在時基準値情報と異なる場合に、計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて前記新たな生体基準情報を生成する、
という構成をとる。
また、上記情報処理装置では、
前記監視手段は、前記人物の動作が所定基準以上変化した場合に、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
という構成をとる。
前記監視手段は、前記人物の動作が所定基準以上変化した場合に、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
という構成をとる。
また、上記情報処理装置では、
前記監視手段は、計測した前記生体情報が予め設定された基準により前記監視処理が継続できない監視不能値である場合に、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
という構成をとる。
前記監視手段は、計測した前記生体情報が予め設定された基準により前記監視処理が継続できない監視不能値である場合に、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
という構成をとる。
また、上記情報処理装置では、
前記寝床を含む所定領域からの人物の退出を検出する退出検出手段を備え、
前記監視手段は、人物の退出を検出した際には、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
という構成をとる。
前記寝床を含む所定領域からの人物の退出を検出する退出検出手段を備え、
前記監視手段は、人物の退出を検出した際には、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
という構成をとる。
また、上記情報処理装置では、
前記監視手段は、人物の退出を検出した際には、前記人物の動作が前記寝床上に人物が横たわっている臥位状態であり、計測した前記生体情報が予め設定された前記寝床上に人物が存在していない状態における前記計測装置からの計測値である不在時基準値情報と異なり、さらに、計測した前記生体情報が予め設定された監視不能値ではない特定状態である場合には、計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する前記新たな生体基準情報を生成し、
前記特定状態ではない場合には、前記監視処理を停止する、
という構成をとる。
前記監視手段は、人物の退出を検出した際には、前記人物の動作が前記寝床上に人物が横たわっている臥位状態であり、計測した前記生体情報が予め設定された前記寝床上に人物が存在していない状態における前記計測装置からの計測値である不在時基準値情報と異なり、さらに、計測した前記生体情報が予め設定された監視不能値ではない特定状態である場合には、計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する前記新たな生体基準情報を生成し、
前記特定状態ではない場合には、前記監視処理を停止する、
という構成をとる。
また、本発明の他の形態である情報処理方法は、
情報処理装置が、
寝床を含む所定領域の距離画像を取得し、
前記距離画像に基づいて、当該距離画像内の人物の動作を検出し、
計測装置から前記寝床上の人物の生体情報を計測し、
前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う際に、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
という構成をとる。
情報処理装置が、
寝床を含む所定領域の距離画像を取得し、
前記距離画像に基づいて、当該距離画像内の人物の動作を検出し、
計測装置から前記寝床上の人物の生体情報を計測し、
前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う際に、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
という構成をとる。
また、本発明の他の形態であるプログラムは、
情報処理装置に、
寝床を含む所定領域の距離画像を取得し、
前記距離画像に基づいて、当該距離画像内の人物の動作を検出し、
計測装置から前記寝床上の人物の生体情報を計測し、
前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う際に、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
処理を実行させる、
という構成をとる。
情報処理装置に、
寝床を含む所定領域の距離画像を取得し、
前記距離画像に基づいて、当該距離画像内の人物の動作を検出し、
計測装置から前記寝床上の人物の生体情報を計測し、
前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う際に、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
処理を実行させる、
という構成をとる。
本発明は、以上のように構成されることにより、人物の状態を正確に検出することができる。
<実施形態1>
本発明の第1の実施形態を、図1乃至図7を参照して説明する。図1乃至図2は、情報処理システムの構成を示す図である。図3乃至図7は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
本発明の第1の実施形態を、図1乃至図7を参照して説明する。図1乃至図2は、情報処理システムの構成を示す図である。図3乃至図7は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Pの行動及び生体情報を監視するための情報処理システムである。そして、情報処理システムは、監視サーバ10と、距離画像カメラCと、寝床下や天井に設置された生体センサSと、携帯端末20と、監視端末30と、を備えて構成されている。
上記距離画像カメラC(撮影装置)は、監視対象となる人物Pが横たわるベッドBが配置された領域R内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラCは、医療施設や介護施設、宅内の一室の天井に設けられ、ベッドB全体が画像内に収まる位置に配置されている。なお、距離画像カメラCは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、撮影されるベッドBは、布団などのいかなる寝床であってもよい。
距離画像カメラCは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラCは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式の撮影装置であってもよい。そして、距離画像カメラCは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ10に送信する機能を有する。なお、上記監視サーバ10の機能については、上記距離画像カメラCに搭載することもできる。つまり、距離画像カメラCに搭載された情報処理装置にて監視サーバ10の機能を実現してもよい。
上記生体センサS(計測装置)は、監視対象となる人物Pが横たわるベッドBに設置されている。そして、生体センサSは、例えば、マイクロ波センサであり、ベッドBに横たわる人物Pに対してマイクロ波を照射し、その反射波を用いて人物Pの心拍・呼吸・体動を生体情報として検出する、というものである。但し、生体センサSは、いかなる方法で人物Pの心拍・呼吸・体動などの生体情報を検出する計測装置であってもよく、また、検出する生体情報は必ずしも心拍・呼吸・体動を表す情報であることに限定されない。なお、図1の例では、ベッドBに生体センサSが設置されている場合を例示しているが、天井などいかなる場所に設置されていてもよい。
上記携帯端末20は、被介護者である人物の介護を行ったり、監視する監視者であるユーザUが保持して操作するスマートフォンなどの情報処理端末である。携帯端末20は、監視サーバ10と無線通信を介して接続され通信可能であり、後述するように、監視サーバ10に対してユーザUの操作指示を入力することが可能である。例えば、携帯端末20は、表示画面に、距離画像カメラCにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザUからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末20から監視サーバ10に送信されることとなる。また、携帯端末20は、監視サーバ10から発せられる被介護者である人物の異常の通知を受信して、ユーザUに報知する機能も有する。
上記監視端末30は、被介護者である人物の介護を行ったり、監視する監視者であるユーザUが操作する情報処理端末である。監視端末30は、監視者などのユーザUが在籍する監視ルームなどの場所に設置されており、複数のユーザUによって操作可能である。監視端末30は、上述した携帯端末20と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ10に送信したり、監視サーバ10から発せられる人物の異常の通知を受信して、ユーザUに報知する機能を有する。
上記監視サーバ10は、演算装置及び記憶装置を有するサーバ装置(情報処理装置)である。そして、監視サーバ10は、図2に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部11、生体情報計測部12、動作検出部13、監視部14、通知部15、を備えている。また、監視サーバ10は、記憶装置に形成された、基準情報記憶部16を備えている。以下、各構成について詳述するが、併せて監視サーバ10の動作も、図7のフローチャートを参照して併せて説明する。
上記距離画像取得部11(距離画像取得手段)は、上述したように距離画像カメラCにて撮影されたベッドB及び監視対象となる人物Pを含む距離画像を、定期的に距離画像カメラCから取得する。そして、取得した距離画像を動作検出部13に渡すことで、当該距離画像は後述する動作検出処理や監視処理に用いられる。
上記生体情報計測部12(計測手段)は、定期的に生体センサSにて検出されたベッドB上の人物Pの心拍・呼吸・体動の生体情報(計測値)を取得する。例えば、生体情報は、図5の上図に示すように、一定期間毎の心拍・呼吸・体動のレベル平均値にて表される。そして、取得した生体情報を監視部14に渡すことで、当該生体情報は後述する監視処理に用いられる。なお、生体センサSではベッドB上に生じる事象を計測しているため、生体情報計測部12は、ベッドB上に人物Pが存在しない場合でも計測値を取得し、かかる計測値を監視部14に渡している。
上記動作検出部13(検出手段)は、距離画像取得部11を介して距離画像を取得して(図7のステップS1)、当該距離画像内の人物Pを検出して、当該人物Pの動作を検出する動作検出処理を行う。具体的に、動作検出部13は、距離画像内におけるベッドBの領域と、人物Pと、を検出する。例えば、動作検出部13は、まず、予め指定されているベッドBの領域を指定する距離画像内の座標に基づいて、ベッドBの領域を特定する。そして、動作検出部13は、ベッドBの領域内に存在する物体を検出し、かかる物体から人物Pの最頂点と重心位置を検出する。このとき、動作検出部13は、例えば、距離画像21内における個々の塊からなる物体を検出し、検出した物体の質量や、物体間の位置関係や体積比(面積比)などから、人物を検出する。
そして、動作検出部13は、検出された人物Pの最頂点と重心位置の位置関係から、人物Pの動作を検出する。具体的に、本実施形態では、ベッドB上における人物Pの姿勢を検出する(図7のステップS2)。このとき、動作検出部13は、人物Pの高さと重心位置を検出し、当該高さと重心位置と距離画像21内の位置関係から、人物Pの動作を判定する。
特に、動作検出部13は、人物PがベッドB上において横たわっている動作、つまり、「臥位」であるか否かを検出する(図7のステップS3でYes)。例えば、動作検出部13は、図3に示すように、人物Pの最頂点と重心位置がベッドBの平面上で連結した位置関係となり、それぞれ予め設定された臥位高さ位置よりもやや高く設定された位置を超えていない場合に、人物Pの動作が「臥位」であると判定する。ここで、図3は、上図が距離画像21を示しており、下図がベッドBを側方から見た図を示している。以下に説明する図4も同様である。
なお、動作検出部13は、人物PがベッドB上において動作(姿勢)を変化させたか否かの検出も行う。例えば、動作検出部13は、距離画像から検出した人物の最頂点と重心の位置が変化したことを検出することで、動作に変化があったことを検出する。一例としては、人物の最頂点や重心位置が所定値以上変化した場合に、動作が変化したことを検出する。このとき、動作検出部13は、人物Pが、図3に示すような仰向けの臥位状態から、図4に示す横向きの臥位状態に変化させた場合も、動作変化として検出する。なお、上述した人物Pの動作の検出は、いかなる方法で行われてもよい。
ここで、動作検出部13は、上述した動作検出処理を常に行い、検出した動作(姿勢)を監視部14に通知する。このとき、動作検出部13は、一定の時間間隔で検出した動作を監視部14に通知してもよく、検出した動作が変化したときに、動作が変化した旨や変化後の動作を監視部14に通知してもよい。これにより、監視部14は、常に人物Pの動作を認識することができる。
上記監視部14(監視手段)は、上述したように検出した人物Pの動作と、当該人物Pの生体情報とに基づいて、当該生体情報に対する監視処理を行う。特に、監視部14は、検出した人物Pの動作が、上述した「臥位」である場合に(図7のステップS3でYes)、生体センサSから検出した生体情報の監視処理を行う。つまり、監視部14は、臥位状態以外の場合には(図7のステップS3でNo)、生体情報に対する監視処理は行わない。そして、監視部14は、具体的には、生体センサSから検出した生体情報が(図7のステップS4)、予め基準情報記憶部16に記憶された不在時基準値情報(人物不在値)と比較して、当該不在時基準値情報と異なり、生体情報が人物Pの有効値であると判断された場合に(図7のステップS5でNo)、検出した生体情報に対する監視処理を行う。逆に、監視部14は、生体センサSから検出した生体情報が不在時基準値情報と同等である場合には(図7のステップS5でYes)、検出した生体情報に対する監視処理は行わない。
ここで、上記不在時基準値情報は、図5の下図に示すように、予め記憶されたベッドB上に人物Pが存在していない状態における生体センサSからの計測値である。このように、不在時基準値情報は、外部振動などにより多少の波形が表されているが、明らかにベッドB上に人物Pが存在している場合の波形とは異なる。このため、生体情報と不在時基準値情報との一定期間の振幅や振動数との差異を調べることで、生体情報が不在時基準値情報とは異なることを判断することができる。その結果、人物Pが存在していない場合の生体センサSからの計測値を監視処理することを抑制することができ、より確実に人物Pの心拍・呼吸・体動などを計測した生体情報に対する監視処理を行うことができる。
監視部14は、監視処理として、生体情報を一定時間(一連の期間)計測し、かかる一定時間で計測された生体情報を用いて、当該生体情報が正常か異常かの判定を行う。そして、監視部14は、一定時間の生体情報の計測及び判定といった一連の処理を繰り返し行う。このとき、監視部14は、計測した生体情報と、予め生成された正常基準値(生体基準情報)と、を比較して、計測した生体情報が正常か異常かを判定する。ここで、正常基準値は、現在の人物Pの動作(姿勢)である臥位状態における人物Pの正常時に計測された生体情報に基づいて生成される情報である。このため、監視部14は、監視処理に入ると、まず、直前の監視処理時に生成された正常基準値が存在するか否かを調べる(図7のステップS6)。
監視部14は、直前の監視処理時に正常基準値が生成されていない場合には(図7のステップS6でNo)、新たに正常基準値を生成する(図7のステップS7)。具体的に、監視部14は、今現在の一定時間で計測した生体情報を用いて正常基準値を生成する。このとき、監視部14は、図6の上図に示すように、今現在の一定時間で計測した生体情報を複数期間Wに分けて、各期間Wの生体情報を用いて正常基準値を生成する。例えば、一定時間である100秒間の生体情報を20秒間×5期間Wに分けて、各期間Wの生体情報をそれぞれ正常基準値としてもよく、すべての期間Wやそのうちいくつかの期間Wの生体情報を平均するなど集計して1つの正常基準値を生成してもよく、いかなる方法で正常基準値を生成してもよい。なお、正常基準値は、心拍波数、心拍レベル、呼吸波数、呼吸レベルなどの生体情報の種類毎に生成してもよい。また、一定時間や各期間Wは上述した時間であることに限定されない。
監視部14は、上述したように新たに正常基準値を生成すると、当該正常基準値を基準情報記憶部16に記憶して、次の監視処理で用いるよう設定する(図7のステップS9でNo、ステップS10でNo、ステップS11)。そして、現在の監視処理では、直前の監視処理時の正常基準値を用いて生体情報の正常/異常を判定して(図7のステップS8、ステップS12)、正常であった場合は、次の監視処理に進み(図7のステップS13でNo)、異常であった場合は(図7のステップS13でYes)、その旨を通知部15に通知する。但し、監視部14は、上述したように新たな正常基準値を生成している間、つまり、今現在の監視処理で生体情報を一定時間計測している間に、人物Pの動作(姿勢)が変化したり、生体情報が監視不能な値であると判断した場合には(図7のステップS9でYes)、正常基準値を生成しない。この場合は、人物Pの動作(姿勢)が臥位であることを確認し、新たに一定時間の生体情報を計測して上述同様に正常基準値の生成を行う。なお、監視部14は、予め生体情報の監視不能値を記憶しており、計測した生体情報が監視不能値に一致している場合に、生体情報が監視不能な値であると判断する。例えば、監視不能値とは、人物Pが咳をしたり寝返りをするなどの大きな体動が生じたときに起こりうる生体情報の波形や、生体情報の振幅や振動数の値(閾値以上の値)にて表される。
監視部14は、上述したように直前の監視処理で正常基準値が生成された後には、次の監視処理に進み、新たに一定時間の生体情報を計測する(図7のステップS4)。そして、監視部14は、新たに計測した生体情報が不在時基準値情報と異なる場合には(図7のステップS5でNo,ステップS6でYes)、当該計測した生体情報と直前の監視処理で生成された正常基準値とを用いて生体情報が正常か異常かの判定を行う(図7のステップS8)。このとき、監視部14は、図6の上図に示すように、新たに計測した生体情報を複数期間Wに分けて、各期間Wの生体情報を用いて判定を行う。例えば、100秒間の生体情報を20秒間×5期間Wに分けて、各期間Wの生体情報をそれぞれ正常基準値と比較して総合的に判定してもよく、各期間Wの生体情報を平均して正常基準値と比較して判定してもよい。一例として、5つの期間Wの生体情報を用いる場合には、各期間Wの生体情報が正常基準値に対して大きすぎたり小さすぎるといった異常と判断できる期間Wの数を集計し、異常と判断できる期間Wが4つ以上の場合に、総合的に異常状態であると判定する。なお、生体情報の正常/異常の判定はいかなる方法で行ってもよい。
また、監視部14は、上述したように新たに計測した生体情報を監視処理に用いると同時に、当該新たに計測した生体情報から、さらに次の監視処理に用いる新たな正常基準値を生成する(図7のステップS11)。つまり、監視部14は、監視処理を行うと同時に、かかる監視処理に用いている生体情報から、次の監視処理に用いる新たな正常基準値を生成する。なお、正常基準値の生成方法は上述同様である。
具体的に、監視部14は、上述したように生体情報の正常/異常の最終的な判定を行うと共に、新たに正常基準値を生成して、当該正常基準値を次の監視処理で用いるよう更新する(図7のステップS9でNo、ステップS10でNo、ステップS11)。そして、監視処理により生体情報が正常であると判定されると(図7のステップS13でNo)、さらに次の監視処理に進む。これにより、監視部14は、さらに次の監視処理でさらに新たな生体情報を計測し、新たに更新された正常基準値と比較して正常/異常の判定を行う。その結果、監視部14は、常に直前の監視処理時に計測された生体情報から生成した正常基準値を用いて、現在計測された生体情報の判定を行うことができる。
なお、監視部14は、上述したように監視処理を行いつつ正常基準値を生成している間、つまり、生体情報を計測している間に、人物Pの動作(姿勢)が変化したり、生体情報が監視不能な値であると判断した場合には(図7のステップS9でYes)、監視処理を停止し、また、新たな正常基準値の生成を停止する。そして、監視部14は、基準情報記憶部16に記憶されている直前の正常基準値を削除し、上述したように、あらためて人物Pの動作(姿勢)が臥位であることを確認し、新たに一定時間の生体情報を計測して、新たな正常基準値の生成を行う。そして、新たな正常基準値を用いて、上述したように監視処理を再開する。
そして、監視部14は、生体情報が異常であると判定した場合には(図7のステップS13でYes)、その旨を通知部15に通知する。すると、通知部15は、人物Pの生体情報に異常があった旨を、携帯端末20や監視端末30に通知する(図7のステップS14)。例えば、図6に示す呼吸の生体情報の例では、図6の上段の波形は正常時を表しているが、図6の下段の波形は異常時を表している。このため、図6の下段のような波形を検出した場合には、異常であると判定する。
ここで、上記動作検出部13(退出検出手段)は、距離画像取得部11を介して取得した距離画像や、領域R内に別途設けられた赤外線センサーからの検出データなどから、領域R内から人物を退出したことを検出する機能も有する。例えば、動作検出部13は、距離画像内の人物Pの位置を追跡し、予め設定された出入口箇所を通過した場合に、人物Pが領域R内から退出したことを検出する。また、別の例としては、領域Rの出入口に赤外線センサーを設け、室内側から室外側に物体が通過したことを検出した場合に、人物Pが領域R内から退出したことを検出する。但し、人物Pが領域R内から退出したことの検出方法はいかなる方法であってもよい。そして、動作検出部13は、領域R内から人物Pが退出したことを検出すると、その旨を監視部14に通知する。
上記監視部14は、領域R内から人物Pが退出した旨の通知を受けると、原則的には、上述した監視処理を停止する。つまり、生体情報の計測や、生体情報の正常/異常の判定、さらには、正常基準値の生成、を停止する。但し、領域R内から人物Pが退出した旨の通知を受けた場合であっても、この時点において、人物Pの動作が臥位状態であり、計測した生体情報が不在時基準値情報と異なり、さらに、計測した生体情報が監視不能値ではない状態(特定状態)である場合には、生体情報の監視処理を継続する。つまり、生体情報を計測して、生体情報の正常/異常の判定、さらには、正常基準値の生成の処理を継続する。
上述したように、領域R内から人物Pが退出したことを検出した場合には、監視対象である人物Pが退出した可能性があり、その後の生体情報の判定は不要となるため、原則的には、監視処理を停止する。一方で、領域R内には、監視対象である人物Pの介助者などの他の人物が存在している場合もあり、かかる他の人物が領域R内から退出したことを検出することもある。このような状況に対応すべく、人物Pが臥位状態であり、計測した生体情報が不在時基準値情報と異なり、さらに、計測した生体情報が監視不能値ではない状態である場合には、生体情報の監視処理を継続することとしている。
以上のように、本発明では、ベッドBに装備した生体センサSにて人物Pの生体情報を計測して正常/異常を判定する際に、その判断基準となる値を、特定の状態(例えば、臥位状態)である人物Pの直近の生体情報を基に生成している。このため、人物Pの現在の状況に適切な判断基準を設定して比較することができ、より正確に人物Pの状態を検出することができる。
なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
なお、本発明は、日本国にて2019年1月15日に特許出願された特願2019-004393の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
10 監視サーバ
11 距離画像取得部
12 生体情報計測部
13 動作検出部
14 監視部
15 通知部
16 基準情報記憶部
20 携帯端末
21 距離画像
30 監視端末
B ベッド
C 距離画像カメラ
S 生体センサ
P 人物
U ユーザ
11 距離画像取得部
12 生体情報計測部
13 動作検出部
14 監視部
15 通知部
16 基準情報記憶部
20 携帯端末
21 距離画像
30 監視端末
B ベッド
C 距離画像カメラ
S 生体センサ
P 人物
U ユーザ
Claims (10)
- 寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
前記距離画像に基づいて、当該距離画像内の人物の動作を検出する検出手段と、
計測装置から前記寝床上の人物の生体情報を計測する計測手段と、
前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う監視手段と、
を備え、
前記監視手段は、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記監視手段は、一定期間を複数期間に分けて計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる前記複数期間に分けて計測した前記生体情報に基づいて後に使用する前記新たな生体基準情報を生成する、
情報処理装置。 - 請求項1又は2に記載の情報処理装置であって、
前記監視手段は、前記監視処理の際に、直前の前記監視処理時に計測した前記生体情報に基づいて生成した前記新たな生体基準情報を用いる、
情報処理装置。 - 請求項1乃至3のいずれかに記載の情報処理装置であって、
前記監視手段は、前記人物の動作が前記寝床上に人物が横たわっている臥位状態であり、計測した前記生体情報が予め設定された前記寝床上に人物が存在していない状態における前記計測装置からの計測値である不在時基準値情報と異なる場合に、計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて前記新たな生体基準情報を生成する、
情報処理装置。 - 請求項1乃至4のいずれかに記載の情報処理装置であって、
前記監視手段は、前記人物の動作が所定基準以上変化した場合に、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
情報処理装置。 - 請求項1乃至5のいずれかに記載の情報処理装置であって、
前記監視手段は、計測した前記生体情報が予め設定された基準により前記監視処理が継続できない監視不能値である場合に、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
情報処理装置。 - 請求項1乃至6のいずれかに記載の情報処理装置であって、
前記寝床を含む所定領域からの人物の退出を検出する退出検出手段を備え、
前記監視手段は、人物の退出を検出した際には、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
情報処理装置。 - 請求項7に記載の情報処理装置であって、
前記監視手段は、人物の退出を検出した際には、前記人物の動作が前記寝床上に人物が横たわっている臥位状態であり、計測した前記生体情報が予め設定された前記寝床上に人物が存在していない状態における前記計測装置からの計測値である不在時基準値情報と異なり、さらに、計測した前記生体情報が予め設定された監視不能値ではない特定状態である場合には、計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する前記新たな生体基準情報を生成し、
前記特定状態ではない場合には、前記監視処理を停止する、
情報処理装置。 - 情報処理装置が、
寝床を含む所定領域の距離画像を取得し、
前記距離画像に基づいて、当該距離画像内の人物の動作を検出し、
計測装置から前記寝床上の人物の生体情報を計測し、
前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う際に、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
情報処理方法。 - 情報処理装置に、
寝床を含む所定領域の距離画像を取得し、
前記距離画像に基づいて、当該距離画像内の人物の動作を検出し、
計測装置から前記寝床上の人物の生体情報を計測し、
前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う際に、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
処理を実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019004393A JP2020110422A (ja) | 2019-01-15 | 2019-01-15 | 情報処理装置 |
JP2019-004393 | 2019-01-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020149126A1 true WO2020149126A1 (ja) | 2020-07-23 |
Family
ID=71614330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/050827 WO2020149126A1 (ja) | 2019-01-15 | 2019-12-25 | 情報処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020110422A (ja) |
WO (1) | WO2020149126A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011030919A (ja) * | 2009-08-05 | 2011-02-17 | Kandenko Co Ltd | 被験者検知システム |
JP2012030042A (ja) * | 2010-06-30 | 2012-02-16 | Panasonic Electric Works Co Ltd | 監視装置、プログラム |
JP2013078433A (ja) * | 2011-10-03 | 2013-05-02 | Panasonic Corp | 監視装置、プログラム |
JP2015506186A (ja) * | 2011-12-20 | 2015-03-02 | コーニンクレッカ フィリップス エヌ ヴェ | ユーザの圧受容器反射をモニタリングする方法及び装置 |
JP2015119898A (ja) * | 2013-12-25 | 2015-07-02 | シャープ株式会社 | 状態判定装置および状態判定モジュール |
JP2017174266A (ja) * | 2016-03-25 | 2017-09-28 | 学校法人日本大学 | 遠隔患者支援システム |
JP2018126423A (ja) * | 2017-02-10 | 2018-08-16 | ミネベアミツミ株式会社 | ベッドモニタリングシステム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997038626A1 (fr) * | 1996-04-17 | 1997-10-23 | Seiko Epson Corporation | Detecteur d'arythmie |
-
2019
- 2019-01-15 JP JP2019004393A patent/JP2020110422A/ja active Pending
- 2019-12-25 WO PCT/JP2019/050827 patent/WO2020149126A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011030919A (ja) * | 2009-08-05 | 2011-02-17 | Kandenko Co Ltd | 被験者検知システム |
JP2012030042A (ja) * | 2010-06-30 | 2012-02-16 | Panasonic Electric Works Co Ltd | 監視装置、プログラム |
JP2013078433A (ja) * | 2011-10-03 | 2013-05-02 | Panasonic Corp | 監視装置、プログラム |
JP2015506186A (ja) * | 2011-12-20 | 2015-03-02 | コーニンクレッカ フィリップス エヌ ヴェ | ユーザの圧受容器反射をモニタリングする方法及び装置 |
JP2015119898A (ja) * | 2013-12-25 | 2015-07-02 | シャープ株式会社 | 状態判定装置および状態判定モジュール |
JP2017174266A (ja) * | 2016-03-25 | 2017-09-28 | 学校法人日本大学 | 遠隔患者支援システム |
JP2018126423A (ja) * | 2017-02-10 | 2018-08-16 | ミネベアミツミ株式会社 | ベッドモニタリングシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2020110422A (ja) | 2020-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101070389B1 (ko) | 환자 상태 모니터링 시스템 | |
JP2020052867A (ja) | 姿勢解析装置、姿勢解析方法、及びプログラム | |
US11272873B2 (en) | Cognitive function evaluation device, cognitive function evaluation system, cognitive function evaluation method, and recording medium | |
JP6852733B2 (ja) | 生体監視装置及び生体監視方法 | |
JPWO2017183602A1 (ja) | 被監視者監視システムおよび被監視者監視方法 | |
JP7090327B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2020027465A (ja) | 監視装置、監視システム、及びプログラム | |
JP2017228042A (ja) | 監視装置、監視システム、監視方法及び監視プログラム | |
WO2020149126A1 (ja) | 情報処理装置 | |
JP7468350B2 (ja) | 状態監視装置および状態監視装置の制御方法 | |
JP2020187389A (ja) | 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法 | |
JP7095870B2 (ja) | 情報処理装置 | |
JPWO2018016392A1 (ja) | 姿勢検出装置及び姿勢検出方法 | |
JP7090328B2 (ja) | 情報処理装置 | |
JP7232497B2 (ja) | 情報処理装置 | |
WO2021033453A1 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
EP4044920A1 (en) | Breathing detection apparatus and methods for detecting breathing | |
JP2021033379A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
WO2020003954A1 (ja) | コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法 | |
WO2020003952A1 (ja) | コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法 | |
WO2020021897A1 (ja) | 情報処理装置 | |
JP2022126069A (ja) | 画像処理方法 | |
JP7364179B2 (ja) | ロボット | |
WO2020145145A1 (ja) | 情報処理装置 | |
JP2022126071A (ja) | 画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19909912 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19909912 Country of ref document: EP Kind code of ref document: A1 |