WO2016203697A1 - 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 - Google Patents
脈拍推定装置、脈拍推定システムおよび脈拍推定方法 Download PDFInfo
- Publication number
- WO2016203697A1 WO2016203697A1 PCT/JP2016/002277 JP2016002277W WO2016203697A1 WO 2016203697 A1 WO2016203697 A1 WO 2016203697A1 JP 2016002277 W JP2016002277 W JP 2016002277W WO 2016203697 A1 WO2016203697 A1 WO 2016203697A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pulse
- unit
- skin color
- camera
- captured image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 239000000284 extract Substances 0.000 claims abstract description 13
- 230000008859 change Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000010349 pulsation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
- A61B5/02427—Details of sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
- A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
- A61B5/7485—Automatic selection of region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30076—Plethysmography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Definitions
- the present disclosure relates to a pulse estimation device, a pulse estimation system, and a pulse estimation method that estimate a pulse from information obtained without contact with a human body.
- a heart rate detection device that automatically detects a heart rate by specifying a peak frequency caused by a heart rate signal is known (see Patent Document 1).
- a light detection unit that detects light emitted from the light irradiation unit and transmitted through the subject, and a measurement signal obtained by the light detection unit
- a living body light measuring device that calculates a heart rate from two continuous peaks of a pulse wave seen in (see Patent Document 2).
- the present disclosure has been devised in view of the above-described problems of the prior art, and based on image data suitable for extraction of a pulse signal, a pulse estimation device and a pulse estimation system capable of stably estimating a pulse And providing a pulse estimation method.
- a pulse estimation device is a pulse estimation device that estimates a pulse from information obtained without contact with a subject, and a temporally continuous captured image including at least a part of the subject as a subject is a camera.
- An image input unit that is input from a region, a region extraction unit that extracts a skin color region from the captured image, and a zoom command unit that sends a zoom command to the camera that captured the captured image or its user to adjust the size of the skin color region
- a pulse estimator for estimating the pulse of the subject based on the skin color area of the captured image captured by the camera after sending the zoom command.
- FIG. 1 is an overall configuration diagram of a pulse estimation system according to the first embodiment.
- FIG. 2 is a functional block diagram of the pulse estimation system according to the first embodiment.
- FIG. 3 is an explanatory diagram of a pulse wave extraction process by the pulse calculation unit of the pulse estimation device shown in FIG. 4A is an explanatory diagram of a control result by the zoom command unit of the pulse estimation device shown in FIG. 4B is an explanatory diagram of a control result by the zoom command unit of the pulse estimation device shown in FIG.
- FIG. 4C is an explanatory diagram of a control result by the zoom command unit of the pulse estimation device shown in FIG. 2.
- FIG. 5 is a flowchart showing the flow of processing by the pulse estimation device according to the first embodiment.
- FIG. 6 is a functional block diagram of a pulse estimation system according to the second embodiment.
- FIG. 7A is an explanatory diagram of a pulse determination process performed by the pulse calculation unit of the pulse estimation device illustrated in FIG.
- FIG. 7B is an explanatory diagram of a pulse determination process performed by the pulse calculation unit of the pulse estimation device illustrated in FIG. 6.
- FIG. 8A is an explanatory diagram showing a modification of the pulse determination process shown in FIG. 7A.
- FIG. 8B is an explanatory diagram illustrating a modification of the pulse determination process illustrated in FIG. 7B.
- FIG. 9 is a flowchart showing the flow of processing by the pulse estimation device according to the second embodiment.
- FIG. 10 is a functional block diagram of a pulse estimation system according to the third embodiment.
- FIG. 10 is a functional block diagram of a pulse estimation system according to the third embodiment.
- FIG. 11A is an explanatory diagram illustrating an example of an operation instruction by the zoom command unit of the pulse estimation device illustrated in FIG. 10.
- FIG. 11B is an explanatory diagram illustrating an example of an operation instruction by the zoom command unit of the pulse estimation device illustrated in FIG. 10.
- FIG. 12 is a functional block diagram of a pulse estimation system according to the fourth embodiment.
- a first disclosure made in order to solve the above problem is a pulse estimation device that estimates a pulse from information obtained without contact with a subject, and includes at least a part of the subject as a subject.
- An image input unit that receives captured images continuously from the camera, an area extraction unit that extracts a skin color region from the captured image, and a zoom for the camera that captured the captured image or its user to adjust the size of the skin color region
- a zoom command unit that transmits a command and a pulse estimation unit that estimates a pulse of the subject based on a skin color region of a captured image captured by the camera after the zoom command is transmitted.
- the pulse estimation device since the pulse is estimated based on the captured image captured by the camera or the user after the zoom command is transmitted to the user or the user, the image is suitable for extracting the pulse signal. It is possible to stably estimate the pulse based on the data.
- the second disclosure further includes a region determination unit that determines whether the size of the skin color region satisfies a preset reference range in the first disclosure, and the zoom command unit includes the region determination unit. When it is determined that the size of the skin color area does not satisfy the reference range, a zoom command is sent to the camera or its user.
- a zoom command for the camera that captured the captured image or its user based on the determination result by the region determination unit as to whether the size of the skin color region satisfies the reference range Therefore, it is possible to estimate the pulse more stably.
- the region determination unit determines the size of the skin color region based on the number of pixels constituting the skin color region in the captured image, and the number of pixels is set in advance. It is characterized by determining whether or not the numerical reference range is satisfied.
- the pulse estimation device since the size of the skin color area is determined based on the number of pixels constituting the skin color area, it is easy to extract the skin color area. It is possible to stably estimate the pulse by simple processing.
- the area determination unit changes the reference range according to the performance of the image sensor of the camera.
- the pulse estimation device since the reference range for adjusting the size of the skin color region is changed based on the performance of the image sensor, image data more suitable for extracting the pulse signal is acquired. As a result, the pulse can be estimated more stably.
- the region determination unit changes the reference range according to the exposure condition of the captured image.
- the pulse estimation device since the reference range for adjusting the size of the skin color region is changed based on the exposure condition at the time of imaging, image data more suitable for extracting the pulse signal is obtained. As a result, the pulse can be estimated more stably.
- the pulse estimation unit estimates the pulse of the subject based on the captured image before sending the zoom command, and whether or not the estimated pulse is stable.
- the zoom command unit sends a zoom command when the pulse estimation unit determines that the pulse is not stable.
- the pulse estimation device based on the determination result by the pulse estimation unit (that is, whether or not the estimated pulse is stable), a zoom command for the camera that captured the captured image or its user is issued. Since the signal can be transmitted appropriately, the pulse can be estimated more stably.
- the region extraction unit extracts a face region in the subject in the captured image as a skin color region.
- the pulse estimation device since the face region in the subject is extracted as the skin color region, it is easy to extract the skin color region, and as a result, the pulse is stably estimated by simple processing. It becomes possible to do.
- the display device further includes a display unit that displays a request regarding adjustment of the size of the skin color area to the user based on a zoom command to the user.
- the zoom operation of the camera can be surely executed by the user.
- a pulse estimation system comprising the pulse estimation device according to any one of the first to eighth disclosures, and a camera that executes a predetermined zoom operation based on a zoom command. It is.
- the pulse estimation system it is possible to stably estimate the pulse based on the captured image input to the image input unit after sending the zoom command to the camera or the user.
- a tenth disclosure is a pulse estimation method for estimating a pulse from information obtained without contact with a subject, and a temporally continuous captured image including at least a part of the subject as a subject is a camera.
- An image input step that is input from, a region extraction step that extracts a skin color region from the captured image, and a camera that captures the captured image in order to change the size of the skin color region to satisfy a preset reference range, or
- a zoom command step for sending a zoom command to the user, and a pulse estimation step for estimating the pulse of the subject based on a skin color region of a captured image captured by the camera after the zoom command is sent.
- the pulse estimation method it is possible to stably estimate the pulse based on the captured image input to the image input unit after sending the zoom command to the camera.
- FIG. 1 and 2 are an overall configuration diagram and a functional block diagram of the pulse estimation system 1 according to the first embodiment of the present disclosure, respectively.
- FIG. 3 is a pulse wave extraction process by the pulse calculation unit 23 of the pulse estimation device 3.
- 4A to 4C are explanatory diagrams of control results by the zoom command unit 28 of the pulse estimation device 3 shown in FIG.
- the pulse estimation system 1 estimates the pulse from information (captured image) obtained without contact with the human body. As shown in FIG. 1, at least a part of a person (subject) H is photographed as a subject. And a pulse estimation device 3 that estimates the pulse (pulse rate and pulse wave) of the person H from the captured image obtained by the imaging of the camera 2.
- the camera 2 and the pulse estimation device 3 are connected to each other via a network 4 such as the Internet or a LAN (Local Area Network).
- the configuration is not limited to this, and the camera 2 and the pulse estimation device 3 may be configured to be directly connected to each other via a known communication cable.
- the camera 2 is a video camera provided with a known zoom lens mechanism 5. As shown in FIG. 2, the camera 2 forms an image of light from a subject obtained through the zoom lens mechanism 5 on an image sensor (CCD, CMOS, etc.) (not shown), thereby converting the light of the formed image into an electrical signal.
- the image pickup unit 11 that outputs the video signal converted into the pulse estimation device 3 and the zoom control unit 12 that controls the optical zoom operation of the zoom lens mechanism 5 are provided.
- the imaging unit 11 can perform known signal processing for noise suppression, contour enhancement, and the like. Although only one camera 2 is shown in FIG. 1, the pulse estimation system 1 can be configured with a plurality of similar cameras.
- the pulse estimation device 3 includes an image input unit 21 to which a video signal from the imaging unit 11 is input as a temporally continuous captured image (frame image data) including at least a part of the person H, and the captured image.
- a region extraction unit 22 that extracts a skin color region (here, a facial region) of the person H
- a pulse calculation unit (pulse estimation unit) 23 that calculates a pulse of the person H based on the extracted skin color region of the person H
- the display unit 24 includes a known display device capable of displaying various information including the estimation result of the pulse to the user of the pulse estimation device 3.
- the skin color region extracted by the region extraction unit 22 is a region where the skin is exposed in the human body, and is a region where the pulse can be estimated from the captured image data of the region.
- the pulse estimation device 3 includes a region determination unit 26 that determines whether the size of the skin color region extracted by the region extraction unit 22 satisfies a preset reference range, and data of the reference range.
- a zoom command is sent to the zoom control unit 12 of the camera 2 in order to adjust the size of the skin color region based on the data storage unit 27 storing various data necessary for pulse estimation and the determination result by the region determination unit 26.
- a zoom command unit 28 for sending out.
- the area extraction unit 22 extracts a detected face area as a skin color area of the person H by executing a known face detection process for recognizing a facial feature amount for each captured image (frame image). To track.
- the region extraction unit 22 sends the captured image data relating to the extracted face region to the pulse calculation unit 23, and the data relating to the size of the face region (here, the number of pixels constituting the skin color region) to the region determination unit. 26.
- the area extraction unit 22 is not limited to the above-described method, and a skin color component set in advance from the captured image (for example, a preset ratio relating to each pixel value of RGB, which varies depending on the race or the like). It is also possible to extract a pixel having a pixel and extract the pixel as a skin color region. In this case, a portion where the skin other than the face is exposed (for example, a hand or an arm) can be extracted as a skin color region. However, as described above, there is an advantage that the skin color area can be easily extracted by extracting the face area of the person H as the skin color area. Although only one person H is shown in FIG. 1, when the captured image includes a plurality of persons, the area extraction unit 22 can extract a plurality of face areas.
- the pulse calculation unit 23 calculates, for example, pixel values (0 to 255 gradations) of RGB components for each pixel constituting the skin color area extracted from the temporally continuous captured image, and represents the representative value (here Then, time-series data (average value of each pixel) is generated as a pulse signal.
- time-series data can be generated based on the pixel value of only the green component (G) that has a particularly large fluctuation due to pulsation.
- the generated time-series data of pixel values is, for example, as shown in FIG. 3A, slight fluctuations based on changes in hemoglobin concentration in blood (for example, less than one gradation of pixel values) Fluctuations). Therefore, the pulse calculation unit 23 performs a known filter process (for example, a process using a bandpass filter in which a predetermined pass band is set) on the time-series data based on the pixel value, so that FIG. As shown to (B), the pulse wave from which the noise component was removed can be extracted as a pulse signal. Furthermore, the pulse calculation unit 23 can calculate the pulse rate from the time between two or more adjacent peaks (or zero points) in the pulse wave.
- a known filter process for example, a process using a bandpass filter in which a predetermined pass band is set
- the pulse calculation unit 23 captures an image with the camera 2 after the zoom command unit 28 sends the zoom command to the camera 2 (that is, after the face area in the captured image is adjusted to an appropriate size).
- the pulse of the person H is calculated based on the skin color region of the captured image.
- the pulse calculating unit 23 is not limited to the above-described method, and may calculate (estimate) the pulse rate by another known method.
- the time-series data shown in FIG. A configuration in which the maximum value of the spectrum acquired by frequency analysis (fast Fourier transform) is calculated as the pulse rate is also possible.
- the region determination unit 26 acquires the data on the number of pixels in the skin color region from the region extraction unit 22 and compares it with a preset threshold value for the number of pixels.
- a preset threshold value for the number of pixels two threshold values relating to the upper limit and lower limit of the number of pixels (hereinafter referred to as the upper limit threshold and the lower limit threshold, respectively) are set, and the area determination unit 26 compares the number of pixels in the skin color area with the upper limit threshold and the lower limit threshold.
- the threshold value of the number of pixels in the region determination unit 26 defines a reference range of the number of pixels for obtaining a good pulse signal in the pulse calculation unit 23.
- the determination result by the region determination unit 26 (that is, the comparison result between the number of pixels in the skin color region and the threshold value) is sent to the zoom command unit 28. Note that the reference range of the number of pixels can be determined only by the lower threshold without using the upper threshold.
- the data storage unit 27 stores the above upper limit threshold value and lower limit threshold data.
- the upper threshold and the lower threshold are stored in different values according to image sensor information related to the performance of the image sensor included in the camera 2, exposure information related to the exposure conditions during shooting of the camera 2, and signal processing information of the camera 2. ing.
- image sensor information of the camera 2 for example, the amount of saturated electrons or dark current that affects noise can be used, and as the exposure information, the shutter speed, aperture value, ISO sensitivity, and the like can be used.
- parameters relating to signal processing (correction processing) in the imaging unit 11 of the camera 2 can be used as signal processing information.
- the upper limit threshold and the lower limit threshold are determined based on the image sensor information, the exposure information, and the signal processing information, but a configuration in which the upper limit threshold and the lower limit threshold are determined based on at least a part thereof is also possible.
- information input in advance by the user can be used as the image sensor information of the camera 2, and the area determination unit 26 can determine an upper limit threshold and a lower limit threshold according to the input information by the user.
- the exposure information and signal processing information of the camera 2 it is possible to use information transmitted from the camera 2 to the pulse estimation device 3.
- the zoom command unit 28 expands the size of the skin color area (here, the number of pixels) in the captured image to an appropriate size. Therefore, a zoom-in command is sent as a zoom command to the zoom control unit 12 of the camera 2.
- the zoom control unit 12 causes the lens driving unit in the zoom lens mechanism 5 to perform a zoom-in operation based on the zoom-in command. For example, as illustrated in FIG. 4A, the captured image P that is determined by the region determination unit 26 that the number of pixels of the face region R is smaller than the lower limit threshold is as illustrated in FIG.
- the signal is enlarged to a size suitable for extracting a pulse signal.
- the zoom command unit 28 uses the camera 2 to reduce the size of the skin color area in the captured image to an appropriate size.
- a zoom-out command is sent as a zoom command to the zoom control unit 12.
- the zoom control unit 12 causes the lens driving unit in the zoom lens mechanism 5 to perform a zoom-out operation based on the zoom-out command.
- the captured image determined by the region determination unit 26 that the number of pixels in the skin color region is larger than the upper limit threshold is set as shown in FIG.
- the signal is reduced to a size suitable for pulse signal extraction.
- the zoom command unit 28 can include information on the amount of zoom-in or zoom-out required for the camera 2 (magnification rate or reduction rate of the skin color region) based on the determination result by the region determination unit 26 in the zoom command.
- the camera 2 zoom control unit 12
- the camera 2 is configured to execute a predetermined amount of zoom-in or zoom-out operation when a single zoom command is received from the zoom command unit 28, and the size of the skin color region is
- a configuration in which sending of a zoom command from the zoom command unit 28 to the camera 2 that is, a predetermined amount of zoom-in or zoom-out operation) is repeated until a preset reference range is satisfied is also possible.
- the face area R is indicated by a rectangle, but the skin color area extracted by the area extracting unit 22 can have, for example, the outline of the face excluding the head as an outer edge.
- the pulse estimation device 3 as described above can be configured from an information processing device such as a PC (Personal Computer), for example.
- the pulse estimation device 3 is a CPU (Central Processing Unit) that centrally executes various information processing and control of peripheral devices based on a predetermined control program, a RAM ( Random Access Memory (ROM), ROM (Read Only Memory) for storing control programs and data executed by the CPU, network interface for executing communication processing via the network, monitor (image output device), speaker, input device, and HDD (
- the hardware configuration includes a hard disk drive (Hard Disk Drive) and the like, and at least a part of the functions of each unit of the pulse estimation device 3 shown in FIG. 2 is executed by the CPU executing a predetermined control program. It is possible to realize. Note that at least part of the functions of the pulse estimation device 3 may be replaced by processing using other known hardware.
- FIG. 5 is a flowchart showing the flow of processing by the pulse estimation device 3 according to the first embodiment.
- the region determination unit 26 determines whether or not the size of the skin color region extracted by the region extraction unit 22 satisfies the preset reference range from the threshold data stored in the data storage unit 27. Threshold values (here, upper threshold value and lower threshold value) are determined (ST101).
- the data storage unit 27 stores a threshold table including a plurality of thresholds set according to various data relating to various image sensor information, exposure information, and signal processing information. The corresponding threshold value can be selected from the threshold table in accordance with the image sensor information, exposure information, and signal processing information of the camera 2 used for imaging.
- the area determination unit 26 may calculate the threshold value from a predetermined calculation process using the image sensor information, the exposure information, and the signal processing information as variables instead of using the threshold table.
- the region extraction unit 22 extracts a skin color region in the captured image (ST103), and the skin color region Is calculated (here, the number of pixels) (ST104). Subsequently, the region determination unit 26 compares the number of pixels of the skin color region calculated by the region extraction unit 22 with the lower limit threshold value determined in step ST101 (ST105). Therefore, when the number of pixels in the skin color area is smaller than the lower limit threshold value (ST105: Yes), the zoom command unit 28 sends a zoom-in command to the zoom control unit 12 of the camera 2, whereby the camera 2 A predetermined amount of zoom-in operation is executed (ST107).
- step ST105 when it is determined in step ST105 that the number of pixels in the skin color area is equal to or greater than the lower threshold (No), the area determination unit 26 further determines the number of pixels in the skin color area and the upper limit determined in step ST101. The threshold is compared (ST106). Therefore, when the number of pixels in the skin color area is larger than the upper limit threshold value (ST106: Yes), the zoom command unit 28 sends a zoom-out command to the zoom control unit 12 of the camera 2, and thereby the camera 2 In step S107, a predetermined amount of zoom-out operation is performed.
- the pulse calculating unit 23 outputs the skin color of the captured image captured by the camera 2 after the zoom command unit 28 sends the zoom command to the camera 2 (that is, after the size of the skin color area is appropriately adjusted). Based on the region, the pulse of the person H is calculated (ST108). However, when it is not necessary to execute the zoom operation in step ST107 (that is, when the size of the skin color region satisfies the reference range between the lower limit threshold and the upper limit threshold without executing the zoom operation), The pulse calculation unit 23 calculates the pulse without changing the size of the skin color area of the captured image.
- the pulse calculation unit 23 outputs the pulse calculation result to the display unit 24, thereby displaying the estimated pulse rate and pulse wave waveform (see FIG. 3B) for the user. (ST109).
- the above-described steps ST102 to ST109 are repeatedly performed on the captured images sequentially input from the camera 2.
- FIG. 6 is a functional block diagram of the pulse estimation system 1 according to the second embodiment of the present disclosure
- FIGS. 7A and 7B are explanatory diagrams of a pulse wave extraction process by the pulse calculation unit 23 of the pulse estimation device 3
- 8A and 8B are explanatory views showing a modification of the pulse determination process shown in FIGS. 7A and 7B. 6 to 8B, the same components as those in the first embodiment described above are denoted by the same reference numerals.
- matters not particularly mentioned below are the same as those in the above-described first embodiment.
- the pulse estimation system 1 determines whether or not it is necessary to adjust the size of the skin color area extracted by the area extraction unit 22.
- the region determination unit 26 according to the first embodiment described above. This is different from the first embodiment in that the determination by the pulse calculation unit 23 is performed instead of the determination by.
- the pulse calculation unit 23 extracts a pulse wave as in the case of the first embodiment described above, and further determines here whether or not the extracted pulse wave is stable. For example, as shown in FIG. 7A, when a stable pulse wave is extracted by the pulse calculation unit 23, the zoom command unit 28 determines that the adjustment of the size of the skin color region extracted by the region extraction unit 22 is unnecessary. Thus, the zoom command for the camera 2 is not transmitted.
- the zoom command unit 28 when an unstable pulse wave is extracted in the pulse calculation unit 23, the zoom command unit 28 sends a zoom command to the camera 2.
- the zoom command unit 28 sends a zoom-in command as a zoom command.
- the zoom command unit 28 can also switch to a zoom-out command when a stable pulse wave is not extracted in the pulse calculation unit 23 even after the zoom-in command is sent.
- the reference waveform data relating to a stable pulse wave prepared in advance is stored in the data storage unit 27, and the pulse calculation unit 23 performs matching processing between the reference waveform and the extracted pulse wave. By performing, it can be determined whether or not the pulse wave is stable. Or the pulse calculation part 23 may extract the peak value of the extracted pulse wave, and may determine the stability of a pulse wave based on the magnitude
- the pulse determination processing by the pulse calculation unit 23 is not limited to the above-described one based on the pulse wave waveform, and may be based on a temporal change in the pulse rate calculated from the pulse wave.
- the zoom command unit 28 determines that the adjustment of the size of the skin color area extracted by the area extraction unit 22 is unnecessary, and does not send a zoom command to the camera 2.
- the zoom command unit 28 Send a zoom command.
- FIG. 9 is a flowchart showing a flow of processing by the pulse estimation device 3 according to the second embodiment.
- steps ST201 and ST202 similar to steps ST102 and ST103 shown in FIG. 5 described above are executed.
- the pulse calculation unit 23 calculates (estimates) the pulse of the person H based on the captured image before sending the zoom command (ST203). Furthermore, the pulse calculation unit 23 determines whether or not the pulse wave extracted in step ST203 is unstable (ST204). Therefore, when it is determined that the pulse wave is unstable (ST204: Yes), the zoom command unit 28 sends a zoom command to the camera 2, whereby a predetermined amount of zoom-in operation is performed in the camera 2. It is executed (ST205).
- step ST204 when it is determined in step ST204 that the pulse wave is stable, the estimated pulse rate and pulse wave waveform are displayed to the user (ST206).
- FIG. 10 is a functional block diagram of the pulse estimation system 1 according to the third embodiment of the present disclosure.
- FIGS. 11A and 11B are examples of operation instructions by the zoom command unit 28 of the pulse estimation device 3 illustrated in FIG. 10. It is explanatory drawing shown.
- FIG. 10 and FIGS. 11A and 11B the same components as those in the first or second embodiment described above are denoted by the same reference numerals.
- matters not particularly mentioned below are the same as those in the first or second embodiment described above.
- the pulse estimation system 1 according to the third embodiment is the case of the first embodiment described above in that the zoom command from the zoom command unit 28 is sent not to the camera 2 but to the user of the pulse estimation device 3. Is different.
- the zoom command unit 28 zooms for the user to enlarge the size of the skin color area in the captured image to an appropriate size.
- the display unit 24 outputs an operation instruction that prompts the user to perform a predetermined zoom operation based on the zoom-in command from the zoom command unit 28.
- a zoom operation in this case, a zoom-in operation
- a zoom operation instruction 31 is displayed to prompt the user. Thereby, the operation of zooming in the camera 2 is performed by the user.
- a display frame 32 indicating a guide for the amount of zoom operation to be performed by the user is displayed, and the size of the face of the person H is adjusted to the display frame 32.
- the zoom operation instruction 31 may be displayed so as to prompt the user to do so.
- FIG. 12 is a functional block diagram of the pulse estimation system 1 according to the fourth embodiment of the present disclosure.
- the same components as those in any of the first to third embodiments described above are denoted by the same reference numerals.
- matters not particularly mentioned below are the same as those in any of the first to third embodiments described above.
- the pulse estimation system 1 according to the fourth embodiment is the case of the second embodiment described above in that the zoom command from the zoom command unit 28 is sent not to the camera 2 but to the user of the pulse estimation device 3. Is different.
- the zoom command unit 28 sends a zoom-in command as a zoom command to the user in order to enlarge the size of the skin color area in the captured image to an appropriate size.
- an operation instruction that prompts the user to perform a predetermined zoom operation is output.
- the pulse estimation device, the pulse estimation system, and the pulse estimation method according to the present disclosure are not limited to medical uses, but can be applied to various uses such as monitoring (quarantine at an airport or the like) and physical condition management of athletes. Is possible.
- the example which provides a camera and a pulse estimation apparatus was shown in the said embodiment, the structure by which one of them was equipped with at least one part (all functions depending on the case) of the other is also possible. Note that all the components of the pulse estimation device, the pulse estimation system, and the pulse estimation method are not necessarily indispensable, and can be appropriately selected as long as they do not depart from the scope of the present disclosure.
- a pulse estimation device, a pulse estimation system, and a pulse estimation method according to the present disclosure enable stable estimation of a pulse based on image data suitable for extraction of a pulse signal, and the pulse from information obtained without contact with a human body. This is useful as a pulse estimation device, a pulse estimation system, a pulse estimation method, and the like.
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定可能とする。脈拍推定装置が、被検体Hの少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラ(2)から入力される画像入力部(21)と、その撮像画像から肌色領域を抽出する領域抽出部(22)と、肌色領域の大きさを調整するべく、撮像画像を撮像したカメラ(2)またはそのユーザに対するズーム指令を送出するズーム指令部(28)と、ズーム指令の送出後にカメラ(2)によって撮像された撮像画像の肌色領域に基づき、被検体Hの脈拍を推定する脈拍推定部(23)とを備えた構成とする。
Description
本開示は、人体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置、脈拍推定システムおよび脈拍推定方法に関する。
従来、人の脈拍の測定に関し、被検者の手首に測定者(看護師等)が指を当てて人的に脈動を確認する方法や、被検者の手首や指などに専用の測定機器を取り付けることにより、自動で脈動を検出する方法などが知られている。一方、そのような測定方法は、被検者の自由な行動が一時的に制限されたり、被検者に測定機器を取り付ける必要が生じたりするため、被検者(人体)と接触せずに脈拍を推定(検出)するための技術が開発されている。
例えば、人体に接触せずに心拍数(通常は脈拍数と同等)を検出する技術に関し、被検者を撮影して得られた画像データから時系列信号のスペクトル分布を抽出し、そのスペクトル分布から,心拍信号に起因するピーク周波数を特定することにより、心拍数を自動的に検出する心拍数検出装置が知られている(特許文献1参照)。
また、取得した脈波から心拍数を算出する技術に関しては、例えば、光照射部から照射され被検体内部を透過してきた光を検出する光検出部と、その光検出部により得られた計測信号に見られる脈波の連続した2つのピークから心拍数を算出する生体光計測装置が知られている(特許文献2参照)。
しかしながら、上記特許文献1に記載された従来技術のように、カメラで撮影した顔画像などから脈拍を推定する場合、画像データから抽出される脈拍信号の変動量(すなわち、画素値の変動量)は微少であるため、カメラの性能や撮像条件(明るさなど)によっては、良好な脈拍信号を抽出できず(すなわち、脈拍信号の抽出に適した画像データを取得できず)、安定した脈拍の推定が困難になるという問題があった。このような問題は、脈拍信号から脈拍を検出する方法として上記特許文献2に記載されたような従来技術を用いた場合にも同様に発生し得る。
本開示は、このような従来技術の課題を鑑みて案出されたものであり、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定可能とする脈拍推定装置、脈拍推定システムおよび脈拍推定方法を提供することを主目的とする。
本開示の脈拍推定装置は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、撮像画像から肌色領域を抽出する領域抽出部と、肌色領域の大きさを調整するべく、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を送出するズーム指令部と、ズーム指令の送出後にカメラによって撮像された撮像画像の肌色領域に基づき、被検体の脈拍を推定する脈拍推定部とを備えたことを特徴とする。
本開示によれば、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定することが可能となる。
上記課題を解決するためになされた第1の開示は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、撮像画像から肌色領域を抽出する領域抽出部と、肌色領域の大きさを調整するべく、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を送出するズーム指令部と、ズーム指令の送出後にカメラによって撮像された撮像画像の肌色領域に基づき、被検体の脈拍を推定する脈拍推定部とを備えたことを特徴とする。
この第1の開示に係る脈拍推定装置によれば、カメラまたはそのユーザに対するズーム指令の送出後に当該カメラによって撮像された撮像画像に基づき脈拍を推定する構成としたため、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定することが可能となる。
また、第2の開示では、上記第1の開示において、肌色領域の大きさが予め設定された基準範囲を満たすか否かを判定する領域判定部を更に備え、ズーム指令部は、領域判定部により肌色領域の大きさが基準範囲を満たさないと判定された場合に、カメラまたはそのユーザに対するズーム指令を送出することを特徴とする。
この第2の開示に係る脈拍推定装置によれば、肌色領域の大きさが基準範囲を満たすか否かについての領域判定部による判定結果に基づき、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を適切に送出することができるため、脈拍をより安定して推定することが可能となる。
また、第3の開示では、上記第2の開示において、領域判定部は、撮像画像における肌色領域を構成する画素の数に基づき肌色領域の大きさを決定し、画素数が予め設定された画素数の基準範囲を満たすか否かを判定することを特徴とする。
この第3の開示に係る脈拍推定装置によれば、肌色領域の大きさを、当該肌色領域を構成する画素の数に基づき決定するため、肌色領域を抽出することが容易となり、その結果、簡易な処理により脈拍を安定して推定することが可能となる。
また、第4の開示では、上記第2または第3の開示において、領域判定部は、カメラのイメージセンサの性能に応じて基準範囲を変更することを特徴とする。
この第4の開示に係る脈拍推定装置によれば、肌色領域の大きさを調整するための基準範囲が、イメージセンサの性能に基づき変更されるため、脈拍信号の抽出により適した画像データを取得することが可能となり、その結果、脈拍をより安定して推定することが可能となる。
また、第5の開示では、上記第2または第3の開示において、領域判定部は、撮像画像の露出条件に応じて基準範囲を変更することを特徴とする。
この第5の開示に係る脈拍推定装置によれば、肌色領域の大きさを調整するための基準範囲が、撮像時の露出条件に基づき変更されるため、脈拍信号の抽出により適した画像データを取得することが可能となり、その結果、脈拍をより安定して推定することが可能となる。
また、第6の開示では、上記第1の開示において、脈拍推定部は、ズーム指令の送出前の撮像画像に基づき、被検体の脈拍を推定するとともに、当該推定した脈拍が安定しているか否かを判定し、ズーム指令部は、脈拍推定部により脈拍が安定していないと判定された場合に、ズーム指令を送出することを特徴とする。
この第6の開示に係る脈拍推定装置によれば、脈拍推定部による判定結果(すなわち、推定した脈拍が安定しているか否か)に基づき、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を適切に送出することができるため、脈拍をより安定して推定することが可能となる。
また、第7の開示では、上記第1から第6の開示のいずれかにおいて、領域抽出部は、肌色領域として撮像画像における被検体における顔領域を抽出することを特徴とする。
この第7の開示に係る脈拍推定装置によれば、肌色領域として被検体における顔領域を抽出するため、肌色領域を抽出することが容易となり、その結果、簡易な処理により脈拍を安定して推定することが可能となる。
また、第8の開示では、上記第1から第7の開示のいずれかにおいて、ユーザに対するズーム指令に基づき、ユーザに対する肌色領域の大きさの調整に関する要求を表示する表示部を更に備えたことを特徴とする。
この第8の開示に係る脈拍推定装置によれば、カメラのズーム操作をユーザにより確実に実行させることが可能となる。
また、第9の開示は、上記第1から第8の開示のいずれかに係る脈拍推定装置と、ズーム指令に基づき所定のズーム動作を実行するカメラとを備えたことを特徴とする脈拍推定システムである。
この第9の開示に係る脈拍推定システムによれば、カメラまたはユーザに対するズーム指令の送出後に画像入力部に入力される撮像画像に基づき、脈拍を安定して推定することが可能となる。
また、第10の開示は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定方法であって、被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力ステップと、撮像画像から肌色領域を抽出する領域抽出ステップと、肌色領域の大きさを、予め設定された基準範囲を満たすように変更するべく、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を送出するズーム指令ステップと、ズーム指令の送出後にカメラによって撮像された撮像画像の肌色領域に基づき、被検体の脈拍を推定する脈拍推定ステップとを有することを特徴とする。
この第10の開示に係る脈拍推定方法によれば、カメラに対するズーム指令の送出後に画像入力部に入力される撮像画像に基づき、脈拍を安定して推定することが可能となる。
以下、本開示の実施の形態について図面を参照しながら説明する。
(第1実施形態)
図1および図2は、それぞれ本開示の第1実施形態に係る脈拍推定システム1の全体構成図および機能ブロック図であり、図3は、脈拍推定装置3の脈拍算出部23による脈波抽出処理の説明図であり、図4A~Cは、図2に示した脈拍推定装置3のズーム指令部28による制御結果の説明図である。
図1および図2は、それぞれ本開示の第1実施形態に係る脈拍推定システム1の全体構成図および機能ブロック図であり、図3は、脈拍推定装置3の脈拍算出部23による脈波抽出処理の説明図であり、図4A~Cは、図2に示した脈拍推定装置3のズーム指令部28による制御結果の説明図である。
脈拍推定システム1は、人体と接触せずに得られる情報(撮像画像)からその脈拍を推定するものであり、図1に示すように、人物(被検体)Hの少なくとも一部を被写体として撮影するカメラ2と、カメラ2の撮影により得られる撮像画像から人物Hの脈拍(脈拍数や脈波)を推定する脈拍推定装置3とを備えている。また、脈拍推定システム1において、カメラ2および脈拍推定装置3は、インターネットやLAN(Local Area Network)等のネットワーク4を介して互いに通信可能に接続されている。ただし、これに限らず、カメラ2および脈拍推定装置3が、公知の通信ケーブルによって通信可能に直接接続される構成であってもよい。
カメラ2は、公知のズームレンズ機構5を備えたビデオカメラである。図2に示すように、カメラ2は、ズームレンズ機構5を通して得られる被写体からの光を図示しないイメージセンサ(CCD、CMOS等)に結像させることにより、その結像した像の光を電気信号に変換した映像信号を脈拍推定装置3に対して出力する撮像部11と、ズームレンズ機構5の光学的なズーム動作を制御するズーム制御部12とを備えている。撮像部11では、ノイズ抑制や輪郭強調等を目的とする公知の信号処理を実施することが可能である。なお、図1では1台のカメラ2のみを示しているが、脈拍推定システム1では、同様のカメラを複数設けた構成も可能である。
脈拍推定装置3は、人物Hの少なくとも一部を含む時間的に連続する撮像画像(フレーム画像のデータ)として、撮像部11からの映像信号が入力される画像入力部21と、その撮像画像から人物Hの肌色領域(ここでは、顔領域)を抽出する領域抽出部22と、その抽出された人物Hの肌色領域に基づき、人物Hの脈拍を算出する脈拍算出部(脈拍推定部)23と、その脈拍の推定結果を含む各種情報を脈拍推定装置3のユーザに対して表示可能な公知のディスプレイ装置からなる表示部24とを備えている。なお、領域抽出部22によって抽出される肌色領域は、人体において肌が露出した領域であって、その領域の撮像画像データから脈拍を推定可能な領域である。
さらに、脈拍推定装置3は、領域抽出部22によって抽出された肌色領域の大きさが、予め設定された基準範囲を満たすか否かを判定する領域判定部26と、その基準範囲のデータを含め、脈拍推定に必要な各種データが記憶されるデータ記憶部27と、領域判定部26による判定結果に基づき肌色領域の大きさを調整するべく、カメラ2のズーム制御部12に対してズーム指令を送出するズーム指令部28とを備えている。
領域抽出部22は、各撮像画像(フレーム画像)に対し、顔の特徴量を認識する公知の顔検出処理を実行することにより、その検出された顔の領域を人物Hの肌色領域として抽出・追尾する。また、領域抽出部22は、抽出した顔領域に関する撮像画像のデータを脈拍算出部23に送出すると共に、顔領域の大きさに関するデータ(ここでは、肌色領域を構成する画素数)を領域判定部26に送出する。
領域抽出部22では、上述の方法に限らず、撮像画像から予め設定された肌色成分(例えば、RGBの各画素値に関する予め設定された比率であって、人種等によって異なる値となる)を有する画素を抽出し、その画素が抽出された領域を肌色領域としてもよい。この場合、顔以外の肌が露出した部分(例えば、手や腕など)についても、肌色領域として抽出可能である。ただし、上述のように、人物Hの顔領域を肌色領域として抽出することにより、肌色領域を容易に抽出することができるという利点がある。なお、図1では、1人の人物Hのみを示しているが、撮像画像に複数の人物が含まれる場合、領域抽出部22では、複数の顔領域が抽出され得る。
脈拍算出部23は、時間的に連続する撮像画像において抽出された肌色領域を構成する各画素に関し、例えばRGBの各成分の画素値(0-255階調)を算出し、その代表値(ここでは、各画素の平均値)の時系列データを脈拍信号として生成する。この場合、脈動による変動が特に大きい緑成分(G)のみの画素値に基づき時系列データを生成することができる。
生成された画素値(平均値)の時系列データは、例えば、図3の(A)に示すように、血液中のヘモグロビン濃度の変化に基づく微少な変動(例えば、画素値の1階調未満の変動)を伴う。そこで、脈拍算出部23は、その画素値に基づく時系列データに対し、公知のフィルタ処理(例えば、所定の通過帯域が設定されたバンドパスフィルタによる処理等)を実施することにより、図3の(B)に示すように、ノイズ成分を除去した脈波を脈拍信号として抽出することができる。さらに、脈拍算出部23は、その脈波において隣接する2以上のピーク(またはゼロ点)間の時間から脈拍数を算出することができる。
後述するように、脈拍算出部23は、ズーム指令部28によるカメラ2へのズーム指令の送出後(すなわち、撮像画像中の顔領域が適切な大きさに調整された後)にカメラ2によって撮像された撮像画像の肌色領域に基づき人物Hの脈拍を算出する。なお、脈拍算出部23は、上述の方法に限らず、他の公知の方法によって脈拍数を算出(推定)してもよく、例えば、図3の(A)に示したような時系列データの周波数解析(高速フーリエ変換)により取得したスペクトルの極大値を脈拍数として算出する構成も可能である。
領域判定部26は、領域抽出部22から肌色領域の画素数のデータを取得し、予め設定された画素数の閾値と比較する。ここでは、画素数の上限および下限に関する2つの閾値(以下、それぞれ上限閾値および下限閾値という。)が設定されており、領域判定部26は、肌色領域の画素数を上限閾値および下限閾値と比較する。領域判定部26における画素数の閾値は、脈拍算出部23において良好な脈拍信号を取得するための画素数の基準範囲を定めるものである。
つまり、肌色領域の画素数が下限閾値よりも小さい場合には、上述の脈拍算出部23における脈拍信号(図3の(A)、(B)参照)の抽出に適した撮像画像が取得できず(すなわち、必要な画素数を確保できず)、脈拍数を精度良く推定することが難しくなる。一方、肌色領域の画素数が上限閾値よりも大きい場合には、必要な画素数を確保できるとしても、人物Hの動きによって脈拍信号が大きく変動し、脈拍数を精度良く推定することが難しくなる場合がある。領域判定部26による判定結果(すなわち、肌色領域の画素数と閾値との比較結果)はズーム指令部28に対して送出される。なお、上限閾値を用いることなく、下限閾値のみで画素数の基準範囲を定めることも可能である。
データ記憶部27には、上述の上限閾値および下限閾値のデータが記憶される。それら上限閾値および下限閾値は、カメラ2が備えるイメージセンサの性能等に関するイメージセンサ情報、カメラ2の撮影時の露出条件等に関する露出情報、及びカメラ2の信号処理情報に応じて異なる値が記憶されている。ここで、カメラ2のイメージセンサ情報として、例えば、ノイズに影響する飽和電子量や暗電流などを用いることができ、また、露出情報として、シャッター速度、絞り値、ISO感度などを用いることができ、さらに、信号処理情報として、カメラ2の撮像部11における信号処理(補正処理)に関する各パラメータなどを用いることができる。ここでは、イメージセンサ情報、露出情報、及び信号処理情報に基づき上限閾値および下限閾値が決定されるが、それらの少なくとも一部に基づき上限閾値および下限閾値が決定される構成も可能である。
なお、カメラ2のイメージセンサ情報としては、ユーザによって予め入力された情報を用いることができ、領域判定部26は、そのユーザによる入力情報に応じて上限閾値および下限閾値を決定することができる。また、カメラ2の露出情報及び信号処理情報については、カメラ2から脈拍推定装置3に向けて送出される各情報を用いることが可能である。
ズーム指令部28は、領域判定部26によって肌色領域の画素数が下限閾値よりも小さいと判定された場合、撮像画像における肌色領域の大きさ(ここでは、画素数)を適切な大きさまで拡大すべく、カメラ2のズーム制御部12に対するズーム指令としてズームイン指令を送出する。ズーム制御部12は、そのズームイン指令に基づき、ズームレンズ機構5におけるレンズ駆動部にズームインの動作を実行させる。ここで、例えば図4Aに示すように、領域判定部26よって顔領域Rの画素数が下限閾値よりも小さいと判定された撮像画像Pは、カメラ2のズームインの動作により、図4Cに示すように、脈拍信号の抽出に適した大きさまで拡大される。
一方、ズーム指令部28は、領域判定部26によって肌色領域の画素数が上限閾値よりも大きいと判定された場合、撮像画像における肌色領域の大きさを適切な大きさまで縮小すべく、カメラ2のズーム制御部12に対するズーム指令としてズームアウト指令を送出する。ズーム制御部12は、そのズームアウト指令に基づき、ズームレンズ機構5におけるレンズ駆動部にズームアウトの動作を実行させる。ここで、例えば図4Bに示すように、領域判定部26よって肌色領域の画素数が上限閾値よりも大きいと判定された撮像画像は、カメラ2のズームアウトの動作により、図4Cに示すように、脈拍信号の抽出に適した大きさまで縮小される。
また、ズーム指令部28は、領域判定部26による判定結果に基づき、カメラ2に対するズームインまたはズームアウトの必要量(肌色領域の拡大率または縮小率)の情報をズーム指令に含めることができる。或いは、カメラ2(ズーム制御部12)が、ズーム指令部28からの1つのズーム指令の受信時に予め設定された規定量のズームインまたはズームアウトの動作を実行する構成とし、肌色領域の大きさが予め設定された基準範囲を満たすまで、ズーム指令部28からカメラ2に対するズーム指令の送出(すなわち、規定量のズームインまたはズームアウトの動作)が繰り返される構成も可能である。
なお、図4A~Cでは、顔領域Rを矩形で示しているが、領域抽出部22によって抽出される肌色領域は、例えば、頭部を除く顔の輪郭を外縁とすることができる。
上述のような脈拍推定装置3は、例えば、PC(Personal Computer)などの情報処理装置から構成することが可能である。詳細は図示しないが、脈拍推定装置3は、所定の制御プログラムに基づき各種情報処理や周辺機器の制御などを統括的に実行するCPU(Central Processing Unit)、CPUのワークエリア等として機能するRAM(Random Access Memory)、CPUが実行する制御プログラムやデータを格納するROM(Read Only Memory)、ネットワークを介した通信処理を実行するネットワークインタフェース、モニタ(画像出力装置)、スピーカ、入力デバイス、及びHDD(Hard Disk Drive)などを含むハードウェア構成を有しており、図2に示した脈拍推定装置3の各部の機能の少なくとも一部については、CPUが所定の制御プログラムを実行することによって実現可能である。なお、脈拍推定装置3の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
図5は、第1実施形態に係る脈拍推定装置3による処理の流れを示すフロー図である。まず、領域判定部26は、データ記憶部27に記憶された閾値データから、領域抽出部22によって抽出された肌色領域の大きさが、予め設定された基準範囲を満たすか否かを判定するための閾値(ここでは、上限閾値、下限閾値)を決定する(ST101)。ここで、データ記憶部27には、種々のイメージセンサ情報、露出情報、及び信号処理情報に関する各データに応じて設定された複数の閾値を含む閾値テーブルが記憶されており、領域判定部26は、撮像に使用されるカメラ2のイメージセンサ情報、露出情報、及び信号処理情報に応じて、その閾値テーブルから対応する閾値を選択することが可能である。或いは、領域判定部26は、閾値テーブルを用いる代わりに、イメージセンサ情報、露出情報、及び信号処理情報を変数とする所定の演算処理から閾値の値を算出してもよい。
次に、カメラ2から画像入力部21に対して撮像画像(フレーム画像)が入力されると(ST102)、領域抽出部22は、その撮像画像における肌色領域を抽出し(ST103)、その肌色領域の大きさ(ここでは、画素数)を算出する(ST104)。続いて、領域判定部26は、領域抽出部22で算出された肌色領域の画素数と、ステップST101において決定された下限閾値とを比較する(ST105)。そこで、肌色領域の画素数が下限閾値よりも小さい場合(ST105:Yes)には、ズーム指令部28は、カメラ2のズーム制御部12に対してズームイン指令を送出し、これにより、カメラ2において所定量のズームインの動作が実行される(ST107)。
一方、ステップST105において、肌色領域の画素数が下限閾値以上であると判定された場合(No)には、更に、領域判定部26は、肌色領域の画素数と、ステップST101において決定された上限閾値とを比較する(ST106)。そこで、肌色領域の画素数が上限閾値よりも大きい場合(ST106:Yes)には、ズーム指令部28は、カメラ2のズーム制御部12に対してズームアウト指令を送出し、これにより、カメラ2において所定量のズームアウトの動作が実行される(ST107)。
次に、脈拍算出部23は、ズーム指令部28によるカメラ2へのズーム指令の送出後(すなわち、肌色領域の大きさが適切に調整された後)にカメラ2によって撮像された撮像画像の肌色領域に基づき人物Hの脈拍を算出する(ST108)。ただし、ステップST107におけるズーム動作の実行が不要な場合(すなわち、ズーム動作の実行を必要とすることなく肌色領域の大きさが下限閾値と上限閾値との間の基準範囲を満たす場合)には、脈拍算出部23は、撮像画像の肌色領域の大きさを変更することなく脈拍を算出する。
その後、脈拍算出部23は、脈拍の算出結果について表示部24に対して出力し、これにより、ユーザに対して推定された脈拍数および脈波の波形(図3の(B)参照)が表示される(ST109)。
なお、脈拍推定装置3では、上述のステップST102-ST109がカメラ2から順次入力される撮像画像に対して繰り返し実行される。
(第2実施形態)
図6は、本開示の第2実施形態に係る脈拍推定システム1の機能ブロック図であり、図7A,Bは、脈拍推定装置3の脈拍算出部23による脈波抽出処理の説明図であり、図8A,Bは、図7A,Bに示した脈拍判定処理の変形例を示す説明図である。図6~図8Bにおいて、上述の第1実施形態と同様の構成要素については、同一の符号が付されている。また、第2実施形態では、以下で特に言及しない事項については、上述の第1実施形態の場合と同様とする。
図6は、本開示の第2実施形態に係る脈拍推定システム1の機能ブロック図であり、図7A,Bは、脈拍推定装置3の脈拍算出部23による脈波抽出処理の説明図であり、図8A,Bは、図7A,Bに示した脈拍判定処理の変形例を示す説明図である。図6~図8Bにおいて、上述の第1実施形態と同様の構成要素については、同一の符号が付されている。また、第2実施形態では、以下で特に言及しない事項については、上述の第1実施形態の場合と同様とする。
第2実施形態に係る脈拍推定システム1は、領域抽出部22によって抽出された肌色領域の大きさの調整が必要か否かを決定するために、上述の第1実施形態に係る領域判定部26による判定の代わりに、脈拍算出部23における判定を行う点において第1実施形態の場合とは異なる。
脈拍算出部23は、上述の第1実施形態の場合と同様に脈波を抽出し、更にここでは、その抽出した脈波について安定しているか否かを判定する。例えば図7Aに示すように、脈拍算出部23において安定した脈波が抽出された場合、ズーム指令部28は、領域抽出部22によって抽出された肌色領域の大きさの調整は不要であると判断して、カメラ2に対するズーム指令を送出しない。
一方、例えば図7Bに示すように、脈拍算出部23において不安定な脈波が抽出された場合、ズーム指令部28は、カメラ2に対してズーム指令を送出する。この場合、ズーム指令部28は、ズーム指令としてズームイン指令を送出する。ただし、ズーム指令部28は、ズームイン指令の送出後も脈拍算出部23において安定な脈波が抽出されない場合には、ズームアウト指令に切り替えることも可能である。
ここで、データ記憶部27には、予め準備された安定した脈波に関する基準波形のデータが記憶されており、脈拍算出部23は、その基準波形と、抽出された脈波とのマッチング処理を行うことにより、脈波が安定であるか否かを判定することができる。或いは、脈拍算出部23は、抽出された脈波のピーク値を抽出し、所定時間におけるピーク値の大きさ(変動量)に基づき、脈波の安定性を判定してもよい。
また、脈拍算出部23による脈拍判定処理は、上述のような脈波の波形に基づくものに限定されず、脈波から算出した脈拍数の時間的な変化に基づくものであってもよい。例えば図8Aに示すように、脈拍算出部23において算出された脈拍数が安定している(所定時間において連続する脈拍数の変動量が予め設定された閾値を越えない)場合、ズーム指令部28は、領域抽出部22によって抽出された肌色領域の大きさの調整は不要であると判断して、カメラ2に対するズーム指令を送出しない。一方、例えば図8Bに示すように、脈拍数が不安定である(所定時間において連続する脈拍数の変動量が予め設定された閾値を越えた)場合、ズーム指令部28は、カメラ2に対してズーム指令を送出する。
図9は、第2実施形態に係る脈拍推定装置3による処理の流れを示すフロー図である。脈拍推定装置3では、まず、上述の図5に示したステップST102、ST103とそれぞれ同様のステップST201、ST202が実行される。
次に、脈拍算出部23は、ズーム指令の送出前の撮像画像に基づき、人物Hの脈拍を算出(推定)する(ST203)。さらに、脈拍算出部23は、ステップST203において抽出された脈波が不安定であるか否かを判定する(ST204)。そこで、脈波が不安定であると判定されると(ST204:Yes)、ズーム指令部28は、カメラ2に対してズーム指令を送出し、これにより、カメラ2において所定量のズームインの動作が実行される(ST205)。
最終的に、ステップST204において脈波が安定していると判定されると、ユーザに対して推定された脈拍数および脈波の波形が表示される(ST206)。
(第3実施形態)
図10は、本開示の第3実施形態に係る脈拍推定システム1の機能ブロック図であり、図11A,Bは、図10に示した脈拍推定装置3のズーム指令部28による操作指示の例を示す説明図である。図10および図11A,Bにおいて、上述の第1または第2実施形態と同様の構成要素については、同一の符号が付されている。また、第3実施形態では、以下で特に言及しない事項については、上述の第1または第2実施形態の場合と同様とする。
図10は、本開示の第3実施形態に係る脈拍推定システム1の機能ブロック図であり、図11A,Bは、図10に示した脈拍推定装置3のズーム指令部28による操作指示の例を示す説明図である。図10および図11A,Bにおいて、上述の第1または第2実施形態と同様の構成要素については、同一の符号が付されている。また、第3実施形態では、以下で特に言及しない事項については、上述の第1または第2実施形態の場合と同様とする。
第3実施形態に係る脈拍推定システム1は、ズーム指令部28によるズーム指令がカメラ2に対してではなく、脈拍推定装置3のユーザに対して送出される点において上述の第1実施形態の場合とは異なる。
ズーム指令部28は、例えば、領域判定部26において肌色領域の画素数が下限閾値よりも小さいと判定された場合、撮像画像における肌色領域の大きさを適切な大きさまで拡大すべく、ユーザに対するズーム指令としてズームイン指令を送出する。表示部24は、ズーム指令部28からのズームイン指令に基づき、ユーザに対して所定のズーム操作を促す操作指示を出力する。例えば図11Aに示すように、領域判定部26よって顔領域Rの画素数が下限閾値よりも小さいと判定された撮像画像Pについては、ユーザに対してズーム操作(ここでは、ズームインの操作)を促すようにズーム操作指示31が表示される。これにより、ユーザによりカメラ2のズームインの操作が実行される。
また、別法として、例えば図11Bに示すように、ユーザが行うべきズーム操作の操作量の目安を示す表示枠32を表示し、さらに、その表示枠32に人物Hの顔の大きさを合わせることをユーザに促すようにズーム操作指示31を表示する構成としてもよい。
(第4実施形態)
図12は、本開示の第4実施形態に係る脈拍推定システム1の機能ブロック図である。図12において、上述の第1から第3実施形態のいずれかと同様の構成要素については、同一の符号が付されている。また、第4実施形態では、以下で特に言及しない事項については、上述の第1から第3実施形態のいずれかの場合と同様とする。
図12は、本開示の第4実施形態に係る脈拍推定システム1の機能ブロック図である。図12において、上述の第1から第3実施形態のいずれかと同様の構成要素については、同一の符号が付されている。また、第4実施形態では、以下で特に言及しない事項については、上述の第1から第3実施形態のいずれかの場合と同様とする。
第4実施形態に係る脈拍推定システム1は、ズーム指令部28によるズーム指令がカメラ2に対してではなく、脈拍推定装置3のユーザに対して送出される点において上述の第2実施形態の場合とは異なる。
ズーム指令部28は、脈拍算出部23において不安定な脈波が抽出された場合、撮像画像における肌色領域の大きさを適切な大きさまで拡大すべく、ユーザに対するズーム指令としてズームイン指令を送出する。表示部24では、上述の第3実施形態の場合と同様に、ユーザに対して所定のズーム操作を促す操作指示が出力される。
以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。例えば、本開示に係る脈拍推定装置、脈拍推定システムおよび脈拍推定方法は、医療的な用途に限らず、監視(空港等における検疫)や、スポーツ選手の体調管理など様々な用途に適用することが可能である。また、上記実施形態では、カメラおよび脈拍推定装置を設ける例を示したが、それらの一方が他方の機能の少なくとも一部(場合によっては全ての機能)を備えた構成も可能である。なお、上記脈拍推定装置、脈拍推定システムおよび脈拍推定方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
本開示に係る脈拍推定装置、脈拍推定システムおよび脈拍推定方法は、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定可能とし、人体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置、脈拍推定システムおよび脈拍推定方法などとして有用である。
1 脈拍推定システム
2 カメラ
3 脈拍推定装置
5 ズームレンズ機構
11 撮像部
12 ズーム制御部
21 画像入力部
22 領域抽出部
23 脈拍算出部(脈拍推定部)
24 表示部
26 領域判定部
27 データ記憶部
28 ズーム指令部
H 人物(被写体)
P 撮像画像
R 顔領域
2 カメラ
3 脈拍推定装置
5 ズームレンズ機構
11 撮像部
12 ズーム制御部
21 画像入力部
22 領域抽出部
23 脈拍算出部(脈拍推定部)
24 表示部
26 領域判定部
27 データ記憶部
28 ズーム指令部
H 人物(被写体)
P 撮像画像
R 顔領域
Claims (10)
- 被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、
前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、
前記撮像画像から肌色領域を抽出する領域抽出部と、
前記肌色領域の大きさを調整するべく、前記撮像画像を撮像した前記カメラまたはそのユーザに対するズーム指令を送出するズーム指令部と、
前記ズーム指令の送出後に前記カメラによって撮像された前記撮像画像の前記肌色領域に基づき、前記被検体の脈拍を推定する脈拍推定部と
を備えたことを特徴とする脈拍推定装置。 - 前記肌色領域の大きさが予め設定された基準範囲を満たすか否かを判定する領域判定部を更に備え、
前記ズーム指令部は、前記領域判定部により前記肌色領域の大きさが前記基準範囲を満たさないと判定された場合に、前記カメラまたはそのユーザに対する前記ズーム指令を送出することを特徴とする請求項1に記載の脈拍推定装置。 - 前記領域判定部は、前記撮像画像における前記肌色領域を構成する画素の数に基づき前記肌色領域の大きさを決定し、前記画素数が予め設定された画素数の基準範囲を満たすか否かを判定することを特徴とする請求項2に記載の脈拍推定装置。
- 前記領域判定部は、前記カメラのイメージセンサの性能に応じて前記基準範囲を変更することを特徴とする請求項2または請求項3に記載の脈拍推定装置。
- 前記領域判定部は、前記撮像画像の露出条件に応じて前記基準範囲を変更することを特徴とする請求項2から請求項4のいずれかに記載の脈拍推定装置。
- 前記脈拍推定部は、前記ズーム指令の送出前の前記撮像画像に基づき、前記被検体の脈拍を推定するとともに、当該推定した脈拍が安定しているか否かを判定し、
前記ズーム指令部は、前記脈拍推定部により前記脈拍が安定していないと判定された場合に、前記ズーム指令を送出することを特徴とする請求項1に記載の脈拍推定装置。 - 前記領域抽出部は、前記肌色領域として前記撮像画像における前記被検体における顔領域を抽出することを特徴とする請求項1または請求項6のいずれかに記載の脈拍推定装置。
- 前記ユーザに対する前記ズーム指令に基づき、前記ユーザに対する前記肌色領域の大きさの調整に関する要求を表示する表示部を更に備えたことを特徴とする請求項1から請求項7のいずれかに記載の脈拍推定装置。
- 請求項1から請求項8のいずれかに記載の前記脈拍推定装置と、前記ズーム指令に基づき所定のズーム動作を実行する前記カメラとを備えたことを特徴とする脈拍推定システム。
- 被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定方法であって、
前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力ステップと、
前記撮像画像から肌色領域を抽出する領域抽出ステップと、
前記肌色領域の大きさを、予め設定された基準範囲を満たすように変更するべく、前記撮像画像を撮像した前記カメラまたはそのユーザに対するズーム指令を送出するズーム指令ステップと、
前記ズーム指令の送出後に前記カメラによって撮像された撮像画像の前記肌色領域に基づき、前記被検体の脈拍を推定する脈拍推定ステップと
を有することを特徴とする脈拍推定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16811178.9A EP3308702B1 (en) | 2015-06-15 | 2016-05-10 | Pulse estimation device, and pulse estimation method |
US15/580,925 US10478079B2 (en) | 2015-06-15 | 2016-05-10 | Pulse estimation device, pulse estimation system, and pulse estimation method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-120333 | 2015-06-15 | ||
JP2015120333A JP6653467B2 (ja) | 2015-06-15 | 2015-06-15 | 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016203697A1 true WO2016203697A1 (ja) | 2016-12-22 |
Family
ID=57546379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/002277 WO2016203697A1 (ja) | 2015-06-15 | 2016-05-10 | 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10478079B2 (ja) |
EP (1) | EP3308702B1 (ja) |
JP (1) | JP6653467B2 (ja) |
WO (1) | WO2016203697A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2958003C (en) | 2016-02-19 | 2022-04-05 | Paul Stanley Addison | System and methods for video-based monitoring of vital signs |
EP3681394A1 (en) | 2017-11-13 | 2020-07-22 | Covidien LP | Systems and methods for video-based monitoring of a patient |
US11712176B2 (en) | 2018-01-08 | 2023-08-01 | Covidien, LP | Systems and methods for video-based non-contact tidal volume monitoring |
JP7077093B2 (ja) * | 2018-03-26 | 2022-05-30 | 三菱重工業株式会社 | 領域検出装置、領域検出方法及びそのプログラム |
US11510584B2 (en) | 2018-06-15 | 2022-11-29 | Covidien Lp | Systems and methods for video-based patient monitoring during surgery |
CN112584753A (zh) | 2018-08-09 | 2021-03-30 | 柯惠有限合伙公司 | 基于视频的患者监测***以及用于检测和监测呼吸的相关方法 |
US11617520B2 (en) | 2018-12-14 | 2023-04-04 | Covidien Lp | Depth sensing visualization modes for non-contact monitoring |
US11315275B2 (en) | 2019-01-28 | 2022-04-26 | Covidien Lp | Edge handling methods for associated depth sensing camera devices, systems, and methods |
US10881357B1 (en) | 2019-09-18 | 2021-01-05 | Panasonic Avionics Corporation | Systems and methods for monitoring the health of vehicle passengers using camera images |
US11484208B2 (en) | 2020-01-31 | 2022-11-01 | Covidien Lp | Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods |
JP7516860B2 (ja) * | 2020-05-22 | 2024-07-17 | 株式会社リコー | 脈波測定装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002228939A (ja) * | 2001-02-01 | 2002-08-14 | Nikon Corp | 望遠光学機器 |
JP2002300603A (ja) * | 2001-03-29 | 2002-10-11 | Minolta Co Ltd | 3次元入力のための撮影装置 |
JP2005218507A (ja) * | 2004-02-03 | 2005-08-18 | Tama Tlo Kk | バイタルサイン計測方法と装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008130906A1 (en) * | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
JP5388511B2 (ja) | 2008-09-04 | 2014-01-15 | 株式会社日立製作所 | 評価機能付き生体光計測装置 |
JP5538865B2 (ja) * | 2009-12-21 | 2014-07-02 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP5672144B2 (ja) | 2011-05-20 | 2015-02-18 | 富士通株式会社 | 心拍数・呼吸数検出装置,方法およびプログラム |
US10123711B2 (en) * | 2012-01-10 | 2018-11-13 | Maxim Integrated Products, Inc. | Heart rate and blood oxygen monitoring system |
WO2013128345A1 (en) * | 2012-02-28 | 2013-09-06 | Koninklijke Philips N.V. | Device and method for monitoring vital signs |
JP6023883B2 (ja) * | 2012-07-10 | 2016-11-09 | アイマゴ ソシエテ アノニムAimago S.A. | 灌流評価マルチモダリティ光学医用デバイス |
JP6072893B2 (ja) * | 2013-03-08 | 2017-02-01 | 富士フイルム株式会社 | 脈波伝播速度の測定方法、その測定方法を用いた測定システムの作動方法及び脈波伝播速度の測定システム並びに撮像装置 |
DE112014006082T5 (de) * | 2013-12-25 | 2016-10-27 | Asahi Kasei Kabushiki Kaisha | Pulswellenmessvorrichtung, Mobilvorrichtung, medizinisches Ausrüstungssystem und biologisches Informations-Kommunikationssystem |
JPWO2016006027A1 (ja) * | 2014-07-07 | 2017-04-27 | 富士通株式会社 | 脈波検出方法、脈波検出プログラム及び脈波検出装置 |
JP6531834B2 (ja) * | 2015-11-20 | 2019-06-19 | 富士通株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
-
2015
- 2015-06-15 JP JP2015120333A patent/JP6653467B2/ja active Active
-
2016
- 2016-05-10 US US15/580,925 patent/US10478079B2/en active Active
- 2016-05-10 WO PCT/JP2016/002277 patent/WO2016203697A1/ja active Application Filing
- 2016-05-10 EP EP16811178.9A patent/EP3308702B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002228939A (ja) * | 2001-02-01 | 2002-08-14 | Nikon Corp | 望遠光学機器 |
JP2002300603A (ja) * | 2001-03-29 | 2002-10-11 | Minolta Co Ltd | 3次元入力のための撮影装置 |
JP2005218507A (ja) * | 2004-02-03 | 2005-08-18 | Tama Tlo Kk | バイタルサイン計測方法と装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3308702A4 * |
Also Published As
Publication number | Publication date |
---|---|
JP6653467B2 (ja) | 2020-02-26 |
US10478079B2 (en) | 2019-11-19 |
JP2017000612A (ja) | 2017-01-05 |
EP3308702B1 (en) | 2021-12-22 |
EP3308702A4 (en) | 2018-06-13 |
EP3308702A1 (en) | 2018-04-18 |
US20180310844A1 (en) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016203697A1 (ja) | 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 | |
WO2016006027A1 (ja) | 脈波検出方法、脈波検出プログラム及び脈波検出装置 | |
US9330325B2 (en) | Apparatus and method for reducing noise in fingerprint images | |
CN107169419B (zh) | 基于机器视觉的非接触式人体体征检测方法及装置 | |
JP6443842B2 (ja) | 顔検出装置、顔検出システム、及び顔検出方法 | |
JP6142664B2 (ja) | 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム | |
WO2019102966A1 (ja) | 脈波検出装置、脈波検出方法、及び記憶媒体 | |
US11647913B2 (en) | Image processing apparatus and pulse estimation system provided therewith, and image processing method | |
JP2009123081A (ja) | 顔検出方法及び撮影装置 | |
JP6944901B2 (ja) | 生体情報検出装置および生体情報検出方法 | |
JP6167849B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
WO2020171554A1 (en) | Method and apparatus for measuring body temperature using a camera | |
JP6497218B2 (ja) | 脈波検出装置、脈波検出方法、脈波検出システム、及び、プログラム | |
WO2017154477A1 (ja) | 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 | |
JP6937473B2 (ja) | 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法 | |
WO2018192246A1 (zh) | 一种基于机器视觉的非接触式情绪检测方法 | |
JP7514521B2 (ja) | 心拍測定システム、心拍測定方法、及び心拍測定プログラム | |
JP7074817B2 (ja) | バイタルデータ測定装置及びバイタルデータ測定方法並びにコンピュータプログラム | |
JP6471924B2 (ja) | 顔認証装置及び顔認証方法 | |
JP2024024263A (ja) | 振動測定システム及び振動測定方法 | |
JP2009194422A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16811178 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15580925 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |