WO2016203697A1 - 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 - Google Patents

脈拍推定装置、脈拍推定システムおよび脈拍推定方法 Download PDF

Info

Publication number
WO2016203697A1
WO2016203697A1 PCT/JP2016/002277 JP2016002277W WO2016203697A1 WO 2016203697 A1 WO2016203697 A1 WO 2016203697A1 JP 2016002277 W JP2016002277 W JP 2016002277W WO 2016203697 A1 WO2016203697 A1 WO 2016203697A1
Authority
WO
WIPO (PCT)
Prior art keywords
pulse
unit
skin color
camera
captured image
Prior art date
Application number
PCT/JP2016/002277
Other languages
English (en)
French (fr)
Inventor
忠則 手塚
中村　剛
昌俊 松尾
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP16811178.9A priority Critical patent/EP3308702B1/en
Priority to US15/580,925 priority patent/US10478079B2/en
Publication of WO2016203697A1 publication Critical patent/WO2016203697A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present disclosure relates to a pulse estimation device, a pulse estimation system, and a pulse estimation method that estimate a pulse from information obtained without contact with a human body.
  • a heart rate detection device that automatically detects a heart rate by specifying a peak frequency caused by a heart rate signal is known (see Patent Document 1).
  • a light detection unit that detects light emitted from the light irradiation unit and transmitted through the subject, and a measurement signal obtained by the light detection unit
  • a living body light measuring device that calculates a heart rate from two continuous peaks of a pulse wave seen in (see Patent Document 2).
  • the present disclosure has been devised in view of the above-described problems of the prior art, and based on image data suitable for extraction of a pulse signal, a pulse estimation device and a pulse estimation system capable of stably estimating a pulse And providing a pulse estimation method.
  • a pulse estimation device is a pulse estimation device that estimates a pulse from information obtained without contact with a subject, and a temporally continuous captured image including at least a part of the subject as a subject is a camera.
  • An image input unit that is input from a region, a region extraction unit that extracts a skin color region from the captured image, and a zoom command unit that sends a zoom command to the camera that captured the captured image or its user to adjust the size of the skin color region
  • a pulse estimator for estimating the pulse of the subject based on the skin color area of the captured image captured by the camera after sending the zoom command.
  • FIG. 1 is an overall configuration diagram of a pulse estimation system according to the first embodiment.
  • FIG. 2 is a functional block diagram of the pulse estimation system according to the first embodiment.
  • FIG. 3 is an explanatory diagram of a pulse wave extraction process by the pulse calculation unit of the pulse estimation device shown in FIG. 4A is an explanatory diagram of a control result by the zoom command unit of the pulse estimation device shown in FIG. 4B is an explanatory diagram of a control result by the zoom command unit of the pulse estimation device shown in FIG.
  • FIG. 4C is an explanatory diagram of a control result by the zoom command unit of the pulse estimation device shown in FIG. 2.
  • FIG. 5 is a flowchart showing the flow of processing by the pulse estimation device according to the first embodiment.
  • FIG. 6 is a functional block diagram of a pulse estimation system according to the second embodiment.
  • FIG. 7A is an explanatory diagram of a pulse determination process performed by the pulse calculation unit of the pulse estimation device illustrated in FIG.
  • FIG. 7B is an explanatory diagram of a pulse determination process performed by the pulse calculation unit of the pulse estimation device illustrated in FIG. 6.
  • FIG. 8A is an explanatory diagram showing a modification of the pulse determination process shown in FIG. 7A.
  • FIG. 8B is an explanatory diagram illustrating a modification of the pulse determination process illustrated in FIG. 7B.
  • FIG. 9 is a flowchart showing the flow of processing by the pulse estimation device according to the second embodiment.
  • FIG. 10 is a functional block diagram of a pulse estimation system according to the third embodiment.
  • FIG. 10 is a functional block diagram of a pulse estimation system according to the third embodiment.
  • FIG. 11A is an explanatory diagram illustrating an example of an operation instruction by the zoom command unit of the pulse estimation device illustrated in FIG. 10.
  • FIG. 11B is an explanatory diagram illustrating an example of an operation instruction by the zoom command unit of the pulse estimation device illustrated in FIG. 10.
  • FIG. 12 is a functional block diagram of a pulse estimation system according to the fourth embodiment.
  • a first disclosure made in order to solve the above problem is a pulse estimation device that estimates a pulse from information obtained without contact with a subject, and includes at least a part of the subject as a subject.
  • An image input unit that receives captured images continuously from the camera, an area extraction unit that extracts a skin color region from the captured image, and a zoom for the camera that captured the captured image or its user to adjust the size of the skin color region
  • a zoom command unit that transmits a command and a pulse estimation unit that estimates a pulse of the subject based on a skin color region of a captured image captured by the camera after the zoom command is transmitted.
  • the pulse estimation device since the pulse is estimated based on the captured image captured by the camera or the user after the zoom command is transmitted to the user or the user, the image is suitable for extracting the pulse signal. It is possible to stably estimate the pulse based on the data.
  • the second disclosure further includes a region determination unit that determines whether the size of the skin color region satisfies a preset reference range in the first disclosure, and the zoom command unit includes the region determination unit. When it is determined that the size of the skin color area does not satisfy the reference range, a zoom command is sent to the camera or its user.
  • a zoom command for the camera that captured the captured image or its user based on the determination result by the region determination unit as to whether the size of the skin color region satisfies the reference range Therefore, it is possible to estimate the pulse more stably.
  • the region determination unit determines the size of the skin color region based on the number of pixels constituting the skin color region in the captured image, and the number of pixels is set in advance. It is characterized by determining whether or not the numerical reference range is satisfied.
  • the pulse estimation device since the size of the skin color area is determined based on the number of pixels constituting the skin color area, it is easy to extract the skin color area. It is possible to stably estimate the pulse by simple processing.
  • the area determination unit changes the reference range according to the performance of the image sensor of the camera.
  • the pulse estimation device since the reference range for adjusting the size of the skin color region is changed based on the performance of the image sensor, image data more suitable for extracting the pulse signal is acquired. As a result, the pulse can be estimated more stably.
  • the region determination unit changes the reference range according to the exposure condition of the captured image.
  • the pulse estimation device since the reference range for adjusting the size of the skin color region is changed based on the exposure condition at the time of imaging, image data more suitable for extracting the pulse signal is obtained. As a result, the pulse can be estimated more stably.
  • the pulse estimation unit estimates the pulse of the subject based on the captured image before sending the zoom command, and whether or not the estimated pulse is stable.
  • the zoom command unit sends a zoom command when the pulse estimation unit determines that the pulse is not stable.
  • the pulse estimation device based on the determination result by the pulse estimation unit (that is, whether or not the estimated pulse is stable), a zoom command for the camera that captured the captured image or its user is issued. Since the signal can be transmitted appropriately, the pulse can be estimated more stably.
  • the region extraction unit extracts a face region in the subject in the captured image as a skin color region.
  • the pulse estimation device since the face region in the subject is extracted as the skin color region, it is easy to extract the skin color region, and as a result, the pulse is stably estimated by simple processing. It becomes possible to do.
  • the display device further includes a display unit that displays a request regarding adjustment of the size of the skin color area to the user based on a zoom command to the user.
  • the zoom operation of the camera can be surely executed by the user.
  • a pulse estimation system comprising the pulse estimation device according to any one of the first to eighth disclosures, and a camera that executes a predetermined zoom operation based on a zoom command. It is.
  • the pulse estimation system it is possible to stably estimate the pulse based on the captured image input to the image input unit after sending the zoom command to the camera or the user.
  • a tenth disclosure is a pulse estimation method for estimating a pulse from information obtained without contact with a subject, and a temporally continuous captured image including at least a part of the subject as a subject is a camera.
  • An image input step that is input from, a region extraction step that extracts a skin color region from the captured image, and a camera that captures the captured image in order to change the size of the skin color region to satisfy a preset reference range, or
  • a zoom command step for sending a zoom command to the user, and a pulse estimation step for estimating the pulse of the subject based on a skin color region of a captured image captured by the camera after the zoom command is sent.
  • the pulse estimation method it is possible to stably estimate the pulse based on the captured image input to the image input unit after sending the zoom command to the camera.
  • FIG. 1 and 2 are an overall configuration diagram and a functional block diagram of the pulse estimation system 1 according to the first embodiment of the present disclosure, respectively.
  • FIG. 3 is a pulse wave extraction process by the pulse calculation unit 23 of the pulse estimation device 3.
  • 4A to 4C are explanatory diagrams of control results by the zoom command unit 28 of the pulse estimation device 3 shown in FIG.
  • the pulse estimation system 1 estimates the pulse from information (captured image) obtained without contact with the human body. As shown in FIG. 1, at least a part of a person (subject) H is photographed as a subject. And a pulse estimation device 3 that estimates the pulse (pulse rate and pulse wave) of the person H from the captured image obtained by the imaging of the camera 2.
  • the camera 2 and the pulse estimation device 3 are connected to each other via a network 4 such as the Internet or a LAN (Local Area Network).
  • the configuration is not limited to this, and the camera 2 and the pulse estimation device 3 may be configured to be directly connected to each other via a known communication cable.
  • the camera 2 is a video camera provided with a known zoom lens mechanism 5. As shown in FIG. 2, the camera 2 forms an image of light from a subject obtained through the zoom lens mechanism 5 on an image sensor (CCD, CMOS, etc.) (not shown), thereby converting the light of the formed image into an electrical signal.
  • the image pickup unit 11 that outputs the video signal converted into the pulse estimation device 3 and the zoom control unit 12 that controls the optical zoom operation of the zoom lens mechanism 5 are provided.
  • the imaging unit 11 can perform known signal processing for noise suppression, contour enhancement, and the like. Although only one camera 2 is shown in FIG. 1, the pulse estimation system 1 can be configured with a plurality of similar cameras.
  • the pulse estimation device 3 includes an image input unit 21 to which a video signal from the imaging unit 11 is input as a temporally continuous captured image (frame image data) including at least a part of the person H, and the captured image.
  • a region extraction unit 22 that extracts a skin color region (here, a facial region) of the person H
  • a pulse calculation unit (pulse estimation unit) 23 that calculates a pulse of the person H based on the extracted skin color region of the person H
  • the display unit 24 includes a known display device capable of displaying various information including the estimation result of the pulse to the user of the pulse estimation device 3.
  • the skin color region extracted by the region extraction unit 22 is a region where the skin is exposed in the human body, and is a region where the pulse can be estimated from the captured image data of the region.
  • the pulse estimation device 3 includes a region determination unit 26 that determines whether the size of the skin color region extracted by the region extraction unit 22 satisfies a preset reference range, and data of the reference range.
  • a zoom command is sent to the zoom control unit 12 of the camera 2 in order to adjust the size of the skin color region based on the data storage unit 27 storing various data necessary for pulse estimation and the determination result by the region determination unit 26.
  • a zoom command unit 28 for sending out.
  • the area extraction unit 22 extracts a detected face area as a skin color area of the person H by executing a known face detection process for recognizing a facial feature amount for each captured image (frame image). To track.
  • the region extraction unit 22 sends the captured image data relating to the extracted face region to the pulse calculation unit 23, and the data relating to the size of the face region (here, the number of pixels constituting the skin color region) to the region determination unit. 26.
  • the area extraction unit 22 is not limited to the above-described method, and a skin color component set in advance from the captured image (for example, a preset ratio relating to each pixel value of RGB, which varies depending on the race or the like). It is also possible to extract a pixel having a pixel and extract the pixel as a skin color region. In this case, a portion where the skin other than the face is exposed (for example, a hand or an arm) can be extracted as a skin color region. However, as described above, there is an advantage that the skin color area can be easily extracted by extracting the face area of the person H as the skin color area. Although only one person H is shown in FIG. 1, when the captured image includes a plurality of persons, the area extraction unit 22 can extract a plurality of face areas.
  • the pulse calculation unit 23 calculates, for example, pixel values (0 to 255 gradations) of RGB components for each pixel constituting the skin color area extracted from the temporally continuous captured image, and represents the representative value (here Then, time-series data (average value of each pixel) is generated as a pulse signal.
  • time-series data can be generated based on the pixel value of only the green component (G) that has a particularly large fluctuation due to pulsation.
  • the generated time-series data of pixel values is, for example, as shown in FIG. 3A, slight fluctuations based on changes in hemoglobin concentration in blood (for example, less than one gradation of pixel values) Fluctuations). Therefore, the pulse calculation unit 23 performs a known filter process (for example, a process using a bandpass filter in which a predetermined pass band is set) on the time-series data based on the pixel value, so that FIG. As shown to (B), the pulse wave from which the noise component was removed can be extracted as a pulse signal. Furthermore, the pulse calculation unit 23 can calculate the pulse rate from the time between two or more adjacent peaks (or zero points) in the pulse wave.
  • a known filter process for example, a process using a bandpass filter in which a predetermined pass band is set
  • the pulse calculation unit 23 captures an image with the camera 2 after the zoom command unit 28 sends the zoom command to the camera 2 (that is, after the face area in the captured image is adjusted to an appropriate size).
  • the pulse of the person H is calculated based on the skin color region of the captured image.
  • the pulse calculating unit 23 is not limited to the above-described method, and may calculate (estimate) the pulse rate by another known method.
  • the time-series data shown in FIG. A configuration in which the maximum value of the spectrum acquired by frequency analysis (fast Fourier transform) is calculated as the pulse rate is also possible.
  • the region determination unit 26 acquires the data on the number of pixels in the skin color region from the region extraction unit 22 and compares it with a preset threshold value for the number of pixels.
  • a preset threshold value for the number of pixels two threshold values relating to the upper limit and lower limit of the number of pixels (hereinafter referred to as the upper limit threshold and the lower limit threshold, respectively) are set, and the area determination unit 26 compares the number of pixels in the skin color area with the upper limit threshold and the lower limit threshold.
  • the threshold value of the number of pixels in the region determination unit 26 defines a reference range of the number of pixels for obtaining a good pulse signal in the pulse calculation unit 23.
  • the determination result by the region determination unit 26 (that is, the comparison result between the number of pixels in the skin color region and the threshold value) is sent to the zoom command unit 28. Note that the reference range of the number of pixels can be determined only by the lower threshold without using the upper threshold.
  • the data storage unit 27 stores the above upper limit threshold value and lower limit threshold data.
  • the upper threshold and the lower threshold are stored in different values according to image sensor information related to the performance of the image sensor included in the camera 2, exposure information related to the exposure conditions during shooting of the camera 2, and signal processing information of the camera 2. ing.
  • image sensor information of the camera 2 for example, the amount of saturated electrons or dark current that affects noise can be used, and as the exposure information, the shutter speed, aperture value, ISO sensitivity, and the like can be used.
  • parameters relating to signal processing (correction processing) in the imaging unit 11 of the camera 2 can be used as signal processing information.
  • the upper limit threshold and the lower limit threshold are determined based on the image sensor information, the exposure information, and the signal processing information, but a configuration in which the upper limit threshold and the lower limit threshold are determined based on at least a part thereof is also possible.
  • information input in advance by the user can be used as the image sensor information of the camera 2, and the area determination unit 26 can determine an upper limit threshold and a lower limit threshold according to the input information by the user.
  • the exposure information and signal processing information of the camera 2 it is possible to use information transmitted from the camera 2 to the pulse estimation device 3.
  • the zoom command unit 28 expands the size of the skin color area (here, the number of pixels) in the captured image to an appropriate size. Therefore, a zoom-in command is sent as a zoom command to the zoom control unit 12 of the camera 2.
  • the zoom control unit 12 causes the lens driving unit in the zoom lens mechanism 5 to perform a zoom-in operation based on the zoom-in command. For example, as illustrated in FIG. 4A, the captured image P that is determined by the region determination unit 26 that the number of pixels of the face region R is smaller than the lower limit threshold is as illustrated in FIG.
  • the signal is enlarged to a size suitable for extracting a pulse signal.
  • the zoom command unit 28 uses the camera 2 to reduce the size of the skin color area in the captured image to an appropriate size.
  • a zoom-out command is sent as a zoom command to the zoom control unit 12.
  • the zoom control unit 12 causes the lens driving unit in the zoom lens mechanism 5 to perform a zoom-out operation based on the zoom-out command.
  • the captured image determined by the region determination unit 26 that the number of pixels in the skin color region is larger than the upper limit threshold is set as shown in FIG.
  • the signal is reduced to a size suitable for pulse signal extraction.
  • the zoom command unit 28 can include information on the amount of zoom-in or zoom-out required for the camera 2 (magnification rate or reduction rate of the skin color region) based on the determination result by the region determination unit 26 in the zoom command.
  • the camera 2 zoom control unit 12
  • the camera 2 is configured to execute a predetermined amount of zoom-in or zoom-out operation when a single zoom command is received from the zoom command unit 28, and the size of the skin color region is
  • a configuration in which sending of a zoom command from the zoom command unit 28 to the camera 2 that is, a predetermined amount of zoom-in or zoom-out operation) is repeated until a preset reference range is satisfied is also possible.
  • the face area R is indicated by a rectangle, but the skin color area extracted by the area extracting unit 22 can have, for example, the outline of the face excluding the head as an outer edge.
  • the pulse estimation device 3 as described above can be configured from an information processing device such as a PC (Personal Computer), for example.
  • the pulse estimation device 3 is a CPU (Central Processing Unit) that centrally executes various information processing and control of peripheral devices based on a predetermined control program, a RAM ( Random Access Memory (ROM), ROM (Read Only Memory) for storing control programs and data executed by the CPU, network interface for executing communication processing via the network, monitor (image output device), speaker, input device, and HDD (
  • the hardware configuration includes a hard disk drive (Hard Disk Drive) and the like, and at least a part of the functions of each unit of the pulse estimation device 3 shown in FIG. 2 is executed by the CPU executing a predetermined control program. It is possible to realize. Note that at least part of the functions of the pulse estimation device 3 may be replaced by processing using other known hardware.
  • FIG. 5 is a flowchart showing the flow of processing by the pulse estimation device 3 according to the first embodiment.
  • the region determination unit 26 determines whether or not the size of the skin color region extracted by the region extraction unit 22 satisfies the preset reference range from the threshold data stored in the data storage unit 27. Threshold values (here, upper threshold value and lower threshold value) are determined (ST101).
  • the data storage unit 27 stores a threshold table including a plurality of thresholds set according to various data relating to various image sensor information, exposure information, and signal processing information. The corresponding threshold value can be selected from the threshold table in accordance with the image sensor information, exposure information, and signal processing information of the camera 2 used for imaging.
  • the area determination unit 26 may calculate the threshold value from a predetermined calculation process using the image sensor information, the exposure information, and the signal processing information as variables instead of using the threshold table.
  • the region extraction unit 22 extracts a skin color region in the captured image (ST103), and the skin color region Is calculated (here, the number of pixels) (ST104). Subsequently, the region determination unit 26 compares the number of pixels of the skin color region calculated by the region extraction unit 22 with the lower limit threshold value determined in step ST101 (ST105). Therefore, when the number of pixels in the skin color area is smaller than the lower limit threshold value (ST105: Yes), the zoom command unit 28 sends a zoom-in command to the zoom control unit 12 of the camera 2, whereby the camera 2 A predetermined amount of zoom-in operation is executed (ST107).
  • step ST105 when it is determined in step ST105 that the number of pixels in the skin color area is equal to or greater than the lower threshold (No), the area determination unit 26 further determines the number of pixels in the skin color area and the upper limit determined in step ST101. The threshold is compared (ST106). Therefore, when the number of pixels in the skin color area is larger than the upper limit threshold value (ST106: Yes), the zoom command unit 28 sends a zoom-out command to the zoom control unit 12 of the camera 2, and thereby the camera 2 In step S107, a predetermined amount of zoom-out operation is performed.
  • the pulse calculating unit 23 outputs the skin color of the captured image captured by the camera 2 after the zoom command unit 28 sends the zoom command to the camera 2 (that is, after the size of the skin color area is appropriately adjusted). Based on the region, the pulse of the person H is calculated (ST108). However, when it is not necessary to execute the zoom operation in step ST107 (that is, when the size of the skin color region satisfies the reference range between the lower limit threshold and the upper limit threshold without executing the zoom operation), The pulse calculation unit 23 calculates the pulse without changing the size of the skin color area of the captured image.
  • the pulse calculation unit 23 outputs the pulse calculation result to the display unit 24, thereby displaying the estimated pulse rate and pulse wave waveform (see FIG. 3B) for the user. (ST109).
  • the above-described steps ST102 to ST109 are repeatedly performed on the captured images sequentially input from the camera 2.
  • FIG. 6 is a functional block diagram of the pulse estimation system 1 according to the second embodiment of the present disclosure
  • FIGS. 7A and 7B are explanatory diagrams of a pulse wave extraction process by the pulse calculation unit 23 of the pulse estimation device 3
  • 8A and 8B are explanatory views showing a modification of the pulse determination process shown in FIGS. 7A and 7B. 6 to 8B, the same components as those in the first embodiment described above are denoted by the same reference numerals.
  • matters not particularly mentioned below are the same as those in the above-described first embodiment.
  • the pulse estimation system 1 determines whether or not it is necessary to adjust the size of the skin color area extracted by the area extraction unit 22.
  • the region determination unit 26 according to the first embodiment described above. This is different from the first embodiment in that the determination by the pulse calculation unit 23 is performed instead of the determination by.
  • the pulse calculation unit 23 extracts a pulse wave as in the case of the first embodiment described above, and further determines here whether or not the extracted pulse wave is stable. For example, as shown in FIG. 7A, when a stable pulse wave is extracted by the pulse calculation unit 23, the zoom command unit 28 determines that the adjustment of the size of the skin color region extracted by the region extraction unit 22 is unnecessary. Thus, the zoom command for the camera 2 is not transmitted.
  • the zoom command unit 28 when an unstable pulse wave is extracted in the pulse calculation unit 23, the zoom command unit 28 sends a zoom command to the camera 2.
  • the zoom command unit 28 sends a zoom-in command as a zoom command.
  • the zoom command unit 28 can also switch to a zoom-out command when a stable pulse wave is not extracted in the pulse calculation unit 23 even after the zoom-in command is sent.
  • the reference waveform data relating to a stable pulse wave prepared in advance is stored in the data storage unit 27, and the pulse calculation unit 23 performs matching processing between the reference waveform and the extracted pulse wave. By performing, it can be determined whether or not the pulse wave is stable. Or the pulse calculation part 23 may extract the peak value of the extracted pulse wave, and may determine the stability of a pulse wave based on the magnitude
  • the pulse determination processing by the pulse calculation unit 23 is not limited to the above-described one based on the pulse wave waveform, and may be based on a temporal change in the pulse rate calculated from the pulse wave.
  • the zoom command unit 28 determines that the adjustment of the size of the skin color area extracted by the area extraction unit 22 is unnecessary, and does not send a zoom command to the camera 2.
  • the zoom command unit 28 Send a zoom command.
  • FIG. 9 is a flowchart showing a flow of processing by the pulse estimation device 3 according to the second embodiment.
  • steps ST201 and ST202 similar to steps ST102 and ST103 shown in FIG. 5 described above are executed.
  • the pulse calculation unit 23 calculates (estimates) the pulse of the person H based on the captured image before sending the zoom command (ST203). Furthermore, the pulse calculation unit 23 determines whether or not the pulse wave extracted in step ST203 is unstable (ST204). Therefore, when it is determined that the pulse wave is unstable (ST204: Yes), the zoom command unit 28 sends a zoom command to the camera 2, whereby a predetermined amount of zoom-in operation is performed in the camera 2. It is executed (ST205).
  • step ST204 when it is determined in step ST204 that the pulse wave is stable, the estimated pulse rate and pulse wave waveform are displayed to the user (ST206).
  • FIG. 10 is a functional block diagram of the pulse estimation system 1 according to the third embodiment of the present disclosure.
  • FIGS. 11A and 11B are examples of operation instructions by the zoom command unit 28 of the pulse estimation device 3 illustrated in FIG. 10. It is explanatory drawing shown.
  • FIG. 10 and FIGS. 11A and 11B the same components as those in the first or second embodiment described above are denoted by the same reference numerals.
  • matters not particularly mentioned below are the same as those in the first or second embodiment described above.
  • the pulse estimation system 1 according to the third embodiment is the case of the first embodiment described above in that the zoom command from the zoom command unit 28 is sent not to the camera 2 but to the user of the pulse estimation device 3. Is different.
  • the zoom command unit 28 zooms for the user to enlarge the size of the skin color area in the captured image to an appropriate size.
  • the display unit 24 outputs an operation instruction that prompts the user to perform a predetermined zoom operation based on the zoom-in command from the zoom command unit 28.
  • a zoom operation in this case, a zoom-in operation
  • a zoom operation instruction 31 is displayed to prompt the user. Thereby, the operation of zooming in the camera 2 is performed by the user.
  • a display frame 32 indicating a guide for the amount of zoom operation to be performed by the user is displayed, and the size of the face of the person H is adjusted to the display frame 32.
  • the zoom operation instruction 31 may be displayed so as to prompt the user to do so.
  • FIG. 12 is a functional block diagram of the pulse estimation system 1 according to the fourth embodiment of the present disclosure.
  • the same components as those in any of the first to third embodiments described above are denoted by the same reference numerals.
  • matters not particularly mentioned below are the same as those in any of the first to third embodiments described above.
  • the pulse estimation system 1 according to the fourth embodiment is the case of the second embodiment described above in that the zoom command from the zoom command unit 28 is sent not to the camera 2 but to the user of the pulse estimation device 3. Is different.
  • the zoom command unit 28 sends a zoom-in command as a zoom command to the user in order to enlarge the size of the skin color area in the captured image to an appropriate size.
  • an operation instruction that prompts the user to perform a predetermined zoom operation is output.
  • the pulse estimation device, the pulse estimation system, and the pulse estimation method according to the present disclosure are not limited to medical uses, but can be applied to various uses such as monitoring (quarantine at an airport or the like) and physical condition management of athletes. Is possible.
  • the example which provides a camera and a pulse estimation apparatus was shown in the said embodiment, the structure by which one of them was equipped with at least one part (all functions depending on the case) of the other is also possible. Note that all the components of the pulse estimation device, the pulse estimation system, and the pulse estimation method are not necessarily indispensable, and can be appropriately selected as long as they do not depart from the scope of the present disclosure.
  • a pulse estimation device, a pulse estimation system, and a pulse estimation method according to the present disclosure enable stable estimation of a pulse based on image data suitable for extraction of a pulse signal, and the pulse from information obtained without contact with a human body. This is useful as a pulse estimation device, a pulse estimation system, a pulse estimation method, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定可能とする。脈拍推定装置が、被検体Ｈの少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラ（２）から入力される画像入力部（２１）と、その撮像画像から肌色領域を抽出する領域抽出部（２２）と、肌色領域の大きさを調整するべく、撮像画像を撮像したカメラ（２）またはそのユーザに対するズーム指令を送出するズーム指令部（２８）と、ズーム指令の送出後にカメラ（２）によって撮像された撮像画像の肌色領域に基づき、被検体Ｈの脈拍を推定する脈拍推定部（２３）とを備えた構成とする。

Description

脈拍推定装置、脈拍推定システムおよび脈拍推定方法
　本開示は、人体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置、脈拍推定システムおよび脈拍推定方法に関する。
　従来、人の脈拍の測定に関し、被検者の手首に測定者（看護師等）が指を当てて人的に脈動を確認する方法や、被検者の手首や指などに専用の測定機器を取り付けることにより、自動で脈動を検出する方法などが知られている。一方、そのような測定方法は、被検者の自由な行動が一時的に制限されたり、被検者に測定機器を取り付ける必要が生じたりするため、被検者（人体）と接触せずに脈拍を推定（検出）するための技術が開発されている。
　例えば、人体に接触せずに心拍数（通常は脈拍数と同等）を検出する技術に関し、被検者を撮影して得られた画像データから時系列信号のスペクトル分布を抽出し、そのスペクトル分布から，心拍信号に起因するピーク周波数を特定することにより、心拍数を自動的に検出する心拍数検出装置が知られている（特許文献１参照）。
　また、取得した脈波から心拍数を算出する技術に関しては、例えば、光照射部から照射され被検体内部を透過してきた光を検出する光検出部と、その光検出部により得られた計測信号に見られる脈波の連続した２つのピークから心拍数を算出する生体光計測装置が知られている（特許文献２参照）。
特開２０１２－２３９６６１号公報 特開２０１０－５７７１８号公報
　しかしながら、上記特許文献１に記載された従来技術のように、カメラで撮影した顔画像などから脈拍を推定する場合、画像データから抽出される脈拍信号の変動量（すなわち、画素値の変動量）は微少であるため、カメラの性能や撮像条件（明るさなど）によっては、良好な脈拍信号を抽出できず（すなわち、脈拍信号の抽出に適した画像データを取得できず）、安定した脈拍の推定が困難になるという問題があった。このような問題は、脈拍信号から脈拍を検出する方法として上記特許文献２に記載されたような従来技術を用いた場合にも同様に発生し得る。
　本開示は、このような従来技術の課題を鑑みて案出されたものであり、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定可能とする脈拍推定装置、脈拍推定システムおよび脈拍推定方法を提供することを主目的とする。
　本開示の脈拍推定装置は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、撮像画像から肌色領域を抽出する領域抽出部と、肌色領域の大きさを調整するべく、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を送出するズーム指令部と、ズーム指令の送出後にカメラによって撮像された撮像画像の肌色領域に基づき、被検体の脈拍を推定する脈拍推定部とを備えたことを特徴とする。
　本開示によれば、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定することが可能となる。
図１は、第１実施形態に係る脈拍推定システムの全体構成図である。 図２は、第１実施形態に係る脈拍推定システムの機能ブロック図である。 図３は、図２に示した脈拍推定装置の脈拍算出部による脈波抽出処理の説明図である。 図４Ａは、図２に示した脈拍推定装置のズーム指令部による制御結果の説明図である。 図４Ｂは、図２に示した脈拍推定装置のズーム指令部による制御結果の説明図である。 図４Ｃは、図２に示した脈拍推定装置のズーム指令部による制御結果の説明図である。 図５は、第１実施形態に係る脈拍推定装置による処理の流れを示すフロー図である。 図６は、第２実施形態に係る脈拍推定システムの機能ブロック図である。 図７Ａは、図６に示した脈拍推定装置の脈拍算出部による脈拍判定処理の説明図である。 図７Ｂは、図６に示した脈拍推定装置の脈拍算出部による脈拍判定処理の説明図である。 図８Ａは、図７Ａに示した脈拍判定処理の変形例を示す説明図である。 図８Ｂは、図７Ｂに示した脈拍判定処理の変形例を示す説明図である。 図９は、第２実施形態に係る脈拍推定装置による処理の流れを示すフロー図である。 図１０は、第３実施形態に係る脈拍推定システムの機能ブロック図である。 図１１Ａは、図１０に示した脈拍推定装置のズーム指令部による操作指示の例を示す説明図である。 図１１Ｂは、図１０に示した脈拍推定装置のズーム指令部による操作指示の例を示す説明図である。 図１２は、第４実施形態に係る脈拍推定システムの機能ブロック図である。
　上記課題を解決するためになされた第１の開示は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、撮像画像から肌色領域を抽出する領域抽出部と、肌色領域の大きさを調整するべく、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を送出するズーム指令部と、ズーム指令の送出後にカメラによって撮像された撮像画像の肌色領域に基づき、被検体の脈拍を推定する脈拍推定部とを備えたことを特徴とする。
　この第１の開示に係る脈拍推定装置によれば、カメラまたはそのユーザに対するズーム指令の送出後に当該カメラによって撮像された撮像画像に基づき脈拍を推定する構成としたため、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定することが可能となる。
　また、第２の開示では、上記第１の開示において、肌色領域の大きさが予め設定された基準範囲を満たすか否かを判定する領域判定部を更に備え、ズーム指令部は、領域判定部により肌色領域の大きさが基準範囲を満たさないと判定された場合に、カメラまたはそのユーザに対するズーム指令を送出することを特徴とする。
　この第２の開示に係る脈拍推定装置によれば、肌色領域の大きさが基準範囲を満たすか否かについての領域判定部による判定結果に基づき、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を適切に送出することができるため、脈拍をより安定して推定することが可能となる。
　また、第３の開示では、上記第２の開示において、領域判定部は、撮像画像における肌色領域を構成する画素の数に基づき肌色領域の大きさを決定し、画素数が予め設定された画素数の基準範囲を満たすか否かを判定することを特徴とする。
　この第３の開示に係る脈拍推定装置によれば、肌色領域の大きさを、当該肌色領域を構成する画素の数に基づき決定するため、肌色領域を抽出することが容易となり、その結果、簡易な処理により脈拍を安定して推定することが可能となる。
　また、第４の開示では、上記第２または第３の開示において、領域判定部は、カメラのイメージセンサの性能に応じて基準範囲を変更することを特徴とする。
　この第４の開示に係る脈拍推定装置によれば、肌色領域の大きさを調整するための基準範囲が、イメージセンサの性能に基づき変更されるため、脈拍信号の抽出により適した画像データを取得することが可能となり、その結果、脈拍をより安定して推定することが可能となる。
　また、第５の開示では、上記第２または第３の開示において、領域判定部は、撮像画像の露出条件に応じて基準範囲を変更することを特徴とする。
　この第５の開示に係る脈拍推定装置によれば、肌色領域の大きさを調整するための基準範囲が、撮像時の露出条件に基づき変更されるため、脈拍信号の抽出により適した画像データを取得することが可能となり、その結果、脈拍をより安定して推定することが可能となる。
　また、第６の開示では、上記第１の開示において、脈拍推定部は、ズーム指令の送出前の撮像画像に基づき、被検体の脈拍を推定するとともに、当該推定した脈拍が安定しているか否かを判定し、ズーム指令部は、脈拍推定部により脈拍が安定していないと判定された場合に、ズーム指令を送出することを特徴とする。
　この第６の開示に係る脈拍推定装置によれば、脈拍推定部による判定結果（すなわち、推定した脈拍が安定しているか否か）に基づき、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を適切に送出することができるため、脈拍をより安定して推定することが可能となる。
　また、第７の開示では、上記第１から第６の開示のいずれかにおいて、領域抽出部は、肌色領域として撮像画像における被検体における顔領域を抽出することを特徴とする。
　この第７の開示に係る脈拍推定装置によれば、肌色領域として被検体における顔領域を抽出するため、肌色領域を抽出することが容易となり、その結果、簡易な処理により脈拍を安定して推定することが可能となる。
　また、第８の開示では、上記第１から第７の開示のいずれかにおいて、ユーザに対するズーム指令に基づき、ユーザに対する肌色領域の大きさの調整に関する要求を表示する表示部を更に備えたことを特徴とする。
　この第８の開示に係る脈拍推定装置によれば、カメラのズーム操作をユーザにより確実に実行させることが可能となる。
　また、第９の開示は、上記第１から第８の開示のいずれかに係る脈拍推定装置と、ズーム指令に基づき所定のズーム動作を実行するカメラとを備えたことを特徴とする脈拍推定システムである。
　この第９の開示に係る脈拍推定システムによれば、カメラまたはユーザに対するズーム指令の送出後に画像入力部に入力される撮像画像に基づき、脈拍を安定して推定することが可能となる。
　また、第１０の開示は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定方法であって、被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力ステップと、撮像画像から肌色領域を抽出する領域抽出ステップと、肌色領域の大きさを、予め設定された基準範囲を満たすように変更するべく、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を送出するズーム指令ステップと、ズーム指令の送出後にカメラによって撮像された撮像画像の肌色領域に基づき、被検体の脈拍を推定する脈拍推定ステップとを有することを特徴とする。
　この第１０の開示に係る脈拍推定方法によれば、カメラに対するズーム指令の送出後に画像入力部に入力される撮像画像に基づき、脈拍を安定して推定することが可能となる。
　以下、本開示の実施の形態について図面を参照しながら説明する。
　（第１実施形態）
　図１および図２は、それぞれ本開示の第１実施形態に係る脈拍推定システム１の全体構成図および機能ブロック図であり、図３は、脈拍推定装置３の脈拍算出部２３による脈波抽出処理の説明図であり、図４Ａ～Ｃは、図２に示した脈拍推定装置３のズーム指令部２８による制御結果の説明図である。
　脈拍推定システム１は、人体と接触せずに得られる情報（撮像画像）からその脈拍を推定するものであり、図１に示すように、人物（被検体）Ｈの少なくとも一部を被写体として撮影するカメラ２と、カメラ２の撮影により得られる撮像画像から人物Ｈの脈拍（脈拍数や脈波）を推定する脈拍推定装置３とを備えている。また、脈拍推定システム１において、カメラ２および脈拍推定装置３は、インターネットやＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等のネットワーク４を介して互いに通信可能に接続されている。ただし、これに限らず、カメラ２および脈拍推定装置３が、公知の通信ケーブルによって通信可能に直接接続される構成であってもよい。
　カメラ２は、公知のズームレンズ機構５を備えたビデオカメラである。図２に示すように、カメラ２は、ズームレンズ機構５を通して得られる被写体からの光を図示しないイメージセンサ（ＣＣＤ、ＣＭＯＳ等）に結像させることにより、その結像した像の光を電気信号に変換した映像信号を脈拍推定装置３に対して出力する撮像部１１と、ズームレンズ機構５の光学的なズーム動作を制御するズーム制御部１２とを備えている。撮像部１１では、ノイズ抑制や輪郭強調等を目的とする公知の信号処理を実施することが可能である。なお、図１では１台のカメラ２のみを示しているが、脈拍推定システム１では、同様のカメラを複数設けた構成も可能である。
　脈拍推定装置３は、人物Ｈの少なくとも一部を含む時間的に連続する撮像画像（フレーム画像のデータ）として、撮像部１１からの映像信号が入力される画像入力部２１と、その撮像画像から人物Ｈの肌色領域（ここでは、顔領域）を抽出する領域抽出部２２と、その抽出された人物Ｈの肌色領域に基づき、人物Ｈの脈拍を算出する脈拍算出部（脈拍推定部）２３と、その脈拍の推定結果を含む各種情報を脈拍推定装置３のユーザに対して表示可能な公知のディスプレイ装置からなる表示部２４とを備えている。なお、領域抽出部２２によって抽出される肌色領域は、人体において肌が露出した領域であって、その領域の撮像画像データから脈拍を推定可能な領域である。
　さらに、脈拍推定装置３は、領域抽出部２２によって抽出された肌色領域の大きさが、予め設定された基準範囲を満たすか否かを判定する領域判定部２６と、その基準範囲のデータを含め、脈拍推定に必要な各種データが記憶されるデータ記憶部２７と、領域判定部２６による判定結果に基づき肌色領域の大きさを調整するべく、カメラ２のズーム制御部１２に対してズーム指令を送出するズーム指令部２８とを備えている。
　領域抽出部２２は、各撮像画像（フレーム画像）に対し、顔の特徴量を認識する公知の顔検出処理を実行することにより、その検出された顔の領域を人物Ｈの肌色領域として抽出・追尾する。また、領域抽出部２２は、抽出した顔領域に関する撮像画像のデータを脈拍算出部２３に送出すると共に、顔領域の大きさに関するデータ（ここでは、肌色領域を構成する画素数）を領域判定部２６に送出する。
　領域抽出部２２では、上述の方法に限らず、撮像画像から予め設定された肌色成分（例えば、ＲＧＢの各画素値に関する予め設定された比率であって、人種等によって異なる値となる）を有する画素を抽出し、その画素が抽出された領域を肌色領域としてもよい。この場合、顔以外の肌が露出した部分（例えば、手や腕など）についても、肌色領域として抽出可能である。ただし、上述のように、人物Ｈの顔領域を肌色領域として抽出することにより、肌色領域を容易に抽出することができるという利点がある。なお、図１では、１人の人物Ｈのみを示しているが、撮像画像に複数の人物が含まれる場合、領域抽出部２２では、複数の顔領域が抽出され得る。
　脈拍算出部２３は、時間的に連続する撮像画像において抽出された肌色領域を構成する各画素に関し、例えばＲＧＢの各成分の画素値（０－２５５階調）を算出し、その代表値（ここでは、各画素の平均値）の時系列データを脈拍信号として生成する。この場合、脈動による変動が特に大きい緑成分（Ｇ）のみの画素値に基づき時系列データを生成することができる。
　生成された画素値（平均値）の時系列データは、例えば、図３の（Ａ）に示すように、血液中のヘモグロビン濃度の変化に基づく微少な変動（例えば、画素値の１階調未満の変動）を伴う。そこで、脈拍算出部２３は、その画素値に基づく時系列データに対し、公知のフィルタ処理（例えば、所定の通過帯域が設定されたバンドパスフィルタによる処理等）を実施することにより、図３の（Ｂ）に示すように、ノイズ成分を除去した脈波を脈拍信号として抽出することができる。さらに、脈拍算出部２３は、その脈波において隣接する２以上のピーク（またはゼロ点）間の時間から脈拍数を算出することができる。
　後述するように、脈拍算出部２３は、ズーム指令部２８によるカメラ２へのズーム指令の送出後（すなわち、撮像画像中の顔領域が適切な大きさに調整された後）にカメラ２によって撮像された撮像画像の肌色領域に基づき人物Ｈの脈拍を算出する。なお、脈拍算出部２３は、上述の方法に限らず、他の公知の方法によって脈拍数を算出（推定）してもよく、例えば、図３の（Ａ）に示したような時系列データの周波数解析（高速フーリエ変換）により取得したスペクトルの極大値を脈拍数として算出する構成も可能である。
　領域判定部２６は、領域抽出部２２から肌色領域の画素数のデータを取得し、予め設定された画素数の閾値と比較する。ここでは、画素数の上限および下限に関する２つの閾値（以下、それぞれ上限閾値および下限閾値という。）が設定されており、領域判定部２６は、肌色領域の画素数を上限閾値および下限閾値と比較する。領域判定部２６における画素数の閾値は、脈拍算出部２３において良好な脈拍信号を取得するための画素数の基準範囲を定めるものである。
　つまり、肌色領域の画素数が下限閾値よりも小さい場合には、上述の脈拍算出部２３における脈拍信号（図３の（Ａ）、（Ｂ）参照）の抽出に適した撮像画像が取得できず（すなわち、必要な画素数を確保できず）、脈拍数を精度良く推定することが難しくなる。一方、肌色領域の画素数が上限閾値よりも大きい場合には、必要な画素数を確保できるとしても、人物Ｈの動きによって脈拍信号が大きく変動し、脈拍数を精度良く推定することが難しくなる場合がある。領域判定部２６による判定結果（すなわち、肌色領域の画素数と閾値との比較結果）はズーム指令部２８に対して送出される。なお、上限閾値を用いることなく、下限閾値のみで画素数の基準範囲を定めることも可能である。
　データ記憶部２７には、上述の上限閾値および下限閾値のデータが記憶される。それら上限閾値および下限閾値は、カメラ２が備えるイメージセンサの性能等に関するイメージセンサ情報、カメラ２の撮影時の露出条件等に関する露出情報、及びカメラ２の信号処理情報に応じて異なる値が記憶されている。ここで、カメラ２のイメージセンサ情報として、例えば、ノイズに影響する飽和電子量や暗電流などを用いることができ、また、露出情報として、シャッター速度、絞り値、ＩＳＯ感度などを用いることができ、さらに、信号処理情報として、カメラ２の撮像部１１における信号処理（補正処理）に関する各パラメータなどを用いることができる。ここでは、イメージセンサ情報、露出情報、及び信号処理情報に基づき上限閾値および下限閾値が決定されるが、それらの少なくとも一部に基づき上限閾値および下限閾値が決定される構成も可能である。
　なお、カメラ２のイメージセンサ情報としては、ユーザによって予め入力された情報を用いることができ、領域判定部２６は、そのユーザによる入力情報に応じて上限閾値および下限閾値を決定することができる。また、カメラ２の露出情報及び信号処理情報については、カメラ２から脈拍推定装置３に向けて送出される各情報を用いることが可能である。
　ズーム指令部２８は、領域判定部２６によって肌色領域の画素数が下限閾値よりも小さいと判定された場合、撮像画像における肌色領域の大きさ（ここでは、画素数）を適切な大きさまで拡大すべく、カメラ２のズーム制御部１２に対するズーム指令としてズームイン指令を送出する。ズーム制御部１２は、そのズームイン指令に基づき、ズームレンズ機構５におけるレンズ駆動部にズームインの動作を実行させる。ここで、例えば図４Ａに示すように、領域判定部２６よって顔領域Ｒの画素数が下限閾値よりも小さいと判定された撮像画像Ｐは、カメラ２のズームインの動作により、図４Ｃに示すように、脈拍信号の抽出に適した大きさまで拡大される。
　一方、ズーム指令部２８は、領域判定部２６によって肌色領域の画素数が上限閾値よりも大きいと判定された場合、撮像画像における肌色領域の大きさを適切な大きさまで縮小すべく、カメラ２のズーム制御部１２に対するズーム指令としてズームアウト指令を送出する。ズーム制御部１２は、そのズームアウト指令に基づき、ズームレンズ機構５におけるレンズ駆動部にズームアウトの動作を実行させる。ここで、例えば図４Ｂに示すように、領域判定部２６よって肌色領域の画素数が上限閾値よりも大きいと判定された撮像画像は、カメラ２のズームアウトの動作により、図４Ｃに示すように、脈拍信号の抽出に適した大きさまで縮小される。
　また、ズーム指令部２８は、領域判定部２６による判定結果に基づき、カメラ２に対するズームインまたはズームアウトの必要量（肌色領域の拡大率または縮小率）の情報をズーム指令に含めることができる。或いは、カメラ２（ズーム制御部１２）が、ズーム指令部２８からの１つのズーム指令の受信時に予め設定された規定量のズームインまたはズームアウトの動作を実行する構成とし、肌色領域の大きさが予め設定された基準範囲を満たすまで、ズーム指令部２８からカメラ２に対するズーム指令の送出（すなわち、規定量のズームインまたはズームアウトの動作）が繰り返される構成も可能である。
　なお、図４Ａ～Ｃでは、顔領域Ｒを矩形で示しているが、領域抽出部２２によって抽出される肌色領域は、例えば、頭部を除く顔の輪郭を外縁とすることができる。
　上述のような脈拍推定装置３は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）などの情報処理装置から構成することが可能である。詳細は図示しないが、脈拍推定装置３は、所定の制御プログラムに基づき各種情報処理や周辺機器の制御などを統括的に実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＣＰＵのワークエリア等として機能するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ネットワークを介した通信処理を実行するネットワークインタフェース、モニタ（画像出力装置）、スピーカ、入力デバイス、及びＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などを含むハードウェア構成を有しており、図２に示した脈拍推定装置３の各部の機能の少なくとも一部については、ＣＰＵが所定の制御プログラムを実行することによって実現可能である。なお、脈拍推定装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
　図５は、第１実施形態に係る脈拍推定装置３による処理の流れを示すフロー図である。まず、領域判定部２６は、データ記憶部２７に記憶された閾値データから、領域抽出部２２によって抽出された肌色領域の大きさが、予め設定された基準範囲を満たすか否かを判定するための閾値（ここでは、上限閾値、下限閾値）を決定する（ＳＴ１０１）。ここで、データ記憶部２７には、種々のイメージセンサ情報、露出情報、及び信号処理情報に関する各データに応じて設定された複数の閾値を含む閾値テーブルが記憶されており、領域判定部２６は、撮像に使用されるカメラ２のイメージセンサ情報、露出情報、及び信号処理情報に応じて、その閾値テーブルから対応する閾値を選択することが可能である。或いは、領域判定部２６は、閾値テーブルを用いる代わりに、イメージセンサ情報、露出情報、及び信号処理情報を変数とする所定の演算処理から閾値の値を算出してもよい。
　次に、カメラ２から画像入力部２１に対して撮像画像（フレーム画像）が入力されると（ＳＴ１０２）、領域抽出部２２は、その撮像画像における肌色領域を抽出し（ＳＴ１０３）、その肌色領域の大きさ（ここでは、画素数）を算出する（ＳＴ１０４）。続いて、領域判定部２６は、領域抽出部２２で算出された肌色領域の画素数と、ステップＳＴ１０１において決定された下限閾値とを比較する（ＳＴ１０５）。そこで、肌色領域の画素数が下限閾値よりも小さい場合（ＳＴ１０５：Ｙｅｓ）には、ズーム指令部２８は、カメラ２のズーム制御部１２に対してズームイン指令を送出し、これにより、カメラ２において所定量のズームインの動作が実行される（ＳＴ１０７）。
　一方、ステップＳＴ１０５において、肌色領域の画素数が下限閾値以上であると判定された場合（Ｎｏ）には、更に、領域判定部２６は、肌色領域の画素数と、ステップＳＴ１０１において決定された上限閾値とを比較する（ＳＴ１０６）。そこで、肌色領域の画素数が上限閾値よりも大きい場合（ＳＴ１０６：Ｙｅｓ）には、ズーム指令部２８は、カメラ２のズーム制御部１２に対してズームアウト指令を送出し、これにより、カメラ２において所定量のズームアウトの動作が実行される（ＳＴ１０７）。
　次に、脈拍算出部２３は、ズーム指令部２８によるカメラ２へのズーム指令の送出後（すなわち、肌色領域の大きさが適切に調整された後）にカメラ２によって撮像された撮像画像の肌色領域に基づき人物Ｈの脈拍を算出する（ＳＴ１０８）。ただし、ステップＳＴ１０７におけるズーム動作の実行が不要な場合（すなわち、ズーム動作の実行を必要とすることなく肌色領域の大きさが下限閾値と上限閾値との間の基準範囲を満たす場合）には、脈拍算出部２３は、撮像画像の肌色領域の大きさを変更することなく脈拍を算出する。
　その後、脈拍算出部２３は、脈拍の算出結果について表示部２４に対して出力し、これにより、ユーザに対して推定された脈拍数および脈波の波形（図３の（Ｂ）参照）が表示される（ＳＴ１０９）。
　なお、脈拍推定装置３では、上述のステップＳＴ１０２－ＳＴ１０９がカメラ２から順次入力される撮像画像に対して繰り返し実行される。
　（第２実施形態）
　図６は、本開示の第２実施形態に係る脈拍推定システム１の機能ブロック図であり、図７Ａ，Ｂは、脈拍推定装置３の脈拍算出部２３による脈波抽出処理の説明図であり、図８Ａ，Ｂは、図７Ａ，Ｂに示した脈拍判定処理の変形例を示す説明図である。図６～図８Ｂにおいて、上述の第１実施形態と同様の構成要素については、同一の符号が付されている。また、第２実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。
　第２実施形態に係る脈拍推定システム１は、領域抽出部２２によって抽出された肌色領域の大きさの調整が必要か否かを決定するために、上述の第１実施形態に係る領域判定部２６による判定の代わりに、脈拍算出部２３における判定を行う点において第１実施形態の場合とは異なる。
　脈拍算出部２３は、上述の第１実施形態の場合と同様に脈波を抽出し、更にここでは、その抽出した脈波について安定しているか否かを判定する。例えば図７Ａに示すように、脈拍算出部２３において安定した脈波が抽出された場合、ズーム指令部２８は、領域抽出部２２によって抽出された肌色領域の大きさの調整は不要であると判断して、カメラ２に対するズーム指令を送出しない。
　一方、例えば図７Ｂに示すように、脈拍算出部２３において不安定な脈波が抽出された場合、ズーム指令部２８は、カメラ２に対してズーム指令を送出する。この場合、ズーム指令部２８は、ズーム指令としてズームイン指令を送出する。ただし、ズーム指令部２８は、ズームイン指令の送出後も脈拍算出部２３において安定な脈波が抽出されない場合には、ズームアウト指令に切り替えることも可能である。
　ここで、データ記憶部２７には、予め準備された安定した脈波に関する基準波形のデータが記憶されており、脈拍算出部２３は、その基準波形と、抽出された脈波とのマッチング処理を行うことにより、脈波が安定であるか否かを判定することができる。或いは、脈拍算出部２３は、抽出された脈波のピーク値を抽出し、所定時間におけるピーク値の大きさ（変動量）に基づき、脈波の安定性を判定してもよい。
　また、脈拍算出部２３による脈拍判定処理は、上述のような脈波の波形に基づくものに限定されず、脈波から算出した脈拍数の時間的な変化に基づくものであってもよい。例えば図８Ａに示すように、脈拍算出部２３において算出された脈拍数が安定している（所定時間において連続する脈拍数の変動量が予め設定された閾値を越えない）場合、ズーム指令部２８は、領域抽出部２２によって抽出された肌色領域の大きさの調整は不要であると判断して、カメラ２に対するズーム指令を送出しない。一方、例えば図８Ｂに示すように、脈拍数が不安定である（所定時間において連続する脈拍数の変動量が予め設定された閾値を越えた）場合、ズーム指令部２８は、カメラ２に対してズーム指令を送出する。
　図９は、第２実施形態に係る脈拍推定装置３による処理の流れを示すフロー図である。脈拍推定装置３では、まず、上述の図５に示したステップＳＴ１０２、ＳＴ１０３とそれぞれ同様のステップＳＴ２０１、ＳＴ２０２が実行される。
　次に、脈拍算出部２３は、ズーム指令の送出前の撮像画像に基づき、人物Ｈの脈拍を算出（推定）する（ＳＴ２０３）。さらに、脈拍算出部２３は、ステップＳＴ２０３において抽出された脈波が不安定であるか否かを判定する（ＳＴ２０４）。そこで、脈波が不安定であると判定されると（ＳＴ２０４：Ｙｅｓ）、ズーム指令部２８は、カメラ２に対してズーム指令を送出し、これにより、カメラ２において所定量のズームインの動作が実行される（ＳＴ２０５）。
　最終的に、ステップＳＴ２０４において脈波が安定していると判定されると、ユーザに対して推定された脈拍数および脈波の波形が表示される（ＳＴ２０６）。
　（第３実施形態）
　図１０は、本開示の第３実施形態に係る脈拍推定システム１の機能ブロック図であり、図１１Ａ，Ｂは、図１０に示した脈拍推定装置３のズーム指令部２８による操作指示の例を示す説明図である。図１０および図１１Ａ，Ｂにおいて、上述の第１または第２実施形態と同様の構成要素については、同一の符号が付されている。また、第３実施形態では、以下で特に言及しない事項については、上述の第１または第２実施形態の場合と同様とする。
　第３実施形態に係る脈拍推定システム１は、ズーム指令部２８によるズーム指令がカメラ２に対してではなく、脈拍推定装置３のユーザに対して送出される点において上述の第１実施形態の場合とは異なる。
　ズーム指令部２８は、例えば、領域判定部２６において肌色領域の画素数が下限閾値よりも小さいと判定された場合、撮像画像における肌色領域の大きさを適切な大きさまで拡大すべく、ユーザに対するズーム指令としてズームイン指令を送出する。表示部２４は、ズーム指令部２８からのズームイン指令に基づき、ユーザに対して所定のズーム操作を促す操作指示を出力する。例えば図１１Ａに示すように、領域判定部２６よって顔領域Ｒの画素数が下限閾値よりも小さいと判定された撮像画像Ｐについては、ユーザに対してズーム操作（ここでは、ズームインの操作）を促すようにズーム操作指示３１が表示される。これにより、ユーザによりカメラ２のズームインの操作が実行される。
　また、別法として、例えば図１１Ｂに示すように、ユーザが行うべきズーム操作の操作量の目安を示す表示枠３２を表示し、さらに、その表示枠３２に人物Ｈの顔の大きさを合わせることをユーザに促すようにズーム操作指示３１を表示する構成としてもよい。
　（第４実施形態）
　図１２は、本開示の第４実施形態に係る脈拍推定システム１の機能ブロック図である。図１２において、上述の第１から第３実施形態のいずれかと同様の構成要素については、同一の符号が付されている。また、第４実施形態では、以下で特に言及しない事項については、上述の第１から第３実施形態のいずれかの場合と同様とする。
　第４実施形態に係る脈拍推定システム１は、ズーム指令部２８によるズーム指令がカメラ２に対してではなく、脈拍推定装置３のユーザに対して送出される点において上述の第２実施形態の場合とは異なる。
　ズーム指令部２８は、脈拍算出部２３において不安定な脈波が抽出された場合、撮像画像における肌色領域の大きさを適切な大きさまで拡大すべく、ユーザに対するズーム指令としてズームイン指令を送出する。表示部２４では、上述の第３実施形態の場合と同様に、ユーザに対して所定のズーム操作を促す操作指示が出力される。
　以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。例えば、本開示に係る脈拍推定装置、脈拍推定システムおよび脈拍推定方法は、医療的な用途に限らず、監視（空港等における検疫）や、スポーツ選手の体調管理など様々な用途に適用することが可能である。また、上記実施形態では、カメラおよび脈拍推定装置を設ける例を示したが、それらの一方が他方の機能の少なくとも一部（場合によっては全ての機能）を備えた構成も可能である。なお、上記脈拍推定装置、脈拍推定システムおよび脈拍推定方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
　本開示に係る脈拍推定装置、脈拍推定システムおよび脈拍推定方法は、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定可能とし、人体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置、脈拍推定システムおよび脈拍推定方法などとして有用である。
１　脈拍推定システム
２　カメラ
３　脈拍推定装置
５　ズームレンズ機構
１１　撮像部
１２　ズーム制御部
２１　画像入力部
２２　領域抽出部
２３　脈拍算出部（脈拍推定部）
２４　表示部
２６　領域判定部
２７　データ記憶部
２８　ズーム指令部
Ｈ　人物（被写体）
Ｐ　撮像画像
Ｒ　顔領域

Claims (10)

  1. 　被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、
    　前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、
    　前記撮像画像から肌色領域を抽出する領域抽出部と、
    　前記肌色領域の大きさを調整するべく、前記撮像画像を撮像した前記カメラまたはそのユーザに対するズーム指令を送出するズーム指令部と、
    　前記ズーム指令の送出後に前記カメラによって撮像された前記撮像画像の前記肌色領域に基づき、前記被検体の脈拍を推定する脈拍推定部と
    を備えたことを特徴とする脈拍推定装置。
  2. 　前記肌色領域の大きさが予め設定された基準範囲を満たすか否かを判定する領域判定部を更に備え、
    　前記ズーム指令部は、前記領域判定部により前記肌色領域の大きさが前記基準範囲を満たさないと判定された場合に、前記カメラまたはそのユーザに対する前記ズーム指令を送出することを特徴とする請求項１に記載の脈拍推定装置。
  3. 　前記領域判定部は、前記撮像画像における前記肌色領域を構成する画素の数に基づき前記肌色領域の大きさを決定し、前記画素数が予め設定された画素数の基準範囲を満たすか否かを判定することを特徴とする請求項２に記載の脈拍推定装置。
  4. 　前記領域判定部は、前記カメラのイメージセンサの性能に応じて前記基準範囲を変更することを特徴とする請求項２または請求項３に記載の脈拍推定装置。
  5. 　前記領域判定部は、前記撮像画像の露出条件に応じて前記基準範囲を変更することを特徴とする請求項２から請求項４のいずれかに記載の脈拍推定装置。
  6. 　前記脈拍推定部は、前記ズーム指令の送出前の前記撮像画像に基づき、前記被検体の脈拍を推定するとともに、当該推定した脈拍が安定しているか否かを判定し、
    　前記ズーム指令部は、前記脈拍推定部により前記脈拍が安定していないと判定された場合に、前記ズーム指令を送出することを特徴とする請求項１に記載の脈拍推定装置。
  7. 　前記領域抽出部は、前記肌色領域として前記撮像画像における前記被検体における顔領域を抽出することを特徴とする請求項１または請求項６のいずれかに記載の脈拍推定装置。
  8. 　前記ユーザに対する前記ズーム指令に基づき、前記ユーザに対する前記肌色領域の大きさの調整に関する要求を表示する表示部を更に備えたことを特徴とする請求項１から請求項７のいずれかに記載の脈拍推定装置。
  9. 　請求項１から請求項８のいずれかに記載の前記脈拍推定装置と、前記ズーム指令に基づき所定のズーム動作を実行する前記カメラとを備えたことを特徴とする脈拍推定システム。
  10. 　被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定方法であって、
    　前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力ステップと、
    　前記撮像画像から肌色領域を抽出する領域抽出ステップと、
    　前記肌色領域の大きさを、予め設定された基準範囲を満たすように変更するべく、前記撮像画像を撮像した前記カメラまたはそのユーザに対するズーム指令を送出するズーム指令ステップと、
    　前記ズーム指令の送出後に前記カメラによって撮像された撮像画像の前記肌色領域に基づき、前記被検体の脈拍を推定する脈拍推定ステップと
    を有することを特徴とする脈拍推定方法。
PCT/JP2016/002277 2015-06-15 2016-05-10 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 WO2016203697A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16811178.9A EP3308702B1 (en) 2015-06-15 2016-05-10 Pulse estimation device, and pulse estimation method
US15/580,925 US10478079B2 (en) 2015-06-15 2016-05-10 Pulse estimation device, pulse estimation system, and pulse estimation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-120333 2015-06-15
JP2015120333A JP6653467B2 (ja) 2015-06-15 2015-06-15 脈拍推定装置、脈拍推定システムおよび脈拍推定方法

Publications (1)

Publication Number Publication Date
WO2016203697A1 true WO2016203697A1 (ja) 2016-12-22

Family

ID=57546379

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002277 WO2016203697A1 (ja) 2015-06-15 2016-05-10 脈拍推定装置、脈拍推定システムおよび脈拍推定方法

Country Status (4)

Country Link
US (1) US10478079B2 (ja)
EP (1) EP3308702B1 (ja)
JP (1) JP6653467B2 (ja)
WO (1) WO2016203697A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2958003C (en) 2016-02-19 2022-04-05 Paul Stanley Addison System and methods for video-based monitoring of vital signs
EP3681394A1 (en) 2017-11-13 2020-07-22 Covidien LP Systems and methods for video-based monitoring of a patient
US11712176B2 (en) 2018-01-08 2023-08-01 Covidien, LP Systems and methods for video-based non-contact tidal volume monitoring
JP7077093B2 (ja) * 2018-03-26 2022-05-30 三菱重工業株式会社 領域検出装置、領域検出方法及びそのプログラム
US11510584B2 (en) 2018-06-15 2022-11-29 Covidien Lp Systems and methods for video-based patient monitoring during surgery
CN112584753A (zh) 2018-08-09 2021-03-30 柯惠有限合伙公司 基于视频的患者监测***以及用于检测和监测呼吸的相关方法
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
US10881357B1 (en) 2019-09-18 2021-01-05 Panasonic Avionics Corporation Systems and methods for monitoring the health of vehicle passengers using camera images
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
JP7516860B2 (ja) * 2020-05-22 2024-07-17 株式会社リコー 脈波測定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002228939A (ja) * 2001-02-01 2002-08-14 Nikon Corp 望遠光学機器
JP2002300603A (ja) * 2001-03-29 2002-10-11 Minolta Co Ltd ３次元入力のための撮影装置
JP2005218507A (ja) * 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130906A1 (en) * 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to provide psychological profiles of individuals
JP5388511B2 (ja) 2008-09-04 2014-01-15 株式会社日立製作所 評価機能付き生体光計測装置
JP5538865B2 (ja) * 2009-12-21 2014-07-02 キヤノン株式会社 撮像装置およびその制御方法
JP5672144B2 (ja) 2011-05-20 2015-02-18 富士通株式会社 心拍数・呼吸数検出装置，方法およびプログラム
US10123711B2 (en) * 2012-01-10 2018-11-13 Maxim Integrated Products, Inc. Heart rate and blood oxygen monitoring system
WO2013128345A1 (en) * 2012-02-28 2013-09-06 Koninklijke Philips N.V. Device and method for monitoring vital signs
JP6023883B2 (ja) * 2012-07-10 2016-11-09 アイマゴ ソシエテ アノニムＡｉｍａｇｏ Ｓ．Ａ． 灌流評価マルチモダリティ光学医用デバイス
JP6072893B2 (ja) * 2013-03-08 2017-02-01 富士フイルム株式会社 脈波伝播速度の測定方法、その測定方法を用いた測定システムの作動方法及び脈波伝播速度の測定システム並びに撮像装置
DE112014006082T5 (de) * 2013-12-25 2016-10-27 Asahi Kasei Kabushiki Kaisha Pulswellenmessvorrichtung, Mobilvorrichtung, medizinisches Ausrüstungssystem und biologisches Informations-Kommunikationssystem
JPWO2016006027A1 (ja) * 2014-07-07 2017-04-27 富士通株式会社 脈波検出方法、脈波検出プログラム及び脈波検出装置
JP6531834B2 (ja) * 2015-11-20 2019-06-19 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002228939A (ja) * 2001-02-01 2002-08-14 Nikon Corp 望遠光学機器
JP2002300603A (ja) * 2001-03-29 2002-10-11 Minolta Co Ltd ３次元入力のための撮影装置
JP2005218507A (ja) * 2004-02-03 2005-08-18 Tama Tlo Kk バイタルサイン計測方法と装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3308702A4 *

Also Published As

Publication number Publication date
JP6653467B2 (ja) 2020-02-26
US10478079B2 (en) 2019-11-19
JP2017000612A (ja) 2017-01-05
EP3308702B1 (en) 2021-12-22
EP3308702A4 (en) 2018-06-13
EP3308702A1 (en) 2018-04-18
US20180310844A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
WO2016203697A1 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
US9330325B2 (en) Apparatus and method for reducing noise in fingerprint images
CN107169419B (zh) 基于机器视觉的非接触式人体体征检测方法及装置
JP6443842B2 (ja) 顔検出装置、顔検出システム、及び顔検出方法
JP6142664B2 (ja) 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
WO2019102966A1 (ja) 脈波検出装置、脈波検出方法、及び記憶媒体
US11647913B2 (en) Image processing apparatus and pulse estimation system provided therewith, and image processing method
JP2009123081A (ja) 顔検出方法及び撮影装置
JP6944901B2 (ja) 生体情報検出装置および生体情報検出方法
JP6167849B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
WO2020171554A1 (en) Method and apparatus for measuring body temperature using a camera
JP6497218B2 (ja) 脈波検出装置、脈波検出方法、脈波検出システム、及び、プログラム
WO2017154477A1 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
JP6937473B2 (ja) 画像処理装置及びこれを備えたバイタル情報取得システムならびに画像処理方法
WO2018192246A1 (zh) 一种基于机器视觉的非接触式情绪检测方法
JP7514521B2 (ja) 心拍測定システム、心拍測定方法、及び心拍測定プログラム
JP7074817B2 (ja) バイタルデータ測定装置及びバイタルデータ測定方法並びにコンピュータプログラム
JP6471924B2 (ja) 顔認証装置及び顔認証方法
JP2024024263A (ja) 振動測定システム及び振動測定方法
JP2009194422A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811178

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15580925

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE