CN110279406B - 一种基于摄像头的无接触式的脉率测量方法及装置 - Google Patents
一种基于摄像头的无接触式的脉率测量方法及装置 Download PDFInfo
- Publication number
- CN110279406B CN110279406B CN201910370933.2A CN201910370933A CN110279406B CN 110279406 B CN110279406 B CN 110279406B CN 201910370933 A CN201910370933 A CN 201910370933A CN 110279406 B CN110279406 B CN 110279406B
- Authority
- CN
- China
- Prior art keywords
- image information
- camera
- pulse rate
- frame
- target position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000001815 facial effect Effects 0.000 claims abstract description 27
- 238000005259 measurement Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000009977 dual effect Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000009532 heart rate measurement Methods 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 6
- 238000013186 photoplethysmography Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Cardiology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明实施例公开了一种基于摄像头的无接触式的脉率测量方法及装置，涉及计算机图像和视觉技术领域，能够实现非接触式的人体体征信号(脉率)的远程测量。本发明包括：从拍摄到的图像中识别人脸，并提取脸部特征点；跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；利用所述目标位置的图像信息提取皮肤像素；利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的脉率相关特征信号得到脉率时间序列，并输出测量结果。本发明适用于非接触式的人体体征信号测量。
Description
技术领域
本发明涉及计算机图像和视觉技术领域，尤其涉及一种基于摄像头的无接触式的脉率测量方法及装置。
背景技术
目前，基于非接触式的人体体征特征信号检测，例如脉率(心跳)测量，是学术界和工业界的科技研究的方向之一。通过非接触式获取人体心跳在医疗、金融和交通等领域有广泛的业务需求和商业价值。
在业界，目前通常采用心电图(ECG)和光电容积脉搏波(PPG)的方式完成脉率测量，其中：
心电图(ECG)方式测量，是目前最为成熟的、医疗器械级别的脉率测量方法。但是这种方式需要在被测人身上放置电极，需要专门的仪器和场地，灵活性不足且仪器设备的价格高昂，普通的消费者难以应用；光电容积脉搏波(PPG)方式测量，是借助光电手段在活体组织检测血液容积变化的一种无创检测方法，市场上常见的运动手环使用此方法进行脉率测量，但是在实际应用中，比如在跑步时，运动手环的佩戴者通常不喜欢将手环箍紧，这就导致光电感应器与使用者皮肤的举例和角度都是动态变化，这很大程度上会影响到测量的精度，因此目前市面上的运动手环普遍存在测量误差，只能用于粗略表示心率的变化趋势，难以应用于准确度要求更高的场景。
并且，这两种脉率测量方式均要求在被测者皮肤表面安放传感器(电极或PPG光感传感器)，即测量仪器需要极为靠近或者接触被测者，使用不便的问题始终无法解决。
发明内容
本发明的实施例提供一种基于摄像头的无接触式的脉率测量方法及装置，能够实现非接触式的人体体征信号(脉率)的远程测量。
为达到上述目的，本发明的实施例采用如下技术方案：
从拍摄到的图像中识别人脸，并提取脸部特征点；跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；利用所述目标位置的图像信息提取皮肤像素；利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的脉率相关特征信号得到脉率时间序列，并输出测量结果。
其中，所述提取脸部特征点，包括：在所采集的图像信息中定位人脸位置；依据所述人脸位置，获取所述脸部特征点所在位置。
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位置的图像信息，获取感兴趣区域(ROI)；从所述ROI内的像素中，识别所述皮肤像素。
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)；利用所述深度摄像头采集的景深帧，从所述ROI内的像素中，识别所述皮肤像素。
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)，其中，所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采集的；从所述ROI内的像素中，识别所述皮肤像素。
所述利用持续生成的脉率相关特征信号得到脉率时间序列，包括：根据所提取的皮肤像素，按照时间维度提取脉率相关特征信号；从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行信号融合；根据融合后的脉率相关特征信号进行脉率计算，得到持续生成的脉率时间序列。
本实施例中基于摄像头的人脸识别，通过对面部图像的像素进行分析，测得被测对象的脉率，无需其他辅助硬件，也不需要被测者携带任何贴身传感器，实现了非接触式的人体体征信号(脉率)的远程测量。并且进一步的，由于无需安置体表传感器，脉率测量直接依靠摄像头作为唯一的信号采集硬件设备，本实施例的方案还适合在多人同时进行脉率测量，可以基于目前已经建设的视频监控***进行部署，也节约了硬件的建设成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的***架构示意图；
图2为本发明实施例提供的方法流程示意图；
图3、图4、图5为本发明实施例提供的具体实例的示意图；
图6、图7为本发明实施例提供的装置结构的示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本实施例中的方法流程，具体可以执行在一种如图1所示的***中，其中包括：图像采集设备、云端服务器。
本实施例中所述的图像采集设备，可以是一种具有独立拍摄功能的摄像机设备，且该摄像机设备具备通信模块，可以与云端服务器进行通信，例如目前常见的安防摄像头。摄像头具体安装在指定的区域，比如安装在安检位置，并用于拍摄被检人员的面部图像；再比如：安装在云台上，用于拍摄人群中每个人的面部图像，云台可以安装在建筑物内或者户外，具体的***可以采用目前一些城市中所使用的“天网”***。
图像采集设备，具体可以采用数字摄像头或者模拟摄像头。其中，数字摄像头可以将拍摄的模拟视频信号转换成数字信号，进而传输至与摄像头连接的云端服务器。模拟摄像头捕捉到的视频信号，经过视频采集卡将模拟信号转换成数字模式，并加以压缩后传输至与摄像头连接的云端服务器。并且本实施例的具体方案也可以应用在多种摄像头上，比如纯彩色摄像头(RGB摄像头)、纯近红外(Near Infrared，NIR)摄像头和深度摄像头等。
本实施例中所揭示的云端服务器，具体可以是刀片机、工作站、超级计算机等设备，或者是由多个服务器设备组成的一种用于数据处理的服务器集群***。云端服务器可以通过移动无线网络或者互联网的方式，与检测终端进行数据交互，具体的数据交互方式或者通信方式，采用目前已有的网络标准和通信方案即可，本实施例中不做赘述。
本发明实施例提供一种基于摄像头的无接触式的脉率测量方法，如图2所示，包括：
S101、从拍摄到的图像中识别人脸，并提取脸部特征点。
其中，本实施例中对于人脸区域的识别，可以采用目前已有的人脸识别技术。而本实施例的方案重点在于对识别出的人脸的区域，进行进一步的图像特征提取和分析。用于拍摄人脸图像的摄像头可以由多种，并且可以集成在多种终端设备中，例如：
图像采集设备也可以是集成在检测终端上的摄像头，比如：智能手机上的摄像头(目前的智能手机已经实现了多摄像头拍摄，并且已经应用了纯彩色摄像头(RGB摄像头)、纯近红外(NIR)摄像头、广角摄像头和深度摄像头等)。
检测终端，具体可以实做成单独一台装置，或整合于各种用户的个人终端设备，包括：智能手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant，简称PDA)或可穿戴式设备(Wearable Device)等；检测终端也可以整合于专门的记录仪器中。其中操作记录仪包括了便携摄像头和存储设备，例如目前常用的行车记录仪或者直播用的摄像机等。
S102、跟踪人脸中的目标位置，得到所述目标位置的图像信息。
其中，通过持续跟踪人脸中的目标位置一段时间后，得到所述目标位置的连续动态变化的图像帧，所得的图像帧即作为所述目标位置的图像信息。在本实施例中，“某一位置的图像帧”可以理解为在图像采集设备所拍摄的完整的图像帧中，从目标位置所在的点或者进一步细化的区域中所提取的图像，这种所提取的图像属于完整的图像帧中的一部分。
具体的，目标位置包括：所述脸部特征点所在位置。其中，脸部特征点，指的是通过脸特征点识别算法，定位人脸的特征部位，如：眉毛、眼睛、鼻子、嘴、脸轮廓等。可选的，所述目标位置还包括头部位置和目光位置。通过头部识别算法和目光识别算法，分别势必得到头部位置和目光位置。
S103、利用所述目标位置的图像信息提取皮肤像素。
其中，皮肤像素指的是所拍摄图像中的、人脸所在区域内的且识别为皮肤区域的像素。
S104、利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的脉率相关特征信号得到脉率时间序列，并输出测量结果。
其中，脉率时间序列中记录了持续得到的脉率数值，脉率时间序列本身就可以作为测量结果并输出。也可以对脉率时间序列进行进一步的数据加工，即通过脉率时间序列进一步得到可视化程度更高的结果，比如：“最大脉率的X％”、“心跳过快”等文字信息，以便于用户查看。
并且，本实施例中对输出测量结果的具体形式并不限定，可以依据具体的应用场景而定，比如：可以直接输出至用户的智能终端的屏幕上，或者输出至云端服务器，并作为用户本人的生理数据由云端服务器记录。
相对于现有技术中通过在被测者皮肤表面安放传感器(电极或PPG光感传感器)，即测量仪器需要极为靠近或者解除被测者的方案。本实施例中基于摄像头的人脸识别，通过对面部图像的像素进行分析，测得被测对象的脉率，无需其他辅助硬件，也不需要被测者携带任何贴身传感器，实现了非接触式的人体体征信号(脉率)的远程测量。并且进一步的，由于无需安置体表传感器，脉率测量直接依靠摄像头作为唯一的信号采集硬件设备，本实施例的方案还适合在多人同时进行脉率测量，可以基于目前已经建设的视频监控***进行部署，从而节约了硬件的建设成本。
在本实施例中，提取脸部特征点的具体方式，可以包括：
在所采集的图像信息中定位人脸位置。之后，依据所述人脸位置，获取所述脸部特征点所在位置。例如以彩色摄像头(RGB摄像头)为例，通过RGB摄像头进行人脸识别和脸部特征点的过程包括了：
记录摄像头拍摄到的彩色帧(RGB)。
可选的，还可以对彩色帧进行预处理提供图像质量，例如白平衡，曝光补偿等。很多摄像头采集的图像信息已经经过硬件内部处理，所以此步骤为可选步骤。
采用人脸识别算法，定位图像中的人脸，并标注框图(bounding box)
采用人脸特征点识别算法，定位人脸的特征部位：眉毛、眼睛、鼻子、嘴、脸轮廓等。
动态实时跟踪人脸特征点，同时估算头部位置、目光位置。头部位置和目光位置为可选模块。
本实施例应用在不同的摄像头硬件设备上时，可以按照摄像头类型可分解为3类子方案：
其一、基于彩色摄像头(RGB摄像头)或近红外摄像头的脉率测量，如图3所示的：
彩色摄像头(RGB摄像头)采集的图像信息。其中，所述彩色摄像头采集的图像信息包括：彩色帧。
或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集的图像信息包括近红外帧。
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位置的图像信息，获取感兴趣区域(ROI)。从所述ROI内的像素中，识别所述皮肤像素。具体的，本实施例中采用的ROI处理方式，大致包括了：
根据人脸位置、人脸特征点位置以及其他辅助信息如头部位置、人脸动态跟踪位移矩阵等，实时计算感兴趣区域(ROI)。
识别ROI内的像素是否为人体皮肤像素，剔除包括眼镜、头发等对应的非皮肤像素。
ROI计算还包括背景的提取。背景信息有助于提升脉率特征计算信号质量。该步骤可以根据业务场景配置，为可选的。
在本实施例中，彩色摄像头(RGB摄像头)拍摄得到的彩色帧，通常表现为多个颜色信道的信号形式，比如：3个信道(红、绿、蓝)，每个信道是一个长*宽的2维矩阵，就是像素矩阵，比如1920*1080，每一个像素值的范围一般来说在0-255，通常为8比特的精确度。
而红外帧与彩色帧不同的就是：红外帧只有一个信道的像素矩阵，每个像素值在0-255取值范围内，通常也为8比特的精确度。因此本实施例中对于彩色摄像头(RGB摄像头)拍摄得到的彩色帧，以及近红外(NIR)摄像头采集的红外帧处理的逻辑流程是基本一致的，区别在于彩色摄像头(RGB摄像头)与近红外(NIR)摄像头在皮肤识别、脉率特征处理环节所使用的算法(计算模型)有所不同。
其二、在基于彩色摄像头(RGB摄像头)或近红外摄像头的脉率测量的基础上，进一步应用深度摄像头，还包括了：获取深度摄像头采集的图像信息，所述深度摄像头采集的图像信息包括景深帧。其中，彩色摄像头和近红外摄像头与深度摄像头，在硬件上是相互独立运作的。检测终端也可以仅基于景深帧进行脉率测量，在优选方案中则采用基于彩色帧+景深帧，或者是基于近红外帧+景深帧的测量方式。
其中，可以将深度摄像头采集的结构光参数，导入ROI处理方式过程。具体的，由于基于结构光的深度摄像头通常同时含有彩色帧、近红外帧和景深帧。因此，参照前述的技术方案，基于结构光深度摄像头的脉率测量信号处理流程即支持以彩色帧为主要图像信息源，近红外帧和景深帧辅助、也支持以近红外图像为主要图像信息源，彩色帧和景深帧辅助。如图4所示的，基于结构光的技术方案在ROI计算、皮肤识别、背景提取，以及脉率计算内核中的脉率特征处理和信号融合这些子模块算法中，同时利用彩色帧、近红外帧和景深帧信息，输出抗干扰性更佳的结果，从而提升最终脉率测量的准确度和鲁棒性。
所述利用所述目标位置的图像信息提取皮肤像素的过程，则包括：
根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)。利用所述深度摄像头采集的景深帧，从所述ROI内的像素中，识别所述皮肤像素。
即图像采集设备采集的是彩色帧+景深帧，或者是近红外帧+景深帧。并且在ROI计算和皮肤识别阶段加入了景深帧，也应用了彩色帧或近红外帧
其三、在基于双彩色摄像头(RGB摄像头)或双近红外摄像头的脉率测量的基础上，进一步应用深度摄像头，包括了：
获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包括：第一彩色帧和第二彩色帧。
或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的图像信息包括第一近红外帧和第二近红外帧。
其中，基于双目深度摄像头或TOF深度摄像头的技术方案与单目摄像头类似，区别在于深度摄像头提供了景深信息，如图5所示，将该信息输入到ROI计算，以提升背景提取和皮肤识别算法的性能。
所述利用所述目标位置的图像信息提取皮肤像素的过程，则包括：
根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)。从所述ROI内的像素中，识别所述皮肤像素。
其中，所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采集的。即图像采集设备采集的是双路的彩色帧+景深帧，或者是双路的近红外帧+景深帧。并且在ROI计算阶段加入了景深帧，也应用了彩色帧或近红外帧。
在本实施例中，所述利用持续生成的脉率相关特征信号得到脉率时间序列，包括：
S1041、根据所提取的皮肤像素，按照时间维度提取脉率相关特征信号。
具体的，可以针对ROI中的皮肤像素，按照时间维度提取脉率相关特征信号。针对提取的脉率特征信号进行包括重采样、降噪、滤波和信号合成等一系列信号处理。进一步的，脉率特征信号处理可利用背景相关特征信号，有助于提高脉率特征信号处理质量。基于背景的特征提取和处理为可选辅助模块。
S1042、从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行信号融合。
其中，根据各个特征的信号质量自动进行样本点选取。根据选定的样本点进行信号融合，以提高信号质量
S1043、根据融合后的脉率相关特征信号进行脉率计算，得到持续生成的脉率时间序列。
其中，在根据融合的信号进行脉率计算，得到持续生成的脉率时间序列后。进一步对持续生成的脉率时间序列进行平滑和噪点纠错处理。
本实施例所提供的非接触式、多人同时进行的远程脉率测量***，基于摄像头测量脉率，***不仅支持传统单目摄像头(RGB和NIR)，也支持所有主流深度摄像头结构(双目、TOF、结构光)。扩展了脉率测量的业务场景边界，应用场景广泛，适用于医疗、安防、交通和金融等多个行业领域。
本实施例还提供一种基于摄像头的无接触式的脉率测量装置，该装置具体可以通过计算机程序编写相应的功能模块，并运行在检测终端上；也可以由摄像头将拍摄到的图像数据传输至云端服务器，直接由云端服务器进行分析处理，即该装置也可以实现为一种线上程序，摄像头仅作为前端的拍摄工具，本实施例中的方法流程在云端服务器上执行，目前基于5G的技术框架下，这种前端摄像头+云端处理的方式，已经逐渐成熟。该装置如图6所示的，包括：
预处理模块，用于从拍摄到的图像中识别人脸，并提取脸部特征点。
定位模块，用于跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置。
图像处理模块，用于利用所述目标位置的图像信息提取皮肤像素。
分析模块，用于利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的脉率相关特征信号得到脉率时间序列，并输出测量结果。
其中，所述预处理模块，具体用于在所采集的图像信息中定位人脸位置。并依据所述人脸位置，获取所述脸部特征点所在位置。
所述分析模块，具体用于根据所提取的皮肤像素，按照时间维度提取脉率相关特征信号。从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行信号融合。根据融合后的脉率相关特征信号进行脉率计算，得到持续生成的脉率时间序列。
进一步的，如图7所示的，还包括：
数据接收模块，用于获取彩色摄像头(RGB摄像头)采集的图像信息，所述彩色摄像头采集的图像信息包括：彩色帧。
或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集的图像信息包括近红外帧。
所述图像处理模块，具体用于根据所述目标位置的图像信息，获取感兴趣区域(ROI)。从所述ROI内的像素中，识别所述皮肤像素。
可选的，所述数据接收模块，还用于获取深度摄像头采集的图像信息，所述深度摄像头采集的图像信息包括景深帧。
所述图像处理模块，具体用于根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)。利用所述深度摄像头采集的景深帧，从所述ROI内的像素中，识别所述皮肤像素。
可选的，所述数据接收模块，还用于获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包括：第一彩色帧和第二彩色帧。
或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的图像信息包括第一近红外帧和第二近红外帧。
所述图像处理模块，具体用于根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)，其中，所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采集的。从所述ROI内的像素中，识别所述皮肤像素。
相对于现有技术中通过在被测者皮肤表面安放传感器(电极或PPG光感传感器)，即测量仪器需要极为靠近或者解除被测者的方案。本实施例中基于摄像头的人脸识别，通过对面部图像的像素进行分析，测得被测对象的脉率，无需其他辅助硬件，也不需要被测者携带任何贴身传感器，实现了非接触式的人体体征信号(脉率)的远程测量。并且进一步的，由于无需安置体表传感器，脉率测量直接依靠摄像头作为唯一的信号采集硬件设备，本实施例的方案还适合在多人同时进行脉率测量，可以基于目前已经建设的视频监控***进行部署，从而节约了硬件的建设成本。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (5)
1.一种基于摄像头的无接触式的脉率测量方法，其特征在于，包括：
从拍摄到的图像中识别人脸，并提取脸部特征点；
跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；
利用所述目标位置的图像信息提取皮肤像素；
利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的脉率相关特征信号得到脉率时间序列，并输出测量结果；
所述提取脸部特征点，包括：在所采集的图像信息中定位人脸位置；依据所述人脸位置，获取所述脸部特征点所在位置；
其中，获取彩色摄像头(RGB摄像头)采集的图像信息，所述彩色摄像头采集的图像信息包括：彩色帧；或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集的图像信息包括近红外帧；
还包括：获取深度摄像头采集的图像信息，所述深度摄像头采集的图像信息包括景深帧；
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)；利用所述深度摄像头采集的景深帧，从所述ROI内的像素中，识别所述皮肤像素；
还包括：获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包括：第一彩色帧和第二彩色帧；或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的图像信息包括第一近红外帧和第二近红外帧；
所述利用所述目标位置的图像信息提取皮肤像素，包括：根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)，其中，所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采集的；从所述ROI内的像素中，识别所述皮肤像素。
2.根据权利要求1所述的方法，其特征在于，所述目标位置还包括头部位置和目光位置。
3.根据权利要求1所述的方法，其特征在于，所述利用持续生成的脉率相关特征信号得到脉率时间序列，包括：
根据所提取的皮肤像素，按照时间维度提取脉率相关特征信号；
从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行信号融合；
根据融合后的脉率相关特征信号进行脉率计算，得到持续生成的脉率时间序列。
4.一种基于摄像头的无接触式的脉率测量装置，其特征在于，包括：
预处理模块，用于从拍摄到的图像中识别人脸，并提取脸部特征点；
定位模块，用于跟踪人脸中的目标位置，得到所述目标位置的图像信息，所述目标位置包括：所述脸部特征点所在位置；
图像处理模块，用于利用所述目标位置的图像信息提取皮肤像素；
分析模块，用于利用所提取的皮肤像素，获取脉率相关特征信号，根据持续生成的脉率相关特征信号得到脉率时间序列，并输出测量结果；
所述预处理模块，具体用于在所采集的图像信息中定位人脸位置；并依据所述人脸位置，获取所述脸部特征点所在位置；
还包括：
数据接收模块，用于获取彩色摄像头(RGB摄像头)采集的图像信息，所述彩色摄像头采集的图像信息包括：彩色帧；
或者，获取近红外(NIR)摄像头采集的图像信息，所述近红外摄像头采集的图像信息包括近红外帧；
所述图像处理模块，具体用于根据所述目标位置的图像信息，获取感兴趣区域(ROI)；从所述ROI内的像素中，识别所述皮肤像素；
所述数据接收模块，还用于获取深度摄像头采集的图像信息，所述深度摄像头采集的图像信息包括景深帧；
所述图像处理模块，具体用于根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)；利用所述深度摄像头采集的景深帧，从所述ROI内的像素中，识别所述皮肤像素；
所述数据接收模块，还用于获取双彩色摄像头采集的图像信息，所述双彩色摄像头采集的图像信息包括：第一彩色帧和第二彩色帧；
或者，获取双近红外摄像头采集的图像信息，所述双近红外摄像头采集的图像信息包括第一近红外帧和第二近红外帧；
所述图像处理模块，具体用于根据所述目标位置的图像信息和所述深度摄像头采集的景深帧，获取感兴趣区域(ROI)，其中，所述目标位置的图像信息是从双彩色摄像头或者双近红外摄像头采集的；从所述ROI内的像素中，识别所述皮肤像素。
5.根据权利要求4所述的装置，其特征在于，所述分析模块，具体用于根据所提取的皮肤像素，按照时间维度提取脉率相关特征信号；从所提取的脉率相关特征信号中选取样本点，并根据所选取的样本点进行信号融合；根据融合后的脉率相关特征信号进行脉率计算，得到持续生成的脉率时间序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910370933.2A CN110279406B (zh) | 2019-05-06 | 2019-05-06 | 一种基于摄像头的无接触式的脉率测量方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910370933.2A CN110279406B (zh) | 2019-05-06 | 2019-05-06 | 一种基于摄像头的无接触式的脉率测量方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110279406A CN110279406A (zh) | 2019-09-27 |
| CN110279406B true CN110279406B (zh) | 2022-07-15 |
Family
ID=68001601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910370933.2A Active CN110279406B (zh) | 2019-05-06 | 2019-05-06 | 一种基于摄像头的无接触式的脉率测量方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110279406B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112890792A (zh) * | 2020-11-25 | 2021-06-04 | 合肥工业大学 | 一种基于网络摄像头的云计算心血管健康监护***及方法 |
| WO2022177501A1 (en) * | 2021-02-16 | 2022-08-25 | Space Pte. Ltd. | A system and method for measuring vital body signs |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077881A (zh) * | 2014-06-30 | 2014-10-01 | 天津大学 | 一种基于机器视觉的婴幼儿监测方法及装置 |
| CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
| CN107358220A (zh) * | 2017-07-31 | 2017-11-17 | 江西中医药大学 | 一种人体心率与呼吸的非接触式测量方法 |
| CN107422841A (zh) * | 2017-03-03 | 2017-12-01 | 杭州市第人民医院 | 一种基于非接触式情绪识别的人机交互方法 |
| CN107518880A (zh) * | 2017-08-14 | 2017-12-29 | 无锡南理工科技发展有限公司 | 一种体征监测手环 |
| CN108549884A (zh) * | 2018-06-15 | 2018-09-18 | 天地融科技股份有限公司 | 一种活体检测方法及装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3962929B2 (ja) * | 2004-05-18 | 2007-08-22 | 防衛省技術研究本部長 | レーザ距離画像生成装置及び方法 |
| US20080304736A1 (en) * | 2007-02-20 | 2008-12-11 | Masahiro Nakagawa | Method of estimating a visual evaluation value of skin beauty |
| AU2010214017B2 (en) * | 2009-01-20 | 2015-05-07 | Myskin, Inc. | Skin analysis methods |
| US9098873B2 (en) * | 2010-04-01 | 2015-08-04 | Microsoft Technology Licensing, Llc | Motion-based interactive shopping environment |
| JP5818458B2 (ja) * | 2011-02-25 | 2015-11-18 | キヤノン株式会社 | 画像処理装置、撮影システム、画像処理方法及びプログラム |
| TW201315438A (zh) * | 2011-10-14 | 2013-04-16 | Ind Tech Res Inst | 非接觸式之心脈量測方法及其系統 |
| JP5990906B2 (ja) * | 2011-12-19 | 2016-09-14 | ソニー株式会社 | 測定装置、測定方法、プログラムおよび記録媒体 |
| US9226691B2 (en) * | 2012-06-01 | 2016-01-05 | Xerox Corporation | Processing a video for tidal chest volume estimation |
| WO2014112635A1 (ja) * | 2013-01-18 | 2014-07-24 | 株式会社東芝 | 動作情報処理装置 |
| CN105393252B (zh) * | 2013-04-18 | 2019-04-19 | 数字标记公司 | 生理数据采集和分析 |
| US10638942B2 (en) * | 2013-06-26 | 2020-05-05 | Massachusetts Institute Of Technology | Pulse detection from head motions in video |
| US10335045B2 (en) * | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| CN108968928A (zh) * | 2018-07-04 | 2018-12-11 | 芜湖圣美孚科技有限公司 | 一种脉象采集处理***及其采集方法 |
| CN109101949A (zh) * | 2018-08-29 | 2018-12-28 | 广州洪荒智能科技有限公司 | 一种基于彩***信号频域分析的人脸活体检测方法 |
| CN109558813A (zh) * | 2018-11-14 | 2019-04-02 | 武汉大学 | 一种基于脉搏信号的ai深度换脸视频取证方法 |
| CN109247923B (zh) * | 2018-11-15 | 2020-12-15 | 中国科学院自动化研究所 | 基于视频的非接触式脉搏实时估计方法及设备 |
-
2019
- 2019-05-06 CN CN201910370933.2A patent/CN110279406B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077881A (zh) * | 2014-06-30 | 2014-10-01 | 天津大学 | 一种基于机器视觉的婴幼儿监测方法及装置 |
| CN105989357A (zh) * | 2016-01-18 | 2016-10-05 | 合肥工业大学 | 一种基于人脸视频处理的心率检测方法 |
| CN107422841A (zh) * | 2017-03-03 | 2017-12-01 | 杭州市第人民医院 | 一种基于非接触式情绪识别的人机交互方法 |
| CN107358220A (zh) * | 2017-07-31 | 2017-11-17 | 江西中医药大学 | 一种人体心率与呼吸的非接触式测量方法 |
| CN107518880A (zh) * | 2017-08-14 | 2017-12-29 | 无锡南理工科技发展有限公司 | 一种体征监测手环 |
| CN108549884A (zh) * | 2018-06-15 | 2018-09-18 | 天地融科技股份有限公司 | 一种活体检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110279406A (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Niu et al. | Rhythmnet: End-to-end heart rate estimation from face via spatial-temporal representation | |
| CN105160318B (zh) | 基于面部表情的测谎方法及*** | |
| CN107169419B (zh) | 基于机器视觉的非接触式人体体征检测方法及装置 | |
| KR101725357B1 (ko) | 휴대용 단말기를 사용하는 맥파 신호 측정 방법 | |
| Tsouri et al. | On the benefits of alternative color spaces for noncontact heart rate measurements using standard red-green-blue cameras | |
| CN104138254A (zh) | 非接触式自动心率测量***及测量方法 | |
| KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
| CN105147274A (zh) | 一种从可见光谱段人脸视频信号中提取心率的方法 | |
| Fouad et al. | Optimizing remote photoplethysmography using adaptive skin segmentation for real-time heart rate monitoring | |
| CN109359634A (zh) | 一种基于双目摄像机的人脸活体检测方法 | |
| CN110279406B (zh) | 一种基于摄像头的无接触式的脉率测量方法及装置 | |
| Yin et al. | Heart rate estimation based on face video under unstable illumination | |
| Chen et al. | Eliminating physiological information from facial videos | |
| Blackford et al. | Long-range non-contact imaging photoplethysmography: cardiac pulse wave sensing at a distance | |
| Wang et al. | VitaSi: A real-time contactless vital signs estimation system | |
| CN110321781B (zh) | 一种用于无接触式测量的信号处理方法及装置 | |
| CN110321782B (zh) | 一种检测人体特征信号的*** | |
| Wei et al. | Remote photoplethysmography and heart rate estimation by dynamic region of interest tracking | |
| Ding et al. | Noncontact multiphysiological signals estimation via visible and infrared facial features fusion | |
| CN108814543B (zh) | 高速视频眼震仪*** | |
| EP3370422B1 (en) | Image processing apparatus and pulse estimation system provided therewith, and image processing method | |
| Oviyaa et al. | Real time tracking of heart rate from facial video using webcam | |
| Lomaliza et al. | Combining photoplethysmography and ballistocardiography to address voluntary head movements in heart rate monitoring | |
| Zheng et al. | Hand-over-face occlusion and distance adaptive heart rate detection based on imaging photoplethysmography and pixel distance in online learning | |
| Mirabet-Herranz et al. | LVT Face Database: A benchmark database for visible and hidden face biometrics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 210042 No.1, Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province Patentee after: Shanghai Star Map Financial Services Group Co.,Ltd. Country or region after: China Address before: 210042 No.1, Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province Patentee before: Suning Financial Services (Shanghai) Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240621 Address after: The 7th, 8th, 9th, 27th, 28th, and 29th floors of Building 4, No. 248 Lushan Road, Jianye District, Nanjing City, Jiangsu Province, 210000, and the 1st and 2nd floors of the podium of Building 4 Patentee after: Jiangsu Sushang Bank Co.,Ltd. Country or region after: China Address before: 210042 No.1, Suning Avenue, Xuanwu District, Nanjing City, Jiangsu Province Patentee before: Shanghai Star Map Financial Services Group Co.,Ltd. Country or region before: China |