CN106778695B - 一种基于视频的多人快速心率检测方法 - Google Patents

Abstract

本发明涉及人体健康监测技术领域，公开了一种基于视频的多人快速心率检测方法，利用非接触方式通过摄像头采集被测者视频数据，并将视频数据的颜色空间由RGB转换成HSV，实现了多人的心率快速测量。其特征在于，该方法通过检测与跟踪由摄像头输入的视频或是已有视频中的多个人脸区域并分割出脸颊区域，提取脸颊区域的时域数据序列并进行预处理，然后转换到频域进行心率的提取。与现有技术相比，本发明基于改进的人脸检测算法与改进的跟踪算法并利用多线程方法加速，能够实现多人的快速心率检测，缩短了心率测量的时间，提高了生理信号的检测效率。

Description

一种基于视频的多人快速心率检测方法

技术领域

本发明专利涉及人体健康监测技术领域，具体涉及一种可以实现多人快速心率测量的方法。

背景技术

心率是指心脏每分钟跳动的次数，因年龄、性别及其它生理情况的不同而不同。初生儿的心率很快，可达130次/分以上。正常成年人安静时的心率有显著的个体差异，平均在75次/分左右(60-100次/分之间)。同一个人，在安静或睡眠时心率减慢，运动或有情绪波动时心率加快。因此，心率可以充分反映一个人的身体状况，是进行自我健康监测的重要生理参数，也是医生对病人进行疾病诊断的重要依据。

心率按照测量方式的不同可以分为接触式测量和非接触式测量。接触式测量的代表之一是心率测量的金标准—心电图(EEG)，此外还有缠绕胸带、袖带或电极在手腕、指尖、耳垂等位置的接触式测量方法，接触式测量方法的最大缺点是测量操作复杂、测量周期较长以及接触皮肤会给被测者带来不适，而基于光电容积脉搏描记技术(IPPG)的非接触式测量方法很好地克服了接触式心率测量方法的缺点，是目前应用比较广泛的非接触式测量方法。

但是，基于现有IPPG的非接触式测量方法又存在对于光线的变化比较敏感、测量速度低、测量结果易受运动伪差的影响、心率测量结果精度低、大多数是基于单个人的心率测量等问题。

发明内容

1.本发明旨在至少解决上述技术问题之一。

2.为此，本发明的目的在于提出一种基于视频的非接触式多人快速心率检测方法，该方法可以对通过摄像头获取的包含多个人脸的视频或者含有多个人脸的视频中的人脸自动检测与快速跟踪，对获得的人脸区域分析处理后即可获得各个被测者的心率。

3.该方法包括以下部分：视频获取部分、人脸检测部分、人脸跟踪部分、ROI色调分帧提取部分、时域信号获取部分、时域信号处理部分、心率计算部分、人脸编号以及心率显示部分；

4.所述视频获取部分，用于选定工作方式：一是开启摄像头，在日常照明的室内环境下，确定成像设备可以对人脸区域清晰完整成像的位置后固定摄像头；二是选用一段本地已有的包含人脸区域的视频；

5.所述人脸检测部分，用于从视频中检测出人脸区域，将各个人脸区域编号返回人脸编号及心率显示部分，并初始化人脸跟踪部分；

6.所述人脸跟踪部分，对人脸检测部分检测到的各个人脸区域进行快速跟踪。

7.所述ROI色调分帧提取部分，用于提取视频中每帧图像ROI区域的颜色空间由RGB转换为HSV后的Hue(色调)分量的值；

8.所述时域信号获取部分，用于将每帧ROI区域图像中的人脸划分出脸颊区域，并对这个区域HSV三种颜色分量中的Hue(色调)分量取像素的灰度均值，脸颊区域H分量的时域信号值X(t)；

9.所述时域信号处理部分，用于将获得的时域信号值X(t)进行噪声抑制、信号去趋势化，获得处理后的时域信号值

10.所述心率计算部分，用于对时域信号值

进行频谱分析并生成频谱图，在频谱图中提取处于指定频带内的峰值频率进行心率计算；

11.所述人脸编号及心率显示部分，用于对人脸检测部分标记的各人脸区域编号以及由心率计算部分得到的该人脸区域编号所对应的心率值显示在视频中。

较佳的，视频获取部分通过PC机控制成像设备实现。

较佳的，人脸检测部分通过同时加载鼻子、嘴巴、正脸的分类器方法实现。

较佳的，人脸跟踪部分通过改进的适合多人快速的压缩跟踪的方法实现。

较佳的，ROI色调分帧提取部分通过将颜色空间由RGB转化为HSV并提取H分量的方法实现。

较佳的，时域信号获取部分通过提取脸颊ROI区域的灰度均值的方法实现。

较佳的，时域信号处理部分通过均值滤波、小波除躁、滑动平均的方法实现。

较佳的，心率计算部分通过快速傅里叶变换的方法实现。

较佳的，人脸编号以及心率显示部分通过多线程的方法实现。

附图说明

1.图1为本发明的心率测量方法步骤图

2.图2为本发明所包括的各部分的框图

3.图3为本发明的心率测量方法流程图以及多线程示意图

4.图4为本发明的心率测量方法人脸检测部分流程图

5.图5为本发明的心率测量方法人脸跟踪部分流程图

6.图6为本发明的心率测量方法人脸跟踪部分目标检测框与其邻近检测框位置关系图

具体实施方式

1.为了清楚说明本发明的目的、技术方案及优点，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

2.如图1所示，为本发明的基于视频的多人快速心率测量方法步骤图。

3.如图2所示，为本发明的基于视频的多人快速心率测量方法所包含各部分的框图。

4.第一步，选择工作方式，本发明提供两种工作方式：一是通过摄像头直接对被测者进行实时的心率检测，二是本地视频中的被测者进行实时的心率检测。两种工作方式中的视频都需要选定照明合适的环境，确定成像设备可以对人脸区域清晰并较完整成像。以下步骤以工作方式一为实施例。

5.第二步，启动成像设备，对待测对象进行脸部的视频采集，然后将摄像头输入的视频分解为图像序列并将RGB图像转换为灰度图，采集过程中允许人脸在成像场景范围内移动和偏转。

6.第三步，判断当前人脸检测状态，若没有检测到人脸则启动人脸检测部分，直到检测到人脸，将人脸编号返回给人脸编号及心率显示部分，并用检测结果初始化跟踪部分，同时将人脸检测状态标记为已检测到人脸，该部分的工作流程参见图4。

7.第四步，启动人脸跟踪部分，对当前检测到的所有人脸分别进行跟踪，并由跟踪模块返回跟踪状态，若跟踪成功则继续下一步，否则返回第三步，跟踪过程参见图5；跟踪中的搜索半径依据图6进行更新：其中，编号为1～8的8个框分别表示当前目标框周围可能存在的8个相邻位置的框，框的面积表示不同位置处所跟踪人脸区域大小。由图中坐标轴所示，假设目标框的参数分别为(x₀,y₀,w₀,h₀)，四个参数依次表示目标框所对应矩形左上角顶点横坐标、纵坐标、矩形宽、矩形高；同理，可以假设8个跟踪框的参数为(x_i,y_i,w_i,h_i)，其中i依次取1,2,3,4,5,6,7,8；下面以目标框与其右上角跟踪框之间距离计算为例，其他情况与此类似，此时满足条件:

得到最小距离为：

则搜索半径为：

r_search＝l_min*0.8

8.第五步，对跟踪的每个人脸区域(ROI)进行均值滤波，分割出脸颊区域，提取脸颊区域H分量的灰度均值，并对获得的时域信号X(t)进行小波去噪、滑动滤波、信号去趋势化，得到最终的时域信号

9.第六步，对上步得到的时域信号进行快速傅里叶变换，选取0.5Hz～3Hz之间对应频谱值最大的频率，该频率值对应到每分钟的数值,即为心率。这里选取的0.5Hz～3Hz表示心率处于30～180拍/分钟的情况，包含了绝大多数心率可能出现的范围，同时剔除了其他生理信号的干扰，该步的实现过程参见图3中的线程2。

10.第七步，启用线程3，将不同人脸编号对应的心率数据实时显示在视频中。

11.有益效果：与现有技术相比，本发明基于图像处理，提出一种快速的多人心率测量方法，通过多线程方法以及改进的跟踪算法实现了多人心率检测的加速，通过改进的检测算法以及跟踪算法降低了误检率，提高了检测效率。

Claims (10)

1.一种基于视频的多人快速心率检测方法，该方法包括如下步骤：

S100、选择工作模式，若是直接工作模式则调用程序自动打开摄像头，若是间接工作模式则调用程序自动读取视频，然后调用人脸检测模块检测视频中的人脸区域；

S200、将检测到的人脸区域位置信息传递给人脸跟踪模块，启动人脸跟踪，实现多人人脸快速跟踪，同时获取所跟踪人脸区域的灰度均值；

S300、将获取的图像信息进行处理并转化为时域信号，然后对时域信号进行滤波、除噪、去趋势化处理后得到预处理数据并启动线程2，将变换到频域，得到频域数据，根据频域数据计算出心率；

S400、启动线程3，将每个检测对象的编号及其心率值在视频中实时显示；

所述人脸跟踪模块是利用改进的压缩跟踪(Compress Tracking)算法，通过两种方法抑制在跟踪过程中跟踪框的漂移，两种方法分别是：

1)根据当前检测框与其邻近检测框之间存在的8种位置关系，分别计算出每种位置关系下的距离并从中选出最小距离l_min，令搜索半径r_search＝l_min*0.8，避免搜索半径过大造成各跟踪目标之间特征提取的混叠；

2)利用集成学习的思想，分别在目标区域内以4个像素点为半径，取出45个正样本，在目标区域外以8为内半径，12为外半径的圆环中随机选取50个负样本；以4个像素点为内径6个像素点为外径，取出60个正样本，在目标区域外以12为内半径，16为外半径的圆环中随机选取60个负样本；分别将这两组正负样本送入分类器，并将这两种情况下分类器分别返回的最大位置的均值作为跟踪目标的位置。

2.根据权利要求1所述的多人快速心率检测方法,其特征是：所述步骤S200中，具体包括如下步骤：

S201、根据上一帧图像中该跟踪框与其最邻近跟踪框之间的距离大小以及位置关系设定新的搜索半径；

S202、根据新的搜索半径在跟踪位置附近采集的样本中提取特征并映射到低维空间，得到待分类区域；

S203、用上一帧得到的两个贝叶斯分类器分别对这些待分类区域对进行分类，选出最有可能是目标的矩形框，作为当前跟踪结果；

若判断出当前跟踪对象已经移动到整个视频画面中的边缘，则标记跟踪不成功，重启人脸检测模块，并将当前心率检测结果清空，否则执行步骤S204；

S204、以当前帧目标区域为中心，取两组正负样本，分别是：

1)在目标区域内以4个像素点为半径，取出45个正样本，在目标区域外以8为内半径，12为外半径的圆环中随机选取50个负样本；

2)在目标区域内以4个像素点为内经6个像素点为外径，取出60个正样本，在目标区域外以12为内半径，16为外半径的圆环中随机选取60个负样本；

S205、计算原图像的积分图与Haar特征提取模板；

S206、根据积分图和所得的Haar特征提取模板，提取正负样本的特征，更新贝叶斯分类器，获取新的分类器，用该分类器对当前帧图像中目标进行跟踪。

3.根据权利要求1所述的多人快速心率检测方法,其特征是：使用网络摄像头或手机摄像头日常生活中常用的成像设备来实现心率测量。

4.根据权利要求1所述的多人快速心率检测方法，其特征是：有两种工作方式可选，可以通过摄像头直接检测被测者的人脸区域也可以对本地视频中的人脸区域进行心率检测。

5.根据权利要求1所述的多人快速心率检测方法，其特征是：所述人脸检测模块通过加载人脸分类器、鼻子分类器、嘴巴分类器三个分类器来降低误检率，通过对待检测图像进行直方图均衡化降低漏检率。

6.根据权利要求1所述的多人快速心率检测方法，其特征是：所述人脸跟踪模块检测到有检测对象中移出检测视野后，清空该对象的心率数据，退出人脸跟踪模块并重启人脸检测模块。

7.根据权利要求1所述的多人快速心率检测方法，其特征是：从人脸区域中划分出脸颊区域，进行心率信号的提取，避免了眼睛的眨动以及被测额头部分毛发的遮挡对ROI灰度值带来的影响，提高了心率测量精度。

8.根据权利要求1所述的多人快速心率检测方法，其特征是：利用多线程对心率检测进行加速，心率计算部分与人脸编号以及心率显示部分分别占用单独的线程，不影响其他模块的工作，进一步加快了运算速度，实现了多人心率的快速探测。

9.根据权利要求1所述的多人快速心率检测方法，其特征是：所述检测 对象的编号以及心率显示部分根据人脸检测模块检测出的人脸的顺序依次在各个人脸跟踪框上标记出其对应的编号，并在视频中按照编号由小到大的顺序依次显示各个被测者对应的心率值。

10.一种基于视频的多人快速心率检测方法，该方法主要应用于日常非接触心率测量***中，利用网络摄像头、手机摄像头成像设备对包含人脸的区域拍摄视频，实现多人心率快速自动测量，其特征在于，该方法包括视频获取部分、人脸检测部分、人脸跟踪部分、ROI色调分帧提取部分、时域信号获取部分、时域信号处理部分、心率计算部分、人脸编号以及心率显示部分；所述视频获取部分，用于借助摄像头获取一段包含多个人脸区域的彩***图像或者选择本地视频文件；所述人脸跟踪部分，基于两帧图片之间人脸不会产生大幅度位置变化的思想，优化压缩跟踪算法；所述ROI色调分帧提取部分，用于提取每帧图片的颜色空间由RGB转换为HSV后的H(Hue)分量的值；所述时域信号获取部分，用于从每帧ROI区域划分出脸颊区域，并求取脸颊区域H分量的灰度均值，作为该帧图像的特征值，并生成时域信号X(t)；所述时域信号处理部分，用于将获得的时域信号X(t)进行噪声抑制，获得处理后的时域信号所述心率计算部分，用于对时域信号值进行频谱分析并生成频谱图，在频谱图中提取处于指定频带内的峰值频率进行心率计算；

所述人脸跟踪部分是利用本发明改进的压缩跟踪(Compress Tracking)算法，通过两种方法抑制在跟踪过程中跟踪框的漂移，两种方法分别是：

1)根据当前检测框与其邻近检测框之间存在的8种位置关系，分别计算出每种位置关系下的距离并从中选出最小距离l_min，令搜索半径r_search＝l_min*0.8，避免搜索半径过大造成各跟踪目标之间特征提取的混叠；

2)利用集成学习的思想，分别在目标区域内以4个像素点为半径，取出45个正样本，在目标区域外以8为内半径，12为外半径的圆环中随机选取50个负样本；以4个像素点为内径6个像素点为外径，取出60个正样本，在目标区域外以12为内半径，16为外半径的圆环中随机选取60个负样本；分别将这两组正负样本送入分类器，并将这两种情况下分类器分别返回的最大位置的均值作为跟踪目标的位置。

Images