CN114092855A - 基于深度学习的非接触智能人体心率预测方法 - Google Patents

Abstract

本发明公开了一种基于深度学***均值随时间变化的时间序列，该时间序列作为初始信号。利用多种信号处理技术对初始信号进行提取与去噪，将该信号作为深度学习模型的输入，提取出与心率有关的周期性特征，得到心率结果。本发明只使用了普通的摄像头进行非接触式测量，不需热红外摄像头或多普勒雷达等昂贵复杂的设备，采用信号处理方法及深度学习模型得到心率值，避免由于环境光变化及运动产生的噪声。与使用傅里叶变换相比，得到的心率值更加准确。

Description

基于深度学习的非接触智能人体心率预测方法

技术领域

本发明涉及智能人体心率预测技术领域，具体涉及一种基于深度学习的非接触智能人体心率预测方法。

背景技术

光电容积脉搏波描记法(Photoplethysmography,PPG)利用人脸视频进行非接触式心率测量主要是以PPG为基础的测量方法。PPG是一种光学测量技术，通过分析面部区域反射光的变化，检测血管组织内血容量的变化。因为血液会比周围组织吸收更多的光，因此血液体积的变化会相应地影响光的透射和反射。

当皮肤表面受到光束照射时，光束经过皮肤表面的反射、透射等传递到接收传感器。人体皮肤组织、骨骼等对光束的衰减作用是固定的，但是血液由于心脏周期搏动的影响会不断变化，从而导致血液对光束的吸收呈现周期性的变化，当血液容积变大时，吸收的光束自然增加；如果血液容积变小时，吸收的光束自然减少，这一结果将导致接收传感器接收的信号强度表现出周期性，这个周期性与心脏的搏动周期保持一致。

利用摄像头对人脸进行拍摄采集到的视频可以记录下血容量的变化，在一个心脏周期中，血管的血容量随着心脏的舒张和收缩发生变化，在心脏收缩时，血液流出心脏，此时血管的血容量达到最大；而在心脏舒张时，血液流回心脏，此时血管的血容量最小。心脏完成一次收缩和舒张的时间恰好等于血管血容量一次由最大变化到最小的时间。因此，利用摄像头记录下血管血容量的周期变化信息就可以获得心脏的搏动信息。如图1所示：

目前，对心率的非接触测量一般采用的是热红外摄像头或多普勒雷达等昂贵且复杂的设备，进一步增加了预测成本。并且在计算心率值时，通常利用傅里叶变换将时域信号转换为频域进而得到心率值。这种方法没有对心率信息进行特征的提取，由于环境光变化以及运动产生的噪声将会对最后结果产生较大影响，因此采用傅里叶变换得到的心率值准确性较低。本发明基于2022年吉林省教育厅科学技术研究规划项目“基于深度学习的非接触智能人体生命信息预测评价***”的部分研究内容。

发明内容

针对现有技术的不足，本发明提供一种基于深度学习的非接触智能人体心率预测方法,采用此方法得到的心率值更加准确，且造价低。

本发明所采用的技术方案是基于深度学习的非接触智能人体心率预测方法，包括以下步骤：

步骤1，获取人脸视频，利用公共数据集或者使用16帧以上的摄像头进行视频的录制；

步骤2，提取感兴趣区域ROI，采用基于多任务学***均值；

步骤3，视频片段的划分，假设一次心跳的时间周期为T1～T2秒，每个片段时长t为大于心跳最长周期的2倍，即t大于2T2，将1分钟的视频拆分成N个t秒的片段，每个片段为上一个片段的延后1s，以此类推，每个一分钟的视频将被分成N＝60-t+1个视频片段，使用16帧以上的摄像头进行拍摄，即每秒有16张以上图片，则一个t秒的片段有16t张以上图片，将每一张图片进行ROI的提取，得到脸颊及额头的区域，再将每一区域进行像素平均计算则可以得到16t以上个像素平均值的数据；

步骤4，信号的提取与去噪，对采集得到的三路通道信号(R、G、B)进行归一化，使用绿色通道G的信号进行处理，使用其样本值减去平均值，除以标准差来做归一化，得到处理后的信号；采用带通滤波器消除皮肤表面的反射光中由心跳引起的频率通带之外的部分；

步骤5，深度学习，采用支持向量回归SVR模型进行对心率的估计，程序编写采用Python语言，利用Python中的深度学习库sklearn，所述的支持向量回归SVR模型采用的核函数为多项式核poly。

进一步地，所述的公共数据集包括MAHNOB-HCI数据集、COHFACE数据集、VIPL数据集。

本发明的有益效果是：本发明使用了信号处理的方法以及深度学习模型得到了心率值，进一步避免了由于环境光变化以及运动产生的噪声。相比使用傅里叶变换，本发明的技术方案得到的心率值将更加准确。实现了只使用普通的摄像头对心率进行非接触式测量，不需要热红外摄像头或多普勒雷达等昂贵且复杂的设备，从而节约成本。

附图说明

图1为摄像头对血容量变化的记录示意图。

图2为本发明基于深度学习的非接触智能人体心率预测方法流程图。

图3为本发明人体面部ROI提取示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件能够以各种不同的配置来布置和设计。

首先通过公共数据集或者自己拍摄视频的方式获得人体面部视频，然后对视频中人脸区域进行ROI(Region Of Interest)提取，得到额头和脸颊部分。对视频进行片段的划分，通过划分好的片段得到ROI中像素平均值随时间变化的时间序列，该时间序列作为初始的信号。利用多种信号处理技术对初始的信号进行提取与去噪，得到更为干净，更加能够反映心率信息的脉搏源信号。将该信号作为深度学习模型的输入，提取出与心率有关的周期性特征，进而得到心率的结果。

(1)视频的获取

利用公共数据集：MAHNOB-HCI数据集、COHFACE数据集、VIPL数据集等，或者使用16帧以上，一般为30或60帧的摄像头进行视频的录制。在录制视频的同时，被测试者需要佩戴智能手表或者手环等可以测量心率的设备，在视频录制的同时记录下视频时长内被测试者的心率值变化，作为深度学习模型的训练与测试的输入。在录制视频时，尽量保证光源的稳定，不要出现忽明忽暗的情况，并且被测试者尽量保持静止，可以保持正常的呼吸与眨眼频率，但不要出现过于激烈的晃动，使录制的视频出现不稳定的情况，导致后期信号噪声太大。

(2)感兴趣区域提取(Region Of Interest，ROI)

理论上人体任何皮肤位置都含有毛细血管，任何皮肤表面都会有因血液容积量变化产生的光强度的变化，都可以作为图像式光电容积描记信号的采集区域。综合肌肉在人体静止和运动状态下产生的运动干扰强度、毛细血管的分布情况和采集视频的可实施性等问题，通常选用面部作为信号的采集区域。由于面部包含丰富的毛细血管，血管血液容积变化引起的光照强度变化更为强烈，因而提取出的脉搏源信号信噪比较高。同时选取面部区域作为感兴趣区域，还可以利用人脸检测跟踪技术对运动产生的噪声进行消除。

人体面部包含丰富的毛细血管，可以反映出充足的脉动信息。使用整张人脸图片进行心率信息的提取时，由于眨眼及面部表情的变化会导致得到的心率信号噪声较大。将额头与脸颊作为感兴趣区域，即ROI，可以减少因为眨眼和表情所导致的噪声的产生。因为额头以及脸颊部位有大量的血管，所得到的心率与人体实际心率更为接近。取使用额头与脸颊得到的心率值的平均值，达到降低误差的效果。

采用基于多任务学习的68点人脸特征点检测算法,将人脸的轮廓用68个点标记，如图3所示。标记好人脸后进行ROI的提取，可以利用这68个关键点进行定位，从而得到需要的额头以及脸颊区域，即图3中方框所示区域。

(3)视频片段的划分

人体每分钟40～240次的心跳，对应一次心跳的时间周期为0.25s～1.5s。采集的视频必须至少包括两个脉搏周期才能提取出信号的周期性特征。因此，视频的时长需超过心跳最长周期的2倍，即3s。将1分钟的视频拆分成多个5s的片段，每个片段为上一个片段的延后1s(比如第1s～5s为第一个片段，则第2s～6s为第二个片段，第3s～7s为第三个片段)以此类推，每个一分钟的视频将被分成56个视频片段。使用16帧以上的摄像头进行拍摄，这里取30帧的摄像头进行拍摄，即每秒有30张图片，则一个5s的片段有150张图片。将每一张图片进行ROI的提取，得到脸颊及额头的区域，再将每一区域进行像素平均计算。经过上述操作，则可以得到150个像素平均值的数据。

(4)信号的提取与去噪

使用多种信号处理技术从视频中提取出干净的脉搏源信号，避免提取出的心率信号夹杂干扰，影响心率测量的准确性。利用人脸视频进行非接触式心率测量主要使用摄像机来记录面部视频，可见光作为媒介将由于心脏跳动所引起的面部颜色的微弱变化传递到摄像机的感光元件上，进而转化为数字信号。环境光的变化会对信号的提取产生噪声。另外，头部上下左右前后的转动或者无规律的晃动，以及人脸的局部微动，比如各种面部表情、说话、眨眼等也会使信号产生噪声。

通过摄像头捕捉到人体面部细微的血容量变化可以得到心率信息，血容量的变化会引起皮肤表面颜色的变化，上述的150个像素平均值的数据即为皮肤表面颜色变化的过程，通过记录这150个数据组成的时间序列就可以得到初始信号。利用ROI提取得到额头和脸颊区域，可以消除面部表情和背景噪声的干扰。然而，由于心跳变化引起的面部血管的血容量变化是十分微弱的，要想得到能够反映心率信息的纯净脉搏源信号，不能仅仅靠ROI提取这一步，还需要更加有效的信号提取与去噪。

使用归一化对信号进行处理：

因为由心跳幅度引起的颜色变化与色彩信号强度成正比，而在评估周期性时，原始信号的强度大小水平没有意义。因此为了得到与光源的颜色及其亮度水平无关的脉搏信号，要对采集得到的三路通道信号(R、G、B)进行归一化，使用其样本值减去平均值，除以标准差来做归一化。

与红色通道和蓝色通道相比，绿色通道总是具有更强的脉搏信号，这是由于在氧合血红蛋白的吸收谱分布中，绿色光恰好对应于氧合血红蛋白的吸收峰。这就是说与红光相比，氧合血红蛋白能够更好地吸收绿光，同时与蓝光相比，绿光能够更深的穿过皮肤，便于探测血管中血容量的变化。因此，在使用归一化进行信号处理时，将使用绿色通道的信号进行处理，使用其样本值减去平均值，除以标准差来做归一化，得到处理后的信号。见表1，

通常心脏的跳动为每分钟40～240次，频率范围大约为0.7Hz～4Hz。因此为了消除由于呼吸作用引起的低频信号以及由噪声引起的高频信号对心率检测结果的影响，使用带通滤波器用以消除0.7Hz～4Hz以外的信号，即去除皮肤表面的反射光中由心跳引起的频率通带之外的部分，只有0.7Hz～4Hz以内的范围将用于后续对心跳的预测。

(5)深度学习

深度学习是深度学习领域的一个分支，是指基于样本数据，通过一定的方法将样本的低层抽象成高层特征，从而发现样本数据分布的一种学习过程。

支持向量机是一种专门针对有限样本情况的深度学***面。在分开数据的超平面的两边建有两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。平行超平面间的距离或差距越大，分类器的总误差越小。它最终解决的是一个凸二次规划问题，从理论上说，得到的将是全局最优解。它将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构造线性决策函数来实现原空间中的非线性决策函数，巧妙地解决了维数问题，并保证了有较好的推广能力，而且算法复杂度与样本维数无关。

心率估计实际上是一个回归模型预测问题，利用支持向量机解决回归任务的模型：支持向量回归(SVR)模型进行对心率的估计。使用深度学习实现心率值的估计时，利用的是通过大量的数据对模型进行训练，使其能够提取出信号中能够反映出心率的特征，从而得到心率值。将处理好的拥有150个值的序列对应视频中所记录的心率值，作为一组数据。对视频数据集中的每一个视频进行上述的处理，将得到大量的数据，都进行序列值与心率值的对应，得到能够对模型进行训练的数据集。将得到的数据集进行划分，其中70％作为训练集，用于对模型的训练，30％作为验证集，对模型的性能进行验证。

利用Python语言进行程序的编写，利用Python中的深度学习库(sklearn)实现支持向量回归模型。支持向量回归模型有四个核函数，分别是：linear(线性核),poly(多项式核),rbf(高斯核),sigmoid(sigmoid核)。对比这四个核函数的性能，选择其中性能最好的核函数poly(多项式核)作为心率预测值的结果。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.基于深度学习的非接触智能人体心率预测方法，其特征在于：包括以下步骤：

步骤1，获取人脸视频，利用公共数据集或者使用16帧以上的摄像头进行视频的录制；

步骤2，提取感兴趣区域ROI，采用基于多任务学***均值；

步骤3，视频片段的划分，假设一次心跳的时间周期为T1～T2秒，每个片段时长t为大于心跳最长周期的2倍，即t大于2T2，将1分钟的视频拆分成N个t秒的片段，每个片段为上一个片段的延后1s，以此类推，每个一分钟的视频将被分成N＝60-t+1个视频片段，使用16帧以上的摄像头进行拍摄，即每秒有16张以上图片，则一个t秒的片段有16t张以上图片，将每一张图片进行ROI的提取，得到脸颊及额头的区域，再将每一区域进行像素平均计算则可以得到16t以上个像素平均值的数据；

步骤4，信号的提取与去噪，对采集得到的三路通道信号(R、G、B)进行归一化，使用绿色通道G的信号进行处理，使用其样本值减去平均值，除以标准差来做归一化，得到处理后的信号；采用带通滤波器消除皮肤表面的反射光中由心跳引起的频率通带之外的部分；

步骤5，深度学习，采用支持向量回归SVR模型进行对心率的估计，程序编写采用Python语言，利用Python中的深度学习库sklearn，所述的支持向量回归SVR模型采用的核函数为多项式核poly。

2.根据权利要求1所述的基于深度学习的非接触智能人体心率预测方法，其特征在于：所述的公共数据集包括MAHNOB-HCI数据集、COHFACE数据集、VIPL数据集。

Images