CN110236511A - 一种基于视频的无创心率测量方法 - Google Patents
一种基于视频的无创心率测量方法 Download PDFInfo
- Publication number
- CN110236511A CN110236511A CN201910460711.XA CN201910460711A CN110236511A CN 110236511 A CN110236511 A CN 110236511A CN 201910460711 A CN201910460711 A CN 201910460711A CN 110236511 A CN110236511 A CN 110236511A
- Authority
- CN
- China
- Prior art keywords
- signal
- heart rate
- video
- face
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于视频的无创心率测量方法,采用改进欧拉影像放大方法对人脸脸部的弱信号进行放大便于信号提取;并采用实时性较强、检测率较高的MTCNN人脸检测算法提高人脸检测率,检测速度快,实时性更强;结合G信号作为心率计算的输入信号,提高心率信号准确性,最终实现心率的准确快速无感无创测量,为后续人体血压的实时测量和医疗诊断提供基础。
Description
技术领域
本发明涉及一种基于视频的无创心率测量方法,属于生理特征精确测量技术领域。
背景技术
高血压是我国的主要疾病之一,当前的血压测量方法主要分为有创测量和无创测量两种,有创测量法是将压力传感器***动脉血管进行直接测量,对人体血管和皮肤有一定伤害,临床上主要用于重症患者;无创测量法主要包括柯氏音法、示波法、动脉张力测定法、脉搏波测量法等,无创测量法具有操作简单、对人体无伤害等优点,各国的科技工作者都对无创测量法测量血压开展了广泛的研究。与传统接触式血压测量方法相比,非接触式血压测量可以让人们摆脱由各种接触式传感器带来的负担和不适,更可以实现在对人们正常生活不干扰的情况下进行远程血压监测,对于高血压的早期诊断和有效预防具有非常重要的意义。现阶段的非接触式血压测量方法大多数对测量设备要求较高,并且无法彻底摆脱对接触式传感器的依赖。同时目前非接触式血压的测量需要事先测量心率,获得心率的基础上再进行血压的测量,因此准确心率的测量显得十分重要。
目前的心率测量存在很多难点,一是人体皮肤包含的血液仅仅只占人体血管血液的2%-5%左右,人脸皮肤血管的血液流量就更少,这样血液容积的改变来反映人体脉搏的情况十分微弱,在一定程度会造成较大误差,降低测量结果信噪比,从而导致提取到的心率信号强度非常弱;二是目前所有的基于视频的非接触式心率检测技术的测量都是基于人体是处于静止状态的测量,这种状态对于检测可靠稳定的脉搏波信号非常的必要,但在采集视频过程中,人并不可能处于完全静止状态,微小抖动不可避免,由抖动产生的噪声很可能会掩盖所检测的微弱的心率信号,由运动伪差产生的噪声对后期心率信号的信噪比有较大影响,产生运动误差。
目前无创无感测量心率的方法有多种,张琦、许其清、郁汉褀公布的基于视频图像的血压测量方法的专利中公开了一种采集人脸部的视频图像,对视频图像进行空间分解,时域滤波完成心率的测量;由于采集到人体皮肤包含的血液仅仅只占人体血管的所有的2%-5%左右,人脸皮肤血管的血液流量就更少,这样使用血液容积的改变来反映人体脉搏的情况是十分微弱的,在一定程度会造成较大误差,降低测量结果信噪比,同时该专利公开的方案中缺少对弱信号的放大处理。
陈丹丹提出的基于视频的非接触式心率测量研究的论文中通过对获取的视频图像进行图像颜色增加,人脸检测及跟踪,ROI(感兴趣区域,region of interest,下文简称ROI)定位基色分离后,使用色差法得到色差信号,进行时域滤波来测量心率;采用AdaBoost算法中人脸弱特征表示采用的是Haar特征,Haar特征具有计算简单的优点,但其缺点是特征表示能力比较弱,因此在一定程度上容易带来较多的误检。文中提出的基于视频的非接触式心率测量主要是针对一段视频而言,视频处理实时性可满足要求;但实时采集实时处理过程中发现使用颜色增强算法处理较耗时,需改进视频颜色增强算法,实现通过摄像头实时监测人体心率。
许可提的基于肤色图像的非接触式血压测量方法研究是基于成像式光电容积描记(Photoplethysmography,IPPG)原理,通过彩色CCD摄像机采集人体不同部位的肤色图像,然后经过基于改进的Adaboost算法进行肤色的分割和提取,再通过改进的欧拉放大技术处理肤色图像并从中获得人体双路脉搏波信号,测得心率信号。文中采用改进的Adaboost人脸检测检测算法和改进的欧拉影像放大算法。采用AdaBoost算法中人脸弱特征表示采用的是Haar特征,Haar特征具有计算简单的优点,但其缺点是特征表示能力比较弱,因此在一定程度上容易带来较多的误检。
因此急需提供一种能够实现无创无感、实时连续精确测量人体心率特征的方法,为后续人体血压的实时测量和医疗诊断提供基础。
发明内容
本发明要解决的技术问题是提供一种能够实现无创无感、实时连续精确测量人体心率特征的方法,为后续人体血压的实时测量和医疗诊断提供基础。
本发明采用的技术方案是:一种基于视频的无创心率测量方法,包括如下步骤:
S1:使用具备摄像功能的装置对待测人脸进行视频图像采集;
S2:采用改进欧拉影像放大算法对步骤S1中采集到的视频图像进行颜色变化放大;
S3:利用人脸检测算法MTCN对经过步骤S2颜色变化放大的视频图像进行人脸图像的采集;
S4:对步骤S3中获得的人脸图像进行RGB三通道分离,提取G通道的时间序列信号,具体提取方式如式(1):
式(1)中,i表示第i帧图像,Pi表示第i帧人脸图像区域的g通道归一化像素的平均值,Ijk表示第i帧图像ROI区域第j行k列的像素值,m,n分别为 ROI人脸区域的行数、列数;
S5、对步骤S4中提取的G通道的信号采用平滑先验方法去趋势项并做归一化处理;
S6、对经步骤S5处理后的信号进行经验模态分解,实现信号去噪处理;
S7、对经步骤S6处理后信号通过滤波器进行滤波,对滤波后的信号进行傅里叶变换获得人体心率的频率分量fheart_rate,该频率分量乘以60获得人体心率。
所述步骤S1中,所述具备摄像功能的装置包括手机、相机、或带有摄像头的其它装置,对人脸进行视频图像采集时摄像头距离待测人脸50cm-60cm。
所述步骤S2中采用的改进欧拉影像放大算法对视频图像进行颜色变化放大的放大倍数取值50,频段取值0.83-1.0。
所述步骤S5中使用的平滑先验方法的平滑参数取值10,截至频率为 0.059Hz,归一化处理的公式如式(2):
式中x(t)为归一化后的信号,Pi′为去趋势项后的信号,u为Pi′的均值,为Pi′的标准差。
所述步骤S7中使用的滤波器为巴特沃斯带通滤波器,其频带为1Hz-3Hz,阶次为10。
与现有技术相比本发明具备以下优点:本发明采用改进欧拉影像放大方法对人脸脸部的弱信号进行放大便于信号提取;并采用实时性较强、检测率较高的 MTCNN人脸检测算法提高人脸检测率,检测速度快,实时性更强;结合G信号作为心率计算的输入信号,提高心率信号准确性,最终实现心率的准确快速无感无创测量,为后续人体血压的实时测量和医疗诊断提供基础。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例;基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种基于视频的无创心率测量方法,包括如下步骤:
S1:使用具备摄像功能的装置对待测人脸进行视频图像采集;所述具备摄像功能的装置包括手机、相机、或带有摄像头的其它装置,对人脸进行视频图像采集时摄像头距离待测人脸50cm-60cm,实际操作时需在光源充足的条件下进行。
S2:采用改进欧拉影像放大算法对步骤S1中采集到的视频图像进行颜色变化放大;颜色变化放大的放大倍数取值50,频段取值0.83-1.0,采集的图像经过欧拉影像放大算法对颜色变化进行放大目的是便于获取人体皮肤发生细微周期性变化的心率信号。
S3:利用人脸检测算法MTCNN对经过步骤S2颜色变化放大的视频图像进行人脸图像的采集;人脸检测算法MTCNN实时性较强、检测率较高,能够提高人脸检测率。
S4:当步骤S3中采集到的人脸图像达到300张时,对步骤S3中获得的人脸图像进行RGB三通道分离,提取G通道的时间序列信号,具体提取方式如式 (1):
式(1)中,i表示第i帧图像,Pi表示第i帧人脸图像区域的g通道归一化像素的平均值,Ijk表示第i帧图像ROI区域第j行k列的像素值,m,n分别为 ROI人脸区域的行数、列数。
S5、对步骤S4中提取的G通道的信号采用平滑先验方法去趋势项并做归一化处理;其中平滑先验方法的平滑参数取值10,截至频率为0.059Hz,归一化处理的公式如式(2):
式中x(t)为归一化后的信号,Pi′为去趋势项后的信号,u为Pi′的均值,为Pi′的标准差。
S6、对经步骤S5处理后的信号进行经验模态分解,经验模态分解方法是将复杂信号分解为有限个本征模函数,所分解出的各有限个本征模函数(即 Intrinsic ModeFunction下文简称IMF)包含了原信号的不同时间尺度的局部特征信号,除去较高频率的IMF,选择剩余的的IMF信号求和完成信号的重构,运用经验模态的目的是对归一化后信号进行去噪处理。
S7、对经步骤S6处理后信号通过频带为1Hz-3Hz,阶次为10巴特沃斯带通滤波器进行滤波,对滤波后的信号进行傅里叶变换获得人体心率的频率分量 fheart_rate,该频率分量乘以60获得人体心率。
本发明采用改进欧拉影像放大方法对人脸脸部的弱信号进行放大便于信号提取;并采用实时性较强、检测率较高的MTCNN人脸检测算法提高人脸检测率,检测速度快,实时性更强;结合G信号作为心率计算的输入信号,提高心率信号准确性,最终实现心率的准确快速无感无创测量,为后续人体血压的实时测量和医疗诊断提供基础。
Claims (5)
1.一种基于视频的无创心率测量方法,其特征在于:包括如下步骤:
S1:使用具备摄像功能的装置对待测人脸进行视频图像采集;
S2:采用改进欧拉影像放大算法对步骤S1中采集到的视频图像进行颜色变化放大;
S3:利用人脸检测算法MTCNN对经过步骤S2颜色变化放大的视频图像进行人脸图像的采集;
S4:对步骤S3中获得的人脸图像进行RGB三通道分离,提取G通道的时间序列信号,具体提取方式如式(1):
式(1)中,i表示第i帧图像,Pi表示第i帧人脸图像区域的g通道归一化像素的平均值,Ijk表示第i帧图像的感兴趣区域第j行k列的像素值,m,n分别为ROI人脸区域的行数、列数;
S5、对步骤S4中提取的G通道的信号采用平滑先验方法去趋势项并做归一化处理;
S6、对经步骤S5处理后的信号进行经验模态分解,实现信号去噪处理;
S7、对经步骤S6处理后信号通过滤波器进行滤波,对滤波后的信号进行傅里叶变换获得人体心率的频率分量fheart_rate,该频率分量乘以60获得人体心率。
2.根据权利要求1所述的基于视频的无创心率测量方法,其特征在于:所述步骤S1中,所述具备摄像功能的装置包括手机、相机、或带有摄像头的其它装置,对人脸进行视频图像采集时摄像头距离待测人脸50cm-60cm。
3.根据权利要求1所述的基于视频的无创心率测量方法,其特征在于:所述步骤S2中采用的改进欧拉影像放大算法对视频图像进行颜色变化放大的放大倍数取值50,频段取值0.83-1.0。
4.根据权利要求1所述的基于视频的无创心率测量方法,其特征在于:所述步骤S5中使用的平滑先验方法的平滑参数取值10,截至频率为0.059Hz,归一化处理的公式如式(2):
式中x(t)为归一化后的信号,Pi′为去趋势项后的信号,u为Pi′的均值,为Pi′的标准差。
5.根据权利要求1所述的基于视频的无创心率测量方法,其特征在于:所述步骤S7中使用的滤波器为巴特沃斯带通滤波器,其频带为1Hz-3Hz,阶次为10。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910460711.XA CN110236511A (zh) | 2019-05-30 | 2019-05-30 | 一种基于视频的无创心率测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910460711.XA CN110236511A (zh) | 2019-05-30 | 2019-05-30 | 一种基于视频的无创心率测量方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110236511A true CN110236511A (zh) | 2019-09-17 |
Family
ID=67885349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910460711.XA Pending CN110236511A (zh) | 2019-05-30 | 2019-05-30 | 一种基于视频的无创心率测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110236511A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111243739A (zh) * | 2020-01-07 | 2020-06-05 | 四川大学 | 抗干扰的生理参数遥测方法及*** |
CN111387959A (zh) * | 2020-03-25 | 2020-07-10 | 南京信息工程大学 | 一种基于ippg的非接触式生理参数检测方法 |
CN111554398A (zh) * | 2020-05-11 | 2020-08-18 | 济南浪潮高新科技投资发展有限公司 | 一种基于5g的远程评估生命体征方法及*** |
CN111854920A (zh) * | 2020-07-24 | 2020-10-30 | 贵州电网有限责任公司 | 一种基于dvs振动监测信号的预处理方法及*** |
WO2021104129A1 (zh) * | 2019-11-25 | 2021-06-03 | 虹软科技股份有限公司 | 心率估计方法、装置及应用其的电子设备 |
CN113951816A (zh) * | 2021-09-07 | 2022-01-21 | 广东省科学院健康医学研究所 | 基于光学视频信号分析的无创血管功能检测装置 |
CN114222033A (zh) * | 2021-11-01 | 2022-03-22 | 三峡大学 | 一种基于经验模态分解的自适应欧拉视频放大方法 |
CN116895047A (zh) * | 2023-07-24 | 2023-10-17 | 北京全景优图科技有限公司 | 一种快速的人流量监控方法及*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101822548A (zh) * | 2010-03-19 | 2010-09-08 | 哈尔滨工业大学(威海) | 基于相关性分析与经验模态分解的超声信号去噪方法 |
CN103702014A (zh) * | 2013-12-31 | 2014-04-02 | 中国科学院深圳先进技术研究院 | 非接触式生理参数检测方法、***及装置 |
CN104138254A (zh) * | 2013-05-10 | 2014-11-12 | 天津点康科技有限公司 | 非接触式自动心率测量***及测量方法 |
US20150286779A1 (en) * | 2014-04-04 | 2015-10-08 | Xerox Corporation | System and method for embedding a physiological signal into a video |
CN107766806A (zh) * | 2017-09-30 | 2018-03-06 | 北京飞搜科技有限公司 | 一种基于尺度变换的人脸检测方法及*** |
CN109044314A (zh) * | 2018-06-15 | 2018-12-21 | 西安电子科技大学 | 一种基于欧拉视频放大的非接触式心率监测方法 |
CN109259749A (zh) * | 2018-08-29 | 2019-01-25 | 南京邮电大学 | 一种基于视觉摄像头的非接触式心率测量方法 |
-
2019
- 2019-05-30 CN CN201910460711.XA patent/CN110236511A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101822548A (zh) * | 2010-03-19 | 2010-09-08 | 哈尔滨工业大学(威海) | 基于相关性分析与经验模态分解的超声信号去噪方法 |
CN104138254A (zh) * | 2013-05-10 | 2014-11-12 | 天津点康科技有限公司 | 非接触式自动心率测量***及测量方法 |
CN103702014A (zh) * | 2013-12-31 | 2014-04-02 | 中国科学院深圳先进技术研究院 | 非接触式生理参数检测方法、***及装置 |
US20150286779A1 (en) * | 2014-04-04 | 2015-10-08 | Xerox Corporation | System and method for embedding a physiological signal into a video |
CN107766806A (zh) * | 2017-09-30 | 2018-03-06 | 北京飞搜科技有限公司 | 一种基于尺度变换的人脸检测方法及*** |
CN109044314A (zh) * | 2018-06-15 | 2018-12-21 | 西安电子科技大学 | 一种基于欧拉视频放大的非接触式心率监测方法 |
CN109259749A (zh) * | 2018-08-29 | 2019-01-25 | 南京邮电大学 | 一种基于视觉摄像头的非接触式心率测量方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021104129A1 (zh) * | 2019-11-25 | 2021-06-03 | 虹软科技股份有限公司 | 心率估计方法、装置及应用其的电子设备 |
CN111243739A (zh) * | 2020-01-07 | 2020-06-05 | 四川大学 | 抗干扰的生理参数遥测方法及*** |
CN111387959A (zh) * | 2020-03-25 | 2020-07-10 | 南京信息工程大学 | 一种基于ippg的非接触式生理参数检测方法 |
CN111554398A (zh) * | 2020-05-11 | 2020-08-18 | 济南浪潮高新科技投资发展有限公司 | 一种基于5g的远程评估生命体征方法及*** |
CN111854920A (zh) * | 2020-07-24 | 2020-10-30 | 贵州电网有限责任公司 | 一种基于dvs振动监测信号的预处理方法及*** |
CN113951816A (zh) * | 2021-09-07 | 2022-01-21 | 广东省科学院健康医学研究所 | 基于光学视频信号分析的无创血管功能检测装置 |
CN113951816B (zh) * | 2021-09-07 | 2024-04-12 | 广东省科学院健康医学研究所 | 基于光学视频信号分析的无创血管功能检测装置 |
CN114222033A (zh) * | 2021-11-01 | 2022-03-22 | 三峡大学 | 一种基于经验模态分解的自适应欧拉视频放大方法 |
CN114222033B (zh) * | 2021-11-01 | 2023-07-11 | 三峡大学 | 一种基于经验模态分解的自适应欧拉视频放大方法 |
CN116895047A (zh) * | 2023-07-24 | 2023-10-17 | 北京全景优图科技有限公司 | 一种快速的人流量监控方法及*** |
CN116895047B (zh) * | 2023-07-24 | 2024-01-30 | 北京全景优图科技有限公司 | 一种快速的人流量监控方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110236511A (zh) | 一种基于视频的无创心率测量方法 | |
Wang et al. | A comparative survey of methods for remote heart rate detection from frontal face videos | |
CN105266787B (zh) | 一种非接触式心率检测方法及*** | |
CN110269600B (zh) | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 | |
CN110647815A (zh) | 一种基于人脸视频图像的非接触式心率测量方法及*** | |
Casado et al. | Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces | |
Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
Fan et al. | Non-contact remote estimation of cardiovascular parameters | |
CN106073729B (zh) | 光电容积脉搏波信号的采集方法 | |
CN106236049A (zh) | 基于视频图像的血压测量方法 | |
CN105266772A (zh) | 一种生理参数的测量方法 | |
CN110236508A (zh) | 一种无创血压连续监测方法 | |
Zhang et al. | Simultaneous detection of blink and heart rate using multi-channel ICA from smart phone videos | |
KR101752873B1 (ko) | 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치 | |
CN112233813A (zh) | 一种基于ppg的非接触式无创心率呼吸测量方法及*** | |
CN111027485A (zh) | 一种基于人脸视频检测与色度模型的心率检测方法 | |
CN111387959A (zh) | 一种基于ippg的非接触式生理参数检测方法 | |
CN203290905U (zh) | 非接触式自动呼吸测量*** | |
CN109009052A (zh) | 基于视觉的嵌入式心率测量***及其测量方法 | |
CN112294282A (zh) | 基于rppg的情绪检测装置的自标定方法 | |
US20230005295A1 (en) | Non-contact facial blood pressure measurement method based on 3d cnn | |
Chen et al. | Modulation model of the photoplethysmography signal for vital sign extraction | |
CN111839492A (zh) | 一种基于面部视频序列的心率非接触式测量方法 | |
CN113040734B (zh) | 一种基于信号筛选的非接触血压估计方法 | |
CN114387479A (zh) | 一种基于人脸视频的非接触式心率测量方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190917 |
|
RJ01 | Rejection of invention patent application after publication |