CN111243739A - 抗干扰的生理参数遥测方法及*** - Google Patents
抗干扰的生理参数遥测方法及*** Download PDFInfo
- Publication number
- CN111243739A CN111243739A CN202010015576.0A CN202010015576A CN111243739A CN 111243739 A CN111243739 A CN 111243739A CN 202010015576 A CN202010015576 A CN 202010015576A CN 111243739 A CN111243739 A CN 111243739A
- Authority
- CN
- China
- Prior art keywords
- channel
- selecting
- physiological parameter
- domain filtering
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 22
- 239000008280 blood Substances 0.000 claims abstract description 18
- 210000004369 blood Anatomy 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 16
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 14
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 14
- 239000001301 oxygen Substances 0.000 claims abstract description 14
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000003321 amplification Effects 0.000 claims abstract description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 6
- 210000001061 forehead Anatomy 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 11
- 238000005286 illumination Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000013186 photoplethysmography Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000010989 Bland-Altman Methods 0.000 description 2
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 208000012641 Pigmentation disease Diseases 0.000 description 1
- 229910003798 SPO2 Inorganic materials 0.000 description 1
- 101100478210 Schizosaccharomyces pombe (strain 972 / ATCC 24843) spo2 gene Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001121 heart beat frequency Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Cardiology (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Pulmonology (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明涉及一种抗干扰的生理参数遥测方法及***，该方法包括步骤：通过视频采集设备采集人面视频图像；对采集人面视频图像进行预处理，选择出感兴趣区域；采用欧拉视频放大率算法分别对所述感兴趣区域的R通道、G通道、B通道进行时域滤波；根据检测的生理参数选择时域滤波后对应通道的信号作为输入信号，并基于变分模态分解对输入信号进行重构，得到K个固有模态函数分量；基于得到的所述K个固有模态函数分量计算得到所述生理参数。通过本发明方法或***进行生理参数检测，例如心率和血氧饱和度检测，具有更强的抗干扰能力，可以进一步提高检测结果准确度。
Description
技术领域
本发明涉及生理信息检测技术领域，特别涉及一种抗干扰的生理参数遥测方法及***。
背景技术
心率(HR)和血氧饱和度(SpO2)可以大致反映出人体的健康状况。在实际的医务检测中，医务人员的检测方法是接触式的，但是此操作设备不适合日常生活或特殊情况(例如婴儿测试或烧伤患者)，所以非接触式测量是日常生活中或特殊情况下非常重要的手段，它为检测用户提供了非常便利且直接的途径。
此外，由于环境和地域等的限制，人们在进行生理参数检查时存在诸多不方便因素(如离医院太远，没有时间等)。而通过在家里简简单单的按照一定原则拍摄一段视频或者在和他人进行视频通话时提取到的视频序列来分析生理参数，在非接触测量的条件下达到远距离监测的目的，也是非常亟需的应用领域。
在生物医学工程领域中，通过非接触方法进行人体生理学计算的研究一直是热门话题。其原理是心血管容量的变化会影响皮肤的色素沉着，并且通过分析三通道像素可以实时监测生理信号。成像式光电容积脉搏波描记法(imaging photoplethysmography,iPPG)就是一种利用远距离非接触拍摄的视频获取PPG信号的方法。大多数研究表明，在正常环境下，可以从数码相机录制的视频中提取光电容积脉搏波描记(PPG)信号。这种信号的产生是因为皮肤的光学属性主要是由皮下水分、血红蛋白、黑色素等对光的吸收所引起，相比之下，血液对光的吸收高于其他吸收因子。当光线进入皮下组织时，血液的周期性灌注会影响光线反射的强度，其中血液灌注形成光信号的交流成分，周围组织、血管反射的光线形成直流成分。通过成像设备对光线的捕捉，可观察到毛细血管网反射的光信号变化，分析其中的交流成分，可以得到血容量脉冲信号BVP(Blood Volume Pulse,BVP)，进一步可获取人体相关的生理参数，如心率、血压等。
然而，这种生理参数的获取的准确度会受到伪影误差的影响。伪影干扰信号可能为照明伪影如不规则闪光、自然光等以及运动伪影如头部晃动等，这种伪影干扰使得从视频中获取的BVP信号是非平稳、非线性信号。现有的经验模态分解方法(Emporical modedecomposition,EMD)把通过成像设备采集的人体表面部位的视频信号所获得血容量脉冲(Blood volume pulse,BVP)信号分解成一系列的本征模态函数(IMF)，可以自适应地处理非平稳和非线性信号。一些研究人员在2016年通过筛选有效的本征模式函数(IMF)并重新组合满足心率条件的波形来应用此方法，但EMD方法仍然存在信号混叠问题。变分模态分解(Variable Mode Decomposition,VMD)算法可以自适应地分解频域中每个中心频率对应的分量，对低频特征提取具有更好的精度和稳定性，解决了EMD引起的信号混叠问题，且能更好地对噪声信号进行预处理。然而，经过研究发现，生理参数的检测结果还可以进一步提高。
发明内容
本发明的目的在于提供一种抗干扰的生理参数遥测方法及***，以进一步提高检测结果的准确性。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
一种抗干扰的生理参数遥测方法，包括以下步骤：
通过视频采集设备采集人面部的视频信息；
对采集到的人面视频图像进行预处理，选择出裸露肌肤部分的感兴趣区域；
采用欧拉视频放大率算法分别对所述感兴趣区域的R通道、G通道、B通道进行时域滤波；
根据检测的生理参数选择时域滤波后对应通道的信号作为输入信号，并基于变分模态分解对输入信号进行重构，得到K个固有模态函数分量；
基于得到的所述K个固有模态函数分量计算得到所述生理参数。
上述方法中，所述根据检测的生理参数选择时域滤波后对应通道的信号作为输入信号的步骤中，若生理参数为心率，则选择时域滤波后G通道的信号作为输入信号；若生理参数为血氧饱和度，则选择时域滤波后R通道和B通道的信号作为输入信号。
另一方面，本发明实施例还提供了一种抗干扰的生理参数遥测***，包括：
视频采集设备，用于采集人面视频图像；
图像分析设备，用于对采集到的人面部视频图像进行预处理，选择出裸露肌肤部分的感兴趣区域；然后采用欧拉视频放大率算法分别对所述感兴趣区域的R通道、G通道、B通道进行时域滤波；然后根据检测的生理参数选择时域滤波后对应通道的信号作为输入信号，并基于变分模态分解对输入信号进行重构，得到K个固有模态函数分量；最后基于得到的所述K个固有模态函数分量计算得到所述生理参数。
与现有技术相比，本发明上述方法或***进行生理参数检测，精确的人脸检测与跟随，有助于抗运动干扰；EVM的视频滤波，有助于抗环境光变化干扰；DVM的信号重构，所获得的IMF对噪声有足够的稳健性，能够很好地分离信号IMF与噪声IMF，具有抗干扰能力。因此，采用本发明方法或***进行生理参数检测，可以进一步提高生理参数检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本实施例中提供的抗干扰的生理参数遥测方法的流程图。
图2a-e分别为不同处理过程下的波形图。
图3a-b分别为没有EVM的原始绿色通道信号和带有EVM的重构绿色通道信号的对比图。
图4a-f分别为重构后的绿色通道的3组IMF和相应频谱图。
图5a-b分别为两种方法下血氧饱和度的Bland-Altman图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本实施例中提供的抗干扰的生理参数遥测方法，所述的生理参数包括心率和血氧饱和度。具体地，请参见图1，包括以下步骤：
S10，将采集到的人面(即脸部)视频图像进行预处理。
DV机(一种视频采集设备)采集的视频可能较长，因此在将DV捕获的视频导入到PC端后，可以根据需求将视频进行裁剪，例如剪裁为一分钟。需要说明的是，本实施例中采用的是PC机对采集的人面视频图像进行处理，但是，容易理解的，同样也可以采用笔记本电脑、掌上电脑、智能手机等带存储器和处理器的设备作为图像分析设备进行处理，存储器用于存储待处理的视频图像以及各自算法模型，处理器则具有图像与信号处理能力，对视频图像进行具体的处理分析，以得到生理参数检测值。
预处理就是进行人脸识别，选择感兴趣区域。本实施例中，选择人脸中裸露肌肤部分(如，额头)作为感兴趣区域(Region of Interest,ROI)，因为采用了人脸自动跟随方法，该ROI会自动根据脸部的运动情况进行调整，且可以消除眼睛和嘴带来的运动干扰，所以选择额头作为感兴趣区别能够提高检测精度。
本步骤中，在识别人脸时，使用多任务卷积神经网络(Multi-task ConvolutionalNeural Network,MTCNN)方法，主要采用了三个级联的网络，采用候选框加分类器的思想，进行快速高效的人脸检测。这三个级联的网络分别是快速生成候选窗口的P-Net、进行高精度候选窗口过滤选择的R-Net和生成最终边界框与人脸关键点的O-Net。通过MTCNN+CE-CLM的方法进行人脸检测与跟踪，可很好地抵抗运动带来的伪影影响。
为获取更高的精度，在经过MTCNN处理后，还可以通过卷积专家约束局部模型(Convolutional Experts Constrained Local Model,CE-CLM)来进行人脸地标检测和跟踪，可形成68个人脸特征点。该模型是在约束局部模型(CLM)中加入卷积专家网络(CEN)，CEN作为局部检测器，即在端到端框架中汇集了神经体系结构和专家混合的优势。卷积专家约束局部模型(CE-CLM)算法包括两个主要部分：使用卷积专家网络(CEN)的响应图计算和使用点分布模型(PDM)的形状参数更新。在响应图计算期间，独立于其他地标的位置估算各个地标对齐方式。在参数更新过程中，所有地标的位置将一起更新，使用点分布模型对未对齐的地标和不规则形状进行惩罚。最终优化结果由式(1)给出:
其中，p*是控制地标位置的最佳参数集，p是当前需要迭代的估计值，Di是对于输入的面部图像I、地标i在位置xi的对齐概率(见式2)，R是由点分布模型实施的正则化(见式3)。
该算法第一步也是最重要的一步就是计算响应图，CEN将估计的地标位置附近的具有n×n个像素大小的感兴趣区(ROI)作为输入，然后输出用于评估每个像素位置的地标对齐概率的响应图。因此将地标i拟合到位置xi遵循原则如式(2)所示：
其中，li是第i个地标对齐的指标，
是图像在位置xi的ROI，响应图
用来最小化式(1)。
点分布模型(Point Distribution Models,PDM)用来控制地标位置，并在CE-CLM框架中规范形状。最终检测到的地标中的不规则形状用式(1)中的R(p)来惩罚。在3DPDM方程式(3)中，使用P＝[s,t,w,q]来参数化地标位置xi＝[xi,yi]T。
其中，
是第i个地标的平均值，Φi是一个3×m的主成分矩阵，q是非刚性形状参数的m维向量，s、R和t是刚性参数，s是标度，R是由轴角w＝[wx,wy,wz]T定义的3×3旋转矩阵(R2D是该矩阵的前两行)，t＝[tx,ty]T是坐标系原点移动到另一个位置但每个轴的方向保持不变的变换。
使用MTCNN方法准确定位人脸，使用CEL-CLM模型对人脸额头区域的地标位置实现动态精准跟踪，在对视频进行预处理时使用上述两种方法，能有效地抵抗运动带来的伪影误差。
S20，使用欧拉视频放大率(Eulerian Video Magnification,EVM)算法对视频的RGB通道进行时域滤波。
经过步骤S10处理后，提取到前额的原始时间序列，然后使用EVM算法分别对视频的RGB通道进行时域滤波。由于人的正常脉冲频率范围是30次/分钟至120次/分钟，因此将Butterworth滤波器的带通范围设置为[0.5hz-2hz]的范围，并将相应的频率转换为上述范围。将视频分解为RGB三个通道(R通道、G通道、B通道)，然后分别对每个通道进行时域滤波。
EVM的关键步骤如下所示：
1)以标准视频序列作为输入。
2)将输入的每一帧分解为高斯金字塔模式。
3)在对图像的每一帧进行时间滤波之后，可以获得放大后的隐藏信息。
4)在重构所有帧之后，可以获得色彩放大的视频。
图3a和图3b是对序列信号进行EVM滤波的前后对比，图3a是没有EVM的原始绿色通道信号，图3b是带有EVM的重构绿色通道信号。
EVM使由血管扩张引起的皮肤颜色变化更加显著，通过合理的利用信号的空间特征来设置滤波器大小，可以增强这些细微信号，消除大多数不符合特定频率的噪声，并有效去除高频及放大低频，所以对环境光照的变化影响有抑制作用，在本发明中的放大倍数为20。
S30，选择绿色通道信号作为心率检测的输入信号，选择红色通道和蓝色通道的信号作为血氧饱和度检测的输入信号。通过根据需要检测的生理参数选择对应通道的信号作为检测信号，避免在后续步骤中进行多余操作。
对于心率HR，将三个通道数据进行归一化，并将数据映射到[0-1]的范围。图2a和图2b显示了EVM前后的比较，图中从上至下依次为红色通道信号、绿色通道信号和蓝色通道信号。由于额头区域的红色信号通道和蓝色通道信号规律差，不易看出脉搏波形，但绿色通道信号有一定规律，故选择绿色通道作为下一级的输入信号。对于血氧饱和度SpO2，因为含氧血红蛋白吸收绿色光超过红色，且比蓝光穿透更深的皮肤，故选择红色通道和蓝色通道作为下一级的输入信号。
S40，基于变分模态分解对输入信号进行重构，也就是将一个含有多个频率的信号分解为多个含有单个频率的信号。
变分模态分解VMD是一种基于希尔伯特变换，维纳滤波和乘法器交替方向方法(ADMM)的集成信号盲源分离方法。将信号分解为具有一定带宽的K个固有模态函数(IMF)，其中K是人为预设的数量，每个IMF的中心频率为wk。由于模态分量数目K是可以根据模态分量瞬时频率的均值来人为设定最优的，因此在频域上能自适应地分解出各中心频率对应的有效成分，对低频段的特征提取具有更好的准确性和稳定性，克服了经验模态分解(EMD)、经验小波变换等模式中存在的模态混合、不能正确地消除附加噪声以及确定本征模态函数个数的问题，具有很好的噪声鲁棒性和降噪效果。
在区间[t-δ,t+δ](其中，
)中，uk(t)是幅值为Ak(t)以及频率为wk(t)的谐波信号。
为相位,且
IMF可由式(4)-(6)定义：
对于每一个uk(t)，VMD可用来估计其带宽解决过程。该过程分为构造变量和求解变量两步。
1)构造变量
i.对每个IMF执行希尔伯特变换获得相应的解析函数，如式(7)所示:
其中，δ(t)是狄利克雷函数，*是卷积。
ii.将每个IMF的解析信号的频谱调制到以wk(t)为中心的频带，如式(8)所示：
Bk(t)＝Sk(t)*e-iwt (8)
iii.根据式(8)，每个IMF的最小带宽由L2范数估计。如式(9)所示：
其中，uk＝{u1,u2,···,uk}是模态函数，wk＝{w1,w2,···,wk}是每个部分的中心频率。
2)求解变量
通过使用希尔伯特变异和L2范数将问题变成约束问题，为了解决变分问题，引入了惩罚因子和拉格朗日乘子将约束问题转化为无约束问题，然后使用乘法算子交替方向法(ADMM)更新IMFs、中心频率和惩罚因子，最后，根据收敛精度获得每个模态函数分量。
将约束问题转换为非约束问题，即转换为增强的拉格朗日表达式如式(10)所示：
其中，α是惩罚因子，λ(t)是拉格朗日乘数。
求解变量的步骤如下所示：
i.初始化
ii.更新
如式(11)-(13)所示：
其中，
为傅立叶变换,n为迭代次数,τ为保真系数。
iii.重复更新
直到满足式(14)的收敛精度。
利用VMD算法将信号分解为具有一定带宽的、频率由高到低的K个模态分量后，由于BVP信号中光照随机噪声的频率较高，主要分布在高频部分，运动带来的噪声形成的运动伪影主要分布在低频部分，而需要提取的主要信号处于低频和高频之间部分，因此需要将K个模态分量中的低频部分运动伪影的噪声去除，高频部分的光照噪声去除，将剩余的IMF分量重构,即可得到去噪后的信号。对于HR，应用VMD算法分解绿色通道的信号，如图2c所示。对于SpO2，应用VMD算法分别分解蓝色和红色两个通道的颜色信号，获得两个信号分解图。
S50，基于通过步骤S40得到的K个固有模态函数分量计算得到生理参数。
对于HR，通过快速傅里叶变换FFT，将VMD之后的IMFs分量转换为频谱图，然后考虑心跳频率为0.5hz至2hz，选择以功率谱密度(PSD)最大值表示的分量作为HR-IMFs。最后，如图2e所示，使用“峰值检测”获取心率值，即一个时长例如为30s的波形图具有多个峰值，峰值的个数即为心率的大小。
对于血氧饱和度SpO2，选择具有与人体的脉搏频率最匹配的红色或蓝色通道分解信号的频谱功率(PSD)的IMF作为心率成分信号波形，然后获取红色及蓝色通道信号，如图2d所示。最后利用式(15)-(16)计算SpO2：
SpO2＝α·RR+β (15)
其中，DCred是红色通道的标准差，DCblue是蓝色通道的标准差，ACred是红色通道的均值，ACblue是蓝色通道的均值。α,β是经过线性函数拟合后的系数，用于对参考值和测量值进行线性拟合，最终获得用于计算SpO2的模型。
图4a-f显示了分离出的IMF和相应的FFT导出的HR-IMF的频谱。可以看出，在上述情况下，HR估计值76bpm非常接近我们的真实值78bpm，其绝对值误差控制在2bpm以内。有关使用基于EVM_VMD的方法获取HR及SPO2的详细统计数据，请参见表1和表2。
表1四种情况下HR的统计指标估计
在四种情况下，使用统计指标描述方法EVM_VMD进行的HR和SPO2测量的数据准确度评价标准为：
1.标准偏差(STD)：标准偏差可以反映数据集的分散程度。
2.平均绝对偏差(MAE)：测量值和参考值之间的绝对偏差的平均值。
3.皮尔逊相关系数(P)：测量变量之间的线性关系。
如表1所示，可以看出，当环境不包含伪影误差时，包括低照度环境，高照度环境以及左右脸部亮度不均匀，基于EVM_VMD的方法估计心率(HR)能获得良好遥测结果。四种环境的平均对应相关系数为0.80，所有的绝对误差均值均在5bpm以内。这表明，当环境光稳定时，人体血液灌注信息的转换将反映到人脸。因此，只要环境不太苛刻且照度在100lux至500lux之间，即使光照不均匀，使用我们提出的方法都可以获得更准确的HR估计值。当环境处于晃动状态或受测试者头部晃动时，在采用EVM后，我们可以看到基于EVM_VMD的方法的相关系数达到0.72，RMSE达到5以下。这表明EVM和VMD的组合可以有效解决其他噪声，并在原始信号中没有实际物理意义的情况下消除信号。因此，基于EVM_VMD的方法可以有效解决环境中由于摇头造成的伪影的影响，与现有其他方法相比具有最佳的抗干扰能力。
表2四种情况下两种不同方法的SpO2的统计指标估计
使用Bland-Altman分析方法，分析了EVM_EMD以及EVM_VMD方法得到的SpO2与参考值的一致性，结果请参见图5a-b。且EVM_VMD的一致性结果要优于EVM_EMD。
基于EVM_VMD的方法具有强大的抗干扰能力，并且EVM可以有效地消除噪声。因此，将基于EVM_EMD的方法与基于EVM_VMD的方法进行血氧分析进行比较。为了分析血氧，要求实验人员交替进行呼气和吸入，而不会对身体造成尽可能多的伤害。通常，可以在大约20s内达到显着的血氧减少，达到[0.92-0.98]的范围。
如表2所示，在两种情况下对于SpO2的遥测结果，无论使用EMD还是VMD，统计指标都满足要求，MAE和STD变化不大，表明这两种方法在测量SpO2方面的性能相似。正常人的SpO2波动间隔很小，并且数据拟合的值基本相似。从所有环境中的MAE和STD的角度来看，使用EVM_VMD的统计指标分别比EVM_EMD的统计指标小约0.36和0.39。因此，本发明提出的EVM_VMD方法可以在运动伪影误差较大的环境中提取稳定的HR-IMF，相关系数达到0.8，这表明了估计结果的准确性。同时，还是一个实用且准确的提取SpO2的方法。
综上所述，本发明首次提出利用EVM-VMD联合方法对HR和SpO2等生理参数进行非接触式遥测，实验结果表明，该联合方法具有更高的精度，并且对照明伪影和运动伪影具有更好的鲁棒性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (5)
1.一种抗干扰的生理参数遥测方法，其特征在于，包括以下步骤：
通过视频采集设备采集人面视频信息；
对采集到的人面视频信息进行预处理，选择出裸露肌肤部分的感兴趣区域；
采用欧拉视频放大率算法分别对所述感兴趣区域的R通道、G通道、B通道进行时域滤波；
根据检测的生理参数选择时域滤波后对应通道的信号作为输入信号，并基于变分模态分解对输入信号进行重构，得到K个固有模态函数分量；
基于得到的所述K个固有模态函数分量计算得到所述生理参数。
2.根据权利要求1所述的方法，其特征在于，所述对采集人面视频图像进行预处理，选择出感兴趣区域的步骤中，选择出额头区域作为感兴趣区域。
3.根据权利要求1所述的方法，其特征在于，所述根据检测的生理参数选择时域滤波后对应通道的信号作为输入信号的步骤中，若生理参数为心率，则选择时域滤波后G通道的信号作为输入信号；若生理参数为血氧饱和度，则选择时域滤波后R通道和B通道的信号作为输入信号。
4.根据权利要求1所述的方法，其特征在于，所述基于得到的所述K个固有模态函数分量计算得到所述生理参数的步骤中，
若生理参数为心率，则通过快速傅里叶变换将K个固有模态函数分量转换为频谱图，然后选择以功率谱密度最大值表示的分量作为HR-IMFs，设定时长的波形图中峰值的个数即为心率的检测值；
若生理参数为血氧饱和度，则选择具有与人体的脉搏频率最匹配的R通道和B通道分解信号的频谱功率的IMF作为心率成分信号波形，然后获取R通道及B通道信号，再利用如下公式计算血氧饱和度：
SpO2＝α·RR+β
其中，DCred是R通道的标准差，DCblue是B通道的标准差，ACred是R通道的均值，ACblue是B通道的均值，α,β是经过线性函数拟合后的系数。
5.一种抗抗干扰的生理参数遥测***，其特征在于，包括：
视频采集设备，用于采集人面视频信息；
图像分析设备，用于对采集到的人面视频信息进行预处理，选择出裸露肌肤部分的感兴趣区域；然后采用欧拉视频放大率算法分别对所述感兴趣区域的R通道、G通道、B通道进行时域滤波；然后根据检测的生理参数选择时域滤波后对应通道的信号作为输入信号，并基于变分模态分解对输入信号进行重构，得到K个固有模态函数分量；最后基于得到的所述K个固有模态函数分量计算得到所述生理参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010015576.0A CN111243739A (zh) | 2020-01-07 | 2020-01-07 | 抗干扰的生理参数遥测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010015576.0A CN111243739A (zh) | 2020-01-07 | 2020-01-07 | 抗干扰的生理参数遥测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111243739A true CN111243739A (zh) | 2020-06-05 |
Family
ID=70874319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010015576.0A Pending CN111243739A (zh) | 2020-01-07 | 2020-01-07 | 抗干扰的生理参数遥测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111243739A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102949A (zh) * | 2020-08-31 | 2020-12-18 | 安徽大学 | 面部血流脉冲信号和面部器官运动特征提取方法 |
| CN112155523A (zh) * | 2020-09-27 | 2021-01-01 | 太原理工大学 | 一种基于模态能量主成分比量化的脉搏信号特征提取与分类方法 |
| CN113058110A (zh) * | 2021-03-17 | 2021-07-02 | 董建成 | 一种用于检测静脉输液外渗的方法及其*** |
| CN113229799A (zh) * | 2021-06-23 | 2021-08-10 | 山东大学 | 一种ppg心率估计方法、***、存储介质、设备 |
| CN113297987A (zh) * | 2021-05-28 | 2021-08-24 | 东北林业大学 | 一种基于双目标函数优化的变分模态分解信号降噪方法 |
| CN113397535A (zh) * | 2021-05-26 | 2021-09-17 | 复旦大学 | 一种无接触血氧饱和度检测方法 |
| CN113712526A (zh) * | 2021-09-30 | 2021-11-30 | 四川大学 | 一种脉搏波提取方法、装置、电子设备及存储介质 |
| CN114403838A (zh) * | 2022-01-24 | 2022-04-29 | 佛山科学技术学院 | 一种便携式的基于树莓派的远程心率检测装置及方法 |
| CN115265454A (zh) * | 2022-07-08 | 2022-11-01 | 重庆邮电大学 | 一种回转窑轴线平行度无线测量装置及方法 |
| CN116058815A (zh) * | 2021-11-01 | 2023-05-05 | 北京荣耀终端有限公司 | 生命体征检测方法和电子设备 |
| CN117710242A (zh) * | 2023-12-20 | 2024-03-15 | 四川大学 | 一种抗光照和运动干扰的非接触式生理参数提取方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7054385B2 (en) * | 2001-10-22 | 2006-05-30 | Tropian, Inc. | Reduction of average-to-minimum power ratio in communications signals |
| CA2839287A1 (en) * | 2011-07-05 | 2013-01-10 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees |
| US20170367590A1 (en) * | 2016-06-24 | 2017-12-28 | Universita' degli Studi di Trento (University of Trento) | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| US20180153455A1 (en) * | 2015-06-05 | 2018-06-07 | Oxford University Innovation Limited | Method and apparatus for vital signs measurement |
| CN109044314A (zh) * | 2018-06-15 | 2018-12-21 | 西安电子科技大学 | 一种基于欧拉视频放大的非接触式心率监测方法 |
| RU2685573C1 (ru) * | 2018-07-04 | 2019-04-22 | АКЦИОНЕРНОЕ ОБЩЕСТВО "Научно-исследовательский институт оптико-электронного приборостроения" (АО "НИИ ОЭП") | Способ фокусировки оптического излучения на объект |
| US20190159707A1 (en) * | 2017-11-30 | 2019-05-30 | University Of Kentucky Research Foundation | System and method for assessment of retinal and choroidal blood flow noninvasively using color amplification |
| CN109820499A (zh) * | 2018-12-24 | 2019-05-31 | 杨爽 | 基于视频的高抗干扰心率检测方法、电子设备及存储介质 |
| US20190171893A1 (en) * | 2017-12-05 | 2019-06-06 | Tata Consultancy Services Limited | Face video based heart rate monitoring using pulse signal modelling and tracking |
| CN110236511A (zh) * | 2019-05-30 | 2019-09-17 | 云南东巴文健康管理有限公司 | 一种基于视频的无创心率测量方法 |
| CN110367950A (zh) * | 2019-07-22 | 2019-10-25 | 西安爱特眼动信息科技有限公司 | 非接触式生理信息检测方法及*** |
-
2020
- 2020-01-07 CN CN202010015576.0A patent/CN111243739A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7054385B2 (en) * | 2001-10-22 | 2006-05-30 | Tropian, Inc. | Reduction of average-to-minimum power ratio in communications signals |
| CA2839287A1 (en) * | 2011-07-05 | 2013-01-10 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees |
| US20180153455A1 (en) * | 2015-06-05 | 2018-06-07 | Oxford University Innovation Limited | Method and apparatus for vital signs measurement |
| US20170367590A1 (en) * | 2016-06-24 | 2017-12-28 | Universita' degli Studi di Trento (University of Trento) | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| US20190159707A1 (en) * | 2017-11-30 | 2019-05-30 | University Of Kentucky Research Foundation | System and method for assessment of retinal and choroidal blood flow noninvasively using color amplification |
| US20190171893A1 (en) * | 2017-12-05 | 2019-06-06 | Tata Consultancy Services Limited | Face video based heart rate monitoring using pulse signal modelling and tracking |
| CN109044314A (zh) * | 2018-06-15 | 2018-12-21 | 西安电子科技大学 | 一种基于欧拉视频放大的非接触式心率监测方法 |
| RU2685573C1 (ru) * | 2018-07-04 | 2019-04-22 | АКЦИОНЕРНОЕ ОБЩЕСТВО "Научно-исследовательский институт оптико-электронного приборостроения" (АО "НИИ ОЭП") | Способ фокусировки оптического излучения на объект |
| CN109820499A (zh) * | 2018-12-24 | 2019-05-31 | 杨爽 | 基于视频的高抗干扰心率检测方法、电子设备及存储介质 |
| CN110236511A (zh) * | 2019-05-30 | 2019-09-17 | 云南东巴文健康管理有限公司 | 一种基于视频的无创心率测量方法 |
| CN110367950A (zh) * | 2019-07-22 | 2019-10-25 | 西安爱特眼动信息科技有限公司 | 非接触式生理信息检测方法及*** |
Non-Patent Citations (10)
| Title |
|---|
| AMIR ZADEH ET AL.: "Convolutional Experts Constrained Local Model for 3D Facial Landmark Detection", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW), pages 3 * |
| HEMANT SHARMA: "Heart rate extraction from PPG signals using variational mode decomposition", 《BIOCYBERNETICS AND BIOMEDICAL ENGINEERING》 * |
| HEMANT SHARMA: "Heart rate extraction from PPG signals using variational mode decomposition", 《BIOCYBERNETICS AND BIOMEDICAL ENGINEERING》, vol. 39, no. 1, 31 December 2018 (2018-12-31), pages 2 * |
| HEMANT SHARMA: "Heart rate extraction from PPG signals using variational mode decomposition", BIOCYBERNETICS AND BIOMEDICAL ENGINEERING, vol. 39, no. 1, pages 2 * |
| 姚家驰等: "基于变分模态分解和鲁棒独立成分分析的内燃机缸盖振动信号分离", 《中国机械工程》, vol. 29, no. 8, pages 959 - 961 * |
| 孔令琴: "非接触式生理信号检测关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 孔令琴: "非接触式生理信号检测关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 4, 15 April 2015 (2015-04-15), pages 73 - 76 * |
| 孔令琴: "非接触式生理信号检测关键技术研究", 中国博士学位论文全文数据库 信息科技辑, no. 4, pages 73 - 76 * |
| 张家成等: "基于改进色度模型的非接触式心率检测与估计", 《中国生物医学工程学报》 * |
| 张家成等: "基于改进色度模型的非接触式心率检测与估计", 《中国生物医学工程学报》, no. 06, 20 December 2017 (2017-12-20), pages 4 - 9 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102949A (zh) * | 2020-08-31 | 2020-12-18 | 安徽大学 | 面部血流脉冲信号和面部器官运动特征提取方法 |
| CN112155523A (zh) * | 2020-09-27 | 2021-01-01 | 太原理工大学 | 一种基于模态能量主成分比量化的脉搏信号特征提取与分类方法 |
| CN113058110B (zh) * | 2021-03-17 | 2022-06-21 | 董建成 | 一种用于检测静脉输液外渗的方法及其*** |
| CN113058110A (zh) * | 2021-03-17 | 2021-07-02 | 董建成 | 一种用于检测静脉输液外渗的方法及其*** |
| CN113397535A (zh) * | 2021-05-26 | 2021-09-17 | 复旦大学 | 一种无接触血氧饱和度检测方法 |
| CN113297987A (zh) * | 2021-05-28 | 2021-08-24 | 东北林业大学 | 一种基于双目标函数优化的变分模态分解信号降噪方法 |
| CN113229799A (zh) * | 2021-06-23 | 2021-08-10 | 山东大学 | 一种ppg心率估计方法、***、存储介质、设备 |
| CN113712526A (zh) * | 2021-09-30 | 2021-11-30 | 四川大学 | 一种脉搏波提取方法、装置、电子设备及存储介质 |
| CN113712526B (zh) * | 2021-09-30 | 2022-12-30 | 四川大学 | 一种脉搏波提取方法、装置、电子设备及存储介质 |
| CN116058815A (zh) * | 2021-11-01 | 2023-05-05 | 北京荣耀终端有限公司 | 生命体征检测方法和电子设备 |
| CN114403838A (zh) * | 2022-01-24 | 2022-04-29 | 佛山科学技术学院 | 一种便携式的基于树莓派的远程心率检测装置及方法 |
| CN115265454A (zh) * | 2022-07-08 | 2022-11-01 | 重庆邮电大学 | 一种回转窑轴线平行度无线测量装置及方法 |
| CN117710242A (zh) * | 2023-12-20 | 2024-03-15 | 四川大学 | 一种抗光照和运动干扰的非接触式生理参数提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111243739A (zh) | 抗干扰的生理参数遥测方法及*** | |
| Wang et al. | A comparative survey of methods for remote heart rate detection from frontal face videos | |
| CN110269600B (zh) | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 | |
| Blackford et al. | Effects of frame rate and image resolution on pulse rate measured using multiple camera imaging photoplethysmography | |
| Casado et al. | Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces | |
| AU2009299518B2 (en) | Detecting a signal quality decrease in a measurement system | |
| Fan et al. | Non-contact remote estimation of cardiovascular parameters | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| AU2009265270B2 (en) | Signal processing mirroring technique | |
| CN110367950A (zh) | 非接触式生理信息检测方法及*** | |
| DE102013208588A1 (de) | Verarbeitung eines videos zur schätzung einer atemrate | |
| WO2010001249A1 (en) | Concatenated scalograms | |
| CN111387959A (zh) | 一种基于ippg的非接触式生理参数检测方法 | |
| Zhao et al. | Visual heart rate estimation and negative feedback control for fitness exercise | |
| Chen et al. | Modulation model of the photoplethysmography signal for vital sign extraction | |
| Yue et al. | Non-contact heart rate detection by combining empirical mode decomposition and permutation entropy under non-cooperative face shake | |
| Cho et al. | Reduction of motion artifacts from remote photoplethysmography using adaptive noise cancellation and modified HSI model | |
| Qayyum et al. | Assessment of physiological states from contactless face video: a sparse representation approach | |
| CN114387479A (zh) | 一种基于人脸视频的非接触式心率测量方法及*** | |
| Hu et al. | Study on Real-Time Heart Rate Detection Based on Multi-People. | |
| CN114246570B (zh) | 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 | |
| Wang et al. | KLT algorithm for non-contact heart rate detection based on image photoplethysmography | |
| US20220039753A1 (en) | Modulation model of photoplethysmography signal for vital sign extraction | |
| Yue et al. | A new approach for noncontact imaging photoplethysmography using chrominance features and low-rank in the IoT operating room | |
| CN114092855A (zh) | 基于深度学习的非接触智能人体心率预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |