CN114331998A - 非接触式的心肺耦合评价方法 - Google Patents

Abstract

本发明公开一种非接触式的心肺耦合评价方法，通过拍摄人体安静状态下上半身的视频图像，正确地检测出被拍摄者的脉搏信号及呼吸信号，并进行心肺耦合的时域及频域分析，对心肺耦合强度进行评价和测量。本发明通过摄像头拍摄受试者上半身视频，对该视频进行高斯金字塔分解和拉普拉斯金字塔分解，放大视频中包含的脉搏相关的颜色变化和呼吸引起的上半身运动信息，自动化提取包含脉搏信息的头面部感兴趣区域和包含呼吸运动的胸腹部感兴趣区域，分别计算感兴趣区域内的亮度信息，从而提取出脉搏信号和呼吸信号，并通过两者的同步化处理进行心肺耦合的时域和频域分析，并根据耦合强度进行心肺耦合评价。

Description

非接触式的心肺耦合评价方法

技术领域

本发明涉及一种非接触式的心肺耦合评价装置及方法，以非接触式的方式监视受试者的脉搏及呼吸信号，并进行心肺耦合强度的测量和分析，可实现呼吸***疾病、心血管***疾病的预警及呼吸状态的判定。

背景技术

心肺耦合分析是2005年有哈佛医学院的C.K.Peng提出的，主要应用于睡眠结构、质量分析和睡眠呼吸暂停的判别等，通常是基于ECG信号，对心率、呼吸信号进行联合分析，获得各种时频域参数，进而分析各参数与生理机制的关系，在睡眠呼吸暂停、心血管疾病等研究中均有应用。

心肺耦合分析被用于评估心率与呼吸信号的耦合强度，有多种分析方法，包括时域分析、频域分析、非线性分析等方法。时域分析中常对每一个呼吸周期内一段时间内的心搏数量进行统计，得到心搏发生率，并根据心搏发生率的变异性来进行呼吸***疾病的诊断。频域分析中，心肺耦合强度则通常用ECG信号中RR间期序列和呼吸信号的互功率谱平方与相干性的乘积来表示。RR间期序列和呼吸时长序列信号的互功率谱是指两者在同频率的情况下功率的乘积，通过互功率谱可以测得在该功率下两信号是否同步地具有比较大的幅值。RR间期序列和呼吸时长序列信号的相干性是反映两个信号振荡的同步情况，由两信号的互相关函数计算得到。

传统的心肺耦合分析基于ECG信号获得，可由临床心电检查、多导睡眠描记术等接触式测量方法获得。虽然这些方法可以得到高信噪比、高稳定性的心率及呼吸信号，从而为心肺耦合分析提供基础，但是由于必须通过接触式的测量方式，测量容易造成患者不适。特别是在睡眠呼吸暂停这样的呼吸***疾病诊断中，测量过程及测量装置可能感染患者的睡眠，从而导致诊断难度增大，诊断效能降低。

心肺耦合分析往往需要30分钟以上的长时间测量，在这种情况下，接触式测量将严重影响体验并对睡眠期间内的受试者造成严重干扰。同时在检测过程中可能发生电极脱落的问题，导致信号不稳定，降低检测结果的准确性与稳定性。

另一方面，上述测量设备均需要在医院环境中进行，需要专业技术人员操作，需要专业医师手动评分所得到的测量值，因此检查费用相对昂贵。

因此，非接触式的、低负荷的测量装置可以更好的满足长时间、低干扰的心肺耦合测量条件，实现在家庭等放松、舒适的环境中进行相关生理信号的测量和心肺耦合强度的评价，从而达到更高的诊断准确率和有效性。

针对上述需求，人们提出了很多方法，例如利用多普勒雷达测量胸腹部运动的方法，可实现非接触式的呼吸测量，但是在脉搏或心率测量方面精度较低，难以满足心肺耦合测量的要求。另外，多普勒雷达具有一定的电磁辐射，不适宜长期家用的测量条件。

此外，还已知一种使用视频分析方法实现受试者呼吸或脉搏的检测方法。但是由于视频分析受试者呼吸及脉搏信号时所需的采集部位、采集参数不同，尚缺少通过视频同时获取被试呼吸及脉搏的研究。另一方面，传统的心肺耦合分析基于ECG信号，可以天然的实现呼吸及心率信号的同步；但是通过视频方法分析所得的呼吸及脉搏信号的同步方法尚缺少相关研究。因此，虽然基于视频的分析方法为非接触式的心肺耦合分析提供了一种很有前途的技术方法，但是其中尚存在诸多技术难点和瓶颈，难以满足心肺耦合评价的需要。

发明内容

为解决上述问题，本发明提出一种非接触式的心肺耦合评价方法，利用视频监控被检者头面部及上半身的图像，能够正确地检出脉搏信号及呼吸信号，并能够进行心肺耦合的时域及频域分析，实现对心肺耦合强度的评价。

本发明非接触式的心肺耦合评价方法，具体步骤如下：

步骤1：获取被检者安静状态下的视频，包含被检者的头面部及上半身。

步骤2：对视频进行微小变化的放大，包括微小颜色的变化和微小动作的变化；放大视频中面部图像颜色的变化用于提取脉搏信号，放大视频中上半身图像的微小运动用于提取呼吸信号。

步骤3：确定放大后的视频图像感兴趣区域，包括脉搏信号的感兴趣区域与呼吸信号的感兴趣区域。

步骤4：脉搏信号和呼吸信号的感兴趣区域内的图像序列分别进行脉搏及呼吸信号提取，通过互相关运算实现脉搏信号和呼吸信号的同步化。

步骤5：对同步化后的呼吸及脉搏信号进行心肺耦合分析，包括时域分析和频域分析，实现心肺耦合的测量。

基于上述方法本发明提出一种非接触式的心肺耦合评价装置，包括视频图像采集装置，视频放大装置，感兴趣区域选取装置，视频信号处理装置，心肺信号同步及分析装置。

视频图像采集装置为摄像头，用于捕捉被检者的头面部及上半身的视频。

视频放大装置包括金字塔分解部、时域滤波部与放大部；其中，金字塔分解部并行地通过高斯视频放大方法与拉普拉斯视频放大方法放大视频图像中的颜色变化与轮廓变化。时域滤波部对上述金字塔分解得各层图像的亮度信息进行时域的带通滤波；输出脉搏的感兴趣频段信息与呼吸的感兴趣频段信息；所述放大部对上述金字塔各层感兴趣频段信息进行放大，将放大后的信号进行金字塔重构加回到原图像中，输出放大后的脉搏视频帧图像和呼吸视频帧图像。

所述感兴趣区域选取装置，对高斯视频放大图像序列和拉普拉斯视频放大图像序列，分别进行感兴趣区域的选取，输出呼吸和脉搏信号感兴趣区域。

所述视频信号处理装置从呼吸和脉搏信号感兴趣区域中，分别提取呼吸信号与脉搏信号。

所述心肺信号同步及分析装置用于提取的将脉搏信号和呼吸信号进行同步处理，然后进行心肺耦合的时域分析和频域分析。

本发明的优点在于：

1、本发明非接触式的心肺耦合评价方法，采用通过视频同时获取被试呼吸及脉搏进行分析，可以进行长时间的监测，避免了传统测量方法中长时间粘贴电极的不适感，也避免了在睡眠监测中对受试者的干扰。

2、本发明非接触式的心肺耦合评价方法，可以无接触地对心肺耦合功能进行测量，适用于呼吸***疾病及呼吸功能的评价，特别是对于一些具有强传染性的呼吸***疾病，该无接触式测量可以大大减小传染风险。

3、本发明非接触式的心肺耦合评价方法，可以无负荷地对心肺耦合的自主神经功能进行评价，适用于脑力疲劳评价、紧张程度评价、测谎等场景。

4、本发明非接触式的心肺耦合评价方法，相比于其它非接触式测量方法，具有成本低的优势，有利于市场推广。

附图说明

图1为本发明非接触式的心肺耦合评价方法的模块图；

图2为本发明非接触式的心肺耦合评价方法高斯金字塔放大算法的原理及结果示意图；

图3为本发明非接触式的心肺耦合评价方法中拉普拉斯金字塔放大算法的原理及结果示意图；

图4为本发明非接触式的心肺耦合评价方法中脉搏信号处理算法流程图；

图5为本发明非接触式的心肺耦合评价方法中呼吸信号处理算法流程图；

图6为本发明非接触式的心肺耦合评价方法中心肺耦合时域参数计算方法的示意图；

图7为本发明非接触式的心肺耦合评价方法中心肺耦合频域参数计算方法的示意图；

图8为本发明非接触式的心肺耦合评价方法实验场景的示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本发明非接触式的心肺耦合评价方法，具体步骤为：

步骤1：拍摄被检者安静状态下的视频

利用摄像机(网络摄像头或工业摄像头)拍摄自然光照条件下的被检者安静状态下的视频，视频图像中包含被检者的头面部及上半身。

步骤2：对步骤1中拍摄的视频进行微小变化的放大，包括微小颜色的变化和微小动作的变化。

将步骤1中拍摄号的视频图像(video)输入视频放大装置，并行地用两种技术进行视频放大：其一为高斯视频放大方法，用于放大视频图像中的颜色变化；另一种为拉普拉斯视频放大方法，用于放大视频图像中的轮廓变化，最终由视频放大装置输出经过放大后的视频帧图像(Mag frames)。

首先，装置中的视频放大装置采用了两种改进的欧拉视频放大法，如图1所示，即分别对视频进行了高斯视频放大和拉普拉斯视频放大方法

其中，高斯视频放大方法又称高斯金字塔分解放大方法，其原理是针对一视频图像，通过不同分辨率的空间滤波和采样，来提取并放大人类感兴趣的图像区域或信号成分。由于血液对可见光中不同波长光谱吸收量不同，而脉搏可以引起头面部及其它血管较丰富的皮肤表面对可见光的吸收和反射呈现出与脉搏频率相同的变化规律。但是这种反射光的变化在视频中非常微弱，不利于脉搏信号的提取。因此采用高斯视频放大法对视频进行预处理，放大后的脉搏信号中与脉搏相关信号变化幅度更加明显，有利于更好地从视频中提取脉搏信号。高斯金字塔分解放大的具体方法为：

1)高斯金字塔分解

对构成视频的图像序列进行空间滤波，以得到不同的空间分辨率下的视频图像；由此，有助于减少噪声。视频图像在不同空间分辨率下呈现出不同的SNR(信噪比)，根据人眼视觉的研究发现，在特定的空间分辨率条件下可以达到最佳的信噪比；因此，为了防止失真，这些不同空间分辨率的视频图像应该使用不同的放大倍数。对于感兴趣的目标物或区域，往往需要在特定的空间分辨率上进行特征提取等图像分析才能达到最好的效果，因此在放大过程中对特定的空间分辨率图像进行放大时，应增大放大倍数，而对其它空间分辨率图像，则减小放大倍数。

高斯金字塔分解的原理如图2所示，设j级为输入图像，首先将输入图像进行高斯低通滤波，滤波函数为：

式中，D(u,v)表示的是像素点(u,v)距离傅里叶变换原点的距离，u表示图像像素点的列坐标，v表示图像像素点的行坐标，δ表示的是高斯滤波器的带宽，决定了平滑的程度，δ越大，该滤波器对应的频带就越宽，平滑程度就越好。

然后再进行下采样，下采样可以通过抛去图像中的偶数行和偶数列来实现，这样图像长宽各减少至二分之一，面积减少至原图像的四分之一，此时的下采样结果就是j-1级近似图像。将j-1级图像作为输入重复上述过程便可得到高斯金字塔。

2)频域滤波

通过高斯金字塔分解得到的不同空间分辨率的图像中，每一个像素的颜色、亮度等信息都来源于进入摄像机的反射光，它受到入射光、反射体等因素的影响。在假设入射光不变的情况下，反射光的光谱及亮度变化就反映了反射体性质的变化。在拍摄人体头面部视频时，血液搏动引起皮下毛细血管充盈程度发生变化，而毛细血管的血流对入射光中的特定光谱具有较强的吸收所用，使得反射光的光谱随着血液搏动而出现周期性变化。因此可以通过频域滤波，将反射光中与脉搏相关的信号提取出来，具体方法为：

对每个空间分辨率下图像的每一个像素进行频域带通滤波，目的是提取出感兴趣频段信号(PLR)。根据成年人脉搏频率范围在30～240次/min，设定带通滤波器的通带频率为0.5～4Hz。若只需提取特定对象的脉搏频率，则可选取更窄的通频带，以去除更多的运动干扰，获得更好的提取效果。上述带频域通滤波的结果，就是对感兴趣的变化信号的逼近。在脉搏信号的放大中，对应的是图像颜色的变化。

3)视频放大

将感兴趣频段信号进行放大，此处以放大一维的信号为例，二维的图像信号与此类似。假令I(x,t)表示在任意位置x和任意时间t处的亮度值，δ(t)是一个位移函数，则有，

I(x,t)＝f(x+δ(t))，I(x,0)＝f(x)表示0时刻对应的亮度分布。

最终视频放大的目的是合成信号：

其中，α表示放大倍数，

将t时刻的变化后的信号f(x+δ(t))进行一阶泰勒级数展开，则可近似得到：

用B(x,t)表示I(x,t)在每一个x位置处的频域带通滤波结果，假设感兴趣运动信号δ(t)均包含在通带范围内，则有：

将频域滤波结果B(x,t)放大α倍后加回原信号中，则得到：

合并方程(3)、(4)、(5)可得：

则，按照一阶泰勒级数展开式，可近似得到：

上式就得到了原信号f(x)的空间亮度信号δ(t)被放大α倍之后的结果(filtered)。

4)输出放大后的金字塔层图像

传统的高斯视频放大技术包含视频重构步骤，将放大后的感兴趣频带信号(filtered)进行金字塔重构，并加回到原图像中得到放大后的图像序列(Magframes)，它将放大后的图像序列(Mag frames)组成视频并作为结果输出。但该重构步骤计算耗时相对较长，且重构后的视频使得不同空间分辨率的图像信息再次混叠，降低了信噪比，不利于实时脉搏信号提取的应用。因此，本发明采用直接输出放大后的图像帧进行后续分析，舍弃传统高斯视频放大法的视频重构步骤，以提高信噪比和计算速率，节省计算机储存空间。至此，高斯金字塔视频放大流程完成。

拉普拉斯金字塔视频放大的方法，原理与高斯金字塔流程类似，但还存在如下的差别：

1)拉普拉斯金字塔分解与脉搏信号放大中的高斯金字塔分解不同，拉普拉斯金字塔分解在高斯金字塔分解的基础上，再将j-1级近似图像进行金字塔分解的逆过程，即以与金字塔分解相同的步长进行上采样后再通过相同的高斯低通滤波器后与原j级图像做差，得到j级图像预测残差，此时便得到了拉普拉斯金字塔的一层图像，再将j-1级图像作为输入图像重复上述步骤便可得到完整的拉普拉斯金字塔，如图3所示。将原视频的每一帧图像进行空间拉普拉斯金字塔分解作为基带输出(PL)。

2)频域滤波

拉普拉斯金字塔放大主要用于呼吸运动的提取，因此在频域滤波中采用人体呼吸运动所在的频段。根据成年人平静时呼吸频率约为14～20次/min设定带通滤波器的通带频率为0.05～1Hz。若只需提取特定对象的呼吸频率，则可选取更窄的通频带，以去除更多的运动干扰，获得更好的提取效果。

拉普拉斯金字塔放大方法中其它步骤均与高斯金字塔放大步骤相同。

步骤3：确定感兴趣区域，包括脉搏信号的感兴趣区域与呼吸信号的感兴趣区域。

将经上述方法放大后的视频图像作为输入，快速确定视频中脉搏信号出现的感兴趣区域，具体方法为：

一般来说脉搏信号的感兴趣区域，出现在人的头面部，这是因为人体的头面部毛细血管网最丰富。因此在脉搏信号的感兴趣区域选取时，采用基于神经网络的人脸识别方法，来确定人头面部区域。对头面部区域内的图像序列，采用帧间差分法计算帧间绿色通道信号强度之差Dg。采用帧间差分法的优点是：算法实现简单，程序设计复杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好。记图像序列中第n帧和第1帧图像的绿色通道信号强度为g_n和g₁，两帧对应像素点的灰度值记为g_n(u,v)和g₁(u,v)，按照下式将两帧图像对应的像素点的灰度值进行相减，得到差分图像D_g(u,v)，其中，u,v分别表示图像像素点列坐标和行坐标：

D_g(u,v)＝|g_n(u,v)-g₁(u,v)| (8)

根据每一帧图像的人脸区域内的平均颜色(R_m，G_m，B_m)，计算人脸区域内各像素点颜色与平均颜色的差别

式中，R、G、B分别表示图像像素点的红色通道信号，绿色通道信号，和蓝色通道信号；R_m，G_m，B_m分别为人脸区域内所有像素点的红色、绿色及蓝色通道信号的平均值。

计算各像素点的D_g/D_c，它是一个时间的函数；求取采集视频的时间内该函数的最大值，作为各像素点的帧间变化强度。根据人脸区域内所有像素点的帧间变化强度，将其按从大到小排序，将某像素点排序与所有像素点数量的比值记为λ，把该排序位置像素点的帧间变化强度设置为帧间变化强度的阈值T_λ。其中λ的取值一般为0.3-0.5，可根据光照条件、图像序列的空间分辨率等参数来进行相应调整。λ取值较小时，脉搏信号的感兴趣区域较小，适用于高图像分辨率、光照充足的条件；λ取值较大时，脉搏信号的感兴趣区域较大，适用于低图像分辨率、光照不充足的条件。对于帧间变化强度大于阈值T_λ的像素点，即认为是脉搏信号较强像素点；对这些像素点进行适当的闭运算后，生成连续性较好的区域，可以减少局部噪声，特别是椒盐噪声的影响，将这些区域作为脉搏信号感兴趣区域。

而对于呼吸运动的感兴趣区域，一般出现在人体的胸部区域。为了具体确定这些区域，输入拉普拉斯视频放大后的图像序列，首先将彩色图像序列转化为灰度图像序列，并根据灰度图像的亮度值，使用局部大津法选取合适的亮度阈值将图像序列转化为二值化图像序列，方法为：

设定阈值T，按照下式逐个对像素点进行二值化处理，得到二值化图像R：

其中，灰度值为255的点为前景(运动目标点)，灰度值为0的点即为背景点。将每一帧二值化图像R减去第一帧图像，生成差分图像序列，并在差分图像序列中根据运动区域面积的变化，即面积最大的连通域，提取变化最剧烈的区域(ROI)。根据人工神经网络定位原视频中的躯干特征，包括胸部和腹部区域，并将提取出的呼吸运动最剧烈区域(ROI)与定位的胸部和腹部区域取交集，分别得到被检者的胸部运动变化明显区域ROI_K及腹部运动变化明显区域ROI_F，即为两个呼吸信号感兴趣区域。

步骤4：脉搏信号和呼吸信号的感兴趣区域内的图像序列分别进行脉搏及呼吸信号提取，通过互相关运算实现脉搏信号和呼吸信号的同步化。

如图4所示，对于脉搏信号提取，通过分别计算脉搏信号的感兴趣区域内三个颜色通道强度均值，得到红色通道信号R，绿色通道信号G，蓝色通道信号B。对三路颜色通道信号进行独立成分分析，其原理是假设采集到的是信号与若干路噪声的线性叠加，且各路信号与噪声是相互独立的，称为独立成分，如下式：

式中，I_R、I_G、I_B分别是红色、绿色和蓝色通道信号的强度；C₁、C₂、C₃分别是3个独立成分。可以将彩色图像序列中的红色、绿色和蓝色通道信号看成是对脉搏信号多路观测的结果，每一路观测结果均是信号与噪声线性叠加的权重不同，通过独立性假设可以从多路观测结果中将相互独立的信号与噪声分离开，从而实现从多路观测结果中获得想要获取的信号。本发明使用该独立成分分析方法从三路颜色通道信号中计算出C₁、C₂、C₃这3个独立成分，按照上述假设，其中必有1个独立成分为与脉搏相关的信号，而另外两个独立成分为噪声。但是独立成分分析所得的三个独立成分中，并无法确定哪一个是信号，哪些是噪声。研究表明，毛细血管中的血液对绿色光谱的吸收最为明显，因此毛细血管中血液搏动对绿色通道信号的影响最为剧烈，可引起绿色通道信号产生周期性的波动。因此，将3个独立成分结果均与绿色通道信号G进行相关性分析，将相关性最高的结果认为是与脉搏相关的信号(IPPG)。随后对IPPG信号进行频域分析，选取0.5-4Hz中的频谱能量峰值对应的频率，即为脉搏频率fp。进一步构建窄带带通滤波器，通带频率为fp±0.15Hz，对IPPG信号进行窄带滤波，即得到脉搏信号Sp。

如图5所示，对于呼吸信号，分别计算两个呼吸信号感兴趣区域(ROI_K和ROI_F)内差分图像亮度和(IROI_K和IROI_F)，其中差分图像像素亮度值的取值可能为0(表示两帧像素亮度值一样)、+1(表示后续图像像素亮度值大于第一帧)、-1(表示后续图像像素值小于第一帧)；并选取两个呼吸信号感兴趣区域差分图像亮度和(IROI_K和IROI_F)分别用通带频率为0.05-1Hz的带通滤波提取胸部和腹部呼吸强度(R_K和R_F)。对胸部和腹部的呼吸强度进行加权平均，令胸部呼吸信号的权重为1，而腹部呼吸信号的权重为胸腹部感兴趣区域内差分图像亮度和(IROI_K和IROI_F)的相关性，计算所得的信号强度即为呼吸信号S_r，表达式为：

S_r＝R_K+R_F*f_ass(IROI_K,IROI_F) (11)

式中，f_ass(IROI_K,IROI_F)表示胸腹部感兴趣区域内差分图像亮度和(IROIK和IROIF)的相关性。

步骤5：对同步化后的脉搏信号Sp和呼吸信号Sr进行心肺耦合分析，包括时域分析和频域分析，实现心肺耦合的测量。

首先实现脉搏信号Sp和呼吸信号Sr的同步，对脉搏信号Sp和呼吸信号Sr进行同步化处理，方法是计算脉搏信号Sp和呼吸信号Sr在一个呼吸周期Tr内的互相关函数：

式中，τ和t均为一个呼吸周期Tr中的任一时刻。

若互相关函数R_pr(t)在t＝tm时刻取得最大值，则将脉搏信号Sp(t)进行tm的时间平移，即令新的脉搏信号S_p′(t)＝S_p(t-t_m)，即可实现心肺信号的同步。同步的原理是，传统的心肺耦合分析是基于心电信号进行的，由于心电信号中包含可以描述心室除极的R波，心电信号的幅度也随着呼吸运动发生变化，当吸气运动发生时，胸廓增大，心电电极间的电压差也随之增大，表现为心电信号幅值的增加，所以根据心电信号中R波出现位置和幅值的变化可以实现心率和呼吸信号的同步。但是在非接触测量中，无法获得心电活动，所以需要创新同步方法。本方法中，脉搏信号Sp中的极值点表明了脉搏对光谱吸收的最强或最弱的时刻，分别对应脉搏中的最大收缩时刻和舒张末期；而呼吸信号Sr中的极值点表明了呼吸运动中的吸气末期和呼气末期对应的时刻。因此可以通过脉搏信号Sp和呼吸信号的Sr的互相关运算来实现脉搏与呼吸的同步。

完成脉搏与呼吸信号的同步后，进行心肺耦合分析，包括心肺耦合时域分析与频域分析，具体方法如下：

心肺耦合时域分析：

如图6所示，对呼吸信号Sr的每个周期内，计算Sr信号梯度，将梯度最大值出现时刻记为吸气开始时刻ti；在ti基础上延迟一段时间ts，计算在ts前后的一段时间Δt内(即ti+ts±Δt时间范围内)出现脉搏信号Sp最大值的次数hit；连续记录30分钟内hit数量，将hit数量除以30分钟内的呼吸次数，即为心搏发生率。改变ts，绘制横轴为ts，纵轴为心搏发生率的发生率变异曲线。在心搏发生率变异曲线中提取心搏发生率的最大值Imax和最小值Imin，计算心搏时间变异性指数I_v为：

心搏时间变异性指数I_v可用于表征心肺耦合强度，I_v越接近于1，则表明心肺活动同步性越高；I_v越接近于0，则表明心肺活动同步性越低。

心肺耦合分析频域分析：

如图7所示，分别提取脉搏信号Sp和呼吸信号Sr的波峰位置，获取每个波峰之间的时间差。以波峰发生时间为横轴，以波峰间的时间差为纵轴，构成脉搏周期序列信号a(t)和呼吸时长序列信号b(t)；计算两个信号的互相关函数：

然后通过互相关函数计算两信号的互功率谱S_ab(ω)，即对互相关函数进行傅里叶变换，如下：

脉搏周期序列a(t)和呼吸时长序列信号b(t)的自相关函数R_aa(t)、R_bb(t)和自功率谱密度S_aa(ω)、S_bb(ω)可以分别用以下公式计算：

然后可以通过如下公式计算两个序列的相干性系数C_ab(ω)：

最后通过两序列信号的互功率谱平方与相干性计算两信号的耦合强度CPC(ω)：

计算心肺耦合强度CPC(ω)的不同频段的功率，可以得到0-0.4Hz频率范围内的总功率(TPC)，0.04-0.1Hz频率范围内的功率(低频功率，LFC)，低频功率除以总功率(归一化低频功率，LFC-norm)，0.1-0.4Hz频率范围内的功率(高频功率，HFC)，高频功率除以总功率(归一化的高频功率，HFC-norm)，低频功率与高平功率的比值(MFC)。可用上述不同频带的参数来评价心肺耦合强度。

根据心肺耦合时域分析结果中的心搏时间变异性指数Iv和频域分析结果中的心肺耦合强度CPC(ω)，可以实现对心肺耦合的测量和评价。

实施例

采用图1所示的心肺耦合测量装置的结构图，首先，利用视频采集装置对被检者进行视频采集，将摄像机固定在与被检者合适的距离之内，保证图像画面中包含被检者的头面部及上半身。本实施例中视频采集的场景示意图如图8。视频采集过程可采用充足的自然光，或使用其它稳定的光源。

其次，将拍摄好的视频图像(video)输入到视频放大装置中，空间金字塔分解层数根据输入的视频帧图像大小所决定，以2为步长进行下采样和上采样，如输入图像大小为2048×2048，则空间金字塔分解层数为11层，形成高斯金字塔和拉普拉斯金字塔视频图像序列。紧接着分别对每一图像构建的两个金字塔图像序列进行时域滤波，滤波器设计为无限脉冲响应带通滤波器，通带范围可由用户自己选择，本实施例中采用的脉搏信号通带范围是0.5-4Hz，而呼吸信号通带范围是0.05-0.5Hz，得到的滤波后的感兴趣频带结果再进行放大，此实施例的脉搏视频放大倍数α_G为10，呼吸视频放大倍数α_L为20，分别得到放大后的脉搏及呼吸信号感兴趣频段(filtered)，再将放大后的感兴趣频段分别进行高级金字塔和拉普拉斯金字塔重构，将重构后的图像加回到原视频图像中，分别输出经过放大后的脉搏视频帧图像和呼吸视频帧图像。

然后，输入放大后的脉搏视频帧图像和呼吸视频帧图像，利用帧间差分法，确定出视频中脉搏引起颜色变化最显著的区域和呼吸运动变化最明显的区域，并区分出头面部脉搏信号感兴趣区域，胸腹部呼吸信号感兴趣区域。

接着，对每一帧图像的脉搏信号感兴趣区域内图像，分别提取图像红色、绿色、蓝色的平均信号强度IR、IG、IB，经过去趋势、白化、平滑去噪等预处理后，使用独立成分分析法从IR、IG和IB中提取与脉搏有关的IPPG信号，对IPPG信号进行频域分析确定脉搏频率。以脉搏频率为中心频率构建带通滤波器，通带频率为fp±0.15Hz，对IPPG信号进行带通滤波，得到脉搏信号Sp。

对呼吸信号胸腹部两个感兴趣区域(ROI_K和ROI_F)内像素值的亮度信息总和(I_{ROI K}和I_{ROI F})，并选取感兴趣呼吸信号对应的频带对感兴趣区域亮度信息总和(I_{ROI K}和I_{ROI F})分别进行带通滤波，根据成年人平静时呼吸频率约为14～20次/min设定带通滤波器的通带频率为0.05～1Hz，提取呼吸信号曲线(R_K和R_F)。对胸腹部的呼吸信号曲线R_K和R_F进行加权平均，获得呼吸信号Sr。

心肺信号同步及分析装置对脉搏信号Sp和呼吸信号Sr进行同步，并实现心肺耦合时域分析及频域分析，分别获取心搏时间变异性指数Iv和心肺耦合强度CPC(ω)。计算心肺耦合强度CPC(ω)的不同频段的功率，可以得到总功率(TPC)，低频功率(LFC)，归一化低频功率(LFC-norm)，高频功率(HFC)，归一化的高频功率(HFC-norm)，低频功率与高平功率的比值(MFC)。根据不同频带的功率来评价心肺耦合强度，对呼吸***疾病、心血管***疾病实现预警或对呼吸状态，如呼吸阻塞、呼吸暂停等进行判定。

Claims (7)

1.非接触式的心肺耦合评价方法，其特征在于：通过下述步骤实现：

步骤1：获取被检者安静状态下的视频，包含被检者的头面部及上半身；

步骤2：对视频进行微小变化的放大，包括微小颜色的变化和微小动作的变化；放大视频中面部图像颜色的变化用于提取脉搏信号，放大视频中上半身图像的微小运动用于提取呼吸信号；

步骤3：确定放大后的视频图像感兴趣区域，包括脉搏信号的感兴趣区域与呼吸信号的感兴趣区域；

步骤4：脉搏信号和呼吸信号的感兴趣区域内的图像序列分别进行脉搏及呼吸信号提取，通过互相关运算实现脉搏信号和呼吸信号的同步化；

步骤5：对同步化后的呼吸及脉搏信号进行心肺耦合分析，包括时域分析和频域分析，实现心肺耦合的测量。

2.如权利要求1所述非接触式的心肺耦合评价方法，其特征在于：步骤2中，视频微小变化的放大方法为：

首先，对输入上述包含受试者上半身的视频数据，分别进行高斯金字塔分解和拉普拉斯金字塔分解，并输出高斯金字塔分解的各层结果PG和拉普拉斯金字塔分解的各层结果PL；

随后，通过上述金字塔分解得各层结果，分别对每一层图像的亮度信息进行时域的带通滤波；对于高斯金字塔输出PG，带通滤波器的通带频率设置为脉搏信号所在频带，输出脉搏的感兴趣频段信息PGI；

对于拉普拉斯金字塔输出PL，带通滤波器的通带频率设置为呼吸信号所在频带，输出呼吸的感兴趣频段信息PLI；

最后，对上述金字塔各层感兴趣频段信息进行放大α倍，将放大后的信号进行金字塔重构加回到原图像中，分别输出放大后的脉搏视频帧图像和呼吸视频帧图像。

3.如权利要求1所述非接触式的心肺耦合评价方法，其特征在于：步骤3中，视频图像感兴趣区域确定方法为：

脉搏信号感兴趣区域选取：

对放大后的脉搏视频图像帧，基于神经网络方法进行人脸识别；对人脸区域内的图像，使用帧间差分法计算帧间绿色通道信号强度的差Dg；根据人脸区域内的平均颜色，计算人脸区域内各像素点颜色与平均颜色的差别：

将D_g/D_c作为各像素点的帧间变化强度，设置阈值T，对于帧间变化强度大于阈值T的像素点作为脉搏信号感兴趣区域；

呼吸信号感兴趣区域选取：

对放大后的呼吸视频图像帧进行二值化处理，将每一帧图像减去第一帧图像，生成差分图像，在差分图像中提取被检者身体运动变化明显的区域，并将其区分为胸部和腹部以及其他区域，最终将胸部腹部呼吸运动明显的区域分别选取为两个感兴趣区域ROI_K和ROI_F。

4.如权利要求1所述非接触式的心肺耦合评价方法，其特征在于：步骤4中，脉搏及呼吸信号提取方法为：

脉搏视频信号提取：

从脉搏信号感兴趣区域中，分别提取图像红色、绿色、蓝色的平均信号强度IR、IG、IB，经过预处理后，使用独立成分分析法从IR、IG和IB中提取与脉搏有关的IPPG信号；对IPPG信号进行频域分析，提取0.5-4Hz频率范围内的能量峰值所出现的频率fp，即为脉搏频率；构建带通滤波器，通带频率为fp±0.15Hz，对IPPG信号进行带通滤波，得到脉搏信号Sp；

呼吸视频信号提取：

分别计算三值化差分图像内呼吸信号两个感兴趣区域ROI_K和ROI_F内的亮度信息总和IROI_K和IROI_F；并选取感兴趣呼吸信号对应的频带对感兴趣区域差分图像亮度和IROI_K和IROI_F分别经带通滤波后提取呼吸信号曲线R_K和R_F,并分别对感兴趣区域ROI_K和ROI_F的面积进行加权平均，令胸部呼吸信号的权重为1，而腹部呼吸信号的权重为胸腹部感兴趣区域面积IROI_K和IROI_F的相关性，计算所得的信号强度即为呼吸信号Sr。

5.如权利要求1所述非接触式的心肺耦合评价方法，其特征在于：步骤4中，脉搏信号和呼吸信号的同步化方法为：

计算脉搏信号和呼吸信号在一个呼吸周期Tr内的互相关函数R_pr(t)，若互相关函数R_pr(t)在t_m时刻取得最大值，则将脉搏信号Sp(t)进行tm的时间平移，即令新的脉搏信号S′_p(t)＝S_p(t-t_m)。

6.如权利要求1所述非接触式的心肺耦合评价方法，其特征在于：步骤5中，心肺耦合分析方法为：

心肺耦合时域分析：

对呼吸信号Sr的每个周期内，计算Sr信号梯度，将梯度最大值出现时刻记为吸气开始时刻ti；在ti基础上延迟一段时间ts，计算在ts前后的一段时间Δt内出现脉搏信号Sp最大值的次数hit；连续记录30分钟内hit数量，将hit数量除以30分钟内的呼吸次数，记为心搏发生率；改变延迟时间ts，得到心搏发生率曲线；根据曲线中的最大值和最小值计算心搏时间变异性指数，并根据心搏时间变异性指数对心肺耦合强度进行评价；

心肺耦合频域分析：

分别提取脉搏信号Sp和呼吸信号Sr的波峰位置，获取每个波峰之间的时间差，构成脉搏周期序列信号a(t)和呼吸时长序列信号b(t)；计算两个信号的互相关函数R_ab(t)，并通过互相关函数计算两信号的互功率谱密度函数S_ab(ω)；同理，分别计算脉搏周期脉搏周期序列信号a(t)和呼吸时长序列信号b(t)的自相关函数和自功率谱密度R_aa(t)、R_bb(t)、S_aa(ω)、S_bb(ω)；然后根据互功率谱S_ab(ω)和自功率谱S_aa(ω)、S_bb(ω)，计算相干性系数C_ab(ω)；最后通过两序列信号的互功率谱平方与相干性计算两信号的耦合强度CPC(ω)；将心肺耦合强度CPC(ω)分为不同频段，分别计算0-0.4Hz频率范围内的总功率，0.04-0.1Hz频率范围内的功率，低频功率除以总功率，0.1-0.4Hz频率范围内的功率，高频功率除以总功率，低频功率与高平功率的比值；通过上述不同频带的参数来评价心肺耦合强度。

7.针对权利要求1～6所述非接触式的心肺耦合评价方法的心肺耦合评价装置，其特征在于，包括视频图像采集装置，视频放大装置，感兴趣区域选取装置，视频信号处理装置，心肺信号同步及分析装置；

视频图像采集装置为摄像头，用于捕捉被检者的头面部及上半身的视频；

视频放大装置包括金字塔分解部、时域滤波部与放大部；其中，金字塔分解部并行地通过高斯视频放大方法与拉普拉斯视频放大方法放大视频图像中的颜色变化与轮廓变化；时域滤波部对上述金字塔分解得各层图像的亮度信息进行时域的带通滤波；输出脉搏的感兴趣频段信息与呼吸的感兴趣频段信息；所述放大部对上述金字塔各层感兴趣频段信息进行放大，将放大后的信号进行金字塔重构加回到原图像中，输出放大后的脉搏视频帧图像和呼吸视频帧图像；

所述感兴趣区域选取装置，对高斯视频放大图像序列和拉普拉斯视频放大图像序列，分别进行感兴趣区域的选取，输出呼吸和脉搏信号感兴趣区域；

所述视频信号处理装置从呼吸和脉搏信号感兴趣区域中，分别提取呼吸信号与脉搏信号；

所述心肺信号同步及分析装置用于提取的将脉搏信号和呼吸信号进行同步处理，然后进行心肺耦合的时域分析和频域分析。

Images