CN112587153A - 一种基于vPPG信号的端到端的非接触房颤自动检测***和方法 - Google Patents

Abstract

本发明公开了一种基于vPPG信号的端到端的非接触房颤自动检测***，包括：数据预处理模块，用于录制待测用户的脸部视频，并将录制的视频去除开头和结尾噪声干扰大的位置，降采样，再截取成统一长度和大小；脉搏波提取模块，通过P3D卷积神经网络提取脸部视频的vPPG信号；数据降噪模块，基于FCN‑DN的神经网络对vPPG数据去除噪声；房颤检测模块，首先用于训练模型使其学会划分房颤片段和非房颤片段，再将待测vPPG信号片段输入到训练好的房颤检测模型，从而判断待检测的vPPG信号是否包含房颤片段。本发明提出的联合包含注意力机制的长短时记忆力网络和卷积网络的并联网络使得模型的检测全面、精度高、效果好。

Description

一种基于vPPG信号的端到端的非接触房颤自动检测***和 方法

技术领域

本发明属于医疗数据分析技术领域，更具体地，涉及一种针对脸部视频基于P3D卷积和注意力机制长短时记忆网络的房颤自动检测***和方法。

背景技术

房颤是一种由于心脏异常活动造成的心律不齐。在80岁以上的老年病人，房颤发病率通常在10％-17％之间。2020年全世界房颤患病人数已经达到3300 万。房颤后期通常伴有血栓、心衰等心血管疾病。因此，对房颤信号的早发现、早预防至关重要。房颤临床上通过医生对12导联的ECG(electrocardiogram，心电图)信号分析确诊，心电图诊断的标准是不规则的心率持续时间超过30秒、伴随有P波消失。特别是阵发性房颤的诊断，需要24小时动态心电图监测诊断，需要在被测者皮肤上贴电极片，存在操作繁琐、适用场景少、检测成本高的问题。

运动手环上广泛存在的PPG(Photoplethysmography，光电容积描记法)技术，是通过手环光电接收管记录皮肤下动脉和毛细血管的血容量变化导致的皮肤颜色的微小变化，再通过特定算法提取出来脉搏波，需要测量部位血流通畅且与光电接收器贴合紧密，没有漏光。vPPG(video Photoplethysmography，视频光电容积描记法)是基于视频的光电容积描述法，通过手机摄像头或者普通消费级摄像头记录面部毛细血管的血容量变化导致的皮肤颜色的微小变化，具有低成本、非接触、简单便利的优点，可用于老人或者体弱的婴幼儿睡眠时心率监控。

传统的房颤检测算法需要对ECG信号RR间期(峰值间隔)的时域、频域或者时频域的特征提取，比如快速傅里叶变换、小波变换等，再筛选出较为重要的特征，对重要的特征通过基于阈值的分类、最近邻、支持向量机和决策树等等分类方法。因此传统的房颤检测存在特征提取步骤繁琐、检测成本高、效率低的问题。此外，现有的深度学习房颤检测方法通常基于卷积神经网络学习大量的ECG数据集，针对vPPG数据，缺少较大的公开房颤病人数据集，且存在学习效率低的问题。目前尚未见到对上述问题所进行解决或改进的方法或技术。

发明内容

针对现有方法的以上缺陷或改进需求，本发明提供了一种基于vPGG信号的端到端的非接触房颤自动检测***和方法，解决现有技术中未考虑从人脸视频远程非接触提取脉搏波监测房颤的发生、未同时考虑脉搏信号的时间、空间相关性、未考虑不规则片段在模型训练中占更大的权重导致的检测精度低，以及使用12导联ECG检测成本高、操作繁琐、不适合日常监测等的问题。

为实现上述目的，本发明提供了一种基于vPPG信号的端到端的非接触房颤自动检测***，包括：数据采集模块，用于录制待测用户的脸部视频；数据预处理模块，将录制的视频去除开头和结尾噪声干扰大的位置，降采样，截取成统一长度和大小，并针对房颤和非房颤数据制作对应的one-hot标签；脸部视频脉搏波提取模块，通过P3D卷积神经网络提取经处理后的脸部视频的脉搏波信号；数据降噪模块，基于FCN-DN的神经网络对vPPG数据去除噪声；房颤检测模块，用于训练模型使其学会划分房颤片段和非房颤片段；

所述脉搏波提取模块是通过P3D卷积网络训练提取脉搏波，P3D卷积网络与2D卷积层相比，同时提取视频相邻帧的空间和时间维度特征,且借鉴残差网络的特点，计算效率高。

其中，所述数据降噪模块包含一个编码器和解码器，编码器由级联的卷积层和批量标准化层组成，实现对vPPG信号压缩降噪，解码器的结构是编码器的反对称，由反卷积层和激活层组成，对vPPG信号重建；

所述房颤检测模块将若干标注房颤和非房颤的vPPG信号划分为训练集和测试集，将训练集输入到房颤检测模型，测试集验证准确性，微调参数，得到训练好的房颤检测模型；其中房颤检测模型为联合基于注意力机制的长短时记忆网络和卷积网络的训练模型；

房颤检测模块，用于将待检测的脸部视频，输入到数据预处理模块、脉搏波提取模块、数据降噪模块，得到vPPG信号片段；将vPPG信号片段输入到训练好的房颤检测模型，从而判断所待检测的vPPG信号是否包含房颤片段。

进一步的，上述房颤检测模块包括：依次连接的形状变换层，两条联合的训练网络，融合层，分类层；所述两条联合的训练网络中一条是长短时记忆网络(LSTM)块，另一条是卷积网络块。

进一步的，上述输入层的大小是1024*1。所述长短时记忆网络块包含：基础的长短时记忆层，基于注意力机制的长短时记忆层，下采样层。

进一步的，上述卷积网络块包含：一维卷积层，批量标准化层，最大池化层。一维卷积层是高度并行的，可以提取输入数据的内在特征，由128*8，256*5， 128*3三层一维卷积层和批量标准化层级联构成。

进一步的，上述融合层是将上述卷积网络模块和长短时记忆网络模块产生的权重拼接。

进一步的，上述分类层是全连接层，通过softmax函数对数据进行分类，分类为房颤片段和非房颤片段。

进一步的，使用Adam优化器对模型的训练参数进行更新，BachSize大小是128，损失函数是交叉熵损失函数。

本发明所提出的基于vPPG信号的端到端的非接触房颤检测***用于医疗数据分析领域，还提供了一种基于上述***的基于vPPG信号的端到端的非接触房颤自动检测方法。

本发明所述的方案与现有的技术相比，具有如下的有益效果是：

1)、本发明提供了一种基于脸部视频的vPPG信号的远程非接触房颤自动检测***，包括脸部视频预处理模块、脉搏波提取模块、数据降噪模块和房颤检测模块；其中，脸部视频预处理模块，对数据降采样、截取统一大小的片段并制作对应的标签；脉搏波提取模块通过P3D卷积网络学习到脸部脉搏波；自动降噪模块通过编码器和解码器对采集的vPPG信号去除噪声；房颤检测模块是联合注意力机制的长短时记忆力网络和卷积网络的并联网络。本发明通过在安徽省省立医院采集的房颤病人进行训练，能够精准的识别房颤片段。

2)、相对于现有的基于机器学习和深度学习的算法的房颤自动检测***，本发明中房颤检测模型是通过医院采集到房颤病人数据进行训练，利用P3D卷积网络从脸部视频提取脉搏波，通过FCN-DN降噪网络去除噪声干扰，省去了对房颤数据通过手动设定阈值滤除噪声和手动选取房颤数据特征的繁杂步骤，可以直接从脸部视频检测是否发生房颤，具有远程非接触、精准高效的特点。

3)、本发明提出的联合包含注意力机制的长短时记忆力网络和卷积网络的并联网络使得模型可以通过注意力机制的长短时记忆力网络提取时许数据单变量的时间前后特征，通过卷积网络提取数据多变量的全局特征，两种网络互补，检测全面、精度高、效果好。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明一实施例所提供的基于vPPG信号的端到端的非接触房颤自动检测***的结构示意图；

图2是本发明一实施例所提供的基于vPPG信号的端到端的非接触房颤自动检测***的算法流程图；

图3是本发明一实施例所提供的P3D卷积网络的模型结构图；

图4是本发明一实施例所提供的FCN-DN降噪网络的模型结构图；

图5是本发明一实施例所提供的联合注意力机制的长短时记忆力网络和卷积网络的并联网络模型结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明提供了一种基于vPPG信号的端到端的远程非接触的房颤检测自动检测***，如图1所示，包括：脸部视频预处理模块、脉搏波提取模块、数据降噪模块、和房颤检测模块。

其中，脸部视频预处理模块，首先，用于对人脸部录制2分钟的脸部视频。优选地，采用普通的手机摄像头或者消费级的摄像头；录制期间，尽量保持人的头部没有剧烈的晃动。其次，对所处位置(例如室内、医院等)采集到的脸部视频去除开头和结尾噪声干扰较大的地方，降采样，再截取到统一的长度和大小，针对房颤和非房颤数据根据采集到的指尖脉搏波制作对应的标签one-hot 标签，并降低视频的分辨率，修剪视频中每帧的图像的大小。

脉搏波提取模块，用于通过P3D卷积神经网络对处理后的摄像头录制的脸部视频提取出vPPG信号。上述提取方法具体是将脸部视频作为训练集，输入到P3D卷积网络，以指尖真实的脉搏波作为标签，以随机梯度下降算法作为优化算法，以均方差作为损失函数。训练网络学习生成对应的人脸视频脉搏波 vPPG。

数据降噪模块，基于FCN-DN(全连接降噪自编码)的神经网络对vPPG 数据去除噪声。自编码器通常用于语音信号降噪、数据压缩等领域。该模块包含一个编码器和解码器，编码器由级联的卷积层和批量标准化层组成，实现对 vPPG信号压缩降噪，解码器的结构是编码器的反对称，由反卷积层和激活层组成，对vPPG信号重建。

房颤检测模块，用于训练模型使其学会划分房颤片段和非房颤片段。首先，将若干标注房颤和非房颤的vPPG信号划分为训练集和测试集，将训练集输入到房颤检测模型，测试集验证准确性，微调参数，得到训练好的房颤检测模型。其中房颤检测模型为联合基于注意力机制的长短时记忆网络和卷积网络的房颤检测模型。待训练好模型，将经过预处理的待检测的脸部视频，输入到脉搏波提取模块、数据降噪模块，得到vPPG信号片段。将vPPG信号片段输入到训练好的房颤检测模型，从而判断所待检测的vPPG信号是否包含房颤片段。

图2示出了一种基于vPPG信号的端到端的非接触房颤自动检测***的算法流程图。如图2所示，基于vPPG信号的端到端的非接触房颤自动检测方法包括如下步骤：

S1、进行脸部视频采集。使用脸部视频采集模块对待测用户录制2分钟的脸部视频。

S2、使用脸部视频预处理模块对所述录制的脸部视频预处理。

S3、判断是否已经训练好房颤检测模型，如否转入步骤S41，如是则转入步骤S51。

S41、将若干标注房颤和非房颤的数据划分为训练集和测试集；

S42、搭建上述的脉搏波提取模块和上述的数据降噪模块，使用脉搏波提取模块对训练数据提取出vPPG信号，使用数据降噪模块对vPPG数据去除噪声。

S43、将训练集和测试集中对应处理后的vPPG信号输入房颤检测模块中进行房颤检测，得到训练好的房颤检测模型，并对模型参数进行保存，返回步骤 S1。

S51、读取训练好的房颤检测模型及其对应的模型参数；

S52、将S2得到的脸部视频数据利用脉搏波提取模块和数据降噪模块处理后，将处理得到的vPPG信号输入加载好的房颤检测模型中，通过模型自动检测得到检测结果并输出结果，返回步骤S1。

进一步地，脉搏波提取模块基于P3D卷积网络对人脸视频片段提取脉搏波。 P3D卷积网络可以根据需要放在FCN降噪前级或者后级。其中，P3D卷积网络中网络块的卷积核大小分别是1*1*1(I)，1*3*3(S)和3*1*1(T)，网络块的结构如图3所示，是借鉴残差网络，将残差网络的残差单元替换成P3D网络块。 P3D网络先在图像空间卷积，再在时间维度卷积，如公式(1)所示

(I+T·S)·X_t：＝X_t+T(S(X_t))＝X_t+1 (1)

其中，S(·)表示对图像空间卷积，T(·)表示在时间维度卷积，I是单位矩阵， X_t表示t时刻的输出。

进一步地，如图4所示，数据降噪模块基于编码器和解码器网络对vPPG 数据片段降噪。其中，编码器由不同的卷积块级联构成，卷积块由卷积层、批量标准化层组成。其中，批量标准化的激活函数是reLu函数。编码器常用在数据压缩和语音信号去噪领域，它将输入数据x压缩映射到潜在的空间表征z，实现对数据的压缩和降噪。解码器是编码器的反对称，由不同的反卷积块组成，反卷积块由反卷积层、批量标准化层组成。解码器通过对上述的空间表征z重构为输出

如公式(2)、(3)所示，其中f(·)，g(·)表示非线性激活函数，常用的有 sigmoid函数，reLu函数。W，b表示编码器权重矩阵和偏置矩阵。

表示解码器的权重矩阵和偏置矩阵。目标损失函数是(4)。该模块通过输入加入随机噪声的vPPG信号样本作为输入，以未加噪声的网络作为基准，通过训练学习噪声的特征进而去除噪声。

z＝f(Wx+b) (2)

图5是房颤检测模块的示意图，其训练网络采用联合注意力机制的长短时记忆力网络和卷积网络的并联网络。其中，注意力机制通过对长短时记忆网络隐藏层的状态加权平均，识别出对房颤检测较为重要的信息。

所述房颤检测模块包括：形状变换层，两条联合的训练网络(一条是长短时记忆网络(LSTM)块，另一条是卷积网络块)，融合层，分类层。输入层(图 5中Input变换块)的大小是1024*1。

长短时记忆网络块包含：基础的长短时记忆层(LSTM)，基于注意力机制的长短时记忆层(Attention+LSTM)，下采样层。其中，长短时记忆网络，用于提取时间序列信号的内在特征，记忆长序列的特征不遗忘。注意力机制有很多分类，最早是在计算机视觉里应用，随后广泛应用到自然语言处理领域；可以针对提高分类效果的网络参数增加权重，注意到感兴趣的地方，使得模型学习速率更快，效果更好。

卷积网络块包含：一维卷积层，批量标准化层，最大池化层。一维卷积层是高度并行的，可以提取输入数据的内在特征，这里由128*8，256*5，128*3 三层一维卷积层和批量标准化层级联构成，激活函数都是relu函数。批量标准化层，标准化神经网络中间层的分布，改善梯度消失问题，提高学习速率。

融合层Concate是将上述卷积网络模块和长短时记忆网络模块产生的权重拼接。分类层是全连接层，通过softmax函数对数据进行分类，分类为房颤片段和非房颤片段。

房颤检测过程中的优化器使用Adam优化器对训练参数进行更新，BachSize 大小是128，损失函数是交叉熵损失函数。

本发明注意力机制的长短时记忆网络由基础的LSTM网络层，基于注意力机制的LSTM层和Dropout层组成，Dropout层防止模型过拟合。

LSTM是RNN(recurent neural network，循环卷积网络)网络的一种，可以解决RNN网络长距离梯度消失的问题。LSTM包含三个门，包含遗忘门f_t，输入门i_t和输出门o_t，通过sigmoid函数决定信息的遗忘，输入和输出。具体t 时间的计算方式如下：

f_t＝δ(W_f·[h_t-1，x_t]+b_f) (5)

i_t＝δ(W_i·[h_t-1，x_t]+b_i) (6)

o_t＝δ(W_o·[h_t-1，x_t]+b_o) (7)

h_t＝o_t*tanh(C_t) (10)

其中，h_t表示隐含层，C_t表示细胞状态层，它们承载着信息。其中W_f，W_i， W_o，W_c是权重矩阵。b_f，b_i，b_o，b_c是偏置矩阵，tanh函数是数据归一化到[-1，1] 之间。

注意力机制通过使得与房颤有关的权重更大，具体是通过加权求和的方式计算上下文向量c_i。

其中，h是LSTM层的隐藏层，a_ij是各个隐含层的权重，c_i是针对t时刻的上下文向量，T_m是总的时间；

其中e_ij是计算位置j附近的输入和位置i的输出的匹配程度，也即相似度，

e_ij＝score(h_i-1，h_j) (13)

score＝h_i-1 ^Th_j (14)

最后将注意力机制的长短时记忆网络和卷积网络通过融合层连接在一起，最后通过分类层，这里分类层由全连接层通过softmax函数预测房颤出现的概率，训练的损失函数是交叉熵损失函数。

所述交叉熵损失函数是：

其中，L表示损失函数，N表示vPPG信号片段的样本总数，y⁽ⁱ⁾表示样本i的标签，

表示模型对样本i发生概率的预测。

作为一实施例，利用和医院合作采集的房颤病人vPPG信号和正常人vPPG 信号制作数据集，作为输入，迭代训练房颤检测模型的权重矩阵和偏置项，最终获得了训练好的房颤检测模型。

通过与安徽省省立医院合作，建立房颤病人vPPG信号的数据库，采集了 80例房颤病人的面部视频和相应的指尖脉搏波，用于对房颤检测。经验证，本发明的自动检测结果准确、检测过程高效便捷。

本发明提出的针对面部视频的基于vPPG信号的端到端房颤自动检测方法，使得神经网络注重对房颤不规律片段的学习，学习速率更快；基于长短时记忆力网路可以学习到时间序列的内在特征，基于卷积网络可以并行学习到序列的全局特征，从而使得房颤检测适用更多场景、准确度更高、成本更低。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和原则的前提下，可以在实施的形式及细节上进行任何的修改与变化、等同替换等，这些都属于本发明的保护范围。因此，本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种基于vPPG信号的端到端的非接触房颤自动检测***，包括：数据预处理模块，用于录制待测用户的脸部视频,将录制的视频去除开头和结尾噪声干扰大的位置，再截取成统一长度；脉搏波提取模块，通过P3D卷积神经网络提取脸部视频的vPPG信号；数据降噪模块，基于FCN-DN的神经网络对vPPG数据去除噪声；房颤检测模块，用于训练模型使其学会划分房颤片段和非房颤片段；

其中，所述脉搏波提取模块是P3D卷积神经网络组成的残差网络，P3D卷积网络先在图像空间卷积，再在时间维度卷积，P3D卷积网络中网络块的卷积核大小分别是1*1*1,1*3*3和3*1*1；

所述数据降噪模块包含一个编码器和解码器，编码器由级联的卷积层和批量标准化层组成，实现对vPPG信号压缩降噪，解码器的结构是编码器的反对称，由反卷积层和激活层组成，对vPPG信号重建；

所述房颤检测模块将若干标注房颤和非房颤的vPPG信号划分为训练集和测试集，将训练集输入到房颤检测模型，测试集验证准确性，微调参数，得到训练好的房颤检测模型；

房颤检测模块，用于将经过预处理的待检测的脸部视频，输入到脉搏波提取模块、数据降噪模块，得到vPPG信号片段；将vPPG信号片段输入到训练好的房颤检测模型，从而判断所待检测的vPPG信号是否包含房颤片段。

2.根据权利要求1所述的***，其特征在于，所述房颤检测模块包括：输入层，两条联合的训练网络，融合层，分类层；所述两条联合的训练网络中一条是长短时记忆网络LSTM块，另一条是卷积网络块。

3.根据权利要求2所述的***，其特征在于，所述长短时记忆网络块包含：基础的长短时记忆层，基于注意力机制的长短时记忆层，下采样层。

4.根据权利要求3所述的***，其特征在于，上述卷积网络块包含：一维卷积层，批量标准化层，最大池化层。

5.根据权利要求4所述的***，其特征在于，一维卷积层是高度并行的，可以提取输入数据的内在特征，由128*8，256*5，128*3三层一维卷积层和批量标准化层级联构成。

6.根据权利要求5所述的***，其特征在于，上述融合层是将上述卷积网络模块和长短时记忆网络模块产生的权重拼接。

7.根据权利要求5所述的***，其特征在于，上述分类层是全连接层，通过softmax函数对数据进行分类，分类为房颤片段和非房颤片段。

8.根据权利要求7所述的***，其特征在于，使用Adam优化器对模型的训练参数进行更新，BachSize大小是128，损失函数是交叉熵损失函数。

9.一种基于vPPG信号的端到端的非接触房颤自动检测方法，所述方法基于如权利要求1-8任一项所述的***，其特征在于：所述方法包括如下步骤：

S1、进行脸部视频采集，使用数据采集模块对待测用户录制脸部视频；

S2、使用数据预处理模块对所述录制的脸部视频预处理；

S3、判断是否已经训练好房颤检测模型，如否转入步骤S41，如是则转入步骤S51；

S41、将若干标注房颤和非房颤的数据划分为训练集和测试集；

S42、搭建所述的脉搏波提取模块和所述的数据降噪模块，使用脉搏波提取模块对训练数据提取出vPPG信号，使用数据降噪模块对vPPG数据去除噪声。

S43、将训练集和测试集中经过处理后获得的vPPG信号输入模型训练模块中进行模型训练，调整模型参数，最终得到训练好的房颤检测模型，并对模型参数进行保存，返回步骤S1；

S51、读取训练好的房颤检测模型及其对应的模型参数；

S52、将S2得到的脸部视频数据利用脉搏波提取模块和数据降噪模块处理后，将处理得到的vPPG信号输入加载好的房颤检测模型中，通过模型自动检测得到检测结果并输出结果，返回步骤S1。

Images