CN115281688A - 一种基于多模态深度学习的心脏肥大多标签检测*** - Google Patents

Abstract

本发明公开了一种基于多模态深度学习的心房心室肥大多标签检测***，属于心电图上的心脏肥大检测领域。采用自适应小波阈值去噪、基于形态学特征的心拍分割、深度神经网络、多模态特征融合等方法，当下热门的计算机视觉技术迁移到心电信号分类上，通过将心电信号的时域特征、形态特征和病人个体信息融合，对四种心脏肥大和正常同时进行分类，搭建出一个基于多模态深度学习的多标签检测框架，从而解决了心电信号在心脏肥大检测上的准确率差和泛化能力差的问题，实现了基于心电图的心脏肥大准确监测，可用于临床诊断。

Description

一种基于多模态深度学习的心脏肥大多标签检测***

技术领域

本发明属于心电信号检测领域，更具体地，涉及一种基于多模态深度学习的心脏肥大多标签检测***。

背景技术

在心内科临床诊断治疗中，心脏肥大(Cardiac hypertrophy)非常常见。心脏肥大又分为心房肥大(atrial hypertrophy)和心室肥大(ventricular hypertrophy)，主要与心房心室负荷过重有关系。心房肥大导致心脏负荷过重，可能导致心脏血管出现高血压、冠心病、心肌病等问题，而心室肥大困难导致心肌炎、心绞痛、心力衰竭等疾病。而这些心脏类疾病具有高致残率和高死亡率等特点，严重地影响着人类的生命健康。

临床上诊断心脏肥大的方式主要有心电图(Electrocardiogram,ECG)检查和心脏彩超(Ultrasonic cardiogram,UCG)检测。心脏彩超检测对于心脏各个腔室内径改变的敏感性则较高，误诊率与漏诊率较低，对于心脏肥大的检出率较高。但是心脏彩超检测极其容易受到检查时间和设备等因素的影响，限制性大，并且费用相对较高，并且难以在基层医院普及。心电图是一种检测心脏产生的电活动从而检测心脏异常的心脏检查。心电图临床应一直以其经济实用、方便快捷的优点为广大临床义务工作者所推崇。特别地，心电图在边远地区和基层医院的疾病诊断中被广泛使用。心电图与心脏彩超诊断相比，操作更简单，临床应用范围更广，且重复性也更高，因此它在心房心室肥大诊断中的辅助性更强，也更常用。并且，一些心脏疾病在早期主要出现电学改变，中晚期才会出现形态学的变化，因此利用心电图进行电学检查有助于患者早发现早治疗。但是目前利用心电图诊断心房肥大的准确率很低，因此亟需一种快速有效的利用心电图检测心房肥大的方法。

传统的心脏肥大心电图分析是由医生结合自己的知识和临床经验对心电图波形进行诊断，这就导致这种方法的准确率严重依赖于医生的经验和诊断水平，同时在数据量较大的情况下耗时长，因此传统方法具有很大的局限性，不能完全满足临床需求。近年来，深度学习使心电图的自动诊断成为医学研究领域研究热点。但是目前利用深度进行心脏肥大心电图诊断的研究非常少，并且大部分研究只聚焦于单个类别的诊断，这使得心电图的诊断仍然具有较大的局限性；同时使用深度学习方法处理心电信号时只关注于心电特征，忽略了个体差异性对医疗检测的影响，这将导致检测方法在普通人群中的泛化能力较差。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多模态深度学习的心脏肥大多标签检测***，由此解决现有技术根据单模态的特征表示进行心脏肥大心电图分类的准确率不高的问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于多模态深度学习的心脏肥大多标签检测***，包括：

病历信息提取模块，用于从待诊断的电子病历中提取预先设置的属性，将其进行拼接后转化为属性矢量；

心电信号去噪模块，用于去除与所述电子病历对应的心电信号中的基线噪声、工频干扰和肌肉干扰，得到去噪后的心电信号；

心拍图像提取模块，用于对所述去噪后的心电信号中的Ⅱ导联、V1导联和V6导联心电信号分别进行QRS波定位，选择任意相邻的3个QRS波峰点Q_i-1，Q_i，Q_i+1，截取删除Q_i-1的后K个心电采样点及Q_i+1的前K个心电采样点后、Q_i-1及Q_i+1之间的心电采样点作为心电节拍图像；并将所述Ⅱ导联、V1导联和V6导联心电信号的心电节拍图像进行通道拼接得到心拍图像；

多模态诊断模块，用于分别提取所述属性矢量、去噪后的心电信号及心拍图像的语义特征、时域特征及形态特征并进行特征融合后进行多标签分类，得到检测结果；

其中，所述检测结果为左心房肥大(left atrial hypertrophy，LAH)、左心室肥大(left ventricular hypertrophy，LVH)、右心房肥大(right atrial hypertrophy，RAH)和右心室肥大(right ventricularhypertrophy，RVH)中的至少一种，或正常(Normal)。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明提供的基于多模态深度学习的心脏肥大多标签检测***，采用基于形态学特征的心拍分割、深度神经网络、多模态特征融合等方法，将当下热门的计算机视觉技术迁移到心电信号分类上，通过将心电信号的时域特征、形态特征和病人个体信息融合，对四种心脏肥大和正常的情况同时进行判断，搭建出一个基于多模态深度学习的多标签检测框架，从而解决了心电信号在心脏肥大检测上的准确率差和泛化能力差的问题，实现了基于心电图的心脏肥大准确监测，可用于临床诊断。

2、本发明提供的基于多模态深度学习的心脏肥大多标签检测***，通过选取3个在医学理论中与心脏肥大的诊断密切相关的导联作为心拍输入，减少心电信号中的冗余信息，有利于特征的聚焦，同时通过心拍分割，使得特征提取更关注于心脏肥大的形态学特征，有利于提高分类的准确性。

3、本发明提供的基于多模态深度学习的心脏肥大多标签检测***，从患者的电子病历中提取年龄和性别作为病历元数据，由于年龄和性别具有明显的个体差异性，将其纳入模型训练输入中可以有效提高模型的泛化能力。同时，年龄和性别也是在医学理论上与心脏肥大的诊断密切相关的属性。因此将年龄和性别作为病历元数据能够有效提高模型的泛化能力和诊断的准确率。

4、本发明提供的基于多模态深度学***滑性又能提高去噪效果，从而实现了心电信号的去噪保真。

5、本发明提供的基于多模态深度学习的心脏肥大多标签检测***，时间序列特征提取模块通过一维卷积神经网络CNN提取频域变化，具备很强的特征提取能力和鲁棒性，同时利用长短期记忆网络LSTM提取长时间序列的历史信息，抽取时间上隐含的特征。心拍图像特征提取模块利用二维卷积神经网络CNN有效提取心拍图像上的局部波形特征，同时使用残差结构保留原始输入信息，将心电信号的局部微小特征更好地抽取出来。病历数据特征提取模块通过全连接层DENSE层提取数据的年龄和性别作为语义特征，考虑个体差异性，从而提高检测模型的泛化能力。心脏肥大在心电信号上的表现既有时间上的异常也有形态学上的异常，既有上下文的依赖性又有微小波形的变化，因此将时域特征与形态特征结合，才能更好地对心脏肥大进行检测。多模态诊断模块可以很有效的针对这两个特点进行检测，同时考虑个体差异性，从而提高检测模型准确率和泛化能力，实现了神经网络对心脏肥大特征的有效检测。

附图说明

图1为本发明实施例提供的基于多模态深度学习的心脏肥大多标签检测***结构图；

图2为健康成人心电图的各成分示意图；

图3(a)、图3(b)分别为本发明实施例提供的卷积神经网络结构图、循环神经网络结构图；

图4为本发明实施例提供的多模态深度神经网络框架图；

图5为本发明实施例提供的心电信号去噪处理示意图；

图6为本发明实施例提供的形态学心拍分割框架的示意图；

图7(a)、7(b)、7(c)、7(d)、7(e)分别为本发明实施例提供的本发明提供的基于多模态深度学习的心脏肥大多标签检测***在测试集上得到的实验结果与左心房肥大(LAH)、左心室肥大(LVH)、右心房肥大(RAH)、右心室肥大(RVH)、正常(Normal)的AUC得分。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供一种基于多模态深度学习的心脏肥大多标签检测***，如图1所示，包括：

病历信息提取模块，用于从待诊断的电子病历中提取预先设置的属性，将其进行拼接后转化为属性矢量。

具体地，病历信息提取模块用于从电子病历中提取出预先设置的属性作为病历结构化数据，将提取的属性信息拼接在一起得到病历元数据，将其转化为矢量后保存。

进一步地，所述预先设置的属性包括年龄及性别。

具体地，所述病历信息提取模块从电子病历中提取出具有明显个体差异性并与心脏肥大诊断密切相关的年龄和性别两类数据作为病历元数据。

心电信号去噪模块，用于去除与所述电子病历对应的心电信号中的基线噪声、工频干扰和肌肉干扰，得到去噪后的心电信号。

具体地，心电信号去噪模块用于获取与该电子病历对应的心电信号(12导联心电信号)，从原始心电信号中消除掉基线噪声、工频干扰和肌肉干扰，使得心电信号的波形不会受到噪声影响，得到无干扰的心电序列数据，

心拍图像提取模块，用于对所述去噪后的心电信号中的Ⅱ导联、V1导联和V6导联心电信号分别进行QRS波定位后，选择任意相邻的3个QRS波峰点Q_i-1，Q_i，Q_i+1，截取删除Q_i-1的后K个心电采样点及Q_i+1的前K个心电采样点后，Q_i-1及Q_i+1之间的心电采样点作为心电节拍图像，从而分别得到所述Ⅱ导联、V1导联和V6导联心电信号的心电节拍图像；并将所述Ⅱ导联、V1导联和V6导联心电信号的心电节拍图像进行通道拼接得到心拍图像；

具体地，心拍图像提取模块用于对去噪后的心电时间序列信号进行QRS波定位，将患者时长为一个QRS波段的心拍序列保存得到心拍图像，作为心拍图像数据。也即，从去噪的12导联心电图中选取Ⅱ导联、V1导联和V6导联进行心拍图像提取。利用Pan-Tompkins算法实现QRS波识别定位，根据Q波峰值时间对每个心电节拍进行切片。对于每个导联的心电信号，处理得到一个心电节拍。将3个导联(Ⅱ导联、V1导联和V6导联)的心电节拍连接为一个完整心拍图像。

多模态诊断模块，用于分别提取所述属性矢量、去噪后的心电信号及心拍图像的语义特征、时域特征及形态特征并进行特征融合后进行多标签分类，得到检测结果；

其中，所述检测结果为左心房肥大、左心室肥大、右心房肥大和右心室肥大中的至少一种，或正常。

进一步地，所述多模态诊断模块包括病历数据特征提取模块、心电信号特征提取模块、心拍图像特征提取模块、多模态特征融合模块及多标签分类器；

所述病历数据特征提取模块用于提取所述属性矢量的语义特征；

所述心电信号特征提取模块用于提取所述去噪后的心电信号的时域特征；

所述心拍图像特征提取模块用于提取所述心拍图像的形态特征；

所述多模态特征融合模块用于融合所述语义特征、时域特征及形态特征，得到多模态特征融合向量；

所述多标签分类器用于计算所述多模态特征融合向量属于各标签类别的概率，保留并输出概率高于预设阈值的标签类别。

进一步地，所述预设阈值为50％。

进一步地，所述病历数据特征提取模块包括全连接层和长短期记忆网络；

所述语义特征心电信号特征提取模块包括一维卷积神经网络、残差网络、长短期记忆网络及全局平均池化层；

所述心拍图像特征提取模块包括二维卷积神经网络、残差网络及全局平均池化层；

所述多模态特征融合模块包括Concatenate层；

所述多标签分类器包括Dense层及Sigmoid层。

所述多模态诊断模块用于将该病历元数据、该心电序列数据与该心拍图像数据拼接在一起，得到多模态融合数据，然后将该多模态融合数据输入至训练好的多模态深度神经网络中，得到多标签诊断结果。

具体地，所述病历数据特征提取模块，包括全连接Dense层及长短期记忆网络LSTM，用于对输入的病历元数据进行矢量化，然后利用网络学习年龄和性别的语义信息，得到病历数据的语义特征；

所述心电序列特征提取模块，包括一维卷积神经网络CNN、残差网络和长短期记忆网络LSTM，用于对输入的预处理后的心电信号进行特征提取，对心电信号进行时序上的特征提取分析，得到心电信号的时域特征；

所述心拍图像特征提取模块，包括二维卷积神经网络CNN和残差网络，用于对输入的心拍图像进行形态学特征提取，对心电信号进行形态上的特征分析，聚焦于波形的变化，得到心电图像的形态特征；

所述多模态特征融合模块及多标签分类器共同组成融合分类模块，包括连接Concatenate层、全连接Dense层和Sigmoid层，用于将所述时域特征、所述形态特征和所述语义特征融合，然后进行Sigmoid变换，得到特征形态映射后的多标签分类结果。

所述多标签分类器输出一串概率序列，代表原始信号上是否存在左心房肥大、左心室肥大、右心房肥大和右心室肥大等心脏肥大问题，或者是否不存在疾病，表现为正常。将概率高于50％的类别认为存在，由此得到关于心脏肥大的多标签诊断。

进一步地，所述心电信号去噪模块基于小波自适应阈值去噪方法去除所述心电信号中的基线噪声、工频噪声及肌电干扰。

进一步地，所述心电信号去噪模块基于奈奎斯特采样定理分析确定所述心电信号(待诊断的电子病历中的12导联心电信号)的最大频率并进行小波分解和重构以去除基线噪声；再次进行小波分解与重构，并基于固定阈值估计法确定相应阈值，根据硬阈值与软阈值相结合的阈值函数进行工频干扰和肌肉干扰去噪。

进一步地，对于采样频率为500Hz的心电信号，基于奈奎斯特采样定理分析确定所述心电信号的最大频率为250Hz，进行分解尺度为7的小波分解和重构以去除基线噪声；再次进行分解尺度为5的小波分解与重构，并基于固定阈值估计法确定相应阈值λ，根据硬阈值与软阈值相结合的阈值函数

进行工频干扰和肌肉干扰去噪；其中，w为分解后小波系数，w_λ阈值去噪后小波系数，sgn为阶跃函数。

具体地，所述心电信号去噪模块通过以下方式进行去噪处理：

所述心电信号去噪模块基于奈奎斯特采样定理对所述电子病历对应的心电信号的采样频率进行分析，以确定小波函数和分解尺度，及各个分解尺度的阈值及阈值函数，采用将近似系数置零的方式去除基线漂移噪声，基于软硬阈值函数处理细节系数以及小波重构去除工频干扰和肌肉干扰。也即：心电信号去噪模块对心电信号的采样频率进行奈奎斯特采样定理分析，确定小波函数和分解尺度，然后利用固定阈值估计方法确定一个合适的阈值，在阈值函数中选择选择硬阈值与软阈值相结合的方式。通过将小波变换各个尺度上大于阈值的小波系数保留，将小于阈值的小波系数做相应的处理，根据处理后的小波系数进行信号重构得到去除基线漂移噪声、工频干扰和肌肉干扰等其他噪声的信号。

下面以一个具体的例子对本发明提供的方法进行进一步的说明。

如图1所示，本发明提供了一种基于多模态深度学习的心脏肥大多标签检测方法，包括以下步骤：

(1)首先提取电子病历中病人的个体信息。

从电子病历中提取出年龄和性别这两类具有明显个体差异性的数据作为病历元数据，将其转为矢量数据后保存。

(2)然后对病历对应的心电信号进行简单的去噪处理。

在利用神经网络训练之前，需要先对心电信号进行预处理以消除基线漂移、肌肉干扰和工频干扰等干扰，如图5所示。成人心电各波段如图2所示，根据本发明使用的心电数据的采样频率为500Hz，由奈奎斯特采样定理可以得到信号的最大频率为250Hz。为了消除频率为0.5Hz-2Hz的低频基线噪声，选择分解层数为7，从上往下依次是7阶近似分量(cA7)、各阶细节分量(cD1、cD2、cD3、cD4、cD5、cD6、cD7)。为了消除基线漂移，将cA7近似分量置为0。

在去除基线漂移之后，还需要去除工频噪声和肌电干扰。为了让重构的信号失真尽可能小，因此分解层数不能选择太大。对于最大分解层数为8的db8小波，选择分解层数为5。在阈值函数中选择选择硬阈值与软阈值相结合的方式，在保证信号的平滑的同时保证信号失真尽可能小，具体函数如下所示，与硬阈值相比，减少了函数的跳跃性，同时与软阈值相比，去噪效果更好。

其中λ为选择的阈值，w为分解后小波系数，w_λ阈值去噪后小波系数，sgn为阶跃函数。

在阈值处理函数中利用最为常见的固定阈值估计方法确定阈值，固定阈值在软阈值处理函数中能够得到很好的降噪结果，选取算法公式如下所示：

其中，N为实际测量信号经过小波变换分解后在各个尺度上得到的小波系数的个数总和，σ为附加噪声信号的标准差即为信号分解出的第一级小波系数绝对值的中值。

(3)对于去噪处理后的心电信号，通过QRS波峰值定位进行心拍分割，保留有形态学特征的心拍图像。

该检测模型选择了医学理论上与心脏肥大密切相关的3个导联：Ⅱ导联、V1导联和V6导联。利用Pan-Tompkins算法对QRS波峰值进行定位，对于选取的三个导联的心电信号，选取一个中间的(即除去第一个和最后一个之外的)QRS波峰值，去除其前一个Q波峰值点后面的40个心电采样点，去除其后一个的Q波峰值点前面的40个心电采样点，如图6所示，最终将所述其前一个Q波峰值点及除其后一个的Q波峰值点之间的信号作为得一个心电节拍。每条单导联心电信号的处理如下：

T(Q_peak(n-1)+40)≤T(Q_peak(n))≤T(Q_peak(n+1)-40)

将12导联心电信号中的3个导联的心电节拍图像进行通道连接作为一个心拍图像。

(4)将得到的数据融合处理作为模型输入。

将得到的病历数据、心电信号数据和心拍图像数据拼接融合。由于心脏肥大在心电信号上的特征主要表现为形态学变化，例如波形的微小变化，因此利用心电信号识别心脏肥大的难度较大。为了让模型能够关注心电信号的形态学特征，将处理得到的电子病历矢量数据、与其对应的心电信号数据和对应的心拍图像数据拼接在一起，作为模型输入。

(5)构建多模态深度学习模型作为分类器进行训练。

在处理好输入数据后，根据心脏肥大心电特点对于多模态深度神经网络进行设计，主要由卷积神经网络和循环神经网络作为基础来搭建。

卷积神经网络(Convolutional Neural Networks，CNN)是一种具有局部连接、权值共享等特点的深层前馈神经网络，网络基本单元由卷积层、池化层以及全连接层组成，如图3(a)所示。和前馈神经网络相比，卷积神经网络的参数更少。对于图像识别任务来说，卷积神经网络通过尽可能保留重要的参数，去掉大量不重要的参数，来达到更好的学习效果。卷积神经网络利用多个卷积层叠加，从而提取输入数据的特征，通过池化层进行特征选择和信息过滤，再输入到全连接层解除多维结构展开为向量。常用的卷积神经网络包括一维卷积神经网络和二维卷积神经网络。一维卷积常用于信号处理，能够很好地处理数据的时间序列分析，从整体数据集中固定片段获取感兴趣的特征。二维卷积常用于图像处理，提取图像上卷积核对应的的局部特征。本发明根据心电信号的特点以及心脏肥大的特点针对性地设计神经网络结构，应用于时间序列特征提取和心拍图像特征提取之中。

循环神经网络(RecurrentNeural Networks，RNN)是一类处理时间序列的神经网络，网络基本单元由输入层，隐藏状态和输出层组成，如图3(b)所示。RNN的隐藏状态H可以保留当前神经元的输出信息Y，并在下一时刻和输入X继续作用到自身，从而捕获到当前的所有历史序列信息。长短期记忆网络(Long Short-Term Memory，LSTM)是一种特殊结构的RNN，能够解决长期依赖、有用信息的间隔大小不一等问题，本发明在处理本实施例时表现更好。

本发明用于心电分类的神经网络框架如图4所示，网络由四个模块组成：病历特征提取模块、时间序列特征提取模块、心拍图像特征提取模块和融合分类模块(包括多模态特征融合模块及多标签分类器)。

对于病历特征提取模块，本发明将向量化的年龄和性别信息输入至一个4层全连接层的网络中，每个全连接层都包含非线性单元，各全连接层的输出通道分别为8，16，32，64，得到提取的语义特征。

对于时间序列模块，本发明将12导联心电信号数据输入至一个2层的一维卷积神经网络(1D CNN)框架，每一个卷积层都包含归一化、非线性单元和归一化层，卷积层的卷积核为15，输出通道均为32。卷积神经网络操作之后，使用3个重复的残差模块进行细小特征提取，每个残差模块均由3层卷积层提取特征之后，再利用残差连接将特征输出层与残差模块的输入拼接，其中卷积层均包括归一化、非线性单元和最大池化层，3个模块的卷积核大小为15，输出通道分别为64、128和256。残差模块之后使用一个含有128个隐藏单元的一维LSTM得到提取的时间序列特征。

对于心拍图像模块，本发明输入Ⅱ导联、V1导联和V6导联的作为心拍图像三个通道，首先利用二维卷积神经网络(2D CNN)框架进行特征提取，卷积层的卷积核为3，输出通道均为32。然后利用3个重复的残差模块进行深层特征提取，每个残差模块均由3层卷积层提取特征之后，再利用残差连接将特征输出层与残差模块的输入拼接，其中卷积层均包括归一化、非线性单元和归一化层，3个模块的卷积核大小为3，输出通道分别为64、128和256，得到提取的心拍图像特征。

最后将这些信息融合在一起帮助分类。将提取到的时间序列特征利用一个一维全局平均池化层得到最重要的一维时间特征，同时将提取到的心拍图像特征输入一个二维平均池化层得到最重要的二维图像特征，连接层将其与病历语义特征拼接后输入两层分别含有64和5个神经元的Dense层，将最终输出进行Sigmoid变换即是特征形态映射后的多标签分类结果。

心脏肥大通过心脏彩超诊断得到的结果精确率非常高，但是通过心电图得到的结果较差，目前并没有利用心脏彩超作为标签的心脏肥大公开心电数据集，因此本发明构建了一个以心脏彩超的诊断作为金标准的心脏肥大数据集。

心脏肥大数据集记录了标准12导联心电数据，采样时间均为10s，频率均为500Hz，均由专业医生认证和心脏肥大彩超检查作为标签。

另外，单独选择了500条的数据作为测试集。

模型评价主要有四个指标：绝对准确率(SubsetAccuracy)，F₁分数，混淆矩阵和ROC曲线下面积。多模态深度网络多标签分类器是本发明的核心框架，能否准确检测到各类心脏肥大完全取决于分类器的性能。绝对准确率当且仅当分类器对于所有类别都分类正确时才计分。与绝对准确率相比，F₁分数是当前测试准确性的主要性能衡量标准，特别是当多分类时，F₁分数衡量指标更重要。

利用ROC曲线和混淆矩阵可以更加直接反映模型性能。混淆矩阵也称为误差矩阵，它的每一列代表了预测类别，每一行代表了真实类别，利用混淆矩阵可以直观地呈现算法性能。AUC值为ROC曲线下面积，ROC曲线以假阳性率为横坐标，真阳性率为纵坐标，它的优势在于：当正负样本分布改变时，曲线形状基本保持不变。因此该得分能够降低不同测试集带来的干扰，更加客观地衡量模型本身的性能。为了得到ROC曲线，只需要真阳性率(TPR)和假阳性率(FPR)，其表达式如下：

得到ROC曲线之后，可以引出AUC含义：其值越大代表模型的分类效果越好。

因此，本发明将AUC得分作为评价模型性能的主要指标，同时参考F₁分数和混淆矩阵对模型结果进行分析。

本发明对多模态深度学习模型每个部分的网络性能进行多种尝试，并给出最终模型。

首先，本发明尝试了单模态分类模型，即直接利用12导联心电信号进行分类。表1所示为利用心电时间序列设计网络模型进行多标签分类实验。先利用简单的一维CNN网络对心电时间序列进行分类，由于心脏肥大在心电信号上的表现主要是心电信号波形的微小改变，分类难度较大，同时作为多标签分类的诊断难度进一步加大，因此效果较差，于是在此基础上作改进。将CNN与残差模块结合得到的ReCNN可提高准确率，在ReCNN后接一个LSTM网络可进一步改善性能。而使用BiLSTM和LSTM的准确率相近，此外还会增加计算时间，因此为减小复杂度最终采用带有ReCNN-LSTM作为分类器的框架。同时给出其他相关研究的结果作对照如表1所示。

在心电时间序列分类器的基础上尝试多模态融合，心脏肥大心电图具有较为明显的形态学特征变化，同时心电图也会受到年龄和性别的影响，具有明显的个体差异性。首先在多模态深度网络模型中加入心拍特征提取模块，主要针对形态学特征进行处理。通过二维残差卷积神经网络CNN模型对心拍图像处理，提取出心电信号上的形态学特征，减少冗余信息的影响，准确率和AUC得到提高。之后，在多模态深度网络模型中加入病历信息特征提取模块，通过多层全连接层提取出在医学诊断上与心脏肥大紧密相关的患者语义信息，准确率得到进一步提高，AUC改变不大。因此可以认为在本发明的多模态深度网络模型中，心电序列特征提取模块、心拍形态学特征提取模块与病人个体性信息提取模块可以优势互补，所以使用多模态深度神经网络可以提升整体网络性能。研究结构的对照如表2所示。

表1

表2

本发明在网络架构方面做了较多尝试，由于多模态模型的网络较为复杂，因此心拍特征提取部分的网络与心电序列特征提取部分的网络基本一致，只去掉了LSTM部分。在这两个特征提取部分测试了近年在计算机视觉图像分类领域表现较好的Inception网络和DenseNet网络等，但因本实施例并非传统的图像分类因此表现不佳，因为一维信号的信息过于冗余，并且信息量远少于二维图像，网络层数和参数的提高并不能有效提高模型性能。因此，简单的残差连接和自构建网络就能获得想要的效果，并且通过参数调节逐渐改善性能，如表3所示。在训练好所有的模型后，在测试集上进行测试，经过信息提取和特征分类网络输出后，得到一段概率序列以及对应的心电图。数据集的500条心电图所得绝对准确率为63％，平均ROC AUC得分为0.91。

表3

本发明建立了一个基于多模态深度学习的心脏肥大心电信号多标签检测模型，训练后可以直接在输入的12导联心电信号上诊断出4种类别的心脏肥大或者正常。经多项实验验证，该模型能够准确识别定位心脏肥大形态学心拍特征，并且对于不同心脏肥大类型也有特异性的诊断效果；本发明的核心框架是识别不同类别心脏肥大的多模态特征提取模块，所以通过该网络识别心拍的准确率和最终测得的多标签分类误差来评价模型。选择测试数据集分析模型的可行性，分别对每一类进行分析，如图7(a)、7(b)、7(c)、7(d)、7(e)所示，发现对左心房肥大AUC达到89％，对左心室肥大AUC达到87％，对右心房肥大AUC达到92％，对右心室肥大AUC达到89％，对正常AUC达到98％。证明了模型的识别能力，可用于医疗应用和临床诊断。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多模态深度学习的心脏肥大多标签检测***，其特征在于，包括：

病历信息提取模块，用于从待诊断的电子病历中提取预先设置的属性，将其进行拼接后转化为属性矢量；

心电信号去噪模块，用于去除与所述电子病历对应的心电信号中的基线噪声、工频干扰和肌肉干扰，得到去噪后的心电信号；

心拍图像提取模块，用于对所述去噪后的心电信号中的Ⅱ导联、V1导联和V6导联心电信号分别进行QRS波定位，选择任意相邻的3个QRS波峰点Q_i-1，Q_i，Q_i+1，截取删除Q_i-1的后K个心电采样点及Q_i+1的前K个心电采样点后、Q_i-1及Q_i+1之间的心电采样点作为心电节拍图像；并将所述Ⅱ导联、V1导联和V6导联心电信号的心电节拍图像进行通道拼接得到心拍图像；

多模态诊断模块，用于分别提取所述属性矢量、去噪后的心电信号及心拍图像的语义特征、时域特征及形态特征并进行特征融合后进行多标签分类，得到检测结果；

其中，所述检测结果为左心房肥大、左心室肥大、右心房肥大和右心室肥大中的至少一种，或正常。

2.如权利要求1所述的***，其特征在于，所述预先设置的属性包括年龄及性别。

3.如权利要求1所述的***，其特征在于，所述多模态诊断模块包括病历数据特征提取模块、心电信号特征提取模块、心拍图像特征提取模块、多模态特征融合模块及多标签分类器；

所述病历数据特征提取模块用于提取所述属性矢量的语义特征；

所述心电信号特征提取模块用于提取所述去噪后的心电信号的时域特征；

所述心拍图像特征提取模块用于提取所述心拍图像的形态特征；

所述多模态特征融合模块用于融合所述语义特征、时域特征及形态特征，得到多模态特征融合向量；

所述多标签分类器用于计算所述多模态特征融合向量属于各标签类别的概率，保留并输出概率高于预设阈值的标签类别。

4.如权利要求3所述的***，其特征在于，所述预设阈值为50％。

5.如权利要求3所述的***，其特征在于，所述病历数据特征提取模块包括全连接层和长短期记忆网络；

所述语义特征心电信号特征提取模块包括一维卷积神经网络、残差网络、长短期记忆网络及全局平均池化层；

所述心拍图像特征提取模块包括二维卷积神经网络、残差网络及全局平均池化层；

所述多模态特征融合模块包括Concatenate层；

所述多标签分类器包括Dense层及Sigmoid层。

6.如权利要求1所述的***，其特征在于，所述心电信号去噪模块基于小波自适应阈值去噪方法去除所述心电信号中的基线噪声、工频噪声及肌电干扰。

7.如权利要求6所述的***，其特征在于，所述心电信号去噪模块基于奈奎斯特采样定理分析确定所述心电信号的最大频率并进行小波分解和重构以去除基线噪声；再次进行小波分解与重构，并基于固定阈值估计法确定相应阈值，根据硬阈值与软阈值相结合的阈值函数进行工频干扰和肌肉干扰去噪。

8.如权利要求7所述的***，其特征在于，对于采样频率为500Hz的心电信号，基于奈奎斯特采样定理分析确定所述心电数信号的最大频率为250Hz，进行分解尺度为7的小波分解和重构以去除基线噪声；再次进行分解尺度为5的小波分解与重构，并基于固定阈值估计法确定相应阈值λ，根据硬阈值与软阈值相结合的阈值函数

进行工频干扰和肌肉干扰去噪；其中，w为分解后小波系数，w_λ阈值去噪后小波系数，sgn为阶跃函数。

Images