CN116361688A - 用于心电节律自动分类的多模态特征融合模型构建方法 - Google Patents
用于心电节律自动分类的多模态特征融合模型构建方法 Download PDFInfo
- Publication number
- CN116361688A CN116361688A CN202310270132.5A CN202310270132A CN116361688A CN 116361688 A CN116361688 A CN 116361688A CN 202310270132 A CN202310270132 A CN 202310270132A CN 116361688 A CN116361688 A CN 116361688A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- channel
- layer
- attention mechanism
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 41
- 230000033764 rhythmic process Effects 0.000 title claims abstract description 7
- 238000010276 construction Methods 0.000 title abstract description 6
- 230000007246 mechanism Effects 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 40
- 206010003119 arrhythmia Diseases 0.000 claims abstract description 38
- 230000006793 arrhythmia Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000010586 diagram Methods 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 49
- 238000011176 pooling Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 8
- 230000003183 myoelectrical effect Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 description 12
- 230000001965 increasing effect Effects 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 8
- 206010042602 Supraventricular extrasystoles Diseases 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 206010003658 Atrial Fibrillation Diseases 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000002679 ablation Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000002565 electrocardiography Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 206010040741 Sinus bradycardia Diseases 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 206010006582 Bundle branch block right Diseases 0.000 description 4
- 206010006578 Bundle-Branch Block Diseases 0.000 description 4
- 206010006580 Bundle branch block left Diseases 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 208000000418 Premature Cardiac Complexes Diseases 0.000 description 2
- 208000007888 Sinus Tachycardia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 201000001715 left bundle branch hemiblock Diseases 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 201000007916 right bundle branch block Diseases 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000002102 Atrial Premature Complexes Diseases 0.000 description 1
- 206010003671 Atrioventricular Block Diseases 0.000 description 1
- 206010003674 Atrioventricular block first degree Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000002330 Congenital Heart Defects Diseases 0.000 description 1
- 206010011086 Coronary artery occlusion Diseases 0.000 description 1
- 208000009729 Ventricular Premature Complexes Diseases 0.000 description 1
- 206010047289 Ventricular extrasystoles Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002763 arrhythmic effect Effects 0.000 description 1
- 230000001746 atrial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000002934 first-degree atrioventricular block Diseases 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000005831 heart abnormality Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Cardiology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种用于心电节律自动分类的多模态特征融合模型构建方法，属于生物医学信号处理技术领域。本发明构建的多模态特征融合模型是一个双通道深度神经网络，采用双通道瓶颈残差网络与不同注意力机制相结合，分别从一维心电序列和二维心电时频图中提取不同维度的多模态特征并进行特征融合，然后利用融合的多模态特征实现心律失常信号的自动分类。本发明的算法性能稳定、可靠，预期有很好的实际应用潜力。
Description
技术领域
本发明属于生物医学信号处理技术领域，涉及一种用于心电节律自动分类的多模态特征融合模型构建方法。
背景技术
心电图(ECG)是诊断心脏异常的最具代表性和最重要的非侵入性工具。使用标准12导联心电图诊断心律失常、心肌梗死或冠状动脉闭塞等心脏异常的有效性已在多项研究中得到证实。传统的心电图分析方法主要通过经验丰富的心血管疾病专家对心电图进行人工识别，然而该方法耗费大量的人力财力且普及率不高，尤其是在医疗水平有限的地区，由于医生专业知识水平参差不齐、病人间个体差异不同、不同个体间心电信号具有多样性等众多因素，导致缺乏经验的医生对心电图的判断准确率不高，从而无法满足人们的就医需求。随着计算机硬件技术和算法的进步，国内外大量学者开始研究基于计算机辅助诊断***的(Compute Aided Diagnosis Systems，CADS)心电信号自动分类技术，该技术能为医生提供参考，辅助医生对心电信号进行判断。因此，为了弥补医生专业水平间的差距，提高就诊效率及准确率，将心电信号自动分类技术应用于临床诊断具有重要的意义。
在过去几十年中，研究人员已经提出了多种检测CADS技术。其中一类是基于信号处理技术和手动提取专家特征的机器学习算法，基于临床知识和规则算法提取的专家特征具有良好的临床解释性，在某些心电类别检测上可以达到不错的精度，但是这些方法难以泛化到其他类别，这是因为在心电分割和提取特征的时候会丢失一些有用的关键信息，从而使得模型无法学习到所有有用的特征。另外一类是基于端到端的无需手动提取特征的深度神经网络，研究人员开发出多种深度学习网络，例如多层感知机(MultilayerPerceptron,MLP)、卷积神经网络(Convolutional Neural Network,CNN)、递归神经网络(recurtional Neural Network,RNN)、长短期记忆(Long-Short-Term Memory,LSTM)等，深度学习模型提高了不同分类任务的准确率，取得了与临床心脏病专家近似的准确度。
目前，有关心律失常自动诊断模型的研究主要有以下三个方面的不足：
(1)由于数据集的局限性，大多数关于心律失常自动诊断的研究工作都是在单一数据集上进行，所提出的方法和模型不具有普适性以及泛化能力。
(2)大部分有关心律失常自动诊断的研究工作都是通过一维心电序列提取的单模态特征进行建模分析，基于心电信号的非平稳性和复杂性，提取多模态特征有利于优化分析结果。
(3)目前很多研究都是基于12导联心电信号进行的，12导联心电可以提供更丰富的心律失常信息，不同导联会从不同的空间角度反映心脏的电活动，导致不同导联在同一时刻呈现不同的形态，但如何有效地融合不同导联的空间特征形态是目前算法研究的重点。
发明内容
有鉴于此，本发明的目的在于提供一种用于心律失常自动分类的多模态特征融合模型构建方法，利用双通道深度神经网络分别从一维心电序列和二维心电时频图中提取不同维度的特征，并结合注意力机制更好地让特征提取网络关注心电波段的关键特征位置，从而获得更丰富的心律失常信息，有效实现多种心律失常信号的自动分类。
为达到上述目的，本发明提供如下技术方案：
一种用于心电节律自动分类的多模态特征融合模型构建方法，该模型是一个双通道深度神经网络，采用双通道瓶颈残差网络与不同注意力机制相结合，分别从一维心电序列和二维心电时频图中提取不同维度的多模态特征并进行特征融合，然后利用融合的多模态特征实现心律失常信号的自动分类。
该方法具体包括以下步骤：
S1：对采集的ECG信号去噪，得到去噪后的一维心电序列；
S2：对经步骤S1处理后的ECG信号进行短时傅里叶变换得到二维心电时频图；由于每条心电导联都可以转换为一张二维时频谱图像，为了全面获取每条导联中隐藏的病理特征信息，本发明将12条导联信号进行了全部转换，每张时频图的分辨率统一设置为224×224，得到二维心电时频图的输入是X2∈R12×224×224；
S3：构建并训练基于注意力机制的多模态特征融合模型(EC-MAM)，具体是：通过构建双通道瓶颈残差网络，分别从一维心电序列和二维心电时频图中提取不同维度的多模态特征并进行特征融合，并将双通道瓶颈残差网络与通道域注意力机制和混合域注意力机制相结合，使用通道域注意力机制增强一维心电序列中的重要特征，使用通道域注意力机制和空间域注意力机制增强二维心电时频图中的重要特征，通过多次迭代训练过滤掉冗余特征，进一步提高心电信号识别正确率。
进一步，步骤S1中，对采集的ECG信号去噪具体包括：使用陷波滤波器去除工频干扰，使用改进的小波阈值算法去除基线漂移和肌电干扰。
针对频率分布范围较广的基线漂移和肌电干扰，本发明利用改进的小波阈值算法将其去除。本发明基于传统阈值设置的不足，对其进行了改进，改进后的阈值公式如下所示：
其中，σj为每层小波系数的标准差，λj为每层的小波阈值，N为信号采样点数。w(j,k)为含噪信号经小波分解后得到的各层小波系数，其中j表示层数，k表示个数。
传统阈值不随分解层数改变，而心电信号中的噪声分布具有随机性，心电信号经小波分解后，噪声成分随着分解层数的增加，信号中噪声成分逐层减少，真实心电信号逐层增多，因此，固定不变的阈值用于不同的分解层中会导致真实信号的系数被过多去除或者噪声成分过多残留。改进后的阈值既可以有效保留真实信号的小波系数，又可以有效去除噪声信号的小波系数。
针对传统软硬阈值函数存在的不足，本发明提出了一种改进的阈值函数，由此得到的小波系数如下：
其中，
为经小波阈值处理后的系数，w(j,k)为小波阈值处理前的系数。a为可调节参数。
上式克服了软硬阈值函数的缺点，当处理前的系数趋近于阈值时，处理后的系数接近于0，保证了在阈值点处的连续性，从而避免硬阈值函数中产生的震荡现象；当处理前系数逐渐增大时，经阈值函数处理后的系数逐渐接近处理前系数，有效解决了软阈值函数中存在的恒定偏差问题，使信号在去噪后失真较小。
进一步，步骤S2中，将心电图的时域表示转换为对应的时频谱图像，以反映随时间变化的频率关系，进而用于心律失常的特征提取。
进一步，步骤S3中，构建EC-MAM模型的步骤为：将预处理好的一维心电序列和二维心电时频图并行送入双通道瓶颈残差网络结构中，分别得到通过通道注意力机制和混合注意力机制增强的重要特征，即序列特征(Sequence Feature)和时频特征(Time-FrequencyFeature)；序列特征和时频特征经过特征融合层处理后得到融合特征(Fused Feature)，最终通过分类层处理得到心律失常信号的分类结果。
进一步，步骤S3中，利用堆叠的一维瓶颈残差结构和二维瓶颈残差结构来构建双通道瓶颈残差网络。
进一步，步骤S3中，在引入通道域注意力机制后的一维瓶颈残差网络结构包括：一维卷积层、一维批量归一化层、激活层、一维最大化池化层、基于通道域注意力机制的瓶颈残差模块、一维最大池化层和线性层。
进一步，步骤S3中，所述通道域注意力机制(CA)的模块结构为：通道域注意力机制的输入为经过若干卷积和池化等处理的特征图F∈FL×C，其中L表示特征图长度，C表示特征通道数；特征图F通过全局平均池化对特征进行压缩得到特征图F1；在“压缩”运算之后跟随着一个“激励”模块，“激励”模块首先采用带有降维系数r的全连接层，其后跟着一个ReLU激活函数，接着是一个维度增加全连接层，使得维度恢复到输入的特征通道数C；特征图F1经过“激励”模块后得到大小为1×C的特征图F2，最后将特征图F2与输入特征图F∈FL×C进行点乘运算，得到输出特征图R∈RL×C。
进一步，步骤S3中，在引入混合域注意力机制后的二维瓶颈残差网络结构包括：二维卷积层、二维批量归一化层、激活层、二维最大化池化层、的基于混合域注意力机制的瓶颈残差模块、二维最大池化层和线性层。
进一步，步骤S3中，所述混合域注意力机制(Hybird-domain Attention，HA)的模块结构是通过串行的方式把空间域注意力模块(Spatial-domain Attention，SA)和通道域注意力模块(Channel-domain Attention，CA)连接在一起；
HA模块的输入为经过若干卷积和池化等处理的心电特征图F∈Rw×h×c，w、h、c分别代表特征图的宽度、高度、通道数；
混合域注意力机制中的通道域注意力模块(H-CA)包括两个独立的池化操作分支：全局最大池化、全局平均池化，然后采用带有降维系数r的全连接层，其后跟着一个ReLU激活函数，接着是一个维度增加全连接层，使得维度恢复到输入的特征通道数；最后两个分支中的通道注意力权重经过Sigmoid函数激活之后，与输入特征图F点乘之后得到特征图
再将特征图/>
与输入特征图F相加，得到特征图T∈Tw×h×c；
混合域注意力机制模块中的空间域注意力模块(H-SA)的输入为特征图T，H-SA模块包括两个独立并行的分支，每个分支对特征图做不同的池化操，然后空间域注意力权重经过Sigmoid函数激活操作后，与输入特征图T点乘之后得到特征图
最后，把H-SA模块的输出特征图
与H-SA模块的输入特征图T相加，得到特征图R∈Rw×h×c。
进一步，步骤S3中，训练EC-MAM，具体是：采用交叉熵损失函数作为EC-MAM模型的损失函数并对其进行优化，最终得到心律失常信号的分类结果。
本发明的有益效果在于：
1)本发明提取了多模态特征。使用双通道网络分别提取十二导联心电信号的一维时间序列特征和二维时频特征，再利用特征融合层将两种模态特征整合。
2)本发明使用瓶颈残差结构加深网络层次，提升深度神经网络的学习能力。瓶颈残差结构具有增加网络深度、加强特征传递和减少参数数量的优点。为了高效的学习一维心电序列和二维心电时频图中的特征，本发明利用堆叠的一维瓶颈残差结构和二维瓶颈残差结构作为特征提取网络，将提取的两类特征通过特征融合层进行特征融合，最后利用融合后的多模态特征作为分类依据，经由分类层生成多标签心律失常的分类结果。
瓶颈残差结构是一种特殊的残差神经网络结构，既解决了深层神经网络的性能随深度的增加而饱和甚至退化的问题，又具有增加网络深度、加强特征传递和减少参数数量的优点，因此本发明使用堆叠的瓶颈残差结构作为特征提取网络，便于提取更深层次的隐藏特征。
3)本发明为了进一步优化特征提取网络，使网络能够自适应增强重要特征的学习，并且尽可能减少次要特征的影响，本发明将注意力机制与双通道瓶颈残差特征提取网络相结合，利用注意力机制，特征提取网络可以学习不同心律失常信号的重要特征，将那些对分类具有较大判别性的特征赋予更大的权重，对噪音等特征赋予更小的权重，通过多次迭代训练过滤掉冗余特征，进一步提高心电信号的识别正确率，从而可以尽可能完整保留一维心电序列和二维心电时频图中有用的信息，减少有价值信息的丢失。
针对一维心电序列，引入通道域注意力机制可以让特征提取网络更加关注不同通道之间的关系，通过对通道间的特征关系进行聚合，自适应的调整各通道之间的特征值；针对二维心电时频图，引入混合域注意力机制，不仅可以强化重要通道特征和抑制无用通道特征，还可以对二维时频图中需要特别关注的区域进行高效地学习，以保存时频图中的关键特征。混合域注意力机制使二维瓶颈残差结构同时增强空间域和通道域上的重要特征。在心律失常信号的分类处理中，引入注意力机制可以更好的让特征提取网络关注心电波段的关键特征位置。
4)本发明的算法性能稳定、可靠，预期有很好的实际应用潜力。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1是本发明基于特征融合的深度神经网络实现心律失常分类检测方法的流程图；
图2是本发明实施例中每种心律失常信号的片段；
图3是本发明实施例中对不同长度输入数据的预处理；
图4是本发明实施例中心电信号滤波前后的对比图；
图5是本发明实施例中4种不同心律失常疾病I导联心电图对应的时频谱图像；
图6是本发明实施例中使用不同窗长转换的时频谱图像；
图7是本发明实施例中EC-MAM模型结构图；
图8是本发明实施例中残差块结构图；
图9是本发明实施例中瓶颈残差结构图；
图10是本发明实施例中CA模块结构图；
图11是本发明实施例中HA模块结构图；
图12是本发明实施例中混合域注意力机制中的CA模块结构图；
图13是本发明实施例中混合域注意力机制中的SA模块结构图；
图14是本发明实施例中基于不同注意力机制的瓶颈残差结构；
图15是本发明实施例中模型在测试集上的混淆矩阵。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图15，为验证本发明效果，本发明提供了一种在混合数据集上应用本发明实现心电节律自动分类的实施过程。其算法流程图如图1所示，该方法包括如下步骤：
步骤S1：获取心电数据。
本实施例应用的心电数据可以是直接采集于受试者的心电数据，也可以是公开数据库里的数据。具体地，为说明本发明的具体实施效果，本实施例采用的心电数据来自于现有公开库里的数据集。包括CPSC 2018、CPSC 2018-Extra和Georgia三个公开数据库的数据。这些心电信号采集方式为标准12导联、采样率为500Hz，但心电记录不等长，持续时间在6～60s之间。本实施例采用这些心电信号进行训练、验证和评估模型，对9种典型的心律失常信号进行分类。分别为心房颤动(Atrial fibrillation，AF)，I度房室阻滞(First-degree atrioventricular block，IAVB)，左束支阻滞(Left bundle branch block，LBBB)，右束支阻滞(Right bundle branch block，RBBB)，房性早搏(Premature atrialcontraction，PAC)，室性早搏(Premature ventricular contractions，PVC)，窦性心动过缓(Sinus Bradycardia，SB)，窦性心动过速(Sinus Tachycardia，STach)，正常(Normal，SNR)。图2显示了每种信号类别的片段。为了评估本发明提出的模型性能，将数据集随机划分为10个大小相等的子集，8个子集用于模型训练，其余两个子集分别用于验证和测试。划分前将数据集随机打乱，这样能够防止心电数据存在的数值上的隐藏规律对训练过程产生影响，即防止过拟合的产生，从而避免隐藏规律影响心电数据的分类结果。
由于本实施例中构建的模型为双通道，该模型的输入为并行的双输入，包括一维心电时间序列和二维心电时频图两部分。对于一维心电时间序列，根据混合数据集中信号样本的特点做如下处理。在混合数据集中，心电信号样本的长度从6秒到60秒不等，中位数是30秒。由于瓶颈残差网络接收具有恒定长度的信号，因此将短于30秒的信号补零，长于30秒的信号截断为最后30秒，如图3所示。心电信号自身的采样频率为500Hz，因此一维心电时间序列的输入X1∈R12×15000。对于二维心电时频图，由于每条心电导联都可以转换为一张二维时频谱图像，为了全面获取每条导联中隐藏的病理特征信息，本实施例将12条导联信号进行了全部转换，每张时频图的分辨率统一设置为224×224。因此二维心电时频图的输入是X2∈R12×224×224。
步骤S2：对数据进行预处理。
为了提高模型性能和分类结果的准确度，对原始数据进行预处理，包括信号去噪、数据归一化、数据增强。
心电信号中噪声的存在会影响信号的质量，掩盖信号的形态特征，也会降低信噪比。因此必须从心电信号中去除这些干扰，以确保准确的ECG分析。心电信号中主要的噪声来源包括三种，分别是基线漂移、工频干扰以及肌电干扰。基线漂移的频率范围在0.05～1Hz之间，肌电干扰的频率范围在5～2000Hz之间，工频干扰的频率根据不同国家或地区交流电工频频率而定，通常为50Hz或60Hz。在本实施例中，根据工频干扰、肌电干扰和基线漂移频率特点的不同，使用陷波滤波器滤除工频干扰，使用改进的小波阈值消除基线漂移和肌电干扰。
小波阈值法是基于小波变换对信号进行去噪的方法，选择合适的阈值和构造合适的小波阈值函数可以获得良好的去噪效果。本实施例选取db10小波作为小波基，考虑心电样本的采样频率为500Hz，因此利用小波变换对心电信号进行8尺度分解，第8层的频率范围为0～0.98Hz，包含了基线漂移噪声，第一、二、三层的高频细节分量上主要包含了肌电干扰，因此，本发明使用改进的阈值和阈值函数对以上四层小波系数做阈值处理，然后对处理后的各层细节系数进行重构。
在小波阈值去噪的过程中，阈值作为分割噪声与有用信号的分界，在整个流程中起着重要的作用。传统阈值不随分解层数改变，而心电信号中的噪声分布具有随机性，心电信号经小波分解后，噪声成分随着分解层数的增加，信号中噪声成分逐层减少，真实心电信号逐层增多，因此，固定不变的阈值用于不同的分解层中会导致真实信号的系数被过多去除或者噪声成分过多残留，即噪声的整体估计σ与不同分解层的噪声估计存在一定的误差。本发明基于传统阈值设置的不足，对其进行了改进，改进后的阈值公式如式(1)所示：
式(1)和式(2)中，σj为每层小波系数的标准差，λj为每层的小波阈值，N为信号采样点数。w(j,k)为含噪信号经小波分解后得到的各层小波系数，其中j表示层数，k表示个数。
传统的小波阈值函数有两种，分别是硬阈值函数和软阈值函数。硬阈值函数处理原理是，对阈值内的信号直接置零，对阈值外的信号保留原信号，该方法虽然保留了阈值以外的原始信息，具有良好的保真性，但在阈值处不连续，因此经硬阈值函数处理后信号会产生大量震荡点。软阈值函数处理原理是，同样对阈值内的信号置零，但对阈值外的信号，当信号大于0时，将原信号减去阈值，当信号小于0时，将原信号加上阈值。软阈值函数解决了硬阈值函数在阈值处不连续的不足，但会导致经阈值处理前后的系数存在恒定偏差，从而造成信号失真。本实施例针对传统软硬阈值函数存在的不足，提出了一种改进的阈值函数。由此得到的小波系数如下：
上式(3)中，w(j,k)为处理前的系数，
为经小波阈值处理后的系数。a为可调节参数，本实施例结合去噪评估指标(信噪比、均方差)的结果确定调节参数a，当a＝100时可以获得最佳的去噪效果。如图4所示，经过去噪处理，心电信号中噪声干扰减少，能够更加明显地显示出心电信号本身的特征，从而更容易对心电信号进行分类，提高分类准确率。
为了减轻噪声和异常值的影响，统一不同量纲的心电特征，加快网络训练速度，在本实施例中，使用Z-score归一化，该方法基于原始数据的均值和标准差来进行数据的标准化，处理后的数据均值为0，方差为1，符合标准正态分布，且无量纲。如以下公式所示，μ为样本平均值，σ为数据标准差。为保证训练数据和测试数据使用相同的数据转化，需使用相同的μ和σ来归一化测试集和训练集。
为了进一步缓解神经网络的过拟合现象，本实施例使用数据扩展的方式进行数据增强，即在时间轴上对心电信号进行缩放，拓宽和丰富训练数据的分布。
步骤S3：获得二维心电时频图。
选取不同类别的心电图记录，利用STFT将心电图I导联的时序信号转换为对应的时频谱图像，时频谱图像的可视化结果如图5所示，由于心电信号的频率范围大约在0.05Hz～100Hz，其中信号能量主要集中在0.5Hz～40Hz，为了方便观察时频谱的细节信息，该图纵轴的频率范围设置在0～50Hz。在图5中，展示了NSR、RBBB、AF和IAVB四种不同心电信号的I导联对应的时频谱图像，可以看到不同疾病的时频谱图像之间存在较大差异，即展示了不同的时频域特征信息，因此可以利用深度神经网络基于二维心电时频谱图提取特征并进行分类，从而达到心律失常自动诊断的目的。
使用短时傅里叶变换有两个关键参数需要确定，即窗函数和窗函数长度。本实施例选用汉宁窗(Hannwindow)作为窗函数，汉宁窗是一种基于加权余弦的平滑窗口函数，汉宁窗适合处理有多个频率分量、频谱表现比较复杂的信号，而心电信号中不同的特征波具有不同的频率特点，因此选用汉宁窗分析心电信号的时频图。具体公式如下：
在选定了分析窗函数之后，需要确定窗函数的长度，窗口长度对短时傅里叶变换的影响非常大。使用不同窗长转换的时频谱对比图像如图6所示。将窗长设置过长时，如图6(a)，采用的窗口长度为512，在加大运算量的同时，导致时间分辨率太低，时域不够精确，无法在时域上有效分析心电信号特点。将窗长设置过短时，如图6(c)，采用的窗口长度为128，导致频率分辨率太低，丢失了心电信号信息，无法精确分析心电信号的频率分量，因此，最终选择最佳的窗口长度为256，如图6(b)所示，兼顾了频率分辨率和时域分辨率，合理地选择窗函数的长度，有利于提高对信号时频域的分析性能。
步骤S4：构建基于注意力机制的多模态特征融合模型(EC-MAM)。
本实施例提出的基于注意力机制的多模态特征融合模型(EC-MAM)是一个双通道深度神经网络，每个通道在不同注意力机制的作用下分别提取一维心电序列和二维心电时频图的多模态特征信息。EC-MAM模型结构图如图7所示。EC-MAM模型的基本流程为：将预处理好的一维心电序列和二维心电时频图并行送入双通道网络结构中，分别得到通过通道注意力机制和混合注意力机制增强的重要特征，即序列特征(Sequence Feature)和时频特征(Time-Frequency Feature)。序列特征和时频特征经过特征融合层处理后得到融合特征(Fused Feature)，最终通过分类层处理得到心律失常信号的分类结果。
进一步的，本实施例在构建模型时，具体搭建步骤如下：
(1)瓶颈残差模块
在本实施例中，分别使用1D CNN、2D CNN提取一维心电序列特征和二维心电时频图特征。为了提升深度神经网络的学***。
瓶颈残差结构是一种特殊的残差结构，如图9所示，相比普通的残差结构，该结构利用1×1卷积核使原通道数先减小再增大，通道数先减少可以更加有效、直观地进行数据的训练和特征提取，1×1卷积核的引入也使网络的参数大大减少，减少计算量的同时还可以增加模型的深度。
(2)注意力机制
瓶颈残差结构具有增加网络深度、加强特征传递和减少参数数量的优点。瓶颈残差结构中的卷积操作是对一个局部区域进行特征融合，通过提高感受野融合更多特征，但经过卷积运算产生的特征映射不能利用这个区域之外的相关信息。为了获取全局信息，本实施例在瓶颈残差结构的基础上引入了注意力模块。首先在一维瓶颈残差结构中引入通道域注意力机制(CA)，以12导联的一维心电序列为例，不同通道方向上包含的特征信息的重要程度各有不同，通道域注意力机制关注的是每个通道上的特征向量对分类结果的影响。通过通道域注意力模块可以学***均池化对特征进行压缩得到特征图F1，F1可称为通道特征描述值，这一步操作也称为“压缩”。为了充分利用“压缩”操作产生的聚合信息，在“压缩”运算之后跟随着一个“激励”操作，该操作的目标是完全捕获通道的依赖信息。为了实现这个目标，“激励”操作的函数需要满足以下两个条件：第一，必须能学习通道之间的非线性关系，增强网络的非线性学习能力；第二，必须能学习非互斥关系，确保可以作用在多个通道上。激活函数的门机制可以满足这两个条件，因此使用的两个激活函数分别是ReLU函数和Sigmoid函数。另外为了控制模型复杂度使其具有更好的泛化能力，使用了两个全连接层来参数化门机制。因此“激励”模块首先采用带有降维系数r的全连接层，其后跟着一个ReLU激活函数，接着是一个维度增加全连接层，使得维度恢复到输入的特征通道数C。降维系数r是一个超参数，本实施例选择r＝8。特征图F1经过“激励”模块后得到大小为1×C的特征图F2，F2代表了各个通道的重要程度，也可以表示各个通道间的相关性。最后将特征图F2与输入特征图F∈FL×C进行点乘运算，得到输出特征图R∈RL×C，R便是学习到通道域注意力之后得到的特征图。
然后在二维维瓶颈残差结构中引入混合域注意力机制(HA)。混合域注意力(HA)模块是通过串行的方式把空间域注意力模块(SA)和通道域注意力模块(CA)连接在一起，以12导联的二维心电时频图为例，并非时频图上的所有区域都包含了有用的特征信息，空间域注意力机制利用卷积神经网络对需要特别关注的区域进行高效地学***均池化。H-CA模块结构图如图12所示。由于H-CA模块中通道注意力权重经过Sigmoid函数激活之后，每个权值都限制在[0,1]之间，与输入特征图F点乘之后得到特征图经过多次迭代之后信号会减弱，因此引入残差神经网络中的恒等映射思想，将输出特征图
再与输入特征图F相加，得到特征图T∈Tw×h×c，减少了重要信息损失。特征图T∈Tw×h×c的计算公式如下：
经过H-CA模块计算后的特征图T，捕获了二维心电时频图在通道域上的特征信息，对重要通道赋予了更大的权重。然后把特征图串行输入到空间域注意力模块进行空间域注意力的计算，以获取特征图在空间域上的注意力权重。混合域注意力机制中的空间域注意力模块(H-SA)结构图如图13所示。H-SA模块的输入为经过H-CA模块的特征图T∈Tw×h×c，H-SA模块同样包括两个独立并行的分支，每个分支对特征图做不同的池化操作。H-SA模块获取到的空间域注意力权重同样经过Sigmoid函数激活操作，所以把H-SA模块的输出
与H-SA模块的输入特征图T相加，得到特征图R∈Rw×h×c。R的计算公式如下：
(3)基于注意力机制的瓶颈残差模块
本实施例提出的模型中使用基于不同注意力机制的瓶颈残差结构提取一维心电序列特征和二维心电时频图特征，具体的网络结构如图14所示。
步骤S5：对构建的网络模型进行训练。
在本实施例中，对于模型的训练，为了提高训练效率，使用小批量梯度下降算法，每次迭代时，随机选取一小部分训练样本来计算梯度并更新参数，可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。
学习率是神经网络优化时的重要超参数。在本实施例中，使用Adam优化算法训练模型，Adam算法和传统的随机梯度下降不同，不但使用动量作为参数更新方向，而且可以自适应调整学习率。在本实施例中，初始化学习速率为0.001，每迭代10次后，学习率减小为原来的50％。
采用交叉熵损失函数作为模型的损失度量函数，交叉熵损失函数可以较好地应用于分类任务，故在训练过程中使用。模型中的Dropout参数设置为0.4。实验共训练50个周期(epoch)，批尺寸(Batch Size)设置为64。
步骤S6，使用训练好的网络模型对心电数据进行分类。
使用精准率(Precidion)、召回率(Recall)、F1分数、受试者工作曲线面积(ROC)、准确率(Accuracy)等评价指标以评估模型的效果。这些指标的分数越高代表模型的分类效果越好。由表1可以看出，本实施例提出的模型在基于12导联心电的心律失常分类任务中取得了良好的性能表现，对于9种心律失常类型，平均F1分数达到85.1％、平均准确率达到了96.6％、平均精准率和平均召回率均在84％以上，在识别房颤(AF)、窦性心动过缓(SB)、正常心电信号(SNR)三种类别的心律失常信号时，F1分数均在0.9以上。图15展示了本实施例提出的模型在测试集上的混淆矩阵，混淆矩阵对角线上的分数为召回率。
表1本发明的EC-MAM模型在测试集上的性能指标
验证实验：
为了验证本实施例提出的心律失常自动诊断模型的有效性，本实施例设计了两组消融实验。
(1)第一组消融实验
模型1：基于注意力机制的单模态一维心电分类网络(One DimensionalElectrocardiogram Classification Network based on Single-model informationand Attention Mechanism，1D-EC-SAM)。该模型只提取一维心电时间序列特征。本模型作为基线模型用以测试基于一维心电时间序列的单模态特征在心律失常分类任务上的性能。
模型2：基于注意力机制的单模态二维心电分类网络(Two DimensionalElectrocardiogram Classification Network based on Single-model informationand Attention Mechanism，2D-EC-SAM)。该模型只提取二维心电时频图特征。本模型作为基线模型用以测试基于二维心电时频图的单模态特征在心律失常分类任务上的性能。
模型3：该模型是本发明提出的模型，即基于注意力机制的多模态心电分类网络(Electrocardiogram Classification Network based on Multi-model informationand Attention Mechanism，EC-MAM)。该模型融合了十二导联心电信号的一维时间序列特征和二维时频特征。本模型是为了验证多模态融合特征是否对模型性能有提高作用。
在第一组消融实验中，构建了以上三个模型。如表2所示，比较了基于不同模态特征的十二导联的心律失常分类性能。通过比较三个模型在九种疾病分类上的F1平均值，可以看到EC-MAM>1D-EC-SAM>2D-EC-SAM，只提取一维心电时间序列特征的单模态模型在多数疾病类型上的分类效果优于只提取二维心电时频图特征的单模态模型，但实施例1中提出的多模态特征模型EC-MAM在多标签心律失常分类任务中具有最好的分类性能。由此验证了融合多模态特征对于提升模型性能的有效性。
表2第一组消融实验提出的模型与本发明模型在测试集上的性能对比
(2)第二组消融实验
模型4：EC-MMI(Electrocardiogram Classification Network based on Multi-model information)：多模态心电分类网络。该模型相比第3个模型去掉了双通道网络中的注意力机制。本模型是为了验证注意力机制对于模型性能提升的有效性。
相比本发明提出的模型EC-MAM，EC-MMI去掉了双通道网络中的注意力机制。对比结果如表3所示，增加了注意力机制的模型，其分类性能比未添加注意力的模型有较大提升，在九种疾病分类上的F1平均值提高了两个百分点。由表3中可分析得到，注意力机制主要提高了PAC和PVC这两类心律失常信号的识别准确率，很多模型对PAC和PVC这两类心律失常信号的分类都存在困难。一方面可能是混合数据集中PAC和PVC样本数量较少，导致模型对这两类信号的分类难度大；另一方面，PAC和PVC在心电图中表现的病理特征与其他类型的心律失常疾病相似，这也导致模型对PAC和PVC分类时容易产生错误。因此增加了注意力机制的深度神经网络具有更强的特征提取能力，能够从数据中自动识别更具有判别性的隐藏特征，对易混淆的心律失常信号做出更准确的预测。
表3第二组消融实验提出的模型与本发明模型在测试集上的性能对比
为了保证对比的公平性，所有的模型参数和训练参数设置均相同。相比其他两个模型，本发明提出的EC-MAM在多标签心律失常分类任务中具有最好的分类性能。由此验证了融合多模态特征对于提升模型性能的有效性。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种用于心电节律自动分类的多模态特征融合模型构建方法，其特征在于，所述多模态特征融合模型是一个双通道深度神经网络，采用双通道瓶颈残差网络与不同注意力机制相结合，分别从一维心电序列和二维心电时频图中提取不同维度的多模态特征并进行特征融合，然后利用融合的多模态特征实现心律失常信号的自动分类。
2.根据权利要求1所述的多模态特征融合模型构建方法，其特征在于，该方法具体包括以下步骤：
S1：对采集的ECG信号去噪，得到一维心电序列；
S2：对经步骤S1处理后的ECG信号进行短时傅里叶变换得到二维心电时频图；
S3：构建并训练基于注意力机制的多模态特征融合模型，即EC-MAM，具体是：通过构建双通道瓶颈残差网络，分别从一维心电序列和二维心电时频图中提取不同维度的多模态特征并进行特征融合，并将双通道瓶颈残差网络与通道域注意力机制和混合域注意力机制相结合，使用通道域注意力机制增强一维心电序列中的重要特征，使用通道域注意力机制和空间域注意力机制增强二维心电时频图中的重要特征；然后将对心律失常信号的分类具有判别性特征赋予大的权重，对噪音赋予小的权重，通过多次迭代训练过滤掉冗余特征。
3.根据权利要求2所述的多模态特征融合模型构建方法，其特征在于，步骤S1中，对采集的ECG信号去噪具体包括：使用陷波滤波器去除工频干扰，使用改进的小波阈值算法去除基线漂移和肌电干扰；
改进的小波阈值算法的计算公式为：
其中，
为经小波阈值处理后的系数，w(j,k)为小波阈值处理前的系数，j表示层数，k表示个数；a为可调节参数，σj为每层小波系数的标准差，λj为每层的小波阈值，N为信号采样点数。
4.根据权利要求2所述的多模态特征融合模型构建方法，其特征在于，步骤S3中，构建EC-MAM模型的步骤为：将预处理好的一维心电序列和二维心电时频图并行送入双通道瓶颈残差网络结构中，分别得到通过通道注意力机制和混合注意力机制增强的重要特征，即序列特征和时频特征；序列特征和时频特征经过特征融合层处理后得到融合特征，最终通过分类层处理得到心律失常信号的分类结果。
5.根据权利要求2或4所述的多模态特征融合模型构建方法，其特征在于，步骤S3中，利用堆叠的一维瓶颈残差结构和二维瓶颈残差结构来构建双通道瓶颈残差网络。
6.根据权利要求5所述的多模态特征融合模型构建方法，其特征在于，步骤S3中，在引入通道域注意力机制后的一维瓶颈残差网络结构包括：一维卷积层、一维批量归一化层、激活层、一维最大化池化层、基于通道域注意力机制的瓶颈残差模块、一维最大池化层和线性层。
7.根据权利要求6所述的多模态特征融合模型构建方法，其特征在于，步骤S3中，所述通道域注意力机制的模块结构为：通道域注意力机制的输入为经过若干卷积和池化处理的特征图F∈FL×C，其中L表示特征图的长度，C表示特征通道数；特征图F通过全局平均池化对特征进行压缩得到特征图F1；在“压缩”运算之后跟随着一个“激励”模块，“激励”模块首先采用带有降维系数r的全连接层，其后跟着一个ReLU激活函数，接着是一个维度增加全连接层，使得维度恢复到输入的特征通道数C；特征图F1经过“激励”模块后得到大小为1×C的特征图F2，最后将特征图F2与输入特征图F∈FL×C进行点乘运算，得到输出特征图R∈RL×C。
8.根据权利要求5所述的多模态特征融合模型构建方法，其特征在于，步骤S3中，在引入混合域注意力机制后的二维瓶颈残差网络结构包括：二维卷积层、二维批量归一化层、激活层、二维最大化池化层、基于混合域注意力机制的瓶颈残差模块、二维最大池化层和线性层。
9.根据权利要求8所述的多模态特征融合模型构建方法，其特征在于，步骤S3中，所述混合域注意力机制的模块结构是通过串行的方式把空间域注意力模块和通道域注意力模块连接在一起；
混合域注意力机制模块的输入为经过若干卷积和池化处理的心电特征图F∈Rw×h×c，w、h、c分别代表特征图的宽度、高度、通道数；
混合域注意力机制中的通道域注意力模块即H-CA包括两个独立的池化操作分支：全局最大池化、全局平均池化，然后采用带有降维系数r的全连接层，其后跟着一个ReLU激活函数，接着是一个维度增加全连接层，使得维度恢复到输入的特征通道数；最后两个分支中的通道注意力权重经过Sigmoid函数激活之后，与输入特征图F点乘之后得到特征图
再将特征图/>
与输入特征图F相加，得到特征图T∈Tw×h×c；
混合域注意力机制模块中的空间域注意力模块即H-SA的输入为特征图T，H-SA模块包括两个独立并行的分支，每个分支对特征图做不同的池化操作，然后两个分支的空间域注意力权重经过Sigmoid函数激活操作后，与输入特征图T点乘之后得到特征图
最后，把H-SA模块的输出特征图
与H-SA模块的输入特征图T相加，得到特征图R∈Rw ×h×c。
10.根据权利要求2或4所述的多模态特征融合模型构建方法，其特征在于，步骤S3中，训练EC-MAM，具体是：采用交叉熵损失函数作为EC-MAM模型的损失函数并对其进行优化，最终得到心律失常信号的分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310270132.5A CN116361688A (zh) | 2023-03-20 | 2023-03-20 | 用于心电节律自动分类的多模态特征融合模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310270132.5A CN116361688A (zh) | 2023-03-20 | 2023-03-20 | 用于心电节律自动分类的多模态特征融合模型构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116361688A true CN116361688A (zh) | 2023-06-30 |
Family
ID=86906477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310270132.5A Pending CN116361688A (zh) | 2023-03-20 | 2023-03-20 | 用于心电节律自动分类的多模态特征融合模型构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116361688A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116584902A (zh) * | 2023-07-18 | 2023-08-15 | 山东大学 | 基于特征选优及可视化的心音分类装置 |
| CN116616792A (zh) * | 2023-07-21 | 2023-08-22 | 山东大学 | 基于轻量化设计和特征融合的心房颤动检测*** |
| CN117281528A (zh) * | 2023-11-27 | 2023-12-26 | 山东锋士信息技术有限公司 | 基于深度学习的多导联脉冲信号智能识别方法及*** |
-
2023
- 2023-03-20 CN CN202310270132.5A patent/CN116361688A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116584902A (zh) * | 2023-07-18 | 2023-08-15 | 山东大学 | 基于特征选优及可视化的心音分类装置 |
| CN116584902B (zh) * | 2023-07-18 | 2024-05-07 | 山东大学 | 基于特征选优及可视化的心音分类装置 |
| CN116616792A (zh) * | 2023-07-21 | 2023-08-22 | 山东大学 | 基于轻量化设计和特征融合的心房颤动检测*** |
| CN116616792B (zh) * | 2023-07-21 | 2023-12-01 | 山东大学 | 基于轻量化设计和特征融合的心房颤动检测*** |
| CN117281528A (zh) * | 2023-11-27 | 2023-12-26 | 山东锋士信息技术有限公司 | 基于深度学习的多导联脉冲信号智能识别方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108714026B (zh) | 基于深度卷积神经网络和在线决策融合的细粒度心电信号分类方法 | |
| CN109998525B (zh) | 一种基于判别式深度置信网络的心律失常自动分类方法 | |
| CN116361688A (zh) | 用于心电节律自动分类的多模态特征融合模型构建方法 | |
| CN109480824B (zh) | 心电波形数据的处理方法、装置和服务器 | |
| CN113397555A (zh) | 生理参数监测用c-lstm的心率失常分类算法 | |
| CN111449644A (zh) | 一种基于时频变换和数据增强技术的生物电信号分类方法 | |
| CN110638430B (zh) | 级联神经网络ecg信号心律失常分类模型的搭建方法 | |
| CN109948396B (zh) | 一种心拍分类方法、心拍分类装置及电子设备 | |
| Fang et al. | Dual-channel neural network for atrial fibrillation detection from a single lead ECG wave | |
| Alaskar | Deep learning-based model architecture for time-frequency images analysis | |
| CN111202512A (zh) | 一种基于小波变换与dcnn的心电图分类方法和装置 | |
| Rohmantri et al. | Arrhythmia classification using 2D convolutional neural network | |
| Diery et al. | Automated ECG diagnostic P-wave analysis using wavelets | |
| Zhang et al. | Cardiac arrhythmia classification by time–frequency features inputted to the designed convolutional neural networks | |
| CN112932498A (zh) | 一种基于深度学习的强泛化能力的t波形态分类*** | |
| CN115281688A (zh) | 一种基于多模态深度学习的心脏肥大多标签检测*** | |
| Prakash et al. | A system for automatic cardiac arrhythmia recognition using electrocardiogram signal | |
| CN113180688B (zh) | 基于残差神经网络的冠心病心电图筛查***及方法 | |
| CN117582235A (zh) | 基于cnn-lstm模型的心电信号分类方法 | |
| Shi et al. | Automated heartbeat classification based on convolutional neural network with multiple kernel sizes | |
| Harrane et al. | Classification of ECG heartbeats using deep neural networks | |
| CN112257573B (zh) | 一种基于t-SNE和Adaboost的ECG身份识别方法 | |
| Roland et al. | An automated system for arrhythmia detection using ECG records from MITDB | |
| Saeed et al. | A Slantlet based statistical features extraction for classification of normal, arrhythmia, and congestive heart failure in electrocardiogram | |
| Khandait et al. | ECG signal processing using classifier to analyses cardiovascular disease |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |