CN116649899A - 一种基于注意力机制特征融合的心电信号分类方法 - Google Patents
一种基于注意力机制特征融合的心电信号分类方法 Download PDFInfo
- Publication number
- CN116649899A CN116649899A CN202310602673.3A CN202310602673A CN116649899A CN 116649899 A CN116649899 A CN 116649899A CN 202310602673 A CN202310602673 A CN 202310602673A CN 116649899 A CN116649899 A CN 116649899A
- Authority
- CN
- China
- Prior art keywords
- attention mechanism
- instance
- feature fusion
- visual
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004927 fusion Effects 0.000 title claims abstract description 37
- 230000007246 mechanism Effects 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 230000004913 activation Effects 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 38
- 230000014509 gene expression Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000000747 cardiac effect Effects 0.000 claims description 6
- 230000007774 longterm Effects 0.000 abstract description 18
- 206010003119 arrhythmia Diseases 0.000 abstract description 16
- 230000006793 arrhythmia Effects 0.000 abstract description 16
- 230000008859 change Effects 0.000 abstract description 6
- 230000000295 complement effect Effects 0.000 abstract description 6
- 238000007500 overflow downdraw method Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 239000013255 MILs Substances 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 206010042600 Supraventricular arrhythmias Diseases 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000013610 patient sample Substances 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
- A61B5/358—Detecting ST segments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请涉及人工智能技术领域，具体提供了一种基于注意力机制特征融合的心电信号分类方法，S1，获取多模态输入；S2，将多模态输入进行多实例分割，提取实例特征；S3，将实例特征输入预设神经网络获得包特征；S4，根据包特征得到分类结果。本发明对长期ECG信号进行分类，获取的多模态输入中包含时间域信息和空间域信息，这有利于模型学习到多个模态特征的互补信息；通过多实例分割、特征提取，得到实例特征；融合得到包特征；将包特征输入分类器得到分类结果。采用注意力机制的特征融合方法，使得与顶部最优激活实例具有更多相似性的实例将具有更大的关注权重，提升分类结果的准确度，使得分类结果能够准确反映心律失常和ST段变化。
Description
技术领域
本申请涉及人工智能技术领域，具体而言，涉及一种基于注意力机制特征融合的心电信号分类方法。
背景技术
各种心血管疾病在心电(electrocardiogram，ECG)信号中表现出不同的特征。利用深度神经网络对心电图进行分类是医疗数字化的基础。因此，有必要提供一种基于深度神经网络的心电信号分类方法。
ECG信号按照采集时间长短分为短期ECG信号分类和长期ECG信号分类。短期ECG信号分类指的是大约10s或单个心拍ECG信号，数据长度较短，长期ECG信号分类指的是需要跨越数小时甚至数天的ECG信号，数据长度较长。由于只能输入较短的数据，现有的用于ECG信号分类的深度神经网络有卷积神经网络(CNNs)、递归神经网络(RNNs)、Transformer及其变体等主要用于短期ECG信号的分类；也就是，1小时及以上的ECG数据的长度太大，不能作为上述深度学习模型的输入。现有的分类方法对原始ECG信号数据进行特征提取，依据提取到的特征学习分类模型，这样能够提取到ECG信号的时域特征。然而，现有的分类方法无法很好地探索来自多个模态特征的互补信息；也无法对长期ECG信号进行分类。长期ECG信号能够准确捕捉心律失常和ST段变化，这是短期ECG信号难以检测到的异常。
综上所述，现有的分类方法不能对长期ECG信号进行分类，并且只能提取到心电信号时域特征，从而分类结果不能准确反映心律失常和ST段变化。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种基于注意力机制特征融合的心电信号分类方法，以解决现有的分类方法不能对长期ECG信号进行分类，并且只能提取到心电信号时域特征，从而分类结果不能准确反映心律失常和ST段变化的问题。
为实现上述目的，本发明采用的技术方案如下：
本申请提供一种基于注意力机制特征融合的心电信号分类方法，该方法包括如下步骤：S1，获取多模态输入；S2，将多模态输入进行多实例分割，提取实例特征；S3，将实例特征输入预设神经网络获得包特征；S4，根据包特征得到分类结果。
进一步地，步骤S1中的多模态输入包括时间序列模态和视觉模态，分别为ECG信号和GAF图像。
更进一步地，GAF图像由ECG信号经过归一化、极坐标转换、Gramian矩阵运算得到。
更进一步地，归一化通过表达式完成，其中，-1≤a≤b≤1，a和b表示参数，n表示ECG信号的长度，xi表示归一化前的单位长度信号，xi表示归一化后的单位长度信号，max(x)表示单位长度信号的最大值，min(x)表示单位长度信号的最小值。
更进一步地，极坐标转换的坐标角度的表达式为其中，/>表示归一化后的单位长度信号；坐标半径的表达式为/>其中，ti≤M，M是极坐标空间跨度阳性则化的常数，M＝1，ti是时间戳。
更进一步地，步骤S2中对时间序列模态分割的表达式为其中，t表示时间序列模态，C表示通道数，Z表示每个心拍的长度，上标中的K表示包中的心拍个数，xk表示第k个心拍实例；对视觉序列模态分割的表达式其中v表示视觉模态，C表示通道数，H和W表示图像的大小，J表示每个GAF图像切成的不重叠的图像块的数量，xj表示第j个视觉实例。
更进一步地，对时间序列模态提取特征的表达式为hk＝ft(xk)，其中，ft表示ResNet1d_Wang，xk输入的待提取特征的心拍实例，hk为对应提取到的心拍实例特征；对视觉模态提取特征的表达式为hj＝fv(xj)，其中，fv表示SENet，xj输入的待提取特征的视觉实例，hj为对应提取到的视觉实例特征。
更进一步地，步骤S3中的预设神经网络为基于注意力机制的特征融合网络。
更进一步地，通过基于注意力机制的特征融合网络得到包特征的表达式为其中，/>表示串联运算，WC表示权重矩阵，C表示包特征，Bt表示时间序列模态的包特征，BV表示视觉模态的包特征。
更进一步地，时间序列模态的包特征的表达式为Bt＝λQkmax+(1-λ)bt，视觉模态的包特征的表达式为BV＝λQjmax+(1-λ)bV，其中，λ是超参数，Qkmax和Qjmax分别为时间序列模态和视觉模态对应的顶部最优激活实例特征，bt和bV分别为时间序列模态和视觉模态对应的特征向量。
与现有技术相比，本发明的有益效果：本发明方法对长期ECG信号进行分类，首先获取多模态输入，ECG信号中包含时间域信息，GAF图像中包含空间域信息，这有利于模型学习到多个模态特征的互补信息；然后对多模态输入进行多实例分割、特征提取，得到实例特征；将ECG信号和GAF图像得到的实例特征，即时间序列模态的实例特征和视觉模态的实例特征输入基于注意力机制的特征融合网络进行融合，得到包特征；最终，将包特征输入分类器得到分类结果。采用了注意力机制的特征融合方法，使得与顶部最优激活实例具有更多相似性的实例将具有更大的关注权重，提升分类结果的准确度，使得分类结果能够准确反映心律失常和ST段变化。
附图说明
图1为本发明提供的一种基于注意力机制特征融合的心电信号分类方法的示意图；
图2为本发明提供的一种基于注意力机制特征融合的心电信号分类方法的流程示意图；
图3为本发明提供的一种基于注意力机制特征融合的心电信号分类方法中基于注意力机制的特征融合网络的示意图；
图4为本发明提供的一种基于注意力机制特征融合的心电信号分类方法中分类器的示意图。
具体实施方式
为了使本发明的实施过程更加清楚，下面将会结合附图进行详细说明。
本发明提供了一种基于注意力机制特征融合的心电信号分类方法，如图1和图2所示，该方法包括如下步骤：
S1，获取多模态输入；
ECG信号的分类取决于不同病症的波形特征，因此，从ECG信号中提取综合特征是至关重要的。现有的方法只使用原始ECG信号作为输入，这忽略了时间序列信号中的空间相关信息。本发明利用原始ECG信号和ECG信号转换后的格拉姆角场(Gramian AngularField,GAF)图像作为多模态输入，使模型能够学习到不同模态之间的互补信息。也就是使用原始ECG信号和相应的GAF图像的多模态作为输入，从ECG信号和GAF图像中提取的特征具有不同的特性，前者包含时间域信息，后者包含空间域信息，这使得模型能够从不同的模态中学习完整的信息。
利用GAF变换将时间序列的ECG信号变换成GAF图像，也就是将时间序列变换成图像信号，利用坐标变换和格拉姆矩阵的相关运算完成。具体地，通过计算值的反余弦函数(arccos)，将ECG信号的每个时间点映射到极坐标系，作为另一个时间序列表示；因此，GAF图像包含关于采样点之间的空间域的信息，为空间域信息的提取和学习提供基础。
具体地，设E是长度为n的单导联ECG信号，可以表示为E＝{x1,x2,...xn}，首先，在[a,b]范围内规范化(即归一化)E表达式为：其中-1≤a≤b≤1，规范化后得到归一化操作提供了一个在[0,π]范围内的角度值，这将有助于获得GAF中信息的粒度。接着，为了获得数据的极坐标的表示对余弦角/>和半径r进行计算，表达式分别为/>和/>其中M是极坐标空间跨度阳性则化的常数，M＝1，ti是时间戳。在坐标系转换之后，GAF转换将向量输入Gramian矩阵中，具体地，可以为Gramian角差场(GADF)的角差的正弦值/>也可以为Gramian角和场(GASF)的角和的余弦值，表达式为：Gramian矩阵的输出即为得到的GAF图像，即GADF或GASF的计算结果为GAF图像。
使用GAF将ECG信号转换为了GAF图像，并将GAF图像与原始ECG信号组合作为多模态输入，也就是，将原始ECG信号和GAF图像一起输入。GAF图像包含样本点之间的空间域信息，ECG信号包含样本点之间的时间域信息；将于GAF图像与ECG信号作为多模态输入，这使得模型能够学习不同模态之间的互补信息，以便步骤S2中得到不同模态的实例特征，进而进行融合，从而实现高质量的交互信息，最终使得分类结果能够准确反映心律失常和ST段变化。
本实施例中使用的数据信号可以是直接采集的ECG信号，也可以是现有数据库中的心电图数据集。在本申请实施例中使用圣彼得堡INCART心律失常12导联多标签心电图数据集和MIT-BIH室上性心律失常数据集两个数据集。将两个数据集分为患者内模式和患者间模式；患者内部模式是指直接对所有数据进行随机分配，一部分为训练集，一部分为测试集，患者间模式是指对不同被试者的数据进行特征提取并分类；患者内模式和患者间模式完全独立进行。训练集用来用来训练模型，估计参数；测试集用来测试和评估训练出来的模型好坏，不能用于训练模型。具体地，在患者内模式中，在整个数据集上随机抽样将样本分为多组，例如10组；前70％为训练集，例如第1组至第7组作为训练集；其余为测试集，例如第8组至第10组作为测试集。在患者间模式中，通过对整个患者进行随机抽样，将患者分为多组，70％为训练集，30为测试集，例如分为10组，第1组至第7组患者样本作为训练集，其余患者样本作为测试集。通常将样本分为阳性样本和阴性样本，本实施例中将心律失常的ECG信号分类为阳性样本，将正常的ECG信号被视为阴性样本。
S2，将多模态输入进行多实例分割，提取实例特征；
为了避免信息丢失，将多实例学习(Multiple Instance Learning，MIL)引入本申请模型，对多模态输入进行MIL。MIL中定义包为多个示例的集合，即形成多组带标签的包，学习者不是接收一组单独标记的实例，而是接收一组带标签的包，每个包拥有多个实例。在多实例二进制分类的情况下，如果包中的所有实例都是阴性样本，则可以将包标记为阴性。另一方面，如果包中至少有一个是阳性样本，则包被标记为阳性。本实施例中将异常的ECG信号分类为阳性样本，例如心律失常等，正常的ECG信号被视为阴性样本。本实施例中的ECG信号均指长期ECG信号，在长期ECG信号中，心拍次数较大，与整个区域相比，异常(心律失常)的心拍比例较小，包的标签取决于内部是否包含异常心拍。同时，通过引入MIL将原始长期ECG信号划分为多个实例，缩短了信号的长度，用划分后的实例作为基于注意力机制的特征融合网络的输入，从而解决了长期ECG信号由于硬件资源的限制无法输入神经网络的问题。
首先，对多模态输入进行了多实例分割，在二进制分类的情况下，包括K个实例的包可以表示为X＝{x1,x2,...xk}，实例的标签为yk∈{0,1}，其中yk＝1表示阳性实例，yk＝0表示阴性实例。本实施例提供了基于实例和基于特征两种策略，均利用公式Y＝g(f(x0),f(x1),...,f(xk))实现；具体地，一种是基于实例的策略，对实例进行分类并获得一个实例分类器g，然后对每个实例应用最大或平均池化操作f，以获得包的标签Y；另一种是基于特征的策略，基于从包子内所有实例中提取的特征，f为实例特征提取器，g为融合实例特征得到包的子标签的融合操作。优选地，本实施例中使用基于特征的策略，实例是无标签的，对实例进行分类难度较大，不容易训练出高精度的实例分类器，而特征的标签相对容易获取，实例特征容易被神经网络学习，从而分类性能更好。
具体地，在时间序列模态中，将N个ECG信号训练样本视为包，每个包中包含K个心拍(实例)/>其中，上标t表示时间序列模态，C表示通道数，Z表示每个心拍的长度。每个心拍xk∈RC×Z都被视为一个实例；这里的心拍为根据心拍将长期心电图划分的多个片段。视觉模态中，将N个GAF图像/>视为包，其中每个GAF图像被切成J个不重叠的图像块作为实例，可以表示为Xi V＝{x1,x2,...xJ}xj∈RJ×C×H×W，其中v表示视觉模态，C表示通道的数量，H和W表示图像的大小；本发明中的下角标i、j、k均指样本序号，R表示实例的维度。视觉模态采用了与时间序列模态不同的方法进行多实例分割，在视觉模态中，ECG信号的每个时间点被映射到极坐标系，展示出更多的空间域信息，GAF图像不能通过将每个心拍作为一个实例来分割。与直接使用整个GAF图像作为输入相比，引入MIL将GAF图像划分为实例作为输入促进了与时间序列模态实例的更好交互，能够提取多个模态特征的互补信息，从而提升长期ECG信号的分类准确率。
多实例分割后，进行实例特征提取。将时间序列实例xk输入到ReNet1d_Wang中，以提取时间序列模态实例特征hk∈RL×1，如下所示：hk＝ft(xk)，其中ft表示ResNet1d_Wang，L表示每个实例特征的长度。将视觉实例xj输入SENet，用于提取每个视觉模态实例特征hj∈RL×1，如下所示：hj＝fv(xj)，其中fv表示SENet，L表示每个实例特征的长度。得到的时间序列模态的实例特性表示为：ht＝{h1,h2,...hk,...hK}∈RL×K，视觉模态的实例特性可以表示为：hV＝{h1,h2,...hj,...hJ}∈RL×J，其中hk,hj∈RL×1。ResNet1d_Wang和SENet分别表示一维残差神经网络和压缩和激励神经网络。
S3，将实例特征输入预设神经网络获得包特征；
预设神经网络为基于注意力机制的特征融合网络，如图3所示为具体的示意图。需要说明的是，本发明神经网络整体结构为多模态多实例学习神经网络(Multimodal Multi-Instance Learning,MAMIL)，属于卷积神经网络，是本申请实施例提出的一种用于长期ECG信号分类的多模态多实例学习神经网络，由多模态输入、多实例学习、基于注意力机制的特征融合网络三部分组成；其中，多模态输入部分指步骤S1，多实例学习部分指步骤S2，基于注意力机制的特征融合网络部分指步骤S3。
将步骤S2得到的多个模态的实例特征，即时间序列实例特征和视觉实例特征输入基于注意力机制的特征融合网络，进行整合，得到最终包特征。具体地，使用最大池化操作从每个模态的实例特征中选择顶部最优激活实例特征，然后将激活实例特征视为查询，以计算所有剩余实例特征的实例注意力权重，从而实现不同模态实例之间的交互，即将不同模态的实例特征合并在一起，共K+J个实例特征，分别使用两个模态中的最优激活实例特征作为查询与这K+J个实例特征交互计算权重。最后一个包特征包含来自两种模式的信息，并突出了顶部最优激活实例的重要性。基于注意力机制的特征融合网络能够有效地消除冗余信息，实现较低的计算复杂度，且预测准确率较高。
具体地，步骤S2得到的时间序列模态的实例特性表示为：ht＝{h1,h2,...hk,...hK}∈RL×K，视觉模态的实例特性可以表示为：hV＝{h1,h2,...hj,...hJ}∈RL×J，其中hk,hj∈RL ×1。最大池化过程中，每个模态的所有实例都投影到ht∈RK×1,hv∈RJ×1中，用于计算所有实例的得分，获得每一个模态中的顶部最优激活实例。更具体地，时间序列模态对应的最大池化表示为：hkmax＝maxpool(W0h1,...,W0hk)，视觉模态对应的最大池化的操作表示为：hjmax＝maxpool(W0h1,...,W0hj)，其中，W0是用于实例特征的线性投影的权重向量，来自于线性层。接着，将每个模态的每个实例特征和顶部最优激活实例特征转换为特征向量，查询Qi∈RL ×1,Qkmax∈RL×1,Qjmax∈RL×1，如下：时间序列模态对应Qk＝Wqhkmax，视觉模态对应Qj＝Wqhjmax，其中，Wq是全连通层的权重矩阵，Qkmax和Qjmax分别表示时间序列模态和视觉模态对应的顶部最优激活实例，Qi表示任一实例特征。将相关性度量S定义为每个模态的顶部最优激活实例与所有实例之间的相关性的度量，时间序列模态对应的相关性度量的表达式为：视觉模态对应的相关性度量的表达式为：其中，⊙是两个向量的内积运算。
为了减少参数的数量，不将每个查询与额外的关键向量匹配，而将查询与其他查询匹配，并且不学习关键向量。对于每个模态，以上述相关性度量S为权重对向量Qi求和得到特征项向量，具体地，时间序列模态对应的特征向量为视觉模态对应的特征向量为/>这里bt和bV包含来自两个模态实例的信息，bt和bV均同时包含时间序列模态的实例信息和视觉模态的实例信息。将每个模态的顶部最优激活实例特征和特征向量b进行融合，获得每个模态的包特征，具体地，时间序列模态对应的包特征的表达式为Bt＝λQkmax+(1-λ)bt，视觉模态对应的包特征的表达式为BV＝λQjmax+(1-λ)bV，其中，λ是超参数，可以设置为0.5。最后，将多模态的包特征融合在一起，并通过线性层获得最终包特征C，计算公式为：/>其中，/>表示串联运算，WC是权重矩阵，来自于图3中合路上的线性层。线性层主要将特征输出为一维的一个向量，由此实现端到端的学习过程；图3中两支路中的线性层是为了得到查询，合路上的线性层是为了融合两个模态支路得到的包特征，从而得到最终包特征。
基于注意力机制融合网络中为分类任务选择顶部最优激活实例，相关性度量S用于获得顶部最优激活实例与其他实例之间的相关性信息，从而与顶部最优激活实例具有更多相似性的实例将具有更大的关注权重。现有的方法计算所有心拍实例之间的注意力权重，计算过程非常复杂，并且使得阳性常心拍稀释了异常心拍的注意力权重。因此，本发明方法计算量较小，且更关注异常心拍，使得分类准确度更高。
S4，根据包特征得到分类结果。
根据步骤S3得到的包特征得到分类结果。将包特征输入分类器，分类器输出预测结果，分类器的结构如图4所示，由线性层、噪声整流层、激活函数层构成。由于本实施例使用的数据集为多标签数据集，分类器的激活函数使用sigmoid而不是softmax激活函数。
本申请实施例中，评估指标可以使用曲线下面积(AUC)、F1得分、平均精度(mAP)和召回率作为所有数据集心电图分类任务的评估指标。由于所有数据集都是多标签的，因此使用mAP而不是准确度。Recall表示所有阳性样本中预测阳性确的比例，这对疾病分类具有实际意义。这些指标由MAMIL输出进行相应评价指标的计算得到。一般地，在测试集上的分类准确率高于现有同类型模型时，可认为训练过程结束。
基于上述的圣彼得堡INCART心律失常12导联多标签心电图数据集和MIT-BIH室上性心律失常数据集。在患者内和患者间数据集上测试了不同特征融合方法对MAMIL的分类性能，本实施例提供的特征融合方法在几乎所有指标上都具有最佳的模型性能。这表明使用提供的特征融合方法可以有效地融合实例特征。在圣彼得堡INCART心律失常和MIT-BIH室上心律失常数据集的患者内和患者间模式上，将所提出的MAMIL与其他现有的常见模型进行了比较。“无MIL”表示本申请中所述的无MIL的MAMIL，它只使用完整的ECG数据和GAF图像作为多模态输入，而不拆分为实例。MAMIL在患者内模式数据集的几乎所有评估指标中都获得了明显更好的结果。利用步骤S1中的测试集数据进行测试，F1、mAP和Recall在圣彼得堡INCART心律失常数据集上实现了超过2％的改善，在MIT-BIH室上心律失常数据集中实现了超过1％的改善。MAMIL在患者间模式数据集上评估的几乎所有指标上都取得了显著改善，除了ResNet1d_wang在AUC指标上略高于MAMIL。
结果表明，MAMIL在患者内和患者间模式数据集中都有很好的性能改进和泛化能力。然而，在不使用MIL的情况下，MAMIL的性能会显著下降。这表明MIL的有效性。与其他MIL模型相比，MAMIL在长期ECG分类任务上的性能显著提高。圣彼得堡INCART心律失常和MIT-BIH室上心律失常数据集的患者内模式的所有指标都有一定程度的改善。与其他MIL模型相比，当使用患者间模式的数据集时，MAMIL在F1和Recall上实现了超过1％的改善，mAP也得到了一定程度的改善，只有DSMIL在AUC指标上比上述的MAMIL高0.05％。本发明方法通过多模态输入、多实例分割、特征提取、融合过程最终得到分类结果，其中不仅提取到时域信息还提取到了空间特征，使得多模态之间信息互补，从而提高长期ECG信号的分类结果，分类结果能够准确反映心律失常和ST段变化。
本申请实施例提出的多模态学习模型可以添加更多的模态输入，如表格模态数据和音频模态数据。每个模态的主干可以被替换，并且所提出的基于注意力机制的融合方法可以应用于更多的模态输入。本申请方法并不限定用于上述的长期ECG信号，比如上述模型可以用于分类各种长期电信号，例如脑电信号、肌电信号、胃电信号等等人体生物电信号。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于注意力机制特征融合的心电信号分类方法，其特征在于，所述方法包括如下步骤：
S1，获取多模态输入；
S2，将所述多模态输入进行多实例分割，提取实例特征；
S3，将所述实例特征输入预设神经网络获得包特征；
S4，根据所述包特征得到分类结果。
2.根据权利要求1所述的基于注意力机制特征融合的心电信号分类方法，其特征在于，所述步骤S1中的多模态输入包括时间序列模态和视觉模态，分别为ECG信号和GAF图像。
3.根据权利要求2所述的基于注意力机制特征融合的心电信号分类方法，其特征在于，所述GAF图像由所述ECG信号经过归一化、极坐标转换、Gramian矩阵运算得到。
4.根据权利要求3所述的基于注意力机制特征融合的心电信号分类方法，其特征在于，所述归一化通过表达式完成，其中，-1≤a≤b≤1，a和b表示参数，n表示所述ECG信号的长度，xi表示归一化前的单位长度信号，/>表示归一化后的单位长度信号，max(x)表示单位长度信号的最大值，min(x)表示单位长度信号的最小值。
5.根据权利要求4所述的基于注意力机制特征融合的心电信号分类方法，其特征在于，所述极坐标转换的坐标角度的表达式为其中，/>表示归一化后的单位长度信号；坐标半径的表达式为/>其中，ti≤M，M是极坐标空间跨度阳性则化的常数，M＝1，ti是时间戳。
6.根据权利要求1或5所述的基于注意力机制特征融合的心电信号分类方法，其特征在于，所述步骤S2中对所述时间序列模态分割的表达式为其中，t表示时间序列模态，C表示通道数，Z表示每个心拍的长度，上标中的K表示包中的心拍个数，xk表示第k个心拍实例；对所述视觉序列模态分割的表达式/>其中v表示视觉模态，C表示通道数，H和W表示图像的大小，J表示每个所述GAF图像切成的不重叠的图像块的数量，xj表示第j个视觉实例。
7.根据权利要求6所述的基于注意力机制特征融合的心电信号分类方法，其特征在于，对所述时间序列模态提取特征的表达式为hk＝ft(xk)，其中，ft表示ResNet1d_Wang，xk输入的待提取特征的心拍实例，hk为对应提取到的心拍实例特征；对所述视觉模态提取特征的表达式为hj＝fv(xj)，其中，fv表示SENet，xj输入的待提取特征的视觉实例，hj为对应提取到的视觉实例特征。
8.根据权利要求1或7所述的基于注意力机制特征融合的心电信号分类方法，其特征在于，所述步骤S3中的预设神经网络为基于注意力机制的特征融合网络。
9.根据权利要求8所述的基于注意力机制特征融合的心电信号分类方法，其特征在于，通过所述基于注意力机制的特征融合网络得到所述包特征的表达式为其中，/>表示串联运算，WC表示权重矩阵，C表示所述包特征，Bt表示所述时间序列模态的包特征，BV表示所述视觉模态的包特征。
10.根据权利要求9所述的基于注意力机制特征融合的心电信号分类方法，其特征在于，所述时间序列模态的包特征的表达式为Bt＝λQkmax+(1-λ)bt，所述视觉模态的包特征的表达式为BV＝λQjmax+(1-λ)bV，其中，λ是超参数，Qkmax和Qjmax分别为所述时间序列模态和所述视觉模态对应的顶部最优激活实例特征，bt和bV分别为所述时间序列模态和所述视觉模态对应的特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310602673.3A CN116649899A (zh) | 2023-05-26 | 2023-05-26 | 一种基于注意力机制特征融合的心电信号分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310602673.3A CN116649899A (zh) | 2023-05-26 | 2023-05-26 | 一种基于注意力机制特征融合的心电信号分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116649899A true CN116649899A (zh) | 2023-08-29 |
Family
ID=87721713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310602673.3A Pending CN116649899A (zh) | 2023-05-26 | 2023-05-26 | 一种基于注意力机制特征融合的心电信号分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116649899A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116864140A (zh) * | 2023-09-05 | 2023-10-10 | 天津市胸科医院 | 一种心内科术后护理监测数据处理方法及其*** |
-
2023
- 2023-05-26 CN CN202310602673.3A patent/CN116649899A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116864140A (zh) * | 2023-09-05 | 2023-10-10 | 天津市胸科医院 | 一种心内科术后护理监测数据处理方法及其*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Strodthoff et al. | Detecting and interpreting myocardial infarction using fully convolutional neural networks | |
| Li et al. | Inter-patient arrhythmia classification with improved deep residual convolutional neural network | |
| Murugesan et al. | Ecgnet: Deep network for arrhythmia classification | |
| CN111990989A (zh) | 一种基于生成对抗及卷积循环网络的心电信号识别方法 | |
| US20230143594A1 (en) | Systems and methods for reduced lead electrocardiogram diagnosis using deep neural networks and rule-based systems | |
| WO2020006939A1 (zh) | 基于生成式对抗网络的心电图生成及分类方法 | |
| CN110522444B (zh) | 一种基于Kernel-CNN的心电信号识别分类方法 | |
| CN108836302A (zh) | 基于深度神经网络的心电图智能分析方法及*** | |
| CN110974214A (zh) | 一种基于深度学习的自动心电图分类方法、***及设备 | |
| Musa et al. | A systematic review and Meta-data analysis on the applications of Deep Learning in Electrocardiogram | |
| Ji et al. | A deep multi-task learning approach for ECG data analysis | |
| Feng et al. | Unsupervised semantic-aware adaptive feature fusion network for arrhythmia detection | |
| CN112733774A (zh) | 一种基于BiLSTM与串并多尺度CNN结合的轻量化ECG分类方法 | |
| CN116649899A (zh) | 一种基于注意力机制特征融合的心电信号分类方法 | |
| CN115530788A (zh) | 基于自注意力机制的心律失常分类方法 | |
| WO2021071646A1 (en) | Systems and methods for electrocardiogram diagnosis using deep neural networks and rule-based systems | |
| Wang et al. | Multiscale residual network based on channel spatial attention mechanism for multilabel ECG classification | |
| Al-Huseiny et al. | Diagnosis of arrhythmia based on ECG analysis using CNN | |
| Wu et al. | SRT: Improved transformer-based model for classification of 2D heartbeat images | |
| Wu et al. | A deep neural network ensemble classifier with focal loss for automatic arrhythmia classification | |
| Cheng et al. | MSW-Transformer: Multi-scale shifted windows transformer networks for 12-lead ECG classification | |
| Zhang et al. | Interpretable detection and location of myocardial infarction based on ventricular fusion rule features | |
| Yu et al. | Spa-tem mi: A spatial-temporal network for detecting and locating myocardial infarction | |
| Qin et al. | A lightweight SelfONN model for general ECG classification with pretraining | |
| Wen et al. | A scalable hybrid model for atrial fibrillation detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |