CN115530788A - 基于自注意力机制的心律失常分类方法 - Google Patents

基于自注意力机制的心律失常分类方法 Download PDF

Info

Publication number
CN115530788A
CN115530788A CN202211133248.6A CN202211133248A CN115530788A CN 115530788 A CN115530788 A CN 115530788A CN 202211133248 A CN202211133248 A CN 202211133248A CN 115530788 A CN115530788 A CN 115530788A
Authority
CN
China
Prior art keywords
attention
electrocardiosignal
layer
electrocardiosignals
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211133248.6A
Other languages
English (en)
Inventor
杨观赐
王越
何玲
刘丹
蓝善根
李杨
杨思远
张睿泽
罗可欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou University
Original Assignee
Guizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou University filed Critical Guizhou University
Priority to CN202211133248.6A priority Critical patent/CN115530788A/zh
Publication of CN115530788A publication Critical patent/CN115530788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明的一种基于自注意力机制的心律失常分类方法，其特征在于：该方法包括如下步骤：采集心电信号并对数据进行预处理：对心电信号数据进行小波变换预处理，去除心电信号的基线漂移以及噪声；生成心电信号训练数据集；构建多头自注意力机制的心律失常分类网络，其结构包括心电向量表示层、线性区间投影层、信号序列编码层、多头自注意力计算层、归一化层、心电信号输出层；设计基于多头自注意力机制的心律失常分类算法；训练基于多头自注意力机制的心律失常分类网络；对心电信号进行分类。本发明具有能够充分利用心电信号中的丰富的语义信息以及信号的局部相关性，获取低幅值心电信号特征以高效准确的自动识别异常心律的特点。

Description

基于自注意力机制的心律失常分类方法
技术领域
本发明涉及医学信号处理领域，尤其涉及从心电图信号中检测心律失常的方法。
背景技术
心血管疾病是导致人类死亡的主要疾病。心血管疾病患者的一个重要表现是电脉冲的异常。电脉冲的异常会导致心律失常，从而导致心血管疾病发生。心血管疾病患病初期不易察觉，及时准确诊断心律失常类型是心血管疾病早期预防和诊断的关键。心电图能够记录心脏生理状态，是诊断心律失常类型的数据基础。通常，心电图信号是周期性的，由多个心跳组成，每个心跳由几个连续的波组成。不同类型的心律失常均与某一特定波形模式相关联，这为心律失常分类提供了可能。
当前，心律失常分类的方法主要有机器学习方法和深度学习方法。机器学习方法通常在特征提取和特征选择上需要大量的时间开销。机器学习方法的分类过程运用了较多的数学公式，在可解释性方面具有优势，但是对不同心电信号的适应性较弱。换言之，即使是同一个病人，在不同的环境中也会因为波形表现的细小差异而导致分类结果的不同。基于深度学习的方法在数据预处理、特征提取、信号的局部相关性等方面处理体现出了优越性，但基于深度学习的方法仍然存在一些问题。首先，大多数基于深度学习的方法需要许多复杂的卷积和递归结构，CNN利用卷积核提取抽象的高级特征，理论上来说其感受野应该能覆盖到全图，但许多研究表明其实际感受野远小于理论感受野，不利于我们充分利用上下文信息进行特征的提取和关联。RNN模型的当前的隐藏状态依赖于前一个，导致模型的并行化程度很低。在心电监测分类任务中，过高的QRS波往往会使模型忽略低幅值的心电信号，造成信息丢失。
总之，基于深度学习的方法通常需要许多复杂的卷积和递归结构，只考虑形态特征，在数据量大的时候处理缓慢，不能并行化计算。在获取低幅值心电信号特征以及自动识别异常心律的准确性方面较低。
发明内容
本发明的目的在于克服上述缺点而提出了一种能够充分利用心电信号中的丰富的语义信息以及信号的局部相关性，获取低幅值心电信号特征以高效准确的自动识别异常心律的基于自注意力机制的心律失常分类方法。
本发明的一种基于自注意力机制的心律失常分类方法，其中：该方法包括如下步骤：
步骤一、采集心电信号并对数据进行预处理：对心电信号数据进行小波变换预处理，去除心电信号的基线漂移以及噪声；
步骤二、生成心电信号训练数据集，将心电信号训练数据集随机划分为训练集和测试集；
步骤三、构建多头自注意力机制的心律失常分类网络，其结构包括心电向量表示层、线性区间投影层、信号序列编码层、多头自注意力计算层、归一化层、心电信号输出层；设计基于多头自注意力机制的心律失常分类算法；
步骤四、训练基于多头自注意力机制的心律失常分类网络：将心电信号训练集输入到多头自注意力机制的心律失常分类网络中，使用交叉熵损失函数，设置网络学习率，利用梯度下降法训练网络，更新训练集和验证集的权重值和学习率，直至网络损失函数收敛，得到训练好的多头自注意力机制的心律失常分类网络；
步骤五、对心电信号进行分类：将心电信号测试集输入到训练好的多头自注意力机制的心律失常分类网络中，得到心电分类的结果，并通过与正确标签对比，计算多头自注意力机制的心律失常分类网络模型对心律失常分类的精确度。
上述基于自注意力机制的心律失常分类方法，其中：所述步骤一中的对心电信号数据进行小波变换预处理，包括如下步骤：
步骤1.1、设定初始小波变换等级；
步骤1.2、用小波Db6对心电信号进行小波分解；
步骤1.3、对信号si进行低通滤波并下采样得到信号cAi；对信号si进行高通滤波并下采样得到信号cDi；
步骤1.4、对分解的信号cAi、cDi进行小波重建得到处理过后的心电信号集；
步骤1.5、将处理过的心电信号进行心电段切分，并记录标记，再对信号段进行重采样成长度为300的心电信号段。
上述基于自注意力机制的心律失常分类方法，其中：所述步骤1.1中的设定初始小波变换等级level＝9。
上述基于自注意力机制的心律失常分类方法，其中：所述步骤1.5中将处理过的心电信号进行心电段切分，取R峰前100点和R峰后140点作为一个信号段并记录标记。
上述基于自注意力机制的心律失常分类方法，其中：所述步骤三中的基于多头自注意力机制的心律失常分类算法，包括如下步骤：
步骤3.1、心电向量表示层将进行预处理过后的心电数据段转化成模型的训练向量；
步骤3.2、线性区间投影层通过对心电信号进行线性投影，投影成多个心拍波段以提高心电信号的语义特征表达；
步骤3.3、信号序列编码层中，其位置编码器的位置编码PEjz计算公式为：
Figure BDA0003850708420000031
其中，z＝1,2,…,W，W为心电信号点的数量，posj,m为第j个心拍波段的第m个序列的心电信号的位置坐标，
Figure BDA0003850708420000032
为心电信号的x坐标值，
Figure BDA0003850708420000033
为第j个心拍波段的心电信号的平均幅值，Vmax为心电信号的最大幅值；
步骤3.4、多头自注意力计算层：多头自注意力使用多个缩放点积注意力模块从而进行心电信号段之间的并行计算，多头自注意力机制能够从不同空间中学习到更多的语义信息；
步骤3.5、归一化层：对计算过后的心电信号进行归一化处理，从而减少训练时间；
步骤3.6、全连接心电信号输出层：对计算过后的心电信号进行类别概率计算，全连接层中的神经元个数等于分类的心电信号类别总数。
上述基于自注意力机制的心律失常分类方法，其中：所述步骤3.1中的心电向量表示层将进行预处理过后的心电数据段转化成模型的训练向量其长度为300。
上述基于自注意力机制的心律失常分类方法，其中：所述步骤3.4中的多头自注意力使用多个缩放点积注意力模块从而进行心电信号段之间的并行计算，其中输入自注意模块由Q∈Rn、
Figure BDA0003850708420000041
三个矩阵组成，其中R为实数，缩放点积注意力模块部分有n层，其注意力计算如下式所示：
Figure BDA0003850708420000042
Figure BDA0003850708420000043
其中Q∈Rn、
Figure BDA0003850708420000044
为输入矩阵，dk,dv为输入的相应数据的维度，因为多头注意力采用的自注意力机制，所以输入的Q,K,V三个矩阵的维度相同；在多头注意力模型中，当其中一个缩放点积注意力模块在运算的时候，如式(1)所示，先将Q,K,V向量进行线性变换；然后对输入的第i个心电信号段qi进行自注意力计算，把qi和每个键值权重矩阵
Figure BDA0003850708420000048
做点积计算相似性并取得权重，再通过除以
Figure BDA0003850708420000045
进行放缩，避免softmax函数落在梯度非常小的地方，利用softmax函数对权重进行归一化处理，最后将权重和相应的键值进行加权求和得到一个块的注意力值，经过n次注意力计算后得到一个head的注意力值；缩放点积注意力总公式如(2)所示，经过多次缩放注意力计算后，得到n个head，将每一次的head进行拼接，经过线性变换得到最后与输入相同维度的结果，计算公式如式所示。
headi＝attention(QWi Q,KWi K,VWi V) (3)
MultiHead(Q,K,V)＝Concat(head1,…,headN)Wo (4)
其中
Figure BDA0003850708420000046
为线性映射的参数矩阵，dmodel为模型所设置的数据输入维度，
Figure BDA0003850708420000047
为线性变换的权重，Concat为向量拼接操作；MultiHead(Q,K,V)为最后计算的结果；通过多次Attention的计算，多头自注意力机制能够从不同空间中学习到更多的语义信息。
上述基于自注意力机制的心律失常分类方法，其中：所述步骤二中的将心电信号训练数据集按照比例进行7：3随机划分为训练集和测试集。
上述基于自注意力机制的心律失常分类方法，其中：所述步骤四中的设置网络学习率为0.0001。
本发明与现有技术的相比，具有明显的有益效果，由以上方案可知，为了提高心电信号数据的质量，采用基于小波变换心电信号数据预处理算法，使用db6小波变换对心电信号进行降噪处理。其次，构建多头自注意力机制的心律失常分类网络，其结构分别为心电向量表示层、线性区间投影层、信号序列编码层、多头自注意力计算层、心电信号输出层；设计基于多头自注意力机制的心律失常分类算法。其中通过建立切分后的心电信号与心电标签的匹配关系，设计了能够获取心电信号语义特征的线性投影层；然后，设计了基于位置编码的心电信号序列时空特征表征方法，将时间序列信息集成为矩阵运算；最后,构建了能够捕获全局上下文信息的多头自注意力机制，以提取心电段之间的关系和语义特征，实现远距离心电信号的语义关联、信息拼接。总之，本发明为了能充分利用心电信号中的丰富的语义信息以及信号的局部相关性，获取低幅值心电信号特征以高效准确的自动识别异常心律，提出了基于多头自注意力机制的心律失常分类算法。
以下通过具体实施方式，进一步说明本发明的有益效果。
附图说明
图1为本发明的方法流程图；
图2为本发明具体实施例中的心拍结构示意图；
图3为本发明具体实施例中的部分心电图信号预处理前后对比图。
具体实施方式
以下结合附图及较佳实施例，对依据本发明提出的一种基于自注意力机制的心律失常分类方法的具体实施方式、特征及其功效，详细说明如后。
参见图1，本发明的一种基于自注意力机制的心律失常分类方法，其中：该方法包括如下步骤：
步骤一、采集心电信号并对数据进行预处理：对心电信号数据进行小波变换预处理，去除心电信号的基线漂移以及噪声；
所述的对心电信号数据进行小波变换预处理，其具体步骤为：
步骤1.1、设定初始小波变换等级level＝9；
步骤1.2、用小波Db6对心电信号进行小波分解；
步骤1.3、对信号si进行低通滤波并下采样得到信号cAi；对信号si进行高通滤波并下采样得到信号cDi；
步骤1.4、对分解的信号cAi、cDi进行小波重建得到处理过后的心电信号集；
步骤1.5、将处理过的心电信号进行心电段切分，取R峰前100点和R峰后140点作为一个信号段并记录标记，再对信号段进行重采样成长度为300的心电信号段。
步骤二、生成心电信号训练数据集：将心电信号训练数据集按照等比例进行7：3随机划分为训练集和测试集；
步骤三、构建多头自注意力机制的心律失常分类网络，其结构分别为心电向量表示层、线性区间投影层、信号序列编码层、多头自注意力计算层、归一化层、心电信号输出层；设计基于多头自注意力机制的心律失常分类算法；
所述基于多头自注意力机制的心律失常分类算法，具体步骤如下：
步骤3.1、心电向量表示层将进行预处理过后的心电数据段转化成模型的训练向量其长度为300；
步骤3.2、线性区间投影层通过对心电信号进行线性投影，投影成数量为p的心拍波段以提高心电信号的语义特征表达；
步骤3.3、信号序列编码层中，其位置编码器的位置编码PEjz计算公式为：
Figure BDA0003850708420000061
其中，z＝1,2,…,W，W为心电信号点的数量，posj,m为第j个心拍波段的第m个序列的心电信号值的位置坐标，
Figure BDA0003850708420000062
为心电信号的x坐标值，
Figure BDA0003850708420000063
为第j个心拍波段的心电信号的平均幅值，Vmax为心电信号的最大幅值；
步骤3.4、多头自注意力计算层：
多头自注意力使用多个缩放点积注意力模块从而进行心电信号段之间的并行计算，其中输入自注意模块由Q∈Rn、
Figure BDA0003850708420000064
三个矩阵组成其中R为实数，缩放点积注意力模块部分有n层，其注意力计算如下式所示：
Figure BDA0003850708420000065
Figure BDA0003850708420000066
其中Q∈Rn、
Figure BDA0003850708420000067
为输入矩阵，dk,dv为输入数据的维度，因为多头注意力采用的自注意力机制，所以输入的Q,K,V三个矩阵的维度相同；在多头注意力模型中，当其中一个缩放点积注意力模块在运算的时候，如式(1)所示，先将Q,K,V向量进行线性变换；然后对输入的qi进行自注意力计算qi为输入的心电信号段，把qi和每个
Figure BDA0003850708420000074
做点积计算相似性并取得权重，再通过除以
Figure BDA0003850708420000071
进行放缩，避免Softmax函数落在梯度非常小的地方，利用Softmax函数对权重进行归一化处理，最后将权重和相应的键值进行加权求和得到一个块的注意力值，经过n次注意力计算后得到一个head的注意力值；缩放点积注意力总公式如(2)所示，经过多次缩放注意力计算后，得到n个head，将每一次的head进行拼接，经过线性变换得到最后与输入相同维度的结果，计算公式如式所示。
headi＝attention(QWi Q,KWi K,VWi V) (3)
MultiHead(Q,K,V)＝Concat(head1,…,headN)Wo (4)
其中
Figure BDA0003850708420000072
为线性映射的参数矩阵，dmodel为模型所设置的数据输入维度，
Figure BDA0003850708420000073
为线性变换的权重，Concat为向量拼接操作；MultiHead(Q,K,V)为最后计算的结果；通过多次Attention的计算，多头自注意力机制能够从不同空间中学习到更多的语义信息；
步骤3.5、归一化层：对计算过后的心电信号进行归一化处理，从而减少训练时间。
步骤3.6、全连接心电信号输出层：对计算过后的心电信号进行类别概率计算，全连接层中的神经元个数等于分类的心电信号类别总数。
步骤四、训练基于多头自注意力机制的心律失常分类网络：将心电信号训练集输入到多头自注意力机制的心律失常分类网络中，使用交叉熵损失函数，网络学习率learning_rate设置为0.0001，利用梯度下降法训练网络，更新训练集和验证集的权重值和学习率，直至网络损失函数收敛，得到训练好的多头自注意力机制的心律失常分类网络；
步骤五、对心电信号进行分类：将心电信号测试集输入到训练好的多头自注意力机制的心律失常分类网络中，得到心电分类的结果，并通过与正确标签对比，计算多头自注意力机制的心律失常分类网络模型对心律失常分类的精确度。
其中：
1、基于小波变换的心电信号数据预处理算法
心电信号由P波、T波和QRS复波组成(见图2)，是诊断心律失常类型的重要依据。
在信息采集的过程中，心电图信号通常会受到基线漂移、运动伪影和肌电图噪声等噪声信号影响。直接使用原始信号难以保证分类结果的准确性，去除心电信号噪声对诊断心律失常类型具有举足轻重的作用。原始的心电图信号数据包含了原始信号的关键信息和频率成分，其中，基线漂移总是存在于5Hz以下的频率成分中，高频噪声存在于90Hz以上的范围中，第三级细节系数的频率范围为45-90Hz，第六级近似系数的频率范围为0–5.625Hz。考虑到小波变换能对时空频率进行局部化分析，并且能够通过伸缩平移运算实现多尺度细化。如果能够消除5Hz以下和90Hz以上的小波细节，则可以去除ECG中的基线漂移噪声信号。因此，为了降低原始心电信号数据中噪声对诊断心律失常类型的影响，本发明提出了基于小波变换的心电信号数据预处理算法，算法的详细流程如算法1所示。
Figure BDA0003850708420000081
图3是部分心电图信号预处理前后对比图。从图3可知，运用算法1后，数据的噪点有明显的改善，其在基线上的分布对称性更明显。
2基于多头自注意力机制的心律失常分类算法
2.1本发明算法
当前，直接基于ECG图片对心律失常进行分类，这样做会丢失时空特征、低幅值心电信号特征等关键信息、增加不必要的图像噪声，不利于充分利用上下文信息进行特征的提取和关联。
为了能够直接利用预处理后的ECG数字信号，本发明提出了基于多头自注意力机制的心律失常分类算法(算法流程见算法2)。如图1中的多头自注意力机制的心律失常分类网结构图，其从下到上分别为:心电向量表示层、线性区间投影层、信号序列编码层、分段注意力计算层、心电信号类别判定Softmax层。线性区间投影层用于获取不同段之间的相互语义关系；信号序列编码层主要表征心电信号的序列时空特征；分段注意力计算层用于段与段之间语义特征的提取，并计算段与段之间的相似度。
算法2中，步骤1和步骤2对应心电向量表示层，将运用算法1预处理后的数字数据转化成训练向量，将处理过后的数据送到心电区间线性投影层。在步骤2中，n为心拍拆分总数量，L为心拍类别。根据原始数据集提供的R峰位置类别标记，确定心拍类别数；取R峰前100点和R峰后140点作为一个信号段并记录标记，将心电信号分割为n个心拍。采用resample函数实现对信号段进行重采样。
步骤3中，设置的参数包括输入的样本数量Batch size，心拍段维度dmodel，自注意模块的Q、K、V矩阵维度、层数Num_layers、子空间的个数Num_heads。
步骤6中，p为投影数量,通过对心电信号进行线性投影，提高心电信号的语义特征表达；
步骤7中，对信号进行分类信息嵌入。
步骤8中，信号序列编码层对心电信号段进行位置编码的嵌入以表达心电信号的时间序列特征，将序列的信息集成到矩阵运算中，使得模型具有并行性。
步骤10-13为分段注意力计算层，利用多头自注意力的方式来捕获信号全局上下文信息，建立信号之间远距离的语义关联。分段注意力计算层并行地从输入心电信号中提取到多组不同信息并进行拼接，将查询矩阵、键矩阵和值矩阵映射到多个不同的子空间中，分别得到各个子空间中的注意力，最后将各子空间的输出拼接在一起，实现了全局感受野，获得更好的全局一致性从而提取出更强有力的语义信息。
步骤14-17中，将经过多头注意力计算后的数据与原数据相加，在提取特征的同时又不损失特征，然后对其进行归一化处理。再用多层感知机对数据进行处理，是其与输入数据的维度一致，将结果与上一层的数据相加后进行归一化处理，并开始新一轮的训练。
步骤18为心电信号类别判定Softmax层，将计算后的信号数据进行类别概率计算，输出心律类别。
Figure BDA0003850708420000101
2.2获取心电信号语义特征的线性投影层设计
多头自注意力机制模型，其输入是采用词向量模型将单词转换嵌入成1维词向量，词与词之间拥有固定的维度。一段完整的心电信号，可以看成是一条含有丰富语义信息的句子序列向量。为此，需要将心电信号转换成可以计算的向量，转化成能够运用多头自注意力机制模型处理的一维时间序列心电信号。如果直接运用预处理后的信号进行分类计算，则意味着所有的心电信号段都设置了相同权重，这不利于全局特征注意力的表达。因此，我们采取的策略是将心电信号切分并重采样为等长心电信号，通过线性投影获取心电信号语义特征。
对于心电信号集合S＝{s1,s2,…si,…,sn}(si是表示一段来自同一个人的连续心电数据，n是心电信号总数量)。对任意一个si根据心电信号的R点的时间坐标，将其等长切分并对其进行傅里叶变换与重采样后，形成心拍集合
Figure BDA0003850708420000111
其中，k是si切分出的总心拍数，L是心拍类别标签集合，L＝{N，S，V，F}(非异位(N)、室上异位(S)、室性异位(V)、融合心跳(F))。
假定输入的第j个心拍
Figure BDA0003850708420000112
的长度为W(z＝1,2,…,W，vjz为心电信号值)，预期投影长度为P，则一个心拍
Figure BDA0003850708420000113
投影出的总波段数g＝W/P，等长投影所得的心拍波段序列
Figure BDA0003850708420000114
本发明设置心拍长度W＝300，P＝60,因此g＝5。
为了避免对信号序列中某个心拍段的偏向性，在信号片段前嵌入一个可学习的类别向量xclass，使信号片段有一个确定的向量标识用于后续的分类。嵌入类别向量后的心拍波段新序列
Figure BDA0003850708420000115
2.3基于位置编码的心电信号序列时空特征表征方法
心拍信号是时间序列数据，经过线性投影变成心拍段后会丢失原有的序列顺序，此时如果直接进行注意力计算，则会丢失原有的时空特征。考虑到心电信号的数据代表的不只是一维空间长度，其中的某个具体数值还代表了二维空间的电压幅值，为了利用信号原有的时空信息，在心拍段中注入绝对位置编码，即从1编码到心拍段总长度，设计了基于位置编码的心电信号序列时空特征表征方法，并将其和自学习位置编码共同作为模型位置编码，具体实现步骤为：
1)对于每个心电信号点
Figure BDA0003850708420000116
都进行以下操作：
利用原信号序列顺序和电压幅值确定
Figure BDA0003850708420000117
的笛卡尔坐标
Figure BDA0003850708420000118
Figure BDA0003850708420000119
是
Figure BDA00038507084200001110
在
Figure BDA00038507084200001111
序列中的序号值，且z∈{1,2,…,W}。其中
Figure BDA00038507084200001112
Figure BDA00038507084200001113
Figure BDA00038507084200001114
2)计算心拍段的位置顺序坐标。对于每个
Figure BDA00038507084200001115
Figure BDA00038507084200001116
其位置编码posj,m的值为m。
3)计算每一个心拍波段的心电信号平均幅值
Figure BDA00038507084200001117
4)计算整个心拍波
Figure BDA00038507084200001118
的心电信号最大幅值Vmax。
5)计算一个心拍心电信号值
Figure BDA00038507084200001119
的位置编码PEjz,计算公式为:
Figure BDA00038507084200001120
3本发明与其他方法的对比与分析
为了查看本发明的优越性，我们选择深度卷积神经网络即文献[31]、LSTM与CNN的并行组合模型即文献[32]、双心跳耦合卷积神经网络即文献[33]、卷积神经网络混合模型即文献[34]、基于重采样技术和AdaBoost的集成分类器即文献[35]和改进的卷积神经网络即文献[13]作为比较算法。
根据前文给出的数据集与实验参数设置运行算法，准确性、特异性和敏感性统计结果如表1所示。
观察表1可知：
1)本发明通过利用位置编码来表达心电图的时序特性，通过多头自注意机制关联心电信号上下文语义信息，自动提取特征并在不平衡数据集的情况下很好的区分了S类和F类的心拍。
2)在特异性指标方面，本发明算法为99.41％。明显优于使用了平衡数据集的文献[34]、[35]，并与文献[32]基本持平。从文献[32]的混淆矩阵可以看出，其特异性高的原因在于其算法对于第五类别的分类得到了较高的准确率，从而提升了总体的特异性。单从前四类的分类性能来看，本发明算法的特异性还是要高于文献[32]。
3)本发明算法的敏感性为97.36％，通过表1可以看出，本发明算法在不平衡数据集下保持着高敏感性，均高于使用不平衡数据集的比较分类算法。敏感性表示的是对于异常心电分类的识别能力，在心电分类不平衡数据集中，正常类别占据了绝大多数，其小样本的异常心电类别分类会较大程度的影响到总的敏感性，文献[34][35]均采用了平衡数据集，其分类的数量都趋于一致，能有效提高分类敏感性。因此本发明算法略低于使用了平衡数据集的分类算法。
表1 不同算法的准确性、特异性和敏感性统计结果
文献 发表时间 Acc Spe Sen 分类数量
本发明 -- 99.39 99.41 97.36 4
文献<sup>[31]</sup> 2017 94.03 91.54 96.71 5
文献<sup>[32]</sup> 2019 99.11 99.44 97.27 5
文献<sup>[33]</sup> 2018 99.10 - 96.4 5
文献<sup>[34]</sup> 2021 99.16 98.89 99.85 4
文献<sup>[35]</sup> 2018 99.10 99.40 97.9 5
文献<sup>[13]</sup> 2020 99.06 - - 4
总之，及时准确诊断心律失常类型是心血管疾病早期预防和诊断的关键。机器学习方法通常采用固定特征和经典信号处理技术确定心电图波形的形态特征。而实际情况是：心电信号在不同的环境中会表现出不同的波形，使用固定特征难以准确区分不同类型的疾病。为了降低原始心电信号数据中噪声对诊断心律失常类型的影响，提出了基于小波变换的心电信号数据预处理算法；考虑到心拍波段间的特征对心电信号识别有重要作用，因此我们设计了获取心电信号语义特征的线性投影层；为了利用ECG信息的时空信息，设计了基于位置编码的心电信号序列时空特征表征方法。最后利用多头自注意力机制捕获全局上下文信息，从而形成了基于多头自注意力机制的心律失常分类算法。随着互联网医疗的不断推进，疾病风险评估与在线疾病咨询将会变得越来越普遍，如何运用本发明构建居家环境下的心电信号自动监测***是值得深入研究的方向。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于自注意力机制的心律失常分类方法，其特征在于：该方法包括如下步骤：
步骤一、采集心电信号并对数据进行预处理：对心电信号数据进行小波变换预处理，去除心电信号的基线漂移以及噪声；
步骤二、生成心电信号训练数据集，将心电信号训练数据集随机划分为训练集和测试集；
步骤三、构建多头自注意力机制的心律失常分类网络，其结构包括心电向量表示层、线性区间投影层、信号序列编码层、多头自注意力计算层、归一化层、心电信号输出层；设计基于多头自注意力机制的心律失常分类算法；
步骤四、训练基于多头自注意力机制的心律失常分类网络：将心电信号训练集输入到多头自注意力机制的心律失常分类网络中，使用交叉熵损失函数，设置网络学习率，利用梯度下降法训练网络，更新训练集和验证集的权重值和学习率，直至网络损失函数收敛，得到训练好的多头自注意力机制的心律失常分类网络；
步骤五、对心电信号进行分类：将心电信号测试集输入到训练好的多头自注意力机制的心律失常分类网络中，得到心电分类的结果，并通过与正确标签对比，计算多头自注意力机制的心律失常分类网络模型对心律失常分类的精确度。
2.如权利要求1所述的基于自注意力机制的心律失常分类方法，其特征在于：所述步骤一中的对心电信号数据进行小波变换预处理，包括如下步骤：
步骤1.1、设定初始小波变换等级；
步骤1.2、用小波Db6对心电信号进行小波分解；
步骤1.3、对信号si进行低通滤波并下采样得到信号cAi；对信号si进行高通滤波并下采样得到信号cDi；
步骤1.4、对分解的信号cAi、cDi进行小波重建得到处理过后的心电信号集；
步骤1.5、将处理过的心电信号进行心电段切分，并记录标记，再对信号段进行重采样成长度为300的心电信号段。
3.如权利要求2所述的基于自注意力机制的心律失常分类方法，其特征在于：所述步骤1.1中的设定初始小波变换等级level＝9。
4.如权利要求2所述的基于自注意力机制的心律失常分类方法，其特征在于：所述步骤1.5中将处理过的心电信号进行心电段切分，取R峰前100点和R峰后140点作为一个信号段并记录标记。
5.如权利要求1所述的基于自注意力机制的心律失常分类方法，其特征在于：所述步骤三中的基于多头自注意力机制的心律失常分类算法，包括如下步骤：
步骤3.1、心电向量表示层将进行预处理过后的心电数据段转化成模型的训练向量；
步骤3.2、线性区间投影层通过对心电信号进行线性投影，投影成多个心拍波段以提高心电信号的语义特征表达；
步骤3.3、信号序列编码层中，其位置编码器的位置编码PEjz计算公式为：
Figure FDA0003850708410000021
其中，z＝1,2,…,W，W为心电信号点的数量，posj,m为第j个心拍波段的第m个序列的心电信号的位置坐标，
Figure FDA0003850708410000022
为心电信号的x坐标值，
Figure FDA0003850708410000023
为第j个心拍波段的心电信号的平均幅值，Vmax为心电信号的最大幅值；
步骤3.4、多头自注意力计算层：多头自注意力使用多个缩放点积注意力模块从而进行心电信号段之间的并行计算，多头自注意力机制能够从不同空间中学习到更多的语义信息；
步骤3.5、归一化层：对计算过后的心电信号进行归一化处理，从而减少训练时间；
步骤3.6、全连接心电信号输出层：对计算过后的心电信号进行类别概率计算，全连接层中的神经元个数等于分类的心电信号类别总数。
6.如权利要求5所述的基于自注意力机制的心律失常分类方法，其特征在于：所述步骤3.1中的心电向量表示层将进行预处理过后的心电数据段转化成模型的训练向量其长度为300。
7.如权利要求5所述的基于自注意力机制的心律失常分类方法，其特征在于：所述步骤3.4中的多头自注意力使用多个缩放点积注意力模块从而进行心电信号段之间的并行计算，其中输入自注意模块由Q∈Rn、
Figure FDA0003850708410000031
Figure FDA0003850708410000032
三个矩阵组成，其中R为实数，缩放点积注意力模块部分有n层，其注意力计算如下式所示：
Figure FDA0003850708410000033
Figure FDA0003850708410000034
其中Q∈Rn、
Figure FDA0003850708410000035
为输入矩阵，dk,dv为输入的相应数据的维度，因为多头注意力采用的自注意力机制，所以输入的Q,K,V三个矩阵的维度相同；在多头注意力模型中，当其中一个缩放点积注意力模块在运算的时候，如式(1)所示，先将Q,K,V向量进行线性变换；然后对输入的第i个心电信号段qi进行自注意力计算，把qi和每个键值权重矩阵
Figure FDA0003850708410000036
做点积计算相似性并取得权重，再通过除以
Figure FDA0003850708410000037
进行放缩，避免Softmax函数落在梯度非常小的地方，利用Softmax函数对权重进行归一化处理，最后将权重和相应的键值进行加权求和得到一个块的注意力值，经过n次注意力计算后得到一个head的注意力值；缩放点积注意力总公式如(2)所示，经过多次缩放注意力计算后，得到n个head，将每一次的head进行拼接，经过线性变换得到最后与输入相同维度的结果，计算公式如下：
headi＝attention(QWi Q,KWi K,VWi V) (3)
MultiHead(Q,K,V)＝Concat(head1,…,headN)Wo (4)
其中
Figure FDA0003850708410000038
为线性映射的参数矩阵，dmodel为模型所设置的数据输入维度，
Figure FDA0003850708410000039
为线性变换的权重，Concat为向量拼接操作；MultiHead(Q,K,V)为最后计算的结果；通过多次Attention的计算，多头自注意力机制能够从不同空间中学习到更多的语义信息。
8.如权利要求1至7中任一项所述的基于自注意力机制的心律失常分类方法，其特征在于：所述步骤二中的将心电信号训练数据集按照比例进行7：3随机划分为训练集和测试集。
9.如权利要求1至7中任一项所述的基于自注意力机制的心律失常分类方法，其特征在于：所述步骤四中的设置网络学习率为0.0001。
CN202211133248.6A 2022-09-17 2022-09-17 基于自注意力机制的心律失常分类方法 Pending CN115530788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211133248.6A CN115530788A (zh) 2022-09-17 2022-09-17 基于自注意力机制的心律失常分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211133248.6A CN115530788A (zh) 2022-09-17 2022-09-17 基于自注意力机制的心律失常分类方法

Publications (1)

Publication Number Publication Date
CN115530788A true CN115530788A (zh) 2022-12-30

Family

ID=84728592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211133248.6A Pending CN115530788A (zh) 2022-09-17 2022-09-17 基于自注意力机制的心律失常分类方法

Country Status (1)

Country Link
CN (1) CN115530788A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503673A (zh) * 2023-06-26 2023-07-28 亿慧云智能科技（深圳）股份有限公司 一种基于心电图的心律失常识别检测方法及***
CN116584951A (zh) * 2023-04-23 2023-08-15 山东省人工智能研究院 一种基于弱监督学习的心电信号检测和定位方法
CN117932312A (zh) * 2024-03-22 2024-04-26 山东大学 基于时空注意力网络和对比损失的无线电定位识别***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116584951A (zh) * 2023-04-23 2023-08-15 山东省人工智能研究院 一种基于弱监督学习的心电信号检测和定位方法
CN116584951B (zh) * 2023-04-23 2023-12-12 山东省人工智能研究院 一种基于弱监督学习的心电信号检测和定位方法
CN116503673A (zh) * 2023-06-26 2023-07-28 亿慧云智能科技（深圳）股份有限公司 一种基于心电图的心律失常识别检测方法及***
CN116503673B (zh) * 2023-06-26 2023-09-19 亿慧云智能科技（深圳）股份有限公司 一种基于心电图的心律失常识别检测方法及***
CN117932312A (zh) * 2024-03-22 2024-04-26 山东大学 基于时空注意力网络和对比损失的无线电定位识别***
CN117932312B (zh) * 2024-03-22 2024-06-04 山东大学 基于时空注意力网络和对比损失的无线电定位识别***

Similar Documents

Publication Publication Date Title
Jun et al. ECG arrhythmia classification using a 2-D convolutional neural network
Wang et al. ECG arrhythmias detection using auxiliary classifier generative adversarial network and residual network
Wang et al. Arrhythmia classification algorithm based on multi-head self-attention mechanism
CN111449645B (zh) 心电图心拍智能分类识别方法
CN108596142B (zh) 一种基于PCANet的心电特征提取方法
CN115530788A (zh) 基于自注意力机制的心律失常分类方法
CN106805965A (zh) 一种心电信号分类方法及装置
CN112906748A (zh) 基于残差网络的12导联ecg心律失常检测分类模型构建方法
CN115470828A (zh) 基于卷积与自注意力机制的多导联心电图分类识别方法
CN112603330B (zh) 心电信号识别分类方法
US20230225663A1 (en) Method for predicting multi-type electrocardiogram heart rhythms based on graph convolution
CN115281688A (zh) 一种基于多模态深度学习的心脏肥大多标签检测***
CN113080996A (zh) 一种基于目标检测的心电图分析方法及装置
CN116109589A (zh) 一种应用于充血性心力衰竭诊断的图像处理方法
Nankani et al. Atrial fibrillation classification and prediction explanation using transformer neural network
CN113069124A (zh) 一种基于cnn-et模型的心电监测方法
CN112560784B (zh) 一种基于动态多尺度卷积神经网络的心电图分类方法
CN114569116A (zh) 基于三通道图像及迁移学习的心冲击图室颤辅助诊断***
CN114366116A (zh) 一种基于Mask R-CNN网络及心电图的参数获取方法
Tun et al. Cardiac Diagnosis Classification Using Deep Learning Pipeline on Apache Spark
Sangeetha et al. A CNN based similarity learning for cardiac arrhythmia prediction
Shafaatfar et al. Improving the Efficiency of Automatic Cardiac Arrhythmias Classification by a Novel Patient-Specific Feature Space Mapping
Wen et al. ECG beat classification using GreyART network
Chashmi et al. An automatic ECG arrhythmia diagnosis system using support vector machines optimised with GOA and entropy-based feature selection procedure
Sushma et al. AI Medical Diagnosis Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination