CN115358270A - 一种基于多任务mtef-net的心电分类方法 - Google Patents
一种基于多任务mtef-net的心电分类方法 Download PDFInfo
- Publication number
- CN115358270A CN115358270A CN202210996094.7A CN202210996094A CN115358270A CN 115358270 A CN115358270 A CN 115358270A CN 202210996094 A CN202210996094 A CN 202210996094A CN 115358270 A CN115358270 A CN 115358270A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- feature map
- characteristic diagram
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Signal Processing (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Cardiology (AREA)
- Image Analysis (AREA)
Abstract
一种基于多任务MTEF‑NET的心电分类方法,通过设置两个任务来构建多任务神经网络,利用多任务的联合学***衡数据样本差异的能力,能够解决数据不平衡问题。建立的MTEF‑NET网络模型具有复杂网络的量化调整能力,通过对网络深度,宽度和输入图片分辨率的综合调整,使神经网络只需要较少的网络参数,减轻了模型性的复杂度,同时也能够提高分类的准确率。通过构建CBAM‑MBCov模块,能够解决心电信号转换成二维图像之后所丢失的通道和空间特征消失的问题。
Description
技术领域
本发明涉及,具体涉及一种基于多任务MTEF-NET的心电分类方法。
背景技术
电信号是记录心脏活动的一种重要电信号,记录了心脏波形的变化,能够直观地反映心跳的变化,具有一定的规律性。心电图由一系列的心电信号组成,能够反映不同心跳的生理活动,每一个波段的心跳都具有不同的意义,因此对心电信号正确分类显得极其重要。
随着深度学***衡问题,单任务网络模型往往会对其中一种信号拟合程度过高,从而发生过拟合现象。而且传统的神经网络在提高模型性能时,只是单一的改变网络的深度和宽度或者输入的分辨率,这样很容易使得模型达到饱和程度,难以发挥模型的优势。此外,传统的神经网络再将一维心电信号转换成二维图像后,往往忽略了心电信号的通道和空间特征。
发明内容
本发明为了克服以上技术的不足,提供了一种构建一个全新的CBAM-MBConv模块来搭建MTEF-NET网络模型进行心电分类,提高分类的准确率的方法。
本发明克服其技术问题所采用的技术方案是:
一种基于多任务MTEF-NET的心电分类方法,包括:
a)从MIT-BIH心率失常数据库中获取原始心电信号X={x1,x2,....,xi,...,xn},其中xi为第i条原始心电信号,i∈{1,...,n},n为原始心电信号的总数。
b)对原始心电信号X进行预处理,去除原始心电信号X中的噪音,得到干净的心电信号U={u1,u2,....,ui,...,un},其中ui为第i条原始心电信号,i∈{1,...,n}。
c)利用连续小波变换将干净的心电信号U转换为二维图像数据集Y={y1,y2,....,yi,...,yn},其中yi为第i个二维图像,i∈{1,...,n},二维图像yi的高为H、宽为W、通道数为C,其维度为H*W*C。
d)将二维图像数据集Y按50%与50%的等比例划分,第一个划分后的数据集为用于检测心电信号是否正常的数据集其中为第i个二维图像,第二个划分后的数据集中将小波变换后的图像进行镜像或倒置处理,得到用于判断该心电信号具体类型的数据集其中为第j个二维图像,
e)建立MTEF-NET网络模型,该MTEF-NET网络模型依次由卷积层、CBAM-MBConv1模块、第一CBAM-MBConv6模块、第二CBAM-MBConv6模块、第三CBAM-MBConv6模块、第四CBAM-MBConv6模块、第五CBAM-MBConv6模块、第六CBAM-MBConv6模块、第七CBAM-MBConv6模块、第八CBAM-MBConv6模块、第九CBAM-MBConv6模块、第十CBAM-MBConv6模块、第十一CBAM-MBConv6模块、第十二CBAM-MBConv6模块、第十三CBAM-MBConv6模块、十四一CBAM-MBConv6模块及第十五CBAM-MBConv6模块及全局池化层构成。
h)将特征图集输入到MTEF-NET网络模型的全局池化层中,输出得到心电信号分类结果其中yai为第i个结果,将特征图集输入到MTEF-NET网络模型的全局池化层中,输出得到心电信号分类结果其中ybj为第j个结果,
进一步的,步骤b)中使用两个中值滤波器去除原始心电信号X={x1,x2,....,xi,...,xn}中的噪音,得到干净的心电信号U={u1,u2,....,ui,...,un},其中第一个中值滤波器的宽度为300ms,第二个中值滤波器的宽度为600ms。
进一步的,步骤f)包括如下步骤:
f-2)CBAM-MBConv1模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为1的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-3)第一CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-4)第二CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-5)第三CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-6)第四CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-7)第五CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-8)第六CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-9)第七CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-10)第八CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-11)第九CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-12)第十CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-13)第十一CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-14)第十二CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-15)第十三CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-16)第十四CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-17)第十五CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图进一步的,步骤g)包括如下步骤:
g-2)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-3)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-4)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-5)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-6)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-7)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图yj,29,将空间注意力特征图yj,29输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-8)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-9)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-10)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-11)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-12)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-13)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-14)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-15)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-16)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-17)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图进一步的,步骤h)中通过公式
进一步的,还包括在步骤h)后执行如下步骤:
i)通过公式
j)利用损失函数L通过优化函数Adam更新步骤e)中MTEF-NET网络模型的参数,经过100次训练,保存训练模型和参数。
本发明的有益效果是:通过设置两个任务来构建多任务神经网络,利用多任务的联合学***衡数据样本差异的能力,能够解决数据不平衡问题。建立的MTEF-NET网络模型具有复杂网络的量化调整能力,通过对网络深度,宽度和输入图片分辨率的综合调整,使神经网络只需要较少的网络参数,减轻了模型性的复杂度,同时也能够提高分类的准确率。通过构建CBAM-MBCov模块,能够解决心电信号转换成二维图像之后所丢失的通道和空间特征消失的问题。
附图说明
图1为本发明的MTEF-NET网络结构图;
图2为本发明的方法流程图;
图3为本发明的CBAM-MBConv模块的结构图。
具体实施方式
下面结合附图1、附图2、附图3对本发明做进一步说明。
一种基于多任务MTEF-NET的心电分类方法,包括:
a)从MIT-BIH心率失常数据库中获取原始心电信号X={x1,x2,....,xi,...,xn},其中xi为第i条原始心电信号,i∈{1,...,n},n为原始心电信号的总数。
b)对原始心电信号X进行预处理,ECG信号通常会受到各种噪声的干扰,如基线漂移、肌电图干扰和电力线干扰,这使得很难从原始ECG信号中提取有用的信息。因此,在进行分类任务之前需要降噪处理,因此去除原始心电信号X中的噪音,得到干净的心电信号U={u1,u2,....,ui,...,un},其中ui为第i条原始心电信号,i∈{1,...,n}。
c)利用连续小波变换将干净的心电信号U转换为二维图像数据集Y={y1,y2,....,yi,...,yn},以便于特征提取,其中yi为第i个二维图像,i∈{1,...,n},二维图像yi的高为H、宽为W、通道数为C,其维度为H*W*C。
d)重新构建数据集,将单任务数据集构建成多任务数据集,具体的将二维图像数据集Y按50%与50%的等比例划分,第一个划分后的数据集为用于检测心电信号是否正常的数据集其中为第i个二维图像,第二个划分后的数据集中将小波变换后的图像进行镜像或倒置处理,得到用于判断该心电信号具体类型的数据集其中为第j个二维图像,其中任务一(粗粒度分支)的数据集Y1用于检测心电信号是否正常。任务二(细粒度分支)的数据集Y2用于判断该心电信号具体类型。任务一的数据集Y1是小波变换的图像数据集无需任何变动,任务二的数据集Y2将小波变换后的图像进行镜像或者倒置处理。这两个分类任务共用同一个神经网络(MTEF-NET网络模型)进行特征提取,最后在全局平均池化层进行输出各自任务的类别种类。
e)建立MTEF-NET网络模型,该MTEF-NET网络模型依次由卷积层、CBAM-MBConv1模块、第一CBAM-MBConv6模块、第二CBAM-MBConv6模块、第三CBAM-MBConv6模块、第四CBAM-MBConv6模块、第五CBAM-MBConv6模块、第六CBAM-MBConv6模块、第七CBAM-MBConv6模块、第八CBAM-MBConv6模块、第九CBAM-MBConv6模块、第十CBAM-MBConv6模块、第十一CBAM-MBConv6模块、第十二CBAM-MBConv6模块、第十三CBAM-MBConv6模块、十四一CBAM-MBConv6模块及第十五CBAM-MBConv6模块及全局池化层构成。
h)将特征图集输入到MTEF-NET网络模型的全局池化层中,输出得到心电信号分类结果其中yai为第i个结果,将特征图集输入到MTEF-NET网络模型的全局池化层中,输出得到心电信号分类结果其中ybj为第j个结果,
通过设置两个任务来构建多任务神经网络,利用多任务的联合学***衡数据样本差异的能力,能够解决数据不平衡问题。建立的MTEF-NET网络模型具有复杂网络的量化调整能力,通过对网络深度,宽度和输入图片分辨率的综合调整,使神经网络只需要较少的网络参数,减轻了模型性的复杂度,同时也能够提高分类的准确率。通过构建CBAM-MBCov模块,能够解决心电信号转换成二维图像之后所丢失的通道和空间特征消失的问题。
实施例1:
步骤b)中使用两个中值滤波器去除原始心电信号X={x1,x2,....,xi,...,xn}中的噪音,得到干净的心电信号U={u1,u2,....,ui,...,un},其中第一个中值滤波器的宽度为300ms,第二个中值滤波器的宽度为600ms。
实施例2:
实施例3:
步骤f)包括如下步骤:
f-2)CBAM-MBConv1模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为1的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-3)第一CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-4)第二CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-5)第三CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-6)第四CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-7)第五CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-8)第六CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-9)第七CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-10)第八CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-11)第九CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-12)第十CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-13)第十一CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-14)第十二CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-15)第十三CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-16)第十四CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-17)第十五CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
实施例4:
步骤g)包括如下步骤:
g-2)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层后利用通道注意力提取通道特征输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-3)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-4)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-5)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-6)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-7)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图yj,29,将空间注意力特征图yj,29输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-8)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-9)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-10)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-11)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-12)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-13)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-14)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-15)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-16)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-17)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图第一卷积层进行升维操作,第二卷积层进行通道扩张,将特征图依次输入到第一全局最大池化层和第一全局平均池化层利用通道注意力提取通道特征后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中进行降维,输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
实施例5:
我们将利用CBAM-MBConv模块进行特征提取的最终特征图Y81由任务一的特征图和任务二的特征图组成,输入到全局池化层进行最后的输出,将全局池化层修改成两个输出分支,其中粗粒度分支用Ya表示,细粒度分支用Yb表示,具体的步骤h)中通过公式:计算第i个结果yai,式中Hai为第i个结果yai的高,Wai为第i个结果yai的宽、Cai为第i个结果yai的通道数,通过公式
实施例6:
模型是通过损失函数进行优化的,由于本发明是由两个任务组成,一个粗粒度分支,一个细粒度分支,因此我们并不能仅仅只是使用单任务的损失函数进行优化,需要对损失函数进行改进使其更适合多任务神经网络。因此,还包括在步骤h)后执行如下步骤:
i)通过公式
j)利用损失函数L通过优化函数Adam更新步骤e)中MTEF-NET网络模型的参数,经过100次训练,保存训练模型和参数。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于多任务MTEF-NET的心电分类方法,其特征在于,包括:
a)从MIT-BIH心率失常数据库中获取原始心电信号X={x1,x2,....,xi,...,xn},其中xi为第i条原始心电信号,i∈{1,...,n},n为原始心电信号的总数;
b)对原始心电信号X进行预处理,去除原始心电信号X中的噪音,得到干净的心电信号U={u1,u2,....,ui,...,un},其中ui为第i条原始心电信号,i∈{1,...,n};
c)利用连续小波变换将干净的心电信号U转换为二维图像数据集Y={y1,y2,....,yi,...,yn},其中yi为第i个二维图像,i∈{1,...,n},二维图像yi的高为H、宽为W、通道数为C,其维度为H*W*C;
d)将二维图像数据集Y按50%与50%的等比例划分,第一个划分后的数据集为用于检测心电信号是否正常的数据集其中为第i个二维图像,第二个划分后的数据集中将小波变换后的图像进行镜像或倒置处理,得到用于判断该心电信号具体类型的数据集其中为第j个二维图像,
e)建立MTEF-NET网络模型,该MTEF-NET网络模型依次由卷积层、CBAM-MBConv1模块、第一CBAM-MBConv6模块、第二CBAM-MBConv6模块、第三CBAM-MBConv6模块、第四CBAM-MBConv6模块、第五CBAM-MBConv6模块、第六CBAM-MBConv6模块、第七CBAM-MBConv6模块、第八CBAM-MBConv6模块、第九CBAM-MBConv6模块、第十CBAM-MBConv6模块、第十一CBAM-MBConv6模块、第十二CBAM-MBConv6模块、第十三CBAM-MBConv6模块、十四一CBAM-MBConv6模块及第十五CBAM-MBConv6模块及全局池化层构成;
2.根据权利要求1所述的基于多任务MTEF-NET的心电分类方法,其特征在于:步骤b)中使用两个中值滤波器去除原始心电信号X={x1,x2,....,xi,...,xn}中的噪音,得到干净的心电信号U={u1,u2,....,ui,...,un},其中第一个中值滤波器的宽度为300ms,第二个中值滤波器的宽度为600ms。
4.根据权利要求1所述的基于多任务MTEF-NET的心电分类方法,其特征在于,步骤f)包括如下步骤:
f-2)CBAM-MBConv1模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为1的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-3)第一CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-4)第二CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-5)第三CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-6)第四CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-7)第五CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-8)第六CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-9)第七CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-10)第八CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-11)第九CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到位密度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-12)第十CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-13)第十一CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-14)第十二CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-15)第十三CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-16)第十四CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为5*5且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
f-17)第十五CBAM-MBConv6模块依次由卷积核大小为1*1的第一卷积层、卷积核大小为3*3且扩张比例为6的第二卷积层、第一全局最大池化层、第一全局平均池化层、第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层、sigmoid激活函数层、卷积核大小为1*1的第四卷积层构成,将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
5.根据权利要求4所述的基于多任务MTEF-NET的心电分类方法,其特征在于,步骤g)包括如下步骤:
g-2)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-3)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-4)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-5)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-6)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-7)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图yj,29,将空间注意力特征图yj,29输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-8)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-9)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-10)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-11)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-12)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-13)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-14)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-15)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
g-16)将特征图依次输入到第一卷积层和第二卷积层后输出得到维度为的特征图将特征图依次输入到第一全局最大池化层和第一全局平均池化层后输出得到维度为的特征图将特征图依次输入到第二全局最大池化层、第二全局平均池化层、卷积核大小为7*7的第三卷积层及sigmoid激活函数层后输出得到维度为的空间注意力特征图将空间注意力特征图输入到第四卷积层中输出得到维度为的特征图将特征图与特征图逐元素相加得到维度为的特征图
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210996094.7A CN115358270B (zh) | 2022-08-19 | 2022-08-19 | 一种基于多任务mtef-net的心电分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210996094.7A CN115358270B (zh) | 2022-08-19 | 2022-08-19 | 一种基于多任务mtef-net的心电分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115358270A true CN115358270A (zh) | 2022-11-18 |
CN115358270B CN115358270B (zh) | 2023-06-20 |
Family
ID=84002094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210996094.7A Active CN115358270B (zh) | 2022-08-19 | 2022-08-19 | 一种基于多任务mtef-net的心电分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115358270B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110638430A (zh) * | 2019-10-23 | 2020-01-03 | 苏州大学 | 多任务级联神经网络ecg信号心律失常疾病分类模型和方法 |
CN112674780A (zh) * | 2020-12-23 | 2021-04-20 | 山东省人工智能研究院 | 一种心电图异常信号中的房颤信号自动检测方法 |
WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
CN114781445A (zh) * | 2022-04-11 | 2022-07-22 | 山东省人工智能研究院 | 一种基于可解释性的深度神经网络的心电信号降噪方法 |
-
2022
- 2022-08-19 CN CN202210996094.7A patent/CN115358270B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110638430A (zh) * | 2019-10-23 | 2020-01-03 | 苏州大学 | 多任务级联神经网络ecg信号心律失常疾病分类模型和方法 |
WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
CN112674780A (zh) * | 2020-12-23 | 2021-04-20 | 山东省人工智能研究院 | 一种心电图异常信号中的房颤信号自动检测方法 |
CN114781445A (zh) * | 2022-04-11 | 2022-07-22 | 山东省人工智能研究院 | 一种基于可解释性的深度神经网络的心电信号降噪方法 |
Non-Patent Citations (3)
Title |
---|
MURAT CANAYAZ: "C + EffxNet: A novel hybrid approach for COVID-19 diagnosis on CT images based on CBAM and EfficientNet", 《ELSEVIER》, pages 1 - 10 * |
XIAOYUN XIE ET AL: "A multi-stage denoising framework for ambulatory ECG signal based on domain knowledge and motion artifact detection", 《ELSEVIER》, pages 103 - 116 * |
ZHENZHEN MAO ET AL: "Multi-views reinforced LSTM for video-based action recognition", 《JOURNAL OF ELECTRONIC IMAGING》, vol. 30, no. 5, pages 053021 - 1 * |
Also Published As
Publication number | Publication date |
---|---|
CN115358270B (zh) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110236543B (zh) | 基于深度学习的阿尔茨海默病多分类诊断*** | |
Milligan | A study of the beta-flexible clustering method | |
CN113888412B (zh) | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 | |
CN114648048B (zh) | 基于变分自编码和PixelCNN模型的心电信号降噪方法 | |
CN115689008A (zh) | 基于集合经验模态分解的CNN-BiLSTM短期光伏功率预测方法及其*** | |
CN115239674B (zh) | 基于多尺度判别的计算机血管造影成像合成方法 | |
CN112634214A (zh) | 一种结合节点属性与多层次拓扑的脑网络分类方法 | |
CN115759186A (zh) | 一种基于卷积神经网络的六类运动想象脑电信号分类方法 | |
CN110327034B (zh) | 一种基于深度特征融合网络的心动过速心电图的筛查方法 | |
CN115130509A (zh) | 基于条件式变分自编码器的心电信号生成方法 | |
CN115358270A (zh) | 一种基于多任务mtef-net的心电分类方法 | |
CN106991651A (zh) | 基于合成分析反卷积网络的快速成像方法及*** | |
CN116597167B (zh) | 一种永磁同步电机小样本退磁故障诊断方法、存储介质及*** | |
Kwasigroch et al. | Deep neural network architecture search using network morphism | |
Unnikrishnan et al. | Semi-supervised and unsupervised methods for heart sounds classification in restricted data environments | |
CN116013501A (zh) | 一种基于数据扩充的多模态心律失常分类辅助诊断*** | |
CN114549962B (zh) | 一种园林植物叶病分类方法 | |
CN115363594A (zh) | 一种基于循环神经网络的实时心脏疾病筛查方法 | |
CN112132790B (zh) | Dac-gan模型构建方法及在乳腺mr图像中的应用 | |
Xiaoai et al. | An overview of disease prediction based on graph convolutional neural network | |
CN114757911A (zh) | 基于图神经网络和对比学习的磁共振影像辅助处理*** | |
CN113963349A (zh) | 一种提取个体空时特征矢量与被试细分类的方法 | |
CN113936173A (zh) | 一种最大化互信息的图像分类方法、设备、介质及*** | |
CN112183848A (zh) | 基于dwt-svqr集成的电力负荷概率预测方法 | |
CN112085718B (zh) | 一种基于孪生注意力网络的nafld超声视频诊断*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |