CN114764575B - 基于深度学习和时序注意力机制的多模态数据分类方法 - Google Patents
基于深度学习和时序注意力机制的多模态数据分类方法 Download PDFInfo
- Publication number
- CN114764575B CN114764575B CN202210376944.3A CN202210376944A CN114764575B CN 114764575 B CN114764575 B CN 114764575B CN 202210376944 A CN202210376944 A CN 202210376944A CN 114764575 B CN114764575 B CN 114764575B
- Authority
- CN
- China
- Prior art keywords
- signal
- layer
- convolution
- characteristic signal
- inputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种基于深度学习和时序注意力机制的多模态数据分类方法,先利用PC‑TBG‑ECG和PC‑TBG‑PCG模型分别实现了心电信号和心音信号的特征提取,然后采用XGBoost集成分类算法对提取出来的特征进行特征选择并分类。在增加运算效率的同时,加入了正则化,有效防止过拟合。本发明适合不同模态数据的分类检测,可从多种角度对信号进行分析,进而提高分类的准确率。
Description
技术领域
本发明涉及多模态数据分类领域,具体涉及一种基于深度学习和时序注意力机制的多模态数据分类方法。
背景技术
心电图(ECG)和心音图(PCG)作为无创且高成本效益的信号采集工具,可以根据二者之间的互补性,从多种角度挖掘并分析两种信号的潜在特征,从而提高分类效果。在以往的研究中,相关研究人员主要采用单一模态数据或单一分类器来进行信号的分类研究,但采用这种方法的分类研究无法从全面性角度对信号进行分类,所以本研究提出的一种融合多模态数据的分类方法是极符合现实需求的。
发明内容
本发明为了克服以上技术的不足,提供了一种适合不同模态数据的分类检测,可从多种角度对信号进行分析,进而提高分类的准确率的方法。
本发明克服其技术问题所采用的技术方案是:
一种基于深度学习和时序注意力机制的多模态数据分类方法,包括如下步骤:
a)选择PhysioNet/CinC Challenge 2016中的training-a作为数据集,对数据集进行扩充,将扩充后的数据集划分为训练集和测试集;
b)建立心电信号模型,该心电信号模型依次由PC模块、TBG模块、分类模块构成;
c)将训练集和测试集中的心电信号重采样到2048个采样点后进行z-score归一化处理,得到归一化后的心电信号x′ecg;
d)将训练集中归一化后的心电信号x′ecg输入到心电信号模型的PC模块,输出得到特征信号X1,PC模块依次由四个卷积分支和一个1×1的卷积块构成;
e)将特征信号X1输入到心电信号模型的TBG模块,输出得到特征信号X2,TBG模块由3个卷积编码模块和一个带有TPA机制的双向GRU层构成;
f)将特征信号X2输入到心电信号模型的分类模块中,输出得到预测类别fecg,分类模块依次由全连接层和Softmax激活层构成;
g)重复步骤d)至步骤f)N次,使用SGD优化器,通过最小化交叉熵损失函数得到训练后的最优的心电信号模型;
h)建立心音信号模型,该心音信号模型依次由PC模块、TBG模块、分类模块构成;
i)将训练集和测试集中的心音信号重采样到8000个采样点后进行z-score归一化处理,得到归一化后的心音信号x′pcg;
j)将训练集中归一化后的心音信号x′pcg输入到心音信号模型的PC模块,输出得到特征信号Y1,PC模块依次由四个卷积分支和一个1×1的卷积块构成;
k)将特征信号Y1输入到心音信号模型的TBG模块,输出得到特征信号Y2,TBG模块由4个卷积编码模块和一个带有TPA机制的双向GRU层构成;
l)将特征信号Y2输入到心音信号模型的分类模块中,输出得到预测类别fpcg,分类模块依次由全连接层和Softmax激活层构成;
m)重复步骤j)至步骤l)M次,使用SGD优化器,通过最小化交叉熵损失函数得到训练后的最优的心音信号模型;
n)将数据集重新按4:1的比例手动划分成新的训练集和新的测试集,将新的训练集输入到最优的心电信号模型中,通过最优的心电信号模型的TBG模块输出得到64维的特征信号X3,将新的训练集输入到最优的心音信号模型中,通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y3,通过公式PPx=[X3,Y3]计算得到拼接的128维的特征融合信号PPx;
o)将特征融合信号PPx输入到XGBoost分类器中,得到特征融合信号PPx的重要性分数排名,选择重要性分数排名前64的信号作为特征信号PP1 x,采用5折交叉验证选择最优超参数,利用最优超参数训练XGBoost分类器,得到优化后的XGBoost分类器;
p)将新的测试集输入到最优的心电信号模型中,通过最优的心电信号模型的TBG模块输出得到64维的特征信号X4,将新的测试集输入到最优的心音信号模型中,通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y4,通过公式PPc=[X4,Y4]计算得到拼接的128维的特征融合信号PPc;
q)特征融合信号PPc输入到XGBoost分类器中,得到特征融合信号PPc的重要性分数排名,选择重要性分数排名前64的信号作为特征信号PP1 c。
优选的,步骤a)中使用滑动窗口分割的方法对数据集进行扩充,使用五折交叉验证的方法对数据集进行5次不同的训练集和测试集的划分。
进一步的,步骤d)包括如下步骤:
d-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第一个卷积分支中,输出得到32维的特征信号E1;
d-2)第二个卷积分支依次由通道数为32、卷积核大小为1×13、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第二个卷积分支中,输出得到32维的特征信号E2;
d-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第三个卷积分支中,输出得到32维的特征信号E3;
d-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第四个卷积分支中,输出得到32维的特征信号E4;
d-5)将特征信号E1、特征信号E2、特征信号E3、特征信号E4进行特征级联,得到级联后的128维特征信号E=[E1,E2,E3,E4];
d-6)1×1的卷积块由通道数为16、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成,将128维特征信号E=[E1,E2,E3,E4]输入到1×1的卷积块中,输出得到16维的特征信号X1。
进一步的,步骤e)包括如下步骤:
e-1)第一个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成,将特征信号X1输入到第一个卷积编码模块中,输出得到32维特征信号E5;
e-2)第二个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号E5输入到第二个卷积编码模块中,输出得到64维特征信号E6;
e-3)第三个卷积编码模块依次由通道数为128、卷积核大小为3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号E6输入到第三个卷积编码模块中,输出得到128维特征信号E7;
e-4)将特征信号E7输入到单元数为32的带有TPA机制的双向GRU层中,输出得到64维的特征信号X2,在TPA机制的双向GRU层中通过公式计算得到特征信号X2,式中i={1,2,...,n},n=128,T为转置,τi为第i个行向量的注意力权重,σ(·)为sigmoid函数,为时间模式矩阵GC的第i行,GC=Conv1d(G),Conv1d(·)为一维卷积运算,G为隐状态矩阵,gi为第i个双向GRU的隐藏状态向量,i={1,2,...,t-1},t为时刻,wk为权重系数,gt为t时刻的双向GRU的隐藏状态向量。
进一步的,步骤g)中N取值为150,SGD优化器的学习率为0.001,每80个周期学习率衰减为当前的0.1,通过公式计算得到交叉熵损失函数cc(x),式中L为类别数,L=2,fi(x)为预测类别fecg的第i个类别的预测标签,为预测类别fecg所对应的第i个类别的真实类别;步骤m)中N取值为180,SGD优化器的学习率为0.001,每90个周期学习率衰减为当前的0.1,通过公式计算得到交叉熵损失函数cc(y),式中L为类别数,L=2,fi(y)为预测类别fpcg的第i个类别的预测标签,为预测类别fpcg的第i个类别的真实类别。
进一步的,步骤j)包括如下步骤:
j-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第一个卷积分支中,输出得到32维的特征信号P1;
j-2)第二个卷积分支依次由通道数为32、卷积核大小为1×11、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第二个卷积分支中,输出得到32维的特征信号P2;
j-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第三个卷积分支中,输出得到32维的特征信号P3;
j-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第四个卷积分支中,输出得到32维的特征信号P4;
j-5)将特征信号P1、特征信号P2、特征信号P3、特征信号P4进行特征级联,得到级联后的128维特征信号P=[P1,P2,P3,P4];
j-6)1×1的卷积块由通道数为32、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成,将128维特征信号P=[P1,P2,P3,P4]输入到1×1的卷积块中,输出得到32维的特征信号Y1。
进一步的,步骤k)包括如下步骤:
k-1)第一个卷积编码模块依次由通道数为16、卷积核大小为1×1的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成,将特征信号Y1输入到第一个卷积编码模块中,输出得到16维特征信号P5;
k-2)第二个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号P5输入到第二个卷积编码模块中,输出得到32维特征信号P6;
k-3)第三个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号P6输入到第三个卷积编码模块中,输出得到64维特征信号P7;
k-4)第四个卷积编码模块依次由通道数为128、卷积核大小为1×3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号P7输入到第四个卷积编码模块中,输出得到128维特征信号P8;
本发明的有益效果是:先利用PC-TBG-ECG和PC-TBG-PCG模型分别实现了心电信号和心音信号的特征提取,然后采用XGBoost集成分类算法对提取出来的特征进行特征选择并分类。在增加运算效率的同时,加入了正则化,有效防止过拟合。本发明适合不同模态数据的分类检测,可从多种角度对信号进行分析,进而提高分类的准确率。
附图说明
图1为本发明的方法流程图;
图2为本发明的PC模块的网络结构图。
具体实施方式
下面结合附图1、附图2对本发明做进一步说明。
一种基于深度学习和时序注意力机制的多模态数据分类方法,包括如下步骤:
a)选择PhysioNet/CinC Challenge 2016中的training-a作为数据集,对数据集进行扩充,将扩充后的数据集划分为训练集和测试集。
b)建立心电信号模型(PC-TBG-ECG),该心电信号模型依次由PC模块、TBG模块、分类模块构成。
c)将训练集和测试集中的心电信号重采样到2048个采样点后进行z-score归一化处理,得到归一化后的心电信号x′ecg。
d)将训练集中归一化后的心电信号x′ecg输入到心电信号模型的PC模块,输出得到特征信号X1,PC模块依次由四个卷积分支和一个1×1的卷积块构成。
e)将特征信号X1输入到心电信号模型的TBG模块,输出得到特征信号X2,TBG模块由3个卷积编码模块和一个带有TPA机制的双向GRU层(TPA-Bi-GRU)构成。f)将特征信号X2输入到心电信号模型的分类模块中,输出得到预测类别fecg,分类模块依次由全连接层和Softmax激活层构成。
g)重复步骤d)至步骤f)N次,使用SGD优化器,通过最小化交叉熵损失函数得到训练后的最优的心电信号模型。
h)建立心音信号模型(PC-TBG-PCG),该心音信号模型依次由PC模块、TBG模块、分类模块构成。
i)将训练集和测试集中的心音信号重采样到8000个采样点后进行z-score归一化处理,得到归一化后的心音信号x′pcg。
j)将训练集中归一化后的心音信号x′pcg输入到心音信号模型的PC模块,输出得到特征信号Y1,PC模块依次由四个卷积分支和一个1×1的卷积块构成。
k)将特征信号Y1输入到心音信号模型的TBG模块,输出得到特征信号Y2,TBG模块由4个卷积编码模块和一个带有TPA机制的双向GRU层(TPA-Bi-GRU)构成。l)将特征信号Y2输入到心音信号模型的分类模块中,输出得到预测类别fpcg,分类模块依次由全连接层和Softmax激活层构成。
m)重复步骤j)至步骤l)M次,使用SGD优化器,通过最小化交叉熵损失函数得到训练后的最优的心音信号模型。
n)将数据集重新按4:1的比例手动划分成新的训练集和新的测试集,将新的训练集输入到最优的心电信号模型中,通过最优的心电信号模型的TBG模块输出得到64维的特征信号X3,将新的训练集输入到最优的心音信号模型中,通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y3,通过公式PPx=[X3,Y3]计算得到拼接的128维的特征融合信号PPx。
o)将特征融合信号PPx输入到XGBoost分类器中,得到特征融合信号PPx的重要性分数排名,选择重要性分数排名前64的信号作为特征信号PP1 x,采用5折交叉验证选择最优超参数,利用最优超参数训练XGBoost分类器,得到优化后的XGBoost分类器。
p)将新的测试集输入到最优的心电信号模型中,通过最优的心电信号模型的TBG模块输出得到64维的特征信号X4,将新的测试集输入到最优的心音信号模型中,通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y4,通过公式PPc=[X4,Y4]计算得到拼接的128维的特征融合信号PPc。
q)特征融合信号PPc输入到XGBoost分类器中,得到特征融合信号PPc的重要性分数排名,选择重要性分数排名前64的信号作为特征信号PP1 c。
无需对信号进行降噪、滤波等处理,避免了以往因对信号预处理不合理所导致的分类准确率低或实用性不强等问题,保证了模型的鲁棒性。首先利用PC-TBG-ECG和PC-TBG-PCG模型分别实现了心电信号和心音信号的特征提取,然后采用XGBoost集成分类算法对提取出来的特征进行特征选择并分类。在增加运算效率的同时,加入了正则化,有效防止过拟合。本发明适合不同模态数据的分类检测,可从多种角度对信号进行分析,进而提高分类的准确率。
实施例1:
步骤a)中使用滑动窗口分割的方法对数据集进行扩充,使用五折交叉验证的方法对数据集进行5次不同的训练集和测试集的划分。
实施例2:
实施例3:
步骤d)包括如下步骤:
d-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第一个卷积分支中,输出得到32维的特征信号E1;
d-2)第二个卷积分支依次由通道数为32、卷积核大小为1×13、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第二个卷积分支中,输出得到32维的特征信号E2;
d-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第三个卷积分支中,输出得到32维的特征信号E3;
d-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第四个卷积分支中,输出得到32维的特征信号E4;
d-5)将特征信号E1、特征信号E2、特征信号E3、特征信号E4进行特征级联,得到级联后的128维特征信号E=[E1,E2,E3,E4];
d-6)1×1的卷积块由通道数为16、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成,将128维特征信号E=[E1,E2,E3,E4]输入到1×1的卷积块中,输出得到16维的特征信号X1。
实施例4:
步骤e)包括如下步骤:
e-1)第一个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成,将特征信号X1输入到第一个卷积编码模块中,输出得到32维特征信号E5;
e-2)第二个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号E5输入到第二个卷积编码模块中,输出得到64维特征信号E6;
e-3)第三个卷积编码模块依次由通道数为128、卷积核大小为3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号E6输入到第三个卷积编码模块中,输出得到128维特征信号E7;
e-4)将特征信号E7输入到单元数为32的带有TPA机制的双向GRU层中,输出得到64维的特征信号X2,在TPA机制的双向GRU层中通过公式计算得到特征信号X2,式中i={1,2,...,n},n=128,T为转置,τi为第i个行向量的注意力权重,σ(·)为sigmoid函数,为时间模式矩阵GC的第i行,GC=Conv1d(G),Conv1d(·)为一维卷积运算,G为隐状态矩阵,gi为第i个双向GRU的隐藏状态向量,i={1,2,...,t-1},t为时刻,wk为权重系数,gt为t时刻的双向GRU的隐藏状态向量。
实施例5:
步骤g)中N取值为150,SGD优化器的学习率为0.001,每80个周期学习率衰减为当前的0.1,通过公式计算得到交叉熵损失函数cc(x),式中L为类别数,L=2,fi(x)为预测类别fecg的第i个类别的预测标签,为预测类别fecg所对应的第i个类别的真实类别;步骤m)中N取值为180,SGD优化器的学习率为0.001,每90个周期学习率衰减为当前的0.1,通过公式计算得到交叉熵损失函数cc(y),式中L为类别数,L=2,fi(y)为预测类别fpcg的第i个类别的预测标签,为预测类别fpcg的第i个类别的真实类别。
实施例6:
实施例7:
步骤j)包括如下步骤:
j-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第一个卷积分支中,输出得到32维的特征信号P1;
j-2)第二个卷积分支依次由通道数为32、卷积核大小为1×11、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第二个卷积分支中,输出得到32维的特征信号P2;
j-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第三个卷积分支中,输出得到32维的特征信号P3;
j-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第四个卷积分支中,输出得到32维的特征信号P4;
j-5)将特征信号P1、特征信号P2、特征信号P3、特征信号P4进行特征级联,得到级联后的128维特征信号P=[P1,P2,P3,P4];
j-6)1×1的卷积块由通道数为32、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成,将128维特征信号P=[P1,P2,P3,P4]输入到1×1的卷积块中,输出得到32维的特征信号Y1。
实施例8:
步骤k)包括如下步骤:
k-1)第一个卷积编码模块依次由通道数为16、卷积核大小为1×1的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成,将特征信号Y1输入到第一个卷积编码模块中,输出得到16维特征信号P5;
k-2)第二个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号P5输入到第二个卷积编码模块中,输出得到32维特征信号P6;
k-3)第三个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号P6输入到第三个卷积编码模块中,输出得到64维特征信号P7;
k-4)第四个卷积编码模块依次由通道数为128、卷积核大小为1×3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号P7输入到第四个卷积编码模块中,输出得到128维特征信号P8;
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习和时序注意力机制的多模态数据分类方法,其特征在于,包括如下步骤:
a)选择PhysioNet/CinC Challenge 2016中的training-a作为数据集,对数据集进行扩充,将扩充后的数据集划分为训练集和测试集;
b)建立心电信号模型,该心电信号模型依次由PC模块、TBG模块、分类模块构成;
c)将训练集和测试集中的心电信号重采样到2048个采样点后进行z-score归一化处理,得到归一化后的心电信号x′ecg;
d)将训练集中归一化后的心电信号x′ecg输入到心电信号模型的PC模块,输出得到特征信号X1,PC模块依次由四个卷积分支和一个1×1的卷积块构成;
e)将特征信号X1输入到心电信号模型的TBG模块,输出得到特征信号X2,TBG模块由3个卷积编码模块和一个带有TPA机制的双向GRU层构成;
f)将特征信号X2输入到心电信号模型的分类模块中,输出得到预测类别fecg,分类模块依次由全连接层和Softmax激活层构成;
g)重复步骤d)至步骤f)N次,使用SGD优化器,通过最小化交叉熵损失函数得到训练后的最优的心电信号模型;
h)建立心音信号模型,该心音信号模型依次由PC模块、TBG模块、分类模块构成;
i)将训练集和测试集中的心音信号重采样到8000个采样点后进行z-score归一化处理,得到归一化后的心音信号x′pcg;
j)将训练集中归一化后的心音信号x′pcg输入到心音信号模型的PC模块,输出得到特征信号Y1,PC模块依次由四个卷积分支和一个1×1的卷积块构成;
k)将特征信号Y1输入到心音信号模型的TBG模块,输出得到特征信号Y2,TBG模块由4个卷积编码模块和一个带有TPA机制的双向GRU层构成;
l)将特征信号Y2输入到心音信号模型的分类模块中,输出得到预测类别fpcg,分类模块依次由全连接层和Softmax激活层构成;
m)重复步骤j)至步骤l)M次,使用SGD优化器,通过最小化交叉熵损失函数得到训练后的最优的心音信号模型;
n)将数据集重新按4:1的比例手动划分成新的训练集和新的测试集,将新的训练集输入到最优的心电信号模型中,通过最优的心电信号模型的TBG模块输出得到64维的特征信号X3,将新的训练集输入到最优的心音信号模型中,通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y3,通过公式PPx=[X3,Y3]计算得到拼接的128维的特征融合信号PPx;
o)将特征融合信号PPx输入到XGBoost分类器中,得到特征融合信号PPx的重要性分数排名,选择重要性分数排名前64的信号作为特征信号PP1 x,采用5折交叉验证选择最优超参数,利用最优超参数训练XGBoost分类器,得到优化后的XGBoost分类器;
p)将新的测试集输入到最优的心电信号模型中,通过最优的心电信号模型的TBG模块输出得到64维的特征信号X4,将新的测试集输入到最优的心音信号模型中,通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y4,通过公式PPc=[X4,Y4]计算得到拼接的128维的特征融合信号PPc;
q)特征融合信号PPc输入到XGBoost分类器中,得到特征融合信号PPc的重要性分数排名,选择重要性分数排名前64的信号作为特征信号PP1 c;
步骤d)包括如下步骤:
d-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第一个卷积分支中,输出得到32维的特征信号E1;
d-2)第二个卷积分支依次由通道数为32、卷积核大小为1×13、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第二个卷积分支中,输出得到32维的特征信号E2;
d-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第三个卷积分支中,输出得到32维的特征信号E3;
d-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为1的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心电信号x′ecg输入到第四个卷积分支中,输出得到32维的特征信号E4;
d-5)将特征信号E1、特征信号E2、特征信号E3、特征信号E4进行特征级联,得到级联后的128维特征信号E=[E1,E2,E3,E4];
d-6)1×1的卷积块由通道数为16、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成,将128维特征信号E=[E1,E2,E3,E4]输入到1×1的卷积块中,输出得到16维的特征信号X1;
步骤j)包括如下步骤:
j-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第一个卷积分支中,输出得到32维的特征信号P1;
j-2)第二个卷积分支依次由通道数为32、卷积核大小为1×11、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第二个卷积分支中,输出得到32维的特征信号P2;
j-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第三个卷积分支中,输出得到32维的特征信号P3;
j-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为2的卷积层、批归一化层、ReLU激活层构成,将训练集中归一化后的心音信号x′pcg输入到第四个卷积分支中,输出得到32维的特征信号P4;
j-5)将特征信号P1、特征信号P2、特征信号P3、特征信号P4进行特征级联,得到级联后的128维特征信号P=[P1,P2,P3,P4];
j-6)1×1的卷积块由通道数为32、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成,将128维特征信号P=[P1,P2,P3,P4]输入到1×1的卷积块中,输出得到32维的特征信号Y1。
2.根据权利要求1所述的基于深度学习和时序注意力机制的多模态数据分类方法,其特征在于:步骤a)中使用滑动窗口分割的方法对数据集进行扩充,使用五折交叉验证的方法对数据集进行5次不同的训练集和测试集的划分。
3.根据权利要求1所述的基于深度学***均值,σecg为心电信号的方差。
4.根据权利要求1所述的基于深度学习和时序注意力机制的多模态数据分类方法,其特征在于,步骤e)包括如下步骤:
e-1)第一个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成,将特征信号X1输入到第一个卷积编码模块中,输出得到32维特征信号E5;
e-2)第二个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号E5输入到第二个卷积编码模块中,输出得到64维特征信号E6;
e-3)第三个卷积编码模块依次由通道数为128、卷积核大小为3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号E6输入到第三个卷积编码模块中,输出得到128维特征信号E7;
5.根据权利要求1所述的基于深度学习和时序注意力机制的多模态数据分类方法,其特征在于:步骤g)中N取值为150,SGD优化器的学习率为0.001,每80个周期学习率衰减为当前的0.1,通过公式计算得到交叉熵损失函数cc(x),式中L为类别数,L=2,fi(x)为预测类别fecg的第i个类别的预测标签,为预测类别fecg所对应的第i个类别的真实类别;步骤m)中N取值为180,SGD优化器的学习率为0.001,每90个周期学习率衰减为当前的0.1,通过公式计算得到交叉熵损失函数cc(y),式中L为类别数,L=2,fi(y)为预测类别fpcg的第i个类别的预测标签,为预测类别fpcg的第i个类别的真实类别。
6.根据权利要求1所述的基于深度学***均值,σpcg为心音信号的方差。
7.根据权利要求1所述的基于深度学习和时序注意力机制的多模态数据分类方法,其特征在于,步骤k)包括如下步骤:
k-1)第一个卷积编码模块依次由通道数为16、卷积核大小为1×1的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成,将特征信号Y1输入到第一个卷积编码模块中,输出得到16维特征信号P5;
k-2)第二个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号P5输入到第二个卷积编码模块中,输出得到32维特征信号P6;
k-3)第三个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号P6输入到第三个卷积编码模块中,输出得到64维特征信号P7;
k-4)第四个卷积编码模块依次由通道数为128、卷积核大小为1×3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成,将特征信号P7输入到第四个卷积编码模块中,输出得到128维特征信号P8;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210376944.3A CN114764575B (zh) | 2022-04-11 | 2022-04-11 | 基于深度学习和时序注意力机制的多模态数据分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210376944.3A CN114764575B (zh) | 2022-04-11 | 2022-04-11 | 基于深度学习和时序注意力机制的多模态数据分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114764575A CN114764575A (zh) | 2022-07-19 |
CN114764575B true CN114764575B (zh) | 2023-02-28 |
Family
ID=82364741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210376944.3A Active CN114764575B (zh) | 2022-04-11 | 2022-04-11 | 基于深度学习和时序注意力机制的多模态数据分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114764575B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116186593B (zh) * | 2023-03-10 | 2023-10-03 | 山东省人工智能研究院 | 一种基于可分离卷积和注意力机制的心电信号检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018130541A (ja) * | 2017-02-16 | 2018-08-23 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 融合アプローチを用いた人の冠動脈疾患の検出のための方法およびシステム |
CN110236518A (zh) * | 2019-04-02 | 2019-09-17 | 武汉大学 | 基于神经网络的心电及心震信号联合分类的方法及装置 |
CN110537910A (zh) * | 2019-09-18 | 2019-12-06 | 山东大学 | 基于心电和心音信号联合分析的冠心病无创筛查*** |
CN113288163A (zh) * | 2021-06-04 | 2021-08-24 | 浙江理工大学 | 基于注意力机制的多特征融合心电信号分类模型建模方法 |
CN113855063A (zh) * | 2021-10-21 | 2021-12-31 | 华中科技大学 | 一种基于深度学习的心音自动诊断*** |
CN114190952A (zh) * | 2021-12-01 | 2022-03-18 | 山东省人工智能研究院 | 一种基于导联分组的12导联心电信号多标签分类方法 |
-
2022
- 2022-04-11 CN CN202210376944.3A patent/CN114764575B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018130541A (ja) * | 2017-02-16 | 2018-08-23 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 融合アプローチを用いた人の冠動脈疾患の検出のための方法およびシステム |
CN110236518A (zh) * | 2019-04-02 | 2019-09-17 | 武汉大学 | 基于神经网络的心电及心震信号联合分类的方法及装置 |
CN110537910A (zh) * | 2019-09-18 | 2019-12-06 | 山东大学 | 基于心电和心音信号联合分析的冠心病无创筛查*** |
CN113288163A (zh) * | 2021-06-04 | 2021-08-24 | 浙江理工大学 | 基于注意力机制的多特征融合心电信号分类模型建模方法 |
CN113855063A (zh) * | 2021-10-21 | 2021-12-31 | 华中科技大学 | 一种基于深度学习的心音自动诊断*** |
CN114190952A (zh) * | 2021-12-01 | 2022-03-18 | 山东省人工智能研究院 | 一种基于导联分组的12导联心电信号多标签分类方法 |
Non-Patent Citations (2)
Title |
---|
Integrating multi-domain deep features of electrocardiogram and phonocardiogram for coronary artery disease detection;HanLi, et al.;《Computers in Biology and Medicine》;20211130;1-7 * |
基于心音心电信号的心衰分析***;李俊杰 等;《Software Engineering and Applications》;20220209;1-10 * |
Also Published As
Publication number | Publication date |
---|---|
CN114764575A (zh) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112766355B (zh) | 一种标签噪声下的脑电信号情绪识别方法 | |
CN111414942A (zh) | 一种基于主动学习和卷积神经网络的遥感图像分类方法 | |
CN112294341B (zh) | 一种基于轻量卷积神经网络的睡眠脑电纺锤波识别方法及*** | |
CN113033309A (zh) | 一种基于信号下采样及一维卷积神经网络的故障诊断方法 | |
CN111950455A (zh) | 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法 | |
CN112732921B (zh) | 一种虚假用户评论检测方法及*** | |
CN114176607B (zh) | 一种基于视觉Transformer的脑电信号分类方法 | |
CN113554110B (zh) | 一种基于二值胶囊网络的脑电情绪识别方法 | |
CN111582041A (zh) | 基于cwt和mlmsffcnn的脑电识别方法 | |
CN114564990A (zh) | 一种基于多通道反馈胶囊网络的脑电信号分类方法 | |
CN113343860A (zh) | 一种基于视频图像和语音的双模态融合情感识别方法 | |
CN116186593B (zh) | 一种基于可分离卷积和注意力机制的心电信号检测方法 | |
CN114764575B (zh) | 基于深度学习和时序注意力机制的多模态数据分类方法 | |
CN113069117A (zh) | 一种基于时间卷积神经网络的脑电情绪识别方法及*** | |
CN114595725B (zh) | 一种基于加法网络和监督对比学习的脑电信号分类方法 | |
CN115965864A (zh) | 一种用于农作物病害识别的轻量级注意力机制网络 | |
CN116258914B (zh) | 基于机器学习及局部和全局特征融合的遥感图像分类方法 | |
CN116610846A (zh) | 用于牛养殖的配种筛选方法及其*** | |
CN112465054B (zh) | 一种基于fcn的多变量时间序列数据分类方法 | |
CN114420151B (zh) | 基于并联张量分解卷积神经网络的语音情感识别方法 | |
CN115801152A (zh) | 基于层次化transformer模型的WiFi动作识别方法 | |
Wu et al. | Genetic-algorithm-based Convolutional Neural Network for Robust Time Series Classification with Unreliable Data. | |
CN112883905B (zh) | 基于粗粒度时频特征与多层融合学习的人体行为识别方法 | |
CN112560784B (zh) | 一种基于动态多尺度卷积神经网络的心电图分类方法 | |
CN114818823A (zh) | 一种基于挤压与激活图卷积神经网络的脑电通道选择方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |