CN114764575B - 基于深度学习和时序注意力机制的多模态数据分类方法 - Google Patents

Abstract

一种基于深度学习和时序注意力机制的多模态数据分类方法，先利用PC‑TBG‑ECG和PC‑TBG‑PCG模型分别实现了心电信号和心音信号的特征提取，然后采用XGBoost集成分类算法对提取出来的特征进行特征选择并分类。在增加运算效率的同时，加入了正则化，有效防止过拟合。本发明适合不同模态数据的分类检测，可从多种角度对信号进行分析，进而提高分类的准确率。

Description

基于深度学习和时序注意力机制的多模态数据分类方法

技术领域

本发明涉及多模态数据分类领域，具体涉及一种基于深度学习和时序注意力机制的多模态数据分类方法。

背景技术

心电图(ECG)和心音图(PCG)作为无创且高成本效益的信号采集工具，可以根据二者之间的互补性，从多种角度挖掘并分析两种信号的潜在特征，从而提高分类效果。在以往的研究中，相关研究人员主要采用单一模态数据或单一分类器来进行信号的分类研究，但采用这种方法的分类研究无法从全面性角度对信号进行分类，所以本研究提出的一种融合多模态数据的分类方法是极符合现实需求的。

发明内容

本发明为了克服以上技术的不足，提供了一种适合不同模态数据的分类检测，可从多种角度对信号进行分析，进而提高分类的准确率的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于深度学习和时序注意力机制的多模态数据分类方法，包括如下步骤：

a)选择PhysioNet/CinC Challenge 2016中的training-a作为数据集，对数据集进行扩充，将扩充后的数据集划分为训练集和测试集；

b)建立心电信号模型，该心电信号模型依次由PC模块、TBG模块、分类模块构成；

c)将训练集和测试集中的心电信号重采样到2048个采样点后进行z-score归一化处理，得到归一化后的心电信号x′_ecg；

d)将训练集中归一化后的心电信号x′_ecg输入到心电信号模型的PC模块，输出得到特征信号X₁，PC模块依次由四个卷积分支和一个1×1的卷积块构成；

e)将特征信号X₁输入到心电信号模型的TBG模块，输出得到特征信号X₂，TBG模块由3个卷积编码模块和一个带有TPA机制的双向GRU层构成；

f)将特征信号X₂输入到心电信号模型的分类模块中，输出得到预测类别f_ecg，分类模块依次由全连接层和Softmax激活层构成；

g)重复步骤d)至步骤f)N次，使用SGD优化器，通过最小化交叉熵损失函数得到训练后的最优的心电信号模型；

h)建立心音信号模型，该心音信号模型依次由PC模块、TBG模块、分类模块构成；

i)将训练集和测试集中的心音信号重采样到8000个采样点后进行z-score归一化处理，得到归一化后的心音信号x′_pcg；

j)将训练集中归一化后的心音信号x′_pcg输入到心音信号模型的PC模块，输出得到特征信号Y₁，PC模块依次由四个卷积分支和一个1×1的卷积块构成；

k)将特征信号Y₁输入到心音信号模型的TBG模块，输出得到特征信号Y₂，TBG模块由4个卷积编码模块和一个带有TPA机制的双向GRU层构成；

l)将特征信号Y₂输入到心音信号模型的分类模块中，输出得到预测类别f_pcg，分类模块依次由全连接层和Softmax激活层构成；

m)重复步骤j)至步骤l)M次，使用SGD优化器，通过最小化交叉熵损失函数得到训练后的最优的心音信号模型；

n)将数据集重新按4:1的比例手动划分成新的训练集和新的测试集，将新的训练集输入到最优的心电信号模型中，通过最优的心电信号模型的TBG模块输出得到64维的特征信号X₃，将新的训练集输入到最优的心音信号模型中，通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y₃，通过公式PP^x＝[X₃,Y₃]计算得到拼接的128维的特征融合信号PP^x；

o)将特征融合信号PP^x输入到XGBoost分类器中，得到特征融合信号PP^x的重要性分数排名，选择重要性分数排名前64的信号作为特征信号PP₁ ^x，采用5折交叉验证选择最优超参数，利用最优超参数训练XGBoost分类器，得到优化后的XGBoost分类器；

p)将新的测试集输入到最优的心电信号模型中，通过最优的心电信号模型的TBG模块输出得到64维的特征信号X₄，将新的测试集输入到最优的心音信号模型中，通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y₄，通过公式PP^c＝[X₄,Y₄]计算得到拼接的128维的特征融合信号PP^c；

q)特征融合信号PP^c输入到XGBoost分类器中，得到特征融合信号PP^c的重要性分数排名，选择重要性分数排名前64的信号作为特征信号PP₁ ^c。

优选的，步骤a)中使用滑动窗口分割的方法对数据集进行扩充，使用五折交叉验证的方法对数据集进行5次不同的训练集和测试集的划分。

进一步的，步骤c)中通过公式

计算得到归一化后的心电信号x′_ecg，式中x_ecg为训练集和测试集中的心电信号，u_ecg为心电信号的平均值，σ_ecg为心电信号的方差。

进一步的，步骤d)包括如下步骤：

d-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第一个卷积分支中，输出得到32维的特征信号E₁；

d-2)第二个卷积分支依次由通道数为32、卷积核大小为1×13、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第二个卷积分支中，输出得到32维的特征信号E₂；

d-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第三个卷积分支中，输出得到32维的特征信号E₃；

d-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第四个卷积分支中，输出得到32维的特征信号E₄；

d-5)将特征信号E₁、特征信号E₂、特征信号E₃、特征信号E₄进行特征级联，得到级联后的128维特征信号E＝[E₁,E₂,E₃,E₄]；

d-6)1×1的卷积块由通道数为16、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成，将128维特征信号E＝[E₁,E₂,E₃,E₄]输入到1×1的卷积块中，输出得到16维的特征信号X₁。

进一步的，步骤e)包括如下步骤：

e-1)第一个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成，将特征信号X₁输入到第一个卷积编码模块中，输出得到32维特征信号E₅；

e-2)第二个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号E₅输入到第二个卷积编码模块中，输出得到64维特征信号E₆；

e-3)第三个卷积编码模块依次由通道数为128、卷积核大小为3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号E₆输入到第三个卷积编码模块中，输出得到128维特征信号E₇；

e-4)将特征信号E₇输入到单元数为32的带有TPA机制的双向GRU层中，输出得到64维的特征信号X₂，在TPA机制的双向GRU层中通过公式

计算得到特征信号X₂，式中i＝{1,2,...,n}，n＝128，T为转置，τ_i为第i个行向量的注意力权重，

σ(·)为sigmoid函数，

为时间模式矩阵G^C的第i行，G^C＝Conv1d(G)，Conv1d(·)为一维卷积运算，G为隐状态矩阵，

g_i为第i个双向GRU的隐藏状态向量，i＝{1,2,...,t-1}，t为时刻，w_k为权重系数，g_t为t时刻的双向GRU的隐藏状态向量。

进一步的，步骤g)中N取值为150，SGD优化器的学习率为0.001，每80个周期学习率衰减为当前的0.1，通过公式

计算得到交叉熵损失函数cc(x)，式中L为类别数，L＝2，f_i(x)为预测类别f_ecg的第i个类别的预测标签，

为预测类别f_ecg所对应的第i个类别的真实类别；步骤m)中N取值为180，SGD优化器的学习率为0.001，每90个周期学习率衰减为当前的0.1，通过公式

计算得到交叉熵损失函数cc(y)，式中L为类别数，L＝2，f_i(y)为预测类别f_pcg的第i个类别的预测标签，

为预测类别f_pcg的第i个类别的真实类别。

进一步的，步骤i)中通过公式

计算得到归一化后的心音信号x′_pcg，式中x_pcg为训练集和测试集中的心音信号，u_pcg为心音信号的平均值，σ_pcg为心音信号的方差。

进一步的，步骤j)包括如下步骤：

j-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第一个卷积分支中，输出得到32维的特征信号P₁；

j-2)第二个卷积分支依次由通道数为32、卷积核大小为1×11、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第二个卷积分支中，输出得到32维的特征信号P₂；

j-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第三个卷积分支中，输出得到32维的特征信号P₃；

j-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第四个卷积分支中，输出得到32维的特征信号P₄；

j-5)将特征信号P₁、特征信号P₂、特征信号P₃、特征信号P₄进行特征级联，得到级联后的128维特征信号P＝[P₁,P₂,P₃,P₄]；

j-6)1×1的卷积块由通道数为32、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成，将128维特征信号P＝[P₁,P₂,P₃,P₄]输入到1×1的卷积块中，输出得到32维的特征信号Y₁。

进一步的，步骤k)包括如下步骤：

k-1)第一个卷积编码模块依次由通道数为16、卷积核大小为1×1的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成，将特征信号Y₁输入到第一个卷积编码模块中，输出得到16维特征信号P₅；

k-2)第二个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号P₅输入到第二个卷积编码模块中，输出得到32维特征信号P₆；

k-3)第三个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号P₆输入到第三个卷积编码模块中，输出得到64维特征信号P₇；

k-4)第四个卷积编码模块依次由通道数为128、卷积核大小为1×3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号P₇输入到第四个卷积编码模块中，输出得到128维特征信号P₈；

k-5)将特征信号P₈输入到单元数为32的带有TPA机制的双向GRU层中，输出得到64维的特征信号Y₂，在TPA机制的双向GRU层中通过公式

计算得到特征信号Y₂。

本发明的有益效果是：先利用PC-TBG-ECG和PC-TBG-PCG模型分别实现了心电信号和心音信号的特征提取，然后采用XGBoost集成分类算法对提取出来的特征进行特征选择并分类。在增加运算效率的同时，加入了正则化，有效防止过拟合。本发明适合不同模态数据的分类检测，可从多种角度对信号进行分析，进而提高分类的准确率。

附图说明

图1为本发明的方法流程图；

图2为本发明的PC模块的网络结构图。

具体实施方式

下面结合附图1、附图2对本发明做进一步说明。

一种基于深度学习和时序注意力机制的多模态数据分类方法，包括如下步骤：

a)选择PhysioNet/CinC Challenge 2016中的training-a作为数据集，对数据集进行扩充，将扩充后的数据集划分为训练集和测试集。

b)建立心电信号模型(PC-TBG-ECG)，该心电信号模型依次由PC模块、TBG模块、分类模块构成。

c)将训练集和测试集中的心电信号重采样到2048个采样点后进行z-score归一化处理，得到归一化后的心电信号x′_ecg。

d)将训练集中归一化后的心电信号x′_ecg输入到心电信号模型的PC模块，输出得到特征信号X₁，PC模块依次由四个卷积分支和一个1×1的卷积块构成。

e)将特征信号X₁输入到心电信号模型的TBG模块，输出得到特征信号X₂，TBG模块由3个卷积编码模块和一个带有TPA机制的双向GRU层(TPA-Bi-GRU)构成。f)将特征信号X₂输入到心电信号模型的分类模块中，输出得到预测类别f_ecg，分类模块依次由全连接层和Softmax激活层构成。

g)重复步骤d)至步骤f)N次，使用SGD优化器，通过最小化交叉熵损失函数得到训练后的最优的心电信号模型。

h)建立心音信号模型(PC-TBG-PCG)，该心音信号模型依次由PC模块、TBG模块、分类模块构成。

i)将训练集和测试集中的心音信号重采样到8000个采样点后进行z-score归一化处理，得到归一化后的心音信号x′_pcg。

j)将训练集中归一化后的心音信号x′_pcg输入到心音信号模型的PC模块，输出得到特征信号Y₁，PC模块依次由四个卷积分支和一个1×1的卷积块构成。

k)将特征信号Y₁输入到心音信号模型的TBG模块，输出得到特征信号Y₂，TBG模块由4个卷积编码模块和一个带有TPA机制的双向GRU层(TPA-Bi-GRU)构成。l)将特征信号Y₂输入到心音信号模型的分类模块中，输出得到预测类别f_pcg，分类模块依次由全连接层和Softmax激活层构成。

m)重复步骤j)至步骤l)M次，使用SGD优化器，通过最小化交叉熵损失函数得到训练后的最优的心音信号模型。

n)将数据集重新按4:1的比例手动划分成新的训练集和新的测试集，将新的训练集输入到最优的心电信号模型中，通过最优的心电信号模型的TBG模块输出得到64维的特征信号X₃，将新的训练集输入到最优的心音信号模型中，通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y₃，通过公式PP^x＝[X₃,Y₃]计算得到拼接的128维的特征融合信号PP^x。

o)将特征融合信号PP^x输入到XGBoost分类器中，得到特征融合信号PP^x的重要性分数排名，选择重要性分数排名前64的信号作为特征信号PP₁ ^x，采用5折交叉验证选择最优超参数，利用最优超参数训练XGBoost分类器，得到优化后的XGBoost分类器。

p)将新的测试集输入到最优的心电信号模型中，通过最优的心电信号模型的TBG模块输出得到64维的特征信号X₄，将新的测试集输入到最优的心音信号模型中，通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y₄，通过公式PP^c＝[X₄,Y₄]计算得到拼接的128维的特征融合信号PP^c。

q)特征融合信号PP^c输入到XGBoost分类器中，得到特征融合信号PP^c的重要性分数排名，选择重要性分数排名前64的信号作为特征信号PP₁ ^c。

无需对信号进行降噪、滤波等处理，避免了以往因对信号预处理不合理所导致的分类准确率低或实用性不强等问题，保证了模型的鲁棒性。首先利用PC-TBG-ECG和PC-TBG-PCG模型分别实现了心电信号和心音信号的特征提取，然后采用XGBoost集成分类算法对提取出来的特征进行特征选择并分类。在增加运算效率的同时，加入了正则化，有效防止过拟合。本发明适合不同模态数据的分类检测，可从多种角度对信号进行分析，进而提高分类的准确率。

实施例1：

步骤a)中使用滑动窗口分割的方法对数据集进行扩充，使用五折交叉验证的方法对数据集进行5次不同的训练集和测试集的划分。

实施例2：

步骤c)中通过公式

计算得到归一化后的心电信号x′_ecg，式中x_ecg为训练集和测试集中的心电信号，u_ecg为心电信号的平均值，σ_ecg为心电信号的方差。

实施例3：

步骤d)包括如下步骤：

d-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第一个卷积分支中，输出得到32维的特征信号E₁；

d-2)第二个卷积分支依次由通道数为32、卷积核大小为1×13、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第二个卷积分支中，输出得到32维的特征信号E₂；

d-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第三个卷积分支中，输出得到32维的特征信号E₃；

d-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第四个卷积分支中，输出得到32维的特征信号E₄；

d-5)将特征信号E₁、特征信号E₂、特征信号E₃、特征信号E₄进行特征级联，得到级联后的128维特征信号E＝[E₁,E₂,E₃,E₄]；

d-6)1×1的卷积块由通道数为16、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成，将128维特征信号E＝[E₁,E₂,E₃,E₄]输入到1×1的卷积块中，输出得到16维的特征信号X₁。

实施例4：

步骤e)包括如下步骤：

e-1)第一个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成，将特征信号X₁输入到第一个卷积编码模块中，输出得到32维特征信号E₅；

e-2)第二个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号E₅输入到第二个卷积编码模块中，输出得到64维特征信号E₆；

e-3)第三个卷积编码模块依次由通道数为128、卷积核大小为3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号E₆输入到第三个卷积编码模块中，输出得到128维特征信号E₇；

e-4)将特征信号E₇输入到单元数为32的带有TPA机制的双向GRU层中，输出得到64维的特征信号X₂，在TPA机制的双向GRU层中通过公式

计算得到特征信号X₂，式中i＝{1,2,...,n}，n＝128，T为转置，τ_i为第i个行向量的注意力权重，

σ(·)为sigmoid函数，

为时间模式矩阵G^C的第i行，G^C＝Conv1d(G)，Conv1d(·)为一维卷积运算，G为隐状态矩阵，

g_i为第i个双向GRU的隐藏状态向量，i＝{1,2,...,t-1}，t为时刻，w_k为权重系数，g_t为t时刻的双向GRU的隐藏状态向量。

实施例5：

步骤g)中N取值为150，SGD优化器的学习率为0.001，每80个周期学习率衰减为当前的0.1，通过公式

计算得到交叉熵损失函数cc(x)，式中L为类别数，L＝2，f_i(x)为预测类别f_ecg的第i个类别的预测标签，

为预测类别f_ecg所对应的第i个类别的真实类别；步骤m)中N取值为180，SGD优化器的学习率为0.001，每90个周期学习率衰减为当前的0.1，通过公式

计算得到交叉熵损失函数cc(y)，式中L为类别数，L＝2，f_i(y)为预测类别f_pcg的第i个类别的预测标签，

为预测类别f_pcg的第i个类别的真实类别。

实施例6：

步骤i)中通过公式

计算得到归一化后的心音信号x′_pcg，式中x_pcg为训练集和测试集中的心音信号，u_pcg为心音信号的平均值，σ_pcg为心音信号的方差。

实施例7：

步骤j)包括如下步骤：

j-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第一个卷积分支中，输出得到32维的特征信号P₁；

j-2)第二个卷积分支依次由通道数为32、卷积核大小为1×11、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第二个卷积分支中，输出得到32维的特征信号P₂；

j-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第三个卷积分支中，输出得到32维的特征信号P₃；

j-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第四个卷积分支中，输出得到32维的特征信号P₄；

j-5)将特征信号P₁、特征信号P₂、特征信号P₃、特征信号P₄进行特征级联，得到级联后的128维特征信号P＝[P₁,P₂,P₃,P₄]；

j-6)1×1的卷积块由通道数为32、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成，将128维特征信号P＝[P₁,P₂,P₃,P₄]输入到1×1的卷积块中，输出得到32维的特征信号Y₁。

实施例8：

步骤k)包括如下步骤：

k-1)第一个卷积编码模块依次由通道数为16、卷积核大小为1×1的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成，将特征信号Y₁输入到第一个卷积编码模块中，输出得到16维特征信号P₅；

k-2)第二个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号P₅输入到第二个卷积编码模块中，输出得到32维特征信号P₆；

k-3)第三个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号P₆输入到第三个卷积编码模块中，输出得到64维特征信号P₇；

k-4)第四个卷积编码模块依次由通道数为128、卷积核大小为1×3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号P₇输入到第四个卷积编码模块中，输出得到128维特征信号P₈；

k-5)将特征信号P₈输入到单元数为32的带有TPA机制的双向GRU层中，输出得到64维的特征信号Y₂，在TPA机制的双向GRU层中通过公式

计算得到特征信号Y₂。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习和时序注意力机制的多模态数据分类方法，其特征在于，包括如下步骤：

a)选择PhysioNet/CinC Challenge 2016中的training-a作为数据集，对数据集进行扩充，将扩充后的数据集划分为训练集和测试集；

b)建立心电信号模型，该心电信号模型依次由PC模块、TBG模块、分类模块构成；

c)将训练集和测试集中的心电信号重采样到2048个采样点后进行z-score归一化处理，得到归一化后的心电信号x′_ecg；

d)将训练集中归一化后的心电信号x′_ecg输入到心电信号模型的PC模块，输出得到特征信号X₁，PC模块依次由四个卷积分支和一个1×1的卷积块构成；

e)将特征信号X₁输入到心电信号模型的TBG模块，输出得到特征信号X₂，TBG模块由3个卷积编码模块和一个带有TPA机制的双向GRU层构成；

f)将特征信号X₂输入到心电信号模型的分类模块中，输出得到预测类别f_ecg，分类模块依次由全连接层和Softmax激活层构成；

g)重复步骤d)至步骤f)N次，使用SGD优化器，通过最小化交叉熵损失函数得到训练后的最优的心电信号模型；

h)建立心音信号模型，该心音信号模型依次由PC模块、TBG模块、分类模块构成；

i)将训练集和测试集中的心音信号重采样到8000个采样点后进行z-score归一化处理，得到归一化后的心音信号x′_pcg；

j)将训练集中归一化后的心音信号x′_pcg输入到心音信号模型的PC模块，输出得到特征信号Y₁，PC模块依次由四个卷积分支和一个1×1的卷积块构成；

k)将特征信号Y₁输入到心音信号模型的TBG模块，输出得到特征信号Y₂，TBG模块由4个卷积编码模块和一个带有TPA机制的双向GRU层构成；

l)将特征信号Y₂输入到心音信号模型的分类模块中，输出得到预测类别f_pcg，分类模块依次由全连接层和Softmax激活层构成；

m)重复步骤j)至步骤l)M次，使用SGD优化器，通过最小化交叉熵损失函数得到训练后的最优的心音信号模型；

n)将数据集重新按4:1的比例手动划分成新的训练集和新的测试集，将新的训练集输入到最优的心电信号模型中，通过最优的心电信号模型的TBG模块输出得到64维的特征信号X₃，将新的训练集输入到最优的心音信号模型中，通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y₃，通过公式PP^x＝[X₃,Y₃]计算得到拼接的128维的特征融合信号PP^x；

o)将特征融合信号PP^x输入到XGBoost分类器中，得到特征融合信号PP^x的重要性分数排名，选择重要性分数排名前64的信号作为特征信号PP₁ ^x，采用5折交叉验证选择最优超参数，利用最优超参数训练XGBoost分类器，得到优化后的XGBoost分类器；

p)将新的测试集输入到最优的心电信号模型中，通过最优的心电信号模型的TBG模块输出得到64维的特征信号X₄，将新的测试集输入到最优的心音信号模型中，通过最优的心音信号模型的TBG模块输出得到64维的特征信号Y₄，通过公式PP^c＝[X₄,Y₄]计算得到拼接的128维的特征融合信号PP^c；

q)特征融合信号PP^c输入到XGBoost分类器中，得到特征融合信号PP^c的重要性分数排名，选择重要性分数排名前64的信号作为特征信号PP₁ ^c；

步骤d)包括如下步骤：

d-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第一个卷积分支中，输出得到32维的特征信号E₁；

d-2)第二个卷积分支依次由通道数为32、卷积核大小为1×13、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第二个卷积分支中，输出得到32维的特征信号E₂；

d-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第三个卷积分支中，输出得到32维的特征信号E₃；

d-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为1的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心电信号x′_ecg输入到第四个卷积分支中，输出得到32维的特征信号E₄；

d-5)将特征信号E₁、特征信号E₂、特征信号E₃、特征信号E₄进行特征级联，得到级联后的128维特征信号E＝[E₁,E₂,E₃,E₄]；

d-6)1×1的卷积块由通道数为16、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成，将128维特征信号E＝[E₁,E₂,E₃,E₄]输入到1×1的卷积块中，输出得到16维的特征信号X₁；

步骤j)包括如下步骤：

j-1)第一个卷积分支依次由通道数为32、卷积核大小为1×15、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第一个卷积分支中，输出得到32维的特征信号P₁；

j-2)第二个卷积分支依次由通道数为32、卷积核大小为1×11、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第二个卷积分支中，输出得到32维的特征信号P₂；

j-3)第三个卷积分支依次由通道数为32、卷积核大小为1×9、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第三个卷积分支中，输出得到32维的特征信号P₃；

j-4)第四个卷积分支依次由通道数为32、卷积核大小为1×5、步长为2的卷积层、批归一化层、ReLU激活层构成，将训练集中归一化后的心音信号x′_pcg输入到第四个卷积分支中，输出得到32维的特征信号P₄；

j-5)将特征信号P₁、特征信号P₂、特征信号P₃、特征信号P₄进行特征级联，得到级联后的128维特征信号P＝[P₁,P₂,P₃,P₄]；

j-6)1×1的卷积块由通道数为32、卷积核大小为1×1、步长为1的卷积层和ReLU激活层构成，将128维特征信号P＝[P₁,P₂,P₃,P₄]输入到1×1的卷积块中，输出得到32维的特征信号Y₁。

2.根据权利要求1所述的基于深度学习和时序注意力机制的多模态数据分类方法，其特征在于：步骤a)中使用滑动窗口分割的方法对数据集进行扩充，使用五折交叉验证的方法对数据集进行5次不同的训练集和测试集的划分。

3.根据权利要求1所述的基于深度学***均值，σ_ecg为心电信号的方差。

4.根据权利要求1所述的基于深度学习和时序注意力机制的多模态数据分类方法，其特征在于，步骤e)包括如下步骤：

e-1)第一个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成，将特征信号X₁输入到第一个卷积编码模块中，输出得到32维特征信号E₅；

e-2)第二个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号E₅输入到第二个卷积编码模块中，输出得到64维特征信号E₆；

e-3)第三个卷积编码模块依次由通道数为128、卷积核大小为3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号E₆输入到第三个卷积编码模块中，输出得到128维特征信号E₇；

e-4)将特征信号E₇输入到单元数为32的带有TPA机制的双向GRU层中，输出得到64维的特征信号X₂，在TPA机制的双向GRU层中通过公式

计算得到特征信号X₂，式中i＝{1,2,...,n}，n＝128，T为转置，τ_i为第i个行向量的注意力权重，

σ(·)为sigmoid函数，

为时间模式矩阵G^C的第i行，G^C＝Conv1d(G)，Conv1d(·)为一维卷积运算，G为隐状态矩阵，

g_i为第i个双向GRU的隐藏状态向量，i＝{1,2,...,t-1}，t为时刻，w_k为权重系数，g_t为t时刻的双向GRU的隐藏状态向量。

5.根据权利要求1所述的基于深度学习和时序注意力机制的多模态数据分类方法，其特征在于：步骤g)中N取值为150，SGD优化器的学习率为0.001，每80个周期学习率衰减为当前的0.1，通过公式

计算得到交叉熵损失函数cc(x)，式中L为类别数，L＝2，f_i(x)为预测类别f_ecg的第i个类别的预测标签，

为预测类别f_ecg所对应的第i个类别的真实类别；步骤m)中N取值为180，SGD优化器的学习率为0.001，每90个周期学习率衰减为当前的0.1，通过公式

计算得到交叉熵损失函数cc(y)，式中L为类别数，L＝2，f_i(y)为预测类别f_pcg的第i个类别的预测标签，

为预测类别f_pcg的第i个类别的真实类别。

6.根据权利要求1所述的基于深度学***均值，σ_pcg为心音信号的方差。

7.根据权利要求1所述的基于深度学习和时序注意力机制的多模态数据分类方法，其特征在于，步骤k)包括如下步骤：

k-1)第一个卷积编码模块依次由通道数为16、卷积核大小为1×1的卷积层、批归一化层、ReLU激活层、大小为4的池化层构成，将特征信号Y₁输入到第一个卷积编码模块中，输出得到16维特征信号P₅；

k-2)第二个卷积编码模块依次由通道数为32、卷积核大小为1×11的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号P₅输入到第二个卷积编码模块中，输出得到32维特征信号P₆；

k-3)第三个卷积编码模块依次由通道数为64、卷积核大小为1×7的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号P₆输入到第三个卷积编码模块中，输出得到64维特征信号P₇；

k-4)第四个卷积编码模块依次由通道数为128、卷积核大小为1×3的卷积层、批归一化层、ReLU激活层、大小为2的池化层构成，将特征信号P₇输入到第四个卷积编码模块中，输出得到128维特征信号P₈；

k-5)将特征信号P₈输入到单元数为32的带有TPA机制的双向GRU层中，输出得到64维的特征信号Y₂，在TPA机制的双向GRU层中通过公式

计算得到特征信号Y₂。

Images