CN117292243B - 基于深度学习的心磁信号时空图像预测方法、设备及介质 - Google Patents
基于深度学习的心磁信号时空图像预测方法、设备及介质 Download PDFInfo
- Publication number
- CN117292243B CN117292243B CN202311575600.6A CN202311575600A CN117292243B CN 117292243 B CN117292243 B CN 117292243B CN 202311575600 A CN202311575600 A CN 202311575600A CN 117292243 B CN117292243 B CN 117292243B
- Authority
- CN
- China
- Prior art keywords
- matrix
- magnetocardiogram
- layer
- representing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 117
- 238000010606 normalization Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 abstract description 10
- 238000011160 research Methods 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 8
- 208000024172 Cardiovascular disease Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 230000002779 inactivation Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000238366 Cephalopoda Species 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036996 cardiovascular health Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Optimization (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Databases & Information Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Processing (AREA)
Abstract
本发明的一种基于深度学习的心磁信号时空图像预测方法、设备及介质，根据实际需要设定超导量子干涉仪的采样周期，采用分时分块采点法获得心脏区域中36个采样点的磁场数据，记录单个心磁数据；将心磁矩阵图像划分为训练集和验证集，保证每个数据集采样周期能代表同一时段的特征变化样本；定义和建立基于Transformer的图像预测模型，并初始化网络内部参数及学习率，采用多头注意力机制和多层感知机构建双层编码器；对Transformer模型进行训练和参数微调。本发明提出的心磁图像预测方法，可有效丰富心磁信号数据量，解决医学研究过程中，因数据量不足导致研究缺乏统计显著性的问题。
Description
技术领域
本发明涉及心磁信号预测技术领域，具体涉及一种基于深度学习的心磁信号时空图像预测方法、设备及存储介质。
背景技术
随着社会的不断发展，人们的生活和工作方式发生了飞速变化，但由于人们身体的适应能力落后于社会变迁的速度，所以造成了心脏病发病率的不断增加。据《中国心血管健康与疾病报告2021》调查数据显示，目前我国心血管疾病发病率呈逐年上升趋势，每年新发脑血管病280万，脑血管病患病人数超过2000万，每5例因病死亡病例中就有2例死于心脑血管病。心血管疾病作为一种慢性疾病，且具有急性、发病快的特点，及时检测对预防心血管疾病、降低死亡率具有重要意义。对心磁信号的采集和研究技术，能够有效的检测和诊断典型心脏病，在国际范围内受到了广泛关注。
由于超导量子干涉仪的探测器(SQUID, Superconducting QuantumInterference Device)条件所限，在检测人体心脏表面磁场的时候采用分时分块采点法，即在心脏表面上检测20厘米×20厘米区域中36个点上磁场数据。研究人员在对心磁信号进行研究时，经常会面临因数据量不足导致缺乏统计显著性的问题。当前，丰富磁场数据的方法有很多，国内外学者常用的数据增强方法是插值法，但这种基于插值及其一系列改进的分析方法往往会改变心磁信号原有的特性。
随着深度学习技术的不断发展，越来越多的深度学习技术被应用到心磁数据增强上，但大多数的研究仅仅只针对时间或空间的单个维度进行预测，没有同时对时空两个维度上的心磁信号值进行预测。
发明内容
本发明提出的一种基于深度学习的心磁信号时空图像预测方法、设备及存储介质，以解决超导量子干涉仪采集的心磁数据空间测量有限的技术问题，本发明能够丰富心脏磁场数据，解决医学研究过程中，因数据量不足导致研究缺乏统计显著性的问题。
为实现上述目的，本发明采用了以下技术方案：
一种基于深度学习的心磁信号时空图像预测方法，包括以下步骤：
1)构建心磁信号矩阵图像数据集：使用超导量子干涉仪采集36个通道的心磁数据矩阵，建立心磁信号矩阵图像数据集，在线性归一化处理后将心磁信号矩阵图像数据集分为训练集和测试集；
2)构建Transformer图像预测模型：结合多头自注意力机制和编码-解码网络（Seq2Seq网络），构建Transformer图像预测模型；
3)训练Transformer网络模型并保存：利用步骤1)中的心磁信号矩阵图像数据集的训练集训练Transformer模型，对训练过程中出现的最佳模型权重进行保存，计算预测模型在验证集上的预测准确率，作为Transformer预测模型的评价指标；
4)Transformer图像预测模型参数微调：以步骤3)中在验证集上的预测准确率作为是否微调Transformer图像预测模型参数的依据，若该评价指标达到预定目标值，则不需要微调模型参数；若该评价指标未达到预定目标值，则微调模型参数，更新网络参数后重复步骤3)，直到评价指标到达预定目标值，完成预测模型参数微调，结束Transformer图像预测模型训练；
5)基于Transformer的心磁信号图像预测模型：将按照步骤1)的操作重新获取心磁信号图像矩阵，输入到步骤4)已训练好的Transformer预测模型中进行预测，得到心磁信号矩阵图像预测结果。
进一步地，所述步骤1)根据实际需要设定超导量子干涉仪的采样周期为T，采用分时分块采点法获得心脏区域中36个采样点的磁场数据，将所得心磁数据按照时间空间排列得到样本数据图像：
其中：表示磁场强度，单位特斯拉，i表示采样时间，j表示采样点的序号；
得到心磁样本数据图像后，对该心磁样本数据矩阵图像进行线性归一化（Min-MaxNormalization）处理，使矩阵中数据数值处于[0,1]之间，得到数据集作为监督学习的样本,其归一化计算公式为：
(1)
其中：表示心磁矩阵的原始数据，/>表示归一化后的数据，/>表示心磁矩阵的最小值，/>表示心磁矩阵的最大值；
之后将归一化处理的数据集划分为训练集和验证集，并保证每个数据集采样周期能代表同一时段的特征变化样本；
进一步地，所述步骤2)中，Transformer心磁图像预测模型由一个编码器和一个解码器构成，其中编码器为Transformer Encoder网络，用于提取输入的心磁信号图像数据集的特征，解码器为全连接层结构，用于根据所提取到的心磁特征信息进行预测。
进一步地，所述步骤2)中，定义和建立基于Transformer的心磁信号图像预测模型，并初始化网络内部参数及学习率；原始数据经过嵌入层和位置编码层后将会转化为带有位置信息的特征向量，其中，时序编码主要为局部时序编码，局部时序编码公式如下所示：
(2)
(3)
其中：表示输入心磁信号编码的位置；/>表示输入心磁信号矩阵图像的特征维度；/>表示采用正弦编码时位置编码向量的编码值；/>表示采用余弦编码时位置编码向量的编码值；/>表示超导量子干涉仪单个采样点所采集样本的长度；j表示位置编码向量的维度。
进一步地，所述步骤2)中，在所述Transformer模型的编码器中，采用多头注意力层和MLP进行特征提取，包括：将带有时序信息的心磁特征图像矩阵转换为查询Query矩阵、键Key矩阵和值Value矩阵，输入到多头注意力层提取心磁特征信息，其计算过程如下所示：
在得到Query矩阵、Key矩阵和Value矩阵之后，进行缩放点积注意力处理：
(4)
其中：表示输入的Query矩阵、Key矩阵和Value矩阵；/>表示缩放因子，用于防止点积结果过大或过小；Softmax表示归一化指数函数；
(5)
其中：表示多头注意力层中第i个主头的权重矩阵；/>表示自注意力机制的第i个主头；
是由多个主头部分组成的，每个部分都可表示为一个向量子空间：
(6)
其中：Concatenate函数表示拼接操作，将多头注意力层各个主头计算得到的结果拼接后输出；表示超导量子干涉仪单个采样点所采集样本的长度；/>表示输入心磁信号矩阵图像的特征维度；
在经过多头注意力层处理之后，将多头注意力层的输入和输出以残差的形式相加并进行层归一化操作，以达到辅助梯度传播的作用，其具体计算公式如下所示：
(7)
其中：LayerNorm表示层归一化，表示多头注意力层的输出，/>表示多头注意力层的输入，/>表示残差连接和归一化得到的数据；
多层感知层包括两个全连接层和一个激活函数，通过将残差连接和归一化处理后的数据输入到多头注意力层，使输入特征映射到一个更高维度的隐藏层空间，引入非线性性，并通过第二个全连接层将隐藏层的维度映射回输入特征的维度。保证Transformer模型能够更好地对输入特征进行非线性变换和映射，从而提取更丰富的特征表示，其计算过程用公式表示：
(8)
其中：表示经残差连接和归一化处理后的数据输入，/>表示全连接层的权重矩阵，/>表示全连接层的偏置，GeLU表示激活函数，Dropout表示输入到第二个全连接层的特征向量以特定的概率随机失活；
再重复进行上述步骤中的残差连接和层归一化操作；
Transformer模型的解码器由全连接层（Fully Connected Layer）组成，该层每个输入都与每个神经元有连接，输入维度设置为，输出维度为采样点个数。将输入的特征图数据矩阵和全连接层权值矩阵进行线性变换，其计算公式如下所示：
(9)
其中：表示Transformer心磁图像预测模型编码器的输出特征矩阵；/>表示全连接层的权重矩阵；/>表示全连接层的偏置项。
进一步地，所述步骤3)中Transformer心磁图像预测模型的训练过程为：利用步骤1)中的心磁信号矩阵图像数据集的训练集训练步骤2)的Transformer图像预测模型，将预测模型训练完毕得到的各网络参数保存，编码器的最后一层网络隐含层所提取的特征向量即为心磁信号矩阵图像数据集的特征，将心磁信号矩阵图像数据集的特征送入解码器中完成预测，其中网络参数包括权重和偏置。
进一步地，步骤3)的解码器所提取的心磁信号矩阵图像数据集的特征在预测模型的各连接层中逐层向前传递，结合AdamW优化算法和StepLR学习率调度器，各层神经元的权值和偏置被不断调整，直到到达迭代次数为止，最终得到Transformer心磁图像预测模型的最优权值与偏置值。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
综上所述，本发明的一种基于深度学习的心磁信号时空图像预测方法，根据实际需要设定超导量子干涉仪的采样周期为T，采用分时分块采点法获得心脏区域中36个采样点的磁场数据，将单个心磁数据记录为，其中，/>为磁场强度，单位特斯拉，i为采样时间，j为采样序号；将心磁矩阵图像划分为训练集和验证集，保证每个数据集采样周期能代表同一时段的特征变化样本；定义和建立基于Transformer的图像预测模型，并初始化网络内部参数及学习率，采用多头注意力机制和多层感知机（MLP，Multi-Layer Perceptron）构建双层编码器；对Transformer模型进行训练和参数微调。本发明提出的心磁图像预测方法，可有效丰富心磁信号数据量，解决医学研究过程中，因数据量不足导致研究缺乏统计显著性的问题。
与现有技术相比，本发明具有以下有益的技术效果：
1)本发明提供了一种基于深度学习的心磁信号时空图像预测方法，不同于传统的时间序列预测方法，而是从时间和空间两个维度出发对心磁信号进行预测，获得了心磁信号矩阵图像，能够更高效地提取心磁信号时空维度的特征信息。
2)本发明提供的一种基于深度学习的心磁信号时空图像预测方法，将超导量子干涉仪36个采样点采集到的心磁信号矩阵作为输入信号，再根据所搭建的Transformer预测模型完成训练过程，得到心磁信号预测矩阵图像，完成预测过程。预测方式简单、快捷，结合人工智能技术，使得心磁信号时空预测过程更加智能化、高效化。
3)本发明提供的一种基于深度学习的心磁信号时空图像预测方法，实现了心磁信号时空维度上的图像预测功能，在心磁信号相关研究中具有一定的实用性。
4)本发明利用全连接网络结构简化了Transformer预测模型中的解码器结构，有效减少模型训练过程中的损失累积，实现对心磁信号矩阵图像的精准预测。
附图说明
图1是本发明的Transformer心磁图像预测模型的心磁图像预测流程图；
图2是本发明的Transformer心磁图像预测模型的网络结构图；
图3是本发明心磁图预测方法预测结果与36通道真实值的实例图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，本实施例所述的基于深度学习的心磁信号时空图像预测方法，主要包含如下步骤：
本发明提供的方法，使用超导量子干涉仪采集36个通道的心磁数据矩阵，建立心磁信号矩阵图像数据集，在线性归一化处理后将心磁信号矩阵图像数据集分为训练集和测试集；
设置超导量子干涉仪的采样周期为T，采用分时分块采点法获得心脏区域中36个采样点的磁场数据，将所得心磁数据按照时间空间排列得到样本数据矩阵图像：
其中：为磁场强度，单位特斯拉，i表示采样时间，j表示采样点的序号；
得到心磁样本数据图像后，对该心磁样本数据矩阵图像进行线性归一化（Min-MaxNormalization）处理，使矩阵中数据数值处于[0,1]之间，得到数据集作为监督学习的样本,其归一化计算公式为：
(1)
其中：表示心磁矩阵的原始数据，/>表示归一化后的数据，/>表示心磁矩阵的最小值，/>表示心磁矩阵的最大值；
之后将归一化处理的数据集划分为训练集和验证集，并保证每个数据集采样周期能代表同一时段的特征变化样本；
2)在数据集划分为训练集和验证集完成后，将训练集样本送入附图2中的Transformer心磁图像预测模型中开始训练，网络训练过程共分为两部分。
第一部分：将原始心磁信号输入嵌入层和位置编码层转化为带有位置信息的特征向量，其中，时序编码主要为局部时序编码，局部时序编码公式如下所示：
(2)
(3)
其中：表示输入心磁信号编码的位置；/>表示输入心磁信号矩阵图像的特征维度；/>表示采用正弦编码时位置编码向量的编码值；/>表示采用余弦编码时位置编码向量的编码值；/>表示超导量子干涉仪单个采样点所采集样本的长度；j表示位置编码向量的维度。
第二部分：对心磁信号位置编码之后，将特征向量输入到构建好的Transformer模型中。在所述Transformer模型的编码器中，采用多头注意力层和MLP进行特征提取，包括：将带有时序信息的心磁特征图像矩阵转换为查询Query矩阵、键Key矩阵和值Value矩阵，输入到多头注意力层提取心磁特征信息，其计算过程如下所示：
在得到Query矩阵、Key矩阵和Value矩阵之后，进行缩放点积注意力处理：
(4)
其中：表示输入的Query矩阵、Key矩阵和Value矩阵；/>表示缩放因子，用于防止点积结果过大或过小；Softmax表示归一化指数函数；
(5)
其中：表示多头注意力层中第i个主头的权重矩阵；/>表示自注意力机制的第i个主头；
是由多个主头部分组成的，每个部分都可表示为一个向量子空间：
(6)
其中：Concatenate函数表示拼接操作，将多头注意力层各个主头计算得到的结果拼接后输出；表示超导量子干涉仪单个采样点所采集样本的长度；/>表示输入心磁信号矩阵图像的特征维度；
在经过多头注意力层处理之后，将多头注意力层的输入和输出以残差的形式相加并进行层归一化操作，以达到辅助梯度传播的作用，其具体计算公式如下所示：
(7)
其中：LayerNorm表示层归一化，表示多头注意力层的输出，/>表示多头注意力层的输入，/>表示残差连接和归一化得到的数据；
多层感知层包括两个全连接层和一个激活函数，通过将残差连接和归一化处理后的数据输入到多头注意力层，使输入特征映射到一个更高维度的隐藏层空间，引入非线性性，并通过第二个全连接层将隐藏层的维度映射回输入特征的维度。保证Transformer模型能够更好地对输入特征进行非线性变换和映射，从而提取更丰富的特征表示，其计算过程用公式表示：
(8)
其中：表示经残差连接和归一化处理后的数据输入，/>表示全连接层的权重矩阵，/>表示全连接层的偏置，GeLU表示激活函数，Dropout表示输入到第二个全连接层的特征向量以特定的概率随机失活；
再重复进行上述步骤中的残差连接和层归一化操作；
Transformer模型的解码器由全连接层（Fully Connected Layer）组成，该层每个输入都与每个神经元有连接，输入维度设置为，输出维度为采样点个数。将输入的特征图数据矩阵和全连接层权值矩阵进行线性变换，其计算公式如下所示：
(9)
其中：表示Transformer心磁图像预测模型编码器的输出特征矩阵；/>表示全连接层的权重矩阵；/>表示全连接层的偏置项。
3)预测模型训练完成后，将得到的各网络参数保存，编码器的最后一层网络隐含层所提取的特征向量即为心磁信号矩阵图像数据集的特征，将心磁信号矩阵图像数据集的特征送入解码器中完成预测，其中网络参数包括权重和偏置。
4)以在验证集上的预测准确率作为是否微调Transformer图像预测模型参数的依据，若该评价指标达到预定目标值，则不需要微调模型参数；若该评价指标未达到预定目标值，则微调模型参数，更新网络参数后重复步骤3)，直到评价指标到达预定目标值，完成预测模型参数微调，结束Transformer图像预测模型训练；
5)基于Transformer的心磁信号图像预测模型：将按照步骤1)的操作重新获取心磁信号图像矩阵，输入到步骤4)已训练好的Transformer预测模型中进行预测，得到心磁信号矩阵图像预测结果。
下面结合具体实例对本发明做进一步详细说明：
1)使用超导量子干涉仪采集36个通道的心磁数据矩阵，建立心磁信号矩阵图像数据集，并将其划分为训练集和验证集（图像矩阵维度分别为和/>）。
2)将得到的心磁信号矩阵图像输入构建好的Transformer网络模型中进行训练，训练完成后开始心磁信号图像预测，使用验证集对预测模型的各个网络层的超参数进行微调，直至达到预期目标为止。
3)按照步骤1)重新采集并构建心磁图像数据集，并将心磁图像输入到训练好的Transformer模型中进行单步预测，使用的数据预测维度为/>的矩阵，其真实值与预测值之间的决定系数为0.992，均方根误差为28.691，预测效果如图3所示，之后将预测的矩阵序列加入构成新的心磁信号图像矩阵，不断重复以上预测步骤，生成心磁信号时空图像，以达到解决医学研究过程中，因数据量不足导致研究缺乏统计显著性问题的目的。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于深度学习的心磁信号时空图像预测方法。
可理解的是，本发明实施例提供的***与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述基于深度学习的心磁信号时空图像预测方法。
上述电子设备提到的通信总线可以是外设部件互连标准（英文：PeripheralComponent Interconnect，简称：PCI）总线或扩展工业标准结构（英文：Extended IndustryStandard Architecture，简称：EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（英文：Random Access Memory，简称：RAM），也可以包括非易失性存储器（英文：Non-Volatile Memory，简称：NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器（英文：Central ProcessingUnit，简称：CPU）、网络处理器（英文：Network Processor，简称：NP）等；还可以是数字信号处理器（英文：Digital Signal Processing，简称：DSP）、专用集成电路（英文：ApplicationSpecific Integrated Circuit，简称：ASIC）、现场可编程门阵列（英文：Field-Programmable Gate Array，简称：FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于深度学习的心磁信号时空图像预测方法，其特征在于，包括以下步骤，
S1、使用超导量子干涉仪采集36个通道的心磁数据矩阵，建立心磁信号矩阵图像数据集，在线性归一化处理后将心磁信号矩阵图像数据集分为训练集和测试集；
S2、结合多头自注意力机制和编码-解码网络，构建Transformer图像预测模型；
S3、利用步骤S1中的心磁信号矩阵图像数据集的训练集训练Transformer模型，对训练过程中出现的最佳模型权重进行保存，计算预测模型在测试集上的预测准确率，作为Transformer预测模型的评价指标；
S4、以步骤S3中在测试集上的预测准确率作为是否微调Transformer图像预测模型参数的依据，若该评价指标达到预定目标值，则不需要微调模型参数；若该评价指标未达到预定目标值，则微调模型参数，更新网络参数后重复步骤S3，直到评价指标到达预定目标值，完成预测模型参数微调，结束Transformer图像预测模型训练；
S5、将按照步骤S1的操作重新获取心磁信号图像矩阵，输入到步骤S4已训练好的Transformer预测模型中进行预测，得到心磁信号矩阵图像预测结果；
步骤S1中根据实际需要设定超导量子干涉仪的采样周期为T，采用分时分块采点法获得心脏区域中36个采样点的磁场数据，将所得心磁数据按照时间空间排列得到样本数据图像：
其中：表示磁场强度，单位特斯拉，i表示采样时间，j表示采样点的序号；
得到心磁样本数据图像后，对心磁样本数据图像进行线性归一化处理，使矩阵中数据数值处于[0,1]之间，得到数据集作为监督学习的样本,其归一化计算公式为：
(1)
其中：表示心磁矩阵的原始数据；/>表示归一化后的数据；/>表示心磁矩阵的最小值；/>表示心磁矩阵的最大值；
之后将归一化处理的数据集划分为训练集和测试集，并保证每个数据集采样周期能代表同一时段的特征变化样本；
步骤S2中，Transformer心磁图像预测模型由一个编码器和一个解码器构成，其中编码器为Transformer Encoder网络，用于提取输入的心磁信号图像数据集的特征，解码器为全连接层结构，用于根据所提取到的心磁特征信息进行预测；
步骤S2中，定义和建立基于Transformer的心磁信号图像预测模型，并初始化网络内部参数及学习率；原始数据经过嵌入层和位置编码层后将会转化为带有位置信息的特征向量，其中，时序编码主要为局部时序编码，局部时序编码公式如下所示：
(2)
(3)
其中：表示输入心磁信号编码的位置；/>表示输入心磁信号矩阵图像的特征维度；/>表示采用正弦编码时位置编码向量的编码值；/>表示采用余弦编码时位置编码向量的编码值；/>表示超导量子干涉仪单个采样点所采集样本的长度；j表示位置编码向量的维度。
2.根据权利要求1所述的基于深度学习的心磁信号时空图像预测方法，其特征在于：
步骤S2中，在所述Transformer模型的编码器中，采用多头注意力层和MLP进行特征提取，包括：将带有时序信息的心磁特征图像矩阵转换为查询Query矩阵、键Key矩阵和值Value矩阵，输入到多头注意力层提取心磁特征信息，其计算过程如下所示：
在得到Query矩阵、Key矩阵和Value矩阵之后，进行缩放点积注意力处理：
(4)
其中：表示输入的Query矩阵、Key矩阵和Value矩阵；/>表示缩放因子，用于防止点积结果过大或过小；Softmax表示归一化指数函数；
(5)
其中：表示多头注意力层中第i个主头的权重矩阵；/>表示自注意力机制的第i个主头；
是由多个主头部分组成的，每个部分都可表示为一个向量子空间：
(6)
其中：Concatenate函数表示拼接操作，将多头注意力层各个主头计算得到的结果拼接后输出；表示超导量子干涉仪单个采样点所采集样本的长度；/>表示输入心磁信号矩阵图像的特征维度；
在经过多头注意力层处理之后，将多头注意力层的输入和输出以残差的形式相加并进行层归一化操作，以达到辅助梯度传播的作用，其具体计算公式如下所示：
(7)
其中：LayerNorm表示层归一化；表示多头注意力层的输出；/>表示多头注意力层的输入；/>表示残差连接和归一化得到的数据；
多层感知层包括两个全连接层和一个激活函数，通过将残差连接和归一化处理后的数据输入到多头注意力层，使输入特征映射到一个更高维度的隐藏层空间，引入非线性性，并通过第二个全连接层将隐藏层的维度映射回输入特征的维度；保证Transformer模型能够更好地对输入特征进行非线性变换和映射，从而提取更丰富的特征表示，其计算过程用公式表示：
(8)
其中：表示经残差连接和归一化处理后的数据输入；/>表示全连接层的权重矩阵，表示全连接层的偏置；GeLU表示激活函数；Dropout表示输入到第二个全连接层的特征向量以特定的概率随机失活；
再重复进行上述步骤中的残差连接和层归一化操作；
Transformer模型的解码器由全连接层组成，该层每个输入都与每个神经元有连接，输入维度设置为，输出维度为采样点个数，将输入的特征图数据矩阵和全连接层权值矩阵进行线性变换，其计算公式如下所示：
(9)
其中：表示Transformer心磁图像预测模型编码器的输出特征矩阵；/>表示全连接层的权重矩阵；/>表示全连接层的偏置项。
3.根据权利要求1所述的基于深度学习的心磁信号时空图像预测方法，其特征在于：
步骤S3中Transformer心磁图像预测模型的训练过程为：利用步骤S1中的心磁信号矩阵图像数据集的训练集训练步骤S2的Transformer图像预测模型，将预测模型训练完毕得到的各网络参数保存，编码器的最后一层网络隐含层所提取的特征向量即为心磁信号矩阵图像数据集的特征，将心磁信号矩阵图像数据集的特征送入解码器中完成预测，其中网络参数包括权重和偏置。
4.根据权利要求3所述的基于深度学习的心磁信号时空图像预测方法，其特征在于：
步骤S3的解码器所提取的心磁信号矩阵图像数据集的特征在预测模型的各连接层中逐层向前传递，结合AdamW优化算法和StepLR学习率调度器，各层神经元的权值和偏置被不断调整，直到到达迭代次数为止，最终得到Transformer心磁图像预测模型的最优权重与偏置值。
5.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述方法的步骤。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311575600.6A CN117292243B (zh) | 2023-11-24 | 2023-11-24 | 基于深度学习的心磁信号时空图像预测方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311575600.6A CN117292243B (zh) | 2023-11-24 | 2023-11-24 | 基于深度学习的心磁信号时空图像预测方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117292243A CN117292243A (zh) | 2023-12-26 |
| CN117292243B true CN117292243B (zh) | 2024-02-20 |
Family
ID=89252078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311575600.6A Active CN117292243B (zh) | 2023-11-24 | 2023-11-24 | 基于深度学习的心磁信号时空图像预测方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117292243B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109567783A (zh) * | 2018-11-30 | 2019-04-05 | 合肥工业大学 | 一种基于加权马尔可夫模型预测空间位置心磁信号的方法 |
| WO2021159201A1 (en) * | 2020-02-13 | 2021-08-19 | The Toronto-Dominion Bank | Initialization of parameters for machine-learned transformer neural network architectures |
| CN113673594A (zh) * | 2021-08-18 | 2021-11-19 | 浙江工商大学 | 一种基于深度学习网络的瑕疵点识别方法 |
| JP2022139170A (ja) * | 2021-03-11 | 2022-09-26 | 株式会社日立ハイテク | 生体磁気計測装置、生体磁気計測プログラム、および、心磁信号処理方法 |
| CN115622047A (zh) * | 2022-11-04 | 2023-01-17 | 中海储能科技(北京)有限公司 | 基于Transformer模型的电力变压器负荷预测方法 |
| CN116189902A (zh) * | 2023-01-19 | 2023-05-30 | 北京未磁科技有限公司 | 基于心磁图视频数据的心肌缺血预测模型及其构建方法 |
| WO2023217163A1 (zh) * | 2022-05-11 | 2023-11-16 | 华能澜沧江水电股份有限公司 | 一种基于本地自注意力机制的大坝缺陷时序图像描述方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5324743B2 (ja) * | 2003-07-01 | 2013-10-23 | カーディオマグ イメージング、 インコーポレイテッド | 心磁図の分類のための機械学習の使用 |
-
2023
- 2023-11-24 CN CN202311575600.6A patent/CN117292243B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109567783A (zh) * | 2018-11-30 | 2019-04-05 | 合肥工业大学 | 一种基于加权马尔可夫模型预测空间位置心磁信号的方法 |
| WO2021159201A1 (en) * | 2020-02-13 | 2021-08-19 | The Toronto-Dominion Bank | Initialization of parameters for machine-learned transformer neural network architectures |
| JP2022139170A (ja) * | 2021-03-11 | 2022-09-26 | 株式会社日立ハイテク | 生体磁気計測装置、生体磁気計測プログラム、および、心磁信号処理方法 |
| CN113673594A (zh) * | 2021-08-18 | 2021-11-19 | 浙江工商大学 | 一种基于深度学习网络的瑕疵点识别方法 |
| WO2023217163A1 (zh) * | 2022-05-11 | 2023-11-16 | 华能澜沧江水电股份有限公司 | 一种基于本地自注意力机制的大坝缺陷时序图像描述方法 |
| CN115622047A (zh) * | 2022-11-04 | 2023-01-17 | 中海储能科技(北京)有限公司 | 基于Transformer模型的电力变压器负荷预测方法 |
| CN116189902A (zh) * | 2023-01-19 | 2023-05-30 | 北京未磁科技有限公司 | 基于心磁图视频数据的心肌缺血预测模型及其构建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Deep Physics-Informed Super-Resolution of Cardiac 4D-Flow MRI;Fergus Shone等;IPMI 2023: Information Processing in Medical Imaging;511-522 * |
| 加权马氏链模型在概周期心磁信号中的研究;陈波等;电子测量与仪器学报;177-182 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117292243A (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | Intelligent bearing fault diagnosis method combining compressed data acquisition and deep learning | |
| CN110020623B (zh) | 基于条件变分自编码器的人体活动识别***及方法 | |
| CN109036553B (zh) | 一种基于自动抽取医疗专家知识的疾病预测方法 | |
| CN109086805B (zh) | 一种基于深度神经网络和成对约束的聚类方法 | |
| CN109887562B (zh) | 电子病历的相似度确定方法、装置、设备和存储介质 | |
| Al-Khassaweneh et al. | A signal processing approach for the diagnosis of asthma from cough sounds | |
| CN110895705B (zh) | 异常样本检测装置及其训练装置和训练方法 | |
| WO2023137924A1 (zh) | 模型的训练方法和装置、计算机设备、存储介质 | |
| CN116933046B (zh) | 基于深度学习的多模态健康管理方案生成方法和*** | |
| CN111968741A (zh) | 基于深度学习与集成学习的糖尿病并发症高危预警*** | |
| Wang et al. | Assisted diagnosis of alzheimer’s disease based on deep learning and multimodal feature fusion | |
| CN116185694A (zh) | 一种基于相似度的多元时间序列异常检测与诊断方法 | |
| Rezaee et al. | Graph convolutional network‐based deep feature learning for cardiovascular disease recognition from heart sound signals | |
| CN116378120A (zh) | 一种基于自注意力机制的变形监测方法 | |
| Xu et al. | Zero-shot compound fault diagnosis method based on semantic learning and discriminative features | |
| Ma et al. | Application of time-frequency domain and deep learning fusion feature in non-invasive diagnosis of congenital heart disease-related pulmonary arterial hypertension | |
| CN117292243B (zh) | 基于深度学习的心磁信号时空图像预测方法、设备及介质 | |
| CN115994713B (zh) | 一种基于多源数据的操作训练效果评估方法及*** | |
| CN113987910A (zh) | 一种耦合神经网络与动态时间规划的居民负荷辨识方法及装置 | |
| Xiao et al. | AHE detection with a hybrid intelligence model in smart healthcare | |
| CN113192627A (zh) | 一种基于病人与疾病二部图的再入院预测方法及*** | |
| CN112149355A (zh) | 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法 | |
| CN116864128A (zh) | 基于身体活动行为模式监测的心理状态评估***及其方法 | |
| CN116610973A (zh) | 一种传感器故障监测及失效信息重构方法及*** | |
| CN116189048A (zh) | 一种基于深度神经网络和自注意力机制的非接触心率检测方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |