CN113936073B - 一种基于注意力机制的AttISTANet压缩感知磁共振重建方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的AttISTANet的压缩感知磁共振重建方法。是为了解决ISTANet⁺模型缺乏对不同区域和通道中所包含的频率和特征信息的注意，无法区分地学***滑平均绝对损失函数替代ISTANet⁺中的对称约束损失；步骤四：模型测试。本发明用于基于注意力机制的压缩感知MRI重建。

Description

一种基于注意力机制的AttISTANet压缩感知磁共振重建方法

技术领域

本发明涉及磁共振图像重建，具体涉及一种基于注意力机制的AttISTANet压缩感知磁共振重建方法。

背景技术

传统的CS-MRI重建方法大多利用结构稀疏作为图像先验，通过迭代求解稀疏正则化问题。这些方法基于图像的内在性质和已有的图像形成模型。但这类方法通常不仅需要人工设定优化参数，还需要进行复杂的迭代运算，这使得图像重建时间较长，难以满足医疗诊断的需求。

近年来，深层神经网络逐渐兴起，利用深层神经网络强大的特征提取和泛化能力，既可以处理CS中最优变换，又能避免人工设定优化参数。用神经网络代替固定变换学习最优的稀疏变换，训练优化参数；2016年，ADMMNet被提出，该方法将交替方向乘子法(ADMM)方法映射到一个深层网络中，利用循环卷积学习线性最优变换。在此之后，ISTANet被提出，该方法将迭代收缩阈值(ISTA)优化方法映射到一个深层网络中，利用两个卷积层和一个修正线性单元(ReLU)激活函数来实现非线性最优变换，具有较为简单的结构。此外，还提出ISTANet⁺，引入ResNet来降低训练难度。由于优化启发设计，ADMMNet、ISTANet、ISTANet⁺在压缩感知重建、收敛速度等方面均优于普通神经网络。然而，ISTANet⁺模型缺乏对不同区域和通道中所包含的频率和特征信息的注意，无法区分地学习特征。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提出一种基于注意力机制的AttISTANet压缩感知磁共振重建方法，以克服现有的技术缺陷。

为了达到上述目的，本发明提供了一种基于注意力机制的AttISTANet压缩感知磁共振重建方法，该方法包括如下步骤:

步骤一:ISTANet⁺网络结构的构建；

在ISTANet基础上增加了H(·)和L(·)算子，其中H^k(·)和L^k(·)为1×1的卷积核，分别为增加通道数和减少通道数的线性算子，并使用残差结构来降低网络训练难度；

步骤二:基于注意力模块的MRI重建模型构建；

在ISTANet⁺网络的基础上引入注意力模块,在每个重建图像x^k之前添加改进通道注意力模块和空间注意力模块，利用注意力机制模块可以对原始K空间数据的特征进行通道及空间特征的重新标定；

步骤三:损失函数设计；

采用平滑平均绝对损失函数替代ISTANet⁺中的对称约束损失；

步骤四:基于T2肿瘤图像的模型增强及模型迁移；

利用脑部T2肿瘤数据集和正常T1脑部图像数据对数据增强和模型迁移后的模型进行测试。所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法，所述的步骤一的具体过程为：

在ISTANet基础上增加了H(·)和L(·)算子，其中H^k(·)和L^k(·)为1×1的卷积核，分别为增加通道数和减少通道数的线性算子，并使用残差结构来降低网络训练难度，ISTANet⁺方法中第k个阶段的迭代如下：

r^k＝x^k-1-ρ^kΦ^T(Φx^k-1-y) (1)

x^k＝L^k(F^k)^T(soft(F^k(H^k(r^k)),θ^k))+r^k (2)

其中x^k表示重建图像，r^k表示中间变量，k、ρ、φ、y分别为为阶段数、步长、测量矩阵和观测信号；soft(·)表示软阈值函数，θ表示阈值函数的收缩阈值，F(·)表示对某个固定变换F的变换系数，T为转置符号；

在重建MRI图像中，所采用的K空间数据特征散布在不同区域，ADMMNet、ISTANet⁺等方法对K空间数据中高频和低频部分的同等处理，会降低网络对不同区域信息的提取效果，对不同类型特征的识别能力产生影响，从而制约重建精度提升。

所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法，所述的步骤二的具体过程为：

在ISTANet⁺网络引入不同的注意力模块,在每个重建图像x^k和重建中间变量r^k之前添加改进通道注意力模块和空间注意力模块，利用注意力模块对原始K空间数据的特征进行通道及空间特征的重新标定，通过通道注意力模块和空间注意力模块后，其表达式为：

C^k＝L^k(F^k)^T(soft(F^k(H^k(r^k)),θ^k)) (3)

a^k＝sigmoid(relu(w(C^k))) (4)

s^k＝sigmoid(f(a^k)) (5)

x^k＝C^k×s^k+r^k (6)

其中C为需要注意的特征，a和s分别为通道注意力模块和空间注意力模块处理后的特征，w为多层感知器的权重尺度，可以对特征进行缩放，f表示一个卷积操作；

采用的通道注意力机制与空间注意力机制，注意力模块可以得到更加丰富的特征信息，提高重建的精度。LSE函数的表达式如下：

其中S_ij表示(i,j)的激活值，S表示池化区域，(i,j)是池化区域S中一点，并且N是池化区域S总点数，通过自适应超参数u,池化范围可以从S中的最大值(u→∞)到平均值(u→0)，在本发明中u的值可以随网络进行迭代更新，通过LSE可以减少特征信息丢失。

所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法，所述的步骤三的具体过程为：

采用平滑平均绝对损失函数替代ISTANet⁺中的对称约束损失，由于网络的对称性，ISTANet⁺引入了对称约束的损失函数。损失函数如下：

L_total(θ)＝L_discrepancy+γL_constraint (8)

其中k、N_b、N和分别为ISTANet⁺的阶段数、训练总块数、每个块的大小和正则化参数；

使用平滑平均绝对损失对公式(10)进行替换。其中δ设置为0.5，改进的损失函数如下：

所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法，ISTANet⁺网络包括自适应和输入初始层，x^k,r^k分别是重建图像和中间重建模块，网络包含了1到k个阶段的深度结构，其中每个阶段的结构是相同的，前向变换F^k由两个线性卷积算子组成，线性算子由ReLU函数分开，后向变换(F^k)^T与F^k结构对称，其中F^k和(F^k)^T满足F^k·(F^k)^T＝I，I为恒等矩阵。

本发明的有益效果

1.本发明提出了基于注意力机制的重建方法来解决压缩感知MRI重建精度问题，在模型结构上，以CNN强大的学***滑平均绝对损失代替原来的对称约束损失，解决了训练过程中产生的局部最优及训练不稳定等问题。利用T2肿瘤图像对原训练集进行数据增强，并通过数据增强和模型迁移两种训练方式，使模型具有更好泛化能力。

2.本发明的MRI重建方法，与同类优秀方法FISTANet、ISTANet⁺等方法相比，在主观效果上，重建图像与原始图像更相近，有更逼真的脑部和头部MRI图像纹理细节，保留了更多的原始MRI图像信息，在客观指标上，重建图像的PSNR值和SSIM值都有较大提高。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为AttISTANet的发明流程图；

图2为ISTANet⁺网络中一层重建结构示意图；

图3为本发明提出的AttISTANet中一层重建结构示意图；

图4为CBAM中的通道注意力模块与本发明的通道注意力模块结构对比图；

图5为本发明的空间注意力模块结构图；

图6为欠采样率30％各重建方法的脑部MRI重建图像；

图7为欠采样率25％各重建方法的脑部MRI重建图像；

图8为模型迁移下肿瘤不同添加比例的PSNR值和SSIM值曲线图；

图9为数据增强下不同肿瘤添加比的PSNR值和SSIM值结果曲线图；

具体实施方式

为了能够进一步了解本发明的结构、特征，现结合所附较佳实施例附以附图详细说明如下，本附图所说明的实施例仅用于说明本发明的技术方案，并非限定本发明。

具体实施方式一：

本实施方式所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法，其特征在于，该方法包括如下步骤:

步骤一:ISTANet⁺网络结构的构建；

在ISTANet基础上增加了H(·)和L(·)算子，其中H^k(·)和L^k(·)为1×1的卷积核，分别为增加通道数和减少通道数的线性算子，分别为增加通道数和减少通道数的线性算子，并使用残差结构来降低网络训练难度；

步骤二:基于注意力模块的MRI重建模型构建；

在ISTANet⁺网络中引入注意力模块,在每个重建图像x^k之前添加改进的通道注意力模块和空间注意力模块，利用注意力机制模块可以对原始K空间数据的特征进行通道及空间特征的重新标定；

步骤三:损失函数设计；

采用平滑平均绝对损失函数替代ISTANet⁺中的对称约束损失；

步骤四:基于T2肿瘤图像的模型增强及模型迁移；

利用脑部T2肿瘤数据集和正常T1脑部图像数据对数据增强和模型迁移后的模型进行测试；具体实施方式二：

本实施方式是对具体实施方式一所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法的进一步说明，所述的步骤一的具体过程为：在ISTANet基础上增加了H(·)和L(·)算子，其中H^k(·)和L^k(·)为1×1的卷积核，分别为增加通道数和减少通道数的线性算子，分别为增加通道数和减少通道数的线性算子，并使用残差结构来降低网络训练难度，ISTANet⁺方法中第k个阶段的迭代如下：

r^k＝x^k-1-ρ^kΦ^T(Φx^k-1-y) (1)

x^k＝L^k(F^k)^T(soft(F^k(H^k(r^k)),θ^k))+r^k (2)

在重建MRI图像中，所采用的K空间数据特征散布在不同区域，ADMMNet、ISTANet⁺等方法对K空间数据中高频和低频部分的同等处理，会降低网络对不同区域信息的提取效果，对不同类型特征的识别能力产生影响，从而制约重建精度提升。

具体实施方式三：

本实施方式是对具体实施方式一所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法的进一步说明，所述的步骤二的具体过程为：在ISTANet⁺网络引入不同的注意力模块,在每个重建图像x^k重建和中间变量r^k之前添加改进通道注意力模块和空间注意力模块，利用注意力模块对原始K空间数据的特征进行通道及空间特征的重新标定，通过通道注意力模块和空间注意力模块后，其表达式为：

C^k＝L^k(F^k)^T(soft(F^k(H^k(r^k)),θ^k)) (3)

a^k＝sigmoid(relu(w(C^k))) (4)

s^k＝sigmoid(f(a^k)) (5)

x^k＝C^k×s^k+r^k (6)

具体实施方式四：

本实施方式是对具体实施方式一所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法的进一步说明，所述的步骤三的具体过程为：采用平滑平均绝对损失函数替代ISTANet⁺中的对称约束损失，由于网络的对称性，ISTANet⁺引入了对称约束的损失函数。损失函数如下：

L_total(θ)＝L_discrepancy+γL_constraint (8)

其中k、N_b、N和分别为ISTANet⁺的阶段数、训练总块数、每个块的大小和正则化参数；

使用平滑平均绝对损失对公式(10)进行替换。其中δ设置为0.5，改进的损失函数如下：

具体实施方式五：

本实施方式是对具体实施方式一所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法的进一步说明，ISTANet⁺网络包括自适应和输入初始层，x^k,r^k分别是重建图像和中间重建模块，网络包含了1到k个阶段的深度结构，其中每个阶段的结构是相同的，前向变换F^k由两个线性卷积算子组成，线性算子由ReLU函数分开，后向变换(F^k)^T与F^k结构对称，其中F^k和(F^k)^T满足F^k·(F^k)^T＝I，I为恒等矩阵。

重建方法性能测试：

(1)参数及数据集设置

本发明测试条件CPU为Intel Core i7-9700k，内存为32G，GPU为NVIDIA GeForceRTX 2070Super，显存为8GB，平台搭建的操作***为Windows 10，深度学习框架为Pytorch-GPU10.0，Python版本为Python3.7。

测试使用MICCAI2013竞赛的脑部MRIT1数据集、MICCAI2018竞赛MRIT2数据集以及帝国理工大学IXI数据库的头部MRIT1数据集。从MICCAI2013数据集中选取了100组3DMRIT1脑部图像，共13325张大小为256×256的2DMRIT1脑部图像，其中9829张作为训练集，共3495张2D图像来作为测试集；从IXI数据集中选取了50组3DMRIT1头部图像，共7293张大小为256×256的2DMRIT1脑部图像，其中5188张(70％)作为训练集，2105(30％)张作为测试集；

欠采样率设置为10％、25％、30％和40％。为了网络优化，使用Adam优化，学习率设置为0.0001，批量大小为64，阶段数为9；

(2)数据集增强；

采用数据增强的方式来防止模型参数出现过拟合的现象，采用脑部肿瘤图像对原数据集进行增强，这种添加方式更符合实际的MRI图像重建的要求。除数据增强以外，本发明还采用模型迁移方式对参数进行调整，利用脑部T2肿瘤数据集和正常T1脑部图像数据对数据增强和模型迁移后的模型进行测试。通过测试结果比对找到较为合适的参数调节方式。

本发明从MICCAI2018数据集中选取了100组3DMRIT2肿瘤图像，其中的1936张大小为256×256的2DMRIT2肿瘤图像。利用T2肿瘤数据集与本发明所使用的MRIT1数据集分别按照10:1、20:3、5:1的比例进行扩充。此外，还采用模型迁移的方式，用T2肿瘤数据集按照与数据增强相同的比例对训练好的MRIT1数据集的参数进行微调；

(3)评价指标及性能测试；

在相同的测试条件下，本发明与ISTANet、ISTANet⁺、FISTANet重建MRI图像的测试结果进行对比。本发明从两个方面来测试重建MRI图像的质量，一方面是客观评价标准，本发明采用结构相似性(Structural similarity index,SSIM)、峰值信噪比(Peak Signalto NoiseRatio,PSNR)作为衡量重建MRI图像质量的客观指标，采用时间(Time)作为衡量重建MRI速度指标；另一方面是主观视觉效果，即通过人眼观察重建图像的一些纹理细节以及局部差分图来判断重建图像的好坏；

对比不同方法的结果表明本发明提出的方法具有更高的客观指标，表1给出了脑部数据在不同欠采样速率下所有方法的定量结果，本专利提出的方法具有较高的重建精度。在表1中可以看出，在各采样率下，本发明提出的方法的客观指标均接近或高于其他方法，尤其是在采样率为25％及以上时，本发明提出的方法的客观指标至少高于其他方法1dB以上；

表1不同采样率下重建的脑部MRI图像客观指标

表2显示了头部数据在不同欠采样速率下所有方法的定量结果。从表2中可以看出，本发明提出的方法在较少的训练样本下依然具有良好的表现，客观指标依然优于其他比较方法；

表2不同采样率下重建的头部MRI图像客观指标

除客观指标外，从局部图及局部差分图中也能直观的看出本发明与其他方法的差异。图5及图6从左至右依次为原始图像、ISTANet、ISTANet⁺、FISTANet和本发明专利提出的方法重建出的MRI图像，每张重建图像下方为相对应的局部图和局部差分图，从图5及图6的局部图以及局部差分图可以明显看出：本发明方法相较于其他方法重建出的MRI图像，与原始图像的差距更小，重建脑部MRI图像纹理细节更逼真，保留了更多的原始MRI图像信息。

同时，本发明还对所提出的数据增强和模型迁移进行了测试并对填充数量与重建结果的关系进行讨论。表3为数据增强和模型迁移后的结果，根据客观指标可以看出，在数据增强的方式下，肿瘤和正常脑部图像重建结果均有显著提升，而采用模型迁移的方式，调整后的参数只对肿瘤图像有较好的重建结果。

表3采样率为25％不同方式数据增强脑部MRI图像客观指标

图7和图8分别为模型迁移和数据增强不同比例下的客观指标(PSNR和SSIM)的趋势图，从图7中可以明显看出，随着肿瘤数据的增多。经模型迁移后，正常脑部图像的重建结果呈下降的趋势，而肿瘤图像重建结果呈上升趋势；图8中，经数据增强后，正常和肿瘤图像的重建结果均呈平稳或上升的趋势。但从训练时长的角度，数据增强的训练时长往往是模型迁移的几十倍。在对图像的重建精度影响较少的同时，这两种方式均可以防止模型出现过拟合，增强了方法的鲁棒性。

需要声明的是，上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内，当可作各种修改、等同替换或改进。本发明的保护范围以所附权利要求书为准。

Claims (5)

1.一种基于注意力机制的AttISTANet压缩感知磁共振重建方法，其特征在于：该方法包括如下步骤：

步骤一：ISTANet⁺网络结构的构建；

在ISTANet基础上增加了H(·)和L(·)算子，其中H^k(·)和L^k(·)为1×1的卷积核，其中H^k和L^k分别为增加通道数和减少通道数的线性算子，并使用残差结构来降低网络训练难度；

步骤二：基于注意力模块的MRI重建模型构建；

在ISTANet⁺网络引入不同的注意力模块，在每个重建图像x^k之前添加通道注意力模块和空间注意力模块，得到AttISTANet算法，可以对原始K空间数据的特征进行通道及空间特征的重新标定；

步骤三：损失函数设计；

采用平滑平均绝对损失函数替代ISTANet⁺中的对称约束损失；

步骤四：基于T2肿瘤图像的模型增强及模型迁移；

利用脑部T2肿瘤数据集和正常T1脑部图像数据对数据增强和模型迁移后的模型进行测试。

2.如权利要求1所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法，其特征在于：所述的步骤一的具体过程为：在ISTANet基础上增加了H(·)和L(·)算子，其中H^k(·)和L^k(·)为1×1的卷积核，分别为增加通道数和减少通道数的线性算子，并使用残差结构来降低网络训练难度，ISTANet⁺方法中第k个阶段的迭代如下：

r^k＝x^k-1-ρ^kΦ^T(Φx^k-1-y) (1)

x^k＝L^k(F^k)^T(soft(F^k(H^k(r^k))，θ^k))+r^k (2)

其中x^k表示重建图像，r^k表示中间变量，k、ρ、Φ、y分别为为阶段数、步长、测量矩阵和观测信号；soft(·)表示软阈值函数，θ表示阈值函数的收缩阈值，F(·)表示对某个固定变换F的变换系数，T为转置符号；

在重建MRI图像中，所使用的K空间数据特征散布在不同区域ADMMNet、ISTANet⁺算法对K空间数据中高频和低频部分的同等处理，会降低网络对不同区域信息的提取效果，对不同类型特征的识别能力产生影响，从而制约重建精度提升。

3.如权利要求2所述的一种基于注意力机制的AttISTANet的压缩感知磁共振重建方法，其特征在于：所述的步骤二的具体过程为：在ISTANet⁺网络引入不同的注意力模块，在重建图像x^k和重建中间变量r^k之前添加通道注意力模块和空间注意力模块，利用注意力模块对原始K空间数据的特征进行通道及空间特征的重新标定，通过通道注意力模块和空间注意力模块后，其表达式为：

C^k＝L^k(F^k)^T(soft(F^k(H^k(r^k))，θ^k)) (3)

a^k＝sigmoid(relu(w(C^k))) (4)

s^k＝sigmoid(f(a^k)) (5)

x^k＝C^k×s^k+r^k (6)

其中，C为需要注意的特征，a和s分别为通道注意力模块和空间注意力模块处理后的特征，w为多层感知器的权重尺度，可以对特征进行缩放，f表示一个卷积操作；

采用的通道注意力机制与空间注意力机制，注意力模块可以得到更加丰富的特征信息，提高重建的精度，LSE函数的表达式如下：

其中S_ij表示(i，j)的激活值，S表示池化区域，(i，j)是池化区域S中一点，并且N是池化区域S总点数，通过自适应超参数u，池化范围可以从S中的最大值(u→∞)到平均值(u→0)，u的值可以随网络进行迭代更新，通过LSE可以减少特征信息丢失。

4.如权利要求3所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法，其特征在于：所述的步骤三的具体过程为：根据贪婪算法的思想采用平滑平均绝对损失函数替代ISTANet⁺中的对称约束损失，由于网络的对称性，

ISTANet⁺引入了对称约束的损失函数，损失函数如下：

L_total(θ)＝L_discrepancy+γL_constraint (8)

其中，k、N_b、N和γ分别为ISTANet⁺的阶段数、训练总块数、每个块的大小和正则化参数；

使用平滑平均绝对损失对公式(10)进行替换，其中，δ设置为0.5，改进的损失函数如下：

5.如权利要求4所述的一种基于注意力机制AttISTANet的压缩感知磁共振重建方法，其特征在于：ISTANet⁺网络包括自适应和输入初始层，x^k，r^k分别是重建图像和中间重建模块，网络包含了1到k个阶段的深度结构，其中每个阶段的结构是相同的，前向变换F^k由两个

线性卷积算子组成，线性算子由ReLU函数分开，后向变换(F^k)^T与F^k结构对称，其中F^k和(F^k)^T满足F^k·(F^k)^T＝I，I为恒等矩阵。