CN113936073B - 一种基于注意力机制的AttISTANet压缩感知磁共振重建方法 - Google Patents
一种基于注意力机制的AttISTANet压缩感知磁共振重建方法 Download PDFInfo
- Publication number
- CN113936073B CN113936073B CN202111290411.5A CN202111290411A CN113936073B CN 113936073 B CN113936073 B CN 113936073B CN 202111290411 A CN202111290411 A CN 202111290411A CN 113936073 B CN113936073 B CN 113936073B
- Authority
- CN
- China
- Prior art keywords
- istanet
- attention
- attistanet
- reconstruction
- attention module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000007246 mechanism Effects 0.000 title claims abstract description 27
- 230000006870 function Effects 0.000 claims description 28
- 210000004556 brain Anatomy 0.000 claims description 26
- 206010028980 Neoplasm Diseases 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 230000005012 migration Effects 0.000 claims description 15
- 238000013508 migration Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 12
- 238000013461 design Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 102100025752 CASP8 and FADD-like apoptosis regulator Human genes 0.000 description 3
- 101710100501 CASP8 and FADD-like apoptosis regulator Proteins 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 101000903698 Mus musculus B-cell lymphoma/leukemia 11B Proteins 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于注意力机制的AttISTANet的压缩感知磁共振重建方法。是为了解决ISTANet+模型缺乏对不同区域和通道中所包含的频率和特征信息的注意,无法区分地学***滑平均绝对损失函数替代ISTANet+中的对称约束损失;步骤四:模型测试。本发明用于基于注意力机制的压缩感知MRI重建。
Description
技术领域
本发明涉及磁共振图像重建,具体涉及一种基于注意力机制的AttISTANet压缩感知磁共振重建方法。
背景技术
传统的CS-MRI重建方法大多利用结构稀疏作为图像先验,通过迭代求解稀疏正则化问题。这些方法基于图像的内在性质和已有的图像形成模型。但这类方法通常不仅需要人工设定优化参数,还需要进行复杂的迭代运算,这使得图像重建时间较长,难以满足医疗诊断的需求。
近年来,深层神经网络逐渐兴起,利用深层神经网络强大的特征提取和泛化能力,既可以处理CS中最优变换,又能避免人工设定优化参数。用神经网络代替固定变换学习最优的稀疏变换,训练优化参数;2016年,ADMMNet被提出,该方法将交替方向乘子法(ADMM)方法映射到一个深层网络中,利用循环卷积学习线性最优变换。在此之后,ISTANet被提出,该方法将迭代收缩阈值(ISTA)优化方法映射到一个深层网络中,利用两个卷积层和一个修正线性单元(ReLU)激活函数来实现非线性最优变换,具有较为简单的结构。此外,还提出ISTANet+,引入ResNet来降低训练难度。由于优化启发设计,ADMMNet、ISTANet、ISTANet+在压缩感知重建、收敛速度等方面均优于普通神经网络。然而,ISTANet+模型缺乏对不同区域和通道中所包含的频率和特征信息的注意,无法区分地学习特征。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提出一种基于注意力机制的AttISTANet压缩感知磁共振重建方法,以克服现有的技术缺陷。
为了达到上述目的,本发明提供了一种基于注意力机制的AttISTANet压缩感知磁共振重建方法,该方法包括如下步骤:
步骤一:ISTANet+网络结构的构建;
在ISTANet基础上增加了H(·)和L(·)算子,其中Hk(·)和Lk(·)为1×1的卷积核,分别为增加通道数和减少通道数的线性算子,并使用残差结构来降低网络训练难度;
步骤二:基于注意力模块的MRI重建模型构建;
在ISTANet+网络的基础上引入注意力模块,在每个重建图像xk之前添加改进通道注意力模块和空间注意力模块,利用注意力机制模块可以对原始K空间数据的特征进行通道及空间特征的重新标定;
步骤三:损失函数设计;
采用平滑平均绝对损失函数替代ISTANet+中的对称约束损失;
步骤四:基于T2肿瘤图像的模型增强及模型迁移;
利用脑部T2肿瘤数据集和正常T1脑部图像数据对数据增强和模型迁移后的模型进行测试。所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法,所述的步骤一的具体过程为:
在ISTANet基础上增加了H(·)和L(·)算子,其中Hk(·)和Lk(·)为1×1的卷积核,分别为增加通道数和减少通道数的线性算子,并使用残差结构来降低网络训练难度,ISTANet+方法中第k个阶段的迭代如下:
rk=xk-1-ρkΦT(Φxk-1-y) (1)
xk=Lk(Fk)T(soft(Fk(Hk(rk)),θk))+rk (2)
其中xk表示重建图像,rk表示中间变量,k、ρ、φ、y分别为为阶段数、步长、测量矩阵和观测信号;soft(·)表示软阈值函数,θ表示阈值函数的收缩阈值,F(·)表示对某个固定变换F的变换系数,T为转置符号;
在重建MRI图像中,所采用的K空间数据特征散布在不同区域,ADMMNet、ISTANet+等方法对K空间数据中高频和低频部分的同等处理,会降低网络对不同区域信息的提取效果,对不同类型特征的识别能力产生影响,从而制约重建精度提升。
所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法,所述的步骤二的具体过程为:
在ISTANet+网络引入不同的注意力模块,在每个重建图像xk和重建中间变量rk之前添加改进通道注意力模块和空间注意力模块,利用注意力模块对原始K空间数据的特征进行通道及空间特征的重新标定,通过通道注意力模块和空间注意力模块后,其表达式为:
Ck=Lk(Fk)T(soft(Fk(Hk(rk)),θk)) (3)
ak=sigmoid(relu(w(Ck))) (4)
sk=sigmoid(f(ak)) (5)
xk=Ck×sk+rk (6)
其中C为需要注意的特征,a和s分别为通道注意力模块和空间注意力模块处理后的特征,w为多层感知器的权重尺度,可以对特征进行缩放,f表示一个卷积操作;
采用的通道注意力机制与空间注意力机制,注意力模块可以得到更加丰富的特征信息,提高重建的精度。LSE函数的表达式如下:
其中Sij表示(i,j)的激活值,S表示池化区域,(i,j)是池化区域S中一点,并且N是池化区域S总点数,通过自适应超参数u,池化范围可以从S中的最大值(u→∞)到平均值(u→0),在本发明中u的值可以随网络进行迭代更新,通过LSE可以减少特征信息丢失。
所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法,所述的步骤三的具体过程为:
采用平滑平均绝对损失函数替代ISTANet+中的对称约束损失,由于网络的对称性,ISTANet+引入了对称约束的损失函数。损失函数如下:
Ltotal(θ)=Ldiscrepancy+γLconstraint (8)
其中k、Nb、N和分别为ISTANet+的阶段数、训练总块数、每个块的大小和正则化参数;
使用平滑平均绝对损失对公式(10)进行替换。其中δ设置为0.5,改进的损失函数如下:
所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法,ISTANet+网络包括自适应和输入初始层,xk,rk分别是重建图像和中间重建模块,网络包含了1到k个阶段的深度结构,其中每个阶段的结构是相同的,前向变换Fk由两个线性卷积算子组成,线性算子由ReLU函数分开,后向变换(Fk)T与Fk结构对称,其中Fk和(Fk)T满足Fk·(Fk)T=I,I为恒等矩阵。
本发明的有益效果
1.本发明提出了基于注意力机制的重建方法来解决压缩感知MRI重建精度问题,在模型结构上,以CNN强大的学***滑平均绝对损失代替原来的对称约束损失,解决了训练过程中产生的局部最优及训练不稳定等问题。利用T2肿瘤图像对原训练集进行数据增强,并通过数据增强和模型迁移两种训练方式,使模型具有更好泛化能力。
2.本发明的MRI重建方法,与同类优秀方法FISTANet、ISTANet+等方法相比,在主观效果上,重建图像与原始图像更相近,有更逼真的脑部和头部MRI图像纹理细节,保留了更多的原始MRI图像信息,在客观指标上,重建图像的PSNR值和SSIM值都有较大提高。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为AttISTANet的发明流程图;
图2为ISTANet+网络中一层重建结构示意图;
图3为本发明提出的AttISTANet中一层重建结构示意图;
图4为CBAM中的通道注意力模块与本发明的通道注意力模块结构对比图;
图5为本发明的空间注意力模块结构图;
图6为欠采样率30%各重建方法的脑部MRI重建图像;
图7为欠采样率25%各重建方法的脑部MRI重建图像;
图8为模型迁移下肿瘤不同添加比例的PSNR值和SSIM值曲线图;
图9为数据增强下不同肿瘤添加比的PSNR值和SSIM值结果曲线图;
具体实施方式
为了能够进一步了解本发明的结构、特征,现结合所附较佳实施例附以附图详细说明如下,本附图所说明的实施例仅用于说明本发明的技术方案,并非限定本发明。
具体实施方式一:
本实施方式所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法,其特征在于,该方法包括如下步骤:
步骤一:ISTANet+网络结构的构建;
在ISTANet基础上增加了H(·)和L(·)算子,其中Hk(·)和Lk(·)为1×1的卷积核,分别为增加通道数和减少通道数的线性算子,分别为增加通道数和减少通道数的线性算子,并使用残差结构来降低网络训练难度;
步骤二:基于注意力模块的MRI重建模型构建;
在ISTANet+网络中引入注意力模块,在每个重建图像xk之前添加改进的通道注意力模块和空间注意力模块,利用注意力机制模块可以对原始K空间数据的特征进行通道及空间特征的重新标定;
步骤三:损失函数设计;
采用平滑平均绝对损失函数替代ISTANet+中的对称约束损失;
步骤四:基于T2肿瘤图像的模型增强及模型迁移;
利用脑部T2肿瘤数据集和正常T1脑部图像数据对数据增强和模型迁移后的模型进行测试;具体实施方式二:
本实施方式是对具体实施方式一所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法的进一步说明,所述的步骤一的具体过程为:在ISTANet基础上增加了H(·)和L(·)算子,其中Hk(·)和Lk(·)为1×1的卷积核,分别为增加通道数和减少通道数的线性算子,分别为增加通道数和减少通道数的线性算子,并使用残差结构来降低网络训练难度,ISTANet+方法中第k个阶段的迭代如下:
rk=xk-1-ρkΦT(Φxk-1-y) (1)
xk=Lk(Fk)T(soft(Fk(Hk(rk)),θk))+rk (2)
在重建MRI图像中,所采用的K空间数据特征散布在不同区域,ADMMNet、ISTANet+等方法对K空间数据中高频和低频部分的同等处理,会降低网络对不同区域信息的提取效果,对不同类型特征的识别能力产生影响,从而制约重建精度提升。
具体实施方式三:
本实施方式是对具体实施方式一所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法的进一步说明,所述的步骤二的具体过程为:在ISTANet+网络引入不同的注意力模块,在每个重建图像xk重建和中间变量rk之前添加改进通道注意力模块和空间注意力模块,利用注意力模块对原始K空间数据的特征进行通道及空间特征的重新标定,通过通道注意力模块和空间注意力模块后,其表达式为:
Ck=Lk(Fk)T(soft(Fk(Hk(rk)),θk)) (3)
ak=sigmoid(relu(w(Ck))) (4)
sk=sigmoid(f(ak)) (5)
xk=Ck×sk+rk (6)
具体实施方式四:
本实施方式是对具体实施方式一所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法的进一步说明,所述的步骤三的具体过程为:采用平滑平均绝对损失函数替代ISTANet+中的对称约束损失,由于网络的对称性,ISTANet+引入了对称约束的损失函数。损失函数如下:
Ltotal(θ)=Ldiscrepancy+γLconstraint (8)
其中k、Nb、N和分别为ISTANet+的阶段数、训练总块数、每个块的大小和正则化参数;
使用平滑平均绝对损失对公式(10)进行替换。其中δ设置为0.5,改进的损失函数如下:
具体实施方式五:
本实施方式是对具体实施方式一所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法的进一步说明,ISTANet+网络包括自适应和输入初始层,xk,rk分别是重建图像和中间重建模块,网络包含了1到k个阶段的深度结构,其中每个阶段的结构是相同的,前向变换Fk由两个线性卷积算子组成,线性算子由ReLU函数分开,后向变换(Fk)T与Fk结构对称,其中Fk和(Fk)T满足Fk·(Fk)T=I,I为恒等矩阵。
重建方法性能测试:
(1)参数及数据集设置
本发明测试条件CPU为Intel Core i7-9700k,内存为32G,GPU为NVIDIA GeForceRTX 2070Super,显存为8GB,平台搭建的操作***为Windows 10,深度学习框架为Pytorch-GPU10.0,Python版本为Python3.7。
测试使用MICCAI2013竞赛的脑部MRIT1数据集、MICCAI2018竞赛MRIT2数据集以及帝国理工大学IXI数据库的头部MRIT1数据集。从MICCAI2013数据集中选取了100组3DMRIT1脑部图像,共13325张大小为256×256的2DMRIT1脑部图像,其中9829张作为训练集,共3495张2D图像来作为测试集;从IXI数据集中选取了50组3DMRIT1头部图像,共7293张大小为256×256的2DMRIT1脑部图像,其中5188张(70%)作为训练集,2105(30%)张作为测试集;
欠采样率设置为10%、25%、30%和40%。为了网络优化,使用Adam优化,学习率设置为0.0001,批量大小为64,阶段数为9;
(2)数据集增强;
采用数据增强的方式来防止模型参数出现过拟合的现象,采用脑部肿瘤图像对原数据集进行增强,这种添加方式更符合实际的MRI图像重建的要求。除数据增强以外,本发明还采用模型迁移方式对参数进行调整,利用脑部T2肿瘤数据集和正常T1脑部图像数据对数据增强和模型迁移后的模型进行测试。通过测试结果比对找到较为合适的参数调节方式。
本发明从MICCAI2018数据集中选取了100组3DMRIT2肿瘤图像,其中的1936张大小为256×256的2DMRIT2肿瘤图像。利用T2肿瘤数据集与本发明所使用的MRIT1数据集分别按照10:1、20:3、5:1的比例进行扩充。此外,还采用模型迁移的方式,用T2肿瘤数据集按照与数据增强相同的比例对训练好的MRIT1数据集的参数进行微调;
(3)评价指标及性能测试;
在相同的测试条件下,本发明与ISTANet、ISTANet+、FISTANet重建MRI图像的测试结果进行对比。本发明从两个方面来测试重建MRI图像的质量,一方面是客观评价标准,本发明采用结构相似性(Structural similarity index,SSIM)、峰值信噪比(Peak Signalto NoiseRatio,PSNR)作为衡量重建MRI图像质量的客观指标,采用时间(Time)作为衡量重建MRI速度指标;另一方面是主观视觉效果,即通过人眼观察重建图像的一些纹理细节以及局部差分图来判断重建图像的好坏;
对比不同方法的结果表明本发明提出的方法具有更高的客观指标,表1给出了脑部数据在不同欠采样速率下所有方法的定量结果,本专利提出的方法具有较高的重建精度。在表1中可以看出,在各采样率下,本发明提出的方法的客观指标均接近或高于其他方法,尤其是在采样率为25%及以上时,本发明提出的方法的客观指标至少高于其他方法1dB以上;
表1不同采样率下重建的脑部MRI图像客观指标
表2显示了头部数据在不同欠采样速率下所有方法的定量结果。从表2中可以看出,本发明提出的方法在较少的训练样本下依然具有良好的表现,客观指标依然优于其他比较方法;
表2不同采样率下重建的头部MRI图像客观指标
除客观指标外,从局部图及局部差分图中也能直观的看出本发明与其他方法的差异。图5及图6从左至右依次为原始图像、ISTANet、ISTANet+、FISTANet和本发明专利提出的方法重建出的MRI图像,每张重建图像下方为相对应的局部图和局部差分图,从图5及图6的局部图以及局部差分图可以明显看出:本发明方法相较于其他方法重建出的MRI图像,与原始图像的差距更小,重建脑部MRI图像纹理细节更逼真,保留了更多的原始MRI图像信息。
同时,本发明还对所提出的数据增强和模型迁移进行了测试并对填充数量与重建结果的关系进行讨论。表3为数据增强和模型迁移后的结果,根据客观指标可以看出,在数据增强的方式下,肿瘤和正常脑部图像重建结果均有显著提升,而采用模型迁移的方式,调整后的参数只对肿瘤图像有较好的重建结果。
表3采样率为25%不同方式数据增强脑部MRI图像客观指标
图7和图8分别为模型迁移和数据增强不同比例下的客观指标(PSNR和SSIM)的趋势图,从图7中可以明显看出,随着肿瘤数据的增多。经模型迁移后,正常脑部图像的重建结果呈下降的趋势,而肿瘤图像重建结果呈上升趋势;图8中,经数据增强后,正常和肿瘤图像的重建结果均呈平稳或上升的趋势。但从训练时长的角度,数据增强的训练时长往往是模型迁移的几十倍。在对图像的重建精度影响较少的同时,这两种方式均可以防止模型出现过拟合,增强了方法的鲁棒性。
需要声明的是,上述发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用,不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理内,当可作各种修改、等同替换或改进。本发明的保护范围以所附权利要求书为准。
Claims (5)
1.一种基于注意力机制的AttISTANet压缩感知磁共振重建方法,其特征在于:该方法包括如下步骤:
步骤一:ISTANet+网络结构的构建;
在ISTANet基础上增加了H(·)和L(·)算子,其中Hk(·)和Lk(·)为1×1的卷积核,其中Hk和Lk分别为增加通道数和减少通道数的线性算子,并使用残差结构来降低网络训练难度;
步骤二:基于注意力模块的MRI重建模型构建;
在ISTANet+网络引入不同的注意力模块,在每个重建图像xk之前添加通道注意力模块和空间注意力模块,得到AttISTANet算法,可以对原始K空间数据的特征进行通道及空间特征的重新标定;
步骤三:损失函数设计;
采用平滑平均绝对损失函数替代ISTANet+中的对称约束损失;
步骤四:基于T2肿瘤图像的模型增强及模型迁移;
利用脑部T2肿瘤数据集和正常T1脑部图像数据对数据增强和模型迁移后的模型进行测试。
2.如权利要求1所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法,其特征在于:所述的步骤一的具体过程为:在ISTANet基础上增加了H(·)和L(·)算子,其中Hk(·)和Lk(·)为1×1的卷积核,分别为增加通道数和减少通道数的线性算子,并使用残差结构来降低网络训练难度,ISTANet+方法中第k个阶段的迭代如下:
rk=xk-1-ρkΦT(Φxk-1-y) (1)
xk=Lk(Fk)T(soft(Fk(Hk(rk)),θk))+rk (2)
其中xk表示重建图像,rk表示中间变量,k、ρ、Φ、y分别为为阶段数、步长、测量矩阵和观测信号;soft(·)表示软阈值函数,θ表示阈值函数的收缩阈值,F(·)表示对某个固定变换F的变换系数,T为转置符号;
在重建MRI图像中,所使用的K空间数据特征散布在不同区域ADMMNet、ISTANet+算法对K空间数据中高频和低频部分的同等处理,会降低网络对不同区域信息的提取效果,对不同类型特征的识别能力产生影响,从而制约重建精度提升。
3.如权利要求2所述的一种基于注意力机制的AttISTANet的压缩感知磁共振重建方法,其特征在于:所述的步骤二的具体过程为:在ISTANet+网络引入不同的注意力模块,在重建图像xk和重建中间变量rk之前添加通道注意力模块和空间注意力模块,利用注意力模块对原始K空间数据的特征进行通道及空间特征的重新标定,通过通道注意力模块和空间注意力模块后,其表达式为:
Ck=Lk(Fk)T(soft(Fk(Hk(rk)),θk)) (3)
ak=sigmoid(relu(w(Ck))) (4)
sk=sigmoid(f(ak)) (5)
xk=Ck×sk+rk (6)
其中,C为需要注意的特征,a和s分别为通道注意力模块和空间注意力模块处理后的特征,w为多层感知器的权重尺度,可以对特征进行缩放,f表示一个卷积操作;
采用的通道注意力机制与空间注意力机制,注意力模块可以得到更加丰富的特征信息,提高重建的精度,LSE函数的表达式如下:
其中Sij表示(i,j)的激活值,S表示池化区域,(i,j)是池化区域S中一点,并且N是池化区域S总点数,通过自适应超参数u,池化范围可以从S中的最大值(u→∞)到平均值(u→0),u的值可以随网络进行迭代更新,通过LSE可以减少特征信息丢失。
4.如权利要求3所述的一种基于注意力机制的AttISTANet压缩感知磁共振重建方法,其特征在于:所述的步骤三的具体过程为:根据贪婪算法的思想采用平滑平均绝对损失函数替代ISTANet+中的对称约束损失,由于网络的对称性,
ISTANet+引入了对称约束的损失函数,损失函数如下:
Ltotal(θ)=Ldiscrepancy+γLconstraint (8)
其中,k、Nb、N和γ分别为ISTANet+的阶段数、训练总块数、每个块的大小和正则化参数;
使用平滑平均绝对损失对公式(10)进行替换,其中,δ设置为0.5,改进的损失函数如下:
5.如权利要求4所述的一种基于注意力机制AttISTANet的压缩感知磁共振重建方法,其特征在于:ISTANet+网络包括自适应和输入初始层,xk,rk分别是重建图像和中间重建模块,网络包含了1到k个阶段的深度结构,其中每个阶段的结构是相同的,前向变换Fk由两个
线性卷积算子组成,线性算子由ReLU函数分开,后向变换(Fk)T与Fk结构对称,其中Fk和(Fk)T满足Fk·(Fk)T=I,I为恒等矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111290411.5A CN113936073B (zh) | 2021-11-02 | 2021-11-02 | 一种基于注意力机制的AttISTANet压缩感知磁共振重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111290411.5A CN113936073B (zh) | 2021-11-02 | 2021-11-02 | 一种基于注意力机制的AttISTANet压缩感知磁共振重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113936073A CN113936073A (zh) | 2022-01-14 |
CN113936073B true CN113936073B (zh) | 2024-05-14 |
Family
ID=79285255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111290411.5A Active CN113936073B (zh) | 2021-11-02 | 2021-11-02 | 一种基于注意力机制的AttISTANet压缩感知磁共振重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113936073B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596994A (zh) * | 2018-04-24 | 2018-09-28 | 朱高杰 | 一种基于深度学习和数据自洽的磁共振弥散加权成像方法 |
CN111161200A (zh) * | 2019-12-22 | 2020-05-15 | 天津大学 | 基于注意力机制的人体姿态迁移方法 |
CN111402137A (zh) * | 2020-03-20 | 2020-07-10 | 南京信息工程大学 | 一种基于感知损失引导的深度注意力编解码单图像超分辨率算法 |
CN112884851A (zh) * | 2021-01-27 | 2021-06-01 | 武汉大学 | 一种展开迭代优化算法的深度压缩感知网络 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11454689B2 (en) * | 2019-09-05 | 2022-09-27 | Canon Medical Systems Corporation | Magnetic resonance imaging apparatus, image processing apparatus, and image processing method |
US11645791B2 (en) * | 2019-10-17 | 2023-05-09 | Rutgers, The State University Of New Jersey | Systems and methods for joint reconstruction and segmentation of organs from magnetic resonance imaging data |
-
2021
- 2021-11-02 CN CN202111290411.5A patent/CN113936073B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596994A (zh) * | 2018-04-24 | 2018-09-28 | 朱高杰 | 一种基于深度学习和数据自洽的磁共振弥散加权成像方法 |
CN111161200A (zh) * | 2019-12-22 | 2020-05-15 | 天津大学 | 基于注意力机制的人体姿态迁移方法 |
CN111402137A (zh) * | 2020-03-20 | 2020-07-10 | 南京信息工程大学 | 一种基于感知损失引导的深度注意力编解码单图像超分辨率算法 |
CN112884851A (zh) * | 2021-01-27 | 2021-06-01 | 武汉大学 | 一种展开迭代优化算法的深度压缩感知网络 |
Non-Patent Citations (1)
Title |
---|
一种深度置信网络和迭代量化的图像检索方法;宋立新等;《信息与控制》;20191213;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113936073A (zh) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109191476B (zh) | 基于U-net网络结构的生物医学图像自动分割新方法 | |
CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
CN111754403B (zh) | 一种基于残差学习的图像超分辨率重构方法 | |
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
CN108805814B (zh) | 基于多频段深度卷积神经网络的图像超分辨重建方法 | |
CN108090871A (zh) | 一种基于卷积神经网络的多对比度磁共振图像重建方法 | |
CN110276736B (zh) | 一种基于权值预测网络的磁共振图像融合方法 | |
CN116563204A (zh) | 一种融合多尺度残差注意力的医学图像分割方法 | |
CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
CN112164122A (zh) | 一种基于深度残差生成对抗网络的快速cs-mri重建方法 | |
CN114266939A (zh) | 一种基于ResTLU-Net模型的脑提取方法 | |
CN115457359A (zh) | 基于自适应对抗生成网络的pet-mri图像融合方法 | |
CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
CN116630178A (zh) | 基于U-Net的极低场磁共振图像工频伪影抑制方法 | |
CN113936073B (zh) | 一种基于注意力机制的AttISTANet压缩感知磁共振重建方法 | |
CN117726602A (zh) | 基于带状池化的息肉分割方法及*** | |
CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
CN116705252A (zh) | ***癌诊断模型的构建方法、图像分类方法、设备、介质 | |
CN114529519B (zh) | 基于多尺度深度空洞残差网络的图像压缩感知重建方法及*** | |
CN115330600A (zh) | 一种基于改进srgan的肺部ct图像超分辨率方法 | |
CN114723937A (zh) | 一种基于核磁共振影像的血管周围间隙分类方法及*** | |
CN114494952A (zh) | 一种基于感知损失的乳腺mri影像时间序列生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |