CN112489154B - 基于局部优化生成对抗网络的mri运动伪影校正方法 - Google Patents
基于局部优化生成对抗网络的mri运动伪影校正方法 Download PDFInfo
- Publication number
- CN112489154B CN112489154B CN202011414346.8A CN202011414346A CN112489154B CN 112489154 B CN112489154 B CN 112489154B CN 202011414346 A CN202011414346 A CN 202011414346A CN 112489154 B CN112489154 B CN 112489154B
- Authority
- CN
- China
- Prior art keywords
- image
- mri
- motion artifact
- discriminator
- sampling module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005457 optimization Methods 0.000 title claims abstract description 31
- 238000012937 correction Methods 0.000 title claims abstract description 24
- 238000005070 sampling Methods 0.000 claims abstract description 42
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 30
- 230000003042 antagnostic effect Effects 0.000 claims description 13
- 239000000126 substance Substances 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 6
- 230000010363 phase shift Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请公开了一种基于局部优化生成对抗网络的MRI运动伪影校正方法在上采样模块和下采样模块之间添加了跳层连接，使最后构建的能够更好地特征并实现运动伪影的去除，能够更好的实现运动伪影的去除，并且基于局部优化损失计算了每组照片的局部损失，使输出的图像不仅在全局上损失最小，在局部区域也能够达到最优，以此保留输出图像的局部一致性，并且也不需要添加额外的组件，另外还结合了对抗损失函数、梯度惩罚损失函数以及内容损失函数对模型进行优化，使通过该模型校正后的图像具备逼真的纹理信息、结构信息以及更丰富的细节信息。
Description
技术领域
本发明涉及医学影像处理技术领域，尤其涉及一种基于局部优化生成对抗网络的MRI运动伪影校正方法。
背景技术
医学影像在现代医学中被广泛使用，其中，由于核磁共振成像不会对人体产生辐射，且对肿瘤有较好的检查效果，被广泛应用于临床检查中。然而，核磁共振成像时间较久，一次全身检查通常需要半个小时左右，因此，相较于其它类型的医学影像，核磁共振成像期间更容易受到人体运动的困扰。同时，由于核磁共振采集期间对于人体的运动极为敏感，所以在最终的成像结果中往往容易出现运动伪影。产生的运动伪影在临床治疗中会对医生的诊断产生不利的影响，如病理信息的丢失或者模糊等，这增大了误诊的风险，因此在MRI的临床应用中需要避免出现运动伪影。虽然通过重新采集能够获取到清晰的MRI，但是MR采集所产生的时间成本和经济成本均是非常高昂的。
发明内容
为解决上述技术问题，本发明提供一种基于局部优化生成对抗网络的MRI运动伪影校正方法。
本发明采用的技术方案是：一种基于局部优化生成对抗网络的MRI运动伪影校正方法，包括：
S1：获取多个原始样本图像IO，针对每一所述原始样本图像IO，通过快速傅里叶变换将其转换为K空间数据，并对所述K空间数据进行随机相移后将发生改变的K空间数据通过快速傅里叶逆变换得到带有运动伪影的图像IMA；
S2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，所述生成器包括下采样模块、残差模块以及与所述下采样模块跳层连接的上采样模块；
S3：将所述图像IMA输入所述生成对抗网络模型，所述下采样模块提取图像IMA的图像特征，所述上采样模块对所述下采样模块输出的对应层级的图像特征以及所述残差模块输出的图像特征进行融合处理，并输出去除运动伪影后的校正图像IF；
S4：将所述原始样本图像IO和带有运动伪影的图像IMA作为训练数据对生成对抗网络模型的判别器进行t次训练后，再对生成器进行k次训练，交替迭代优化，直至达到总训练轮次得到目标生成对抗网络模型；所述判别器在每一次训练过程中利用预先通过Wasserstein距离在图像IF和图像IO之间构造的对抗损失函数与预先在图像IF和图像IO的联合采样空间下构造的梯度惩罚损失函数进行优化，所述生成器在每一次训练过程中利用预先在图像IF和图像IO之间构造的内容损失函数与预先在图像IF和图像IO之间构造的局部优化损失函数进行优化；k>t，t和k为大于等于1的整数；
S5：获取待去除运动伪影的MRI原始图像；
S6：将所述MRI原始图像输入所述目标生成对抗网络模型得到校正后的MRI目标图像。
进一步地，步骤S1中通过
生成带有运动伪影的图像IMA；
其中，FFT表示快速傅里叶变换，IFFT表示快速傅里叶逆变换，kx和ky分别表示K空间下图像IO分别在频率编码方向和相位编码方向上的坐标，m(ky)和n(ky)分别表示K空间下图像IO分别在kx方向和ky方向上的相移函数。
进一步地，在步骤S3中所述上采样模块通过upsampleout(q)＝σ(concate(upsampleout(q-1)，downsampleout(s-q+1)))生成并输出去除运动伪影后的校正图像IF；
其中，upsampleout(1)＝σ(concate(Res,downsampleout(s)))，所述下采样模块和上采样模块的个数均为s，upsampleout(q)表示第q个上采样模块的输出，downsampleout(s-q+1)表示第s-q+1个下采样模块的输出，concate代表在特征图的最后一个维度上进行拼接，σ表示激活函数，所述第s个下采样模块与第1个上采样模块之间连接有所述残差模块，Res表示所述残差模块的输出。
进一步地，步骤S4中预先构造的对抗损失函数为:
其中，
表示执行去除运动伪影任务的生成器，
表示判别器，p(IF)和p(IO)分别表示校正图像IF和原始样本图像IO的图像分布，
表示判别器输入为图像IF时判别器的输出，
表示判别器输入为图像IO时判别器的输出，
表示生成器通过图像IMA生成的图像IF和标签图像IO之间的Wasserstein距离。
进一步地，步骤S4中预先构造的梯度惩罚损失函数为：
其中，
ε表示插值取样随机数，
表示梯度惩罚损失中间计算参数，λ表示用于权衡损失之间权重的超参数，
表示判别器输入为
时判别器梯度的二范数。
进一步地，所述判别器在每一次训练过程中的总损失函数为
进一步地，步骤S4中预先构造的内容损失函数为：
LContent＝LMSE+αLPerceptual；
其中，
LMSE表示像素均方误差损失，LPerceptual表示感知损失，α表示控制感知损失比重的超参数，N表示样本图像的总数,
表示第n个原始样本图像，
表示第n个原始样本图像对应的带有运动伪影的图像IMA，
表示生成器输入为图像
时的输出，j表示预训练VGG网络中池化层所在的层数，φj表示所述VGG网络第j层池化层之前的所有网络层针对其输入图像的输出，Wj和Hj是表示φj输出的特征图的宽度和高度。
进一步地，步骤S4中预先构造的局部优化损失函数为：
其中，K表示预先定义的单位矩阵，
表示卷积运算。
进一步地，所述生成器在每一次训练过程中的总损失函数为
其中，β表示控制局部优化损失比重的超参数，γ表示控制对抗损失比重的超参数，
表示判别器输入为IF时，判别器的输出。
进一步地，t＝1，k＝2。
本发明提供的基于局部优化生成对抗网络的MRI运动伪影校正方法在上采样模块和下采样模块之间添加了跳层连接，使最后构建的能够更好地特征并实现运动伪影的去除，能够更好的实现运动伪影的去除，并且基于局部优化损失计算了每组照片的局部损失，使输出的图像不仅在全局上损失最小，在局部区域也能够达到最优，以此保留输出图像的局部一致性，并且也不需要添加额外的组件，另外还结合了对抗损失函数、梯度惩罚损失函数以及内容损失函数对模型进行优化，使通过该模型校正后的图像具备逼真的纹理信息、结构信息以及更丰富的细节信息。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本实施例提供的基于局部优化生成对抗网络的MRI运动伪影校正方法的流程示意图；
图2为本实施例提供的基于局部优化生成对抗网络的MRI运动伪影校正方法的框架图；
图3为本实施例提供的实验数据图。
具体实施方式
为了使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例提供一种基于局部优化生成对抗网络的MRI运动伪影校正方法，其流程图如图1所示，其框架图如图2所示，包括如下步骤：
S1：获取多个原始样本图像IO，针对每一所述原始样本图像IO，通过快速傅里叶变换将其转换为K空间数据，并对所述K空间数据进行随机相移后将发生改变的K空间数据通过快速傅里叶逆变换得到带有运动伪影的图像IMA。
具体来说，步骤S1中可以通过
生成带有运动伪影的图像IMA；
其中，FFT表示快速傅里叶变换，IFFT表示快速傅里叶逆变换，kx和ky分别表示K空间下图像IO分别在频率编码方向和相位编码方向上的坐标，m(ky)和n(ky)分别表示K空间下图像IO分别在kx方向和ky方向上的位移函数。
根据傅里叶变换可知，带有运动伪影图片的K空间数据可用下式表示：
令x′＝x-m(ky),y′＝y-n(ky)；
则
最后得到：
其中，2π(kxm(ky)+kyn(ky))就是添加的相位偏移，用于添加运动伪影，s是无运动伪影图片的K空间数据，s′是添加运动伪影后的k空间数据。
S2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，所述生成器包括下采样模块、残差模块以及与所述下采样模块跳层连接的上采样模块。
S3：将所述图像IMA输入所述生成对抗网络模型，所述下采样模块提取图像IMA的图像特征，所述上采样模块对所述下采样模块输出的对应层级的图像特征以及所述残差模块输出的图像特征进行融合处理，并输出去除运动伪影后的校正图像IF。
本实施例中，上采样模块的输出融合了对应层级的下采样的输出，具体来说，在步骤S3中所述上采样模块可以通过以下公式生成并输出去除运动伪影后的校正图像IF：
upsampleout(q)＝σ(concate(upsampleout(q-1)，downsampleout(s-q+1)))；
其中，upsampleout(1)＝σ(concate(Res,downsampleout(s)))，所述下采样模块和上采样模块的个数均为s，upsampleout(q)表示第q个上采样模块的输出，downsampleout(s-q+1)表示第s-q+1个下采样模块的输出，concate代表在特征图的最后一个维度上进行拼接，σ表示激活函数，所述第s个下采样模块与第1个上采样模块之间连接有所述残差模块，残差模块用于提取图像的深层次特征，Res表示所述残差模块的输出。
S4：将所述原始样本图像IO和带有运动伪影的图像IMA作为训练数据对生成对抗网络模型的判别器进行t次训练后，再对生成器进行k次训练，交替迭代优化，直至达到总训练轮次得到目标生成对抗网络模型；所述判别器在每一次训练过程中利用预先通过Wasserstein距离(推土机距离)在图像IF和图像IO之间构造的对抗损失函数与预先在图像IF和图像IO的联合采样空间下构造的梯度惩罚损失函数进行优化，所述生成器在每一次训练过程中利用预先在图像IF和图像IO之间构造的内容损失函数与预先在图像IF和图像IO之间构造的局部优化损失函数进行优化；k>t，t和k为大于等于1的整数。
应该说明的是，在进行对抗网络模型训练之前，预先在图像IF和图像IO之间构造了对抗损失函数，以使输出的图像更加逼真，泛化能力更强，并预先在图像IF和图像IO的采样空间下构造了梯度惩罚损失函数来约束判别器的优化，避免出现梯度消失和梯度***的现象，并预先在图像IF和图像IO之间构造内容损失函数，使输出的图像更加清晰、纹理更加真实，并预先在图像IF和图像IO之间构造局部损失函数，以保证图像IF局部的一致性。
步骤S4中预先构造的对抗损失函数为:
其中，
表示执行去除运动伪影任务的生成器，
表示判别器，p(IF)和p(IO)分别表示校正图像IF和原始样本图像IO的图像分布，
表示生成器通过图像IMA生成的图像IF和标签图像IO之间的Wasserstein距离。
步骤S4中预先构造的梯度惩罚损失函数为：
其中，
ε表示插值取样随机数，
表示梯度惩罚损失中间计算参数，λ表示用于权衡损失之间权重的超参数，
表示判别器输入为
时判别器梯度的二范数。
所述判别器在每一次训练过程中的总损失函数为
以此为判别器的目标函数对判别器中各参数的优化。
步骤S4中预先构造的内容损失函数为：
LContent＝LMSE+αLPerceptual；
其中，
LMSE表示像素均方误差损失，LPerceptual表示感知损失，α表示控制感知损失比重的超参数，N表示样本图像的总数,
表示第n个原始样本图像，
表示第n个原始样本图像对应的带有运动伪影的图像IMA，
表示生成器输入为图像
时的输出，j表示预训练VGG网络中池化层所在的层数，φj表示所述VGG网络第j层池化层之前的所有网络层针对其输入图像的输出，Wj和Hj是表示φj输出的特征图的宽度和高度。
本实施例中的预训练网络是一个用于提取图像特征的预训练网络，通过公开MRI数据集训练得到，优选的，本实施例中的VGG网络可以选取VGG-19网络。
步骤S4中预先构造的局部优化损失函数为：
其中，K表示预先定义的单位矩阵，
表示卷积运算。
进一步地，所述生成器在每一次训练过程中的总损失函数为
其中，β表示控制局部优化损失比重的超参数，γ表示控制对抗损失比重的超参数，
表示判别器输入为IF时，判别器的输出。
S5：获取待去除运动伪影的MRI原始图像。
S6：将所述MRI原始图像输入所述目标生成对抗网络模型得到校正后的MRI目标图像。
传统图像领域中，在训练生成对抗网络模型时，通常是训练5次判别器，然后训练1次生成器，而且数据集使用的是自然图像数据集。但是本实施例考虑到医学图像语义信息较为简单的原因，判别器的收敛速度比需要进行运动伪影去除操作的生成器收敛速度快，所以本实施例中的k>t，经过多次实验，优选的，本实施例中的t＝1，k＝2，图3为实验过程中图像的示意图，最左边的为仿真MRI，中间的为原始标签MRI，最右边的为通过目标对抗网络模型修复校正后的MRI。
本实施例提供的基于生成对抗网络的MRI运动伪影回溯校正方法可以实现MRI中运动伪影的去除，本方法的结果相较于其它方法，修复后的MRI的细节更加真实，具体的，使用基于随机的相位偏移方法进行运动伪影的仿真，结合了对抗损失和内容损失来实现对模型的约束和优化，使模型的输出图像具备真实的纹理信息和结构信息，引入局部优化损失来保证MRI的局部一致性,而且不需要添加额外的组件便可实现。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种基于局部优化生成对抗网络的MRI(磁共振成像)运动伪影回溯校正方法，其特征在于，包括：
S1：获取多个原始样本图像IO，针对每一所述原始样本图像IO，通过快速傅里叶变换将其转换为K空间数据，并对所述K空间数据进行随机相移后将发生改变的K空间数据通过快速傅里叶逆变换得到带有运动伪影的图像IMA；
S2：构建生成对抗网络模型，所述生成对抗网络模型包括生成器和判别器，所述生成器包括下采样模块、残差模块以及与所述下采样模块跳层连接的上采样模块；
S3：将所述图像IMA输入所述生成对抗网络模型，所述下采样模块提取图像IMA的图像特征，所述上采样模块对所述下采样模块输出的对应层级的图像特征以及所述残差模块输出的图像特征进行融合处理，并输出去除运动伪影后的校正图像IF；
S4：将所述原始样本图像IO和带有运动伪影的图像IMA作为训练数据对生成对抗网络模型的判别器进行t次训练后，再对生成器进行k次训练，交替迭代优化，直至达到总训练轮次得到目标生成对抗网络模型；所述判别器在每一次训练过程中利用预先通过Wasserstein距离在图像IF和图像IO之间构造的对抗损失函数与预先在图像IF和图像IO的联合采样空间下构造的梯度惩罚损失函数进行优化，所述生成器在每一次训练过程中利用预先在图像IF和图像IO之间构造的内容损失函数与预先在图像IF和图像IO之间构造的局部优化损失函数进行优化；k>t，t和k为大于等于1的整数；
S5：获取待去除运动伪影的MRI原始图像；
S6：将所述MRI原始图像输入所述目标生成对抗网络模型得到校正后的MRI目标图像。
2.如权利要求1所述的基于局部优化生成对抗网络的MRI运动伪影校正方法，其特征在于，步骤S1中通过
生成带有运动伪影的图像IMA；
其中，FFT表示快速傅里叶变换，IFFT表示快速傅里叶逆变换，kx和ky分别表示K空间下图像IO分别在频率编码方向和相位编码方向上的坐标，m(ky)和n(ky)分别表示K空间下图像IO分别在kx方向和ky方向上的相移函数。
3.如权利要求1所述的基于局部优化生成对抗网络的MRI运动伪影校正方法，其特征在于，在步骤S3中所述上采样模块通过upsampleout(q)＝σ(concate(upsampleout(q-1)，downsampleout(s-q+1)))生成并输出去除运动伪影后的校正图像IF；
其中，upsampleout(1)＝σ(concate(Res,downsampleout(s)))，所述下采样模块和上采样模块的个数均为s，upsampleout(q)表示第q个上采样模块的输出，downsampleout(s-q+1)表示第s-q+1个下采样模块的输出，concate代表在特征图的最后一个维度上进行拼接，σ表示激活函数，第s个下采样模块与第1个上采样模块之间连接有所述残差模块，Res表示所述残差模块的输出。
4.如权利要求1所述的基于局部优化生成对抗网络的MRI运动伪影校正方法，其特征在于，步骤S4中预先构造的对抗损失函数为:
其中，
表示执行去除运动伪影任务的生成器，
表示判别器，p(IF)和p(IO)分别表示校正图像IF和原始样本图像IO的图像分布，
表示判别器输入为图像IF时判别器的输出，
表示判别器输入为图像IO时判别器的输出，
表示生成器通过图像IMA生成的图像IF和标签图像IO之间的Wasserstein距离。
5.如权利要求4所述的基于局部优化生成对抗网络的MRI运动伪影校正方法，其特征在于，步骤S4中预先构造的梯度惩罚损失函数为：
其中，
ε表示插值取样随机数，
表示梯度惩罚损失中间计算参数，λ表示用于权衡损失之间权重的超参数，
表示判别器输入为
时判别器梯度的二范数。
6.如权利要求5所述的基于局部优化生成对抗网络的MRI运动伪影校正方法，其特征在于，所述判别器在每一次训练过程中的总损失函数为
7.如权利要求1所述的基于局部优化生成对抗网络的MRI运动伪影校正方法，其特征在于，步骤S4中预先构造的内容损失函数为：LContent＝LMSE+αLPerceptual；
其中，
LMSE表示像素均方误差损失，LPerceptual表示感知损失，α表示控制感知损失比重的超参数，N表示样本图像的总数,
表示第n个原始样本图像，
表示第n个原始样本图像对应的带有运动伪影的图像IMA，
表示生成器输入为图像
时的输出，j表示预训练VGG网络中池化层所在的层数，φj表示所述VGG网络第j层池化层之前的所有网络层针对其输入图像的输出，Wj和Hj是表示φj输出的特征图的宽度和高度。
8.如权利要求7所述的基于局部优化生成对抗网络的MRI运动伪影校正方法，其特征在于，步骤S4中预先构造的局部优化损失函数为：
其中，K表示预先定义的单位矩阵，
表示卷积运算。
9.如权利要求8所述的基于局部优化生成对抗网络的MRI运动伪影校正方法，其特征在于，所述生成器在每一次训练过程中的总损失函数为
其中，β表示控制局部优化损失比重的超参数，γ表示控制对抗损失比重的超参数，
表示判别器输入为IF时，判别器的输出。
10.如权利要求1-9任一项所述的基于局部优化生成对抗网络的MRI运动伪影校正方法，其特征在于，t＝1，k＝2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011414346.8A CN112489154B (zh) | 2020-12-07 | 2020-12-07 | 基于局部优化生成对抗网络的mri运动伪影校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011414346.8A CN112489154B (zh) | 2020-12-07 | 2020-12-07 | 基于局部优化生成对抗网络的mri运动伪影校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112489154A CN112489154A (zh) | 2021-03-12 |
| CN112489154B true CN112489154B (zh) | 2022-06-03 |
Family
ID=74940301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011414346.8A Active CN112489154B (zh) | 2020-12-07 | 2020-12-07 | 基于局部优化生成对抗网络的mri运动伪影校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112489154B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113081001B (zh) * | 2021-04-12 | 2022-04-01 | 杭州电子科技大学 | 一种同步EEG-fMRI脑电信号去BCG伪迹方法 |
| CN113284059A (zh) * | 2021-04-29 | 2021-08-20 | Oppo广东移动通信有限公司 | 模型训练方法、图像增强方法、装置、电子设备及介质 |
| CN113177078B (zh) * | 2021-04-30 | 2022-06-17 | 哈尔滨工业大学（威海） | 基于条件生成模型的近似查询处理算法 |
| CN113662524B (zh) * | 2021-08-23 | 2024-04-30 | 合肥工业大学 | 一种ppg信号运动伪影的去除方法 |
| WO2023123361A1 (en) * | 2021-12-31 | 2023-07-06 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for motion correction for a medical image |
| CN115359144B (zh) * | 2022-10-19 | 2023-03-03 | 之江实验室 | 一种磁共振平面回波成像伪影仿真方法及*** |
| CN115860113B (zh) * | 2023-03-03 | 2023-07-25 | 深圳精智达技术股份有限公司 | 一种自对抗神经网络模型的训练方法及相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675461A (zh) * | 2019-09-03 | 2020-01-10 | 天津大学 | 一种基于无监督学习的ct图像恢复方法 |
| CN111028306A (zh) * | 2019-11-06 | 2020-04-17 | 杭州电子科技大学 | 基于AR2 U-Net神经网络的快速磁共振成像方法 |
| CN111443318A (zh) * | 2019-01-16 | 2020-07-24 | 上海联影医疗科技有限公司 | 磁共振图像处理方法、装置、存储介质和磁共振成像*** |
| CN111815692A (zh) * | 2020-07-15 | 2020-10-23 | 大连东软教育科技集团有限公司 | 无伪影数据及有伪影数据的生成方法、***及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10859657B2 (en) * | 2018-05-31 | 2020-12-08 | The Board Of Trustees Of The Leland Stanford Junior University | MRI reconstruction using deep learning, generative adversarial network and acquisition signal model |
-
2020
- 2020-12-07 CN CN202011414346.8A patent/CN112489154B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111443318A (zh) * | 2019-01-16 | 2020-07-24 | 上海联影医疗科技有限公司 | 磁共振图像处理方法、装置、存储介质和磁共振成像*** |
| CN110675461A (zh) * | 2019-09-03 | 2020-01-10 | 天津大学 | 一种基于无监督学习的ct图像恢复方法 |
| CN111028306A (zh) * | 2019-11-06 | 2020-04-17 | 杭州电子科技大学 | 基于AR2 U-Net神经网络的快速磁共振成像方法 |
| CN111815692A (zh) * | 2020-07-15 | 2020-10-23 | 大连东软教育科技集团有限公司 | 无伪影数据及有伪影数据的生成方法、***及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Accelerated MRI Reconstruction with Dual-Domain Generative Adversarial Network;Guanhua Wang.et al.;《International Workshop on Machine Learning for Medical Image Reconstruction》;20191024;第47-57页 * |
| Low-dose chest X-ray image super-resolution using generative adversarial nets with spectral normalization;Liming Xu.et al.;《Biomedical Signal Processing and Control》;20190831;第1-10页 * |
| 基于生成对抗神经网络的核磁共振多加权成像方法;陈眺;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20191215;E060-114 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112489154A (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112489154B (zh) | 基于局部优化生成对抗网络的mri运动伪影校正方法 | |
| Wu et al. | Self-attention convolutional neural network for improved MR image reconstruction | |
| Shi et al. | LRTV: MR image super-resolution with low-rank and total variation regularizations | |
| CN107610193B (zh) | 使用深度生成式机器学习模型的图像校正 | |
| JP2021518009A (ja) | 厚い画像スライスから薄い画像スライスを生成するためのシステム及び方法 | |
| Jia et al. | A new sparse representation framework for reconstruction of an isotropic high spatial resolution MR volume from orthogonal anisotropic resolution scans | |
| Lv et al. | Which GAN? A comparative study of generative adversarial network-based fast MRI reconstruction | |
| JP7466141B2 (ja) | 磁気共鳴画像高速再構成法及び磁気共鳴イメージング装置 | |
| CN110827369B (zh) | 欠采样模型生成方法、图像重建方法、设备和存储介质 | |
| WO2021102644A1 (zh) | 图像增强方法、装置及终端设备 | |
| KR102428725B1 (ko) | 영상 개선 방법 및 이를 수행하는 컴퓨터 프로그램 | |
| CN111047512B (zh) | 图像增强方法、装置及终端设备 | |
| Huang et al. | TransMRSR: transformer-based self-distilled generative prior for brain MRI super-resolution | |
| Yang et al. | Model-guided multi-contrast deep unfolding network for mri super-resolution reconstruction | |
| Thurnhofer-Hemsi et al. | Deep learning-based super-resolution of 3D magnetic resonance images by regularly spaced shifting | |
| Lu et al. | Two-stage self-supervised cycle-consistency transformer network for reducing slice gap in MR images | |
| CN107240131B (zh) | 一种基于迭代纹理形变场的乳腺影像配准方法 | |
| CN117036162B (zh) | 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 | |
| WO2024021796A1 (zh) | 一种图像处理方法、装置、电子设备、存储介质及程序产品 | |
| Bazrafkan et al. | Deep neural network assisted iterative reconstruction method for low dose ct | |
| Gulamhussene et al. | Transfer-learning is a key ingredient to fast deep learning-based 4D liver MRI reconstruction | |
| Dong et al. | Invertible sharpening network for MRI reconstruction enhancement | |
| Thurnhofer-Hemsi et al. | Super-resolution of 3D magnetic resonance images by random shifting and convolutional neural networks | |
| Rahman et al. | Asymmetric decoder design for efficient convolutional encoder-decoder architectures in medical image reconstruction | |
| CN111462041A (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240129 Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province Patentee after: Guangzhou Dayu Chuangfu Technology Co.,Ltd. Country or region after: China Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |
|
| TR01 | Transfer of patent right |