CN112634385B - 一种基于深度拉普拉斯网络的快速磁共振成像方法 - Google Patents

Abstract

一种基于深度拉普拉斯网络的快速磁共振成像方法，包括如下步骤：步骤1输入u倍欠采样的MR图像步骤2由深度拉普拉斯网络得到重构后的MR图像图1给出了深度拉普拉斯网络f_Lap(·；Θ)的一个范例。本发明将MR图像的采样原理与深度学习技术相结合，基于拉普拉斯金字塔思想对高倍欠采样的MR图像进行逐层重构，能够有效降低输入数据中的大量伪影对重构效果的影响，能有效地提升MR图像的重建速度和精度。

Description

一种基于深度拉普拉斯网络的快速磁共振成像方法

技术领域

本发明涉及医学图像处理领域，尤其是磁共振成像的医学图像技术领域，主要用于实现对医学磁共振成像的加速重建。

背景技术

由于具有非侵入性、高分辨率、对生物体安全和出色的软组织对比度等优点，磁共振成像(Magnetic Resonance Imaging，MRI)被广泛用作医学体内成像技术。尽管MRI对人体几乎没有辐射危害，但其采集时间较长(通常会超过30分钟)，这会导致如下三个方面的问题：(1)会造成较高的检查费用；(2)会极大影响患者的舒适度和依从性，从而导致由于患者的不自主运动而引发MR(Magnetic Resonance，磁共振)图像的局部伪影；(3)难以应用于诊断时间要求较高的疾病筛查，例如中风。自1970年代MRI出现以来，提高成像速度一直是一项主要的持续研究目标，也是近年来的研究热点之一。

传统的MR快速成像技术主要基于压缩传感(Compressed Sensing，CS)。压缩传感通过直接采集压缩后的图像，实现磁共振扫描时间的成倍缩短。然而，受限于数据采集、空间转换、重建算法和处理***等因素，压缩传感成像十几年来一直未能在磁共振领域内广泛应用。

在过去的三年中，随着深度学习在自然图像处理领域中的飞速发展，其在医学图像领域中的研究和应用也受到了广泛的关注。相对于传统的基于压缩传感的MR快速成像方法，基于深度学习的MR快速成像方法具有更高的准确度和更快的速度，这为快速MR成像指明了新方向。现有的深度学习算法基本上都是直接学习从高倍欠采样的MR数据到全采样MR数据的映射，这往往要求对高倍欠采样的MR数据进行大量的零填充，以满足网络训练的需要。然而，大量的零填充不仅会增加额外的计算开销，而且会在重建的MR图像中引入明显的伪影，从而导致重建的MR图像的信噪比较低。

发明内容

为了克服现有技术的不足，为了消除高倍欠采样的MR图像中存在的大量伪影，并高效地利用有限的网络容量学习复杂的端到端的映射，本发明结合深度级联网络结构与拉普拉斯金字塔思想，提供了一种基于深度拉普拉斯网络的快速磁共振成像方法，将MR图像的采样原理与深度学习技术相结合，基于拉普拉斯金字塔思想对高倍欠采样的MR图像进行逐层重构，能够有效降低输入数据中的大量伪影对重构效果的影响，能有效地提升MR图像的重建速度和精度。

本发明解决其技术问题所采用的技术方案是：

一种基于深度拉普拉斯网络(Deep Laplacian network，DeepLap)的快速磁共振成像方法，包括以下步骤：

步骤1输入u倍欠采样的MR图像为k空间中的u倍欠采样的MR图像，/>表示MR图像所在的k空间，/>表示y_u的维度，N为全采样的MR图像的维度；欠采样的MR图像y_u通过如下方式获得：

y_u＝M_uy＝M_uFx，

其中，表示在k空间中的y_u的全采样图像，/>表示y_u在像素空间中的全采样图像，/>表示MR图像所在的像素空间，/>为傅里叶变换矩阵，用于将MR图像从像素空间变换到k空间；M_u∈{0,1}^M×N表示对y进行u倍欠采样的掩码矩阵；

步骤2由深度拉普拉斯网络得到重构后的MR图像

深度拉普拉斯网络f_Lap(·；Θ)定义如下：

其中，Θ＝{Θ₀,Θ₁,...,Θ_D}为网络的参数集，H表示Hermitian转置操作，D为f_Lap(·；Θ)的子网个数，f_d(·；Θ_d)为深度拉普拉斯网络的子网，定义如下：

这里，d∈{1,2,...,D}， 为上采样算子，表示将k空间中的u_d-1倍欠采样的MR图像映射到像素空间中的u_d倍欠采样的MR图像，u_d＜u_d-1，/>为其参数；/>为重构模块，表示对像素域中的MR图像进行重构计算的网络模块，θ_d为其参数；/>表示数据一致性算子，令/> 中的元素/>通过如下方式计算：

其中，Ω表示用于构建y_u的y中元素的索引子集。

进一步地，所述步骤2中，深度拉普拉斯网络f_Lap(·；Θ)中的参数集Θ通过如下步骤训练：

步骤2.1构建用于训练深度拉普拉斯网络f_Lap(·；Θ)的MR图像集

这里，Γ＝{1,2,...,L}为训练样本的索引集，L为训练样本的个数，u＝u₀＞u₁＞u₂＞...＞u_D为MR图像的不同的欠采样倍数， 为第γ张全采样的MR图像，

其中，表示对k空间中的MR图像进行u_d倍欠采样的掩码矩阵；

步骤2.2构建深度拉普拉斯网络f_Lap(·；Θ)的验证集：

其中，Λ＝{1,2,...,K}为验证样本的索引集，K为验证样本的个数；

步骤2.3令迭代期数(Epoch)e＝0，迭代次数t＝0，随机初始化f_Lap(·；Θ)的参数集Θ为Θ⁽⁰⁾：

步骤2.4令e＝e+1，训练批次b＝0，将训练样本的索引集Γ随机分割为B个不相交的子集：

步骤2.5令t＝t+1，b＝b+1，d＝1,2,...,D，计算

其中，

步骤2.6通过梯度下降法，最小化如下损失函数：

其中，l(·,·)表示两幅图像之间的距离度量运算；

步骤2.7在验证集上评估深度拉普拉斯网络模型f_Lap(·；Θ^(t))的质量：

其中，Q(·,·)为质量评估函数；

步骤2.8迭代执行上述步骤2.5～步骤2.7，直至b＝B；

步骤2.9迭代执行上述步骤2.4～步骤2.8，直至e＝E，这里E为预设的最大训练期数；

步骤2.10选取深度拉普拉斯网络f_Lap(·；Θ)的最优参数集Θ＝Θ^(t＊)，其中，

本发明的技术构思为：现有的基于深度学习的快速磁共振成像主要是直接学习欠采样数据到全采样数据的映射关系。这样的做法需要对输入的欠采样数据做大量的零填充，以使数据符合网络训练的要求。然而，大量的零填充会导致所生成的磁共振图像在一开始就产生严重的伪影，从而对网络进行后续的端到端的学习造成了极大的干扰，严重影响了网络的重构效果。为了减小网络学习的困难，本发明提出基于拉普拉斯金字塔的思想构造由多个子网构成的深度级联网络，对输入的高倍欠采样图像逐步进行零填充，使每个子网集中学各个不同部分的映射关系，从而提升最终的重构效果。

本发明的有益效果主要表现在：(1)基于深度拉普拉斯网络从低频到高频对高倍欠采样的磁共振图像逐步重构，可以有效地提升高倍欠采样的磁共振图像的重建效果；(2)由于每个子网只重建一部分(而非所有的)欠采样数据，本发明所提出的方法，具有更快的重建速度。

附图说明

图1是本发明所设计的深度拉普拉斯网络的结构图，其中，y_u为输入的k空间中的u倍欠采样的MR图像，为输出的重构的像素空间中的MR图像，/> 为第d个子网的中间输出结果，U_d为第d个子网的上采样算子，R_d为第d个子网的重构模块，Conv_d,j表示R_d的第j个卷积层，f_DC为数据一致性算子，PZF表示部分零填充，F^H表示逆傅里叶变换。

图2为MR图像和全采样的MR图像的示例，其中，(a)和(b)分别为k空间中的8倍欠采样的MR图像和全采样的MR图像的示例，(c)和(d)分别为像素空间中的重构后的MR图像和全采样的MR图像的示例。

图3为掩码矩阵的示例，其中，(a)是中心欠采样掩码矩阵的示例，(b)是高斯欠采样掩码矩阵的示例。

图4是图1中所用到的上采样算子的两个示例，其中，(a)是基于双三次插值的上采样算子，其中，表示双三次插值算子；(b)是基于部分零填充的上采样算子，其中，PZF表示部分零填充，F^H表示傅里叶逆变换。

图5是对数据一致性算子f_DC的效果展示，其中，第一行、第二行、第三行分别表示使用f_DC之前的MR图像、f_DC之后的MR图像、全采样的MR图像；第一列、第二列、第三列分别表示深度拉普拉斯网络的三个子网输出的MR图像。

图6是用于训练深度拉普拉斯网络的5个MR训练样本的示例，每一行为一个训练样本，每个训练样本由5张MR图像组成：k空间中的u倍欠采样的MR图像(第1列)，像素空间中的u₁＝6倍、u₂＝4倍、u₃＝2倍的欠采样的MR图像(第2列至第4列)，全采样的MR图像(最后一列)。

图7是本发明所提出的深度拉普拉斯网络(DeepLap)、传统的填充方法(ZeroFilling，ZF)、4种前沿方法DeepCascade、RefineGAN、UNet、DenseUNet的重构结果的PSNR/SSIM值的量化比较。使用8个受试者的MR图像作为训练样本，剩下2个受试者的MR图像作为测试样本，图7的第2列至第6列分别报告了对编号为2和3、0和1、4和5、6和7、8和9的受试者的16倍欠采样的MR图像进行重构的PSNR/SSIM值。

图8是重效果的对比图，从左至右分别为全采样的MR图像以及ZF、DeepLap、DeepCascade、RefineGAN、UNet、DenseUNet等六种方法的重构图像。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图8，一种基于深度拉普拉斯网络(Deep Laplacian network，DeepLap)的快速磁共振成像方法，包括如下步骤：

步骤1输入u倍欠采样的MR图像

步骤2由深度拉普拉斯网络得到重构后的MR图像图1给出了深度拉普拉斯网络f_Lap(·；Θ)的一个范例。

进一步地，所述步骤2中，为k空间中的u倍欠采样的MR图像，κ表示MR图像所在的k空间，/>表示y_u的维度，N为全采样的MR图像的维度；欠采样的MR图像与全采样的MR图像存在如下关系：

y_u＝M_uy＝M_uFx，

其中，表示在k空间中的y_u的全采样图像，/>表示y_u在像素空间中的全采样图像，/>表示MR图像所在的像素空间，/>为傅里叶变换矩阵，用于将MR图像从像素空间变换到k空间；M_u∈{0,1}^M×N表示对y进行u倍欠采样的掩码矩阵。图2中(a)给出了u＝8倍欠采样的y_u的示例，图2中(b)和(d)分别给出了k空间和像素空间中的全采样(N＝336)的MR图像y和x的示例；掩码矩阵M_u可以使用中心欠采样矩阵或高斯欠采样矩阵，如图3所示，图2中(a)是对图2中(b)进行中心欠采样得到的k空间中的MR图像。

进一步地，所述步骤2中，深度拉普拉斯网络f_Lap(·；Θ)定义如下：

其中，Θ＝{Θ₀,Θ₁,...，Θ_D}为网络的参数集，H表示Hermitian转置操作，D为f_Lap(·；Θ)的子网个数，f_d(·；Θ_d)为深度拉普拉斯网络的子网，定义如下：

这里，d∈{1,2,...,D}， 为上采样算子，表示将k空间中的u_d-1倍欠采样的MR图像映射到像素空间中的u_d倍欠采样的MR图像，u_d＜u_d-1，/>为其参数；/>为重构模块，表示对像素域中的MR图像进行重构计算的网络模块，θ_d为其参数；/>表示数据一致性算子，令/> 中的元素/>通过如下方式计算：

其中，Ω表示用于构建y_u的y中元素的索引子集。图1给出了深度拉普拉斯网络f_Lap(·；Θ)的一个范例：其深度D可以取3或5；f_Lap(·；Θ)的每一个子网f_d(·；Θ_d)的上采样算子U_d是核心算子，可以使用双三次插值法或部分零填充法，图4中(a)和(b)分别给出了双三次插值法和部分零填充法的范例，图1中的U_d使用了部分零填充法；重构模块R_d可以使用残差卷积模块或自编码模块，图1中使用了残差卷积模块(以R₁为例)：其主体部分由j(j可以取5或7)个级联的卷积层构成，每个卷积核的大小为a×a(a可以取3或5)，最后一个卷积层的输出与卷积模块的输入进行加和；数据一致性算子f_DC进一步对Rd的输出进行处理，图5的第一行和第二行比较了f_Lap(·；Θ)的三个子网使用f_DC前后MR图像的变化。

进一步地，图2中(c)给出了使用上述深度拉普拉斯网络f_Lap(·；Θ)对图2中(a)中给出的8倍欠采样的y_u进行重构所得的MR图像的示例。

进一步地，所述步骤2中，深度拉普拉斯网络f_Lap(·；Θ)中的参数集Θ通过如下步骤训练：

步骤2.1构建用于训练深度拉普拉斯网络f_Lap(·；Θ)的MR图像集

这里，Γ＝{1,2,,...L}为训练样本的索引集，L为训练样本的个数，u＝u₀＞u₁＞u₂＞...＞u_D为MR图像的不同的欠采样倍数， 为第γ张全采样的MR图像，

其中，表示对k空间中的MR图像进行u_d倍欠采样的掩码矩阵；图6给出了用于构建/>的5个训练样本的示例；

步骤2.2构建深度拉普拉斯网络f_Lap(·；Θ)的验证集：

其中，Λ＝{1,2,...,K}为验证样本的索引集，K为验证样本的个数；

步骤2.3令迭代期数(Epoch)e＝0，迭代次数t＝0，随机初始化f_Lap(·；Θ)的参数集Θ为Θ⁽⁰⁾：

步骤2.4令e＝e+1，训练批次b＝0，将训练样本的索引集Γ随机分割为B个不相交的子集：其中，批次大小(Batch Size)，即/>可取6或8；

步骤2.5令t＝t+1，b＝b+1，计算

其中，

步骤2.6通过梯度下降法，最小化如下损失函数：

其中，l(·,·)表示两幅图像之间的距离度量运算，可以采用l₁范数、l₂范数或Charbonnier惩罚函数，其中，Charbonnier惩罚函数定义为：

步骤2.7在验证集上评估深度拉普拉斯网络模型f_Lap(·；Θ^(t))的质量：

其中，Q(·,·)为质量评估函数，可以采用峰值信噪比(PSNR)或结构化相似度(SSIM)作为质量评估函数；

步骤2.8迭代执行上述步骤2.5～步骤2.7，直至b＝B；

步骤2.9迭代执行上述步骤2.4～步骤2.8，直至e＝E，这里E为预设的最大训练期数，可设置E＝100；

步骤2.10选取深度拉普拉斯网络f_Lap(·；Θ)的最优参数集其中，

通过实验来验证本发明所提出的深度拉普拉斯网络的有益效果。使用飞利浦Ingenia3T扫描仪对10名受试者进行扫描，获取T2WI模态的MR图像，将每张MR切片裁剪为336×336×261大小。使用Adam优化算法对U-Net网络进行训练，动量大小设置为0.9，批次大小设置为6，初始学习率设置为0.001，并且每迭代50个期数(Epoch)后下降10倍，进行100个期数的迭代。

为了定量评价网络的重建性能，使用峰值信噪比(PSNR)和结构相似度(SSIM)对重构的MR图像进行质量评估。将本发明所提出的深度拉普拉斯网络(DeepLap)与填充方法(Zero Filling，ZF)和4种前沿方法DeepCascade、RefineGAN、UNet、DenseUNet进行对比。使用8个受试者的MR图像作为训练样本，剩下2个受试者的MR图像作为测试样本。采用交叉验证法测试所比较方法的稳定性，分别对编号为2和3、0和1、4和5、6和7、8和9的受试者的16倍欠采样的MR图像进行重构。将重构结果与全采样图像进行对比，PSNR/SSIM值如图7所示，可以看出本发明所提出的方法超过了其它方法。

图8进一步给出了所比较方法的重效果图，从左至右分别为全采样的MR图像以及ZF、DeepLap、DeepCascade、RefineGAN、UNet、DenseUNet等六种方法的重构图像。可以看出本发明所提出的DeepLap方法能够更好地重构高倍欠采样MR图像的细节信息。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (1)

1.一种基于深度拉普拉斯网络的快速磁共振成像方法，其特征在于，包括以下步骤：

步骤1输入u倍欠采样的MR图像为k空间中的u倍欠采样的MR图像，/>表示MR图像所在的k空间，/>表示y_u的维度，N为全采样的MR图像的维度；欠采样的MR图像y_u通过如下方式获得：

y_u＝M_uy＝M_uFx，

其中，表示在k空间中的y_u的全采样图像，/>

表示y_u在像素空间中的全采样图像，表示MR图像所在的像素空间，/>为傅里叶变换矩阵，用于将MR图像从像素空间变换到k空间；M_u∈{0,1}^M×N表示对y进行u倍欠采样的掩码矩阵；

步骤2由深度拉普拉斯网络f_Lap(·；Θ):得到重构后的MR图像

深度拉普拉斯网络f_Lap(·；Θ)定义如下：

f_Lap(y_u；Θ)＝F^Hf_D(f_D-1((…f₂(f₁(y_u；Θ₁)；Θ₂))；Θ_D-1)；Θ_D)，

其中，Θ＝{Θ₀,Θ₁,…,Θ_D}为网络的参数集，H表示Hermitian转置操作，D为f_Lap(·；Θ)的子网个数，f_d(·；Θ_d)为深度拉普拉斯网络的子网，定义如下：

这里，d∈{1,2,…,D}， 为上采样算子，表示将k空间中的u_d-1倍欠采样的MR图像映射到像素空间中的u_d倍欠采样的MR图像，u_d＜u_d-1，/>为其参数；R_d(·；θ_d):/>为重构模块，表示对像素域中的MR图像进行重构计算的网络模块，θ_d为其参数；/>表示数据一致性算子，令/> 中的元素/>通过如下方式计算：

其中，Ω表示用于构建y_u的y中元素的索引子集；

所述步骤2中，深度拉普拉斯网络f_Lap(·；Θ)中的参数集Θ通过如下步骤训练：

步骤2.1构建用于训练深度拉普拉斯网络f_Lap(·；Θ)的MR图像集

这里，Γ＝{1,2,…,L}为训练样本的索引集，L为训练样本的个数，u＝u₀＞u₁＞u₂＞…＞u_D为MR图像的不同的欠采样倍数， 为第γ张全采样的MR图像，

其中，表示对k空间中的MR图像进行u_d倍欠采样的掩码矩阵，/>

步骤2.2构建深度拉普拉斯网络f_Lap(·；Θ)的验证集：

其中，Λ＝{1,2,…,K}为验证样本的索引集，K为验证样本的个数；

步骤2.3令迭代期数e＝0，迭代次数t＝0，随机初始化f_Lap(·；Θ)的参数集Θ为Θ⁽⁰⁾：

步骤2.4令e＝e+1，训练批次b＝0，将训练样本的索引集Γ随机分割为B个不相交的子集：

步骤2.5令t＝t+1，b＝b+1，计算

其中，

步骤2.6通过梯度下降法，最小化如下损失函数：

其中，l(·,·)表示两幅图像之间的距离度量运算；

步骤2.7在验证集上评估深度拉普拉斯网络模型f_Lap(·；Θ^(t))的质量：

其中，Q(·,·)为质量评估函数；

步骤2.8迭代执行上述步骤2.5～步骤2.7，直至b＝B；

步骤2.9迭代执行上述步骤2.4～步骤2.8，直至e＝E，这里E为预设的最大训练期数；

步骤2.10选取深度拉普拉斯网络f_Lap(·；Θ)的最优参数集其中，