CN114299174B - 一种基于深度无监督学习的多回波欠采样重建—水脂分离方法 - Google Patents

Abstract

本发明公开了一种基于深度无监督学习的多回波欠采样重建—水脂分离方法，包括构建重建—水脂分离腹部MRI欠采样K空间数据集；建立无监督分组卷积—多回波双向卷积残差网络；训练无监督分组卷积—多回波双向卷积残差网络直至网络达到收敛；利用训练好的无监督分组卷积—多回波双向卷积残差网络对输入MRI欠采样K空间数据和零填充图像进行一体化的多回波图像重建和水脂分离。本发明通过学习不同回波图像的特征信息，极大地补全了欠采样回波图像的纹理细节，得到纹理细节更丰富的重建图像；通过利用相邻回波图像之间的依赖性提取到重建图像更准确的特征表示，并通过迭代优化分离结果和多层特征融合，有效提高了水脂分离的鲁棒性和准确率。

Description

一种基于深度无监督学习的多回波欠采样重建—水脂分离 方法

技术领域

本发明涉及医用磁共振成像和深度学习技术领域，具体涉及一种基于深度无监督学习的多回波欠采样重建—水脂分离方法。

背景技术

水和脂肪的分离在许多临床MRI应用中起着重要的作用。在骨髓疾病、肾上腺腺瘤和脂肪肝等疾病的诊断中，脂肪含量和水脂比等定量信息可以为医生提供一些辅助诊断信息。目前的水脂分离方法有很多，例如利用脂肪纵向弛豫时间T1较短特性的STIR技术，利用水质子和脂肪质子化学位移频率差的化学位移选择性(CHESS)脂肪饱和技术或水激发成像，以及基于化学位移的Dixon水脂分离技术。这些方法大多基于多回波梯度回波序列(Multi-echo Gradient-recalled Echo Sequence，mGRE)在K空间获取数据。K空间包含了图像中的空间频率信息，并且K空间和图像空间通过逆傅立叶变换相关联。但是K空间数据的采集时间很长，在采集过程中，被测对象的生理动作会导致重建图像出现明显的伪影。有许多创新试图通过减少采集时间来解决这个问题，广泛使用的方法是依据设计的欠采样掩模(像素为1代表采集)采集部分K空间点数据，利用压缩感知CS技术重建欠采样数据，然后进行水脂分离。然而，这种采用CS的欠采样重建—水脂分离算法的迭代求解过程是耗时的，在欠采样率较高时存在重建或分离过程中的纹理细节丢失和引入不必要的伪影问题。

近年来，深度学习特别是卷积神经网络(Convolutional Neural Networks，CNN)也被应用到水脂分离任务中。与传统的水脂分离方法相比，基于深度学习的方法可以从输入数据中隐式地学习先验信息(回波时间TEs、多峰脂肪谱的频移等)，而无需事先指定，并且在分离速度方面具有显著优势。然而，据我们所知，所有的这些深度学习方法都采用全采样mGRE数据，并没有探索深度学习方法对欠采样mGRE数据的优势，并且大多数方法采用的是有监督学习的模式，需要提前获取大量的参考真值数据。基于以上分析，本发明提出一种联合利用欠采样多回波图像的特征信息以及现有迭代水脂分离算法迭代性质的无监督分组卷积—多回波双向卷积残差网络(Group Convolution-Multi-echo BidirectionalConvolutional Residual Network，GC-MEBCRN)，其中分组卷积重建网络充分学习不同欠采样回波图像的特征信息，得到纹理细节更丰富的重建图像；多回波双向卷积残差网络利用相邻回波图像之间的依赖性提取到重建图像更准确的多回波特征表示，并通过迭代优化分离结果和多层特征融合，在无监督学习的模式下也有效提高了水脂分离的鲁棒性和准确率。

发明内容

本发明的目的在于克服现有技术的不足，提出一种兼顾分离准确率和处理速度的基于深度无监督学习的多回波欠采样重建—水脂分离方法。

为了解决上述技术问题，本发明所采用的技术方案是：基于深度无监督学习的多回波欠采样重建—水脂分离方法，包括以下步骤：

步骤1)构建重建—水脂分离腹部MRI欠采样K空间数据集，MRI欠采样K空间数据集包括欠采样K空间数据K_u、多回波零填充图像Z¹、参考重建图像、参考水图像和参考脂肪图像；

步骤2)基于梯度回波序列多回波特性建立无监督分组卷积—多回波双向卷积残差网络，分组卷积—多回波双向卷积残差网络包括分组卷积重建网络和多回波双向卷积残差网络，欠采样K空间数据K_u和多回波零填充图像Z¹经过分组卷积重建网络处理获得重建回波图像，重建回波图像经过多回波双向卷积残差网络处理获得计算的纯水信号图像、计算的纯脂肪信号图像、计算的场图和计算的弛豫时间；

其中，分组卷积重建网络包括P组级联的分组卷积重建网络单元，每组分组卷积重建网络单元包括一个分组卷积单元和一个数据保真层；多回波双向卷积残差网络包括Q个级联的多回波双向卷积单元和q个级联的残差模块；

步骤3)训练无监督分组卷积—多回波双向卷积残差网络直至无监督分组卷积—多回波双向卷积残差网络达到收敛，得到训练好的无监督分组卷积—多回波双向卷积残差网络模型；

步骤4)在重建—水脂分离测试阶段，利用步骤3)中训练好的无监督分组卷积—多回波双向卷积残差网络对欠采样K空间数据和多回波零填充图像进行重建和水脂分离，得到测试阶段最终的纯水信号图像和纯脂肪信号图像。

进一步地，所述步骤1)中，对多回波梯度回波序列的腹部全采样MRI切片图像进行裁剪，对裁剪后的腹部全采样MRI切片图像进行傅里叶变换得到全采样K空间数据，将全采样K空间数据与M倍欠采样掩模相乘得到欠采样K空间数据K_u，对欠采样K空间数据K_u进行逆快速傅里叶变换得到多回波零填充图像Z¹，并将欠采样K空间数据K_u和多回波零填充图像Z¹作为MRI欠采样K空间数据集中的输入图像。

进一步地，所述步骤1)中，对多回波梯度回波序列的腹部全采样MRI切片图像进行裁剪，将裁剪后的腹部全采样MRI切片图像作为重建—水脂分离测试阶段的参考重建图像。

进一步地，所述步骤1)中，对多回波梯度回波序列的腹部全采样MRI切片图像进行裁剪，采用水脂分离方法对裁剪后的腹部全采样MRI切片图像分别进行水脂分离，获得全采样MRI切片图像对应的测试纯水信号图像和测试纯脂肪信号图像，并将全采样MRI切片图像对应的测试纯水信号图像和测试纯脂肪信号图像分别作为重建—水脂分离测试阶段的参考水图像和参考脂肪图像。

进一步地，所述步骤2)中欠采样K空间数据K_u和多回波零填充图像Z¹经过分组卷积重建网络处理获得重建回波图像具体过程包括：

步骤2.1.1)多回波零填充图像Z¹作为第1组分组卷积重建网络单元中分组卷积单元的输入，分组卷积单元首先经过一个卷积层对输入的多回波零填充图像Z¹进行通道扩增至N×3，N为多回波零填充图像的通道数，然后通过多个分组通道拼接、分组卷积和通道混洗的组合充分提取多回波零填充图像Z¹的特征信息，再经过两个卷积层降低特征信息的通道数至N，并将降低通道数之后的特征信息作为分组卷积单元的输出特征信息G¹；

步骤2.1.2)将分组卷积单元的输出特征信息G¹经过傅里叶变换获得的结果和欠采样K空间数据K_u经过一个数据保真层，得到具有数据一致性的第1组分组卷积重建网络单元的重建K空间数据K¹，将重建K空间数据K¹经过逆傅里叶变换获得第1组重建回波图像R¹，第1组重建回波图像R¹作为第1组分组卷积重建网络单元的输出，其过程为：

R¹＝F^-1{K¹(k_x,k_y)}公式(2)

其中，F和F^-1分别为傅里叶变换和逆傅里叶变换；k_x和k_y为K空间坐标；U为二进制欠采样掩模；λ为正则化参数；

步骤2.1.3)将第1组分组卷积重建网络单元输出的第1组重建回波图像R¹作为第2组分组卷积重建网络单元中分组卷积单元的输入，重复步骤2.1.2)经过第2组分组卷积重建网络单元中的分组卷积单元和数据保真层处理得到第2组分组卷积重建网络单元输出的第2组重建回波图像R²；

步骤2.1.4)重复步骤2.1.3)直至获得第P组分组卷积重建网络单元输出的第P组重建回波图像R^P，将第P组分组卷积重建网络单元输出的第P组重建回波图像R^P作为分组卷积重建网络最终输出的重建回波图像，重建回波图像作为多回波双向卷积残差网络的初始输入图像。

进一步地，所述步骤2)中重建回波图像经过多回波双向卷积残差网络处理获得计算的纯水信号图像、计算的纯脂肪信号图像、计算的场图和计算的弛豫时间具体过程为：

步骤2.2.1)将重建回波图像R^P作为第1个多回波双向卷积单元的输入图像X¹，输入图像X¹的t个回波图像同时在正向和反向进行卷积计算，n＝1,…,t；

在正向卷积计算过程中，首先对输入图像X¹的第1个回波图像进行卷积计算得到第1个回波图像/>的正向多回波特征/>再对第2个回波图像/>进行卷积计算得到第2个回波图像/>的正向多回波特征/>……，直至对第t个回波图像/>进行卷积计算得到第t个回波图像/>的正向多回波特征/>

在反向卷积计算过程中，首先对输入图像X¹的第t个回波图像进行卷积计算得到第t个回波图像/>的反向多回波特征/>再对第t-1个回波图像/>进行卷积计算得到第t-1个回波图像/>的反向多回波特征/>……，直至对第1个回波图像/>进行卷积计算得到第1个回波图像/>的反向多回波特征/>其正向和反向卷积计算过程为：

其中，σ为非线性激活函数ReLU；*为卷积计算；为第1个多回波双向卷积单元输入卷积层的卷积核；/>为第1个多回波双向卷积单元回波卷积层中第1个回波图像的卷积核、/>为第1个多回波双向卷积单元回波卷积层中第2个回波图像的卷积核、……、W_t ¹为第1个多回波双向卷积单元回波卷积层中第t个回波图像的卷积核；/>为第1个多回波双向卷积单元迭代卷积层的卷积核；/>为第1个多回波双向卷积单元正向卷积计算的偏置项；/>为第1个多回波双向卷积单元反向卷积计算的偏置项；/>和/>均为初始零状态；……

、均为初始零状态。

步骤2.2.2)将第1个回波图像的正向多回波特征/>和反向多回波特征/>的和与第1个回波图像/>进行通道级联，获得输入图像X¹的第1个回波图像经过第1个多回波双向卷积单元的特征信息/>……，直至将第t个回波图像/>的正向多回波特征/>和反向多回波特征/>的和与第t个回波图像/>进行通道级联，获得输入图像X¹的第t个回波图像经过第1个多回波双向卷积单元的特征信息/>再将t个回波图像的特征信息的和作为输入图像X¹经过第1个多回波双向卷积单元的最终特征信息F¹；将输入图像X¹经过第1个多回波双向卷积单元的最终特征信息F¹和输入图像X¹进行通道级联，作为第2个多回波双向卷积单元的输入图像X²，计算过程表示为：

X²＝C{X¹,F¹}公式(12)

其中，C为通道级联；n＝1,…,t；单个多回波双向卷积单元中输入卷积层、回波卷积层和迭代卷积层尺寸相同；

步骤2.2.3)重复步骤2.2.1)—步骤2.2.2)将输入图像X²经过第2个多回波双向卷积单元得到第2个多回波双向卷积单元的最终特征信息F²；将第2个多回波双向卷积单元的最终特征信息F²和输入图像X²进行通道级联作为第3个多回波双向卷积单元的输入图像X³，……，直至最后将第Q个多回波双向卷积单元的最终特征信息F^Q作为第1个残差模块的输入；

步骤2.2.4)将多回波特征F^Q输入到第1个残差模块，通过两个串联的卷积层对输入特征F^Q进行水脂分离，得到第1个残差模块的分离特征S¹，然后以残差形式将分离特征S¹与输入特征F^Q相加，得到第1个残差模块的优化分离特征Q¹；将第1个残差模块的优化分离特征Q¹作为第2个残差模块的输入特征进行水脂分离，以此类推，分别得到q个残差模块的优化分离特征Q¹、Q²、……、Q^q；再通过多个卷积层将每个残差模块得到的优化分离特征Q¹、Q²、……、Q^q进行融合获得多层级深度融合特征，再将多层级深度融合特征经过两个串联的卷积层，得到计算的纯水信号图像ρ_w和计算的纯脂肪信号图像ρ_f、计算的场图ψ和计算的弛豫时间

进一步地，所述步骤3)中得到训练好的无监督分组卷积—多回波双向卷积残差网络模型具体过程包括：

步骤3.1)根据步骤2.2)得到的计算的纯水信号图像ρ_w和计算的纯脂肪信号图像ρ_f、计算的场图ψ和计算的弛豫时间由还原公式得到还原的全采样图像，对还原的全采样图像进行快速傅里叶变换得到还原的全采样K空间数据，将还原的全采样K空间数据与M倍欠采样掩模相乘得到还原的欠采样K空间数据，其过程可表示为：

K_n＝FFT{I_n}公式(14)

其中，I_n为还原的全采样图像；K_n为还原的全采样K空间数据；为还原的欠采样K空间数据；ρ_w为计算的纯水信号图像；ρ_f为计算的纯脂肪信号图像；ψ为计算的场图；/>为计算的弛豫时间；T_n为离散的回波时间，n＝1,…,t，t为总回波数目；M为脂肪谱峰的总数目；α_s为第M个脂肪谱峰对总体脂肪信号的相对贡献，且∑α_s＝1；Δf_s为第M个脂肪谱峰的化学位移频率；FFT为快速傅里叶变换；P为M倍欠采样掩模；°为矩阵乘法计算；

步骤3.2)计算欠采样K空间数据与还原的欠采样K空间数据之间的正规化方均根差损失，通过Adam优化算法迭代使网络达到收敛，得到训练好的无监督分组卷积—多回波双向卷积残差网络模型。

本发明的优点和积极效果是：

1、本发明提出的无监督分组卷积—多回波双向卷积残差网络通过学习不同欠采样回波图像的特征信息，得到纹理细节更丰富的重建图像；通过利用相邻回波图像之间的依赖性提取重建图像更准确的多回波特征表示，并通过迭代优化分离结果和多层特征融合，有效提高了水脂分离的鲁棒性和准确率；

2、本发明采用了无监督学习的模式，在重建—水脂分离网络的训练阶段不需要获取额外的参考真值数据，节省了大量的数据标记过程，并且在无监督学习的模式下也获得了较好的水脂分离效果。

附图说明

图1是本发明的无监督分组卷积—多回波双向卷积残差网络框架图；

图2是本发明的分组卷积重建网络框架图；

图3是本发明的分组卷积单元框架图；

图4是本发明的多回波双向卷积残差网络框架图；

图5是本发明的多回波双向卷积单元框架图；

图6是本发明的残差模块框架图；

图7是本发明与DuDoR-U无监督网络重建—水脂分离的效果对比图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

一种基于深度无监督学习的多回波欠采样重建—水脂分离方法，包括以下步骤：

步骤1)构建重建—水脂分离腹部MRI欠采样K空间数据集

MRI欠采样K空间数据集包括欠采样K空间数据K_u、多回波零填充图像Z¹、参考重建图像、参考水图像和参考脂肪图像；具体过程如下：

步骤1.1)对多回波(例如八回波)梯度回波序列的腹部全采样MRI切片图像进行裁剪，将尺寸为288×288的腹部全采样MRI切片图像裁剪为160×224尺寸，以去除多余的边界无用信息并且加快后续无监督分组卷积—多回波双向卷积残差网络模型的训练速度。对裁剪后的腹部全采样MRI切片图像进行傅里叶变换得到全采样K空间数据，将全采样K空间数据与M倍(例如6)欠采样掩模相乘得到欠采样K空间数据K_u，对欠采样K空间数据K_u进行逆快速傅里叶变换得到多回波零填充图像Z¹，并将欠采样K空间数据K_u和多回波零填充图像Z¹作为MRI欠采样K空间数据集中的输入图像；

步骤1.2)将步骤1.1)中裁剪后的腹部全采样MRI切片图像作为重建—水脂分离测试阶段的参考重建图像；采用水脂分离方法对裁剪后的腹部全采样MRI切片图像分别进行水脂分离，获得全采样MRI切片图像对应的测试纯水信号图像和测试纯脂肪信号图像，并将全采样MRI切片图像对应的测试纯水信号图像和测试纯脂肪信号图像分别作为重建—水脂分离测试阶段的参考水图像和参考脂肪图像。

步骤2)搭建基于梯度回波序列多回波特性的无监督分组卷积—多回波双向卷积残差网络，分组卷积—多回波双向卷积残差网络包括分组卷积重建网络和多回波双向卷积残差网络，分组卷积重建网络包括P组(如7组)级联的分组卷积重建网络单元，每组分组卷积重建网络单元包括一个分组卷积单元和一个数据保真层；多回波双向卷积残差网络包括Q个(例如4个)级联的多回波双向卷积单元和q个(例如6个)级联的残差模块。输入的欠采样K空间数据K_u和多回波零填充图像Z¹经过分组卷积重建网络处理获得拥有更多纹理细节的重建回波图像，重建回波图像经过多回波双向卷积残差网络处理获得计算的纯水信号图像、计算的纯脂肪信号图像、计算的场图和计算的弛豫时间，如图1所示。具体过程包括：

步骤2.1)欠采样K空间数据K_u和多回波零填充图像Z¹经过分组卷积重建网络获得纹理细节特征更丰富的重建回波图像，如图2所示；

步骤2.1.1)多回波零填充图像Z¹作为第1组分组卷积重建网络单元中分组卷积单元的输入，分组卷积单元首先经过一个卷积层对输入的多回波零填充图像Z¹进行通道扩增至N×3(N为多回波零填充图像的通道数)，然后通过多个分组通道拼接、分组卷积和通道混洗的组合充分提取多回波零填充图像Z¹的特征信息，再经过两个卷积层降低特征信息的通道数至N，并将降低通道数之后的特征信息作为分组卷积单元的输出特征信息G¹。单个分组卷积单元中三个卷积层尺寸依次为3×3×48、1×1×64和3×3×16，如图3所示；

步骤2.1.2)将分组卷积单元的输出特征信息G¹经过傅里叶变换获得的结果和欠采样K空间数据K_u经过一个数据保真层，得到具有数据一致性的第1组分组卷积重建网络单元的重建K空间数据K¹，将重建K空间数据K¹经过逆傅里叶变换获得第1组重建回波图像R¹，第1组重建回波图像R¹作为第1组分组卷积重建网络单元的输出，其过程可表示为：

R¹＝F^-1{K¹(k_x,k_y)}公式(2)

其中，F和F^-1分别为傅里叶变换和逆傅里叶变换；k_x和k_y为K空间坐标；U为二进制欠采样掩模；λ为正则化参数，一般取10⁶；

步骤2.1.3)将第1组分组卷积重建网络单元输出的第1组重建回波图像R¹作为第2组分组卷积重建网络单元中分组卷积单元的输入，重复步骤2.1.2)经过第2组分组卷积重建网络单元中的分组卷积单元和数据保真层处理得到第2组分组卷积重建网络单元输出的第2组重建回波图像R²；

步骤2.1.4)重复步骤2.1.3)直至获得第P组分组卷积重建网络单元输出的第P组重建回波图像R^P，将第P组分组卷积重建网络单元输出的第P组重建回波图像R^P作为分组卷积重建网络最终输出的重建回波图像，重建回波图像作为多回波双向卷积残差网络的初始输入图像。

步骤2.2)重建回波图像经过多回波双向卷积残差网络充得到计算的纯水信号图像和计算的纯脂肪信号图像、计算的场图和计算的弛豫时间，有效提高了水脂分离的鲁棒性和准确率，如图4所示。

步骤2.2.1)将重建回波图像R^P作为第1个多回波双向卷积单元的输入图像X¹，输入图像X¹的t个回波图像同时在正向和反向进行卷积计算；

在正向卷积计算过程中，首先对输入图像X¹的第1个回波图像进行卷积计算得到第1个回波图像/>的正向多回波特征/>再对第2个回波图像/>进行卷积计算得到第2个回波图像/>的正向多回波特征/>……，直至对第t个回波图像/>进行卷积计算得到第t个回波图像/>的正向多回波特征/>

在反向卷积计算过程中，首先对输入图像X¹的第t个回波图像进行卷积计算得到第t个回波图像/>的反向多回波特征/>再对第t-1个回波图像/>进行卷积计算得到第t-1个回波图像/>的反向多回波特征/>……，直至对第1个回波图像/>进行卷积计算得到第1个回波图像/>的反向多回波特征/>如图5所示，其正向和反向卷积计算过程可表示为：

其中，σ为非线性激活函数ReLU；*为卷积计算；为第1个多回波双向卷积单元输入卷积层的卷积核；/>为第1个多回波双向卷积单元回波卷积层中第1个回波图像的卷积核、/>为第1个多回波双向卷积单元回波卷积层中第2个回波图像的卷积核、……、W_t ¹为第1个多回波双向卷积单元回波卷积层中第t个回波图像的卷积核；/>为第1个多回波双向卷积单元迭代卷积层的卷积核；/>为第1个多回波双向卷积单元正向卷积计算的偏置项；/>为第1个多回波双向卷积单元反向卷积计算的偏置项；/>和/>均为初始零状态；……

、均为初始零状态。

步骤2.2.2)将第1个回波图像的正向多回波特征/>和反向多回波特征/>的和与第1个回波图像/>进行通道级联，获得输入图像X¹的第1个回波图像经过第1个多回波双向卷积单元的特征信息/>……，直至将第t个回波图像/>的正向多回波特征/>和反向多回波特征/>的和与第t个回波图像/>进行通道级联，获得输入图像X¹的第t个回波图像经过第1个多回波双向卷积单元的特征信息/>再将t个回波图像的特征信息的和作为输入图像X¹经过第1个多回波双向卷积单元的最终特征信息F¹；将输入图像X¹经过第1个多回波双向卷积单元的最终特征信息F¹和输入图像X¹进行通道级联，作为第2个多回波双向卷积单元的输入图像X²，其过程可表示为：

X²＝C{X¹,F¹}公式(12)

其中，C为通道级联；n＝1,…,t；单个多回波双向卷积单元中输入卷积层、回波卷积层和迭代卷积层尺寸相同，四个多回波双向卷积单元卷积层尺寸依次为3×3×8、3×3×10、3×3×12和3×3×14；

步骤2.2.3)重复步骤2.2.1)—步骤2.2.2)将输入图像X²经过第2个多回波双向卷积单元得到第2个多回波双向卷积单元的最终特征信息F²；将第2个多回波双向卷积单元的最终特征信息F²和输入图像X²进行通道级联作为第3个多回波双向卷积单元的输入图像X³，……，直至最后将第Q个多回波双向卷积单元的最终特征信息F^Q作为第1个残差模块的输入；

步骤2.2.4)将多回波特征F^Q输入到第1个残差模块，通过两个串联的卷积层对输入特征F^Q进行水脂分离，得到第1个残差模块的分离特征S¹，然后以残差形式将分离特征S¹与输入特征F^Q相加，得到第1个残差模块的优化分离特征Q¹；将第1个残差模块的优化分离特征Q¹作为第2个残差模块的输入特征进行水脂分离，以此类推，分别得到q个残差模块的优化分离特征Q¹、Q²、……、Q^q；再通过多个卷积层将每个残差模块得到的优化分离特征Q¹、Q²、……、Q^q进行融合获得多层级深度融合特征，再将多层级深度融合特征经过两个串联的卷积层，得到计算的纯水信号图像ρ_w和计算的纯脂肪信号图像ρ_f、计算的场图ψ和计算的弛豫时间T₂*。其中，残差模块中两个串联的卷积层尺寸均为3×3×128，多层特征融合中的卷积层尺寸均为3×3×128，两个串联的卷积层尺寸依次为3×3×128和3×3×4，残差模块的结构如图6所示。

步骤3)使用损失函数和优化算法迭代训练无监督分组卷积—多回波双向卷积残差网络直至无监督分组卷积—多回波双向卷积残差网络达到收敛，得到训练好的无监督分组卷积—多回波双向卷积残差网络模型，具体实现过程包括：

步骤3.1)根据步骤2.2)得到的计算的纯水信号图像ρ_w和计算的纯脂肪信号图像ρ_f、计算的场图ψ和计算的弛豫时间由还原公式得到还原的全采样图像，对还原的全采样图像进行快速傅里叶变换得到还原的全采样K空间数据，将还原的全采样K空间数据与M倍(例如6)欠采样掩模相乘得到还原的欠采样K空间数据，其过程可表示为：

K_n＝FFT{I_n}公式(14)

其中，I_n为还原的全采样图像；K_n为还原的全采样K空间数据；为还原的欠采样K空间数据；ρ_w为计算的纯水信号图像；ρ_f为计算的纯脂肪信号图像；ψ为计算的场图；/>为计算的弛豫时间；T_n为离散的回波时间(n＝1,…,t，t为总回波数目)；M为脂肪谱峰的总数目；α_s为第M个脂肪谱峰对总体脂肪信号的相对贡献，且∑α_s＝1；Δf_s为第M个脂肪谱峰的化学位移频率；FFT为快速傅里叶变换；P为M倍欠采样掩模；°为矩阵乘法计算；

步骤3.2)计算欠采样K空间数据与还原的欠采样K空间数据之间的NRMSE(正规化方均根差)损失，通过Adam优化算法迭代使网络达到收敛，得到训练好的无监督分组卷积—多回波双向卷积残差网络模型。

步骤4)在重建—水脂分离测试阶段，利用步骤3)中训练好的无监督分组卷积—多回波双向卷积残差网络对欠采样K空间数据和多回波零填充图像进行重建和水脂分离，得到测试阶段最终的纯水信号图像和纯脂肪信号图像。

通过实验论证，本发明无监督分组卷积—多回波双向卷积残差网络可以充分学习不同回波图像的特征信息，极大地补全欠采样图像的纹理细节，获得纹理细节更丰富的重建图像；可以利用相邻回波图像之间的依赖性提取到重建图像更准确的多回波特征表示，并通过迭代优化分离结果和多层特征融合，在无监督学习的模式下也能有效提高纯水信号图像和纯脂肪信号图像的细节质量。

为了更好地证明本发明的有效性，如Goldfarb等人提出的全身水脂分离方法采用K-折交叉验证方式训练网络模型，本发明在包含376张切片的腹部MRI图像数据集上也采用8折交叉验证方式训练各网络模型。

在对比实验中，选取现有基于卷积神经网络的欠采样重建网络与水脂分离网络组合作为对比方法，主要为Bo Zhou等人提出的DuDoR重建网络与Jafari R等人提出的U-net无监督水脂分离网络的组合方法DuDoR-U。为保证对比实验的公平性，两种方法均在相同的软硬件环境下进行实验。

对比实验的软硬件环境：Pytorch框架；Windows 10***；Intel i7-8700K CPU；32GB内存；NVIDIA GTX 1080Ti显卡；

对比的基于卷积神经网络的算法为：

Bo Zhou等人提出的欠采样重建方法，参考文献：Bo Zhou,S.KevinZhou.DuDoRNet:Learning a Dual-Domain Recurrent Network for Fast MRIReconstruction with Deep T1 Prior[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2020:4272-4281.

Jafari R等人提出的无监督水脂分离方法，参考文献：Jafari R,SpincemailleP,Zhang J,Nguyen TD,Luo X,Cho J,Margolis D,Prince MR,Wang Y.Deep neuralnetwork for water/fat separation:Supervised training,unsupervised training,and no training[J].Magnetic resonance in medicine,2021,85(4):2263-2277.

评价指标：本发明使用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似性(Structural Similarity，SSIM)和单张切片的水脂分离时间Time三种客观评价指标评估各网络模型的性能，其中PSNR和SSIM指标的数值越大表明重建和水脂分离的效果越好，Time指标的数值越小表明水脂分离的处理速度越快。

表1本发明与DuDoR-U网络的客观评价指标对比

从表1中两种方法的客观指标上看，在重建图像和水脂分离图像的PSNR/SSIM指标方面，本发明相比于无监督DuDoR-U网络分别有4.74dB/3.52％和3.76dB/3.93％的提升。在单张切片的处理耗时方面，本发明比无监督DuDoR-U网络用时更少，且控制在0.1秒内，满足临床实时处理的要求。

图7展示了本发明与无监督DuDoR-U网络的重建结果、水脂分离结果、重建图像以及水和脂肪信号图像与参考图像的差值图像，其中选取的图像为具有代表性的图像。相比于无监督DuDoR-U网络，本发明重建图像、水和脂肪信号的差值图像深色亮点都更少，且得到的重建图像、水和脂肪信号图像细节更丰富，视觉感知效果也更接近参考图像。综上所述，本发明是一种有效的无监督欠采样多回波梯度回波序列图像重建—水脂分离方法。

最后需要强调的是：本发明描述的实施例对本发明只是起解释说明作用，而并不是对其加以限制。本发明适用的身体部位不局限于描述的实施例中的腹部，还可以是脑部、心脏或者膝盖等身体部位。本发明适用的mGRE序列回波数目也不局限于描述的实施例中的8个回波，还可以是5个回波、6个回波或者7个回波等。本发明适用的欠采样倍数也不局限于描述的实施例中的6倍，还可以是3倍、4倍或者5倍等。本发明所属领域的技术人员在未偏离本发明的精神与原理下所作的任何改变、等效替代或者简化，均属于本发明保护的范围。

本发明未作详细描述的内容属于本领域技术人员公知的现有技术。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于深度无监督学习的多回波欠采样重建—水脂分离方法，其特征在于：包括以下步骤：

步骤1)构建重建—水脂分离腹部MRI欠采样K空间数据集，MRI欠采样K空间数据集包括欠采样K空间数据K_u、多回波零填充图像Z¹、参考重建图像、参考水图像和参考脂肪图像；

步骤2)基于梯度回波序列多回波特性建立无监督分组卷积—多回波双向卷积残差网络，分组卷积—多回波双向卷积残差网络包括分组卷积重建网络和多回波双向卷积残差网络，欠采样K空间数据K_u和多回波零填充图像Z¹经过分组卷积重建网络处理获得重建回波图像，重建回波图像经过多回波双向卷积残差网络处理获得计算的纯水信号图像、计算的纯脂肪信号图像、计算的场图和计算的弛豫时间；

其中，分组卷积重建网络包括P组级联的分组卷积重建网络单元，每组分组卷积重建网络单元包括一个分组卷积单元和一个数据保真层；多回波双向卷积残差网络包括Q个级联的多回波双向卷积单元和q个级联的残差模块；

步骤3)训练无监督分组卷积—多回波双向卷积残差网络直至无监督分组卷积—多回波双向卷积残差网络达到收敛，得到训练好的无监督分组卷积—多回波双向卷积残差网络模型；

步骤4)在重建—水脂分离测试阶段，利用步骤3)中训练好的无监督分组卷积—多回波双向卷积残差网络对欠采样K空间数据和多回波零填充图像进行重建和水脂分离，得到测试阶段最终的纯水信号图像和纯脂肪信号图像。

2.根据权利要求1所述基于深度无监督学习的多回波欠采样重建—水脂分离方法，其特征在于：所述步骤1)中，对多回波梯度回波序列的腹部全采样MRI切片图像进行裁剪，对裁剪后的腹部全采样MRI切片图像进行傅里叶变换得到全采样K空间数据，将全采样K空间数据与M倍欠采样掩模相乘得到欠采样K空间数据K_u，对欠采样K空间数据K_u进行逆快速傅里叶变换得到多回波零填充图像Z¹，并将欠采样K空间数据K_u和多回波零填充图像Z¹作为MRI欠采样K空间数据集中的输入图像。

3.根据权利要求1所述基于深度无监督学习的多回波欠采样重建—水脂分离方法，其特征在于：所述步骤1)中，对多回波梯度回波序列的腹部全采样MRI切片图像进行裁剪，将裁剪后的腹部全采样MRI切片图像作为重建—水脂分离测试阶段的参考重建图像。

4.根据权利要求1所述基于深度无监督学习的多回波欠采样重建—水脂分离方法，其特征在于：所述步骤1)中，对多回波梯度回波序列的腹部全采样MRI切片图像进行裁剪，采用水脂分离方法对裁剪后的腹部全采样MRI切片图像分别进行水脂分离，获得全采样MRI切片图像对应的测试纯水信号图像和测试纯脂肪信号图像，并将全采样MRI切片图像对应的测试纯水信号图像和测试纯脂肪信号图像分别作为重建—水脂分离测试阶段的参考水图像和参考脂肪图像。

5.根据权利要求1所述基于深度无监督学习的多回波欠采样重建—水脂分离方法，其特征在于：所述步骤2)中欠采样K空间数据K_u和多回波零填充图像Z¹经过分组卷积重建网络处理获得重建回波图像具体过程包括：

步骤2.1.1)多回波零填充图像Z¹作为第1组分组卷积重建网络单元中分组卷积单元的输入，分组卷积单元首先经过一个卷积层对输入的多回波零填充图像Z¹进行通道扩增至N×3，N为多回波零填充图像的通道数，然后通过多个分组通道拼接、分组卷积和通道混洗的组合充分提取多回波零填充图像Z¹的特征信息，再经过两个卷积层降低特征信息的通道数至N，并将降低通道数之后的特征信息作为分组卷积单元的输出特征信息G¹；

步骤2.1.2)将分组卷积单元的输出特征信息G¹经过傅里叶变换获得的结果和欠采样K空间数据K_u经过一个数据保真层，得到具有数据一致性的第1组分组卷积重建网络单元的重建K空间数据K¹，将重建K空间数据K¹经过逆傅里叶变换获得第1组重建回波图像R¹，第1组重建回波图像R¹作为第1组分组卷积重建网络单元的输出，其过程为：

R¹＝F^-1{K¹(k_x,k_y)} 公式(2)

其中，F和F^-1分别为傅里叶变换和逆傅里叶变换；k_x和k_y为K空间坐标；U为二进制欠采样掩模；λ为正则化参数；

步骤2.1.3)将第1组分组卷积重建网络单元输出的第1组重建回波图像R¹作为第2组分组卷积重建网络单元中分组卷积单元的输入，重复步骤2.1.2)经过第2组分组卷积重建网络单元中的分组卷积单元和数据保真层处理得到第2组分组卷积重建网络单元输出的第2组重建回波图像R²；

步骤2.1.4)重复步骤2.1.3)直至获得第P组分组卷积重建网络单元输出的第P组重建回波图像R^P，将第P组分组卷积重建网络单元输出的第P组重建回波图像R^P作为分组卷积重建网络最终输出的重建回波图像，重建回波图像作为多回波双向卷积残差网络的初始输入图像。

6.根据权利要求5所述基于深度无监督学习的多回波欠采样重建—水脂分离方法，其特征在于：所述步骤2)中重建回波图像经过多回波双向卷积残差网络处理获得计算的纯水信号图像、计算的纯脂肪信号图像、计算的场图和计算的弛豫时间具体过程为：

步骤2.2.1)将重建回波图像R^P作为第1个多回波双向卷积单元的输入图像X¹，输入图像X¹的t个回波图像同时在正向和反向进行卷积计算，n＝1,…,t；

在正向卷积计算过程中，首先对输入图像X¹的第1个回波图像进行卷积计算得到第1个回波图像/>的正向多回波特征/>再对第2个回波图像/>进行卷积计算得到第2个回波图像/>的正向多回波特征/>……，直至对第t个回波图像/>进行卷积计算得到第t个回波图像/>的正向多回波特征/>

在反向卷积计算过程中，首先对输入图像X¹的第t个回波图像进行卷积计算得到第t个回波图像/>的反向多回波特征/>再对第t-1个回波图像/>进行卷积计算得到第t-1个回波图像/>的反向多回波特征/>……，直至对第1个回波图像/>进行卷积计算得到第1个回波图像/>的反向多回波特征/>其正向和反向卷积计算过程为：

其中，σ为非线性激活函数ReLU；*为卷积计算；为第1个多回波双向卷积单元输入卷积层的卷积核；/>为第1个多回波双向卷积单元回波卷积层中第1个回波图像的卷积核、为第1个多回波双向卷积单元回波卷积层中第2个回波图像的卷积核、……、/>为第1个多回波双向卷积单元回波卷积层中第t个回波图像的卷积核；/>为第1个多回波双向卷积单元迭代卷积层的卷积核；/>为第1个多回波双向卷积单元正向卷积计算的偏置项；/>为第1个多回波双向卷积单元反向卷积计算的偏置项；/>和/>均为初始零状态；/> 均为初始零状态；

步骤2.2.2)将第1个回波图像的正向多回波特征/>和反向多回波特征/>的和与第1个回波图像/>进行通道级联，获得输入图像X¹的第1个回波图像经过第1个多回波双向卷积单元的特征信息/>……，直至将第t个回波图像/>的正向多回波特征/>和反向多回波特征/>的和与第t个回波图像/>进行通道级联，获得输入图像X¹的第t个回波图像经过第1个多回波双向卷积单元的特征信息/>再将t个回波图像的特征信息的和作为输入图像X¹经过第1个多回波双向卷积单元的最终特征信息F¹；将输入图像X¹经过第1个多回波双向卷积单元的最终特征信息F¹和输入图像X¹进行通道级联，作为第2个多回波双向卷积单元的输入图像X²，计算过程表示为：

其中，C为通道级联；n＝1,…,t；单个多回波双向卷积单元中输入卷积层、回波卷积层和迭代卷积层尺寸相同；

步骤2.2.3)重复步骤2.2.1)—步骤2.2.2)将输入图像X²经过第2个多回波双向卷积单元得到第2个多回波双向卷积单元的最终特征信息F²；将第2个多回波双向卷积单元的最终特征信息F²和输入图像X²进行通道级联作为第3个多回波双向卷积单元的输入图像X³，……，直至最后将第Q个多回波双向卷积单元的最终特征信息F^Q作为第1个残差模块的输入；

步骤2.2.4)将多回波特征F^Q输入到第1个残差模块，通过两个串联的卷积层对输入特征F^Q进行水脂分离，得到第1个残差模块的分离特征S¹，然后以残差形式将分离特征S¹与输入特征F^Q相加，得到第1个残差模块的优化分离特征Q¹；将第1个残差模块的优化分离特征Q¹作为第2个残差模块的输入特征进行水脂分离，以此类推，分别得到q个残差模块的优化分离特征Q¹、Q²、……、Q^q；再通过多个卷积层将每个残差模块得到的优化分离特征Q¹、Q²、……、Q^q进行融合获得多层级深度融合特征，再将多层级深度融合特征经过两个串联的卷积层，得到计算的纯水信号图像ρ_w和计算的纯脂肪信号图像ρ_f、计算的场图ψ和计算的弛豫时间

7.根据权利要求6所述基于深度无监督学习的多回波欠采样重建—水脂分离方法，其特征在于：所述步骤3)中得到训练好的无监督分组卷积—多回波双向卷积残差网络模型具体过程包括：

步骤3.1)根据步骤2.2)得到的计算的纯水信号图像ρ_w和计算的纯脂肪信号图像ρ_f、计算的场图ψ和计算的弛豫时间由还原公式得到还原的全采样图像，对还原的全采样图像进行快速傅里叶变换得到还原的全采样K空间数据，将还原的全采样K空间数据与M倍欠采样掩模相乘得到还原的欠采样K空间数据，其过程可表示为：

K_n＝FFT{I_n} 公式(14)

其中，I_n为还原的全采样图像；K_n为还原的全采样K空间数据；为还原的欠采样K空间数据；ρ_w为计算的纯水信号图像；ρ_f为计算的纯脂肪信号图像；ψ为计算的场图；/>为计算的弛豫时间；T_n为离散的回波时间，n＝1,…,t，t为总回波数目；M为脂肪谱峰的总数目；α_s为第M个脂肪谱峰对总体脂肪信号的相对贡献，且∑α_s＝1；Δf_s为第M个脂肪谱峰的化学位移频率；FFT为快速傅里叶变换；P为M倍欠采样掩模；/>为矩阵乘法计算；

步骤3.2)计算欠采样K空间数据与还原的欠采样K空间数据之间的正规化方均根差损失，通过Adam优化算法迭代使网络达到收敛，得到训练好的无监督分组卷积—多回波双向卷积残差网络模型。