CN113487507A - 一种基于多模块特征聚合的双域递归网络mr重建方法 - Google Patents

Abstract

本发明请求保护一种基于特征聚合的双域递归网络MR重建方法。其实现步骤为：1)数据预处理:对K空间数据进行预处理，包括构建欠采样模板、模拟欠采样过程、归一化、截取切片、二维小波变换、构建训练集和测试集；2)构建网络模型:模型包括小波域多模块特征融合网络与图像域多模块特征融合网络；3)训练神经网络:将处理好的小波域数据、欠采样模板(mask)和欠采样K空间数据作为本网络的输入，原始的磁共振图像数据作为GT训练该模型；4)测试网络模型:将测试集的欠采样小波域数据输入上述模型中进行测试，得到高质量的重建图像；5)评价重建图像质量:本实验用PSNR和SSIM评价重建后图像质量。

Description

一种基于多模块特征聚合的双域递归网络MR重建方法

技术领域

本发明属于医学图像处理技术领域，具体的说是一种多模块特征聚合的双域递归网络MR重建方法。

背景技术

磁共振成像(Magnetic Resonance Imaging,MRI)是一种非侵入式的活体成像技术，它通过组织细胞内的原子核在强大的磁场作用下发生共振，再经过信号采集和计算机处理，从而形成了磁共振医学影像。与CT影像相比，它具有无辐射、对比度高和多参数成像等特点，更容易发现病变位置。但磁共振扫描速度缓慢，从而产生运动伪影，因此我们解决的主要问题是磁共振图像重建速度与质量。

传统磁共振重建方法则是基于压缩感知(Compressed Sensing,CS)理论，信号采集可以低于奈奎斯特采样定律进行采样，CS_MRI利用数据的稀疏性和数据采样的非相关性，通过观测矩阵对稀疏信号压缩采样，从欠采的信号中通过非线性优化重建MR图像,但传统方法的重建速度和精度不高。近几年深度学习方法已经应用于磁共振图像重建，与传统方法相比，深度学习通过对数据的浅层特征提取，形成更抽象的特征信息，能够有效提高MR重建精度。本文就现有的基于深度学习重建方法进行改进，引入小波域，与图像域进行结合，对小波域的多个模块与图像域的多个模块，分别进行多模块特征聚合，对多张MR切片进行重建。图像预处理阶段保持一定比例的低频信息来维持图像的基础结构，大量包含组织细节的高频信息丢失，经网络训练后可重建出高质量、高精度的磁共振图像。本文旨在为磁共振重建找到其他解决方案。

发明内容

本发明提供一种基于多模块特征聚合的双域递归网络MR重建方法，以找到另一种重建MR图像的思路。

为了实现上述目的，本发明包括以下步骤：

S1)构建数据及并进行预处理：将原始K空间数据集通过不同加速因子下的欠采样模板(mask)模拟欠采样过程，得到欠采样的K空间数据，将欠采样K空间数据集经傅里叶逆变换(Inverse Fourier Transform,IFT)转换为图像域数据集，接着进行归一化、截取序列等操作，再将图像域数据集经过二维小波变换(Discrete Wavelet Transform,DWT)转换成小波域数据集，该数据集划分为训练集和测试集。

S2)重建模型的搭建：通过深度学习框架PyTorch搭建一种基于多模块特征融合的双域递归网络用于MR图像重建,该网络包括三个部分，分别为小波域多模块特征聚合网络，图像域多模块特征聚合网络，构造损失函数以及数据一致性层(DC)。

1)小波域多模块特征聚合网络：网络架构包括三个重复的小波域残差模块、每个基本的小波域残差模块由一个3×3卷积，三个并行的空洞卷积，卷积核为3×3，两个1×1卷积组成，三个空洞卷积的扩张率分别为dilation＝1,dilation＝2,dilation＝4,卷积核为3×3。首先欠采样小波数据经过3×3卷积，进行浅层特征提取，然后经过三个不同扩张率的卷积，用1×1卷积将不同尺度的信息融合到一起，最后将进行残差连接，则三个小波域残差块输出分别为F₀,F₁,F₂,将F₀,F₁,F₂按照通道维度拼接到一起，用1×1卷积将不同模块的特征信息融合到一起，实现了多模块的小波域的特征融合，使网络融合不同上下文信息，能够精细化特征表达，最后进行跨层跳跃连接。

2)小波域数据一致性层：对网络重构的小波域经过小波逆变换转换成图像域数据，再经过傅里叶逆变换，实现图像域到K空间域的转换，由于欠采样K空间数据包含了网络重构K空间域的准确信息，因此，欠采样K空间要替换网络重构K空间的相应位置，公式如下：

其中，WDC代表小波域数据一致性，W,W^H分别代表二维小波变换和二维小波逆变换，f_cnn(w_u|θ)代表网络重构数据，w_u表示初始欠采样数据，F代表二维傅里叶变换，y＝MK₀，M代表欠采样模板(mask)，K₀代表初始K空间数据，δ是权重参数，设j为K空间上的一个点，Ω为K空间所有的欠采样点。

3)图像域多模块特征聚合网络：网络架构包括三个双向特征融合(BidirectionalFeature Fusion,BFF)模块，用来学习相邻切片的特征信息，小波域重构网络的输出经过小波逆变换转换成图像域数据，作为图像域重构网络的输入，每个基础模块是对输入数据的每张切片经过3×3卷积操作，进行浅层特征提取后，然后再进行一次3×3卷积操作，分别得到特征图M₁,M₂,...,M_n，接着令A₁＝M₁，A₁经过3×3卷积特征提取与M₂特征融合得到A₂，将A₂经过3×3卷积特征提取与M₃特征融合得到A₃，以此类推，将A_n-1经过3×3卷积特征提取与M_n特征融合得到A_n，本模块使用LeakRelu函数进行修正，公式如下：

接着对切片维度进行反向操作，对切片维度反方向的每一个切片特征进行3×3卷积操作，分别得到特征图W₁,W₂,...,W_n，然后令B₁＝W₁，B₁经过卷积特征提取与W₂特征融合得到B₂，将B₂经过卷积特征提取与W₃特征融合得到B₃，以此类推，将B_n-1经过卷积特征提取与W_n特征融合得到B_n，本模块用LeakRelu函数进行修正，公式如下：

其中，conv表示卷积操作，最后使特征图A₁,A₂,...,A_n和特征图B₁,B₂,...,B_n对应进行特征融合，即加和操作，使图像特征的每一维度信息增加，确保学习切片间有效的特征信息，接着将加和操作后的数据按照切片维度拼接到一起，公式如下：

H＝cat[(A₁+B_n):(A₂+B_n-2):...:(A_n+B₁)]

其中，cat[:]代表拼接操作。

图像域数据经过三个双向特征融合模块后的特征分别为H₀、H₁、H₂，然后将H₀、H₁、H₂按照通道维度拼接到一起，然后用1×1卷积将不同模块的特征信息融合到一起，实现多模块的图像域的特征融合，使网络融合不同上下文信息，能够精细化特征表达,接着进行长跳跃连接。

4)图像域数据一致性层。公式如下：

在上述公式中，IDC代表图像域的数据一致性，F,F^H分别二维傅里叶变换和二维傅里叶逆变换，f_cnn(x_u|θ)代表网络重构数据，w_u表示初始欠采样数据，y＝MK₀，M代表欠采样模板(mask)，K₀表示初始K空间数据，δ是权重参数，设j为K空间上的一个点,Ω为K空间所有的欠采样点。

5)构造损失函数

本模型使用均方误差，公式如下：

其中，x表示目标数据，y表示网络重构的数据，m、n表示图像的大小，i、j表示像素的索引，MSE表示像素点偏离真实值距离平方和的平均数。

小波域损失函数如下所示：

图像域损失函数如下所示：

总的损失函数如下所示：

Loss＝λ₁loss₁+λ₂loss₂

其中，f_cnn表示网络模型，θ表示学习的参数，λ₁,λ₂为权重参数，经过反向传播进行参数优化，使损失函数收敛。

S4)设置最大迭代次数:使网络拟合更好的特征信息，重建出高质量的MR图像。

S5)模型训练:把训练集输入到模型当中，通过正向传播重建高质量MR图像，然后根据损失函数进行反向传播，不断更新网络参数，直至达到稳定。

本发明与现有技术相比，具有以下优点：

本发明中，在磁共振图像重建方法中，小波域和图像域的结合更能使网络学习更多的高频信息。对小波域和图像域的多模块特征聚合可以学习不同语义信息，拟合更好的数据特征，并加快网络收敛并重建出高质量的MR图像。

附图说明

图1为基于多模块特征聚合的双域递归网络MR重建方法流程图

图2为基于多模块特征聚合的双域递归网络总体模型图

图3为基于多模块特征聚合的双域递归网络的小波域残差模块与双向特征融合模块

具体实施方式

以下结合附图对本发明进行详细描述

本发明包含四个方面：训练数据的准备、小波域多模块特征聚合网络的构成、图像域多模块特征聚合网络的构成、网络模型的训练与重建。

S1)训练数据的准备包括原始K空间数据、欠采样模板等。原始K空间数据用K(k_x,k_y)表示，k_x表示K空间频率编码方向，k_y表示K空间相位编码方向，将原始K空间数据切分成长度为s，大小为256×256的K空间数据，经过欠采样模板(mask)模拟欠采样过程，公式如下：

K_u(k_x,k_y)＝K(k_x,k_y)×mask(k_x,k_y)

本发明采用笛卡尔(Cartesiar)采样轨迹，需要采样点的值为1，不需要采样点的值为0，公式如下：

欠采样K空间经二维傅里叶逆变换获得图像域数据，并采用Min-Max归一化处理，经二维小波变换获得小波域数据w₀＝(w₁,w₂,...,w_i)＝DWT(x_u)，i为子带数(在本实验中，i＝4，w₁,w₂,w₃,w₄分别表示低频分量、水平低频垂直高频分量、水平高频垂直低频分量和对角线高频分量)，w₀具有4个通道，大小为10×4×128×128。

S2)小波域多模块特征聚合网络的构成：如图3所示，网络架构包括三个重复的小波域残差模块、每个基本的小波域残差模块由一个3×3卷积，三个并行的空洞卷积，卷积核为3×3，两个1×1卷积组成，三个空洞卷积的扩张率分别为dilation＝1,dilation＝2,dilation＝4,卷积核为3×3。首先欠采样小波数据经过3×3卷积，进行浅层特征提取，然后经过三个不同扩张率的卷积，用1×1卷积将不同尺度的信息融合到一起，最后将进行残差连接，则三个小波域残差块输出分别为F₀,F₁,F₂,将F₀,F₁,F₂按照通道维度拼接到一起，用1×1卷积将不同模块的特征信息融合到一起，实现了多模块的小波域的特征融合，使网络融合不同上下文信息，能够精细化特征表达，最后进行跨层跳跃连接，对网络重构的小波域经过小波逆变换转换成图像域数据，再经过傅里叶逆变换，实现图像域到K空间域的转换，由于欠采样K空间数据包含了网络重构K空间域的准确信息，因此，欠采样K空间要替换网络重构K空间的相应位置，公式如下：

其中，WDC代表小波域数据一致性，W,W^H分别代表二维小波变换和二维小波逆变换，f_cnn(w_u|θ)代表网络重构数据，w_u表示初始欠采样数据，F代表二维傅里叶变换，y＝MK₀，M代表欠采样模板(mask)，K₀代表初始K空间数据，δ是权重参数，设j为K空间上的一个点，Ω为K空间所有的欠采样点。

S3)图像域多模块特征聚合网络：网络架构包括三个双向特征融合(Bidirectional Feature Fusion,BFF)模块。小波域重构网络的输出经过小波逆变换转换成图像域数据，作为图像域重构网络的输入，每个基础模块是对输入数据的每张切片经过3×3卷积操作，进行浅层特征提取后，然后再进行一次3×3卷积操作，分别得到特征图M₁,M₂,...,M_n，接着令A₁＝M₁，A₁经过3×3卷积特征提取与M₂特征融合得到A₂，将A₂经过3×3卷积特征提取与M₃特征融合得到A₃，以此类推，将A_n-1经过3×3卷积特征提取与M_n特征融合得到A_n，本模块使用LeakRelu函数进行修正，公式如下：

接着对切片维度进行反向操作，对切片维度反方向的每一个切片特征进行3×3卷积操作，分别得到特征图W₁,W₂,...,W_n，然后令B₁＝W₁，B₁经过卷积特征提取与W₂特征融合得到B₂，将B₂经过卷积特征提取与W₃特征融合得到B₃，以此类推，将B_n-1经过卷积特征提取与W_n特征融合得到B_n，本模块用LeakRelu函数进行修正，公式如下：

其中，conv表示卷积操作，最后使特征图A₁,A₂,...,A_n和特征图B₁,B₂,...,B_n对应进行特征融合，即加和操作，使图像特征的每一维度信息增加，确保学习切片间有效的特征信息，接着将加和操作后的数据按照切片维度拼接到一起，公式如下：

H＝cat[(A₁+B_n):(A₂+B_n-2):...:(A_n+B₁)]

其中，cat[:]代表拼接操作；

图像域数据经过三个双向特征融合模块后的特征分别为H₀、H₁、H₂，然后将H₀、H₁、H₂按照通道维度拼接到一起，然后用1×1卷积将不同模块的特征信息融合到一起，实现多模块的图像域的特征融合，使网络融合不同上下文信息，能够精细化特征表达,接着进行长跳跃连接，接着进行图像域数据一致性。公式如下：

在上述公式中，IDC代表图像域的数据一致性，F,F^H分别二维傅里叶变换和二维傅里叶逆变换，f_cnn(x_u|θ)代表网络重构数据，x_u表示初始欠采样数据，y＝MK₀，M代表欠采样模板(mask)，K₀表示初始K空间数据，δ是权重参数，设j为K空间上的一个点,Ω为K空间所有的欠采样点。

S4)网络模型的训练与重建：

小波域与图像域组合的递归网络模型如图2所示，把训练集放入网络模型当中，通过正向传播得到重建的小波域数据和图像域数据，根据高质量的小波域数据和图像域数据与原始小波域数据和图像数据的误差进行反向传播，不断更新网络参数直至误差稳定，保存模型参数，本实验用Adam优化器训练整个网络，初始学习率设置为2×10^-4，由于显存负担，从序列随机截取长度s＝10的序列进行训练，训练轮次epoch＝50，激活采用LeakRelu函数，其中α设置为0.1。迭代次数设置为n_c＝3(由于显存不足，后期可增加训练次数与迭代次数，以达到更好的重建结果)，本实验采用4倍Cartesian采样轨迹，输入欠采样的测试数据集，加载训练好的模型，重建出高质量的图片，本实验与最近技术比较，采用峰值信噪比(PSNR)与结构相似度(SSIM)评价重建质量，如下所示表：PSNR和SSIM均比其他方法高。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，其具体结构允许有变化，技术人员在阅读本发明后，在此基础上做出的改动或修改样，同样落入本发明权利要求所限定的范围。总之，凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。

Claims (7)

1.一种基于多模块特征融合的双域递归网络MR重建方法，其特征在于，包括如下步骤：

S1)数据预处理；

S2)构建网络模型；

S3)训练神经网络；

S4)测试网络模型；

S5)评价重建图像质量。

2.根据权利要求1所述的一种基于多模块特征融合的双域递归网络MR重建方法，其特征是，在S1)中,K空间数据维度为[number of slices,h,w,c]，包含若干切片的四维数据，c表示数据通道数，h,w分别表示高和宽，在序列中随机截取长度为s＝10的序列，即[s,h,w,c]，不仅减轻显存压力，而且在训练过程中起到数据增强的效果，接着随机生成大小与K空间数据有相同维度的欠采样模板(mask)，各序列间的欠采样模板各不相同，然后模拟欠采样过程，得到欠采样的K空间数据，将数据经过二维傅里叶转换成单通道图像数据，然后对图像数据进行归一化处理，公式如下:

接着将数据经二维小波变换转化为小波域数据。

3.根据权利要求1所述的一种基于多模块特征融合的双域递归网络MR重建方法，其特征是，在S2)中，小波域多模块特征聚合网络架构包括三个重复的小波域残差模块、每个基本的小波域残差模块由一个3×3卷积，三个并行的空洞卷积，卷积核为3×3，两个1×1卷积组成，三个空洞卷积的扩张率分别为dilation＝1,dilation＝2,dilation＝4,卷积核为3×3。首先欠采样小波数据经过3×3卷积，进行浅层特征提取，然后经过三个不同扩张率的卷积，用1×1卷积将不同尺度的信息融合到一起，最后将进行残差连接，则三个小波域残差块输出特征分别为F₀，F₁，F₂,将F₀，F₁，F₂按照通道维度拼接到一起，用1×1卷积将不同模块的特征信息融合到一起，实现了多模块的小波域的特征融合，使网络融合不同上下文信息，能够精细化特征表达，然后进行跨层跳跃连接，最后进行数据一致性，将采样K空间要替换网络重构K空间的相应位置。

4.根据权利要求1所述的一种基于多模块特征融合的双域递归网络MR重建方法，其特征是，在S2)中，图像域多模块特征聚合网络架构包括三个双向特征融合(BidirectionalFeature Fusion,BFF)模块，用来学习相邻切片的特征信息，小波域重构网络的输出经过小波逆变换转换成图像域数据，作为图像域重构网络的输入，每个基础模块是对输入数据的每张切片经过3×3卷积操作，进行浅层特征提取后，然后再进行一次3×3卷积操作，分别得到特征图M₁,M₂,...,M_n，接着令A₁＝M₁，A₁经过3×3卷积特征提取与M₂特征融合得到A₂，将A₂经过3×3卷积特征提取与M₃特征融合得到A₃，以此类推，将A_n-1经过3×3卷积特征提取与M_n特征融合得到A_n，本模块使用LeakRelu函数进行修正；

接着对切片维度进行反向操作，对切片维度反方向的每一个切片特征进行3×3卷积操作，分别得到特征图W₁,W₂,...,W_n，然后令B₁＝W₁，B₁经过卷积特征提取与W₂特征融合得到B₂，将B₂经过卷积特征提取与W₃特征融合得到B₃，以此类推，将B_n-1经过卷积特征提取与W_n特征融合得到B_n，本模块用LeakRelu函数进行修正；

最后使特征图A₁,A₂,...,A_n和特征图B₁,B₂,...,B_n对应进行特征融合，即加和操作，使图像特征的每一维度信息增加，确保学习切片间有效的特征信息，接着将加和操作后的数据按照切片维度拼接到一起，公式如下：

H＝cat[(A₁+B_n):(A₂+B_n-2):...:(A_n+B₁)]

其中，cat[:]代表拼接操作；

图像域数据经过三个双向特征融合模块后的特征图分别为H₀、H₁、H₂，然后将H₀、H₁、H₂按照通道维度拼接到一起，然后用1×1卷积将不同模块的特征信息融合到一起，实现多模块的图像域的特征融合，使网络融合不同上下文信息，能够精细化特征表达,然后进行跨层跳跃连接，最后进行数据一致性，将采样K空间要替换网络重构K空间的相应位置。

5.根据权利要求1所述的一种基于多模块特征融合的双域递归网络MR图像重建方法，其特征是，在S3)中，将训练集的波域数据、欠采样K空间数据和mask输入模型当中进行训练，原始数据作为GT，在小波域输出和图像域阈值输出中分别最小化损失函数训练神经网络。

6.根据权利要求1所述的一种基于多模块特征融合的双域递归网络MR重建方法，其特征是，在S4)中，将测试集的小波域数据、欠采样K空间数据和mask输入训练好的网络当中，得到网络重建后的磁共振图像。

7.根据权利要求1所述的一种基于多模块特征融合的双域递归网络MR重建方法，其特征是，在S5)中，用PSNR和SSIM评估重建磁共振图像的质量。

Images