CN115494439B - 一种基于深度学习的时空编码图像校正方法 - Google Patents

一种基于深度学习的时空编码图像校正方法 Download PDF

Info

Publication number
CN115494439B
CN115494439B CN202211390760.9A CN202211390760A CN115494439B CN 115494439 B CN115494439 B CN 115494439B CN 202211390760 A CN202211390760 A CN 202211390760A CN 115494439 B CN115494439 B CN 115494439B
Authority
CN
China
Prior art keywords
image
coding
echo
odd
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211390760.9A
Other languages
English (en)
Other versions
CN115494439A (zh
Inventor
周云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyao Tiandi Beijing Information Technology Co ltd
Original Assignee
Zhongyao Tiandi Beijing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyao Tiandi Beijing Information Technology Co ltd filed Critical Zhongyao Tiandi Beijing Information Technology Co ltd
Priority to CN202211390760.9A priority Critical patent/CN115494439B/zh
Publication of CN115494439A publication Critical patent/CN115494439A/zh
Application granted granted Critical
Publication of CN115494439B publication Critical patent/CN115494439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/58—Calibration of imaging systems, e.g. using test probes, Phantoms; Calibration objects or fiducial markers such as active or passive RF coils surrounding an MR active material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学***滑度，有效提高了单扫描时空编码Nyquist伪影校正的准确率。

Description

一种基于深度学习的时空编码图像校正方法
技术领域
本发明涉及医用磁共振成像和深度学习技术领域，具体涉及一种基于深度无监督学习的单扫描时空编码Nyquist伪影校正方法。
背景技术
单扫描磁共振成像（single-shot MRI）技术将多次扫描MRI的扫描时间由几分钟缩短至几十毫秒，在脑功能成像、扩散成像等研究中都取得了极大应用。回波平面成像（Echo Planar Imaging，EPI）是目前最为常用的单扫描成像序列方法，但由于其固有的相位编码带宽较低（<200Hz临床，<2000Hz临床前），在高场磁共振实验中由不均匀磁场或化学位移影响引入较大的伪影，相位编码方向图像畸变严重。单扫描时空编码（Spatiotemporally Encoding，SPEN）在单扫描EPI的基础上，在相位编码维度引入绝热Chirp脉冲，有效提高了相位编码维的带宽，能够有效克服由不均匀磁场或化学位移引入的磁化率等伪影。然而，与EPI一样，由于涡流及梯度延时等因素，单扫描时空编码采集的奇偶回波数据之间存在一定的差异，导致重建后的图像出现严重的Nyquist伪影。
与EPI不同，时空编码SPEN序列可以直接获得低分辨率的图像，因此可以直接通过求奇偶回波两个图像的相位差以获得校正Nyquist伪影所需的相位数据。然而由于受相位缠绕及图像灵敏度、分辨率较低等因素制约，传统的基于像素级别的相位差求解算法误差较大，无法完全有效地消除时空编码中的Nyquist伪影。
近年来，由于深度学习方法的准确性和高效性，越来越多的研究者将其应用于磁共振领域。但是到目前为止，深度学习特别是卷积神经网络(Convolutional NeuralNetworks，CNN)还未被广泛用于单扫描时空编码Nyquist伪影校正的任务。
发明内容
针对上述现有技术的不足之处，本发明提出一种设计合理且兼顾分离准确率和处理速度的基于深度学习的时空编码图像校正方法，能够有效提高单扫描时空编码Nyquist伪影校正的准确性。
为实现上述目的，本发明所设计的一种基于深度学习的时空编码图像校正方法，其特殊之处在于，所述方法包括以下步骤：
S1）构建单扫描时空编码Nyquist伪影校正数据集，所述校正数据集包括奇偶回波图像和参考无伪影图像；
S2）搭建基于时空编码特性的无监督残差编码映射网络，将所述校正数据集中用于训练的奇偶回波图像输入所述无监督残差编码映射网络得到预测的相位差图；
S3）以奇回波图像/偶回波图像为基准，训练所述无监督残差编码映射网络直至无监督残差编码映射网络达到收敛，得到训练后的无监督残差编码映射网络模型，并通过所述校正数据集中用于测试的奇偶回波图像和参考无伪影图像对所述无监督残差编码映射网络进行测试；
S4）利用所述训练后的无监督残差编码映射网络对实际采集的时空编码图像进行预测的相位差图提取，利用预测的相位差图校正偶回波图像/奇回波图像的相位，再与奇回波图像/偶回波图像重组得到相位校正后的时空编码图像，对时空编码图像进行超分辨率处理得到最终的无Nyquist伪影图像。
优选地，步骤S1）构建单扫描时空编码Nyquist伪影校正数据集的具体步骤包括：
1.1）将单扫描时空编码图像的奇偶行数据分离得到原始奇偶回波图像；
1.2）将若干张具有随机相位的相位差图与原始偶回波图像/原始奇回波图像相乘得到相位失真的偶回波图像/相位失真的奇回波图像；
1.3）将原始奇回波图像/原始偶回波图像与相位失真的偶回波图像/相位失真的奇回波图像作为校正数据集中的奇偶回波图像；
1.4）对单扫描时空编码图像进行超分辨率处理获得无伪影图像，所述奇偶回波图像和无伪影图像构成所述校正数据集。
优选地，步骤S2）中所述无监督残差编码映射网络包括初步特征提取模块、残差编码网络和受限子空间映射模块，所述奇偶回波图像经过所述初步特征提取模块处理获得浅层回波特征，所述浅层回波特征经过所述残差编码网络处理获得深层相位特征，所述深层相位特征经过所述受限子空间映射模块处理获得预测的相位差图。
优选地，步骤S3）中训练所述无监督残差编码映射网络直至无监督残差编码映射网络的具体步骤包括：
S3.1）利用步骤S2得到的预测的相位差图对偶回波图像/奇回波图像的相位进行校正，再沿相位编码方向分别对奇回波图像/偶回波图像和相位校正后的偶回波图像/奇回波图像进行超分辨率处理，其过程表示为：
   公式（3）
   公式（4）
   公式（5）
其中，  I dis even 为偶回波图像； P map 为相位差图； I cos even 为相位校正后的偶回波图像； e -i2π为复指数函数； A为超分辨率矩阵；为高分辨率相位校正后的偶回波图像； I org odd 为奇回波图像；为高分辨率奇回波图像；为矩阵乘法计算；
S3.2）计算超分辨率处理后的奇回波图像/偶回波图像和相位校正后的偶回波图像/奇回波图像之间的损失，通过优化算法迭代使网络达到收敛，得到训练好的无监督残差编码映射网络模型。
优选地，所述步骤4）中所述实际采集的时空编码图像经过下述预处理：
S4.1、对实际采集的带有相位偏差的单扫描时空编码K空间数据沿频率编码方向进行快速傅里叶变换，得到对应的时空编码图像；
S4.2、将所述时空编码图像进行奇偶行分离处理，得到对应的奇偶回波图像，并将奇偶回波图像作为单扫描时空编码Nyquist伪影校正数据集中的输入图像。
优选地，所述初步特征提取模块包含若干个级联的卷积单元、批量标准化单元和激活单元，所述残差编码网络包含若干个级联的残差编码模块，所述受限子空间映射模块包含一个卷积单元和一对预定义的系数矩阵基。
优选地，步骤S1.1和S1.4中所述单扫描时空编码图像为HCP公开数据集中的T1w人脑图像进行时空编码获得的时空编码图像。
优选地，所述受限子空间映射模块的处理过程为：将预设的基矩阵B1与深层相位特征图像Id进行矩阵乘法，再与预设的基矩阵B2进行矩阵乘法，获得计算的相位差图Pmap（尺寸为256×256），其过程表示为：
   公式（2）
其中， B 1、 B 2为预设的基矩阵； I d 为深层相位特征图像； P map 为相位差图；为矩阵乘法计算。
本发明还提出一种基于深度学习的时空编码图像校正方法的计算机设备，其包括存储器、处理器和存储在存储器中可供处理器运行的程序指令，其中所述处理器执行所述程序指令以实现上述方法中的步骤。
本发明另外提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明的一种基于深度学***滑度，有效提高了单扫描时空编码Nyquist伪影校正的准确性。。
相对于现有技术，本发明的具有如下优点：
1、本发明提出的残差编码映射网络替代了传统单扫描时空编码Nyquist伪影校正过程中通过二次多项式拟合生成相位差图的迭代步骤，学习时空编码奇偶回波图像到相位差图的映射；
2、本发明采用了无监督学***滑度，有效提高了单扫描时空编码Nyquist伪影校正的准确性。
附图说明
图1是本发明中单扫描时空编码Nyquist伪影校正网络框架图；
图2是本发明中残差编码映射网络框架图；
图3是本发明中初步特征提取网络框架图；
图4是本发明中残差编码模块框架图
图5是本发明中受限子空间映射模块框架图；
图6是本发明与Supervised-U网络的Nyquist伪影校正效果对比图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
本发明提出的一种基于深度学习的时空编码图像校正方法，包括以下步骤：
S1）构建单扫描时空编码Nyquist伪影校正数据集，校正数据集包括奇偶回波图像( I org odd /I dis even )和参考无伪影图像。
构建校正数据集具体过程如下：
S1.1）将单扫描时空编码图像（尺寸为256×256）的奇偶行数据分离得到原始奇偶回波图像( I org odd /I org even )（尺寸为128×256）。
S1.2）将预设的若干张具有随机相位的相位差图 P org map （尺寸为128×256）与原始偶回波图像 I org even 相乘得到相位失真的偶回波图像 I dis even ，本实施例中以奇回波图像为基准，偶回波图像为相位失真图像，若以偶回波图像为基准，则将奇回波图像作为相位失真图像，其实施过程相同。具体过程可表示为：
   公式（1）
其中， P org map 为预设的相位差图； I org even 为原始偶回波图像； I dis even 为相位失真的偶回波图像； e i2π为复指数函数。
S1.3）将原始奇回波图像 I org odd 与相位失真的偶回波图像 I dis even 作为MRI校正数据集中的输入奇偶回波图像( I org odd /I dis even )。
S1.4）对单扫描时空编码图像进行超分辨率获得无伪影图像，将无伪影图像作为单扫描时空编码Nyquist伪影校正测试阶段的参考无伪影图像。
步骤S1.1和S1.4中单扫描时空编码图像为HCP公开数据集中的T1w人脑图像进行时空编码获得的时空编码图像。
S2）搭建基于时空编码特性的无监督残差编码映射网络。残差编码映射网络包括初步特征提取网络、残差编码网络和受限子空间映射模块。在本实施例中，初步特征提取网络包含一个零填充、一组级联的卷积层和激活函数，残差编码网络包含N个（例如6个）级联的残差编码模块，受限子空间映射模块包含一组预设的基矩阵。输入的奇偶回波图像经过初步特征提取网络处理获得浅层回波特征图像，浅层回波特征图像经过残差编码网络处理获得深层相位特征图像，深层相位特征图像经过受限子空间映射模块处理获得计算的相位差图，如图2所示。具体实现过程包括：
S2.1）奇偶回波图像( I org odd /I dis even )首先经过零填充将尺寸扩充为256×256，然后经过一组级联的卷积层和激活函数对尺寸扩充后的奇偶回波图像进行特征提取和通道扩增，获得浅层回波特征图像；其中，卷积层尺寸为3×3×16，步长为1，激活函数为ReLU，如图3所示；
S2.2）浅层回波特征图像 I s 经过残差编码网络处理获得深层相位特征图像 I d ，如图4所示，具体过程包括：
S2.2.1）浅层回波特征图像 I s 作为第1个残差编码模块的输入，残差编码模块首先经过一个最大池化层将浅层回波特征图像的尺寸缩小为原来的1/4，尺寸缩小后的浅层回波特征图像经过两组卷积层、批量标准化层和激活函数的组合充分提取深层特征信息，再经过一个跳连接将尺寸缩小后的浅层回波特征图像和深层特征信息进行融合，将融合后的特征图像作为第1个残差编码模块的输出特征图像 F 1；其中每个卷积层尺寸均为3×3×64，步长为1，激活函数为Leaky ReLU；
S2.2.2）将第1个残差编码模块输出的特征图像 F 1作为第2个残差编码模块的输入，重复步骤S2.2.1）经过第2个残差编码模块处理得到第2个残差编码模块输出的特征图像 F 2；
S2.2.3）重复步骤S2.2.2）直至获得第N个残差编码模块输出的特征图像 F N，将第N个残差编码模块输出的特征图像 F N作为残差编码网络最终输出的深层相位特征图像 I d ，深层相位特征图像 I d 作为受限子空间映射模块的输入特征图像；
S2.3）将受限子空间映射模块中预设的基矩阵 B 1（尺寸为256×4）与深层相位特征图像 I d （尺寸为4×4）进行矩阵乘法，再与预设的基矩阵 B 2（尺寸为4×256）进行矩阵乘法，获得计算的相位差图 P map （尺寸为256×256），如图5所示，其过程可表示为：
   公式（2）
其中， B 1、 B 2为预设的基矩阵； I d 为深层相位特征图像； P map 为相位差图；为矩阵乘法计算。与传统的基于像素级别的通过二次多项式拟合方法获得的相位差图相比，采用受限子空间映射的方法能够获得更加线性平滑的相位差图，与实际采样中产生的相位差的特性更加吻合，能够大幅提高相位校正的准确性。
S3）以奇回波图像/偶回波图像为基准，训练所述无监督残差编码映射网络直至无监督残差编码映射网络达到收敛，得到训练后的无监督残差编码映射网络模型，并通过所述校正数据集中用于测试的奇偶回波图像和参考无伪影图像对所述无监督残差编码映射网络进行测试。
S3.1）相位校正；在本实施例中，利用步骤S2）获得的相位差图 P map 对输入相位失真的偶回波图像 I dis even 进行相位校正获得相位校正后的偶回波图像 I cor even ，对相位校正后的偶回波图像 I cor even 和输入奇回波图像 I org odd 进行超分辨率，获得高分辨率奇偶回波图像其过程可表示为：
   公式（3）
   公式（4）
   公式（5）
其中，  I dis even 为偶回波图像； P map 为相位差图； I cos even 为相位校正后的偶回波图像； e -i2π为复指数函数； A为超分辨率矩阵；为高分辨率相位校正后的偶回波图像； I org odd 为奇回波图像；为高分辨率奇回波图像；为矩阵乘法计算。
S3.2）计算高分辨率相位校正后的偶回波图像与高分辨率奇回波图像之间的MSE（均方误差）损失，通过Adam优化算法迭代使网络达到收敛，得到训练好的无监督残差编码映射网络模型；
S3.3）单扫描时空编码Nyquist伪影校正测试；将校正数据集中的奇偶回波图像输入至无监督残差编码映射网络进行预测的相位差图提取，利用预测的相位差图校正偶回波图像的相位，再与奇回波图像重组得到相位校正后的时空编码图像，对时空编码图像进行超分辨率处理后，与参考无伪影图像进行评价指标（PSNR/SSIM）对比，符合预设条件（PSNR>=35dB/SSIM>=0.9）则测试完成，否则重新对无监督残差编码映射网络进行训练。
S4）对实际采集的时空编码图像进行预处理后形成奇偶回波图像（尺寸为128×256），利用无监督残差编码映射网络预测得到预测的相位差图 P map ，利用预测的相位差图对输入相位失真的偶回波图像 I dis even 进行相位校正获得相位校正后的偶回波图像 I cor even ，将相位校正后的偶回波图像与输入奇回波图像进行奇偶行穿插重组获得完整的相位校正后的时空编码图像（尺寸为256×256），对时空编码图像进行超分辨率，获得最终的高分辨率无伪影图像。
通过实验论证，本发明提出的无监督残差编码映射网络通过学***滑度，在无监督学习的模式下也能有效提高Nyquist伪影校正的准确率。
为了更好地证明本发明的有效性，本发明也将水模型、黄瓜、橘子和活体小鼠的时空编码图像用来训练各网络模型，并且完成了相关实验，同样取得了很好的效果。
在对比实验中，选取现有基于卷积神经网络的Nyquist伪影校正方法作为对比方法，主要为Chen X等人提出的基于U-net的有监督Nyquist伪影校正方法Supervised-U。为保证对比实验的公平性，两种方法均在相同的软硬件环境下进行实验。
对比实验的软硬件环境：Pytorch框架；Windows 10***；Intel i7-8700K CPU；32GB 内存；NVIDIA GTX 1080Ti显卡；
对比的基于卷积神经网络的算法为：Nyquist伪影校正方法，参考文献：Chen X ,Zhang Y , She H , et al. Reference-free Correction for the Nyquist Ghost inEcho-planar Imaging using Deep Learning[C]. In Proceedings of 6thInternational Conference on Biomedical and Bioinformatics Engineering. 2019。
评价指标：本发明使用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似性（Structural Similarity，SSIM）和单张切片的伪影校正时间Time三种客观评价指标评估各网络模型的性能，其中PSNR和SSIM指标的数值越大表明Nyquist伪影校正的效果越好，Time指标的数值越小表明Nyquist伪影校正的处理速度越快。
表1 本发明与Supervised-U网络的客观评价指标对比
从表1中两种方法的客观指标上看，在Nyquist伪影校正的PSNR/SSIM指标方面，本发明相比于有监督Supervised-U网络分别有5.68dB/ 6.48%的提升。在单张切片的处理耗时方面，本发明比有监督Supervised-U网络用时更少，且控制在0.1秒内，满足临床实时处理的要求。
图6展示了本发明与有监督Supervised-U网络的Nyquist伪影校正结果图像以及与参考图像的差值图像，其中选取的图像为具有代表性的图像。相比于有监督Supervised-U网络，本发明Nyquist伪影校正结果的差值图像深色亮点更少，且得到的Nyquist伪影校正图像细节更丰富，视觉感知效果也更接近参考图像。综上所述，本发明是一种有效的无监督单扫描时空编码Nyquist伪影校正方法。
最后需要强调的是：本发明描述的实施例对本发明只是起解释说明作用，而并不是对其加以限制。本发明适用的时空编码图像不局限于描述的实施例中人脑的时空编码图像，还可以是水模型、黄瓜、橘子或者活体小鼠等的时空编码图像。本发明适用的残差编码模块数目也不局限于描述的实施例中的六个，还可以是五个残差编码模块、四个残差编码模块等。本发明所属领域的技术人员在未偏离本发明的精神与原理下所作的任何改变、等效替代或者简化，均属于本发明保护的范围。
应当理解的是，上述针对较佳实施例的 较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围内，本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于深度学习的时空编码图像校正方法，其特征在于：所述方法包括以下步骤：
S1)构建单扫描时空编码Nyquist伪影校正数据集，所述校正数据集包括奇偶回波图像和参考无伪影图像；
S2)搭建基于时空编码特性的无监督残差编码映射网络，将所述校正数据集中用于训练的奇偶回波图像输入所述无监督残差编码映射网络得到预测的相位差图；所述无监督残差编码映射网络包括初步特征提取模块、残差编码网络和受限子空间映射模块，所述奇偶回波图像经过所述初步特征提取模块处理获得浅层回波特征，所述浅层回波特征经过所述残差编码网络处理获得深层相位特征，所述深层相位特征经过所述受限子空间映射模块处理获得预测的相位差图；所述初步特征提取模块包含若干个级联的卷积单元、批量标准化单元和激活单元，所述残差编码网络包含若干个级联的残差编码模块，所述受限子空间映射模块包含一个卷积单元和一对预定义的系数矩阵基；
具体实现过程包括：
S2.1)奇偶回波图像首先经过零填充将尺寸扩充为256×256，然后经过一组级联的卷积层和激活函数对尺寸扩充后的奇偶回波图像进行特征提取和通道扩增，获得浅层回波特征图像Is；其中，卷积层尺寸为3×3×16，步长为1，激活函数为ReLU；
S2.2)浅层回波特征图像Is经过残差编码网络处理获得深层相位特征图像Id，具体过程包括：
S2.2.1)浅层回波特征图像Is作为第1个残差编码模块的输入，残差编码模块首先经过一个最大池化层将浅层回波特征图像的尺寸缩小为原来的1/4，尺寸缩小后的浅层回波特征图像经过两组卷积层、批量标准化层和激活函数的组合充分提取深层特征信息，再经过一个跳连接将尺寸缩小后的浅层回波特征图像和深层特征信息进行融合，将融合后的特征图像作为第1个残差编码模块的输出特征图像F1；其中每个卷积层尺寸均为3×3×64，步长为1，激活函数为Leaky ReLU；
S2.2.2)将第1个残差编码模块输出的特征图像F1作为第2个残差编码模块的输入，重复步骤S2.2.1)经过第2个残差编码模块处理得到第2个残差编码模块输出的特征图像F2；
S2.2.3)重复步骤S2.2.2)直至获得第N个残差编码模块输出的特征图像FN，将第N个残差编码模块输出的特征图像FN作为残差编码网络最终输出的深层相位特征图像Id，深层相位特征图像Id作为受限子空间映射模块的输入特征图像；
S2.3)将受限子空间映射模块中预设的基矩阵B1与深层相位特征图像Id进行矩阵乘法，再与预设的基矩阵B2进行矩阵乘法，获得计算的相位差图Pmap，其过程表示为：
Figure FDA0004024391940000021
其中，B1、B2为预设的基矩阵；Id为深层相位特征图像；Pmap为相位差图；
Figure FDA0004024391940000022
为矩阵乘法计算；S3)以奇回波图像/偶回波图像为基准，训练所述无监督残差编码映射网络直至无监督残差编码映射网络达到收敛，得到训练后的无监督残差编码映射网络模型，并通过所述校正数据集中用于测试的奇偶回波图像和参考无伪影图像对所述无监督残差编码映射网络进行测试；
训练所述无监督残差编码映射网络直至无监督残差编码映射网络达到收敛 的具体步骤包括：
S3.1)利用步骤S2得到的预测的相位差图对偶回波图像/奇回波图像的相位进行校正，再沿相位编码方向分别对奇回波图像/偶回波图像和相位校正后的偶回波图像/奇回波图像进行超分辨率处理，其过程表示为：
Figure FDA0004024391940000023
Figure FDA0004024391940000024
Figure FDA0004024391940000025
其中，Idis even为偶回波图像；Pmap为相位差图；Icor even为相位校正后的偶回波图像；e-i2π为复指数函数；A为超分辨率矩阵；
Figure FDA0004024391940000031
为高分辨率相位校正后的偶回波图像；Iorg odd为奇回波图像；
Figure FDA0004024391940000032
为高分辨率奇回波图像；
Figure FDA0004024391940000033
为矩阵乘法计算；
S3.2)计算超分辨率处理后的奇回波图像/偶回波图像和相位校正后的偶回波图像/奇回波图像之间的损失，通过优化算法迭代使网络达到收敛，得到训练好的无监督残差编码映射网络模型；
S3.3)单扫描时空编码Nyquist伪影校正测试；将校正数据集中的奇偶回波图像输入至无监督残差编码映射网络进行预测的相位差图提取，利用预测的相位差图校正偶回波图像的相位，再与奇回波图像重组得到相位校正后的时空编码图像，对时空编码图像进行超分辨率处理后，与参考无伪影图像进行评价指标对比，符合预设条件则测试完成，否则重新对无监督残差编码映射网络进行训练；
S4)利用所述训练后的无监督残差编码映射网络对实际采集的时空编码图像进行预测的相位差图提取，利用预测的相位差图校正偶回波图像/奇回波图像的相位，再与奇回波图像/偶回波图像重组得到相位校正后的时空编码图像，对时空编码图像进行超分辨率处理得到最终的无Nyquist伪影图像。
2.根据权利要求1所述的一种基于深度学习的时空编码图像校正方法，其特征在于：步骤S1)构建单扫描时空编码Nyquist伪影校正数据集的具体步骤包括：
1.1)将单扫描时空编码图像的奇偶行数据分离得到原始奇偶回波图像；
1.2)将若干张具有随机相位的相位差图与原始偶回波图像/原始奇回波图像相乘得到相位失真的偶回波图像/相位失真的奇回波图像；
1.3)将原始奇回波图像/原始偶回波图像与相位失真的偶回波图像/相位失真的奇回波图像作为校正数据集中的奇偶回波图像；
1.4)对单扫描时空编码图像进行超分辨率处理获得无伪影图像，所述奇偶回波图像和无伪影图像构成所述校正数据集。
3.根据权利要求1所述的一种基于深度学习的时空编码图像校正方法，其特征在于：所述步骤4)中所述实际采集的时空编码图像经过下述预处理：
S4.1、对实际采集的带有相位偏差的单扫描时空编码K空间数据沿频率编码方向进行快速傅里叶变换，得到对应的时空编码图像；
S4.2、将所述时空编码图像进行奇偶行分离处理，得到对应的奇偶回波图像，并将奇偶回波图像作为单扫描时空编码Nyquist伪影校正数据集中的输入图像。
4.根据权利要求2所述的一种基于深度学习的时空编码图像校正方法，其特征在于：步骤S1.1和S1.4中所述单扫描时空编码图像为HCP公开数据集中的T1w人脑图像进行时空编码获得的时空编码图像。
5.一种基于深度学习的时空编码图像校正方法的计算机设备，其包括存储器、处理器和存储在存储器中可供处理器运行的程序指令，其特征在于，所述处理器执行所述程序指令以实现权利要求1至4中任一项所述方法中的步骤。
6.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法。
CN202211390760.9A 2022-11-08 2022-11-08 一种基于深度学习的时空编码图像校正方法 Active CN115494439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211390760.9A CN115494439B (zh) 2022-11-08 2022-11-08 一种基于深度学习的时空编码图像校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211390760.9A CN115494439B (zh) 2022-11-08 2022-11-08 一种基于深度学习的时空编码图像校正方法

Publications (2)

Publication Number Publication Date
CN115494439A CN115494439A (zh) 2022-12-20
CN115494439B true CN115494439B (zh) 2023-04-07

Family

ID=85115804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211390760.9A Active CN115494439B (zh) 2022-11-08 2022-11-08 一种基于深度学习的时空编码图像校正方法

Country Status (1)

Country Link
CN (1) CN115494439B (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871332A (zh) * 2017-11-09 2018-04-03 南京邮电大学 一种基于残差学习的ct稀疏重建伪影校正方法及***
CN109741409A (zh) * 2018-11-30 2019-05-10 厦门大学 回波平面成像涡流伪影的无参考扫描校正方法
CN109597012B (zh) * 2018-12-24 2020-08-04 厦门大学 一种基于残差网络的单扫描时空编码成像重建方法
US10712416B1 (en) * 2019-02-05 2020-07-14 GE Precision Healthcare, LLC Methods and systems for magnetic resonance image reconstruction using an extended sensitivity model and a deep neural network
US11085988B2 (en) * 2019-03-20 2021-08-10 The Board Of Trustees Of The Leland Stanford Junior University Method for estimating systematic imperfections in medical imaging systems with deep learning
US11714152B2 (en) * 2019-04-26 2023-08-01 Regents Of The University Of Minnesota Methods for scan-specific artifact reduction in accelerated magnetic resonance imaging using residual machine learning algorithms
CN110895320B (zh) * 2019-10-31 2021-12-24 清华大学 基于深度学***面回波成像方法及装置
CN111352055B (zh) * 2020-03-17 2022-05-06 无锡鸣石峻致医疗科技有限公司 一种前瞻性相位校正平面回波成像方法
CN112763958B (zh) * 2020-12-10 2022-06-21 复旦大学 一种基于神经网络的多次激发平面回波磁共振成像方法
CN112907449B (zh) * 2021-02-22 2023-06-09 西南大学 一种基于深度卷积稀疏编码的图像超分辨率重建方法
CN114299174B (zh) * 2021-11-26 2024-06-25 武汉理工大学 一种基于深度无监督学习的多回波欠采样重建—水脂分离方法
CN114511516B (zh) * 2022-01-17 2023-04-07 利晶微电子技术(江苏)有限公司 一种基于无监督学习的MicroLED缺陷检测方法
CN114487961A (zh) * 2022-02-14 2022-05-13 安徽福晴医疗科技有限公司 一种图像校正方法、***、存储介质及电子设备

Also Published As

Publication number Publication date
CN115494439A (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN108090871B (zh) 一种基于卷积神经网络的多对比度磁共振图像重建方法
CN107064845B (zh) 基于深度卷积网的一维部分傅里叶并行磁共振成像方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN113077527B (zh) 一种基于欠采样的快速磁共振图像重建方法
WO2018223275A1 (zh) 基于深度卷积网的一维部分傅里叶并行磁共振成像方法
US10740931B2 (en) Method for performing magnetic resonance imaging reconstruction with unsupervised deep learning
CN111932650B (zh) 一种基于高通量深度展开网络的核磁共振图像重建方法
CN109658468B (zh) 磁共振参数成像方法、装置、设备及存储介质
CN113256536B (zh) 一种基于小波分析的超高维数据重建深度学习方法
CN112669209B (zh) 一种三维医学图像超分辨率重建方法和***
CN110895320A (zh) 基于深度学***面回波成像方法及装置
CN114140341A (zh) 一种基于深度学习的磁共振图像非均匀场校正方法
CN114010180B (zh) 一种基于卷积神经网络的磁共振快速成像方法及装置
CN109544652B (zh) 基于深度生成对抗神经网络的核磁共振多加权成像方法
CN112837220B (zh) 一种提高红外图像分辨率的方法及其用途
Zhou et al. CloudBrain-ReconAI: An online platform for MRI reconstruction and image quality evaluation
Klug et al. Analyzing the sample complexity of self-supervised image reconstruction methods
Ke et al. CRDN: cascaded residual dense networks for dynamic MR imaging with edge-enhanced loss constraint
CN117036162B (zh) 轻量级胸部ct图像超分辨率的残差特征注意力融合方法
CN115494439B (zh) 一种基于深度学习的时空编码图像校正方法
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
Yu et al. Universal generative modeling in dual domains for dynamic MRI
CN116070401A (zh) 一种基于变换域张量低秩先验深度展开网络的高维磁共振图像重建方法
Thurnhofer-Hemsi et al. Super-resolution of 3D magnetic resonance images by random shifting and convolutional neural networks
CN114140404A (zh) 基于人工智能的肺部多核mri双域超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant