CN116805284B - 基于特征迁移的三维磁共振平面间超分辨重建方法和*** - Google Patents

基于特征迁移的三维磁共振平面间超分辨重建方法和*** Download PDF

Info

Publication number
CN116805284B
CN116805284B CN202311085914.8A CN202311085914A CN116805284B CN 116805284 B CN116805284 B CN 116805284B CN 202311085914 A CN202311085914 A CN 202311085914A CN 116805284 B CN116805284 B CN 116805284B
Authority
CN
China
Prior art keywords
dimensional
data
resolution
magnetic resonance
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311085914.8A
Other languages
English (en)
Other versions
CN116805284A (zh
Inventor
李劲松
邱文渊
童琪琦
陈子洋
刘帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202311085914.8A priority Critical patent/CN116805284B/zh
Publication of CN116805284A publication Critical patent/CN116805284A/zh
Application granted granted Critical
Publication of CN116805284B publication Critical patent/CN116805284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于特征迁移的三维磁共振平面间超分辨重建方法和***。首先，获取高分辨率的磁共振数据和对应的低分辨率数据；其次，将三维高分辨率数据转成二维标签数据，将三维低分辨率数据进行插值后转成二维初始数据，将三维低分辨率数据通过最近邻寻找的方法生成二维参考数据；然后设计基于特征迁移和平面间超分辨的深度学习网络完成二维低分辨率图像到高分辨率图像的映射；最后将二维高分辨率图像组合成三维高分辨率图像。本发明利用数据本身的先验信息大幅提升重建质量，同时重建不同的其他低分辨率磁共振图像时，具有更好的泛化性能和重建质量，因而可以为临床应用和研究提供大量高质量的数据，便于后续磁共振定性定量分析。

Description

基于特征迁移的三维磁共振平面间超分辨重建方法和***
技术领域
本发明涉及磁共振医学影像领域和深度学***面间超分辨重建方法的方法和***。
背景技术
磁共振成像由于其非侵入式成像和丰富的软组织对比度信息成为了脑科学研究中的重要研究手段。然而由于成像***以及设备本身的限制，临床上获取高质量的磁共振图像并不容易。此外，过长的扫描时间也会给患者带来不适，同时会引入运动噪声，进一步降低图像质量。超分辨重建方法是一种不需要升级硬件设备的图像后处理技术，具有广泛的潜在应用价值。
目前比较成熟的磁共振超分辨图像技术主要是处理层面内的采样问题。而很多临床数据是采用的层面间的采样，不同的下采样模式对算法就有了不同的要求。此外，受限于三维磁共振数据的数据量以及高维神经网络的复杂度，大多数算法都是将三维磁共振数据切分成二维磁共振图像，采用单张图像超分辨模型来重建，损失了部分先验知识。事实上，层面间采样的磁共振图像在各个方向上都有空间约束关系，根据图像局部相似性原则判断，相邻层间的切片会比较相似，这意味着每层切片重建时，可以利用相邻层的特征信息。
发明内容
针对现有大多数技术仅仅使用单张图像重建而没有充分利用三维磁共振数据本身的先验信息，本发明提出了基于特征迁移的三维磁共振平面间超分辨重建方法和***。本发明将主要解决两个问题：首先，如何获得先验知识，由于层面内采样每一层切片从二维图像上看是高分辨的，且包含相邻数层切片的信息，因而可以作为超分辨重建的参考图像；其次，如何在网络中将高分辨率图像特征迁移到低分辨率图像中，即如何对初始图像与参考图像进行相似度匹配，以及如何迁移参考图像的高分辨率特征。
本发明的目的是通过以下技术方案来实现的：第一方面，本发明提供了一种基于特征迁移的三维磁共振平面间超分辨重建方法，该方法包括以下步骤：
（1）获取T1加权的三维高分辨率数据和对应的三维低分辨率数据；
（2）进行数据预处理并构建输入集，先将三维低分辨率数据进行插值，基于三维低分辨率数据构建二维初始数据并寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；
（3）构建基于特征迁移和平面间超分辨的深度学习网络；该网络包括编码模块，用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块，用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；
（4）设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；
（5）超分辨重建时，根据分辨率构建数据集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。
进一步地，步骤（1）中，利用相同的设备在相同环境下，通过设置不同的采样率来分别获得高分辨率的T1加权的三维磁共振数据和对应的三维低分辨率数据。
进一步地，步骤（1）中，获取高分辨率的T1加权的三维磁共振数据，然后对三维磁共振数据进行模拟平面间下采样，即沿着平面垂直的方向将多层切片进行数值平均，获得三维低分辨率数据，选取的层数等同于下采样率的倍数。
进一步地，步骤（2）中，二维初始数据获得过程具体为：使用三次样条插值方法对三维低分辨率数据进行插值，并沿着下采样方向将三维低分辨率数据展开成多张二维图像；对二维图像灰度值归一化到0~1之间，对图像灰度值求和，然后剔除掉结果小于所设定的阈值的图像，阈值的设定与图像大小相关，保留的数据记作二维初始数据。
进一步地，步骤（2）中，二维参考数据获得过程具体为：在三维低分辨率数据中为二维初始数据通过最近邻的方式寻找到最相似的二维切片作为二维参考数据。
进一步地，步骤（3）中，二维初始数据和二维参考数据/>经过第/>级编码模块的特征输出分别为/>，经过特征迁移模块后输出/>为：
；
其中R为特征迁移模块的图像块匹配算子，S为图像块融合的加权系数，R和S均由之间的相关性来定义。
进一步地，步骤（3）中，第级解码模块的特征输入/>为：
；
其中为神经网络中的卷积算子，/>为神经网络中的维度连接算子。
进一步地，步骤（4）中深度学习网络的损失函数为均方误差函数：
；
其中，是训练集数目，/>是二维图像索引，/>是第/>张磁共振的高分辨率图像，是第/>张磁共振的重建图像。
进一步地，步骤（5）中，将重建好的二维磁共振数据合成三维磁共振数据具体过程为：
对于单个受试者三维数据，按照步骤（2）沿着采样方向依序展开成二维初始数据序列，/>表示序列中第k个二维初始数据，M为序列中数据数量，经过深度学习网络重建后得到同序列的/>，/>表示序列中第k个二维重建数据，沿着采样方向将二维重建数据序列叠加在一起构成对应的三维磁共振数据。
另一方面，本发明还提供了一种基于特征迁移的三维磁共振平面间超分辨重建***，该***包括数据获取模块、数据预处理模块和深度学习网络模块；
所述数据获取模块用于获取T1加权的三维高分辨率数据和对应的三维低分辨率数据；
所述数据预处理模块用于进行数据预处理并构建输入集，先将三维低分辨率数据进行插值，基于三维低分辨率数据构建二维初始数据并寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；
所述深度学***面间超分辨的深度学习网络；并设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；深度学习网络模块包括编码模块、特征迁移模块和解码模块；
所述编码模块用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块；
所述特征迁移模块用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；
所述解码模块用于超分辨重建，根据分辨率构建测试集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。
本发明的有益效果是，本发明通过将三维磁共振数据切分成多张二维磁共振图像，将三维超分辨重建问题转换成二维超分辨重建问题，增加了可训练的数据量，同时降低了训练复杂度；此外为了避免三维数据转二维的信息损失，本发明借助特征迁移的思想，设计了多级特征迁移模块，结合编码网络和解码网络，融合了参考图像的特征信息，进一步提升了图像重建质量。进一步地，由于有相当一部分特征来自参考图像，本发明网络还能有效处理其他不同分辨率的磁共振数据，相比于其他的超分辨图像重建算法有着更高的泛化能力，为临床医学中磁共振图像分割、诊断、治疗提供了一种有效的后处理途径，丰富了医生从图像中获取信息的途径，这对于医学多中心数据融合，医学影像互认有着极为重要的意义。
附图说明
图 1是本发明提供的一种基于特征迁移的三维磁共振平面间超分辨重建方法的流程示意图。
图2是本发明提供的一种基于特征迁移的三维磁共振平面间超分辨重建网络示意图。
图3是本发明实施实例中，在4mm层面间低分辨率数据和1mm高分辨率数据下，分别使用三次样条插值（Spline），三种神经网络（VDSR,RDN,UNET），以及提出的算法（TT-Unet）的重建算法的比较结果示意图。
图 4是本发明实施实例中，4mm层面间低分辨率数据的重建结果示意图。从上到下依次为高分辨率数据，低分辨率数据插值后图像，重建的磁共振数据。
图5是本发明提供的一种基于特征迁移的三维磁共振平面间超分辨重建装置示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
本发明将三维低分辨率数据插值，然后切分成多张初始图像，特别地，切分截面与下采样方向正交；接着为每张初始图像选取参考图像时，应尽量使得参考图像与初始图像在空间位置上比较接近，以充分利用相邻图像相似性信息。本发明将初始图像和参考图像经过编码网络提取不同层级的特征，将特征使用滑动窗口的方法提取图像块，计算每两个图像块的相关性，依据相关系数将高清特征块与低清特征块融合。具体而言，如图1所示，本发明提供了一种基于特征迁移的三维磁共振平面间超分辨重建方法，步骤包括：在获取磁共振数据时，需同时获取同一受试者在相同设备条件下的高分辨率数据和低分辨率数据；数据预处理和构建训练集合；构建编码模块、特征迁移模块和解码模块，并实现高分辨率输出。具体步骤为：
步骤（1）：数据获取。一般而言，本实施例需要包含同一受试者的两种不同分辨率数据，利用相同的设备在相同环境下，通过设置不同的采样率来分别获得高分辨率的T1加权的三维磁共振数据和对应的三维低分辨率数据。其中/>表示受试者编号，/>表示低分辨率和高分辨率数据，/>表示受试者数量，但由于临床数据中同时包含这两种数据的情况比较少，另一中生成数据的方案是，单独获取高分辨数据后，对其进行模拟平面间下采样，即沿着平面垂直的方向将多层切片进行数值平均，获得三维低分辨率数据，选取的层数等同于下采样率的倍数。针对本实例，使用3T西门子磁共振设备扫描获得的T1加权1mm的磁共振三维图像112例/>，选用前57例作为训练集，5例作为验证集，剩下50例作为测试集。首先将/>归一化到0~1之间，然后沿着/>的轴状面方向模拟4倍下采样获得对应的/>，接着对/>模拟4倍上采样得到初始数据/>。
步骤（2）构成训练集。假定高分辨率的三维数据垂直于轴状面方向有M层，将三维数据/>沿着该方向切分获得二维切片集/>，同样初始数据表示为/>，低分辨率的三维数据/>，其中/>。/>是插值获得的，因此每一层切片比较模糊，而/>虽然切片层数较少，但是每一层都是比较清晰的，因此可以将/>中的清晰纹理通过网络训练的方式迁移到/>中。特别地，假定磁共振数据相邻切片的图像特征非常相似，可以将的每一层二维切片作为二维初始数据/>，具体过程为：使用三次样条插值方法对三维低分辨率数据进行插值，并沿着下采样方向将三维低分辨率数据展开成多张二维图像；对二维图像灰度值归一化到0~1之间，对图像灰度值求和，然后剔除掉结果小于所设定的阈值的图像，阈值的设定与图像大小相关，保留的数据记作二维初始数据。在三维低分辨率数据中为二维初始数据/>通过最近邻的方式寻找到最相似的高清的切片/>作为二维参考数据，即构成训练集/>，其中/>表示/>中与/>最邻近的切片索引，同时在三维高分辨率数据中为二维初始数据寻找对应位置的高分辨率二维图像作为二维标签数据。针对本实例，/>，经过去除背景后，训练集约10000张二维切片。
步骤（3）：构建基于特征迁移和平面间超分辨的深度学习网络。如图2中的（a）所示，多级编码层（编码模块）包括左边和底部的三个池化层和四个卷积层；如图2中的（a）和图2中的（b）所示，特征迁移层（特征迁移模块）一共有三个，每个包括自定义的特征块生成模块、特征块匹配模块、特征块迁移和融合模块，其中QKV表示三个输入，；如图2中的（a）所示，解码层（解码模块）包括三级特征解码模块，对应于特征块迁移和融合模块的输入，每一级包括一个解卷积层和两个卷积层。这里卷积层的卷积核为/>，步长为1；池化层步长为2。网络损失函数设置为均方误差损失函数/>，/>是训练集数目，/>是二维图像索引，/>是第/>张磁共振的高分辨率图像，/>是第/>张磁共振的重建图像。学习率为0.0001，迭代周期最大为100，batch为8，并使用Adam优化器进行训练。
步骤（4）：自定义特征迁移层。假定二维初始数据和二维参考数据/>经过第/>级编码模块的特征输出为/>，首先将特征/>分别切分成多个图像块集合/>，计算每两个图像块之间的相关性，如下：
(1)
其中分别表示利用滑动窗口的方法对/>进行切分图像块后的索引编号，一般而言，采用大小为/>，步长为1的滑动窗口；/>是每两个图像块/>和/>之间的相关系数；通过相关系数计算硬相关度和软相关度，具体如下：
硬相关度表明中与/>最相关的图像块的位置为/>：
(2)
软相关度表示与/>所有相关性系数中最大的相关系数为/>：
(3)
随后，利用获得的相关系数将第级特征/>与/>进行合并，得到新特征/>：
(4)
其中，为相关度矩阵，表示图像块融合的加权系数，R为特征迁移模块的图像块匹配算子，/>包含两个操作，首先是通过/>确定匹配的图像块位置，然后将/>所有图像块/>按照匹配的位置替换成/>；
使用网络实现上述公式时，首先利用滑动窗口的方法将特征，切分成/>特征块大小，步长设置为1，为特征的边界填充一层0。接着，将特征块展平，这样对于/>的特征，经过上述处理后得到/>的特征块，/>表示特征的通道数，/>表示特征尺寸。对/>进行同样的操作得到/>的特征。然后对特征块计算相关度得到维度为/>相关度矩阵R，按照公式(2)和公式(3)分别计算硬相关度和软相关度。特征转移时，根据硬相关度，将来自/>的图像块特征替入到来自/>的特征中。完成替换后，将迁移之后的特征块恢复成图像特征，然后采用公式(4)进行特征融合。
特征融合时，考虑到高阶的特征迁移更有利于图像重建，第一级编码层直接使用，对于第2~4级编码层则采用公式(1)~(4)得到的融合特征。
最后，第级解码模块的特征输入/>为：
其中为神经网络中的卷积算子，/>为神经网络中的维度连接算子。特别地，对于最后一层/>，输出/>为：
超分辨重建时，根据分辨率构建测试集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据，对于单个受试者三维数据，按照步骤（2）沿着采样方向依序展开成二维初始数据序列，/>表示序列中第k个二维初始数据，M为序列中数据数量，经过深度学习网络重建后得到同序列的/>，/>表示序列中第k个二维重建数据，沿着采样方向将二维重建数据序列叠加在一起构成对应的三维磁共振数据。
步骤（5）：在上述应用实例中，本发明使用了T1加权的磁共振数据集，一共来自112例健康的受试者，图像大小为，图像分辨率为/>，经过步骤（1）的模拟下采样获得对应的低分辨率数据。如图3所示，分别使用样条插值算法Spline，深度网络超分辨重建算法VDSR、RDN和UNET，以及所提出的算法TT-UNET在50例测试集上进行了重建，分别统计峰值信噪比PSNR，对应的平均值分别为31.67 dB，33.35 dB，33.95 dB，34.12 dB和34.93 dB. 本发明的结果显著高于其他算法，具有更好的重建性能。
此外，本发明选取了一例测试数据进行了三个平面方向的可视化展示，包括矢状面，冠状面和轴状面，如图4所示。第一行为原高分辨率数据，第二行是先进行4倍模拟下采样后使用样条插值重建的结果，可以发现在冠状面和轴状面上表现非常模糊，存在明显的下采样伪影；第三行是使用所提出的算法进行重建的结果，可以发现在冠状面和轴状面上，细节得到一定程度的恢复，更加接近于原高分辨率数据。因而本发明所提出的算法对于低分辨率的三维磁共振图像具有较好的可视化重建效果。
本发明充分利用了磁共振数据的层面间切片的空间相似性，专门用于重建层间下采样的三维磁共振数据，相比于其他前沿算法具有更好的重建质量。不仅如此，对于其他低分辨率的数据，仍然具有较好的泛化性能。
另一方面，本发明还提供了一种基于特征迁移的三维磁共振平面间超分辨重建***，该***包括数据获取模块、数据预处理模块和深度学习网络模块；
所述数据获取模块用于获取T1加权的三维高分辨率数据和对应的三维低分辨率数据；将Dicom或者Nifiti格式的磁共振数据读入到内存中，并将内存中数据写入到Dicom或者Nifiti格式的文件中。
所述数据预处理模块用于进行数据预处理并构建输入集，对数据矩阵大小和数组进行归一化，先将三维低分辨率数据进行插值，并沿着下采样方向将三维低分辨率数据展开成多张二维图像构建二维初始数据，并在三维低分辨率数据中通过最近邻的方式寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；
所述深度学***面间超分辨的深度学习网络；并设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；深度学习网络模块包括编码模块、特征迁移模块和解码模块；
所述编码模块用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块；
所述特征迁移模块用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；
所述解码模块用于超分辨重建，根据分辨率构建测试集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。
与前述基于特征迁移的三维磁共振平面间超分辨重建方法的实施例相对应，本发明还提供了对应的基于特征迁移的三维磁共振平面间超分辨重建装置的实施例。
参见图5，本发明实施例提供的一种基于特征迁移的三维磁共振平面间超分辨重建的装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的一种基于特征迁移的三维磁共振平面间超分辨重建方法。
本发明基于一种基于特征迁移的三维磁共振平面间超分辨重建装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明一种基于特征迁移的三维磁共振平面间超分辨重建装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于特征迁移的三维磁共振平面间超分辨重建方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (7)

1.一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，该方法包括以下步骤：
(1)获取T1加权的三维高分辨率数据和对应的三维低分辨率数据；
(2)进行数据预处理并构建输入集，先将三维低分辨率数据进行插值，基于三维低分辨率数据构建二维初始数据并寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；二维初始数据获得过程具体为：使用三次样条插值方法对三维低分辨率数据进行插值，并沿着下采样方向将三维低分辨率数据展开成多张二维图像；剔除掉不满足要求的图像，保留的数据记作二维初始数据；二维参考数据获得过程具体为：在三维低分辨率数据中为二维初始数据通过最近邻的方式寻找到最相似的二维切片作为二维参考数据；
(3)构建基于特征迁移和平面间超分辨的深度学习网络；该网络包括编码模块，用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块，用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；二维初始数据LR和二维参考数据Ref经过第i级编码模块的特征输出分别为LRi，Refi，首先将特征LRi，Refi分别切分成多个图像块集合{qm}，{kn}，计算每两个图像块之间的相关性，如下：
其中m，n分别表示利用滑动窗口的方法对LRi，Refi进行切分图像块后的索引编号，rm，n是每两个图像块qm和kn之间的相关系数；通过相关系数计算硬相关度和软相关度，具体如下：
硬相关度表明{kn}中与qm最相关的图像块的位置为hm：
软相关度表示{kn}与qm所有相关性系数中最大的相关系数为sm：
随后，利用获得的相关系数将第i级特征LRi与Refi进行合并，得到新特征LR_Refi：
LR_Refi＝LRi+S*R(LRi，Refi) (4)
其中，S＝{sm}为相关度矩阵，表示图像块融合的加权系数，R为特征迁移模块的图像块匹配算子，R(LRi，Refi)包含两个操作，首先是通过hm确定匹配的图像块位置，然后将LRi所有图像块{qm}按照匹配的位置替换成{kn}；
(4)设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；
(5)超分辨重建时，根据分辨率构建数据集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。
2.根据权利要求1所述的一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，步骤(1)中，利用相同的设备在相同环境下，通过设置不同的采样率来分别获得高分辨率的T1加权的三维磁共振数据和对应的三维低分辨率数据。
3.根据权利要求1所述的一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，步骤(1)中，获取高分辨率的T1加权的三维磁共振数据，然后对三维磁共振数据进行模拟平面间下采样，即沿着平面垂直的方向将多层切片进行数值平均，获得三维低分辨率数据，选取的层数等同于下采样率的倍数。
4.根据权利要求1所述的一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，步骤(3)中，第i级解码模块的特征输入为：
其中conv为神经网络中的卷积算子，concat为神经网络中的维度连接算子。
5.根据权利要求1所述的一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，步骤(4)中深度学习网络的损失函数L为均方误差函数：
其中，N是训练集数目，j是二维图像索引，HRj是第j张磁共振的高分辨率图像，SRj是第j张磁共振的重建图像。
6.根据权利要求1所述的一种基于特征迁移的三维磁共振平面间超分辨重建方法，其特征在于，步骤(5)中，将重建好的二维磁共振数据合成三维磁共振数据具体过程为：
对于单个受试者三维数据，按照步骤(2)沿着采样方向依序展开成二维初始数据序列LRk表示序列中第k个二维初始数据，M为序列中数据数量，经过深度学习网络重建后得到同序列的/>HRk表示序列中第k个二维重建数据，沿着采样方向将二维重建数据序列叠加在一起构成对应的三维磁共振数据。
7.一种实现权利要求1-6任一项所述方法的基于特征迁移的三维磁共振平面间超分辨重建***，其特征在于，该***包括数据获取模块、数据预处理模块和深度学习网络模块；
所述数据获取模块用于获取T1加权的三维高分辨率数据和对应的三维低分辨率数据；
所述数据预处理模块用于进行数据预处理并构建输入集，先将三维低分辨率数据进行插值，基于三维低分辨率数据构建二维初始数据并寻找和二维初始数据最相似的二维参考数据，基于三维高分辨率数据寻找和二维初始数据位置对应的二维标签数据；
所述深度学***面间超分辨的深度学习网络；并设计损失函数，利用二维初始数据、二维参考数据和二维标签数据对深度学习网络进行训练；深度学习网络模块包括编码模块、特征迁移模块和解码模块；
所述编码模块用于提取二维初始数据和二维参考数据的不同尺度的特征，每个尺度的特征分别输入到一个特征迁移模块；
所述特征迁移模块用于将二维参考数据的信息迁移到待重建的特征中，将迁移的特征和原特征融合后输入到解码模块，恢复出原图像；
所述解码模块用于超分辨重建，根据分辨率构建测试集，输入到训练好的深度学习网络中完成重建；然后，将重建好的二维磁共振数据合成三维磁共振数据。
CN202311085914.8A 2023-08-28 2023-08-28 基于特征迁移的三维磁共振平面间超分辨重建方法和*** Active CN116805284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311085914.8A CN116805284B (zh) 2023-08-28 2023-08-28 基于特征迁移的三维磁共振平面间超分辨重建方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311085914.8A CN116805284B (zh) 2023-08-28 2023-08-28 基于特征迁移的三维磁共振平面间超分辨重建方法和***

Publications (2)

Publication Number Publication Date
CN116805284A CN116805284A (zh) 2023-09-26
CN116805284B true CN116805284B (zh) 2023-12-19

Family

ID=88079746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311085914.8A Active CN116805284B (zh) 2023-08-28 2023-08-28 基于特征迁移的三维磁共振平面间超分辨重建方法和***

Country Status (1)

Country Link
CN (1) CN116805284B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015129987A (ja) * 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN109584164A (zh) * 2018-12-18 2019-04-05 华中科技大学 基于二维影像迁移学习的医学图像超分辨率三维重建方法
CN109615576A (zh) * 2018-06-28 2019-04-12 西安工程大学 基于级联回归基学习的单帧图像超分辨重建方法
KR20200032651A (ko) * 2018-09-18 2020-03-26 서울대학교산학협력단 3차원 영상 재구성 장치 및 그 방법
CN111598965A (zh) * 2020-05-18 2020-08-28 南京超维景生物科技有限公司 超声造影图像的超分辨重建预处理方法和超分辨重建方法
CN112669209A (zh) * 2020-12-24 2021-04-16 华中科技大学 一种三维医学图像超分辨率重建方法和***
WO2021134872A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
CN113160380A (zh) * 2021-03-04 2021-07-23 北京大学 三维磁共振影像超分辨重建方法、电子设备和存储介质
CN113744132A (zh) * 2021-09-09 2021-12-03 哈尔滨工业大学 基于多重优化的mr图像深度网络超分辨方法
CN114359044A (zh) * 2021-12-07 2022-04-15 华南理工大学 一种基于参考图像的图像超分辨率***
CN114418850A (zh) * 2022-01-18 2022-04-29 北京工业大学 一种融合图卷积的有参考图像超分辨率重构方法
CN114897694A (zh) * 2022-05-10 2022-08-12 南京航空航天大学 基于混合注意力和双层监督的图像超分辨率重建方法
WO2023142781A1 (zh) * 2022-01-28 2023-08-03 中国科学院深圳先进技术研究院 图像三维重建方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005040239A (ja) * 2003-07-24 2005-02-17 Univ Nihon 画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体
US11449989B2 (en) * 2019-03-27 2022-09-20 The General Hospital Corporation Super-resolution anatomical magnetic resonance imaging using deep learning for cerebral cortex segmentation
CN113591872A (zh) * 2020-04-30 2021-11-02 华为技术有限公司 一种数据处理***、物体检测方法及其装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015129987A (ja) * 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN109615576A (zh) * 2018-06-28 2019-04-12 西安工程大学 基于级联回归基学习的单帧图像超分辨重建方法
KR20200032651A (ko) * 2018-09-18 2020-03-26 서울대학교산학협력단 3차원 영상 재구성 장치 및 그 방법
CN109584164A (zh) * 2018-12-18 2019-04-05 华中科技大学 基于二维影像迁移学习的医学图像超分辨率三维重建方法
WO2021134872A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
CN111598965A (zh) * 2020-05-18 2020-08-28 南京超维景生物科技有限公司 超声造影图像的超分辨重建预处理方法和超分辨重建方法
CN112669209A (zh) * 2020-12-24 2021-04-16 华中科技大学 一种三维医学图像超分辨率重建方法和***
CN113160380A (zh) * 2021-03-04 2021-07-23 北京大学 三维磁共振影像超分辨重建方法、电子设备和存储介质
CN113744132A (zh) * 2021-09-09 2021-12-03 哈尔滨工业大学 基于多重优化的mr图像深度网络超分辨方法
CN114359044A (zh) * 2021-12-07 2022-04-15 华南理工大学 一种基于参考图像的图像超分辨率***
CN114418850A (zh) * 2022-01-18 2022-04-29 北京工业大学 一种融合图卷积的有参考图像超分辨率重构方法
WO2023142781A1 (zh) * 2022-01-28 2023-08-03 中国科学院深圳先进技术研究院 图像三维重建方法、装置、电子设备及存储介质
CN114897694A (zh) * 2022-05-10 2022-08-12 南京航空航天大学 基于混合注意力和双层监督的图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Super Resolution of Unpaired MR Images Based on Domain Migration;Liu, X等;Advances in Intelligent Information Hiding and Multimedia Signal Processing: Proceeding of the 18th IIH-MSP 2022 . Smart Innovation, Systems and Technologies (339);全文 *
基于深度学习的图像超分辨率重建及应用;吴磊;中国优秀硕士学位论文全文数据库 信息科技辑;全文 *
基于特征损失的医学图像超分辨率重建;邢晓羊;魏敏;符颖;;计算机工程与应用(第20期);全文 *
数据外补偿的深度网络超分辨率重建;杨文瀚;刘家瑛;夏思烽;郭宗明;;软件学报(第04期);全文 *

Also Published As

Publication number Publication date
CN116805284A (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
CN111260705B (zh) 一种基于深度卷积神经网络的***mr图像多任务配准方法
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
CN116823625B (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和***
CN111598964B (zh) 一种基于空间自适应网络的定量磁化率图像重建方法
CN113744275B (zh) 一种基于特征变换的三维cbct牙齿图像的分割方法
CN113744271A (zh) 基于神经网络的视神经自动分割和受压迫程度测算方法
CN112669209A (zh) 一种三维医学图像超分辨率重建方法和***
CN114331849B (zh) 一种跨模态核磁共振超分网络及图像超分辨率方法
KR102514727B1 (ko) 대칭 시리즈 합성곱 신경망 기반 초해상도 모델을 이용한 영상 처리 방법 및 시스템
CN114529562A (zh) 一种基于辅助学习任务与重分割约束的医学图像分割方法
Lu et al. Two-stage self-supervised cycle-consistency transformer network for reducing slice gap in MR images
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
Liu et al. DL‐MRI: A Unified Framework of Deep Learning‐Based MRI Super Resolution
CN114066798B (zh) 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法
CN117333751A (zh) 一种医学图像融合方法
CN116805284B (zh) 基于特征迁移的三维磁共振平面间超分辨重建方法和***
CN110335327A (zh) 一种直接解决逆问题的医学图像重建方法
Liu et al. Progressive residual learning with memory upgrade for ultrasound image blind super-resolution
Shao et al. Semantic segmentation method of 3D liver image based on contextual attention model
CN113066145B (zh) 基于深度学习的快速全身弥散加权成像方法及相关设备
Supriyanto et al. A Comparison Between Interpolation Method and Neural Network Approach in 3D Digital Imaging and Communications in Medicine
Jing et al. Research on Multimodal Image Fusion Method Based on Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant