CN113744132A - 基于多重优化的mr图像深度网络超分辨方法 - Google Patents

基于多重优化的mr图像深度网络超分辨方法 Download PDF

Info

Publication number
CN113744132A
CN113744132A CN202111055372.0A CN202111055372A CN113744132A CN 113744132 A CN113744132 A CN 113744132A CN 202111055372 A CN202111055372 A CN 202111055372A CN 113744132 A CN113744132 A CN 113744132A
Authority
CN
China
Prior art keywords
resolution
super
image
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111055372.0A
Other languages
English (en)
Inventor
刘环宇
李君宝
罗庆
邵明媚
杨�一
董博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202111055372.0A priority Critical patent/CN113744132A/zh
Publication of CN113744132A publication Critical patent/CN113744132A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

基于多重优化的MR图像深度网络超分辨方法，解决了现有利用深度学***衡的问题，属于图像超分辨率重建技术领域。本发明包括：获取MR图像训练集，包括多切片的低分辨MR图像集和对应的多切片高分辨MR图像集；利用MR图像训练集对超分辨深度学习网络进行训练，超分辨深度学习网络包括融合层和多个超分辨网络，每个超分辨网络的输入为低分辨MR图像，每个超分辨网络的输出同时输入到融合层，融合层输出高分辨MR图像；利用训练完成后的超分辨深度学习网络将低分辨MR图像重建为高分辨MR图像。超分辨网络和融合层在训练时，可采用不同的损失函数的级联。

Description

基于多重优化的MR图像深度网络超分辨方法
技术领域
本发明属于图像超分辨率重建技术领域。
背景技术
MR图像能早期发现更加细小微小的病变组织，因此在病变的定位和病情的诊断方面具有重大的意义，高分辨的MR图像能提供更清晰的结构细节，有助医生对病情的正确分析和诊断。因此在临床应用和科学研究中，更希望获取到高分辨率的MR图像。然而，高分辨MR图像的获取需要更强的磁场强度、更长的辐射扫描时间，因此成像时间过程长并且在成像过程中由于人体的运动将会带来噪声。MR图像分辨率的提升将以成像时间成倍的增加为代价，这极大降低了病人的体验，容易给病人带来心理压力。与通过升级成像设备来提高MR图像分辨率的硬件方法相比，采用软件提升MR图像分辨率是一种经济高效的方法。现有采用字典学习方法提升MR图像分辨率，相比于传统的插值方法，如双三次方插值、近邻插值，以及基于重建的方法，如凸集投影法、最大后验概率发等具有较强的特征表达能力，可以较好的表征高低分辨率MR图像的映射关系，并且分别从字典构造参数优化、训练样本质量优化两个方面提升了MR图像超分辨的性能。虽然字典学习方法可以从训练的数据集中引入图像的先验信息，但是其浅层模型表达能力有限，学习图像先验信息能力受限。
近年来，随着深度学***衡。
发明内容
针对现有利用深度学***衡的问题，本发明提供一种拓宽了网络的宽度和深度的基于多重优化的MR图像深度网络超分辨方法。
本发明的MR图像深度网络超分辨方法，包括：
S1、获取MR图像训练集，包括低分辨MR图像集和对应的高分辨MR图像集；
S2、利用MR图像训练集对超分辨深度学习网络进行训练，低分辨MR图像作为输入，高分辨MR图像作为输出；
所述超分辨深度学习网络包括融合层和多个超分辨网络，每个超分辨网络的输入为低分辨MR图像，每个超分辨网络的输出同时输入到融合层，融合层输出高分辨MR图像；
S3、利用训练完成后的超分辨深度学习网络将低分辨MR图像重建为高分辨MR图像。
作为优选，所述S2包括：
利用MR图像训练集分别对各个超分辨网络进行训练，优化各个超分辨网络的参数，完成各个超分辨网络的训练；
将低分辨MR图像作为输入，分别获取完成训练的各个超分辨网络的超分辨结果，将各个超分辨网络的超分辨结果作为融合层的输入，对融合层进行训练，优化融合层的参数，完成融合层的训练。
作为优选，所述S2中，超分辨网络和融合层在训练时，可采用不同的损失函数的级联。
作为优选，所述S2中，对各个超分辨网络/融合层的训练方法为：
利用超分辨网络/融合层将MR图像训练集中的低分辨MR图像重建为高分辨MR图像，计算该高分辨MR图像与MR图像训练集中对应的高分辨MR图像的误差，计算误差时的损失函数为各超分辨网络的损失函数的级联，根据计算的误差进行超分辨网络/融合层的参数更新。
作为优选，各超分辨网络的损失函数的级联时，可为各超分辨网络的损失函数配置不同的权重。
作为优选，S2中采用Adam优化器对计算的误差进行优化，获得超分辨网络/融合层优化后的参数。
作为优选，超分辨网络和融合层的输入均为MR图像的多切片低分辨图像，输出均为对应的多切片的高分辨MR图像。
作为优选，超分辨网络由一个独立网络或多个独立网络级联组成。
作为优选，超分辨深度学习网络包括2个超分辨网络，其中一个超分辨网络为ESRFBN网络模型，另外一个超分辨网络为EDSR网络模型。
作为优选，超分辨网络在训练时的损失函数为：
Figure BDA0003254412030000031
LMS-SSIM表示多层级结构相似度损失函数，
Figure BDA0003254412030000032
表示L1损失函数，
Figure BDA0003254412030000033
为高斯系数，α＝0.84。
本发明的有益效果，本发明提出了基于异构网络融合方法，针对多个独立的深度超分辨网络，通过附加的融合层来集成多个超分辨网络的输出。本发明本质上拓宽了网络的宽度和深度，可有效提升高低分辨率特征的映射表征能力，从而获取到更优的MR图像超分辨效果。另外，本发明提出了多切片输入策略为网络提供更多的结构信息。MR图像为序列图像，相邻切片具有相似的结构，可以为网络提供2.5D信息，其相比2D可以获取更好的效果，比3D卷积运算参数更少、效率更高。
本发明在分析目前常用的损失函数基础上，提出了多损失函数级联优化的方法，结合L1损失函数保留颜色、亮度特性和MS-SSIM损失函数更好地保留高频区域对比度特性，使得深度模型具有更好的表征性能。
附图说明
图1为本发明基于多重优化的MR图像深度网络超分辨方法的原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本实施方式的MR图像深度网络超分辨方法，包括：
步骤一、获取MR图像训练集，包括低分辨MR图像集和对应的高分辨MR图像集；
步骤二、利用MR图像训练集对超分辨深度学习网络进行训练，低分辨MR图像作为输入，高分辨MR图像作为输出；
如图1所示，本实施方式的超分辨深度学习网络包括融合层和多个超分辨网络，每个超分辨网络的输入为低分辨MR图像，每个超分辨网络的输出同时输入到融合层，融合层输出高分辨MR图像；
步骤三、利用训练完成后的超分辨深度学习网络将低分辨MR图像重建为高分辨MR图像。
本实施方式的超分辨深度学***衡了模型复杂度和训练难度。
优选实施例中，本实施方式的步骤二包括：
利用MR图像训练集分别对各个超分辨网络进行训练，优化各个超分辨网络的参数，完成各个超分辨网络的训练；
将低分辨MR图像作为输入，分别获取完成训练的各个超分辨网络的超分辨结果，将各个超分辨网络的超分辨结果作为融合层的输入，对融合层进行训练，优化融合层的参数，完成融合层的训练。
本实施方式训练时，先训练各个超分辨网络，训练完成后，再利用超分辨网络的输出对融合层进行训练，训练方式简单。
目前大部分深度网络采用L1或L2损失函数，它们都是基于逐像素比较差异，没有考虑人类视觉感知，同时很容易陷入到局部最优解中，难以获取到最优效果。优选实施例中本实施方式的步骤二中的超分辨网络和融合层在训练时，可采用不同的损失函数的级联。
本实施方式在分析目前常用的损失函数基础上，提出了多损失函数级联优化的方法，例如：结合L1损失函数保留颜色、亮度特性和MS-SSIM损失函数更好地保留高频区域对比度特性，使得深度模型具有更好的表征性能。
本实施多损失函数级联优化时，如图1所述，在本实施方式的步骤二中，对各个超分辨网络/融合层的训练：
利用超分辨网络/融合层将MR图像训练集中的低分辨MR图像重建为高分辨MR图像，计算该高分辨MR图像与MR图像训练集中对应的高分辨MR图像的误差，计算误差时的损失函数为各超分辨网络的损失函数的级联，根据计算的误差进行超分辨网络/融合层的参数更新。各超分辨网络的损失函数的级联时，可为各超分辨网络的损失函数配置不同的权重。可采用Adam优化器对计算的误差进行优化，获得超分辨网络/融合层优化后的参数。
MR图像与自然图像成像方式不同，在MR图像成像过程中，可获取到一系列结构相似的图像。因此，相比于自然图像，MR序列图像可以提供更加丰富的结构信息以及使网络对噪声具有更强的鲁棒性。本实施方式超分辨网络和融合层的输入均为MR图像的多切片低分辨图像，输出均为对应的多切片的高分辨MR图像。本实施方式的多切片输入策略为网络提供更多的结构信息。MR图像为序列图像，相邻切片具有相似的结构，可以为网络提供2.5D信息，其相比2D可以获取更好的效果，比3D卷积运算参数更少、效率更高。
本实施方式的超分辨网络由一个独立网络或多个独立网络级联组成，如图1中，第一个超分辨网络为两个独立网络的级联，第二个超分辨网络为单独一个独立网络。
具体实施例：本实施方式还给出一种利用基于多重优化的MR图像ESRFBN超分辨网络，其包括2个超分辨网络，其中一个超分辨网络为ESRFBN网络模型，另外一个超分辨网络为EDSR网络模型，基于多重优化的MR图像ESRFBN超分辨网络的训练方法包括：
确定输入：多切片低分辨图像集X:(xt-1,xt,xt+1)m，多切片高分辨MR图像集Y:(yt-1,yt,yt+1)m；下标t表示时刻；
确定输出：ESRFBN网络参数为θ1，EDSR网络参数为θ2
1：超参数设置：批次：batch_size、迭代次数：epoch
2：预训练模型加载
3：训练过程：
3.1：独立网络模型训练
for 1to epoch do
for 1to m/batch_size do
for 1to batch_size do
(1)ESRFBN网络前向计算
Y1＝fESRFBN(X；θ1)，其中Y1表示ESRFBN网络输出结果
误差计算
L(θ1)＝LMix(Y-Y1)，其中
Figure BDA0003254412030000051
α＝0.84
LMS-SSIM表示多层级结构相似度损失函数，
Figure BDA0003254412030000061
表示L1损失函数，
Figure BDA0003254412030000062
为高斯系数，α＝0.84。
参数优化
θ'1＝Adam(L(θ1))
(2)EDSR网络前向计算
Y2＝fEDSR(X；θ2)，其中Y'表示EDSR网络输出结果
误差计算
L(θ2)＝LMix(Y-Y2)，其中
Figure BDA0003254412030000063
α＝0.84
参数优化
θ'2＝Adam(L(θ2))
end for
end for
end for
3.2：融合层参数学习
(1)融合层的参数由标准差为0.001的零均值高斯分布随机初始化。
(2)独立网络输出各自超分辨结果
Y1＝fESRFBN(X；θ1)
Y2＝fEDSR(X；θ2)
(3)融合层进行各网络输出结果融合
Y3＝fFusion(Y1,Y2；θ3)，其中θ3表示融合层参数，共30个参数
(4)误差计算
L(θ3)＝LMix(Y-Y3)，其中
Figure BDA0003254412030000064
α＝0.84
(5)融合层参数更新
θ'3＝Adam(L(θ3))
4：模型参数输出θ1、θ2、θ3
本实施方式中，训练完成后，需要对基于多重优化的MR图像ESRFBN超分辨网络进行测试，测试方法为：
确定输入：多切片低分辨图像集X:(xt-1,xt,xt+1)k
多切片高分辨MR图像集Y:(yt-1,yt,yt+1)k
下标k表示切片图像组数量
深度模型参数θ1、θ2、θ3
确定输出：峰值信噪比PSNR、结构相似性SSIM
测试过程：
1：模型参数加载
2：图像超分辨
for 1to k do
(1)独立网络输出各自超分辨结果
Y1 i＝fESRFBN(X；θ1)
Y2 i＝fEDSR(X；θ2)
(2)融合层进行各网络输出结果融合
Y3 i＝fFusion(Y1 i,Y2 i；θ3)
end for
3：PSNR、SSIM计算
Figure BDA0003254412030000071
Figure BDA0003254412030000072
4：输出PSNR、SSIM值实验结果及分析：
本实施例的基于多重优化的MR图像ESRFBN超分辨网络的超分辨方法与基于插值的超分辨算法、基于重建的超分辨算法、基于字典学习的超分辨算法以及基于深度学习的超分辨算法进行了比较，具体算法如下：
BIC：双三次插值(Bicubic Interpolation，BIC)方法是使用待求像素点周围16个像素点的值来估计未知像素点的值，这是一种比最邻近插值和双线性插值更加复杂的插值方法。该方法利用三次多项式求逼近理论上最佳插值函数sin(x*π)/x。
IBP：迭代反投影法(Iterative Back Projection，IBP)的是采取迭代的方式逐步减小模拟降质过程所获得的图像和实际低分辨率图像间的误差，然后将两者之间的误差值进行反向投影来实现初始估计的高分辨MR图像的更新，重建出高分辨率图像。
POCS：凸集投影法(Projection onto Convex Sets Approach，POCS)要求在一个矢量空间内定义一些闭合的凸形约束集合，实际的高分辨率图像就包含在这些约束集合中。高分辨率图像的一个估计定义为这些约束集合的交集内的一点。把任意一个初始估计向这些约束集合进行投影，就可以获得高分辨率估计图像。
MAP：最大后验概率(Maximum a Posterior，MAP)方法是一种基于概率的算法框架，是目前实际应用和科学研究中运用最多的一类方法，很多具体的超分辨率算法都可以归入这一概率化的框架。最大后验概率方法的基本思想来源于条件概率，将已知低分辨率图像序列作为观测结果，对未知的高分辨率图像进行估计。
JDL：压缩感知理论(Compressive Sensing，CS)指出，一幅图像能够在非常苛刻的条件下由它的一组稀疏表示系数在超完备字典上得到精确重建。联合字典学习方法(Jointdictionary learning，JDL)通过对低分辨率图像块字典和高分辨率图像块字典的联合训练，可以强化低分辨率和高分辨率图像块与之对应真实字典稀疏表示的相似性，从而低分辨率图像块的稀疏表示和高分辨率超完备字典一起作用可以重建出高分辨率图像块，然后由高分辨率图像块连接得到最终完整的高分辨率图像。
IJDL：改进联合字典学习方法(Improved Joint dictionary learning，IJDL)是针对字典联合级联训练仅考虑联合图像块对误差而未考虑高低分辨率字典个体重构误差的问题，提出了基于高低分辨率字典重构误差独立计算的字典训练方法，优化了目标函数，并考虑高低分辨率字典个体重构误差，摒弃传统的级联计算方法，有效减小重构的误差，提升了图像的重构精度提高。
RDN：密集残差网络(Residual Dense Network，RDN)网络种采用残差密集块，它不仅可以通过连续记忆机制从前一个残差密集块读取状态，还可以通过局部密集连接充分利用其中的所有层，通过局部特征融合(LFF)自适应地保留累积的特征，并且利用全局残差学习，将浅层特征和深层特征结合在一起，充分利用原始低分辨率图像的分层特征。
EDSR：增强型深度残差网络(Enhanced Deep Residual Networks for SingleImage Super-Resolution，EDSR)借鉴了ResNet网络基于残差进行学习的机制，输入经过一层卷积后分两路，一条路经过n层的RDB模块再卷积一次，一条路则直接通向交汇处，进行加权求和，再经过上采样的处理与卷积输出结果。
SRGAN：SRGAN属于生成对抗式网络，它是在SRResnet的基础上加上一个鉴别器，其作用是额外增加一个鉴别器网络和2个损失，用一种交替训练的方式训练两个网络。
ESRGAN：ESRGAN相比于SRGAN增加了感知损失，并采用Residual-in-ResidualDense Block(RDDB)模块替代了原有的Residual Block模块，使得ESRGAN可以获得更逼真、更自然的纹理。
SRFBN：SRFBN设计了一个feedback模块，采用回传机制来提高超分辨率的效果。回传的好处就在于不会增加额外的参数，并且多次回传相当于加深了网络，不断地改善生成的图像。虽然其他网络也采用了类似的回传结构，但是这些网络没办法做到前面层从后面层中得到有用的信息。
ESRFBN：对于ESRFBN而言，其在SRFBN网络基础上增加了特征图数以及群卷积个数，特征图数从原本的32改变为64，群卷积也从原本的3增加到了6。
DBPN：该网络采用一种上-下采样层，提供一种错误反馈机制在每个阶段。并构建了相互依赖的上-下采样模块，每个模块代表了不同的图像退化和高分辨组件。该网络使得在上下采样阶段的特征连接起来，提升图像超分辨效果结果。
本实施例所提方法与各方法实验结果如表1和表2所示，从表中可以看出本实施例所提方法在人体四个部位以及在两种超分尺度下均获得了最优结果，并且评价指标值提升幅度大。相比于次优的方法在尺度×2下，PSNR值分别提升4.93，5.90，5.42，3.44；SSIM值分别提升0.0019，0.0191，0.0105，0.0206。在尺度×4下，PSNR值分别提升5.94，6.07，5.65，4.68；SSIM值分别提升0.0216，0.0422，0.0564，0.0418。从指标提升数值可以看出本实施例提出的基于多重优化的MR图像ESRFBN超分辨网络更适合于MR图像超分辨任务，可以有效解决深度学习网络在MR图像超分辨任务应用上的局限性，实验结果证明了本实施例所提方法的有效性。
表1 PSNR值
Figure BDA0003254412030000091
Figure BDA0003254412030000101
表2 SSIM值
Figure BDA0003254412030000102
本实施例针对深度学***衡的三点局限性。首先，采用目前7种(深度学习网络个数：RDN、EDSR、DBPN、SRGAN、ESRGAN、SRFBN、ESRFBN)超分辨效果好的深度学习网络在头颅、***、膝盖、头颈4个人体部位2种超分辨尺度下进行了实验，定量实验结果表明ESRFBN网络更适合用于MR图像超分辨任务。其次，实验结果表明本实例提出的基于多切片输入、多损失函数级联以及异构网络融合的多重优化ESRFBN超分辨网络相比于其他网络超分辨效果更好。最后，本发明提出了基于多重优化的MR图像ESRFBN超分辨网络算法，将三种优化方法集于一体，定量实验结果表明了基于多重优化的MR图像ESRFBN超分辨网络优于基于插值的超分辨算法、基于重建的超分辨算法、基于字典学习的超分辨算法以其他基于深度学习网络的超分辨算法，并且可以大幅提升MR图像超分辨效果，证明了本发明所提方法的有效性。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (10)

1.一种MR图像深度网络超分辨方法，其特征在于，所述方法包括：
S1、获取MR图像训练集，包括低分辨MR图像集和对应的高分辨MR图像集；
S2、利用MR图像训练集对超分辨深度学习网络进行训练，低分辨MR图像作为输入，高分辨MR图像作为输出；
所述超分辨深度学习网络包括融合层和多个超分辨网络，每个超分辨网络的输入为低分辨MR图像，每个超分辨网络的输出同时输入到融合层，融合层输出高分辨MR图像；
S3、利用训练完成后的超分辨深度学习网络将低分辨MR图像重建为高分辨MR图像。
2.根据权利要求1所述的MR图像深度网络超分辨方法，其特征在于，所述S2包括：
利用MR图像训练集分别对各个超分辨网络进行训练，优化各个超分辨网络的参数，完成各个超分辨网络的训练；
将低分辨MR图像作为输入，分别获取完成训练的各个超分辨网络的超分辨结果，将各个超分辨网络的超分辨结果作为融合层的输入，对融合层进行训练，优化融合层的参数，完成融合层的训练。
3.根据权利要求2所述的MR图像深度网络超分辨方法，其特征在于，所述S2中，超分辨网络和融合层在训练时，可采用不同的损失函数的级联。
4.根据权利要求3所述的MR图像深度网络超分辨方法，其特征在于，
所述S2中，对各个超分辨网络/融合层的训练方法为：
利用超分辨网络/融合层将MR图像训练集中的低分辨MR图像重建为高分辨MR图像，计算该高分辨MR图像与MR图像训练集中对应的高分辨MR图像的误差，计算误差时的损失函数为各超分辨网络的损失函数的级联，根据计算的误差进行超分辨网络/融合层的参数更新。
5.根据权利要求1所述的MR图像深度网络超分辨方法，其特征在于，各超分辨网络的损失函数的级联时，可为各超分辨网络的损失函数配置不同的权重。
6.根据权利要求5所述的MR图像深度网络超分辨方法，其特征在于，S2中采用Adam优化器对计算的误差进行优化，获得超分辨网络/融合层优化后的参数。
7.根据权利要求1或5所述的MR图像深度网络超分辨方法，其特征在于，超分辨网络和融合层的输入均为MR图像的多切片低分辨图像，输出均为对应的多切片的高分辨MR图像。
8.根据权利要求7所述的MR图像深度网络超分辨方法，其特征在于，超分辨网络由一个独立网络或多个独立网络级联组成。
9.根据权利要求8所述的MR图像深度网络超分辨方法，其特征在于，超分辨深度学习网络包括2个超分辨网络，其中一个超分辨网络为ESRFBN网络模型，另外一个超分辨网络为EDSR网络模型。
10.根据权利要求9所述的MR图像深度网络超分辨方法，其特征在于，超分辨网络在训练时的损失函数为：
Figure FDA0003254412020000021
LMS-SSIM表示多层级结构相似度损失函数，
Figure FDA0003254412020000023
表示L1损失函数，
Figure FDA0003254412020000022
为高斯系数，α＝0.84。
CN202111055372.0A 2021-09-09 2021-09-09 基于多重优化的mr图像深度网络超分辨方法 Pending CN113744132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111055372.0A CN113744132A (zh) 2021-09-09 2021-09-09 基于多重优化的mr图像深度网络超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111055372.0A CN113744132A (zh) 2021-09-09 2021-09-09 基于多重优化的mr图像深度网络超分辨方法

Publications (1)

Publication Number Publication Date
CN113744132A true CN113744132A (zh) 2021-12-03

Family

ID=78737735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111055372.0A Pending CN113744132A (zh) 2021-09-09 2021-09-09 基于多重优化的mr图像深度网络超分辨方法

Country Status (1)

Country Link
CN (1) CN113744132A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116805284A (zh) * 2023-08-28 2023-09-26 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137603A1 (en) * 2016-11-07 2018-05-17 Umbo Cv Inc. Method and system for providing high resolution image through super-resolution reconstruction
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN111369440A (zh) * 2020-03-03 2020-07-03 网易（杭州）网络有限公司 模型训练、图像超分辨处理方法、装置、终端及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137603A1 (en) * 2016-11-07 2018-05-17 Umbo Cv Inc. Method and system for providing high resolution image through super-resolution reconstruction
CN109146788A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 基于深度学习的超分辨率图像重建方法和装置
CN111369440A (zh) * 2020-03-03 2020-07-03 网易（杭州）网络有限公司 模型训练、图像超分辨处理方法、装置、终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
史振威;雷森;: "图像超分辨重建算法综述", 数据采集与处理, no. 01, 15 January 2020 (2020-01-15) *
李欣;崔子冠;朱秀昌;: "超分辨率重建算法综述", 电视技术, no. 09, 17 September 2016 (2016-09-17) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116805284A (zh) * 2023-08-28 2023-09-26 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和***
CN116805284B (zh) * 2023-08-28 2023-12-19 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和***

Similar Documents

Publication Publication Date Title
CN111445390B (zh) 基于宽残差注意力的三维医学图像超分辨率重建方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN113506222B (zh) 一种基于卷积神经网络的多模态图像超分辨方法
CN110070612B (zh) 一种基于生成对抗网络的ct图像层间插值方法
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
CN111091616A (zh) 一种三维超声图像的重建方法及装置
CN114266939B (zh) 一种基于ResTLU-Net模型的脑提取方法
CN112669248A (zh) 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN111369433B (zh) 基于可分离卷积和注意力的三维图像超分辨率重建方法
CN111260667A (zh) 一种结合空间引导的神经纤维瘤分割方法
CN114897780A (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN111487573A (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
CN111696042B (zh) 基于样本学习的图像超分辨重建方法
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
CN113744132A (zh) 基于多重优化的mr图像深度网络超分辨方法
CN112990359B (zh) 一种影像数据处理方法、装置、计算机及存储介质
CN117333751A (zh) 一种医学图像融合方法
CN114049334B (zh) 一种以ct图像为输入的超分辨率mr成像方法
CN114511602B (zh) 基于图卷积Transformer的医学图像配准方法
CN112258508B (zh) 四维流动数据的图像处理分析分割方法、***及存储介质
CN115311135A (zh) 一种基于3dcnn的各向同性mri分辨率重建方法
CN113066145B (zh) 基于深度学习的快速全身弥散加权成像方法及相关设备
CN113538451B (zh) 一种深静脉血栓的磁共振图像分割方法及装置，电子设备及存储介质
CN117333571B (zh) 磁共振图像的重建方法、***、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination