CN113506222A - 一种基于卷积神经网络的多模态图像超分辨方法 - Google Patents

一种基于卷积神经网络的多模态图像超分辨方法 Download PDF

Info

Publication number
CN113506222A
CN113506222A CN202110870612.6A CN202110870612A CN113506222A CN 113506222 A CN113506222 A CN 113506222A CN 202110870612 A CN202110870612 A CN 202110870612A CN 113506222 A CN113506222 A CN 113506222A
Authority
CN
China
Prior art keywords
resolution
image
super
network
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110870612.6A
Other languages
English (en)
Other versions
CN113506222B (zh
Inventor
刘羽
朱文瑜
成娟
李畅
宋仁成
陈勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110870612.6A priority Critical patent/CN113506222B/zh
Publication of CN113506222A publication Critical patent/CN113506222A/zh
Application granted granted Critical
Publication of CN113506222B publication Critical patent/CN113506222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的多模态图像超分辨方法，包括：第一步，数据准备；第二步，构建级联多个密集残差注意力模块的超分辨网络，其包含：浅层特征提取、特征深度加工和图像重建部分；第三步，对输入的低分辨率图像进行超分辨，包括：超分辨网络训练和超分辨图像测试。本发明能充分利用不同模态医学图像中的互补和冗余信息来重建出质量更好的高分辨率图像，为人眼观察提供质量较好的图像，同时给图像的分割、分类等计算机视觉任务提供支持。

Description

一种基于卷积神经网络的多模态图像超分辨方法
技术领域
本发明涉及图像超分辨技术领域，具体涉及一种基于卷积神经网络的多模态图像超分辨方法。
背景技术
图像超分辨率是指从给定的一幅或多幅低分辨率图像重建高分辨率图像的过程，整个过程仅通过算法即可获得高分辨率图像。目前较为先进的超分辨方法大多基于单一模态的图像进行超分辨，这样虽然也能获得效果不错的高分辨率图像，但无疑忽略了多模态图像之间的互补及冗余信息，而这些信息在高分辨率图像重建的过程中有时对图像重建结果具有重要的。如今信息技术迎来了***式的增长，数据资源的形式也日益多样化，多模态数据已经成为人们使用数据的主要形式。通常来说，更多的信息，更强的特征表达能力，往往能重建出更加优秀的高分辨率图像。因此，研究同时涉及到多种输入模态的多模态学习方法，赋予超分辨网络更多的先验信息具有巨大的应用前景和广泛的研究价值。
自然图像领域中，多模态图像数据层出不穷，例如可见光图像与红外图像。可见光具有较高的分辨率，对比度，视觉效果良好，但红外图像通常能够较少受环境因素影响，使得其泛用性更强。在许多计算机视觉任务如行人再识别，人脸识别等，将不同模态图像结合起来则能达到更优异的效果。但目前超分辨领域中，往往只有较少的方法结合了多种不同模态的图像进行超分辨，这使得许多网络结构的性能无法进一步的提升。
医学成像中包括有多种图像模态，在医学图像数据中多模态磁共振成像(magnetic resonance imaging，MRI)技术的运用十分常见。其中，比较常用的MRI模态就包括T1加权成像(T1)，T2加权成像(T2)。一般来说，从单一模态的MRI图像中只能获得较为片面的医学信息，为了获得更加完善与准确的信息，不同模态MRI的相互补充起到了至关重要的作用。
同时，医学图像超分辨在图像超分辨领域一直是一大热点。仅使用传统图像超分辨方法，例如：最近邻算法、双线性算法、双三次插值法等。这些方法虽然运行速度很快并且容易实现，但它们的结果中通常会出现边缘模糊并丢失高频细节，这在医学图像领域是一个十分致命的问题。而基于深度学习的超分辨方法，虽然能够通过长时间的训练，提取到深度特征从而重建出质量超过传统方法的高分辨率图像。但获得高分辨率图像依旧存在产生伪影，丢失细节等问题，导致难以获得可靠的高分辨率医学图像。
与自然图像相比，医学图像超分辨问题具有更强的复杂性和严格性，包括如下特点：1)医学图像通常要求较高的精确度，超分辨的结果必须要忠实地反映实际情况，一旦出现偏差则会使后续处理步骤(例如分割、分类等高级任务)出现严重错误；2)人体的解剖组织结构和形状复杂、且存在个体差异，为图像的超分辨带来了困难；3)医学图像信息的采集极易受到各种因素的影响，例如外界噪音、场偏移效应、局部体效应、被采集对象无意识运动和无法避免的组织活动等，会不可避免地产生运动伪影、不均匀性等问题，为基于深度学习的图像超分辨方法在医学图像上的应用带来了极大的困难。因此，有必要针对医学图像的上述特点对超分辨方法进行更深层次的研究，并且考虑结合不同模态医学图像中的信息来提高超分辨方法的性能。
发明内容
本发明为克服现有图像超分辨技术存在的问题，提供了一种基于卷积神经网络的多模态图像超分辨方法，以期能充分利用不同模态间图像的互补与冗余信息提供更好的图像特征表达，并重建出质量更高的高分辨率图像，从而为人眼观察提供质量较好的图像，同时给图像的分割、分类等计算机视觉任务提供支持。
本发明为解决上述问题采用如下技术方案：
本发明一种基于卷积神经网络的多模态图像超分辨方法的特点包括如下步骤：
步骤1、数据准备：
获取任意一组分辨率为K×L且具有S个模态的参考图像集
Figure BDA0003188971810000021
其中，
Figure BDA0003188971810000022
代表第s个模态的参考图像，s＝1,2,...,S；获取对应一组分辨率为ηK×ηL的低分辨率图像集记为
Figure BDA0003188971810000023
其中，
Figure BDA0003188971810000024
代表第s个模态的低分辨率图像，η表示缩放倍数，且0＜η＜1；
步骤2、构建多模态图像超分辨网络，包括：浅层特征提取部分、特征精炼部分、图像重建部分；
步骤2.1、所述浅层特征提取部分包含一个卷积核大小为N×N的卷积层以及一个激活函数；
将S个不同模态的低分辨率图像
Figure BDA0003188971810000025
级联后，得到尺寸为ηK×ηL×S的级联低分辨率图像Iin，并输入所述多模态图像超分辨网络中，经过所述浅层特征提取部分的处理后，输出尺寸为ηK×ηL×C的浅层特征图Finit，其中，C为网络设定的通道数；
步骤2.2、所述特征精炼部分由G个密集残差注意力模块、一个N×N卷积层和一个M×M卷积层组成；
G个密集残差注意力模块记为DRAB1,DRAB2,…,DRABg,...,DRABG，其中，DRABg为第g个密集残差注意力模块；
所述第g个密集残差注意力模块DRABg由第g个密集残差单元和第g个通道注意力机制单元级联而成；
其中，所述第g个密集残差单元由Y个N×N卷积层和一个M×M卷积层构成，且Y个N×N卷积层之间采用密集连接；
第g个通道注意力机制单元由第g个全局池化层PG，第g个自适应调节卷积核大小的一维卷积层和第g个激活函数FA构成；
当g＝1时，将所述浅层特征图Finit作为第g个密集残差单元的输入特征并输入到所述第g个密集残差单元中，级联每个N×N卷积层的输出特征图与输入的浅层特征图Finit，再经过M×M卷积层获得第g个中间特征
Figure BDA0003188971810000031
将第g个中间特征
Figure BDA0003188971810000032
与第g个密集残差单元的输入特征相加，从而获得第g个密集残差单元的输出特征
Figure BDA0003188971810000033
所述第g个密集残差单元的输出特征
Figure BDA0003188971810000034
作为所述第g个通道注意力机制单元的输入特征，并由所述第g个通道注意力机制单元得到权重向量LAg后，再利用式(1)获得第g个通道注意力机制单元的输出并作为第g个密集残差注意力模块DRABg的输出特征
Figure BDA0003188971810000035
FDRAg＝LAg×FDRg (1)
当2≤g≤G时，所述第g个密集残差注意力模块DRABg的输入特征为所述第g-1个密集残差注意力模块DRABg-1的输出特征
Figure BDA0003188971810000036
从而由G个密集残差注意力模块得到输出特征
Figure BDA0003188971810000037
并进行级联后，依次经过所述特征精炼部分的N×N卷积层和一个M×M卷积层后，输出尺寸为ηK×ηL×C的特征精炼部分的中间特征图F′fine，并由所述中间特征图F′fine和所述浅层特征图Finit经过跳跃链接后相加得到尺寸为ηK×ηL×C的低分辨率空间的最终特征图FLR；
步骤2.3、所述图像重建部分包含一个上采样层和S个图像重建支路，其中，第s个图像重建支路包含：H个带有激活函数的N×N卷积层和一个不带激活函数的N×N卷积层；
将低分辨率空间的最终特征FLR输入所述图像重建部分中，先经过上采样层获得高分辨率空间特征FHR，再经过所述第s个图像重建支路后输出第s个模态的残差图
Figure BDA0003188971810000041
从而由S个图像重建支路得到各个模态的残差图
Figure BDA0003188971810000042
步骤2.4、对低分辨率图像集
Figure BDA0003188971810000043
进行上采样得到插值低分辨率图像集
Figure BDA0003188971810000044
其中，
Figure BDA0003188971810000045
代表第s个模态的低分辨率图像
Figure BDA0003188971810000046
进行上采样后获得的插值低分辨率图像；
步骤2.5、将第s个模态的残差图
Figure BDA0003188971810000047
和第s个模态的插值低分辨率图
Figure BDA0003188971810000048
相加后获得第s个模态超分辨图像
Figure BDA0003188971810000049
从而获得S个不同模态的超分辨图像
Figure BDA00031889718100000410
步骤3、多模态图像超分辨网络的训练：
步骤3.1、按照步骤1的过程得到R组参考图像集及其对应的R组低分辨率图像集；
步骤3.2、定义当前循环次数为t，并初始化t＝0；定义最大迭代次数为
Figure BDA00031889718100000411
Z为预设的超分辨网络训练的最大轮数；X为每次抽取的组数；
步骤3.3、从R组低分辨率图像集中第t次随机取出X组低分辨率图像集输入所述多模态图像超分辨网络中进行训练，并获得第t次训练输出的超分辨图像集
Figure BDA00031889718100000412
Figure BDA00031889718100000413
表示第t次训练输出的第x组多模态超分辨图像中的第s个模态的超分辨图像；x＝1,2,…,X；
从R组参考图像集中第t次对应取出X组图像，并用于构建如式(2)所示的第t次训练的损失函数Lt(θ)：
Figure BDA00031889718100000414
式(2)中，
Figure BDA00031889718100000415
表示第x组参考图像的第s个模态的参考图像；采用反向传播算法对式(2)构建的损失函数进行优化求解，从而调整所述深度学习网络中所有参数；
步骤3.4、将t+1赋值给t后，判断t＞T是否成立，若成立，则表示得到最终训练完成的超分辨网络模型；否则，返回步骤3.3顺序执行；
步骤3.5、将待测试的低分辨率图像输入训练完成的超分辨网络模型，从而获得预测的超分辨图像。
与已有技术相比，本发明的有益效果体现在：
1、本发明提出了统一的网络框架同时实现了多种不同模态图像的超分辨任务，充分利用了不同模态图像之间的冗余和互补信息，同时重建出多个模态的高分辨率图像，提升了任意单一模态图像的超分辨效果。相对于现有方法需要对不同模态图像超分辨任务分别训练网络，本方面方法只需进行一次网络训练即可实现多模态图像的同时超分辨。
2、相对于现有大多数深度学习超分辨率网络，本发明设计了一个轻量级网络实现多模态图像超分辨，提升了计算效率，降低了存储代价，方法的实用性较强。此外，本发明在特征提取部分的最后进行上采样，使得大量的卷积操作在低分辨率空间中进行，并且在图像重建环节采用重建残差图的策略，使得网络易于训练，计算效率较高。
3、本发明设计了多个密集残差注意力模块级联基本结构，使得网络中信息的流动更加合理，减少了特征信息的丢失，让网络能够学习到更多层次结构复杂的深层特征，避免了原始图像中的特征信息大量丢失，大大提高了超分辨结果的质量。此外，还采用了全局残差学习和局部残差学习的方式来进一步提升网络中信息的流动路径，防止了网络在提取更深层特征的同时丢失浅层特征，使得网络提取的特征信息更加全面。
附图说明
图1为本发明的基于卷积神经网络的多模态图像超分辨方法流程图；
图2为本发明的具体框架示意图，以s＝2为例；
图3为本发明的密集残差注意力模块的结构示意图；
图4为本发明的密集残差单元结构示意图；
图5为本发明的通道注意力机制单元结构示意图。
具体实施方式
本实施例中，以两种不同模态的MRI为例，具体网络框架如图2所示，一种基于卷积神经网络的多模态图像超分辨方法，如图1所示，包括以下步骤：
步骤1、数据准备：
获取任意一组分辨率为K×L且具有S个模态的参考图像集
Figure BDA0003188971810000051
其中，
Figure BDA0003188971810000052
代表第s个模态的参考图像，s＝1,2,...,S；获取对应一组分辨率为ηK×ηL的低分辨率图像集记为
Figure BDA0003188971810000061
其中，
Figure BDA0003188971810000062
代表第s个模态的低分辨率图像，η表示缩放倍数，且0＜η＜1；
本实施例中，采用MICCAI BraTS_2019中T1和T2 MR图像作为原始数据，该数据集中共457个3D MR图像，每个3D图像的大小为240×240×155。将3D MR图像沿Z轴切片，对每一个3D图像从第60个切片开始每隔5个切片，选取一个切片作为训练数据，每个3D数据取10张切片，共获得4570组具有2种模态的2D MR图像；
将上述获得的数据作为参考图像集
Figure BDA0003188971810000063
对参考图像分别进行不同放缩倍数的双三次下采样，获得不同规模因子下的低分辨率图像集
Figure BDA0003188971810000064
本实施例中采用的放缩倍数为2，但其他放缩倍数在本网络中也能取得良好的效果；
步骤2、构建多模态图像超分辨网络，包括：浅层特征提取部分、特征精炼部分、图像重建部分；
步骤2.1、浅层特征提取部分包含一个卷积核大小为N×N的卷积层以及一个激活函数，本实施例中，取N＝3，激活函数采用relu激活函数，采用卷积核大小为3的卷积层，不仅能够取得良好的效果而且也不会引入过多的参数使得网络训练速度变慢；
将S个不同模态的低分辨率图像
Figure BDA0003188971810000065
级联后，得到尺寸为ηK×ηL×S的级联低分辨率图像Iin，本实施例中，使用2种不同模态的图像，每个图像大小为120×120，即S＝2,K＝L＝240,η＝0.5；
将级联低分辨率图像Iin输入多模态图像超分辨网络中，经过浅层特征提取部分的处理后，输出尺寸为ηK×ηL×C的浅层特征图Finit，其中，C为网络设定的通道数，本实施例中，设置C＝64；
步骤2.2、特征精炼部分由G个密集残差注意力模块、一个M×M卷积层和一个N×N卷积层组成，本实施例中，取N＝3,M＝1,G＝3；
G个密集残差注意力模块记为DRAB1,DRAB2,...,DRABg,...,DRABG，其中，DRABg为第g个密集残差注意力模块，具体密集残差注意力模块结构如图3所示；
第g个密集残差注意力模块DRABg由第g个密集残差单元和第g个通道注意力机制单元级联而成；
其中，第g个密集残差单元由Y个N×N卷积层和一个M×M卷积层构成，且Y个N×N卷积层之间采用密集连接，本实施例中，取Y＝6，密集连接的增长率设为32，密集残差单元具体结构如图4所示。密集连接可以使得特征图不断被重复使用，使得网络可以在较浅的情况下获得更优的效果，提升了网络的计算效率；
第g个通道注意力机制单元由第g个全局池化层PG，第g个自适应调节卷积核大小的一维卷积层和第g个激活函数FA构成，本实施例中，激活函数FA采用softmax，通道注意力机制单元具体结构如图5所示；
当g＝1时，将浅层特征图Finit作为第g个密集残差单元的输入特征并输入到第g个密集残差单元中，级联每个N×N卷积层的输出特征图与输入的浅层特征图Finit，再经过M×M卷积层获得第g个中间特征
Figure BDA0003188971810000071
本实施例中，每个N×N卷积层输出32通道的特征图，M×M卷积层输出64通道的特征图，中间特征
Figure BDA0003188971810000072
具有64通道；将第g个中间特征
Figure BDA0003188971810000073
与第g个密集残差单元的输入特征相加，从而获得第g个密集残差单元的输出特征
Figure BDA0003188971810000074
采用局部残差学习的策略，使得输入的特征图能够经过跳跃连接直接传输到深层网络，在网络不断提取深层特征的同时避免了丢失浅层特征，使得网络获得更加全面的特征图；
第g个密集残差单元的输出特征
Figure BDA0003188971810000075
作为第g个通道注意力机制单元的输入特征，并由第g个通道注意力机制单元得到权重向量LAg后，再利用式(1)获得第g个通道注意力机制单元的输出并作为第g个密集残差注意力模块DRABg的输出特征
Figure BDA0003188971810000076
FDRAg＝LAg×FDRg (1)
当2≤g≤G时，第g个密集残差注意力模块DRABg的输入特征为第g-1个密集残差注意力模块DRABg-1的输出特征
Figure BDA0003188971810000077
从而由G个密集残差注意力模块得到输出特征
Figure BDA0003188971810000078
并进行级联后，依次经过特征精炼部分的N×N卷积层和一个M×M卷积层后，输出尺寸为ηK×ηL×C的特征精炼部分的中间特征图F′fine，并由中间特征图F′fine和浅层特征图Finit经过跳跃链接后相加得到尺寸为ηK×ηL×C的低分辨率空间的最终特征FLR。G个密集残差注意力模块的输出级联后将会获得一个G×64通道的特征图，本实施例中，为192通道。该特征图先经过1×1卷积层，将特征图重新压缩到64通道同时进行一定程度上的特征融合，而后在经过3×3卷积层进一步精炼特征后获得尺寸为120×120×64的中间特征图F′fine。再将中间特征图F′fine和浅层特征图Finit相加形成全局残差学习，进一步提升了网络的表示能力；
步骤2.3、图像重建部分包含一个上采样层和S个图像重建支路，第s个图像重建支路包含：H个带有激活函数的N×N卷积层和一个不带激活函数的N×N卷积层，本实施例中，采用的上采样卷积层为高效亚像素卷积层，并取H＝1；
将低分辨率空间的最终特征FLR输入图像重建部分中，先经过上采样层获得高分辨率空间特征FHR，而后经过第s个图像重建支路后输出第s个模态的残差图
Figure BDA0003188971810000081
从而由S个图像重建支路得到各个模态的残差图
Figure BDA0003188971810000082
本实施例中，具有2条图像重建支路，重建2张不同模态的残差图，在网络的后部进行特征的上采样可以使得网络的大多数卷积操作在低分辨率空间中进行，也节省计算资源；
步骤2.4、对低分辨率图像集
Figure BDA0003188971810000083
进行上采样得到插值低分辨率图像集
Figure BDA0003188971810000084
其中，
Figure BDA0003188971810000085
代表第s个模态的低分辨率图像
Figure BDA0003188971810000086
进行上采样后获得的插值低分辨率图像，本实施例中，采用双三次插值法作为低分辨率图像上采样的方法；
步骤2.5、将第s个模态的残差图
Figure BDA0003188971810000087
和第s个模态的插值低分辨率图
Figure BDA0003188971810000088
相加后获得第s个模态超分辨图像
Figure BDA0003188971810000089
从而获得S个不同模态的超分辨图像
Figure BDA00031889718100000810
网络采用重建残差图的方式来减轻重建图像的难度，使得网络更加易于训练；
步骤3、多模态图像超分辨网络的训练：
步骤3.1、按照步骤1的过程得到R组参考图像集及其对应的R组低分辨率图像集；
步骤3.2、定义当前循环次数为t，并初始化t＝0；定义最大迭代次数为
Figure BDA00031889718100000811
Z为预设的超分辨网络训练的最大轮数，X为每次抽取的组数，本实施例中，设置X＝32，Z＝200；
步骤3.3、从R组低分辨率图像集中第t次随机取出X组低分辨率图像集输入多模态图像超分辨网络中进行训练，并获得第t次训练输出的超分辨图像集
Figure BDA00031889718100000812
Figure BDA0003188971810000091
表示第t次训练输出的第x组多模态超分辨图像中的第s个模态的超分辨图像；x＝1,2,…,X；
从R组参考图像集中第t次对应取出X组图像，并用于构建如式(2)所示的第t次训练的损失函数Lt(θ)：
Figure BDA0003188971810000092
式(2)中，
Figure BDA0003188971810000093
表示第x组参考图像的第s个模态的参考图像；采用反向传播算法对式(2)构建的损失函数进行优化求解，从而调整整个网络中所有参数，本实施例中，采用Adam优化器对总损失Lt(θ)进行优化求解；
步骤3.4、将t+1赋值给t后，判断t＞T是否成立，若成立，则表示得到最终训练完成的超分辨网络模型；否则，返回步骤3.3顺序执行；
步骤3.5、将待测试的低分辨率图像输入训练完成的超分辨网络模型，从而获得预测的超分辨图像。

Claims (1)

1.一种基于卷积神经网络的多模态图像超分辨方法，其特征包括如下步骤：
步骤1、数据准备：
获取任意一组分辨率为K×L且具有S个模态的参考图像集
Figure FDA0003188971800000011
其中，
Figure FDA0003188971800000012
代表第s个模态的参考图像，s＝1,2,...,S；获取对应一组分辨率为ηK×ηL的低分辨率图像集记为
Figure FDA0003188971800000013
其中，
Figure FDA0003188971800000014
代表第s个模态的低分辨率图像，η表示缩放倍数，且0＜η＜1；
步骤2、构建多模态图像超分辨网络，包括：浅层特征提取部分、特征精炼部分、图像重建部分；
步骤2.1、所述浅层特征提取部分包含一个卷积核大小为N×N的卷积层以及一个激活函数；
将S个不同模态的低分辨率图像
Figure FDA0003188971800000015
级联后，得到尺寸为ηK×ηL×S的级联低分辨率图像Iin，并输入所述多模态图像超分辨网络中，经过所述浅层特征提取部分的处理后，输出尺寸为ηK×ηL×C的浅层特征图Finit，其中，C为网络设定的通道数；
步骤2.2、所述特征精炼部分由G个密集残差注意力模块、一个N×N卷积层和一个M×M卷积层组成；
G个密集残差注意力模块记为DRAB1,DRAB2,...,DRABg,…,DRABG，其中，DRABg为第g个密集残差注意力模块；
所述第g个密集残差注意力模块DRABg由第g个密集残差单元和第g个通道注意力机制单元级联而成；
其中，所述第g个密集残差单元由Y个N×N卷积层和一个M×M卷积层构成，且Y个N×N卷积层之间采用密集连接；
第g个通道注意力机制单元由第g个全局池化层PG，第g个自适应调节卷积核大小的一维卷积层和第g个激活函数FA构成；
当g＝1时，将所述浅层特征图Finit作为第g个密集残差单元的输入特征并输入到所述第g个密集残差单元中，级联每个N×N卷积层的输出特征图与输入的浅层特征图Finit，再经过M×M卷积层获得第g个中间特征
Figure FDA0003188971800000021
将第g个中间特征
Figure FDA0003188971800000022
与第g个密集残差单元的输入特征相加，从而获得第g个密集残差单元的输出特征
Figure FDA0003188971800000023
所述第g个密集残差单元的输出特征
Figure FDA0003188971800000024
作为所述第g个通道注意力机制单元的输入特征，并由所述第g个通道注意力机制单元得到权重向量LAg后，再利用式(1)获得第g个通道注意力机制单元的输出并作为第g个密集残差注意力模块DRABg的输出特征
Figure FDA0003188971800000025
FDRAg＝LAg×FDRg (1)
当2≤g≤G时，所述第g个密集残差注意力模块DRABg的输入特征为所述第g-1个密集残差注意力模块DRABg-1的输出特征
Figure FDA0003188971800000026
从而由G个密集残差注意力模块得到输出特征
Figure FDA0003188971800000027
并进行级联后，依次经过所述特征精炼部分的N×N卷积层和一个M×M卷积层后，输出尺寸为ηK×ηL×C的特征精炼部分的中间特征图F′fine，并由所述中间特征图F′fine和所述浅层特征图Finit经过跳跃链接后相加得到尺寸为ηK×ηL×C的低分辨率空间的最终特征图FLR；
步骤2.3、所述图像重建部分包含一个上采样层和S个图像重建支路，其中，第s个图像重建支路包含：H个带有激活函数的N×N卷积层和一个不带激活函数的N×N卷积层；
将低分辨率空间的最终特征FLR输入所述图像重建部分中，先经过上采样层获得高分辨率空间特征FHR，再经过所述第s个图像重建支路后输出第s个模态的残差图
Figure FDA0003188971800000028
从而由S个图像重建支路得到各个模态的残差图
Figure FDA0003188971800000029
步骤2.4、对低分辨率图像集
Figure FDA00031889718000000210
进行上采样得到插值低分辨率图像集
Figure FDA00031889718000000211
其中，
Figure FDA00031889718000000212
代表第s个模态的低分辨率图像
Figure FDA00031889718000000213
进行上采样后获得的插值低分辨率图像；
步骤2.5、将第s个模态的残差图
Figure FDA00031889718000000214
和第s个模态的插值低分辨率图
Figure FDA00031889718000000215
相加后获得第s个模态超分辨图像
Figure FDA00031889718000000216
从而获得S个不同模态的超分辨图像
Figure FDA00031889718000000217
步骤3、多模态图像超分辨网络的训练：
步骤3.1、按照步骤1的过程得到R组参考图像集及其对应的R组低分辨率图像集；
步骤3.2、定义当前循环次数为t，并初始化t＝0；定义最大迭代次数为
Figure FDA0003188971800000031
Z为预设的超分辨网络训练的最大轮数；X为每次抽取的组数；
步骤3.3、从R组低分辨率图像集中第t次随机取出X组低分辨率图像集输入所述多模态图像超分辨网络中进行训练，并获得第t次训练输出的超分辨图像集
Figure FDA0003188971800000032
Figure FDA0003188971800000033
表示第t次训练输出的第x组多模态超分辨图像中的第s个模态的超分辨图像；x＝1,2,…,X；
从R组参考图像集中第t次对应取出X组图像，并用于构建如式(2)所示的第t次训练的损失函数Lt(θ)：
Figure FDA0003188971800000034
式(2)中，
Figure FDA0003188971800000035
表示第x组参考图像的第s个模态的参考图像；采用反向传播算法对式(2)构建的损失函数进行优化求解，从而调整所述深度学习网络中所有参数；
步骤3.4、将t+1赋值给t后，判断t＞T是否成立，若成立，则表示得到最终训练完成的超分辨网络模型；否则，返回步骤3.3顺序执行；
步骤3.5、将待测试的低分辨率图像输入训练完成的超分辨网络模型，从而获得预测的超分辨图像。
CN202110870612.6A 2021-07-30 2021-07-30 一种基于卷积神经网络的多模态图像超分辨方法 Active CN113506222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110870612.6A CN113506222B (zh) 2021-07-30 2021-07-30 一种基于卷积神经网络的多模态图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110870612.6A CN113506222B (zh) 2021-07-30 2021-07-30 一种基于卷积神经网络的多模态图像超分辨方法

Publications (2)

Publication Number Publication Date
CN113506222A true CN113506222A (zh) 2021-10-15
CN113506222B CN113506222B (zh) 2024-03-01

Family

ID=78014561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110870612.6A Active CN113506222B (zh) 2021-07-30 2021-07-30 一种基于卷积神经网络的多模态图像超分辨方法

Country Status (1)

Country Link
CN (1) CN113506222B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049408A (zh) * 2021-11-15 2022-02-15 哈尔滨工业大学（深圳） 用于加速多模态mr成像的深度网络模型
CN114331849A (zh) * 2022-03-15 2022-04-12 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法
CN114943650A (zh) * 2022-04-14 2022-08-26 北京东软医疗设备有限公司 一种图像去模糊方法、装置、计算机设备和存储介质
WO2023109719A1 (zh) * 2021-12-15 2023-06-22 深圳先进技术研究院 一种太赫兹单像素超分辨成像方法和***
CN117391938A (zh) * 2023-12-13 2024-01-12 长春理工大学 一种红外图像超分辨率重建方法、***、设备及终端

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170351935A1 (en) * 2016-06-01 2017-12-07 Mitsubishi Electric Research Laboratories, Inc Method and System for Generating Multimodal Digital Images
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
US20190325621A1 (en) * 2016-06-24 2019-10-24 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
US20200034948A1 (en) * 2018-07-27 2020-01-30 Washington University Ml-based methods for pseudo-ct and hr mr image estimation
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN111445390A (zh) * 2020-02-28 2020-07-24 天津大学 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111899165A (zh) * 2020-06-16 2020-11-06 厦门大学 一种基于功能模块的多任务图像重建卷积网络模型
CN112200725A (zh) * 2020-10-26 2021-01-08 深圳大学 一种超分辨率重建方法、装置、存储介质及电子设备
CN113096017A (zh) * 2021-04-14 2021-07-09 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170351935A1 (en) * 2016-06-01 2017-12-07 Mitsubishi Electric Research Laboratories, Inc Method and System for Generating Multimodal Digital Images
US20190325621A1 (en) * 2016-06-24 2019-10-24 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
US20200034948A1 (en) * 2018-07-27 2020-01-30 Washington University Ml-based methods for pseudo-ct and hr mr image estimation
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN111445390A (zh) * 2020-02-28 2020-07-24 天津大学 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111899165A (zh) * 2020-06-16 2020-11-06 厦门大学 一种基于功能模块的多任务图像重建卷积网络模型
CN112200725A (zh) * 2020-10-26 2021-01-08 深圳大学 一种超分辨率重建方法、装置、存储介质及电子设备
CN113096017A (zh) * 2021-04-14 2021-07-09 南京林业大学 基于深度坐标注意力网络模型的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049408A (zh) * 2021-11-15 2022-02-15 哈尔滨工业大学（深圳） 用于加速多模态mr成像的深度网络模型
WO2023109719A1 (zh) * 2021-12-15 2023-06-22 深圳先进技术研究院 一种太赫兹单像素超分辨成像方法和***
CN114331849A (zh) * 2022-03-15 2022-04-12 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法
CN114943650A (zh) * 2022-04-14 2022-08-26 北京东软医疗设备有限公司 一种图像去模糊方法、装置、计算机设备和存储介质
CN117391938A (zh) * 2023-12-13 2024-01-12 长春理工大学 一种红外图像超分辨率重建方法、***、设备及终端
CN117391938B (zh) * 2023-12-13 2024-02-20 长春理工大学 一种红外图像超分辨率重建方法、***、设备及终端

Also Published As

Publication number Publication date
CN113506222B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN113506222B (zh) 一种基于卷积神经网络的多模态图像超分辨方法
Zhao et al. Channel splitting network for single MR image super-resolution
Xiao et al. Satellite video super-resolution via multiscale deformable convolution alignment and temporal grouping projection
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN110461228A (zh) 使用多对比度和深度学习改进医学图像的质量
Wang et al. Wide weighted attention multi-scale network for accurate MR image super-resolution
Gu et al. Deep generative adversarial networks for thin-section infant MR image reconstruction
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
CN114565816B (zh) 一种基于全局信息融合的多模态医学图像融合方法
Yan et al. SMIR: A Transformer-Based Model for MRI super-resolution reconstruction
CN116563100A (zh) 一种基于内核引导网络的盲超分辨率重建方法
Chen et al. Self-supervised cycle-consistent learning for scale-arbitrary real-world single image super-resolution
CN113313728B (zh) 一种颅内动脉分割方法及***
Rashid et al. Single MR image super-resolution using generative adversarial network
Yang et al. MGDUN: An interpretable network for multi-contrast MRI image super-resolution reconstruction
Peng et al. Deep slice interpolation via marginal super-resolution, fusion, and refinement
CN114898110A (zh) 一种基于全分辨率表示网络的医学图像分割方法
Sun et al. DIR3D: Cascaded Dual-Domain Inter-Scale Mutual Reinforcement 3D Network for highly accelerated 3D MR image reconstruction
Zhou et al. GAN-based super-resolution for confocal superficial eyelid imaging: Real-time, domain generalization, and noise robustness
Li et al. Video frame interpolation based on multi-scale convolutional network and adversarial training
Wei et al. Sofnet: Optical-flow based large-scale slice augmentation of brain mri
CN113744132A (zh) 基于多重优化的mr图像深度网络超分辨方法
CN112529949A (zh) 一种基于t2图像生成dwi图像的方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant