CN113436076B - 逐步融合特征的图像超分辨率重建方法及电子设备 - Google Patents

逐步融合特征的图像超分辨率重建方法及电子设备 Download PDF

Info

Publication number
CN113436076B
CN113436076B CN202110842925.0A CN202110842925A CN113436076B CN 113436076 B CN113436076 B CN 113436076B CN 202110842925 A CN202110842925 A CN 202110842925A CN 113436076 B CN113436076 B CN 113436076B
Authority
CN
China
Prior art keywords
feature
layer
extraction module
feature extraction
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110842925.0A
Other languages
English (en)
Other versions
CN113436076A (zh
Inventor
张世龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sailu Medical Technology Co.,Ltd.
Original Assignee
Shenzhen Sailu Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sailu Medical Technology Co ltd filed Critical Shenzhen Sailu Medical Technology Co ltd
Priority to CN202110842925.0A priority Critical patent/CN113436076B/zh
Publication of CN113436076A publication Critical patent/CN113436076A/zh
Application granted granted Critical
Publication of CN113436076B publication Critical patent/CN113436076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种逐步融合特征的图像超分辨率重建方法及电子设备，所述图像超分辨率重建方法包括获取原始图像和重建网络，利用所述第一特征提取模块对所述原始图像进行特征提取，原始特征图顺次经过多个所第二特征提取模块和多个第三特征提取模块，利用所述图像重建模块对所述中间特征图进行超分辨率重建，得到分辨率更大的目标图像。本发明通过多次融合特征，多次逐步地筛选出对图像超分辨率重建有用的特征，最终输入图像重建模块的有用特征信息占比更大，模型特征提取效果更好，减少了有用信息丢失和无用信息冗余，同时模型训练和运行过程中所占用的计算机内存也更小。

Description

逐步融合特征的图像超分辨率重建方法及电子设备
技术领域
本发明属于人工智能技术领域，具体地说，涉及一种逐步融合特征的图像超分辨率重建方法及电子设备。
背景技术
单图像超分辨率技术是计算机视觉领域的一个经典任务，利用算法去提升特定图像的分辨率，可以重构出图像中的一些细节，从而提升图像质量，这项技术在影视、医学、公共安全等领域都有重要的应用。
神经网络由于其强大的数据拟合能力，在图像超分辨率重建效果上远超传统算法，因此，基于深度学习的超分辨率技术已经成为主流。但是，现有的超分辨率重建神经网络在提取特征后，都是将不同深度上的特征一次性地融合，融合后的特征中含有大量对超分辨率重建无用的信息，模型有效信息提取效率低，限制了神经网络重建图像的质量。
发明内容
针对现有技术中上述的不足，本发明提供一种逐步融合特征的图像超分辨率重建方法及电子设备，以提高模型有用信息提取效率，提高图像超分辨率重建效果。
为了达到上述目的，本发明采用的解决方案是：一种逐步融合特征的图像超分辨率重建方法，包括以下步骤：
S1、获取需要进行超分辨率重建的原始图像，获取训练好的图像超分辨率重建网络，所述图像超分辨率重建网络包括第一特征提取模块、第二特征提取模块、第三特征提取模块和图像重建模块，所述第三特征提取模块与所述第二特征提取模块数量相等且对称设置，第三特征提取模块与第二特征提取模块一一对应；
S2、利用所述第一特征提取模块对所述原始图像进行特征提取，得到原始特征图；
S3、所述原始特征图顺次经过多个所述第二特征提取模块和多个所述第三特征提取模块，生成中间特征图；其中，每次特征图经过所述第三特征提取模块后，先将所述第三特征提取模块输出的特征图与对应的第二特征提取模块输出的特征图融合，再将融合后得到的特征图输入下一个所述第三特征提取模块；
S4、利用所述图像重建模块对所述中间特征图进行超分辨率重建，得到目标图像，所述目标图像的分辨率大于所述原始图像的分辨率。
进一步地，所述第二特征提取模块和所述第三特征提取模块结构相同，所述第二特征提取模块和所述第三特征提取模块均包括ReLU激活函数、第一3*3卷积层、第二3*3卷积层、5*5卷积层、局部降维层和通道注意力模块；
输入所述第二特征提取模块或所述第三特征提取模块的特征图经过所述第一3*3卷积层和第一ReLU激活函数后，得到第一特征图；将所述第一特征图经过所述第二3*3卷积层和第二ReLU激活函数，得到第二特征图，将所述第一特征图经过所述5*5卷积层和第三ReLU激活函数，得到第三特征图，将所述第一特征图、所述第二特征图和所述第三特征图拼接，得到第四特征图；
将所述第四特征图输入所述通道注意力模块，生成通道注意力图，然后将所述通道注意力图与所述第四特征图融合，输入所述局部降维层进行降维，使所述局部降维层输出的特征图通道数量与输入所述第二特征提取模块或所述第三特征提取模块的特征图通道数量相同。其中3*3卷积层和5*5卷积层分别指卷积核大小为3*3和5*5的卷积层。
进一步地，所述第二特征提取模块的上游端与所述第二特征提取模块的下游端之间设有第一残差连接，输入所述第二特征提取模块的特征图通过所述第一残差连接与局部降维层输出的特征图融合；所述第三特征提取模块的上游端与所述第三特征提取模块的下游端之间设有第二残差连接，输入所述第三特征提取模块的特征图通过所述第二残差连接与局部降维层输出的特征图融合。
进一步地，所述通道注意力模块包括方差池化层、AM池化层、第一全连接层、第二全连接层、sigmoid激活函数和第四ReLU激活函数；所述第四特征图经过所述方差池化层后，生成第一注意力图，所述第四特征图经过所述AM池化层后，生成第二注意力图，将所述第一注意力图与所述第二注意力图融合后，顺次经过所述第一全连接层、所述第四ReLU激活函数、所述第二全连接层和所述sigmoid激活函数，生成所述通道注意力图；
所述方差池化层可以表示为如下公式：
Varc＝poolvar(Fc)
其中，Varc表示所述方差池化层的输出，Fc表示所述第四特征图通道方向上的第c层，Fc作为所述方差池化层的输入，poolvar(Fc)表示所述第四特征图第c上的方差值；
所述AM池化层可以表示为如下公式：
Figure BDA0003179711820000031
其中，Mc表示所述AM池化层的输出，Fc表示所述第四特征图通道方向上的第c层，Fc作为所述AM池化层的输入，Largei(Fc)表示所述第四特征图在第c层上第i大的值，Mean表示所述第四特征图第c层的平均值，n可以表示为如下公式：
Figure BDA0003179711820000041
其中，W表示所述第四特征图的宽度(像素值)，H表示所述第四特征图的高度(像素值)，<·>表示对其中的值取整。当c依次取不同的值时，Fc就依次代表第四特征图通道方向的各层。
进一步地，所述图像重建模块包括第三3*3卷积层、第一亚像素卷积层和第四3*3卷积层，所述中间特征图顺次经过所述第三3*3卷积层、所述第一亚像素卷积层和所述第四3*3卷积层后，生成目标图像。
进一步地，所述图像超分辨率重建网络还设有跳连模块，所述跳连模块包括第一跳连卷积层、第二跳连卷积层、第二亚像素卷积层、第三跳连卷积层、第四跳连卷积层、第五ReLU激活函数、第六ReLU激活函数和第七ReLU激活函数；
所述原始特征图经过所述第一跳连卷积层和所述第五ReLU激活函数后生成第一跳连特征图，提取最后一个所述第二特征提取模块输出的特征图并经过所述第二跳连卷积层和第六ReLU激活函数后，生成第二跳连特征图，所述第一跳连特征图与所述第二跳连特征图拼接后，顺次经过所述第三跳连卷积层、所述第二亚像素卷积层、所述第四跳连卷积层和所述第七ReLU激活函数，最后与所述第一亚像素卷积层输出的特征图融合。
进一步地，所述第一跳连特征图的通道数量与所述第二跳连特征图的通道数量相等。
进一步地，所述图像超分辨率重建网络设有DE融合模块，所述第三特征提取模块输出的特征图与对应的第二特征提取模块输出的特征图通过所述DE融合模块实现融合；
所述DE融合模块的数学模型为：
F1＝[L1,L2]
F2＝δ1(f1(L1))
F3＝δ2(f2(L2))
FD＝δ3(f3(F1+F2+F3))
其中，L1代表所述第二特征提取模块输出的特征图，L2代表所述第三特征提取模块输出的特征图，L1和L2作为所述DE融合模块的输入，[·]表示对其中的特征图在通道方向上进行拼接操作，δ1、δ2和δ3均表示ReLU激活函数，f1和f2均表示卷积核大小为3*3的卷积操作，f3表示卷积核大小为1*1的卷积操作，FD表示所述DE融合模块输出的特征图。
本发明还提供了一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如上述的逐步融合特征的图像超分辨率重建方法。
本发明的有益效果是：
(1)本发明先利用第一特征提取模块和第二特征提取模块提取输入模型的图像特征，然后将第二特征提取模块输出的特征图与第三特征提取模块输出的特征图通过多次拼接降维逐步融合，多次逐步地筛选出对图像超分辨率重建有用的特征，与一次性特征融合相比，本发明加强重用了第二特征提取模块输出的特征图，最终输入图像重建模块的有用特征信息占比更大，模型特征提取效果更好，减少了有用信息丢失和无用信息冗余，同时模型训练和运行过程中所占用的计算机内存也更小，降低了模型训练对硬件设备的要求；
(2)第二特征提取模块与第三特征提取模块前后对称设置，这样使得靠前的第二特征提取模块输出的特征图能够直接传到网络靠后的位置，可以减少特征在网络中传输过程中丢失的细节信息，有利于提高超分辨率重建效果；
(3)现有技术都是将不同的特征图拼接降维实现特征融合，有效特征提取效果有限，发明人结合自己实际工作经验，创造性地提出了DE融合模块，不仅将两个特征图拼接，还分别对输入DE融合模块的两个特征图进行升维操作，进一步充分提取并分散特征，然后与拼接得到的特征图通过元素求和融合，利用1*1卷积层降维，实验表明，DE融合模块能够更大限度地保存融合前特征图中的有用信息，更好地减少无效信息冗余，提升特征融合效果；
(4)第二特征提取模块和第三特征提取模块均采用不同大小的卷积核去提取特征，同时将不同深度上的特征图拼接，以尽可能多地获取特征信息，然后利用通道注意力模块为不同的特征图赋予不同大小的权重参数，选择性地强调对超分辨率重建有用的信息，抑制无用信息，提高特征提取效率；
(5)传统的通道注意力机制都是采用平均池化和最大池化，考虑到图像超分辨率重建与图像分类和目标检测等任务相比，任务层次较低，所以本发明在通道注意力模块中采用方差池化和AM池化，这样更能反应通道的高频统计信息，通道注意力模块对信息的过滤效果更准确；
(6)本发明所提供的通道注意力模块十分轻量，结构简单，可以方便地***集成在其他网络架构中，使用范围广；
(7)跳连模块中的特征一部分来自原始特征图，这部分特征中包含的细节信息多，但是夹杂着大量的无用干扰信息，另一部分来自最后一个第二特征提取模块输出的特征图，这部分特征包含大量抽象的有用信息，但是可能存在细节缺失，跳连模块利用这两部分特征信息的互补关系，选择性地提取其中有用的关键信息，直接传递到最后的图像重建模块中，提升图像超分辨率重建效果，而且，与密集连接等跳连结构相比，本发明的跳连模块复杂度更低，降低了对硬件资源的要求。
附图说明
图1为一实施例的图像超分辨率重建网络结构示意图；
图2为图1所示图像超分辨率重建网络中第二特征提取模块的结构示意图；
图3为图1所示图像超分辨率重建网络中通道注意力模块的结构示意图；
图4为图1所示图像超分辨率重建网络中DE融合模块的内部结构示意图；
图5为图1所示图像超分辨率重建网络与EDSR、CSNLN的图片重建效果对比图；
图6为另一实施例的图像超分辨率重建网络结构示意图；
附图中：
1-原始图像，2-目标图像，3-第一特征提取模块，4-第二特征提取模块，41-第一3*3卷积层，42-第二3*3卷积层，43-5*5卷积层，44-局部降维层，45-通道注意力模块，451-方差池化层，452-AM池化层，453-第一全连接层，454-第二全连接层，455-sigmoid激活函数，456-第四ReLU激活函数，46-第一ReLU激活函数，47-第二ReLU激活函数，48-第三ReLU激活函数，5-第三特征提取模块，6-图像重建模块，61-第三3*3卷积层，62-第一亚像素卷积层，63-第四3*3卷积层，7-第一残差连接，8-DE融合模块，9-跳连模块，91-第一跳连卷积层，92-第二跳连卷积层，93-第二亚像素卷积层，94-第三跳连卷积层，95-第四跳连卷积层，96-第五ReLU激活函数，97-第六ReLU激活函数，98-第七ReLU激活函数。
具体实施方式
以下结合附图对本发明作进一步描述：
实施例1：
根据如图1所示的超分辨率重建网络结构搭建模型，代码采用3.7版本的python，并借助pytorch框架。硬件方面，模型训练和测试都采用的CUP为Inteli9，内存128G，显卡采用NVIDIA 2080ti，显存11G。
在本实施例中，第一特征提取模块3采用卷积核大小为3*3的卷积层实现，第二特征提取模块4的结构如图2所示，局部降维层44为卷积核大小为1*1的卷积层。第二特征提取模块4和第三特征提取模块5为一一对应的关系，第二特征提取模块4和第三特征提取模块5数量均为3个。输入第二特征提取模块4或第三特征提取模块5的特征图经过第一3*3卷积层41和第一ReLU激活函数46后，得到第一特征图；将第一特征图经过第二3*3卷积层42和第二ReLU激活函数47，得到第二特征图，将第一特征图经过5*5卷积层43和第三ReLU激活函数48，得到第三特征图，将第一特征图、第二特征图和第三特征图拼接，得到第四特征图。
通道注意力模块45结构如图3所示，第四特征图经过方差池化层451后，生成第一注意力图，第四特征图经过AM池化层452后，生成第二注意力图，将第一注意力图与第二注意力图通过元素求和融合后，顺次经过第一全连接层453、第四ReLU激活函数456、第二全连接层454和sigmoid激活函数455，生成通道注意力图。通道注意力图与第四特征图通过乘法实现融合。在通道注意力模块45中，第一全连接层453的输入元素个数和第二全连接层454输出的元素个数均与第四特征图的通道数量相等，第一全连接层453输出的元素个数为第四特征图的通道数量的十二分之一。
为了使损失函数在训练过程中能够快速收敛，第二特征提取模块4的上游端与所述第二特征提取模块4的下游端之间设有第一残差连接7，输入第二特征提取模块4的特征图与局部降维层44输出的特征图通过元素求和实现融合。
在本实施例中，第三特征提取模块5输出的特征图与对应的第二特征提取模块4输出的特征图通过DE融合8模块实现融合，DE融合模块8内部结构如图4所示。第三特征提取模块5输出的特征图和第二特征提取模块4输出的特征图先在通道方向上拼接，生成第一融合特征图，另一方面，第三特征提取模块5输出的特征图和第二特征提取模块4输出的特征图分别经过3*3卷积和ReLU激活函数，分别生成第二融合特征图和第三融合特征图，第二融合特征图和第三融合特征图的通道数量均与第一融合特征图相同。将第一融合特征图、第二融合特征图和第三融合特征图通过元素求和融合，再经过1*1卷积和ReLU激活函数后，输出融合后得到的特征图，该特征图的长宽尺寸与第二特征提取模块4输出的特征图尺寸相同，通道数量为第一融合特征图的一半。
本实施例中训练集来自DIV2K数据集中所有的1000张图片，低分辨率图像由数据集中原本的高分辨率图像下采样后获得，采用L1函数作为损失函数对模型进行优化，以Adam作为优化器，batch-size设置为8，学习率最初设置为0.0001，epoch数量为1200，每经过200个epoch学习率降为原来的一半。测试集为Set5、BSDS100和Urban100三个数据集。训练时图片采用RGB格式，测试时，图片为YCbCr格式，测试时计算Y通道上的相关参数。
模型训练时，随机截取下采样后获得的低分辨率图片中大小为64*64的片段作为原始图像1，输入图像超分辨率重建网络，输入网络时图片的通道为3，经过第一特征提取模块3后，得到的原始特征图通道为64，输入/输出第二特征提取模块4和第三特征提取模块5特征图通道均为64。在第二特征提取模块4或第三特征提取模块5内部，输入/输出第一3*3卷积层41，第二3*3卷积层42，5*5卷积层43的特征图通道数量也是64。假设图片放大倍数为M，第三3*3卷积层61输出的通道数则为64M2，经过第一亚像素卷积层62后，特征图的通道变成64，长宽尺寸变为原来的M倍，经过第四3*3卷积层63后，通道数变为3，获得目标图像2。
模型训练完成后，在测试集上进行图像超分辨率重建。采用PSNR(峰值信噪比)和SSIM(结构相似性)作为衡量图像超分辨率重建后效果的参数，将本发明与目前一些性能先进的模型进行比较，结果如下所示。每一单元格中，前一个参数为PSNR值，后一个参数为SSIM值。
模型 放大倍数 set5 BSDS100 Urban100
EDSR 2 38.11/0.9601 32.32/0.9013 33.10/0.9363
CSNLN 2 38.28/0.9616 32.40/0.9024 33.25/0.9386
实施例1 2 39.13/0.9644 32.76/0.9074 33.57/0.9395
EDSR 3 34.65/0.9282 29.25/0.8093 29.02/0.8685
CSNLN 3 34.74/0.9300 29.33/0.8105 29.13/0.8712
实施例1 3 34.79/0.9376 29.92/0.8153 30.19/0.8705
EDSR 4 32.46/0.8968 27.71/0.7420 26.86/0.8080
CSNLN 4 32.68/0.9004 27.80/0.7439 27.22/0.8168
实施例1 4 33.16/0.9013 28.05/0.7448 27.53/0.8195
从上面的数据可以看出，实施例1所采用图像超分辨率重建网络在不同放大倍数下的图片重建效果均好于目前性能先进的EDSR和CSNLN模型，具有有用信息提取效率高，超分辨率重建效果好等优点。
此外，利用上面训练好的模型，随机选取Urban100中的一张图片所对应的低分辨率图像进行4倍放大重建，不同模型重建后图像的视觉效果对比如图5所示。图5中，左侧为EDSR模型输出的图片，中间为CSNLN模型输出的图片，右侧为实施例1中模型输出的图片。图像下半部分为上部图片在箭头所指的方框处局部放大图，可以看出，实施例1中恢复的图像在视觉上要比另外两个模型输出的图片更清晰。
实施例2：
作为对比，本实施例在实施例1的基础上，分别单独去除通道注意力模块45和AM池化层452，其余部分和实验条件与实施例1中完全相同，实验结果对比如下表所示：
模型 放大倍数 set5 set14 BSDS100
实施例1 2 39.13/0.9644 32.76/0.9074 33.57/0.9395
模型A 2 38.26/0.9602 32.41/0.9031 33.35/0.9390
模型B 2 38.57/0.9609 32.62/0.9371 33.35/0.9395
实施例1 4 33.16/0.9013 28.05/0.7448 27.53/0.8195
模型A 4 32.73/0.9004 27.90/0.7441 27.22/0.8171
模型B 4 32.92/0.9010 27.90/0.7440 28.25/0.8188
上表中，模型A为在实施例1基础上单独去除通道注意力模块45后获得，模型B为在实施例1基础上单独去除AM池化层452，留下方差池化层451后获得。从上表可以看出，设置通道注意力模块45和AM池化层452均有利于提高图像超分辨率重建效果。
实施例3：
在实施例1中图像超分辨率重建网络基础上，加设跳连模块9进行对比实验，其结构如图6所示，其余部分与实施例1中完全相同。
本实施例中，原始特征图经过第一跳连卷积层91和第五ReLU激活函数96后生成第一跳连特征图，提取最后一个第二特征提取模块4输出的特征图并经过第二跳连卷积层92和第六ReLU激活函数97后，生成第二跳连特征图，第一跳连特征图与第二跳连特征图拼接后，顺次经过第三跳连卷积层94、第二亚像素卷积层93、第四跳连卷积层95和第七ReLU激活函数98，最后与第一亚像素卷积层62输出的特征图通过元素求和的方式融合。
其中，第一跳连卷积层91、第二跳连卷积层92和第三跳连卷积层94、第四跳连卷积层95的卷积核尺寸为3*3。假设图片放大倍数为M，第一特征提取模块3，第二特征提取模块4和第三特征提取模块5输出的特征图通道数量均为64，则第一跳连特征图和第二跳连特征图的通道数量均为32M2，拼接后通道数量变为64M2。第三跳连卷积层94和第四跳连卷积层95输入/输出前后特征图尺寸和通道数量不变，特征图经过第二亚像素卷积层93后，特征图的通道变成64，长宽尺寸变为原来的M倍。
采用与实施例1中完全相同的实验条件，对图5所示的网络进行训练和测试，结果如下：
模型 放大倍数 set5 set14 BSDS100
实施例1 2 39.13/0.9644 32.76/0.9074 33.57/0.9395
实施例3 2 39.16/0.9672 32.81/0.9088 33.59/0.9413
实施例1 4 33.16/0.9013 28.05/0.7448 27.53/0.8195
实施例3 4 33.22/0.9054 28.21/0.7491 27.58/0.8224
从上表的数据可以看出，增加跳连模块9后，PSNR和SSIM两个参数值均有所上升，尤其是SSIM增加幅度相对较大，说明设置跳连模块9对重建图像中的细节部分具有很好的促进作用。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种逐步融合特征的图像超分辨率重建方法，其特征是：包括以下步骤：
S1、获取需要进行超分辨率重建的原始图像，获取训练好的图像超分辨率重建网络，所述图像超分辨率重建网络包括第一特征提取模块、第二特征提取模块、第三特征提取模块和图像重建模块，所述第三特征提取模块与所述第二特征提取模块数量相等且对称设置；
S2、利用所述第一特征提取模块对所述原始图像进行特征提取，得到原始特征图；
S3、所述原始特征图顺次经过多个所述第二特征提取模块和多个所述第三特征提取模块，生成中间特征图；其中，每次特征图经过所述第三特征提取模块后，先将所述第三特征提取模块输出的特征图与对应的第二特征提取模块输出的特征图融合，再将融合后得到的特征图输入下一个所述第三特征提取模块；
S4、利用所述图像重建模块对所述中间特征图进行超分辨率重建，得到目标图像，所述目标图像的分辨率大于所述原始图像的分辨率；
所述第二特征提取模块和所述第三特征提取模块结构相同，所述第二特征提取模块和所述第三特征提取模块均包括ReLU激活函数、第一3*3卷积层、第二3*3卷积层、5*5卷积层、局部降维层和通道注意力模块；
输入所述第二特征提取模块或所述第三特征提取模块的特征图经过所述第一3*3卷积层和第一ReLU激活函数后，得到第一特征图；将所述第一特征图经过所述第二3*3卷积层和第二ReLU激活函数，得到第二特征图，将所述第一特征图经过所述5*5卷积层和第三ReLU激活函数，得到第三特征图，将所述第一特征图、所述第二特征图和所述第三特征图拼接，得到第四特征图；
将所述第四特征图输入所述通道注意力模块，生成通道注意力图，然后将所述通道注意力图与所述第四特征图融合，输入所述局部降维层进行降维，使所述局部降维层输出的特征图通道数量与输入所述第二特征提取模块或所述第三特征提取模块的特征图通道数量相同；
所述通道注意力模块包括方差池化层、AM池化层、第一全连接层、第二全连接层、sigmoid激活函数和第四ReLU激活函数；
所述第四特征图经过所述方差池化层后，生成第一注意力图，所述第四特征图经过所述AM池化层后，生成第二注意力图，将所述第一注意力图与所述第二注意力图融合后，顺次经过所述第一全连接层、所述第四ReLU激活函数、所述第二全连接层和所述sigmoid激活函数，生成所述通道注意力图；
所述方差池化层可以表示为如下公式：
Varc＝poolvar(Fc)
其中，Varc表示所述方差池化层的输出，Fc表示所述第四特征图通道方向上的第c层，Fc作为所述方差池化层的输入，poolvar(Fc)表示所述第四特征图第c上的方差值；
所述AM池化层可以表示为如下公式：
Figure FDA0003404879870000031
其中，Mc表示所述AM池化层的输出，Fc表示所述第四特征图通道方向上的第c层，Fc作为所述AM池化层的输入，Largei(Fc)表示所述第四特征图在第c层上第i大的值，Mean表示所述第四特征图第c层的平均值，n可以表示为如下公式：
Figure FDA0003404879870000032
其中，W表示所述第四特征图的宽度，H表示所述第四特征图的高度，<·>表示对其中的值取整；
所述图像超分辨率重建网络设有DE融合模块，所述第三特征提取模块输出的特征图与对应的第二特征提取模块输出的特征图通过所述DE融合模块实现融合；
所述DE融合模块的数学模型为：
F1＝[L1,L2]
F2＝δ1(f1(L1))
F3＝δ2(f2(L2))
FD＝δ3(f3(F1+F2+F3))
其中，L1代表所述第二特征提取模块输出的特征图，L2代表所述第三特征提取模块输出的特征图，L1和L2作为所述DE融合模块的输入，[·]表示对其中的特征图在通道方向上进行拼接操作，δ1、δ2和δ3均表示ReLU激活函数，f1和f2均表示卷积核大小为3*3的卷积操作，f3表示卷积核大小为1*1的卷积操作，FD表示所述DE融合模块输出的特征图。
2.根据权利要求1所述的逐步融合特征的图像超分辨率重建方法，其特征是：所述第二特征提取模块的上游端与所述第二特征提取模块的下游端之间设有第一残差连接，输入所述第二特征提取模块的特征图通过所述第一残差连接与局部降维层输出的特征图融合；所述第三特征提取模块的上游端与所述第三特征提取模块的下游端之间设有第二残差连接，输入所述第三特征提取模块的特征图通过所述第二残差连接与局部降维层输出的特征图融合。
3.根据权利要求1所述的逐步融合特征的图像超分辨率重建方法，其特征是：所述图像重建模块包括第三3*3卷积层、第一亚像素卷积层和第四3*3卷积层，所述中间特征图顺次经过所述第三3*3卷积层、所述第一亚像素卷积层和所述第四3*3卷积层后，生成目标图像。
4.根据权利要求3所述的逐步融合特征的图像超分辨率重建方法，其特征是：所述图像超分辨率重建网络还设有跳连模块，所述跳连模块包括第一跳连卷积层、第二跳连卷积层、第二亚像素卷积层、第三跳连卷积层、第四跳连卷积层、第五ReLU激活函数、第六ReLU激活函数和第七ReLU激活函数；
所述原始特征图经过所述第一跳连卷积层和所述第五ReLU激活函数后生成第一跳连特征图，提取最后一个所述第二特征提取模块输出的特征图并经过所述第二跳连卷积层和第六ReLU激活函数后，生成第二跳连特征图，所述第一跳连特征图与所述第二跳连特征图拼接后，顺次经过所述第三跳连卷积层、所述第二亚像素卷积层、所述第四跳连卷积层和所述第七ReLU激活函数，最后与所述第一亚像素卷积层输出的特征图融合。
5.根据权利要求4所述的逐步融合特征的图像超分辨率重建方法，其特征是：所述第一跳连特征图的通道数量与所述第二跳连特征图的通道数量相等。
6.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，其特征是：所述处理器通过加载所述计算机程序，用于执行如权利要求1至5任一项所述的逐步融合特征的图像超分辨率重建方法。
CN202110842925.0A 2021-07-26 2021-07-26 逐步融合特征的图像超分辨率重建方法及电子设备 Active CN113436076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110842925.0A CN113436076B (zh) 2021-07-26 2021-07-26 逐步融合特征的图像超分辨率重建方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110842925.0A CN113436076B (zh) 2021-07-26 2021-07-26 逐步融合特征的图像超分辨率重建方法及电子设备

Publications (2)

Publication Number Publication Date
CN113436076A CN113436076A (zh) 2021-09-24
CN113436076B true CN113436076B (zh) 2022-01-28

Family

ID=77761734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110842925.0A Active CN113436076B (zh) 2021-07-26 2021-07-26 逐步融合特征的图像超分辨率重建方法及电子设备

Country Status (1)

Country Link
CN (1) CN113436076B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822805B (zh) * 2021-10-13 2022-10-18 深圳市优像科技有限公司 图像超分辨率重建方法、中药植物叶病诊断方法及设备
CN114037624B (zh) * 2021-10-27 2023-05-23 成都市第二人民医院 一种用于糖尿病肾脏病变分类的图像增强方法及设备
CN113888412B (zh) * 2021-11-23 2022-04-05 南京云上数融技术有限公司 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN114283069B (zh) * 2022-01-17 2023-06-23 卡乐福医疗科技集团有限公司 一种脑部磁共振图像超分辨率重建方法
CN115578260B (zh) * 2022-10-08 2023-07-25 苏州大学 针对图像超分辨率的方向解耦的注意力方法和***
CN117853738B (zh) * 2024-03-06 2024-05-10 贵州健易测科技有限公司 一种用于对茶叶分级的图像处理方法及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376386A (zh) * 2018-03-23 2018-08-07 深圳天琴医疗科技有限公司 一种图像的超分辨率模型的构建方法及装置
CN110033410B (zh) * 2019-03-28 2020-08-04 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
WO2021080158A1 (en) * 2019-10-25 2021-04-29 Samsung Electronics Co., Ltd. Image processing method, apparatus, electronic device and computer readable storage medium
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111598778B (zh) * 2020-05-13 2023-11-21 云南电网有限责任公司电力科学研究院 一种绝缘子图像超分辨率重建方法
CN111951165B (zh) * 2020-08-18 2024-06-14 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN111784623A (zh) * 2020-09-07 2020-10-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法

Also Published As

Publication number Publication date
CN113436076A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN113436076B (zh) 逐步融合特征的图像超分辨率重建方法及电子设备
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
Yu et al. Deep iterative down-up cnn for image denoising
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
Park et al. A dynamic residual self-attention network for lightweight single image super-resolution
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110717857A (zh) 超分辨率图像重构方法和装置
US20150269708A1 (en) Method for Generating High-Resolution Images using Regression Patterns
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN112270644A (zh) 基于空间特征变换和跨尺度特征集成的人脸超分辨方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113781308A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
Rivadeneira et al. Thermal image super-resolution challenge-pbvs 2021
CN115953303B (zh) 结合通道注意力的多尺度图像压缩感知重构方法及***
CN112801904A (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
Liu et al. Facial image inpainting using multi-level generative network
CN114626984A (zh) 中文文本图像的超分辨率重建方法
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN113096015A (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN110930314A (zh) 图像条带噪声抑制方法及其装置、电子设备、存储介质
CN116029905A (zh) 一种基于渐进差值互补的人脸超分辨率重构方法及***
Tian et al. Retinal fundus image superresolution generated by optical coherence tomography based on a realistic mixed attention GAN
Jia et al. Learning rich information for quad bayer remosaicing and denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20220114

Address after: 518000 3a-1101, building 3, hengtaiyu building, Tangwei community, Fenghuang street, Guangming District, Shenzhen, Guangdong

Applicant after: Shenzhen Sailu Medical Technology Co.,Ltd.

Address before: 400000 22-6, building 1, No.41, jialingyi village, Jiangbei District, Chongqing

Applicant before: Pomelo peel (Chongqing) Technology Co.,Ltd.

TA01 Transfer of patent application right