CN113674155A - 基于信息聚合网络的图像超分辨率方法、装置和存储介质 - Google Patents
基于信息聚合网络的图像超分辨率方法、装置和存储介质 Download PDFInfo
- Publication number
- CN113674155A CN113674155A CN202110982890.0A CN202110982890A CN113674155A CN 113674155 A CN113674155 A CN 113674155A CN 202110982890 A CN202110982890 A CN 202110982890A CN 113674155 A CN113674155 A CN 113674155A
- Authority
- CN
- China
- Prior art keywords
- image
- features
- scale information
- information aggregation
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002776 aggregation Effects 0.000 title claims abstract description 92
- 238000004220 aggregation Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000000903 blocking effect Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 230000004913 activation Effects 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 28
- 230000003213 activating effect Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 11
- 230000004931 aggregating effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008447 perception Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 101100150275 Caenorhabditis elegans srb-3 gene Proteins 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 101100150273 Caenorhabditis elegans srb-1 gene Proteins 0.000 description 1
- 101100150274 Caenorhabditis elegans srb-2 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种基于信息聚合网络的图像超分辨率方法、装置及存储介质，涉及图像处理技术领域。本方法首先将高分辨率图像下采样至目标低分辨率图像，并对目标低分辨率图像进行分块操作后得到相应的粗糙特征图，然后将其输入至由多个多尺度信息聚合模块串联形成的链式连接结构，并将每一多尺度信息聚合模块生成的输出结果输出，且将输出结果再次输入至相邻的多尺度信息聚合模块，直至从位于尾端的多尺度信息聚合模块获得对应的输出结果，最后利用粗糙特征图和所有输出结果共同生成目标超分辨率图像。本申请提供的图像超分辨率方法解决了相关技术中图像超分辨率重建算法在网络的重建性能及图像聚合多尺度特征上均存在一定的局限性的问题。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种基于信息聚合网络的图像超分辨率方法、装置和存储介质。
背景技术
目前，单图像超分辨率(Single Image Super Resolution, SISR)是一项经典的计算机视觉任务，旨在从给定的低分辨率(Low Resolution, LR)图像重建相应的高分辨率(High Resolution, HR)图像。作为图像处理的底层视觉问题，超分辨率（SuperResolution, SR）方法已经受到越来越多的研究人员的关注，超分辨率重建技术已广泛应用于其他高级视觉任务，例如视频编解码器、安全和监视成像、卫星和航空成像以及面部分析，因此，重建高质量的超分辨率（SR）图像具有重要意义。
相关技术中，随着卷积神经网络的出现，研究人员提出了大量基于深度学习的SISR方法，在图像重建方面取得了显著成效，最开始提出了基于CNN的SR网络，用三层网络模拟了LR和HR的映射，为了进一步提高SR算法的重构性能，实现网络的快速收敛，一方面，出现了一种改进的图像SR算法（VDSR），它采用了具有残差学习的20个卷积层的非常深的结构，另一方面，又后续出现了一种改进的深度残差SR网络，此网络有两种学习方式：深度网络EDSR和多尺度网络MDSR，且这两种方法都显着提高了图像SR的重建性能。随后，从另外一个角度，出现了新的残差密集网络，其充分利用了LR图像的层次特征，有效提升了视觉效果（Residual dense network for image super-resolution），一段时间后，研究人员又利用残差结构中的残差，引入通道注意力机制，形成一个非常深的残差通道注意力网络（Imagesuper-resolution using very deep residual channel attention networks）。最近，一方面，出现了可以用于图像超分辨率的多尺度残差网络，它主要引入了不同尺寸的卷积核，来自适应地检测不同尺度的图像特征（Multi-scale residual network for imagesuper-resolution），另一方面，还出现了一种多尺度信息交叉融合网络，它不仅可以整合不同感受野下的互补信息，还可以帮助信息在网络中流动（Single image super-resolution with multi-scale information cross-fusion network）。
但是，当前SISR算法已经取得了前所未有的进步和发展，但上述基于CNN的SISR方法主要关注更广或更深的网络，忽略了多尺度特征之间的潜在关系，导致重构网络的表示能力有限。
发明内容
本申请实施例提供一种基于信息聚合网络的图像超分辨率方法、装置和存储介质，以解决相关技术中图像超分辨率重建算法在网络的重建性能及图像聚合多尺度特征上均存在一定的局限性的问题。
第一方面，提供了一种基于信息聚合网络的图像超分辨率方法，其步骤包括：
将高分辨率图像下采样至目标低分辨率图像，并对所述目标低分辨率图像进行分块操作，以分出相互重叠的图像块，利用所述相互重叠的图像块得到相应的粗糙特征图；
将所述粗糙特征图作为输入输入至由多个多尺度信息聚合模块依次串联形成的链式连接结构，并将每一所述多尺度信息聚合模块接收到对应的输入后生成的对应的输出结果输出，且同时将生成的输出结果作为输入再次输入至与其相邻的所述多尺度信息聚合模块，直至从位于尾端的所述多尺度信息聚合模块获取到对应的输出结果；
利用所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果共同生成目标超分辨率图像。
一些实施例中，所述在每一所述多尺度信息聚合模块接收到对应的输入后，均生成对应的输出结果，包括：
将作为输入的所述粗糙特征图分为两部分，利用第一卷积层对其中一部分进行特征提取，并利用激活层对剩余部分进行激活更新；
对经所述第一卷积层提取获得的特征和激活更新后的特征进行聚合，得到多尺度信息特征；
将所述多尺度信息特征再次输入至另一所述第一卷积层中进行特征提取，将利用所述激活层激活更新后的特征再次输入至另一所述激活层进行激活更新，并将再次进行特征提取和激活更新后的特征进行聚合，得到最终的多尺度信息特征；
对最终的所述多尺度信息特征进行第三次激活，并将第三次激活后的所述多尺度信息特征与未被第三次激活前的最终的所述多尺度信息特征进行叠加，将叠加后得到的特征再与所述粗糙特征图进行叠加，得到对应的输出结果。
一些实施例中，所述利用激活层对剩余部分进行激活更新，包括：
将剩余的所述粗糙特征图再次分为两部分；
将其中一部分作为输入输入至第二卷积层中，将剩余部分作为输入输入至第三卷积层中；
将所述第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加，并对叠加后的特征进行激活更新。
一些实施例中，所述对经所述第一卷积层提取获得的特征和激活更新后的特征进行聚合，得到多尺度信息特征，包括：
对经所述第一卷积层提取获得的特征和激活更新后的特征进行第一次特征融合；
将第一次特征融合的结果与所述第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加并激活更新后的结果进行第二次特征融合，得到所述多尺度信息特征。
一些实施例中，在对最终的所述多尺度信息特征进行第三次激活前，对最终的所述多尺度信息特征进行降维处理。
一些实施例中，所述对最终的所述多尺度信息特征进行降维处理，包括：
利用第七卷积层对最终的所述多尺度信息特征进行特征提取，对第二次激活更新后的特征再次进行激活更新，利用第八卷积层对该激活更新后的特征进行特征提取；
将经所述第七卷积层和第八卷积层提取的特征作为共同输入输入至第九卷积层，以进行降维处理。
一些实施例中，所述利用所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果共同生成目标超分辨率图像，包括：
将所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果作为输入，分别依次通过具有不同卷积核尺寸的第四卷积层和第五卷积层，以得到精细特征图；
将所述精细特征图通过第六卷积层后，再通过上采样使所述精细特征图恢复成初始尺寸，对恢复至初始尺寸的所述精细特征图进行重建，以生成所述目标超分辨率图像。
一些实施例中，所述将高分辨率图像下采样至目标低分辨率图像，并对所述目标低分辨率图像进行分块操作，以分出相互重叠的图像块，包括：
将所选取的多张高分辨率图像通过下采样得到低分辨率图像数据集，并将所述低分辨率图像数据集中的图像进行分块操作，分成若干个预定像素大小的图像块，并对各所述图像块通过水平翻转以及旋转操作进行数据增强，以对增强后的数据集通过网络进行特征提取。
第二方面，提供了一种基于信息聚合网络的图像超分辨率装置，其包括：
预处理单元，其用于将高分辨率图像下采样至目标低分辨率图像，并用于对所述目标低分辨率图像进行分块操作，以分出相互重叠的图像块，用于利用所述相互重叠的图像块得到相应的粗糙特征图；
多尺度信息聚合单元，其用于接收所述预处理单元输出的所述粗糙特征图，所述多尺度信息聚合单元包括若干个多尺度信息聚合模块，若干个所述多尺度信息聚合模块依次串联形成链式连接结构，每一所述多尺度信息聚合模块接收到对应的输入后，均输出生成的对应的输出结果，且同时用于将生成的输出结果作为输入再次输入至与其相邻的所述多尺度信息聚合模块，直至从位于尾端的所述多尺度信息聚合模块获取到对应的输出结果；
图像重建单元，其用于利用所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果共同生成目标超分辨率图像。
第三方面，提供了一种计算机可读存储介质，其包括：所述计算机程序被处理器执行时实现上述图像超分辨率方法的步骤。
本申请提供的技术方案带来的有益效果包括：
本申请实施例提供了一种基于信息聚合网络的图像超分辨率方法，针对单张图像超分辨率提出了端到端的超分辨率重建网络，通过在多个多尺度信息聚合模块的配合下共同提取多尺度图像特征，再进一步恢复低分辨率图像，实现可以在较少的网络参数量的情况下有效地提取图像特征的目的，提高了网络的重建性能，也在一定程度上缓解了其局限性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于信息聚合网络的图像超分辨率方法的流程示意图；
图2为本申请实施例提供的基于信息聚合网络的图像超分辨率方法的网络框架图；
图3为本申请实施例提供的基于信息聚合网络的图像超分辨率方法的多尺度信息聚合模块的结构图；
图4为本申请实施例提供的基于信息聚合网络的图像超分辨率方法的浅层残差模块的结构图；
图5为本申请实施例提供的基于信息聚合网络的图像超分辨率方法的对比感知通道注意力层的结构图；
图6是本申请实施例提供的一种实验结果图，其中，(a)为CARN图像；(b)为原始高分辨率图像；(c)为本申请的实验结果图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种基于信息聚合网络的图像超分辨率方法、装置和存储介质，其能解决相关技术中图像超分辨率重建算法在网络的重建性能及图像聚合多尺度特征上均存在一定的局限性的问题。
参见图1所示，本图像超分辨率方法包括首先将高分辨率图像下采样至目标低分辨率图像，并对目标低分辨率图像进行分块操作，以分出相互重叠的图像块，利用相互重叠的图像块得到相应的粗糙特征图；随后将粗糙特征图作为输入输入至由多个多尺度信息聚合模块依次串联形成的链式连接结构，并将每一多尺度信息聚合模块接收到对应的输入后生成的对应的输出结果输出，且同时将生成的输出结果作为输入再次输入至与其相邻的多尺度信息聚合模块，直至从位于尾端的多尺度信息聚合模块获取到对应的输出结果；最后利用粗糙特征图和所有多尺度信息聚合模块的输出结果共同生成目标超分辨率图像。
进一步的，在每一多尺度信息聚合模块接收到对应的输入后，均生成对应的输出结果的具体步骤包括：
将作为输入的粗糙特征图分为两部分，利用第一卷积层对其中一部分进行特征提取，并利用激活层对剩余部分进行激活更新；
对经第一卷积层提取获得的特征和激活更新后的特征进行聚合，得到多尺度信息特征；
将多尺度信息特征再次输入至另一第一卷积层中进行特征提取，将利用激活层激活更新后的特征再次输入至另一激活层进行激活更新，并将再次进行特征提取和激活更新后的特征进行聚合，得到最终的多尺度信息特征；
对最终的多尺度信息特征进行第三次激活，并将第三次激活后的多尺度信息特征与未被第三次激活前的最终的多尺度信息特征进行叠加，将叠加后得到的特征再与粗糙特征图进行叠加，得到对应的输出结果。
进一步的，利用激活层对剩余部分进行激活更新的具体步骤包括：
将剩余的粗糙特征图再次分为两部分；
将其中一部分作为输入输入至第二卷积层中，将剩余部分作为输入输入至第三卷积层中；
将第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加，并对叠加后的特征进行激活更新。
进一步的，对经第一卷积层提取获得的特征和激活更新后的特征进行聚合，得到多尺度信息特征的具体步骤包括：
对经第一卷积层提取获得的特征和激活更新后的特征进行第一次特征融合；
将第一次特征融合的结果与第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加并激活更新后的结果进行第二次特征融合，得到多尺度信息特征。
具体的，将提取获得的粗糙特征图发送至由多个多尺度信息聚合模块依次串联形成的链式连接结构，若干个多尺度信息聚合模块以链式连接的方式堆叠在一起，逐步提取粗糙特征图的精细特征，以链式连接的方式堆叠在一起，可以较好的实现精细特征信息融合，以更有效的提高SR性能。而在每一多尺度信息聚合模块内，均使用具有不同大小的卷积核的浅层残差模块来提取粗糙特征图的精细特征信息，然后再利用对比感知通道注意力层来捕获图像的全局特征信息，有助于增强图像细节。
具体的，对于位于首端的多尺度信息聚合模块而言，其会先接收作为输入的粗糙特征图，在接收到该粗糙特征图这一输入后，多尺度信息聚合模块首先会先将其划分为两个部分，其中一部分先被保留，剩余一部分则被输入到一浅层残差模块中，参见图4所示，在浅层残差模块中，输入的粗糙特征图再次被分成了两个部分，其中一部分被作为输入输入至第二卷积层中，剩余一部分则被作为输入输入至第三卷积层中，然后将将第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加，叠加在一起后一起作为输入输入至激活层，以进行激活更新，激活更新后的特征即为浅层残差模块的最终结果。在最初被保留的一部分粗糙特征图则利用第一卷积层进行特征提取。
具体的，将经第一卷积层提取获得的特征和激活更新后的特征作为输入输入至第一连接层进行第一次特征融合，再将第一次特征融合的结果与第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加并激活更新后的结果进行第二次特征融合，得到最终的输出，以此获得多尺度信息特征。到此步为止，经历了一个完整的循环，将得到的多尺度信息特征和浅层残差模块的最终结果即激活更新后的特征再次作为输入重复上面的操作步骤，参见图3所示，SRB即为浅层残差模块，其中，每一多尺度信息聚合模块内有3个浅层残差模块，分别为SRB_1、SRB_2和SRB_3，将多尺度信息特征再次输入至另一第一卷积层中进行特征提取，将利用激活层激活更新后的特征再次输入至另一激活层进行激活更新，并将再次进行特征提取和激活更新后的特征进行聚合，得到最终的多尺度信息特征。
进一步的，在对最终的多尺度信息特征进行第三次激活前，对最终的多尺度信息特征进行降维处理。具体的，对最终的多尺度信息特征进行降维处理得具体步骤包括：首先利用第七卷积层对最终的多尺度信息特征进行特征提取，对第二次激活更新后的特征利用SRB_3再次进行激活更新，利用第八卷积层对该激活更新后的特征进行特征提取，随后将经第七卷积层和第八卷积层提取的特征作为共同输入输入至第九卷积层，以进行降维处理。其中，第一卷积层、第七卷积层和第九卷积层的卷积核尺寸均为1*1，第二卷积层和第八卷积层的卷积核尺寸均为3*3,第三卷积层的卷积核尺寸为5*5。
进一步的，将经过降维处理后的多尺度信息特征作为输入再次输入至对比感知通道注意力层中，参见图5所示，对比感知通道注意力层主要包括一个对比层，两个卷积核尺寸为1*1的卷积层，和一个激活层，输入至对比感知通道注意力层的多尺度信息特征依次经过对比层和两个卷积层后，被激活层激活，最后将激活层激活后的输出结果与最开始经过降维处理后的多尺度信息特征叠加在一起，得到对比感知通道注意力层的输出结果，最后将最开始输入的粗糙特征图和对比感知通道注意力层的输出结果叠加在一起，得到该多尺度信息聚合模块最终的输出结果。
具体的，对于位于首端的多尺度信息聚合模块而言，其在生成对应的输出结果后，在将对应的输出结果输出的同时，还会将其输出结果再次作为输入输入至位于其下游且相邻的多尺度信息聚合模块内，接收到相应的输入后，该多尺度信息聚合模块内进行与位于首端的多尺度信息聚合模块内相同的操作，依次逐步向下传递，直至从位于尾端的多尺度信息聚合模块获取到对应的输出结果，参见图2所示，MIPB即为多尺度信息聚合模块，多个多尺度信息聚合模块依次串联，数量为k个。
进一步的，利用粗糙特征图和所有多尺度信息聚合模块的输出结果共同生成目标超分辨率图像的具体步骤包括：
将粗糙特征图和所有多尺度信息聚合模块的输出结果作为输入，分别依次通过具有不同卷积核尺寸的第四卷积层和第五卷积层，以得到精细特征图；
将精细特征图通过第六卷积层后，再通过上采样使精细特征图恢复成初始尺寸，对恢复至初始尺寸的精细特征图进行重建，以生成目标超分辨率图像。
具体的，第四卷积层用于进一步地改进和融合图像特征，第五卷积层则能在此基础上使其变得更为平滑，以更有效的提高SR性能，第四卷积层的卷积核尺寸为1*1，第五卷积层的卷积核尺寸为3*3，第六卷积层的卷积核尺寸为3*3。
进一步的，将高分辨率图像下采样至目标低分辨率图像，并对目标低分辨率图像进行分块操作，以分出相互重叠的图像块放入具体步骤包括：
将所选取的多张高分辨率图像通过下采样得到低分辨率图像数据集，并将低分辨率图像数据集中的图像进行分块操作，分成若干个预定像素大小的图像块，并对各图像块通过水平翻转以及旋转操作进行数据增强，以对增强后的数据集通过网络进行特征提取。
进一步的，利用相互重叠的图像块得到相应的粗糙特征图，其具体步骤包括：
将相互重叠的图像块作为输入输入至粗糙特征提取层，以生成粗糙特征图；其中，粗糙特征提取层为卷积核尺寸为3*3的卷积层。
针对本图像超分辨率方法，进行了相关的测试实验，具体如下：
实验采用DIV2K数据库作为训练集，然后使用Urban100作为测试集，分别对测试集中低分辨率图像重建出对应的两倍、三倍、四倍的高分辨率图像。
本申请与其他的图像超分辨重建算法对比，提供实验数据来表达本方法的有效性，实验结果如图6所示，对比实验结果的相关参数如下表1所示，表1为图像分别在x2、x3、x4的条件下对比实验结果(平均PSNR和SSIM)，(a)为CARN图像，(b)为原始高分辨率图像，(c)为本申请的实验结果图。
从以上表1的实验数据可以看出，本图像超分辨率方法与对比方法相比获得了高的分数，优于对比算法。
本申请还提供了一种基于信息聚合网络的图像超分辨率装置，其包括：
预处理单元，其用于将高分辨率图像下采样至目标低分辨率图像，并用于对目标低分辨率图像进行分块操作，以分出相互重叠的图像块，用于利用相互重叠的图像块得到相应的粗糙特征图；
多尺度信息聚合单元，其用于接收预处理单元输出的粗糙特征图，多尺度信息聚合单元包括若干个多尺度信息聚合模块，若干个多尺度信息聚合模块依次串联形成链式连接结构，每一多尺度信息聚合模块接收到对应的输入后，均输出生成的对应的输出结果，且同时用于将生成的输出结果作为输入再次输入至与其相邻的多尺度信息聚合模块，直至从位于尾端的多尺度信息聚合模块获取到对应的输出结果；
图像重建单元，其用于利用粗糙特征图和所有多尺度信息聚合模块的输出结果共同生成目标超分辨率图像。
其中，上述图像超分辨率装置中的各个单元的功能实现与上述图像超分辨率方法中的各步骤相对应，其功能和实现过程在此处不再一一赘述。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述图像超分辨率方法的步骤。
其中，计算机程序被执行时所实现的方法可参照上述图像超分辨率方法的各个步骤，此处不再赘述。
在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在本申请中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于信息聚合网络的图像超分辨率方法，其特征在于，其步骤包括：
将高分辨率图像下采样至目标低分辨率图像，并对所述目标低分辨率图像进行分块操作，以分出相互重叠的图像块，利用所述相互重叠的图像块得到相应的粗糙特征图；
将所述粗糙特征图作为输入输入至由多个多尺度信息聚合模块依次串联形成的链式连接结构，并将每一所述多尺度信息聚合模块接收到对应的输入后生成的对应的输出结果输出，且同时将生成的输出结果作为输入再次输入至与其相邻的所述多尺度信息聚合模块，直至从位于尾端的所述多尺度信息聚合模块获取到对应的输出结果；
利用所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果共同生成目标超分辨率图像。
2.如权利要求1所述的一种基于信息聚合网络的图像超分辨率方法，其特征在于，所述在每一所述多尺度信息聚合模块接收到对应的输入后，均生成对应的输出结果，包括：
将作为输入的所述粗糙特征图分为两部分，利用第一卷积层对其中一部分进行特征提取，并利用激活层对剩余部分进行激活更新；
对经所述第一卷积层提取获得的特征和激活更新后的特征进行聚合，得到多尺度信息特征；
将所述多尺度信息特征再次输入至另一所述第一卷积层中进行特征提取，将利用所述激活层激活更新后的特征再次输入至另一所述激活层进行激活更新，并将再次进行特征提取和激活更新后的特征进行聚合，得到最终的多尺度信息特征；
对最终的所述多尺度信息特征进行第三次激活，并将第三次激活后的所述多尺度信息特征与未被第三次激活前的最终的所述多尺度信息特征进行叠加，将叠加后得到的特征再与所述粗糙特征图进行叠加，得到对应的输出结果。
3.如权利要求2所述的一种基于信息聚合网络的图像超分辨率方法，其特征在于，所述利用激活层对剩余部分进行激活更新，包括：
将剩余的所述粗糙特征图再次分为两部分；
将其中一部分作为输入输入至第二卷积层中，将剩余部分作为输入输入至第三卷积层中；
将所述第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加，并对叠加后的特征进行激活更新。
4.如权利要求3所述的一种基于信息聚合网络的图像超分辨率方法，其特征在于，所述对经所述第一卷积层提取获得的特征和激活更新后的特征进行聚合，得到多尺度信息特征，包括：
对经所述第一卷积层提取获得的特征和激活更新后的特征进行第一次特征融合；
将第一次特征融合的结果与所述第二卷积层和第三卷积层提取的具有不同尺度的特征进行叠加并激活更新后的结果进行第二次特征融合，得到所述多尺度信息特征。
5.如权利要求3所述的一种基于信息聚合网络的图像超分辨率方法，其特征在于：
在对最终的所述多尺度信息特征进行第三次激活前，对最终的所述多尺度信息特征进行降维处理。
6.如权利要求5所述的一种基于信息聚合网络的图像超分辨率方法，其特征在于，所述对最终的所述多尺度信息特征进行降维处理，包括：
利用第七卷积层对最终的所述多尺度信息特征进行特征提取，对第二次激活更新后的特征再次进行激活更新，利用第八卷积层对该激活更新后的特征进行特征提取；
将经所述第七卷积层和第八卷积层提取的特征作为共同输入输入至第九卷积层，以进行降维处理。
7.如权利要求1所述的一种基于信息聚合网络的图像超分辨率方法，其特征在于，所述利用所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果共同生成目标超分辨率图像，包括：
将所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果作为输入，分别依次通过具有不同卷积核尺寸的第四卷积层和第五卷积层，以得到精细特征图；
将所述精细特征图通过第六卷积层后，再通过上采样使所述精细特征图恢复成初始尺寸，对恢复至初始尺寸的所述精细特征图进行重建，以生成所述目标超分辨率图像。
8.如权利要求1所述的一种基于信息聚合网络的图像超分辨率方法，其特征在于，所述将高分辨率图像下采样至目标低分辨率图像，并对所述目标低分辨率图像进行分块操作，以分出相互重叠的图像块，包括：
将所选取的多张高分辨率图像通过下采样得到低分辨率图像数据集，并将所述低分辨率图像数据集中的图像进行分块操作，分成若干个预定像素大小的图像块，并对各所述图像块通过水平翻转以及旋转操作进行数据增强，以对增强后的数据集通过网络进行特征提取。
9.一种基于信息聚合网络的图像超分辨率装置，其特征在于：
预处理单元，其用于将高分辨率图像下采样至目标低分辨率图像，并用于对所述目标低分辨率图像进行分块操作，以分出相互重叠的图像块，用于利用所述相互重叠的图像块得到相应的粗糙特征图；
多尺度信息聚合单元，其用于接收所述预处理单元输出的所述粗糙特征图，所述多尺度信息聚合单元包括若干个多尺度信息聚合模块，若干个所述多尺度信息聚合模块依次串联形成链式连接结构，每一所述多尺度信息聚合模块接收到对应的输入后，均输出生成的对应的输出结果，且同时用于将生成的输出结果作为输入再次输入至与其相邻的所述多尺度信息聚合模块，直至从位于尾端的所述多尺度信息聚合模块获取到对应的输出结果；
图像重建单元，其用于利用所述粗糙特征图和所有所述多尺度信息聚合模块的输出结果共同生成目标超分辨率图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述图像超分辨率方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110982890.0A CN113674155A (zh) | 2021-08-25 | 2021-08-25 | 基于信息聚合网络的图像超分辨率方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110982890.0A CN113674155A (zh) | 2021-08-25 | 2021-08-25 | 基于信息聚合网络的图像超分辨率方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113674155A true CN113674155A (zh) | 2021-11-19 |
Family
ID=78546248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110982890.0A Pending CN113674155A (zh) | 2021-08-25 | 2021-08-25 | 基于信息聚合网络的图像超分辨率方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674155A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708170A (zh) * | 2022-06-06 | 2022-07-05 | 松立控股集团股份有限公司 | 一种基于增强多尺度特征的车牌图像去模糊方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921910A (zh) * | 2018-07-30 | 2018-11-30 | 浙江大学 | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 |
| CN110930309A (zh) * | 2019-11-20 | 2020-03-27 | 武汉工程大学 | 基于多视图纹理学习的人脸超分辨率方法及装置 |
| CN111105354A (zh) * | 2019-12-24 | 2020-05-05 | 武汉工程大学 | 基于多源深度残差网络的深度图像超分辨率方法及装置 |
| CN111368707A (zh) * | 2020-03-02 | 2020-07-03 | 佛山科学技术学院 | 基于特征金字塔与密集块的人脸检测方法、***、设备及介质 |
| CN112507997A (zh) * | 2021-02-08 | 2021-03-16 | 之江实验室 | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** |
| CN112734642A (zh) * | 2021-01-12 | 2021-04-30 | 武汉工程大学 | 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 |
-
2021
- 2021-08-25 CN CN202110982890.0A patent/CN113674155A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921910A (zh) * | 2018-07-30 | 2018-11-30 | 浙江大学 | 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法 |
| CN110930309A (zh) * | 2019-11-20 | 2020-03-27 | 武汉工程大学 | 基于多视图纹理学习的人脸超分辨率方法及装置 |
| CN111105354A (zh) * | 2019-12-24 | 2020-05-05 | 武汉工程大学 | 基于多源深度残差网络的深度图像超分辨率方法及装置 |
| CN111368707A (zh) * | 2020-03-02 | 2020-07-03 | 佛山科学技术学院 | 基于特征金字塔与密集块的人脸检测方法、***、设备及介质 |
| CN112734642A (zh) * | 2021-01-12 | 2021-04-30 | 武汉工程大学 | 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 |
| CN112507997A (zh) * | 2021-02-08 | 2021-03-16 | 之江实验室 | 一种基于多尺度卷积和感受野特征融合的人脸超分辨*** |
Non-Patent Citations (2)
| Title |
|---|
| TAO LU 等: "Single Image Super-Resolution via Multi-Scale Information Polymerization Network", 《SIGNAL PROCESSING LETTERS, IEEE》 * |
| 汪家明等: "多尺度残差深度神经网络的卫星图像超分辨率算法", 《武汉工程大学学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708170A (zh) * | 2022-06-06 | 2022-07-05 | 松立控股集团股份有限公司 | 一种基于增强多尺度特征的车牌图像去模糊方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903226B (zh) | 基于对称残差卷积神经网络的图像超分辨率重建方法 | |
| CN110189253B (zh) | 一种基于改进生成对抗网络的图像超分辨率重建方法 | |
| CN107507134B (zh) | 基于卷积神经网络的超分辨率方法 | |
| CN111915487B (zh) | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 | |
| Zhang et al. | Image super-resolution via dual-dictionary learning and sparse representation | |
| CN112330542A (zh) | 基于crcsan网络的图像重建***及方法 | |
| CN109146788A (zh) | 基于深度学习的超分辨率图像重建方法和装置 | |
| CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
| CN110580680B (zh) | 基于组合学习的人脸超分辨率方法及装置 | |
| CN109949222B (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN103279933A (zh) | 一种基于双层模型的单幅图像超分辨率重建方法 | |
| CN111768340B (zh) | 一种基于密集多路径网络的超分辨图像重构方法和*** | |
| Fan et al. | Compressed multi-scale feature fusion network for single image super-resolution | |
| CN114331830B (zh) | 一种基于多尺度残差注意力的超分辨率重建方法 | |
| CN117575915B (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN108492252A (zh) | 基于二次重建的人脸图像超分辨率重建方法 | |
| CN113674155A (zh) | 基于信息聚合网络的图像超分辨率方法、装置和存储介质 | |
| Sui et al. | GCRDN: Global context-driven residual dense network for remote sensing image superresolution | |
| Liang et al. | Single image super-resolution via a lightweight residual convolutional neural network | |
| CN116362972B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 | |
| Zhang et al. | From local to global: Efficient dual attention mechanism for single image super-resolution | |
| CN116128722A (zh) | 基于频域-纹理特征融合的图像超分辨率重建方法及*** | |
| Huang et al. | Image completion based on gans with a new loss function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211119 |