CN112070676B - 一种双通道多感知卷积神经网络的图片超分辨率重建方法 - Google Patents
一种双通道多感知卷积神经网络的图片超分辨率重建方法 Download PDFInfo
- Publication number
- CN112070676B CN112070676B CN202010946074.XA CN202010946074A CN112070676B CN 112070676 B CN112070676 B CN 112070676B CN 202010946074 A CN202010946074 A CN 202010946074A CN 112070676 B CN112070676 B CN 112070676B
- Authority
- CN
- China
- Prior art keywords
- layer
- picture
- reconstruction
- network
- perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 14
- 239000010410 layer Substances 0.000 claims abstract description 64
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 239000011229 interlayer Substances 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 101001116774 Homo sapiens Methionine-R-sulfoxide reductase B2, mitochondrial Proteins 0.000 description 3
- 102100024862 Methionine-R-sulfoxide reductase B2, mitochondrial Human genes 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001338 self-assembly Methods 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种双通道多感知卷积神经网络的图片超分辨率重建方法，涉及图像处理技术领域。本发明用具有不同卷积核的双卷积通道，结合局部稠密连接，获得对图片特征信息的多种感知能力，带有卷积调节功能的层间融合结构还原出更加准确的融合信息。网络通过DIV2K数据集训练，在只使用了8层DMRB模块的条件下，对几个基准数据集测试的结果好于目前多数MSRN、EDSR等先进重建算法。DMCN的重建结果图包含更加丰富的高频细节信息，与原始图片更加接近，DMCN网络结构能更全面的感知图片中的各类信息，重建能力更强。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种双通道多感知卷积神经网络的图片超分辨率重建方法。
背景技术
图片超分辨率重建旨在将模糊的低分辨率(Low-resolution，LR)图片重建为更加清晰的高分辨率(Height-resolution，HR)图片。它可以解决视频监控，医学、卫星成像等领域存在的图片模糊、噪声干扰等问题。常用的图片超分辨率方法有插值法、基于稀疏表示的方法、局部线性回归法以及基于深度学习的方法。
最近的研究表明，深度神经网络可以显着提高单图像超分辨率的质量。当前的研究倾向于使用更深的卷积神经网络来提高性能。但是，盲目地增加网络的深度不能有效地改善网络。更糟糕的是，随着网络深度的增加，培训过程中会出现更多问题，并且需要更多的培训技巧。
对于现有图片超分辨率重建技术，MSRN提出了一种新的多尺度残差网络(MSRN)来充分利用图像的特征：使用MSRB来获取不同尺度的图像特征(局部多尺度特征)。将每个MSRB的输出组合起来进行全局特征融合(HFFS，一个以1×1卷积核为瓶颈层)。将局部多尺度特征与全局特征相结合，最大限度地利用LR图像特征，彻底解决特征在传输过程中消失的问题，还设计了一个简单而高效重建结构可以很容易地实现多尺度的放大。
EDSR在结构上与SRResNet相比，就是把批规范化处理(batch normalization,BN)操作给去掉了。由于批规范化层消耗了与它前面的卷积层相同大小的内存，在去掉这一步操作后，相同的计算资源下，EDSR就可以堆叠更多的网络层或者使每层提取更多的特征，从而得到更好的性能表现。EDSR用L1范数样式的损失函数来优化网络模型。在训练时先训练低倍数的上采样模型，接着用训练低倍数上采样模型得到的参数来初始化高倍数的上采样模型，这样能减少高倍数上采样模型的训练时间，同时训练结果也更好；MDSR的中间部分还是和EDSR一样，只是在网络前面添加了不同的预训练好的模型来减少不同倍数的输入图片的差异。在网络最后，不同倍数上采样的结构平行排列来获得不同倍数的输出结果。
现有方法中存在如下问题：首先，用于超分辨率重建的深度网络的性能高度依赖于网络宽度和深度，新方法倾向于使用更宽的网络和更多的网络层数来提升重建效果。但不断增长的网络规模使得训练难度同步提高，需要更加合理的设计网络以避免训练中出现梯度消失等问题，同时网络在计算过程中的时间复杂度和空间复杂度也在成倍增长，对GPU硬件依赖度高。其次，多数超分辨网络都使用了类似ResNet中的残差堆叠结构来提升训练效果，但单纯的残差结构不能充分提取网络中的图像特征。虽然MSRN网络使用多尺度方法提取图片特征，增强了重建效果，但其MSRB模块结构仍不能提取图片完整特征，特别是经通道稠密连接获得的融合特征信息，对图片全局特征的提取也不够充分。
发明内容
针对现有技术的不足，本发明提供一种双通道多感知卷积神经网络的图片超分辨率重建方法。
为解决上述技术问题，本发明所采取的技术方案是：
一种双通道多感知卷积神经网络的图片超分辨率重建方法，包括以下步骤：
步骤1：构建一个双通道多感知残差模块DMRB，作为重构网络的基础模块；
所述重构网络包括浅层特征提取层、深层特征提取层、放大重建层；
步骤2：浅层特征提取层对输入网络的低分辨率图片ILR进行升维，由RGB图片的3特征维度提升到深层特征提取层的64特征维度，并获得图片的初步特征信息，输出特征值X0，该过程为：X0＝HSFE(ILR)，其中HSFE(.)表示浅层特征提取功能；
步骤3：X0输入到深层特征提取层，在多层双通道多感知残差模块DMRB间传递，不断提取特征信息，并把各层输出通过调节层(1*1卷积)后，输入到层间融合层，最后通过残差结构提升特征提取效率，输出特征值Xd，则该过程为：Xd＝HDFE(X0)，其中HDFE(.)表示深度特征提取功能；
所述调节层调节各层在融合过程中的比例关系；
所述层间融合层将各深层特征提取层输出的特征信息进行融合；
步骤4：将图片通过放大重建层放大到特定倍数，该过程为：ISR＝Hup_REC(Xd)，其中Hup_REC(.)表示放大和重建功能；
步骤5：将整个网络功能表示为HDMCN(.)，将低分辨图片ILR映射到高分辨率图片ISR：ISR＝Hup_REC(HDEF(HSFE(ILR)))。
采用上述技术方案所产生的有益效果在于：
本发明提出了一种双通道多感知卷积神经网络的图片超分辨率重建方法，用具有不同卷积核的双卷积通道，结合局部稠密连接，获得对图片特征信息的多种感知能力，带有卷积调节功能的层间融合结构还原出更加准确的融合信息。网络通过DIV2K数据集训练，在只使用了8层DMRB模块的条件下，对几个基准数据集测试的结果好于目前多数MSRN、EDSR等先进重建算法。DMCN的重建结果图包含更加丰富的高频细节信息，与原始图片更加接近，DMCN网络结构能更全面的感知图片中的各类信息，重建能力更强。
附图说明
图1为本发明双通道多感知卷积神经网络的图片超分辨率重建方法流程图；
图2为本发明重构网络架构图；
图3为本发明双通道多感知残差模块结构图；
图4为本发明实施例在4倍重建中的质量比较示意图。
具体实施方式
下面结合附图对本发明具体实施方式加以详细的说明。
一种双通道多感知卷积神经网络的图片超分辨率重建方法，如图1所示，包括以下步骤：
步骤1：构建一个双通道多感知残差模块DMRB，作为重构网络的基础模块，该模块能最大化感知图片特征，重建中有较强的高频信息还原能力；
所述重构网络如图2所示，包括浅层特征提取层、深层特征提取层、放大重建层；
步骤2：浅层特征提取层对输入网络的低分辨率图片ILR进行升维，由RGB图片的3特征维度提升到深层特征提取层的64特征维度，并获得图片的初步特征信息，输出特征值X0，该过程为：X0＝HSFE(ILR)，其中HSFE(.)表示浅层特征提取功能；
步骤3：X0输入到深层特征提取层，在多层双通道多感知残差模块DMRB间传递，不断提取特征信息，并把各层输出通过调节层(1*1卷积)后，输入到层间融合层，最后通过残差结构提升特征提取效率，输出特征值Xd，则该过程为：Xd＝HDFE(X0)，其中HDFE(.)表示深度特征提取功能；
所述调节层调节各层在融合过程中的比例关系；
所述层间融合层将各深层特征提取层输出的特征信息进行融合；
步骤4：将图片通过放大重建层放大到特定倍数，该过程为：ISR＝Hup_REC(Xd)，其中Hup_REC(.)表示放大和重建功能；
本实施例使用了亚像素卷积法上采样。
步骤5：将整个网络功能表示为HDMCN(.)，将低分辨图片ILR映射到高分辨率图片ISR：ISR＝Hup_REC(HDEF(HSFE(ILR)))＝HDMCN(ILR)
网络通过DIV2K数据集训练，在只使用了8层DMRB模块的条件下，对几个基准数据集测试的结果好于目前多数先进重建模型。
双通道多感知残差模块DMRB结构图如图3所示。左右两侧的特征提取通道分别采用了3×3和5×5的卷积核。不同卷积核可使卷积操作获得不同尺度上的图片特征信息，如果将信息融合并做进一步特征提取，能有效增强深度结构的感知能力，这种做法在GoogLeNet网络中得到成功应用，后来的MSRN网络也使用了类似结构。本发明的结构与他们不同之处在于，DMRB中除了融合了两种卷积操作输出的特征值外，还融合了局部稠密连接信息。
本实施例实验用DIV2K数据集中的800张图片对卷积网络进行了训练，输入图片为RGB图像并裁剪为48×48大小，对输入图像按EDSR网络中的方法进行旋转、翻转等变换，以增强训练效果。每次训练样本数(BatchSize)为16，共迭代了1000次。训练中对2倍、3倍、4倍重建分别进行训练。训练结果基于Set5、Set14、B100和Urban100基准数据集进行测试，评价指标为峰值信噪比(PSNR)和结构相似性(Structural Similarity Inex,SSIM)。表1给出了本文方法与几个经典SR方法的比较。
表1基准数据集测试结果
表中加下划线数据为测试中最好结果，DMCN+使用了几何自集合(GeometricSelf-ensemble)方法提升测试效果。可以看出在多数训练集中我们提出的DMCN网络都取得了最好的测试数据。
图4给出了DMCN在难度较高的4倍重建中，重建效果与几个主流重建算法VDSR、MSRN等的比较。从主观视觉感受上，可以明显看出DMCN的重建结果图包含更加丰富的高频细节信息，与原始图片更加接近。这一结果主要得益于DMCN网络结构能更全面的感知图片中的各类信息，重建能力更强。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (4)
1.一种双通道多感知卷积神经网络的图片超分辨率重建方法，其特征在于：包括以下步骤：
步骤1：构建一个双通道多感知残差模块DMRB，作为重构网络的基础模块；
步骤2：浅层特征提取层对输入网络的低分辨率图片ILR进行升维，由RGB图片的3特征维度提升到深层特征提取层的64特征维度，并获得图片的初步特征信息，输出特征值X0，该过程为：X0＝HSFE(ILR)，其中HSFE(.)表示浅层特征提取功能；
步骤3：X0输入到深层特征提取层，在多层双通道多感知残差模块DMRB间传递，不断提取特征信息，并把各层输出通过调节层(1*1卷积)后，输入到层间融合层，最后通过残差结构提升特征提取效率，输出特征值Xd，则该过程为：Xd＝HDFE(X0)，其中HDFE(.)表示深度特征提取功能；
步骤4：将图片通过放大重建层放大到特定倍数，该过程为：ISR＝Hup_REC(Xd)，其中Hup_REC(.)表示放大和重建功能；
步骤5：将整个网络功能表示为HDMCN(.)，将低分辨图片ILR映射到高分辨率图片ISR：ISR＝Hup_REC(HDEF(HSFE(ILR)))。
2.根据权利要求1所述的一种双通道多感知卷积神经网络的图片超分辨率重建方法，其特征在于，步骤1中所述重构网络包括浅层特征提取层、深层特征提取层、放大重建层。
3.根据权利要求1所述的一种双通道多感知卷积神经网络的图片超分辨率重建方法，其特征在于，步骤3中所述调节层调节各层在融合过程中的比例关系；所述层间融合层将各深层特征提取层输出的特征信息进行融合。
4.根据权利要求3所述的一种双通道多感知卷积神经网络的图片超分辨率重建方法，其特征在于，所述层间融合模块，除最后一层输出Xn外，X0到Xn-1跳跃连接到融合层时都经过一个1×1卷积层，除最后一层输出在融合中有固定作用外，其它层由卷积层进行动态调节，从而提取出准确的图片特征值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010946074.XA CN112070676B (zh) | 2020-09-10 | 2020-09-10 | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010946074.XA CN112070676B (zh) | 2020-09-10 | 2020-09-10 | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070676A CN112070676A (zh) | 2020-12-11 |
| CN112070676B true CN112070676B (zh) | 2023-10-27 |
Family
ID=73663606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010946074.XA Active CN112070676B (zh) | 2020-09-10 | 2020-09-10 | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070676B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950470B (zh) * | 2021-02-26 | 2022-07-15 | 南开大学 | 基于时域特征融合的视频超分辨率重建方法及*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
| EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
| CN108921786A (zh) * | 2018-06-14 | 2018-11-30 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
| WO2018221863A1 (en) * | 2017-05-31 | 2018-12-06 | Samsung Electronics Co., Ltd. | Method and device for processing multi-channel feature map images |
| CN109509149A (zh) * | 2018-10-15 | 2019-03-22 | 天津大学 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| WO2019120110A1 (zh) * | 2017-12-20 | 2019-06-27 | 华为技术有限公司 | 图像重建方法及设备 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
-
2020
- 2020-09-10 CN CN202010946074.XA patent/CN112070676B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
| WO2018221863A1 (en) * | 2017-05-31 | 2018-12-06 | Samsung Electronics Co., Ltd. | Method and device for processing multi-channel feature map images |
| WO2019120110A1 (zh) * | 2017-12-20 | 2019-06-27 | 华为技术有限公司 | 图像重建方法及设备 |
| CN108921786A (zh) * | 2018-06-14 | 2018-11-30 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
| CN109509149A (zh) * | 2018-10-15 | 2019-03-22 | 天津大学 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| Enhanced deep residual networks for single image super-resolution;Lim B et al.;《IEEE Conference on Computer Vision and Pattern Ｒecognition Workshops ( CVPＲW) 》;全文 * |
| Image Super-resolution Algorithm Based on Dual-channel Convolutional Neural Networks;Yuantao Chen et al.;《APPLIED SCIENCES》;全文 * |
| 基于金字塔式双通道卷积神经网络的深度图像超分辨率重建;于淑侠 等;《计算机应用》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070676A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Video super-resolution based on deep learning: a comprehensive survey | |
| Liang et al. | High-resolution photorealistic image translation in real-time: A laplacian pyramid translation network | |
| CN109886871B (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN110232653A (zh) | 快速轻型超分辨率重建密集残差网络 | |
| CN111340744B (zh) | 基于注意力双流深度网络的低质量图像降采样方法及其*** | |
| CN109949223B (zh) | 基于反卷积稠密连接的图像超分辨率重构方法 | |
| CN110322402B (zh) | 基于稠密混合注意力网络的医学图像超分辨率重建方法 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及*** | |
| CN111986092B (zh) | 一种基于双重网络的图像超分辨率重建方法及*** | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN113781308A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN112614061A (zh) | 基于双路编解码器的低照度图像亮度增强及超分辨率方法 | |
| CN108460723B (zh) | 基于邻域相似性的双边全变分图像超分辨率重建方法 | |
| Wang et al. | Underwater image super-resolution and enhancement via progressive frequency-interleaved network | |
| CN112580473A (zh) | 一种融合运动特征的视频超分辨率重构方法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN115797176A (zh) | 一种图像超分辨率重建方法 | |
| CN115170392A (zh) | 一种基于注意力机制的单图像超分辨率算法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN112070676B (zh) | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 | |
| CN114936977A (zh) | 一种基于通道注意力和跨尺度特征融合的图像去模糊方法 | |
| CN112150356A (zh) | 基于级联框架的单幅压缩图像超分辨率重建方法 | |
| Chen et al. | Underwater-image super-resolution via range-dependency learning of multiscale features | |
| CN116071239B (zh) | 一种基于混合注意力模型的ct图像超分辨方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |