CN109064396B - 一种基于深度成分学习网络的单幅图像超分辨率重建方法 - Google Patents
一种基于深度成分学习网络的单幅图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN109064396B CN109064396B CN201810666177.3A CN201810666177A CN109064396B CN 109064396 B CN109064396 B CN 109064396B CN 201810666177 A CN201810666177 A CN 201810666177A CN 109064396 B CN109064396 B CN 109064396B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- network
- component
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 238000006731 degradation reaction Methods 0.000 claims abstract description 5
- 238000011478 gradient descent method Methods 0.000 claims abstract description 5
- 230000015556 catabolic process Effects 0.000 claims abstract description 4
- 238000009499 grossing Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度成分学习网络的单幅图像超分辨率重建方法，包括：扩充训练样本图像并进行区域抽取以及退化操作，得到对应的高分辨率和低分辨率图像训练集；构建一个具有成分学习结构的深层网络，该网络先对输入的低分辨率图像进行全局成分分解，再利用从中提取的残差成分预测其在高分辨率空间的对应图像；在训练集上使用批处理随机梯度下降法和反向传播算法对构建的深度成分网络进行迭代训练，得到权值优化后的模型；利用训练好的成分网络重建低分辨率图像；将重建结果恢复到原先的彩色空间，得到超分辨率重建的最终输出。本发明方法不仅能够提升重建后超分辨率图像的质量，还能提高模型的运算速度。
Description
技术领域
本发明属于图像处理领域，涉及一种基于深度成分学习网络的单幅图像超分辨率重建方法。
背景技术
数字图像的空间分辨率是衡量图像质量的一项重要指标。图像的分辨率越高意味着图像越清晰，呈现细节的能力越强。然而，在实际中由于成像***的物理分辨率低、目标距离过远或拍摄环境恶劣等原因使得采集到的图像往往质量较差，难以从图像中获得需要的细节特征，给后续的图像处理、分析带来了更多困难，不利于准确地理解图像中包含的客观信息。
为了解决上述问题，最直接的方法是提高电子成像设备的物理分辨率级别，即更换更高分辨率的摄像机。可惜的是，高清摄像仪器技术复杂、价格昂贵，因此难以在短时间内对现有的设备进行大规模地升级。而且，摄像设备的能力极限也受目前传感器制造工艺和客观光学衍射规律的制约。同时，在某些成像环境恶劣的场合，即使采用高质量的摄像仪器也难以获得令人满意的图像。因此，从图像处理的角度寻求一种更经济有效的图像分辨率增强方案势在必行。正是在这种背景下，单幅图像的超分辨率技术应运而生。该技术可以在不改变成像***固有物理分辨率的前提下，通过图像处理技术对采集到的单幅低分辨率图像进行相应处理来获得高分辨率图像。这种技术的优势在于不但可以突破现有成像***的极限，而且考虑了图像退化过程中的降采样、模糊、噪声等多种因素，因此在提高空间分辨率的同时，还可以大大改善重建后图像的质量，这些对于后续的图像分析，模式识别等都有着十分重要的意义。正因如此，超分辨率重建技术应用十分广泛，是现今图像处理领域最热门的研究课题之一。目前的超分辨率重建技术中，图像质量和性能通常很难两全，因此，在保证较高图像质量的基础上提升***整体性能成为亟待解决的问题。
发明内容
为解决上述问题，本发明公开了基于深度成分学习网络的单幅图像超分辨率重建方法，能够有效提升重建后图像质量，并提高整体性能。
为了达到上述目的，本发明提供如下技术方案：
一种深度成分学习网络的单幅图像超分辨率重建方法，包括如下步骤：
步骤1：构建训练集
首先对训练图像集中已有的样本图像进行变换操作从而增加训练样本的容量与多样性。接着对这些样本图像进行区域抽取以及退化操作，得到高分辨率图像Xi以及对应的低分辨率图像Yi，并以此构成训练集
其中N表示训练集的容量；
步骤2：初始化深度成分网络，先对输入的低分辨率图像进行全局成分分解，再利用从中提取的残差成分预测其在高分辨率空间的对应图像，具体包括：
步骤2.1：采用成分分解和表示模块用于对网络的原始低分辨率输入Y进行全局分解和重新表示操作；
定义原始输入图像中的平滑成分为SY，残差成分为RY，输入如下表示：
Y＝SY+RY
随后，成分分解和表示模块利用卷积稀疏编码技术从原始输入中提取其平滑成分，这一过程如下式表示：
式中，符号“*”表示离散卷积运算；Z是稀疏特征图；f、h、v分别是平滑滤波器、水平梯度算子、垂直梯度算子；φ与
分别是对应的权重；
式(1)在傅里叶域内得到高效的求解：
式中，
与
表示快速傅里叶变换及其逆变换；
分别表示Y，f，h，v的傅里叶变换；字母符号上的横线表示其的复共轭；符号“·”表示矩阵之间逐元素相乘；同样地，上式中的除法也是逐元素进行操作；
在得到稀疏特征图Z后，低分辨率图像的平滑成分表示为SY＝f*Z，残差成分则可以为RY＝Y-SY；
步骤2.2：采用特征提取和映射模块用深度学习的方式将步骤2.1中得到的两种成分映射到对应的高分辨率空间中；
使用传统的双三次插值法将平滑成分SY上采样到对应的目标高分辨率尺寸；
采用具有深层结构的卷积神经网络作为子网络来处理残差成分RY获得低分辨率残差成分在高分辨率空间中的表示；
步骤2.3：采用组合模块将映射后的高分辨率成分合成为网络的输出；
步骤3：训练深度成分网络
利用步骤1中构建的训练集
对步骤2中初始化后的网络进行训练，优化网络中所有的可训练参数Θ；采用均方误差作为网络的损失函数：
式中，L表示网络的损失函数，F表示整个网络对输入Y的函数作用。
随后，利用批处理随机梯度下降法与误差的反向传播来优化调整权重，最终，得到训练优化后的网络；
步骤4：利用训练好的网络重建低分辨率图像
首先，读入一幅大小为N1×N2×3的彩色低分辨率图像Il，其中N1和N2为正整数，分别表示该低分辨率图像像素矩阵的行数和列数，3则表示颜色通道数；
然后将输入的图像由RGB彩色空间转换到YCbCr彩色空间：
式中，R，G，B分别表示转换之前图像在RGB彩色空间中的红色分量，绿色分量和蓝色分量；而Y，Cb，Cr则表示转换后在YCbCr彩色空间中的亮度分量，蓝色和红色偏差色度分量。转换后图像的大小不变，仍为N1×N2×3；
随后，利用双三次插值算法对转换后的低分辨率图像的两个色彩通道分别进行插值，插值后的大小与预期需要重建的高分辨率图像大小一致；并将低分辨率图像的亮度分量输入步骤3中训练好的网络内，得到亮度分量的高分辨率预测输出；
步骤5：将步骤4中得到的超分辨率重建结果由YCbCr彩色空间转换到RGB彩色空间：
并将转换后的彩色图像作为最终输出。
进一步的，所述2.1中公式(1)中各参数取值如下：
f为一个3×3的2-D滤波器，其所有元素都等于1/9；h是一个1-D卷积核，等于[-1,1]；v是一个1-D卷积核，等于h的转置；φ与
都设定为30。
进一步的，所述步骤2.2中具有深层结构的卷积神经网络包含四个部步骤：
(5)特征提取，用1层卷积层来直接从低分辨率残差成分中提取特征；
(6)特征再现，用17层卷积层传递提取到的特征图；
(7)上采样，用1层反卷积层来对特征图进行上采样；
(8)重建，用一层卷积层来对上采样后的特征图进行重建操作，获得低分辨率残差成分在高分辨率空间中的表示。
进一步的，所述卷积神经网络在前向传播过程中，采用卷积前对输入进行补零的方式。
进一步的，所述步骤2.3中采用一种简单的逐元素相加的无参数层完成合成步骤。
进一步的，所述步骤3中，与反向传播有关的参数赋值如下：批处理的大小设为64，动量参数设为0.9，权重衰减设为0.0001；采用可变学习率的学习策略，初始学习率设为0.01，当误差停滞时，学习率衰减为之前的10％。
与现有技术相比，本发明具有如下优点和有益效果：
1.本发明采用基于深度成分学习网络的单幅图像超分辨率重建方法，先对输入的低分辨率图像进行全局成分分解，再分别对表示的两种成分进行映射学习。相较于现存的基于深度学习的超分辨率重建方法，本发明的核心思想是利用从低分辨率输入图像中提取的残差成分预测其在高分辨率空间的对应物。这种学习方式不仅能够促进网络的训练、加速训练过程，还能够降低网络中卷积层的响应强度，使得预测的残差更为精确，提升模型的总体性能。
2.此外，本发明的学习方式不需要对输入图像进行额外的插值预处理，这样做的好处是使输入图像仍然停留在低分辨率空间，以此降低后续特征提取和映射操作的计算负担。同时，由于网络中采用一组可学习的卷积核来完成对特征图像的上采样操作，并且这些卷积核随着网络的训练一起进行优化更新，所以使得这种方法优于目前使用传统插值法进行上采样运算的模型。
3.本发明方法不仅能够提升重建后超分辨率图像的质量，还能提高模型的运算速度。
附图说明
图1为本发明提供的基于深度成分学习网络的单幅图像超分辨率重建方法结构图。
图2为不同方法的其中一组实验结果的视觉比较，其中(1)为原始高分辨率图像；(2)为文献[5]中方法的重建结果；(3)为文献[6]中方法的重建结果；(4)为文献[7]中方法的重建结果；(5)为文献[8]中方法的重建结果；(6)为经过本发明方法进行超分辨率重建后的结果。
参考文献
[1]Bevilacqua M,Roumy A,Guillemot C,et al.Low-Complexity Single-ImageSuper-Resolution based on Nonnegative Neighbor Embedding[C]//British MachineVision Conference(BMVC).2012.
[2]Zeyde R,Elad M,Protter M.On Single Image Scale-Up Using Sparse-Representations[J].Curves and Surfaces,2012:711-730.
[3]Martin D,Fowlkes C,Tal D,et al.A database of human segmentednatural images and its application to evaluating segmentation algorithms andmeasuring ecological statistics[C]//Computer Vision,2001.ICCV2001.Proceedings.Eighth IEEE International Conference on.IEEE,2001,2:416-423.
[4]Huang J B,Singh A,Ahuja N.Single image super-resolution fromtransformed self-exemplars[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2015:5197-5206.
[5]Gu S,Zuo W,Xie Q,et al.Convolutional sparse coding for imagesuper-resolution[C]//Proceedings of the IEEE International Conference onComputer Vision.2015:1823-1831.
[6]Dong C,Loy C C,He K,et al.Image super-resolution using deepconvolutional networks[J].IEEE transactions onpattern analysis and machineintelligence,2016,38(2):295-307.
[7]Liu D,Wang Z,Wen B,et al.Robust single image super-resolution viadeep networks with sparse prior[J].IEEE Transactions on Image Processing,2016,25(7):3194-3207.
[8]Kim J,Kwon Lee J,Mu Lee K.Accurate image super-resolution usingvery deep convolutional networks[C]//Proceedings ofthe IEEE Conference onComputer Vision and Pattern Recognition.2016:1646-1654.
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供的基于深度成分学习网络的单幅图像超分辨率重建方法结构如图1所示，具体包括如下步骤：
步骤1：构建训练集。首先对训练图像集中已有的样本图像进行旋转、翻转以及尺度变换等操作，以此来增加训练样本的容量与多样性。接着对这些样本图像进行区域抽取以及退化操作，得到高分辨率图像Xi以及对应的低分辨率图像Yi，并以此构成训练集
其中N表示训练集的容量。
步骤2：初始化深度成分网络。本发明设计的深度成分网络包括以下三个主要的模块：(1)成分分解和表示模块；(2)特征提取和映射模块；(3)组合模块。下面分别对以上模块进行详细说明。
步骤2.1：成分分解和表示模块。该模块主要用于对网络的原始低分辨率输入Y进行全局分解和重新表示操作。倘若定义原始输入图像中的平滑成分为SY，残差成分为RY，那么这个输入就可以如下表示：
Y＝SY+RY
随后，成分分解和表示模块利用卷积稀疏编码技术从原始输入中提取其平滑成分，这一过程可以如下式表示：
式中，符号“*”表示离散卷积运算；Z是稀疏特征图；f，h，v分别是平滑滤波器，水平梯度算子、垂直梯度算子；φ与
分别是对应的权重。同时，上述所需的参数按照如下规则进行配置：f被定义为一个3×3的2-D滤波器，其所有元素都等于1/9；h是一个1-D卷积核，等于[-1,1]；v是一个1-D卷积核，等于h的转置；φ与
都被设定为30。
有了这些明确定义的滤波器，式(1)可以在傅里叶域内得到高效的求解：
式中，
与
表示快速傅里叶变换及其逆变换；
分别表示Y，f，h，v的傅里叶变换；字母符号上的横线表示其的复共轭；符号“·”表示矩阵之间逐元素相乘；同样地，上式中的除法也是逐元素进行操作。
在得到稀疏特征图Z后，低分辨率图像的平滑成分可以表示为SY＝f*Z，残差成分则可以表示为RY＝Y-SY。
步骤2.2：特征提取和映射模块。该模块的任务是用一种深度学***滑成分SY，因为它几乎不包含任何高频信息，因此在本发明中使用传统的双三次插值法直接将它上采样到对应的目标高分辨率尺寸。
接着考虑残差成分RY，这里本发明采用一种具有深层结构的卷积神经网络作为子网络来处理。该网络包含四个部分：(1)特征提取，用1层卷积层来直接从低分辨率残差成分中提取特征；(2)特征再现，用17层卷积层传递提取到的特征图；(3)上采样，用1层反卷积层来对特征图进行上采样；(4)重建，用一层卷积层来对上采样后的特征图进行重建操作，获得低分辨率残差成分在高分辨率空间中的表示。
其它有关网络中层的配置信息可以代表性地表示如下：所有的卷积层都含有64个3×3的卷积核；反卷积层含有64个6×6的卷积核；卷积层之间没有池化层；为了引入非线性，使用线性整流单元ReLU(Rectified Linear Unit)作为卷积层的激活函数，并采用前向激活的结构方式。除此之外，在前向传播过程中，为了保持所有特征图的像素尺寸一致，采用卷积前对输入进行补零的方式。
步骤2.3：组合模块。该模块将映射后的高分辨率成分合成为网络的输出。这里考虑到计算效率等因素，采用一种简单的逐元素相加的无参数层来完成。
步骤3：训练深度成分网络，在训练集上，使用批处理随机梯度下降法和反向传播算法对构建的深度成分网络进行迭代训练，得到权值优化后的模型。
该步骤利用步骤1中构建的训练集
对步骤2中初始化后的网络进行训练，优化网络中所有的可训练参数Θ。本发明采用均方误差作为网络的损失函数：
式中，L表示网络的损失函数，F表示整个网络对输入Y的函数作用。
随后，利用批处理随机梯度下降法与误差的反向传播来优化调整权重，达到最小化损失函数的目的。其中，与反向传播有关的参数可以代表性地赋值如下：批处理的大小设为64，动量参数设为0.9，权重衰减设为0.0001。同时，采用可变学习率的学习策略，初始学习率设为0.01，当误差停滞时，学习率衰减为之前的10％。最终，得到训练优化后的网络。
步骤4：利用训练好的网络重建低分辨率图像。首先，读入一幅大小为N1×N2×3的彩色低分辨率图像Il，其中N1和N2为正整数，分别表示该低分辨率图像像素矩阵的行数和列数，3则表示颜色通道数。然后将输入的图像由RGB彩色空间转换到YCbCr彩色空间：
式中，R，G，B分别表示转换之前图像在RGB彩色空间中的红色分量，绿色分量和蓝色分量；而Y，Cb，Cr则表示转换后在YCbCr彩色空间中的亮度分量，蓝色和红色偏差色度分量。转换后图像的大小不变，仍为N1×N2×3；
随后，利用双三次插值算法对转换后的低分辨率图像的两个色彩通道分别进行插值，插值后的大小应与预期需要重建的高分辨率图像大小一致。并将低分辨率图像的亮度分量输入步骤3中训练好的网络内，得到亮度分量的高分辨率预测输出。
步骤5：将步骤4中得到的超分辨率重建结果由YCbCr彩色空间转换到RGB彩色空间：
并将转换后的彩色图像作为最终输出。
为了验证本发明方法的处理效果，分别在四种标准的图像测试集(Set5[1]、Set14[2]、BSD100[3]、Ubran100[4])上进行对比实验。在实验中，利用本发明提出的基于深度成分学习网络的超分辨率方法对每组测试集中的图像分别进行超分辨率重建实验，实验中放大因子取为4。同时，为了进行对比，实验中还额外引入了四种现今主流的超分辨率重建方法。表1给出了所有测试方法在每种情况下的性能指标均值，而作为一组视觉对比，图2展示了其中一组实验结果的视觉比较。其中，图2(1)显示了测试集Set5中名为Butterfly的原始高分辨率图像，图2(2)-图2(5)分别展示了文献[5]-文献[8]方法的重建效果，图2(6)则展示了利用本发明提出的超分辨率方法重建后的对应结果。实验结果表明，本发明提出的方法能够很好的提升单幅图像的重建质量，无论是在主观的视觉效果方面还是客观的性能评价指标方面都具有较大程度的提高，明显优于现今主流的一些具有代表性的方法。
表1不同算法在标准测试集上的定量比较
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (6)
1.一种深度成分学习网络的单幅图像超分辨率重建方法，其特征在于，包括如下步骤：
步骤1：构建训练集
首先对训练图像集中已有的样本图像进行变换操作从而增加训练样本的容量与多样性；接着对这些样本图像进行区域抽取以及退化操作，得到高分辨率图像Xi以及对应的低分辨率图像Yi，并以此构成训练集
其中N表示训练集的容量；
步骤2：初始化深度成分网络，先对输入的低分辨率图像进行全局成分分解，再利用从中提取的残差成分预测其在高分辨率空间的对应图像，具体包括：
步骤2.1：采用成分分解和表示模块用于对网络的原始低分辨率输入Y进行全局分解和重新表示操作；
定义原始输入图像中的平滑成分为SY，残差成分为RY，输入如下表示：
Y＝SY+RY
随后，成分分解和表示模块利用卷积稀疏编码技术从原始输入中提取其平滑成分，这一过程如下式表示：
式中，符号“*”表示离散卷积运算；Z是稀疏特征图；f、h、v分别是平滑滤波器、水平梯度算子、垂直梯度算子；φ与
分别是对应的权重；
式(1)在傅里叶域内得到高效的求解：
式中，
与
表示快速傅里叶变换及其逆变换；
分别表示Y，f，h，v的傅里叶变换；字母符号上的横线表示其的复共轭；符号“·”表示矩阵之间逐元素相乘；同样地，上式中的除法也是逐元素进行操作；
在得到稀疏特征图Z后，低分辨率图像的平滑成分表示为SY＝f*Z，残差成分则可以为RY＝Y-SY；
步骤2.2：采用特征提取和映射模块用深度学习的方式将步骤2.1中得到的两种成分映射到对应的高分辨率空间中；
使用传统的双三次插值法将平滑成分SY上采样到对应的目标高分辨率尺寸；
采用具有深层结构的卷积神经网络作为子网络来处理残差成分RY获得低分辨率残差成分在高分辨率空间中的表示；
步骤2.3：采用组合模块将映射后的高分辨率成分合成为网络的输出；
步骤3：训练深度成分网络
利用步骤1中构建的训练集
对步骤2中初始化后的网络进行训练，优化网络中所有的可训练参数Θ；采用均方误差作为网络的损失函数：
式中，L表示网络的损失函数，F表示整个网络对输入Y的函数作用；
随后，利用批处理随机梯度下降法与误差的反向传播来优化调整权重，最终，得到训练优化后的网络；
步骤4：利用训练好的网络重建低分辨率图像
首先，读入一幅大小为N1×N2×3的彩色低分辨率图像Il，其中N1和N2为正整数，分别表示该低分辨率图像像素矩阵的行数和列数，3则表示颜色通道数；
然后将输入的图像由RGB彩色空间转换到YCbCr彩色空间：
式中，R，G，B分别表示转换之前图像在RGB彩色空间中的红色分量，绿色分量和蓝色分量；而Y，Cb，Cr则表示转换后在YCbCr彩色空间中的亮度分量，蓝色和红色偏差色度分量；转换后图像的大小不变，仍为N1×N2×3；
随后，利用双三次插值算法对转换后的低分辨率图像的两个色彩通道分别进行插值，插值后的大小与预期需要重建的高分辨率图像大小一致；并将低分辨率图像的亮度分量输入步骤3中训练好的网络内，得到亮度分量的高分辨率预测输出；
步骤5：将步骤4中得到的超分辨率重建结果由YCbCr彩色空间转换到RGB彩色空间：
并将转换后的彩色图像作为最终输出。
2.根据权利要求1所述的深度成分学习网络的单幅图像超分辨率重建方法，其特征在于，所述2.1中公式(1)中各参数取值如下：
f为一个3×3的2-D滤波器，其所有元素都等于1/9；h是一个1-D卷积核，等于[-1,1]；v是一个1-D卷积核，等于h的转置；φ与
都设定为30。
3.根据权利要求1所述的深度成分学习网络的单幅图像超分辨率重建方法，其特征在于，所述步骤2.2中具有深层结构的卷积神经网络包含四个部步骤：
(1)特征提取，用1层卷积层来直接从低分辨率残差成分中提取特征；
(2)特征再现，用17层卷积层传递提取到的特征图；
(3)上采样，用1层反卷积层来对特征图进行上采样；
(4)重建，用一层卷积层来对上采样后的特征图进行重建操作，获得低分辨率残差成分在高分辨率空间中的表示。
4.根据权利要求3所述的深度成分学习网络的单幅图像超分辨率重建方法，其特征在于，所述卷积神经网络在前向传播过程中，采用卷积前对输入进行补零的方式。
5.根据权利要求1所述的深度成分学习网络的单幅图像超分辨率重建方法，其特征在于，所述步骤2.3中采用一种简单的逐元素相加的无参数层完成合成步骤。
6.根据权利要求1所述的深度成分学习网络的单幅图像超分辨率重建方法，其特征在于，所述步骤3中，与反向传播有关的参数赋值如下：批处理的大小设为64，动量参数设为0.9，权重衰减设为0.0001；采用可变学习率的学习策略，初始学习率设为0.01，当误差停滞时，学习率衰减为之前的10％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810666177.3A CN109064396B (zh) | 2018-06-22 | 2018-06-22 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810666177.3A CN109064396B (zh) | 2018-06-22 | 2018-06-22 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109064396A CN109064396A (zh) | 2018-12-21 |
| CN109064396B true CN109064396B (zh) | 2023-04-07 |
Family
ID=64821544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810666177.3A Active CN109064396B (zh) | 2018-06-22 | 2018-06-22 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109064396B (zh) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903226B (zh) * | 2019-01-30 | 2023-08-15 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN109978763A (zh) * | 2019-03-01 | 2019-07-05 | 昆明理工大学 | 一种基于跳跃连接残差网络的图像超分辨率重建算法 |
| CN109949225B (zh) * | 2019-03-11 | 2021-05-04 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN109978764B (zh) * | 2019-03-11 | 2021-03-02 | 厦门美图之家科技有限公司 | 一种图像处理方法及计算设备 |
| CN110033410B (zh) * | 2019-03-28 | 2020-08-04 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
| CN110009565A (zh) * | 2019-04-04 | 2019-07-12 | 武汉大学 | 一种基于轻量化网络的超分辨率图像重建方法 |
| CN110288524B (zh) * | 2019-05-09 | 2020-10-30 | 广东启迪图卫科技股份有限公司 | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 |
| CN110246083B (zh) * | 2019-05-10 | 2023-02-24 | 杭州电子科技大学 | 一种荧光显微图像超分辨率成像方法 |
| CN110136061B (zh) * | 2019-05-10 | 2023-02-28 | 电子科技大学中山学院 | 一种基于深度卷积预测与插值的分辨率提升方法及*** |
| CN110223288B (zh) * | 2019-06-17 | 2021-01-08 | 华东交通大学 | 一种稀土萃取过程多组分含量预测方法及*** |
| CN112150354B (zh) * | 2019-06-26 | 2021-08-24 | 四川大学 | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 |
| CN110310227B (zh) * | 2019-06-27 | 2020-09-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
| CN110570351B (zh) * | 2019-08-01 | 2021-05-25 | 武汉大学 | 一种基于卷积稀疏编码的图像超分辨率重建方法 |
| CN110766609B (zh) * | 2019-08-29 | 2023-02-10 | 王少熙 | 一种针对ToF相机的景深图超分辨率重建方法 |
| CN111127317B (zh) * | 2019-12-02 | 2023-07-25 | 深圳供电局有限公司 | 图像超分辨率重建方法、装置、存储介质和计算机设备 |
| CN110992265B (zh) * | 2019-12-02 | 2023-10-20 | 北京数码视讯科技股份有限公司 | 图像处理方法及模型、模型的训练方法及电子设备 |
| CN111353940B (zh) * | 2020-03-31 | 2021-04-02 | 成都信息工程大学 | 一种基于深度学习迭代上下采样的图像超分辨率重建方法 |
| CN111784571A (zh) * | 2020-04-13 | 2020-10-16 | 北京京东尚科信息技术有限公司 | 一种提高图像分辨率的方法、装置 |
| CN111551988B (zh) * | 2020-04-23 | 2021-06-25 | 中国地质大学（武汉） | 一种深度学习与预测滤波结合的地震数据反假频插值方法 |
| CN111640061B (zh) * | 2020-05-12 | 2021-05-07 | 哈尔滨工业大学 | 一种自适应图像超分辨率*** |
| CN111929723B (zh) * | 2020-07-15 | 2023-03-14 | 清华大学 | 基于多任务学习的地震数据约束下速度模型超分辨率方法 |
| CN114331853B (zh) * | 2020-09-30 | 2023-05-12 | 四川大学 | 基于目标向量更新模块的单幅图像复原迭代框架 |
| RU2764395C1 (ru) | 2020-11-23 | 2022-01-17 | Самсунг Электроникс Ко., Лтд. | Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети |
| CN113096017B (zh) * | 2021-04-14 | 2022-01-25 | 南京林业大学 | 基于深度坐标注意力网络模型的图像超分辨率重建方法 |
| CN113379602B (zh) * | 2021-06-08 | 2024-02-27 | 中国科学技术大学 | 利用零样本学习的光场超分辨率增强方法 |
| CN113538307B (zh) * | 2021-06-21 | 2023-06-20 | 陕西师范大学 | 基于多视角超分辨深度网络的合成孔径成像方法 |
| CN113538241B (zh) * | 2021-07-19 | 2024-06-14 | 宜宾电子科技大学研究院 | 面向场景文本识别的超分辨率图像生成方法 |
| US20230196526A1 (en) * | 2021-12-16 | 2023-06-22 | Mediatek Inc. | Dynamic convolutions to refine images with variational degradation |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI624804B (zh) * | 2016-11-07 | 2018-05-21 | 盾心科技股份有限公司 | 利用超解析重建法生成高解析度影像的方法與系統 |
-
2018
- 2018-06-22 CN CN201810666177.3A patent/CN109064396B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 运动车辆车牌图像的超分辨率重建(英文);路小波等;《Journal of Southeast University(English Edition)》;20100915;第26卷(第03期);1-6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109064396A (zh) | 2018-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109064396B (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| Anwar et al. | Densely residual laplacian super-resolution | |
| CN108734659B (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| Liu et al. | A spectral grouping and attention-driven residual dense network for hyperspectral image super-resolution | |
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN108122197B (zh) | 一种基于深度学习的图像超分辨率重建方法 | |
| Yu et al. | A unified learning framework for single image super-resolution | |
| CN112734646B (zh) | 一种基于特征通道划分的图像超分辨率重建方法 | |
| Xin et al. | Wavelet-based dual recursive network for image super-resolution | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| WO2017106998A1 (en) | A method and a system for image processing | |
| CN111275655B (zh) | 一种多聚焦多源图像融合方法 | |
| CN106651772B (zh) | 一种卫星云图的超分辨率重建方法 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN111242846A (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
| CN113822830B (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| CN111553867B (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| Guo et al. | Multiscale semilocal interpolation with antialiasing | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| Liu et al. | An efficient residual learning neural network for hyperspectral image superresolution | |
| CN112102163A (zh) | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 | |
| CN111738954A (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
| CN115578255A (zh) | 一种基于帧间亚像素块匹配的超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |