CN109741256B - 基于稀疏表示和深度学习的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示和深度学习的图像超分辨率重建方法，解决了图像超分过程计算复杂，重建图像质量差的问题。实现步骤包括：收集提取训练数据块，色度和亮度字典联合优化训练；高分辨率图像块独立重构；稀疏表示的高分辨率图像重构；基于深度学习训练残差网络优化高频细节；图像超分辨率重建。本发明为防止边缘效应和模糊效应将色度和亮度数据区分独立重构，为优化稀疏表示输出高分辨率图像的高频细节信息，将基于稀疏表示重构的高分辨率图像输入残差网络，经4次卷积提取特征，特征融合输出高频残差图与输入按位相加重构超分辨率图像。本发明计算复杂度低，图像重建质量高，广泛用于遥感监测、犯罪侦查、交通管理等领域。

Description

基于稀疏表示和深度学习的图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，具体涉及超分辨率图像重建，具体是一种基于稀疏表示和深度学习的图像超分辨重建方法。用于遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别、高清视频信号等应用中。

背景技术

图像获取过程中,由于成像距离、成像设备分辨率等因素的限制,成像***难以无失真地获取原始场景中的信息，成像***通常会受到变形、模糊、降采样和噪声等诸多因素的影响,从而导致获取图像质量的下降。因此,如何提高图像的空间分辨率,改善图像质量,一直以来都是成像技术领域亟待解决的问题。超分辨率重建技术是指通过图像处理算法来获得在成像***分辨率极限之上的更高分辨率图像，其实现成本相较于减小成像***像素尺寸和改变探测元排列方式等要低廉得多。为了获得更为精确和鲁棒的图像处理结果，通常需要通过从一幅或多幅具有互补信息的低分辨率图像中估计或合成出高分辨率图像。压缩感知理论指出，一幅图像能够在非常苛刻的条件下由它的一组稀疏表示系数在超完备字典上得到精确重建，本文基于稀疏表示和深度学习来实现单幅图像超分辨重建。信号稀疏表示理论及其应用研究的发展是伴随着压缩感知理论和机器学习研究进步取得的。稀疏理论源于神经科学，是机器学习和压缩感知理论中的重要组成部分。借鉴了压缩感知的思想，通过对大量低分辨率图像和高分辨率图像的稀疏表示和训练降维，实现超分辨率在整个学习样本空间的优化求解。一方面保证了足够的先验知识，减少了重构时所需的数据，提高了效率；另一方面有效克服了领域嵌入方法的过拟合或欠拟合现象。基于稀疏字典的图像超分辨率复原方法取得了较好的图像重建质量.但是,稀疏编码和重建过程需要多次迭代,算法复杂度较大，且基于稀疏表示重建出的高分辨率图像高频细节信息不够丰富。

针对基于传统学习方法的不足，深度学习引起了广泛关注，它的出现弥补了传统浅层学习方法的不足。国内外学者借鉴深度学习在图像分类及图像分割等任务中的成功经验,提出了基于深度学习的图像超分辨率复原方法。在基于深度学习的超分辨率复原方法中,深度网络结构的设计需要参照传统SR方法的思想和方案。结合深度网络的优势,基于深度学习的SR方法在网络结构与类型设计、先验信息结合方式及训练策略等方面做出贡献,并且提升了图像超分辨率复原的主客观质量。图像稀疏理论与超分辨算法结合具有重要的实际和理论价值。该技术不但可以改进图像的视觉效果，而且对图像的后续处理如特征提取、信息识别等具有十分重要的意义，例如在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别、高清视频信号等应用中，图像超分辨重建就为其提供了丰富的细节信息。因此本发明结合稀疏表示和深度学习进行图像超分辨率重建。

综上：基于传统的稀疏表示重建出的高分辨率图像高频细节信息不够丰富，恢复图像性能差；原始深度学习网络结构中时间、计算复杂度大，且残差网络通过双三次插值恢复超分辨率图像性能差。

发明内容

本发明的目的是针对现有技术的不足，提出一种时间、计算复杂度低且PSNR值高的基于稀疏表示和深度学习的图像超分辨率重建方法。

本发明是一种基于稀疏表示和深度学习的图像超分辨率重建方法，其特征在于，包括如下步骤：

(1)收集提取训练数据块：收集待重建图像同领域的任意高清图像，划分形成训练数据库和测试数据库，输入训练数据库中高分辨率图像和待重建的低分辨率图像，提取亮度信息Y和色度信息UV并各自分割形成相同分辨率的高分辨率图像样本块X_h和低分辨率图像样本块X_l；

(2)色度和亮度的字典联合优化训练：采用亮度信息和色度信息不同通道样本数据为训练前提，根据稀疏表示理论及字典学习，通过四个梯度算子提取低分辨率图像块X_l特征，并结合相同位置高分辨率特征合并成向量得到训练样本集，用此样本集作为训练字典的输入，通过传统稀疏表示理论法训练分别得到高分辨率字典D_h和低分辨率字典D_l；通过求解最小约束公式合并和更新高、低分辨率字典，分别得到色度和亮度通道对应的高分辨率字典D_h和低分辨率字典D_l；

(3)色度和亮度的高分辨率图像块独立重构：利用高分辨率字典D_h和低分辨率字典D_l将测试数据库中低分辨率图像块Y_l转换为对应的高分辨率图像块Y_h；

(4)基于稀疏表示的高分辨率图像重构：将所述高分辨率图像块Y_h组合成为重建的高分辨率图像IHR；

(5)基于深度学习训练残差网络优化高频细节：优化基于稀疏表示重建的高分辨率图像IHR，将其输入至残差网络经过卷积层卷积得到特征图，将各层特征图融合输出高频残差细节图像，通过反向梯度传播减小输出图像与真实图像误差，更新和优化高频细节残差图；

(6)图像超分辨率重建：将基于稀疏表示重建高分辨率图像与网络优化高频细节残差图重构输出超分辨率图像，通过反向梯度传播减小输出图像与训练库中高分辨率图像的误差，更新和优化高频细节残差图，即更新超分辨率图像，此超分辨率图像保留更佳丰富的高频细节信息。

本发明有效的将稀疏表示与深度学习结合起来处理图像超分辨率重构问题，在提升图像质量性能的同时保证时间、计算复杂度。

与现有技术相比，本发明的有益之处在于：

本发明在权衡计算效率和图像质量前提下，将传统的基于稀疏表示方法中色度和亮度信息独立计算分别进行超分辨重建，重构高分辨率图像，抑制仅对亮度信息做超分辨重建，色度信息仅做双三次插值重建所带来的颜色块效应或模糊现象，进而提升图像质量性能；

本发明在基于稀疏表示重构的高分辨率图像基础上采用残差网络训练优化高频细节残差图，通过卷积提取输入的高分辨率图像的特征图，并将所得特征图融合，在有效迭代次数下，通过反向梯度计算损失函数，更新修正高分辨率的高频细节信息，输出高质量的高频细节残差图，进而提升图像质量性能；

残差网络仅采用4层卷积和特征融合相加的计算方式，网络层数少且仅通过卷积计算，计算量大大减少，计算效率有效提升，时间和计算复杂度低，保证算法有效性。

附图说明

图1为本发明图像超分辨率流程框图；

图2(a)为原始高分辨率图像；

图2(b)为采用双线性插值方法处理后所得图像；

图2(c)为采用稀疏表示重建法处理后所得图像；

图2(d)采用VDSR网络重建法处理后所得图像；

图2(e)为采用深度学习残差网络处理后所得图像；

图2(f)为采用本发明处理后所得图像。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明详细说明。

实施例1

图像相比于文字含有更多的信息，且可以很直观的提供给人类信息，在遥感监测、军事侦察、交通等应用中，图像超分辨重建为其提供了丰富的细节信息，但是目前基于传统的稀疏表示重建出的高分辨率图像高频细节信息不够丰富，具有边缘效应，恢复图像性能差；原始深度学习网络结构庞大，层数复杂导致时间、计算复杂度大，且基于深度学习的残差网络通过双三次插值恢复超分辨率图像性能差。针对这些问题本发明展开研究，提出一种基于稀疏表示和深度学习的图像超分辨率重建方法，参见图1，包括如下步骤，收集训练数据库，训练样本块提取，字典联合训练，高分辨率图像重构，基于深度学习训练残差网络优化高频细节，图像超分辨重建。

(1)收集提取训练数据块：收集待重建图像同领域的任意高清图像，划分形成训练数据库和测试数据库，输入训练数据库中高分辨率图像和待重建的低分辨率图像，提取所有输入图像的亮度信息Y和色度信息UV并各自分割形成相同分辨率的高分辨率图像样本块X_h和低分辨率图像样本块X_l。

(2)色度和亮度的字典联合优化训练：采用亮度信息和色度信息不同通道样本数据为训练前提，根据稀疏表示理论及字典学习，通过四个梯度算子提取低分辨率图像块X_l特征，并结合相同位置高分辨率特征合并成向量得到训练样本集，作为训练字典输入训练对应的高分辨率字典D_h和低分辨率字典D_l；用训练样本集作为训练字典的输入，首先通过传统稀疏表示理论法训练分别得到高分辨率字典D_h和低分辨率字典D_l；为了满足两个字典在稀疏表示下的同构性及不同通道的差异性，通过求解最小约束公式合并和更新高、低分辨率字典，分别得到色度和亮度通道对应的高分辨率字典D_h和低分辨率字典D_l。

(3)色度和亮度的高分辨率图像块独立重构：分别以色度和亮度信息独立条件为前提，通过上述不同通道信息对应得到的高低分辨率字典，将测试数据库中仅含色度信息的低分辨率图像块Y_l通过其对应的高、低分辨率字典转换为对应的高分辨率图像块Y_h，同样的方法，再将含亮度信息的低分辨率图像块Y_l通过其对应的高、低分辨率字典转换为对应的高分辨率图像块Y_h，独立完成各自高分辨率图像块的重构。

(4)基于稀疏表示的高分辨率图像重构：将所述的色度的高分辨率图像块Y_h组合成仅含色度信息通道的高分辨率图像，将所述的亮度的高分辨率图像块Y_h组合成仅含亮度信息通道的高分辨率图像，通过图像格式转换将其转换为RGB图像格式的彩色高分辨率图像，成为重建的高分辨率图像IHR。

(5)基于深度学习训练残差网络优化高频细节：优化基于稀疏表示重建的高分辨率图像IHR，将其输入至残差网络经过卷积层卷积得到特征图，并通过线性整流激活函数(ReLU)去除负数数据，更新特征图，将各层特征图经过卷积，统一化数据通道后分别与上一层特征图融合输出高频残差细节图像，并通过反向梯度传播减小输出图像与训练库中高分辨率图像的误差，更新和优化高频细节残差图。

(6)图像超分辨率重建：将步骤4中得到的基于稀疏表示重建高分辨率图像与步骤5中得到的网络优化高频细节残差图按位相加重构输出超分辨率图像，通过反向梯度传播减小输出图像与训练库中高分辨率图像的误差，更新和优化高频细节残差图，即更新输出的超分辨率图像，此超分辨率图像保留更佳丰富的高频细节信息。

现有技术中重建出的高分辨率图像高频细节信息不够丰富，恢复图像性能差；深度学习网络结构庞大，时间、计算复杂度大，本发明在权衡计算效率和图像质量前提下，将传统的基于稀疏表示方法中色度和亮度信息独立计算分别进行超分辨重建；有效的将稀疏表示与深度学习结合起来处理图像超分辨率重构问题，给出了整体的技术方案，提升了图像质量性能；在提升图像质量性能的同时保证时间、计算复杂度。

本发明大幅度提升超分辨图像的高频细节图，不但可以改进图像的视觉效果，而且对图像的后续处理如特征提取、信息识别等具有十分重要的意义，图像超分辨重建为其提供了丰富的细节信息，针对图像中小目标信息可以通过超分辨率重建将其放大，直观的获得感兴趣区域信息，例如在遥感监测观测图像中地面，山川等目标更直观，犯罪侦察中观测犯罪分子的容貌特征信息更佳清晰详细。

实施例2

基于稀疏表示和深度学习的图像超分辨率重建方法同实施例1，步骤2中稀疏表示理论及字典学习，稀疏系数描述如下数学表达式：

或

其中，x∈R^m是某个图像(块)的向量表示，D∈R^N*L是超完备字典，a是图像x在字典D下的稀疏系数，若a中仅极少数系数不为零，即||a||₀＜＜N，则图像x是稀疏的。

在上述稀疏理论基础上，求解所有的训练集约束优化问题，得到稀疏矩阵α和超完备字典D：

其中，X为训练样本对，D_h和D_l是具有一致的稀疏矩阵α的高分辨率字典和低分辨率字典，λ为正则化参数；

1.初始化：D⁽⁰⁾∈R^n×K,n＜K，且满足

J＝1，不断迭代下列两个步骤直至符合收敛条件。

2.稀疏编码阶段：使用某种追踪算法优化以下方程式，计算每个输入样本X的对应的稀疏表示系数矢量α。

3.字典更新阶段：对于D^(J-1)中的每一列进行更新，k＝1,2,…,N，

1)定义

为被表示信号中用到的第k个字典原子的信号集合，其中

表示稀疏系数矩阵α的第k行；

2)计算总体的表示误差矩阵E_k，即

3)通过选择仅仅与ω_k相关的列向量，约束E_k获得

4)利用SVD分解

选择矩阵U的首列向量对字典列向量

更新；矩阵V的首列向量乘以Δ(1,1)更新稀疏系数向量

本发明通过对大量低分辨率图像和高分辨率图像的稀疏表示和训练降维，实现超分辨率在整个学习样本空间的优化求解，求解速度快和良好的抗噪性能，适用于求解具有几百个图像样本的字典设计问题，有效克服了过拟合或欠拟合现象。

实施例3

基于稀疏表示和深度学习的图像超分辨率重建方法同实施例1-2，步骤2中所述的字典联合训练，通过传统稀疏表示理论训练分别得到高分辨率字典D_h和低分辨率字典D_l，在字典训练阶段，为保证能获得相同的稀疏系数，根据下式进行训练：

为了满足两个字典在稀疏表示下的同构性及不同通道的差异性，保证稀疏矩阵相同条件下，合并上述两式需要求解最小约束公式：

其中，i代表y,cb,cr三个通道即YUV亮度和色度通道，N和M分别表示高低图像样本特征块的向量维度。λ为正则化参数，α表示稀疏表示系数矢量。

本发明在基于传统稀疏表示方法中考虑高、低分辨率两个字典在稀疏表示下的同构性及不同通道的差异性，将训练图像的色度和亮度信息分别处理为不同通道，根据亮度信息数据按照如上的传统稀疏表示方法计算其对应的高、低分辨率字典，色度信息数据也按照独立计算如上的传统稀疏表示方法计算其对应的高、低分辨率字典，考虑联合计算的同构和不同通道计算的差异性，合并各个通道的计算公式，进一步联合更新计算高分辨率字典，在此计算方式下高分辨率字典更加稀疏，通过此重构的高分辨率图像质量更佳。

实施例4

基于稀疏表示和深度学习的图像超分辨率重建方法同实施例1-3，步骤3和步骤4所述的高分辨率图像块独立重构和高分辨率图像重构，具体过程是：在得到y,cb,cr三个通道各自对应的高分辨率字典D_h和低分辨率字典D_l后；对于每个低分辨率的测试图像提取y,cb,cr通道数据，通过各自对应的低分辨率字典和通道图像数据计算得到各自对应的稀疏表示系数α；使用基于稀疏表示算法求解其在各自对应的低分辨率字典D_l上的稀疏系数α:

最后，y,cb,cr通道的高分辨率的图像数据通过各自的稀疏系数α和高分辨率字典重构：

Y＝D_h*α

通过将Ycbcr通道数据转换为RGB格式重构获得稀疏表示的高分辨率图像IHR。

本发明将色度和亮度信息独立计算，分别将色度和亮度信息根据各自对应的高低分辨率字典，恢复出高分辨率图像块，将高分辨率图像块按位组合出高分辨率图像，通过图像格式转换成理想的高分辨率图像，本发明这样的独立计算，避免了统一计算的边缘效应和抑制了模糊效应，进而提升图像质量性能。

实施例5

基于稀疏表示和深度学习的图像超分辨率重建方法同实施例1-4，步骤5所述的基于深度学习训练残差网络优化高频细节，将基于稀疏表示重构的高分辨率图像IHR输入残差网络(Residual network)以获得高频细节残差图像，并与稀疏表示重构的对应的高分辨率图像IHR按位相加重构得到超分辨率图像，通过反向梯度传播减小输出图像与训练库中高分辨率图像的误差，更新和优化高频细节残差图；即更新超分辨率图像，其特征分如下几个步骤：

5.1初始化，输入基于稀疏表示重构的高分辨率图像和训练库中的高分辨率图像，对比输入原始训练库中待重建低分辨率图像经过上采样成高分辨率图像，输入经稀疏表示重构的高分辨率图像，改善输入端为下一步提取特征提供更多信息。

5.2通过4层卷积网络和ReLU激活函数依次提取图像的四层特征；网络结构仅采用四层卷积网络，在达到预期效果的同时大幅度减少计算复杂度，采用ReLU函数不涉及求导及除法，计算量相对小且会是一部分神经元的输出为0，使网络稀疏，减少参数间相互依存关系，缓解过拟合问题的发生。

5.3通过特征融合将第4层卷积网络的输出特征与第3层卷积网络输出的结果经过3*3卷积输出特征，保证输出均为1个通道，将上述的两个特征结果融合，输出融合后的特征。

5.4将5.3输出的特征与第2层卷积网络输出的特征经过3*3卷积输出特征，保证输出均为1个通道，将上述的两个特征结果融合，输出融合后的特征。

5.5将5.4输出的特征与第1层卷积网络输出的特征经过3*3卷积输出特征，保证输出均为1个通道，将上述的两个特征结果融合，输出融合后的特征，以提取更佳丰富的高频细节信息，经过卷积后输出高频细节残差图像。

本发明通过残差网络更新和训练基于稀疏表示输出的高频细节图，使其含有更佳丰富的细节信息，即小目标信息更佳，有助于提升图像质量，网络层数少采用ReLU激活函数，仅通过卷积及取绝对值计算，保证网路稀疏性，时间和计算复杂度低，提高算法有效性。

实施例6

基于稀疏表示和深度学习的图像超分辨率重建方法同实施例1-5，步骤6所述的图像超分辨率重建，以训练库中原始高分辨率图像为标签(label)，将基于深度学习残差网络训练得到的高频细节残差图像与基于稀疏表示获得的高分辨率图像按位相加重构超分辨率图像；以label及重构超分辨率图像为损失函数(loss)输入，通过梯度反向传播更新高频细节残差图像的输出，即更新输出超分辨率图像。

本发明通过实现了一种基于稀疏表示和深度学习的图像超分辨率重构方法，在传统基于稀疏表示算法和深度学习知识结合框架下，丰富修正高分辨率的高频细节信息，减少边缘效应，将图像中小目标信息通过超分辨率重建将其放大，直观的获得感兴趣区域信息,在保证计算复杂度基础上大幅度提升恢复图像质量。

实施例7

基于稀疏表示和深度学习的图像超分辨率重建方法同实施例1-6，图像的稀疏表示信号的稀疏性指的是该信号通过一个超完备字典里极少的基本信号(又称为原子)的线性组合进行表示，稀疏表示的目标是寻找仅包含少量未知非零元素的线性解。

求解稀疏系数描述如下数学表达式：

或

其中，x∈R^m是某个图像(块)的向量表示，D∈R^N*L是超完备字典，a是图像x在字典D下的稀疏系数，若a中仅极少数系数不为零，即||a||₀＜＜N，则图像x是稀疏的。

针对所有的训练集求解约束优化问题，一般会在求解公式中增加拉格朗日乘子项，转化求解约束优化问题：

其中，公式前半部分是在l₂范数下的正则化约束求解，后半部分是在l₀范数下的正则化约束求解。最后得到信号的稀疏系数a和超完备字典D；X为训练样本对，D_h和D_l是具有一致的稀疏矩阵α的高分辨率字典和低分辨率字典，λ为正则化参数；

(一)字典学习和高分辨图像重构

基于稀疏表示的字典学习设计速度有很大提升，在字典设计过程中更新字典步骤，采用以步长为1的迭代方式逐列进行更新，每次更新一次且增加新的一列数据，有效解决关于矩阵计算复杂问题，同时更新字典原子和稀疏表示系数，在字典训练阶段，为保证能获得相同的稀疏系数，根据下式进行训练：

为了满足两个字典在稀疏表示下的同构性及不同通道的差异性，保证稀疏矩阵相同条件下，更新求解公式如下，算法分两个步骤训练和迭代：

其中，i代表y,cb,cr三个通道即YUV亮度和色度通道，N和M分别表示高低图像样本特征块的向量维度，λ为正则化参数，稀疏表示系数矢量α。

1.初始化：D⁽⁰⁾∈R^n×K,n＜K，且满足

J＝1。不断迭代下列两个步骤直至符合收敛条件：

2.稀疏编码阶段：使用某种追踪算法优化以下方程式，计算每个输入样本X的对应的稀疏表示系数矢量α。

3.字典更新阶段：对于D^(J-1)中的每一列进行更新，k＝1,2,…,N，

(1)定义

为被表示信号中用到的第k个字典原子的信号集合，其中

表示稀疏系数矩阵α的第k行；

(2)计算总体的表示误差矩阵E_k，即

(3)通过选择仅仅与ω_k相关的列向量，约束E_k获得

(4)利用SVD分解

选择矩阵U的首列向量对字典列向量

更新；矩阵V的首列向量乘以Δ(1,1)更新稀疏系数向量

(5)通过反向梯度迭代优化稀疏系数矩阵α和更新字典D。

高分辨率图像块独立重构和高分辨率图像重构，具体过程是：在得到y,cb,cr三个通道各自对应的高分辨率字典D_h和低分辨率字典D_l后；对于每个低分辨率的测试图像提取y,cb,cr通道数据，通过各自对应的低分辨率字典和通道图像数据计算得到各自对应的稀疏表示系数α；使用基于稀疏表示算法求解其在各自对应的低分辨率字典D_l上的稀疏系数α:

最后，y,cb,cr通道的高分辨率的图像数据通过各自的稀疏系数α和高分辨率字典重构：

Y＝D_h*α

通过将Ycbcr通道数据转换为RGB格式重构获得稀疏表示的高分辨率图像IHR。

(二)深度学习残差网络训练超分辨率图像

基于深度学习训练残差网络优化高频细节，将基于稀疏表示重构的高分辨率图像IHR输入残差网络(Residual network)以获得高频细节残差图像，并与稀疏表示重构的对应的高分辨率图像IHR按位相加重构得到超分辨率图像，通过反向梯度传播减小输出图像与训练库中高分辨率图像的误差，更新和优化高频细节残差图；即更新超分辨率图像，其特征分如下几个步骤：

5.1初始化，输入基于稀疏表示重构的高分辨率图像和训练库中的高分辨率图像，改善输入端为下一步提取特征提供更多信息。

5.2通过4层卷积网络和ReLU激活函数依次提取图像的四层特征。

5.3通过特征融合将第4层卷积网络的输出特征与第3层卷积网络输出的结果经过3*3卷积输出特征，将上述的两个特征结果融合，输出融合后的特征。

5.4将5.3输出的特征与第2层卷积网络输出的特征经过3*3卷积输出特征，将上述的两个特征结果融合，输出融合后的特征。

5.5将5.4输出的特征与第1层卷积网络输出的特征经过3*3卷积输出特征，将上述的两个特征结果融合，输出融合后的特征，以提取更佳丰富的高频细节信息，经过卷积后输出高频细节残差图像。

以训练库中原始高分辨率图像为标签(label)，将基于深度学习残差网络训练得到的高频细节残差图像与基于稀疏表示获得的高分辨率图像按位相加重构超分辨率图像；以label及重构超分辨率图像为损失函数(loss)输入，通过梯度反向传播更新高频细节残差图像的输出，即更新输出超分辨率图像。

本发明对彩色图像进行高性能的超分辨重建。实现步骤为：基于稀疏表示训练样本的提取模块将连续生成高低分辨率图像样本块；字典学习阶段将训练图像样本块得到高低分辨率字典；在图像重构阶段，通过低分辨率字典和低分辨率图像计算得到稀疏表示系数α；依据高分辨率字典和稀疏表示系数α重构输出基于稀疏表示的高分辨率图像。

为修正基于稀疏表示输出高分辨率图像的高频细节信息，将基于稀疏表示重构的高分辨率图像输入残差网络，经过4次卷积及ReLU激活函数提取特征，通过特征融合输出高频残差图。基于稀疏表示输出高分辨率图像与残差网络输出高频残差图重构输出超分辨率图像。

下面给出技术方案和实验数据结合的例子，对本发明进一步说明。

实施例7

基于稀疏表示和深度学习的图像超分辨率重建方法同实施例1-6，下面结合附图和具体实施例，对本发明进行更详细的说明。

参见图1，本发明是一种基于深度学习和稀疏表示的图像超分辨重建方法，首先利用基于稀疏表示的方法，以配对的彩色训练图像的高分辨率图像和低分辨图像为输入训练获得色度(UV)和亮度Y通道的高分辨率和低分辨率字典对。然后对测试图像使用低分辨率字典进行稀疏表示以得到稀疏矩阵α，最后使用高分辨率字典进行色度(UV)和亮度的Y的超分辨率重建，最后将Ycbcr通道数据转换为RGB格式彩色图像即得到基于稀疏表示重建的高分辨率图像IHR。

参见图1，以基于稀疏表示重建高分辨率图像为输入图像，以训练图像中原始高分辨率图像为label，通过深度学习残差网络训练得到高频细节图，优化残差网络仅使用四层卷积和ReLU激活函数，将第四层输出特征与第三层输出特征经过卷积后融合(concat)，与第二层、第一层依次类推，将特征融合，最后卷积输出高频残差图。

以训练库中原始高分辨率图像为标签(label)，将基于深度学习残差网络训练得到的高频细节残差图像与基于稀疏表示获得的高分辨率图像按位相加重构超分辨率图像；以label及重构超分辨率图像为损失函数(loss)输入，通过梯度反向传播更新高频细节残差图像的输出，即更新输出超分辨率图像。

本发明字典学习具体步骤为：

1.初始化设置。设定低分辨率图像块的大小为5*5，重叠部分是1个像素，超分辨率倍数是2；低分辨率图像样本特征块的向量维度N为100，因此，高分辨率图像块的大小为10*10，重叠部分是2个像素。高分辨率图像样本特征块的向量维度N为100，λ为正则化参数设为1。

2.对彩色图像进行转换，将RGB彩色空间转换到YUV彩色空间，亮度Y和色度UV均保留信息。

3.分别对彩色图像的亮度Y信息和色度UV信息进行下采样，得其低分辨率图像信息。

4.对低分辨率图像和高分辨率图像按照初始设置的图像大小进行分块操作。

5.使用训练图像块进行字典学习，即求解

稀疏表示超分辨率步骤为：

1.初始化设置。设定低分辨率图像块的大小为5*5，重叠部分是1个像素，低分辨率图像样本特征块向量维度N为100，字典大小为512，超分辨率倍数是2；因此，高分辨率图像块的大小为10*10，重叠部分是4个像素。高分辨率图像样本特征块的向量维度N为100，λ为正则化参数设为0.2。

2.对彩色图像进行转换，将RGB彩色空间转换到YUV彩色空间，亮度Y和色度UV均保留信息。

3.分别对彩色图像的亮度Y信息和色度UV信息进行下采样，得其低分辨率图像信息。

4.先求解亮度Y信息下的每一个低分辨图像块在其低分辨率字典下的稀疏系数，即求解

再利用相同方法求解色度UV下的每一个低分辨率图像块在其对应低分辨率字典下的稀疏表示。

5.使用上一步中求解的稀疏系数，在高分辨率字典下分别对亮度和色度进行超分辨重建，即y_i＝D_ha_i。

6.将亮度信息和色度信息融合，将YUV彩色空间转换为RGB彩色空间，得到基于稀疏表示的高分辨率图像。

深度学习残差网络超分辨率步骤为：

1.初始化设置。基于稀疏表示重构的高分辨率图像作为网络的输入图像，高分辨率图像经过下采样后得到低分辨率图像，且以原始高分辨率图像为label。

本例中，batch size设定为64，网络经过四层卷积，每一层设定的参数为：卷积核大小为3*3，步长为1，padding为1，w滤波器的类型为msra，w的衰减指数为0.0001。b滤波器的类型为constant，b的修正指数为0.0001。最大迭代935840次。采用在GPU下训练和测试图像。

2.低分辨率图像输入预训练好的卷积神经网络，得到各层网络参数w和b；

3.将低分辨率图像与训练好的网络卷积依次得到第1、2、3、4层特征图。

4.将第三层特征图经过卷积核大小为3*3的卷积，输出一个通道与第四层特征图卷积后相加，输出此时特征图。

5.将上个步骤输出的特征图与第二层特征图经过卷积核大小为3*3的卷积输出的特征相加，输出此时特征图。

6.将上个步骤输出的特征图与第一层特征图经过卷积核大小为3*3的卷积输出的特征相加，经过卷积得到高频细节残差图。

7.将高频细节残差图与网络输入的基于稀疏表示重构的高分辨率图像相加以获得超分辨率图像。

8.通过反向梯度传播，原始高分辨率图像和超分辨率图像作为loss的输入，按照初始化设定的loss阈值和迭代次数更新高频细节残差图即更新优化获得最终的超分辨率图像。

为了验证算法的有效性，本发明方法使用set5数据集，其中包括所需的训练图像和测试图像样本，其中测试图像不包含于训练图像，本文结合主观测评和客观测评的结果，比较本发明和其他常用插值法以及其他较为先进的超分辨率方法的结果。

为了主观和客观的衡量本发明算法的性能，表1给出了峰值信噪比(PSNR)和结构相似性(SSIM)的性能指标，可以得出无论PSNR还是SSIM，本发明的方法优于其他各类方法。

表1

	双三次插值	稀疏表示	VDSR	本发明
					PSNR	27.4577dB	30.0997dB	30.3417dB	31.1532dB
SSIM	0.9816	0.9834	0.9861	0.9868

图2(a)～(f)中分别给出了原始高分辨率图像以及双三次插值、稀疏表示、VDSR网络和本发明对待重建低分辨率图像的超分辨图像。仅从肉眼的观测可见，图2(b)双三次插值和图2(c)稀疏表示相比，明显存在细节模糊，图2(d)VDSR网络恢复的图像中细节信息更佳清晰，但是某些局部区域存在细节模糊，图2(e)是本发明得到的高频细节图含有更佳丰富的细节信息，图2(f)超分辨率图像对比图2(a)～图2(d)更佳接近图2(a),模糊效应更小含有更佳丰富的信息无边缘效应,无论从肉眼视觉效果还是客观评价指标。

总之，无论从肉眼视觉效果还是客观评价指标，均表明本发明方法可以更好地进行图像超分辨处理，获得更好的图像重建质量。

简而言之，本发明公开的一种基于深度学习和稀疏表示的图像超分辨重建方法，解决了图像超分过程计算复杂，恢复图像质量差的问题。实现步骤包括：收集提取训练数据块，色度和亮度字典联合优化训练；高分辨率图像块独立重构；稀疏表示的高分辨率图像重构；基于深度学习训练残差网络优化高频细节；图像超分辨率重建。本发明为防止边缘效应和模糊效应将色度和亮度数据区分独立重构，为优化稀疏表示输出高分辨率图像的高频细节信息，将基于稀疏表示重构的高分辨率图像输入残差网络，经4次卷积提取特征，特征融合输出高频残差图与输入按位相加重构超分辨率图像。本发明计算复杂度低，图像超分质量高，广泛用于遥感监测、犯罪侦查、交通管理等领域。

Claims (5)

1.一种基于稀疏表示和深度学习的图像超分辨率重建方法，其特征在于，包括如下步骤，

(1)收集提取训练数据块：收集待重建图像同领域的任意高清图像，划分形成训练数据库和测试数据库，输入训练数据库中高分辨率图像和待重建的低分辨率图像，提取亮度信息Y和色度信息UV并各自分割形成相同分辨率的高分辨率图像样本块X_h和低分辨率图像样本块X_l；

(2)色度和亮度的字典联合优化训练：采用亮度信息和色度信息不同通道样本数据为训练前提，根据稀疏表示理论及字典学习，通过四个梯度算子提取低分辨率图像块X_l特征，并结合相同位置高分辨率特征合并成向量得到训练样本集，用此样本集作为训练字典的输入，通过传统稀疏表示理论法训练分别得到高分辨率字典D_h和低分辨率字典D_l；通过求解最小约束公式合并和更新高、低分辨率字典，分别得到色度和亮度通道对应的高分辨率字典D_h和低分辨率字典D_l；

(3)色度和亮度的高分辨率图像块独立重构：利用高分辨率字典D_h和低分辨率字典D_l将测试数据库中低分辨率图像块Y_l转换为对应的高分辨率图像块Y_h；

(4)基于稀疏表示的高分辨率图像重构：将所述高分辨率图像块Y_h组合成为重建的高分辨率图像IHR；

(5)基于深度学习训练残差网络优化高频细节：优化基于稀疏表示重建的高分辨率图像IHR，将其输入至残差网络经过卷积层卷积得到特征图，将各层特征图融合输出高频残差细节图像，通过反向梯度传播减小输出图像与真实图像误差，更新和优化高频细节残差图；

(6)图像超分辨率重建：将基于稀疏表示重建高分辨率图像与网络优化高频细节残差图重构输出超分辨率图像，此超分辨率图像保留更佳丰富的高频细节信息。

2.根据权利要求1中所述的基于稀疏表示和深度学习的图像超分辨率重建方法，其特征在于：步骤2中所述的字典联合训练，根据下式进行训练：

为了满足两个字典在稀疏表示下的同构性及不同通道的差异性，保证稀疏矩阵相同条件下，合并上述两式需要求解最小约束公式：

其中，i代表y,cb,cr三个通道，N和M分别表示高低图像样本特征块的向量维度， λ为正则化参数，α表示稀疏表示系数矢量。

3.根据权利要求1所述的基于稀疏表示和深度学习的图像超分辨率重建方法，其特征在于：步骤3和步骤4所述的高分辨率图像块独立重构和高分辨率图像重构，具体过程是：在得到y,cb,cr三个通道各自对应的高分辨率字典D_h和低分辨率字典D_l后；对于每个低分辨率的测试图像提取y,cb,cr通道数据，通过各自对应的低分辨率字典和通道图像数据计算得到各自对应的稀疏表示系数α；使用基于稀疏表示算法求解其在各自对应的低分辨率字典D_l上的稀疏系数α:

最后，y,cb,cr通道的高分辨率的图像数据通过各自的稀疏系数α和高分辨率字典重构：

Y＝D_h*α

通过将Ycbcr通道数据转换为RGB格式重构获得稀疏表示的高分辨率图像IHR。

4.根据权利要求1所述的基于稀疏表示和深度学习的图像超分辨率重建方法，其特征在于：步骤5所述的基于深度学习训练残差网络优化高频细节，分如下几个步骤：

5.1初始化，输入基于稀疏表示重构的高分辨率图像和训练库中的高分辨率图像；

5.2通过4层卷积网络和线性整流激活函数(ReLU)依次提取图像的四层特征；

5.3通过特征融合将第4层卷积网络的输出特征与第3层卷积网络输出的特征经过3*3卷积后的结果融合输出特征；

5.4将5.3输出的特征与第2层卷积网络输出的特征经过3*3卷积后的结果融合输出特征；

5.5将5.4输出的特征与第1层卷积网络输出的特征经过3*3卷积后的结果融合输出特征；以提取更佳丰富的高频细节信息，经过卷积后输出高频细节残差图像。

5.根据权利要求1中所述的基于稀疏表示和深度学习的图像超分辨率重建方法，其特征在于：步骤6所述的图像超分辨率重建，以训练库中原始高分辨率图像为标签(label)，将基于深度学习残差网络训练得到的高频细节残差图像与基于稀疏表示获得的高分辨率图像按位相加重构超分辨率图像；以label及重构超分辨率图像为损失函数(loss)输入，通过梯度反向传播更新高频细节残差图像的输出，即更新输出超分辨率图像。

Images