CN105844590A - 基于稀疏表示的图像超分辨率重建方法及*** - Google Patents

Abstract

本发明公开了一种本发明基于稀疏表示的图像超分辨率重建方法及***，其中方法包括步骤：利用图像训练库得到完备的高低分辨率字典对；将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，提取该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，利用低分辨率字典获得低分辨率图像块的稀疏表示；将获得的低分辨率图像块的稀疏表示系数近似地等于待求的高分辨率图像块在高分辨率字典中的稀疏表示系数，并利用其估计出相应的高分辨率图像的初始估计值；利用后向投影滤波器来减小高分辨率图像的重建误差。

Description

基于稀疏表示的图像超分辨率重建方法及***

技术领域

本发明涉及图像处理，尤其涉及一种基于稀疏表示的图像超分辨率重建方法及***。

背景技术

在图像超分辨率重建算法中，首先要建立高分辨率图像之间的关系。一般来说，在单帧图像超分辨图像重建算法中，几何扭曲可以忽略不计，因此可以将图像获取过程中的退化现象模拟为原始高分辨率图像经过光学模糊、下采样和噪声干扰等一系列过程，现有的单帧图像超分辨率算法主要包括基于学习的图像超分辨率算法和基于插值重建的图像超分辨率算法。

基于学习的超分辨率重建技术首先利用高分辨图像训练库和图像退化模型获得一个高低分辨率的图像训练集，然后通过一定的学习算法获得高低分辨率图像之间的映射关系，最后利用优化算法对待重建的低分辨率图像进行优化，估计出相应的高分辨率图像。

经典的插值方法包括最近邻插值、双线性插值和双三次插值方法。三种插值方法中，最近邻域和双线性插值计算复杂度相对较低，在多数场合能满足实时运算的需求，因此它们被广泛应用。但是，不如人意的是，这两种方法对分辨率的提高贡献很小，尤其是无法得到足够的高频信息，而使得恢复出来的图像仍然存在较大的失真。这三种方法中，双立方插值最适合增强高频部分的细节信息，它的不足就是其计算复杂度比较大。

尽管双立方插值的能提供更多的细节信息，不过，它仍然存在与前两种方法相同的问题，尤其是需要高分辨率的场合，它无法给出足够多的细节信息。插值方法或者出现锯齿效应或者出现边缘模糊现象。最近邻插值边缘阶梯锯齿图像失真非常明显，双线性插值边缘阶梯锯齿图像失真较为明显，有一定的边缘模糊，双立方插值边缘阶梯失真较弱，边缘模糊非常明显。

传统的插值重建方法计算简单容易实现，应用也较为广泛。但是在高放大倍数的情况下，由于图像原始信息的大量丢失，会使得重建出来的高分辨率图像在边缘处常常过于平滑，而且缺少足够的细节信息。

基于学习的超分辨率算法，在进行高分辨图像重建之前，利用训练库，对图像的先验信息进行了学习，所以能获得更多的图像细节信息，获得更好的图像重建质量。然而在基于学习一类的超分辨率算法中，近邻数目选择不当，会使重建出来的高分辨率图像细节和边缘模糊，从而影响图像的重建质量。

发明内容

本发明针对上述问题，提供一种基于稀疏表示的图像超分辨率重建方法及***。

本发明解决其技术问题所采用的技术方案是：

提供一种基于稀疏表示的图像超分辨率重建方法，包括以下步骤：

S1、利用图像训练库得到完备的高低分辨率字典对，包括低分辨率字典Dl和高分辨率字典Dh；

S2、将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，提取该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，得到低分辨率图像块，将每一个低分辨率图像块对应的特征组合成一个向量，设为y，然后利用低分辨率字典Dl获得y的稀疏表示a^*：

$a^{*}=\arg \min \left|\right|y-Dla|{|}_2^2+\mathrm{\β}||PDha-w|{|}_2^2+\mathrm{\λ}\left|\right|a|{|}_1=\arg \min ||\tilde{y}-\tilde{D}a|{|}_2^2+\mathrm{\λ}\left|\right|a|{|}_1$

其中，P为重叠区域，w为重叠区域中已重建出来的像素值，β是一个常数，用来调整已重建出来的像素值对待重建块重建的影响；

S3、将获得的低分辨率图像块的稀疏表示系数近似地等于待求的高分辨率图像块在高分辨率字典Dh中的稀疏表示系数，并利用其估计出相应的高分辨率图像块

S4、利用后向投影滤波器来减小高分辨率图像的重建误差，得到滤波后的高分辨率图像块，后向投影滤波器用数学式表达为其中，S表示采样因子，H表示模糊算子，c为常数，X₀为高分辨率图像的初始估计值；采用梯度下降法来求解:

X_lm+1＝X_t+v[H^TS^T(Y-SHX_t)+c(X_t-X)]

其中，Xt表示t次迭代后对高分辨率图像的估计，v表示梯度下降法中的步长。

本发明所述的方法中，步骤S1具体为：提取图像训练库中的高低分辨率图像块信息，并利用K-奇异值分解算法对获得的高低分辨率图像块进行训练得到稀疏表示的高低分辨率字典对。

本发明所述的方法中，所提取的一阶、二阶梯度特征为HOG方向梯度直方图特征。

本发明还提供一种基于稀疏表示的图像超分辨率重建***包括：

训练模块，用于利用图像训练库得到完备的高低分辨率字典对，包括低分辨率字典Dl和高分辨率字典Dh；

稀疏表示模块，用于将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，提取该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，将每一个图像块对应的特征组合成一个向量，设为y，然后利用低分辨率字典Dl获得y的稀疏表示α^*：

$a^{*}=\arg \min \left|\right|y-Dla|{|}_2^2+\mathrm{\β}||PDha-w|{|}_2^2+\mathrm{\λ}\left|\right|a|{|}_1=\arg \min ||\tilde{y}-\tilde{D}a|{|}_2^2+\mathrm{\λ}\left|\right|a|{|}_1$

其中，P为重叠区域，w为重叠区域中已重建出来的像素值，β是一个常数，用来调整已重建出来的像素值对待重建块重建的影响；

高分辨率图像重建模块，用于将获得的低分辨率字典Dl的稀疏表示系数近似地等于待求的高分辨率图像块在高分辨率字典Dh中的稀疏表示系数，并利用其估计出相应的高分辨率图像块

误差消除模块，用于利用后向投影滤波器来减小高分辨率图像的重建误差，得到滤波后的高分辨率图像块，后向投影滤波器用数学式表达为其中，S表示采样因子，H表示模糊算子，，X₀为高分辨率图像的初始估计值，c为常数，采用梯度下降法来求解:

X_lm+1＝X_t+v[H^TS^T(Y-SHX_t)+c(X_t-X)]

其中，Xt表示t次迭代后对高分辨率图像的估计，v表示梯度下降法中的步长。

本发明所述的***中，训练模块具体用于：提取图像训练库中的高低分辨率图像块信息，并利用K-奇异值分解算法对获得的高低分辨率图像块进行训练得到稀疏表示的高低分辨率字典对。

本发明所述的***中，所提取的一阶、二阶梯度特征为HOG方向梯度直方图特征。

本发明产生的有益效果是：本发明在进行超分辨率重建的估计过程中引入了参数β，用来调整已重建出来的像素值对待重建块重建的影响，参数β的引入也就是引入了不确定性，可阻止不同变量间估计误差的扩大；将高分辨率图像和算法中的未知参数在一个框架下建模，对未知变量进行联合估计，计算出解析出超参数X₀的值，提高了对噪声的稳定性，不需要进行参数调整。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例基于稀疏表示的图像超分辨率重建方法的流程图；

图2是本发明实施例基于稀疏表示的图像超分辨率重建算法的字典训练过程图；

图3是本发明实施例图像重建简图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明基于稀疏表示的图像超分辨率重建算法包括过完备字典构建和高分辨率图像重建两个阶段。如图1所示，具体包括以下步骤：

S1、利用图像训练库得到完备的高低分辨率字典对，包括低分辨率字典Dl和高分辨率字典Dh；

S2、将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，提取该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，得到低分辨率图像块，将每一个低分辨率图像块对应的特征组合成一个向量，利用低分辨率字典Dl获得y的稀疏表示；

S3、将获得的低分辨率图像块的稀疏表示系数近似地等于待求的高分辨率图像块在高分辨率字典中的稀疏表示系数，并利用其估计出相应的高分辨率图像的初始估计值；

S4、利用后向投影滤波器来减小高分辨率图像的重建误差。

在字典构建和图像重建过程中均涉及到稀疏表示系数的求解，因此，下文将对图像的稀疏表示理论模型、过完备字典构建和高分辨率图像重建方法进行详细说明。

(1)图像的稀疏表示理论模型

图像的稀疏表示指的是，图像或图像信号可以利用过完备原子库中一系列合适的原子进行线性组合来近似逼近。由于该线性组合用到的原子数目远远小于原子库中原子的总数目，因此，这个原子库是过完备的。图像的稀疏表示原理如下:

给定图像信号Y和过完备字典D，可以利用D中一系列合适的基线性组合来表示Y。其中的数学关系可表示为：

min||α||₀s.t.y＝Dα

其中，α是稀疏表示系数，||·||₀表示0范数，由于利用表达式求解||·||₀是一个NP难的问题，实际计算中采用||·||₁的求解过程转化为凸优化问题：

$a^{*}=\arg \min \left|\right|y-D\mathrm{\α}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_1$

其中，λ是正则化参数(即a*与a的线性参数值)。

(2)过完备字典构建

基于稀疏表示的图像超分辨率重建算法的第一步是利用图像训练库来获得过完备的稀疏表示字典。过完备字典的训练是通过提取图像训练库中的高低分辨率图像块信息，并利用K-奇异值分解算法对获得的高低分辨率图像块进行训练得到稀疏表示的高低分辨率字典对。

图2给出了基于稀疏表示的图像超分辨率重建算法中字典训练的具体过程。具体为：

①将低分辨率图像集中的图像划分为N×N大小的图像块，并提取特征。具体方法是采用4个一维滤波器：

f₁＝[-1,0,1]

f₃＝[1,0,-2,0,1]

其中，T表示转置。将低分辨图像与这四个滤波器算子的卷积结果作为低分辨图像的特征。将分块得到的四个特征块与其对应的高分辨率图像块联合起来作为字典训练算法的输入，这种方法考虑了低分辨率图像的邻域信息，因此有利于提高重建的高分辨率图像块间的兼容性。

②训练低分辨率字典。根据①的结果，利用稀疏K-SVD算法求解，得到低分辨率字典Dl。

③将低分辨率字典Dl通过插值得到与其上一级的高分辨率图像集的尺寸相同的插值图像集Dh。

基于稀疏表示的图像超分辨率重建算法进行字典训练所用的技术包括训练样本的提取方法和进行字典训练的K-SVD算法。

a.训练样本的提取

在基于稀疏表示的图像超分辨率重建算法中，对图像的处理是分块进行的，训练样本由图像训练库中的高分辨图像随机抽取而来，通常训练样本数要远远大于字典中的原子个数。为了获得一个具有广泛适用性的字典，应尽可能选择较多的自然高分辨率图像作为图像训练库，且图像训练库中的图像信息种类要尽可能多。在具体的字典训练过程中，低分辨率图像是由高分辨图像退化而来，常常需要提取低分辨率图像的多种特征，并将其特征进行分块与对应的高分辨图像块组成一个向量进行字典的训练。由于图像的一阶、二阶梯度能有效地表达图像的特征，且提取算法简单，因此常用它们来表示图像的特征。图像的一阶、二阶梯度为方向梯度直方图(Histogram of Oriented Gradient,HOG)特征，HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。图像的一阶、二阶梯度滤波器算子可以表示为：

f₁＝[-1,0,1]，f₂＝f₁ ^T

f₃＝[1,0,-2,0,1]，f₄＝f₃ ^T

其中，T表示转置。将低分辨图像与这四个滤波器算子的卷积结果作为低分辨图像的特征。然后将分块得到的四个特征块与其对应的高分辨率图像块联合起来作为字典训练算法的输入。这种方法考虑了低分辨率图像的邻域信息，因此有利于提高重建的高分辨率图像块间的兼容性。

b.K-SVD字典训练法

K-SVD算法是基于稀疏表示的图像超分辨率重建算法中字典训练过程的核心算法。K-SVD算法又被称为广义K一均值聚类算法，它与K-均值聚类算法有很大的联系，当K-SVD算法中的每个信号只用一个原子来近似表示时，K-SVD算法就退化为K一均值聚类算法。它的主要思想是:求解输入样例在当前字典中的稀疏表示以及字典更新这两个过程的不断交替，根据稀疏表示结果对字典的每一列进行更新。假设有N个训练样本输出，用D∈R^n*k表示过完备词典，Y＝{y_i∈Rⁿ,i＝1,2,........,N}表示训练样本集合，A＝{α_i∈R^k,i＝1,2,......,N}表示训练样本的稀疏表示系数集合，则K-SVD字典训练算法可以等价为求解式

$\begin{array}{ccc}\underset{D.A}{\min }\left\{\right||Y-DA|{|}_F^2\}& s.t.& \∀i,\left|\right|a_i|{|}_0\≤T_0\end{array}$

其中，T为稀疏表示系数中非零数目的上限值。

(3)图像重建过程

详见图3。基于稀疏表示的图像超分辨率重建算法在经过字典训练之后，通过将己知的低分辨率图像在训练得到的高低分辨率字典中进行稀疏表示和重建，从而估计出期望的高分辨率图像。基于稀疏表示的图像超分辨率重建算法的高分辨率图像重建过程。

首先将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，接着提取该初始图像的一阶、二阶梯度特征，对特征进行重叠分块，将每一个图像块对应的特征组合成一个向量，设为y，然后利用在低分辨率字典Dl中获得y得稀疏表示系α*。

$a^{*}=\arg \min \left|\right|y-Dl\mathrm{\α}|{|}_2^2+\mathrm{\β}||PDh\mathrm{\α}-w|{|}_2^2+\mathrm{\λ}\left|\right|a|{|}_1=\arg \min ||\tilde{y}-\tilde{D}\mathrm{\α}|{|}_2^2+\mathrm{\λ}\left|\right|\mathrm{\α}|{|}_1$

其中，

$\tilde{D}=\left[\begin{array}{c}{D}_l\\ {\mathrm{PD}}_h\end{array}\right],\tilde{y}=\left[\begin{array}{c}y\\ \mathrm{\β}w\end{array}\right]$

P为重叠区域，w为重叠区域中已重建出来的像素值，β是一个常数，用来调整已重建出来的像素值对待重建块重建的影响。β的值可根据利用图片自身的特征来确定 表示2范数的平方，||·||₁表示1范数。λ为a*与a的线性参数值。

然后根据高低分辨率图像块在局部具有相似的几何流形这一特性，可认为高低分辨率图像块对在训练集中的稀疏表示系数是一致的，因此将获得的低分辨图像块的稀疏表示系数近似地等于待求的高分辨率图像块在高分辨率字典中的稀疏表示系数，并利用其估计出相应的高分辨率图像块

$\tilde{x}={\mathrm{Dh\α}}^{*}$

利用上述方法，可以获得高分辨率图像的初始估计值X₀。但是，得到的高分辨率图像并不能精确地代表实际的高分辨率图像，且不能很好地体现高分辨率图像退化成低分辨率图像的过程，同时低分辨率图像中可能存在干扰(如噪声等)。因此在算法的最后，基于稀疏表示的图像超分辨率重建算法运用后向投影滤波器来减小高分辨率图像的重建误差。后向投影滤波器用数学式表达为

$X^{*}=\arg \min \left|\right|SHY-y|{|}_2^2+c||X-X_0|{|}_2^2$

其中，S表示采样因子，H表示模糊算子，c为常数。在实际计算中，常采用梯度下降法来求解:

X_lm+1＝X_t+v[H^TS^T(Y-SHX_t)+c(X_t-X₀)]

其中，Xt表示t次迭代后对高分辨率图像的估计，T表示转置，v表示梯度下降法中的步长，lm+1表示低分辨率字典Dl中的第m+1个参数，Y表示高分辨率字典Dh中对应的参数。

基于稀疏表示的图像超分辨率重建方法可以获得更好的图像重建结果,但缺点是相对于双二次插值来说，该算法的运行时间比较长，同时与双二次插值和邻域嵌入的方法相比，该算法在边缘处图像重建得不够平滑。但是基于稀疏表示的图像超分辨率重建算法能更好的保留原始高分辨率图像的信息。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于稀疏表示的图像超分辨率重建方法，其特征在于，包括以下步骤：

S1、利用图像训练库得到完备的高低分辨率字典对，包括低分辨率字典Dl和高分辨率字典Dh；

S2、将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，提取该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，得到低分辨率图像块，将每一个低分辨率图像块对应的特征组合成一个向量，设为y，然后利用低分辨率字典Dl获得y的稀疏表示a^*：

$a^{*}=\arg \min \left|\right|y-Dla|{|}_2^2+\mathrm{\β}||PDha-w|{|}_2^2+\mathrm{\λ}\left|\right|a|{|}_1=\arg \min ||\tilde{y}-\tilde{D}a|{|}_2^2+\mathrm{\λ}\left|\right|a|{|}_1$

其中，P为重叠区域，w为重叠区域中已重建出来的像素值，β是一个常数，用来调整已重建出来的像素值对待重建块重建的影响，λ为a^*与a的线性参数值；

S3、将获得的低分辨率图像特征块的稀疏表示系数近似地等于待求的高分辨率图像块在高分辨率字典Dh中的稀疏表示系数，并利用其估计出相应的高分辨率图像块

S4、利用后向投影滤波器来减小高分辨率图像的重建误差，得到滤波后的高分辨率图像块，后向投影滤波器用数学式表达为其中，S表示采样因子，H表示模糊算子，c为常数，X₀为高分辨率图像的初始估计值；采用梯度下降法来求解:

X_lm+1＝X_t+v[H^TS^T(Y-SHX_t)+c(X_t-X)]

其中，T表示转置，Xt表示t次迭代后对高分辨率图像的估计，v表示梯度下降法中的步长，lm+1表示低分辨率字典Dl中的第m+1个参数，m为整数。

2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：提取图像训练库中的高低分辨率图像块信息，并利用K-奇异值分解算法对获得的高低分辨率图像块进行训练得到稀疏表示的高低分辨率字典对。

3.根据权利要求1所述的方法，其特征在于，所提取的一阶、二阶梯度特征为HOG方向梯度直方图特征。

4.一种基于稀疏表示的图像超分辨率重建***，其特征在于，包括：

训练模块，用于利用图像训练库得到完备的高低分辨率字典对，包括低分辨率字典Dl和高分辨率字典Dh；

稀疏表示模块，用于将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，提取该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，将每一个图像块对应的特征组合成一个向量，设为y，然后利用低分辨率字典Dl获得y的稀疏表示α^*：

$a^{*}=\arg \min \left|\right|y-Dla|{|}_2^2+\mathrm{\β}||PDha-w|{|}_2^2+\mathrm{\λ}\left|\right|a|{|}_1=\arg \min ||\tilde{y}-\tilde{D}a|{|}_2^2+\mathrm{\λ}\left|\right|a|{|}_1$

其中，P为重叠区域，w为重叠区域中已重建出来的像素值，β是一个常数，用来调整已重建出来的像素值对待重建块重建的影响；

高分辨率图像重建模块，用于将获得的低分辨率字典Dl的稀疏表示系数近似地等于待求的高分辨率图像块在高分辨率字典Dh中的稀疏表示系数，并利用其估计出相应的高分辨率图像块

误差消除模块，用于利用后向投影滤波器来减小高分辨率图像的重建误差，得到滤波后的高分辨率图像块，后向投影滤波器用数学式表达为其中，S表示采样因子，H表示模糊算子，，X₀为高分辨率图像的初始估计值，c为常数，采用梯度下降法来求解：

X_lm+1＝X_t+v[H^TS^T(Y-SHX_t)+c(X_t-X)]

其中，Xt表示t次迭代后对高分辨率图像的估计，v表示梯度下降法中的步长。

5.根据权利要求4所述的***，其特征在于，训练模块具体用于：提取图像训练库中的高低分辨率图像块信息，并利用K-奇异值分解算法对获得的高低分辨率图像块进行训练得到稀疏表示的高低分辨率字典对。

6.根据权利要求4所述的***，其特征在于，所提取的一阶、二阶梯度特征为HOG方向梯度直方图特征。