CN105069825B - 基于深度置信网络的图像超分辨率重建方法 - Google Patents

Abstract

基于深度置信网络的图像超分辨率重建方法，涉及图像处理。获取低分辨率的图像，对低分辨率的图像先进行插值放大，放大到所需尺寸；用重复分块采样的方法来获取低分辨亮度图图像块；输入低分辨率图像块，用预先训练好的深度置信网络预测高分辨率的图像块；将得到的拟合结果进行邻域正则化优化求解；将所有的高分辨亮度图像块组合得到高分辨率亮度图像；最后跟之前得到的其它两个通道的值组合起来，再转换成彩色RGB表示的图像，即得到所预测的高分辨率图像。可实现单帧图像的超分辨重建，提高图像的峰值信噪比，得到重建图像清晰边缘和丰富纹理，可用于视频安全监控、医学数字影像、航天探测等。

Description

基于深度置信网络的图像超分辨率重建方法

技术领域

本发明涉及图像处理，尤其是涉及可用于视频安全监控、医学数字影像、航天探测等的基于深度置信网络的图像超分辨率重建方法。

背景技术

图像超分辨率重建因为其应用前景以及实际应用价值，近年来受到广泛的关注，并涌现出了大量的优秀算法。这些算法大致可以分为三大类：基于插值的图像超分辨率重建算法、基于重构的图像超分辨率算法和基于学习的图像超分辨率重建算法。相比其他两类算法，基于学习的图像超分辨率重建算法受到的关注度较高。它通过大量的学习训练，再加上适当的先验约束，使其相比于传统的插值和重构的方法，具有更突出的性能。

在基于学习的超分辨重建方法中，基于稀疏表示的超分辨重建是一类重要的超分重建方法，得到广泛的关注，并被证明是一类很有希望的超分重建方法。另外一类得到关注的方法是基于回归的方法，该类方法将超分问题转化为回归问题，设计回归优化模型。该类方法也被证明是一种行之有效的超分重建的方法。然而，这两大类方法都是通过自顶向下的方式进行模型设计，即需要给出拟合模型。当前对自底向上的求解方式较少讨论。深度学习是一种天然的自底向上的网络架构，近年来，深度学习在语音识别、文本识别及图像分类中都取得了突破性的好效果。

中国专利CN104778659A公开一种基于深度学习的单帧图像超分辨率重建方法，包括以下步骤：1、首先通过训练两个自动编码器用于获得低分辨率和对应高分辨率图像块的特征；2、基于已获得高分辨率和低分辨率图像块的特征，再训练一个单层神经网路学习两个特征的非线性映射关系；3、基于两个自动编码器和单层神经网络，构建三层的深度网络，以低分辨率图像块作为输入，高分辨率图像块作为输出，微调三层深度网络的参数；步骤4、依据得到的三层深度网络做单帧图像超分辨率重建，以低分辨率图像块的灰度值为输入，得到输出即为对应高分辨率图像块的灰度值。

发明内容

本发明的目的在于提供可实现单帧图像的超分辨重建，提高图像的峰值信噪比，得到重建图像清晰边缘和丰富纹理的基于深度置信网络的图像超分辨率重建方法。

本发明包括以下步骤：

(1)输入低分辨率的图像Y；

(2)将低分辨率的图像Y先进行双立方插值放大，放大到所需尺寸；

(3)将图像从用红，绿，蓝三个颜色通道表示的RGB彩色空间转换到亮度和蓝色红色浓度偏移量(YCbCr)彩色空间，并只对图像的亮度值也就是亮度(Y)通道进行后续的处理；

(4)以滑动窗口在图像上进行滑动，步长为1取图像块，得到低分辨的图像块(patch)Y_i，i表示图像块的序号；

(5)用低分辨率的训练图像块，以及对应的高分辨率图像块，通过训练3个受限的波尔兹曼机(Restricted Boltzmamn Machines,RBM)得到网络参数{W_i},{c_i}，其中，{W_i}表示网络中的边连接的权值向量，{c_i}表示网络中下一次对上一层的偏置，用训练得到的{W_i},{c_i}初始化深度置信网络(Deep Belief Network,DBN)的参数；

(6)训练DBN网络(Trained DBN)，将3个RBM叠起来，得到DBN，利用上面得到的训练图像块，用随机梯度下降法和误差的反向传播法微调参数{W_i},{c_i}，直到e<tol或者迭代次数t>T，e表示误差，tol和T是算法中给定的常数阈值；

(7)将待测试图像的低分辨率的图像块(patch块)Y_i作为输入，利用步骤(6)训练好的DBN来预测得到对应的高分辨率的patch块X_i；

(8)将得到的高分辨率的patch块X_i，取图像块中间的像素点赋值为高分辨图像对应位置坐标的像素值，对所有的低分辨率的patch块Y_i进行处理，得到所需的高分辨率的图像亮度图X_{DBN_SR}；

(9)添加非局部相似性约束、局部相似性约束、深度置信网络拟合约束，建立基于邻域关系正则化和拟合关系正则化的超分辨优化模型；

(10)用分离的布雷格曼迭代算法来求解步骤(9)中的优化模型；

(11)将得到的亮度通道(Y)超分辨重建图像跟其它两个颜色通道的值(CbCr)组合起来，再转换成RGB的图像，即得所预测的高分辨率图像X。

在步骤(5)中，所述训练3个受限的波尔兹曼机的方法可为：

(5.1)已知RBM的能量函数为E(υ,h；θ)＝-h^TWυ-b^Th-c^Tυ,θ＝{W,b,c}，联合概率定义为，其中Z＝Σ_vΣ_hexp(-E(υ,h；θ))，v是RBM输入，h是RBM隐层输出，W表示输入层在网络中的边连接的权值向量，c表示网络中输入层对上一层的偏置，b表示网络中上一层对下一层的偏置；设定迭代总次数T，随机初始化待训练的参数θ₀＝(W₀,b₀,c₀)并把它赋值给θ_t，t表示当前迭代次数；

(5.2)将待输入的特征向量/图像块赋值给v₀，并利用P(v|h)，P(h|v)反复迭代n次得到h₀，v_n和h_n，v₀表示第0次迭代输入向量的各个分量，h₀表示第0次迭代隐藏层的各个分量，条件概率计算如下：

P(h_i＝1|v,θ)＝σ(c_i+w_iv)，

P(v|h)＝Π_jP(v_i|h)，

P(v_j＝1|h,θ)＝σ(b_j+w'_jh)，

其中σ(□)为激活函数；

(5.3)利用随机梯度下降法和误差反向传播法得到经过n次吉布斯采样的联合概率分布梯度值，并且更新θ_t里面的三个参数W_t,b_t,c_t，得到θ_t+1；

(5.4)若迭代次数t＝T，或者差异值达到一定小的程度，则程序结束；否则将θ_t+1赋值给θ_t，并返回第(5.2)步。

在步骤(6)中，所述训练DBN网络的方法可为：

(6.1)将3个RBM叠在一起，即第一个RBM以低分辨率图像块为输入，运算得到的输出作为第二个RBM得到的输入，第二个RBM的输出作为第三个RBM的输入，最后得到的输出为X_{DBN_SR}；

(6.2)利用随机梯度下降法和误差反向传播法训练网络，微调θ_t里面的三个参数W_t,b_t,c_t，得到θ_t+1；

(6.3)若迭代次数t＝T，或者差异值达到一定小的程度，则程序结束；否则将θ_t+1赋值给θ_t，并返回第(6.1)。

在步骤(9)中，所述非局部的相似性约束为：在某个像素点比较大的邻域内，利用相似的像素点，来约束当前点，也就是通过相似点加权平均来表示当前点，计算公式为：

R_NL＝||(I-W_NL)X||₁

其中X是输入图像的向量形式；I为单位矩阵；W_NL为权重矩阵，表示若块i与块j越相似，则权重值越大，每个元素的值由下面的式子给出：

其中，X_i表示以第i个像素为中心的图像块，G_α表示标准差为α的高斯函数，它的作用是越靠近中心的位置分配较大的权值，远离中心的位置分配较小的权值，°表示按位相乘，h是衰减参数；

所述局部相似性约束为：从直观上，一张图像中每个像素点与其周围的像素点是极其相似的，所以可以充分利用该现象，用附近像素点来约束当前点，这样能够使图像更加平滑能够克服非局部相似性约束所造成的不连续、不平滑的现象，两者称为互补的约束，用可控核回归的方法来计算这个约束，该约束来自优化问题：

X_l＝[x_i,x₂,…,x_P]^T

K＝diag[K_H(l₁-l),K_H(l₂-l),…,K_H(l_P-l)]

所得到的正则化约束计算公式为：

R_L＝||(I-W_L)X||₁

其中I为单位向量，而W_L有：

X_i表示以i像素点为中心的图像块，e₁为只有第一个元素为1，其他元素都为0的列向量，Ψ为像素的距离矩阵。

所述深度置信网络拟合约束为：

所述超分辨率优化模型表示为：

其中，D表示下采样的矩阵，H表示模糊的矩阵，λ_NL,λ_L和λ_{DBN_SR}分别为上面三个正则项的权重值，用来调节它们所占比例。

本发明将深度学习的方法引入到图像超分辨率重建中，充分发挥深度学习突出的学习能力，来恢复图像的高频信息，再结合适当的正则化约束，提出了超分辨率重建算法。

本发明具有以下突出优点：

1.本发明首先将传统的针对分类问题设计的深度置信网络模型进行改造，将其输入与输出从二值化数据改成实值数据，最终改造成适合超分辨率重建的模型。利用深度置信网络的层次化、高度非线性的结构，发挥其对数据强大的处理能力，恢复出图像大量的高频信息。

2.设计正则化项，建立图像超分辨率重建模型。由于用DBN来做超分辨率重建，没有考虑到邻域的信息，使得基于DBN的超分辨率重建算法具有一定的局限性。针对这个缺点，本发明加入能够充分利用邻域信息的正则化约束，构造出基于正则化约束和DBN的超分辨率重建模型。

3.设计基于分离布雷格曼算法来快速求解的数值算法。

附图说明

图1是本发明的基于深度置信网络的图像超分辨率重建算法框架；

图2是使用本发明用放大两倍的图像只经过深度置信网络处理后的重建结果和其他3种方法的比较；

图3是使用本发明和现有5种方法的图像放大两倍的重建结果比较。

具体实施方式

1.参照图1，本发明的框架为:

步骤1，获取低分辨率插值图像Y。

从互联网上随机下载一幅高分辨亮度图像X,并利用Matlab软件中的imresize函数将该低分辨亮度图像进行2倍的双立方插值放大，得到低分辨率图像Y。

步骤2，得到网络输出图X_{DBN_SR}。

(2a)将图像从RGB彩色空间转换到YCbCr彩色空间，并只对图像的亮度值也就是Y通道进行后续的处理；

(2b)以滑动窗口在图像上进行滑动，得到低分辨的patch块Y_i；

(2c)将得到的低分辨率的patch块作为输入，利用预先训练好的DBN(TrainedDBN)来预测得到高分辨率的patch块X_i；

(2d)将得到的高分辨率的patch块X_i，按照原本的顺序进行重组，得到所想要的高分辨率的图像亮度图X_{DBN_SR}；

步骤3，重建得到高分辨率图像。

将Y通道与其它两个通道的值组合起来，再转换成RGB的图像，这就得到所预测的高分辨率图像。

2.实验结果以及结果分析：

实验一，用本发明经过深度置信网络来进行超分辨率图像重建结果。

为了验证算法的有效性，在测试库set9上，与其他三种经典算法进行比较。图2的五幅图像分别为：Bilinear为双线性插值，SCSR表示基于稀疏表示的超分辨率重建算法，Bicubic表示分段三次插值法。为了方便，记本发明的算法为DBN_SR，Original为原始图像。表1为图2重建结果与其他算法的结构相似性(Structural Similarity IndexMeasurement，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)比较。

图2的实验结果说明：从直观视觉上看，本发明的算法在细节上处理得要好很多，在鹦鹉眼睛的纹理上，比其他三种算法要清晰、细致。双线性插值虽然速度快，但是锯齿、模糊现象严重，双三次插值虽然比双线性插值在边缘要平滑一点，但是仍有严重的模糊现象，SCSR能够恢复很多的细节，但是仍有振铃现象。总的来说，本发明提出的算法，不仅在视觉效果上，而且在客观评价标准上都取得了比其他三种典型的算法要显著的效果，展现了其优秀的超分辨率重建性能。

实验二，用本发明经过深度置信网络加正则项约束后的超分辨率图像重建结果。

为了验证算法的有效性，在测试库set9上，与其他三种经典算法进行比较。图3的七幅图像分别为Original为原始图像，Bicubic为分段三次插值法，SCSR为基于稀疏表示的超分辨率重建算法,ANR为锚点近邻回归,SRCNN为深度卷积神经网络,LLE为局部线性嵌入，Ours为本发明。表2为重建结果与其他算法的SSIM和PSNR比较。

图3和表2的实验结果说明：在不断加入三个正则项之后，在测试集中无论是结构相似性(SSIM)和峰值信噪比(PSNR)都有所提高，当加入了所有的正则项之后，得到了最高的效果。该实验表明，本发明提出的三种正则项，对高分辨率图像的效果是都有所提高的，说明每一项都是有用的，三者的结合能够非常有效地提高最终的高分辨率图像的质量。

表1

表2

在输入为原图通过双三次下采样的情况下进行实验，使算法能够与其他算法在同一起点上。表2可以看出，在峰值信噪比和结构相似上都高于其他几种经典算法，其中基于深度卷积神经网络得到的超分结果SRCNN是2014年发表的论文中超分辨率重建效果最好的方法，但是本发明在加了三个正则化约束之后，图像重建效果超过SRCNN的。说明本发明的算法具有很强的重建能力。

Claims (7)

1.基于深度置信网络的图像超分辨率重建方法，其特征在于包括以下步骤：

(1)输入低分辨率的图像Y；

(2)将低分辨率的图像Y先进行双立方插值放大，放大到所需要的尺寸；

(3)将图像从用红，绿，蓝三个颜色通道表示的RGB彩色空间转换到亮度和蓝色红色浓度偏移量(YCbCr)彩色空间，并只对图像的亮度值也就是亮度(Y)通道进行后续的处理；

(4)以滑动窗口在图像上进行滑动，步长为1取图像块，得到低分辨的图像块(patch)Y_i，i表示图像块的序列号；

(5)用低分辨率的训练图像块，以及对应的高分辨率图像块，通过训练3个受限的波尔兹曼机得到网络参数{W_i},{c_i}，其中，{W_i}表示网络中的边连接的权值向量，{c_i}表示网络中下一层对上一层的偏置，用训练得到的{W_i},{c_i}初始化深度置信网络(Deep BeliefNetwork,DBN)的参数；

(6)训练DBN网络(Trained DBN),将3个RBM叠起来，得到DBN，利用上面得到的训练图像块，用随机梯度下降法和误差的反向传播法微调参数{W_i},{c_i}，直到e<tol或者迭代次数t>T，e表示误差，tol和T是算法中给定的常数阈值；

(7)将待测试图像的低分辨率的图像块patch块Y_i作为输入，利用步骤(6)训练好的DBN来预测得到对应的高分辨率的图像块X_i；

(8)将得到的高分辨率的图像块X_i，取图像块中间的像素点赋值为高分辨图像对应位置坐标的像素值，对所有的低分辨率的图像块Y_i进行处理，得到所想要的高分辨率的图像亮度图X_{DBN_SR}；

(9)添加非局部相似性约束，局部相似性约束，深度置信网络拟合约束，建立基于邻域关系正则化和拟合关系正则化的超分辨优化模型；

(10)用分离的布雷格曼迭代算法来求解步骤(9)中的优化模型；

(11)将得到的亮度通道(Y)超分辨重建图像跟其它两个颜色通道的值(CbCr)组合起来，再转换成RGB的图像，即得所预测的高分辨率图像X。

2.如权利要求1所述的基于深度置信网络的图像超分辨率重建方法，其特征在于在步骤(5)中所述训练3个受限的波尔兹曼机的方法为：

(5.1)已知RBM的能量函数为E(ν,h；θ)＝-h^TWν-b^Th-c^Tν，θ＝(W,b,c)，联合概率定义为其中Z＝∑_ν∑_hexp(-E(ν,h；θ))，ν是RBM的输入，h是RBM隐层输出；W表示输入层在网络中的边连接的权值向量，c表示网络中输入层对上一层的偏置，b表示网络中上一层对下一层的偏置；设定迭代总次数T，随机初始化待训练的参数θ₀＝(W₀,b₀,c₀)并把它赋值给θ_t，t表示当前迭代次数；

(5.2)将待输入的特征向量/图像块赋值给ν₀，并利用P(ν|h)，P(h|ν)反复迭代n次得到h₀，ν_n和h_n，ν₀表示第0次迭代输入向量的各个分量，h₀表示第0次迭代隐藏层的各个分量，条件概率计算如下：

P(h_i＝1|ν,θ)＝σ(c_i+w_iν)，

P(ν|h)＝Π_jP(ν_j|h)，

P(ν_j＝1|h,θ)＝σ(b_j+w'_jh)，

其中σ(·)为激活函数；

(5.3)利用随机梯度下降法和误差反向传播法得到经过n次吉布斯采样的联合概率分布梯度值，并且更新θ_t里面的三个参数W_t、b_t、c_t，得到θ_t+1；

(5.4)如果迭代次数t＝T，或者差异值达到一定小的程度，程序结束；否则将θ_t+1赋值给θ_t，并返回第(5.2)步。

3.如权利要求2所述基于深度置信网络的图像超分辨率重建方法，其特征在于在步骤(6)中，所述训练DBN网络的方法为：

(6.1)将3个RBM叠在一起，即第一个RBM以权利要求1步骤(4)得到低分辨率图像块为输入，运算得到的输出作为第二个RBM得到的输入，第二个RBM的输出作为第三个RBM的输入，最后得到的输出为X_{DBN_SR}；

(6.2)利用随机梯度下降法和误差反向传播法训练网络，微调θ_t里面的三个参数W_t、b_t、c_t，得到θ_t+1，其中参数θ_t、W_t、b_t、c_t、θ_t+1定义见权利要求2步骤(5.1)和(5.3)；

(6.3)如果迭代次数t＝T，或者差异值达到一定小的程度，则程序结束；否则将θ_t+1赋值给θ_t，并返回第(6.1)。

4.如权利要求3所述基于深度置信网络的图像超分辨率重建方法，其特征在于在步骤(9)中，所述非局部的相似性约束为：在某个像素点比较大的邻域内，利用相似的像素点，来约束当前点，也就是通过相似点加权平均来表示当前点，计算公式为：

R_NL＝||(I-W_NL)X||₁

其中X是输入图像的向量形式，I为单位矩阵；W_NL为权重矩阵，表示如果块i与块j越相似，则权重值越大，每个元素的值由下面的式子给出：

其中，X_i表示以第i个像素为中心的图像块，G_α表示标准差为α的高斯函数，它的作用是越靠近中心的位置分配较大的权值，远离中心的位置分配较小的权值，。表示按位相乘，h是衰减参数。

5.如权利要求4所述基于深度置信网络的图像超分辨率重建方法，其特征在于在步骤(9)中，所述局部相似性约束为：从直观上，一张图像中每个像素点与其周围像素点是极其相似的，所以可以充分利用该现象，用附近像素点来约束当前点，这样能够使图像更加平滑能够克服非局部相似性约束所造成的不连续、不平滑的现象，两者称为互补的约束，用可控核回归方法来计算这个约束，该约束来自优化问题：

其中K_H(l_i-l)为权重核，是位置l的近邻，与l越近，权重就越大，C_i为梯度协方差矩阵，h_k为可控核的平滑参数；

该问题转化为矩阵形式为：

其中，

X_l＝[x₁,x₂,…,x_P]^T，

K＝diag{K_H(l₁-l),K_H(l₂-l),…,K_H(l_P-l)}为对角矩阵；

所得到的正则化约束计算公式为：

R_L＝||{(I-W_L)X}||₁

其中I为单位矩阵，而W_L有：

X_i表示以i为中心的图像块，e₁为只有第一个元素为1，其他元素都为0的列向量，ψ为像素的距离矩阵。

6.如权利要求5所述基于深度置信网络的图像超分辨率重建方法，其特征在于在步骤(9)中，定义深度置信网络拟合约束为：

7.如权利要求6所述基于深度置信网络的图像超分辨率重建方法，其特征在于在步骤(9)中，所述超分辨率优化模型表示为：

其中，D表示下采样的矩阵，H表示模糊矩阵λ_NL，λ_L和λ_{DBN_SR}分别为上面三个正则项的权重值，用来调节它们所占的比例。