CN106251297A - 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 - Google Patents

Abstract

本发明公开了一种改进的基于多幅图像模糊核估计的盲超分辨率重建方法。主要包括以下步骤：对输入的低分辨率的视频帧中的第一帧图片进行不同程度的模糊处理，得到同一场景的两幅不同模糊程度的图像，得到两张不同模糊程度的图片；利用上述得到的两张同一场景的不同模糊程度的图片，对其采用鲁棒性的去卷积算法生成一个粗略的模糊核，并用此模糊核对所有的视频帧进行去模糊处理，得到处理后的一组图片序列f^k，作为后面处理的输入；利用曲率差分算子提取空间结构信息，然后对其进行聚类得到区域空间自适应加权系数，该系数用于对全变分和非局部均值正则化项进行自适应加权；利用前面得到的自适应加权系数来加权正则化项，从而确定重建代价函数；利用梯度下降法来最优化重建代价函数，其中每次迭代过程中再进行一次模糊核估计，并进行去模糊，最终得到输出的高分辨率图像序列。

Description

一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法

技术领域

本发明涉及图像超分辨率重建技术，具体涉及一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，属于数字图像领域。

背景技术

图像与视频作为视觉信息的载体，是人类获取和传递信息的重要方式，因此，研究和处理图像与视频信息具有十分重要的意义。随着信息化技术的发展，人们对接收到的信息的要求也越来越高，尤其在医学、遥感、天文以及视频监控等应用领域中，都需要获得高分辨率的视频。然而在实际采集视频时，往往受到受到光的像差、欠采样、大气扰动、散焦以及***噪声等因素的影响，所获得的视频的空间分辨率不高。改善成像***中的硬件设备是提高视频分辨率较为简单的途径，但是成本太高，所以我们考虑通过软件的方法来提高图片和视频的分辨率以满足我们的需要。

模糊是视频退化过程的重要因素之一，采集到的视频不仅受传感器自身光学模糊的影响，同时也受到外界大气模糊、运动模糊和散焦模糊等的影响。在超分辨率重建算法中，需要对模糊核进行估计以便能更准确地模拟成像的退化过程，以进一步提高超分辨率重建视频的质量。传统的基于边界梯度变化的模糊核估计，需要选取在图像上两块均匀亮暗区域的直线边界作为刃边，由于在输入的低分辨率图像中很难发现足够的强边缘，所以模糊核估计的问题变得尤为困难。在目前的大多数超分辨率重建算法中，通常假设成像***的点扩展函数是事先已知的或者假设模糊核有简单的解析形式(如高斯形式)，有的甚至没有考虑降晰过程，不符合光学设备真实的成像模型，因此限制了算法在不同真实场景中的应用。

发明内容

本发明的目的就在于为解决上述问题而提供一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法。

本发明提出的一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，具体可以分为以下几个步骤：

(1)对输入的低分辨率的视频帧中的第一帧图片进行不同程度的模糊处理，得到同一场景的两幅不同模糊程度的图像；

(2)利用步骤(1)中得到的两张不同模糊程度的模糊图片进行模糊核估计，并用生成的模糊核对所 有低分辨率视频帧进行去模糊的预处理，得到处理后的图片序列y_l，作为后面处理的输入；

(3)利用曲率差分算子提取空间结构信息，然后对其进行聚类得到区域空间自适应加权系数，该系数用于对全变分和非局部均值正则化项进行自适应加权；

(4)利用步骤(3)中的所确定的自适应加权系数得到的加权的正则化项来确定重建代价函数；

(5)利用梯度下降法来最优化重建代价函数，其中每次迭代过程中采用步骤(2)中的模糊核估计方法再进行一次模糊核估计，并进行去模糊，得到最终输出的高分辨率图像序列。

附图说明

图1是本发明基于多幅图像模糊核估计的盲超分辨率重建算法原理框图

图2是视频“Akiyo”低分辨率帧与采用不同算法的重建结果

图3是视频“Teddy”低分辨率帧与采用不同算法的重建结果

图4是视频“Suzie”低分辨率帧与采用不同算法的重建结果

图5是真实视频Broadcast原始低分辨率帧与采用不同算法的重建结果

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，具体可以分为以下几个步骤：

(1)对输入的低分辨率的视频帧中的第一帧图片进行不同程度的模糊处理，得到同一场景的两幅不同模糊程度的图像；

(2)利用步骤(1)中得到的两张不同模糊程度的模糊图片进行模糊核估计，并用生成的模糊核对所有低分辨率视频帧进行去模糊的预处理，得到处理后的图片序列y_l，作为后面处理的输入；

(3)利用曲率差分算子提取空间结构信息，然后对其进行聚类得到区域空间自适应加权系数，该系数用于对全变分和非局部均值正则化项进行自适应加权；

(4)利用步骤(3)中的所确定的自适应加权系数得到的加权的正则化项来确定重建代价函数；

(5)利用梯度下降法来最优化重建代价函数，其中每次迭代过程中采用步骤(2)中的模糊核估计方法再进行一次模糊核估计，并进行去模糊，得到最终输出的高分辨率图像序列。

具体地，所述步骤(1)中，我们是采用图像复原中的一种模糊核估计算法，其需要同一场景的不同模糊程度的图片来进行模糊核估计，所以我们是先对得到的低分辨率视频中第一帧图片进行两种不同程度的模糊得到两组不同程度的图片序列。

所述步骤(2)中利用步骤(1)得到的同一场景的不同模糊程度的两幅图片，对其采用鲁棒性的去卷 积算法生成一个粗略的模糊核，然后进行去模糊处理得到对应场景的一幅去模糊的图片，再用此模糊核对其余图片做相同的处理得到处理后的图片序列y_l，作为后面处理的输入，具体的模糊核求解过程如下：

首先介绍图像的降质过程，高分辨率图像f经过退化模型后，最终产生了低分辨率图像序列g_i，整个过程对应的数学表达式为：

g_i＝DB_iE_if+n_i,(i＝1,...,p) (1-1)

其中，D表示下采样过程，B_i表示模糊过程，E_i表示坐标变换过程(旋转，平移等)，n_i表示噪声而模糊核估计过程主要是对模糊过程进行估计，本发明中的模糊核求解过程如下：

先考虑重建中去模糊的过程，图像经过不同模糊程度处理后的表达式为：

$g_i=f\⊗h_i+n_i,(i=1,2......n)---(1-2)$

其中，f为原始高清图像，为卷积运算，h_i为不同的模糊核，和前文中的模糊B相对应，g_i为经过不同的模糊处理并加噪的图像。

将上式作如下变换：

$g_1\⊗h_2-g_2\⊗h_1=n_1\⊗h_2-n_2\⊗h_1-\mathrm{\ϵ}---(1-3)$

ε是正比于噪声变量n₁，n₂的误差项，特殊地，在无噪情况下有：在加性高斯白噪声的情况下，当n_i～(0,σ²)，有：

ε～(0,σ²(cov(h1)+cov(h2))) (1-4)

令Σ＝σ²(cov(h₁)+cov(h₂))，通过最大后验概率估计，可得求解的矩阵形式，即：

$\hat{h}=\underset{h}{\arg \min }\left|\right|\mathrm{\ϵ}|{|}^2=h^2{\[G_2-G_1\]}^T{\Σ}^{-1}\[G_2,-G_1\]h---(1-5)$

其中，G_i为g_i的卷积矩阵。通过(1-2)式可知，f和h是相关联的，f的先验信息可以约束h的解。联立(1-2)和(1-5)式，同时，为了更好地保持图像细节信息和解决重建中的病态性问题，本发明采用基于区域空间自适应的全变分和非局部均值正则化项J(f)对视频超分辨率重建过程进行先验约束，则可得h_i的求解公式：

$\begin{array}{c}E\left(h_i\right)=\underset{i}{\Σ}\left|\right|f\⊗h_i-g_i|{|}^2\\ +{\mathrm{\αh}}^T{\[G_2,-G_1\]}^T{\Σ}^{-1}\[G_2,-G_1\]h\\ +\mathrm{\β}J\left(f\right)\end{array},i=1,2---(1-6)$

其中，相对单幅估计，虽然由(1-6)式可解出较为准确的模糊核，但解仍然可能存在不确定性。例如， 对于具有反卷积的一个任意函数S，即：那么对于任意一组则对于：

$\hat{h}=h\⊗s---(1-7)$

$\hat{f}=f\⊗s^{-1}---(1-8)$

也是方程(1-2)的解，所以有必要对模糊进行进一步的优化。

基于此，对(1-7)式进行变换有：

$\begin{array}{c}A\left(\right\{\widehat{h_i}\left\}\right)=g_1\⊗h_2\⊗s-g_2\⊗h_1\⊗s\\ =n_1\⊗h_2\⊗s-n_2\⊗h_1\⊗s\\ =(n_1\⊗h_2-n_2\⊗h_1)\⊗s\end{array}---(1-9)$

考虑到模糊核的粗估计，将模糊核初始的粗估计的降质模型写为：

$h_i^0=h_i\⊗s+{\mathrm{\ϵ}}_i---(1-10)$

其中,为对模糊核的初始粗估计。由于运动模糊核往往是稀疏的，因此在求解过程中引入稀疏先验约束，此外再加上h，s始终为正的约束，则模糊核的细化可通过下式求解：

$\begin{array}{c}E(s,h_i)=\left|\right|h_i\⊗s-h_0|{|}^2+\mathrm{\δ}\mathrm{\Ψ}\left(s\right)\\ +\mathrm{\δ}\mathrm{\Ψ}\left(h_i\right)+\mathrm{\γ}\left|\right|h|{|}_p^p\end{array}---(1-11)$

其中，Ψ(·)表示正约束，其表达式为：

所述步骤3中核心在于如何确定自适应的加权系数，具体求解如下所示：

首先全变分采用的是各向同性模型，其定义为：

$U\left(f\right)=\left|\right|\▿f|{|}_1^1=\underset{i\∈\mathrm{\Ω}}{\Σ}\sqrt{{{(\▿f_x)}_i}^2+{{(\▿f_y)}_i}^2}---(1-13)$

其中，表示图像在像素i处的水平方向的梯度，表示图像在像素i处垂直方向的梯度，Ω表示进行加权的像素集。

非局部均值主要利用非局部图像相似块的冗余信息，通过建立以像素为中心的非局部图像块相似度计算函数，求解当前像素点与其搜寻窗内相似点之间的权值，两个非局部图像块越相似则相应的加权系数就越大。当前像素的去噪结果为窗内所有相似点的加权平均。通过非局部均值得到的图像用数学式子描述为：

$f\left(x_i\right)=\underset{j\∈I}{\Σ}{w}_{i,j}^{N}g\left(x_j\right)---(1-14)$

其中，I表示加权像素的集合，为权重系数，且满足其取值由以x_i为中心的图像块和以x_j为中心的图像块的相似度决定，定义为：

$w_{i,j}^N=\frac{1}{D\left(i\right)}\exp (-\frac{d(i,j)}{h^2})---(1-15)$

其中，为两图像块的欧式距离，为归一化参数，h为全局平滑参数。

然后我们采用了一种在二阶导数的基础上提出的曲率差分边缘提取算子，基于曲率差分将正则化权重系数定义为：

$w_i=\frac{1}{1+{\mathrm{\βC}}_i}---(1-16)$

式中，β为常数，控制参数强度，C_i表示基于二阶导数的曲率差分。借鉴去噪问题中的聚类算法，将w_i分为不连续的区域，具有相似空间权重的像素构成一个区域，正则化系数强度由同一类的聚类中心r_j(j＝1,2,…,n)控制。

最后可以将基于区域空间自适应的正则化项重建约束表示为：

$\begin{array}{c}J\left(f\right)={\mathrm{\λ}}_1\underset{i\∈\mathrm{\Ω}}{\Σ}{R}_i\sqrt{{{(\▿f_x)}_i}^2+{{(\▿f_y)}_i}^2}\\ +{\mathrm{\λ}}_2\underset{i\∈\mathrm{\Ω}}{\Σ}{R}_i\left|\right|f_i-{W_i}^N{N}_i|{|}_2^2\end{array}---(1-17)$

R_i为RSA正则化加权系数，其定义为：

$R_i=\{\begin{array}{cc}\mathrm{\τ}\×r_j,& i\∈\mathrm{\Ω}1\\ r_j,& i\∈\mathrm{\Ω}2\end{array}---(1-18)$

式中，τ为常数，控制正则化参数强度，r_j(j＝1,2,…,n)为第j类的聚类中心，Ω1为图像的平滑区域，Ω2为细节区域。

所述步骤(4)中我们构建的代价函数如下：

$\hat{f}=\arg \min \left\{\underset{{\∂}_{*}\∈\mathrm{\Φ}}{\Σ}\underset{k=1}{\overset{p}{\Σ}}\right||{\mathrm{DB}}_{k}f-y_k|{|}_2^2+{\mathrm{\λ}}_1\underset{i\∈\mathrm{\Ω}}{\Σ}{R}_i\sqrt{{{(\▿f_x)}_i}^2+{{(\▿f_y)}_i}^2}+{\mathrm{\λ}}_2\underset{i\∈\mathrm{\Ω}}{\Σ}{R}_i\left|\right|f_i-{W_i}^N{N}_i\left|{|}_2^2\right\}---(1-19)$

由图1中发现，我们首先对低分辨图片序列中第一帧分别加上两种不同模糊程度的模糊，得到同一场景两种不同模糊程度的图片，然后进行一次模糊核粗估计，具体说明在步骤(1)中，然后用此模糊核对 所有视频帧进行一次去模糊；紧接着我们采用滑动窗的思想，然后依次以参考帧做为参考再对相邻的四帧进行运动配准得到处理后的图片序列y_k，并将其作为后续处理的输入。

所述步骤(5)中利用梯度下降法来最优化重建代价函数，得到最终输出的高分辨率图像：

$f^{k+1}=f^k-(B^k{\mathrm{Df}}^k-y_l)D^{-1}{\left(B^k\right)}^{-1}-{\mathrm{\λ}}_1\underset{i\∈\mathrm{\Ω}}{\Σ}{R}_i\sqrt{{{(\▿f_x)}_i}^2+{{(\▿f_y)}_i}^2}-{\mathrm{\λ}}_2\underset{i\∈\mathrm{\Ω}}{\Σ}{R}_i\left|\right|f-W_i^N{N}_i\left|{|}_2^2\right\}---(1-20)$

其中，B^k表示第k+1次迭代时，对于Df^k(下采样图片)的精估计的模糊核，y_l为公式(1-18)中的y_k，具体估计过程在步骤(2)中有介绍。

为了更好地说明本发明的有效性，本发明将采用对比实验的方法进行展示重建效果。以低分辨率视频“Akiyo”、视频“Teddy”、视频“Suzie”、真实视频“Broadcast”为例，对比实验选取3个具有代表性的图像超分辨率重建方法与本发明的实验结果进行比较，实验结果如图2、图3、图4、图5所示。这3个具有代表性的图像超分辨率重建方法为：

方法1：Xu等人提出的方法，参考文献“Xu L,Zheng S,et al.Unnatural l0sparserepresentation for natural image deblurring[C].Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2013:1107-1114.”。

方法2：Rajagopalan等人提出的方法，参考文献“Rajagopalan,A.N.,and RamaChellappa,eds.Motion Deblurring:Algorithms and Systems[M].CambridgeUniversity Press,2014”。

方法3：nfognition Co.Ltd公司开发的一款Video Enhancer软件，参考文献“InfognitionCo.Ltd,Video Enhance[OL],http://www.infognition.com/videoenhancer/.Version 2.0,23March 2016.”。

对比实验的内容如下：

实验1，分别用方法1、方法2、方法3以及本发明对视频“Akiyo”进行2倍超分辨率重建，选取其中一帧作为对比。超分辨重建结果分别如图2(a)、图2(b)、图2(c)以及图2(d)所示。

实验2，分别用方法1、方法2、方法3以及本发明对视频“Teddy”进行2倍超分辨率重建，选取其中一帧作为对比。超分辨重建结果分别如图3(a)、图3(b)、图3(c)以及图3(d)所示。

实验3，分别用方法1、方法2、方法3以及本发明对视频“Suzie”进行2倍超分辨率重建，选取其中一帧作为对比。超分辨重建结果分别如图4(a)、图4(b)、图4(c)以及图4(d)所示。

实验4，分别用方法1、方法2、方法3以及本发明对真实视频“Broadcast”进行2倍超分辨率重建，选取其中一帧作为对比。超分辨重建结果分别如图5(a)、图5(b)、图5(c)以及图5(d)所示。

从4组实验中可以看出：图(a)重建视频帧边缘信息的锯齿效应较为明显，细节信息出现了失真；图(b)重建结果，与图(a)重建结果相比，恢复出了部分细节信息，但振铃现象较为明显；图(c)重建视频帧整体比较模糊；图(d)为本发明的重建结果，与对比算法重建视频帧相比，细节信息更丰富，视觉效果更好。

Claims (3)

1.一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，其特征在于包括以下步骤：

步骤一：对输入的低分辨率的视频帧中的第一帧图片进行不同程度的模糊处理，得到同一场景的两幅不同模糊程度的图像；

步骤二：利用步骤一中得到的两张不同模糊程度的模糊图片进行模糊核估计，并用生成的模糊核对所有低分辨率视频帧进行去模糊的预处理，得到处理后的图片序列y_l，作为后面处理的输入；

步骤三：利用曲率差分算子提取空间结构信息，然后对其进行聚类得到区域空间自适应加权系数，该系数用于对全变分和非局部均值正则化项进行自适应加权；

步骤四：利用步骤三中的所确定的自适应加权系数得到的加权的正则化项来确定重建代价函数；

步骤五：利用梯度下降法来最优化重建代价函数，其中每次迭代过程中采用步骤二中的模糊核估计方法再进行一次模糊核估计，并进行去模糊，得到最终输出的高分辨率图像序列。

2.根据权利要求1所述的一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，其特征在于步骤二中所述的对图片序列进行了一个去模糊的预处理，预处理的方法是利用步骤二中对其中同一场景的不同模糊程度的两幅图片采用鲁棒性的去卷积算法生成一个粗略的模糊核，然后利用生成的模糊核对所有低分辨率视频帧进行一次去模糊处理，得到去模糊预处理后的图像序列y_l，然后以y_l作为后面处理的输入。

3.根据权利要求1所述的一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法，其特征在于步骤五中所述，在的迭代过程中，对每次迭代重建后的图片加一次模糊得到同一场景的两个不同模糊程度的图片，然后利用步骤二中的算法进行模糊核的再次估计，并再次进行去模糊。