CN102222321A - 一种视频序列盲重建方法 - Google Patents

Abstract

本发明公开一种视频序列盲重建方法，步骤为：（1）对算法进行初始化，包括仿射运动初始参数、模糊核函数和高分辨率视频序列图像的初始化；（2）建立图像增强观测模型；（3）进行如下迭代算法：①进行模糊核函数辨识；②视频序列图像的超分辨率重建，得出高分辨率图像；③进行仿射运动参数估计；④判断步骤②、③得出的结果是否满足迭代终止条件，不满足则返回①，直到满足条件；（4）得出最终的视频序列重建图像。此方法可有效提高重建视频的质量，达到对于任意一组低分辨率视频序列，都能根据其特点进行盲重建，提高图像的显示效果，这对于随机的遥感图像处理、医学视频处理、军事安全监控***开发等方面，都具有重要的理论和实际意义。

Description

一种视频序列盲重建方法

技术领域

本发明属于数字图像增强技术领域，涉及到视频序列图像超分辨重建技术以及低分辨率图像的超分辨率盲重建中模糊核函数的辨识技术。

背景技术

近年来，超分辨率重建技术已成为图像处理领域的一个研究热点，广泛应用于遥感、医学成像和军事等多个领域。然而当前的超分辨率重建方法，没有考虑不同的低分辨率图像序列各自的特点，缺乏自适应性；而且对重建模型中的模糊步骤，并没有进行深入的研究，它们往往在重建过程中，事先设定好图像退化过程中的模糊核函数，从而达不到完全的盲重建；同时，应用对象大多局限于多幅普通的LR(低分辨率)图像，对于应用前景较广的LR视频序列，超分辨率重建技术并没有发挥其应有的作用，达到视频序列的超分辨率实时重建。可以说，视频序列的超分辨率重建和超分辨率盲重建技术，是当今超分辨率技术研究的两大热点问题。视频序列的超分辨率盲重建是超分辨率重建技术的延伸和发展，它的主要任务是对于给定的低分辨率视频序列，在较短的时间内自动将其实时转换为高分辨率的视频，在这过程中不需要任何人为的干预和设置，可应用于安全监控、高清电视等诸多热点应用领域。视频序列超分辨率盲重建技术虽然受到了一定的关注，但是有价值的成果并不多见，有待更多的深入研究。

目前的图像的超分辨率重建技术大多是基于图像建模理论的正则超分辨率重建法以及基于学习的超分辨率重建法。基于图像建模理论的正则超分辨率重建法(Regularized SR Reconstruction，RSRR)主要分为基于最大后验概率(MAP)框架的超分辨率重建和基于正则化理论(正则空间几何图像模型)的超分辨率重建。在MAP框架下，超分辨率重建是一个基于MRF(马尔可夫随机场)统计先验模型的统计推断问题。文献(IEEE Transactions on Image Processing，1997，6(12)：1646-1658)将MAP估计作为一个凸集约束加入约束集的交集中，为超分辨率重建构造了一个新的凸集解空间。文献(IEEE Transactions on Image Processing，2007，16(2)：479-490)提出了一种基于最大后验概率模型的图像超分辨率重建方法，该方法在进行超分辨率重建的同时，将图像分割和图像运动估计也融入其中。基于正则化理论的超分辨率重建基本框架是，根据低分辨率图像序列的退化模型和图像模型对应的正则项构造得到正则化能量泛函，通过最小化能量泛函得到高分辨率图像。与MAP框架类似，正则空间几何图像模型的合理设计直接决定着超分辨率重建图像的视觉效果。文献(Proceedings of International Conference onPattern Recognition，2000，1：600-605)提出基于连续全变差模型(Total Variation，TV)的文本图像序列超分辨率重建算法。文献(IEEE Transactions on Image Processing，2004，13(10)：1327-1344)提出一种双边滤波和l¹范数耦合的双边全变差模型用于超分辨率图像重建，并且采用块估计的方法进行运动估算。文献(Journal of Electronic Imaging，2003，12(2)：244-251)提出基于扩散张量的边缘增强和各向异性扩散变分超分辨率重建算法。此外，基于正向和反向偏微分方程(Partial Differential Equation，PDE)的图像去噪及超分辨率增强算法、基于自适应维纳滤波的快速超分辨率重建算法、基于最小均方的统计分析方法等都具有较好的重建效果。

基于学习的超分辨率(example-based)重建研究的主要思想是，通过学习已有的HR(高分辨率)图像序列获取先验信息进而提高分辨率。在LR图像序列的帧数较少以及分辨率提高倍数较大的情形下，LR图像序列所能提供的互补性样本信息相对有限，不足以使超分辨率重建算法恢复更多的高频信息。这种情况下关于图像本身的先验知识就显得非常重要。除了传统MRF统计先验模型和正则空间几何图像模型能够提供图像的先验信息，另一种重要方法就是通过神经网络技术进行学习训练得到。Baker等提出了一种称为Hallucination的人脸图像超分辨率重建算法，通过引入LR图像的特征识别，在大分辨率增强因子情形下获得比超分辨率R等重建算法更好的效果。

当前绝大多数的超分辨率重建算法，往往重视重建图像的效果，对运算速度的要求不是很高。视频超分辨率重建，例如高清晰度电视标准和合成视频变焦，不仅要求能够提高视频各帧的空间分辨率，而且要求能够快速重建相应的高分辨率视频序列。当前的技术已经注意解决这类问题，例如，可以根据前一帧HR图像估计和LR视频序列的当前帧进行快速估计当前帧的HR图像。另外压缩视频超分辨率重建与传统超分辨率重建有所不同，压缩视频被表示为序列的运动矢量和变换系数。压缩视频超分辨率重建通常首先需要将视频进行解码，复原成普通图像序列后再进行重建。因此，压缩视频超分辨率重建过程需要考虑压缩过程中产生的量化噪声、阶梯效应、以及振铃效应等。

目前，大多数超分辨率重建算法都假定LR图像序列的退化模型已知，尤其是假设已知模糊核函数。但是，很多实际情况下，图像的退化过程是未知的或者仅仅知道模糊核函数的参数模型。因此，需要对模糊核函数进行辨识，这种情况下的超分辨率重建算法称为超分辨率盲重建。文献(IEEE Transactions on Image Processing，2001，10(9)：1299-1308)根据广义交叉验证(Generalized Cross Validation，GCV)和高斯积分理论进行模糊参数的估计，通过求解多元变量的非线性最优化问题得到未知参数，并且利用高斯积分理论准确有效地估计GCV目标函数。由于超分辨率盲重建问题的复杂性，目前超分辨率盲重建研究成果相对有限，因此超分辨率盲重建值得特别关注和深入研究。

发明内容

本发明的目的，在于提供一种视频序列盲重建方法，其可有效提高重建视频的质量，达到对于任意一组低分辨率视频序列，都能根据其特点进行盲重建，提高图像的显示效果，这对于随机的遥感图像处理、医学视频处理、军事安全监控***开发等方面，都具有重要的理论和实际意义。

为了达成上述目的，本发明所采用的技术方案是：

一种视频序列盲重建方法，包括如下步骤：

(1)对算法进行初始化，包括初始化仿射运动初始参数、初始化模糊核函数和初始化高分辨率视频序列图像；

(2)建立图像增强观测模型；

(3)进行如下迭代算法：

①进行模糊核函数辨识；

②视频序列图像的超分辨率重建，得出高分辨率图像；

③进行仿射运动参数估计；

④判断第②、③步骤得出的结果是否满足迭代终止条件，若不满足，返回①，直到满足条件；

(4)得出最终的视频序列重建图像。

上述步骤(1)中，选用高斯模糊、高焦模糊或线性模糊作为模糊核函数的初始值。

上述步骤(1)中，仿射运动初始参数α⁽⁰⁾的选取方法是：

令：

其中的θ、s、t分别代表旋转、平移和缩放的仿射参数，k表示第k幅m×n的LR观测图像，采用(1)式表示将HR图像经仿射变换后得到LR图像的过程：

f_k(u，v，t)＝f_k(c_1ku+c_2kv+c_3k，c_4ku+c_5kv+c_6k，t-1)  (1)

其中，f_k为低分辨率图像；

设：

$E\left(c_k\right)=\underset{u,v\∈\mathrm{\Ω}}{\mathrm{\Σ}}{[f_k(u,v,t)-f_k(c_{k1}u+c_{k2}v+c_{k3},c_{k4}u+c_{k5}v+c_{k6},t-1)]}^2---\left(2\right)$

令

解出c_k，然后通过(3)式：

$\left\{\begin{array}{ccc}{c}_{k1}=s_{\mathrm{xk}}\cos {\mathrm{\θ}}_k,& c_{k2}=-s_{\mathrm{yk}}\sin {\mathrm{\θ}}_k,& c_{k3}=s_{\mathrm{xk}}{t}_{\mathrm{xk}}\cos {\mathrm{\θ}}_k-s_{\mathrm{yk}}{t}_{\mathrm{yk}}\sin {\mathrm{\θ}}_k\\ c_{k4}=s_{\mathrm{xk}}\sin {\mathrm{\θ}}_k,& c_{k5}=s_{\mathrm{yk}}\cos {\mathrm{\θ}}_k,& c_{k6}=s_{\mathrm{xk}}{t}_{\mathrm{xk}}\sin {\mathrm{\θ}}_k+s_{\mathrm{yk}}{t}_{\mathrm{yk}}\cos {\mathrm{\θ}}_k\end{array}\right.---\left(3\right)$

解出

最后得出

上述步骤(1)中，高分辨率初始图像z⁽⁰⁾通过α⁽⁰⁾求出，方法如下：

z⁽⁰⁾＝(W^T(α⁽⁰⁾)W(α⁽⁰⁾)+I)^-1W^T(α⁽⁰⁾)y    (4)

其中，

上述步骤(2)的详细过程为：令：

1≤k≤p              (6)

其中，y_k为第k幅m×n的LR观测图像经字典排序后组成的N×1(N＝mn)的向量，如果r₁和r₂分别为水平和垂直方向的下采样因子，那么，z为大小为r₁m×r₂n的HR图像经字典排序后形成的r₁r₂N×1的向量，M_k为大小为r₁r₂N×r₁r₂N的仿射变换矩阵，B_k为大小为r₁r₂N×r₁r₂N的模糊矩阵，D为大小为N×r₁r₂N下采样矩阵，n_k为N×1的噪声向量；上式中

为图像等速运动的变换矩阵，

为图像非等速运动的变换矩阵，同时将整幅图像看成一个完整的运动域，并设m_k(x_u，v)＝[m_k，u(x_u，v)，m_k，v(x_u，v)]为图像像素点的运动向量，其中x_u，v＝[x_u，x_v]为图像的像素点，同样，图像的运动向量也分为等速运动向量和非等速运动向量，令其为：

根据如下公式得出

上述步骤(3)中，还对图像重建模型进行优化，得到：

其中，α_k为仿射运动参数，则图像重建公式为：

再采用基于最小二乘的投影方法的对(10)式进行优化求解。

上述步骤(3)后，还包括步骤A，所述步骤A的过程为：

[1]根据最大后验概率技术来推导超分辨率重建模型，如下：

$\left\{\begin{array}{c}\hat{z}=\arg \underset{z}{\max }\left\{p\left(z^{\left(i\right)}\right|y)\right\}\\ \hat{z}=\arg \underset{z}{\max }\left\{p\left(\mathrm{\Δ}{z}^{\left(i\right)}\right|y)\right\}\end{array}\right.---\left(11\right)$

(11)式中，

为HR图像的估计值，Δz⁽ⁱ⁾＝z⁽ⁱ⁾-z^(i-1)，z⁽ⁱ⁾为第i次迭代后所得到的HR图像；

[2]对(11)式进行分析优化，得出超分辨率重建计算模型，如下：

其中，λ₁，λ₂为调整参数，Q₁为稳定矩阵；

[3]区别不同低分辨率图像对超分辨率重建图像的影响，如(13)式所示：

(13)式中，l_k为第k幅LR图像对SR重建图像所构成影响的重要性权值；

[4]通过最快梯度法解出(3)式，得出最终重建图像。

采用上述方案后，本发明根据视频序列特点，建立图像增强观测模型，在此基础上对视频序列图像进行盲重建。盲重建的步骤分为：模糊核函数辨识、参数优化等步骤。为了进一步提升算法的效果，本发明还在算法中融入自适应性技术，使得视频序列重建时能根据输入图像的特点及时修正参数。

附图说明

图1是本发明的流程图。

具体实施方法

本发明涉及数字图像的超分辨率重建算法、模糊核函数的自动选择以及整个算法针对视频序列的优化，其具体实施方法包括以下步骤：

1、算法的初始化

对于算法中的初始化问题，即在算法进行前首先要给出初始值

z⁽⁰⁾以及初始的模糊核函数，本发明提出的具体步骤为：

[1]选用高斯模糊作为模糊核函数的初始值(能否采用其它的模糊核函数？)；

[2]仿射运动初始参数α⁽⁰⁾的选取方法如下：

令：

其中的θ、s、t分别代表旋转、平移和缩放的仿射参数，将HR图像经仿射变换后得到LR图像的过程可用(1)式表示：

f_k(u，v，t)＝f_k(c_1ku +c_2kv +c_3k，c_4ku +c_5kv +c_6k，t-1)  (1)

其中，f_k为低分辨率图像。

设：

$E\left(c_k\right)=\underset{u,v\∈\mathrm{\Ω}}{\mathrm{\Σ}}{[f_k(u,v,t)-f_k(c_{k1}u+c_{k2}v+c_{k3},c_{k4}u+c_{k5}v+c_{k6},t-1)]}^2---\left(2\right)$

令

解出c_k，然后通过(3)式：

$\left\{\begin{array}{ccc}{c}_{k1}=s_{\mathrm{xk}}\cos {\mathrm{\θ}}_k,& c_{k2}=-s_{\mathrm{yk}}\sin {\mathrm{\θ}}_k,& c_{k3}=s_{\mathrm{xk}}{t}_{\mathrm{xk}}\cos {\mathrm{\θ}}_k-s_{\mathrm{yk}}{t}_{\mathrm{yk}}\sin {\mathrm{\θ}}_k\\ c_{k4}=s_{\mathrm{xk}}\sin {\mathrm{\θ}}_k,& c_{k5}=s_{\mathrm{yk}}\cos {\mathrm{\θ}}_k,& c_{k6}=s_{\mathrm{xk}}{t}_{\mathrm{xk}}\sin {\mathrm{\θ}}_k+s_{\mathrm{yk}}{t}_{\mathrm{yk}}\cos {\mathrm{\θ}}_k\end{array}\right.---\left(3\right)$

解出

最后得出

[3]高分辨率初始图像z⁽⁰⁾通过α⁽⁰⁾求出，方法如下：

z⁽⁰⁾＝(W^T(α⁽⁰⁾)W(α⁽⁰⁾)+I)^-1W^T(α⁽⁰⁾)y    (4)

其中，

2、建立图像增强观测模型

(1)图像增强观测模型的建立

一幅HR图像经过模糊、仿射运动变换、抽样等处理，再加上高斯白噪声，就变成了一幅LR图像，这就是图像的退化过程，也就是LR图像进行SR重建时常用的图像观测模型。设：有p幅大小为m×n的LR观测图像

那么，根据图像的退化模型，有

y_k＝DB_kM_kz+n_k，1≤k≤p             (5)

这里，y_k为第k幅m×n的LR观测图像经字典排序后组成的N×1(N＝mn)的向量，如果r₁和r₂分别为水平和垂直方向的下采样因子，那么，z为大小为r₁m×r₂n的HR图像经字典排序后形成的r₁r₂N×1的向量，M_k为大小为r₁r₂N×r₁r₂N的仿射变换矩阵，B_k为大小为r₁r₂N×r₁r₂N的模糊矩阵，D为大小为N×r₁r₂N下采样矩阵，n_k为N×1的噪声向量。

上述观测模型应用虽然广泛，但是，它并不适用于图像的非等速运动，因此当视频序列图像的相邻帧不仅有2D平面运动，而且有3D运动时，此模型并不能精确地表征图像的运动，从而影响图像重建的效果。

本发明基于上述分析考虑，得出一种适合视频图像序列超分辨率重建的增强图像观测模型，具体如下，令：

1≤k≤p    (6)

上式中为图像等速运动的变换矩阵，为图像非等速运动的变换矩阵，同时将整幅图像看成一个完整的运动域，并设m_k(x_u，v)＝[m_k，u(x_u，v)，m_k，v(x_u，v)]为图像像素点的运动向量，其中x_u，v＝[x_u，x_v]为图像的像素点，同样，图像的运动向量也分为等速运动向量和非等速运动向量，令其为：

根据如下公式得出

本发明得出的图像重建模型不仅能更加精确地表征***，而且能得出图像的全局运动域，即在图像超分辨率重建的同时，进行图像的运动估计。

(2)针对视频序列的超分辨率算法优化

本发明将超分辨率重建算法针对视频序列进行优化，详细如下：

在超分辨率盲重建中建立图像增强观测模型时，把图像配准考虑在内，在进行超分辨率重建时同时进行图像配准，将有效的减少运算时间，有效增强SR重建的实时性，这样，(6)式的增强图像观测模型相应地变为：

(9)式中，α_k为仿射运动参数。图像重建公式为：

视频序列图像SR重建时，采用一定的优化方法同时计算仿射运动参数α_k和HR图像z，可较大幅度的减少计算时间。本发明采用基于最小二乘的投影方法的对(10)式进行优化求解。

3、SR盲重建中模糊核函数的辨识

在超分辨率重建过程中，对于(5)式的图像退化模型，如何有效确定模糊矩阵B_k，即如何辨识模糊核函数，一直是盲重建技术的难点。对此，本发明给出一种模糊决策的方法来解决这个问题，具体步骤如下：

[1]本发明对所有模糊核函数进行整理和分析，建立常用的模糊核函数库Θ，如下：

上式的模糊核函数库中包括了3种常用的模糊核函数，分别是离焦模糊、高斯模糊和线性模糊。此模糊核函数库中的种类不是固定的，可以根据辨识的精度要求在库中增加其它的模糊核函数。

[2]超分辨率盲重建的关键就是如何在模糊核函数库Θ中准确选择最为接近真实情况的模糊核函数，本发明设计一种遍历算法，如下所示：

For all k do

For a1l i do

$j,{\mathrm{\θ}}_k=\arg \underset{i,\mathrm{\θ}}{\min }\left(\right||B_k-b_i\left(\mathrm{\θ}\right)|\left|\right)$

end For

end For

使模糊变化矩阵B_k与模糊核函数库中某参数下的核函数的拉普拉斯距离最小，此核函数即可指定为当前SR重建中退化模型的模糊核函数，公式如下：

$j,{\mathrm{\θ}}_k\text{=arg}\underset{i,\mathrm{\θ}}{\min }\left(\right||B_k-b_i\left(\mathrm{\θ}\right)|\left|\right)$

上式中，i表示模糊库中模糊的种类，θ表示模糊核函数的模糊参数。

4、自适应权值的选择

本发明在超分辨率重建时引入了自适应的思想，大大增强了重建算法的效果，但是，自适应算法中的自适应权值的选择方法对算法的速度有着较大的影响，(7)式中的自适应权值l_k如何选择，将直接影响视频序列SR重建的效果以及算法的实时性，本发明设计权值的步骤如下：

[1]令l_k与

的大小成反比例。

[2]令

得出自适应权值l_k。

超分辨率重建自适应算法具体步骤如下：

[1]根据最大后验概率技术来推导超分辨率重建模型，如下：

$\left\{\begin{array}{c}\hat{z}=\arg \underset{z}{\max }\left\{p\left(z^{\left(i\right)}\right|y)\right\}\\ \hat{z}=\arg \underset{z}{\max }\left\{p\left(\mathrm{\Δ}{z}^{\left(i\right)}\right|y)\right\}\end{array}\right.---\left(11\right)$

(11)式中，

为HR图像的估计值，Δz⁽ⁱ⁾＝z⁽ⁱ⁾-z^(i-1)，z⁽ⁱ⁾为第i次迭代后所得到的HR图像。

[2]对(11)式进行分析优化，得出超分辨率重建计算模型，如下：

其中，λ₁，λ₂为调整参数，Q₁为稳定矩阵。

[3]引入自适应加权的思想，来区别不同低分辨率图像对超分辨率重建图像的影响，使得超分辨率重建算法具有自适应性，这样能更精确地表征图像重建模型，算法也能达到更快的收敛和更好的效果，如(13)式所示：

(13)式中，l_k为第k幅LR图像对SR重建图像所构成影响的重要性权值。

[4]通过最快梯度法解出(3)式，得出最终重建图像。

综上所述，本发明涉及的图像超分辨率盲重建技术是根据观测到的不同低分辨率图像序列的特点，自适应地辨识图像退化过程中的模糊核函数；然后将一种快速有效的图像配准方法和图像超分辨率盲重建有机融合；在超分辨率盲重建过程中，考虑不同低分辨率图像对重建效果的影响，能够自适应的进行视频序列重建，改善视频图像显示性能。基于所给出的视频序列图像超分辨率盲重建技术能够有效地提升图像质量，可以指导民用视频图像处理软件的开发。

Claims (7)

1.一种视频序列盲重建方法，其特征在于包括如下步骤：

(1)对算法进行初始化，包括初始化仿射运动初始参数、初始化模糊核函数和初始化高分辨率视频序列图像；

(2)建立图像增强观测模型；

(3)进行如下迭代算法：

①进行模糊核函数辨识；

②视频序列图像的超分辨率重建，得出高分辨率图像；

③进行仿射运动参数估计；

④判断第②、③步骤得出的结果是否满足迭代终止条件，若不满足，返回①，直到满足条件；

(4)得出最终的视频序列重建图像。

2.如权利要求1所述的一种视频序列盲重建方法，其特征在于：所述步骤(1)中，选用高斯模糊、高焦模糊或线性模糊作为模糊核函数的初始值。

3.如权利要求1或2所述的一种视频序列盲重建方法，其特征在于所述步骤(1)中，仿射运动初始参数α⁽⁰⁾的选取方法是：

令：

其中的θ、s、t分别代表旋转、平移和缩放的仿射参数，k表示第k幅m×n的LR观测图像，采用(1)式表示将HR图像经仿射变换后得到LR图像的过程：

          f_k(u，v，t)＝f_k(c_1ku+c_2kv+c_3k，c_4ku+c_5kv+c_6k，t-1)  (1)

其中，f_k为低分辨率图像；

设：

$E\left(c_k\right)=\underset{u,v\∈\mathrm{\Ω}}{\mathrm{\Σ}}{[f_k(u,v,t)-f_k(c_{k1}u+c_{k2}v+c_{k3},c_{k4}u+c_{k5}v+c_{k6},t-1)]}^2---\left(2\right)$

令

解出c_k，然后通过(3)式：

$\left\{\begin{array}{ccc}{c}_{k1}=s_{\mathrm{xk}}\cos {\mathrm{\θ}}_k,& c_{k2}=-s_{\mathrm{yk}}\sin {\mathrm{\θ}}_k,& c_{k3}=s_{\mathrm{xk}}{t}_{\mathrm{xk}}\cos {\mathrm{\θ}}_k-s_{\mathrm{yk}}{t}_{\mathrm{yk}}\sin {\mathrm{\θ}}_k\\ c_{k4}=s_{\mathrm{xk}}\sin {\mathrm{\θ}}_k,& c_{k5}=s_{\mathrm{yk}}\cos {\mathrm{\θ}}_k,& c_{k6}=s_{\mathrm{xk}}{t}_{\mathrm{xk}}\sin {\mathrm{\θ}}_k+s_{\mathrm{yk}}{t}_{\mathrm{yk}}\cos {\mathrm{\θ}}_k\end{array}\right.---\left(3\right)$

解出

最后得出

4.如权利要求1、2或3所述的一种视频序列盲重建方法，其特征在于所述步骤(1)中，高分辨率初始图像z⁽⁰⁾通过α⁽⁰⁾求出，方法如下：

   z⁽⁰⁾＝(W^T(α⁽⁰⁾)W(α⁽⁰⁾)+I)^-1W^T(α⁽⁰⁾)y    (4)

其中，

5.如权利要求1所述的一种视频序列盲重建方法，其特征在于所述步骤(2)的详细过程为：令：

1≤k≤p    (6)

其中，y_k为第k幅m×n的LR观测图像经字典排序后组成的N×1(N＝mn)的向量，如果r₁和r₂分别为水平和垂直方向的下采样因子，那么，z为大小为r₁m×r₂n的HR图像经字典排序后形成的r₁r₂N×1的向量，M_k为大小为r₁r₂N×r₁r₂N的仿射变换矩阵，B_k为大小为r₁r₂N×r₁r₂N的模糊矩阵，D为大小为N×r₁r₂N下采样矩阵，n_k为N×1的噪声向量；上式中

为图像等速运动的变换矩阵，为图像非等速运动的变换矩阵，同时将整幅图像看成一个完整的运动域，并设m_k(x_u，v)＝[m_k，u(x_u，v)，m_k，v(x_u，v)]为图像像素点的运动向量，其中x_u，v＝[x_u，x_v]为图像的像素点，同样，图像的运动向量也分为等速运动向量和非等速运动向量，令其为：

根据如下公式得出

6.如权利要求5所述的一种视频序列盲重建方法，其特征在于所述步骤(3)中，还对图像重建模型进行优化，得到：

其中，α_k为仿射运动参数，则图像重建公式为：

再采用基于最小二乘的投影方法的对(10)式进行优化求解。

7.如权利要求6所述的一种视频序列盲重建方法，其特征在于：所述步骤(3)后，还包括步骤A，所述步骤A的过程为：

[1]根据最大后验概率技术来推导超分辨率重建模型，如下：

$\left\{\begin{array}{c}\hat{z}=\arg \underset{z}{\max }\left\{p\left(z^{\left(i\right)}\right|y)\right\}\\ \hat{z}=\arg \underset{z}{\max }\left\{p\left(\mathrm{\Δ}{z}^{\left(i\right)}\right|y)\right\}\end{array}\right.---\left(11\right)$

(11)式中，为HR图像的估计值，Δz⁽ⁱ⁾＝z⁽ⁱ⁾-z^(i-1)，z⁽ⁱ⁾为第i次迭代后所得到的HR图像；

[2]对(11)式进行分析优化，得出超分辨率重建计算模型，如下：

 其中，λ₁，λ₂为调整参数，Q₁为稳定矩阵；

[3]区别不同低分辨率图像对超分辨率重建图像的影响，如(13)式所示：

(13)式中，l_k为第k幅LR图像对SR重建图像所构成影响的重要性权值；

[4]通过最快梯度法解出(3)式，得出最终重建图像。

Images