CN103903239A - 一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其*** - Google Patents

Abstract

本发明涉及一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其***，与现有技术相比解决了超分辨率重建方法需要获取多幅低分辨率图像进行视频图像重建的缺陷。本发明包括以下步骤：初始化分析视频特征；基于稀疏主成分分析进行去噪处理；基于向量连分式插值进行重建放大处理；检查视频是否处理完毕。本发明提高了重建视频图像的质量和效率，提升了超分辨率重建技术在不同视频中的应用程度。

Description

一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其***

技术领域

本发明涉及视频超分辨率重建技术领域，具体来说是一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其***。 

背景技术

由于超分辨率重建技术可以在不改变现有成像***的条件下，有效的克服成像***内在的分辨率限制，同时能够极大的降低成本，因而在很多领域都有着极大的应用价值。例如：在医学诊断中，高分辨率医学图像能够更好的帮助医生做出正确的诊断；在遥感领域中，高分辨率的卫星图像能够帮助更好的区分地面的相似物体；在视频监控***中，有时需要对感兴趣目标的局部特征进行放大辨识，如汽车牌照或现场人脸等。如果能够通过对硬盘中相关视频信息进行超分辨率重建处理，获得清晰的局部特征，就能够对目标进行更好的识别判断。 

现阶段有很多研究人员已经提出了不同的超分辨率重建方法，并在不同的应用场景下取得了一定的成功。但是由于很多方法实施的前提是需要有同一个场景下多幅低分辨率的图像，这在实际的应用中并不理想。原因在于我们只有退化的视频，即每一帧只有一个低分辨率图像，这些多幅低分辨率图像如何获得是个难题，也就是说很多超分辨率重建算法不切实际，无法广泛的得到应用。如何设计出一种从仅有的一幅低分辨率的图像就可以重建出一幅高分辨率图像的超分辨率重建方法和***已经成为当今急需解决的技术问题。 

发明内容

本发明的目的是为了解决现有技术中超分辨率重建方法需要获取多幅低分辨率图像进行视频图像重建的缺陷，提供一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其***来解决上述问题。 

为了实现上述目的，本发明的技术方案如下： 

一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法，包括以下步骤： 

初始化分析视频特征，判断视频的第一帧图像的特性，分辨该视频是灰度视频还是彩***，若是灰度视频，则直接进行下一步处理，若是彩***，则将彩***分成R、G、B三个通道分别按照灰度视频来处理； 

基于稀疏主成分分析进行去噪处理，读取视频的下一帧图像，构造由稀疏主成分分析得到的正交转换矩阵，通过训练样本模块得到中心数据集，将正交转换矩阵应用于中心数据集并结合线性最小均方误差估计模型来抑制噪声，进行去噪处理； 

基于向量连分式插值进行重建放大处理，对去噪后的图像构造向量控制网格，由向量控制网格结合连分式有理插值构造出有理插值曲面，通过插值曲面的采样实现图像的放大； 

检查视频是否处理完毕，若处理完毕，则完成视频超分辨率重建，若未处理完毕，则继续进行基于稀疏主成分分析进行去噪处理。 

所述的基于稀疏主成分分析进行去噪处理包括以下步骤： 

读取视频下一帧图像，即第t帧图像像素值为G(x,y,t)，图像用矩阵表示，矩阵的大小为m×n,其中，x(1≤x≤m)为行，y(1≤y≤n)为列，t为帧；将获得的低分辨率图像作为训练模块，由训练模块计算中心数据集，在训练模块中间设置一个变量模块K×K(K<m,K<n)； 

对于每一组的模块通过解决最优问题找到最大数量的稀疏主成分，并得到一个正交转换矩阵； 

将正交变换矩阵用于中心数据集，并结合线性最小均方误差估计模型移除噪声，得到去噪后的估计图像。 

所述的基于向量连分式插值进行重建放大处理包括以下步骤： 

求出上一步获得的去噪后图像S(x,y)的尺寸为m×n，其中，x(1≤x≤m)为行，y(1≤y≤n)为列；将S(x,y)扩展为(m+1)×(n+1)的图像S₁(x,y)，保证放大的图像边界保持良好； 

根据图像的块特征，按照从上到下，从左到右的顺序，将上一步去噪后的估计图像分块处理，分别构造出3×3的向量控制网格V^m×n，矩阵大小为m×n；用

表示拓展后图像的第i行第j列像素的灰度值向量； 

构造一个二元向量有理函数

满足

采用分块拼接的方法构造m×n个3×3的二元有理插值曲面； 

根据放大倍数，利用映射关系找到放大后图像某点对应到原始图像中的位置，将得到的位置坐标带入二元有理插值函数中，得到放大的图像某点的像素值。 

所述的计算中心数据集包括以下步骤： 

获取下一帧图像得到的数据集矩阵G(x,y,t)∈R^m×n,矩阵的大小为m×n,每个组成部分g(x,y,t)_k,k=1,2,...,m有n个样本； 

将退化的视频模型定义为：G(x,y,t)=D(x,y,t)*F(x,y,t)+N(x,y,t),这里D(x,y,t)是低采样算子,G(x,y,t)是退化的视频，F(x,y,t)是原始视频，N(x,y,t)是附加的噪声； 

利用以下公式求出中心数据集

$\stackrel{\&OverBar;}{G(x,y,t)}={[{\left(\stackrel{\&OverBar;}{g{(x,y,t)}_1}\right)}^T...{\left(\stackrel{\&OverBar;}{g{(x,y,t)}_m}\right)}^T]}^T,$

其中 $\stackrel{\&OverBar;}{{g(x,y,t)}_k}=g{(x,y,t)}_k-\frac{1}{n}{\mathrm{\&Sigma;}}_1^{n}g{(x,y,t)}_k;$

为了简化说明，令X(x,y,t)=D(x,y,t)*F(x,y,t)，利用以下公式求出中心数据集

$\stackrel{\&OverBar;}{X(x,y,t)}={[{\left({X\stackrel{\&OverBar;}{(x,y,t)}}_1\right)}^T...{\left(\stackrel{\&OverBar;}{X{(x,y,t)}_m}\right)}^T]}^T$

其中， $\stackrel{\&OverBar;}{X{(x,y,t)}_k}=X{(x,y,t)}_k-\frac{1}{n}{\mathrm{\&Sigma;}}_1^{n}X{(x,y,t)}_k,$

利用加入噪声的特性得到 $\stackrel{\&OverBar;}{X{(x,y,t)}_k}=X{(x,y,t)}_k-\frac{1}{n}{\mathrm{\&Sigma;}}_1^{n}X{(x,y,t)}_k.$

所述的每一组的模块通过解决最优问题找到最大数量的稀疏主成分，并得到一个正交的转换矩阵包括以下步骤： 

输入矩阵G(x,y,t)和稀疏数k，通过解决如下最优问题可以得到第k个稀疏的主成分W^*

$W^{*}=\underset{W}{\arg \max }{\left|\right|W^{T}G{G}^{T}W\left|\right|}_1={\left|\right|W^{T}G\left|\right|}_1,$ 并且满足条件W^TW=I_m,||W||₁<t， 

其中，I_m为单位矩阵；t为固定常数，是一个阈值，t越小，W就越稀疏；利用得到的稀疏主成分W^*计算出得到的正交转换矩阵

所述的将正交变换矩阵用于中心数据集，并结合线性最小均方误差估计模型移除噪声包括以下步骤： 

将获得的稀疏主成分而得到的转换矩阵

用于数据集

得到方程 其中

表示无噪声图像和正交变换矩阵相乘的结果， 为正交变换矩阵和加入的噪声相乘的结果； 

通过使用以下方程将得到

的第k行的线性最小均方误差估计： 

${\stackrel{\&RightArrow;}{\stackrel{\&OverBar;}{Y}}}_k=w_k\&CenterDot;{\stackrel{\&RightArrow;}{\stackrel{\&OverBar;}{Y_G}}}^k,$

这里

是

的第k行，并且w_k为一个常量，接近于0； 

将所有的

矩阵记作

通过以下公式得到G(x,y,t)去噪后的结果，  $\hat{X}=P_{\stackrel{\&OverBar;}{X}}^T\&CenterDot;\stackrel{\&OverBar;}{Y}.$

所述的构造出3×3的向量控制网格V^m×n包括以下步骤： 

将去噪后的图像S(x,y)分块处理，排列如下所示，其中，x(1≤x≤m)为行，y(1≤y≤n)为列： 

$\begin{array}{ccc}(x_0,y_0)& (x_0,y_1)& (x_0,y_2)\\ (x_1,y_0)& (x_1,y_1)& (x_1,y_2)\\ (x_2,y_0)& (x_2,y_1)& (x_2,y_2);\end{array}$

给定d-维有限值向量每个(x_i,y_j)排列成如下形式的称为向量控制网格: 

$\begin{array}{ccc}{\stackrel{\&RightArrow;}{v}}_{\mathrm{0,0}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{0,1}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{0,2}}\\ {\stackrel{\&RightArrow;}{v}}_{\mathrm{1,0}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{1,1}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{1,2}}\\ {\stackrel{\&RightArrow;}{v}}_{\mathrm{2,0}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{2,1}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{2,2}}.\end{array}$

所述的二元向量有理插值函数的构造方法如下： 

二元向量有理插值格式定义为： 

$\begin{array}{c}{\stackrel{\&RightArrow;}{R}}_{m,n}(x,y)={\stackrel{\&RightArrow;}{t}}_0\left(y\right)+{\stackrel{\&RightArrow;}{t}}_1\left(y\right)(x-x_0)+{\stackrel{\&RightArrow;}{t}}_2\left(y\right)(x-x_0)(x-x_1)+...\\ +{\stackrel{\&RightArrow;}{t}}_m\left(y\right)(x-x_0)(x-x_1)...(x-x_{m-1})\end{array},$

其中， $\begin{array}{c}{\stackrel{\&RightArrow;}{t}}_i=\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0)+\frac{y-y_0}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,y_1)}+\frac{y-y_1}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,y_1,y_2)}+...+.\\ \frac{y-y_{n-1}}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_n)},i=\mathrm{0,1},...,m\end{array}$

其中

是二元类差商，定义如下： 

$\begin{array}{c}\stackrel{\&RightArrow;}{s}(x_i;y_j)={\stackrel{\&RightArrow;}{v}}_{i,j},(i=\mathrm{0,1},...,m;j=\mathrm{0,1}...,n),\\ \stackrel{\&RightArrow;}{s}(x_i;y_0,...,y_j)=\frac{y_j-y_{j-1}}{\stackrel{\&RightArrow;}{s}(x_i;y_0,...,y_{j-2},y_j)-\stackrel{\&RightArrow;}{s}(x_i;y_0,...,y_{j-1})},\\ \stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_j)=\frac{\stackrel{\&RightArrow;}{s}(x_0,...,x_{i-2},x_i;y_j)-\stackrel{\&RightArrow;}{s}(x_0,...,x_{i-1};y_j)}{x_i-x_{i-1}},......,\end{array}$

$\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_j)=\frac{y_j-y_{j-1}}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_{j-2},y_j)-\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_{j-1})}.$

R_m,n(x,y)满足： ${\stackrel{\&RightArrow;}{R}}_{m,n}(x_i,y_j)={\stackrel{\&RightArrow;}{v}}_{i,j},\&ForAll;(x_i,y_j)\&Element;{\mathrm{\&Pi;}}^{m\&times;n}.$

一种基于稀疏主成分分析与连分式插值技术的视频超分辨率重建***，包括： 

初始化视频输入模块，用于确定输入视频的类型，启动视频超分辨率重建***，实时重建视频图像； 

稀疏主成分分析模块，用于进行正交转换矩阵的计算； 

中心数据集计算模块，用于通过训练样本数据计算出中心数据集，通过稀疏主成分分析模块用于中心数据集计算模块，并联合线性最小均方误差估计模型获得去噪后的图像估计值； 

线性最小均方误差估计模块，用于联合中心数据集计算模块来抑制噪声，为后期重建做好准备； 

向量控制网格模块，用于对去噪后的图像进行分割，产生多个3×3的图像块； 

基于Newton-Thiele的有理插值模块，用于通过向量控制网格模块构建有理插值曲面； 

所述的初始化视频输入模块与稀疏主成分分析模块相连，所述的稀疏主成分分析模块分别与中心数据集计算模块和线性最小均方误差估计模块相连后与向量控制网格模块相连，所述的向量控制网格模块与基于Newton-Thiele的有理插值模块相连，所述的基于Newton-Thiele的有理插值模块连回稀疏主成分分析模块。 

有益效果 

本发明的一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法及其***，与现有技术相比提高了重建视频图像的质量和效率，提升了超分辨率重建技术在不同视频中的应用程度。利用主成分分析在视频图像中可以减少数据维数的特点和插值算法在视频图像中放缩的应用，通过使用稀疏主成分分析、中心数据集计算、线性最小均方误差估计、向量控制网格的选择、有理插值曲面的构建等一系列步骤，快速有效的去除了输入视频中的噪声，并重建出了视频图像中的丰富的细节内容。整个重建过程，仅仅利用了一幅低分辨率图像来进行处理，并具有良好的重建效果，突破了其他现有技术重建时必须具备多幅低分辨率图像的缺陷。 

附图说明

图1为本发明的重建方法流程图 

图2为本发明的重建***结构示意图 

图3a-图3c为输入的treadmill低分辨率灰度视频中的第1帧、第30帧、第70帧的图像 

图4a-图4c为treadmill灰度视频超分辨率结果中使用SCSR方法（即目前流行的稀疏表达的方法，具体算法详见文献[16]）第1帧、第30帧、第70帧的实验图 

图5a-图5c为treadmill灰度视频超分辨率结果中使用本发明方法第1帧、第30帧、第70帧的实验图 

图6a-图6c为输入的flag低分辨率灰度视频中的第10帧、第110帧、第200帧的图像 

图7a-图7c为flag灰度视频超分辨率结果中使用SCSR方法第10帧、第110帧、第200帧的实验图 

图8a-图8c为flag灰度视频超分辨率结果中使用本发明方法第10帧、第110帧、第200帧的实验图 

图9为重建的flag灰度视频每一帧的峰值信噪比的对比图。 

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下： 

如图1所示，本发明所述的一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法，主要就是先去噪，然后再重新构建进行图像的放大来完成，包括以下步骤： 

第一步，初始化分析视频特征，判断视频的第一帧图像的特性，分辨该视频是灰度视频还是彩***。若是灰度视频，则直接进行第二步的处理。若是彩***，则将彩***分成R、G、B三个通道分别按照灰度视频来处理，从而完成彩***的处理。 

第二步，基于稀疏主成分分析进行去噪处理，读取视频的下一帧图像，构造由稀疏主成分分析得到的正交转换矩阵，通过训练样本模块得到中心数据 集，将正交转换矩阵应用于中心数据集并结合线性最小均方误差估计模型来抑制噪声，进行去噪处理。通过解决最优问题得到的稀疏主成分是数据方差的最大化，将其用于中心数据集，从而减少计算复杂性。鉴于噪声能量分布均匀，无噪声数据集集中在几个重要部分，通过将线性最小均方误差估计模型联合中心数据集，从而有效的抑制噪声。视频去噪过程是从第一帧图像开始，后续循环进行，依次取下一帧同样处理，基于稀疏主成分分析进行去噪处理包括以下步骤： 

（1）读取视频下一帧图像，即第t帧图像像素值为G(x,y,t)，图像用矩阵表示，矩阵的大小为m×n,其中，x(1≤x≤m)为行，y(1≤y≤n)为列，t为帧。将获得的低分辨率图像作为训练模块，由训练模块计算中心数据集，在训练模块中间设置一个变量模块K×K(K<m,K<n)。由于该变量模块可能会有很多个不同的模块，这可能导致稀疏主成分转换矩阵的不正确的评估，进而导致大量的残余噪声，因此将相似于训练模块中的中心模块（变量模块）进行分组训练。 

其中计算数据中心集包括以下步骤： 

（11）获取下一帧图像得到的数据集矩阵G(x,y,t)∈R^m×n,其中矩阵的大小为m×n,每个组成部分g(x,y,t)_k,k=1,2,...,m有n个样本。 

（12）将退化的视频模型定义为：G(x,y,t)=D(x,y,t)*F(x,y,t)+N(x,y,t),这里D(x,y,t)是低采样算子,G(x,y,t)是退化的视频，F(x,y,t)是原始视频，N(x,y,t)是附加的噪声。 

（13）利用以下公式求出中心数据集

$\stackrel{\&OverBar;}{G(x,y,t)}={[{\left(\stackrel{\&OverBar;}{g{(x,y,t)}_1}\right)}^T...{\left(\stackrel{\&OverBar;}{g{(x,y,t)}_m}\right)}^T]}^T,$

其中 $\stackrel{\&OverBar;}{{g(x,y,t)}_k}=g{(x,y,t)}_k-\frac{1}{n}{\mathrm{\&Sigma;}}_1^{n}g{(x,y,t)}_k;$

（14）为了简化说明，令X(x,y,t)=D(x,y,t)*F(x,y,t)，利用以下公式求出中心数据集

$\stackrel{\&OverBar;}{X(x,y,t)}={[{\left({X\stackrel{\&OverBar;}{(x,y,t)}}_1\right)}^T...{\left(\stackrel{\&OverBar;}{X{(x,y,t)}_m}\right)}^T]}^T$

其中， $\stackrel{\&OverBar;}{X{(x,y,t)}_k}=X{(x,y,t)}_k-\frac{1}{n}{\mathrm{\&Sigma;}}_1^{n}X{(x,y,t)}_k,$

由于加入的噪声为零均值噪声，于是利用这种噪声的特性可以得到 

$\stackrel{\&OverBar;}{X{(x,y,t)}_k}=X{(x,y,t)}_k-\frac{1}{n}{\mathrm{\&Sigma;}}_1^{n}X{(x,y,t)}_k.$

（2）对于每一组的模块通过解决最优问题找到最大数量的稀疏主成分，并得到一个正交转换矩阵。 

其包括以下步骤： 

（21）输入矩阵G(x,y,t)和稀疏数k，通过解决如下最优问题可以得到第k个稀疏的主成分W^*

$W^{*}=\underset{W}{\arg \max }{\left|\right|W^{T}G{G}^{T}W\left|\right|}_1={\left|\right|W^{T}G\left|\right|}_1,$ 并且满足条件W^TW=I_m,||W||₁<t， 

其中，I_m为单位矩阵；t为固定常数，是一个阈值，t越小，W就越稀疏；稀疏数k为固定数，想要多少个稀疏数就输入几个即可。 

（22）利用得到的稀疏主成分W^*计算出得到的正交转换矩阵

（3）将正交变换矩阵用于中心数据集，并结合线性最小均方误差估计模型移除噪声，得到去噪后的估计图像。 

其包括以下步骤： 

（31）将获得的稀疏主成分而得到的转换矩阵

用于数据集

得到方程

其中

表示无噪声图像和正交变换矩阵相乘的结果，

为正交变换矩阵和加入的噪声相乘的结果； 

(32）通过使用以下方程将得到

的第k行的线性最小均方误差估计： 

${\stackrel{\&RightArrow;}{\stackrel{\&OverBar;}{Y}}}_k=w_k\&CenterDot;{\stackrel{\&RightArrow;}{\stackrel{\&OverBar;}{Y_G}}}^k,$

这里是的第k行，并且w_k为一个常量，接近于0； 

(33）将所有的矩阵记作

通过以下公式得到G(x,y,t)去噪后的结果，  $\hat{X}=P_{\stackrel{\&OverBar;}{X}}^T\&CenterDot;\stackrel{\&OverBar;}{Y}.$

第三步，基于向量连分式插值进行重建放大处理，对去噪后的图像构造向量控制网格，由向量控制网格结合连分式有理插值构造出有理插值曲面， 通过插值曲面的采样实现图像的放大。通过上一步获得的去噪后的图像构造出向量控制网格，使用向量控制网格联合Newton-Thiele有理插值模型构造出有理插值曲面。对去噪后的图像进行采样，获取像素值，并结合有理插值曲面进行图像的放大。 

其包括以下步骤： 

（1）求出上一步获得的去噪后图像S(x,y)的尺寸为m×n，其中，x(1≤x≤m)为行，y(1≤y≤n)为列；将S(x,y)扩展为(m+1)×(n+1)的图像S₁(x,y)，保证放大的图像边界保持良好。 

（2）根据图像的块特征，按照从上到下，从左到右的顺序，将上一步去噪后的估计图像分块处理，分别构造出3×3的向量控制网格V^m×n，其中，m为行，n为列；用

表示拓展后图像的第i行第j列像素的灰度值向量。 

其中，构造出3×3的向量控制网格V^m×n包括以下步骤： 

（21）将去噪后的图像S(x,y)分块处理，排列如下所示，其中，x(1≤x≤m)为行，y(1≤y≤n)为列： 

$\begin{array}{ccc}(x_0,y_0)& (x_0,y_1)& (x_0,y_2)\\ (x_1,y_0)& (x_1,y_1)& (x_1,y_2)\\ (x_2,y_0)& (x_2,y_1)& (x_2,y_2);\end{array}$

（22）给定d-维有限值向量

每个(x_i,y_j)排列成如下形式的称为向量控制网格: 

$\begin{array}{ccc}{\stackrel{\&RightArrow;}{v}}_{\mathrm{0,0}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{0,1}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{0,2}}\\ {\stackrel{\&RightArrow;}{v}}_{\mathrm{1,0}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{1,1}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{1,2}}\\ {\stackrel{\&RightArrow;}{v}}_{\mathrm{2,0}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{2,1}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{2,2}}.\end{array}$

（3）构造一个二元向量有理函数

满足

采用分块拼接的方法构造m×n个3×3的二元有理插值曲面。二元有理插值曲面，即二 元Newton-Thiele有理插值曲面，构造按

进行，构造出由所组成的m×n个3×3的二元Newton-Thiele有理插值。 

（4）根据放大倍数，利用映射关系找到放大后图像某点对应到原始图像中的位置，将得到的位置坐标带入二元有理插值函数中，得到放大的图像某点的像素值。二元有理插值函数即二元Newton-Thiele有理插值函数，放大倍数，可以任意设置，根据需要放大多少就为多少。 

其中，位置坐标带入二元有理插值函数的方法如下： 

二元向量有理插值格式定义为： 

$\begin{array}{c}{\stackrel{\&RightArrow;}{R}}_{m,n}(x,y)={\stackrel{\&RightArrow;}{t}}_0\left(y\right)+{\stackrel{\&RightArrow;}{t}}_1\left(y\right)(x-x_0)+{\stackrel{\&RightArrow;}{t}}_2\left(y\right)(x-x_0)(x-x_1)+...\\ +{\stackrel{\&RightArrow;}{t}}_m\left(y\right)(x-x_0)(x-x_1)...(x-x_{m-1})\end{array},$

其中， $\begin{array}{c}{\stackrel{\&RightArrow;}{t}}_i=\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0)+\frac{y-y_0}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,y_1)}+\frac{y-y_1}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,y_1,y_2)}+...+.\\ \frac{y-y_{n-1}}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_n)},i=\mathrm{0,1},...,m\end{array}$

其中

是二元类差商，定义如下： 

$\begin{array}{c}\stackrel{\&RightArrow;}{s}(x_i;y_j)={\stackrel{\&RightArrow;}{v}}_{i,j},(i=\mathrm{0,1},...,m;j=\mathrm{0,1}...,n),\\ \stackrel{\&RightArrow;}{s}(x_i;y_0,...,y_j)=\frac{y_j-y_{j-1}}{\stackrel{\&RightArrow;}{s}(x_i;y_0,...,y_{j-2},y_j)-\stackrel{\&RightArrow;}{s}(x_i;y_0,...,y_{j-1})},\\ \stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_j)=\frac{\stackrel{\&RightArrow;}{s}(x_0,...,x_{i-2},x_i;y_j)-\stackrel{\&RightArrow;}{s}(x_0,...,x_{i-1};y_j)}{x_i-x_{i-1}},......,\end{array}$

$\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_j)=\frac{y_j-y_{j-1}}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_{j-2},y_j)-\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_{j-1})}.$

R_m,n(x,y)满足： ${\stackrel{\&RightArrow;}{R}}_{m,n}(x_i,y_j)={\stackrel{\&RightArrow;}{v}}_{i,j},\&ForAll;(x_i,y_j)\&Element;{\mathrm{\&Pi;}}^{m\&times;n}.$

将每一个图像块按照如上步骤进行计算，检查所有的图像块是否处理完毕，若处理完毕，则完成了该阶段的放大工作，即完成了该帧图像的超分辨率重建处理，若未处理完，则继续进行图像的重建工作。 

第四步，检查视频是否处理完毕，若处理完毕，则完成视频超分辨率重建，若未处理完毕，则继续进行基于稀疏主成分分析进行去噪处理。 

判断当前视频重建是否已经全部完成，若当前视频已经结束，则完成所有的重建过程；若当前视频还没有结束，还有下一帧图像存在，则继续返回到第二步，继续进行图像的重建操作，直到视频结束，重建过程结束。 

如图2所示，本发明所述的一种基于稀疏主成分分析与连分式插值的视频超分辨率重建***，包括： 

初始化视频输入模块，用于确定输入视频的类型，启动视频超分辨率重建***，实时重建视频图像。 

稀疏主成分分析模块，用于进行正交转换矩阵的计算。 

中心数据集计算模块，用于通过训练样本数据计算出中心数据集，通过稀疏主成分分析模块用于中心数据集计算模块，并联合线性最小均方误差估计模型获得去噪后的图像估计值。 

线性最小均方误差估计模块，用于联合中心数据集计算模块来抑制噪声，为后期重建做好准备。 

向量控制网格模块，用于对去噪后的图像进行分割，产生多个³×³的图像块。 

基于Newton-Thiele的有理插值模块，用于通过向量控制网格模块构建有理插值曲面。 

所述的初始化视频输入模块与稀疏主成分分析模块相连，所述的稀疏主成分分析模块分别与中心数据集计算模块和线性最小均方误差估计模块相连后与向量控制网格模块相连，所述的向量控制网格模块与基于Newton-Thiele的有理插值模块相连，所述的基于Newton-Thiele的有理插值模块连回稀疏主成分分析模块。 

初始化输入模块在对视频特征进行分析辨别后，将数据传给稀疏主成分分析模块进行转换矩阵的计算，再传到中心数据集计算模块，用于为线性最小均方误差估计做好准备，再结合线性最小均方误差估计模块，用于将输入的低分辨率图像去除噪声。将去噪后的视频图像传到向量控制网格模型，用于将图像分割成多个块，再传给Newton-Thiele的有理插值模块，用于构造有理插值曲面，并进行采样，放大处理。将整个图像块处理完后，即完成了该帧图像的重 建处理，然后再进行下一帧图像的重建工作。 

在实验中使用的退化的视频序列treadmill视频和flag视频，其中treadmill video有122帧，我们可以选取任何一帧。在此，我们从122帧的超分辨率结果中取出第1帧，第30帧，第70帧。而flag视频有289帧，我们从中取出第10帧，第110帧和第200帧。 

如图3a-图3c所示为输入的treadmill灰度低分辨率视频，从中取出第1帧、第30帧、第70帧的图像。通过使用SCSR方法（即目前流行的使用稀疏表达的方法，具体算法详见文献[16]）处理后，如图4a-图4c所示，对画面分辨率和质量有所提升。如图5a-图5c所示，采用本发明的方法进行重建后，明显画面分辨率和质量较SCSR方法有更大程序的优化和提升。如图6a-图6c所示，输入的flag低分辨率视频中取出第10帧、第110帧、第200帧的图像。通过使用SCSR方法处理后，如图7a-图7c所示，对画面分辨率和质量也有所提升。但如图8a-图8c所示，采用本发明的方法进行重建后，明显画面分辨率和质量较SCSR方法有更大程度的优化和提升。 

从客观角度出发进行比较可以发现， 

根据公式 $\mathrm{PSNR}=(-1)\&times;10\&times;\mathrm{lo}{g}_{10}\frac{\underset{i,j=\mathrm{1,1}}{\overset{m,n}{\mathrm{\&Sigma;}}}{(f(i,j)-\hat{f}(i,j))}^2}{m\&times;n\&times;\mathrm{ma}{x}^2},$ 这里m×n为矩阵的大小，max=255，f(i,j)为原始图像，为重建后的图像，利用此公式计算出峰值信噪比PSNR的值。峰值信噪比越大，表明重建后的图像和原始图像越接近，即重建的图像视觉效果越好，分辨率越高。 

所比较的方法则采用现有技术中的方法，如以下文献中所使用的方法： 

[16]Jianchao Yang,John Wright,Thomas Huang,and Yi Ma,“Image Super-Resolution via Sparse Representation”,IEEE Transactions on Image Processing,vol.19,no.11,pp.2861-2873,Nov.2010. 

如图9所示，重建的flag灰度视频每一帧的峰值信噪比的比较图，可以发现本发明重建后的flag灰度视频每一帧的峰值信噪比较现有技术的方法明 显要高出很多，图像分辨率和质量更高。 

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。 

Claims (9)

1.一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法，其特征在于，包括以下步骤：

11）初始化分析视频特征，判断视频的第一帧图像的特性，分辨该视频是灰度视频还是彩***，若是灰度视频，则直接进行下一步处理，若是彩***，则将彩***分成R、G、B三个通道分别按照灰度视频来处理；

12）基于稀疏主成分分析进行去噪处理，读取视频的下一帧图像，构造由稀疏主成分分析得到的正交转换矩阵，通过训练样本模块得到中心数据集，将正交转换矩阵应用于中心数据集并结合线性最小均方误差估计模型来抑制噪声，进行去噪处理；

13）基于向量连分式插值进行重建放大处理，对去噪后的图像构造向量控制网格，由向量控制网格结合连分式有理插值构造出有理插值曲面，通过插值曲面的采样实现图像的放大；

14）检查视频是否处理完毕，若处理完毕，则完成视频超分辨率重建，若未处理完毕，则继续进行基于稀疏主成分分析进行去噪处理。

2.根据权利要求1所述的一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法，其特征在于，所述的基于稀疏主成分分析进行去噪处理包括以下步骤：

21）读取视频下一帧图像，即第t帧图像像素值为G(x,y,t)，图像用矩阵表示，矩阵的大小为m×n,其中，x(1≤x≤m)为行，y(1≤y≤n)为列，t为帧；将获得的低分辨率图像作为训练模块，由训练模块计算中心数据集，在训练模块中间设置一个变量模块K×K(K<m,K<n)；

22）对于每一组的模块通过解决最优问题找到最大数量的稀疏主成分，并得到一个正交转换矩阵；

23）将正交变换矩阵用于中心数据集，并结合线性最小均方误差估计模型移除噪声，得到去噪后的估计图像。

3.根据权利要求1所述的一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法，其特征在于，所述的基于向量连分式插值进行重建放大处理包括以下步骤：

31）求出上一步获得的去噪后图像S(x,y)的尺寸为m×n，其中，x(1≤x≤m)为行，y(1≤y≤n)为列；将S(x,y)扩展为(m+1)×(n+1)的图像S₁(x,y)，保证放大的图像边界保持良好；

32）根据图像的块特征，按照从上到下，从左到右的顺序，将上一步去噪后的估计图像分块处理，分别构造出3×3的向量控制网格V^m×n；用

表示拓展后图像的第i行第j列像素的灰度值向量；

33）构造一个二元向量有理函数满足

采用分块拼接的方法构造m×n个3×3的二元有理插值曲面；

34）根据放大倍数，利用映射关系找到放大后图像某点对应到原始图像中的位置，将得到的位置坐标带入二元有理插值函数中，得到放大的图像某点的像素值。

4.根据权利要求2所述的一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法，其特征在于，所述的计算中心数据集包括以下步骤：

41）获取下一帧图像得到的数据集矩阵G(x,y,t)∈R^m×n,矩阵的大小为m×n,每个组成部分g(x,y,t)_k,k=1,2,...,m，有n个样本；

42）将退化的视频模型定义为：G(x,y,t)=D(x,y,t)*F(x,y,t)+N(x,y,t),这里D(x,y,t)是低采样算子,G(x,y,t)是退化的视频，F(x,y,t)是原始视频，N(x,y,t)是附加的噪声；

43）利用以下公式求出中心数据集

$\stackrel{\&OverBar;}{G(x,y,t)}={[{\left(\stackrel{\&OverBar;}{g{(x,y,t)}_1}\right)}^T...{\left(\stackrel{\&OverBar;}{g{(x,y,t)}_m}\right)}^T]}^T,$

其中 $\stackrel{\&OverBar;}{{g(x,y,t)}_k}=g{(x,y,t)}_k-\frac{1}{n}{\mathrm{\&Sigma;}}_1^{n}g{(x,y,t)}_k;$

44）为了简化说明，令X(x,y,t)=D(x,y,t)*F(x,y,t)，利用以下公式求出中心数据集

$\stackrel{\&OverBar;}{X(x,y,t)}={[{\left({X\stackrel{\&OverBar;}{(x,y,t)}}_1\right)}^T...{\left(\stackrel{\&OverBar;}{X{(x,y,t)}_m}\right)}^T]}^T$

其中， $\stackrel{\&OverBar;}{X{(x,y,t)}_k}=X{(x,y,t)}_k-\frac{1}{n}{\mathrm{\&Sigma;}}_1^{n}X{(x,y,t)}_k,$ 利用加入噪声的特性得到 $\stackrel{\&OverBar;}{X{(x,y,t)}_k}=X{(x,y,t)}_k-\frac{1}{n}{\mathrm{\&Sigma;}}_1^{n}X{(x,y,t)}_k.$

5.根据权利要求2所述的一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法，其特征在于，所述的每一组的模块通过解决最优问题找到最大数量的稀疏主成分，并得到一个正交的转换矩阵包括以下步骤：

51）输入矩阵G(x,y,t)和稀疏数k，通过解决如下最优问题可以得到第k个稀疏的士成分W^*

$W^{*}=\underset{W}{\arg \max }{\left|\right|W^{T}G{G}^{T}W\left|\right|}_1={\left|\right|W^{T}G\left|\right|}_1,$ 并且满足条件W^TW=I_m,||W||1<t，

其中，I_m为单位矩阵；t为固定常数，是一个阈值，t越小，W就越稀疏；

52）利用得到的稀疏主成分W^*计算出得到的正交转换矩阵

6.根据权利要求2所述的一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法，其特征在于，所述的将正交变换矩阵用于中心数据集，并结合线性最小均方误差估计模型移除噪声包括以下步骤：

61）将获得的稀疏主成分而得到的转换矩阵用于数据集

得到方程

其中

表示无噪声图像和正交变换矩阵相乘的结果，为正交变换矩阵和加入的噪声相乘的结果；

62）通过使用以下方程将得到

的第k行的线性最小均方误差估计：

${\stackrel{\&RightArrow;}{\stackrel{\&OverBar;}{Y}}}_k=w_k\&CenterDot;{\stackrel{\&RightArrow;}{\stackrel{\&OverBar;}{Y_G}}}^k,$

这里

是

的第k行，并且w_k为一个常量，接近于0；

63）将所有的矩阵记作

通过以下公式得到G(x,y,t)去噪后的结果， $\hat{X}=P_{\stackrel{\&OverBar;}{X}}^T\&CenterDot;\stackrel{\&OverBar;}{Y}.$

7.根据权利要求3所述的一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法，其特征在于，所述的构造出3×3的向量控制网格V^m×n包括以下步骤：

71）将去噪后的图像S(x,y)分块处理，排列如下所示，其中，x(1≤x≤m)为行，y(1≤y≤n)为列：

$\begin{array}{ccc}(x_0,y_0)& (x_0,y_1)& (x_0,y_2)\\ (x_1,y_0)& (x_1,y_1)& (x_1,y_2)\\ (x_2,y_0)& (x_2,y_1)& (x_2,y_2);\end{array}$

72）给定d-维有限值向量

每个(x_i,y_j)排列成如下形式的称为向量控制网格:

$\begin{array}{ccc}{\stackrel{\&RightArrow;}{v}}_{\mathrm{0,0}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{0,1}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{0,2}}\\ {\stackrel{\&RightArrow;}{v}}_{\mathrm{1,0}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{1,1}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{1,2}}\\ {\stackrel{\&RightArrow;}{v}}_{\mathrm{2,0}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{2,1}}& {\stackrel{\&RightArrow;}{v}}_{\mathrm{2,2}}.\end{array}$

8.根据权利要求3所述的一种基于稀疏主成分分析和连分式插值技术的视频超分辨率重建方法，其特征在于，所述的二元向量有理插值函数的构造方法如下：

二元向量有理插值格式定义为：

$\begin{array}{c}{\stackrel{\&RightArrow;}{R}}_{m,n}(x,y)={\stackrel{\&RightArrow;}{t}}_0\left(y\right)+{\stackrel{\&RightArrow;}{t}}_1\left(y\right)(x-x_0)+{\stackrel{\&RightArrow;}{t}}_2\left(y\right)(x-x_0)(x-x_1)+...\\ +{\stackrel{\&RightArrow;}{t}}_m\left(y\right)(x-x_0)(x-x_1)...(x-x_{m-1})\end{array},$

其中， $\begin{array}{c}{\stackrel{\&RightArrow;}{t}}_i=\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0)+\frac{y-y_0}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,y_1)}+\frac{y-y_1}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,y_1,y_2)}+...+.\\ \frac{y-y_{n-1}}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_n)},i=\mathrm{0,1},...,m\end{array}$

其中是二元类差商，定义如下：

$\begin{array}{c}\stackrel{\&RightArrow;}{s}(x_i;y_j)={\stackrel{\&RightArrow;}{v}}_{i,j},(i=\mathrm{0,1},...,m;j=\mathrm{0,1}...,n),\\ \stackrel{\&RightArrow;}{s}(x_i;y_0,...,y_j)=\frac{y_j-y_{j-1}}{\stackrel{\&RightArrow;}{s}(x_i;y_0,...,y_{j-2},y_j)-\stackrel{\&RightArrow;}{s}(x_i;y_0,...,y_{j-1})},\\ \stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_j)=\frac{\stackrel{\&RightArrow;}{s}(x_0,...,x_{i-2},x_i;y_j)-\stackrel{\&RightArrow;}{s}(x_0,...,x_{i-1};y_j)}{x_i-x_{i-1}},......,\end{array}$

$\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_j)=\frac{y_j-y_{j-1}}{\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_{j-2},y_j)-\stackrel{\&RightArrow;}{s}(x_0,...,x_i;y_0,...,y_{j-1})}.$

R_m,n(x,y)满足： ${\stackrel{\&RightArrow;}{R}}_{m,n}(x_i,y_j)={\stackrel{\&RightArrow;}{v}}_{i,j},\&ForAll;(x_i,y_j)\&Element;{\mathrm{\&Pi;}}^{m\&times;n}.$

9.一种基于稀疏主成分分析与连分式插值技术的视频超分辨率重建***，其特征在于，包括：

初始化视频输入模块，用于确定输入视频的类型，启动视频超分辨率重建***，实时重建视频图像；

稀疏主成分分析模块，用于进行正交转换矩阵的计算；

中心数据集计算模块，用于通过训练样本数据计算出中心数据集，通过稀疏主成分分析模块用于中心数据集计算模块，并联合线性最小均方误差估计模型获得去噪后的图像估计值；

线性最小均方误差估计模块，用于联合中心数据集计算模块来抑制噪声，为后期重建做好准备；

向量控制网格模块，用于对去噪后的图像进行分割，产生多个3×3的图像块；

基于Newton-Thiele的有理插值模块，用于通过向量控制网格模块构建有理插值曲面；

所述的初始化视频输入模块与稀疏主成分分析模块相连，所述的稀疏主成分分析模块分别与中心数据集计算模块和线性最小均方误差估计模块相连后与向量控制网格模块相连，所述的向量控制网格模块与基于Newton-Thiele的有理插值模块相连，所述的基于Newton-Thiele的有理插值模块连回稀疏主成分分析模块。

Images