CN104463793A - 一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其*** - Google Patents

Abstract

本发明涉及一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其***，与现有技术相比解决了超分辨率重建技术无法适用于所有的视频且重建的视频图像会出现失真的缺陷。本发明包括以下步骤：初始化视频特征分析；利用向量连分式插值进行图像的放大；利用稀疏表达精细模板进行图像的重建；利用放大图像和评估图像构建超分辨率图像；检查视频是否读取完毕，若读取完毕，则完成视频超分辨率重建；若未读取完毕，则继续进行利用向量连分式插值进行图像的放大操作。本发明提高了视频图像重建的质量和效率，提升了超分辨率重建技术在不同视频中的应用程度。

Description

一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其***

技术领域

本发明涉及视频图像处理技术领域，具体来说是一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其***。

背景技术

图像、视频超分辨率重建是计算机视觉领域中的一个重要的研究方向,并且在实际的应用中,如医疗诊断、高清电视、遥感图像的分析、车牌的识别等,都起着至关重要的作用。现阶段有很多研究人员已经提出了不同的超分辨率重建方法，并在不同的应用场景下取得了一定的成功。但是这些超分辨率重建方法的实施均需要从一些高清图像中获得先验信息，这并不现实，并且重建后的视频或多或少的会出现各种失真问题，主要原因是每种方法对其使用环境都有其针对性，并不能适用于所有的视频。针对各种超分辨率重建技术存在的局限性，在现有的硬件条件下，如何设计出一种高效、实用的超分辨率重建方法已经成为当今急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中超分辨率重建技术无法适用于所有的视频且重建的视频图像会出现失真的缺陷，提供一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其***来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法，包括以下步骤：

初始化视频特征分析，读取视频的第一帧图像，通过对第一帧图像进行分析，判断该视频是灰度视频还是彩***；若为彩***，将彩***沿着R、G、B三个颜色通道分别按照灰度视频的方式执行；

利用向量连分式插值进行图像的放大，通过读取视频下一帧图像，构造向量控制网格，由向量控制网格结合极坐标下的连分式有理插值构造出有理插值曲面，通过有理插值曲面的采样进行图像的放大，得到放大图像I₁；

利用稀疏表达精细模板进行图像的重建，更新数据字典、正则化参数和稀疏代码，将稀疏代码和数据字典用来进行图像的重建，得到评估图像

利用放大图像I₁和评估图像构建超分辨率图像，将放大图像I₁和评估图像分别赋予不同的加权因子，得到该帧的超分辨率结果，其公式如下：

$\mathrm{new}=(1-\mathrm{\ϵ})*I_1+\mathrm{\ϵ}*\hat{X},(0\≤\mathrm{\ϵ}\≤1),$

其中I₁为放大的图像，权因子为1-ε，为评估的图像，权因子为ε；

检查视频是否读取完毕，若读取完毕，则完成视频超分辨率重建；若未读取完毕，则继续进行利用向量连分式插值进行图像的放大操作。

所述的利用向量连分式插值进行图像的放大包括以下步骤：

读取视频的下一帧图像，得到输入图像Y的尺寸为m×n，输入放大倍数k，则放大的图像长为m×k、宽为n×k；

根据放大倍数k，利用映射关系找到放大后图像的一点(i₁,j₁)对应到输入图像Y中的位置(i,j)，其中i＝i₁/k,j＝j₁/k；

求出该点(i,j)在极坐标下的位置(r,θ)，计算公式如下：

$r=\sqrt{i^2+j^2},\mathrm{\θ}=\mathrm{arctg}(j/i);$

构建3×3的向量控制网格V^m×n，对于极坐标下的每一个待求像素点(r,θ)沿着其半径和角度方向分别拓展出另外8个像素点，构成3×3的向量控制网格V^m×n，用表示图像的第i行第j列像素的灰度值向量；

极坐标下的连分式有理插值计算，构造一个极坐标下的二元向量有理插值函数R_m,n(r,θ)，满足求出该点(r,θ)的二元向量有理函数值，其为放大后图像的一点(i₁,j₁)的像素值，构造二元Newton-Thiele有理插值曲面，从而构建出放大图像I₁。

所述的利用稀疏表达精细模板进行图像的重建包括以下步骤：

读取输入的图像Y，将图像Y分割成多个6×6图像块，针对每一个图像块找到其相似的其他的图像块组成一个簇；

针对每一个簇计算主成分分析；

对于每一个簇运用主成分分析来学习数据字典，使用数据字典对簇中的图像块进行编码；

计算稀疏系数α_Y，使用数据字典φ和稀疏系数α_Y构造出评估的图像其公式如下：采用迭代方法更新数据字典φ、正则化参数λ_i和γ_i，进而更新稀疏系数α_Y，通过更新的φ和α_Y构造出最优的评估图像

所述的构建3×3的向量控制网格V^m×n包括以下步骤：

将(r,θ)沿着其半径和角度方向进行扩展，得到另外8个像素点，其中(r₁,θ₁)即为点(r,θ)，9个像素点排列如下所示：

(r₀,θ₀)  (r₀,θ₁)  (r₀,θ₂)

(r₁,θ₀)  (r₁,θ₁)  (r₁,θ₂)

(r₂,θ₀)  (r₂,θ₁)  (r₂,θ₂)；

给定d维有限值向量将(r_i,θ_j)由矩阵形式表示为向量形式，排列如下所示：

所述的极坐标下的连分式有理插值计算包括以下步骤：

极坐标下的二元向量Newton-Thiele有理插值格式定义为：

R_m,n(r,θ)＝T₀(θ)+(r-r₀)T₁(θ)+(r-r₀)(r-r₁)T₂(θ)+...，+(r-r₀)(r-r₁)...(r-r_m-1)T_m(θ)

其中， $\begin{array}{c}{T}_i\left(\mathrm{\θ}\right)=p(r_0,...,r_i;{\mathrm{\θ}}_0)+\frac{\mathrm{\θ}-{\mathrm{\θ}}_0}{p(r_0,...,r_i;{\mathrm{\θ}}_0,{\mathrm{\θ}}_1)}+\frac{\mathrm{\θ}-{\mathrm{\θ}}_1}{p(r_0,...,r_i;{\mathrm{\θ}}_0,{\mathrm{\θ}}_1,{\mathrm{\θ}}_2)}+...+\\ \frac{\mathrm{\θ}-{\mathrm{\θ}}_{n-1}}{p(r_0,...,r_{i;}{\mathrm{\θ}}_0,...,{\mathrm{\θ}}_n)},i=\mathrm{0,1},...,m\end{array};$

其中p(r₀,...,r_i；θ₀,...,θ_j)是混合差商，定义如下：

p(r_i；θ_j)＝f(r_icosθ_j,r_isinθ_j),(i＝0,1,...,m；j＝0,1...,n),

$p(r_i,r_j;{\mathrm{\θ}}_k)=\frac{p(r_j,{\mathrm{\θ}}_k)-p(r_i,{\mathrm{\θ}}_k)}{r_j-r_i},$

$p(r_p,...,r_q,r_i,r_j;{\mathrm{\θ}}_k)=\frac{p(r_p,...,r_q,r_j;{\mathrm{\θ}}_k)-p(r_p,...,r_q,r_i;{\mathrm{\θ}}_k)}{r_j-r_i},$

$p(r_p,...,r_q;{\mathrm{\θ}}_k,{\mathrm{\θ}}_l)=\frac{{\mathrm{\θ}}_l-{\mathrm{\θ}}_k}{p(r_p,...,r_q;{\mathrm{\θ}}_l)-p(r_p,...,r_q;{\mathrm{\θ}}_k)},$

$p(r_p,...,r_q;{\mathrm{\θ}}_r,...,{\mathrm{\θ}}_s,{\mathrm{\θ}}_k,{\mathrm{\θ}}_l)=\frac{{\mathrm{\θ}}_l-{\mathrm{\θ}}_k}{p(r_p,...,r_q;{\mathrm{\θ}}_r,...,{\mathrm{\θ}}_s,{\mathrm{\θ}}_l)-p(r_p,...,r_q;{\mathrm{\θ}}_r,...,{\mathrm{\θ}}_s,{\mathrm{\θ}}_k)};$

构造的二元向量有理函数R_m,n(r,θ)满足：R_m,n(r_i,θ_j)＝f(r_icosθ_j,r_isinθ_j), $\∀(r_i,{\mathrm{\θ}}_j)\∈{\mathrm{\Π}}_{r,\mathrm{\θ}}^{m,n},$ 其中 ${\mathrm{\Π}}_{r,\mathrm{\θ}}^{m,n}=\left\{(r_i,{\mathrm{\θ}}_j)\right|i=\mathrm{0,1},...,m;j=\mathrm{0,1},...,n\};$

对图像中的每一个点按照从上到下、从左到右的顺序，使用向量控制网格和二元向量有理函数R_m,n(r,θ)进行计算，检查所有图像点是否处理完毕，若处理完毕，则完成该阶段的放大工作，若未处理完，则继续进行图像的放大工作，最终得到放大的图像I₁。

所述的计算主成分分析包括以下步骤：

假设其中一个簇L包括s个相似的图像块，表示为L＝[l₁,...,l_s]∈R^h×s，其中h和s分别为簇的尺寸大小；

计算线性子空间W^*，其计算公式如下

$W^{*}=\underset{W}{\arg \max }{\left|\right|W^T{\mathrm{YY}}^{T}W\left|\right|}_2={\left|\right|W^{T}Y\left|\right|}_2^2,$ 且W^TW＝I_h。

构造数据字典包括以下步骤：

给定视频中当前帧的图像及其分割后的图像块；

将主成分分析应用于每一个簇，得到多个线性子空间W^*；

由多个线性子空间W^*构成集合φ，φ即为该图像块的数据字典，

φ＝{d_i|i＝1:K}，

其中，d_i为第i个线性子空间，K为线性子空间个数。

计算稀疏系数包括以下步骤：

使用最小化的方式计算出稀疏系数，其公式如下：

其中：θ＝α-E[α]，E[α]为所有α的平均值，φ为数据字典，α_Y为稀疏系数，Y为输入的图像，D为下采样倍数，H为模糊核，λ_i和γ_i分别为正则化参数；

将上述稀疏系数的计算公式采用拉普拉斯分布来表示，满足

其中σ_i和δ_i是α_i和θ_i的标准偏差。

一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建***，包括：

初始化视频输入模块，用于确定输入视频的类型，启动视频超分辨率重建***，实时重建视频图像；

向量控制网格模块，用于对输入的图像进行分割，产生多个3×3的图像块；

图像放大模块，用于通过向量控制网格模块构建有理插值曲面，进行图像放大，获得放大图像；

图像评估模块，用于获得评估图像，包括主成分分析模块、数据字典模块和稀疏系数模块；主成分分析模块，用于获得最大数量的线性子空间，并应用于数据字典模块；数据字典模块，用于通过主成分分析模块获得数据字典；稀疏系数模块，用于联合数据字典模块得到的数据字典来获得评估的图像；主成分分析模块与数据字典模块模块相连，稀疏系数模块与主成分分析模块相连；

图像叠加重建模块，用于将放大图像和评估图像叠加成超分辨率图像；

所述的初始化视频输入模块分别与向量控制网格模块的输入端和图像评估模块的输入端相连，所述的向量控制网格模块的输出端与图像放大模块相连，图像评估模块与图像放大模块分别与图像叠加重建模块的输入端相连。

有益效果

本发明的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其***，与现有技术相比提高了视频图像重建的质量和效率，提升了超分辨率重建技术在不同视频中的应用程度。利用向量控制网格与极坐标下的连分式有理插值可以快速的重建出放大的图像，利用主成分分析、稀疏系数和数据字典等一系列步骤，可以评估出重建的图像，获取视频图像丰富的纹理细节，从而得到最后超分辨率视频图像。整个重建过程，仅仅利用了一幅低分辨率的输入图像进行重建，突破了其他现有技术重建时需要额外的先验信息的缺陷。通过不同视频的处理，都能得到良好的重建效果，突破了其他现有技术重建时只适用部分特殊视频的缺陷。

附图说明

图1为本发明的方法流程图；

图2为本发明的***结构图；

图3a为低分辨率视频序列car的第1帧；

图3b为低分辨率视频序列car的第8帧；

图3c为低分辨率视频序列car的第29帧；

图4a为经过LSS方法处理后的第1帧；

图4b为经过LSS方法处理后的第8帧；

图4c为经过LSS方法处理后的第29帧；

图5a为经过本发明方法处理后的第1帧；

图5b为经过本发明方法处理后的第8帧；

图5c为经过本发明方法处理后的第29帧；

图6为本发明与LSS方法的峰值信噪比的比较图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法，包括以下步骤：

第一步，初始化视频特征分析。读取视频的第一帧图像，通过对第一帧图像进行分析，判断该视频是灰度视频还是彩***。若为彩***，根据彩色图像的特点，将彩***沿着R、G、B三个颜色通道分别按照灰度视频的方式执行；若为灰***，则直接进行后期处理。

第二步，利用向量连分式插值进行图像的放大。通过读取视频下一帧图像，构造向量控制网格，由向量控制网格结合极坐标下的连分式有理插值构造出有理插值曲面，通过有理插值曲面的采样进行图像的放大，得到放大图像I₁。其具体步骤如下：

(1)读取视频的下一帧图像，得到输入图像Y的尺寸为m×n，输入放大倍数k，则放大的图像长为m×k、宽为n×k。

(2)根据放大倍数k，利用映射关系找到放大后图像的一点(i₁,j₁)对应到输入图像Y中的位置(i,j)，进行放大后图像与原图像之间的对应，其中i＝i₁/k,j＝j₁/k。

求出该点(i,j)在极坐标下的位置(r,θ)，计算公式如下：

$r=\sqrt{i^2+j^2},\mathrm{\θ}=\mathrm{arctg}(j/i).$

(3)构建3×3的向量控制网格V^m×n，根据极坐标的特性，按照待插值点在极坐标中的位置，分别沿着半径和角度方向进行拓展，得到另外8个像素点的坐标，由这9个像素点构造出向量控制网格。对于极坐标下的每一个待求像素点(r,θ)沿着其半径和角度方向分别拓展出另外8个像素点，构成3×3的向量控制网格V^m×n，用表示图像的第i行第j列像素的灰度值向量，其具体步骤如下：

(31)将(r,θ)沿着其半径和角度方向进行扩展，得到另外8个像素点，其中(r₁,θ₁)即为点(r,θ)，9个像素点排列如下所示：

(r₀,θ₀)  (r₀,θ₁)  (r₀,θ₂)

(r₁,θ₀)  (r₁,θ₁)  (r₁,θ₂)

(r₂,θ₀)  (r₂,θ₁)  (r₂,θ₂)。

(32)给定d维有限值向量将(r_i,θ_j)由矩阵形式表示为向量形式，排列如下所示：

(4)极坐标下的连分式有理插值计算，构造一个极坐标下的二元向量有理插值函数R_m,n(r,θ)，满足求出点(r,θ)的二元向量有理函数值，其为放大后图像的一点(i₁,j₁)的像素值。使用同样的方法来处理图像中的其他像素点，即使用向量控制网格和极坐标下的Newton-Thiele有理插值理论构造出有理插值曲面。对输入的图像进行采样，获取像素信息，并结合有理插值曲面进行图像的放大，构建出放大图像I₁。其具体步骤如下：

(41)极坐标下的二元向量Newton-Thiele有理插值格式定义为：

R_m,n(r,θ)＝T₀(θ)+(r-r₀)T₁(θ)+(r-r₀)(r-r₁)T₂(θ)+...，+(r-r₀)(r-r₁)...(r-r_m-1)T_m(θ)

这里R_m,n(r,θ)表示沿着半径r方向进行Newton插值计算，沿着角度θ方向进行Thiele插值；

其中， $\begin{array}{c}{T}_i\left(\mathrm{\θ}\right)=p(r_0,...,r_i;{\mathrm{\θ}}_0)+\frac{\mathrm{\θ}-{\mathrm{\θ}}_0}{p(r_0,...,r_i;{\mathrm{\θ}}_0,{\mathrm{\θ}}_1)}+\frac{\mathrm{\θ}-{\mathrm{\θ}}_1}{p(r_0,...,r_i;{\mathrm{\θ}}_0,{\mathrm{\θ}}_1,{\mathrm{\θ}}_2)}+...+\\ \frac{\mathrm{\θ}-{\mathrm{\θ}}_{n-1}}{p(r_0,...,r_{i;}{\mathrm{\θ}}_0,...,{\mathrm{\θ}}_n)},i=\mathrm{0,1},...,m\end{array},$

这里T_i(θ)为第i个Thiele有理展开式；

其中p(r₀,...,r_i；θ₀,...,θ_j)是混合差商，定义如下：

p(r_i；θ_j)＝f(r_icosθ_j,r_isinθ_j),(i＝0,1,...,m；j＝0,1...,n),

$p(r_i,r_j;{\mathrm{\θ}}_k)=\frac{p(r_j,{\mathrm{\θ}}_k)-p(r_i,{\mathrm{\θ}}_k)}{r_j-r_i},$

$p(r_p,...,r_q,r_i,r_j;{\mathrm{\θ}}_k)=\frac{p(r_p,...,r_q,r_j;{\mathrm{\θ}}_k)-p(r_p,...,r_q,r_i;{\mathrm{\θ}}_k)}{r_j-r_i},$

$p(r_p,...,r_q;{\mathrm{\θ}}_k,{\mathrm{\θ}}_l)=\frac{{\mathrm{\θ}}_l-{\mathrm{\θ}}_k}{p(r_p,...,r_q;{\mathrm{\θ}}_l)-p(r_p,...,r_q;{\mathrm{\θ}}_k)},$

$p(r_p,...,r_q;{\mathrm{\θ}}_r,...,{\mathrm{\θ}}_s,{\mathrm{\θ}}_k,{\mathrm{\θ}}_l)=\frac{{\mathrm{\θ}}_l-{\mathrm{\θ}}_k}{p(r_p,...,r_q;{\mathrm{\θ}}_r,...,{\mathrm{\θ}}_s,{\mathrm{\θ}}_l)-p(r_p,...,r_q;{\mathrm{\θ}}_r,...,{\mathrm{\θ}}_s,{\mathrm{\θ}}_k)};$

构造的二元向量有理函数R_m,n(r,θ)满足：R_m,n(r_i,θ_j)＝f(r_icosθ_j,r_isinθ_j), $\∀(r_i,{\mathrm{\θ}}_j)\∈{\mathrm{\Π}}_{r,\mathrm{\θ}}^{m,n},$ 其中 ${\mathrm{\Π}}_{r,\mathrm{\θ}}^{m,n}=\left\{(r_i,{\mathrm{\θ}}_j)\right|i=\mathrm{0,1},...,m;j=\mathrm{0,1},...,n\}.$

(42)对图像中的每一个点按照从上到下、从左到右的顺序，使用向量控制网格和二元向量有理函数R_m,n(r,θ)进行计算，检查所有图像点是否处理完毕，若处理完毕，则完成该阶段的放大工作，若未处理完，则继续进行图像的放大工作，最终得到放大的图像I₁。

第三步，利用稀疏表达精细模板进行图像的重建。更新数据字典、正则化参数和稀疏代码，将稀疏代码和数据字典用来进行图像的重建，得到评估图像其具体步骤如下：

(1)读取输入的图像Y，将图像Y分割成多个6×6图像块，针对每一个图像块找到其相似的其他的图像块组成一个簇(集合)。

(2)针对每一个簇计算主成分分析，构造出主成分分析后则可以利用主成分分析构建数据字典，其具体步骤如下：

(21)假设某个簇L包括s个相似的图像块，表示为L＝[l₁,...,l_s]∈R^h×s，其中h和s分别为簇的尺寸大小。

(22)计算线性子空间W^*，使用最优问题的解决方法来得到一个d(<h)维的线性子空间，从而使得输入图像的方差是最大的，其计算公式如下：

$W^{*}=\underset{W}{\arg \max }{\left|\right|W^T{\mathrm{YY}}^{T}W\left|\right|}_2={\left|\right|W^{T}Y\left|\right|}_2^2,$ 且W^TW＝I_h。

(3)对于每一个簇运用主成分分析来学习数据字典，使用数据字典对簇中的图像块进行编码。其具体步骤如下：

(31)给定视频中当前帧的图像及其分割后的图像块。

(32)将主成分分析应用于每一个簇，得到多个线性子空间W^*。

(33)由多个线性子空间W^*构成集合φ，φ即为该图像块的数据字典，φ＝{d_i|i＝1:K}，

其中，d_i为第i个线性子空间，K为线性子空间个数。

(4)计算稀疏系数α_Y，使用数据字典φ和稀疏系数α_Y构造出评估的图像其公式如下：

其具体步骤如下：

(41)计算稀疏系数，使用最小化的方式计算出稀疏系数，其公式如下：

其中：θ＝α-E[α]，E[α]为所有α的平均值，φ为数据字典，α_Y为稀疏系数，Y为输入的图像，D为下采样倍数，H为模糊核，λ_i和γ_i分别为正则化参数；

(42)将上述稀疏系数的计算公式采用拉普拉斯分布来表示，满足

其中σ_i和δ_i是α_i和θ_i的标准偏差。

(43)利用迭代方法更新数据字典φ、正则化参数λ_i和γ_i，进而更新稀疏系数α_Y，通过更新的φ和α_Y构造出评估的图像更新的方法可以对利用稀疏表达精细模板进行图像的重建的整个步骤(第三步的所有步骤)进行迭代处理，达到更新操作的目的。

第四步，利用放大图像I₁和评估图像构建超分辨率图像。将放大图像I₁和评估图像分别赋予不同的加权因子，得到该帧的超分辨率结果，其公式如下：

$\mathrm{new}=(1-\mathrm{\&epsiv;})*I_1+\mathrm{\&epsiv;}*\hat{X},(0\&le;\mathrm{\&epsiv;}\&le;1),$

其中I₁为放大的图像，权因子为1-ε，为评估的图像，权因子为ε。通过实验的效果来调节权因子，实验结果证明当ε为0.2时效果最好。

第五步，检查视频是否读取完毕。若读取完毕，则完成视频超分辨率重建；若未读取完毕，则继续进行利用向量连分式插值(第二步)进行图像的放大操作。

如图2所示，基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建***，包括：

初始化视频输入模块，用于确定输入视频的类型，启动视频超分辨率重建***，实时重建视频图像。向量控制网格模块，用于对输入的图像进行分割，产生多个3×3的图像块。图像放大模块，用于通过向量控制网格模块构建有理插值曲面，进行图像放大，获得放大图像。图像评估模块，用于获得评估图像，包括主成分分析模块、数据字典模块和稀疏系数模块；主成分分析模块，用于获得最大数量的线性子空间，并应用于数据字典模块；数据字典模块，用于通过主成分分析模块获得数据字典；稀疏系数模块，用于联合数据字典模块得到的数据字典来获得评估的图像；主成分分析模块与数据字典模块模块相连，稀疏系数模块与主成分分析模块相连。图像叠加重建模块，用于将放大图像和评估图像叠加成超分辨率图像。

所述的初始化视频输入模块分别与向量控制网格模块的输入端和图像评估模块的输入端相连，向量控制网格模块的输出端与图像放大模块相连。图像放大模块针对向量控制网格模块划分过后的图像块进行处理，得到放大的图像I₁，图像评估模块直接对图像进行处理，得到评估图像图像评估模块与图像放大模块分别与图像叠加重建模块的输入端相连，对放大图像I₁和评估图像构建超分辨率图像new。

如图3a、图3b和图3c所示，选取退化的视频序列car视频，其共有32帧，我们可以选取任何一帧。在此，我们从32帧的超分辨率结果中取出第1帧、第8帧、第29帧。通过使用LSS方法(即目前流行的局部结构相似性的方法，具体详见文献[1])处理后，文献[1]：

[1]Gilad Freedman,Raanan Fattal,Image and Video Upscaling fromLocal Self-Examples,ACM Transactions on Graphics 30(2)(2011)1-11。

如图4a-图4c所示，对画面分辨率和质量有所提升，虽然边界明显，但是图像色彩不真实，尤其是图像的细节丢失了，而图像的细节特征是重建结果评估的很重要的一点。如图5a-图5c所示，采用本发明的方法进行重建后，明显画面分辨率和质量较LSS方法有更大程度的优化和提升，特别是图像的细节特征保持的较好。

从客观角度出发进行比较可以发现，根据公式 $\mathrm{PSNR}=(-1)\&times;10\&times;{\log }_{10}\frac{\underset{i,j=\mathrm{1,1}}{\overset{m,n}{\mathrm{\&Sigma;}}}{(f(i,j)-\hat{f}(i,j))}^2}{m\&times;n\&times;{\max }^2},$ 这里m×n为矩阵的大小，max＝255，f(i,j)为原始图像，为重建后的图像，利用此公式计算出峰值信噪比PSNR的值。峰值信噪比越大，表明重建后的图像和原始图像越接近，即重建的图像视觉效果越好，分辨率越高。

如图6所示，重建的car灰度视频每一帧的峰值信噪比的比较图，可以发现本发明重建后的car灰度视频每一帧的峰值信噪比较现有技术的方法明显要高出很多，图像分辨率和质量更高。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (9)

1.一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法，其特征在于,包括以下步骤：

11)初始化视频特征分析，读取视频的第一帧图像，通过对第一帧图像进行分析，判断该视频是灰度视频还是彩***；若为彩***，将彩***沿着R、G、B三个颜色通道分别按照灰度视频的方式执行；

12)利用向量连分式插值进行图像的放大，通过读取视频下一帧图像，构造向量控制网格，由向量控制网格结合极坐标下的连分式有理插值构造出有理插值曲面，通过有理插值曲面的采样进行图像的放大，得到放大图像I₁；

13)利用稀疏表达精细模板进行图像的重建，更新数据字典、正则化参数和稀疏代码，将稀疏代码和数据字典用来进行图像的重建，得到评估图像；

14)利用放大图像I1和评估图像构建超分辨率图像，将放大图像I₁和评估图像分别赋予不同的加权因子，得到该帧的超分辨率结果，其公式如下：

$\mathrm{new}=(1-\mathrm{\&epsiv;})*I_1+\mathrm{\&epsiv;}*\hat{X},(0\&le;\mathrm{\&epsiv;}\&le;1),$

其中I₁为放大的图像，权因子为1-ε，为评估的图像，权因子为ε；

15)检查视频是否读取完毕，若读取完毕，则完成视频超分辨率重建；若未读取完毕，则继续进行利用向量连分式插值进行图像的放大操作。

2.根据权利要求1所述的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法，其特征在于，所述的利用向量连分式插值进行图像的放大包括以下步骤：

21)读取视频的下一帧图像，得到输入图像Y的尺寸为m×n，输入放大倍数k，则放大的图像长为m×k、宽为n×k；

22)根据放大倍数k，利用映射关系找到放大后图像的一点(i₁,j₁)对应到输入图像Y中的位置(i,j)，其中i＝i₁/k,j＝j₁/k；

求出该点(i,j)在极坐标下的位置(r,θ)，计算公式如下：

$r=\sqrt{i^2+j^2},\mathrm{\&theta;}=\mathrm{arcyg}(j/i);$

23)构建3×3的向量控制网格V^m×n，对于极坐标下的每一个待求像素点(r,θ)沿着其半径和角度方向分别拓展出另外8个像素点，构成3×3的向量控制网格V^m×n，用表示图像的第i行第j列像素的灰度值向量；

24)极坐标下的连分式有理插值计算，构造一个极坐标下的二元向量有理插值函数R_m,n(r,θ)，满足求出点(r,θ)的二元向量有理函数值，其为放大后图像的一点(i₁,j₁)的像素值，构造二元Newton-Thiele有理插值曲面，从而构建出放大图像I₁。

3.根据权利要求1所述的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法，其特征在于，所述的利用稀疏表达精细模板进行图像的重建包括以下步骤：

31)读取输入的图像Y，将图像Y分割成多个6×6图像块，针对每一个图像块找到其相似的其他的图像块组成一个簇；

32)针对每一个簇计算主成分分析；

33)对于每一个簇运用主成分分析来学习数据字典，使用数据字典对簇中的图像块进行编码；

34)计算稀疏系数α_Y，使用数据字典φ和稀疏系数α_Y构造出评估的图像，其公式如下：采用迭代方法更新数据字典φ、正则化参数λ_i和γ_i，进而更新稀疏系数α_Y，通过更新的φ和α_Y构造出最优的评估图像

4.根据权利要求2所述的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法，其特征在于，所述的构建3×3的向量控制网格V^m×n包括以下步骤：

41)将(r,θ)沿着其半径和角度方向进行扩展，得到另外8个像素点，其中(r₁,θ₁)即为点(r,θ)，9个像素点排列如下所示：

(r₀,θ₀)  (r₀,θ₁)  (r₀,θ₂)

(r₁,θ₀)  (r₁,θ₁)  (r₁,θ₂)

(r₂,θ₀)  (r₂,θ₁)  (r₂,θ₂)；

42)给定d维有限值向量将(r_i,θ_j)由矩阵形式表示为向量形式，排列如下所示：

5.根据权利要求2所述的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法，其特征在于，所述的极坐标下的连分式有理插值计算包括以下步骤：

51)极坐标下的二元向量Newton-Thiele有理插值格式定义为：

R_m,n(r,θ)＝T₀(θ)+(r-r₀)T₁(θ)+(r-r₀)(r-r₁)T₂(θ)+…+(r-r₀)(r-r₁)…(r-r_m-1)T_m(θ)，

其中， $\begin{array}{c}{T}_i\left(\mathrm{\&theta;}\right)=p(r_0,...,r_i;{\mathrm{\&theta;}}_0)+\frac{\mathrm{\&theta;}-{\mathrm{\&theta;}}_0}{p(r_0,...,r_i;{\mathrm{\&theta;}}_0,{\mathrm{\&theta;}}_1)}+\frac{\mathrm{\&theta;}-{\mathrm{\&theta;}}_1}{p(r_0,...,r_i;{\mathrm{\&theta;}}_0,{\mathrm{\&theta;}}_1,{\mathrm{\&theta;}}_2)}+...+\\ \frac{\mathrm{\&theta;}-{\mathrm{\&theta;}}_{n-1}}{p(r_0,...,r_i;{\mathrm{\&theta;}}_0,...,{\mathrm{\&theta;}}_n)},i=\mathrm{0,1},...,m\end{array};$

其中p(r₀,…,r_i；θ₀,…,θ_j)是混合差商，定义如下：

p(r_i；θ_j)＝f(r_icosθ_j,r_isinθ_j),(i＝0,1,…,m；j＝0,1…,n),

$p(r_i,r_j;{\mathrm{\&theta;}}_k)=\frac{p(r_j,{\mathrm{\&theta;}}_k)-p(r_i,{\mathrm{\&theta;}}_k)}{r_j-r_i},$

$p(r_p,...,r_q,r_i,r_j;{\mathrm{\&theta;}}_k)=\frac{p(r_p,...,r_q,r_j;{\mathrm{\&theta;}}_k)-p(r_p,...,r_q,r_i;{\mathrm{\&theta;}}_k)}{r_j-r_i},$

$p(r_p,...,r_q;{\mathrm{\&theta;}}_k,{\mathrm{\&theta;}}_l)=\frac{{\mathrm{\&theta;}}_l-{\mathrm{\&theta;}}_k}{p(r_p,...,r_q;{\mathrm{\&theta;}}_l)-p(r_p,...,r_q;{\mathrm{\&theta;}}_k)},$

$p(r_p,...,r_q;{\mathrm{\&theta;}}_r,...,{\mathrm{\&theta;}}_s,{\mathrm{\&theta;}}_k,{\mathrm{\&theta;}}_l)=\frac{{\mathrm{\&theta;}}_l-{\mathrm{\&theta;}}_k}{p(r_p,...,r_q;{\mathrm{\&theta;}}_r,...,{\mathrm{\&theta;}}_s,{\mathrm{\&theta;}}_l)-p(r_p,...,r_q;{\mathrm{\&theta;}}_r,...,{\mathrm{\&theta;}}_s,{\mathrm{\&theta;}}_k)};$

构造的二元向量有理函数R_m,n(r,θ)满足：R_m,n(r_i,θ_j)＝f(r_icosθ_j,r_isinθ_j), $\&ForAll;(r_i,{\mathrm{\&theta;}}_j)\&Element;{\mathrm{\&Pi;}}_{r,\mathrm{\&theta;}}^{m,n},$ 其中 ${\mathrm{\&Pi;}}_{r,\mathrm{\&theta;}}^{m,n}=\left\{(r_i,{\mathrm{\&theta;}}_j)\right|i=\mathrm{0,1},...,m;j=\mathrm{0,1},...,n\};$

52)对图像中的每一个点按照从上到下、从左到右的顺序，使用向量控制网格和二元向量有理函数R_m,n(r,θ)进行计算，检查所有图像点是否处理完毕，若处理完毕，则完成该阶段的放大工作，若未处理完，则继续进行图像的放大工作，最终得到放大的图像I₁。

6.根据权利要求3所述的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法，其特征在于，所述的计算主成分分析包括以下步骤：

61)假设其中一个簇L包括s个相似的图像块，表示为L＝[l₁,…,l_s]∈R^h×s，其中h和s分别为簇的尺寸大小；

62)计算线性子空间W^*，其计算公式如下

$W^{*}=\underset{W}{\arg \max }{\left|\right|W^T{\mathrm{YY}}^{T}W\left|\right|}_2={\left|\right|W^{T}Y\left|\right|}_2^2,$ 且W^TW＝I_h。

7.根据权利要求3所述的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法，其特征在于，构造数据字典包括以下步骤：

71)给定视频中当前帧的图像及其分割后的图像块；

72)将主成分分析应用于每一个簇，得到多个线性子空间W^*；

73)由多个线性子空间W^*构成集合φ，φ即为该图像块的数据字典，

φ＝{d_i|i＝1:K}，

其中，d_i为第i个线性子空间，K为线性子空间个数。

8.根据权利要求3所述的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法，其特征在于，计算稀疏系数包括以下步骤：

81)使用最小化的方式计算出稀疏系数，其公式如下：

其中：θ＝α-E[α]，E[α]为所有α的平均值，φ为数据字典，α_Y为稀疏系数，Y为输入的图像，D为下采样倍数，H为模糊核，λ_i和γ_i分别为正则化参数；

82)将上述稀疏系数的计算公式采用拉普拉斯分布来表示，满足

其中σ_i和δ_i是α_i和θ_i的标准偏差。

9.一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建***，其特征在于，包括：

初始化视频输入模块，用于确定输入视频的类型，启动视频超分辨率重建***，实时重建视频图像；

向量控制网格模块，用于对输入的图像进行分割，产生多个3×3的图像块；

图像放大模块，用于通过向量控制网格模块构建有理插值曲面，进行图像放大，获得放大图像；

图像评估模块，用于获得评估图像，包括主成分分析模块、数据字典模块和稀疏系数模块；主成分分析模块，用于获得最大数量的线性子空间，并应用于数据字典模块；数据字典模块，用于通过主成分分析模块获得数据字典；稀疏系数模块，用于联合数据字典模块得到的数据字典来获得评估的图像；主成分分析模块与数据字典模块模块相连，稀疏系数模块与主成分分析模块相连；

图像叠加重建模块，用于将放大图像和评估图像叠加成超分辨率图像；

所述的初始化视频输入模块分别与向量控制网格模块的输入端和图像评估模块的输入端相连，所述的向量控制网格模块的输出端与图像放大模块相连，图像评估模块与图像放大模块分别与图像叠加重建模块的输入端相连。