CN103034982B - 一种基于变焦视频序列的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于变焦视频序列的图像超分辨率重建方法，包括以下步骤：步骤一，拍摄一组焦距不同的低分辨率图像构成一个视频序列，将所有图像转为灰度图像并进行图像预处理，从中选定参考图像；步骤二，使用尺度不变特征变换算法获得参考图像与其余未选定的图像之间的匹配点对；步骤三，使用随机抽样一致性算法根据匹配点对计算参考图像与其余未选定的图像之间的单应矩阵；步骤四，使用最大后验概率算法对参考图像进行超分辨率重建。本发明通过亚像素精度图像配准算法，允许图像间存在平移、旋转、缩放等情况，对变焦视频序列超分辨率重建效果突出，具有一定创新性。

Description

一种基于变焦视频序列的图像超分辨率重建方法

技术领域

本发明涉及图像处理领域，特别是一种基于变焦视频序列的图像超分辨率重建方法。

背景技术

随着通信技术、高清电视等的发展，人们对高质量的图像要求越来越高。但在图像采集与处理过程中，许多因素会导致图像的质量下降。如传感器的尺寸，点扩散函数以及被拍摄物体的移动都能使图像模糊和变形。另一方面，在图像的存储和传输过程中，会引入不同的噪声，如高斯、椒盐噪声等。而在压缩图像中，会引入量化噪声。这些都会使图像频谱交叠而降质。

提高图像最直接的方法就是提高采集设备传感器的密度。但是这会显著增加成本，而且随着芯片尺寸的增加，会导致电容的增加和电荷转移速度的减小。解决这个问题的一种有效方法是利用信号处理的方法提高图像的分辨率，即图像的超分辨率重建。图像的超分辨率重建是图像处理的一个重要研究方向，它指利用一幅或几幅低分辨率图像，利用一定的重建算法获得一幅或多幅分辨率更高的图像。

发明内容

发明目的：本发明所要解决的技术问题是针对传统超分辨率重建方法不能较好解决低分辨率图像组存在尺度缩放的重建问题，提供一种基于变焦视频序列的图像超分辨率重建方法。

为了解决上述技术问题，本发明公开了一种基于变焦视频序列的图像超分辨率重建方法，包括以下步骤：

步骤一，拍摄一组焦距不同的低分辨率图像构成一个视频序列，将所有图像转为灰度图像并进行图像预处理，从中选定参考图像；

步骤二，使用尺度不变特征变换（SIFT）算法获得参考图像与其余未选定的低分辨率图像之间的匹配点对；

步骤三，使用随机抽样一致性算法（RANSAC）根据匹配点对计算参考图像与其余未选定的低分辨率图像之间的单应矩阵；

步骤四，使用最大后验概率（MAP）算法对参考图像进行超分辨率重建。

本发明中，优选地，所述步骤一中的一组低分辨率图像序列可通过改变摄像机的焦距拍摄获得，从这组图像序列中可选取任意一幅低分辨率图像作为参考图像，通常选取焦距最短的一幅；

所述图像预处理是在将图像转到灰度空间后，进行去噪等处理。

本发明中，优选地，所述步骤二中匹配点对是通过尺度不变特征变换（SIFT）算法获得，具体包含以下步骤：

步骤（21），通过计算图像金字塔中不同尺度下相邻两幅低分辨率图像之差，得到高斯差分尺度空间（DOG）。对每一个采样点，将其和它在同一尺度下的8个相邻点以及上下相邻尺度对应的各9个点共26个点比较，若其在相邻尺度空间及该尺度下的二维图像空间都检测到为极大值点或极小值点，就认为该点是图像在该尺度下的一个候选特征点。接着通过拟和三维二次函数以精确确定特征点的位置和尺度，从而达到亚像素精度，然后去除所有候选特征点中低对比度的特征点和不稳定的边缘响应点。

步骤（22），通过特征点相邻像素的梯度方向分布特性为每个特征点指定方向参数，从而使算子具备旋转不变性。优选地，可用直方图统计以特征点为中心的邻域像素的梯度方向。直方图的峰值代表特征点的主方向，而其它占有主峰值70%~100%能量的次峰值可视为该特征点的多个辅方向，从而增强匹配的鲁棒性。

步骤（23），将坐标轴旋转同特征点主方向，以特征点为中心取8×8的窗口，计算窗口内各像素的梯度幅值和方向。将窗口分为4个4×4的小块，并利用高斯窗口分块进行8方向梯度加权运算，产生4个种子点，生成特征描述子。

步骤（24），计算参考图像和其余未选定的低分辨率图像中各特征点的特征向量之间的欧式距离，从未选定的图像中查找与参考图像中每一特征点相距最近的两个特征点，若相距最近的特征点距离相对于另一特征点距离小于设定的阈值，通常设置在0.4到0.6之间，则认为这两个特征点为匹配点对。

本发明中，优选地，所述步骤三，首先随机选取4对匹配点并测试其不在同一直线，然后根据直接线性变换方法（DLT）计算两幅图像之间的单应矩阵，利用该单应矩阵计算其它输入匹配点对的距离，统计距离小于阈值（称为“内点”）的匹配点对数目，当“内点”数目大于阈值或数目恰为阈值且“内点”距离的均方差小于阈值时，保留该单应矩阵，否则更新参数，重新迭代计算。

本发明中，优选地，所述步骤四，首先确定观测模型，可认为低分辨率图像的像素由高分辨率图像中若干对应的像素加权得到，权值可通过高分辨率图像与参考低分辨率图像对应像素的个数及参考图像和其余未选定的低分辨率图像之间的比例关系确定。然后利用梯度法计算MAP算子目标函数的梯度，并计算最优步长，以参考图像的双线性或双三次插值结果为初值，迭代更新最终输出的高分辨率图像对应点的像素值。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明方法的流程图。

图2是本发明产生DOG空间的示意图。

图3是尺度空间下的极值点所要比较的26个点示意图。

图4a和图4b分别是本发明邻域梯度方向图和关键点特征向量示意图。

图5是一组低分辨率图像间特征点的匹配结果。

图6a和图6b分别是超分辨率图像和参考图像网格对应图。

具体实施方式：

本发明以一组焦距不同的低分辨率图像为基础，利用特征点提取、图像配准以及超分辨率重建算法来获取一幅或多幅高分辨率的图像。

如图1所示，本发明公开了一种基于变焦视频序列的图像超分辨率重建方法，包括以下步骤：

步骤一，拍摄一组焦距不同的低分辨率图像构成一个视频序列，将所有图像转为灰度图像并进行图像预处理，从中选定参考图像；

步骤二，使用尺度不变特征变换（SIFT）算法获得参考图像与其余未选定的低分辨率图像之间的匹配点对；

步骤三，使用随机抽样一致性算法（RANSAC）根据匹配点对计算参考图像与其余未选定的低分辨率图像之间的单应矩阵；

步骤四，使用最大后验概率（MAP）算法对参考图像进行超分辨率重建。

本发明中，步骤一，通过改变摄像机焦距拍摄一组低分辨率图像序列，并从中选择一幅低分辨率图像作为参考图像。在进行超分辨率重建之前，首先将所有低分辨率图像转到灰度空间，然后进行去噪等预处理。

本发明中，步骤二，包含如下步骤：

步骤（21），将尺度空间的图像定义为函数L(x,y,σ)，而高斯函数为：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}---\left(1\right)$

其中(x,y)表示图像像素点的坐标，σ为高斯参数。

若输入图像为I(x,y)，则：

L(x,y,σ)=G(x,y,σ)*I(x,y)    （2）

其中，*表示图像卷积。

从而利用相邻尺度空间的高斯差分核与图像卷积得到高斯差分尺度空间（DOG）：

D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)（3）

其中，参数k表示第k个尺度空间，其计算过程如图2所示，设图像金字塔共有O组，每组有S层，其中第k组图像由k-1组图像以2为因子降采样得到，而DOG算子由每组中相邻两幅图相减得到。

为了寻找尺度空间的极值点，首先对每一个采样点，将该点和它同尺度下的8个相邻点和上下相邻尺度对应的各9个点共26个点进行比较，如图3所示，若其在相邻尺度空间及该尺度二维图像空间都检测为极大值点或极小值点，就认为该点是图像在该尺度下的一个候选特征点。

然后通过拟和三维二次函数以精确确定特征点的位置和尺度，达到亚像素精度。同时去除候选点中低对比度的特征点和不稳定的边缘响应点，这是因为DOG算子会产生较强的边缘响应，以增强匹配稳定性、提高抗噪声能力。

空间尺度函数DOG在x方向上的泰勒展开式如下:

$D(x,y,\mathrm{\σ})=D+\frac{{\∂D}^T}{\∂x}x+\frac{1}{2}{x}^T\frac{{\∂}^{2}D}{{\∂x}^2}x---\left(4\right)$

其中，D为x=0时D(x,y,σ)的常量值。

对上式求导，并令导数为0，得到精确的位置：

$\hat{x}=-\frac{{\∂}^2{D}^{-1}\∂D}{{\∂x}^2}\frac{\∂D}{\∂x}---\left(5\right)$

把公式（5）代入公式（4），只取前两项可得：

$D\left(\hat{x}\right)=D+\frac{1}{2}\frac{{\∂D}^T}{\∂x}\hat{x}---\left(6\right)$

在已经检测到的特征点中，若变量的绝对值大于等于阈值0.03，该特征点就保留下来，否则为低对比度特征点被丢弃。

一个定义不好的高斯差分算子DOG的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2×2的Hessian矩阵H求出，即：

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]---\left(7\right)$

其中D的导数由采样点相邻差估计得到，D_xx表示D对x求二阶偏导，D_yy表示D对y求二阶偏导，D_xy表示D对xy求二阶混合偏导。由于求解矩阵的特征值比较麻烦，这里使用间接的方法。令α为最大特征值，β为最小的特征值，并令α=rβ,则矩阵H的迹Tr(H)和行列式与矩阵的特征值Det(H)有下列关系：

$\frac{{\mathrm{Tr}\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(\mathrm{r\β}+\mathrm{\β})}^2}{{\mathrm{r\β}}^2}=\frac{{(r+1)}^2}{r}---\left(8\right)$

因而，为了去除边缘的影响，可取r=10，若：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(r+1)}^2}{r}---\left(9\right)$

该特征点保留，否则，丢掉该候选点。

步骤（22），通过局部图像的特征，为每个特征点指定方向参数，可以实现旋转不变性。对于每一幅图像L(x,y)上的点(x,y)，设梯度的模为m(x,y)，方向为θ(x,y)，由下面给出：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(10\right)$

θ(x,y)=tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))    （11）

用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，从而使算子具备旋转不变性。优选地，可用直方图统计以特征点为中心的邻域像素的梯度方向。直方图的峰值代表特征点的主方向，而其它占有主峰值70%~100%能量的次峰值可视为该特征点的多个辅方向，从而增强匹配的鲁棒性。因而，每个特征点有三个信息：位置、所处尺度和方向。

步骤（23），首先将坐标轴旋转同特征点主方向，以确保旋转不变性。接下来以特征点为中心取8×8的窗口，图4a邻域梯度方向图中的中央黑点为当前特征点的位置，每个小格代表特征点邻域所在尺度空间的一个像素，计算每个像素(x,y)的梯度幅值m(x,y)与梯度方向θ(x,y)，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算,每个像素对应一个向量，长度为G(x,y,σ)·m(x,y)。图4a中圆圈代表高斯加权的范围，其中越靠近特征点的像素梯度方向信息贡献越大。高斯参数σ取3倍特征点所在的尺度，即3σ。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图4b所示，此图中一个特征点由2×2共4个种子点组成，每个种子点有8个方向向量信息，从而形成一个特征描述子。

步骤（24），当两幅图像的SIFT特征向量生成后，计算两幅图像中各特征点的特征向量的欧式距离。取图像1中的某个特征点，并找出图像2中与其欧式距离最近的前两个特征点，在这两个特征点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。该阈值通常设置在0.4~0.6之间，匹配效果如图5所示，图5左半部分为一幅图，图5右半部分为另一幅图，一对匹配点之间用横线表示。

本发明中，步骤三，采用随机抽样一致性算法（RANSAC）来配准匹配点对。首先随机选取4对匹配点并测试其不在同一直线，然后根据直接线性变换方法（DLT）计算当前单应矩阵H_curr，然后对其余输入的点对和计算距离其中d(x′,x)为x′与x的绝对差。统计距离小于距离阈值T_DIST的匹配点对（称为“阈值内点”）数目，当“阈值内点”数目m大于阈值MAX_inlier或数目恰为阈值MAX_inlier且所有“阈值内点”的均方差curr_std小于阈值MIN_std时，保留该单应矩阵H=H_curr，并记录所有“阈值内点”；否则计算参数 $\mathrm{\&epsiv;}=1-m/n,N=\frac{\log (1-p)}{\log (1-{(1-\mathrm{\&epsiv;})}^4)},$ 其中n为输入点对个数，p=0.99，T_DIST=0.1，MAX_inlier=0.95n，MIN_std=100000，如果N小于最大迭代次数500，继续迭代计算。最后将最终获得的“阈值内点”集作为输入，用DLT方法得到单应矩阵H，图像匹配即可完成。

本发明中，步骤四，首先确定观测模型，可认为低分辨率图像的像素由高分辨率图像中若干对应的像素加权得到，权值可通过高分辨率图像与参考图像对应像素的个数及参考图像和其余未选定的低分辨率图像之间的比例关系确定。假设将焦距最短的那一幅图像作为参考图像，即它的网格和所要重建的高分辨率图像一致，如图6a和图6b所示，图6a是所要重建的超分辨率图像，图6b是参考图像，其中灰色背景部分为两图对应的像素块，高分辨率图中4*4大小的块对应参考图像中的一个像素。该观测模型可简化为：

$y_m=\underset{r=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{m,r}\left(s\right)z_r+{\mathrm{\&eta;}}_m---\left(12\right)$

其中m=1,2,…,M，M为所有低分辨率图像的像素个数总和，y_m为第m个像素的像素值，ω_m,r(s)代表高分辨率图像中第r个像素对低分辨率图像中第m个像素的贡献系数，z_r表示超分辨率图像中第r个像素的像素值，s为该低分辨率图像的配准信息，η_m代表添加的噪声，比如方差为的高斯噪声。

由于高分辨率图像的网格和参考图像是一致的，因而如果知道其它低分辨率图像与参考图像之间的单应矩阵，那么就可以知道它们与高分辨率图像之间的对应关系，就可以求得贡献系数ω_m，r(s)。具体来说，如果高分辨率图像为参考图像水平和垂直方向均扩充一倍，即参考图像中每个像素对应高分辨率图像中相应位置的4个像素，此时可根据任意一幅低分辨率图像与参考图像之间的缩放关系，确定其余低分辨率图像中单个像素对应高分辨率图像中的像素个数。例如该低分辨率图像相对参考图像的比例为1.2，则对应高分辨率图像中的像素个数约为1.2×4≈5个。从而该5个像素对该低分辨率图像中该像素的贡献系数为1/5。

然后利用梯度法计算MAP算子目标函数的梯度，该MAP目标函数可表示为：

$L(z,s)=\frac{1}{{2\mathrm{\&sigma;}}_{\mathrm{\&eta;}}^2}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{(y_m-\underset{r=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{m,r}\left(s\right)z_r)}^2+\frac{1}{2\mathrm{\&lambda;}}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{d}_{i,j}{z}_j\right)}^2---\left(13\right)$

其中N为要重建的超分辨率图像中的像素个数，z表示超分辨率图像的像素值，λ为常数，d_i=[d_i，1，d_i，2，…,d_i,N]^T是系数向量，代表了超分辨率图像中局部像素之间的关系。

对公式（13）求导有：

$g_k(z,s)=\frac{\&PartialD;L(z,s)}{{\&PartialD;z}_k}=\frac{1}{{\mathrm{\&sigma;}}_{\mathrm{\&eta;}}^2}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{m,k}\left(s\right)(\underset{r=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{m,r}\left(s\right)z_r-y_m)+\frac{1}{\mathrm{\&lambda;}}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{d}_{i,k}\left(\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{d}_{i,j}{z}_j\right)---\left(15\right)$

从而最终输出的高分辨率图像中对应第k个像素点的像素值的迭代过程为：

${\hat{z}}_k^{n+1}={\hat{z}}_k^n-{\mathrm{\&epsiv;}}^n{g}_k({\hat{z}}^n,{\hat{s}}^n)---\left(16\right)$

其中n表示迭代次数。

以参考图像的双线性或双三次插值结果为初值第n步的最优步长计算为：

${\mathrm{\&epsiv;}}^n=\frac{\frac{1}{{\mathrm{\&sigma;}}_{\mathrm{\&eta;}}^2}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_m(\underset{r=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{m,r}\left({\hat{s}}^n\right){\hat{z}}_r^n-y_m)+\frac{1}{\mathrm{\&lambda;}}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{g}}_i\left(\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{d}_{i,j}{\hat{z}}_j^n\right)}{\frac{1}{{\mathrm{\&sigma;}}_{\mathrm{\&eta;}}^2}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}_m^2+\frac{1}{\mathrm{\&lambda;}}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{g}}_i^2}---\left(17\right)$

其中 ${\mathrm{\&gamma;}}_m=\underset{r=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{m,r}\left({\hat{s}}^n\right)g_r({\hat{z}}^n,{\hat{s}}^n),$ ${\stackrel{\&OverBar;}{g}}_i=\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{d}_{i,j}{g}_j({\hat{z}}^n,{\hat{s}}^n).$

如果或者达到一定的迭代次数，则停止迭代。最终输出即为高分辨率图像对应点的像素值。

本发明提供了一种基于变焦视频序列的图像超分辨率重建方法，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。另外，本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (3)

1.一种基于变焦视频序列的图像超分辨率重建方法，其特征在于，包括以下步骤：

步骤一，拍摄一组焦距不同的低分辨率图像构成一个视频序列，将所有图像转为灰度图像并进行图像预处理，从中选定参考低分辨率图像；

步骤二，使用尺度不变特征变换算法获得参考低分辨率图像与其余未选定的图像之间的匹配点对；

步骤三，使用随机抽样一致性算法根据匹配点对计算参考低分辨率图像与其余未选定的图像之间的单应矩阵；

步骤四，使用最大后验概率算法对参考低分辨率图像进行超分辨率重建；

步骤四中，首先确定观测模型，设定低分辨率图像的像素由一组对应的高分辨率图像的像素加权得到，通过高分辨率图像与参考低分辨率图像对应像素的个数，及参考低分辨率图像和其余未选定的图像之间的比例关系确定权值；

再以参考低分辨率图像的双线性或双三次插值结果为初值，结合梯度法求解MAP算子目标函数，确定最优步长，进行迭代计算，最终获得高分辨率图像中每个像素点的像素值；

将焦距最短的那一幅图像作为参考低分辨率图像，即它的网格和所要重建的高分辨率图像一致，由于高分辨率图像的网格和参考低分辨率图像是一致的，因而如果知道其它低分辨率图像与参考低分辨率图像之间的单应矩阵，那么就可以知道它们与高分辨率图像之间的对应关系，就可以求得贡献系数。

2.根据权利要求1所述的一种基于变焦视频序列的图像超分辨率重建方法，其特征在于，所述步骤一中选定的参考低分辨率图像为焦距最短的一幅，图像预处理包括图像降噪。

3.根据权利要求1所述的一种基于变焦视频序列的图像超分辨率重建方法，其特征在于，所述步骤三根据随机抽样一致性算法，利用直接线性变换方法计算两幅图像之间的单应矩阵，并根据该单应矩阵计算图像之间其余匹配点对的距离，根据距离阈值将输入匹配点对区分为阈值内点和阈值外点两类，并用阈值内点重新计算和估计单应矩阵，反复迭代，当阈值内点个数或阈值内点均方差满足终止条件或达到最大迭代次数时的单应矩阵即为该两幅图像之间的单应矩阵。