CN102682442A - 基于光流场的运动目标超分辨率图像重建方法 - Google Patents

Abstract

本发明提出一种基于光流场的运动目标超分辨率图像重建方法，它包括如下步骤：第一步，基于光流场的运动目标跟踪和运动估计：首先在第一帧图像中截取出运动目标图像，然后根据参考帧图像中运动目标图像的位置截取下一帧图像中相同位置上的运动目标图像，计算两帧运动目标图像之间的光流场，其次利用光流场获得运动目标图像的运动参数，根据运动参数在参考帧的下一帧图像中更改运动目标图像的位置，最后按照相同的方法依次对相邻两帧图像进行处理，跟踪截取每帧图像的运动目标图像；第二步，利用非均匀插值法对低分辨率图像序列进行图像融合；第三步，利用维纳滤波法对初步融合的高分辨率图像进行图像复原处理，得到清晰的高分辨率图像。

Description

基于光流场的运动目标超分辨率图像重建方法

技术领域

本发明涉及图像处理领域，是一种基于光流场的运动目标超分辨率图像重建方法。

背景技术

进入21世纪，视频监控技术显示日益广泛的应用前景。在城市交通管理中，可利用监控摄像机对交通状况实时监控，发现各种交通违章车辆；在安全领域，对重要部门或者敏感的公共场合，借助视频监控***实时监测突发事件或者可疑人物。如何对国家***门和敏感的公共场合进行全天候、实时、自动的监控，已成为世界各国高度重视的问题，智能视频监控技术是解决这一问题的有效手段。在视频监控应用中，由于摄像机分辨率低等原因，往往拍摄到的视频图像分辨率较低，难以从图像中获取需要的细节特征，如车辆的车牌信息、人的面部特征等，给案件的侦破造成困难。此外，目前的图像传输和存储大多采用压缩方式，也会导致图像分辨率下降，不利于图像的分析利用。因此，如何提高视频图像的分辨率，成为智能视频监控技术所面临的难题。该问题的解决对提高智能监控***的性能，具有重要的理论意义和应用价值。

要获得高分辨率的图像，直接的方法是采用高分辨率的视频摄像机，如高清摄像机。但高清摄像机价格很高，短期内难以大规模使用。在相当长的时期内，普通摄像机仍是视频监控的主流设备。因此有必要研究新的技术提供图像分辨率，图像超分辨率技术在这种背景下应运而生，超分辨率技术利用已有的低分辨率成像***，采图像处理的方法，从软件的角度提高图像的分辨率，弥补摄像机硬件方面的不足。超分辨率技术是提高图像空间分辨率、改善图像质量的有效方法，受到国内外学术界和商业界的极大关注，得到广泛深入的研究。

发明内容

本发明是一种能够提高超分辨率图像重建方法在目标运动时的能力的基于光流场的运动目标超分辨率图像重建方法。

为了实现该目标，本发明提供一种基于光流场的运动目标超分辨率图像重建方法，包括如下步骤：

步骤1：基于光流场的运动目标跟踪和运动估计，从同一传感器获取连续K帧M₁×M₂大小的低分辨率图像Y_k(x，y)，按照公知的建立图像坐标系的方法，以坐标(x，y)＝(0，0)作为坐标原点建立坐标系，使图像全部落在第一象限内，得到低分辨率灰度图像序列{Y_k(x，y)|0≤x＜M₁，0≤y＜M₂，k＝1，2，...，K}，其中，M₁、M₂分别为每帧低分辨率图像的图像矩阵的行数和列数，且M₁、M₂、K均为正整数，二维函数Y_k(x，y)表示低分辨率图像序列中第k帧图像，x和y都为非负整数，从低分辨率灰度图像序列{Y_k(x，y)|k＝1，2，...，K}中获取的运动目标的低分辨率图像序列表示为{D_k(x，y)|k＝1，2，...，K}，二维函数D_k(x，y)表示从第k帧图像Y_k(x，y)中提取出来的大小为d_w×d_h的运动目标图像，获取低分辨率运动目标图像序列的步骤如下：

步骤1.1：令k初始值为1，在第k帧低分辨率图像Y_k(x，y)中标记出尺寸大小d_w×d_h的第k帧运动目标图像D_k(x，y)，以运动目标图像中任意一点的位置坐标作为第k帧运动目标图像的位置坐标

和

都为非负整数，d_w和d_h均为正整数；

步骤1.2：依次对两帧连续图像Y_k(x，y)和Y_k+1(x，y)进行处理，以图像Y_k(x，y)为参考帧，初始化第k+1帧图像的运动目标的位置坐标为

将图像Y_k+1(x，y)中位置坐标

处大小为d_w×d_h的图像作为第k+1帧初始运动目标图像D_k+1(x，y)；

步骤1.3：分别计算图像D_k(x，y)和D_k+1(x，y)的高斯金字塔图像P_k，l(x，y)和P_k+1，l(x，y)，l为图像高斯金字塔层的序数，l为正整数且1≤l≤L，L为两帧图像中最高金字塔层数的最小值，l初始值为L，高斯金字塔图像P_k，l(x，y)大小为d_w/2^l-1×d_h/2^l-1，利用图像光流场估计图像D_k+1(x，y)相对于图像D_k(x，y)的水平和垂直位移F_k，0、F_k，1，设水平和垂直位移F_k，0、F_k，1的初始值均为0，具体方法如下：

步骤1.3.1：利用高斯滤波对图像P_k，l(x，y)和P_k+1，l(x，y)进行预处理，预处理后的低分辨率图像分别记为E^l(x，y，k)和E^l(x，y，k+1)，即图像序列E^l(x，y，t)分别在第t＝k帧和第t＝k+1帧的图像；

步骤1.3.2：利用E^l(x，y，k)中每四个相邻像素与E^l(x，y，k+1)中对应位置的四个像素组成的八像素点立方体邻域，估计图像偏导数

在每个邻域中坐标为(i，j)处的值，i、j为正整数，1≤i≤d_w/2^l-1，1≤j≤d_h/2^l-1即：

$E_x^l\≈\frac{1}{4}\{E_{i,j+1,k}^l-E_{i,j,k}^l+E_{i+1,j+1,k}^l-E_{i+1,j,k}^l+E_{i,j+1,k+1}^l-E_{i,j,k+1}^l+E_{i+1,j+1,k+1}^l-E_{i+1,j,k+1}^l\}$

$E_y\≈\frac{1}{4}\{E_{i+1,j,k}^l-E_{i,j,k}^l+E_{i+1,j+1,k}^l-E_{i,j+1,k}^l+E_{i+1,j,k+1}^l-E_{i,j,k+1}^l+E_{i+1,j+1,k+1}^l-E_{i,j+1,k+1}^l\}$

$E_t\≈\frac{1}{4}\{E_{i,j,k+1}^l-E_{i,j,k}^l+E_{i+1,j,k+1}^l-E_{i+1,j,k}^l+E_{i,j+1,k+1}^l-E_{i,j+1,k}^l+E_{i+1,j+1,k+1}^l-E_{i+1,j+1,k}^l\}$

$E_{1+(d_w/2^{l-1}),j,k}^l=E_{d_w/2^{l-1},j,k}^l$

$E_{i,1+(d_h/2^{l-1}),k}^l=E_{i,d_h/2^{l-1},k}^l$

$E_{1+(d_w/2^{l-1}),1+(d_h/2^{l-1}),k}^l=E_{d_w/2^{l-1},d_h/2^{l-1},k}^l$

其中，和分别为亮度图像E^l(x，y，t)对x、y、t的偏导数的缩写，下标(i，j，k)表示第k帧图像中第i行和第j列交叉处的点的坐标；

步骤1.3.3：利用最小化全局误差，计算光流场速度矩阵U、V，其大小均为d_w×d_h，

$u^{n+1}={\stackrel{\‾}{u}}^n-E_x^l(E_x^l{\stackrel{\‾}{u}}^n+E_y^l{\stackrel{\‾}{v}}^n+E_t^l)/({\mathrm{\α}}^2+{\left(E_x^l\right)}^2+{\left(E_y^l\right)}^2)$

$v^{n+1}={\stackrel{\‾}{v}}^n-E_y^l(E_x^l{\stackrel{\‾}{u}}^n+E_y^l{\stackrel{\‾}{v}}^n+E_t^l)/({\mathrm{\α}}^2+{\left(E_x^l\right)}^2+{\left(E_y^l\right)}^2)$

其中，u＝dx/dt和v＝dy/dt分别为光流场的两个分量U、V在坐标点(x，y)处的值，且U、V、u、v初始值均为0，α为权重因子，n为迭代次数，取α为1，n为100，局部均值

和定义为

${\stackrel{\‾}{u}}_{i,j,k}=\frac{1}{6}\{u_{i-1,j,k}+u_{i,j+1,k}+u_{i+1,j,k}+u_{i,j-1,k}\}+\frac{1}{12}\{u_{i-1,j-1,k}+u_{i-1,j+1,k}+u_{i+1,j+1,k}+u_{i+1,j-1,k}\}$

${\stackrel{\‾}{v}}_{i,j,k}=\frac{1}{6}\{v_{i-1,j,k}+v_{i,j+1,k}+v_{i+1,j,k}+v_{i,j-1,k}\}+\frac{1}{12}\{v_{i-1,j-1,k}+v_{i-1,j+1,k}+v_{i+1,j+1,k}+v_{i+1,j-1,k}\}$

v_-1，j，k＝v_0，j，k    v_i，-1，k＝v_i，0，k    v_-1，-1，k＝v_0，0，k

u_-1，j，k＝u_0，j，k    u_i，-1，k＝u_i，0，k    u_-1，-1，k＝u_0，0，k

$v_{d_w,j,k}=v_{d_w-1,j,k}$ $v_{i,d_h,k}=v_{i,d_h-1,k}$ $v_{d_w,d_h,k}=v_{d_w-1,d_h-1,k}$

$u_{d_w,j,k}=u_{d_w-1,j,k}$ $u_{i,d_h,k}=u_{i,d_h-1,k}$ $u_{d_w,d_h,k}=u_{d_w-1,d_h-1,k}$

其中，下标(i，j，k)表示第k帧图像中第i行和第j列交叉处的点的坐标，i、j为正整数，1≤i≤d_w，1≤j≤d_h；

步骤1.3.4：利用公式 $F_{k,l,0}=\frac{1}{d_w\×d_h}\underset{y=0}{\overset{d_h-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{d_w-1}{\mathrm{\Σ}}}U(x,y)$ 和 $F_{k,l,1}=\frac{1}{d_w\×d_h}\underset{y=0}{\overset{d_h-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{d_w-1}{\mathrm{\Σ}}}V(x,y)$ 分别计算光流场两个分量U、V的均值F_k，l，0、F_k，l，1，U为光流场水平速度矩阵，V为光流场垂直速度矩阵，并利用公式

和

得到图像运动参数，若l不为1，则将l减1，返回步骤1.3.1，否则，分别对F_k，0、F_k，1做四舍五入的取整操作；

步骤1.4：利用公式

计算第k+1帧图像D_k+1(x，y)新的目标图像位置坐标重新截取图像Y_k+1(x，y)的运动目标图像D_k+1(x，y)，若Y_k+1(x，y)不为最后一帧图像，k加1，返回步骤1.2，否则，结束目标图像的提取；

步骤2：利用非均匀插值法，将低分辨率图像序列{D_k(x，y)|k＝1，2，...，K}融合为一帧大小为(p·d_w)×(p·d_h)的模糊的高分辨率图像Z(x，y)，其中放大因子p为正整数，取p为4，图像融合的具体方法为：

步骤2.1：根据图像运动位移F_k，0、F_k，1分别对p取余的结果，将低分辨率图像序列{D_k(x，y)|k＝1，2，...，K}分为p×p个类别，计算出每个类别中的低分辨率图像在每个像素点上的像素值中值，得到大小为d_w×d_h的中值图像序列{S_g，h(x，y)|0≤x＜d_w，0≤y＜d_h，g，k＝1，2，...，p}；

步骤2.2：根据Z(p×x+g-1，p×y+h-1)＝S_g，h(x，y)，0≤x＜d_w，0≤y＜d_h，分别将中值图像序列{S_g，h(x，y)|g，k＝1，2，...，p}的像素值保存到高分辨率图像Z(x，y)中，得到高分辨率图像Z(x，y)；

步骤3：利用维纳滤波法对初步融合的高分辨率图像Z(x，y)进行图像复原处理，获得清晰的大小为(p·d_w)×(p·d_h)的高分辨率图像Z(x，y)，具体实现为：

步骤3.1：计算图像Z(x，y)的傅里叶变换图像G(x，y)，大小为(p·d_w)×(p·d_h)；

步骤3.2：计算图像Z(x，y)每个像素值的平方，得到大小为(p·d_w)×(p·d_h)的图像Z ²(x，y)；

步骤3.3：利用式子

$Z(x,y)=\frac{1}{\underset{\‾}{Z}(x,y)}\frac{{\underset{\‾}{Z}}^2(x,y)}{{\underset{\‾}{Z}}^2(x,y)+\mathrm{\σ}}G(x,y)$

计算得到清晰的高分辨率图像Z(x，y)，其中，σ为常数0.001。

与现有技术相比，本发明的特点在于：

1)本发明利用光流场的特点，针对含有运动目标的低分辨率图像序列，能较准确地估计出较大运动位移的目标的运动参数，以提高重建的高分辨率图像的质量，特别是针对快速运动目标的超分辨率图像重建问题；

2)本发明通过对运动目标的跟踪，只对运动目标图像进行处理，避免了对包含大量冗余背景信息的整幅图像进行处理而耗费时间，提高了算法运算速度；

3)本发明将维纳滤波引入到超分辨率图像重建中，滤除了图像融合后高分辨率图像中存在的噪声干扰。

附图说明

图1是基于光流场的运动目标超分辨率图像重建流程图。

图2是估计局部均值的大小为3×3的拉普拉斯模板。

图3是数字图像所用的坐标约定。

图4是估计图像在每个像素点处三个方向的偏导数时，使用的八个相邻像素点构成的立方体邻域图。

具体实施方式

在具体的实施方式中，将结合附图，清楚完整地描述基于光流场的运动目标超分辨率图像重建方法的详细过程，

一种基于光流场的运动目标超分辨率图像重建方法，其特征在于按照以下步骤进行：

步骤1：基于光流场的运动目标跟踪和运动估计，从同一传感器获取连续K帧M₁×M₂大小的低分辨率图像Y_k(x，y)，按照公知的建立图像坐标系的方法，以坐标(x，y)＝(0，0)作为坐标原点建立坐标系，使图像全部落在第一象限内，得到低分辨率灰度图像序列{Y_k(x，y)|0≤x＜M₁，0≤y＜M₂，k＝1，2，...，K}，其中，M₁、M₂分别为每帧低分辨率图像的图像矩阵的行数和列数，且M₁、M₂、K均为正整数，二维函数Y_k(x，y)表示低分辨率图像序列中第k帧图像，x和y都为非负整数，从低分辨率灰度图像序列{Y_k(x，y)|k＝1，2，...，K}中获取的运动目标的低分辨率图像序列表示为{D_k(x，y)|k＝1，2，...，K}，二维函数D_k(x，y)表示从第k帧图像Y_k(x，y)中提取出来的大小为d_w×d_h的运动目标图像，获取低分辨率运动目标图像序列的步骤如下：

步骤1.1：令k初始值为1，在第k帧低分辨率图像Y_k(x，y)中标记出尺寸大小d_w×d_h的第k帧运动目标图像D_k(x，y)，以运动目标图像中任意一点的位置坐标作为第k帧运动目标图像的位置坐标

和

都为非负整数，d_w和d_h均为正整数；

步骤1.2：依次对两帧连续图像Y_k(x，y)和Y_k+1(x，y)进行处理，以图像Y_k(x，y)为参考帧，初始化第k+1帧图像的运动目标的位置坐标为

将图像T_k+1(x，y)中位置坐标

处大小为d_w×d_h的图像作为第k+1帧初始运动目标图像D_k+1(x，y)；

步骤1.3：分别计算图像D_k(x，y)和D_k+1(x，y)的高斯金字塔图像P_k，l(x，y)和P_k+1，l(x，y)，l为图像高斯金字塔层的序数，l为正整数且1≤l≤L，L为两帧图像中最高金字塔层数的最小值，l初始值为L，高斯金字塔图像P_k，l(x，y)大小为d_w/2^l-1×d_h/2^l-1，利用图像光流场估计图像D_k+1(x，y)相对于图像D_k(x，y)的水平和垂直位移F_k，0、F_k，1，设水平和垂直位移F_k，0、F_k，1的初始值均为0，具体方法如下：

步骤1.3.1：利用高斯滤波对图像P_k，l(x，y)和P_k+1，l(x，y)进行预处理，预处理后的低分辨率图像分别记为E^l(x，y，k)和E^l(x，y，k+1)，即图像序列E^l(x，y，t)分别在第t＝k帧和第t＝k+1帧的图像；

步骤1.3.2：利用E^l(x，y，k)中每四个相邻像素与E^l(x，y，k+1)中对应位置的四个像素组成的八像素点立方体邻域，估计图像偏导数

在每个邻域中坐标为(i，j)处的值，i、j为正整数，1≤i≤d_w/2^l-1，1≤j≤d_h/2^l-1即：

$E_x^l\≈\frac{1}{4}\{E_{i,j+1,k}^l-E_{i,j,k}^l+E_{i+1,j+1,k}^l-E_{i+1,j,k}^l+E_{i,j+1,k+1}^l-E_{i,j,k+1}^l+E_{i+1,j+1,k+1}^l-E_{i+1,j,k+1}^l\}$

$E_y\≈\frac{1}{4}\{E_{i+1,j,k}^l-E_{i,j,k}^l+E_{i+1,j+1,k}^l-E_{i,j+1,k}^l+E_{i+1,j,k+1}^l-E_{i,j,k+1}^l+E_{i+1,j+1,k+1}^l-E_{i,j+1,k+1}^l\}$

$E_t\≈\frac{1}{4}\{E_{i,j,k+1}^l-E_{i,j,k}^l+E_{i+1,j,k+1}^l-E_{i+1,j,k}^l+E_{i,j+1,k+1}^l-E_{i,j+1,k}^l+E_{i+1,j+1,k+1}^l-E_{i+1,j+1,k}^l\}$

$E_{1+(d_w/2^{l-1}),j,k}^l=E_{d_w/2^{l-1},j,k}^l$

$E_{i,1+(d_h/2^{l-1}),k}^l=E_{i,d_h/2^{l-1},k}^l$

$E_{1+(d_w/2^{l-1}),1+(d_h/2^{l-1}),k}^l=E_{d_w/2^{l-1},d_h/2^{l-1},k}^l$

其中，

和

分别为亮度图像E^l(x，y，t)对x、y、t的偏导数的缩写，下标(i，j，k)表示第k帧图像中第i行和第j列交叉处的点的坐标；

步骤1.3.3：利用最小化全局误差，计算光流场速度矩阵U、V，其大小均为d_w×d_h，

$u^{n+1}={\stackrel{\‾}{u}}^n-E_x^l(E_x^l{\stackrel{\‾}{u}}^n+E_y^l{\stackrel{\‾}{v}}^n+E_t^l)/({\mathrm{\α}}^2+{\left(E_x^l\right)}^2+{\left(E_y^l\right)}^2)$

$v^{n+1}={\stackrel{\‾}{v}}^n-E_y^l(E_x^l{\stackrel{\‾}{u}}^n+E_y^l{\stackrel{\‾}{v}}^n+E_t^l)/({\mathrm{\α}}^2+{\left(E_x^l\right)}^2+{\left(E_y^l\right)}^2)$

其中，u＝dx/dt和v＝dy/dt分别为光流场的两个分量U、V在坐标点(x，y)处的值，且U、V、u、v初始值均为0，α为权重因子，n为迭代次数，取α为1，n为100，局部均值和定义为

${\stackrel{\‾}{u}}_{i,j,k}=\frac{1}{6}\{u_{i-1,j,k}+u_{i,j+1,k}+u_{i+1,j,k}+u_{i,j-1,k}\}+\frac{1}{12}\{u_{i-1,j-1,k}+u_{i-1,j+1,k}+u_{i+1,j+1,k}+u_{i+1,j-1,k}\}$

${\stackrel{\‾}{v}}_{i,j,k}=\frac{1}{6}\{v_{i-1,j,k}+v_{i,j+1,k}+v_{i+1,j,k}+v_{i,j-1,k}\}+\frac{1}{12}\{v_{i-1,j-1,k}+v_{i-1,j+1,k}+v_{i+1,j+1,k}+v_{i+1,j-1,k}\}$

v_-1，j，k＝v_0，j，k    v_i，-1，k＝v_i，0，k     v_-1，-1，k＝v_0，0，k

u_-1，j，k＝u_0，j，k    u_i，-1，k＝u_i，0，k     u_-1，-1，k＝u_0，0，k

$v_{d_w,j,k}=v_{d_w-1,j,k}$ $v_{i,d_h,k}=v_{i,d_h-1,k}$ $v_{d_w,d_h,k}=v_{d_w-1,d_h-1,k}$

$u_{d_w,j,k}=u_{d_w-1,j,k}$ $u_{i,d_h,k}=u_{i,d_h-1,k}$ $u_{d_w,d_h,k}=u_{d_w-1,d_h-1,k}$

其中，下标(i，j，k)表示第k帧图像中第i行和第j列交叉处的点的坐标，i、j为正整数，1≤i≤d_w，1≤j≤d_h；

步骤1.3.4：利用公式 $F_{k,l,0}=\frac{1}{d_w\×d_h}\underset{y=0}{\overset{d_h-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{d_w-1}{\mathrm{\Σ}}}U(x,y)$ 和 $F_{k,l,1}=\frac{1}{d_w\×d_h}\underset{y=0}{\overset{d_h-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{d_w-1}{\mathrm{\Σ}}}V(x,y)$ 分别计算光流场两个分量U、V的均值F_k，l，0、F_k，l，1，U为光流场水平速度矩阵，V为光流场垂直速度矩阵，并利用公式和

得到图像运动参数，若l不为1，则将l减1，返回步骤1.3.1，否则，分别对F_k，0、F_k，1做四舍五入的取整操作；

步骤1.4：利用公式计算第k+1帧图像D_k+1(x，y)新的目标图像位置坐标

重新截取图像Y_k+1(x，y)的运动目标图像D_k+1(x，y)，若Y_k+1(x，y)不为最后一帧图像，k加1，返回步骤1.2，否则，结束目标图像的提取；

步骤2：利用非均匀插值法，将低分辨率图像序列{D_k(x，y)|k＝1，2，...，K}融合为一帧大小为(p·d_w)×(p·d_h)的模糊的高分辨率图像Z(x，y)，其中放大因子p为正整数，取p为4，图像融合的具体方法为：

步骤2.1：根据图像运动位移F_k，0、F_k，1分别对p取余的结果，将低分辨率图像序列{D_k(x，y)|k＝1，2，...，K}分为p×p个类别，计算出每个类别中的低分辨率图像在每个像素点上的像素值中值，得到大小为d_w×d_h的中值图像序列{S_g，h(x，y)|0≤x＜d_w，0≤y＜d_h，g，k＝1，2，...，p}；

步骤2.2：根据Z(p×x+g-1，p×y+h-1)＝S_g，h(x，y)，0≤x＜d_w，0≤y＜d_h，分别将中值图像序列{S_g，h(x，y)|g，k＝1，2，...，p}的像素值保存到高分辨率图像Z(x，y)中，得到高分辨率图像Z(x，y)；

步骤3：利用维纳滤波法对初步融合的高分辨率图像Z(x，y)进行图像复原处理，获得清晰的大小为(p·d_w)×(p·d_h)的高分辨率图像Z(x，y)，具体实现为：

步骤3.1：计算图像Z(x，y)的傅里叶变换图像G(x，y)，大小为(p·d_w)×(p·d_h)；

步骤3.2：计算图像Z(x，y)每个像素值的平方，得到大小为(p·d_w)×(p·d_h)的图像Z ²(x，y)；

步骤3.3：利用式子

$Z(x,y)=\frac{1}{\underset{\‾}{Z}(x,y)}\frac{{\underset{\‾}{Z}}^2(x,y)}{{\underset{\‾}{Z}}^2(x,y)+\mathrm{\σ}}G(x,y)$

计算得到清晰的高分辨率图像Z(x，y)，其中，σ为常数0.001。

Claims (1)

1.一种基于光流场的运动目标超分辨率图像重建方法，其特征在于按照以下步骤进行：

步骤1：基于光流场的运动目标跟踪和运动估计，从同一传感器获取连续K帧M₁×M₂大小的低分辨率图像Y_k(x，y)，按照公知的建立图像坐标系的方法，以坐标(x，y)＝(0，0)作为坐标原点建立坐标系，使图像全部落在第一象限内，得到低分辨率灰度图像序列{Y_k(x，y)|0≤x＜M₁，0≤y＜M₂，k＝1，2，...，K}，其中，M₁、M₂分别为每帧低分辨率图像的图像矩阵的行数和列数，且M₁、M₂、K均为正整数，二维函数Y_k(x，y)表示低分辨率图像序列中第k帧图像，x和y都为非负整数，从低分辨率灰度图像序列{Y_k(x，y)|k＝1，2，...，K}中获取的运动目标的低分辨率图像序列表示为{D_k(x，y)|k＝1，2，...，K}，二维函数D_k(x，y)表示从第k帧图像Y_k(x，y)中提取出来的大小为d_w×d_h的运动目标图像，获取低分辨率运动目标图像序列的步骤如下：

步骤1.1：令k初始值为1，在第k帧低分辨率图像Y_k(x，y)中标记出尺寸大小d_w×d_h的第k帧运动目标图像D_k(x，y)，以运动目标图像中任意一点的位置坐标作为第k帧运动目标图像的位置坐标

和

都为非负整数，d_w和d_h均为正整数；

步骤1.2：依次对两帧连续图像Y_k(x，y)和Y_k+1(x，y)进行处理，以图像Y_k(x，y)为参考帧，初始化第k+1帧图像的运动目标的位置坐标为将图像Y_k+1(x，y)中位置坐标

处大小为d_w×d_h的图像作为第k+1帧初始运动目标图像D_k+1(x，y)；

步骤1.3：分别计算图像D_k(x，y)和D_k+1(x，y)的高斯金字塔图像P_k，l(x，y)和P_k+1，l(x，y)，l为图像高斯金字塔层的序数，l为正整数且1≤l≤L，L为两帧图像中最高金字塔层数的最小值，l初始值为L，高斯金字塔图像P_k，l(x，y)大小为d_w/2^l-1×d_h/2^l-1，利用图像光流场估计图像D_k+1(x，y)相对于图像D_k(x，y)的水平和垂直位移F_k，0、F_k，1，设水平和垂直位移F_k，0、F_k，1的初始值均为0，具体方法如下：

步骤1.3.1：利用高斯滤波对图像P_k，l(x，y)和P_k+1，l(x，y)进行预处理，预处理后的低分辨率图像分别记为E^l(x，y，k)和E^l(x，y，k+1)，即图像序列E^l(x，y，t)分别在第t＝k帧和第t＝k+1帧的图像；

步骤1.3.2：利用E^l(x，y，k)中每四个相邻像素与E^l(x，y，k+1)中对应位置的四个像素组成的八像素点立方体邻域，估计图像偏导数

在每个邻域中坐标为(i，j)处的值，i、j为正整数，1≤i≤d_w/2^l-1，1≤j≤d_h/2^l-1即：

$E_x^l\≈\frac{1}{4}\{E_{i,j+1,k}^l-E_{i,j,k}^l+E_{i+1,j+1,k}^l-E_{i+1,j,k}^l+E_{i,j+1,k+1}^l-E_{i,j,k+1}^l+E_{i+1,j+1,k+1}^l-E_{i+1,j,k+1}^l\}$

$E_y\≈\frac{1}{4}\{E_{i+1,j,k}^l-E_{i,j,k}^l+E_{i+1,j+1,k}^l-E_{i,j+1,k}^l+E_{i+1,j,k+1}^l-E_{i,j,k+1}^l+E_{i+1,j+1,k+1}^l-E_{i,j+1,k+1}^l\}$

$E_t\≈\frac{1}{4}\{E_{i,j,k+1}^l-E_{i,j,k}^l+E_{i+1,j,k+1}^l-E_{i+1,j,k}^l+E_{i,j+1,k+1}^l-E_{i,j+1,k}^l+E_{i+1,j+1,k+1}^l-E_{i+1,j+1,k}^l\}$

$E_{1+(d_w/2^{l-1}),j,k}^l=E_{d_w/2^{l-1},j,k}^l$

$E_{i,1+(d_h/2^{l-1}),k}^l=E_{i,d_h/2^{l-1},k}^l$

$E_{1+(d_w/2^{l-1}),1+(d_h/2^{l-1}),k}^l=E_{d_w/2^{l-1},d_h/2^{l-1},k}^l$

其中，和

分别为亮度图像E^l(x，y，t)对x、y、t的偏导数的缩写，下标(i，j，k)表示第k帧图像中第i行和第j列交叉处的点的坐标；

步骤1.3.3：利用最小化全局误差，计算光流场速度矩阵U、V，其大小均为d_w×d_h，

$u^{n+1}={\stackrel{\‾}{u}}^n-E_x^l(E_x^l{\stackrel{\‾}{u}}^n+E_y^l{\stackrel{\‾}{v}}^n+E_t^l)/({\mathrm{\α}}^2+{\left(E_x^l\right)}^2+{\left(E_y^l\right)}^2)$

$v^{n+1}={\stackrel{\‾}{v}}^n-E_y^l(E_x^l{\stackrel{\‾}{u}}^n+E_y^l{\stackrel{\‾}{v}}^n+E_t^l)/({\mathrm{\α}}^2+{\left(E_x^l\right)}^2+{\left(E_y^l\right)}^2)$

其中，u＝dx/dt和v＝dy/dt分别为光流场的两个分量U、V在坐标点(x，y)处的值，且U、V、u、v初始值均为0，α为权重因子，n为迭代次数，取α为1，n为100，局部均值

和定义为

${\stackrel{\‾}{u}}_{i,j,k}=\frac{1}{6}\{u_{i-1,j,k}+u_{i,j+1,k}+u_{i+1,j,k}+u_{i,j-1,k}\}+\frac{1}{12}\{u_{i-1,j-1,k}+u_{i-1,j+1,k}+u_{i+1,j+1,k}+u_{i+1,j-1,k}\}$

${\stackrel{\‾}{v}}_{i,j,k}=\frac{1}{6}\{v_{i-1,j,k}+v_{i,j+1,k}+v_{i+1,j,k}+v_{i,j-1,k}\}+\frac{1}{12}\{v_{i-1,j-1,k}+v_{i-1,j+1,k}+v_{i+1,j+1,k}+v_{i+1,j-1,k}\}$

v_-1，j，k＝v_0，j，k    v_i，-1，k＝v_i，0，k    v_-1，-1，k＝v_0，0，k

u_-1，j，k＝u_0，j，k    u_i，-1，k＝u_i，0，k    u_-1，-1，k＝u_0，0，k

$v_{d_w,j,k}=v_{d_w-1,j,k}$ $v_{i,d_h,k}=v_{i,d_h-1,k}$ $v_{d_w,d_h,k}=v_{d_w-1,d_h-1,k}$

$u_{d_w,j,k}=u_{d_w-1,j,k}$ $u_{i,d_h,k}=u_{i,d_h-1,k}$ $u_{d_w,d_h,k}=u_{d_w-1,d_h-1,k}$

其中，下标(i，j，k)表示第k帧图像中第i行和第j列交叉处的点的坐标，i、j为正整数，1≤i≤d_w，1≤j≤d_h；

步骤1.3.4：利用公式 $F_{k,l,0}=\frac{1}{d_w\×d_h}\underset{y=0}{\overset{d_h-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{d_w-1}{\mathrm{\Σ}}}U(x,y)$ 和 $F_{k,l,1}=\frac{1}{d_w\×d_h}\underset{y=0}{\overset{d_h-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{d_w-1}{\mathrm{\Σ}}}V(x,y)$ 分别计算光流场两个分量U、V的均值F_k，l，0、F_k，l，1，U为光流场水平速度矩阵，V为光流场垂直速度矩阵，并利用公式

和

得到图像运动参数，若l不为1，则将l减1，返回步骤1.3.1，否则，分别对F_k，0、F_k，1做四舍五入的取整操作；

步骤1.4：利用公式

计算第k+1帧图像D_k+1(x，y)新的目标图像位置坐标

重新截取图像Y_k+1(x，y)的运动目标图像D_k+1(x，y)，若Y_k+1(x，y)不为最后一帧图像，k加1，返回步骤1.2，否则，结束目标图像的提取；

步骤2：利用非均匀插值法，将低分辨率图像序列{D_k(x，y)|k＝1，2，...，K}融合为一帧大小为(p·d_w)×(p·d_h)的模糊的高分辨率图像Z(x，y)，其中放大因子p为正整数，取p为4，图像融合的具体方法为：

步骤2.1：根据图像运动位移F_k，0、F_k，1分别对p取余的结果，将低分辨率图像序列{D_k(x，y)|k＝1，2，...，K}分为p×p个类别，计算出每个类别中的低分辨率图像在每个像素点上的像素值中值，得到大小为d_w×d_h的中值图像序列{S_g，h(x，y)|0≤x＜d_w，0≤y＜d_h，g，k＝1，2，...，p}；

步骤2.2：根据Z(p×x+g-1，p×y+h-1)＝S_g，h(x，y)，0≤x＜d_w，0≤y＜d_h，分别将中值图像序列{S_g，h(x，y)|g，k＝1，2，...，p}的像素值保存到高分辨率图像Z(x，y)中，得到高分辨率图像Z(x，y)；

步骤3：利用维纳滤波法对初步融合的高分辨率图像Z(x，y)进行图像复原处理，获得清晰的大小为(p·d_w)×(p·d_h)的高分辨率图像Z(x，y)，具体实现为：

步骤3.1：计算图像Z(x，y)的傅里叶变换图像G(x，y)，大小为(p·d_w)×(p·d_h)；

步骤3.2：计算图像Z(x，y)每个像素值的平方，得到大小为(p·d_w)×(p·d_h)的图像Z ²(x，y)；

步骤3.3：利用式子

$Z(x,y)=\frac{1}{\underset{\‾}{Z}(x,y)}\frac{{\underset{\‾}{Z}}^2(x,y)}{{\underset{\‾}{Z}}^2(x,y)+\mathrm{\σ}}G(x,y)$

计算得到清晰的高分辨率图像Z(x，y)，其中，σ为常数0.001。

Images