CN101616310B - 可变视角及分辨率的双目视觉***目标图像稳定化方法 - Google Patents

Abstract

基于双目PTZ视觉***的高分辨率视频稳定化方法属于视觉监控领域，其特征在于：它同时利用由两路不同分辨率的视频，其中一路为低分辨率视角固定的全景图像，另一路为高分辨率变化视角的局部图像，包含感兴趣的运动目标。本发明建议采用两个PTZ摄像机以方便应用。高分辨率视频可以通过人工手动或者计算机自动控制摄像机运动得到。目标是得到一个完整、平稳的包含感兴趣运动目标的视频，并且尽可能采用高分辨率信息。本发明首先解决了不同分辨率视频之间的图像配准问题，其次提出四种顺序填充方式，充分利用了当前高分辨率信息以及历史高分辨率信息来填充目标视频。通过这样处理后的结果可以用于犯罪取证、监控记录保存、运动目标的行为分析等，实验结果表明本发明提出的方法很实用。

Description

可变视角及分辨率的双目视觉***目标图像稳定化方法

技术领域

本发明涉及计算机视觉视频处理技术领域，尤其涉及采用双目PTZ(一种可以改变视角和分辨率参数的主动镜头)镜头进行高分辨率视频稳定化的技术。

背景技术

随着计算机视觉技术的发展，以及全世界范围内安全防范意识的提高，智能视觉监控技术受到越来越多的重视。这种技术已经逐步广泛用于军用和民用。在早期的应用中，智能程度很低，因此安全防范功能主要还是依靠人对监控视频中的事件进行判断，可靠度和自动化程度都很低。它更主要的用途还是用于犯罪的事后取证。而现在的智能视觉监控***的发展趋势是更注重犯罪预警，以减少犯罪案件的发生。

本发明主要解决下面的问题：大范围场景的监控中，对高分辨率抓拍的感兴趣目标的图片序列进行稳定化处理。其意义在于：首先，提高视频的可视化效果。由于目标距离摄像机距离一般较远，而镜头的分辨率又很高，所以镜头的微小抖动可能导致图像中的物体运动非常剧烈，因此这样的视频可视化效果很差。而视频稳定化的目标就是尽可能使图像中目标的运动变得平稳，从而可以提高可视化效果。第二，从稳定化后的视频中可以更加容易地提取监控中所需要的特征进行目标识别，而且视频本身也可以作为整体特征进行保存以备以后查阅。第三，稳定化后的视频还可以用于计算机视觉研究，例如目标的行为分析、姿态识别、步态分析等。

硬件需求：为了实现对远距离目标的高分辨率抓拍，我们提出采用双目PTZ视觉***。其中一个镜头采用低分辨率监控全景，另一个镜头采用高分辨率抓拍运动目标。之所以选择这样的硬件组合，是因为：

1、传统单目静止镜头的监控已经不能满足现代监控的需求，具体表现在：1)其视角固定，当目标运动出可视范围后，监控人员将完全丢失目标的信息；2)由于图像分辨率和可见视场的大小之间存在矛盾关系，如果要求图像分辨率很高，则视场会相对比较小，特别是对于远距离监控。

2、如果采用单目主动镜头，以上两个问题都可以通过改变视角解决，但是它也存在新的问题。在对目标进行主动跟踪的过程中，由于镜头参数一直在变化，图像中的背景和目标有运动，因此很难准确预测目标的运动。另一方面，镜头控制也很难做到非常精确，而且由于镜头的运动时间很难准确估计，因此无论采用计算机自动跟踪或者手动跟踪，目标都有可能在图像中丢失，并且一旦丢失，单靠一个高分辨率镜头很难再将其重新捕捉。因此，采用单目主动镜头进行目标的高分辨率视频抓拍的鲁棒性很低。

综上所述，我们提出了采用双目主动镜头来解决这一问题。其中一个镜头作为低分辨率静止镜头使用，实时对目标进行跟踪；另一个利用高分辨率镜头获取的目标位置信息，对目标进行高分辨率主动跟踪。我们之所以采用一个主动镜头做静止镜头用，一方面是利用其灵活性，可以方便地改变监控场景，另一方面考虑到***对称性，如果两个镜头型号完全一致，***标定会更加方便，而且两个镜头的地位可以根据任务不同而互换。

在本***中，我们采用了两个PTZ主动镜头。选择PTZ镜头的原因有三点：1)它是一种最简单的主动镜头，它可以通过改变pan和tilt参数来改变视角，也可以通过改变zoom参数来改变图像分辨率；2)它的集成度很高，相比采用一个可变焦镜头和一个云台构成的主动镜头，不需要用户再对其进行过多标定和校正，而且鲁棒性和准确性都更有保障；3)它已经有比较成熟产品，并且已经越来越多的用到实际应用中。在本***中我们采用的是SONY EVI D70。

对于远距离高分辨率监控，视频稳定化是一个非常有意义的工作，因为直接得到的高分辨率视频一般都存在下列问题：1)图像模糊。这种模糊主要是由于镜头运动造成，为了保证主动镜头可以有效地跟上目标运动，一般要求镜头采用高速运动模式，因此容易在运动中出现图像模糊；2)目标在图像中不完整。在双目监控***中，虽然有低分辨率镜头保证目标不至于丢失，但是仍然很难保证高分辨率图像每帧都完整地包含运动目标。因为主动镜头每个动作都需要一定时间，而且时间很难精确估计，因此控制一般都会有超调；3)视频可能出现抖动，如果目标运动速度过大，镜头控制频率可能比较高，因此容易出现帧间的抖动。基于以上三个原因，我们提出了一个高分辨率视频稳定化的框架来解决这一问题。

发明内容

本发明的目的是解决远距离视觉监控中获取高分辨率平稳视频的问题，采用两个PTZ镜头，一个镜头采用低分辨率监控全景，另一个采用高分辨率抓拍感兴趣运动目标的图像，最后通过视频稳定化技术得到平稳的高分辨率视频。

本发明的特征在于，所述方法在PC机中依次按以下步骤实现：

步骤(1)，使第一个可变视角，或分辨率的PTZ摄像机作为静止摄像机，用于监控全景，再使第二个可变视角，或分辨率的PTZ摄像机抓拍感兴趣的运动目标；

步骤(2)，所述PC机从所述第一个PTZ摄像机中输入记录全景的图像，称为低分辨率图像I_L ^t，并把每帧图像转换为灰度图像；所述PC机从所述第二个PTZ摄像机中输入记录运动目标的图像，称为高分辨率图像I_H ^t，把每帧图像转换为灰度图像，并用所述的两个灰度图分别代替所述的I_L ^t和I_H ^t；

步骤(3)，不同分辨率视频图像之间的配准：选择第t帧低分辨率图像I_L ^t中所述运动目标所在的矩形区域I_{L_tar} ^t所对应的高分辨率图像作为***的输出图像I_out ^t，然后计算所述高分辨率图像I_H ^t和所述低分辨率图像I_L ^t之间的映射模型M_LH ^t，具体如下：

步骤(3.1)，所述矩形区域I_{L_tar} ^t的选定，

步骤(3.1.1)，对所述低分辨率图像I_L ^t求取低分辨率背景模型I_LB ^t，像素(x，y)处的更新公式为：

$I_{\mathrm{LB}}^t(x,y)=(1-\mathrm{\α})I_{\mathrm{LB}}^{t-1}(x,y)+\mathrm{\α}{I}_L^t(x,y),$

其中更新系数α＝0.05，初始低分辨率背景模型 $I_{\mathrm{LB}}^{t=0}(x,y)=I_L^{t=0}(x,y),$ 如果 $|I_L^t(x,y)-I_{\mathrm{LB}}^t(x,y)|>T_{\mathrm{LB}},T_{\mathrm{LB}}=20,$ 则I_L ^t在(x，y)属于前景区域，否则，该像素属于背景区域，

步骤(3.1.2)，利用Opencv提供的Mean-shift跟踪算法，通过给定原始灰度图像I_L ^t以及步骤(3.1.1)得到的前景区域，即可求得感兴趣目标在I_L ^t图像中的位置，并在设定帧数的帧邻域内对所跟踪的目标中心进行均值平滑，平滑后的中心即为所述目标的中心，也是所述矩形区域的中心，该矩形区域的长宽设为64×48像素，最终得到的高分辨率输出图像I_out ^t的尺寸为所述矩形区域的I_{L_tar} ^t的k_o倍，k_o＝5，

步骤(3.2)，用基于特征点的配准方法求取所述低分辨率图像I_L ^t和高分辨率图像I_H ^t之间的初步映射模型M_LH1 ^t：

步骤(3.2.1)，计算所述第t帧高分辨图像I_H ^t和低分辨率图像I_L ^t中目标区域I_{L_tar} ^t的SIFT特征点，

步骤(3.2.2)，对I_H ^t中的每个特征点，分别计算它和所述低分辨率图像目标区域I_{L_tar} ^t中的每个特征点之间的距离，即s₁₂＝||v₁-v₂||，其中v₁和v₂分别表示两个特征点对应的SIFT特征向量，然后考虑距离最小的两组结果s_min ¹和s_min ²，如果

T_s＝0.7，则s_min ¹对应的特征点为匹配点，否则认为该点没有匹配特征点，如果两图之间的总匹配特征点对的个数少于10，则认为所述映射模型M_LH ^t无效，转到步骤(4)，否则转到步骤(3.3)，

步骤(3.2.3)，对所述的高分辨率图像I_H ^t与所述低分辨率图像目标区域I_{L_tar} ^t的SIFT匹配特征点对 $\{(x_i^1,y_i^1)\∈I_L^t,(x_i^2,y_i^2)\∈I_H^t\},i=\mathrm{1,2},...,n,$ 求取仿射变换矩阵 $M_{\mathrm{LH}1}^t=\left[\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ 0& 0& 1\end{array}\right],$ 其中参数通过下式求取：

[m₁，m₂，m₃，m₄，m₅，m₆]^T＝(A^TA)^-1AX，

其中， $A=\left[\begin{array}{cccccc}{x}_1^1& y_1^1& 1& 0& 0& 0\\ 0& 0& 0& x_1^1& y_1^1& 1\\ x_2^1& y_2^1& 1& 0& 0& 0\\ 0& 0& 0& x_2^1& y_2^1& 1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ x_n^1& x_n^1& 1& 0& 0& 0\\ 0& 0& 0& x_1^1& x_1^1& 1\end{array}\right],$ $X=\left[\begin{array}{c}{x}_1^2\\ y_1^2\\ x_2^2\\ y_2^2\\ .\\ .\\ .\\ x_n^2\\ y_n^2\end{array}\right],$

步骤(3.3)，调整所述低分辨率图像I_L ^t的灰度值，得到校正图像I_{L_adj} ^t

步骤(3.3.1)，选定计算灰度映射的区域：对步骤(3.2)中所述两幅图像I_H ^t和I_{L_tar} ^t中匹配上的特征点集分别用一个凸多边形表示，该凸多边形以特征点为顶点，所有特征点都在多边形内部或顶点处，该凸多边形内部即为灰度映射区域，

步骤(3.3.2)，统计上述凸多边形内的灰度直方图hist(k)，k＝0，1，…，255，按下式得到累计直方图：

$\mathrm{Accu}\left(K\right)=\frac{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{hist}\left(k\right)}{\underset{k=1}{\overset{32}{\mathrm{\Σ}}}\mathrm{hist}\left(k\right)},K=\mathrm{0,1},\·\·\·,255$

步骤(3.3.3)，用Accu¹和Accu²分别表示I_L ^t和I_H ^t的累积分布直方图，按下述方法划分三个灰度集合G₁，G₂，G₃：

G₁＝{K：0≤Accu¹(K)＜0.05}

G₂＝{K：0.05≤Accu¹(K)＜0.95}

G₃＝{K：0.95≤Accu¹(K)≤1}

选取映射模型为三段分片线性模型 $K^2=\mathrm{MI}\left(K^1\right)=\left\{\begin{array}{c}{a}_1{K}^1+b_1,K^1\∈G_1\\ a_2{K}^1+b_2,K^1\∈G_2\\ a_3{K}^1+b_3,K^1\∈G_3\end{array}\right.,$ 其中K¹和K²分别表示I_L ^t和I_H ^t的灰度值，利用下面的目标函数线性拟合K∈G₂时所述图像I_L ^t和I_H ^t之间的灰度值映射函数K²＝MI(K¹)＝a₂K¹+b₂，K¹∈G₂：

用灰度集合G₁、G₃分别拟合模型K²＝MI(K¹)＝a₁K¹+b₁，K¹∈G₁和K²＝MI(K¹)＝a₃K¹+b₃，K¹∈G₃，使得MI(0)＝0，MI(255)＝255，

步骤(3.3.4)，根据I_L ^t和L_H ^t之间的灰度值映射模型MI(k)调整I_L ^t的灰度值，得到I_{L_adj} ^t，

步骤(3.4)基于像素的直接配准方法估计I_L ^t和I_H ^t之间更精确的仿射模型M_LH2 ^t：

步骤(3.4.1)，用步骤(3.2)中所述的M_LH1 ^t对所述的高分辨率图像I_H ^t进行变换，得到图像I_{H_adj} ^t，变换方法是：

所述图像I_{H_adj} ^t在坐标点(x_i，y_i)的值 $I_{H\_\mathrm{adj}}^t(x_i,y_i)=I_H^t\left(f(x_i,y_i{\left(M_{\mathrm{LH}1}^t\right)}^{-1})\right),$ 其中f是同构坐标变换函数，计算方法是：

f(x，y，M)＝(x′，y′)，其中x和y′由[x′，y′，1]^T＝M[x，y，1]^T得到，

步骤(3.4.2)，用迭代的梯度下降的方法求解下面的优化问题，得到模型M_refined ^t：

$M_{\mathrm{refined}}^t=\arg \underset{M}{\min }\underset{i}{\mathrm{\Σ}}\left|\right|I_{H\_\mathrm{adj}}^t(x_i,y_i)-I_{L\_\mathrm{adj}}^t\left(f(x_i,y_i,M)\right)\left|\right|$

其中(x_i，y_i)是所述图像I_{H_adj} ^t的第i个像素点坐标，f见步骤(3.4.1)，迭代初始值M₀设为3×3的单位矩阵，

步骤(3.4.3)，如果步骤(3.4.2)中所求得的M_refined ^t满足下面两个条件中的任何一个，则认为M_refined ^t和M_LH2 ^t无效，不再对其进行计算，转到步骤(4)，

$a){,\left|\right|R_{2\&times;2}^M-I_{2\&times;2}\left|\right|}_{\&infin;}<0.3;$

$b),{\left|\right|t_{2\&times;1}^M\left|\right|}_{\&infin;}<4;$

其中， $M_{\mathrm{refined}}^t=\left[\begin{array}{cc}{R}^M& t^M\end{array}\right],$ [R_2×2 ^M t_2×1 ^M]是M_refined ^t的前两行，

步骤(3.4.4)，计算更精确的仿射模型 $M_{\mathrm{LH}2}^t=M_{\mathrm{LH}1}^t{M}_{\mathrm{refined}}^t,$

步骤(3.5)根据邻域2N+1帧图像对所述输出图像I_out ^t进行平滑处理，取N＝5，

步骤(3.5.1)，求取第j帧高分辨率图像到第i帧高分辨率图像的变换模型M_j ⁱ

由步骤(3.1.1)中所求得的I_L ^t中的前景区域通过步骤(3.4.1)中的变换方法

由所述的更精确的仿射模型M_LH2 ^t得到对应的I_H ^t中的前景目标，进而得到I_H ^t的背景区域，用步骤(3.2)中的方法，求取所述第j帧高分辨图像I_H ^j和第i帧高分辨率图像I_H ⁱ之间的变换模型M_j ⁱ，

步骤(3.5.2)求取平滑模型M_LH ^t，

$M_{\mathrm{LH}}^t=\frac{\underset{t=t-N}{\overset{t+N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i{\mathrm{\&delta;}}_i{M}_i^t{M}_{\mathrm{LH}2}^i}{\underset{i=t-N}{\overset{t+N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i{\mathrm{\&delta;}}_i}$

其中，ω_i是高斯权重系数，N＝5， ${\mathrm{\&omega;}}_i=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{\frac{{(i-t)}^2}{2{\mathrm{\&sigma;}}^2}},\mathrm{\&sigma;}=1.5,$ δ_i取值为：

步骤(3.5.3)计算当前帧的相对模糊度b_t

$b_t=\frac{1}{{\mathrm{\&Sigma;}}_{p_t}[{\mathrm{dx}}^2\left(p_t\right)+{\mathrm{dy}}^2\left(p_t\right)]}$

其中，p_t为所述第t帧高分辨率图像I_H ^t中的像素点，dx(·)和dy(·)分别是图像沿着x和y方向上的梯度，

如果b_t＞1.3min{b_t-1，b_t+1}，则认为当前帧为模糊图像，并设定M_LH ^t无效；

步骤(4)图像补全：对所述输出图像中未被高分辨率图像完全覆盖的部分进行图像补全，具体步骤如下：

步骤(4.1)估计高分辨率背景图像I_HB ^t

步骤(4.1.1)如果步骤(3)中所述的M_LH ^t有效，通过步骤(3.4.1)中所述的变换方法由所述的变换模型M_LH ^t变换得到与步骤(3.1.1)所述低分辨率图像I_L ^t中的背景区域I_LB ^t对应的I_H ^t中的背景区域，

步骤(4.1.2)对第t帧，用第1，2，…，t+50帧中的高分辨率背景区域来更新当前高分辨率背景模型I_HB ^t，对于下一帧的背景模型I_HB ^t+1，如果M_LH ^t有效，则将I_H ^t+51的背景区域映射到I_HB ^t上，然后对于重叠区域用0.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理： $I_{\mathrm{HB}}^{t+1}=0.5I_{\mathrm{HB}}^t+0.5I_H^{t+51};$ 否则， $I_{\mathrm{HB}}^{t+1}=I_{\mathrm{HB}}^t,$

步骤(4.2)对I_out ^t进行填充：

步骤(4.2.1)利用所述的高分辨率图像I_H ^t和变换模型M_LH ^t填充图像，如果M_LH ^t有效，则用步骤(3.4.1)中所述的变换方法由所述的变换模型M_LH ^t将所述高分辨率图像I_H ^t变换到所述输出图像I_out ^t上，所述输出图像I_out ^t中重叠的区域即可用I_H ^t的灰度值进行填充，

步骤(4.2.2)对背景部分，如果所述输出图像I_out ^t的未填充部分包含背景像素，则直接利用I_HB ^t中对应的有效像素进行填充，

步骤(4.2.3)对前景部分，如果第t帧满足下面三个条件之一时，转到步骤(4.2.3.1)，否则转到到步骤(4.2.4)

a)所述的变换模型M_LH ^t无效

b)所述的高分辨率图像I_H ^t不包含完整的感兴趣目标

c)步骤(3.5.3)中判断所述的高分辨率图像I_H ^t是模糊的图像

步骤(4.2.3.1)建立和更新参考样本队列

参考样本队列最大长度取为60，如果第t帧同时满足下面三个条件之一，则该帧将产生一个参考样本：

a)所述的变换模型M_LH ^t有效；

b)所述的高分辨率图像I_H ^t包含完整的感兴趣目标；

c)所述的高分辨率图像I_H ^t不是模糊的图像；

参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的I_L ^t和I_H ^t，用 ${\mathrm{SP}}^t=\{{\mathrm{SP}}_L^t,{\mathrm{SP}}_H^t\}$ 表示，其中SP_L ⁱ表示第i帧只包含前景目标的低分辨率图像固定大小参考帧，大小为40×40，SP_H ⁱ表示第i帧只包含前景目标的与SP_L ⁱ相对应的高分辨率图像的参考帧，大小为200×200，采用先入先出的策略更新参考帧队列，步骤(4.2.3.2)在所述参考帧队列中查找与当前帧最匹配的参考帧

对于第t帧，我们只考虑I_L ^t中完全包含目标的矩形图像区域sub(I_L ^t)，用下面的步骤计算参考帧队列中所有的SP_L ⁱ，i＝1，2，...，60与sub(I_L ^t)的相似度：

步骤(4.2.3.2.1)计算SP_L ⁱ到sub(I_L ^t)的平移变换模型(dx，dy)^T

选取初始值为sub(I_L ^t)中前景目标中心点坐标与SP_L ⁱ中前景目标中心点的差，用基于迭代的梯度下降优化算法求得平移变换模型(dx，dy)^T，

步骤(4.2.3.2.2)用下面的公式计算相似度：

$\exp (-\frac{1}{\mathrm{Num}\left(p\right)}\underset{p\&Element;\mathrm{Foreg}\left(I_L^t\right),p-{(\mathrm{dx},\mathrm{dy})}^T\&Element;\mathrm{Foreg}\left({\mathrm{SP}}_L^t\right)}{\mathrm{\&Sigma;}}|\left(\mathrm{sub}\left(I_L^t\right)\right)\left(p\right)-{\mathrm{SP}}_L^i(p-{(\mathrm{dx},\mathrm{dy})}^T)\left|\right)$

其中，Foreg(SP_L ⁱ)是SP_L ⁱ的前景目标的像素集合，Foreg(I_L ^t)是I_L ^t前景目标的像素集合，p是SP_L ⁱ经过平移变换后其前景目标像素集合与Foreg(I_L ^t)的交集中的一个像素，Num(p)是交集中像素的个数，如果交集的像素个数小于Foreg(SP_L ⁱ)像素个数的60％，或者小于Foreg(I_L ^t)像素个数的60％，则令相似度为0，

如果当前帧t有效，则取本帧为相关参考帧，定义为

即ref_t＝t；否则，则取队列中与sub(I_L ^t)相似度最大的参考帧为相关参考帧，若最大相似度小于Th_MAD＝exp(-20)，则认为sub(I_L ^t)没有相关参考帧，即

无效，转到策略

(3)；否则

有效，

步骤(4.2.3.2.3)估计当前帧与其参考帧之间的高分辨率图像光流场V^H，由邻近共三帧及其对应的参考帧

i＝t-1，t，t+1进行估计：

步骤(4.2.3.2.3.1)采用基于迭代的梯度下降优化算法求得从

到的平移变换模型，然后用此模型将

变换到SP_t-1 ^t，从而去除了两者之间的整体运动；同理，对

进行同样操作，得到去除整体运动的SP_t+1 ^t；对当前帧，即第t帧，令 ${\mathrm{SP}}_t^t={\mathrm{SP}}_H^{{\mathrm{ref}}_t}$

步骤(4.2.3.2.3.2)利用调整后的SP_t-1 ^t，SP_t ^t，SP_t+1 ^t来估计高分辨率的光流场V^H

用Opencv提供的Lucas-Kanade光流算法分别估计从SP_t ^t到SP_t-1 ^t和SP_t+1 ^t之间的光流场V_t，t-1 ^H和V_t，t+1 ^H，则

$V^H=\frac{1}{2}(V_{t,t-1}^H+V_{t,t+1}^H)$

步骤(4.2.3.2.4)估计帧内低分辨率图像光流场V^L，同样采用Opencv提供的Lucas-Kanade光流算法估计

与sub(I_L ^t)之间的光流场F_L ^t，将其放大5倍即可得到V^L，

步骤(4.2.3.2.5)如果

有效，估计

与I_out ^t之间的最终光流场F_H ^t，F_H ^t由下面的优化问题解得：

$\min E=\mathrm{\&beta;}\underset{(x,y)\&Element;V}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_1(x,y)[{(u-u_H)}^2+{(v-v_H)}^2]$

$+\mathrm{\&gamma;}\underset{(x,y)\&Element;V}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_2(x,y)[{(u-u_L)}^2+{(v-v_L)}^2]$

其中V是图像有效区域，(x，y)是V中的一个像素，u和v分别是u(x，y)和v(x，y)的简写，分别代表F_H ^t在(x，y)点沿x方向和y方向的分量，(u_H，v_H)代表V^H在(x，y)处的取值，ω₁(x，y)是权重系数，取为ω₁(x，y)＝exp(-||[u_H，v_H]||/10)，(u_L，v_L)代表V^L在(x，y)处的取值，ω₂(x，y)是权重系数，取为ω₂(x，y)＝1，如果V^H有效，则取β＝2，γ＝1，否则，取β＝0，γ＝1，

步骤(4.2.3.2.6)填充输出图像，

用

经过光流场F_H ^t的变换后采用双线性插值填充输出图像的前景部分，

步骤(4.2.4)对还未填充的区域，用低分辨率的图像I_L ^t放大并用双线性插值得到，步骤(4.3)灰度值调整

用步骤(3.3)中所述的方法调整输出图像中区域R₁和R₄，与R₂灰度值保持一致，其中R₁是所述输出图像I_out ^t中用步骤(4.2.1)填充的图像区域，R₂是所述输出图像I_out ^t中用步骤(4.2.2)填充的图像区域，R₃是所述输出图像I_out ^t中用步骤(4.2.3)填充的图像区域，R₄是所述输出图像I_out ^t中用步骤(4.2.4)填充的图像区域，

调整R₁时，只用R₁与所述高分辨率背景模型I_HB ^t重叠部分的像素计算灰度值映射模型，并只调整这些重叠部分的像素，调整R₄时，亦只用R₄与所述高分辨率背景模型I_HB ^t重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整，

步骤(4.4)输出图像空间连续性调整

对于步骤(4.3)中所述的输出图像区域R₁，R₂和R₄作如下处理：先对边界部分用5×5的结构单元进行形态学膨胀，再对膨胀后的边界部分用3×3的均值滤波器进行平滑，步骤(4.3)中所述的输出图像区域R₃部分保持不变。

本发明首先解决了不同分辨率视频之间的图像配准问题，其次提出四种顺序填充方式，充分利用了当前高分辨率信息以及历史高分辨率信息来填充目标视频。通过这样处理后的结果可以用于犯罪取证、监控记录保存、运动目标的行为分析等，实验结果表明本发明提出的方法很实用。目前，在所有可以查到的专利或发表文献中，尚没有发现类似的报道和专利。

附图说明：

图1.是双目PTZ视觉***高分辨率视频稳定化***的流程图；

图2.是灰度值调整示意图：

2(a)为分段线性模型的拟合结果；

2(b)为原始的低分辨率图像灰度直方图；

2(c)为高分辨率图像灰度直方图；

3(d)为调整后的低分辨率图像灰度直方图；

图3.是光流场计算流程图：

3(a)帧间高分辨率图像光流场计算流程图；

3(b)帧内低分辨率图像光流场计算流程图。

符号说明：

I_L ^t：第t帧时低分辨率图像，

I_H ^t：第t帧时高分辨率图像，

I_LB ^t：第t帧时低分辨率的背景图像，

I_HB ^t：第t帧时更新的对应I_LB ^t的高分辨率的背景图像，

I_{L_tar} ^t：第t帧时低分辨率图像中的矩形目标区域，

I_{L_adj} ^t：对I_L ^t的灰度进行调整后的图像，

I_{H_adj} ^t：用M_LH1 ^t对I_H ^t进行变换后的图像，

I_out ^t：第t帧时输出图像，

k_o：输出图像相对于低分辨率的目标区域的放大倍数，

M_LH1 ^t：第t帧时I_L ^t和I_H ^t之间的初步配准模型，

M_LH2 ^t：第t帧时I_L ^t和I_H ^t之间的精确配准模型，

M_LH ^t：第t帧时I_L ^t和I_H ^t之间最终的配准模型，

M_j ⁱ：第j帧高分辨率图像到第i帧高分辨率图像的变换模型，

SP_L ⁱ：第i帧只包含前景目标的低分辨率图像固定大小参考帧(40×40)，

SP_H ⁱ：第i帧只包含前景目标的与SP_L ⁱ相对应的高分辨率图像的参考帧(200×200)，

R₁：输出图像中用步骤(4.2.1)填充的图像区域，

R₂：输出图像中用步骤(4.2.2)填充的图像区域，

R₃：输出图像中用步骤(4.2.3)填充的图像区域，

R₄：输出图像中用步骤(4.2.4)填充的图像区域。

具体实施方式

本发明的核心思想是首先利用不同分辨率下的图像配准信息，确定输出视频的可见视场，然后通过当前帧的高分辨率信息和历史的高分辨率信息，对视场进行填充，填充原则是尽可能采用高分辨率信息。最后对于无法填充的区域，采用插值放大的低分辨率图像以保证视频的完整性。

本发明中主要包括以下三项技术：

第一，不同分辨率图像的配准。本发明结合了基于特征点和基于直接像素灰度的两种方法，设计了一种“三步配准方法”，可以有效解决该问题。

第二，填充高分辨率信息的策略。本发明首先利用当前帧的高分辨率信息对区域进行直接填充，对于无法填充的区域，利用历史高分辨率信息进行填充，其基本填充思路为：对需要填充的视场中的每一个像素进行前景和背景分类。背景层可以通过构造一个高分辨率背景模型来进行填充；前景层通过基于样本和相对运动场估计的方法进行填充。

第三，后处理。如果相邻像素采用了不同分辨率的填充信息，可能导致单帧图像中的不平滑，因此需要通过必要的后处理来提高可视化效果。

本发明应用于双目远距离视觉***，两个PTZ摄像机中，其中一个采用低分辨率作为静止摄像机使用，用于监控全景；另一个摄像机采用高分辨率，可以通过手动或者自动改变视角来跟踪感兴趣目标。本发明的目标是对两路不同分辨率的视频进行处理，得到一个高分辨率稳定的视频。本***用普通PC计算机进行计算，对操作***没有要求。***流程图如图1所示，具体如下：

(1)不同分辨率视频图像之间的配准

视频稳定化目前仍然缺乏一个精确地定义，一般来说它主要有两个目的：1)感兴趣的目标必须位于图像中心附近；2)运动要尽量连续和光滑。本发明综合考虑这两种目的，首先选择低分辨率图像中目标所在的矩形区域对应的高分辨率图像区域作为输出图像I_out ^t，然后计算采集的高分辨率图像I_H ^t与输出图像I_out ^t的映射模型。

在计算I_H ^t和I_out ^t的配准模型时，因为I_out ^t和目标区域I_{L_tar} ^t之间只有尺度变换关系，且尺度因子k_o为定值，因此只需要I_H ^t和I_L ^t的变换模型。又由于两个摄像机的距离很小，相对于监控场景的距离可以忽略不计，因此选择仿射模型作为I_H ^t和I_L ^t的变换模型。先采用特征点匹配的方法估计初步仿射模型，然后通过这个仿射模型对I_L ^t的灰度值进行调整，最后用基于像素的直接方法估计精确的仿射模型。

本***对高分辨率和低分辨率图像之间的配准模型有两个要求：准确性和帧间的平滑性。模型的准确性可以保证低分辨率全景图像作为联系不同时刻高分辨率图像之间关系的桥梁，并且当高分辨率信息无效时，可以采用插值后的全景图像进行填充；模型的平滑性是为了使输出的图像序列更加稳定，避免相邻帧间的小范围抖动。

模型的准确性已经由上面的两步配准保证，它体现在，选定场景中的某个固定点后，每一时刻，该点从全景图像通过仿射模型变换到高分辨率图像中后，与该点的真实坐标相差尽可能小。而平滑性体现在，不同时刻仿射到高分辨率图像中的点的坐标相互差异应尽可能小。

前景目标跟踪：

首先利用Mean-shift跟踪算法(这是一种经典并且用途很广的跟踪算法)求得感兴趣目标的轨迹。考虑到平滑性要求，用邻域内(50帧)的目标所跟踪的中心进行均值平滑。用一个矩形框I_{L_tar} ^t表示包含该目标的区域，其长宽分别为64和48像素，中心即为平滑后的目标中心。

因为本发明适用于远距离监控***，因此设定输出的视频图像I_out ^t的尺度为I_{L_tar} ^t的k_o倍，***中设定k_o＝5。为减小计算配准模型的计算量，首先把每帧的图像转换为灰度图像。

在跟踪目标的同时，利用滑动平均方法求取背景模型(更新系数为0.05)，对低分辨率视频建立高斯背景模型，从而得到低分辨率图像I_L ^t中的前景区域和以及背景图像I_LB ^t。

特征点匹配方法估计初步仿射模型：

因为I_H ^t和I_L ^t之间的放大倍数未知，选择具有尺度不变性的特征点算子。本***中采用的特征点算子是SIFT，这是目前用的最广的一种特征点之一。

为了降低计算量，只计算I_L ^t目标区域I_{L_tar} ^t中的特征点。在进行特征匹配时，采用最近邻法得到匹配特征点对。若匹配的特征点对的个数少于10，则认为M_LH1 ^t无效，不再求取M_LH ^t。否则，利用这些特征点对估计初步的仿射模型M_LH1 ^t，估计方法如下：

设高分辨率图像I_H ^t与低分辨率图像目标区域I_{L_tar} ^t的SIFT匹配特征点对为 $\{(x_i^1,y_i^1)\&Element;I_L^t,(x_i^2,y_i^2)\&Element;I_H^t\},i=\mathrm{1,2},...,n,$ 令仿射变换矩阵 $M_{\mathrm{LH}1}^t=\left[\begin{array}{ccc}{m}_1& m_2& m_3\\ m_4& m_5& m_6\\ 0& 0& 1\end{array}\right],$ 则有：

[m₁，m₂，m₃，m₄，m₅，m₆]^T＝(A^TA)^-1AX，

其中， $A=\left[\begin{array}{cccccc}{x}_1^1& y_1^1& 1& 0& 0& 0\\ 0& 0& 0& x_1^1& y_1^1& 1\\ x_2^1& y_2^1& 1& 0& 0& 0\\ 0& 0& 0& x_2^1& y_2^1& 1\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ x_n^1& x_n^1& 1& 0& 0& 0\\ 0& 0& 0& x_1^1& x_1^1& 1\end{array}\right],$ $X=\left[\begin{array}{c}{x}_1^2\\ y_1^2\\ x_2^2\\ y_2^2\\ .\\ .\\ .\\ x_n^2\\ y_n^2\end{array}\right],$

灰度值调整：

本发明采用的方法是对两幅图中匹配上的特征点集分别估计一个包含所有特征点的最小凸多边形，然后对多边形内的像素灰度值进行采样，采用类似直方图均衡的方法，找到灰度映射关系。关于映射模型可以有多种选择，采用的是分段线性拟合的方法。首先对灰度直方图进行累计，得到累计直方图：

$\mathrm{Accu}\left(k\right)=\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{hist}\left(i\right),k=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,32$

Accu(k)是一个关于k的单调递增函数。选取映射模型为三段分片线性模型。令灰度集合

K₁＝{k：0≤Accu(k)＜0.05}

K₂＝{k：0.05≤Accu(k)＜0.95}

K₃＝{k：0.95≤Accu(k)≤1}

利用下面的目标函数线性拟合k∈K₂时I_L ^t和I_H ^t之间的灰度值映射函数MI(k)：

$\underset{\mathrm{MI}}{\min }\underset{k\&Element;K_2}{\mathrm{\&Sigma;}}|{\mathrm{Accu}}^1\left(k\right)-{\mathrm{Accu}}^2\left(\mathrm{MI}\left(k\right)\right)|.$

其中，Accu¹和Accu²分别表示所述的两幅图像上的累积分布直方图。为了保证灰度的连续性以及有效性，用剩余两部分灰度集合K₁，K₂分别拟合一个线性模型，使得MI(0)＝0，MI(255)＝255。

最后根据映射模型MI(k)调整I_L ^t的灰度值，得到I_{L_adj} ^t。如图2，图(a)为分段线性模型的拟合结果，图(b)表示原始全景低分辨率图像的直方图，图(c)表示高分辨率图像的直方图，图(d)低分辨率图像经过灰度映射模型调整后的直方图。从图中可以看出调整后的直方图与高分辨率图像的直方图更加接近，从而为后续的直接基于像素方法的精配准做好了准备。

直接基于像素方法估计仿射模型：

通过基于特征点的粗配准可以得到两图之间的初步仿射模型M_LH1 ^t，以及两图灰度之间的映射关系MI(k)。本***首先用M_LH1 ^t对I_H ^t进行变换，得到I_{H_adj} ^t然后利用M₀＝I_3×3作为初值，进行迭代估计更准确的映射模型。优化目标为下式的最小化：

$M_I=\arg \underset{M}{\min }\underset{i}{\mathrm{\&Sigma;}}\left|\right|I_{H\_\mathrm{adj}}^t(x_i,y_i)-I_{L\_\mathrm{adj}}^t\left(f(x_i,y_i,M)\right)\left|\right|$

其中f(x_i，M)是用同构坐标变换函数，优化问题用基于梯度的Hessian矩阵方法迭代求解。其中f是同构坐标变换函数，计算方法是：

(x′，y′，1)^T＝M(x，y，1)，f(x，y，M)＝(x′，y′)

如果M_I满足下面两个条件中的任何一个，则认为M_I无效，跳出M_LH ^t的计算。

$a),{\left|\right|R_{2\&times;2}^M-I_{2\&times;2}\left|\right|}_{\&infin;}<0.3;$

$b),{\left|\right|t_{2\&times;1}^M\left|\right|}_{\&infin;}<4.$

其中，M_I＝[R^M t^M]，[R_2×2 ^M t_2×1 ^M]是M_I的前两行。如果M_I有效，且M_LH1 ^t有效，则 $M_{\mathrm{LH}2}^t=M_{\mathrm{LH}1}^t{M}_{\mathrm{refined}}^t,$ 否则跳出下面的步骤，不再计算M_LH ^t。

模型平滑：

先求取两幅高分辨率图像之间的映射模型M_j ⁱ。由于直接求解高分辨率图像之间的映射模型会存在很多问题，首先利用全景图像序列得到的背景区域对高分辨率图像区域进行过滤，只保留其背景部分，这样可以去除由于前景运动引起的配准误差；然后利用在第一步粗匹配中已经提取的SIFT特征点，对处于背景区域的特征点进行匹配，并估计变换模型，同样若特征点对数目小于10则认为M_j ⁱ无效。

再根据下面的公式求取平滑模型M_LH ^t

$M_{\mathrm{LH}}^t=\frac{\underset{i=t-N}{\overset{t+N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i{\mathrm{\&delta;}}_i{M}_i^t{M}_{\mathrm{LH}2}^i}{\underset{i=t-N}{\overset{t+N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i{\mathrm{\&delta;}}_i}$

其中，ω_i是高斯权重系数，N＝5， ${\mathrm{\&omega;}}_i=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}{e}^{\frac{{(i-t)}^2}{2{\mathrm{\&sigma;}}^2}}(\mathrm{\&sigma;}=1.5),$ δ_i取值为：

最后计算当前帧的相对模糊度b_t

$b_t=\frac{1}{{\mathrm{\&Sigma;}}_{p_t}[{\mathrm{dx}}^2\left(p_t\right)+{\mathrm{dy}}^2\left(p_t\right)]}$

其中，dx(·)和dy(·)分别是图像沿着x和y方向上的梯度。

如果b_t＞1.3min{b_t-1，b_t+1}，则认为当前帧为模糊图像，并设定M_LH ^t无效。

(2)图像补全

由于高分辨率图像很可能不能完全覆盖需要输出的图像区域，因此为了使输出图像完整化，需要对高分辨率图像不可见的区域进行填充。本***依次采用了四种策略对输出图像进行填充，以使高分辨率信息尽可能多地被利用。最后对图像进行了后处理，以保证图像灰度值的连续性，以及空间连续性。具体步骤为：

估计高分辨率背景图像：

前面已经对低分辨率图像I_L ^t进行了前景和背景分割，如果当前图像的M_LH ^t有效，通过I_L ^t中的背景区域I_LB ^t可以得到当前高分辨率图像I_H ^t中的背景区域。由第1，2，…，t+50帧中的高分辨率背景区域来更新背景模型I_HB ^t，对于下一帧的背景模型I_HB ^t+1，如果M_LH ^t有效，则将I_H ^t+51的背景区域映射到I_HB ^t上，然后对于重叠区域用0.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理： $I_{\mathrm{HB}}^{t+1}=0.5I_{\mathrm{HB}}^t+0.5I_H^{t+51};$ 否则， $I_{\mathrm{HB}}^{t+1}=I_{\mathrm{HB}}^t.$

策略1利用高分图像填充：

如果M_LH ^t有效，则可以通过M_LH ^t将I_H ^t变换到I_out ^t上，重叠的区域即可用I_H ^t进行填充。

策略2用高分辨率背景进行填充：

如果输出图像的未填充部分包含背景像素，则可以利用I_HB ^t填充。

策略3前景参考帧填充：

本策略基于最佳参考样本和相对运动场的算法进行填充，其关键在与以下几个方面：1)参考样本集合的构成与更新；2)对待填充的帧，如何选择最佳参考样本；3)如何计算高分辨率下的相对运动场，并且能够兼顾时间和空间连续性。

所谓待填充的帧指的是：以第t帧为例，如果它满足下面三个条件之一，则该帧需要采用这种策略填充前景目标：

a)M_LH ^t无效；

b)I_H ^t不包含完整的感兴趣目标；

c)I_H ^t是模糊的图像(见上面相对模糊度b_t的定义)。

1)建立和更新参考帧队列

参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的I_L ^t和L_H ^t，用 ${\mathrm{SP}}^t=\{{\mathrm{SP}}_L^t,{\mathrm{SP}}_H^t\}$ 表示(见前定义)。采用先入先出的策略更新参考帧队列。队列最大长度取为60。如果当前第t帧满足下面三个条件，则该帧将产生一个参考样本：

a)M_LH ^t有效

b)I_H ^t包含完整的感兴趣目标

c)I_H ^t不是模糊的图像

2)选择当前帧的相关参考帧

对于第t帧，只考虑I_L ^t中完全包含目标的区域，定义为sub(I_L ^t)，计算参考帧队列中所有的SP_L ⁱ(i＝1，2，...，60)与sub(I_L ^t)的相似度，相似度的计算方法如下：

先计算SP_L ⁱ到sub(I_L ^t)的平移变换模型(dx，dy)^T。选取初始值为sub(I_L ^t)中前景目标中心点坐标与SP_L ⁱ中前景目标中心点的差，用基于Hessian矩阵的牛顿迭代算法求得平移变换模型(dx，dy)^T。

再用下面的公式计算相似度为：

$\exp (-\frac{1}{\mathrm{Num}\left(p\right)}\underset{p\&Element;\mathrm{Foreg}\left(I_L^t\right),p-{(\mathrm{dx},\mathrm{dy})}^T\&Element;\mathrm{Foreg}\left({\mathrm{SP}}_L^t\right)}{\mathrm{\&Sigma;}}|\left(\mathrm{sub}\left(I_L^t\right)\right)\left(p\right)-{\mathrm{SP}}_L^i(p-{(\mathrm{dx},\mathrm{dy})}^T)\left|\right)$

其中，Foreg(SP_L ⁱ)是SP_L ⁱ的前景目标的像素集合，Foreg(I_L ^t)是I_L ^t前景目标的像素集合，p是SP_L ⁱ经过平移变换后其前景目标像素集合与Foreg(I_L ^t)的交集中的一个像素，Num(p)是交集中像素的个数。如果交集的像素个数小于Foreg(SP_L ⁱ)像素个数的60％，或者小于Foreg(I_L ^t)像素个数的60％，则令相似度为0。

如果该帧有效，则取本帧为相关参考帧，定义为即ref_t＝t；否则，取队列中与sub(I_L ^t)相似度最小的参考帧为相关参考帧。若最大相似度小于Th_MAD＝exp(-20)，则认为sub(I_L ^t)没有相关参考帧，即

无效；否则

有效。

3)估计帧间高分辨率图像光流场V^H

由 ${\mathrm{SP}}_H^{{\mathrm{ref}}_i}(i=t-1,t,t+1)$ 估计V^H，步骤如下：

第一步，将

调整为SP_t-1 ^t，SP_t ^t，SP_t+1 ^t，使它们在一个统一的具有更高可比性的尺度。这一步的原因是ref_i，(i＝t-1，t，t+1)是在不同时刻采集，它们可能存在尺度和平移的变化，如果可以预先对其进行调整，可以提高它们之间的可比性，减小后面进行光流估计时引入的误差。可以假设采用仿射变换(本***中只考虑尺度变换和平移变换)。因为第t帧是处理的目标，因此以I_L ^t中目标中心和尺度作为参考。

第二步，利用调整后的SP_t-1 ^t，SP_t ^t，SP_t+1 ^t来估计高分辨率的光流场V^H

之所以采用光流场，是因为虽然这些参考帧之间已经经过调整，但是在图像内容上还是存在差异，这种差异用一般的模型(例如仿射、投影模型)不足以准确描述。分别用金字塔Lucas-Kanade方法估计SP_t ^t到SP_t-1 ^t和SP_t+1 ^t的光流场V_t，t-1 ^H和V_t，t+1 ^H，按照帧间连续性假设，可以近似认为帧间光流满足线性模型，即理想状态下，SP_t ^t中的(x，y)点处的光流 $V_{t,t-1}^H(x,y)=-V_{t,t+1}^H(x,y).$ 因此从SP_t ^t到目标帧I_t ^H的光流场V^H可以用

来近似，即

$V^H=\frac{1}{2}(V_{t,t-1}^H+V_{t,t+1}^H)$

4)估计帧内低分辨率图像光流场V^L

考虑利用M_ref(t) ^ST调整后的

(记为)到tar(I_L ^t)的光流场。V^H虽然已经包含了时间和空间连续性的假设，但是因为SP_t ^t和目标帧I_t ^H之间在局部可能存在比较大的差异，此时 $V_{t,t-1}^H(x,y)=-V_{t,t+1}^H(x,y)$ 的假设可能不满足而导致V^H(x，y)无效，或者出现奇异；还有一种情况就是SP_t-1和SP_t+1无效，此时V^H无效，因此需要建立直接从SP_t ^t到目标帧I_t ^H之间的对应关系。由于I_t ^H为未知的目标图，只有通过与之对应的低分辨率图像和tar(I_L ^t)来求取。由于

和tar(I_L ^t)之间在局部可以看作是平滑的，因此，虽然这个光流场是低尺度下求取的，将其放大到I_j ^H的尺度下后，仍然可以体现这种大致的局部差异。

本***中用金字塔Lucas-Kanade方法估计

与tar(I_L ^t)之间的光流场F_L ^t，取 $V^L=5F_L^t.$

计算V^H和V^L的流程如图3所示。

5)估计与I_out ^t之间的光流场F_H ^t如果

有效，则估计光流场F_H ^t。从SP_t ^t到目标帧I_out ^t的光流场主要由以下三部分构成：

a)基于高分辨率图像的光流场V^H，利用调整后为SP_t-1 ^t，SP_t ^t，SP_t+1 ^t。作用是体现时间连续性；

b)基于低分辨率的光流场V^L，利用

与tar(I_L ^t)。作用是体现空间的位置准确性，特别是在V^H无效的情况下(例如临近帧没有找到对应的SP)；

c)光流场平滑，去除奇异的光流值(如果V^H和V^L在估计的时候已经考虑到了平滑，这一步可以省略)；

F_H ^t可以用下面的优化框架解得：

$\min E=\mathrm{\&beta;}\underset{(x,y)\&Element;V}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_1(x,y)[{(u-u_H)}^2+{(v-v_H)}^2]$

$+\mathrm{\&gamma;}\underset{(x,y)\&Element;V}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_2(x,y)[{(u-u_L)}^2+{(v-v_L)}^2]$

其中V是图像有效区域，(x，y)是V中的一个像素，u和v分别是u(x，y)和v(x，y)的简写，分别代表F_H ^t在(x，y)点沿x方向和y方向的分量。(u_H，v_H)代表V^H在(x，y)处的取值，ω₁(x，y)是权重系数，取为ω₁(x，y)＝exp(-||(u_H，v_H)||/10)。(u_L，v_L)代表V^L在(x，y)处的取值，ω₂(x，y)是权重系数，取为ω₂(x，y)＝1。β和γ为比例因子，当邻接帧有效时，β取值较大，表明邻域信息权重更高，时间和空间连续性占主导地位；若邻接帧无效，则需要着重考虑空间准确性，此时γ取较大值。本***中，如果相邻的参考帧有效，则取β＝2γ，否则，取β＝0。

6)填充输出图像

用

经过光流场F_H ^t的变换后采用双线性插值填充输出图像的前景部分。

策略4低分辨率图像填充：

对还未填充的区域，用低分辨率的图像I_L ^t双线性插值得到。

后处理：

1)灰度值调整

用第一阶段灰度值调整的方法调整R₁和R₄与R₂灰度值保持一致。其中调整R₁时，只用与I_HB ^t重叠部分的像素计算灰度值映射模型，并只调整这些重叠部分的像素。调整R₄时。亦只用与I_HB ^t重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整。

2)空间连续性调整

对输出图像区域R₁，R₂和R₄作如下处理：先对边界部分用5×5的结构单元进行膨胀，再对膨胀后的边界部分用3×3的均值滤波器进行平滑。对输出图像区域R₃部分保持不变。

Claims (1)

1.可变视角及分辨率的双目视觉***目标图像稳定化方法，其特征在于，所述方法在PC机中依次按以下步骤实现：

步骤(1)，使第一个可变视角，或分辨率的PTZ摄像机作为静止摄像机，用于监控全景，再使第二个可变视角，或分辨率的PTZ摄像机抓拍感兴趣的运动目标；

步骤(2)，所述PC机从第一个PTZ摄像机中输入记录全景的图像，称为低分辨率图像 

并把每帧图像转换为灰度图像；所述PC机从第二个PTZ摄像机中输入记录运动目标的图像，称为高分辨率图像 把每帧图像转换为灰度图像，并用两个灰度图分别代替所述的 

和 

步骤(3)，不同分辨率视频图像之间的配准：选择第t帧低分辨率图像 

中所述运动目标所在的矩形区域 

所对应的高分辨率图像作为***的输出图像 

然后计算所述高分辨率图像 

和所述低分辨率图像 

之间的映射模型 

具体如下：

步骤(3.1)，所述矩形区域 

的选定，

步骤(3.1.1)，对所述低分辨率图像 

求取低分辨率背景模型 

像素(x，y)处的更新公式为：

其中更新系数α＝0.05，初始低分辨率背景模型 

如果 

T_LB＝20，则 

在(x，y)属于前景区域，否则，该像素属于背景区域，

步骤(3.1.2)，利用Opencv提供的Mean-shift跟踪算法，通过给定原始灰度图像 

以及步骤(3.1.1)得到的前景区域，即可求得感兴趣目标在 

图像中的位置，并在设定帧数的帧邻域内对所跟踪的目标中心进行均值平滑，平滑后的中心即为所述目标的中心，也是所述矩形区域的中心，该矩形区域的长宽设为64×48像素，最终得到的高分辨率输出图像 

的尺寸为所述矩形区域的 

的k_o倍，k_o＝5，

步骤(3.2)，用基于特征点的配准方法求取所述低分辨率图像 

和高分辨率图像 

之间的初步映射模型 

步骤(3.2.1)，计算所述第t帧高分辨图像 

和低分辨率图像 

中目标区域 

的SIFT特征点，

步骤(3.2.2)，对 

中的每个特征点，分别计算它和所述低分辨率图像目标区域 

中的每个特征点之间的距离，即s₁₂＝‖v₁-v₂‖，其中v₁和v₂分别表示两个特征点对应的SIFT特征向量，然后考虑距离最小的两组结果 

和 

如果 

T_s＝0.7，则 

对应的特征点为匹配点，否则认为该点没有匹配特征点，如果两图之间的总匹配特征点对的个数少于10，则认为所述映射模型 

无效，转到步骤(4)，否则转到步骤(3.3)，

步骤(3.2.3)，对所述的高分辨率图像 

与所述低分辨率图像目标区域 

的SIFT匹配特征点对 

i＝1，2，...，n，求取仿射变换矩阵 

其中参数通过下式求取：

[m₁，m₂，m₃，m₄，m₅，m₆]^T＝(A^TA)^-1AX，

其中，

步骤(3.3)，调整所述低分辨率图像 

的灰度值，得到校正图像 

步骤(3.3.1)，选定计算灰度映射的区域：对步骤(3.2)中两幅图像 

和 

中匹配上的特征点集分别用一个凸多边形表示，该凸多边形以特征点为顶点，所有特征点都在多边形内部或顶点处，该凸多边形内部即为灰度映射区域，

步骤(3.3.2)，统计上述凸多边形内的灰度直方图hist(k)，k＝0，1，…，255，按下式得到累计直方图： 

K＝0，1，…，255

步骤(3.3.3)，用Accu¹和Accu²分别表示 

和 

的累积分布直方图，按下述方法划分三个灰度集合G₁，G₂，G₃：

G₁＝{K：0≤Accu¹(K)＜0.05}

G₂＝{K：0.05≤Accu¹(K)＜0.95}

G₃＝{K：0.95≤Accu¹(K)≤1}

选取映射模型为三段分片线性模型 

其中K¹和K²分别表示 

和 

的灰度值，利用下面的目标函数线性拟合K∈G₂时所述图像 

和 

之间的灰度值映射函数K²＝MI(K¹)＝a₂K¹+b₂，K¹∈G₂：

用灰度集合G₁、G₃分别拟合模型K²＝MI(K¹)＝a₁K¹+b₁，K¹∈G₁和K²＝MI(K¹)＝a₃K¹+b₃，K¹∈G₃，使得MI(0)＝0，MI(255)＝255，

步骤(3.3.4)，根据 

和 

之间的灰度值映射模型MI(k)调整 

的灰度值，得到 

步骤(3.4)基于像素的直接配准方法估计 和 

之间更精确的仿射模型 

步骤(3.4.1)，用步骤(3.2)中所述的 

对所述的高分辨率图像 

进行变换，得到图像 

变换方法是：

所述图像 

在坐标点(x_i，y_i)的值 

其中f是同构坐标变换函数，计算方法是：

f(x，y，M)＝(x′，y′)，其中x′和y′由[x′，y′，1]^T＝M[x，y，1]^T得到，

步骤(3.4.2)，用迭代的梯度下降的方法求解下面的优化问题，得到模型 

其中(x_i，y_i)是所述图像 

的第i个像素点坐标，f见步骤(3.4.1)，迭代初始值M₀设为3×3的单位矩阵，

步骤(3.4.3)，如果步骤(3.4.2)中所求得的 

满足下面两个条件中的任何一个，则认为 和 

无效，不再对其进行计算，转到步骤(4)，

a)

b)

其中， 

是 

的前两行，

步骤(3.4.4)，计算更精确的仿射模型

步骤(3.5)根据邻域2N+1帧图像对所述输出图像 

进行平滑处理，取N＝5，

步骤(3.5.1)，求取第j帧高分辨率图像到第i帧高分辨率图像的变换模型 

由步骤(3.1.1)中所求得的 

中的前景区域通过步骤(3.4.1)中的变换方法由所述的更精确的仿射模型 

得到对应的 

中的前景目标，进而得到 

的背景区域，用步骤(3.2)中的方法，求取所述第j帧高分辨图像 

和第i帧高分辨率图像 

之间的变换模型 

步骤(3.5.2)求取平滑模型 

其中，ω_i是高斯权重系数，N＝5， 

σ＝1.5，δ_i取值为：

步骤(3.5.3)计算当前帧的相对模糊度b_i

其中，p_t为所述第t帧高分辨率图像 

中的像素点，dx(·)和dy(·)分别是图像沿着x和y方向上的梯度，

如果b_t＞1.3min{b_t-1，b_t+1}，则认为当前帧为模糊图像，并设定 

无效；

步骤(4)图像补全：对所述输出图像中未被高分辨率图像完全覆盖的部分进行图像补全，具体步骤如下：

步骤(4.1)估计高分辨率背景图像 

步骤(4.1.1)如果步骤(3)中所述的 

有效，通过步骤(3.4.1)中所述的变换方法由所述的变换模型 

变换得到与步骤(3.1.1)所述低分辨率图像 

中的背景区域 对应的 

中的背景区域，

步骤(4.1.2)对第t帧，用第1，2，…，t+50帧中的高分辨率背景区域来更新当前高分辨率背景模型 

对于下一帧的背景模型 

如果 

有效，则将 

的背景区域映射到 

上，然后对于重叠区域用0.5的衰减因子进行更新，即对背景区域的像素灰度值进行如下处理： 

否则， 

步骤(4.2)对 

进行填充：

步骤(4.2.1)利用所述的高分辨率图像 

和变换模型 

填充图像，如果 

有效，则用步骤(3.4.1)中所述的变换方法由所述的变换模型 

将所述高分辨率图像 

变换到所述输出图像 

上，所述输出图像 中重叠的区域即可用 

的灰度值进行填充，

步骤(4.2.2)对背景部分，如果所述输出图像 的未填充部分包含背景像素，则直接利用 

中对应的有效像素进行填充，

步骤(4.2.3)对前景部分，如果第t帧满足下面三个条件之一时，转到步骤(4.2.3.1)，否则转到到步骤(4.2.4)

a)所述的变换模型 

无效

b)所述的高分辨率图像 

不包含完整的感兴趣目标 

c)步骤(3.5.3)中判断所述的高分辨率图像 

是模糊的图像

步骤(4.2.3.1)建立和更新参考样本队列

参考样本队列最大长度取为60，如果第t帧同时满足下面三个条件之一，则该帧将产生一个参考样本：

a)所述的变换模型 

有效；

b)所述的高分辨率图像 

包含完整的感兴趣目标；

c)所述的高分辨率图像 

不是模糊的图像；

参考样本由两个包含前景区域的图像块构成，分别由只保留前景区域的 

和 

用 

表示，其中 

表示第i帧只包含前景目标的低分辨率图像固定大小参考帧，大小为40×40， 

表示第i帧只包含前景目标的与 

相对应的高分辨率图像的参考帧，大小为200×200，采用先入先出的策略更新参考帧队列，

步骤(4.2.3.2)在所述参考帧队列中查找与当前帧最匹配的参考帧 

对于第t帧，我们只考虑 

中完全包含目标的矩形图像区域 

用下面的步骤计算参考帧队列中所有的 

i＝1，2，...，60与 

的相似度：

步骤(4.2.3.2.1)计算 

到 

的平移变换模型(dx，dy)^T

选取初始值为 

中前景目标中心点坐标与 

中前景目标中心点的差，用基于迭代的梯度下降优化算法求得平移变换模型(dx，dy)^T，

步骤(4.2.3.2.2)用下面的公式计算相似度：

其中， 是 

的前景目标的像素集合， 

是 

前景目标的像素集合，p是 

经过平移变换后其前景目标像素集合与 的交集中的一个像素，Num(p)是交集中像素的个数，如果交集的像素个数小于 

像素个数的60％，或者小于 

像素个数的60％，则令相似度为0，

如果当前帧t有效，则取本帧为相关参考帧，定义为 即ref_t＝t；否则， 则取队列中与 相似度最大的参考帧为相关参考帧，若最大相似度小于Th_MAD＝exp(-20)，则认为 没有相关参考帧，即 

无效，转到步骤

(4.2.3.2.3)；否则 有效，

步骤(4.2.3.2.3)估计当前帧与其参考帧之间的高分辨率图像光流场V^H，由邻近共三帧及其对应的参考帧 

i＝t-1，t，t+1进行估计：

步骤(4.2.3.2.3.1)采用基于迭代的梯度下降优化算法求得从 到 

的平移变换模型，然后用此模型将 变换到 

从而去除了两者之间的整体运动；同理，对 

进行同样操作，得到去除整体运动的 

对当前帧，即第t帧，令 

步骤(4.2.3.2.3.2)利用调整后的 

来估计高分辨率的光流场V^H

用Opencv提供的Lucas-Kanade光流算法分别估计从 

到 

和 

之间的光流场 

和 

则

步骤(4.2.3.2.4)估计帧内低分辨率图像光流场V^L，同样采用Opencv提供的Lucas-Kanade光流算法估计 

与 

之间的光流场 

将其放大5倍即可得到V^L，

步骤(4.2.3.2.5)如果 

有效，估计 

与 

之间的最终光流场 

由下面的优化问题解得：

其中V是图像有效区域，(x，y)是V中的一个像素，u和v分别是u(x，y)和v(x，y)的简写，分别代表 

在(x，y)点沿x方向和y方向的分量，(u_H，v_H)代表V^H 在(x，y)处的取值，ω₁(x，y)是权重系数，取为ω₁(x，y)＝exp(-‖[u_H，v_H]‖/10)，(u_L，v_L)代表V^L在(x，y)处的取值，ω₂(x，y)是权重系数，取为ω₂(x，y)＝1，如果V^H有效，则取β＝2，γ＝1，否则，取β＝0，γ＝1，

步骤(4.2.3.2.6)填充输出图像，

用 

经过光流场 

的变换后采用双线性插值填充输出图像的前景部分，步骤(4.2.4)对还未填充的区域，用低分辨率的图像 

放大并用双线性插值得到，步骤(4.3)灰度值调整

用步骤(3.3)中所述的方法调整输出图像中区域R₁和R₄，与R₂灰度值保持一致，其中R₁是所述输出图像 

中用步骤(4.2.1)填充的图像区域，R₂是所述输出图像 

中用步骤(4.2.2)填充的图像区域，R₃是所述输出图像 

中用步骤(4.2.3)填充的图像区域，R₄是所述输出图像 

中用步骤(4.2.4)填充的图像区域，

调整R₁，只用R₁与所述高分辨率背景模型 

重叠部分的像素计算灰度值映射模型，并只调整这些重叠部分的像素，调整R₄时，亦只用R₄与所述高分辨率背景模型 

重叠部分的像素计算灰度值映射模型，但对所有的像素值均进行调整，

步骤(4.4)输出图像空间连续性调整

对于步骤(4.3)中所述的输出图像区域R₁，R₂和R₄作如下处理：先对边界部分用5×5的结构单元进行形态学膨胀，再对膨胀后的边界部分用3×3的均值滤波器进行平滑，步骤(4.3)中所述的输出图像区域R₃部分保持不变。 

Images