CN102663775A - 面向低帧率视频的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种面向低帧率视频的目标跟踪方法，其包含主要的步骤如下：(1)将目标区域用融合主颜色及其空间分布特征的方法表示；(2)对候选区域与目标区域采用基于交叉颜色比例的匹配准则进行相似度匹配；(3)采用一种基于参数积分图的适应值函数来表征样本粒子与目标模板的匹配程度；(4)利用一种模拟生物群智能的退火粒子群优化框架来搜索低帧率视频所引起的突变运动。本发明实现了有效的目标跟踪方法，相对于其他经典低帧率跟踪算法，实验结果表明该发明更加有效和鲁棒。

Description

面向低帧率视频的目标跟踪方法

技术领域

本发明涉及计算机视觉领域，尤其是一种面向低帧率视频的目标跟踪方法。 

背景技术

在很多的实际的机器视觉应用中，可利用的资源都是受限制的(例如：嵌入式可视***)。所以，在视频采集的过程中就会产生一些低帧率(Low Frame Rate)视频，具体的原因有如下两种：1)由于视频采集硬件的延时或传输带宽的限制，使得视频采集过程或传输过程掉帧；2)由于CPU处理能力或存储容量的限制，对所采集的视频数据在时间维上进行下采样，从而提高处理速率或降低存储量。 

由于低帧率视频数据每秒钟显示的图像数据少于10帧，导致其连续的图像帧中目标物体的表观或运动存在很大的突变。然而，大多经典的跟踪算法都是基于目标状态的连续性假设，即假定目标物体的运动和表观在连续图像帧间的变化很小。例如，粒子滤波算法采用在前一帧的跟踪结果的基础上来预测当前帧图像中的粒子；基于迭代优化的跟踪算法，如KLT(Kanade-Lucas-Tomasi)、模板匹配算法和均值漂移算法也同样将基于前一帧的跟踪结果作为当前帧迭代优化的初始值。因此，上述经典的跟踪算法在面向低帧率视频的应用中无法获得令人满意的结果。 

国内外直接针对低帧率视频下目标跟踪的研究较少，其中Porikli 等人对均值漂移算法进行了拓展，在背景减除的基础上对运动显著区域采用多核的均值漂移算法，从而克服了由低帧率所引起的运动不连续性以及不可预测的问题。Li等人提出一种级联粒子滤波算法来解决低帧率视频下目标运动突变的问题，该算法通过检测器来学***均像素强度、速度差和角度差，来实现目标模型与运动可能性区域的匹配。另外，Zhang等人采用连续图像帧间的差分图来预测目标的运动突变，然后利用预测的结果来指导粒子滤波中的样本传播过程。总而言之，国内外现有的研究都是将低帧率视频看成目标物体的运动突变。然而，在实际应用中，低帧率视频所引入的不仅仅是目标物体的运动突变，还伴随着目标表观的巨大变化。因此，要实现低帧率视频下得鲁棒跟踪，需要同时从目标物体的表观模型和运动搜索框架两个方面着手，使其符合低帧率视频的特性。 

发明内容

为了克服低帧率视频所带来的目标表观和运动突变的问题，本发明提出从以下三个方面着手来建立一个鲁棒的面向低帧率视频的目标跟踪***：1)目标表示；2)模型匹配；3)运动搜索。首先，提出融合主颜色及其空间分布的表观模型和交叉颜色比例的匹配准则，使得模型有效地处理目标表观和光线的突变；其次，提出基于生物群智能的运动搜索方法，从而对运动突变进行有效地跟踪。 

为了实现上述的目的，本发明采用了以下的技术方案： 

建立一个鲁棒的面向低帧率视频的目标跟踪***，包括以下的步骤： 

1.融合主颜色及其空间分布信息的目标表观及其更新，主要有以下步骤： 

第一步，将目标区域像素从RGB转换到rgI颜色空间，再计算像素颜色的欧氏距离，从而建立目标区域像素间的权重图矩阵；

第二步，利用所建立像素间的图结构，对像素采用主导集聚类算法可依次获得目标区域的主颜色模式，当剩余像素个数小于一定的阈值，则聚类结束，并认为剩余像素为噪声； 

第三步，提取落在每个主颜色模式内所有像素的包括权重、均值和方差的空间分布信息，而且所有像素点的空间位置需要进行中心化处理(为了消除绝对位置的影响)； 

第四步，在每一帧跟踪结束之后，对主颜色模式及其空间分布信息进行更新； 

2.在完成对目标区域模板的“主颜色+空间”表示后，当跟踪***获得一个候选区域时，需要对候选区域与目标模型进行相似度匹配。本发明就提出了基于交叉颜色比例的匹配准则，基本步骤如下： 

第一步，在给定目标模板的主颜色模式上利用最近邻算法确定候选区域的主颜色模式，再计算各自主颜色模式间的交叉比例矩阵； 

第二步，根据所建立的不同交叉比例矩阵，计算两个矩阵间的平方和距离作为颜色模式的匹配误差； 

第三步，根据目标模板中主颜色的空间分布信息，计算候选区域中对应颜色模式的空间匹配误差，并与颜色匹配误差进行融合； 

3.在应用退火粒子群优化框架前，需要定义一个适应值函数来表征样本粒子与目标模板的匹配程度。为了避免在适应值评价过程中多次计算图像的重复区域，本发明设计一种基于参数积分图的适应值快速计算方法，具体实现步骤如下： 

第一步，根据粒子群优化算法中的最大限制速度参数来确定潜在样本粒子所能覆盖的最大区域； 

第二步，根据目标模板的主颜色模式和最近邻算法确定该图像区域中每个像素属于哪个主颜色模式，从而获得整个图像区域像素的标签； 

第三步，针对每一个像素，记录其标签和空间参数形成一个5维向量，并计算该5维向量的积分图； 

第四步，对于给定样本粒子的对应区域，根据积分图查找该区域的模型参数，并根据匹配准则计算该粒子的适应值； 

4.对于由低帧率视频所引起的突变运动，本发明设计一种模拟生物群智能的退火粒子群优化框架来搜索。其主要步骤如下： 

第一步，对上一帧图像跟踪收敛后的个体最优粒子进行时序上的随机传播，以提高样本粒子的多样性，由于个体最优粒子的紧致性，所以不需要对粒子进行重采样； 

第二步，对样本粒子进行退火优化迭代，在迭代过程中需要通过适应值评价更新粒子群的个体最优粒子和群体最优粒子，用以指导粒子群的进化迭代过程； 

第三步，对进化的粒子进行收敛性判断，并输出跟踪结果； 

本发明的有益效果是： 

1、本发明所提出的跟踪算法是一种面向低帧率视频的目标跟踪的方法； 

2、本发明提出一种融合主颜色及其空间分布信息的目标表观模 型，采用主导集聚类算法获得目标区域的主颜色模式，该算法可根据样本的“紧致性”自动决定类的个数，产生层次清晰的聚类类别，从而保留最具判别性的颜色模式，剔除噪声像素的影响，并且该算法的计算量小，容易满足实时性需求。同时提取主颜色在空间位置中的分布模式，既可以保留颜色模型的适应性，又提高了模型的判别性。 

3、本发明提出一种交叉颜色比例的匹配准则，该准则较其他准则(如Bhattacharyya系数、Kullback-Leibler散度等)更为鲁棒，具体表现以下两个方面：1)该准则采用颜色比例可有效消除光照变化的影响；2)计算距离时将每个颜色模式对所有其他颜色模式考虑进来，可减轻背景噪声像素和遮挡部分像素的影响。 

4.本发明提出的退火粒子群优化框架是一个基于分布重要性采样的过程，通过粗采样和细采样两个步骤将图像观测信息加入到采样过程中，从而得到的采样结果逼近直接采样于最佳重要性分布的结果，也很好的解决了突然运动的搜索问题。 

5.本发明提出一种基于积分图的适应值快速计算方法避免了在评价过程中多次计算图像的重复区域。每个像素只需一次匹配计算，即使运动搜索的迭代次数增加了，也不会增加计算复杂度。 

附图说明

下面结合附图和实施例对本发明进一步说明。 

图1是本发明的跟踪***的整体框架； 

具体实施方式

下面通过实施例对本发明进行具体的描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，该领域的技术人员可根据上述发明的内容对本发明作出一些非本质的改进和调整。 

如图1所示，图1为本发明整体框架。本发明为一种面向低帧率视频的目标跟踪方法，本发明的方法具体运行的硬件和编程语言并不限制，用任何语言编写都可以完成，为此其它工作模式不再赘述。 

本发明的实施例采用一台具有3.2G赫兹中央处理器和1G字节内存的奔腾4计算机并用Matlab语言编制了工作程序，实现了本发明的方法，本发明的面向低帧率视频的目标跟踪方法包括以下步骤： 

计算融合主颜色及其空间分布信息的目标表观、交叉颜色比例的匹配准则的构建、模拟生物群智能的退火粒子群优化框架的更新及判断、基于积分图的适应值快速计算等模块，具体步骤如下所述： 

(1)首先将目标区域像素按公式 

r＝R/(R+G+B)，g＝G/(R+G+B)，I＝(R+G+B)/3 

进行颜色空间的转变；然后再定义像素间的权重图如下： 

W_i，j＝||f_i-f_j||²

其中f_i＝(r_i，g_i，I_i)，i，j分别表示第i个像素和第j个像素。 

再通过主导集聚类的方法就可以依次得到主颜色模式 

(2)计算落在第l个颜色模式的所有像素的空间分布模式：均值、 

方差分别如下： 

${\mathrm{\μ}}_l=\frac{{\mathrm{\Σ}}_i{p}_i\mathrm{\δ}(L\left(f_i\right)-l)}{{\mathrm{\Σ}}_i\mathrm{\δ}(L\left(f_i\right)-l)};$ ${\mathrm{\Σ}}_l=\frac{{\mathrm{\Σ}}_i(p_i-u_l){(p_i-u_l)}^T\mathrm{\δ}(L\left(f_i\right)-l)}{{\mathrm{\Σ}}_i\mathrm{\δ}(L\left(f_i\right)-l)};$

其中，p_i是像素i的位置；δ(·)是Kronecker函数，即为 

从而可知，目标图像区域将表示成 

其中， 

是第l个主颜色模式的权重。 

(3)根据最近邻算法确定候选区域的各颜色模式内像素的个数 

可得各自主颜色模式间的交叉比例矩阵为 

其中， 表示主颜色模式c_i和c_j的关系。 

再计算直方图U^T和U^C的相似度M_v， 

即 $M_v(U^T,U^C)=\underset{v=1}{\overset{k}{\mathrm{\Σ}}}{(\frac{u_l^T}{u_v^T}-\frac{u_l^C}{u_v^C})}^2/{(\frac{1}{u_v^T}+\frac{1}{u_v^C})}^2;$

其中，当 和 

趋近于零时， 

将正交化以防其不稳定问题。 

从而可得颜色匹配误差为 

$M_v(U^T,U^C)=\underset{v=1}{\overset{k}{\mathrm{\Σ}}}{M}_v(U^T,U^C)=\underset{v=1}{\overset{k}{\mathrm{\Σ}}}(1-\frac{u_v^T{u}_v^C}{{(u_v^T+u_v^C)}^2}{\left|\right|U^T+U^C\left|\right|}_2^2)$

(4)根据目标模板中主颜色的空间分布信息再计算候选区域中对应颜色模式的匹配误差，并且与颜色匹配误差融合可得： 

$S(U^T,U^C)=\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{w}_l\exp \{-\frac{1}{2}{(u_l^T-u_l^C)}^T{({\mathrm{\Σ}}_l^T+{\mathrm{\Σ}}_l^C)}^{-1}(u_l^T-u_l^C)\}$

(5)退火粒子群优化框架是在粒子群优化框架基础上修正的高斯退火粒子群优化算法，具体方程如下： 

v^i，n+1＝|r₁|(pⁱ-x^i，n)+|r₂|(g-x^i，n)+ε 

x^i，n+1＝x^i，n+v^i，n+1

其中，|r₁|和|r₂|是高斯概率分布中的独立抽样的随机值；ε是为了阻止搜索陷入局部最小的零均值高斯噪声，且其协方差∑_ε也在自适应的退火方式改变，即∑_ε＝∑e^-cn，其中，∑是预定义的转移分布的协方差矩阵；n是迭代次数；c是退火因子。 

每个粒子的适应值计算f(x^i，n+1)是用外观模型p(o^i，n+1|x^i，n+1)表示如下：f(x^i，n+1)＝p(o^i，n+1|x^i，n+1) 

$p\left(o^{i,n+1}\right|x^{i,n+1})=\exp \left\{\frac{1}{{2\mathrm{\σ}}_1^2}(1-S(U^T,U^C))\right\}*\exp \left\{\frac{1}{{2\mathrm{\σ}}_2^2}M(U^T,U^C)\right\}$

其中， 

是关于衡量空间距离与交叉比例相似度的影响的外观协方差参数。 

另外，个体最优粒子和群体最优粒子在适应值计算后将按如下公式进行更新： 

$g=\arg \underset{p^i}{\max }f\left(p^i\right)$

(6)由粒子群优化算法中的最大限制速度参数 

确定潜在t+1时刻样本粒子所能覆盖的最大图像区域为 

再对每个粒子建立一个5维的向量，即 

$F_i=\{L\left(i\right),{\left(p_i\right)}_x,{\left(p_i\right)}_y,{\left(p_i\right)}_x^2,{\left(p_i\right)}_y^2\}$

其中，L(i)是属于像素i的颜色模式；(p_i)_x，(p_i)_y分别是像素i的x，y轴的坐标值。再计算第l个颜色模式的积分图，而该积分图中在第i位置的值为： 

上述积分图分别表示i位置属于第l个颜色模式的像素个数，以及这些像素在空间位置的均值，以及方差。 

对于给定样本粒子的对应区域，根据上述积分图查找该区域的模型参数，并根据匹配准则计算该粒子的适应值。 

Claims (8)

1.一种面向低帧率视频的目标跟踪方法，其特征在于，包括以下步骤：

(1)在融合主颜色及其空间分布的目标表示过程中要将目标区域像素的颜色空间从RGB转换到rgI空间，再采用主导集聚类的方法获得像素的主颜色模式；

(2)对于落在每个主颜色模式内所有像素的包括权重、均值和方差的空间分布信息进行计算，并与颜色模式信息进行融合及更新；

(3)对给定目标模板的主颜色模式利用最近邻算法确定候选区域的主颜色模式，进而计算各主颜色模式间的交叉比例矩阵及颜色模式的匹配误差；

(4)根据目标模板中主颜色的空间分布信息计算候选区域中对应颜色模式的空间匹配误差，并且与颜色匹配误差进行融合；

(5)在已确定的最大图像区域计算其中每个像素的标签，并将其与空间参数构成5维向量，再计算该5维向量的积分图；

(6)根据积分图查找给定样本粒子的对应区域的模型参数，并根据匹配准则计算该粒子的适应值；

(7)根据退火粒子群优化的运动搜索框架对样本粒子进行退火优化迭代，同时还要利用适应值评价更新粒子群的个体最优粒子和全体最优粒子，然后对进化的粒子进行收敛性判断并输出跟踪结果。

2.根据权利要求1所述的面向低帧率视频的目标跟踪方法，其特征在于，所述的步骤(1)具体包括以下子步骤：

首先，目标区域像素颜色空间的转换；

其次，计算像素颜色的欧氏距离，由此建立像素间的权重图矩阵；

最后，由图结构依次获得主颜色模式。

3.根据权利要求1所述的面向低帧率视频的目标跟踪方法，其特征在于，所述的步骤(2)具体包括以下子步骤：

首先，从权重、均值、方差三个方面计算像素的空间分布模式，而且像素点的位置还要中心化处理；

其次，将空间分布信息与颜色分布信息进行融合及更新。

4.根据权利要求1所述的面向低帧率视频的目标跟踪方法，其特征在于，所述的步骤(3)具体包括以下子步骤：

首先，确定候选区域的主颜色模式；

其次，计算各自主颜色模式间的交叉比例矩阵；

最后，计算两个矩阵间的平方和距离作为颜色模式的匹配误差。

5.根据权利要求1所述的面向低帧率视频的目标跟踪方法，其特征在于，所述的步骤(4)具体包括以下子步骤：

首先，计算候选区域中对应颜色模式的空间匹配误差；

其次，将颜色匹配误差与空间匹配误差进行融合。

6.根据权利要求1所述的面向低帧率视频的目标跟踪方法，其特征在于，所述的步骤(5)具体包括以下子步骤：

首先，确定潜在样本粒子所能覆盖的最大图像区域；

其次，由最大图像区域中的每个像素的主颜色模式可得该区域像素的标签；

最后，计算由标签和空间参数构成的5维向量的积分图。

7.根据权利要求1所述的面向低帧率视频的目标跟踪方法，其特征在于，所述的步骤(6)具体包括以下子步骤：

首先，根据积分图查找给定样本粒子的对应区域的模型参数；

其次，根据匹配准则计算该粒子的适应值。

8.根据权利要求1所述的面向低帧率视频的目标跟踪方法，其特征在于，所述的步骤(7)具体包括以下子步骤：

首先，对前一帧图像收敛后的个体最优粒子进行时序上的随机传播；

其次，对样本粒子进行退火优化迭代，同时还要通过适应值评价更新粒子群个体最优粒子和群体最优粒子；

最后，对进化的粒子进行收敛性判断。