CN102800108A - 基于局部约束最小二乘估计的视觉目标跟踪方法 - Google Patents

Abstract

本发明提供一种基于局部约束最小二乘估计的视觉目标跟踪方法。1)本发明利用局部约束最小二乘估计，给出目标的拓扑结构的描述。充分探讨了目标片区域信息之间的关系，这有助于处理目标遮挡及相似目标干扰问题。2)本发明基于巴氏系数定义两个拓扑结构的相似度度量。在粒子滤波框架下给出目标跟踪结果。实验结果表明本发明所提出的方法比所比较的方法有更好的跟踪精度。

Description

基于局部约束最小二乘估计的视觉目标跟踪方法

技术领域

本发明涉及的是一种计算机视觉领域中的视觉目标跟踪方法。具体地说，涉及的是一种基于局部约束最小二乘估计的视觉目标跟踪方法。

背景技术

当前跟踪技术主要分两大类：确定性和统计性方法。确定性方法如MeanShift(MS)***[D.Comaniciu，V.Ramesh，and P.Meer.Real-time tracking ofnon-rigid objects using mean shift.CVPR，pp.142-149，2000.]，目标的位置通过迭代性地最大化目标模板和候选者的相似度得到。虽然该方法在计算上非常有效，但其对背景干扰、杂波、遮挡等敏感。一旦丢失目标，依靠自身很难恢复跟踪。这个问题可通过统计方法得到缓解。统计方法如粒子滤波[K.Nummiaroa，E.Koller-Meierb，and L.V.Gool.An Adaptive Color-Based Pa rticle Filter[J].Image andVision Computing，vol.21，pp.99-110，2003.]在状态空间维持多个假设，以此获取更多的鲁棒性。这些文献利用直方图特征来描述一个区域的表观。因为对于直方图来说，目标的空间信息利用的很少，从而导致跟踪性能不准确及不能处理遮挡。

人们提出各种方法来解决空间信息缺乏问题。文[S.Birchfield，S.Rangarajan.Spatiograms versus histograms for region-based tracking.CVPR，pp.1158-1163，2005.]把颜色的位置的一阶和二阶矩信息添加到直方图的每个箱子里。[K.Okuma，A.Taleghani，N.D.Freitas，J.Little and D.G.Lowe.A boosted pa rticle filter：multitargetdetection and tracking.ECCV，pp.28-39，2004.]，[E.Maggio and A.Cavallaro.Multi-part target representation for colour tracking.ICIP,pp.729-732，2005.]对目标的不同部分采用多个直方图来补偿空间信息。[H.Wang，D.Suter and K.Schindler.Effective appearance model and similarity measure for particle filtering and visualtracking.ECCV，pp.606-618，2008.]通过加入空间信息给出了空间-颜色的高斯混合表观模型。Adam[A.Adam，E.Rivlin and I.Shimshoni.Robust fragments-basedtracking using the integral histogram.CVPR，vol.1，pp.798-805，2006.]把目标分成不重叠的片区域，每个片区域通过比较模板图像对应部分来打分，然后所有片区域的相似度度量结合起来获得假设位置的似然度。

上述所有方法，没有考虑部分或片区域之间的拓扑关系。拓扑关系能够反映目标结构信息，这有助于处理目标遮挡及相似目标干扰问题。因此，基于局部约束最小二乘估计[J.Wang，J.Yang，K.Yu，F.Lv,T.Huang，and Y.Gong.Locality-constrained linear coding for image classification.CVPR，pp.3360-3367，2010.]，本发明给出目标结构的一个描述。跟踪过程是在粒子滤波框架下进行的。每个粒子对应的权重通过巴氏系数来度量。

发明内容

本发明的目的是针对现有方法的不足，提出的新的基于局部约束最小二乘估计的应用于目标跟踪的方法，主要创新点包括：1）对目标的多个重叠的片区域利用灰度信息建立一个拓扑结构，每个片区域对应一个顶点，片与片或顶点与顶点之间的关系或边上的权重利用局部约束最小二乘估计来衡量。与该片区域越相似的片区域间的边上对应的权重就越大。2）给出基于巴氏系数的两个拓扑结构的相似度度量。因巴氏系数具有非常好的几何解释，可以用来衡量两个拓扑结构的相似性。该方法可以有效处理目标遮挡及相似目标干扰问题。

基于局部约束最小二乘估计强调相似度的重要性，在正则化中引入了相似度，本文将该估计用于每一个片区域用其它所有片区域的线性编码问题，该编码赋予相似度更大的片区域更大的权重，同时又使得这个编码误差最小。从而构建起这些片区域间的拓扑结构矩阵。

因巴氏系数具有非常好的几何解释，用其定义两个拓扑结构矩阵的相似度度量。

本发明是通过以下技术方案来实现的，

根据本发明的一个方面，提供一种基于局部约束最小二乘估计的视觉目标跟踪方法，其特征在于：包括如下步骤：

第一步，对模板图像经过分辨率调整后，利用一个滑动小窗口，每次水平方向或垂直方向滑动q个像素，由此得到多个片区域，每个片区域用其对应的向量化的颜色特征来描述，记为S={s_i∈R^d|i＝1,…,M}；

第二步，对第一步得到的颜色特征集合建立一个拓扑结构，即将每个元素看做一个顶点，建立一个邻接图；邻接图中边的权重的计算如下：

每个向量化的片区域用其他所有的向量化片区域来表示，即这里的系数a_ij(i≠j)通过求解局部约束最小二乘估计问题给出；

令A=(|a_ij|)，其对角线元素为0，该矩阵反映模板中片区域信息间的拓扑结构；

第三步，对通过粒子采样得到的目标候选区域做与模板图像同样的工作，建立该候选区域对应的拓扑结构；令

l为粒子指标；

第四步，利用巴氏系数度量A和B^(l)的相似度；

第五步，根据第四步的相似度度量得到粒子的权重，利用MAP估计得到目标的跟踪结果。

优选地，在第一步中，所述的把模板图像经过分辨率调整，利用子滑动窗口得到多个重叠的片区域，片区域内灰度或RGB向量化特征来描述该片区域的信息。

优选地，第二步中所述的建立模板片区域信息间的邻接图，即拓扑结构，是指利用局部约束最小二乘估计对每一个片区域信息用其它所有片区域信息来编码，编码系数用来衡量其它片区域信息对该片区域信息的贡献度。

优选地，在第三步中，通过粒子滤波传播得到多个粒子候选目标，对每个候选目标建立其拓扑结构，具体做法和构建模板的拓扑结构相同。即，对粒子

对应的候选区域提取重叠的向量化的片区域

片信息

与剩下的所有片信息的关系可先行表述为

其对应稀疏的求解通过局部约束最小二乘估计得到。得到矩阵B^(l)。

优选地，第四步中的相似度度量的定义。具体实现为：

对两个拓扑结构A和B^(l)，令A_col和

分别为A和B^(l)的col列，并且对每一列对归一化，即

那么，该两矩阵巴氏系数定义为 $\mathrm{sim}(A,B^{\left(l\right)})=\underset{\mathrm{col}}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\sqrt{B_{\mathrm{col},j}^{\left(l\right)}{A}_{\mathrm{col},j}}.$

优选地，第五步中目标状态的估计，利用最大后验估计获得。

优选地，所述颜色特征为RGB特征或者灰度特征。

本发明提出了一种对遮挡和背景干扰具有鲁棒性的跟踪方法，基于局部约束最小二乘估计给出目标表观的一种拓扑结构描述，该描述能捕获目标各部分间的关系，用基于巴氏系数衡量两个拓扑结构的相似度，除了对遮挡和背景干扰具有鲁棒性外，对一定程度的光照变化也具有一定的鲁棒性。搜索框架是在粒子滤波框架中得到目标的多个候选样本。本发明可用于民用及军用目标跟踪识别***中。

附图说明

图1-4和图5-8为本发明针对不同图像序列的跟踪结果实例图及误差图

其中：

图1为图像序列ShopAssistant2cor的跟踪结果部分实例图：帧1,160，180,210,250,300（从上到下和左到右）

图2为图像序列OneLeaveShopReenter2cor的跟踪结果部分实例图：帧178,195,215,300,390,500（从上到下和左到右）

图3为图像序列pktest02的跟踪结果部分实例图：帧87,110,130,150,170,200（从上到下和左到右）

图4为图像序列Race1的跟踪结果部分实例图：帧1,50,100,180,230,300（从上到下和左到右）

图5表示图像序列ShopAssistant2cor的相对误差相对帧数图

图6表示图像序列OneLeaveShopReenter2cor的相对误差相对帧数图

图7表示图像序列pktest02的相对误差相对帧数图

图8表示图像序列Race1的相对误差相对帧数图

具体实施方式：

下面结合附图对本发明的实施例做详细说明：本实施例在本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例的目的首先是测试目标存在遮挡及背景干扰时的跟踪能力，其次对目标场景存在一定程度的光照变化时的跟踪能力。所采取的途径是把目标候选区域分成多个重叠的片区域，构建这些片区域的拓扑结构描述，然后基于巴氏度量给出候选者的拓扑结构与模板的拓扑结构的相似度，从而确定候选区域对应粒子的权重。最后根据最大后验估计准则(MAP)得到目标的跟踪结果。在讲述具体的方法实施前先给出局部约束最小二乘估计方法，及其如何应用于目标的拓扑结构描述。如下所示：

局部约束最小二乘估计

稀疏表示在包括视觉目标跟踪的许多领域得到广泛使用。基于稀疏假设，给定信号y用字典Φ中少量基向量线性近似表出，即y≈Φα，其中系数α通过下面的l₁正则化最小二乘优化问题

$\underset{\mathrm{\α}}{\min }\left\{J\left(\mathrm{\α}\right)\right\}=\underset{\mathrm{\α}}{\min }\frac{1}{2}\{{\left|\right|y-\mathrm{\Φ\α}\left|\right|}_2^2+\mathrm{\η}{\left|\right|\mathrm{\α}\left|\right|}_1\},$

得到，这里系数的稀疏性由参数η来控制。

在跟踪应用中，因为相似性比稀疏性更重要，当把相似度引入到上式的正则化项中时，并对其范数做些放宽，上式的优化问题就变为

s.t.1^Tα=1,

该式子就是局部约束线性编码问题(LLC)[J.Wang,J.Yang,K.Yu,F.Lv，T.Huang,and Y. Gong.Locality-constrained linear coding for image classification.CVPR,pp.3360-3367,2010.]。这里□表示元素级的乘积，

为局部调节器，它根据与输入向量的相似度来赋权。dist(y,Φ)=[||y-φ₁||₂，…，||y-φ_M||₂]^T并且φ_i为Φ的第i列.LLC的解中少量分量值是重要的，在这个意义上是具有稀疏性。

LLC编码可以通过利用多个基向量来取得更小的重构误差。而且，对于相同的信号，其编码具有相似的模式。另外，它具有解析解。由于局部调节器的作用，实际上LLC可以为y选取一个稀疏基集合来构成一个局部坐标***。一个快速的近似解可以通过求解一个更小的线性***B来实现，B为Φ中与y最近邻的k个向量组成。

局部约束最小二乘估计在本文中的具体应用

从目标模板中提取出多个重叠的片区域，每个片区域用其对应的向量化的RGB或灰度(统称颜色)特征来描述，记为S={s_i∈R^d|i＝1,…,M}。这些片区域间的关系描述如下：

对每一个片区域的向量化信息用剩下的其他的片区域信息来线性表出

这里就选用局部约束最小二乘估计的快速近似方法获得表出系数，

令A=(|a_ij|)，其对角线元素为0，该矩阵反映模板中片区域信息间的拓扑结构。

对粒子

对应的候选区域也做同样的工作，即提取得到重叠的向量化的片区域片信息

与剩下的片信息的关系可先行表述为

其对应稀疏的求解通过局部约束最小二乘估计得到。得到矩阵B^(l)。

接下来，基于巴氏系数衡量两矩阵A和B^(l)的相似度。巴氏系数是两统计样本的重叠度的近似度量，被用于确定考虑的两样本的相对贴近度。令A_col和分别为A和B^(l)的col列，并且对每一列对归一化，即

那么，该两矩阵巴氏系数定义为 $\mathrm{sim}(A,B^{\left(l\right)})=\underset{\mathrm{col}}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\sqrt{B_{\mathrm{col},j}^{\left(l\right)}{A}_{\mathrm{col},j}}.$

采用Matlab语言实现本方法并在实际的视频序列上做测试。在初始帧，目标区域手动选取，目标窗口调整为21×27大小的图像，然后划分为多个重叠的3×3块即片区域，建立这些片区域的拓扑结构。跟踪结果利用矩阵窗口来显示。所采用的比较方法是传统的基于颜色的粒子滤波***(PEREZ)[K.Nummiaroa，E.Koller-Meierb，and L.V.Gool.An Adaptive Color-Based Particle Filter[J].Image andVision Computing，vol.21，pp.99-110，2003.]。实线和虚线盒子分别代表本发明的方法和PEREZ***。

第一个视频序列(ShopAssistant2cor)来自于http://homepages.inf.ed.ac.uk/rbf/CAVIARDATA1/，如图1。在这个序列中，要跟踪的人在某段被另一个穿着不同的人所遮挡。PEREZ***和本发明的***能够捕获到移动的人体。但是前者在跟踪性能上没有后者的精确，这个可在第60帧看到。

第二个视频序列来自于ttp://homepages.inf.ed.ac.uk/rbf/CAVIARDATA1/，如图2所示。一个妇女被衣着颜色相同的人遮挡。PEREZ***刚开始能够跟踪上目标。当遮挡发生时，这个***就定位到这个衣着颜色相同的人上去了。这是因为直方图特征是全局特征，对目标结构的变化不敏感。而本发明的***能够提供鲁棒的精确度的跟踪结果。

第三个视频序列(pktest02)来自于//www.ist.temple.edu/hbling/codedata.htm，如图3所示。该视频序列中的汽车经历了光照变化及遮挡。PEREZ***能够大致捕获目标的位置，但是存在中等程度的漂移问题。本发明的***能够在整个序列中很好的跟踪上该移动的汽车。

第四个视频序列(Race1)来自于[F.Porikli，O.Tuzel.Covariance Tracking usingModel Update Based on Lie Algebra.CVPR，pp.728-735，2006.]，如图4所示。所跟踪的赛车一会靠近摄像机一会远离摄像机，使得其尾部存在尺度变化。PEREZ***不能很好的估计车辆的尺度，从而使得位置估计存在偏移，原因是直方图对尺度变化不是不变量。而本发明的***能成功地跟踪车辆的尺度变化。

这里的跟踪误差利用跟踪结果和真实位置的中心的相对位置误差来刻画，定义为ε_k=||(x_k,y_k)-(x_gk,y_gk)||₂/d_gt，其中{x_gk,y_gk,d_gt}为标定的目标的位置及对角线长度。理想的跟踪应该是这个位置差为0。图5-8表明所提方法在跟踪期间能够具有好的跟踪精度。

Claims (7)

1.一种基于局部约束最小二乘估计的视觉目标跟踪方法，包括如下步骤：

第一步，对模板图像经过分辨率调整后，利用一个滑动小窗口，每次水平方向或垂直方向滑动q个像素，由此得到多个片区域，每个片区域用其对应的向量化的颜色特征来描述，记为S={s_i∈R^d|i＝1,…,M}；

第二步，对第一步得到的颜色特征集合建立一个拓扑结构，即将每个元素看做一个顶点，建立一个邻接图；邻接图中边的权重的计算如下：

每个向量化的片区域用其他所有的向量化片区域来表示，即

这里的系数a_ij(i≠j)通过求解局部约束最小二乘问题给出；

令A=(|a_ij|)，其对角线元素为0，该矩阵反映模板中片区域信息间的拓扑结构；

第三步，对通过粒子采样得到的目标候选区域做与模板图像同样的工作，建立该候选区域对应的拓扑结构；令

l为粒子指标；

第四步，利用巴氏系数度量A和B^(l)的相似度；

第五步，根据第四步的相似度度量得到粒子的权重，利用MAP估计得到目标的跟踪结果。

2.根据权利要求1所述的基于局部约束最小二乘估计的视觉目标跟踪方法，其特征是，在第一步中，所述的把模板图像经过分辨率调整，利用子滑动窗口得到多个重叠的片区域，片区域内灰度或RGB向量化特征来描述该片区域的信息。

3.根据权利要求1所述的基于局部约束最小二乘估计的视觉目标跟踪方法，特征是，第二步中所述的建立模板片区域信息间的邻接图，即拓扑结构，是指利用局部约束最小二乘估计对每一个片区域信息用其它所有片区域信息来编码，编码系数用来衡量其它片区域信息对该片区域信息的贡献度。

4.根据权利要求1所述的基于局部约束最小二乘估计的视觉目标跟踪方法，其特征是，在第三步中，通过粒子滤波传播得到的多个候选目标，对每个候选目标建立其拓扑结构，具体做法和构建模板的拓扑结构相同，具体说，对粒子

对应的候选区域提取重叠的向量化的片区域

片信息

与剩下的所有片信息的关系可先行表述为

其对应稀疏的求解通过局部约束最小二乘估计得到，得到矩阵B^(l)。

5.根据权利要求1所述的基于局部约束最小二乘估计的视觉目标跟踪方法，其特征是，第四步中的相似度度量的定义，具体实现为：

对两个拓扑结构A和B^(l)，令Acol和

分别为A和B^(l)的col列，并且对每一列对归一化，即

那么，该两矩阵巴氏系数定义为 $\mathrm{sim}(A,B^{\left(l\right)})=\underset{\mathrm{col}}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\sqrt{B_{\mathrm{col},j}^{\left(l\right)}{A}_{\mathrm{col},j}}.$

6.根据权利要求1所述的基于局部约束最小二乘估计的视觉目标跟踪方法，其特征是，第五步中目标状态的估计，利用最大后验估计获得。

7.根据权利要求1所述的基于局部约束最小二乘估计的视觉目标跟踪方法，其特征是：所述颜色特征为RGB特征或者灰度特征。

Images