CN102800108A - 基于局部约束最小二乘估计的视觉目标跟踪方法 - Google Patents
基于局部约束最小二乘估计的视觉目标跟踪方法 Download PDFInfo
- Publication number
- CN102800108A CN102800108A CN2012102396377A CN201210239637A CN102800108A CN 102800108 A CN102800108 A CN 102800108A CN 2012102396377 A CN2012102396377 A CN 2012102396377A CN 201210239637 A CN201210239637 A CN 201210239637A CN 102800108 A CN102800108 A CN 102800108A
- Authority
- CN
- China
- Prior art keywords
- panel region
- local restriction
- method based
- squares estimation
- topological structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于局部约束最小二乘估计的视觉目标跟踪方法。1)本发明利用局部约束最小二乘估计,给出目标的拓扑结构的描述。充分探讨了目标片区域信息之间的关系,这有助于处理目标遮挡及相似目标干扰问题。2)本发明基于巴氏系数定义两个拓扑结构的相似度度量。在粒子滤波框架下给出目标跟踪结果。实验结果表明本发明所提出的方法比所比较的方法有更好的跟踪精度。
Description
技术领域
本发明涉及的是一种计算机视觉领域中的视觉目标跟踪方法。具体地说,涉及的是一种基于局部约束最小二乘估计的视觉目标跟踪方法。
背景技术
当前跟踪技术主要分两大类:确定性和统计性方法。确定性方法如MeanShift(MS)***[D.Comaniciu,V.Ramesh,and P.Meer.Real-time tracking ofnon-rigid objects using mean shift.CVPR,pp.142-149,2000.],目标的位置通过迭代性地最大化目标模板和候选者的相似度得到。虽然该方法在计算上非常有效,但其对背景干扰、杂波、遮挡等敏感。一旦丢失目标,依靠自身很难恢复跟踪。这个问题可通过统计方法得到缓解。统计方法如粒子滤波[K.Nummiaroa,E.Koller-Meierb,and L.V.Gool.An Adaptive Color-Based Pa rticle Filter[J].Image andVision Computing,vol.21,pp.99-110,2003.]在状态空间维持多个假设,以此获取更多的鲁棒性。这些文献利用直方图特征来描述一个区域的表观。因为对于直方图来说,目标的空间信息利用的很少,从而导致跟踪性能不准确及不能处理遮挡。
人们提出各种方法来解决空间信息缺乏问题。文[S.Birchfield,S.Rangarajan.Spatiograms versus histograms for region-based tracking.CVPR,pp.1158-1163,2005.]把颜色的位置的一阶和二阶矩信息添加到直方图的每个箱子里。[K.Okuma,A.Taleghani,N.D.Freitas,J.Little and D.G.Lowe.A boosted pa rticle filter:multitargetdetection and tracking.ECCV,pp.28-39,2004.],[E.Maggio and A.Cavallaro.Multi-part target representation for colour tracking.ICIP,pp.729-732,2005.]对目标的不同部分采用多个直方图来补偿空间信息。[H.Wang,D.Suter and K.Schindler.Effective appearance model and similarity measure for particle filtering and visualtracking.ECCV,pp.606-618,2008.]通过加入空间信息给出了空间-颜色的高斯混合表观模型。Adam[A.Adam,E.Rivlin and I.Shimshoni.Robust fragments-basedtracking using the integral histogram.CVPR,vol.1,pp.798-805,2006.]把目标分成不重叠的片区域,每个片区域通过比较模板图像对应部分来打分,然后所有片区域的相似度度量结合起来获得假设位置的似然度。
上述所有方法,没有考虑部分或片区域之间的拓扑关系。拓扑关系能够反映目标结构信息,这有助于处理目标遮挡及相似目标干扰问题。因此,基于局部约束最小二乘估计[J.Wang,J.Yang,K.Yu,F.Lv,T.Huang,and Y.Gong.Locality-constrained linear coding for image classification.CVPR,pp.3360-3367,2010.],本发明给出目标结构的一个描述。跟踪过程是在粒子滤波框架下进行的。每个粒子对应的权重通过巴氏系数来度量。
发明内容
本发明的目的是针对现有方法的不足,提出的新的基于局部约束最小二乘估计的应用于目标跟踪的方法,主要创新点包括:1)对目标的多个重叠的片区域利用灰度信息建立一个拓扑结构,每个片区域对应一个顶点,片与片或顶点与顶点之间的关系或边上的权重利用局部约束最小二乘估计来衡量。与该片区域越相似的片区域间的边上对应的权重就越大。2)给出基于巴氏系数的两个拓扑结构的相似度度量。因巴氏系数具有非常好的几何解释,可以用来衡量两个拓扑结构的相似性。该方法可以有效处理目标遮挡及相似目标干扰问题。
基于局部约束最小二乘估计强调相似度的重要性,在正则化中引入了相似度,本文将该估计用于每一个片区域用其它所有片区域的线性编码问题,该编码赋予相似度更大的片区域更大的权重,同时又使得这个编码误差最小。从而构建起这些片区域间的拓扑结构矩阵。
因巴氏系数具有非常好的几何解释,用其定义两个拓扑结构矩阵的相似度度量。
本发明是通过以下技术方案来实现的,
根据本发明的一个方面,提供一种基于局部约束最小二乘估计的视觉目标跟踪方法,其特征在于:包括如下步骤:
第一步,对模板图像经过分辨率调整后,利用一个滑动小窗口,每次水平方向或垂直方向滑动q个像素,由此得到多个片区域,每个片区域用其对应的向量化的颜色特征来描述,记为S={si∈Rd|i=1,…,M};
第二步,对第一步得到的颜色特征集合建立一个拓扑结构,即将每个元素看做一个顶点,建立一个邻接图;邻接图中边的权重的计算如下:
每个向量化的片区域用其他所有的向量化片区域来表示,即这里的系数aij(i≠j)通过求解局部约束最小二乘估计问题给出;
令A=(|aij|),其对角线元素为0,该矩阵反映模板中片区域信息间的拓扑结构;
第四步,利用巴氏系数度量A和B(l)的相似度;
第五步,根据第四步的相似度度量得到粒子的权重,利用MAP估计得到目标的跟踪结果。
优选地,在第一步中,所述的把模板图像经过分辨率调整,利用子滑动窗口得到多个重叠的片区域,片区域内灰度或RGB向量化特征来描述该片区域的信息。
优选地,第二步中所述的建立模板片区域信息间的邻接图,即拓扑结构,是指利用局部约束最小二乘估计对每一个片区域信息用其它所有片区域信息来编码,编码系数用来衡量其它片区域信息对该片区域信息的贡献度。
优选地,在第三步中,通过粒子滤波传播得到多个粒子候选目标,对每个候选目标建立其拓扑结构,具体做法和构建模板的拓扑结构相同。即,对粒子对应的候选区域提取重叠的向量化的片区域片信息与剩下的所有片信息的关系可先行表述为其对应稀疏的求解通过局部约束最小二乘估计得到。得到矩阵B(l)。
优选地,第四步中的相似度度量的定义。具体实现为:
优选地,第五步中目标状态的估计,利用最大后验估计获得。
优选地,所述颜色特征为RGB特征或者灰度特征。
本发明提出了一种对遮挡和背景干扰具有鲁棒性的跟踪方法,基于局部约束最小二乘估计给出目标表观的一种拓扑结构描述,该描述能捕获目标各部分间的关系,用基于巴氏系数衡量两个拓扑结构的相似度,除了对遮挡和背景干扰具有鲁棒性外,对一定程度的光照变化也具有一定的鲁棒性。搜索框架是在粒子滤波框架中得到目标的多个候选样本。本发明可用于民用及军用目标跟踪识别***中。
附图说明
图1-4和图5-8为本发明针对不同图像序列的跟踪结果实例图及误差图
其中:
图1为图像序列ShopAssistant2cor的跟踪结果部分实例图:帧1,160,180,210,250,300(从上到下和左到右)
图2为图像序列OneLeaveShopReenter2cor的跟踪结果部分实例图:帧178,195,215,300,390,500(从上到下和左到右)
图3为图像序列pktest02的跟踪结果部分实例图:帧87,110,130,150,170,200(从上到下和左到右)
图4为图像序列Race1的跟踪结果部分实例图:帧1,50,100,180,230,300(从上到下和左到右)
图5表示图像序列ShopAssistant2cor的相对误差相对帧数图
图6表示图像序列OneLeaveShopReenter2cor的相对误差相对帧数图
图7表示图像序列pktest02的相对误差相对帧数图
图8表示图像序列Race1的相对误差相对帧数图
具体实施方式:
下面结合附图对本发明的实施例做详细说明:本实施例在本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本实施例的目的首先是测试目标存在遮挡及背景干扰时的跟踪能力,其次对目标场景存在一定程度的光照变化时的跟踪能力。所采取的途径是把目标候选区域分成多个重叠的片区域,构建这些片区域的拓扑结构描述,然后基于巴氏度量给出候选者的拓扑结构与模板的拓扑结构的相似度,从而确定候选区域对应粒子的权重。最后根据最大后验估计准则(MAP)得到目标的跟踪结果。在讲述具体的方法实施前先给出局部约束最小二乘估计方法,及其如何应用于目标的拓扑结构描述。如下所示:
局部约束最小二乘估计
稀疏表示在包括视觉目标跟踪的许多领域得到广泛使用。基于稀疏假设,给定信号y用字典Φ中少量基向量线性近似表出,即y≈Φα,其中系数α通过下面的l1正则化最小二乘优化问题
得到,这里系数的稀疏性由参数η来控制。
在跟踪应用中,因为相似性比稀疏性更重要,当把相似度引入到上式的正则化项中时,并对其范数做些放宽,上式的优化问题就变为
s.t.1Tα=1,
该式子就是局部约束线性编码问题(LLC)[J.Wang,J.Yang,K.Yu,F.Lv,T.Huang,and Y. Gong.Locality-constrained linear coding for image classification.CVPR,pp.3360-3367,2010.]。这里□表示元素级的乘积,为局部调节器,它根据与输入向量的相似度来赋权。dist(y,Φ)=[||y-φ1||2,…,||y-φM||2]T并且φi为Φ的第i列.LLC的解中少量分量值是重要的,在这个意义上是具有稀疏性。
LLC编码可以通过利用多个基向量来取得更小的重构误差。而且,对于相同的信号,其编码具有相似的模式。另外,它具有解析解。由于局部调节器的作用,实际上LLC可以为y选取一个稀疏基集合来构成一个局部坐标***。一个快速的近似解可以通过求解一个更小的线性***B来实现,B为Φ中与y最近邻的k个向量组成。
局部约束最小二乘估计在本文中的具体应用
从目标模板中提取出多个重叠的片区域,每个片区域用其对应的向量化的RGB或灰度(统称颜色)特征来描述,记为S={si∈Rd|i=1,…,M}。这些片区域间的关系描述如下:
令A=(|aij|),其对角线元素为0,该矩阵反映模板中片区域信息间的拓扑结构。
接下来,基于巴氏系数衡量两矩阵A和B(l)的相似度。巴氏系数是两统计样本的重叠度的近似度量,被用于确定考虑的两样本的相对贴近度。令Acol和分别为A和B(l)的col列,并且对每一列对归一化,即 那么,该两矩阵巴氏系数定义为
采用Matlab语言实现本方法并在实际的视频序列上做测试。在初始帧,目标区域手动选取,目标窗口调整为21×27大小的图像,然后划分为多个重叠的3×3块即片区域,建立这些片区域的拓扑结构。跟踪结果利用矩阵窗口来显示。所采用的比较方法是传统的基于颜色的粒子滤波***(PEREZ)[K.Nummiaroa,E.Koller-Meierb,and L.V.Gool.An Adaptive Color-Based Particle Filter[J].Image andVision Computing,vol.21,pp.99-110,2003.]。实线和虚线盒子分别代表本发明的方法和PEREZ***。
第一个视频序列(ShopAssistant2cor)来自于http://homepages.inf.ed.ac.uk/rbf/CAVIARDATA1/,如图1。在这个序列中,要跟踪的人在某段被另一个穿着不同的人所遮挡。PEREZ***和本发明的***能够捕获到移动的人体。但是前者在跟踪性能上没有后者的精确,这个可在第60帧看到。
第二个视频序列来自于ttp://homepages.inf.ed.ac.uk/rbf/CAVIARDATA1/,如图2所示。一个妇女被衣着颜色相同的人遮挡。PEREZ***刚开始能够跟踪上目标。当遮挡发生时,这个***就定位到这个衣着颜色相同的人上去了。这是因为直方图特征是全局特征,对目标结构的变化不敏感。而本发明的***能够提供鲁棒的精确度的跟踪结果。
第三个视频序列(pktest02)来自于//www.ist.temple.edu/hbling/codedata.htm,如图3所示。该视频序列中的汽车经历了光照变化及遮挡。PEREZ***能够大致捕获目标的位置,但是存在中等程度的漂移问题。本发明的***能够在整个序列中很好的跟踪上该移动的汽车。
第四个视频序列(Race1)来自于[F.Porikli,O.Tuzel.Covariance Tracking usingModel Update Based on Lie Algebra.CVPR,pp.728-735,2006.],如图4所示。所跟踪的赛车一会靠近摄像机一会远离摄像机,使得其尾部存在尺度变化。PEREZ***不能很好的估计车辆的尺度,从而使得位置估计存在偏移,原因是直方图对尺度变化不是不变量。而本发明的***能成功地跟踪车辆的尺度变化。
这里的跟踪误差利用跟踪结果和真实位置的中心的相对位置误差来刻画,定义为εk=||(xk,yk)-(xgk,ygk)||2/dgt,其中{xgk,ygk,dgt}为标定的目标的位置及对角线长度。理想的跟踪应该是这个位置差为0。图5-8表明所提方法在跟踪期间能够具有好的跟踪精度。
Claims (7)
1.一种基于局部约束最小二乘估计的视觉目标跟踪方法,包括如下步骤:
第一步,对模板图像经过分辨率调整后,利用一个滑动小窗口,每次水平方向或垂直方向滑动q个像素,由此得到多个片区域,每个片区域用其对应的向量化的颜色特征来描述,记为S={si∈Rd|i=1,…,M};
第二步,对第一步得到的颜色特征集合建立一个拓扑结构,即将每个元素看做一个顶点,建立一个邻接图;邻接图中边的权重的计算如下:
令A=(|aij|),其对角线元素为0,该矩阵反映模板中片区域信息间的拓扑结构;
第四步,利用巴氏系数度量A和B(l)的相似度;
第五步,根据第四步的相似度度量得到粒子的权重,利用MAP估计得到目标的跟踪结果。
2.根据权利要求1所述的基于局部约束最小二乘估计的视觉目标跟踪方法,其特征是,在第一步中,所述的把模板图像经过分辨率调整,利用子滑动窗口得到多个重叠的片区域,片区域内灰度或RGB向量化特征来描述该片区域的信息。
3.根据权利要求1所述的基于局部约束最小二乘估计的视觉目标跟踪方法,特征是,第二步中所述的建立模板片区域信息间的邻接图,即拓扑结构,是指利用局部约束最小二乘估计对每一个片区域信息用其它所有片区域信息来编码,编码系数用来衡量其它片区域信息对该片区域信息的贡献度。
6.根据权利要求1所述的基于局部约束最小二乘估计的视觉目标跟踪方法,其特征是,第五步中目标状态的估计,利用最大后验估计获得。
7.根据权利要求1所述的基于局部约束最小二乘估计的视觉目标跟踪方法,其特征是:所述颜色特征为RGB特征或者灰度特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210239637.7A CN102800108B (zh) | 2012-07-11 | 2012-07-11 | 基于局部约束最小二乘估计的视觉目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210239637.7A CN102800108B (zh) | 2012-07-11 | 2012-07-11 | 基于局部约束最小二乘估计的视觉目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102800108A true CN102800108A (zh) | 2012-11-28 |
CN102800108B CN102800108B (zh) | 2015-12-16 |
Family
ID=47199205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210239637.7A Active CN102800108B (zh) | 2012-07-11 | 2012-07-11 | 基于局部约束最小二乘估计的视觉目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102800108B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103295242A (zh) * | 2013-06-18 | 2013-09-11 | 南京信息工程大学 | 一种多特征联合稀疏表示的目标跟踪方法 |
CN104484890A (zh) * | 2014-12-18 | 2015-04-01 | 上海交通大学 | 基于复合稀疏模型的视频目标跟踪方法 |
CN107424173A (zh) * | 2017-06-09 | 2017-12-01 | 广东光阵光电科技有限公司 | 一种基于扩展的局部不变特征描述的目标跟踪方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6590999B1 (en) * | 2000-02-14 | 2003-07-08 | Siemens Corporate Research, Inc. | Real-time tracking of non-rigid objects using mean shift |
CN101308607A (zh) * | 2008-06-25 | 2008-11-19 | 河海大学 | 基于视频的混合交通环境下移动目标多特征融合跟踪方法 |
-
2012
- 2012-07-11 CN CN201210239637.7A patent/CN102800108B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6590999B1 (en) * | 2000-02-14 | 2003-07-08 | Siemens Corporate Research, Inc. | Real-time tracking of non-rigid objects using mean shift |
CN101308607A (zh) * | 2008-06-25 | 2008-11-19 | 河海大学 | 基于视频的混合交通环境下移动目标多特征融合跟踪方法 |
Non-Patent Citations (4)
Title |
---|
刘荣利等: "Robust kernel-based tracking algorithm with background contrasting", 《CHINESE OPTICS LETTERS》 * |
吕娜: "图像匹配与跟踪研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
江艳霞: "视频人脸跟踪识别算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
陶立超等: "基于分块颜色直方图和粒子滤波的物体跟踪", 《计算机工程与应用》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103295242A (zh) * | 2013-06-18 | 2013-09-11 | 南京信息工程大学 | 一种多特征联合稀疏表示的目标跟踪方法 |
CN103295242B (zh) * | 2013-06-18 | 2015-09-23 | 南京信息工程大学 | 一种多特征联合稀疏表示的目标跟踪方法 |
CN104484890A (zh) * | 2014-12-18 | 2015-04-01 | 上海交通大学 | 基于复合稀疏模型的视频目标跟踪方法 |
CN104484890B (zh) * | 2014-12-18 | 2017-02-22 | 上海交通大学 | 基于复合稀疏模型的视频目标跟踪方法 |
CN107424173A (zh) * | 2017-06-09 | 2017-12-01 | 广东光阵光电科技有限公司 | 一种基于扩展的局部不变特征描述的目标跟踪方法 |
CN107424173B (zh) * | 2017-06-09 | 2020-06-05 | 广东光阵光电科技有限公司 | 一种基于扩展的局部不变特征描述的目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102800108B (zh) | 2015-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805904B (zh) | 一种基于卫星序列图像的运动舰船检测与跟踪方法 | |
Jia et al. | Visual tracking via adaptive structural local sparse appearance model | |
CN102236901B (zh) | 基于图论聚类和色彩不变空间的目标跟踪方法 | |
CN102609720B (zh) | 一种基于位置校正模型的行人检测方法 | |
CN105528794A (zh) | 基于混合高斯模型与超像素分割的运动目标检测方法 | |
CN103136525B (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
CN103065135A (zh) | 基于数字图像处理的车牌号码匹配算法 | |
CN103729654A (zh) | 基于改进sift算法的图像匹配检索*** | |
CN104392228A (zh) | 基于条件随机场模型的无人机图像目标类检测方法 | |
Qu et al. | Evaluation of SIFT and SURF for vision based localization | |
Wang et al. | Segment and label indoor scene based on RGB-D for the visually impaired | |
CN105405138A (zh) | 基于显著性检测的水面目标跟踪方法 | |
CN103870836A (zh) | 基于凸集投影超分辨率重构的合成孔径雷达图像目标识别方法 | |
CN113822352A (zh) | 基于多特征融合的红外弱小目标检测方法 | |
CN112287906A (zh) | 一种基于深度特征融合的模板匹配跟踪方法及*** | |
CN102800108A (zh) | 基于局部约束最小二乘估计的视觉目标跟踪方法 | |
Parmehr et al. | Automatic registration of multi-source data using mutual information | |
Wang et al. | LBP-based edge detection method for depth images with low resolutions | |
Zhang et al. | Target tracking for mobile robot platforms via object matching and background anti-matching | |
CN111126508A (zh) | 一种基于hopc改进的异源图像匹配方法 | |
Lin et al. | Lane departure identification on Highway with searching the region of interest on Hough space | |
CN104732190B (zh) | 一种基于正交纹理相关分析的合成孔径声纳目标检测方法 | |
Hu et al. | Automatic target recognition based on SAR images and two-stage 2DPCA features | |
Crosby et al. | Object identification in 3D flash lidar images | |
Li et al. | A new framework of hyperspectral image classification based on spatial spectral interest point |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |