CN111091583B - 长期目标跟踪方法 - Google Patents
长期目标跟踪方法 Download PDFInfo
- Publication number
- CN111091583B CN111091583B CN201911155393.2A CN201911155393A CN111091583B CN 111091583 B CN111091583 B CN 111091583B CN 201911155393 A CN201911155393 A CN 201911155393A CN 111091583 B CN111091583 B CN 111091583B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- frame
- current frame
- tracking target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000007774 longterm Effects 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000004044 response Effects 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- MDEHFNXAMDVESV-UHFFFAOYSA-N 3-methyl-5-(4-phenylphenyl)pentanoic acid Chemical compound C1=CC(CCC(C)CC(O)=O)=CC=C1C1=CC=CC=C1 MDEHFNXAMDVESV-UHFFFAOYSA-N 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 241001251765 Progne Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
- Burglar Alarm Systems (AREA)
Abstract
本发明公开了一种长期目标跟踪方法,通过一个自适应更新策略,判断相关滤波器的跟踪质量,决定当前帧相关滤波是否被更新;当某一种跟踪结果不可靠时,极有可能受到背景像素污染,可能已经跟丢目标,因而,通过再检测模块生成一个疑似真实目标的候选者,来寻找丢失的目标,极大的提高了抗干扰能力,增强了目标跟踪效果。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种长期目标跟踪方法。
背景技术
随着计算机视觉的日益发展,视觉跟踪已经广泛应用于许多计算机视觉任务,例如视频监控,视频检索和无人车感知***。给出初始帧待跟踪目标的位置,***就可以在整个视频序列中一直跟踪该目标。虽然视觉跟踪方法取得了很大进展,但仍存在许多挑战,例如变形,遮挡,视野外,尺度变化,平面内旋转等。
近年来,基于相关滤波(KCF)的方法(J.F.Henriques,R.Caseiro,P.Martins,andJ.Batista,"High-speed tracking with kernelized correlation filters,"IEEETransactions on Pattern Analysis and Machine Intelligence,vol.37,no.3,pp.583-596,2015),由于其具备高计算效率和出色的跟踪性能,在跟踪领域最受欢迎。
文章[1](J.F.Henriques,R.Caseiro,P.Martins,and J.Batista,"High-speedtracking with kernelized correlation filters,"IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.37,no.3,pp.583-596,2015)提出传统的KCF跟踪算法流程,利用到流行的tracking–by-detection(Z.Kalal,K.Mikolajczyk,andJ.Matas,"Tracking-learning-detection,"IEEE transactions on pattern analysisand machine intelligence,vol.34,no.7,p.1409,2012)思想,KCF的总体思路为:对给定的一个训练正样本,利用周期矩阵的性质,生成大量的其余负样本并用于训练相关滤波器。根据循环矩阵的性质,DCF方法将耗时的空间相关转换为快速的傅里叶域中的元素操作。
文章[2](M.Danelljan,G.Hager,F.Khan,and M.Felsberg,“Accurate scaleesti-¨mation for robust visual tracking,”in British Machine VisionConference,Nottingham,September 1-5,2014.BMVA Press,2014)在原有KCF的基础上,加上尺寸预测,以应对目标跟踪过程中的尺寸变换。文章[3](L.Bertinetto,J.Valmadre,S.Golodetz,O.Miksik,and P.H.Torr,“Staple:Complementary learners for real-timetracking,”in Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2016,pp.1401–1409)利用颜色直方图生成一个模型,与文章[2]的提出的方法结合,因此文章[3]提出的***优势互补,既拥有KCF方法强大的前景背景识别能力,也因为颜色直方图的抗旋转干扰特性,可实现更加鲁棒的跟踪。
但是,上述基于相关滤波的方法都是在线学习,如果在跟踪过程的某一帧中,跟踪结果出现偏差(目标变形,遭受遮挡等因素),这样***可能会学习到受到背景污染的样本,累积几帧后,***可能会彻底跟丢目标。由于基于相关滤波的***都是在基于目标上一帧位置附近,确定一个感兴趣区域,在当前帧寻找目标位置,而一旦目标跟丢且目标已经不在当前感兴趣区域内的时候,***是无法找回跟丢的目标的。
发明内容
本发明的目的是提供一种长期目标跟踪方法,跟踪速度满足实时需求,可解决目标跟丢等问题。
本发明的目的是通过以下技术方案实现的:
一种长期目标跟踪方法,包括:
对于一段跟踪的视频序列,根据前一帧更新后的相关滤波器,预测当前帧中跟踪目标位置,根据与预测到的当前帧中跟踪目标位置相关的响应值指标,来判断预测到的当前帧中跟踪目标位置是否可靠;
若可靠,则将预测到的当前帧中跟踪目标位置作为当前帧的跟踪结果,并更新当前帧的相关滤波器;
若不可靠,则启动再检测模块,根据给定的前一帧中跟踪目标位置和大小生成一个疑似跟踪目标的候选者,并根据与疑似跟踪目标的候选者相关的响应值指标来判断是否满足替换条件;若是,则将疑似跟踪目标的候选者作为当前帧的跟踪结果,否则,继续保留预测到的当前帧中跟踪目标位置为当前帧的跟踪结果。
由上述本发明提供的技术方案可以看出,通过一个自适应更新策略,判断相关滤波器的跟踪质量,决定当前帧相关滤波是否被更新;当某一种跟踪结果不可靠时,极有可能受到背景像素污染,可能已经跟丢目标,因而,通过再检测模块生成一个疑似真实目标的候选者,来寻找丢失的目标,极大的提高了抗干扰能力,增强了目标跟踪效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种长期目标跟踪方法的流程图;
图2为本发明实施例提供的一种长期目标跟踪方法的流程图;
图3为本发明实施例提供的目标区域和背景区域的示意图;
图4为本发明实施例提供的再检测模块的原理图;
图5为本发明实施例提供的实验结果示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明实施例提供一种长期目标跟踪方法,如图1所示,其主要包括:
步骤A1、对于一段跟踪的视频序列,根据前一帧更新后的相关滤波器,预测当前帧中跟踪目标位置,根据与预测到的当前帧中跟踪目标位置相关的响应值指标,来判断预测到的当前帧中跟踪目标位置是否可靠;若可靠,则转入步骤A2;若不可靠,则转入步骤A3。
步骤A2、接受预测到的当前帧中的跟踪目标位置,作为当前帧的跟踪结果,并更新当前帧的相关滤波器。
步骤A3、启动再检测模块,根据给定的前一帧中跟踪目标位置和大小生成一个疑似跟踪目标的候选者,并根据与疑似跟踪目标的候选者相关的响应值指标来判断是否满足替换条件;若是,则转入步骤A4;否则,转入步骤A5。
步骤A4、将疑似跟踪目标的候选者作为当前帧的跟踪结果。
步骤A5、依旧接受预测到的当前帧中的跟踪目标位置,作为当前帧的跟踪结果,但是并不更新当前帧的相关滤波器。
上述方案的主要原理如下:一方面,由于真实的目标位置只会在第一帧中给出,后续的视频序列中,相关滤波器(***)负责给出预测的目标位置。因此,如何判断***预测的目标位置的准确性是很必要的,如果当前帧的跟踪结果不可靠,那么当前样本极有可能受到背景像素污染,因此不应该被更新。本发明提出了一个自适应更新策略,用于判断***跟踪质量,决定当前帧相关滤波模型是否被更新。
同时,若某一帧结果不可靠,相关滤波器可能已经跟丢目标,本发明提出的再检测模块会负责寻找丢失的目标,再检测模块会生成一个疑似真实目标的候选者,如果该候选者通过本发明提出的替换检查的话,本发明会将该候选者对应的位置替换原始的***结果(也即之前预测到的结果);如果该候选者没有通过替换检查的话,则就接受原始的***结果,作为当前帧的跟踪结果。
为了便于理解,下面针对本发明做详细的介绍。
如图2所示,给出了本发明的详细步骤,主要如下:
步骤1、确定前一帧的搜索区域。
本发明实施例中,将第t+1帧作为当前帧,则前一帧为第t帧。因为第t帧中跟踪目标位置和大小是已知的,所以可以确定搜索区域,即以第t帧中跟踪目标的中心为中心坐标,划分一个跟踪目标大小指定倍数的区域作为搜索区域。示例性的,搜索区域的大小是第t帧跟踪目标的长宽的2.5倍。
步骤2、训练相关滤波器。
提取搜索区域的特征,记为x,记y是符合高斯分布的特征标签,训练第t帧的相关滤波器ft,优化函数如下所示:
ε(ft)=||ft*x-y||2+λ||ft||2
其中,*表示相关运算(相关运算是矩阵的一种运算方式),λ为优化函数的正则项系数,根据已有的***先验知识,一般可取0.001。
当ε(ft)最小时,训练出第t帧的相关滤波器ft。同理,第t帧的相关滤波器更新公式为:
示例性的,对于搜索区域可以提取HOG和CN特征,相关特征提取方式可参见现有技术。例如:
文章(N.Dalal and B.Triggs,"Histograms of oriented gradients for humandetection,"in Computer Vision and Pattern Recognition,2005.pp.886-893)提出HOG(Histogram of Oriented Gradient)描述子,HOG的生成方式是根据这样的思想:它通过计算和统计图像局部区域的梯度方向直方图来构成特征。目标的梯度或边缘的方向密度分布很好地描述目标的表象和形状,因此HOG特征被广泛地运用在目标检测和跟踪领域。
文章(J.Van De Weijer,C.Schmid,J.Verbeek,and D.Larlus,"Learning colornames for real-world applications,"IEEE Transactions on Image Processing,vol.18,no.7,pp.1512-1523,2009)提出CN(Color Names)描述子,CN的生成方式是根据这样的思想:它把目标可能出现的颜色分为11类:黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄共11种。通过自适应算法,利用PCA(主成分分析)的思想,选择目标区域中每个像素比较显著的颜色,将11维的颜色特征降为2维度。
步骤3、计算颜色直方图的权重图。
本步骤计算到的颜色直方图的权重图将在后续计算响应值指标以及再检测模块生成一个疑似跟踪目标的候选者中使用,因此,步骤3具体执行时间不做限定,可预先执行,也可以在需要时间再执行。
将第t帧的目标区域定义Ot,目标周围背景定义为Bt,对第t帧来说,如图3所示,图3小矩形区域为目标区域Ot,大矩形除去Ot的区域为背景区域Bt,本发明中目标区域Ot和背景区域Bt总面积所构成的区域也即前文提到的搜索区域,可以设为目标区域Ot的2.5倍。这样针对两个区域提取颜色直方图,记成和
最终,得到颜色直方图的权重图T:
步骤4、预测当前帧中跟踪目标位置。
对于当前帧,也即第t+1帧,需要以第t帧的跟踪目标位置为中心裁剪出一定范围的区域(该区域大小是第t帧目标区域大小的2.5倍,具体的区域范围可以根据实际实际情况调整)作为搜索区域,并提取出相应的特征图zt+1(特征利用前面提到的HOG和CN特征),然后,根据第t帧的更新过后的相关滤波器得到第t+1帧的跟踪目标响应图St+1:
其中,和表示对和zt+1进行傅里叶变换,F-1代表逆傅里叶变换,⊙表示矩阵点乘;响应图St+1是一个与搜索区域特征图zt+1同样大小的二维矩阵,矩阵每一个位置的值在0到1之间,代表搜索区域中不同位置的像素属于目标的可能性。
因此,通过第t+1帧的跟踪目标响应图St+1,确定第t+1帧中跟踪目标位置,通常为跟踪目标响应图St+1的最大值位置。
步骤5、计算响应值指标,判断预测结果是否可靠,从而决定是否更新相关滤波器。
大多数的跟踪方法是利用一个固定的更新率更新滤波器。但是,如果目标被遮挡或者***预测的结果偏离真实目标,此时如果继续更新模型的话,跟踪模型可能会遭受污染,因此,本发明引入了两种置信度评估策略,来判断当前帧的预测阶段是否可靠,进而决定是否更新相关滤波器。
在正常的跟踪目标的响应图St+1,具备一个锐利峰值,和其他平坦的响应值,表明检测到可靠的跟踪目标。相反,当响应图有多个的矮峰值时,此时***可能跟丢目标。
针对得到的第t+1帧的跟踪目标的响应图St+1,计算HOGR响应值,判断跟踪质量,计算公式为:
其中,Smax代表St+1中的响应值最大值,μt代表St+1的响应值均值,σt为St+1的响应值标准差;
同时,计算COLOR响应值的计算公式为:
其中,u表示特征图zt+1中的任意一个像素,T表示前一帧的颜色直方图的权重图(步骤3计算得到),T(u)表示像素u的权重,得到的代表了特征图zt+1中的一个像素u属于目标区域的概率。在本发明中,我们知道目标不是一个像素,是一个矩形区域下的像素集合。因此B(u)是以像素u为中心的矩形区域(矩形大小等同于第t帧的目标区域Ot),那么对B(u)区域内的所有像素v求和,即得到 含义为:对于像素u∈zt+1,以u为中心的矩形区域B(u)的所有像素v求和,即得到了以像素u为中心的矩形区域的所有像素属于目标区域的概率和。中的最大值作为第t+1帧的COLOR响应值
如果响应值指标满足以下条件,则认为预测到的当前帧中跟踪目标位置可靠:
阈值参数o1和o2,取值范围在0和1之间,结合已有的各个***先验知识,本发明提供一个参考值:二者均为0.7。
以上的比较判断条件称为可靠性检查,如果第t+1帧的跟踪结果质量良好,则可以通过上述可靠性检查,基于第t+1帧跟踪结果可以更新相关滤波器(具体方式可参见前述步骤2)。
如果响应值指标满足以下条件之一,那么则认为预测到的当前帧中跟踪目标位置不可靠:
其中,τ1和τ1为两个经验阈值,结合已有的***,且经过大量试验,二者取值0.6。该条件称为不可靠性检查。
如果满足不可靠性检查,则有理由认为预测到的当前帧中跟踪目标位置足够不可靠,不更新相关滤波器,并进入步骤6。
如果不满足可靠性检查与不可靠性检查,我们无法说第t+1帧跟踪结果良好,但是不能说跟踪结果坏。事实上,本发明在通过大量的试验发现,虽然***没有跟丢目标,但由于目标可能遭受轻微遮挡等因素,可靠性检查也会出现不满足的情况。因此,可靠性检查不满足时,我们依旧选择相信当前帧的跟踪结果,即步骤6的再检测模块不会被启动。不过处于保险起见,基于第t+1帧跟踪结果不会被用来更新相关滤波器,防止相关滤波器被污染。
步骤6、启动再检测模块,生成一个疑似跟踪目标的候选者,若该候选者通过替换检查,则认为再检测模块生成的候选者可靠,用来替换不可靠的预测的***结果。否则,我们有理由相信,候选者没有那么可靠,不值得我们放弃***预测的跟踪结果(尽管***满足了不可靠性检查)。
再检测模块以前一帧的跟踪目标位置为中心裁剪出的一定范围的搜索区域(示例性的,可以是第t帧目标长宽的7倍),并提取出相应的特征图z′t+1,此阶段裁剪出的搜索区域大于之前步骤4预测时搜索区域的范围(示例性的,步骤4给出的为2.5倍),便于寻找丢失的目标。
并结合前一帧的颜色直方图的权重图T,重建构建一个颜色相似图P:
定义和步骤5中计算COLOR响应值类似,u′表示特征图中z′t+1的任意一个像素,T表示前一帧的颜色直方图的权重图(步骤3计算得到),T(u′)表示像素u′的权重,得到的代表了特征图z′t+1中的一个像素u′属于目标的概率。在本发明中,我们知道目标不是一个像素,是一个矩形区域下的像素集合。因此B(u′)是以像素u′为中心的矩形区域(矩形大小等同于第t帧的目标区域Ot)B(u′)矩形框像素用v′表示,那么对B(u′)区域内的所有像素v′求和,即得到
所构建的颜色相似图P中值最大的像素位置作为疑似跟踪目标的候选者中心坐标,候选者目标区域大小暂时采用第t帧的目标大小,如果疑似跟踪目标的候选者可靠,即相关的响应值指标满足步骤5中的可靠性检查,并且对应的响应值指标大于基于相关滤波的跟踪结果响应值指标的一定倍数(例如,2倍),那么称疑似跟踪目标满足替换检查。则将疑似跟踪目标的候选者作为当前帧的跟踪结果。
优选的,为了进一步提高预测结果的准确性,结合疑似跟踪目标的候选者再次执行步骤4,不同的是,这次是以疑似跟踪目标的候选者的目标位置中心裁剪出一定范围的区域,其他操作与步骤4相同,即,通过相关滤波器再次预测出一个新的跟踪目标位置,并作为最终的当前帧的跟踪结果。可选的,此时跟踪目标的大小可以采用疑似跟踪目标的候选者的大小,或者采用其他现有技术来实现。
图4给出一个再检测模块的示例说明。如图4可以看出,第130帧(也即左侧图像),跟踪目标(熊猫)被遮挡,此时相关滤波器已经跟丢目标,本发明提出的再检测模块开始工作,寻找丢失的目标;在第132帧,跟踪目标出现在视野中(图4中间图像中部的矩形框区域),图4的右侧图像为再检测模块构建的颜色相似图P,从颜色相似图中,根据像素数值可以快速找到疑似跟踪目标的候选者(矩形框)。该疑似跟踪目标的候选者对应的新的目标框的响应值比原始***预测的结果的响应值2倍还大,且满足步骤5所提到的可靠性检查,此时满足替换检查,也即,将疑似跟踪目标的候选者替换当前帧的跟踪结果。在第132帧中,将该候选者替换第132帧***结果,成功找到已经跟丢的目标(图4中间图像中部的矩形框区域)。如果不满足替换原则,则将保留原始的跟踪结果,也即步骤4的预测结果。
本发明与现有技术相比的主要具有如下优点:
(1)本发明能有效处理目标被遮挡,变形等复杂场景下的跟踪
针对实际场景下目标跟踪,当实际的场景挑战因素较少,***可以良好地跟踪出目标;如果出现了若干挑战因素(变形,遮挡),此时相关滤波器可能会跟丢目标。本发明提出的再检测模块,会生成基于颜色直方图的权重图,生成一个颜色相似图,根据颜色相似图,可生成真实目标的候选者。之后对候选者进行考查,如果候选者足够可靠的话,则替换原来的***结果,否则的话,保留原来的***结果作为当前帧的目标位置。本发明提出的相关滤波器在OTB2015目标跟踪数据集上,取得87.1%的精度,同时本发明提出的再检测模块,可用在其他主流的***上,比如KCF,DSST(文章[2]的方法)和Staple(文章[3]的方法),均可至少提高10%的精度。
(2)本发明的跟踪算法耗时少
本发明的计算速度较快,一方面得益于KCF算法的优势,另外一方面本文摈弃了复杂的优化过程,训练出理想的滤波器。实验表明,本发明的方法,每秒能处理45帧数据,完全能满足实时跟踪的要求。
实验说明。
在OTB2015目标跟踪数据集上,评测本发明的跟踪性能。在OTB2015目标跟踪数据集上,本发明提出的***精度为87%,远大于基础算法KCF(47.7%)。并且提出的再检测模块,可被移植到其余相关滤波器(***)上,提高原本***的跟踪性能,同样地,本发明列举三个基础***KCF,DSST和Staple,这三个***在使用本发明提出的再检测模块,在原有的跟踪性能上,成功提高10%以上的精度,并且还基本维持原来***的速度。一定程度上证明本发明提出的再检测模块具备较强的通用性。
为了进一步展示本发明提出的***效果,本发明从OTB2015目标跟踪数据集上挑选出2个视频Human3和Girl2序列来做说明。如图5所示,上、下两部分分别为Human3和Girl2序列的跟踪结果。上部分左侧图像为第35帧跟踪结果,第53帧时(即中间图像)跟踪目标遭受遮挡,使得相关滤波器跟丢了目标;第55帧时(即右侧图像)跟踪目标重新出现在视野,在本发明提出的再检测模块的帮助下,重新找到跟踪目标。下部分也是如此,下部分左侧图像为第103帧跟踪结果,第113帧时(即中间图像)跟踪目标遭受遮挡,使得相关滤波器跟丢了目标;第153帧时(即右侧图像)跟踪目标重新出现在视野,在本发明提出的再检测模块的帮助下,重新找到跟踪目标。可见,这一定程度上证明了本发明的跟踪方法可以很好地提高基础***抗干扰差的情况,帮助原来的基础***找回跟丢的目标。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (9)
1.一种长期目标跟踪方法,其特征在于,包括:
对于一段跟踪的视频序列,根据前一帧更新后的相关滤波器,预测当前帧中跟踪目标位置,根据与预测到的当前帧中跟踪目标位置相关的响应值指标,来判断预测到的当前帧中跟踪目标位置是否可靠;
若可靠,则将预测到的当前帧中跟踪目标位置作为当前帧的跟踪结果,并更新当前帧的相关滤波器;
若不可靠,则启动再检测模块,根据给定的前一帧中跟踪目标位置和大小生成一个疑似跟踪目标的候选者,并根据与疑似跟踪目标的候选者相关的响应值指标来判断是否满足替换条件;若是,则将疑似跟踪目标的候选者作为当前帧的跟踪结果,否则,继续保留预测到的当前帧中跟踪目标位置为当前帧的跟踪结果;
其中,启动再检测模块,根据给定的前一帧中跟踪目标位置和大小生成一个疑似跟踪目标的候选者包括:
再检测模块以前一帧的跟踪目标位置为中心裁剪出一定范围的搜索区域,前一帧也即第t帧,并提取出相应的特征图z′t+1,此阶段裁剪出的搜索区域大于之前预测时搜索区域的范围,并结合前一帧的颜色直方图的权重图T,构建一个颜色相似图
其中,u′表示特征图中z′t+1的任意一个像素,T表示前一帧的颜色直方图的权重图,T(u′)表示像素u′的权重,得到的代表了特征图z′t+1中的一个像素u′属于跟踪目标的概率;B(u′)是以像素u′为中心的矩形区域,v'表示矩形区域B(u′)中的任一像素;对B(u′)区域内的所有像素求和,即得到
4.根据权利要求3所述的一种长期目标跟踪方法,其特征在于,与预测到的当前帧中跟踪目标位置相关的响应值指标包括:HOGR响应值与COLOR响应值;其中,
HOGR响应值的计算公式为:
其中,Smax代表St+1中的响应值最大值,μt代表St+1的响应值均值,σt为St+1的响应值标准差;
COLOR响应值的计算公式为:
6.根据权利要求5所述的一种长期目标跟踪方法,其特征在于,
如果通过可靠性检查条件,则认为预测到的当前帧中跟踪目标位置可靠;
如果通过不可靠性检查,则认为预测到的当前帧中跟踪目标位置不可靠;
如果未通过可靠性检查与不可靠性检查,则将预测到的当前帧中跟踪目标位置作为当前帧的跟踪结果,但不更新当前帧的相关滤波器。
7.根据权利要求1或5所述的一种长期目标跟踪方法,其特征在于,满足替换条件包括:如果疑似跟踪目标的候选者可靠,并且对应的响应值指标大于与预测到的当前帧中跟踪目标位置相关的响应值指标的一定倍数,则将疑似跟踪目标的候选者作为当前帧的跟踪结果。
8.根据权利要求7所述的一种长期目标跟踪方法,其特征在于,结合疑似跟踪目标的候选者与前一帧更新后的相关滤波器预测出一个新的跟踪目标位置,并作为最终的当前帧的跟踪结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911155393.2A CN111091583B (zh) | 2019-11-22 | 2019-11-22 | 长期目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911155393.2A CN111091583B (zh) | 2019-11-22 | 2019-11-22 | 长期目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111091583A CN111091583A (zh) | 2020-05-01 |
CN111091583B true CN111091583B (zh) | 2022-09-06 |
Family
ID=70393733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911155393.2A Active CN111091583B (zh) | 2019-11-22 | 2019-11-22 | 长期目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111091583B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111583306A (zh) * | 2020-05-12 | 2020-08-25 | 重庆邮电大学 | 一种抗遮挡的视觉目标跟踪方法 |
CN114241008B (zh) * | 2021-12-21 | 2023-03-07 | 北京航空航天大学 | 一种适应场景和目标变化的长时区域跟踪方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121286A1 (zh) * | 2016-12-30 | 2018-07-05 | 纳恩博(北京)科技有限公司 | 目标跟踪方法和装置 |
CN109785366A (zh) * | 2019-01-21 | 2019-05-21 | 中国科学技术大学 | 一种针对遮挡的相关滤波目标跟踪方法 |
CN110163132A (zh) * | 2019-05-09 | 2019-08-23 | 云南大学 | 一种基于最大响应值变化率更新策略的相关滤波跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102275452B1 (ko) * | 2017-03-16 | 2021-07-12 | 한국전자통신연구원 | 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치 |
-
2019
- 2019-11-22 CN CN201911155393.2A patent/CN111091583B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121286A1 (zh) * | 2016-12-30 | 2018-07-05 | 纳恩博(北京)科技有限公司 | 目标跟踪方法和装置 |
CN109785366A (zh) * | 2019-01-21 | 2019-05-21 | 中国科学技术大学 | 一种针对遮挡的相关滤波目标跟踪方法 |
CN110163132A (zh) * | 2019-05-09 | 2019-08-23 | 云南大学 | 一种基于最大响应值变化率更新策略的相关滤波跟踪方法 |
Non-Patent Citations (3)
Title |
---|
"Reliable Re-Detection for Long-Term Tracking";Ning Wang等;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20190331;第29卷(第3期);第730-743页 * |
"Spatial-aware correlation filters with adaptive weight maps for visual tracking";Feng Tang等;《Neurocomputing》;20190527;第358卷;第369-384页 * |
"自适应学习的时空上下文目标跟踪算法";张晶等;《计算机工程》;20180630;第44卷(第6期);第294-299页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111091583A (zh) | 2020-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108053419B (zh) | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 | |
CN110135500B (zh) | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 | |
CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
CN109785366B (zh) | 一种针对遮挡的相关滤波目标跟踪方法 | |
CN111723693B (zh) | 一种基于小样本学习的人群计数方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN112288773A (zh) | 基于Soft-NMS的多尺度人体跟踪方法及装置 | |
CN110263712A (zh) | 一种基于区域候选的粗精行人检测方法 | |
CN109934846A (zh) | 基于时间和空间网络的深度集成目标跟踪方法 | |
CN111340842B (zh) | 一种基于联合模型的相关滤波目标跟踪方法 | |
CN110717934B (zh) | 一种基于strcf的抗遮挡目标跟踪方法 | |
CN111767847A (zh) | 一种集成目标检测和关联的行人多目标跟踪方法 | |
CN111046789A (zh) | 一种行人重识别方法 | |
CN111091583B (zh) | 长期目标跟踪方法 | |
CN113763427B (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
CN108830204B (zh) | 面对目标的监控视频中异常检测方法 | |
CN110782487A (zh) | 一种基于改进的粒子滤波算法的目标跟踪方法 | |
CN114529584A (zh) | 一种基于无人机航拍的单目标车辆跟踪方法 | |
CN116381672A (zh) | 基于孪生网络雷达x波段多扩展目标自适应跟踪方法 | |
CN110544267B (zh) | 一种自适应选择特征的相关滤波跟踪方法 | |
CN113011399B (zh) | 基于生成协同判别网络的视频异常事件检测方法及*** | |
CN114529583A (zh) | 基于残差回归网络的电力设备跟踪方法及跟踪*** | |
CN112613565B (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
Li et al. | Robust visual tracking by exploiting the historical tracker snapshots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |