CN110751096A - 一种基于kcf轨迹置信度的多目标跟踪方法 - Google Patents

一种基于kcf轨迹置信度的多目标跟踪方法 Download PDF

Info

Publication number
CN110751096A
CN110751096A CN201911002819.0A CN201911002819A CN110751096A CN 110751096 A CN110751096 A CN 110751096A CN 201911002819 A CN201911002819 A CN 201911002819A CN 110751096 A CN110751096 A CN 110751096A
Authority
CN
China
Prior art keywords
track
target
confidence
frame
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911002819.0A
Other languages
English (en)
Other versions
CN110751096B (zh
Inventor
杨红红
吴晓军
张玉梅
李菁菁
裴炤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN201911002819.0A priority Critical patent/CN110751096B/zh
Publication of CN110751096A publication Critical patent/CN110751096A/zh
Application granted granted Critical
Publication of CN110751096B publication Critical patent/CN110751096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

基于一种基于KCF轨迹置信度的多目标跟踪方法,包括:S100:建立KCF的滤波器,利用该滤波器计算当前帧中的检测响应与目标跟踪轨迹之间的外观相似度,形状相似度和运动相似度,作为数据关联的关联关系模型;S200:利用滤波器对检测响应进行校正;S300:利用基于APCE遮挡分析的轨迹置信度计算方法计算被跟踪目标的轨迹置信度,依据该轨迹置信度将目标跟踪轨迹划分为高置信度轨迹和低置信度轨迹;S400:建立候选目标假设集,用于表示之前帧中跟丢的目标及与检测响应未匹配的目标轨迹;S500:对经过校正的检测响应、高置信度轨迹、低置信度轨迹以及候选目标假设集中的候选样本根据关联关系模型执行相邻帧间的数据关联。

Description

一种基于KCF轨迹置信度的多目标跟踪方法
技术领域
本公开属于视频信息处理分析,计算机视觉领域,具体涉及一种基于KCF轨迹置信度的多目标跟踪方法。
背景技术
多目标跟踪(Multi-object tracking,MOT)是计算机视觉领域的研究重点,它在视频监控、交通安全、汽车辅助驾驶***以及机器人导航定位等行业有着广泛的应用。
多目标跟踪的目的是识别视频监控场景中的相关对象,并在视频序列中估计它们的位置。目前,针对视频监控场景中的目标跟踪方法有很多,但是,由于遮挡、漏检、误检以及摄像机的抖动等原因,复杂场景中的多目标跟踪仍然是一个难题。
目前,主流的多目标跟踪方法主要遵循检测-跟踪的 (tracking-by-detection,TBD)框架,该框架将目标检测器提供的检测响应作为输入,通过视频序列不同帧之间的关联对检测响应进行连接,以获得最终的轨迹。因此,按照TBD的范式,MOT的整个过程可以分为两个模块:检测模块和跟踪模块。在基于TBD范式的多目标跟踪中,检测响应是由目标检测器预先提供的,而这些预先提供的检测响应存在误检、漏检的问题。此外,跟踪模块中的数据关联模型存在建模不准确,易产生跟踪错误的问题。因此,基于TBD范式的多目标跟踪算法普遍存在初始检测结果对跟踪性能有很大的影响及数据关联方法造成跟踪错误的问题。
然而,大多数现有的基于TBD范式的MOT方法主要关注跟踪模块,包括数据关联和模型优化。比如基于多假设的多目标跟踪 (Multi-Hypothesis Tracker,MHT)、基于联合概率数据关联的多目标跟踪(Joint Probabilistic Data Association,JPDA)、基于网络流框架的多目标跟踪以及基于学习的多目标跟踪方法。在这些多目标跟踪算法中,目标的外观、形状、位置信息通常被用来提高多目标跟踪的性能,增强跟踪模块的鲁棒性。但是,在这些方法中,很少有方法涉及对检测器引起的漏检、误检进行考虑并对其进行补偿的方法。因此,上述问题是基于TBD范式的MOT方法存在的一个主要缺点。
近年来,单目标跟踪方法(single object tracking,SOT)在外观模型学习方面取得了显著的成效。因此,将SOT跟踪方法应用到 MOT跟踪中有助于提升MOT的跟踪性能。许多跟踪方法遵循这一思想,直接将SOT引入到MOT中以期提高MOT的跟踪性能。但是,SOT在学习目标外观过程中所使用的样本是基于跟踪结果在线学习得到的,其包含大量噪声样本。其次,在视频监控场景中,多目标间的相互遮挡比较严重。此外,在将SOT引入到MOT的过程中,由于SOT需要将新出现的目标实时添加到MOT跟踪***中,直接将SOT应用到MOT将造成计算成本随跟踪目标数量的增加而指数增加的问题。
发明内容
鉴于此,本公开提供了一种基于KCF轨迹置信度的多目标跟踪方法,包括如下步骤:
S100:建立基于KCF的滤波器,利用所述基于KCF的滤波器计算当前帧中的N个检测响应与M条目标跟踪轨迹之间的外观相似度,形状相似度和运动相似度,作为数据关联的关联关系模型,其中N,M 为大于1的整数;
S200:利用所述滤波器对所述N个检测响应进行校正;
S300:利用基于APCE遮挡分析的轨迹置信度计算方法计算被跟踪目标的轨迹置信度,依据该轨迹置信度将所述M条目标跟踪轨迹划分为高置信度轨迹和低置信度轨迹;
S400:建立候选目标假设集,用于表示之前帧中跟丢的目标及与所述N个检测响应未匹配的目标轨迹;
S500:对经过校正的检测响应、所述高置信度轨迹、所述低置信度轨迹以及所述候选目标假设集中的候选样本根据所述关联关系模型执行相邻帧间的数据关联。
通过上述技术方案,本方法能够显著降低在MOT中使用SOT的计算复杂度;相关滤波器用于测量检测响应与跟踪目标之间的相似度,进一步矫正由检测器引起的检测错误问题;基于APCE遮挡分析的轨迹置信度计算方法以及建立候选目标假设集(candidatetarget hypotheses,CTH)进一步提高多目标跟踪数据关联的性能。该方法有效提高目标跟踪的鲁棒性和跟踪精度。
附图说明
图1是本公开一个实施例中所提供的一种基于KCF轨迹置信度的多目标跟踪方法的流程示意图;
图2是本公开一个实施例中不同组成部分在MOT 2015验证集上的跟踪性能对比示意图。
具体实施方式
下面结合附图对本发明进行进一步的详细说明。
在一个实施例中,参见图1,其公开了一种基于KCF轨迹置信度的多目标跟踪方法,包括如下步骤:
S100:建立基于KCF的滤波器,利用所述基于KCF的滤波器计算当前帧中的N个检测响应与M条目标跟踪轨迹之间的外观相似度,形状相似度和运动相似度,作为数据关联的关联关系模型,其中N,M 为大于1的整数;
S200:利用所述滤波器对所述N个检测响应进行校正;
S300:利用基于APCE遮挡分析的轨迹置信度计算方法计算被跟踪目标的轨迹置信度,依据该轨迹置信度将所述M条目标跟踪轨迹划分为高置信度轨迹和低置信度轨迹;
S400:建立候选目标假设集,用于表示之前帧中跟丢的目标及与所述N个检测响应未匹配的目标轨迹;
S500:对经过校正的检测响应、所述高置信度轨迹、所述低置信度轨迹以及所述候选目标假设集中的候选样本根据所述关联关系模型执行相邻帧间的数据关联。
就该实施例而言,该方法包含:基于KCF关联相似度的计算,基于KCF检测响应的校正,基于APCE轨迹置信度的两步数据关联以及基于数据关联和KCF的候选目标假设集构建。该方法首先将在线MOT 跟踪任务划分为关联模型的建立和基于关联模型的逐帧数据关联两部分。其次,在关联模型的构造过程中,该方法首先将基于核相关滤波算法KCF(KernelCorrelation Filter)的SOT引入到MOT***中,以捕获在线MOT跟踪中的上下文信息,及时处理由检测器造成的误检及漏检问题。同时,为了建立一个鲁棒的关联模型,该方法不仅基于核相关滤波器测量检测响应与跟踪目标之间的相似性,而且通过 KCF的跟踪结果优化目标检测器提供的检测响应。此外,在逐帧数据关联过程中,为了提高数据关联的性能,该方法引入了基于APCE (average peak-to-correlation energy)轨迹置信度的计算方法,作为跟踪可靠性的指标。然后依据轨迹置信度将目标跟踪轨迹划分为高置信度轨迹和低置信度轨迹两部分。同时,该方法建立了一个候选目标假设集(candidate target hypothesesset,CTH),其包括之前帧中跟丢的目标及未匹配的目标轨迹,以提高数据关联的性能。最后,对高置信度轨迹,低置信度轨迹,检测器提供的检测响应以及 CTH中的候选样本根据关联模型执行相邻帧间的数据关联。
在另一个实施例中,所述S100进一步包括:
S101:所建立的基于KCF的滤波器为仅利用t-1帧中的目标样本训练KCF滤波器,其中t表示当前帧;
S102:计算第t-1帧中所跟踪目标xl与第t帧中检测响应zl之间的外观相似度Sapp,具体为:
Figure BDA0002241452320000061
其中,
Figure BDA0002241452320000062
为输出向量yl的离散傅里叶变换,yl为训练样本fl的期望输出,fl是候选样本对应的HOG和CN特征;
S103:计算第t-1帧中所跟踪目标xl与第t帧中检测响应zl之间的形状相似度Sshape,具体为:
sshape=IoU(xl,zl);
S104:计算第t-1帧中所跟踪目标xl与第t帧中检测响应zl之间的运动相似度Smotion,具体为:
Smotion=G(Tpos-Zpos,∑)
(12)
其中,G(·)为均值为0的高斯函数,Tpos和Zpos分别为 xl和zl的位置。
就该实施例而言,该方法仅使用前一帧的训练样本训练KCF滤波器,降低SOT跟踪过程中错误样本造成的误差累积对KCF滤波器性能的影响,同时显著降低在MOT中使用SOT的计算代价。
鲁棒的关联模型构建是影响多目标跟踪性能的重要因素。因此,本方法提出了基于KCF的关联模型构建方法。
在基于TBD的在线多目标跟踪框架中,一个关键步骤是将当前帧中的N个检测响应与M条轨迹进行关联。假设第t帧中,N个检测响应表示为
Figure BDA0002241452320000071
M条轨迹表示为
Figure BDA0002241452320000072
Figure BDA0002241452320000073
表示与第j 条轨迹Tj相关联的检测响应,ts和te表示轨迹Tj的起始和终止帧,
Figure BDA0002241452320000074
表示第k帧中与轨迹Tj相关联的检测响应。这里Tj表示的是轨迹,但是,第j条轨迹Tj是由连续帧中的检测响应
Figure BDA0002241452320000075
构成的。
轨迹间相似性计算通常是计算检测响应与轨迹间基于某些特征的相似度,如外观、位置及形状;然后根据不同特征相似性的乘积获得最终的关联模型。
建立基于KCF的滤波器,所述基于KCF滤波器的思路是:依据当前帧中被跟踪目标的位置计算相关滤波器的响应值。相关是衡量两个信号相似值的度量,如果两个信号越相似,那么其相关值就越高。因此,在tracking的应用中,KCF训练的目的就是设计一个滤波模板,使得当它作用在跟踪目标上时得到的响应最大。
假设当前帧目标的位置为x,依据此位置按照循环移位的方法所采集的训练样本为xi(w,h)∈{0,…,W-1}×{0,…,H-1},对于任意的样本xi按照高斯函数计算其对应的标签yi(w,h),yi∈[0,1]。当样本xi处于目标中心位置时,其响应值最大yi=1,反之,当样本xi远离目标中心位置时,其响应变小。因此,KCF训练的目的是寻找函数f(Z)=ωTz使误差函数最小,在此,所定义的误差函数为:
Figure 1
式(1)中λ为正则化系数,ω为式(1)中模型参数解。
通过将低维空间中线性不可分的点引入高维Hilbert空间对其进行可分,本方法引入非线性映射函数
Figure BDA0002241452320000082
则式(1)可以写为如下形式:
Figure 2
式(2)中的
Figure BDA0002241452320000084
是核函数为
Figure BDA0002241452320000085
的非线性映射函数。
根据对偶空间理论,ω可以表示为输入样本非线性映射的加权和:
Figure BDA0002241452320000091
因此,式(2)中的解由向量ω变成求解对偶空间的向量α=(α1…,αn)。根据映射函数内积对角化的性质,将式(3) 带入式(2)求得向量α的离散傅里叶变换的解:
Figure BDA0002241452320000092
式(4)中F代表Fourier变换, y={yi(w,h)|(w,h)∈{0,…,W-1}×{0,…,H-1}}为样本标签,kx=k(x,x′)为向量x的自身核函数,本方法采用高斯核函数。
在目标跟踪阶段,对于t+1帧中的候选图像块Z,根据之前训练好的模型参数F(α),计算候选图像块Z与ω,对偶向量α的相关性,得到目标响应值的傅里叶变换的解:
Figure BDA0002241452320000093
式(5)中,⊙表示向量间的点积,
Figure BDA0002241452320000094
为Z与目标外观
Figure BDA0002241452320000101
之间的核相关性。
最后根据相关响应图的最大值位置确定当前帧中目标的位置:
Figure BDA0002241452320000102
式中,R为最大响应值。
基于KCF的外观相似度计算:本方法中基于KCF外观相似度计算的思路是为了避免误差累积及跟踪过程中噪声样本对模型训练的影响,仅利用第t-1帧中的目标样本训练KCF滤波器模型。
因此,在多目标跟踪中,对于第t-1帧中任意的跟踪目标xl,根据循环移位原则采样大小为W×H的候选样本xl,W,H分别表示候选样本xl的宽度和高度,其对应的HOG(Histogram of Oriented Gradient)和CN(Color Names)特征表示为fl,则相应的应用于本方法MOT跟踪中的KCF滤波模型为:
Figure BDA0002241452320000103
式(7)中的yl为训练样本fl的期望输出,依据式(2-5)求解式(7)的解。
在多目标跟踪阶段,对于第t帧中的任意检测响应zl,其相应的响应图由式(7)中的KCF滤波器计算得到:
Figure BDA0002241452320000111
其中,
Figure BDA0002241452320000113
为输出向量yl的离散傅里叶变换。
因此,在MOT跟踪过程中利用式(8)的最大响应值计算第t-1 帧中所跟踪目标xl与第t帧中检测响应zl之间的外观相似度 Sapp
Figure BDA0002241452320000114
基于KCF的形状相似度计算:
对于第t-1帧中已跟踪的任意目标xl而言,其第t帧中的预测位置由式(8)中的最大响应值
Figure BDA0002241452320000115
决定。因此,本方法定义目标xl在第t帧的位置p为:
Figure BDA0002241452320000121
式(10)中
Figure BDA0002241452320000123
为目标xl在第t-1帧的位置。
本方法中定义第t-1帧中所跟踪目标xl与第t帧中检测响应 zl之间的形状相似度Sshape由KCF滤波器预测的目标边界框与检测响应的IOU(intersection-over-union)值决定,即:
Figure BDA0002241452320000122
运动相似度计算:对于任意的跟踪目标xl与检测响应zl,其运动相似度定义为:
Smotion=G(Tpos-Zpos,∑)
(12)
式(12)中,G(·)为均值为0的高斯函数,Tpos和Zpos分别为目标xl和检测响应zl的位置。
在另一个实施例中,所述S200进一步包括:
S201:利用所述基于KCF的滤波器预测t-1帧中任意目标
Figure BDA0002241452320000131
在第t帧中的状态:
Figure BDA0002241452320000132
其中,
Figure BDA0002241452320000133
为利用所述基于KCF的滤波器所预测目标的位置信息,
Figure BDA0002241452320000134
Figure BDA0002241452320000135
分别为所预测目标边界框的宽度和高度,
Figure BDA0002241452320000136
为t-1帧中第j条轨迹的位置
Figure BDA0002241452320000137
的最大响应值,η为预定义阈值,CTH为候选目标假设集;
S202:当所预测目标的最大响应值大于预定义阈值η,则将其加入到预测目标集
Figure BDA0002241452320000138
中,反之,加入到CTH候选目标假设集中;
S203:假设第t帧中所有满足上式的预测目标为
Figure BDA0002241452320000139
则第t帧的检测响应为:
Figure BDA00022414523200001310
其中,M表示所预测目标的个数,
Figure BDA00022414523200001311
表示由目标检测器提供的检测响应,
Figure BDA00022414523200001312
表示检测响应状态
Figure BDA00022414523200001313
和目标预测状态
Figure BDA00022414523200001314
基于IoU的冗余消除,其判断依据是
Figure BDA00022414523200001315
Figure BDA00022414523200001316
的IoU 值是否大于预定义的阈值α;
S204:当
Figure BDA0002241452320000141
Figure BDA0002241452320000142
的IoU值大于预定义阈值α时,其表示同一个目标,仅保留检测响应,反之,二者代表不同的目标检测响应,同时保留,最终得到第t帧经过KCF校正后的检测响应
Figure BDA0002241452320000143
就该实施例而言,在MOT跟踪过程中,利用KCF滤波器捕获在线 MOT跟踪中的上下文信息,测量检测响应与目标轨迹之间的相似度,对检测器提供的检测响应进行校正,及时处理由检测器造成的误检及漏检问题。
对于第一帧图像,不需要进行检测响应校正,默认第一帧中的检测响应都是真值。从第二帧图像开始,依据前一帧的跟踪结果训练 KCF滤波器,然后进行校正,校正完成后建立关联关系模型。
Intersection over Union(IOU)是一种测量在特定数据集中检测相应物体准确度的一个标准。IoU是一个简单的测量标准,只要是在输出中得出一个预测范围(boundingboxes)的任务都可以用IoU来进行测量。
在另一个实施例中,预定义阈值η=0.7,预定义阈值α=0.6。
就该实施例而言,预定义阈值是0-1之间的数值,根据实验效果确定的具体值。
在另一个实施例中,遮挡和目标间的相互交错是MOT跟踪中的普遍现象。遮挡往往会引起KCF滤波器的响应图发生波动。因此,本方法引入APCE值(average peak-to-correlation energy)计算响应图的波动程度,作为遮挡指标度量MOT跟踪中的遮挡程度。如果所跟踪的目标未被遮挡,APCE值将会很大且相应的响应图是单峰的,反之,当所跟踪的目标存在遮挡,其响应图将发生剧烈的波动且APCE值也将显著降低。APCE定义为:
Figure BDA0002241452320000151
式中
Figure BDA0002241452320000155
表示第i个样本的响应值,
Figure BDA0002241452320000152
Figure BDA0002241452320000153
分别表示式(7) 中的最大、最小响应值。
利用跟踪目标APCE的历史值对APCE进行归一化处理,作为衡量目标遮挡程度的指标OAPCE
Figure BDA0002241452320000154
式中,ts是所跟踪目标轨迹的起始帧索引,t为视频帧索引。经过计算,得到第t帧中任意轨迹的遮挡程度指标OAPCE
在另一个实施例中,所述S300进一步包括:
所述轨迹置信度定义为:
Figure BDA0002241452320000161
式中的Lj为Tj的轨迹长度,C(Tj,zi)为轨迹Tj和检测响应zi的关联相似度值,OAPCE为遮挡程度,
Figure BDA0002241452320000162
分别表示轨迹Tj的起始帧和终止帧。
在另一个实施例中,当conf(Tj)>0.5时,其对应轨迹为高置信度轨迹,反之,为低置信度轨迹。
就该实施例而言,基于KCF滤波对目标遮挡进行度量,引入APCE 指标衡量目标的遮挡程度并计算轨迹的置信度,作为跟踪可靠性的指标。通过将跟踪轨迹划分为高置信度轨迹和低置信度轨迹进行数据关联,降低跟踪误差对数据关联的影响。
假设经过检测响应校正后,第t帧中存在N个候选检测响应
Figure BDA0002241452320000163
和M条轨迹
Figure BDA0002241452320000164
其中,
Figure BDA0002241452320000165
Figure BDA0002241452320000171
Figure BDA0002241452320000172
为第i个检测响应的位置,
Figure BDA0002241452320000173
表示其相应检测边界框的大小,
Figure BDA0002241452320000174
Figure BDA0002241452320000175
表示第j条轨迹的位置和置信度,
Figure BDA0002241452320000176
为第j条轨迹对应的边界框大小。在线多目标跟踪的主要任务是对第t帧中的检测响应与第t-1帧中生成的轨迹进行关联,从而在第t帧中生成当前的目标轨迹。
由于遮挡及检测响应误差的影响,***有时无法建立正确的跟踪轨迹。一条较长且具有高置信度的轨迹通常是一条可靠性较高的轨迹。因此,本方法引入遮挡程度、轨迹长度及关联相似度计算轨迹的置信度,然后将轨迹划分为高置信度轨迹Thigh和低置信度轨迹 Tlow进行数据关联。
在另一个实施例中,所述S500进一步包括:
所述高置信度轨迹执行相邻帧间的数据关联具体为:
关联关系矩阵构造为:
Figure BDA0002241452320000178
式中,Sij为轨迹与检测响应Zi基于外观相似度Sapp、形状相似度Sshape及运动相似度Smotion的关联相似度值,S为由Sij构成的关联关系矩阵,假设第t帧中存在k个高置信度轨迹 Thigh
Figure BDA0002241452320000182
中包含n个检测响应,候选目标假设集
Figure BDA0002241452320000183
中存在m个检测响应;
根据所构造的关联关系矩阵,由Hungarian算法求解高置信度轨迹与检测响应之间的关联匹配,然后依据关联结果更新轨迹的置信度值及轨迹的状态。
就该实施例而言,首先对高置信度轨迹进行数据关联,其涉及 Thigh与检测响应
Figure BDA0002241452320000184
的数据关联,在此,基于轨迹与检测响应的外观相似度、形状相似度以及运动相似度进行关联关系矩阵的构造。
在另一个实施例中,所述S500进一步包括:
所述低置信度轨迹执行相邻帧间的数据关联具体为:
在将高置信度轨迹与检测响应关联后,假设
Figure BDA0002241452320000185
集中存在n′个未被关联的检测响应,候选目标假设集中存在m′个未被关联的检测响应和q′个未被关联的轨迹,k′个未被关联的高置信度轨迹Thigh
Figure BDA0002241452320000191
表示第t帧中的候选检测响应
Figure BDA0002241452320000192
假设第t帧中存在l条低置信度的轨迹,h条未匹配的轨迹, h=q′+k′,q个检测响应,q=n′+m′;则低置信度轨迹数据关联过程中的关联矩阵为:
Figure BDA0002241452320000193
式中,A=[aij],
Figure BDA0002241452320000194
表示第i条低置信度轨迹
Figure BDA0002241452320000195
与第j条高置信度轨迹
Figure BDA0002241452320000196
的关联相似度值;B=[bij],
表示第i条低置信度轨迹与第j个检测响应cj的关联相似度值;D=diag[d1,…,dl],
Figure BDA0002241452320000199
为第i条低置信度轨迹
Figure BDA00022414523200001910
终止的概率;τ为预定义阈值,X 为低置信度轨迹关联过程中由A,B,D,τ构成的关联关系矩阵;
根据所构造的关联关系矩阵,由Hungarian算法求解低置信度轨迹的关联问题,然后依据关联结果更新轨迹的置信度值及轨迹的状态。
就该实施例而言,由于低置信度轨迹仅存在三种关联状态:与高置信度轨迹关联,或者与检测响应关联,或者终止。因此,本方法基于此进一步检测是否上述检测响应及轨迹与低置信度轨迹存在关联。
在另一个实施例中,候选目标假设集的更新。本方法在多目标跟踪中,为了克服误检与漏检的影响,在第t帧中进行数据关联之后,将中未匹配的检测响应合并到候选目标假设CTH中,将其保留为潜在的轨迹。同时,为了避免错误的跟踪,未匹配的高置信度轨迹与低置信度轨迹也加入到CTH集中。此外,为了节省计算时间及空间,
Figure BDA0002241452320000202
中的候选目标如果在连续多帧(设定为6帧)中未与任何检测响应或轨迹进行关联,将对其进行舍弃处理。经过对
Figure BDA0002241452320000203
集中的轨迹与检测响应的增加与删除工作后,获得第t帧的CTH集
在另一个实施例中,如图2所示,P1为本方法去掉基于KCF检测响应校正部分的MOT跟踪方法,P2表示使用颜色直方图,跟踪目标与检测响应的IOU(intersection-over-union)值替换本方法中基于KCF的关联关系计算部分的MOT跟踪方法,P3为本方法去掉基于KCF的遮挡分析部分的MOT跟踪方法,P4为本方法去掉候选目标假设集部分的MOT跟踪方法,Ours表示本方法包含所有步骤的跟踪方法。表1为P1,P2,P3,P4及本方法基于多目标跟踪评价指标在 MOT 2015验证集上的评价结果,其评价指标包括:MOTP(Multiple ObjectTracking Precision),MOTA(Multiple Object Tracking Accuracy),MT(Mostly-Tracked),ML(Mostly-Lost),FP(False Positive),FN(False Negative)及IDs(ID-switch)。其中,表1中对于带(↑)的指标,其数值越高表示性能越好;对于带(↓)的指标,其数值越低表示其性能越好。
Tracker MOTA(%)↑ MOTP(%)↑ MT(%)↑ ML(%)↓ FP↓ FN↓ IDs↓
P1 19.8 73.9 8.5 68.6 3309 15017 265
P2 24.7 73.8 10.3 53.4 3197 13367 134
P3 23 73.6 9.8 56 3548 13651 147
P4 22.1 73.5 9.8 53.8 3727 14958 138
Our 28.6 73.9 13.3 52.4 2691 13491 123
表1
由图2及表1评价结果可以看出,本方法各个组成部分均有助于提高多目标跟踪方法的跟踪精度,P1-P4跟踪方法的跟踪精度,MOTA 指标均低于本方法。P1跟踪方法由于缺乏基于KCF检测响应校正部分,其MOTA指标明显下降,IDs指标明显增加。P2跟踪方法中由于基于KCF滤波器的关联关系计算方法被替换,MOTA指标出现下降的现象,ID指标也出现增加的现象,此现象进一步说明本方法中所提出的基于KCF相似性计算的方法能够更好的学习跟踪目标的外观信息,所提出的基于KCF检测响应校正的策略在在一定程度上可以消除由检测器引起的漏检及误检问题。从P3跟踪方法的跟踪性能可以看出,基于APCE的轨迹置信度计算是本方法的重要组成部分,缺失该部分,跟踪算法的跟踪精度MOTA将明显下降,从而说明本方法中提出的基于APCE轨迹置信度的计算方法有助于提高数据关联的性能。在P4跟踪方法中,由于缺失了候选目标假设集,MOTA显著下降,IDS 显著增加,进一步表明候选目标假设集在一定程度上可以处理跟踪误差和检测响应误差,有助于提高跟踪的精度。因此,本方法提出的各部分,包括基于KCF的关联相似度计算,基于KCF的检测响应校正,基于APCE轨迹置信度的两步数据关联及基于数据关联和KCF的候选目标假设集均有助于提高多目标跟踪的跟踪精度。
尽管以上结合附图对本发明的实施方案进行了描述,但本发明并不局限于上述的具体实施方案和应用领域,上述的具体实施方案仅仅是示意性的、指导性的,而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下,还可以做出很多种的形式,这些均属于本发明保护之列。

Claims (9)

1.一种基于KCF轨迹置信度的多目标跟踪方法,包括如下步骤:
S100:建立基于KCF的滤波器,利用所述基于KCF的滤波器计算当前帧中的N个检测响应与M条目标跟踪轨迹之间的外观相似度、形状相似度和运动相似度,作为数据关联的关联关系模型,其中N,M为大于1的整数;
S200:利用所述滤波器对所述N个检测响应进行校正;
S300:利用基于APCE遮挡分析的轨迹置信度计算方法计算被跟踪目标的轨迹置信度,依据该轨迹置信度将所述M条目标跟踪轨迹划分为高置信度轨迹和低置信度轨迹;
S400:建立候选目标假设集,用于表示之前帧中跟丢的目标及与所述N个检测响应未匹配的目标轨迹;
S500:对经过校正的检测响应、所述高置信度轨迹、所述低置信度轨迹以及所述候选目标假设集中的候选样本根据所述关联关系模型执行相邻帧间的数据关联。
2.根据权利要求1所述的方法,优选的,所述S100进一步包括:
S101:所建立的基于KCF的滤波器为仅利用t-1帧中的目标样本训练KCF滤波器,其中t表示当前帧;
S102:计算第t-1帧中所跟踪目标xl与第t帧中检测响应zl之间的外观相似度Sapp,具体为:
其中,
Figure FDA0002241452310000021
为输出向量yl的离散傅里叶变换,yl为训练样本fl的期望输出,fl是候选样本对应的HOG和CN特征;
S103:计算第t-1帧中所跟踪目标xl与第t帧中检测响应zl之间的形状相似度Sshape,具体为:
Sshape=IoU(xl,zl);
S104:计算第t-1帧中所跟踪目标xl与第t帧中检测响应zl之间的运动相似度Smotion,具体为:
Smotion=G(Tpos-Zpos,∑) (12)
其中,G(·)为均值为0的高斯函数,Tpos和Zpos分别为xl和zl的位置。
3.根据权利要求1所述的方法,所述S200进一步包括:
S201:利用所述基于KCF的滤波器预测t-1帧中任意目标
Figure FDA0002241452310000022
在第t帧中的状态:
Figure FDA0002241452310000023
其中,
Figure FDA0002241452310000031
为利用所述基于KCF的滤波器所预测目标的位置信息,
Figure FDA0002241452310000032
Figure FDA0002241452310000033
分别为所预测目标边界框的宽度和高度,
Figure FDA0002241452310000034
为t-1帧中第j条轨迹的位置
Figure FDA0002241452310000035
的最大响应值,η为预定义阈值,CTH为候选目标假设集;
S202:当所预测目标的最大响应值大于预定义阈值η,则将其加入到预测目标集
Figure FDA0002241452310000036
中,反之,加入到CTH候选目标假设集中;
S203:假设第t帧中所有满足上式的预测目标为
Figure FDA0002241452310000037
则第t帧的检测响应为:
其中,M表示所预测目标的个数,
Figure FDA0002241452310000039
表示由目标检测器提供的检测响应,
Figure FDA00022414523100000310
表示检测响应状态
Figure FDA00022414523100000311
和目标预测状态基于IoU的冗余消除,其判断依据是
Figure FDA00022414523100000313
Figure FDA00022414523100000314
的IoU值是否大于预定义的阈值α;
S204:当
Figure FDA0002241452310000042
的IoU值大于预定义阈值α时,其表示同一个目标,仅保留检测响应,反之,二者代表不同的目标检测响应,同时保留,最终得到第t帧经过KCF校正后的检测响应
Figure FDA0002241452310000043
4.根据权利要求3所述的方法,预定义阈值η=0.7。
5.根据权利要求3所述的方法,预定义阈值α=0.6。
6.根据权利要求1所述的方法,所述S300进一步包括:
所述轨迹置信度定义为:
Figure FDA0002241452310000044
式中的Lj为Tj的轨迹长度,C(Tj,zl)为轨迹Tj和检测响应Zi的关联相似度值,OAPCE为遮挡程度,分别表示轨迹Tj的起始帧和终止帧。
7.根据权利要求6所述的方法,当Conf(Tj)>0.5时,其对应轨迹为高置信度轨迹,反之,为低置信度轨迹。
8.根据权利要求1所述的方法,所述S500进一步包括:
所述高置信度轨迹执行相邻帧间的数据关联具体为:
关联关系矩阵构造为:
Figure FDA0002241452310000051
式中,sij为轨迹
Figure FDA0002241452310000053
与检测响应zi基于外观相似度Sapp、形状相似度Sshape及运动相似度Smotion的关联相似度值,S为由Sij构成的关联关系矩阵,假设第t帧中存在k个高置信度轨迹Thigh
Figure FDA0002241452310000054
中包含n个检测响应,候选目标假设集
Figure FDA0002241452310000055
中存在m个检测响应;
根据所构造的关联关系矩阵,由Hungarian算法求解高置信度轨迹与检测响应之间的关联匹配,然后依据关联结果更新轨迹的置信度值及轨迹的状态。
9.根据权利要求1所述的方法,所述S500进一步包括:
所述低置信度轨迹执行相邻帧间的数据关联具体为:
在将高置信度轨迹与检测响应关联后,假设
Figure FDA0002241452310000056
集中存在n′个未被关联的检测响应,候选目标假设集中存在m′个未被关联的检测响应和q′个未被关联的轨迹,k′个未被关联的高置信度轨迹Thigh
Figure FDA0002241452310000057
表示第t帧中的候选检测响应
假设第t帧中存在l条低置信度的轨迹,h条未匹配的轨迹,h=q′+k′,q个检测响应,q=n′+m′;则低置信度轨迹数据关联过程中的关联矩阵为:
Figure FDA0002241452310000061
式中,A=[aij],
Figure FDA0002241452310000062
表示第i条低置信度轨迹
Figure FDA0002241452310000063
与第j条高置信度轨迹的
Figure FDA0002241452310000064
关联相似度值;B=[bij],
Figure FDA0002241452310000065
表示第i条低置信度轨迹与第j个检测响应cj的关联相似度值;D=diag[d1,…,dl],
Figure FDA0002241452310000067
为第i条低置信度轨迹
Figure FDA0002241452310000068
终止的概率;τ为预定义阈值,X为低置信度轨迹关联过程中由A,B,D,τ构成的关联关系矩阵;
根据所构造的关联关系矩阵,由Hungarian算法求解低置信度轨迹的关联问题,然后依据关联结果更新轨迹的置信度值及轨迹的状态。
CN201911002819.0A 2019-10-21 2019-10-21 一种基于kcf轨迹置信度的多目标跟踪方法 Active CN110751096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911002819.0A CN110751096B (zh) 2019-10-21 2019-10-21 一种基于kcf轨迹置信度的多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911002819.0A CN110751096B (zh) 2019-10-21 2019-10-21 一种基于kcf轨迹置信度的多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110751096A true CN110751096A (zh) 2020-02-04
CN110751096B CN110751096B (zh) 2022-02-22

Family

ID=69279244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911002819.0A Active CN110751096B (zh) 2019-10-21 2019-10-21 一种基于kcf轨迹置信度的多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110751096B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242985A (zh) * 2020-02-14 2020-06-05 电子科技大学 基于马尔科夫模型的视频多行人追踪方法
CN111292355A (zh) * 2020-02-12 2020-06-16 江南大学 一种融合运动信息的核相关滤波多目标跟踪方法
CN111652150A (zh) * 2020-06-04 2020-09-11 北京环境特性研究所 一种红外抗干扰跟踪方法
CN111914625A (zh) * 2020-06-18 2020-11-10 西安交通大学 基于检测器与***数据关联的多目标车辆跟踪装置
CN111968153A (zh) * 2020-07-16 2020-11-20 新疆大学 基于相关滤波和粒子滤波的长时间目标跟踪方法及***
CN112561963A (zh) * 2020-12-18 2021-03-26 北京百度网讯科技有限公司 目标跟踪的方法、装置、路侧设备以及存储介质
CN112639872A (zh) * 2020-04-24 2021-04-09 华为技术有限公司 一种目标检测中难例挖掘的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809714A (zh) * 2016-03-07 2016-07-27 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于轨迹置信度的多目标跟踪方法
CN107341820A (zh) * 2017-07-03 2017-11-10 郑州轻工业学院 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法
CN107527356A (zh) * 2017-07-21 2017-12-29 华南农业大学 一种基于懒交互方式的视频跟踪方法
CN108921873A (zh) * 2018-05-29 2018-11-30 福州大学 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法
CN109934849A (zh) * 2019-03-08 2019-06-25 西北工业大学 基于轨迹度量学习的在线多目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809714A (zh) * 2016-03-07 2016-07-27 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于轨迹置信度的多目标跟踪方法
CN107341820A (zh) * 2017-07-03 2017-11-10 郑州轻工业学院 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法
CN107527356A (zh) * 2017-07-21 2017-12-29 华南农业大学 一种基于懒交互方式的视频跟踪方法
CN108921873A (zh) * 2018-05-29 2018-11-30 福州大学 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法
CN109934849A (zh) * 2019-03-08 2019-06-25 西北工业大学 基于轨迹度量学习的在线多目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIAN WEI ET AL.: ""Learning Spatio-Temporal Information for Multi-Object Tracking"", 《IEEE》 *
PENG CHU ET AL.: ""Online Multi-Object Tracking with Instance-Aware Tracker and Dynamic Model Refreshment"", 《ARXIV》 *
周海英 等: ""基于核相关滤波器的多目标跟踪算法"", 《激光与光电子学进展》 *
罗招材: ""基于视频的行人检测与跟踪算法研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292355A (zh) * 2020-02-12 2020-06-16 江南大学 一种融合运动信息的核相关滤波多目标跟踪方法
CN111242985A (zh) * 2020-02-14 2020-06-05 电子科技大学 基于马尔科夫模型的视频多行人追踪方法
CN111242985B (zh) * 2020-02-14 2022-05-10 电子科技大学 基于马尔科夫模型的视频多行人追踪方法
CN112639872A (zh) * 2020-04-24 2021-04-09 华为技术有限公司 一种目标检测中难例挖掘的方法及装置
CN112639872B (zh) * 2020-04-24 2022-02-11 华为技术有限公司 一种目标检测中难例挖掘的方法及装置
CN111652150A (zh) * 2020-06-04 2020-09-11 北京环境特性研究所 一种红外抗干扰跟踪方法
CN111652150B (zh) * 2020-06-04 2024-03-19 北京环境特性研究所 一种红外抗干扰跟踪方法
CN111914625A (zh) * 2020-06-18 2020-11-10 西安交通大学 基于检测器与***数据关联的多目标车辆跟踪装置
CN111914625B (zh) * 2020-06-18 2023-09-19 西安交通大学 基于检测器与***数据关联的多目标车辆跟踪装置
CN111968153A (zh) * 2020-07-16 2020-11-20 新疆大学 基于相关滤波和粒子滤波的长时间目标跟踪方法及***
CN112561963A (zh) * 2020-12-18 2021-03-26 北京百度网讯科技有限公司 目标跟踪的方法、装置、路侧设备以及存储介质

Also Published As

Publication number Publication date
CN110751096B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN110751096B (zh) 一种基于kcf轨迹置信度的多目标跟踪方法
CN108921873B (zh) 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法
CN109360226B (zh) 一种基于时间序列多特征融合的多目标跟踪方法
CN107516321B (zh) 一种视频多目标跟踪方法及装置
CN114972418B (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN110276783B (zh) 一种多目标跟踪方法、装置及计算机***
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理***
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及***
CN112883819A (zh) 多目标跟踪方法、装置、***及计算机可读存储介质
CN109146912B (zh) 一种基于目标性分析的视觉目标跟踪方法
CN110288627B (zh) 一种基于深度学习和数据关联的在线多目标跟踪方法
CN102163280B (zh) 一种基于置信度和多帧判决的目标识别跟踪转换方法
CN110363165B (zh) 基于tsk模糊***的多目标跟踪方法、装置及存储介质
CN112052802B (zh) 一种基于机器视觉的前方车辆行为识别方法
CN111553950B (zh) 一种钢卷对中判断方法、***、介质及电子终端
CN106373145B (zh) 基于跟踪片段置信度和区分性外观学习的多目标跟踪方法
CN113052873B (zh) 一种在线自监督学习场景适应的单目标跟踪方法
CN113192105B (zh) 一种室内多人追踪及姿态估量的方法及装置
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN111950396A (zh) 一种仪表读数神经网络识别方法
CN117036397A (zh) 一种基于融合信息关联和相机运动补偿的多目标跟踪方法
CN111429485B (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
CN115546705A (zh) 目标识别方法、终端设备及存储介质
Lin et al. A novel robust algorithm for position and orientation detection based on cascaded deep neural network
CN117630860A (zh) 一种毫米波雷达的手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant