CN111754545B - 一种基于iou匹配的双滤波器视频多目标跟踪方法 - Google Patents
一种基于iou匹配的双滤波器视频多目标跟踪方法 Download PDFInfo
- Publication number
- CN111754545B CN111754545B CN202010547158.6A CN202010547158A CN111754545B CN 111754545 B CN111754545 B CN 111754545B CN 202010547158 A CN202010547158 A CN 202010547158A CN 111754545 B CN111754545 B CN 111754545B
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- feature
- detection
- iou
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000002245 particle Substances 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims description 112
- 238000004422 calculation algorithm Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000004083 survival effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 2
- 239000012634 fragment Substances 0.000 abstract description 6
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 20
- 101001086191 Borrelia burgdorferi Outer surface protein A Proteins 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 241001239379 Calophysus macropterus Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 101000642315 Homo sapiens Spermatogenesis-associated protein 17 Proteins 0.000 description 2
- 102100036408 Spermatogenesis-associated protein 17 Human genes 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于IOU匹配的双滤波器视频多目标跟踪方法,属于信息处理技术领域。本发明在多伯努利滤波中,引入相关滤波器作为弱滤波器来采样粒子,首先提取泛化能力较强的VGG19网络卷积特征训练多个相关滤波器,利用训练好的相关滤波器,得到多个目标状态估计,最后对得到的目标状态集进行扩充作为采样的粒子集。本发明能有效减少标签跳变和轨迹碎片,提高目标跟踪精度。
Description
技术领域
本发明涉及一种基于IOU匹配的双滤波器视频多目标跟踪方法,属于计算机视觉、模式识别和信息处理技术领域。
背景技术
在计算机视觉中,多目标跟踪常用于行人、车辆以及生物中细胞等跟踪。尽管目标跟踪技术取得重大进步,但是多目标跟踪仍是一项具有挑战性的任务,目标数目不确定,目标遮挡、检测器失效和杂波干扰等问题一直是多目标跟踪的难点。早期的多假设跟踪(Multiple Hypothesis Tracking,MHT)和联合概率数据关联滤波(Joint ProbabilisticData Association,JDAF)等通过数据关联的方法,在存在噪声和检测不确定等情况下将检测框分配给现有目标。但是当被跟踪目标数量增加时,这些方法的复杂性呈指数增长。Mahler提出的随机有限集(Random Finite Set,RFS)理论,避免了复杂的数据关联。基于RFS理论的算法在多目标跟踪中得到进一步应用。多伯努利滤波(Multi-BernoulliFilter,MBF)就是基于RFS理论算法中的一个重要分支,有效应对了多目标跟踪过程中的数目变化问题。
基于检测的目标跟踪方法是当前多目标跟踪广泛的跟踪框架,近几年,检测器性能得到大幅度提升,尤其是深度神经网络的发展,极大程度上推动了检测器的发展,比如单步多框检测器(Single Shot MultiBox Detector,SSD)得益于日益精确的目标检测算法,基于检测的跟踪方法也逐步简化。Bewley等人将与目标轨迹高度重叠的检测框关联起来,而重叠度则根据交并比(Intersection over union,IOU)计算得来。Bewley等人提出了基于检测的在线多目标跟踪框架,简单的结合卡尔曼滤波和匈牙利算法来实现一个快速的多目标跟踪。随后又进一步改进,在目标跟踪过程中,加入深度特征,提取目标的表观模型来优化检测框匹配,一定程度上缓解了目标遮挡问题,减少标签跳变。但是过于依赖检测框的准确性,同时轨迹中包含大量的错误框。Bewley等人提出的IOU-T算法不使用图片信息,只利用目标检测框信息,通过计算相邻帧检测框之间的交并比,加入阈值,以贪心的方式实现目标跟踪。这种方法同样依赖于底层检测器的性能,有很好的跟踪效率,但是会导致大量的轨迹碎片和标签跳变。
发明内容
技术问题:
解决IOU关联下容易导致标签跳变和轨迹碎片的问题。
技术方案:
本发明提供了一种基于IOU匹配的双滤波器视频多目标跟踪方法,所述方法包括:
步骤一:在初始时刻k=0,当前帧目标检测集为检测框为第i个检测框的状态向量,其中/>分别表示检测框左上角横坐标、纵坐标,检测框宽、检测框高和置信度;当/>时,将检测框加入存活目标集/>其中h为检测框置信度阈值,m为满足条件/>的检测框个数,目标框 li分别表示目标框的左上角横纵坐标坐标,目标框宽、目标框高和对应赋值的目标标签;所述目标用li表示,同时设置相应的伯努利 分别表示目标li的存在概率和概率分布,且/>
步骤二:在k时刻,当前帧目标检测集为进行每个目标轨迹与检测框的IOU匹配,所述检测框为利用贪心算法贪心的选择当前帧目标检测集中与目标轨迹IOU最大的检测框/>
步骤三:将对与目标轨迹相匹配的检测框,将检测框作为跟踪结果加入轨迹集并进行多伯努利参数赋值,对于未匹配到检测框的目标,进行多伯努利滤波求解,所述多伯努利滤波求解包括:目标框卷积层特征提取;对提取的卷积层特征进行滤波器训练得到不同卷积层特征对应的多个目标位置估计、对多个目标位置估计进行加权求和并扩充得到粒子集、进行多伯努利预测;
步骤四:利用目标与粒子的量测似然更新未匹配目标的多伯努利参数,对于已匹配或新生目标,直接更新伯努利参数;
步骤五:更新目标模板。
在本发明的一种实施方式中,所述进行目标轨迹与检测框的匹配的匹配方法为:
a、设IOU匹配阈值为δIOU,若且/>则将当前帧第i个检测框加入目标lj(i≠j)轨迹中,并在检测集/>中剔除检测框/>
b、若且/>则表示检测框/>没有相匹配的轨迹,此时将检测框/>作为新生目标加入到目标轨迹集当中,为其赋值标签ln+1,n为所有轨迹总个数;同时,对于目标lj,当前帧不存在与该轨迹满足阈值δIOU的检测框;
c、若则表示检测框/>的置信度较低,将其判断为杂波,在检测集/>中剔除检测框/>
在本发明的一种实施方式中,所述特征提取采用VGG19特征提取,包括:设当前目标框宽、高分别为M、N,扩展目标搜索区域至2M×2N;将当前目标框区域图像插值调整尺寸到224*224作为VGG19输入图像;VGG19的卷积网络中间层输出作为提取到的卷积层特征X;为了消除卷积层特征X的不连续性,将提取出的卷积特征层X乘以余弦窗口,并插值调整大小到(M/8×N/8)。
在本发明的一种实施方式中,所述滤波器训练过程包括:
a、利用VGG19提取的卷积特征X的循环变化表示为:
Xm,n(m,n)∈{0,1,…,M-1}×{0,1,…,N-1};
其中,M、N分别为提取目标框的宽、高;
b、在滤波器训练时,需要记录特征的变换过程,将每次变换的标签Y定义为下式的高斯分布:
c、采用傅里叶变换得到特征和标签在频域内的表示,即X=F(X),Y=F(Y),F(*)表示傅里叶变换;相关滤波器为:
其中,λ为大于等于0的规则化参数;在特征通道ds上求解模型参数:
式中,Xds为卷积层特征X在特征通道ds上的特征图,Xi为卷积层特征X在特征通道i上的特征图,为Xi的复共轭;⊙为Hadamard积;
d、目标跟踪过程中,被跟踪目标的搜索区域R为目标在上一帧中的位置,计算其通过VGG19传播的结果:
Zds=VGG(R),ds∈[1,2,…,D]
其中,VGG(*)表示VGG19向前传播计算。
e、计算特征X对相关滤波器响应:
其中,F-1(*)表示傅里叶逆变换;所述S最大响应为被跟踪目标估计位置即
在本发明的一种实施方式中,所述粒子集生成包括:分别提取的多层VGG19卷积层特征训练多个滤波器W*,通过滤波器计算的最大响应位置得到不同卷积层特征对应的多个目标位置估计,将这些目标位置估计进行加权求和并扩充得到最终粒子集。
在本发明的一种实施方式中,所述利用目标与粒子的量测似然更新未匹配目标的多伯努利参数包括:卷积特征提取,将目标框的尺寸规范化为n×n,并转化为灰度图像,记为I,使用大小为w×w的滑动窗口,以步长Δ对目标图像进行卷积操作,得到目标图像块集合y={Y1,Y2,...,Yl},其中Yi∈Rw×w,l=(n-w+Δ)×(n-w+Δ),将每个目标图像块减去自身均值并二范数归一化处理,采用k-means算法选出d个子块/>用第i个子块Fi o∈Rw×w在图像I上做卷积操作,得到一个目标特征图/>
目标模板建立时,在目标附近随机平移目标框来采集num个背景样本,所述平移值大于目标框宽和高的1/4,与目标特征采集时使用同样预处理操作,使用k-means算法选取d个特征小块,第i个背景样本的特征子块集合为对num个背景样本得到的特征集平均池化得到背景平均特征子块集合:
将其与图像I做卷积操作,得到背景在图像上的特征图:
用目标特征图减去背景特征图/>得到能区分目标与背景的特征图集S={Si}i=1,...,d,其中/>将d个特征图按行展开,成为d个一维向量,并按顺序拼接,最终得到目标的卷积特征f,/>
两个目标框的量测似然计算公式为:
其中f1,f2为对应的目标框卷积特征,表示f的二范数。
在本发明的一种实施方式中,所述目标模板更新为:
其中,为第k-1帧目标li对应的卷积特征模板,/>为第k帧目标li跟踪结果卷积特征的稀疏表示,ρ为模板的学习速率。
在本发明的一种实施方式中,若目标lj的模板未建立,则提取目标特征建立目标模板,利用该目标轨迹建立该轨迹目标模板,所述目标模板由所述提取的卷积特征表示。
本发明的一种基于IOU匹配的双滤波器视频多目标跟踪方法用于行人、车辆跟踪。
有益效果
本发明通过在检测框交并比关联的目标跟踪框架下,融合可视化的多伯努利跟踪方法,在目标轨迹未寻找到匹配的高质量检测框时,采用多伯努利滤波方式对目标继续跟踪,解决因为检测框缺失而导致的轨迹碎片问题。同时,根据IOU阈值判断和相似性比较,关联目标轨迹与目标再次被检测到的高质量检测框,减少目标发生标签跳变,减少标签跳变和轨迹碎片,提高目标跟踪精度。
附图说明
图1是IOU-T基本原理;
图2多伯努利滤波与IOU-T融合原理;
图3多伯努利滤波与IOU-T融合算法流程图;
图4双滤波器跟踪框架;
图5密集人群场景实验结果图;(a1)IOU-T:第159帧,(a2)IOU-T:第178帧,(b1)CF-MBF:第159帧,(b2)CF-MBF:第178帧;
图6目标尺寸变化实验结果图;(c1)IOU-T:第14帧,(c2)IOU-T:第37帧,(d1)CF-MBF:第14帧,(d2)CF-MBF:第37帧;
图7目标交叉运动实验结果图;(e1)DET-MBF:第17帧,(e2)DET-MBF:第59帧,(e3)DET-MBF:第90帧,(f1)CF-MBF:第17帧,(f2)CF-MBF:第59帧,(f3)CF-MBF:第90帧;
图8稀疏目标场景实验结果图;(g1)DET-MBF:第128帧,(g2)DET-MBF:第177帧,(g3)DET-MBF:第180帧,(h1)CF-MBF:第128帧,(h2)CF-MBF:第177帧,(h3)CF-MBF:第180帧;
图9目标数目估计与OSPA距离估计对比;(I1)实验(3)目标数目估计,(I2)实验(3)OSPA估计,(J1)实验(4)目标数目估计,(J2)实验(4)OSPA估计。
具体实施方式
实施例1
本发明提出算法结合IOU-T与多伯努利滤波方法,在没有可用检测框关联,或者检测框置信度较低的情况下,利用多伯努利滤波实现轨迹的跟踪,IOU-T基本原理如图1所示,多伯努利滤波与IOU-T融合原理如图2所示。多伯努利滤波与IOU-T融合流程图如图3所示。本发明在多伯努利滤波的基础上引入相关滤波(Correlation Filter,CF)作为弱滤波器采样粒子,构成双滤波器跟踪框架,双滤波器跟踪框架如图4所示。整个算法过程具体分为以下几个步骤:
步骤一 初始化
在初始时刻k=0,当前帧目标检测集为检测框/>为第i个检测框的状态向量,其中/>分别表示检测框左上角横、纵坐标,检测框宽、高和置信度;当/>时,将该检测框加入存活目标集/>其中h为检测框置信度阈值,m为满足条件的检测框个数,目标框/>为第i个目标框的状态向量,/>li分别表示目标框的左上角横纵坐标坐标,目标框宽、高和对应赋值的目标标签;所述目标用li表示;同时设置相应的伯努利RFS(随机有限集)/> 分别表示目标li的存在概率和概率分布,且/>
步骤二 IOU检测匹配
根据存活目标轨迹集和当前帧目标检测集进行目标框与检测框的IOU匹配,对于已匹配的目标框,将其对应检测框作为跟踪结果加入轨迹集并进行多伯努利参数赋值,对于未匹配的检测框判断是否为杂波或新生目标,进行相应处理,具体过程如下:
在k(k>0)时刻,当前帧目标检测集为计算每个目标轨迹/>与检测框的IOU,所述检测框为(利用贪心算法)贪心地选择当前帧目标检测集/>中与目标轨迹IOU最大的检测框/>
设IOU匹配阈值为δIOU,若且/>则将当前帧第i个检测框加入目标lj(i≠j)轨迹中,并在检测集/>中剔除检测框/>
若且/>则表示检测框/>没有相匹配的轨迹,此时将检测框/>作为新生目标加入到目标轨迹集当中,为其赋值标签ln+1,n为所有轨迹总个数。同时,对于目标lj,当前帧不存在与该轨迹满足阈值δIOU的检测框。
若则表示检测框/>的置信度较低,将其判断为杂波,在检测集/>中剔除检测框/>
步骤三 多伯努利预测
根据步骤二中的检测框匹配,对于未匹配到检测框的目标,进行多伯努利滤波求解,所述求解包括:特征提取、多伯努利预测等,在多伯努利预测步骤中,训练相关滤波器采样粒子,其具体过程如下。
3.1、VGG19特征提取
VGG19凭借其较强的泛化能力,常被用于提取目标特征,VGG19是AlexNet的改进版本,采用3个连续3x3的卷积核代替7x7的卷积核,2个3x3卷积核来代替5x5的卷积核,不仅保证了相同的感受野,还提升了网络层的的深度。VGG19的网络结构非常一致,整个过程采用3x3的卷积2x2的最大池化,包含19个隐藏层(16个卷积层和3个全连接层),使得整个结构非常简洁。并且加深了网络,从而提高性能。VGG19具有较高的泛化能力,不同层的特征刻画目标的不同信息。
设当前目标框宽、高分别为M、N,扩展目标搜索区域至2M×2N,将该区域图像插值调整尺寸到224*224作为VGG19输入图像,卷积网络中间层输出作为提取到的卷积特征。为了消除特征图的不连续性,将提取出的特征图乘以余弦窗口,并插值调整大小到(M/8×N/8)。
3.2、相关滤波器训练
设提取出的特征为其中M为特征图的宽、N为特征图的高,D为特征图通道数。特征X的循环变化表示为Xm,n(m,n)∈{0,1,…,M-1}×{0,1,…,N-1},在滤波器训练时,需要记录特征的变换过程,将每次变换的标签Y定义为下式的高斯分布:
采用傅里叶变换得到特征和标签在频域内的表示,即X=F(X),Y=F(Y),F(*)表示傅里叶变换。相关滤波器为:
其中,λ为大于等于0的规则化参数。在特征通道ds上求解模型参数:
式中,Xds为卷积层特征X在特征通道ds上的特征图,Xi为卷积层特征X在特征通道i上的特征图,为Xi的复共轭;⊙为Hadamard积。
目标跟踪过程中,被跟踪目标的搜索区域R为目标在上一帧中的位置,计算其通过VGG19传播的结果:
Zds=VGG(R),ds∈[1,2,…,D]
其中,VGG(*)表示VGG19向前传播计算。
计算该特征X对相关滤波器响应:
其中,F-1(*)表示傅里叶逆变换。所述S最大响应为被跟踪目标估计位置即
3.3、粒子集生成
分别采用提取的多层VGG19卷积层特征训练多个相关滤波器,通过滤波器计算的最大响应位置得到不同卷积层特征对应的多个目标位置估计,将这些目标位置估计进行加权求和并扩充得到最终粒子集。
3.4、多伯努利预测
(1)若目标lj的模板未建立,则提取目标特征建立目标模板,利用该目标轨迹建立该轨迹目标模板,其目标模板由步骤四中提取的卷积特征表示,当前目标轨迹的伯努利参数/>设置为:
其中,为该目标的存在概率,/>为最近目标状态的检测框置信度,/>表示第k-1帧目标lj的概率分布,由一组加权粒子表示。/>表示第k-1帧目标lj的第i个采样粒子的权值,/>表示第k-1帧目标lj的第i个采样粒子的状态向量,/>为目标lj的采样粒子个数,δ(·)为狄拉克函数。
对于未匹配目标li,其伯努利参数预测可由下式得到:
其中,
为目标存活概率,/>为目标li第j个采样粒子的状态。
(2)若目标li为已匹配或新生目标,其多伯努利参数预测为
步骤四 多伯努利更新
根据步骤二中的检测匹配信息和步骤三中未匹配目标的多伯努利预测,进行存活目标多伯努利更新,其中未匹配目标根据目标与粒子的量测似然更新其多伯努利参数,具体过程如下。
4.1、卷积特征提取。
将目标框的尺寸规范化为n×n,并转化为灰度图像,记为I,使用大小为w×w的滑动窗口,以步长Δ对目标图像进行卷积操作,得到目标图像块集合y={Y1,Y2,...,Yl},其中Yi∈Rw×w,l=(n-w+Δ)×(n-w+Δ),将每个目标图像块减去自身均值并二范数归一化处理,采用k-means算法选出d个子块/>用第i个子块Fi o∈Rw×w在图像I上做卷积操作,得到一个目标特征图/>
目标模板建立时,在目标附近随机平移目标框来采集num个背景样本,所述平移值大于目标框宽和高的1/4,与目标特征采集时使用同样预处理操作,使用k-means算法选取d个特征小块,第i个背景样本的特征子块集合为对num个背景样本得到的特征集平均池化得到背景平均特征子块集合:
将其与图像I做卷积操作,得到背景在图像上的特征图:
用目标特征图减去背景特征图/>得到能区分目标与背景的特征图集S={Si}i=1,...,d,其中/>将d个特征图按行展开,成为d个一维向量,并按顺序拼接,最终得到目标的卷积特征f,/>
两个目标框的量测似然计算公式为:
其中f1,f2为对应的目标框卷积特征,表示f的二范数。
4.2、多伯努利更新
对于未匹配目标,通过粒子的量测似然更新多目标多伯努利参数集:
若连续tl帧都没有匹配的检测框,则在目标状态更新时,对目标存在概率加入递减因子η,加速目标消失,即:
其中, 为目标li对应模板的卷积特征/>与粒子/>特征之间的量测似然。
对于已匹配或新生目标,直接更新其伯努利参数:
步骤五 目标模板更新
目标运动过程中,周围环境及自身状态会不断发生变化,如背景变化、自身扭曲、旋转及尺度变化等,因此,需要对目标模板进行实时更新,本发明方法在使用多伯努利滤波时,对目标模板进行跟新:
其中,为第k-1帧目标li对应的卷积特征模板,/>为第k帧目标li跟踪结果卷积特征的稀疏表示,目标特征的稀疏表示可以更加凸显目标的主要特征,利用主要特征去更新目标模板,可以降低非主要特征的干扰;ρ为模板的学习速率。
实施例2
1、实验条件及参数
本发明方法采用Matlab2016a实现,在处理器为Intel Core i7-8700、3.2GHz×12,内存为16GB,显卡为NVIDIA Geforce GTX 1080 Ti的电脑上运行,并与2017年ErikBochinski在文章《High-Speed Tracking-by-Detection Without Using ImageInformation》里提出的IOU-T方法和论文《检测优化的多伯努利视频多目标跟踪算法》的方法DET-MBF进行性能比较与分析,同时,在实验中将本发明方法命名为CF-MBF。
本发明的性能分析采用MOT评价指标MOTA、MOTP、MT、IDs;OSPA和目标数目变化。实验数据包括稀疏人群与密集人群场景,同时存在目标遮挡、小目标、图像模糊等问题。实验结果的定量分析与定性分析如下。
2实验结果的定性分析
(1)密集人群场景
为了验证本发明算法在目标密集情况下处理轨迹碎片与标签跳变等问题的能力,本发明选取数据集MOT17中的视频序列MOT17-04进行实验,该实验数据是一个夜晚的街道场景,人群十分密集且包含一部分小目标。图5为MOT17-04视频序列在FRCNN检测集上的实验结果图,(a1)、(a2)为IOU-T跟踪结果,(b1)、(b2)为本发明算法CF-MBF跟踪结果。可以看出,由于频繁的目标紧邻和互相遮挡,多个目标没有被检测器检测到,IOU-T无法关联漏检目标,导致目标被漏跟,出现标签跳变情况。而CF-MBF算法采用双滤波器结合,从检测框消失的前一帧开始对目标进行处理,实现后续的跟踪。根据第178帧实验结果图中,IOU-T最大目标标签为69,而CF-MBF算法最大目标标签为48,可以得出,本发明算法CF-MBF能较好的处理标签跳变与轨迹碎片问题。
(2)目标尺寸变化
为了评估本发明算法CF-MBF对目标尺寸变化的处理能力,本发明选取数据集MOT17中的视频序列MOT17-09进行实验。该实验数据是一个商场门口的场景,人群较为密集,目标尺寸变化大,且存在大量遮挡。图6为MOT17-04视频序列在FRCNN检测集上的实验结果图,(c1)、(c2)为IOU-T跟踪结果,(d1)、(d2)为CF-MBF算法跟踪结果。可以看出,尽管部分目标姿态发生较大变化,但是通过检测器可以很好地检测出该目标,IOU-T算法和CF-MBF算法都能根据检测框信息对该目标进行很好的跟踪。图中目标发生遮挡,无法获得其检测信息,本发明提出的CF-MBF算法,能够跟踪到被短期遮挡的目标。实验结果表明本发明算法CF-MBF对目标尺寸变化具有较好的处理能力。
(3)目标交叉运动
为了本发明算法CF-MBF对目标交叉运动时出现的遮挡等问题的处理能力,本发明在Visual Tracker Benchmark TB100中的视频序列Subway上进行实验,该实验数据为地铁入口处街道监控视频,包含目标紧邻、遮挡、交叉运动等情形,同时序列图像质量较低,存在部分目标模糊。实验结果如图7所示,(e1)-(e3)为DET-MBF跟踪结果,(f1)-(f3)为本发明算法CF-MBF的跟踪结果。根据结果图可以看出,目标被部分遮挡多帧,算法DET-MBF与CF-MBF均能对目标进行比较准确的定位,但是连续的遮挡导致DET-MBF出现部分跟踪框偏移情况,当目标脱离遮挡状态时,DET-MBF算法采用高置信度检测框对跟踪框进行调整,减少了误差的叠加。本发明算法CF-MBF,同样会出现部分跟踪框偏移现象,但是偏移程度较小,能够实现整体较为准确的跟踪。
(4)稀疏目标场景
为了综合评估本发明算法CF-MBF处理问题的能力,本发明在CAVUAR数据集中的视频序列上EnterExitCrossingPaths1cor进行实验,该实验数据为商场走廊监控视频数据,同时包含上述目标紧邻、遮挡、交叉运动、小目标、目标尺寸变化等问题,实验结果如图8所示,(g1)-(g3)为DET-MBF跟踪结果,(h1)-(h3)为本发明算法CF-MBF的跟踪结果。根据结果图可以看出,两种算法在目标脱离遮挡后,均保持目标标签不变,实现多目标的连续跟踪。同时,两种算法能够很好的利用高置信度检测框信息实时调整目标尺寸,实现自适应跟踪。但是对于无对应检测框的目标的持续跟踪,DET-MBF存在部分跟踪框有偏差的情况,而本发明算法CF-MBF,采用弱滤波器采样粒子,更好的包含真实目标状态,提高了目标跟踪精度。
3实验结果的定量分析
对于2中实验(1)和实验(2),选取MOTA、MOTP、MT、IDs这四个评价指标,对IOU-T算法、本发明算法CF-MBF进行对比,如表1所示,本发明算法CF-MBF在MOTA、MT、IDs上都要优于对比算法,IOU-T的跟踪效果依赖于检测结果,当目标出现漏检等情况,会导致IOU-T出现部分轨迹碎片和标签跳变的情况,所以在MOTA、MT、IDs这三个指标上相对较差。本发明算法CF-MBF通过结合滤波算法实现漏检目标继续跟踪与轨迹关联,能够减少目标漏跟情况,实现目标状态连续估计,同时,本发明算法CF-MBF,采用CF作为弱滤波器采样高质量粒子,能够很好的采样出目标真实状态,提高跟踪框质量,所以整体优于IOU-T算法。
表5-1 实验(1)、(2)结果对比(表中↑表示值越大越好,↓表示值越小越好)
对于2中实验(3)和实验(4),本发明选取OSPA估计与目标数目变化估计来对实验结果进行定量分析,对DET-MBF算法与本发明算法CF-MBF进行对比。图9给出了对比算法的OSPA估计与目标数目估计,(I1)、(I2)为实验(3)目标数目估计与OSPA估计,(J1)、(J2)为实验(4)目标数目估计与OSPA估计。从图中可以看出,当新生目标部分出现时,检测器无法提供高置信度检测框,目标新生短暂延迟,使得OSPA值增大。在跟踪过程中,CF-MBF算法使用弱滤波器精准采样粒子,同时结合高置信度目标检测框,实现对目标的准确跟踪,OSPA估计值相对较低。在目标开始消失时,检测器无法检测到已部分消失的目标,DET-MBF算法和CF-MBF算法在没有检测信息的情况下,可能会出现目标消失不敏感,导致OSPA估计值上升,且目标数目估计较大。从图(I2)、(J2)中可以发现,在中间帧目标被稳定跟踪时,对比算法的OSPA估计值基本一样且波动较小。这是因为在目标不受到复杂情况影响时,检测器能够得到高置信度目标检测框,而对比算法在跟踪过程中都充分利用高置信度检测框信息。
本发明的保护范围并不仅局限于上述实施例,凡是在本发明构思的精神和原则之内,本领域的专业人员能够做出的任何修改、等同替换和改进等均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于IOU匹配的双滤波器视频多目标跟踪方法,其特征在于,所述方法包括:
步骤一:在初始时刻k=0,当前帧目标检测集为检测框/>为第i个检测框的状态向量,其中/>分别表示检测框左上角横坐标、纵坐标,检测框宽、检测框高和置信度;当/>时,将检测框加入存活目标集/>其中h为检测框置信度阈值,m为满足条件/>的检测框个数,目标框/> 分别表示目标框的左上角横坐标、纵坐标,目标框宽、目标框高和对应赋值的目标标签;所述目标用li表示,同时设置相应的伯努利/> 分别表示目标li的存在概率和概率分布,且/>
步骤二:在k时刻,当前帧目标检测集为进行每个目标轨迹/>与检测框的IOU匹配,所述检测框为利用贪心算法贪心地选择当前帧目标检测集中与目标轨迹IOU最大的检测框/>
步骤三:将与目标轨迹相匹配的检测框作为目标的跟踪结果加入轨迹集并进行多伯努利参数赋值,对于未匹配到检测框的目标,进行多伯努利滤波求解,所述多伯努利滤波求解包括:目标框卷积层特征提取;对提取的卷积层特征进行滤波器训练得到不同卷积层特征对应的多个目标位置估计、对多个目标位置估计进行加权求和并扩充得到粒子集、进行多伯努利预测;
步骤四:利用目标与粒子的量测似然更新未匹配目标的多伯努利参数,对于已匹配或新生目标,直接更新伯努利参数;
步骤五:更新目标模板。
2.如权利要求1所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法,其特征在于,所述进行目标轨迹与检测框的匹配方法为:
a、设IOU匹配阈值为δIOU,若且/>则将当前帧第i个检测框加入目标lj轨迹中,其中i≠j,并在检测集/>中剔除检测框/>
b、若且/>则表示检测框/>没有相匹配的轨迹,此时将检测框/>作为新生目标加入到目标轨迹集当中,为其赋值标签ln+1,n为所有轨迹总个数;同时,对于目标lj,当前帧不存在与该轨迹满足阈值δIOU的检测框;
c、若则表示检测框/>的置信度较低,将其判断为杂波,在检测集/>中剔除检测框/>
3.如权利要求2所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法,其特征在于,所述特征提取采用VGG19特征提取,包括:设当前目标框宽、高分别为M、N,扩展目标搜索区域至2M×2N;将当前目标框区域图像插值调整尺寸到224*224作为VGG19输入图像;VGG19的卷积网络中间层输出作为提取到的卷积层特征X;为了消除卷积层特征X的不连续性,将提取出的卷积特征层X乘以余弦窗口,并插值调整大小到M/8×N/8。
4.如权利要求3所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法,其特征在于,所述滤波器训练过程包括:
a、利用VGG19提取的卷积层特征为其中M为特征图的宽、N为特征图的高,D为特征图通道数,X的循环变化表示为:
Xm,n(m,n)∈{0,1,…,M-1}×{0,1,…,N-1};
b、在滤波器训练时,需要记录特征的变换过程,将每次变换的标签Y定义为下式的高斯分布:
c、采用傅里叶变换得到特征和标签在频域内的表示,即X=F(X),Y=F(Y),F(*)表示傅里叶变换;相关滤波器为:
其中,λ为大于等于0的规则化参数;在特征通道ds上求解模型参数:
式中,Xds为卷积层特征X在特征通道ds上的特征图,Xi为卷积层特征X在特征通道i上的特征图,为Xi的复共轭;⊙为Hadamard积;
d、目标跟踪过程中,被跟踪目标的搜索区域R为目标在上一帧中的位置,计算其通过VGG19传播的结果:
Zds=VGG(R),ds∈[1,2,…,D]
其中,VGG(*)表示VGG19向前传播计算;
e、计算特征X对相关滤波器响应:
其中,F-1(*)表示傅里叶逆变换;所述S最大响应为被跟踪目标估计位置即
5.如权利要求4所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法,其特征在于,所述粒子集生成包括:分别提取的多层VGG19卷积层特征训练多个滤波器W*,通过滤波器计算的最大响应位置得到不同卷积层特征对应的多个目标位置估计,将这些目标位置估计进行加权求和并扩充得到最终粒子集。
6.如权利要求5所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法,其特征在于,所述利用目标与粒子的量测似然更新未匹配目标的多伯努利参数包括:卷积特征提取,将目标框的尺寸规范化为n×n,并转化为灰度图像,记为I,使用大小为w×w的滑动窗口,以步长Δ对目标图像进行卷积操作,得到目标图像块集合y={Y1,Y2,...,Yl},其中Yi∈Rw×w,l=(n-w+Δ)×(n-w+Δ),将每个目标图像块减去自身均值并二范数归一化处理,采用k-means算法选出d个子块/>用第i个子块Fi o∈Rw×w在图像I上做卷积操作,得到一个目标特征图/>
目标模板建立时,在目标附近随机平移目标框来采集num个背景样本,所述平移值大于目标框宽和高的1/4,与目标特征采集时使用同样预处理操作,使用k-means算法选取d个特征小块,第i个背景样本的特征子块集合为对num个背景样本得到的特征集平均池化得到背景平均特征子块集合:
将其与图像I做卷积操作,得到背景在图像上的特征图:
用目标特征图减去背景特征图/>得到能区分目标与背景的特征图集S={Si}i=1,...,d,其中/>将d个特征图按行展开,成为d个一维向量,并按顺序拼接,最终得到目标的卷积特征f,/>
两个目标框的量测似然计算公式为:
其中f1,f2为对应的目标框卷积特征,表示f的二范数。
7.如权利要求6所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法,其特征在于,所述目标模板更新为:
其中,为第k-1帧目标li对应的卷积特征模板,/>为第k帧目标li跟踪结果卷积特征的稀疏表示,ρ为模板的学习速率。
8.如权利要求7所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法,其特征在于,若目标lj的模板未建立,则提取目标特征建立目标模板,利用该目标轨迹建立该轨迹目标模板,所述目标模板由所述提取的卷积特征表示。
9.权利要求1-8任一项所述的一种基于IOU匹配的双滤波器视频多目标跟踪方法,其特征在于,所述方法用于行人、车辆跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010547158.6A CN111754545B (zh) | 2020-06-16 | 2020-06-16 | 一种基于iou匹配的双滤波器视频多目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010547158.6A CN111754545B (zh) | 2020-06-16 | 2020-06-16 | 一种基于iou匹配的双滤波器视频多目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111754545A CN111754545A (zh) | 2020-10-09 |
CN111754545B true CN111754545B (zh) | 2024-05-03 |
Family
ID=72676235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010547158.6A Active CN111754545B (zh) | 2020-06-16 | 2020-06-16 | 一种基于iou匹配的双滤波器视频多目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111754545B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112651996B (zh) * | 2020-12-22 | 2024-06-14 | 南京市城市与交通规划设计研究院股份有限公司 | 目标检测跟踪方法、装置、电子设备和存储介质 |
CN114757867A (zh) * | 2020-12-29 | 2022-07-15 | 上海微创卜算子医疗科技有限公司 | 细胞跟踪方法、***优选方法、电子设备和存储介质 |
CN113223054B (zh) * | 2021-05-28 | 2023-03-24 | 武汉卓目科技有限公司 | 对eco跟踪框的抖动性进行改进的目标跟踪方法及装置 |
CN113327273B (zh) * | 2021-06-15 | 2023-12-19 | 中国人民解放***箭军工程大学 | 一种基于可变窗函数相关滤波的红外目标跟踪方法 |
CN113421288B (zh) * | 2021-08-23 | 2021-12-17 | 杭州云栖智慧视通科技有限公司 | 一种多目标实时轨迹跟踪中的静止轨迹碎片改进方法 |
WO2023197232A1 (zh) * | 2022-04-14 | 2023-10-19 | 京东方科技集团股份有限公司 | 目标跟踪方法及装置、电子设备、计算机可读介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408594A (zh) * | 2016-09-28 | 2017-02-15 | 江南大学 | 基于多伯努利特征协方差的视频多目标跟踪方法 |
CN109344725A (zh) * | 2018-09-04 | 2019-02-15 | 上海交通大学 | 一种基于时空关注度机制的多行人在线跟踪方法 |
CN110084831A (zh) * | 2019-04-23 | 2019-08-02 | 江南大学 | 基于YOLOv3多伯努利视频多目标检测跟踪方法 |
CN110532921A (zh) * | 2019-08-21 | 2019-12-03 | 江南大学 | 基于ssd检测广义标签多伯努利视频多目标跟踪方法 |
CN110929560A (zh) * | 2019-10-11 | 2020-03-27 | 杭州电子科技大学 | 融合目标检测与跟踪的视频半自动目标标注方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107818571B (zh) * | 2017-12-11 | 2018-07-20 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及*** |
-
2020
- 2020-06-16 CN CN202010547158.6A patent/CN111754545B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408594A (zh) * | 2016-09-28 | 2017-02-15 | 江南大学 | 基于多伯努利特征协方差的视频多目标跟踪方法 |
CN109344725A (zh) * | 2018-09-04 | 2019-02-15 | 上海交通大学 | 一种基于时空关注度机制的多行人在线跟踪方法 |
CN110084831A (zh) * | 2019-04-23 | 2019-08-02 | 江南大学 | 基于YOLOv3多伯努利视频多目标检测跟踪方法 |
CN110532921A (zh) * | 2019-08-21 | 2019-12-03 | 江南大学 | 基于ssd检测广义标签多伯努利视频多目标跟踪方法 |
CN110929560A (zh) * | 2019-10-11 | 2020-03-27 | 杭州电子科技大学 | 融合目标检测与跟踪的视频半自动目标标注方法 |
Non-Patent Citations (3)
Title |
---|
协同运动状态估计的多目标跟踪算法;袁大龙;纪庆革;;计算机科学;20171115(第S2期);全文 * |
基于随机有限集理论的多扩展目标跟踪技术综述;冯新喜;蒲磊;孔云波;王雪;;空军工程大学学报(自然科学版);20160625(第03期);全文 * |
弱目标箱粒子标签多伯努利多目标检测与跟踪算法;蔡如华;杨标;吴孙勇;李瞳;孙希延;;红外与毫米波学报;20190415(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111754545A (zh) | 2020-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111754545B (zh) | 一种基于iou匹配的双滤波器视频多目标跟踪方法 | |
CN109816689B (zh) | 一种多层卷积特征自适应融合的运动目标跟踪方法 | |
CN110084831B (zh) | 基于YOLOv3多伯努利视频多目标检测跟踪方法 | |
CN107481264B (zh) | 一种自适应尺度的视频目标跟踪方法 | |
CN107424171B (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
CN108875588B (zh) | 基于深度学习的跨摄像头行人检测跟踪方法 | |
CN108241849B (zh) | 基于视频的人体交互动作识别方法 | |
CN113012203A (zh) | 一种复杂背景下高精度多目标跟踪方法 | |
CN111080673B (zh) | 一种抗遮挡目标跟踪方法 | |
CN107689052B (zh) | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 | |
CN111523447B (zh) | 车辆跟踪方法、装置、电子设备及存储介质 | |
CN111292355A (zh) | 一种融合运动信息的核相关滤波多目标跟踪方法 | |
CN110400294B (zh) | 一种红外目标探测***及探测方法 | |
CN113702979B (zh) | 一种跨区目标跟踪轨迹片段时空拼接方法 | |
CN111862145A (zh) | 一种基于多尺度行人检测的目标跟踪方法 | |
Ahmadi et al. | Small dim object tracking using frequency and spatial domain information | |
Hu et al. | An infrared target intrusion detection method based on feature fusion and enhancement | |
Hassan et al. | An adaptive sample count particle filter | |
CN110827262A (zh) | 一种基于连续有限帧红外图像的弱小目标检测方法 | |
CN115761534A (zh) | 一种空中背景下红外无人机小目标检测及跟踪方法 | |
CN108010066B (zh) | 基于红外目标灰度互相关和角度信息的多假设跟踪方法 | |
CN112164093A (zh) | 一种基于边缘特征和相关滤波的人物自动跟踪方法 | |
Nie et al. | Object tracking in satellite videos based on Siamese network with multidimensional information-aware and temporal motion compensation | |
CN111415370A (zh) | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及*** | |
Wang et al. | Robust small infrared target detection using multi-scale contrast fuzzy discriminant segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |