CN110414439A - 基于多峰值检测的抗遮挡行人跟踪方法 - Google Patents
基于多峰值检测的抗遮挡行人跟踪方法 Download PDFInfo
- Publication number
- CN110414439A CN110414439A CN201910696761.8A CN201910696761A CN110414439A CN 110414439 A CN110414439 A CN 110414439A CN 201910696761 A CN201910696761 A CN 201910696761A CN 110414439 A CN110414439 A CN 110414439A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- frame
- peak
- response
- max
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多峰值检测的抗遮挡行人跟踪方法,首先,进行行人检测获得初始位置,并进行***参数和行人模板的初始化,在后续每一帧将特征融合响应峰值所在位置作为行人预测位置中心,并进行目标响应峰值Fmax和平均峰值相关能量APCE及其阈值的计算,由其形成的联合置信度进行滤波器响应多峰值的检测,从而实现行人遮挡判断,在遮挡帧暂停滤波器参数和行人目标模板的更新,实现抗遮挡的行人跟踪任务。本发明选用FHOG特征、Color Naming特征进行自适应融合作为特征描述子,提升了行人跟踪方法对行人形变和光照的鲁棒性;在行人遮挡帧暂停行人模板和滤波器参数的更新,解决了易导致跟踪位置漂移问题。
Description
技术领域
本发明涉及目标跟踪图像处理技术领域,具体地指一种基于多峰值检测的抗遮挡行人跟踪方法。
背景技术
目标跟踪是指在连续视频图像序列中,根据目标的初始位置对后续位置进行预测的过程。目标跟踪在智能视频监控、智能视觉导航、智能交通***和三维重建等方面应用广泛,是计算机视觉领域的一大研究热点。
常见的目标跟踪方法分为生成类方法和判别类方法。生成类方法只建立目标模型,将后续帧中各位置与目标模型相似度最高处作为预测位置。而判别类方法除目标模型外还考虑了背景信息,建立判别模型,在复杂场景下具备良好的鲁棒性,因此得到广泛应用。
判别类方法中,相关滤波类算法由于跟踪准确性和算法实时性而备受关注。Bolme等提出的MOSSE算法是相关滤波方法在目标跟踪上的首次应用,提升了跟踪速度。Henriques等提出的CSK算法在此基础上引入密集采样理论,通过循环矩阵和离散傅里叶变换,提升了目标跟踪精度。之后,Henriques等又将HOG特征与CSK算法结合生成KCF算法,大幅提升了目标跟踪的准确性和快速性,成为目标跟踪领域中的重要方法和经典成果。然而在复杂的行人跟踪场景,行人密集且环境多变,KCF跟踪算法的抗形变、抗光照抗遮挡能力不足,容易产生跟踪位置漂移现象,这就产生了本发明中对KCF算法的改进需求。
发明内容
本发明的目的是为了解决上述背景技术存在的不足之处,而提出了一种基于多峰值检测的抗遮挡行人跟踪方法,以KCF跟踪模型作为基础,新增了基于多峰值检测的遮挡判断环节,并针对发生行人遮挡的图像帧,暂停***的训练以抑制模板污染,在无行人遮挡的图像帧,恢复***的训练,提升了跟踪算法对遮挡干扰的鲁棒性。另外,针对行人的形变干扰,本发明还引入了多特征自适应融合方法,提升了跟踪算法对行人形变干扰的鲁棒性。
为实现上述目的,本发明所设计的基于多峰值检测的抗遮挡行人跟踪方法,其特殊之处在于,所述方法包括:
步骤S1***参数初始化:进行正负样本的密集采样,进行目标检测获得行人的初始位置,生成初始目标模板,初始化跟踪滤波器的参数;
步骤S2行人跟踪:将FHOG特征得到的滤波器响应值FFHOG和由Color Naming颜色特征得到的滤波器响应值FCN进行自适应融合,获得融合响应Fsum,其峰值Fmax对应位置作为跟踪位置中心;
步骤S3行人遮挡判断:对于每一帧图像的跟踪行人进行遮挡判断,当置信度峰值Fmax和平均峰值相关能量APCE均大于对应阈值时判断无遮挡,前往步骤S5,否则判断行人存在遮挡干扰,则转到步骤S4;
步骤S4行人遮挡下的处理方法:多峰值检测判断当前帧存在行人遮挡时,暂停当前帧的***训练,进入下一帧图像返回步骤S3直至完成最后一帧图像处理;
步骤S5行人未遮挡处理方法:多峰值检测判断当前帧无行人遮挡时,继续当前帧的***训练,进入下一帧图像返回步骤S3直至完成最后一帧图像处理。
优选地,所述步骤S2中融合响应Fsum的计算方法为
Fsum=(1-γ)FFHOG+γFCN
式中,FFHOG表示对FHOG特征的滤波器响应图,FCN表示Color naming特征的滤波器响应图,γ表示动态融合度。
优选地,所述步骤S2中Color Naming颜色特征的提取流程如下:
a)读入当前帧RGB图像imgRGB,维度为M×N×3;
b)对imgRGB的每个像素点,计算索引值index:
index=1+INT(r(x,y)/8)+32*(INT(g(x,y)/8))+32*32*(INT(b(x,y)/8))其中r(x,y)、g(x,y)、b(x,y)分别表示像素点(x,y)处的R、G、B通道值,INT(x)是取整函数;
c)根据索引值在映射矩阵mat中找到对应列作为该像素点(x,y)的CN特征,维数为11,存入CN特征图imgCN的像素点(x,y);
d)输出当前帧CN特征图像imgCN,维度M×N×11。
优选地,所述动态融合度γ满足:
式中,Smax表示行人目标模板和各背景子图之间特征相似度的最大值,δmax和δmin分别为特征融合的上限和下限阈值。
优选地,所述步骤S3具体包括:
步骤S31计算联合置信度:选用当前第t帧的总响应峰值Fmax.t和平均峰值相关能量APCEt作为判断响应是否含有多峰值的联合置信度;
步骤S32计算联合置信度阈值:对于当前帧,融合响应峰值Fmax.t的阈值Fmaxt.thre表示为其历史平均值与比例因子θFmax的乘积,平均峰值相关能量APCEt的阈值APCEt.thre分别表示为其历史平均值与比例因子θAPCE的乘积;
步骤S33遮挡标志位判断:对于当前第t帧,t为自然数,当置信度响应峰值Fmax.t和平均峰值相关能量APCEt均大于对应阈值时,判断当前帧无遮挡,否则判断当前帧存在遮挡,判断有无遮挡的标志位flagt表示为:
优选地,对于当前第t帧,t为自然数,当步骤S33中的遮挡标志位flagt=1时进入步骤S4,由于此时存在遮挡,保存当前的行人模板,并将学习率β置0以停止滤波器参数的更新,即:
xt=xt-1
αt=αt-1
式中,αt表示第t帧的滤波器参数,xt表示第t帧行人模板。
优选地,对于当前第t帧,当步骤S33中的遮挡标志位flag=0时进入步骤S5,由于此时无行人遮挡,恢复当前第t帧的滤波器参数αt和行人模板xt更新如下:
xt=(1-β)×xt-1+β×x't
αt=(1-β)×αt-1+β×α't
式中,β表示学习率,xt-1、αt-1表示第t-1帧的行人模板和滤波器参数,x't、α't表示由第t-1帧训练得到的行人模板和滤波器参数。
优选地,当前第t帧平均峰值相关能量APCEt的计算方法为:
其中,Fmax、Fmin分别当前第t帧的滤波器响应图的最大值和最小值,Fw.h代表响应图中第w行、第h列的值,mean函数代表求数组平均值的函数。
优选地,所述平均峰值相关能量APCEt的阈值APCEt.thre的计算方法为:
所述融合响应峰值Fmax.t的阈值Fmaxt.thre的计算方法为:
式中,θFmax表示融合响应比例因子,θAPCE表示平均峰值相关能量比例因子。
优选地,所述行人目标模板和各背景子图之间特征相似度的最大值smax=max(s(qu,pu(yj))),s(qu,pu(yj))表示行人模板直方图qu和背景子图直方图特征pu(yj)间的特征相似度。
与现有技术相比,本发明具有的有益效果包括:
(1)KCF跟踪模型选用HOG特征进行描述,对行人形变等干扰的抵抗能力较弱。本发明选用FHOG特征、Color Naming特征进行自适应融合作为特征描述子,提升了行人跟踪方法对行人形变和光照的鲁棒性。
(2)KCF跟踪模型在行人遮挡帧仍进行***训练,易导致跟踪位置漂移问题。本发明引入了基于多峰值检测的抗遮挡方法,选用响应峰值和平均峰值相关能量作为联合置信度,对滤波器响应进行多峰值检测,在行人遮挡帧暂停行人模板和滤波器参数的更新,提升了行人跟踪方法对行人遮挡的鲁棒性。
附图说明
图1为基于多峰值检测的抗遮挡行人跟踪方法流程图;
图2为移位样本生成过程;
图3为提取31维FHOG特征的示意图;
图4为行人遮挡帧与未遮挡帧的相关滤波器响应图;
图5为KCF算法与本发明行人跟踪方法的跟踪效果对比;
图6为本发明方法与主流跟踪算法的性能对比。
具体实施方式
为了使本发明技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。
本发明提出的一种基于多峰值检测的抗遮挡行人跟踪方法,本发明的基本流程如图1所示,首先,进行行人检测获得初始位置,并进行***参数和行人模板的初始化,在后续每一帧将特征融合响应峰值所在位置作为行人预测位置中心,并进行目标响应峰值Fmax和平均峰值相关能量APCE及其阈值的计算,由其形成的联合置信度进行滤波器响应多峰值的检测,从而实现行人遮挡判断,在遮挡帧暂停滤波器参数和行人目标模板的更新,实现抗遮挡的行人跟踪任务,其具体步骤如下:
步骤S1.***参数和行人模板的初始化
采用实时性最好的SSD(Single Shot MultiBox Detector)检测模型,进行行人检测获得行人在初始帧的位置。
使用循环移位的方法实现正负样本的密集采样。定义基础样本x=[x1,x2,...,xn-1,xn]T,移位矩阵表示为:
乘积Px=[xn,x1,x2,...,xn-1]T表示将列向量x的元素移位一次的移位操作。进行多次移位,并按行排列移位样本,可获得循环矩阵X:
移位样本的生成过程如图2所示。
相关滤波器f(x)表示为其中是样本xi在非线性特征空间的映射,w为该滤波器f(x)的滤波器参数。
在希尔伯特空间中,w可由样本的线性组合进行表示:
其中α表示待求的滤波器参数。
则最小化损失函数模型由求最优w问题变成求最优α问题:
其中,L(α)表示损失函数,X是循环移位得到的矩阵样本,y是样本标签值组成的向量,λ表示为避免过拟合而引入的正则化参数。由最小二乘法解得
其中,I为单位矩阵,为核矩阵,可表示为核矩阵为循环矩阵,即K=C(kxx),其中kxx为矩阵K的第一行。由于循环矩阵可以通过离散傅里叶矩阵实现对角化,可得:
其中,F为离散傅里叶变换矩阵,表示对kxx做傅里叶变换,表示以向量为主对角线的对角矩阵,FH表示矩阵F的共轭转置。因此公式(5)中的滤波器参数α可简化为:
以上实现了相关滤波器参数的初始化。进入下一帧准备进行目标跟踪。
步骤S2.计算融合特征响应,进行行人跟踪
定义候选特征为z,与样本x有相同的维度。计算滤波器的输出响应如下:
其中,⊙表示相应点相乘,与y有相同的维度。
本发明选取了两种特征,包括提取梯度及边缘信息的FHOG特征和提取颜色信息的Color Naming特征,由公式(8)分别得到FHOG特征对应的滤波器输出相应FFHOG和Naming特征对应的滤波器输出相应FCN,在此基础上做自适应特征融合得到滤波器融合响应Fsum,此过程的具体内容如下。
FHOG特征是Felzenszwalb对HOG特征的改进,运算复杂度相比HOG特征大幅减小。图像像素(x,y)处的梯度大小和方向表示为r(x,y)和θ(x,y),将图像划分成若干个大小为4×4的cell。采取k个bin的直方图统计cell中每个像素的梯度信息,其中结合了对方向不敏感的有符号梯度方向B1和对方向敏感的无符号梯度方向B2:
其中round函数表示四舍五入运算,mod函数代表求余函数,用于把负角变正。直方图中每个像素在对应bin上按照梯度幅值进行加权操作。
由于局部光照的影响,cell内像素的梯度幅值变化幅度较大,消除此影响需要将4个邻域cell组成的block进行归一化操作:
其中,F(i,j)代表第(i,j)个cell中提取到的特征,Nσ,ζ(i,j)表示四个block分别对应的归一化因子,σ,ζ∈{-1,1}。并通过设置限幅进行截断。
FHOG特征选取18个有符号梯度方向和9个无符号梯度方向,此外串联四个归一化因子得到4维特征,最终得到31维特征,提取过程如图3所示。
CN特征是一种有效用于目标跟踪的显著颜色特征,由Weijer等人提出,为增加颜色特征的辨识度,将现实中的RGB特征值映射为CN特征空间中预先定义的11种颜色,由于强大的辨别力和便捷的映射关系得以广泛使用。
CN颜色特征的提取流程如下:
a)读入当前帧RGB图像imgRGB,维度M×N×3
b)对imgRGB的每个像素点,计算索引值index:index=1+INT(r(x,y)/8)+32*(INT(g(x,y)/8))+32*32*(INT(b(x,y)/8))其中r(x,y)、g(x,y)、b(x,y)分别表示像素点(x,y)处的R、G、B通道值,INT(x)是取整函数。
c)根据索引值在映射矩阵mat(大小为11×32768)中找到对应列作为该像素点(x,y)的CN特征,维数为11,存入CN特征图imgCN的像素点(x,y)。
d)输出当前帧CN特征图像imgCN,维度M×N×11。
为提高跟踪算法对行人形变和光照的抗干扰性,本发明将表征形状轮廓的FHOG特征和表征颜色的Color Naming特征进行动态融合。FHOG特征提取形状轮廓信息,因此对光照等干扰有较强的鲁棒性,而CN特征提取行人的颜色信息,对行人形变等有抵抗能力。
此处根据CN特征相似度来调整特征的动态融合比重。将行人目标模板直方图特征表示为qu,背景区域按照大小crop_bins=[hcrop_bins,wcrop_bins]划分得到背景子图,第j个背景子图yj的直方图特征pu(yj)表示为:
其中C表示归一化常数,表示第j个背景子图yj中第i个像素相应的CN特征直方图映射函数,u表示CN特征直方图索引。通过Hellinger距离表达行人模板直方图qu和背景子图yj的直方图特征pu(yj)间的特征相似度s(qu,pu(yj)):
s(qu,pu(yj))=1-d[qu,pu(yj)] (14)
其中,ρ[qu,pu(yj)]为Bhattacharyya系数,由公式(14)可以看出,行人模板直方图qu和背景子图直方图特征pu(yj)间的特征相似度s(qu,pu(yj))与其Hellinger距离成反比,距离越大相似度越小,反之距离越小相似度越大。由此可以得到动态融合度γ:
其中,smax=max(s(qu,pu(yj))),表示行人目标模板和各背景子图之间特征相似度的最大值,δmax和δmin为特征融合的阈值。
则行人对各特征的融合响应表示成:
Fsum=(1-γ)FFHOG+γFCN (16)
其中,FFHOG表示对FHOG特征的滤波器响应图,FCN表示Color Naming特征的滤波器响应图,Fsum表示特征融合得到的总响应。随行人目标模板和背景子图相似度的提高,将CN特征对总响应的影响调低,同时FHOG特征对总响应的影响调高,而相似度高于上限阈值δmax时,则直接进行低值(下限阈值δmin)融合,得到实时、良好的融合效果。
将特征融合总响应Fsum的峰值Fmax所在位置作为当前帧的预测行人位置中心,实现当前帧的目标跟踪。
步骤S3.基于多峰值检测的行人遮挡判断方法
在KCF等相关滤波跟踪算法中,不存在遮挡判断环节,对每一帧图像都进行滤波器参数和行人目标模板的更新,这导致了相关滤波跟踪算法在行人遮挡帧持续训练,在行人遮挡情况下产生跟踪位置漂移和行人丢失后果。本发明对视频序列的每一帧图像都进行基于多峰值检测的行人遮挡判断方法,在行人遮挡和无遮挡情况下分别采用不同的处理方法,提升了跟踪的抗遮挡性。
步骤S31.计算联合置信度
在遮挡判断环节,将同一帧中行人遮挡与未遮挡的相关滤波器响应图进行比较,如图4所示,红色框(标号1)行人存在遮挡,而蓝色框(标号2)行人未发生遮挡。可以看出,当发生遮挡时,响应图有多个响应值相近的尖峰,容易跟踪偏移到蓝色框行人上;当遮挡不存在时,响应图有且仅有一个明显尖峰。故而,本文采用多峰值检测的方法用于行人遮挡判断。
选用当前第t帧的总响应峰值Fmax.t和平均峰值相关能量APCEt作为判断响应是否含有多峰值的联合置信度。APCEt计算方法如下:
其中,Fmax、Fmin分别当前第t帧的相关滤波器响应图的最大值和最小值,Fw.h代表响应图中第w行、第h列的值,t为自然数。分别计算并保存当前帧的置信度Fmax.t和APCEt。
步骤S32.计算联合置信度阈值
对于当前第t帧,融合响应峰值Fmax.t的阈值Fmaxt.thre表示为其历史平均值与比例因子θFmax的乘积,平均峰值相关能量APCEt的阈值APCEt.thre分别表示为其历史平均值与比例因子θAPCE的乘积,即:
步骤S33.遮挡标志位判断
对于当前第t帧,当置信度响应峰值Fmax.t和平均峰值相关能量APCEt均大于对应阈值时,判断当前帧无遮挡,否则判断当前帧存在遮挡。判断有无遮挡的标志位flagt表示为:
步骤S4.遮挡帧暂停***训练
对于当前第t帧,当步骤S33中的遮挡标志位flagt=1时进入步骤S4,由于此时存在遮挡,保存当前的行人模板,并将学习率β置0以停止滤波器参数的更新,即:
xt=xt-1 (21)
αt=αt-1 (22)
进入下一帧图像返回步骤S3直至完成最后一帧图像处理。
步骤S5.无遮挡帧恢复***训练
对于当前第t帧,当步骤S33中的遮挡标志位flag=0时进入步骤S5,由于此时无行人遮挡,恢复当前第t帧的滤波器参数αt和行人模板xt更新如下:
xt=(1-β)×xt-1+β×x't (23)
αt=(1-β)×αt-1+β×α't (24)
其中β是学习率,xt-1、αt-1表示第t-1帧的行人模板和滤波器参数,x't、α't表示由第t-1帧训练得到的行人模板和滤波器参数。
训练完成后进入下一帧图像返回步骤S3直至完成最后一帧图像处理。
将本发明的基于多峰值检测的抗遮挡行人跟踪方法进行实验验证,使用目标跟踪领域广泛使用的OTB数据集,与主流相关滤波跟踪算法进行对比测试。设置正则化参数λ=0.0001,学***均峰值相关能量的比例因子为θAPCE=0.45,响应峰值的比例因子为θFmax=0.7。
将本发明基于多峰值检测的抗遮挡行人跟踪方法命名为KCF_MF_AP,在遮挡干扰下KCF与KCF_MF_AP的跟踪效果对比如图5所示。在第68帧行人遮挡干扰下,KCF_MF_AP算法由公式(20)得出标志位flag68=1,此时不更新行人模板和滤波器参数,而KCF算法则进行更新。第89帧行人遮挡结束,显然KCF算法已丢失行人,而KCF_MF_AP仍成功跟踪行人。
将本发明KCF_MF_AP方法与CSK、KCF、SAMF及DSST算法等主流相关滤波跟踪算法、经典长期跟踪算法:TLD(tracking-by-detection)跟踪算法和基于SVM分类器的Struck跟踪算法作对比实验,精确度与成功率曲线如图6所示。本发明方法的精确度为0.752,仅次于staple算法,成功率为0.623,和staple算法并列第一。相比于KCF跟踪算法,本发明方法精确度提升3.7%,成功率提高10.1%。相比TLD跟踪算法,本发明方法的精确度和准确率分别提高了12.30%和6.38%,相比Struck则分别提高6.66%和7.52%。本发明方法在精确度和成功率上均名列前茅。
为测试发明方法的抗干扰能力,尤其是对遮挡、形变和光照这三种干扰的鲁棒性,表1对比了本发明方法与主流相关滤波类跟踪算法在11种干扰下的成功率。
表1本发明方法与主流相关滤波类跟踪算法在11种干扰下的成功率
注:仅对整体精确度和成功率前5名算法进行鲁棒性测试
由表可知,本发明方法的鲁棒性较好,尤其是对形变、背景混乱、遮挡和平面外旋转等的抗干扰能力较强。说明本发明提出的多特征融合和抗遮挡策略对提升鲁棒性有显著作用。此外,本发明方法的跟踪速度达到41.3FPS,仅次于KCF和DSST,基本符合跟踪场景的实时性需求。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种基于多峰值检测的抗遮挡行人跟踪方法,其特征在于:所述方法包括:
步骤S1***参数初始化:进行正负样本的密集采样,进行目标检测获得行人的初始位置,生成初始目标模板,初始化跟踪滤波器的参数;
步骤S2行人跟踪:将FHOG特征得到的滤波器响应值FFHOG和由Color Naming颜色特征得到的滤波器响应值FCN进行自适应融合,获得融合响应Fsum,其峰值Fmax对应位置作为跟踪位置中心;
步骤S3行人遮挡判断:对于每一帧图像的跟踪行人进行遮挡判断,当置信度峰值Fmax和平均峰值相关能量APCE均大于对应阈值时判断无遮挡,前往步骤S5,否则判断行人存在遮挡干扰,则转到步骤S4;
步骤S4行人遮挡下的处理方法:多峰值检测判断当前帧存在行人遮挡时,暂停当前帧的***训练,进入下一帧图像返回步骤S3直至完成最后一帧图像处理;
步骤S5行人未遮挡处理方法:多峰值检测判断当前帧无行人遮挡时,继续当前帧的***训练,进入下一帧图像返回步骤S3直至完成最后一帧图像处理。
2.根据权利要求1所述的基于多峰值检测的抗遮挡行人跟踪方法,其特征在于:所述步骤S2中融合响应Fsum的计算方法为
Fsum=(1-γ)FFHOG+γFCN
式中,FFHOG表示对FHOG特征的滤波器响应图,FCN表示Color naming特征的滤波器响应图,γ表示动态融合度。
3.根据权利要求1所述的基于多峰值检测的抗遮挡行人跟踪方法,其特征在于:所述步骤S2中Color Naming颜色特征的提取流程如下:
a)读入当前帧RGB图像imgRGB,维度为M×N×3;
b)对imgRGB的每个像素点,计算索引值index:
index=1+INT(r(x,y)/8)+32*(INT(g(x,y)/8))+32*32*(INT(b(x,y)/8))其中r(x,y)、g(x,y)、b(x,y)分别表示像素点(x,y)处的R、G、B通道值,INT(x)是取整函数;
c)根据索引值在映射矩阵mat中找到对应列作为该像素点(x,y)的CN特征,维数为11,存入CN特征图imgCN的像素点(x,y);
d)输出当前帧CN特征图像imgCN,维度M×N×11。
4.根据权利要求2所述的基于多峰值检测的抗遮挡行人跟踪方法,其特征在于:所述动态融合度γ满足:
式中,Smax表示行人目标模板和各背景子图之间特征相似度的最大值,δmax和δmin分别为特征融合的上限和下限阈值。
5.根据权利要求1所述的基于多峰值检测的抗遮挡行人跟踪方法,其特征在于:所述步骤S3具体包括:
步骤S31计算联合置信度:选用当前第t帧的总响应峰值Fmax.t和平均峰值相关能量APCEt作为判断响应是否含有多峰值的联合置信度;
步骤S32计算联合置信度阈值:对于当前帧,融合响应峰值Fmax.t的阈值Fmaxt.thre表示为其历史平均值与比例因子θFmax的乘积,平均峰值相关能量APCEt的阈值APCEt.thre分别表示为其历史平均值与比例因子θAPCE的乘积;
步骤S33遮挡标志位判断:对于当前第t帧,当置信度响应峰值Fmax.t和平均峰值相关能量APCEt均大于对应阈值时,判断当前帧无遮挡,否则判断当前帧存在遮挡,判断有无遮挡的标志位flagt表示为:
6.根据权利要求5所述的基于多峰值检测的抗遮挡行人跟踪方法,其特征在于:对于当前第t帧,当步骤S33中的遮挡标志位flagt=1时进入步骤S4,由于此时存在遮挡,保存当前的行人模板,并将学习率β置0以停止滤波器参数的更新,即:
xt=xt-1
αt=αt-1
式中,αt表示第t帧的滤波器参数,xt表示第t帧行人模板。
7.根据权利要求5所述的基于多峰值检测的抗遮挡行人跟踪方法,其特征在于:对于当前第t帧,当步骤S33中的遮挡标志位flag=0时进入步骤S5,由于此时无行人遮挡,恢复当前第t帧的滤波器参数αt和行人模板xt更新如下:
xt=(1-β)×xt-1+β×x′t
αt=(1-β)×αt-1+β×α′t
式中,β表示学习率,xt-1、αt-1表示第t-1帧的行人模板和滤波器参数,x′t、α′t表示由第t-1帧训练得到的行人模板和滤波器参数。
8.根据权利要求5所述的基于多峰值检测的抗遮挡行人跟踪方法,其特征在于:当前第t帧平均峰值相关能量APCEt的计算方法为:
其中,Fmax、Fmin分别当前第t帧的滤波器响应图的最大值和最小值,Fw.h代表响应图中第w行、第h列的值,mean函数代表求数组平均值的函数。
9.根据权利要求8所述的基于多峰值检测的抗遮挡行人跟踪方法,其特征在于:所述平均峰值相关能量APCEt的阈值APCEt.thre的计算方法为:
所述融合响应峰值Fmax.t的阈值Fmaxt.thre的计算方法为:
式中,θFmax表示融合响应比例因子,θAPCE表示平均峰值相关能量比例因子。
10.根据权利要求4所述的基于多峰值检测的抗遮挡行人跟踪方法,其特征在于:所述行人目标模板和各背景子图之间特征相似度的最大值smax=max(s(qu,pu(yj))),s(qu,pu(yj))表示行人模板直方图qu和背景子图直方图特征pu(yj)间的特征相似度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910696761.8A CN110414439B (zh) | 2019-07-30 | 2019-07-30 | 基于多峰值检测的抗遮挡行人跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910696761.8A CN110414439B (zh) | 2019-07-30 | 2019-07-30 | 基于多峰值检测的抗遮挡行人跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110414439A true CN110414439A (zh) | 2019-11-05 |
CN110414439B CN110414439B (zh) | 2022-03-15 |
Family
ID=68364304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910696761.8A Active CN110414439B (zh) | 2019-07-30 | 2019-07-30 | 基于多峰值检测的抗遮挡行人跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110414439B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161324A (zh) * | 2019-11-20 | 2020-05-15 | 山东工商学院 | 一种基于自适应多模更新策略的目标跟踪方法 |
CN111260689A (zh) * | 2020-01-16 | 2020-06-09 | 东华大学 | 一种有效的置信度增强相关滤波视觉跟踪算法 |
CN111340846A (zh) * | 2020-02-25 | 2020-06-26 | 重庆邮电大学 | 一种多特征融合的抗遮挡目标跟踪方法 |
CN111476825A (zh) * | 2020-03-10 | 2020-07-31 | 重庆邮电大学 | 基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法 |
CN111539987A (zh) * | 2020-04-01 | 2020-08-14 | 上海交通大学 | 基于判别模型的遮挡检测***及方法 |
CN111968153A (zh) * | 2020-07-16 | 2020-11-20 | 新疆大学 | 基于相关滤波和粒子滤波的长时间目标跟踪方法及*** |
CN112164093A (zh) * | 2020-08-27 | 2021-01-01 | 同济大学 | 一种基于边缘特征和相关滤波的人物自动跟踪方法 |
CN112734806A (zh) * | 2021-01-14 | 2021-04-30 | 河海大学 | 基于峰值尖锐指导置信度的视觉目标跟踪方法与装置 |
CN117576380A (zh) * | 2024-01-16 | 2024-02-20 | 成都流体动力创新中心 | 一种目标自主检测跟踪方法及*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
US20170345165A1 (en) * | 2016-05-27 | 2017-11-30 | Intel Corporation | Correcting Short Term Three-Dimensional Tracking Results |
CN108664930A (zh) * | 2018-05-11 | 2018-10-16 | 西安天和防务技术股份有限公司 | 一种智能的多目标检测跟踪方法 |
CN108734723A (zh) * | 2018-05-11 | 2018-11-02 | 江南大学 | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 |
CN109035300A (zh) * | 2018-07-05 | 2018-12-18 | 桂林电子科技大学 | 一种基于深度特征与平均峰值相关能量的目标跟踪方法 |
CN109064491A (zh) * | 2018-04-12 | 2018-12-21 | 江苏省基础地理信息中心 | 一种自适应分块的核相关滤波跟踪方法 |
CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
CN109816693A (zh) * | 2019-01-28 | 2019-05-28 | 中国地质大学(武汉) | 基于多峰响应的抗遮挡相关滤波跟踪方法及***/装置 |
-
2019
- 2019-07-30 CN CN201910696761.8A patent/CN110414439B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170345165A1 (en) * | 2016-05-27 | 2017-11-30 | Intel Corporation | Correcting Short Term Three-Dimensional Tracking Results |
CN107154024A (zh) * | 2017-05-19 | 2017-09-12 | 南京理工大学 | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 |
CN109064491A (zh) * | 2018-04-12 | 2018-12-21 | 江苏省基础地理信息中心 | 一种自适应分块的核相关滤波跟踪方法 |
CN108664930A (zh) * | 2018-05-11 | 2018-10-16 | 西安天和防务技术股份有限公司 | 一种智能的多目标检测跟踪方法 |
CN108734723A (zh) * | 2018-05-11 | 2018-11-02 | 江南大学 | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 |
CN109035300A (zh) * | 2018-07-05 | 2018-12-18 | 桂林电子科技大学 | 一种基于深度特征与平均峰值相关能量的目标跟踪方法 |
CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
CN109816693A (zh) * | 2019-01-28 | 2019-05-28 | 中国地质大学(武汉) | 基于多峰响应的抗遮挡相关滤波跟踪方法及***/装置 |
Non-Patent Citations (3)
Title |
---|
MENGMENG WANG ET AL: "Large Margin Object Tracking with Circulant Feature Maps", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
刘金花: "基于KCF的目标跟踪算法改进及GPU***实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
居超等: "一种抗遮挡尺度自适应核相关滤波器跟踪算法", 《上海理工大学学报》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161324A (zh) * | 2019-11-20 | 2020-05-15 | 山东工商学院 | 一种基于自适应多模更新策略的目标跟踪方法 |
CN111161324B (zh) * | 2019-11-20 | 2023-06-23 | 山东工商学院 | 一种基于自适应多模更新策略的目标跟踪方法 |
CN111260689B (zh) * | 2020-01-16 | 2022-10-11 | 东华大学 | 一种基于置信度增强的相关滤波视觉跟踪方法 |
CN111260689A (zh) * | 2020-01-16 | 2020-06-09 | 东华大学 | 一种有效的置信度增强相关滤波视觉跟踪算法 |
CN111340846A (zh) * | 2020-02-25 | 2020-06-26 | 重庆邮电大学 | 一种多特征融合的抗遮挡目标跟踪方法 |
CN111340846B (zh) * | 2020-02-25 | 2023-02-17 | 重庆邮电大学 | 一种多特征融合的抗遮挡目标跟踪方法 |
CN111476825A (zh) * | 2020-03-10 | 2020-07-31 | 重庆邮电大学 | 基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法 |
CN111476825B (zh) * | 2020-03-10 | 2022-08-26 | 重庆邮电大学 | 基于多示例学习和核相关滤波器的抗遮挡目标跟踪方法 |
CN111539987B (zh) * | 2020-04-01 | 2022-12-09 | 上海交通大学 | 基于判别模型的遮挡检测***及方法 |
CN111539987A (zh) * | 2020-04-01 | 2020-08-14 | 上海交通大学 | 基于判别模型的遮挡检测***及方法 |
CN111968153A (zh) * | 2020-07-16 | 2020-11-20 | 新疆大学 | 基于相关滤波和粒子滤波的长时间目标跟踪方法及*** |
CN112164093A (zh) * | 2020-08-27 | 2021-01-01 | 同济大学 | 一种基于边缘特征和相关滤波的人物自动跟踪方法 |
CN112734806A (zh) * | 2021-01-14 | 2021-04-30 | 河海大学 | 基于峰值尖锐指导置信度的视觉目标跟踪方法与装置 |
CN117576380A (zh) * | 2024-01-16 | 2024-02-20 | 成都流体动力创新中心 | 一种目标自主检测跟踪方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110414439B (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110414439A (zh) | 基于多峰值检测的抗遮挡行人跟踪方法 | |
CN110929560B (zh) | 融合目标检测与跟踪的视频半自动目标标注方法 | |
CN111640157B (zh) | 一种基于神经网络的棋盘格角点检测方法及其应用 | |
EP3857440A1 (en) | Method and apparatus for processing video stream | |
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
CN111709285A (zh) | 一种基于无人机的疫情防护监控方法、装置和存储介质 | |
CN107833221A (zh) | 一种基于多通道特征融合和机器学习的漏水监测方法 | |
CN107862240B (zh) | 一种多摄像头协同的人脸追踪方法 | |
CN113592911B (zh) | 表观增强深度目标跟踪方法 | |
CN109191488B (zh) | 一种基于csk与tld融合算法的目标跟踪***及方法 | |
CN107633226A (zh) | 一种人体动作跟踪识别方法及*** | |
CN109858547A (zh) | 一种基于bssd的目标检测方法与装置 | |
CN109902576B (zh) | 一种头肩图像分类器的训练方法及应用 | |
CN116188999B (zh) | 一种基于可见光和红外图像数据融合的小目标检测方法 | |
Liu et al. | Multi-type road marking recognition using adaboost detection and extreme learning machine classification | |
CN112541424A (zh) | 复杂环境下行人跌倒的实时检测方法 | |
CN111680713A (zh) | 一种基于视觉检测的无人机对地目标跟踪与逼近方法 | |
CN111105436B (zh) | 目标跟踪方法、计算机设备及存储介质 | |
CN108053425B (zh) | 一种基于多通道特征的高速相关滤波目标跟踪方法 | |
CN109887004A (zh) | 一种基于tld算法的无人船海域目标跟踪方法 | |
CN109584267A (zh) | 一种结合背景信息的尺度自适应相关滤波跟踪方法 | |
CN113011359A (zh) | 一种基于图像的同时检测平面结构和生成平面描述的方法及应用 | |
CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
KR20060121503A (ko) | 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 | |
CN110827319B (zh) | 一种基于局部敏感直方图改进的Staple目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |