CN108550161A - 一种尺度自适应核相关滤波快速目标跟踪方法 - Google Patents

一种尺度自适应核相关滤波快速目标跟踪方法 Download PDF

Info

Publication number
CN108550161A
CN108550161A CN201810228008.1A CN201810228008A CN108550161A CN 108550161 A CN108550161 A CN 108550161A CN 201810228008 A CN201810228008 A CN 201810228008A CN 108550161 A CN108550161 A CN 108550161A
Authority
CN
China
Prior art keywords
target
image block
window
adaption
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810228008.1A
Other languages
English (en)
Other versions
CN108550161B (zh
Inventor
胡栋
阮宏刚
颜慧芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810228008.1A priority Critical patent/CN108550161B/zh
Publication of CN108550161A publication Critical patent/CN108550161A/zh
Application granted granted Critical
Publication of CN108550161B publication Critical patent/CN108550161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种尺度自适应核相关滤波快速目标跟踪方法,通过在KCF框架中引入二维可变带宽高斯窗以促进前背景的分离并添加尺度估计模块,通过图像块特征点匹配结果来估计目标的尺度变化,在此基础上还可以结合位移预测来判断目标是否处于遮挡中。一旦目标处于遮挡中,则认为此时无尺度变换且不进行模板更新,进而通过这种方式强化跟踪的准确性。本发明的优点是计算简单、快速,能够在兼容尺度自适应的基础上显著提高运算效率。

Description

一种尺度自适应核相关滤波快速目标跟踪方法
技术领域
本发明涉及核相关滤波(Kernel Correlation Filter)目标跟踪技术,尤其涉及一种尺度自适应的快速核相关滤波目标跟踪,属于视频分析技术领域。
背景技术
目标跟踪是视频分析的核心问题之一,在人机交互、视频监控、增强现实等领域有广泛的应用。虽然在过去几十年来该技术的研究取得了很大的进展,但由于应用中存在光照变化、刚性形变、快速运动、部分遮挡、背景繁杂等多种因素,寻求快速稳定、适合对象变化的跟踪方法始终是一个挑战。
近年来,基于检测的跟踪(tracking-by-detection)是一种典型的目标跟踪模式。这种跟踪模式集在线学习与模板更新于一体,并从检测中获得新的位置信息。但这种模式需要在目标邻域内收集很多样本模板,而这些模板有很大一部分是重叠的,从而造成很高的冗余计算。为此,研究人员提出了基于循环核结构(CSK:Circulant Structure withKernels)的跟踪算法,有效提高了运算效率,并在此基础上进一步发展出基于核相关滤波(KCF:Kernel Correlation Filter)目标跟踪技术。KCF技术通过引入多特征通道概念,获得了目标跟踪鲁棒性和准确性提升,成为目前一类具有代表意义和应用前景的目标跟踪技术。
目前,对KCF目标跟踪的改进成为关注的热点之一,主要侧重于进一步提高其运算效率和对目标尺度变化的适应性。例如,一种为实时跟踪的自适应颜色特征[Danelljan M,Khan F S,Felsberg M,et al.Adaptive Color Attributes for Real-Time VisualTracking[C].IEEE Conference on Computer Vision and Pattern Recognition.IEEEComputer Society,2014:1090-1097.]。该方法将颜色属性分为11类,适时地选择比较显著的颜色,并采用一种类似于PCA的降维方法将特征向量从11维降到2维,提升了准确性,但是对多尺度目标的跟踪效果不够理想。另一种基于特征集成的尺度自适应核相关滤波跟踪[Li Y,Zhu J.A Scale Adaptive Kernel Correlation Filter Tracker with FeatureIntegration[C].European Conference on Computer Vision.Springer,Cham,2014:254-265.],该方法虽然可以解决目标的尺度变化问题,但由于其中包含7个预定义尺度比例,每次都需对图像块进行双线性插值以调整大小,复杂度很高,非常影响效率。综上所述,现有KCF的改进方法,难以兼顾尺度自适应与运算效率。
发明内容
本发明的目的在于:针对现有技术存在的缺陷,提出一种尺度自适应核相关滤波快速目标跟踪方法,在KCF框架中引入可变带宽高斯窗以促进前背景的分离并添加尺度估计模块,通过图像块特征点匹配结果来估计目标的尺度变化。
为了达到以上目的,本发明提供了一种尺度自适应核相关滤波快速目标跟踪方法,通过在KCF框架中引入二维可变带宽高斯窗以促进前背景的分离并添加尺度估计模块,通过图像块特征点匹配结果来估计目标的尺度变化,包括如下步骤:
步骤1.读取首帧图像,并进行初始训练:
步骤1.1.给定初始目标框(u,v,w,h),确定目标中心为pos1(u,v)、目标大小为target_sz(w,h),以目标中心截取W×H大小的图像块patch1,确定二维高斯窗gauss;
步骤1.2.对patch1提取f-HOG特征并对其加二维高斯窗,然后进行傅里叶变换,得到处理后图像块特征
步骤1.3.根据图像块特征进行傅里叶变换得频域高斯核自相关矩阵求出岭回归对偶空间学习参数设初始参考模板与参数模板分别为
步骤2.读取下一帧图像,进入检测模块:
步骤2.1.以pos1(u,v)为中心截取W×H大小的图像块patch2,对patch2提取f-HOG特征并对特征汉宁窗cos_w处理,然后进行傅里叶变换,即得处理后图像块特征
步骤2.2.将代入高斯核互相关并进行傅里叶变换,得频域核互相关矩阵同时获得所有可能位移的岭回归响应得分,最大得分所在位置便是目标预测位置pos2(u',v');
步骤3.进入自适应尺度估计模块:给patch1每个像素位置分配汉宁窗权值wi,对其加target_sz(w,h)大小二值掩膜以获得感兴趣的部分,并提取这一部分的Shi-Tomasi角点以及生成随机点,这些点表示为{a1,a2,Λ,an},滤除其中权值低于阈值T1的点,得到{a1,a2,Λ,am};利用Lucas Kanade前后向光流法在patch2中匹配剩余的特征点{a1,a2,Λ,am},滤除低于归一化互相关匹配中值和高于反向光流匹配误差中值的点对,留下可靠的点对集合{a1,a2,Λ,ak}和{b1,b2,Λ,bk};通过计算任意两特征点在相邻帧中的距离比例获得尺度分布集合并对此集合进行wi加权平均得到加权尺度值最终尺度为加权尺度与中值尺度的平均,即
步骤4.结合pos1(u,v)和pos2(u',v')之间的偏移向量m,与相邻帧可靠点对之间的相对位移向量得到绝对位移M={li|li=||bi-ai-scale*m||};若所述位移小于阈值T2,则认为是正常点对,否则认为是异常点对;
步骤5.统计正常点对与异常点对的数量,若异常点对的个数小于正常点对的个数,则更新跟踪框大小,即target_sz(w,h)=target_sz(w,h)*scale,此时设插值系数factor为0.02;否则,则认为目标处于遮挡中,选择不更新跟踪框大小target_sz(w,h),并设插值系数为0;
步骤6.将pos1(u,v)更新为pos2(u',v')的值,以pos1(u,v)为中心截取W×H大小的图像块patch1,对patch1提取f-HOG特征并对其加高斯窗,然后进行傅里叶变换,即得处理后图像块特征代入高斯核函数中并进行傅里叶变换,得频域高斯核自相关矩阵利用该结果求出岭回归对偶空间学习参数并根据target_sz大小更新高斯标记的方差σ';
步骤7.线性插值更新参考模板model_xf与学习参数model_α,即
model_xf=(1-factor)*model_xf+factor*xf
步骤8.判断当前帧是否为最后一帧,若是,则结束,否则转入步骤2。
本发明的进一步限定技术方案为:所述步骤1中,目标中心搜索区域大小window_sz(W,H)为2.5倍初始目标外接矩形大小。
进一步的,所述二维高斯窗函数,如(1)式所示
gauss_w=G(m,n,σwh)=g(m,σw)*g(h,σh)' (1)
式中,m、n是图像块特征的宽和高,带宽σ·在水平和竖直方向分别计算,也就是说将目标尺寸(w,h)与window_sz(W,H)尺寸在水平和垂直方向之间的比值作为计算方差值的标准,即
所述高斯核相关函数如(2)式所示,
其中,x和x'分别为处理后的图像块,σ为0.5,为矩阵的元素级乘法,表示表示参数在傅里叶域的形式;
fhog(x)函数表示对图像块x提取f-HOG特征,其中cell为4,方向数为9。
所述岭回归在对偶空间中的解的形式如(3)式所示,
其中,为岭回归标记函数,即以图像块特征中心为峰值位置的二维高斯函数,其方差λ为正则化系数,表示元素级除法;
所述岭回归响应得分函数如(4)式所示,
其中kzx为核互相关矩阵,α为学习参数。
所述cos_w=h(m)*h(n)'为二维汉宁窗函数,其中m,n分别为图像块特征的宽和高。
进一步的,所述步骤1和步骤6以可变带宽高斯窗代替原有的汉宁窗:
汉宁窗受限于window_sz的大小,一旦此区域确定便始终保持不变,而高斯窗可以通过方差来调整控制分布的带宽以促进前景与背景的分离。若m,n是图像块特征的宽和高,那么这里将目标尺寸(w',h')与特征尺寸在水平和垂直方向之间的比值作为计算方差值的标准,即也就是说,这里将目标尺寸(w,h)与window_sz(W,H)尺寸在水平和垂直方向之间的比值作为计算方差值的标准,即
本发明提出的一种尺度自适应核相关滤波快速目标跟踪方法,在KCF框架中引入可变带宽高斯窗以促进前背景的分离并添加尺度估计模块,通过图像块特征点匹配结果来估计目标的尺度变化。在计算量上,若图像块中有n个像素,核相关操作只需要在傅里叶域进行乘积运算,计算复杂度为O(nlogn),而对于尺度估计模块,运行时间主要集中在特征提取和光流特征点匹配上,计算复杂度为O(kn),k为特征点个数,并且远小于n。可见,在KCF框架的基础上,加入尺度估计模块仅付出了很小的计算代价。
另外,在此基础上还可以结合位移预测来判断目标是否处于遮挡中。一旦目标处于遮挡中,则认为此时无尺度变换且不进行模板更新,进而通过这种方式强化跟踪的准确性。
本发明提出的一种尺度自适应核相关滤波快速目标跟踪方法,在现有KCF的基础上,引入二维可调带宽的高斯窗代替原有的汉宁窗,通过调整方差适时控制分布,在目标大小变化时更好地实现前景与背景的分离,同时结合稀疏关键点匹配来估计目标的位置和尺度,从而扩展了KCF处理尺度变化的能力。同时,由于本发明的这种尺度估计方法属于内插式操作,不会改变原KCF的处理流程,同样也可适用于原生相关滤波的变种。
与现有技术相比,本发明不仅能提高目标在复杂场景和外观变化中的目标跟踪的鲁棒性,实现高效准确地处理目标尺度变化,同时计算处理更加简单、快速,能够在兼容尺度自适应的基础上显著提高运算效率。
附图说明
下面结合附图对本发明作进一步的说明。
图1为本发明的快速的尺度自适应核相关滤波跟踪的流程框图。
图2(a)为本发明的Singer1实例说明图的第一帧图像。
图2(b)为本发明的Singer1实例说明图的第二帧图像。
图3为本发明的高斯窗函数示意图。
图4(a)为本发明的Shi-Tomasi角点匹配结果图的第一帧图像块。
图4(b)为本发明的Shi-Tomasi角点匹配结果图的第二帧图像块。
图5(a)为本发明的跟踪性能对比图的平均精确度曲线图。
图5(b)为本发明的跟踪性能对比图的平均成功率曲线图。
图6(a)为本发明的部分跟踪结果效果图carScale视频序列效果图。
图6(b)为本发明的部分跟踪结果效果图car4视频序列效果图。
图6(c)为本发明的部分跟踪结果效果图singer1视频序列效果图。
图6(d)为本发明的部分跟踪结果效果图walking2视频序列效果图。
图6(e)为本发明的部分跟踪结果效果图jogging-1视频序列效果图。
图6(f)为本发明的部分跟踪结果效果图jogging-2视频序列效果图。
具体实施方式
为使本发明的目的、实现方案和优点更为清晰,下面结合附图对本发明的技术方案进行详细说明:
本发明提供的一种尺度自适应核相关滤波快速目标跟踪方法,其流程如图1所示,由图虚线框可见,本发明并未对原始框架做出完全破坏性的改造,而用可变带宽高斯窗替换了训练部分的汉宁窗,并且增加了尺度估计模块以及修改了相应的模型更新策略。
函数及参数说明:
目标中心搜索区域大小window_sz(W,H)为2.5倍初始目标外接矩形大小。
二维高斯窗函数由式(1)给出
gauss_w=G(m,n,σwh)=g(m,σw)*g(h,σh)' (1)
其中m,n是图像块特征的宽和高,带宽σ·在水平和竖直方向分别计算,也就是说将目标尺寸(w,h)与window_sz(W,H)尺寸在水平和垂直方向之间的比值作为计算方差值的标准,即
高斯核相关函数由式(2)表示
其中x和x'分别为处理后的图像块,σ为0.5,为矩阵的元素级乘法,表示参数在傅里叶域的形式,以下仍沿用这种表示方式。
fhog(x)函数表示对图像块x提取f-HOG特征,其中cell为4,方向数为9。
式(3)表示岭回归在对偶空间中的解的形式
其中为岭回归标记函数,即以图像块特征中心为峰值位置的二维高斯函数,其方差λ为正则化系数,表示元素级除法。
cos_w=h(m)*h(n)'为二维汉宁窗函数,其中m,n分别为图像块特征的宽和高。
式(4)表示岭回归响应得分函数
其中kzx为核互相关矩阵,α为学习参数。
该方法具体包括以下步骤:
步骤1、读取首帧图像,并进行初始训练:
给定初始目标框(u,v,w,h),其中目标中心为pos1(u,v)和目标大小为target_sz(w,h),以pos1(u,v)为中心截取W×H大小的图像块patch1,以式(1)中的准则确定二维高斯窗gauss。对patch1提取f-HOG特征并对其加二维高斯窗,然后进行傅里叶变换,即得处理后图像块特征代入式(2)并进行傅里叶变换得频域高斯核自相关矩阵将结果代入式(3)求出岭回归对偶空间学习参数设初始参考模板与参数模板分别为
步骤2、读取下一帧,以pos1(u,v)为中心截取W×H大小的图像块patch2,对patch2提取f-HOG特征并对特征汉宁窗cos_w处理,然后进行傅里叶变换,即得处理后图像块特征代入式(2)并进行傅里叶变换,得频域核互相关矩阵同时将代入式(4)以获得所有可能位移的岭回归响应得分,最大得分所在位置便是目标预测位置pos2(u',v')。
步骤3、给patch1每个像素位置分配汉宁窗权值wi,对其加target_sz(w,h)大小掩膜以获得感兴趣的部分,并提取这一部分的Shi-Tomasi角点以及生成随机点,这些点表示为{a1,a2,Λ,an},滤除其中权值低于阈值T1的点,得到{a1,a2,Λ,am}。利用Lucas Kanade前后向光流法在patch2中匹配剩余的特征点{a1,a2,Λ,am},滤除低于归一化互相关匹配中值和高于反向光流匹配误差中值的点对,留下可靠的点对集合{a1,a2,Λ,ak}和{b1,b2,Λ,bk}。通过计算任意两特征点在相邻帧中的距离比例获得尺度分布集合并对此集合进行wi加权平均得到加权尺度值最终尺度为加权尺度与中值尺度的平均,即
步骤4、结合pos1(u,v)和pos2(u',v')之间的偏移向量m,与相邻帧可靠点对之间的相对位移向量得到绝对位移M={li|li=||bi-ai-scale*m||},如果这个位移小于阈值T2,则认为是正常点对,否则认为是异常点对。
步骤5、统计正常与异常点对的数量,若异常点对的个数小于正常点对的个数,更新跟踪框大小,即target_sz(w,h)=target_sz(w,h)*scale,这时设插值系数factor为0.02。否则,则认为目标出于遮挡中,不更新target_sz(w,h),并设插值系数为0。
步骤6、将pos1(u,v)更新为pos2(u',v')的值,以pos1(u,v)为中心截取W×H大小的图像块patch1,以式(1)中的准则确定二维高斯窗gauss。对patch1提取f-HOG特征并对其加高斯窗,然后进行傅里叶变换,即得处理后图像块特征代入式(2)并进行傅里叶变换得频域高斯核自相关矩阵将结果代入式(3)求出岭回归对偶空间学习参数并根据target_sz大小更新高斯标记的方差σ'。
步骤7、线性插值更新参考模板model_xf与学习参数model_α,即
model_xf=(1-factor)*model_xf+factor*xf
步骤8、判断当前帧是否为最后一帧,若是,则结束,否则转步骤2。
基于上述发明内容,下面我们用实例Singer1(图2)来说明:
给定初始目标框(47,99,43,145),其中初始目标中心为pos1(47,99)且目标大小target_sz为43×145,目标中心搜索区域window_sz为43×145。
对于训练模块,从第1帧图像中以pos1为中心截取window_sz大小的图像块patch1(43×145),根据target_sz(43×145)与window_sz(107×362)在水平和垂直方向的比值为方差(σw=0.40,σh=0.40)确定特征大小高斯窗gauss。对patch1提取f-HOG特征(26×90)并对其进行高斯窗加权,然后进行傅里叶变换,即得处理后图像块特征代入计算高斯核自相关函数并进行傅里叶变换得进而代入岭回归对偶空间的解公式求出学习参数设初始参考模板与参数模板分别为
图3为可变带宽高斯窗函数示意图。由图可知,高斯函数的峰值位置受期望值μ决定,而带宽受方差σ2决定。σ描述了数据分布的离散程度,σ越大,数据分布越分散,σ越小,数据分布越集中。也就是说σ越大,曲线带宽越大,反之,带宽越小。循环获取样本时,原算法是加汉宁窗提取,但汉宁窗不能随目标大小变化而改变提取的尺寸。当目标尺度变小时,会使接下来的训练中,引入更多的背景信息进入正样本;当目标尺度变大时,正样本只能包含目标的一部分。这两种情况都会造成跟踪的不准确性。高斯窗函数可以根据方差σ2的变化而适时地调整带宽,以当前帧目标大小与跟踪区域大小的比值作为方差控制二维高斯窗的带宽,从而间接地控制正样本的大小。与此同时,高斯标记的方差也随目标的尺度作出相应的调整。
对于检测模块,在第2帧图像中以pos1(47,99)为中心截取window_sz大小(43×145)的图像块patch2(107×362),并对patch2提取f-HOG特征(26×90)并进行汉宁窗加权处理。而后进行傅里叶变换,即得代入计算高斯核互相关并进行傅里叶变换,得进而代入以获得以pos1为中心的window_sz区域中所有可能位移的岭回归响应得分,最大得分所在位置便是目标预测位置pos2(47,99)。
尺度估计模块中,给patch1每个像素位置分配汉宁窗权值wi,对其加target_sz(43×145)大小二值掩膜以获得感兴趣的部分,并提取这一部分的Shi-Tomasi角点以及生成随机点,这些点表示为{a1,a2,Λ,an},滤除权值低于阈值(0.86)的点,得到{a1,a2,Λ,am},如图4(a)所示。利用Lucas Kanade前后向光流法在patch2中匹配剩余的特征点{a1,a2,Λ,am},如图4(b)所示,滤除低于归一化互相关匹配中值(0.9994)和高于反向光流匹配误差中值(0.0065)的点对,留下可靠的点对集合{a1,a2,Λ,ak}和{b1,b2,Λ,bk}。通过计算任意两特征点在相邻帧中的距离比例获得尺度分布集合并对此集合进行wi加权平均得到加权尺度值(0.9986),最终尺度为加权尺度与中值尺度(0.9981)的平均,即结合pos1(47,99)和pos2(47,99)之间的偏移向量m(0,0),与相邻帧可靠点对之间的相对位移向量得到绝对位移M={li|li=||bi-ai-scale*m||},如果这个位移低于阈值(5pixel),则认为是正常点对,否则认为是异常点对。统计正常与异常点对的数量,若异常点对的个数(0)小于正常点对的个数(13),更新跟踪框大小,即target_sz=target_sz*scale,(42.9292,144.7613),设插值系数factor为0.02。否则,则认为目标出于遮挡中,不更新target_sz,设差值系数为0。将pos1(47,99)更新为pos2的值(47,99),循环。
为验证本发明方法的效果,进行了以下验证实验
本发明实验的硬件及软件仿真环境如表1所示:
CPU Intel(R)Core(TM)[email protected]
内存 4G
操作*** Window 7
开发环境 MATLAB2012a、Visual Studio 2010
编程语言 MATLAB、C/C++
表1硬件及软件环境
本发明采用OTB(Online Tracking Benchmark)平台上的50个公认的、已标注的视频序列来进行测试,它们模拟真实场景中的各种情况,包含光照变化、尺度变换、部分或严重遮挡、形变等。
在OTB测试平台上,主要有两种评价标准:精确度(Precision Plot)和成功率(Success Plot)。
在跟踪过程中,算法估计的目标位置称之为预测值,人工标注的目标位置称之为真实值,两者之间差值小于给定阈值的情况占总帧的百分比,称之为精确度,一般来说阈值设定为20个像素。给定的阈值不同,通常得到的精确度也不一样,将所有情况的精确度结合起来便可以拟合成一条曲线。
为了方便起见,将算法跟踪结果记为BT,真实目标框记为BG,面积统计函数记为Area(),那么跟踪覆盖率为:在视频帧中,如果覆盖率大于给定阈值,则目标被成功跟踪,而成功跟踪帧占总帧的百分比,称之为成功率,一般来说阈值设定为0.5。给定的阈值不同,通常得到的成功率也不一样,将所有情况的成功率结合起来便可以绘制成一条曲线。
综上所述,精确度和成功率越高,目标跟踪的性能越好。
而评价跟踪效率的标准采用每秒的处理帧数(帧/秒),算法每秒处理的帧数越多,说明跟踪实时性越好。
如图5所示,根据50个视频序列的运行结果显示,本发明方法在平均准确度和平均成功率都取得了很好的效果。具体来说,相比于原始算法,本发明在平均准确度上提高了6.08%,平均成功率提高了17.50%,同时在运行效率上,本发明方法可以达到53.4629帧/秒的平均速度。而SAMF与我们的发明目的一致,但运行速度只有大约7帧/秒。而CN虽然速度上很快,但跟踪框不能随目标大小而改变,对多尺度目标跟踪的效果不佳。
图6为本发明运行结果的部分跟踪效果图。红色为原始算法的跟踪框,而绿色为本发明方法的跟踪框。由图可知,跟踪框随着目标大小的变化而变化,而在jogging中,当遇到遮挡时,原始算法跟踪失败,而本发明方法可以继续跟踪。
需要说明的是,以上所述仅为本发明的一个具体实施例,并不用以限制本发明,本实施例中所用数据集和攻击模式仅限于本实施例,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种尺度自适应核相关滤波快速目标跟踪方法,其特征在于:通过在KCF框架中引入二维可变带宽高斯窗以促进前背景的分离并添加尺度估计模块,通过图像块特征点匹配结果来估计目标的尺度变化,包括如下步骤:
步骤1.读取首帧图像,并进行初始训练:
步骤1.1.给定初始目标框(u,v,w,h),确定目标中心为pos1(u,v)、目标大小为target_sz(w,h),以目标中心截取W×H大小的图像块patch1,确定二维高斯窗gauss;
步骤1.2.对patch1提取f-HOG特征并对其加二维高斯窗,然后进行傅里叶变换,得到处理后图像块特征
步骤1.3.根据图像块特征进行傅里叶变换得频域高斯核自相关矩阵求出岭回归对偶空间学习参数设初始参考模板与参数模板分别为model_xf=xf,
步骤2.读取下一帧图像,进入检测模块:
步骤2.1.以pos1(u,v)为中心截取W×H大小的图像块patch2,对patch2提取f-HOG特征并对特征汉宁窗cos_w处理,然后进行傅里叶变换,即得处理后图像块特征
步骤2.2.将代入高斯核互相关并进行傅里叶变换,得频域核互相关矩阵同时获得所有可能位移的岭回归响应得分,最大得分所在位置便是目标预测位置pos2(u',v');
步骤3.进入自适应尺度估计模块:给patch1每个像素位置分配汉宁窗权值wi,对其加target_sz(w,h)大小二值掩膜以获得感兴趣的部分,并提取这一部分的Shi-Tomasi角点以及生成随机点,这些点表示为{a1,a2,Λ,an},滤除其中权值低于阈值T1的点,得到{a1,a2,Λ,am};利用Lucas Kanade前后向光流法在patch2中匹配剩余的特征点{a1,a2,Λ,am},滤除低于归一化互相关匹配中值和高于反向光流匹配误差中值的点对,留下可靠的点对集合{a1,a2,Λ,ak}和{b1,b2,Λ,bk};通过计算任意两特征点在相邻帧中的距离比例获得尺度分布集合并对此集合进行wi加权平均得到加权尺度值最终尺度为加权尺度与中值尺度的平均,即
步骤4.结合pos1(u,v)和pos2(u',v')之间的偏移向量m,与相邻帧可靠点对之间的相对位移向量得到绝对位移M={li|li=||bi-ai-scale*m||};若所述位移小于阈值T2,则认为是正常点对,否则认为是异常点对;
步骤5.统计正常点对与异常点对的数量,若异常点对的个数小于正常点对的个数,则更新跟踪框大小,即target_sz(w,h)=target_sz(w,h)*scale,此时设插值系数factor为0.02;否则,则认为目标处于遮挡中,选择不更新跟踪框大小target_sz(w,h),并设插值系数为0;
步骤6.将pos1(u,v)更新为pos2(u',v')的值,以pos1(u,v)为中心截取W×H大小的图像块patch1,对patch1提取f-HOG特征并对其加高斯窗,然后进行傅里叶变换,即得处理后图像块特征代入高斯核函数中并进行傅里叶变换,得频域高斯核自相关矩阵利用该结果求出岭回归对偶空间学习参数并根据target_sz大小更新高斯标记的方差σ';
步骤7.线性插值更新参考模板model_xf与学习参数model_α,即
model_xf=(1-factor)*model_xf+factor*xf
步骤8.判断当前帧是否为最后一帧,若是,则结束,否则转入步骤2。
2.根据权利要求1所述的尺度自适应核相关滤波快速目标跟踪方法,其特征在于:所述步骤1中,目标中心搜索区域大小window_sz(W,H)为2.5倍初始目标外接矩形大小。
3.根据权利要求1所述的尺度自适应核相关滤波快速目标跟踪方法,其特征在于:所述二维高斯窗函数,如(1)式所示
gauss_w=G(m,n,σwh)=g(m,σw)*g(h,σh)' (1)
式中,m、n是图像块特征的宽和高,带宽σ·在水平和竖直方向分别计算,也就是说将目标尺寸(w,h)与window_sz(W,H)尺寸在水平和垂直方向之间的比值作为计算方差值的标准,即
4.根据权利要求1所述的尺度自适应核相关滤波快速目标跟踪方法,其特征在于:所述高斯核相关函数如(2)式所示,
其中,x和x'分别为处理后的图像块,σ为0.5,为矩阵的元素级乘法,表示表示参数在傅里叶域的形式;
fhog(x)函数表示对图像块x提取f-HOG特征,其中cell为4,方向数为9。
5.根据权利要求1所述的尺度自适应核相关滤波快速目标跟踪方法,其特征在于:所述岭回归在对偶空间中的解的形式如(3)式所示,
其中,为岭回归标记函数,即以图像块特征中心为峰值位置的二维高斯函数,其方差λ为正则化系数,表示元素级除法;
所述岭回归响应得分函数如(4)式所示,
其中kzx为核互相关矩阵,α为学习参数。
6.根据权利要求1所述的尺度自适应核相关滤波快速目标跟踪方法,其特征在于:所述cos_w=h(m)*h(n)'为二维汉宁窗函数,其中m,n分别为图像块特征的宽和高。
7.根据权利要求1所述的尺度自适应核相关滤波快速目标跟踪方法,其特征在于:所述步骤1和步骤6以可变带宽高斯窗代替原有的汉宁窗:
汉宁窗受限于window_sz的大小,一旦此区域确定便始终保持不变,而高斯窗可以通过方差来调整控制分布的带宽以促进前景与背景的分离;若m,n是图像块特征的宽和高,将目标尺寸(w',h')与特征尺寸在水平和垂直方向之间的比值作为计算方差值的标准,即
也就是说,将目标尺寸(w,h)与window_sz(W,H)尺寸在水平和垂直方向之间的比值作为计算方差值的标准,即
CN201810228008.1A 2018-03-20 2018-03-20 一种尺度自适应核相关滤波快速目标跟踪方法 Active CN108550161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810228008.1A CN108550161B (zh) 2018-03-20 2018-03-20 一种尺度自适应核相关滤波快速目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810228008.1A CN108550161B (zh) 2018-03-20 2018-03-20 一种尺度自适应核相关滤波快速目标跟踪方法

Publications (2)

Publication Number Publication Date
CN108550161A true CN108550161A (zh) 2018-09-18
CN108550161B CN108550161B (zh) 2021-09-14

Family

ID=63516650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810228008.1A Active CN108550161B (zh) 2018-03-20 2018-03-20 一种尺度自适应核相关滤波快速目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108550161B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858455A (zh) * 2019-02-18 2019-06-07 南京航空航天大学 一种针对圆形目标的分块检测尺度自适应跟踪方法
CN109859243A (zh) * 2019-01-18 2019-06-07 昆明理工大学 一种基于尺度自适应块粒子的运动目标跟踪方法
CN109886280A (zh) * 2019-02-21 2019-06-14 西安微电子技术研究所 一种基于核相关滤波的异源图像目标匹配方法
CN109977971A (zh) * 2019-03-29 2019-07-05 苏州大学 基于均值偏移与核相关滤波的尺度自适应目标跟踪***
CN109993052A (zh) * 2018-12-26 2019-07-09 上海航天控制技术研究所 一种复杂场景下尺度自适应的目标跟踪方法和***
CN109993777A (zh) * 2019-04-04 2019-07-09 杭州电子科技大学 一种基于双模板自适应阈值的目标跟踪方法及***
CN110033006A (zh) * 2019-04-04 2019-07-19 中设设计集团股份有限公司 基于颜色特征非线性降维的车辆检测跟踪方法
CN110032709A (zh) * 2019-01-24 2019-07-19 太原理工大学 一种用于地理坐标转换中异常点的定位与估值方法
CN110097575A (zh) * 2019-04-28 2019-08-06 电子科技大学 一种基于局部特征及尺度池的目标跟踪方法
CN110175649A (zh) * 2019-05-28 2019-08-27 南京信息工程大学 一种关于重新检测的快速多尺度估计目标跟踪方法
CN110276785A (zh) * 2019-06-24 2019-09-24 电子科技大学 一种抗遮挡红外目标跟踪方法
CN110298868A (zh) * 2019-06-26 2019-10-01 北京工业大学 一种高实时性的多尺度目标跟踪方法
CN110349177A (zh) * 2019-07-03 2019-10-18 广州多益网络股份有限公司 一种连续帧视频流的人脸关键点跟踪方法和***
CN110826403A (zh) * 2019-09-27 2020-02-21 深圳云天励飞技术有限公司 跟踪目标确定方法及相关设备
CN111161321A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法
CN111354022A (zh) * 2020-02-20 2020-06-30 中科星图股份有限公司 基于核相关滤波的目标跟踪方法及***
CN111563915A (zh) * 2020-05-06 2020-08-21 南京航空航天大学 一种融合运动信息检测和Radon变换的KCF目标跟踪方法
CN111814590A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 人员安全状态监测方法、设备及计算机可读存储介质
CN114119970A (zh) * 2022-01-29 2022-03-01 中科视语(北京)科技有限公司 目标跟踪方法及装置
CN115631359A (zh) * 2022-11-17 2023-01-20 诡谷子人工智能科技(深圳)有限公司 一种用于机器视觉识别的图像数据处理方法和装置
CN115797647A (zh) * 2022-11-14 2023-03-14 西安电子科技大学广州研究院 一种嵌入式开放环境下的目标稳定跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557774A (zh) * 2015-09-29 2017-04-05 南京信息工程大学 多通道核相关滤波的实时跟踪方法
CN107240122A (zh) * 2017-06-15 2017-10-10 国家新闻出版广电总局广播科学研究院 基于时空连续相关滤波的视频目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557774A (zh) * 2015-09-29 2017-04-05 南京信息工程大学 多通道核相关滤波的实时跟踪方法
CN107240122A (zh) * 2017-06-15 2017-10-10 国家新闻出版广电总局广播科学研究院 基于时空连续相关滤波的视频目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDR´ES SOL´IS MONTERO等: "Scalable Kernel Correlation Filter with Sparse Feature Integration", 《2015ICCVW》 *
李麒骥: "尺度自适应的核相关滤波***", 《计算机应用》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993052B (zh) * 2018-12-26 2021-04-13 上海航天控制技术研究所 一种复杂场景下尺度自适应的目标跟踪方法和***
CN109993052A (zh) * 2018-12-26 2019-07-09 上海航天控制技术研究所 一种复杂场景下尺度自适应的目标跟踪方法和***
CN109859243A (zh) * 2019-01-18 2019-06-07 昆明理工大学 一种基于尺度自适应块粒子的运动目标跟踪方法
CN110032709B (zh) * 2019-01-24 2023-04-14 太原理工大学 一种用于地理坐标转换中异常点的定位与估值方法
CN110032709A (zh) * 2019-01-24 2019-07-19 太原理工大学 一种用于地理坐标转换中异常点的定位与估值方法
CN109858455A (zh) * 2019-02-18 2019-06-07 南京航空航天大学 一种针对圆形目标的分块检测尺度自适应跟踪方法
CN109886280A (zh) * 2019-02-21 2019-06-14 西安微电子技术研究所 一种基于核相关滤波的异源图像目标匹配方法
CN109886280B (zh) * 2019-02-21 2022-05-31 西安微电子技术研究所 一种基于核相关滤波的异源图像目标匹配方法
CN109977971A (zh) * 2019-03-29 2019-07-05 苏州大学 基于均值偏移与核相关滤波的尺度自适应目标跟踪***
CN110033006A (zh) * 2019-04-04 2019-07-19 中设设计集团股份有限公司 基于颜色特征非线性降维的车辆检测跟踪方法
CN109993777A (zh) * 2019-04-04 2019-07-09 杭州电子科技大学 一种基于双模板自适应阈值的目标跟踪方法及***
CN109993777B (zh) * 2019-04-04 2021-06-29 杭州电子科技大学 一种基于双模板自适应阈值的目标跟踪方法及***
CN110097575A (zh) * 2019-04-28 2019-08-06 电子科技大学 一种基于局部特征及尺度池的目标跟踪方法
CN110097575B (zh) * 2019-04-28 2022-07-01 电子科技大学 一种基于局部特征及尺度池的目标跟踪方法
CN110175649A (zh) * 2019-05-28 2019-08-27 南京信息工程大学 一种关于重新检测的快速多尺度估计目标跟踪方法
CN110175649B (zh) * 2019-05-28 2022-06-07 南京信息工程大学 一种关于重新检测的快速多尺度估计目标跟踪方法
CN110276785A (zh) * 2019-06-24 2019-09-24 电子科技大学 一种抗遮挡红外目标跟踪方法
CN110276785B (zh) * 2019-06-24 2023-03-31 电子科技大学 一种抗遮挡红外目标跟踪方法
CN110298868B (zh) * 2019-06-26 2021-06-25 北京工业大学 一种高实时性的多尺度目标跟踪方法
CN110298868A (zh) * 2019-06-26 2019-10-01 北京工业大学 一种高实时性的多尺度目标跟踪方法
CN110349177B (zh) * 2019-07-03 2021-08-03 广州多益网络股份有限公司 一种连续帧视频流的人脸关键点跟踪方法和***
CN110349177A (zh) * 2019-07-03 2019-10-18 广州多益网络股份有限公司 一种连续帧视频流的人脸关键点跟踪方法和***
CN110826403A (zh) * 2019-09-27 2020-02-21 深圳云天励飞技术有限公司 跟踪目标确定方法及相关设备
CN110826403B (zh) * 2019-09-27 2020-11-24 深圳云天励飞技术有限公司 跟踪目标确定方法及相关设备
CN111161321A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法
CN111161321B (zh) * 2019-12-31 2023-07-04 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法
CN111354022A (zh) * 2020-02-20 2020-06-30 中科星图股份有限公司 基于核相关滤波的目标跟踪方法及***
CN111354022B (zh) * 2020-02-20 2023-08-22 中科星图股份有限公司 基于核相关滤波的目标跟踪方法及***
CN111563915B (zh) * 2020-05-06 2023-04-14 南京航空航天大学 一种融合运动信息检测和Radon变换的KCF目标跟踪方法
CN111563915A (zh) * 2020-05-06 2020-08-21 南京航空航天大学 一种融合运动信息检测和Radon变换的KCF目标跟踪方法
CN111814590A (zh) * 2020-06-18 2020-10-23 浙江大华技术股份有限公司 人员安全状态监测方法、设备及计算机可读存储介质
CN111814590B (zh) * 2020-06-18 2023-09-29 浙江大华技术股份有限公司 人员安全状态监测方法、设备及计算机可读存储介质
CN114119970B (zh) * 2022-01-29 2022-05-03 中科视语(北京)科技有限公司 目标跟踪方法及装置
CN114119970A (zh) * 2022-01-29 2022-03-01 中科视语(北京)科技有限公司 目标跟踪方法及装置
CN115797647A (zh) * 2022-11-14 2023-03-14 西安电子科技大学广州研究院 一种嵌入式开放环境下的目标稳定跟踪方法
CN115797647B (zh) * 2022-11-14 2023-09-08 西安电子科技大学广州研究院 一种嵌入式开放环境下的目标稳定跟踪方法
CN115631359A (zh) * 2022-11-17 2023-01-20 诡谷子人工智能科技(深圳)有限公司 一种用于机器视觉识别的图像数据处理方法和装置

Also Published As

Publication number Publication date
CN108550161B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN108550161A (zh) 一种尺度自适应核相关滤波快速目标跟踪方法
CN108665481A (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN103514441B (zh) 基于移动平台的人脸特征点定位跟踪方法
CN110135500A (zh) 一种基于自适应深度特征滤波器的多场景下目标跟踪方法
CN108346159A (zh) 一种基于跟踪-学习-检测的视觉目标跟踪方法
CN107403175A (zh) 一种运动背景下的视觉跟踪方法及视觉跟踪***
CN101394546B (zh) 视频目标轮廓跟踪方法及装置
CN105678811A (zh) 一种基于运动检测的人体异常行为检测方法
CN104574445A (zh) 一种目标跟踪方法及装置
CN104933738B (zh) 一种基于局部结构检测和对比度的视觉显著图生成方法
CN102142085B (zh) 一种林区监控视频中运动火焰目标的鲁棒跟踪方法
CN110120065A (zh) 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及***
CN111340758B (zh) 一种基于深度神经网络的高效虹膜图像质量评价新方法
Zhang et al. A swarm intelligence based searching strategy for articulated 3D human body tracking
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN102270308A (zh) 一种基于五官相关aam模型的面部特征定位方法
CN113706581B (zh) 基于残差通道注意与多层次分类回归的目标跟踪方法
CN111582349A (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN109242883A (zh) 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法
CN109448307A (zh) 一种火源目标的识别方法和装置
CN109376736A (zh) 一种基于深度卷积神经网络的视频小目标检测方法
CN110309789A (zh) 基于深度学习的视频监控下人脸清晰度评价方法及装置
CN104680536A (zh) 利用改进的非局部均值算法对sar图像变化的检测方法
Ding et al. Machine learning model for feature recognition of sports competition based on improved TLD algorithm
CN111553337A (zh) 一种基于改进锚框的高光谱多目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant