CN105405151B - 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法 - Google Patents

基于粒子滤波和加权Surf的抗遮挡目标跟踪方法 Download PDF

Info

Publication number
CN105405151B
CN105405151B CN201510702412.4A CN201510702412A CN105405151B CN 105405151 B CN105405151 B CN 105405151B CN 201510702412 A CN201510702412 A CN 201510702412A CN 105405151 B CN105405151 B CN 105405151B
Authority
CN
China
Prior art keywords
target
template
particle
surf
occlusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510702412.4A
Other languages
English (en)
Other versions
CN105405151A (zh
Inventor
朱娟娟
许金利
李�诚
闫允
闫允一
张恩泽
李海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xihang Sichuang Intelligent Technology Xi'an Co ltd
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201510702412.4A priority Critical patent/CN105405151B/zh
Publication of CN105405151A publication Critical patent/CN105405151A/zh
Application granted granted Critical
Publication of CN105405151B publication Critical patent/CN105405151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于视频目标跟踪技术领域,具体涉及一种基于粒子滤波和加权Surf的抗遮挡目标跟踪方法,包括如下步骤:首先,目标模板初始化;然后,建立粒子状态转移和观测模型,采用粒子滤波预测目标候选区域;其次,计算遮挡因子并判断目标是否发生遮挡;再次,若遮挡,利用扩展卡尔曼滤波重新预测目标位置;此外,若未遮挡,对粒子滤波所确定的目标候选区域,提取Surf特征点并与目标模板匹配,精确定位目标的位置和区域;最后,根据配准特征点对的数量,决定是否采用遗忘因子的方式来动态更新模板;该方法,融合了粒子滤波、遮挡判定、扩展卡尔曼滤波、加权Surf配准等技术,提高了目标遮挡时跟踪的准确性和鲁棒性,具有良好的应用前景。

Description

基于粒子滤波和加权Surf的抗遮挡目标跟踪方法
技术领域
本发明属于视频目标跟踪技术领域,具体涉及一种基于粒子滤波和加权Surf的抗遮挡目标跟踪方法,即通过粒子滤波来初步预测目标,结合扩展卡尔曼实现目标部分遮挡或短暂全遮挡后的再次预测目标,并提出加权Surf来进一步精确定位目标,从而实现由粗到细的二级跟踪。
背景技术
视频目标跟踪是当今计算机视觉领域的前沿研究课题,同时也是热点问题。它的主要任务就是跟踪序列图像中的运动目标,对目标的行为进行理解和描述,进而进行其它处理。视频目标跟踪已经应用于众多领域:智能交通、安防监控、军事应用、人机交互、医学诊断等,因此研究视频目标跟踪技术具有重要的学术意义和实用价值。
目前最经典的目标跟踪算法是Meanshift算法,无需进行参数预测可以进行快速模式匹配,如中国专利文献中公开的一种抗遮挡目标轨迹预测跟踪方法(公告号:CN101853511B,2012年7月11日授权),其采用对应模板配准来确定目标的下一个位置,通过迭代找到新的中心点,但是其跟踪的准确性略逊于粒子滤波器。而粒子滤波算法能够有效地解决跟踪中的非线性、非高斯***的滤波问题,因而得到了国内外学者的深入研究和高度关注。
现有处理遮挡问题的粒子滤波目标跟踪算法主要有两种:(1)基于分块模板匹配的算法:该算法解决了常用的单一模板匹配易受异物或背景等的影响,通过对目标模板进行分块,利用多个子块对目标进行联合判决,使得对目标位置的判决更为准确,这类算法也适用于多目标跟踪;(2)基于多特征的目标跟踪算法,也称多线索跟踪,如中国专利文献中公开的一种多特征融合的粒子滤波视频目标跟踪方法(公告号:CN102722702B,2015年1月28日授权),该技术方案利用多个具有互补性的目标特征同时对目标状态进行观测,并在一个合理框架内进行融合,从而可靠地得到目标的精确状态。此外,多特征融合避免了单一特征的不稳定,对背景干扰(包括相似颜色、干扰边缘)、部分遮挡、光照变化等均具有较高的鲁棒性。
然而,目前处理遮挡问题的上述粒子滤波目标跟踪的两种算法尽管具有一定的抗遮挡效果,但是也存在一些不足:对于模板分块跟踪算法来说,因为将跟踪目标简单分割成了几个子块,各子块跟踪框并不能完全包含目标的特征信息,且同时存在的一些背景信息,会对块匹配造成干扰;另一方面它需要利用未被遮挡的子块的信息来判断遮挡的程度,所以不能处理全遮挡的情况。而多特征融合的目标跟踪算法也是利用目标未被遮挡的部分特征,可跟踪部分遮挡的目标,但无法处理全遮挡的情况。
发明内容
本发明的目的是克服现有的视频跟踪应用环境中存在遮挡的问题,进而引入遮挡评价机制,并提出粒子滤波预测和加权Surf精确定位的二级目标跟踪框架。
为此,本发明提供了一种基于粒子滤波和加权Surf的抗遮挡目标跟踪方法,具体包括如下步骤:
步骤一、目标模板初始化;
步骤二、建立粒子状态转移和观测模型,采用粒子滤波预测目标候选区域;
步骤三、计算遮挡因子并通过遮挡因子判断目标是否发生遮挡;
步骤四、若遮挡,利用扩展卡尔曼重新预测目标位置;
步骤五、若未遮挡,对粒子滤波所确定的目标候选区域,提取 Surf特征点并与目标模板匹配,通过加权匹配特征点的位置信息和尺度信息,精确定位目标的位置和区域;
步骤六、根据匹配特征点对的数量,决定是否采用遗忘因子的方式来动态更新模板。
上述步骤一、目标模板初始化,包括如下步骤:
(1.1)将第一帧目标所在区域作为初始目标模板,提取目标模板的Surf特征点,并建立目标模板的颜色加权直方图p(x)={pu(x)}, u=1 … m ;
其中nh为目标模板的总像素数;m为颜色直方图中直方格的量化阶数;G为高斯核函数;Ch用于归一化,使表示核函数窗宽,Hx,Hy表示目标模板长宽大小;δ为冲激函数,和颜色量化函数b(xi):R2→{1…m}一起,用于判断目标模板内像素xi是否属于颜色直方图的第u个直方格;
上述步骤二、建立粒子状态转移和观测模型,采用粒子滤波预测目标候选区域,包括如下步骤:
(2.1)对目标模板的传播粒子进行初始化定位,定义粒子的初始状态为
(2.2)同时采用如下一阶随机游走模型对粒子状态进行传播;
式中表示t时刻的新粒子,是均值为零的高斯白噪声,A为系数矩阵;参照图3的粒子传播示意图,t-1时刻的粒子通过状态转移模型传播,虚线框代表粒子传播后状态;
(2.3)计算各粒子对应候选目标区域的颜色加权直方图,记为 q(x)={qu(x)}, u=1 … m ;
(2.4)计算目标模板和第j个粒子候选区域的相似度,采用如下 Bhattacharyya距离作为相似度函数:
(2.5)更新粒子的权值,假定粒子数为N,初始权值均为1/N:
式中,σ为高斯似然模型方差常数,分别表示t-1时刻和 t时刻的第j个粒子的权值;
(2.6)利用最小方差估计来计算候选目标的位置:
式中,xnew表示计算的当前帧的候选目标的位置,表示t时刻第 j个粒子对应状态值;
(2.7)引入随机重采样方法,删除权值过小的粒子,保证重采样后的粒子的可靠性,缓解粒子退化现象。
上述步骤三、计算遮挡因子并通过遮挡因子判断目标是否发生遮挡,具体包括如下步骤:
(3.1)若x0为当前目标位置,令qu(x0)为当前候选区域的颜色加权直方图中第u个目标特征,pu(x)为目标模板的颜色加权直方图中第u个目标特征,判定第u个目标特征是否被遮挡:
当cu>1时,目标特征u被部分遮挡;当cu=-1时,目标特征u被全部遮挡;
(3.2)计算遮挡因子occl:
其中λ∈[1,∞),为遮挡程度参量;当occl>ξ(ξ∈(0,1)),则认为目标发生遮挡;
(3.3)判断出现遮挡时,转步骤四,启动扩展卡尔曼滤波来重新预测目标模板;判断未出现遮挡时则直接转步骤五,对目标位置进行精准定位。
上述步骤四、若遮挡,利用扩展卡尔曼重新预测目标位置,具体包括如下步骤:
(4.1)构造扩展卡尔曼滤波估计模型,建立如下的状态方程和观测方程,
式中,S(k)和Z(k)分别为状态向量和观测向量,F是状态转移矩阵,H是非线性观测矩阵,W和V分别为过程噪声和观测噪声,其方差分别为Q和B;
(4.2)建立状态预测方程,
S(k|k-1)=F·S(k-1|k-1) (9)
式中S(k|k-1)是利用上一帧预测的结果,S(k-1|k-1)为上一帧状态的最佳预测值;
(4.3)对S(k|k-1)的协方差矩阵P(k|k-1)进行预测;
P(k|k-1)=F·P(k-1k-1)·FT+Q (10)
(4.4)结合预测值和测量值,计算当前状态k时刻的最优估计值 S(k|k);
S(k|k)=S(k|k-1)+Kg(k)·[Z(k)-H·S(k|k-1)] (11)
式中Kg(k)表示卡尔曼增益,其表示式为:
Kg(k)=P(k|k-1)·HT·(H·P(k|k-1)·HT+B)-1 (12)
(4.5)更新k状态下S(k|k)的协方差矩阵,
P(k|k)=(I-Kg(k)·H)·P(k|k-1) (13)
式中I为单位矩阵;
(4.6)将最优估计值S(k|k)作为当前跟踪目标,等待目标出现,读取下一帧,转步骤二。
上述步骤五、若未遮挡,对粒子滤波所确定的目标候选区域,提取Surf特征点并与目标模板匹配,通过加权匹配特征点的位置信息和尺度信息,精确定位目标的位置和区域,具体包括如下步骤:
(5.1)在粒子滤波得到的候选目标模板内,提取Surf特征点,与目标模板的Surf特征点集进行匹配,得到n对匹配特征点对;若n 小于设定阈值时,转步骤六进行模板更新;否则,继续执行步骤(5.2);
(5.2)对n对匹配特征点对赋予不同的权值wti(0<wti<1),
式中,pre_pt为上一帧的目标中心位置,cur_featpti表示当前帧第i个Surf特征点的坐标,dis()表示对括号内两个点的坐标计算其欧氏距离;对匹配后的Surf特征点按照距离上一帧的目标中心的距离分配权值,对距离较近的特征点赋予较大的权值,相反较远的赋予较小的权值;
(5.3)通过式(15)对特征点的位置信息加权,确定当前帧的目标中心位置,
其中,tem_featpti为目标模板中第i个匹配特征点的坐标,tem_pt 和cur_pt分别表示目标模板的中心位置,和当前帧目标的中心位置;
(5.4)对特征点的尺度信息加权,确定目标在当前帧与模板的尺度之比e,
其中,分别表示目标模板和当前帧中对应匹配特征点的尺度信息;
(5.5)确定当前帧跟踪窗口的宽度cur_width和高度cur_height,
其中,tem_height和tem_width为目标模板的高和宽;pre_height和 pre_width为上一帧的跟踪窗口的高和宽;rt(0~1)为常数,控制尺度更新的速度,如果运动目标尺度变化较快,rt取较大的值,否则取较小的值;
(5.6)读取下一帧,到步骤二继续采用粒子滤波来预测目标。
上述步骤六、根据匹配特征点对的数量,决定是否采用遗忘因子的方式来动态更新模板,以适应目标特征的变化,具体步骤如下:
(6.1)当步骤(5.1)中的匹配特征点对n小于设定阈值时,采用式(18)的遗忘因子的方式动态更新模板,并返回步骤一,重新初始化目标模板,继续跟踪,
tem=β·Tar(t-1)+(1-β)Tar(t) (18)
式中,Tar(t-1)和Tar(t)为上一帧和当前帧跟踪的目标,tem为更新后的目标模板,β为遗忘因子。
本发明的有益效果是:通过引入遮挡评价机制,并提出粒子滤波预测和加权Surf精确定位的二级目标跟踪框架。当目标未遮挡或小部分遮挡,基于核函数颜色直方图的粒子滤波进行预测目标候选区域然后采用加权Surf特征的尺度信息和位置信息,来精细定位目标的位置和区域;当目标被大部分甚至全遮挡,采用扩展卡尔曼滤波对目标位置进行预测,当目标再次出现,继续对目标进行粒子滤波和加权Surf的后续跟踪,并采用遗忘因子的方式对目标模板进行动态更新,提高目标跟踪的稳定性和持久性。
附图说明
以下将结合附图对本发明做进一步详细说明。
图1是本发明基于粒子滤波和加权Surf的抗遮挡目标跟踪方法的流程图。
图2是本发明的粒子滤波算法的流程图。
图3是本发明的粒子传播示意图。
图4是本发明的目标跟踪算法的跟踪结果(b)与传统算法的跟踪结果(a)的实验结果对比图。
图5是本发明的遮挡因子occl系数曲线图。
图6是传统粒子滤波的Bhattacharyya系数曲线图。
图7是本发明目标跟踪的Bhattacharyya系数曲线图。
具体实施方式
为进一步阐述本发明达成预定目的所采取的技术手段及功效,以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效,详细说明如下。
如图1所示的基于粒子滤波和加权Surf的抗遮挡目标跟踪方法的流程图,具体步骤如下:
步骤一,目标模板初始化。
将第一帧目标所在区域作为初始目标模板,提取目标模板的Surf 特征点,并建立目标模板的颜色加权直方图p(x)={pu(x)}, u=1 … m ;
其中nh为目标模板的总像素数;m为颜色直方图中直方格的量化阶数;G为高斯核函数;Ch用于归一化,使表示核函数窗宽,Hx,Hy表示目标模板长宽大小;δ为冲激函数,和颜色量化函数b(xi):R2→{1…m}一起,用于判断目标模板内像素xi是否属于颜色直方图的第u个直方格。
步骤二,建立粒子状态转移和观测模型,采用粒子滤波预测目标候选区域。
如图2所示的粒子滤波算法的流程图,利用粒子滤波预测目标候选区域的具体步骤如下:
(2.1)对目标模板的传播粒子进行初始化定位,定义粒子的初始状态为
(2.2)同时采用如下一阶随机游走模型对粒子状态进行传播,
式中表示t时刻的新粒子,是均值为零的高斯白噪声,A为系数矩阵。参照图3的粒子传播示意图,t-1时刻的粒子通过状态转移模型传播,虚线框代表粒子传播后状态;
(2.3)计算各粒子对应候选目标区域的颜色加权直方图,记为 q(x)={qu(x)}, u=1 … m ;
(2.4)计算目标模板和第j个粒子候选区域的相似度,采用如下 Bhattacharyya距离作为相似度函数:
(2.5)更新粒子的权值,假定粒子数为N,初始权值均为1/N:
式中,σ为高斯似然模型方差常数,分别表示t-1时刻和 t时刻的第j个粒子的权值;
(2.6)利用最小方差估计来计算候选目标的位置:
式中,xnew表示计算的当前帧的候选目标的位置,表示t时刻第 j个粒子对应状态值;
(2.7)引入随机重采样方法,删除权值过小的粒子,保证重采样后的粒子的可靠性,有效缓解粒子退化现象。
步骤三,计算遮挡因子并通过遮挡因子判断目标是否发生遮挡。
(3.1)若x0为当前目标位置,令qu(x0)为当前候选区域的颜色加权直方图中第u个目标特征,pu(x)为目标模板的颜色加权直方图中第 u个目标特征,判定第u个目标特征是否被遮挡:
当cu>1时,目标特征u被部分遮挡;当cu=-1时,目标特征u被全部遮挡;
(3.2)计算遮挡因子occl:
其中λ∈[1,∞),为遮挡程度参量;当occl>ξ(ξ∈(0,1)),则认为目标发生遮挡;
(3.3)判断出现遮挡时,转步骤四,启动扩展卡尔曼滤波来重新预测目标模板;判断未出现遮挡时则直接转步骤五,对目标位置进行精准定位。
步骤四,若遮挡,利用扩展卡尔曼滤波重新预测目标的位置。
(4.1)构造扩展卡尔曼滤波估计模型,建立如下的状态方程和观测方程;
式中,S(k)和Z(k)分别为状态向量和观测向量,F是状态转移矩阵,H是非线性观测矩阵,W和V分别为过程噪声和观测噪声,其方差分别为Q和B;
(4.2)建立状态预测方程;
S(k|k-1)=F·S(k-1|k-1) (9)
式中S(k|k-1)是利用上一帧预测的结果,S(k-1|k-1)为上一帧状态的最佳预测值;
(4.3)对S(k|k-1)的协方差矩阵P(k|k-1)进行预测;
P(k|k-1)=F·P(k-1k-1)·FT+Q (10)
(4.4)结合预测值和测量值,计算当前状态k时刻的最优估计值 S(k|k);
S(k|k)=S(k|k-1)+Kg(k)·[Z(k)-H·S(k|k-1)] (11)
式中Kg(k)表示卡尔曼增益,其表示式为:
Kg(k)=P(k|k-1)·HT·(H·P(k|k-1)·HT+B)-1 (12)
(4.5)更新k状态下S(k|k)的协方差矩阵;
P(k|k)=(I-Kg(k)·H)·P(k|k-1) (13)
式中I为单位矩阵;
(4.6)将最优估计值S(k|k)作为当前跟踪目标,等待目标出现,读取下一帧,转步骤二。
步骤五,若未遮挡,在候选目标模板,利用加权Surf特征点匹配来精确获取目标的位置和尺度。
(5.1)在粒子滤波得到的候选目标模板内,提取Surf特征点,与目标模板的Surf特征点集进行匹配,得到n对匹配特征点对,若n 小于设定阈值时,转步骤六进行模板更新;
(5.2)对n对匹配特征点对赋予不同的权值wti(0<wti<1),
式中,pre_pt为上一帧的目标中心位置,cur_featpti表示当前帧第i个Surf特征点的坐标,,dis()表示对括号内两个点的坐标计算其欧氏距离;对匹配后的Surf特征点按照距离上一帧的目标中心的距离分配权值,对距离较近的特征点赋予较大的权值,相反较远的赋予较小的权值;
(5.3)通过式(15)对特征点的位置信息加权,确定当前帧的目标中心位置,
其中,tem_featpti为目标模板中第i个匹配特征点的坐标,tem_pt 和cur_pt分别表示目标模板的中心位置,和当前帧目标的中心位置;
(5.4)对特征点的尺度信息加权,确定目标在当前帧与模板的尺度之比e,
其中,分别表示目标模板和当前帧中对应匹配特征点的尺度信息;
(5.5)确定当前帧跟踪窗口的宽度cur_width和高度cur_height,
其中,tem_height和tem_width为目标模板的高和宽;pre_height和 pre_width为上一帧的跟踪窗口的高和宽;rt(0~1)为常数,控制尺度更新的速度,如果运动目标尺度变化较快,rt取较大的值,否则取较小的值;
(5.6)读取下一帧,到步骤二继续采用粒子滤波来预测目标。
步骤六,当步骤(5.1)中的匹配特征点数n小于设定阈值时,采用式(18)的遗忘因子的方式动态更新模板,并返回步骤一,重新初始化目标模板,继续跟踪;
tem=β·Tar(t-1)+(1-β)Tar(t) (18)
式中,Tar(t-1)和Tar(t)为上一帧和当前帧跟踪的目标,tem为更新后的目标模板,β为遗忘因子。
参照图4,本发明的抗遮挡目标跟踪实验结果和分析如下:图4(a) 是两组测试视频,采用传统粒子滤波进行遮挡目标跟踪的结果,目标的位置用矩形框框出。可以看出,在目标未被遮挡或者小部分遮挡时,传统粒子滤波算法可有效跟踪目标;但当目标遮挡较大甚至完全遮挡时,粒子滤波无法给出正确预测,导致目标丢失。图4(b)为本发明的抗遮挡目标跟踪结果,当判定较大遮挡时,采用扩展卡尔曼滤波技术,可以准确预测目标可能出现的区域;当目标再次出现,继续使用粒子滤波预测和加权Surf定位的二级跟踪算法,可再次准确跟踪到目标。
图5、图6、图7是本发明对第一组测试视频的Bhattacharyya系数曲线对比图,比较跟踪目标和目标模板的相似度。图5是该视频序列的遮挡因子occl的曲线图,曲线逐渐增大反映目标逐渐被遮挡,达到最高点即目标被完全遮挡;然后当目标再次慢慢出现时,遮挡因子又逐渐降低。图6是传统粒子滤波算法的Bhattacharyya系数示意图,该系数不断下降,当全遮挡后目标再次出现时,系数依然下降,说明相似度很低,不能正确跟踪目标。图7是本发明的Bhattacharyya 系数示意图,随着目标逐渐被遮挡,曲线不断下降直到最低点,表示目标被完全遮挡;随着目标再次出现,曲线在最低点后又重新上升,且相似度较高,表明本发明可准确跟踪到遮挡后重新出现的目标。
以上所述,仅是本发明的较佳实施例而已,并非对本发明做任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (5)

1.基于粒子滤波和加权Surf的抗遮挡目标跟踪方法,其特征在于:包括如下步骤:
步骤一、目标模板初始化;包括如下步骤:
(1.1)将第一帧目标所在区域作为初始目标模板,提取目标模板的Surf特征点,并建立目标模板的颜色加权直方图p(x)={pu(x)}, u=1 … m :
其中nh为目标模板的总像素数;m为颜色直方图中直方格的量化阶数;G为高斯核函数;Ch用于归一化,使表示核函数窗宽,Hx,Hy表示目标模板长宽大小;δ为冲激函数,和颜色量化函数b(xi):R2→{1…m}一起,用于判断目标模板内像素xi是否属于颜色直方图的第u个直方格;
步骤二、建立粒子状态转移和观测模型,采用粒子滤波预测目标候选区域;包括如下步骤:
(2.1)对目标模板的传播粒子进行初始化定位,定义粒子的初始状态为
(2.2)采用一阶随机游走模型对粒子状态进行传播,建立粒子状态转移模型:
式中表示t时刻的新粒子,是均值为零的高斯白噪声,A为系数矩阵;t-1时刻的粒子通过状态转移模型传播;
(2.3)计算各粒子对应候选目标区域的颜色加权直方图,记为q(x)={qu(x)}, u=1 …m ;
(2.4)计算目标模板和第j个粒子候选目标区域的相似度,采用如下Bhattacharyya距离作为相似度函数;
(2.5)更新粒子的权值,假定粒子数为N,初始权值均为1/N:
式中,σ为高斯似然模型方差常数,分别表示t-1时刻和t时刻的第j个粒子的权值;
(2.6)利用最小方差估计来计算候选目标的位置:
式中,xnew表示计算的当前帧的候选目标的位置,表示t时刻第j个粒子对应状态值;
(2.7)引入随机重采样方法,删除权值过小的粒子,保证重采样后的粒子的可靠性,缓解粒子退化现象;
步骤三、计算遮挡因子并通过遮挡因子判断目标是否发生遮挡;
步骤四、若遮挡,利用扩展卡尔曼滤波重新预测目标位置;
步骤五、若未遮挡,对粒子滤波所确定的目标候选区域,提取Surf特征点并与目标模板匹配,通过加权匹配特征点的位置信息和尺度信息,精确定位目标的位置和区域;
步骤六、根据匹配特征点对的数量,决定是否采用遗忘因子的方式来动态更新模板。
2.根据权利要求1所述的基于粒子滤波和加权Surf的抗遮挡目标跟踪方法,其特征在于:所述步骤三、计算遮挡因子并通过遮挡因子判断目标是否发生遮挡,包括如下步骤:
(3.1)若x0为当前目标位置,令qu(x0)为当前候选区域的颜色加权直方图中第u个目标特征,pu(x)为目标模板的颜色加权直方图中第u个目标特征,判定第u个目标特征是否被遮挡:
当cu>1时,目标特征u被部分遮挡;当cu=-1时,目标特征u被全部遮挡;
(3.2)计算遮挡因子occl:
其中λ∈[1,∞),为遮挡程度参量;当occl>ξ,其中ξ∈(0,1),则认为目标发生遮挡;
(3.3)判断发生遮挡时,转步骤四,启动扩展卡尔曼滤波来重新预测目标模板;否则直接转步骤五,对目标位置进行精准定位。
3.根据权利要求1所述的基于粒子滤波和加权Surf的抗遮挡目标跟踪方法,其特征在于:所述步骤四中的利用扩展卡尔曼滤波重新预测目标位置包括如下步骤:
(4.1)构造扩展卡尔曼滤波估计模型,建立如下的状态方程和观测方程,
式中,S(k)和Z(k)分别为状态向量和观测向量,F是状态转移矩阵,H是非线性观测矩阵,W和V分别为过程噪声和观测噪声,其方差分别为Q和B;
(4.2)建立状态预测方程,
S(k|k-1)=F·S(k-1|k-1) (9)
式中S(k|k-1)是利用上一帧预测的结果,S(k-1|k-1)为上一帧状态的最佳预测值;
(4.3)对S(k|k-1)的协方差矩阵P(k|k-1)进行预测;
P(k|k-1)=F·P(k-1k-1)·FT+Q (10)
(4.4)结合预测值和测量值,计算当前状态k时刻的最优估计值S(k|k);
S(k|k)=S(k|k-1)+Kg(k)·[Z(k)-H·S(k|k-1)] (11)
式中Kg(k)表示卡尔曼增益,其表示式为:
Kg(k)=P(k|k-1)·HT·(H·P(k|k-1)·HT+B)-1 (12)
(4.5)更新k状态下S(k|k)的协方差矩阵,
P(k|k)=(I-Kg(k)·H)·P(k|k-1) (13)
式中I为单位矩阵;
(4.6)将最优估计值S(k|k)作为当前跟踪目标,等待目标出现,读取下一帧,转步骤二。
4.根据权利要求1所述的基于粒子滤波和加权Surf的抗遮挡目标跟踪方法,其特征在于:所述步骤五、若未遮挡,对粒子滤波所确定的目标候选区域,提取Surf特征点并与目标模板匹配,通过加权匹配特征点的位置信息和尺度信息,精确定位目标的位置和区域,包括如下步骤:
(5.1)在粒子滤波得到的候选目标模板内,提取Surf特征点,与目标模板的Surf特征点集进行匹配,得到n对匹配特征点对;若n小于设定阈值时,转步骤六进行模板更新;否则,继续执行步骤(5.2);
(5.2)对n对匹配特征点对赋予不同的权值wti,其中0<wti<1,
式中,pre_pt为上一帧的目标中心位置,cur_featpti表示当前帧第i个Surf特征点的坐标,dis()表示对括号内两个点的坐标计算其欧氏距离;对匹配后的Surf特征点按照距离上一帧的目标中心的距离分配权值;
(5.3)通过式(15)对特征点的位置信息加权,确定当前帧的目标中心位置,
其中,tem_featpti为目标模板中第i个匹配特征点的坐标,tem_pt和cur_pt分别表示目标模板的中心位置,和当前帧目标的中心位置;
(5.4)对特征点的尺度信息加权,确定目标在当前帧与模板的尺度之比e,
其中,分别表示目标模板和当前帧中对应匹配特征点的尺度信息;
(5.5)确定当前帧跟踪窗口的宽度cur_width和高度cur_height;
其中,tem_height和tem_width为目标模板的高和宽;pre_height和pre_width为上一帧的跟踪窗口的高和宽;rt为0~1的常数,控制尺度更新的速度,如果运动目标尺度变化较快,rt取较大的值,否则取较小的值;
(5.6)读取下一帧,到步骤二继续采用粒子滤波来预测目标。
5.根据权利要求4所述的基于粒子滤波和加权Surf的抗遮挡目标跟踪方法,其特征在于:所述步骤六中的根据匹配特征点对的数量,决定是否采用遗忘因子的方式来动态更新模板,包括如下步骤:
(6.1)当步骤(5.1)中的匹配特征点对n小于设定阈值时,采用式(18)的遗忘因子的方式动态更新模板,并返回步骤一,重新初始化目标模板,继续跟踪;
tem=β·Tar(t-1)+(1-β)Tar(t) (18)
式中,Tar(t-1)和Tar(t)为上一帧和当前帧跟踪的目标,tem为更新后的目标模板,β为遗忘因子。
CN201510702412.4A 2015-10-26 2015-10-26 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法 Active CN105405151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510702412.4A CN105405151B (zh) 2015-10-26 2015-10-26 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510702412.4A CN105405151B (zh) 2015-10-26 2015-10-26 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法

Publications (2)

Publication Number Publication Date
CN105405151A CN105405151A (zh) 2016-03-16
CN105405151B true CN105405151B (zh) 2018-01-23

Family

ID=55470618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510702412.4A Active CN105405151B (zh) 2015-10-26 2015-10-26 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法

Country Status (1)

Country Link
CN (1) CN105405151B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938623B (zh) * 2016-04-13 2018-06-01 南京维睛视空信息科技有限公司 一种基于双向反馈粒子滤波算法的实时二维目标跟踪方法
CN107507222B (zh) * 2016-06-13 2021-01-01 浙江工业大学 一种抗遮挡的基于积分直方图的粒子滤波目标跟踪方法
CN106920249A (zh) * 2017-02-27 2017-07-04 西北工业大学 空间机动目标的快速追踪方法
CN107424173B (zh) * 2017-06-09 2020-06-05 广东光阵光电科技有限公司 一种基于扩展的局部不变特征描述的目标跟踪方法
CN107767392A (zh) * 2017-10-20 2018-03-06 西南交通大学 一种适应遮挡场景的球类运动轨迹追踪方法
CN109255802B (zh) * 2018-08-21 2023-08-18 平安科技(深圳)有限公司 行人跟踪方法、装置、计算机设备及存储介质
JP7084276B2 (ja) * 2018-10-24 2022-06-14 株式会社Soken 物体追跡装置
CN109712168A (zh) * 2018-11-14 2019-05-03 联想(北京)有限公司 一种目标跟踪方法及电子设备、装置及存储介质
CN109934856B (zh) * 2019-01-30 2022-08-02 南京邮电大学 一种基于asms和粒子滤波器的综合目标跟踪方法
CN109975839B (zh) * 2019-04-10 2023-04-07 华砺智行(武汉)科技有限公司 一种车辆卫星定位数据的联合滤波优化方法
CN110189358B (zh) * 2019-05-07 2022-03-15 武汉大学 一种基于协同特征学习的目标跟踪方法
CN110458862A (zh) * 2019-05-22 2019-11-15 西安邮电大学 一种遮挡背景下的运动目标跟踪方法
CN110443832B (zh) * 2019-06-21 2022-03-01 西北工业大学 一种基于观测区间值的证据滤波目标跟踪方法
CN110244322B (zh) * 2019-06-28 2023-04-18 东南大学 基于多源传感器的路面施工机器人环境感知***及方法
CN110717934B (zh) * 2019-10-17 2023-04-28 湖南大学 一种基于strcf的抗遮挡目标跟踪方法
CN110929639B (zh) * 2019-11-20 2023-09-19 北京百度网讯科技有限公司 用于确定图像中障碍物位置的方法、装置、设备和介质
CN110910416A (zh) * 2019-11-20 2020-03-24 河北科技大学 运动障碍物跟踪方法、装置及终端设备
CN111539987B (zh) * 2020-04-01 2022-12-09 上海交通大学 基于判别模型的遮挡检测***及方法
CN111583297A (zh) * 2020-05-06 2020-08-25 电子科技大学中山学院 一种基于自适应粒子滤波器的目标遮挡检测与跟踪方法
CN112348853B (zh) * 2020-11-04 2022-09-23 哈尔滨工业大学(威海) 基于红外显著性特征融合的粒子滤波跟踪的方法
CN112288777A (zh) * 2020-12-16 2021-01-29 西安长地空天科技有限公司 一种使用粒子滤波算法对激光断点跟踪方法
CN112991390B (zh) * 2021-03-31 2023-08-18 江苏理工学院 一种基于背景感知的多***融合目标跟踪方法
CN113096157B (zh) * 2021-04-30 2023-07-28 华侨大学 一种可靠的局部目标跟踪方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308607A (zh) * 2008-06-25 2008-11-19 河海大学 基于视频的混合交通环境下移动目标多特征融合跟踪方法
CN101339655A (zh) * 2008-08-11 2009-01-07 浙江大学 基于目标特征和贝叶斯滤波的视觉跟踪方法
CN102930557A (zh) * 2012-10-16 2013-02-13 苏州大学 跟踪窗口尺寸自适应调整的粒子滤波跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308607A (zh) * 2008-06-25 2008-11-19 河海大学 基于视频的混合交通环境下移动目标多特征融合跟踪方法
CN101339655A (zh) * 2008-08-11 2009-01-07 浙江大学 基于目标特征和贝叶斯滤波的视觉跟踪方法
CN102930557A (zh) * 2012-10-16 2013-02-13 苏州大学 跟踪窗口尺寸自适应调整的粒子滤波跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种新的层次粒子滤波的目标跟踪方法;孙伟 等;《光子学报》;20100531;第39卷(第5期);第945-950页 *
基于粒子滤波的抗遮挡跟踪算法;张琳 等;《四川大学学报(工程科学版)》;20140430;第46卷;第135-140页 *

Also Published As

Publication number Publication date
CN105405151A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
CN105405151B (zh) 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法
CN110084831B (zh) 基于YOLOv3多伯努利视频多目标检测跟踪方法
JP4849464B2 (ja) フレームシーケンス中のオブジェクトを追跡するコンピュータ化された方法
CN105335986B (zh) 基于特征匹配和MeanShift算法的目标跟踪方法
CN107481264B (zh) 一种自适应尺度的视频目标跟踪方法
Maggio et al. Efficient multitarget visual tracking using random finite sets
Fu et al. Centroid weighted Kalman filter for visual object tracking
CN110349187B (zh) 基于tsk模糊分类器的目标跟踪方法、装置及存储介质
Ozyildiz et al. Adaptive texture and color segmentation for tracking moving objects
CN100587719C (zh) 低复杂度的尺度自适应视频目标跟踪方法
CN102142085B (zh) 一种林区监控视频中运动火焰目标的鲁棒跟踪方法
CN103927764B (zh) 一种结合目标信息和运动估计的车辆跟踪方法
CN111562571B (zh) 一种未知新生强度的机动多目标跟踪与航迹维持方法
CN110349188B (zh) 基于tsk模糊模型的多目标跟踪方法、装置及存储介质
US9805285B2 (en) State estimation apparatus, state estimation method, and integrated circuit
CN106846373B (zh) 一种融合目标外观模型和博弈论的视频目标互遮挡处理方法
CN104574442A (zh) 自适应粒子群优化粒子滤波运动目标跟踪方法
Hassan et al. An adaptive sample count particle filter
CN111402303A (zh) 一种基于kfstrcf的目标跟踪架构
CN110717934A (zh) 一种基于strcf的抗遮挡目标跟踪方法
CN110147768B (zh) 一种目标跟踪方法及装置
CN113379789B (zh) 一种复杂环境下运动目标跟踪方法
Najafzadeh et al. Object tracking using Kalman filter with adaptive sampled histogram
CN106485283B (zh) 一种基于Online Boosting的粒子滤波行人目标跟踪方法
Ng et al. New models for real-time tracking using particle filtering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210402

Address after: Floor 5, block D, Boyuan science and Technology Plaza, No.99, Yanxiang Road, Yanta District, Xi'an City, Shaanxi Province, 710000

Patentee after: Xijiao Sichuang Intelligent Technology Research Institute (Xi'an) Co.,Ltd.

Address before: 710071 Xi'an Electronic and Science University, 2 Taibai South Road, Shaanxi, Xi'an

Patentee before: XIDIAN University

TR01 Transfer of patent right
CP02 Change in the address of a patent holder

Address after: Room 709, 7th Floor, Building B, No. 168 Kechuang Road, Yanta District, Xi'an City, Shaanxi Province (Xi'an University of Electronic Science and Technology Science Park), 710071

Patentee after: Xijiao Sichuang Intelligent Technology Research Institute (Xi'an) Co.,Ltd.

Address before: Floor 5, block D, Boyuan science and Technology Plaza, No.99, Yanxiang Road, Yanta District, Xi'an City, Shaanxi Province, 710000

Patentee before: Xijiao Sichuang Intelligent Technology Research Institute (Xi'an) Co.,Ltd.

CP02 Change in the address of a patent holder
CP03 Change of name, title or address

Address after: Room 709, 7th Floor, Building B, No. 168 Kechuang Road, Yanta District, Xi'an City, Shaanxi Province (Xi'an University of Electronic Science and Technology Science Park), 710071

Patentee after: Xihang Sichuang Intelligent Technology (Xi'an) Co.,Ltd.

Country or region after: Zhong Guo

Address before: Room 709, 7th Floor, Building B, No. 168 Kechuang Road, Yanta District, Xi'an City, Shaanxi Province (Xi'an University of Electronic Science and Technology Science Park), 710071

Patentee before: Xijiao Sichuang Intelligent Technology Research Institute (Xi'an) Co.,Ltd.

Country or region before: Zhong Guo

CP03 Change of name, title or address