CN110782487A - 一种基于改进的粒子滤波算法的目标跟踪方法 - Google Patents

一种基于改进的粒子滤波算法的目标跟踪方法 Download PDF

Info

Publication number
CN110782487A
CN110782487A CN201910837928.8A CN201910837928A CN110782487A CN 110782487 A CN110782487 A CN 110782487A CN 201910837928 A CN201910837928 A CN 201910837928A CN 110782487 A CN110782487 A CN 110782487A
Authority
CN
China
Prior art keywords
target
particles
weight
template
particle filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910837928.8A
Other languages
English (en)
Inventor
李文书
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shixin Technology Co Ltd
Original Assignee
Hangzhou Shixin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shixin Technology Co Ltd filed Critical Hangzhou Shixin Technology Co Ltd
Priority to CN201910837928.8A priority Critical patent/CN110782487A/zh
Publication of CN110782487A publication Critical patent/CN110782487A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于改进的粒子滤波算法的目标跟踪方法,获取视频流后读取首帧图像,选定跟踪的目标,进行多维特征提取,建立目标模板,读取下一帧图像,以目标模板进行目标搜索,对搜索到的目标进行加权重采样,进行干扰检测,若存在干扰,则先进行校正,否则直接确认目标模板更新条件是否被触发,若是则更新目标模板,继续进行目标跟踪。本发明从增加特征维度、降低粒子衰减、提升算法抗扰性和引入目标模板更新策略四个方面对传统粒子滤波算法进行改进,在跟踪环境发生迁移以及出现相似目标和遮挡物的干扰的情形下都能有效跟踪目标,且满足***实时性的要求。

Description

一种基于改进的粒子滤波算法的目标跟踪方法
技术领域
本发明涉及数据识别;数据表示;记录载体;记录载体的处理的技术领域,特别涉及一种基于改进的粒子滤波算法的目标跟踪方法。
背景技术
运动目标检测是视频分析技术研究的重要研究方向之一,其应用领域广泛而且与人们的生活息息相关,如在智能监控***中,精准的目标跟踪是实现对指定行人进行异常行为检测分析的前提。
视频分析技术中,目标跟踪是在视频帧中搜索和提取目标特征并与目标模板进行匹配的过程。按照匹配目标模板的类型,运动目标跟踪算法包括如下几类,其缺陷也是非常明显的。
基于特征匹配的跟踪算法。基于特征匹配的目标跟踪算法是提取能够表达目标信息的特征并在后续视频序列中以此特征为模板寻找最优目标位置的过程;描述目标的特征应具有区分性强和易于获取的特性,然而,单一的特征表达的目标信息有限,描述目标不够立体,因此可以从多个维度对目标进行描述并按照一定方法将不同维度的目标特征进行融合作为跟踪目标的模板,通过提高目标模板的区分性来提升跟踪的准确性。常用的描述目标的特征有颜色特征、纹理特征、角点特征、梯度特征等。
基于区域的跟踪算法。基于区域的目标跟踪算法的基本思想是用简单形状的图像来描述目标,再以该图像块为模板在整幅图像内采用某种相似度量准则搜索与目标最相似的区域;该类算法需要提取目标所在局部区域所有信息进行全图搜索匹配,在目标没有被遮挡的情况下跟踪效果较好,但当目标发生遮挡或者形状变化较大时,该类算法的跟踪效果下降。近年来研究者大多致力于研究对模板的描述方法的改进以及对于发生遮挡情况下的算法的处理方式上改进该类算法,如果目标模板对于目标发生形变不敏感,算法对发生遮挡的情况能够及时判定并采取恰当的方式处理,该类算法的准确性和稳定性会显著提升。
基于模型匹配的跟踪算法。基于模型匹配的目标跟踪算法的基本思想是利用先验知识对目标进行建模,再利用目标模型对目标进行跟踪,常用的模型包括线图模型、2-D模型、3-D模型等,通常模型的复杂度越高,跟踪的准确性越好,但模型复杂度对目标建模时间以及后续目标匹配的复杂度都有直接的影响。该类算法对于刚性目标可以实现较好的跟踪效果,如汽车,轮船等,但是对于非刚性目标,如人、动物等,建立可靠的目标模型非常困难,所以跟踪效果较差。
作为基于贝叶斯采样估计的非线性滤波算法,粒子滤波算法凭其非线性、非高斯的特点在目标跟踪领域应用广泛,其核心思想是通过从后验概率中抽取的随机状态粒子来表达其分布,当粒子个数趋于无穷时可以逼近任何形式的概率分布;然而,在粒子滤波算法中,最初每个粒子的权重相等,随着不断递归计算,粒子权重会集中到小部分粒子上,出现粒子衰减现象,导致粒子权值无法准确表达后验概率,因此需要粒子重采样,增加高权值粒子比例,舍弃低权值粒子,从而保证粒子个数充足以及每个粒子的有效性。
传统粒子滤波算法包括以下步骤:
1)提取目标特征:传统粒子滤波算法提取选定目标的HSV颜色特征建立目标模板;
2)粒子搜索:步骤(1)中获取目标特征后,分散粒子搜索目标,以Bhat tacharyya系数作为衡量标准,度量样本粒子所处位置的目标特征与模板特征的相似度,巴氏系数最高粒子所代表区域即为新一帧中目标所在位置;
3)粒子重采样:粒子重采样流程以巴氏系数作为权值将粒子进行排序,排序靠后的粒子用最大权值粒子填充替换,完成粒子的重新分布;
4)从视频流每读取新的一帧后重复步骤(2)->(3),便可实现目标跟踪。
传统粒子滤波算法本身存在一些缺陷,最主要的问题是:第一,使用单一的颜色特征作为目标模板导致跟踪稳定性差;第二,在跟踪过程中粒子衰退导致粒子多样性降低,进而影响跟踪的准确性;同时,传统粒子滤波算法作为一种基于区域的目标跟踪算法,具有基于区域目标跟踪算法的通病,即在目标发生遮挡时跟踪效果会变差。
发明内容
为了解决现有技术中存在的问题,本发明提供一种优化的基于改进的粒子滤波算法的目标跟踪方法。
本发明所采用的技术方案是,一种基于改进的粒子滤波算法的目标跟踪方法,所述方法包括以下步骤:
步骤1:获取视频流;
步骤2:读取首帧图像,选定跟踪的目标;
步骤3:进行多维特征提取,建立目标模板;
步骤4:读取下一帧图像,以目标模板进行目标搜索;
步骤5:对搜索到的目标进行加权重采样;
步骤6:进行干扰检测,若存在干扰,则进行校正,进行下一步,否则,直接进行下一步;
步骤7:若目标模板更新条件被触发,则更新目标模板,返回步骤4,否则,直接返回步骤4。
优选地,所述步骤3包括以下步骤:
步骤3.1:将视频首帧的HSV空间的3个分量H、S、V分别划分为4个等级,总级数为64,统计每个像素在每一分量的数量,进行直方图统计,得到HSV颜色特征及对应的目标区域的直方图pu
步骤3.2:使用8采样点的等价模式的LBP算子提取图像的纹理特征;
步骤3.3:建立目标模板。
优选地,所述步骤3.1中,进行直方图统计时,根据像素与已选定目标的中心点的距离,像素被赋予不同的权值其中,r为像素与目标中心点的距离。
优选地,所述目标区域的直方图
Figure BDA0002192780980000041
其中,N为像素总数,||x0-xi||为像素xi到像素x0的距离,b(xi)为像素xi处对应直方图的索引值,δ为狄拉克函数,直方图的区间索引范围u∈[1,64],Hx为目标矩形的半宽,Hy为目标矩形的半高,k为像素的权值。
优选地,所述步骤4包括以下步骤:
步骤4.1:对所述下一帧图像进行重采样,在当前帧中提取每个目标的多维特征,包括目标的HSV颜色特征分布直方图
Figure BDA0002192780980000043
以及Uniform LBP纹理特征分布直方图
Figure BDA0002192780980000044
其中,j为粒子序号;
步骤4.2:以
Figure BDA0002192780980000045
计算第j个粒子的颜色特征直方图、纹理特征直方图的相似系数
Figure BDA0002192780980000046
其中,n为目标模板pu和粒子特征直方图
Figure BDA0002192780980000048
的维数;
步骤4.3:通过加权特征融合得到每个粒子的相似度权值
Figure BDA0002192780980000049
其中,α、β分别为颜色特征和纹理特征的权重,0≤α≤1,0≤β≤1。
优选地,所述步骤5包括以下步骤:
步骤5.1:将所有粒子按相似度权值进行排序,按权值大小等分为高、中、低3类粒子;
步骤5.2:高权值类粒子保持不变,将中、低权值类粒子从原序列取出;
步骤5.3:将取出后的中、低权值类粒子按照权值大小进行排序,分为高、中、低权值的三等分;
步骤5.4:对二次排序和分类后的粒子分别赋值;
步骤5.5:将二次排序和分类后的中、低权值的粒子进行采样,产生若干数字,按照每次的数字对应步骤5.4赋值后的粒子,取对应的粒子补位到原序列的中、低权值粒子;
步骤5.6:完成重采样。
优选地,所述步骤5.4中,对二次排序和分类后的高权值类粒子赋值0到50的权重、中权值类粒子赋值50到75的权重、低权值类粒子赋值75到100的权重;所述步骤5.5中,若干数字为0至100的数字。
优选地,所述步骤6包括以下步骤:
步骤6.1:选定目标后,根据目标质心坐标对卡尔曼滤波进行初始化;
步骤6.2:使用粒子滤波追踪当前帧中目标的质心点PPF
步骤6.3:使用卡尔曼滤波,以上一帧中目标的质心点为依据进行预测,得到当前帧的卡尔曼滤波预测的目标质心点PKal
步骤6.4:计算粒子相似度权值次高的w2和最高的w1的比值v=w2/w1,若v大于干扰判定阈值Tv,则判定PPF为相似目标干扰;
计算PPF与PKal的欧式距离d,若d高于预设阈值Td,且目标的相似度权值低于预设阈值Ts,则判定PPF为遮挡干扰;
步骤6.5:若判定干扰存在,则使用卡尔曼滤波预测目标位置PKal替换粒子滤波预测目标位置PPF,进行步骤7,否则,直接进行步骤7。
优选地,Ty为0.9,Td为0.75,Ts为10。
优选地,所述步骤7中,目标模板更新条件为更新函数其中,p0为首帧图像选定的目标模板直方图,pk、pk+1分别为当前帧、下一帧的目标模板直方图,γ为模板融合系数,N为间隔帧数,N*表示正整数数集;k/N的结果为正整数时,触发目标模板更新条件,进行目标模板更新,否则目标模板保持不变。
本发明提供了一种优化的基于改进的粒子滤波算法的目标跟踪方法,从增加特征维度、降低粒子衰减、提升算法抗扰性和引入目标模板更新策略四个方面对传统粒子滤波算法进行改进;目标建模时,先提取目标的颜色特征和纹理特征,再以两个特征进行加权特征融合后作为目标模板,以提升目标在复杂环境中的可区分性;粒子重采样流程中,采用一种加权随机采样方法,以有效抑制粒子衰退现象;在粒子滤波算法框架下加入卡尔曼滤波,用于处理相似物干扰及目标被遮挡的情形;模板更新策略即在目标跟踪过程中对目标模板进行实时更新,以解决目标姿态、形状发生较大变化及跟踪环境发生迁移时跟踪稳定性差的问题,提升在长时间跟踪过程中算法的鲁棒性。
本发明提出的改进的粒子滤波算法在跟踪环境发生迁移以及出现相似目标和遮挡物的干扰的情形下都能有效跟踪目标,且满足***实时性的要求。
附图说明
图1为本发明的流程图;
图2为采用本发明的方法、传统粒子滤波算法和CMT算法对网络公开视频序列Girl进行测试,其中(a)为本发明的方法的跟踪结果,(b)为传统粒子滤波算法的跟踪结果,(c)为CMT算法的跟踪结果;
图3为采用本发明的方法、传统粒子滤波算法和CMT算法对网络公开视频序列Human3进行测试,其中(a)为本发明的方法的跟踪结果,(b)为传统粒子滤波算法的跟踪结果,(c)为CMT算法的跟踪结果。
具体实施方式
下面结合实施例对本发明做进一步的详细描述,但本发明的保护范围并不限于此。
本发明涉及一种基于改进的粒子滤波算法的目标跟踪方法,通过HSV颜色特征和Uniform LBP纹理特征的加权特征融合,提升目标在复杂环境中的区分度,采用加权随机性采样降低追踪过程中粒子的衰减,提升粒子多样性,利用卡尔曼滤波对追踪进行偏移校正,有效降低跟踪过程中相似目标和遮挡物的干扰,通过目标模板不断更新的策略提升了目标模板的准确性。
所述方法包括以下步骤。
步骤1:获取视频流。
步骤2:读取首帧图像,选定跟踪的目标。
步骤3:进行多维特征提取,建立目标模板。
所述步骤3包括以下步骤:
步骤3.1:将视频首帧的HSV空间的3个分量H、S、V分别划分为4个等级,总级数为64,统计每个像素在每一分量的数量,进行直方图统计,得到HSV颜色特征及对应的目标区域的直方图pu
所述步骤3.1中,进行直方图统计时,根据像素与已选定目标的中心点的距离,像素被赋予不同的权值
Figure BDA0002192780980000071
其中,r为像素与目标中心点的距离。
所述目标区域的直方图其中,N为像素总数,||x0-xi||为像素xi到像素x0的距离,b(xi)为像素xi处对应直方图的索引值,δ为狄拉克函数,直方图的区间索引范围u∈[1,64],
Figure BDA0002192780980000073
Hx为目标矩形的半宽,Hy为目标矩形的半高,k为像素的权值。
本发明中,颜色特征是跟踪算法中最常提取的目标特征之一,其对目标尺寸、拍摄角度的依懒性小,且具有旋转不变性。其中,HSV颜色空间具有3个分量,分别代表色彩(hue)、饱和度(saturation)和值(value),3个分量相互独立,与传统RGB颜色空间相比不容易受光照的影响,故提取基于HSV空间的颜色特征作为融合特征之一。
本发明中,提取目标的HSV颜色特征时,首先将3个分量H、S、V分别划分为4个等级,总级数为64,再统计每个像素在各分量的数量;最后再进行直方图统计即得HSV颜色特征。
本发明中,根据像素与已选定目标的中心点的距离,像素被赋予不同的权值,像素的权值与其距目标中心的距离呈负相关关系。
步骤3.2:使用8采样点的等价模式的LBP算子提取图像的纹理特征;
本发明中,局部二值模式(local binary patterns,LBP)是一种用于描述图像局部纹理特征的算子,具有旋转不变性和灰度不变性等优点,在传统LBP算法中,一般是以3*3滑动窗口遍历图像,对图像进行二进制编码,以窗口中心的像素灰度值为参考,将相邻的8个像素的灰度值与其进行比较,若该像素值小于中心像素值,则该像素点被标记为0,否则标记为1,从而完成对一个滑动窗口的编码。而Uniform LBP是等价模式的LBP算子,若LBP算子的二进制编码从1到0或者从0到1的跳变最多发生两次,则该LBP编码就称为一个等价模式,如11110000为只含一次从1到0的跳变、01111100为含有从0到1、再从1到0的两次跳变,都为等价模式;等价模式以外的情形,即不发生跳变或发生两次以上跳变的都归为混合模式。
本发明中,相较于原始的LBP算子,使用等价模式的LBP算子提取图像的纹理特征,其数据量小且更容易突显目标特征,因此采用8采样点的Uniform LBP算子提取目标的纹理特征作为第二个融合特征,其中等价形式有58类,其他所有值归为第59类,这使得特征维度从原始LBP直方图256(28)维降低到59维,降低了运算复杂度以及高频噪声带来的影响。
步骤3.3:建立目标模板。
步骤4:读取下一帧图像,以目标模板进行目标搜索。
所述步骤4包括以下步骤:
步骤4.1:对所述下一帧图像进行重采样,在当前帧中提取每个目标的多维特征,包括目标的HSV颜色特征分布直方图
Figure BDA0002192780980000091
以及Uniform LBP纹理特征分布直方图
Figure BDA0002192780980000092
其中,j为粒子序号;
步骤4.2:以计算第j个粒子的颜色特征直方图、纹理特征直方图的相似系数其中,n为目标模板pu和粒子特征直方图
Figure BDA0002192780980000096
的维数;
步骤4.3:通过加权特征融合得到每个粒子的相似度权值
Figure BDA0002192780980000097
其中,α、β分别为颜色特征和纹理特征的权重,0≤α≤1,0≤β≤1。
本发明中,特征提取运算发生在粒子初始化流程和粒子搜索流程中,分别用于建立初始目标参考模板和提取每个粒子所在区域特征,选定跟踪目标后,通过上述算法提取目标的HSV颜色特征分布直方图pcolor以及Uniform LBP纹理特征分布直方图pulbp,重采样流程后,在新一帧中提取每个粒子所在区域的
Figure BDA0002192780980000098
Figure BDA0002192780980000099
其中,j为第j个粒子,再采用Bhattacharyya系数衡量目标模板与粒子特征直方图之间的相似程度;以颜色为主并融合纹理特征,有效提升了目标的可区分性,进而提高了跟踪的准确性
本发明中,Bhattacharyya系数m值越大表示两直方图越相似,m等于1时,表示两直方图完全匹配。
本发明中,一般情况下,α取值为1,β取值为0.75。
步骤5:对搜索到的目标进行加权重采样。
所述步骤5包括以下步骤:
步骤5.1:将所有粒子按相似度权值进行排序,按权值大小等分为高、中、低3类粒子;
步骤5.2:高权值类粒子保持不变,将中、低权值类粒子从原序列取出;
步骤5.3:将取出后的中、低权值类粒子按照权值大小进行排序,分为高、中、低权值的三等分;
步骤5.4:对二次排序和分类后的粒子分别赋值;
所述步骤5.4中,对二次排序和分类后的高权值类粒子赋值0到50的权重、中权值类粒子赋值50到75的权重、低权值类粒子赋值75到100的权重;所述步骤5.5中,若干数字为0至100的数字。
步骤5.5:将二次排序和分类后的中、低权值的粒子进行采样,产生若干数字,按照每次的数字对应步骤5.4赋值后的粒子,取对应的粒子补位到原序列的中、低权值粒子;
步骤5.6:完成重采样。
本发明中,传统粒子滤波算法进行重采样时,会将粒子按相似度权值,即Bhattacharyya系数由高到低进行排序,排序处于前半段的高权值粒子保持不变,排序处于后半段的粒子统一用权值最高的粒子替换,这导致长期跟踪过程中会出现大部分粒子是由少数粒子替换的情况,从而产生粒子衰退现象;在长期跟踪过程中,粒子衰退现象对跟踪准确性的不良影响会越来越大,因此,采用加权随机采样以改进重采样流程、减弱粒子衰退现象、提升粒子的多样性。
本发明中,一般情况下,按权值大小等分为高、中、低3类粒子根据粒子的总数进行均分,无法均分时,则取接近整数值。
本发明中,改进后的重采样,将粒子按相似度权值大小分划分为3个等级,并按照重要性赋予不同权重系数进行加权随机采样,使得权值较高的粒子容易被选中,权值较低的粒子也不会全部剔除,这既确保了高权值类粒子所占比例,又满足了粒子的多样性。
步骤6:进行干扰检测,若存在干扰,则进行校正,进行下一步,否则,直接进行下一步。
所述步骤6包括以下步骤:
步骤6.1:选定目标后,根据目标质心坐标对卡尔曼滤波进行初始化;
步骤6.2:使用粒子滤波追踪当前帧中目标的质心点PPF
步骤6.3:使用卡尔曼滤波,以上一帧中目标的质心点为依据进行预测,得到当前帧的卡尔曼滤波预测的目标质心点PKal
步骤6.4:计算粒子相似度权值次高的w2和最高的w1的比值v=w2/w1,若v大于干扰判定阈值Tv,则判定PPF为相似目标干扰;
计算PPF与PKal的欧式距离d,若d高于预设阈值Td,且目标的相似度权值低于预设阈值Ts,则判定PPF为遮挡干扰;
步骤6.5:若判定干扰存在,则使用卡尔曼滤波预测目标位置PKal替换粒子滤波预测目标位置PPF,进行步骤7,否则,直接进行步骤7。
Ty为0.9,Td为0.75,Ts为10。
本发明中,出现相似目标干扰时,代表相似目标和真实目标的粒子权值相近,按照权值高低排序后,通常排在第一顺位和第二顺位,出现遮挡干扰时,目标暂时从画面消失,这导致最高权值粒子代表区域不是目标所在位置,该粒子相似度权值较低且与卡尔曼滤波预测目标位置相差较大,因此增加干扰判定,在发生相似前景目标干扰或遮挡干扰时利用卡尔曼滤波及时修正目标位置。
本发明中,卡尔曼滤波是一种利用线性***状态方程对***状态进行最优估计的算法,此为本领域的公知技术,本领域技术人员可以依据需要进行使用和微调。卡尔曼偏移校正为跟踪目标增加了运动方向的维度,增强了算法在目标被相似前景干扰、遮挡情况下跟踪的准确性。
步骤7:若目标模板更新条件被触发,则更新目标模板,返回步骤4,否则,直接返回步骤4。
所述步骤7中,目标模板更新条件为更新函数
Figure BDA0002192780980000111
其中,p0为首帧图像选定的目标模板直方图,pk、pk+1分别为当前帧、下一帧的目标模板直方图,γ为模板融合系数,N为间隔帧数,N*表示正整数数集;k/N的结果为正整数时,触发目标模板更新条件,进行目标模板更新,否则目标模板保持不变。
本发明中,传统粒子滤波跟踪算法中,目标参考模板建立之后就不再更新,因而在长期跟踪过程中,如果目标外观发生较大变化或者跟踪环境发生迁移,该模板不能实现稳定的跟踪,因此需要设置目标模板更新条件,以更新函数实时更新目标模板。
本发明中,γ为模板融合系数,决定了在模板更新过程中,当前帧目标特征与目标模板的融合比例,一般来说,γ取0.15。
本发明中,目标模板的更新保持N帧间隔即N帧非卡尔曼校正帧,这可确保跟踪发生干扰时目标模板不被错误更新,一般情况下,N取15。
本发明中,通过不断调整跟踪目标的参考模板,算法可具备一定的自适应能力。当出现跟踪目标形变、跟踪环境迁移等情况时,本文算法仍然能够对目标进行有效跟踪。
本发明中,分别采用本发明的方法、传统粒子滤波算法和CMT算法对网络公开视频序列Girl、Human3进行测试,这两个视频序列包含了跟踪目标被遮挡、相似前景目标干扰等情形;传统粒子滤波算法和本发明的方法中设定粒子数为50;
第一组实验采用Girl视频序列,在前70多帧序列,女性左右、前后移动时,3种算法均没有出现跟丢目标的情况,随后该女性侧身转头,面部特征逐渐消失,传统粒子滤波算法、CMT算法在第91帧均出现了跟丢的情况,而本发明的方法通过不断更新参考模板,没有出现跟丢目标的情况,且跟踪性能较为稳定;72帧后女性进行转身动作,利用传统粒子滤波算法和CMT算法追踪目标时均出现较大误差,到90帧左右,转身动作完成一半时,利用传统粒子滤波算法和CMT算法追踪目标时出现目标跟丢现象;而本发明的方法在目标完成转身动作后仍然能有效跟踪目标;
第二组实验采用Human3视频序列,图像分辨率为480像素×640像素,跟踪目标是一名穿越马路的行人;由于跟踪目标颜色特征与其周围背景(马路)颜色特征相近,因而CMT算法出现了目标跟丢的情况,使用单一颜色特征的传统粒子滤波算法也同样出现了目标跟丢的情况,但是本发明的方法的目标模板是HSV颜色特征和Uniform LBP纹理特征的特征融合,因而能够准确跟踪目标;第37帧时一名穿着与跟踪目标的衣服颜色相近的行人与跟踪目标相遇,传统粒子滤波算法在他们相遇又分开后出现目标跟丢现象,而本发明的方法通过干扰检测判定行人为相似目标干扰后,再进行卡尔曼滤波偏移校正,实现了有效跟踪目标;目标经过电线杆时被遮挡,本发明的方法通过干扰检测判定电线杆为遮挡干扰后,再进行卡尔曼滤波偏移校正,从而在目标穿过电线杆时没有出现丢失跟踪目标的情况;本发明的方法的跟踪误差小于传统粒子滤波算法和CMT算法,曲线波动程度较小,跟踪比较稳定;
综合运算速度,CMT算法的运行速度最快,相较于传统粒子滤波算法,改进的粒子滤波算法运算复杂度增加,检测速度有所降低,而由于本发明的方法仅在单人行为分析中启用,再无其他耗时过多的流程,因此该算法基本可满足***实时性的需求。
本发明从增加特征维度、降低粒子衰减、提升算法抗扰性和引入目标模板更新策略四个方面对传统粒子滤波算法进行改进;目标建模时,先提取目标的颜色特征和纹理特征,再以两个特征进行加权特征融合后作为目标模板,以提升目标在复杂环境中的可区分性;粒子重采样流程中,采用一种加权随机采样方法,以有效抑制粒子衰退现象;在粒子滤波算法框架下加入卡尔曼滤波,用于处理相似物干扰及目标被遮挡的情形;模板更新策略即在目标跟踪过程中对目标模板进行实时更新,以解决目标姿态、形状发生较大变化及跟踪环境发生迁移时跟踪稳定性差的问题,提升在长时间跟踪过程中算法的鲁棒性。
本发明提出的改进的粒子滤波算法在跟踪环境发生迁移以及出现相似目标和遮挡物的干扰的情形下都能有效跟踪目标,且满足***实时性的要求。

Claims (10)

1.一种基于改进的粒子滤波算法的目标跟踪方法,其特征在于:所述方法包括以下步骤:
步骤1:获取视频流;
步骤2:读取首帧图像,选定跟踪的目标;
步骤3:进行多维特征提取,建立目标模板;
步骤4:读取下一帧图像,以目标模板进行目标搜索;
步骤5:对搜索到的目标进行加权重采样;
步骤6:进行干扰检测,若存在干扰,则进行校正,进行下一步,否则,直接进行下一步;
步骤7:若目标模板更新条件被触发,则更新目标模板,返回步骤4,否则,直接返回步骤4。
2.根据权利要求1所述的一种基于改进的粒子滤波算法的目标跟踪方法,其特征在于:所述步骤3包括以下步骤:
步骤3.1:将视频首帧的HSV空间的3个分量H、S、V分别划分为4个等级,总级数为64,统计每个像素在每一分量的数量,进行直方图统计,得到HSV颜色特征及对应的目标区域的直方图pu
步骤3.2:使用8采样点的等价模式的LBP算子提取图像的纹理特征;
步骤3.3:建立目标模板。
3.根据权利要求2所述的一种基于改进的粒子滤波算法的目标跟踪方法,其特征在于:所述步骤3.1中,进行直方图统计时,根据像素与已选定目标的中心点的距离,像素被赋予不同的权值其中,r为像素与目标中心点的距离。
4.根据权利要求3所述的一种基于改进的粒子滤波算法的目标跟踪方法,其特征在于:所述目标区域的直方图
Figure FDA0002192780970000022
其中,N为像素总数,||x0-xi||为像素xi到像素x0的距离,b(xi)为像素xi处对应直方图的索引值,δ为狄拉克函数,直方图的区间索引范围u∈[1,64],
Figure FDA0002192780970000023
Hx为目标矩形的半宽,Hy为目标矩形的半高,k为像素的权值。
5.根据权利要求1所述的一种基于改进的粒子滤波算法的目标跟踪方法,其特征在于:所述步骤4包括以下步骤:
步骤4.1:对所述下一帧图像进行重采样,在当前帧中提取每个目标的多维特征,包括目标的HSV颜色特征分布直方图
Figure FDA0002192780970000024
以及Uniform LBP纹理特征分布直方图
Figure FDA0002192780970000025
其中,j为粒子序号;
步骤4.2:以
Figure FDA0002192780970000026
计算第j个粒子的颜色特征直方图、纹理特征直方图的相似系数
Figure FDA0002192780970000027
Figure FDA0002192780970000028
其中,n为目标模板pu和粒子特征直方图的维数;
步骤4.3:通过加权特征融合得到每个粒子的相似度权值
Figure FDA00021927809700000210
其中,α、β分别为颜色特征和纹理特征的权重,0≤α≤1,0≤β≤1。
6.根据权利要求5所述的一种基于改进的粒子滤波算法的目标跟踪方法,其特征在于:所述步骤5包括以下步骤:
步骤5.1:将所有粒子按相似度权值进行排序,按权值大小等分为高、中、低3类粒子;
步骤5.2:高权值类粒子保持不变,将中、低权值类粒子从原序列取出;
步骤5.3:将取出后的中、低权值类粒子按照权值大小进行排序,分为高、中、低权值的三等分;
步骤5.4:对二次排序和分类后的粒子分别赋值;
步骤5.5:将二次排序和分类后的中、低权值的粒子进行采样,产生若干数字,按照每次的数字对应步骤5.4赋值后的粒子,取对应的粒子补位到原序列的中、低权值粒子;
步骤5.6:完成重采样。
7.根据权利要求6所述的一种基于改进的粒子滤波算法的目标跟踪方法,其特征在于:所述步骤5.4中,对二次排序和分类后的高权值类粒子赋值0到50的权重、中权值类粒子赋值50到75的权重、低权值类粒子赋值75到100的权重;所述步骤5.5中,若干数字为0至100的数字。
8.根据权利要求1所述的一种基于改进的粒子滤波算法的目标跟踪方法,其特征在于:所述步骤6包括以下步骤:
步骤6.1:选定目标后,根据目标质心坐标对卡尔曼滤波进行初始化;
步骤6.2:使用粒子滤波追踪当前帧中目标的质心点PPF
步骤6.3:使用卡尔曼滤波,以上一帧中目标的质心点为依据进行预测,得到当前帧的卡尔曼滤波预测的目标质心点PKal
步骤6.4:计算粒子相似度权值次高的w2和最高的w1的比值v=w2/w1,若v大于干扰判定阈值Tv,则判定PPF为相似目标干扰;计算PPF与PKal的欧式距离d,若d高于预设阈值Td,且目标的相似度权值低于预设阈值Ts,则判定PPF为遮挡干扰;
步骤6.5:若判定干扰存在,则使用卡尔曼滤波预测目标位置PKal替换粒子滤波预测目标位置PPF,进行步骤7,否则,直接进行步骤7。
9.根据权利要求8所述的一种基于改进的粒子滤波算法的目标跟踪方法,其特征在于:Ty为0.9,Td为0.75,Ts为10。
10.根据权利要求1所述的一种基于改进的粒子滤波算法的目标跟踪方法,其特征在于:所述步骤7中,目标模板更新条件为更新函数
Figure FDA0002192780970000041
其中,p0为首帧图像选定的目标模板直方图,pk、pk+1分别为当前帧、下一帧的目标模板直方图,γ为模板融合系数,N为间隔帧数,N*表示正整数数集;k/N的结果为正整数时,触发目标模板更新条件,进行目标模板更新,否则目标模板保持不变。
CN201910837928.8A 2019-09-05 2019-09-05 一种基于改进的粒子滤波算法的目标跟踪方法 Withdrawn CN110782487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910837928.8A CN110782487A (zh) 2019-09-05 2019-09-05 一种基于改进的粒子滤波算法的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910837928.8A CN110782487A (zh) 2019-09-05 2019-09-05 一种基于改进的粒子滤波算法的目标跟踪方法

Publications (1)

Publication Number Publication Date
CN110782487A true CN110782487A (zh) 2020-02-11

Family

ID=69384040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910837928.8A Withdrawn CN110782487A (zh) 2019-09-05 2019-09-05 一种基于改进的粒子滤波算法的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110782487A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930428A (zh) * 2020-02-19 2020-03-27 成都纵横大鹏无人机科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN112184734A (zh) * 2020-09-30 2021-01-05 南京景瑞康分子医药科技有限公司 一种基于红外图像和穿戴式光纤的动物长时间姿态识别***
CN112949588A (zh) * 2021-03-31 2021-06-11 苏州科达科技股份有限公司 目标检测跟踪方法以及目标检测跟踪装置
CN114347030A (zh) * 2022-01-13 2022-04-15 中通服创立信息科技有限责任公司 机器人视觉跟随方法及视觉跟随机器人
CN117670940A (zh) * 2024-01-31 2024-03-08 中国科学院长春光学精密机械与物理研究所 基于相关性峰值距离分析的单流卫星视频目标跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616318A (zh) * 2015-01-22 2015-05-13 重庆邮电大学 一种视频序列图像中的运动目标跟踪方法
CN108629797A (zh) * 2018-04-28 2018-10-09 四川大学 一种基于粒子滤波的视觉目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616318A (zh) * 2015-01-22 2015-05-13 重庆邮电大学 一种视频序列图像中的运动目标跟踪方法
CN108629797A (zh) * 2018-04-28 2018-10-09 四川大学 一种基于粒子滤波的视觉目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高海 等: "改进的粒子滤波目标跟踪算法" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930428A (zh) * 2020-02-19 2020-03-27 成都纵横大鹏无人机科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN112184734A (zh) * 2020-09-30 2021-01-05 南京景瑞康分子医药科技有限公司 一种基于红外图像和穿戴式光纤的动物长时间姿态识别***
CN112184734B (zh) * 2020-09-30 2024-06-07 南京景瑞康分子医药科技有限公司 一种基于红外图像和穿戴式光纤的动物长时间姿态识别***
CN112949588A (zh) * 2021-03-31 2021-06-11 苏州科达科技股份有限公司 目标检测跟踪方法以及目标检测跟踪装置
CN114347030A (zh) * 2022-01-13 2022-04-15 中通服创立信息科技有限责任公司 机器人视觉跟随方法及视觉跟随机器人
CN117670940A (zh) * 2024-01-31 2024-03-08 中国科学院长春光学精密机械与物理研究所 基于相关性峰值距离分析的单流卫星视频目标跟踪方法
CN117670940B (zh) * 2024-01-31 2024-04-26 中国科学院长春光学精密机械与物理研究所 基于相关性峰值距离分析的单流卫星视频目标跟踪方法

Similar Documents

Publication Publication Date Title
CN110782487A (zh) 一种基于改进的粒子滤波算法的目标跟踪方法
CN107993245B (zh) 一种空天背景多目标检测和跟踪方法
CN110992381B (zh) 一种基于改进Vibe+算法的运动目标背景分割方法
D'Elia et al. A tree-structured Markov random field model for Bayesian image segmentation
CN108304798B (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN108537239B (zh) 一种图像显著性目标检测的方法
CN106023257B (zh) 一种基于旋翼无人机平台的目标跟踪方法
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN107230188B (zh) 一种视频运动阴影消除的方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN109345472A (zh) 一种复杂场景的红外运动小目标检测方法
CN108876820B (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN105513066B (zh) 一种基于种子点选取与超像素融合的通用物体检测方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
CN110598613B (zh) 一种高速公路团雾监测方法
CN109087330A (zh) 一种基于由粗到精图像分割的运动目标检测方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN110633727A (zh) 基于选择性搜索的深度神经网络舰船目标细粒度识别方法
Indrabayu et al. Vehicle detection and tracking using gaussian mixture model and kalman filter
CN107103301B (zh) 视频目标时空最大稳定性判别性颜色区域匹配方法和***
CN111091071A (zh) 基于探地雷达双曲波拟合的地下目标检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200211