CN105844667A - 一种紧凑颜色编码的结构化目标跟踪方法 - Google Patents

一种紧凑颜色编码的结构化目标跟踪方法 Download PDF

Info

Publication number
CN105844667A
CN105844667A CN201610178939.6A CN201610178939A CN105844667A CN 105844667 A CN105844667 A CN 105844667A CN 201610178939 A CN201610178939 A CN 201610178939A CN 105844667 A CN105844667 A CN 105844667A
Authority
CN
China
Prior art keywords
target
frame
compact
sample
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610178939.6A
Other languages
English (en)
Inventor
姚睿
孙金亮
崔哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201610178939.6A priority Critical patent/CN105844667A/zh
Publication of CN105844667A publication Critical patent/CN105844667A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种紧凑颜色编码的结构化目标跟踪方法,通过融合候选目标区域的形状与颜色特征,增强了目标的特征描述能力;使用哈希函数降低这种组合特征的维度,形成低维的紧凑二进制颜色编码特征,有效的降低了跟踪算法的计算复杂度;使用结构化分类函数提高了目标分类的精确度,增强了对非刚体目标形变、目标遮挡的处理能力,提升了目标跟踪的性能。本方法首先对目标位置及结构化分类函数进行初始化;其次生成目标训练样本,并提取样本的形状与颜色特征;接着构建紧凑编码特征;然后使用这些训练样本的紧凑编码特征学习与更新结构化分类函数;最后在当前帧生成候选目标区域,使用更新过参数的结构化分类函数估计最优目标区域,实现目标跟踪。

Description

一种紧凑颜色编码的结构化目标跟踪方法
技术领域
本发明涉及一种结构化目标跟踪方法,特别是一种紧凑颜色编码的结构化目标跟踪方法。
背景技术
目标跟踪的任务是在视频序列的每一帧图像中找到被跟踪目标所处的位置并标记出来,在军事制导、视频监控、医疗诊断、产品检测、虚拟现实等众多领域均有重要的应用和发展前景。由于目标自身变化的多样性(如:目标尺寸变化、姿态旋转、非刚体目标的形变等)和外部环境的复杂性(如:光照、背景扰动、相似物体干扰、目标之间相互遮挡、背景对目标的部分遮挡甚至完全遮挡等),鲁棒、实时的目标跟踪一直是一个极富挑战性的问题。目前针对视觉跟踪的研究在某些条件下取得了良好的跟踪效果,但对于实际场景下长视频视觉跟踪中出现的严重遮挡、非刚体目标形变等问题,目标跟踪性能仍有待提高。
文献“Adaptive Color Attributes for Real-Time Visual Tracking,Martin Danelljan et al.,2014IEEE Conference on Computer Vision and Pattern Recognition(CVPR)[C],2014:1090–1097”公开了一种自适应颜色特征的实时目标跟踪方法。该方法提取目标与背景区域的颜色特征,使用基于核函数的相关滤波器来区分它们,进而实现视频序列的目标跟踪,取得较好的跟踪效果。但文献所述方法只简单使用了目标像素的颜色信息,并没有考虑目标的形状特征,使得特征的描述能力较弱;另外构造的基于相关滤波器的最小二乘分类器只能进行二分类,不能精确反映目标的遮挡信息;以上问题在复杂的实际跟踪场景中会造成视觉跟踪漂移,导致跟踪性能下降。
发明内容
本发明的目的是要提供一种紧凑颜色编码的结构化目标跟踪方法,解决在复杂的实际跟踪场景中会造成视觉跟踪漂移,导致跟踪性能下降的问题。
本发明的目的是这样实现的:该结构化目标跟踪方法,通过融合候选目标区域的形状与颜色特征,并使用哈希函数降低这种组合特征的维度,形成低维的紧凑颜色编码特征,进而采用结构化分类函数进行目标分类与预测,实现目标跟踪;
包括下述步骤:
步骤一:初始化目标位置及结构化分类函数;
在视频序列的初始帧,手动的给定需要跟踪目标的边界框B1=(c1,r1,w1,h1),B1用来表示目标的位置,其中c1,r1分别表示左上角的列和行坐标,w1,h1表示宽度和高度,边界框Bt表示第t帧时目标的位置,目标位移的偏移量表示为由于视频序列中第1帧的目标位置上的边界框已经手动给定,跟踪方法需要从第2帧开始跟踪目标,估计出准确的标识目标位置的边界框;第t帧中目标的边界框Bt可由以下方式得到:
公式(1)中的f(xt,y)=<w,Ψ(xt,y)>是结构化分类函数,其中xt表示视频序列中的第t帧图像,Ψ(xt,y)是一个k维的向量,表示候选目标区域的紧凑颜色编码特征,将由步骤三构建;参数w是一个k维的向量,使用k个介于0和1之间的随机实数对它初始化,它将在步骤四通过对每一帧样本的学习进行在线更新。
步骤二:生成目标训练样本,并提取样本的形状与颜色特征;
(2-1)、使用密集采样方法在真实目标边界框附近采样,产生M个目标位置偏移量,并截取相应的图像区域作为训练样本,提取这些样本的形状与颜色特征;
(2-2)、提取每个训练样本的形状特征,使用Haar-like特征来描述目标的形状信息;
(2-3)、提取每个训练样本的颜色信息,与形状特征融合为一个新的特征向量。
步骤三:构建紧凑编码特征;
使用局部敏感哈希对步骤二得到的高维特征进行映射,生成紧凑颜色编码特征向量Ψ(xt,y);
当步骤二得到的特征向量的维度为d,即每个样本的特征都是一个d维向量,若m=100,定义由m个哈希函数ha(·)组成的哈希函数族高维的d维向量映射为m(m<<d)维的紧凑二进制编码特征;更具体地,从d维高斯分布中生成一个随机向量作为超平面,则哈希函数hav(·)定义为:
ha v ( q ) = 1 , v &CenterDot; q > 0 0 , v &CenterDot; q < 0 , - - - ( 2 )
其中是单个样本通过权利要求1所述步骤二得到的特征向量,通过上述方法构建m个哈希函数,并将q依次代入这些哈希函数,得到m维的二进制编码串,即为构建的紧凑颜色编码特征向量,上述m个哈希函数仅在视频序列第1帧生成,在后继帧中将继续使用。
步骤四:学习与更新结构化分类函数;
使用步骤三中生成的样本的紧凑颜色编码特征更新公式(1)中结构化分类函数f(xt,y)的参数w,以便使用更新后的w在新的视频帧中估计最优目标位置;
目标跟踪是一个在线更新的过程,用于处理动态的数据流,目标跟踪方法需要从训练样本中学习并更新参数以适应新的数据;
将用紧凑颜色编码特征表示的M个样本代入公式(3),通过优化公式(3)得到新的参数w:
m i n w &lambda; 2 | | w | | 2 + &Sigma; t = 1 T &xi; t s . t . &ForAll; t : &xi; t &GreaterEqual; 0 ; &ForAll; t , y &NotEqual; y t : < w , &Psi; ( x t , y t ) > - < w , &Psi; ( x t , y ) > &GreaterEqual; &Delta; ( y t , y ) - &xi; t , - - - ( 3 )
其中λ为正则化系数,λ=0.1,ξt为松弛变量,标记代价Δ用来度量边界框的覆盖率:
&Delta; ( y t , y ) = 1 - ( B t - 1 + y t ) &cap; ( B t - 1 + y ) ( B t - 1 + y t ) &cup; ( B t - 1 + y ) . - - - ( 4 )
使用次梯度下降法对上式进行迭代优化,最终确定新的参数w的值。
步骤五:生成候选目标区域,使用结构化分类函数估计最优目标区域,确定目标位置;当第t+1帧图像到来时,跟踪方法需要在上一帧目标出现位置附近采样,使用已更新过参数wt+1结构化分类函数估计出这些样本中分类分数最高的,这个样本指示的区域即为最优目标位置;得到新的目标位置之后,再转向步骤二继续执行,直至视频序列结束;
使用如下方案:
(5-1)当上一帧计算的目标边界框为Bt,在以(0,0)为圆心、S为半径(S=60)的圆内采样P个偏移由Bt与采样的P个偏移y相加(Bt+y)得到P个候选目标边界框,利用它们在当前第t+1帧图像xt+1上截取出相应的P个图像区域作为候选目标区域;
(5-2)所述步骤二、步骤三描述的特征生成方法,计算P个候选目标区域的紧凑颜色编码特征向量Ψ(xt,y),根据上一帧目标边界框Bt与公式(1)计算的最优偏移得出当前帧目标的位置
有益效果,由于采用了上述方案,通过融合候选目标区域的形状与颜色特征,并使用哈希函数降低这种组合特征的维度,形成低维的紧凑颜色编码特征,进而采用结构化分类函数进行目标分类与预测,实现了目标跟踪。本方法增强了目标的特征描述能力,同时结构化分类提高了目标分类的准确度,可有效避免视觉跟踪漂移,提高跟踪性能。
由于提取了包含形状与颜色信息的目标区域特征,增强了目标外观的描述能力,从根本上提高了目标跟踪的鲁棒性;使用哈希函数对高维的形状与颜色信息进行紧凑二进制编码,有效的降低了跟踪算法的计算复杂度;使用结构化分类函数提高了目标分类的精确度,增强了对非刚体目标形变、目标遮挡的处理能力,提升了目标跟踪的性能。
附图说明:
图1为本发明提供的紧凑颜色编码的结构化目标跟踪方法的基本流程图。
具体实施方式
该结构化目标跟踪方法,通过融合候选目标区域的形状与颜色特征,并使用哈希函数降低这种组合特征的维度,形成低维的紧凑颜色编码特征,进而采用结构化分类函数进行目标分类与预测,实现目标跟踪;
包括下述步骤:
步骤一:初始化目标位置及结构化分类函数;
在视频序列的初始帧,手动的给定需要跟踪目标的边界框B1=(c1,r1,w1,h1),B1用来表示目标的位置,其中c1,r1分别表示左上角的列和行坐标,w1,h1表示宽度和高度,边界框Bt表示第t帧时目标的位置,目标位移的偏移量表示为由于视频序列中第1帧的目标位置上的边界框已经手动给定,跟踪方法需要从第2帧开始跟踪目标,估计出准确的标识目标位置的边界框;第t帧中目标的边界框Bt可由以下方式得到:
公式(1)中的f(xt,y)=<w,Ψ(xt,y)>是结构化分类函数,其中xt表示视频序列中的第t帧图像,Ψ(xt,y)是一个k维的向量,表示候选目标区域的紧凑颜色编码特征,将由步骤三构建;参数w是一个k维的向量,使用k个介于0和1之间的随机实数对它初始化,它将在步骤四通过对每一帧样本的学习进行在线更新。
步骤二:生成目标训练样本,并提取样本的形状与颜色特征;
(2-1)、使用密集采样方法在真实目标边界框附近采样,产生M个目标位置偏移量,并截取相应的图像区域作为训练样本,提取这些样本的形状与颜色特征;
(2-2)、提取每个训练样本的形状特征,使用Haar-like特征来描述目标的形状信息;
(2-3)、提取每个训练样本的颜色信息,与形状特征融合为一个新的特征向量。
步骤三:构建紧凑编码特征;
使用局部敏感哈希对步骤二得到的高维特征进行映射,生成紧凑颜色编码特征向量Ψ(xt,y);
当步骤二得到的特征向量的维度为d,即每个样本的特征都是一个d维向量,若m=100,定义由m个哈希函数ha(·)组成的哈希函数族高维的d维向量映射为m(m<<d)维的紧凑二进制编码特征;更具体地,从d维高斯分布中生成一个随机向量作为超平面,则哈希函数hav(·)定义为:
ha v ( q ) = 1 , v &CenterDot; q > 0 0 , v &CenterDot; q < 0 , - - - ( 2 )
其中是单个样本通过权利要求1所述步骤二得到的特征向量,通过上述方法构建m个哈希函数,并将q依次代入这些哈希函数,得到m维的二进制编码串,即为构建的紧凑颜色编码特征向量,上述m个哈希函数仅在视频序列第1帧生成,在后继帧中将继续使用。
步骤四:学习与更新结构化分类函数;
使用步骤三中生成的样本的紧凑颜色编码特征更新公式(1)中结构化分类函数f(xt,y)的参数w,以便使用更新后的w在新的视频帧中估计最优目标位置;
目标跟踪是一个在线更新的过程,用于处理动态的数据流,目标跟踪方法需要从训练样本中学习并更新参数以适应新的数据;
将用紧凑颜色编码特征表示的M个样本代入公式(3),通过优化公式(3)得到新的参数w:
m i n w &lambda; 2 | | w | | 2 + &Sigma; t = 1 T &xi; t s . t . &ForAll; t : &xi; t &GreaterEqual; 0 ; &ForAll; t , y &NotEqual; y t : < w , &Psi; ( x t , y t ) > - < w , &Psi; ( x t , y ) > &GreaterEqual; &Delta; ( y t , y ) - &xi; t , - - - ( 3 )
其中λ为正则化系数,λ=0.1,ξt为松弛变量,标记代价Δ用来度量边界框的覆盖率:
&Delta; ( y t , y ) = 1 - ( B t - 1 + y t ) &cap; ( B t - 1 + y ) ( B t - 1 + y t ) &cup; ( B t - 1 + y ) . - - - ( 4 )
使用次梯度下降法对上式进行迭代优化,最终确定新的参数w的值。
步骤五:生成候选目标区域,使用结构化分类函数估计最优目标区域,确定目标位置;当第t+1帧图像到来时,跟踪方法需要在上一帧目标出现位置附近采样,使用已更新过参数wt+1结构化分类函数估计出这些样本中分类分数最高的,这个样本指示的区域即为最优目标位置;得到新的目标位置之后,再转向步骤二继续执行,直至视频序列结束;
使用如下方案:
(5-1)当上一帧计算的目标边界框为Bt,在以(0,0)为圆心、S为半径(S=60)的圆内采样P个偏移由Bt与采样的P个偏移y相加(Bt+y)得到P个候选目标边界框,利用它们在当前第t+1帧图像xt+1上截取出相应的P个图像区域作为候选目标区域;
(5-2)所述步骤二、步骤三描述的特征生成方法,计算P个候选目标区域的紧凑颜色编码特征向量Ψ(xt,y),根据上一帧目标边界框Bt与公式(1)计算的最优偏移得出当前帧目标的位置
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例1:本发明的方法具体运行的硬件和编程语言并不限制,用任何语言编写都可以完成。图1为本发明所提供的方法的流程图,具体步骤如下:
步骤一:初始化目标位置及结构化分类函数。
在视频序列的初始帧,手动的给定需要跟踪目标的边界框B1=(c1,r1,w1,h1),B1用来表示目标的位置,其中c1,r1分别表示左上角的列和行坐标,w1,h1表示宽度和高度,边界框Bt表示第t帧时目标的位置,目标位移的偏移量表示为由于视频序列中第1帧的目标位置上的边界框已经手动给定,跟踪方法需要从第2帧开始跟踪目标,估计出准确的标识目标位置的边界框。第t帧中目标的边界框Bt可由以下方式得到:
公式(1)中的f(xt,y)=<w,Ψ(xt,y)>是结构化分类函数,其中xt表示视频序列中的第t帧图像,Ψ(xt,y)是一个k维的向量,表示候选目标区域的紧凑颜色编码特征,将由步骤三构建;参数w是一个k维的向量,本发明使用k个介于0和1之间的随机实数对它初始化,它将在步骤四通过对每一帧样本的学习进行在线更新。
步骤二:生成目标训练样本,并提取样本的形状与颜色特征。
2-1、使用密集采样方法在真实目标边界框附近采样,产生M个目标位置偏移量,并截取相应的图像区域作为训练样本,提取这些样本的形状与颜色特征。
密集采样方法如下:当前第t帧的真实目标边界框为Bt,因此真实的目标偏移yt=(0,0,Δwt,Δht),在本发明中,固定目标大小,设置Δwt=0,Δht=0。以当前目标偏移为圆心、s为半径(本实例中s=30)的圆内采样M个偏移根据公式(1)的定义,可由Bt与采样的M个偏移y相加得到M个目标边界框,利用它们在当前第t帧图像xt上截取出相应的M个图像区域作为训练样本。
2-2、提取每个训练样本的形状特征,本发明使用Haar-like特征来描述目标的形状信息。Haar-like特征是一种目标跟踪领域常用的特征描述算子,本发明使用三种基本类型的特征,分为两矩形特征、三矩形特征、对角特征。分别将三类矩阵图像区域内一类矩形部分的所有像素值之和减去另一类矩形部分所有像素值之和,得到的就是单个特征值,本发明中使用积分图加速计算这个特征值。把所有这三类特征的特征值串联组成一个向量,即为该图像区域的Haar-like特征。
2-3、提取每个训练样本的颜色信息,与形状特征融合为一个新的特征向量。提取颜色信息的方法如下所述:把颜色分为11类(黑、蓝、棕、灰、绿、橙、粉红、紫、红、白、黄),针对上一步中Haar-like特征的三种矩形,统计每个矩形内所有像素的RGB值映射为上述11类颜色的概率,把11个概率值形成颜色向量,放在已求得的Haar-like特征之后,即形成了包含形状与颜色信息的新特征。颜色向量CN,以及矩形I内所有像素的RGB值映射为11类颜色的概率p(cni|I)由公式(2)求得:
C N = { p ( cn i | I ) } i = 1 11 , p ( cn i | I ) = 1 N &Sigma; c &Element; I p ( cn i | g ( c ) ) , - - - ( 2 )
其中cni是11类颜色中的第i类颜色,c是矩形I内像素的坐标,N是矩形I内的像素总数,g(c)是像素c的Lab颜色空间值,由通用颜色名映射关系可得p(cni|g(c))。
步骤三:构建紧凑编码特征。步骤二提取的包含样本形状与颜色信息的特征向量具有很高的维度,直接使用这种特征会增加目标跟踪的计算复杂度,不利于实时跟踪。本发明使用局部敏感哈希对步骤二得到的高维特征进行映射,生成紧凑颜色编码特征向量Ψ(xt,y)。
具体方法如下:设步骤二得到的特征向量的维度为d,即每个样本的特征都是一个d维向量。为了把高维的d维向量映射为m(m<<d)维的紧凑二进制编码特征,本实例中m=100,定义由m个哈希函数ha(·)组成的哈希函数族更具体地,从d维高斯分布中生成一个随机向量作为超平面,则哈希函数hav(·)定义为:
ha v ( q ) = 1 , v &CenterDot; q > 0 0 , v &CenterDot; q < 0 , - - - ( 3 )
其中是单个样本通过步骤二得到的特征向量。通过上述方法构建m个哈希函数,并将q依次代入这些哈希函数,可得到m维的二进制编码串,即为构建的紧凑编码特征向量,注意上述m个哈希函数仅在视频序列第1帧生成,在后继帧中将继续使用。
步骤四:学习与更新结构化分类函数。目标跟踪是一个在线更新的过程,用于处理动态的数据流,目标跟踪方法需要从训练样本中学习并更新参数以适应新的数据。本步骤使用步骤三中生成的样本的紧凑颜色编码特征更新公式(1)中结构化分类函数f(xt,y)的参数w,以便使用更新后的w在新的视频帧中估计最优目标位置。
下面详细描述更新参数w的方法。将使用紧凑编码特征表示的M个样本代入公式(4),通过优化公式(4)得到新的参数w:
m i n w &lambda; 2 | | w | | 2 + &Sigma; t = 1 T &xi; t s . t . &ForAll; t : &xi; t &GreaterEqual; 0 ; &ForAll; t , y &NotEqual; y t : < w , &Psi; ( x t , y t ) > - < w , &Psi; ( x t , y ) > &GreaterEqual; &Delta; ( y t , y ) - &xi; t , - - - ( 4 )
其中λ为正则化系数,本实例中λ=0.1,ξt为松弛变量,标记代价Δ用来度量边界框的覆盖率,定义为:
&Delta; ( y t , y ) = 1 - ( B t - 1 + y t ) &cap; ( B t - 1 + y ) ( B t - 1 + y t ) &cup; ( B t - 1 + y ) . - - - ( 5 )
使用次梯度下降法对公式(4)进行迭代优化,最终确定新的参数w的值。假设当前帧为第t帧,公式(4)关于参数wt的次梯度为:
其中δΨt=Ψ(xt,y)-Ψ(xt,yt),是一个指示函数,如果条件满足返回1,否则返回0。这样,第t+1帧的结构化分类函数参数ηt=1/(λt)是更新的步长,上式可写为:
将步骤三计算的M个样本的特征向量Ψ(xt,y)分别代入公式(7),重新计算后的wt+1即为更新之后的结构化分类函数参数。
步骤五:生成候选目标区域,使用结构化分类函数估计最优目标区域,确定目标位置。当第t+1帧图像到来时,跟踪方法需要在上一帧目标出现位置附近采样,使用已更新过参数wt+1结构化分类类函数估计出这些样本中分类分数最高的,这个样本指示的区域即为最优目标位置。得到新的目标位置之后,再转向步骤二继续执行,直至视频序列结束。具体方法如下所述:
5-1、假设上一帧计算的目标边界框为Bt,在以(0,0)为圆心、S为半径(本实例中S=60)的圆内采样P个偏移可由Bt与采样的P个偏移y相加(Bt+y)得到P个候选目标边界框,利用它们在当前第t+1帧图像xt+1上截取出相应的P个图像区域作为候选目标区域。
5-2、使用步骤二、三描述的特征生成方法,计算P个候选目标区域的紧凑颜色编码特征向量Ψ(xt,y),利用公式(8)计算最优偏移
可根据上一帧目标边界框Bt与公式(8)计算的最优偏移得出当前帧目标的位置

Claims (6)

1.一种紧凑颜色编码的结构化目标跟踪方法,其特征是:该结构化目标跟踪方法,通过融合候选目标区域的形状与颜色特征,并使用哈希函数降低这种组合特征的维度,形成低维的紧凑颜色编码特征,进而采用结构化分类函数进行目标分类与预测,实现目标跟踪;所述方法包括以下步骤:
步骤一:初始化目标位置及结构化分类函数;
步骤二:生成目标训练样本,并提取样本的形状与颜色特征;
步骤三:构建紧凑编码特征;使用局部敏感哈希对步骤二得到的高维特征进行映射,生成紧凑颜色编码特征向量;
步骤四:学习与更新结构化分类函数;使用步骤三中生成的样本的紧凑颜色编码特征更新结构化分类函数的参数,以便使用更新后的在新的视频帧中估计最优目标位置;
步骤五:生成候选目标区域,使用结构化分类函数估计最优目标区域,确定目标位置;当新一帧图像到来时,跟踪方法需要在上一帧目标出现位置附近采样,使用已更新过参数结构化分类函数估计出这些样本中分类分数最高的,这个样本指示的区域即为最优目标位置;得到新的目标位置之后,再转向步骤二继续执行,直至视频序列结束。
2.根据权利要求1所述的一种紧凑颜色编码的结构化目标跟踪方法,其特征是:所述步骤一中,在视频序列的初始帧,手动的给定需要跟踪目标的边界框B1=(c1,r1,w1,h1),B1用来表示目标的位置,其中c1,r1分别表示左上角的列和行坐标,w1,h1表示宽度和高度,边界框Bt表示第t帧时目标的位置,目标位移的偏移量表示为由于视频序列中第1帧的目标位置上的边界框已经手动给定,跟踪方法需要从第2帧开始跟踪目标,估计出准确的标识目标位置的边界框;第t帧中目标的边界框Bt可由以下方式得到:
公式(1)中的f(xt,y)=〈w,Ψ(xt,y)〉是结构化分类函数,其中xt表示视频序列中的第t帧图像,Ψ(xt,y)是一个k维的向量,表示候选目标区域的紧凑颜色编码特征,将由步骤三构建;参数w是一个k维的向量,使用k个介于0和1之间的随机实数对它初始化,它将在步骤四通过对每一帧样本的学习进行在线更新。
3.根据权利要求1所述的一种紧凑颜色编码的结构化目标跟踪方法,其特征是:所述步骤二中,
(2-1)、使用密集采样方法在真实目标边界框附近采样,产生M个目标位置偏移量,并截取相应的图像区域作为训练样本,提取这些样本的形状与颜色特征;
(2-2)、提取每个训练样本的形状特征,使用Haar-like特征来描述目标的形状信息;
(2-3)、提取每个训练样本的颜色信息,与形状特征融合为一个新的特征向量。
4.根据权利要求1所述的一种紧凑颜色编码的结构化目标跟踪方法,其特征是:所述步骤三中,当步骤二得到的特征向量的维度为d,即每个样本的特征都是一个d维向量,若m=100,定义由m个哈希函数ha(·)组成的哈希函数族高维的d维向量映射为m(m<<d)维的紧凑二进制编码特征;更具体地,从d维高斯分布中生成一个随机向量作为超平面,则哈希函数hav(·)定义为:
ha v ( q ) = 1 , v &CenterDot; q > 0 0 , v &CenterDot; q < 0 , - - - ( 2 )
其中是单个样本通过权利要求1所述步骤二得到的特征向量,通过上述方法构建m个哈希函数,并将q依次代入这些哈希函数,得到m维的二进制编码串,即为构建的紧凑颜色编码特征向量,上述m个哈希函数仅在视频序列第1帧生成,在后继帧中将继续使用。
5.根据权利要求1所述的一种紧凑颜色编码的结构化目标跟踪方法,其特征是:所述步骤四中,将用紧凑颜色编码特征表示的M个样本代入公式(3),通过优化公式(3)得到新的参数w:
m i n w &lambda; 2 | | w | | 2 + &Sigma; t = 1 T &xi; t s . t . &ForAll; t : &xi; t &GreaterEqual; 0 ; &ForAll; t , y &NotEqual; y t : < w , &Psi; ( x t , y t ) > - < w , &Psi; ( x t , y ) > &GreaterEqual; &Delta; ( y t , y ) - &xi; t , - - - ( 3 )
其中λ为正则化系数,λ=0.1,ξt为松弛变量,标记代价Δ用来度量边界框的覆盖率:
&Delta; ( y t , y ) = 1 - ( B t - 1 + y t ) &cap; ( B t - 1 + y ) ( B t - 1 + y t ) &cup; ( B t - 1 + y ) . - - - ( 4 )
使用次梯度下降法对上式进行迭代优化,最终确定新的参数w的值。
6.根据权利要求1所述的一种紧凑颜色编码的结构化目标跟踪方法,其特征是:所述步骤五中:
(5-1)当上一帧计算的目标边界框为Bt,在以(0,0)为圆心、S为半径(S=60)的圆内采样P个偏移由Bt与采样的P个偏移y相加(Bt+y)得到P个候选目标边界框,利用它们在当前第t+1帧图像xt+1上截取出相应的P个图像区域作为候选目标区域;
(5-2)所述步骤二、步骤三描述的特征生成方法,计算P个候选目标区域的紧凑颜色编码特征向量Ψ(xt,y),根据上一帧目标边界框Bt与公式(1)计算的最优偏移得出当前帧目标的位置
CN201610178939.6A 2016-03-25 2016-03-25 一种紧凑颜色编码的结构化目标跟踪方法 Pending CN105844667A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610178939.6A CN105844667A (zh) 2016-03-25 2016-03-25 一种紧凑颜色编码的结构化目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610178939.6A CN105844667A (zh) 2016-03-25 2016-03-25 一种紧凑颜色编码的结构化目标跟踪方法

Publications (1)

Publication Number Publication Date
CN105844667A true CN105844667A (zh) 2016-08-10

Family

ID=56583845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610178939.6A Pending CN105844667A (zh) 2016-03-25 2016-03-25 一种紧凑颜色编码的结构化目标跟踪方法

Country Status (1)

Country Link
CN (1) CN105844667A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530327A (zh) * 2016-11-07 2017-03-22 北京航空航天大学 一种基于多局部特征学习的快速实时判别型跟踪方法
CN108280808A (zh) * 2017-12-15 2018-07-13 西安电子科技大学 基于结构化输出相关滤波器的目标跟踪方法
CN108596949A (zh) * 2018-03-23 2018-09-28 云南大学 视频目标跟踪状态分析方法、装置和实现装置
CN109272533A (zh) * 2018-10-12 2019-01-25 山东大学 一种基于紧致表达的物体鲁棒跟踪装置及跟踪方法
CN115454009A (zh) * 2022-11-11 2022-12-09 常熟理工学院 用于化工生产的组分配制模型预测控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009682A1 (en) * 2012-07-03 2014-01-09 Motorola Solutions, Inc. System for media correlation based on latent evidences of audio
WO2014133251A1 (ko) * 2013-02-27 2014-09-04 주식회사 케이쓰리아이 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
CN104081435A (zh) * 2014-04-29 2014-10-01 中国科学院自动化研究所 一种基于级联二值编码的图像匹配方法
CN104463233A (zh) * 2014-12-30 2015-03-25 深圳市捷顺科技实业股份有限公司 车标识别方法及车标识别装置
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009682A1 (en) * 2012-07-03 2014-01-09 Motorola Solutions, Inc. System for media correlation based on latent evidences of audio
WO2014133251A1 (ko) * 2013-02-27 2014-09-04 주식회사 케이쓰리아이 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
CN104081435A (zh) * 2014-04-29 2014-10-01 中国科学院自动化研究所 一种基于级联二值编码的图像匹配方法
CN104463233A (zh) * 2014-12-30 2015-03-25 深圳市捷顺科技实业股份有限公司 车标识别方法及车标识别装置
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOSES S. CHARIKAR: "Similarity Estimation Techniques from Rounding Algorithms", 《PROCEEDINGS OF THE THIRY-FOURTH ANNUAL ACM SYMPOSIUM ON THEORY OF COMPUTING》 *
YAO RUI ET AL.: "Robust tracking via online Max-Margin structural learning with approximate sparse intersection kernel", 《NEUROCOMPUTING》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530327A (zh) * 2016-11-07 2017-03-22 北京航空航天大学 一种基于多局部特征学习的快速实时判别型跟踪方法
CN108280808A (zh) * 2017-12-15 2018-07-13 西安电子科技大学 基于结构化输出相关滤波器的目标跟踪方法
CN108596949A (zh) * 2018-03-23 2018-09-28 云南大学 视频目标跟踪状态分析方法、装置和实现装置
CN108596949B (zh) * 2018-03-23 2020-06-12 云南大学 视频目标跟踪状态分析方法、装置和实现装置
CN109272533A (zh) * 2018-10-12 2019-01-25 山东大学 一种基于紧致表达的物体鲁棒跟踪装置及跟踪方法
CN109272533B (zh) * 2018-10-12 2021-08-17 山东大学 一种基于紧致表达的物体鲁棒跟踪装置及跟踪方法
CN115454009A (zh) * 2022-11-11 2022-12-09 常熟理工学院 用于化工生产的组分配制模型预测控制方法

Similar Documents

Publication Publication Date Title
CN111695522B (zh) 一种平面内的旋转不变人脸检测方法、装置及存储介质
CN105844667A (zh) 一种紧凑颜色编码的结构化目标跟踪方法
CN106096557A (zh) 一种基于模糊训练样本的半监督学习人脸表情识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN106682569A (zh) 一种基于卷积神经网络的快速交通标识牌识别方法
Yue et al. Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion models
CN105809693A (zh) 基于深度神经网络的sar图像配准方法
CN105740909A (zh) 一种基于空间变换的自然场景下文本识别方法
CN107748873A (zh) 一种融合背景信息的多峰目标跟踪方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及***
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN107886558A (zh) 一种基于RealSense的人脸表情动画驱动方法
CN109598234A (zh) 关键点检测方法和装置
CN104240256A (zh) 一种基于层次化稀疏建模的图像显著性检测方法
CN107437246A (zh) 一种基于端到端全卷积神经网络的共同显著性检测方法
CN103617413B (zh) 一种在图像中识别物体的方法
CN103927511A (zh) 基于差异特征描述的图像识别方法
CN107944437B (zh) 一种基于神经网络和积分图像的人脸定位方法
CN107944428A (zh) 一种基于超像素集的室内场景语义标注方法
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
CN106683102A (zh) 基于脊波滤波器和卷积结构模型的sar图像分割方法
CN105844665A (zh) 视频对象追踪方法及装置
CN114565045A (zh) 一种基于特征分离注意力的遥感目标检测知识蒸馏方法
CN103714331A (zh) 一种基于点分布模型面部表情特征的提取方法
CN107992856A (zh) 城市场景下的高分遥感建筑物阴影检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160810