CN111931722A - 一种结合颜色比率特征的相关滤波跟踪方法 - Google Patents
一种结合颜色比率特征的相关滤波跟踪方法 Download PDFInfo
- Publication number
- CN111931722A CN111931722A CN202011006205.2A CN202011006205A CN111931722A CN 111931722 A CN111931722 A CN 111931722A CN 202011006205 A CN202011006205 A CN 202011006205A CN 111931722 A CN111931722 A CN 111931722A
- Authority
- CN
- China
- Prior art keywords
- target
- model
- frame
- color
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000002596 correlated effect Effects 0.000 title abstract description 4
- 230000004044 response Effects 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000006073 displacement reaction Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 5
- 230000006870 function Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合颜色比率特征的相关滤波跟踪方法,包括以下步骤:初始化视频目标区域框;初始化目标模型与目标候选模型;在目标区域框的位置提取多通道特征;训练位置滤波器和尺度滤波器;在视频的下一帧目标区域框提取多通道特征;计算相关响应图,颜色响应图,融合响应图;获取目标的相对上一帧的位移,通过位移更新目标位置;计算尺度响应,获取目标相对上一帧尺度变化,还原出当前帧的目标区域框;更新目标模型与目标候选模型参数;在目标区域框位置提取多通道特征更新位置滤波器,尺度滤波器;重复上述步骤实现对目标的跟踪。在保持相关滤波跟踪算法实时性的同时充分利用目标和背景的颜色信息,提高跟踪的鲁棒性。
Description
技术领域
本发明涉及视频运动目标视觉跟踪领域,特别涉及一种结合颜色比率特征的相关滤波跟踪方法。
背景技术
运动目标视觉跟踪技术在无人机视觉领域具有重要意义。视觉跟踪技术是指在给定视频第一帧中目标位置和大小等状态的基础上,在视频后续帧中估计目标的状态。视觉跟踪是计算机视觉领域的一个具有挑战性的问题,其挑战在于先验知识只有视频第一帧中目标的状态,对目标没有明确的建模。目标运动过程中的运动模糊,遮挡,形状和尺度变化都会造成跟踪目标的丢失。另外,无人机视觉跟踪实时性要求也对跟踪算法的复杂度提出了挑战。
目前,基于相关滤波的判别式跟踪算法在目标跟踪领域取得了较好的效果。相关滤波跟踪算法利用了循环矩阵的傅里叶变换对角化的性质,在扩充样本数量的同时极大减少了计算复杂度,取得了较好的跟踪效果和较快的速度。但是,传统相关滤波跟踪算法的循环移位假设带来了边缘效应, 使模型学习到了大量非真实的负样本,降低了模型的判别力。用于解决边缘效应的各类正则化相关滤波跟踪算法又破坏了相关滤波的闭合解,降低了算法的实时性。同时,相关滤波跟踪算法利用目标的模板形状特征来实现判别式跟踪,无法很好地应对目标在跟踪过程中的形变。因此需要对相关滤波跟踪算法进行进一步研究和改进,充分利用目标和背景的信息,在保持实时性的同时进一步提高跟踪性能。
发明内容
本发明的主要目的在于提供一种结合颜色比率特征的相关滤波跟踪算法,将颜色比率特征融合进相关滤波跟踪框架,以充分利用目标和背景的颜色信息,在保持跟踪算法实时性的同时提高跟踪算法的鲁棒性
为实现上述目的,本发明提供如下技术方案:
本申请公开了一种结合颜色比率特征的相关滤波跟踪方法,包括以下步骤:
a)初始化视频目标区域框;
b)初始化提取颜色比率特征所需的目标模型与目标候选模型的参数;
c)在目标区域框的位置提取由梯度直方图、颜色比率和灰度特征组成的多通道特征;
d)采用上述的多通道特征训练位置滤波器和尺度滤波器;
e)在视频的下一帧目标区域框提取多通道特征;
f)根据上述的多通道特征和位置滤波器计算相关响应图,对颜色比率特征通过积分图计算颜色响应图,线性加权融合得到融合响应图;
g)通过上述融合响应图获取目标的相对上一帧的位移,通过位移更新目标位置,在该位置上提取多尺度梯度直方图特征;
h)通过上述多尺度梯度直方图特征和尺度滤波器计算尺度响应,通过尺度响应获取目标相对上一帧尺度变化,通过相对上一帧的位移和尺度变化还原出当前帧的目标区域框;
i)更新提取颜色比率特征所需的目标模型与目标候选模型参数;
j)在目标区域框位置提取由梯度直方图、颜色比率和灰度特征组成的多通道特征更新位置滤波器,提取多尺度梯度直方图特征更新尺度滤波器;
k)重复上述步骤e)到j)实现对目标的跟踪。
其中Cs为归一化因子,ns为以目标中心x0为中心,带宽s.h以内的像素个数。
作为优选,步骤c)和j)中,利用所述目标模型和目标候选模型,对像素点颜色比率特征的计算式为
其中CRs[u]为对像素颜色为u的颜色比率特征值, q[u],ps[u]为对应的目标模型和目标候选模型取值,s为目标候选模型统计区域相比目标模型区域扩大倍数,所得特征图加入多种特征组成的多通道特征时下采样到原有尺寸的四分之一。
作为优选,所述步骤f)中相关响应图与颜色响应图融合方式为线性加权融合,公式:
本发明的有益效果:本发明提出一种结合颜色比率特征的相关滤波跟踪方法,通过对目标和背景区域建立颜色直方图模型,对图像提取颜色比率特征,将颜色比率特征融合进相关滤波跟踪框架,在保持相关滤波跟踪算法实时性的同时充分利用目标和背景的颜色信息,提高跟踪的鲁棒性。
本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
图1是本发明一种结合颜色比率特征的相关滤波跟踪方法的步骤流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面通过附图及实施例,对本发明进行进一步详细说明。但是应该理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
参阅图1,本发明一种结合颜色比率特征的相关滤波跟踪方法,包括以下步骤:
1)初始化视频目标区域框;
2)初始化提取颜色比率特征所需的目标模型与目标候选模型的参数,
3)在目标区域框的位置提取由梯度直方图、颜色比率和灰度特征组成的多通道特征,提取特征的区域包含目标和周围背景区域,在四个方向上均扩展 ,其中m和n分别为目标的长和宽。步骤3)中,利用所述目标模型和目标候选模型,对像素点颜色比率特征的计算式为
其中CRs[u]为对像素颜色为u的颜色比率特征值, q[u],ps[u]为对应的目标模型和目标候选模型取值,s为目标候选模型统计区域相比目标模型区域扩大倍数,所得特征图加入多种特征组成的多通道特征时下采样到原有尺寸的四分之一,以与其他特征保持相同尺寸,13通道HOG特征在现有31通道HOG特征的基础上去掉了对比度敏感特征通道,减少了通道数量,提升了计算效率。三类特征在构成多通道特征时分别乘以相应权重,来每类特征在其中所占比例,提升特征判别力。三种特征构成15通道的多通道跟踪特征。记多通道特征为,训练的相关滤波器为,损失函数如下:
4)采用上述的多通道特征训练位置滤波器和尺度滤波器;
5)在视频的下一帧目标区域框提取多通道特征;
6)根据上述的多通道特征和位置滤波器计算相关响应图,对颜色比率特征通过积分图计算颜色响应图,线性加权融合得到融合响应图,
7)通过上述融合响应图获取目标的相对上一帧的位移,通过位移更新目标位置,在该位置上提取多尺度梯度直方图特征;
8)通过上述多尺度梯度直方图特征和尺度滤波器计算尺度响应,通过尺度响应获取目标相对上一帧尺度变化,通过相对上一帧的位移和尺度变化还原出当前帧的目标区域框;
9)更新提取颜色比率特征所需的目标模型与目标候选模型参数,模型参数以线性方式更新:
10)在目标区域框位置提取由梯度直方图、颜色比率和灰度特征组成的多通道特征更新位置滤波器,提取多尺度梯度直方图特征更新尺度滤波器,记多通道相关滤波器的分子为, 分母为, 多通道相关滤波器的更新如下式:
11)重复上述步骤5)到10)实现对目标的跟踪。
为验证本发明改进的有效性,在公开数据集OTB-2015上测试验证算法性能并与部分现有算法对比,参与对比的算法包括SRDCF、Staple、LCT、SAMF、fDSST、KCF、CN和CSK。实验用机器配置为 Intel Core(TM) i7-8700处理器,,主频3.19GHz,内存 16.00GB。
上表为以上算法在公开数据集OTB-2015上的性能指标,其中P20精度曲线在20 像素阈值下的精度,用以评测***中心点定位准确性,AUC为成功率曲线的曲线下面积,用以评测***对目标区域估计准确性,本发明算法记为CRCF和CRCF*,CRCF*在CRCF的基础上对实现进行了改进,取得了进一步的性能提升。CRCF和CRCF*算法在位置精度上分别超过了引入空域正则的SRDCF算法2.03%和3.68%,证明本发明提出的结合颜色比率特征的相关滤波跟踪方法可以有效利用目标和背景的颜色信息,提高跟踪的鲁棒性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种结合颜色比率特征的相关滤波跟踪方法,其特征在于,包括以下步骤:
a)初始化视频目标区域框;
b)初始化提取颜色比率特征所需的目标模型与目标候选模型的参数;
c)在目标区域框的位置提取由梯度直方图、颜色比率和灰度特征组成的多通道特征;
d)采用上述的多通道特征训练位置滤波器和尺度滤波器;
e)在视频的下一帧目标区域框提取多通道特征;
f)根据上述的多通道特征和位置滤波器计算相关响应图,对颜色比率特征通过积分图计算颜色响应图,线性加权融合得到融合响应图;
g)通过上述融合响应图获取目标的相对上一帧的位移,通过位移更新目标位置,在该位置上提取多尺度梯度直方图特征;
h)通过上述多尺度梯度直方图特征和尺度滤波器计算尺度响应,通过尺度响应获取目标相对上一帧尺度变化,通过相对上一帧的位移和尺度变化还原出当前帧的目标区域框;
i)更新提取颜色比率特征所需的目标模型与目标候选模型参数;
j)在目标区域框位置提取由梯度直方图、颜色比率和灰度特征组成的多通道特征更新位置滤波器,提取多尺度梯度直方图特征更新尺度滤波器;
k)重复上述步骤e)到j)实现对目标的跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011006205.2A CN111931722B (zh) | 2020-09-23 | 2020-09-23 | 一种结合颜色比率特征的相关滤波跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011006205.2A CN111931722B (zh) | 2020-09-23 | 2020-09-23 | 一种结合颜色比率特征的相关滤波跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111931722A true CN111931722A (zh) | 2020-11-13 |
CN111931722B CN111931722B (zh) | 2021-02-12 |
Family
ID=73334038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011006205.2A Active CN111931722B (zh) | 2020-09-23 | 2020-09-23 | 一种结合颜色比率特征的相关滤波跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931722B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329784A (zh) * | 2020-11-23 | 2021-02-05 | 桂林电子科技大学 | 一种基于时空感知及多峰响应的相关滤波跟踪方法 |
CN113393493A (zh) * | 2021-05-28 | 2021-09-14 | 京东数科海益信息科技有限公司 | 目标对象的跟踪方法及装置 |
CN113706580A (zh) * | 2021-08-11 | 2021-11-26 | 西安交通大学 | 一种基于相关滤波***的目标跟踪方法、***、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107748873A (zh) * | 2017-10-31 | 2018-03-02 | 河北工业大学 | 一种融合背景信息的多峰目标跟踪方法 |
CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
SG11201900381PA (en) * | 2016-10-25 | 2019-02-27 | Univ South China Tech | Method for tracking pinched fingertips based on video |
CN109410246A (zh) * | 2018-09-25 | 2019-03-01 | 深圳市中科视讯智能***技术有限公司 | 基于相关滤波的视觉跟踪的方法及装置 |
CN110827319A (zh) * | 2018-08-13 | 2020-02-21 | 中国科学院长春光学精密机械与物理研究所 | 一种基于局部敏感直方图改进的Staple目标跟踪方法 |
CN111260689A (zh) * | 2020-01-16 | 2020-06-09 | 东华大学 | 一种有效的置信度增强相关滤波视觉跟踪算法 |
-
2020
- 2020-09-23 CN CN202011006205.2A patent/CN111931722B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG11201900381PA (en) * | 2016-10-25 | 2019-02-27 | Univ South China Tech | Method for tracking pinched fingertips based on video |
CN107748873A (zh) * | 2017-10-31 | 2018-03-02 | 河北工业大学 | 一种融合背景信息的多峰目标跟踪方法 |
CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
CN110827319A (zh) * | 2018-08-13 | 2020-02-21 | 中国科学院长春光学精密机械与物理研究所 | 一种基于局部敏感直方图改进的Staple目标跟踪方法 |
CN109410246A (zh) * | 2018-09-25 | 2019-03-01 | 深圳市中科视讯智能***技术有限公司 | 基于相关滤波的视觉跟踪的方法及装置 |
CN111260689A (zh) * | 2020-01-16 | 2020-06-09 | 东华大学 | 一种有效的置信度增强相关滤波视觉跟踪算法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329784A (zh) * | 2020-11-23 | 2021-02-05 | 桂林电子科技大学 | 一种基于时空感知及多峰响应的相关滤波跟踪方法 |
CN113393493A (zh) * | 2021-05-28 | 2021-09-14 | 京东数科海益信息科技有限公司 | 目标对象的跟踪方法及装置 |
CN113393493B (zh) * | 2021-05-28 | 2024-04-05 | 京东科技信息技术有限公司 | 目标对象的跟踪方法及装置 |
CN113706580A (zh) * | 2021-08-11 | 2021-11-26 | 西安交通大学 | 一种基于相关滤波***的目标跟踪方法、***、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111931722B (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108665481B (zh) | 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 | |
CN111354017B (zh) | 一种基于孪生神经网络及平行注意力模块的目标跟踪方法 | |
CN111931722B (zh) | 一种结合颜色比率特征的相关滤波跟踪方法 | |
CN107358623B (zh) | 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法 | |
CN110135500B (zh) | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 | |
CN110120064B (zh) | 一种基于互强化与多注意机制学习的深度相关目标跟踪算法 | |
CN106127688B (zh) | 一种超分辨率图像重建方法及其*** | |
CN110097115B (zh) | 一种基于注意力转移机制的视频显著性物体检测方法 | |
CN111260738A (zh) | 基于相关滤波和自适应特征融合的多尺度目标跟踪方法 | |
CN111311647B (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
CN110443761B (zh) | 一种基于多尺度聚合特征的单幅图像去雨方法 | |
Huang et al. | Joint blur kernel estimation and CNN for blind image restoration | |
WO2023207742A1 (zh) | 一种交通异常行为检测方法与*** | |
CN110555870B (zh) | 基于神经网络的dcf跟踪置信度评价与分类器更新方法 | |
CN113011329A (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
CN111080675A (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
CN107169994A (zh) | 基于多特征融合的相关滤波跟踪方法 | |
CN107194366B (zh) | 基于稠密轨迹协方差描述子的行为识别方法 | |
CN115937693A (zh) | 一种基于遥感图像的道路识别方法及*** | |
CN110751670B (zh) | 一种基于融合的目标跟踪方法 | |
CN109448024B (zh) | 利用深度数据构建约束相关滤波器的视觉跟踪方法、*** | |
CN113033356B (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
CN108280845B (zh) | 一种针对复杂背景的尺度自适应目标跟踪方法 | |
CN113888586A (zh) | 一种基于相关滤波的目标跟踪方法及装置 | |
CN113158904A (zh) | 一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |