CN109754424A - 基于融合特征和自适应更新策略的相关滤波跟踪算法 - Google Patents
基于融合特征和自适应更新策略的相关滤波跟踪算法 Download PDFInfo
- Publication number
- CN109754424A CN109754424A CN201811542470.5A CN201811542470A CN109754424A CN 109754424 A CN109754424 A CN 109754424A CN 201811542470 A CN201811542470 A CN 201811542470A CN 109754424 A CN109754424 A CN 109754424A
- Authority
- CN
- China
- Prior art keywords
- target
- fusion feature
- image
- scale
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于融合特征和自适应更新策略的相关滤波跟踪算法,采用了基于相关滤波的跟踪方法,并通过使用分通道融合特征构建鲁棒的目标模型来预测目标的中心位置。针对目标被严重遮挡的问题,本发明引入自适应的模型更新机制来解决该问题:首先根据置信度阈值判断当前响应图的可靠程度,可靠程度越高,图像中目标被遮挡的可能性越小。在此基础上构造自适应更新函数,按照此函数对跟踪模型进行更新,保证目标被严重遮挡时,以非常低的学习率更新模型,尽可能少的引入噪声;而当目标外观清晰,没有遮挡形变等干扰因素存在时,则以非常高的学习率更新模型,保证模型能捕获到最新的目标特征。得益于以上措施,本发明可以在不同的具有挑战性的场景下取得非常鲁棒的跟踪结果。
Description
技术领域
本发明涉及一种目标跟踪方法,属计算机视觉领域。
背景技术
目前,航拍视频跟踪技术已经在军事领域和民事领域得到广泛的应用。相对于固定平台或者手持设备拍摄的视频,航拍视频具有自身特有的性质。首先,摄像机随无人机一同做高速运动,航拍视频序列图像间存在平移、旋转等变换,且视频中场景复杂多变,目标极易受到遮挡、噪声等干扰;另外,由于无人机有时在几千米甚至上万米的高空飞行,运动目标在图像中占的比例很小,这些都对航拍视频处理带来了巨大的挑战。近年来,基于相关滤波的跟踪方法大量涌现,并展现了良好的跟踪性能,尤其是该类方法所具有的实时性,可以在一定程度上满足航拍视频跟踪问题的要求。但是,当视频中的目标被严重遮挡时,基于相关滤波的现有方法会产生漂移,容易导致跟踪失败,因此无法对航拍视频进行长时跟踪。
发明内容
要解决的技术问题
针对航拍视频中由于运动目标被严重遮挡而造成外观模型漂移,从而易导致跟踪失败的问题,设计一种鲁棒、高效的目标跟踪方法。
技术方案
一种基于融合特征和自适应更新策略的相关滤波跟踪算法,其特征在于步骤如下:
步骤1:读取视频中第一帧图像数据以及目标所在的初始位置信息[x1,y1,w,h],其中x1,y1表示第一帧目标中心P1的横坐标和纵坐标,w,h表示目标的宽和高;
步骤2:根据目标初始位置中心点x1,y1确定一个目标区域R,R的大小为M×N,其中M=3×w,N=3×h;在R的区域内提取CN特征,维度为11维;再将原图从原有颜色空间转化到HSV颜色空间,在区域R的三个颜色通道内分别提取27维方向梯度直方图特征;最后把所得CN特征和三个颜色通道上分别提取到的3个梯度直方图特征进行连接,构成92维的融合特征f1;
步骤3:读取第k帧图像,k≥2且起始值为2,在第t帧图像中以(xt-1,yt-1)为中心提取S个不同尺度的图像子块,S设定为33,每个子块的大小为[M,N]×s,变量s为图像子块的尺度因子,s∈[0.7,1.4],然后经过尺度缩放到[M,N]的大小;
步骤4:按照步骤2的方法分别提取每个子块的融合特征ft i,其中i=1,2,…,S,然后合并将S个融合特征矩阵连接之后成为一个大小为S×M×N的特征图,这里将其命名为尺度特征图,记为ft,再根据ft训练相关滤波器模型wk,在训练过程中,对于第t帧图像,要使wk满足以下约束关系:
这里用y∈RT代表期望的相关滤波器输出,其中T=length(fk);K=92表示滤波器的通道数;λ是归一化参数,其值为10-3,Pxk[Δτj]则表示通过j=[0,...,T-1]步的循环移位从原图片中生成的图像块;
步骤5:通过离散傅里叶变换,可以把以上公式转换到频域来提高计算效率;利用ADMM优化方法优化N次可逼近满足此公式的最优解Wk;
步骤6:用滤波器Wk与提取的图像子块特征fk进行卷积运算,得到M×N×S维代表不同尺度下的响应图,在每一个尺度上,对响应图进行傅里叶逆变换,可以得到时域上的置信图responce,获取最大响应值所在位置最大响应值对应的坐标(x',y')即为目标位置,该响应值所在尺度即为当前帧目标的尺度
步骤7:用rptarget表示置信图中所有值的集合,则rptarget(a,b)表示置信图中某一点的置信度,所以根据时域上的置信图responce,可以按照如下方式计算得到置信图的置信度阈值C:
步骤8:根据置信度阈值C,在第t帧可以把Wt按照如下公式更新:
Wt=(1-η)Wt-1+ηWt (4)
在这里η表示学习率,LR=0.013,W是w在频域的表示;
步骤9:判断是否处理完所有图像,如果是则结束;否则转回步骤4。
步骤5中的N=50。
有益效果
本发明提出的一种基于融合特征和自适应更新策略的相关滤波跟踪算法,采用了基于相关滤波的跟踪方法,并通过使用分通道融合特征构建鲁棒的目标模型来预测目标的中心位置。针对目标被严重遮挡的问题,本发明引入自适应的模型更新机制来解决该问题:首先根据置信度阈值判断当前响应图的可靠程度,可靠程度越高,图像中目标被遮挡的可能性越小。在此基础上构造自适应更新函数,按照此函数对跟踪模型进行更新,保证目标被严重遮挡时,以非常低的学习率更新模型,尽可能少的引入噪声;而当目标外观清晰,没有遮挡形变等干扰因素存在时,则以非常高的学习率更新模型,保证模型能捕获到最新的目标特征。得益于以上措施,本发明可以在不同的具有挑战性的场景下取得非常鲁棒的跟踪结果。
附图说明
图1基于融合特征和自适应更新策略的相关滤波跟踪算法
具体实施方式
现结合实施例、附图对本发明作进一步描述:
步骤1读取视频中第一帧图像数据以及目标所在的初始位置信息[x1,y1,w,h],其中x1,y1表示第一帧目标中心P1的横坐标和纵坐标,w,h表示目标的宽和高。
步骤2根据目标初始位置中心点x1,y1确定一个目标区域R,R的大小为M×N,其中M=3×w,N=3×h。在R的区域内提取CN(Color Name)特征,维度为11维。再将原图从原有颜色空间转化到HSV颜色空间。在区域R的三个颜色通道内分别提取27维方向梯度直方图(HOG)特征。最后把所得CN特征和三个颜色通道上分别提取到的3个梯度直方图特征进行连接,构成92维的融合特征f1。
步骤3读取第k帧图像(k≥2且起始值为2),在第t帧图像中以(xt-1,yt-1)为中心提取S个不同尺度的图像子块,S设定为33,每个子块的大小为[M,N]×s,变量s为图像子块的尺度因子,s∈[0.7,1.4],然后经过尺度缩放到[M,N]的大小。
步骤4并且按照步骤2的方法分别提取每个子块的融合特征ft i其中(i=1,2,…,S),然后合并将S个融合特征矩阵连接之后成为一个大小为S×M×N的特征图,这里将其命名为尺度特征图,记为ft,再根据ft训练相关滤波器模型wk,在训练过程中,对于第t帧图像,要使wk满足以下约束关系:
这里用y∈RT代表期望的相关滤波器输出,其中T=length(fk)。K=92表示滤波器的通道数。λ是归一化参数,其值为10-3,Pxk[Δτj]则表示通过j=[0,...,T-1]步的循环移位从原图片中生成的图像块。
步骤5通过离散傅里叶变换,可以把以上公式转换到频域来提高计算效率。利用ADMM(Alternating Direction Method of Multipliers)优化方法优化N次(N=50)可逼近满足此公式的最优解Wk。
步骤6用滤波器Wk与提取的图像子块特征fk进行卷积运算,得到M×N×S维代表不同尺度下的响应图,在每一个尺度上,对响应图进行傅里叶逆变换,可以得到时域上的置信图responce,获取最大响应值所在位置最大响应值对应的坐标(x',y')即为目标位置,该响应值所在尺度即为当前帧目标的尺度
步骤7用rptarget表示置信图中所有值的集合,则rptarget(a,b)表示置信图中某一点的置信度,所以根据时域上的置信图responce,可以按照如下方式计算得到置信图的置信度阈值C:
步骤8根据置信度阈值C,在第t帧可以把Wt按照如下公式更新:
Wt=(1-η)Wt-1+ηWt (4)
在这里η表示学习率,LR=0.013,W是w在频域的表示。
步骤9判断是否处理完所有图像,如果是则结束;否则转回步骤4。
Claims (2)
1.一种基于融合特征和自适应更新策略的相关滤波跟踪算法,其特征在于步骤如下:
步骤1:读取视频中第一帧图像数据以及目标所在的初始位置信息[x1,y1,w,h],其中x1,y1表示第一帧目标中心P1的横坐标和纵坐标,w,h表示目标的宽和高;
步骤2:根据目标初始位置中心点x1,y1确定一个目标区域R,R的大小为M×N,其中M=3×w,N=3×h;在R的区域内提取CN特征,维度为11维;再将原图从原有颜色空间转化到HSV颜色空间,在区域R的三个颜色通道内分别提取27维方向梯度直方图特征;最后把所得CN特征和三个颜色通道上分别提取到的3个梯度直方图特征进行连接,构成92维的融合特征f1;
步骤3:读取第k帧图像,k≥2且起始值为2,在第t帧图像中以(xt-1,yt-1)为中心提取S个不同尺度的图像子块,S设定为33,每个子块的大小为[M,N]×s,变量s为图像子块的尺度因子,s∈[0.7,1.4],然后经过尺度缩放到[M,N]的大小;
步骤4:按照步骤2的方法分别提取每个子块的融合特征ft i,其中i=1,2,…,S,然后合并将S个融合特征矩阵连接之后成为一个大小为S×M×N的特征图,这里将其命名为尺度特征图,记为ft,再根据ft训练相关滤波器模型wk,在训练过程中,对于第t帧图像,要使wk满足以下约束关系:
这里用y∈RT代表期望的相关滤波器输出,其中T=length(fk);K=92表示滤波器的通道数;λ是归一化参数,其值为10-3,Pxk[Δτj]则表示通过j=[0,...,T-1]步的循环移位从原图片中生成的图像块;
步骤5:通过离散傅里叶变换,可以把以上公式转换到频域来提高计算效率;利用ADMM优化方法优化N次可逼近满足此公式的最优解Wk;
步骤6:用滤波器Wk与提取的图像子块特征fk进行卷积运算,得到M×N×S维代表不同尺度下的响应图,在每一个尺度上,对响应图进行傅里叶逆变换,可以得到时域上的置信图responce,获取最大响应值所在位置最大响应值对应的坐标(x',y')即为目标位置,该响应值所在尺度即为当前帧目标的尺度
步骤7:用rptarget表示置信图中所有值的集合,则rptarget(a,b)表示置信图中某一点的置信度,所以根据时域上的置信图responce,可以按照如下方式计算得到置信图的置信度阈值C:
步骤8:根据置信度阈值C,在第t帧可以把Wt按照如下公式更新:
Wt=(1-η)Wt-1+ηWt (4)
在这里η表示学习率,LR=0.013,W是w在频域的表示;
步骤9:判断是否处理完所有图像,如果是则结束;否则转回步骤4。
2.根据权利要求1所述的一种基于融合特征和自适应更新策略的相关滤波跟踪算法,其特征在于步骤5中的N=50。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811542470.5A CN109754424B (zh) | 2018-12-17 | 2018-12-17 | 基于融合特征和自适应更新策略的相关滤波跟踪算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811542470.5A CN109754424B (zh) | 2018-12-17 | 2018-12-17 | 基于融合特征和自适应更新策略的相关滤波跟踪算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109754424A true CN109754424A (zh) | 2019-05-14 |
CN109754424B CN109754424B (zh) | 2022-11-04 |
Family
ID=66402768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811542470.5A Active CN109754424B (zh) | 2018-12-17 | 2018-12-17 | 基于融合特征和自适应更新策略的相关滤波跟踪算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109754424B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110147768A (zh) * | 2019-05-22 | 2019-08-20 | 云南大学 | 一种目标跟踪方法及装置 |
CN111340846A (zh) * | 2020-02-25 | 2020-06-26 | 重庆邮电大学 | 一种多特征融合的抗遮挡目标跟踪方法 |
CN111429485A (zh) * | 2020-04-07 | 2020-07-17 | 东北大学 | 基于自适应正则化和高信度更新的跨模态滤波跟踪方法 |
CN115690611A (zh) * | 2022-09-26 | 2023-02-03 | 南京信息工程大学 | 基于自适应更新策略的多特征无人机视频跟踪方法 |
CN116703983A (zh) * | 2023-06-14 | 2023-09-05 | 石家庄铁道大学 | 联合遮挡目标检测及目标跟踪方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056628A (zh) * | 2016-05-30 | 2016-10-26 | 中国科学院计算技术研究所 | 基于深度卷积神经网络特征融合的目标跟踪方法及*** |
CN106570486A (zh) * | 2016-11-09 | 2017-04-19 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
CN106952288A (zh) * | 2017-03-31 | 2017-07-14 | 西北工业大学 | 基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法 |
CN107146240A (zh) * | 2017-05-05 | 2017-09-08 | 西北工业大学 | 基于相关滤波和显著性检测的航拍视频目标跟踪方法 |
CN107330384A (zh) * | 2017-06-19 | 2017-11-07 | 北京协同创新研究院 | 一种视频中运动目标跟踪的方法及装置 |
CN107689052A (zh) * | 2017-07-11 | 2018-02-13 | 西安电子科技大学 | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 |
CN107833243A (zh) * | 2017-11-02 | 2018-03-23 | 兰州理工大学 | 基于超像素局部加权度量与反稀疏模型的跟踪方法 |
CN108734723A (zh) * | 2018-05-11 | 2018-11-02 | 江南大学 | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 |
-
2018
- 2018-12-17 CN CN201811542470.5A patent/CN109754424B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056628A (zh) * | 2016-05-30 | 2016-10-26 | 中国科学院计算技术研究所 | 基于深度卷积神经网络特征融合的目标跟踪方法及*** |
CN106570486A (zh) * | 2016-11-09 | 2017-04-19 | 华南理工大学 | 基于特征融合和贝叶斯分类的核相关滤波目标跟踪方法 |
CN106952288A (zh) * | 2017-03-31 | 2017-07-14 | 西北工业大学 | 基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法 |
CN107146240A (zh) * | 2017-05-05 | 2017-09-08 | 西北工业大学 | 基于相关滤波和显著性检测的航拍视频目标跟踪方法 |
CN107330384A (zh) * | 2017-06-19 | 2017-11-07 | 北京协同创新研究院 | 一种视频中运动目标跟踪的方法及装置 |
CN107689052A (zh) * | 2017-07-11 | 2018-02-13 | 西安电子科技大学 | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 |
CN107833243A (zh) * | 2017-11-02 | 2018-03-23 | 兰州理工大学 | 基于超像素局部加权度量与反稀疏模型的跟踪方法 |
CN108734723A (zh) * | 2018-05-11 | 2018-11-02 | 江南大学 | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 |
Non-Patent Citations (4)
Title |
---|
C S ASHA等: "Experimental evaluation of feature channels for object tracking in RGB and thermal imagery using correlation filter", 《2017 TWENTY-THIRD NATIONAL CONFERENCE ON COMMUNICATIONS (NCC)》 * |
XIZHE XUE等: "Unmanned Aerial Vehicle Object Tracking by Correlation Filter with Adaptive Appearance Model", 《SENSORS》 * |
张微: "相关滤波目标跟踪进展综述", 《中国图象图形学报》 * |
陈婧等: "融合运动模型与联合置信度量的改进核相关跟踪算法", 《红外技术》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110147768A (zh) * | 2019-05-22 | 2019-08-20 | 云南大学 | 一种目标跟踪方法及装置 |
CN110147768B (zh) * | 2019-05-22 | 2021-05-28 | 云南大学 | 一种目标跟踪方法及装置 |
CN111340846A (zh) * | 2020-02-25 | 2020-06-26 | 重庆邮电大学 | 一种多特征融合的抗遮挡目标跟踪方法 |
CN111340846B (zh) * | 2020-02-25 | 2023-02-17 | 重庆邮电大学 | 一种多特征融合的抗遮挡目标跟踪方法 |
CN111429485A (zh) * | 2020-04-07 | 2020-07-17 | 东北大学 | 基于自适应正则化和高信度更新的跨模态滤波跟踪方法 |
CN111429485B (zh) * | 2020-04-07 | 2023-09-26 | 东北大学 | 基于自适应正则化和高信度更新的跨模态滤波跟踪方法 |
CN115690611A (zh) * | 2022-09-26 | 2023-02-03 | 南京信息工程大学 | 基于自适应更新策略的多特征无人机视频跟踪方法 |
CN116703983A (zh) * | 2023-06-14 | 2023-09-05 | 石家庄铁道大学 | 联合遮挡目标检测及目标跟踪方法 |
CN116703983B (zh) * | 2023-06-14 | 2023-12-19 | 石家庄铁道大学 | 联合遮挡目标检测及目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109754424B (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109754424A (zh) | 基于融合特征和自适应更新策略的相关滤波跟踪算法 | |
US10719940B2 (en) | Target tracking method and device oriented to airborne-based monitoring scenarios | |
CN107204010B (zh) | 一种单目图像深度估计方法与*** | |
CN108986140B (zh) | 基于相关滤波和颜色检测的目标尺度自适应跟踪方法 | |
CN107146240A (zh) | 基于相关滤波和显著性检测的航拍视频目标跟踪方法 | |
CN104378582B (zh) | 一种基于ptz摄像机巡航的智能视频分析***及方法 | |
CN103208008B (zh) | 基于机器视觉的交通视频监控目标检测快速适应方法 | |
KR100818289B1 (ko) | 비디오 영상 트레킹 방법 및 장치 | |
CN113011329B (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
CN108961312A (zh) | 用于嵌入式视觉***的高性能视觉对象跟踪方法及*** | |
CN105930822A (zh) | 一种人脸抓拍方法及*** | |
CN109816692A (zh) | 一种基于Camshift算法的运动目标跟踪方法 | |
CN109598268A (zh) | 一种基于单流深度网络的rgb-d显著目标检测方法 | |
CN107211100A (zh) | 用于图像的运动去模糊的方法、装置和计算机程序产品 | |
CN110135500A (zh) | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 | |
CN107909081A (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
CN110046659B (zh) | 一种基于tld的长时间单目标跟踪方法 | |
CN109886079A (zh) | 一种车辆检测与跟踪方法 | |
CN111161309B (zh) | 一种车载视频动态目标的搜索与定位方法 | |
Peng et al. | LVE-S2D: Low-light video enhancement from static to dynamic | |
CN111260687B (zh) | 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法 | |
CN113763424A (zh) | 基于嵌入式平台的实时智能目标检测方法及*** | |
CN114022823A (zh) | 一种遮挡驱动的行人再识别方法、***及可存储介质 | |
CN103886324A (zh) | 一种基于对数似然图像的尺度自适应目标跟踪方法 | |
CN110378932A (zh) | 一种基于空间正则矫正的相关滤波视觉跟踪算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |