CN111145221A - 一种基于多层深度特征提取的目标跟踪算法 - Google Patents

一种基于多层深度特征提取的目标跟踪算法 Download PDF

Info

Publication number
CN111145221A
CN111145221A CN201911419269.2A CN201911419269A CN111145221A CN 111145221 A CN111145221 A CN 111145221A CN 201911419269 A CN201911419269 A CN 201911419269A CN 111145221 A CN111145221 A CN 111145221A
Authority
CN
China
Prior art keywords
target
layer depth
target tracking
depth feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911419269.2A
Other languages
English (en)
Inventor
许廷发
吴零越
吴凡
张语珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Original Assignee
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Chongqing Innovation Center of Beijing University of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN201911419269.2A priority Critical patent/CN111145221A/zh
Publication of CN111145221A publication Critical patent/CN111145221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多层深度特征提取的目标跟踪算法，涉及图像处理技术领域，包括如下步骤，S1：图像输入；S2：提取特征图；S3：获取最佳匹配模板；S4：更新最佳匹配模板；S5：重复步骤S4，直到完成当前视频的目标跟踪；所述S2具体为，根据第一帧图像中目标的位置和尺寸信息，利用深度神经网络提取多层样本特征图，本发明利用深度神经网络提取多层深度特征作为样本的外观表达，来进行目标跟踪，以获取目标多层深度特征，减少了参数数量，提高了目标跟踪过程的准确性和鲁棒性。

Description

一种基于多层深度特征提取的目标跟踪算法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多层深度特征提取的目标跟踪算法。
背景技术
目标跟踪技术是近年来计算机视觉领域中的主要研究方向之一，广泛应用于自动驾驶、智能监控和人机交互等方面。目标跟踪主要是指根据视频第一帧给出的目标位置信息，在之后每一帧中找出该目标位置。
近年来，随着深度学习在计算机视觉方面的研究持续加深，利用深度神经网络与目标跟踪算法结合的目标跟踪算法研究也越来越多。
很多基于深度特征提取的算法，并没有从更深层的深度神经网络中取得优势，提取到的特征参数数量过大，更加大了过拟合的风险，从而降低了目标跟踪算法的跟踪准确率。
发明内容
本发明所要解决的技术问题是：如何减少参数数量，提高目标跟踪过程的准确性和鲁棒性。
针对上述技术问题本发明提供了一种基于多层深度特征提取的目标跟踪算法，包括如下步骤，
S1：图像输入；
S2：提取特征图；
S3：获取最佳匹配模板；
S4：更新最佳匹配模板；
S5：重复步骤S4，直到完成当前视频的目标跟踪；
所述S2具体为，根据第一帧图像中目标的位置和尺寸信息，利用深度神经网络提取多层样本特征图，通过深度神经网络的优势，获得了更精确的跟踪效果。
更进一步的，所述S1具体为，
输入需要进行跟踪的视频序列；
在第一帧图像中初始化目标的位置和尺寸信息。
更进一步的，所述S2还包括，对特征图进行自适应PCA处理，通过采取自适应的PCA算法来减少特征参数，能根据不同视频序列自适应地选取合适的特征维数，PCA选取有效的特征维数，能够减少参数，从而降低算法过拟合的风险，提高鲁棒性。
更进一步的，所述S3具体为，
以特征图目标中心为高斯标签峰值；
通过ADMM算法得到最佳匹配模板。
更进一步的，所述S4具体为，
S41：输入下一帧图像；
S42：获得多尺寸多层深度特征图；
S43：与最佳模板匹配，得到图像的目标位置和目标尺度；
S44：更新最佳匹配模板。
更进一步的，所述S42具体为，
以上一帧图像目标中心位置为中心，提取不同尺寸图像的样本特征图；
对特征图进行自适应PCA处理。
更进一步的，所述S43具体为，
将多尺寸特征图与最佳匹配模板进行相关匹配，得到多尺度的置信分数图；
选出置信分数最高的尺度对应的置信分数图；
以分数最高的置信分数图分数最高的点作为这一帧跟踪到的目标中心位置；
根据置信分数图对应的尺度因子得到这一帧目标的尺寸大小。
更进一步的，所述S44具体为，
根据这一帧获得的目标特征图，以目标中心为高斯标签峰值，利用上一帧的匹配模板进行在线被动攻击学习；通过利用上一帧的匹配模板进行在线被动攻击学习，能够在更新模板的同时保证本帧模板和上一帧模板的相似性，有效减少模板的漂移；
并通过ADMM算法更新最佳匹配模板，使得能快速高效地进行最佳模板的优化过程。
通过采用以上的技术方案，本发明的有益效果是：利用深度神经网络提取多层深度特征作为样本的外观表达，来进行目标跟踪，以获取目标多层深度特征，减少参数数量，提高目标跟踪过程的准确性和鲁棒性。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1为本发明基于多层深度特征提取的目标跟踪算法的流程图。
具体实施方式
为了更清楚地表明本发明的目的、技术方案及优点，以下结合附图及实施例，对本发明进行进一步详细说明，以便于本技术领域的技术人员理解本发明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，为本发明一种基于多层深度特征提取的目标跟踪算法的流程图，包括步骤如下：
S1、图像输入：输入需要进行跟踪的视频序列，在第一帧图像中初始化目标的位置、尺寸信息。
S2、提取特征：根据第一帧图像中目标的位置、尺寸信息，利用深度神经网络提取出多层样本特征，对特征图进行自适应PCA处理，减少参数。
S3、获取模板：根据经过处理的目标特征图，以目标中心为高斯标签峰值，通过ADMM算法优化计算得到最佳匹配模板。
S4、输入下一帧图像，以上一帧图像目标中心位置为中心，提取不同尺寸图像的样本特征图，对特征图进行自适应PCA处理。
S5、将匹配模板与多尺寸特征图进行相关匹配，得到多尺度的置信分数图，选出置信分数最高的尺度对应的置信分数图。
S6、S5中获得的置信分数图中，分数最高的点即为这一帧跟踪到的目标中心位置，根据置信分数图对应的尺度因子可以计算得到这一帧目标的尺寸大小。
S7、根据这一帧获得的目标特征图，以目标中心为高斯标签峰值，利用上一帧的匹配模板进行在线被动攻击学习，通过ADMM算法优化计算更新最佳匹配模板。
S8、重复S4到S7直到视频结束，完成当前视频的目标跟踪。
进一步地，所述S1中在需要进行跟踪的视频序列中，在第一帧图像中初始化需要跟踪目标的具体步骤如下：
输入视频的第一帧图像，输入目标位置，并且用矩形框显示。
进一步地，所述S2中的具体过程为：
利用深度神经网络，获得长和宽分别为M和N的D维目标样本的多层特征图x。利用D×C大小的矩阵P＝(pd,c)将特征x转化为C维的PTx。
进一步地，所述S3中的具体过程为：
以目标中心为高斯标签峰值得到高斯标签y，通过ADMM算法优化下式计算得到最佳匹配模板f：
Figure BDA0002351934330000051
其中w为空间权重矩阵。
进一步地，所述S5中的具体过程为：
将经过PCA处理的特征图x与模板f进行相关匹配操作，得到置信分数图Sf(x)：
Sf(x)＝PTx*f
置信分数图Sf(x)中，分数最高的点即为这一帧跟踪到的目标中心位置，根据置信分数图对应的尺度因子可以计算得到这一帧目标的尺寸大小。
进一步地，所述S7中的具体过程为：
根据这一帧获得的目标特征图PTx，以目标中心为高斯标签峰值得到高斯标签y，利用上一帧的匹配模板ft-1进行在线被动攻击学习，引入时间正则项，μ为时间正则参数，通过ADMM算法优化下式，更新最佳匹配模板f：
Figure BDA0002351934330000052
为了解上式，通过引入辅助变量g，将其转化为等约束优化形式：
Figure BDA0002351934330000061
s.t.f＝g
上式可以利用ADMM算法来进行迭代优化。将上式转化为增广拉格朗日形式：
Figure BDA0002351934330000062
其中h和γ分别是拉格朗日乘子和步长参数。上式可以转化为：
Figure BDA0002351934330000063
上式的封闭解可以通过迭代求解下面三个子问题来获得：
Figure BDA0002351934330000064
每个子问题的详细求解过程如下所示：
(1)子问题f的求解
根据Parseval定理，第一个子问题可以在频域中表示为：
Figure BDA0002351934330000071
考虑到在全通道的每个像素上的求解过程，可以将上式分解为MN个子问题，每一个可以定义成：
Figure BDA0002351934330000072
通过将上式对
Figure BDA0002351934330000073
的导数置零，可以解得
Figure BDA0002351934330000074
的封闭形式解：
Figure BDA0002351934330000075
由于
Figure BDA0002351934330000076
是秩1矩阵，则可以根据Sherman-Morrison公式所描述的
Figure BDA0002351934330000077
来快速计算
Figure BDA0002351934330000078
由此得到：
Figure BDA0002351934330000079
(2)子问题g的求解
根据第二个子问题g，可以解得g的封闭解：
g＝(WTW+γI)-1(γf+h)
其中W＝diag(w)表示对角矩阵。
(3)拉格朗日乘子更新
通过下式来更新拉格朗日乘子：
h(i+1)＝h(i)+γ(f(i+1)-g(i+1))
其中f(i+1)和g(i+1)都是目前第(i+1)次迭代中上述两个子问题获得的解。
步长参数更新方式如下：
γ(i+1)＝min(γmax,ργ(i))
其中γmax和ρ分别表示最大值和尺度参数。
本发明的跟踪模型是凸函数，满足Eckstein-Bertsekas条件。因此，它可以收敛到全局最优，并具有封闭形式的解。
进一步地，所述S8中的具体过程为：
对视频中的所有帧依次使用S2到S8进行处理，直至视频中的所有帧都完成了处理，既完成对本视频中目标的跟踪。
本发明的实验硬件环境为Intel i5 4570 CPU、16GB内存和NVIDIA GTX 1080GPU。软件环境为Windows7x64操作***和MATLAB2014b，使用MatConvNet和AutoNN工具箱。本发明和其他算法一起进行了测试。在本次测试中共使用了2个公开的计算机视觉测试视频来对算法进行验证。使用的公开视频主要信息如下表所示：
Figure BDA0002351934330000081
五种不同的跟踪算法对CarScale视频序列的跟踪结果表明，随着目标汽车的尺度不断变大，其他算法不能很好地适应目标尺度变化，而本发明的跟踪效果较好。
五种不同的跟踪算法对Skating2视频序列的跟踪结果表明，在目标不断快速运动、变形的过程中，其他算法不能准确地跟踪目标，而本发明能极好地适应目标形变，跟踪效果更好。
本发明利用深度神经网络提取出多层样本特征，充分利用了深度神经网络的优势；对特征图进行自适应PCA处理，减少参数，能根据不同视频序列自适应地选取合适的特征维数，从而降低算法过拟合的风险，提高鲁棒性，获得更精确的跟踪效果；利用上一帧的匹配模板进行在线被动攻击学习，能够在更新模板的同时保证本帧模板和上一帧模板的相似性，有效减少模板的漂移，最佳模板的优化过程采用ADMM算法快速高效地进行，提升了目标跟踪的准确性和鲁棒性。
上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于多层深度特征提取的目标跟踪算法，其特征在于：包括如下步骤，
S1：图像输入；
S2：提取特征图；
S3：获取最佳匹配模板；
S4：更新最佳匹配模板；
S5：重复步骤S4，直到完成当前视频的目标跟踪；
所述S2具体为，根据第一帧图像中目标的位置和尺寸信息，利用深度神经网络提取多层样本特征图。
2.根据权利要求1所述的基于多层深度特征提取的目标跟踪算法，其特征在于：所述S1具体为，
输入需要进行跟踪的视频序列；
在第一帧图像中初始化目标的位置和尺寸信息。
3.根据权利要求1所述的基于多层深度特征提取的目标跟踪算法，其特征在于：所述S2还包括，
对特征图进行自适应PCA处理。
4.根据权利要求1所述的基于多层深度特征提取的目标跟踪算法，其特征在于：所述S3具体为，
以特征图目标中心为高斯标签峰值；
通过ADMM算法得到最佳匹配模板。
5.根据权利要求1所述的基于多层深度特征提取的目标跟踪算法，其特征在于：所述S4具体为，
S41：输入下一帧图像；
S42：获得多尺寸多层深度特征图；
S43：与最佳匹配模板匹配，得到图像的目标位置和目标尺度；
S44：更新最佳匹配模板。
6.根据权利要求5所述的基于多层深度特征提取的目标跟踪算法，其特征在于：所述S42具体为，
以上一帧图像目标中心位置为中心，提取不同尺寸图像的样本特征图；
对特征图进行自适应PCA处理。
7.根据权利要求5所述的基于多层深度特征提取的目标跟踪算法，其特征在于：所述S43具体为，
将多尺寸特征图与最佳匹配模板进行相关匹配，得到多尺度的置信分数图；
选出置信分数最高的尺度对应的置信分数图；
以分数最高的置信分数图分数最高的点作为这一帧跟踪到的目标中心位置；
根据置信分数图对应的尺度因子得到这一帧目标的尺寸大小。
8.根据权利要求5所述的基于多层深度特征提取的目标跟踪算法，其特征在于：所述S44具体为，
根据这一帧获得的目标特征图，以目标中心为高斯标签峰值，利用上一帧的匹配模板进行在线被动攻击学习；
通过ADMM算法更新最佳匹配模板。
CN201911419269.2A 2019-12-31 2019-12-31 一种基于多层深度特征提取的目标跟踪算法 Pending CN111145221A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911419269.2A CN111145221A (zh) 2019-12-31 2019-12-31 一种基于多层深度特征提取的目标跟踪算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911419269.2A CN111145221A (zh) 2019-12-31 2019-12-31 一种基于多层深度特征提取的目标跟踪算法

Publications (1)

Publication Number Publication Date
CN111145221A true CN111145221A (zh) 2020-05-12

Family

ID=70522843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911419269.2A Pending CN111145221A (zh) 2019-12-31 2019-12-31 一种基于多层深度特征提取的目标跟踪算法

Country Status (1)

Country Link
CN (1) CN111145221A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862863A (zh) * 2021-03-04 2021-05-28 广东工业大学 一种基于状态机的目标跟踪定位方法
CN115546219A (zh) * 2022-12-05 2022-12-30 广州镭晨智能装备科技有限公司 检测板式生成方法、板卡缺陷检测方法、装置及产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116881A (zh) * 2013-01-27 2013-05-22 西安电子科技大学 基于PCA与Shearlet变换的遥感图像融合方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN109410247A (zh) * 2018-10-16 2019-03-01 中国石油大学(华东) 一种多模板和自适应特征选择的视频跟踪算法
CN110349190A (zh) * 2019-06-10 2019-10-18 广州视源电子科技股份有限公司 自适应学习的目标跟踪方法、装置、设备及可读存储介质
CN110533689A (zh) * 2019-08-08 2019-12-03 河海大学 基于空间约束自适应尺度的核相关滤波水下目标跟踪方法
CN110555864A (zh) * 2019-08-02 2019-12-10 电子科技大学 基于pspce的自适应目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116881A (zh) * 2013-01-27 2013-05-22 西安电子科技大学 基于PCA与Shearlet变换的遥感图像融合方法
CN107016689A (zh) * 2017-02-04 2017-08-04 中国人民解放军理工大学 一种尺度自适应的相关滤波对冲目标跟踪方法
CN109410247A (zh) * 2018-10-16 2019-03-01 中国石油大学(华东) 一种多模板和自适应特征选择的视频跟踪算法
CN110349190A (zh) * 2019-06-10 2019-10-18 广州视源电子科技股份有限公司 自适应学习的目标跟踪方法、装置、设备及可读存储介质
CN110555864A (zh) * 2019-08-02 2019-12-10 电子科技大学 基于pspce的自适应目标跟踪方法
CN110533689A (zh) * 2019-08-08 2019-12-03 河海大学 基于空间约束自适应尺度的核相关滤波水下目标跟踪方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
FENG LI 等: "Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking", 《CVPR 2018》 *
KOBY CRAMMER: "Online Passive-Aggressive Algorithms", 《JOURNAL OF MACHINE LEARNING RESEARCH 7 (2006) 》 *
博博有个大大大的DREAM: "CVPR2018跟踪算法STRCF原理及代码解析", 《网页公开：HTTPS://BLOG.CSDN.NET/QQ_17783559/ARTICLE/DETAILS/89333509》 *
博博有个大大大的DREAM: "相关滤波跟踪算法中ADMM的使用", 《网页公开：HTTPS://BLOG.CSDN.NET/QQ_17783559/ARTICLE/DETAILS/82965747》 *
张海南: "基于视频序列的运动目标跟踪算法研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *
李晓艳: "一种连续卷积与时空正则项的相关滤波目标跟踪算法", 《西北工业大学学报》 *
蔡自兴: "基于时序特性的自适应增量主成分分析的视觉跟踪", 《电子与信息学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862863A (zh) * 2021-03-04 2021-05-28 广东工业大学 一种基于状态机的目标跟踪定位方法
CN115546219A (zh) * 2022-12-05 2022-12-30 广州镭晨智能装备科技有限公司 检测板式生成方法、板卡缺陷检测方法、装置及产品
CN115546219B (zh) * 2022-12-05 2023-10-20 广州镭晨智能装备科技有限公司 检测板式生成方法、板卡缺陷检测方法、装置及产品

Similar Documents

Publication Publication Date Title
CN108256562B (zh) 基于弱监督时空级联神经网络的显著目标检测方法及***
CN108229479B (zh) 语义分割模型的训练方法和装置、电子设备、存储介质
US20220366576A1 (en) Method for target tracking, electronic device, and storage medium
CN109064514B (zh) 一种基于投影点坐标回归的六自由度位姿估计方法
CN107529650B (zh) 闭环检测方法、装置及计算机设备
CN109165735B (zh) 基于生成对抗网络与自适应比例生成样本图片的方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN111080675B (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN105678338B (zh) 基于局部特征学习的目标跟踪方法
CN111340824B (zh) 一种基于数据挖掘的图像特征分割方法
CN111709909A (zh) 基于深度学习的通用印刷缺陷检测方法及其模型
US10943352B2 (en) Object shape regression using wasserstein distance
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及***
CN111709435A (zh) 一种基于离散小波变换的对抗样本生成方法
Lu et al. Learning transform-aware attentive network for object tracking
CN110084201B (zh) 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法
CN110276784B (zh) 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法
CN113744311A (zh) 基于全连接注意力模块的孪生神经网络运动目标跟踪方法
JP6597914B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Grudic et al. Outdoor Path Labeling Using Polynomial Mahalanobis Distance.
Zhang et al. Learning adaptive sparse spatially-regularized correlation filters for visual tracking
CN111178261A (zh) 一种基于视频编码技术的人脸检测加速方法
CN111310768A (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN111145221A (zh) 一种基于多层深度特征提取的目标跟踪算法
KR20220065234A (ko) 6d 포즈 추정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200512

RJ01 Rejection of invention patent application after publication