CN110782479B - 一种基于高斯中心对准的视觉目标跟踪方法 - Google Patents

一种基于高斯中心对准的视觉目标跟踪方法 Download PDF

Info

Publication number
CN110782479B
CN110782479B CN201910947357.3A CN201910947357A CN110782479B CN 110782479 B CN110782479 B CN 110782479B CN 201910947357 A CN201910947357 A CN 201910947357A CN 110782479 B CN110782479 B CN 110782479B
Authority
CN
China
Prior art keywords
target
center
gaussian
pooling layer
center alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910947357.3A
Other languages
English (en)
Other versions
CN110782479A (zh
Inventor
胡钦涛
毛耀
周丽君
周国忠
何秋农
周翕
李志俊
张超
乔琦
聂康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN201910947357.3A priority Critical patent/CN110782479B/zh
Publication of CN110782479A publication Critical patent/CN110782479A/zh
Application granted granted Critical
Publication of CN110782479B publication Critical patent/CN110782479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于高斯中心对准的视觉目标跟踪方法，旨在解决现有目标跟踪技术的目标特征和所建模的高斯中心无法对准的问题。本发明包括以下步骤：步骤1、选取目标初始帧；步骤2、用网络提取目标特征；步骤3、将目标特征经过中心对准池化层；步骤4、将经过中心对准池化层的结果与所建模的高斯中心对准求得最小损失误差；步骤5、得到目标跟踪的结果。本发明的有益技术效果在于：能够大幅度提高高斯模型跟踪的精度。

Description

一种基于高斯中心对准的视觉目标跟踪方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于高斯中心对准的视觉目标跟踪方法。
背景技术
目标跟踪在自动驾驶、航拍、视频监控等领域都有广泛的应用，传统图像算法多是使用特征工程，如颜色直方图、HOG特征等方法、或者粒子滤波、卡尔曼滤波器等方法进行跟踪，但这些方法随着技术的发展，由于实际复杂的应用环境、背景相似干扰、光照条件的变化、遮挡等外界因素以及目标姿态变化，外观变形，尺度变化、平面外旋转、平面内旋转、出视野、快速运动和运动模糊等，性能不能够满足现在的使用要求；随着相关滤波和深度学习的发展，一批相关滤波和深度学习的跟踪算法也相继出现，从MOSSE算法、KCF算法、DCF等提出的相关滤波方法，到现在高速发展的SiamFC等深度学习目标跟踪算法，大多数相关滤波和深度学习的跟踪算法都将目标建模成一个高斯目标，然而，由深度学习网络或者相关滤波器提取到的目标特征可能会存在与所跟踪高斯中心不对准的问题(比如，人体的几何中心点在肚子附近，但是特征可能在头部)，而同时，开发一个精度更高而且不影响实时性的跟踪算法十分必要。
发明内容
本发明要解决的技术问题是提供一种基于高斯中心对准的视觉目标跟踪方法。为了提高现有跟踪算法的跟踪精度而不影响实时性，同时解决上述背景中跟踪目标特征与所要学习目标高斯中心不对准的问题。
为解决上述技术问题，本发明采用如下技术方案：
基于高斯中心对准的视觉目标跟踪方法，包括以下步骤：
步骤1、选取目标初始帧；
步骤2、用网络或相关滤波器提取目标特征；
步骤3、将目标特征经过中心对准池化层；中心对准池化层的作用是将网络或滤波器学习的特征与所建模的高斯中心对准；
步骤4、将经过中心对准池化层的结果与所建模的高斯中心对准求得最小损失误差；所采取的损失函数如下，
Figure RE-GDA0002282158960000021
其中，f(xj；w)是目标特征，yj是生成的高斯模型，PRP是中心对准池化层，γj是对应特征图权重，对于PRP中心池化层，通过以下定义：
Figure RE-GDA0002282158960000022
对于目标特征
Figure RE-GDA0002282158960000023
每个元素都等于其行最大值与列最大值的和，xpn为行值，xnq为列值。
步骤5、得到目标跟踪的结果。根据得到的目标函数的响应，得到跟踪目标的位置。
本发明与现有技术相比，具有如下优点：
1、本发明提高了原有方法的跟踪性能。
2、本发明对于神经网络或者是相关滤波方法都能适用，具有广泛的适用性。
3、本发明通过引入中心对准池化层矫正了高斯中心，计算量小，在使用中基本不改变原有算法的运行速度。
附图说明
图1是本发明的整体框架图；
图2是本发明的中心对准池化层示例；
图3是采用本发明与未采用本发明的响应高斯函数的对比例，其中，图3(a)为本发明的高斯响应函数，图3(b)为未采用本发明的高斯响应函数。
具体实施方式
下面结合附图对本发明的具体实施方式做详细说明。但以下实施例只是用来详细说明本发明，并不以任何方式限制本发明的范围。以下实施例中所涉及或依赖的程序均为本技术领域的常规程序或简单程序，本领域技术人员均能根据具体应用场景做出常规选择或者适应性调整。
如图1所示，本发明一种基于高斯中心对准的视觉目标跟踪方法，包括以下步骤：
步骤1、选取目标初始帧：选取要跟踪目标的，提取所需跟踪目标的特征；
步骤2、用网络或相关滤波器提取目标特征，如图1中的ResNet网络；
步骤3、将目标特征经过中心对准池化层；中心对准池化层的作用是将网络或滤波器学习的特征与所建模的高斯中心对准，中心对准池化层示例如图2；
步骤4、将经过中心对准池化层的结果与所建模的高斯中心对准求得最小损失误差；所采取的损失函数如下，
Figure RE-GDA0002282158960000031
其中，f(xj；w)是目标特征，yj是生成的高斯模型，即图1中最后的高斯图，也即图3(b) 的高斯图，PRP是中心对准池化层，γj是对应特征图权重，对于PRP中心池化层，通过以下定义：
Figure RE-GDA0002282158960000032
对于目标特征
Figure RE-GDA0002282158960000033
每个元素都等于其行最大值与列最大值的和，xpn为行值，xnq为列值。
图3为采用本发明与未采用本发明的产生的高斯图的对比结果，其中，图3(a)为本发明的高斯响应图，可以发现它比图3(b)更平滑，并且只有一个高斯响应。
步骤5、得到目标跟踪的结果。根据得到的目标函数的响应，得到跟踪目标的位置。
为了验证本发明的有效性，特选取ATOM、Siammask算法作为比较例，使用标准的VOT2018 数据集来比较结果，比较跟踪方法的精度A和鲁棒性R和期望平均覆盖率EAO。
表一：实施例和比较例在数据集上的结果比较
方法 A R EAO
ATOM 0.590 0.204 0.401
Siammask 0.609 0.276 0.380
本发明 0.612 0.169 0.434
由表一可知，本发明的方法相比目前领先的ATOM、Siammask在精度A(越高越好)和鲁棒性R(越低越好)和期望平均覆盖率EAO(越高越好)上均有所提升。

Claims (1)

1.一种基于高斯中心对准的视觉目标跟踪方法，其特征在于，包括以下步骤：
步骤1、选取目标初始帧；
步骤2、用网络提取目标特征；
步骤3、将目标特征经过中心对准池化层；
步骤4、将经过中心对准池化层的结果与所建模的高斯中心对准求得最小损失误差；
步骤5、得到目标跟踪的结果；
步骤3的中心对准池化层是将目标特征从物体偏心处重新矫正到物体中心处；
步骤4所采取的损失误差函数为：
Figure FDA0003627001480000011
其中，f(xj；w)是目标特征，yj是生成的高斯模型，PRP是中心对准池化层，γj是对应特征图权重；
对于PRP中心池化层，通过以下定义：
Figure FDA0003627001480000012
对于目标特征
Figure FDA0003627001480000013
每个元素都等于其行最大值与列最大值的和，xpn为行值，xnq为列值。
CN201910947357.3A 2019-10-08 2019-10-08 一种基于高斯中心对准的视觉目标跟踪方法 Active CN110782479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910947357.3A CN110782479B (zh) 2019-10-08 2019-10-08 一种基于高斯中心对准的视觉目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910947357.3A CN110782479B (zh) 2019-10-08 2019-10-08 一种基于高斯中心对准的视觉目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110782479A CN110782479A (zh) 2020-02-11
CN110782479B true CN110782479B (zh) 2022-07-19

Family

ID=69384815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910947357.3A Active CN110782479B (zh) 2019-10-08 2019-10-08 一种基于高斯中心对准的视觉目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110782479B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100753844B1 (ko) * 2006-09-29 2007-08-31 한국전자통신연구원 레이다 추적장치 및 그 방법
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪***及方法
CN107292918A (zh) * 2016-10-31 2017-10-24 清华大学深圳研究生院 基于视频在线学习的跟踪方法和装置
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学（威海） 基于连续相关滤波器的定位修正长程跟踪算法
CN108665481A (zh) * 2018-03-27 2018-10-16 西安电子科技大学 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN110276782A (zh) * 2018-07-09 2019-09-24 西北工业大学 一种结合空谱特征和相关滤波的高光谱目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989442B2 (en) * 2013-04-12 2015-03-24 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100753844B1 (ko) * 2006-09-29 2007-08-31 한국전자통신연구원 레이다 추적장치 및 그 방법
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪***及方法
CN107292918A (zh) * 2016-10-31 2017-10-24 清华大学深圳研究生院 基于视频在线学习的跟踪方法和装置
CN107424177A (zh) * 2017-08-11 2017-12-01 哈尔滨工业大学（威海） 基于连续相关滤波器的定位修正长程跟踪算法
CN108665481A (zh) * 2018-03-27 2018-10-16 西安电子科技大学 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN110276782A (zh) * 2018-07-09 2019-09-24 西北工业大学 一种结合空谱特征和相关滤波的高光谱目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CenterNet: Keypoint Triplets for Object Detection;Kaiwen Duan etc.;《arXiv:1904.08189》;20190419;全文 *
Design and Implementation of Real-Time Object Tracking System Using the Gaussian Motion Model and the Otsu Algorithm;Meei-Ling Hung etc.;《2009 Second International Symposium on Knowledge Acquisition and Modeling》;20091228;全文 *
SPSTracker Sub-Peak Suppression of Response Map for Robust Object Tracking;Qintao Hu etc.;《https://doi.org/10.48550/arXiv.1912.00597》;20200303;全文 *
智能视频监控中运动目标检测与跟踪技术研究及实现;贾茜;《中国优秀硕士论文全文数据库》;20111215;全文 *
目标跟踪算法研究及实现;郑鹏程;《中国优秀硕士论文全文数据库》;20190115;全文 *

Also Published As

Publication number Publication date
CN110782479A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN109816689B (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN109035163B (zh) 一种基于深度学习的自适应图像去噪方法
WO2021017361A1 (zh) 一种基于边缘和梯度特征的模板匹配算法
CN110837768B (zh) 一种面向珍稀动物保护的在线检测与识别方法
WO2020134617A1 (zh) 基于街景图像匹配重复结构建筑的定位方法
CN109285179A (zh) 一种基于多特征融合的运动目标跟踪方法
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉***
CN110246154B (zh) 一种基于ica-r多特征融合与自适应更新的视觉目标跟踪方法
CN102169581A (zh) 一种基于特征向量的快速高精度鲁棒性匹配方法
CN108257155B (zh) 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法
CN110992263A (zh) 一种图像拼接方法及***
CN102938147A (zh) 一种基于快速鲁棒特征的低空无人机视觉定位方法
CN110930411A (zh) 一种基于深度相机的人体分割方法及***
CN110766723A (zh) 一种基于颜色直方图相似性的无人机目标跟踪方法及***
CN105760879A (zh) 基于傅里叶梅林变换的图像几何匹配方法
CN109064402B (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN103955950A (zh) 一种利用关键点特征匹配的图像跟踪方法
CN108710883B (zh) 一种采用轮廓检测的完整显著性物体检测方法
CN112419369A (zh) 一种抗遮挡实时目标跟踪方法
CN112614161A (zh) 一种基于边缘置信度的三维物体跟踪方法
CN117764967A (zh) 一种基于人工智能的装修质量检测方法及***
CN110782479B (zh) 一种基于高斯中心对准的视觉目标跟踪方法
CN107564013B (zh) 融合局部信息的场景分割修正方法与***
CN112132855B (zh) 基于前景分割引导的自适应高斯函数的目标跟踪方法
CN116958264A (zh) 一种基于三维视觉的螺栓孔定位及位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant