CN112802057A - 一种基于旋转自适应卷积网络的视觉跟踪方法 - Google Patents

一种基于旋转自适应卷积网络的视觉跟踪方法 Download PDF

Info

Publication number
CN112802057A
CN112802057A CN202011363738.6A CN202011363738A CN112802057A CN 112802057 A CN112802057 A CN 112802057A CN 202011363738 A CN202011363738 A CN 202011363738A CN 112802057 A CN112802057 A CN 112802057A
Authority
CN
China
Prior art keywords
target
value
rotation
tracking
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011363738.6A
Other languages
English (en)
Other versions
CN112802057B (zh
Inventor
何志伟
杜晨杰
董哲康
高明煜
伍瀚
聂佳浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011363738.6A priority Critical patent/CN112802057B/zh
Publication of CN112802057A publication Critical patent/CN112802057A/zh
Application granted granted Critical
Publication of CN112802057B publication Critical patent/CN112802057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于旋转自适应卷积网络的视觉跟踪方法。本发明具体步骤包括搭建VGG19网络，在VGG19网络中搭建旋转自适应模块，获得基于旋转自适应模块的视觉跟踪网络模型，最后在公开数据集OTB2015上对旋转自适应卷积网络模型进行实验。由于多数跟踪算法一般只对跟踪目标的位置和尺度进行预测，而忽略了目标对象在跟踪过程中可能发生了旋转。针对现有视觉跟踪方法的不足，本发明利用卷积网络能快速提取目标丰富的层次特征(包括浅层特征和深层特征)，并添加旋转自适应模块来增强***应对目标旋转变化的稳定性，从而进一步提升跟踪算法的准确性和鲁棒性。此外，本发明提出的旋转自适应模块，为各类目标跟踪方法提供一种鲁棒的目标旋转位置估计方法。

Description

一种基于旋转自适应卷积网络的视觉跟踪方法
技术领域
本发明属于视觉目标跟踪技术领域，尤其是涉及一种基于旋转自适应卷积网络的视觉跟踪方法。
背景技术
视觉目标跟踪已经研究了几十年，但仍然是一种具有挑战性的热点问题。视觉目标跟踪在许多领域都得到了实际应用，如自动驾驶、行为识别和机器人导航等。相比传统的视觉目标跟踪算法，近些年提出的基于深度学习的跟踪方法在跟踪性能和评估方法方面都取得了很大的进展。在目标跟踪过程中，大多数跟踪方法一旦遇到全遮挡、快速运动、运动模糊、目标丢失等复杂场景的挑战时，***的整体性能会受到影响。因此，构建一个鲁棒高效的视觉跟踪方法仍然存在着相当大的挑战。
在目标跟踪过程中，***通常依赖于被跟踪对象的空间布局。绝大多数的跟踪算法一般只对跟踪目标的位置和尺度进行预测，而忽略了目标对象在跟踪过程中可能发生了旋转。假设跟踪的目标发生了显著的旋转变化，而***中的跟踪框不会随之自适应旋转，那么即使是性能非常优秀的***也很难跟上处于旋转中的目标。以 OTB2015数据集中的MotorRolling视频序列为例，该视频中的目标从第一帧开始，就处于旋转状态，直到整个视频的最后一帧，整个过程目标经历了显著的旋转变化。因此，该视频序列挑战难度比较大，很多经典的***成功跟踪10多帧以后，跟踪框就开始偏离目标位置，导致整体的跟踪性能大幅度下降。
针对跟踪过程中出现的目标旋转变化问题，提出了一种新型的旋转自适应卷积网络视觉跟踪方法，需要在提高精度值和成功值这两方面进行优化。
发明内容
针对现有技术的不足，本发明提出一种新型的旋转自适应卷积网络视觉跟踪方法。利用卷积网络能快速提取目标丰富的层次特征(包括浅层特征和深层特征)，并添加旋转自适应模块来增强***应对目标旋转变化的稳定性，从而进一步提升跟踪算法的准确性和鲁棒性。此外，本发明提出的旋转自适应模块，为各类目标跟踪方法提供一种鲁棒、准确的目标旋转位置估计方法。
一种基于旋转自适应卷积网络的视觉跟踪方法，该方法具体包括以下步骤：
步骤1、搭建VGG19网络模块；
1.1、VGG19网络模块包含19个隐藏层，其中前16个卷积层为卷积和池化操作的交替，最后一个卷积层后紧连接3个全连接层。每个卷积层的卷积核为3x3。
在本实验中需要提取conv3-4，conv4-4，conv5-4作为目标表征。
1.2、为了解决pool5卷积特征图过小的问题，使用双线性插值将每个卷积特征图的大小调整为固定尺度大小。令h表示特征图，x 表示上采样特征图，第i个位置的特征向量为：
Figure BDA0002804795790000021
其中，插值权重αik分别取决于第i和k个相邻特征向量的位置。
1.3、VGG-19神经网络框架的基本原理是，能够在conv3的特征图中清晰的看到目标的轮廓，但是在conv5的特征图中已经很难看到细节所在。然而，在conv5的特征图包含了较多的语义信息。
1.4、在高层特征当中，根据所提取特征的语义信息，能够很容易的找到目标所在的大概区域范围，然后逐步使用较低层次的特征对目标进行精确定位，从而得到最终的目标位置的最大响应值，从而找到最初目标中心位置所在。
步骤2、搭建旋转自适应模块；
2.1、构建旋转角度区间模型Modelrot(x)：
Modelrot(x)＝(2x+1)×θstep (1)
其中，x为向右旋转的角度个数，一般取值为3。θstep为旋转角度的步长，取值为10，用于限制每次旋转的角度。因此从旋转角度变化模型看出，可以获得(2x+1)个旋转角度的变化。
2.2、对当前第t帧目标中心位置所在角度的最大响应值施以高斯变换，相比上一帧目标中心位置所在角度的最大响应值，构建当前第t帧的目标中心位置所在角度的最大响应置信值模型
Figure BDA0002804795790000032
Figure BDA0002804795790000031
其中，
Figure BDA0002804795790000033
为当前第t帧目标中心位置所在角度的最大响应值，θt和θt-1分别表示当前第t帧和第t-1帧的目标中心位置所在角度。
2.3、遍历(2x+1)个旋转角度，分别计算每次旋转后的目标中心位置所在角度的响应图、最大响应值responsemax、APCE值、最大响应置信值scoremax、目标中心位置positioncenter以及旋转θstep后的目标中心位置所在角度θ，具体实施过程如下：
2.3.1、设置跟踪框向右旋转θstep，并计算旋转后当前跟踪框内目标图像特征和背景图像特征。
所的跟踪框内目标图像特征和背景图像特征的计算通过VGG19 网络模块实现。
2.3.2、通过目标中心位置positioncenter、目标中心位置所在角度θ、目标图像特征和背景图像特征计算当前目标位置所在角度的响应图。
通过响应图获得最大响应值responsemax和APCE值，最大响应值 responsemax所对应的位置就是目标中心位置positioncenter；然后再根据公式(2)的最大响应置信值模型，计算出当前目标中心位置positioncenter所在角度的最大响应置信值scoremax。
2.3.3、遍历剩余的2x个旋转位置，分别计算所有目标中心位置 positioncenter所在角度的响应图、最大响应值responsemax、APCE值和最大响应置信值scoremax。
2.4、对(2x+1)个目标中心位置positioncenter所在角度的最大响应值 responsemax和APCE值进行线性归一化：
Figure BDA0002804795790000041
2.5、由于单独的最大响应值responsemax和APCE值进行不足以反应跟踪结果的置信程度，因此通过融合最大响应值responsemax和APCE 值提升跟踪结果的置信程度。构建跟踪结果置信程度模型Confidence(i)：
Confidence(i)＝μ*responsemax(i)norm+(1-μ)*APCE(i)norm,i＝1,2,…,2x+1 (4)
其中，responsemax(i)norm和APCE(·)norm分别表示归一化的最大响应值和APCE值，μ为模型控制参数。因此，能够求得所有目标中心位置 positioncenter所在角度中最大的跟踪结果置信值Confidencemax，根据 Confidencemax获得最优旋转角度θopt和最优目标中心位置positionopt。
2.6、构建相邻帧跟踪结果置信程度比较模型：
Figure BDA0002804795790000042
其中，
Figure BDA0002804795790000043
和
Figure BDA0002804795790000044
分别表示第t帧和t-1帧的最大跟踪结果置信值，υ为模型控制参数。
2.6.1、如果Υ＝1，则相比上一帧的跟踪结果置信值，当前帧的跟踪结果置信值有所下降，即当前帧的跟踪结果不理想，***模板有可能遭到污染。反之Υ＝0，则表明当前帧通过最优旋转角度θopt后，能够进一步提升跟踪目标时的准确性和鲁棒性。
2.6.2、当Υ＝1时，则使用最初目标中心位置所在角度的目标图像特征和背景图像特征进行***的模型训练，并设置旋转角度的步长θstep＝0。
步骤3、公开数据集上进行实验；
为了验证本算法，在OTB2015数据集上进行性能评估验证，并和基线算法HCFTstar进行实验对比分析。实验结果显示，基线算法 HCFTstar的准确值和成功值分别为0.834和0.693，在加入旋转自适应模块后，本算法的准确值提升到0.847，成功值提升到0.704。因此，本算法的旋转自适应模块能一定程度的提升***的准确性和鲁棒性。
附图说明
图1为本发明和基线算法HCFTstar进行跟踪性能比较图。
具体实施方式
一种基于旋转自适应卷积网络的视觉跟踪方法，该方法具体包括以下步骤：
步骤1、搭建VGG19网络模块；
1.1、VGG19网络模块包含19个隐藏层，其中前16个卷积层为卷积和池化操作的交替，最后一个卷积层后紧连接3个全连接层。每个卷积层的卷积核为3x3。
在本实验中需要提取conv3-4，conv4-4，conv5-4作为目标表征。
1.2、为了解决pool5卷积特征图过小的问题，使用双线性插值将每个卷积特征图的大小调整为固定尺度大小。令h表示特征图，x 表示上采样特征图，第i个位置的特征向量为：
Figure RE-GDA0002994659790000051
其中，插值权重αik分别取决于第i和k个相邻特征向量的位置。
1.3、VGG-19神经网络框架的基本原理是，能够在conv3的特征图中清晰的看到目标的轮廓，但是在conv5的特征图中已经很难看到细节所在。然而，在conv5的特征图包含了较多的语义信息。
1.4、在高层特征当中，根据所提取特征的语义信息，能够很容易的找到目标所在的大概区域范围，然后逐步使用较低层次的特征对目标进行精确定位，从而得到最终的目标位置的最大响应值，从而找到最初目标中心位置所在。
步骤2、搭建旋转自适应模块；
2.1、构建旋转角度区间模型Modelrot(x)：
Modelrot(x)＝(2x+1)×θstep (1)
其中，x为向右旋转的角度个数，一般取值为3。θstep为旋转角度的步长，取值为10，用于限制每次旋转的角度。因此从旋转角度变化模型看出，可以获得(2x+1)个旋转角度的变化。
2.2、对当前第t帧目标中心位置所在角度的最大响应值施以高斯变换，相比上一帧目标中心位置所在角度的最大响应值，构建当前第t帧的目标中心位置所在角度的最大响应置信值模型
Figure RE-GDA0002994659790000061
Figure RE-GDA0002994659790000062
其中，
Figure RE-GDA0002994659790000063
为当前第t帧目标中心位置所在角度的最大响应值，θt和θt-1分别表示当前第t帧和第t-1帧的目标中心位置所在角度。
2.3、遍历(2x+1)个旋转角度，分别计算每次旋转后的目标中心位置所在角度的响应图、最大响应值responsemax、APCE值、最大响应置信值scoremax、目标中心位置positioncenter以及旋转θstep后的目标中心位置所在角度θ，具体实施过程如下：
2.3.1、设置跟踪框向右旋转θstep，并计算旋转后当前跟踪框内目标图像特征和背景图像特征。
所的跟踪框内目标图像特征和背景图像特征的计算通过VGG19 网络模块实现。
2.3.2、通过目标中心位置positioncenter、目标中心位置所在角度θ、目标图像特征和背景图像特征计算当前目标位置所在角度的响应图。
通过响应图获得最大响应值responsemax和APCE值，最大响应值 responsemax所对应的位置就是目标中心位置positioncenter；然后再根据公式(2)的最大响应置信值模型，计算出当前目标中心位置positioncenter所在角度的最大响应置信值scoremax。
2.3.3、遍历剩余的2x个旋转位置，分别计算所有目标中心位置 positioncenter所在角度的响应图、最大响应值responsemax、APCE值和最大响应置信值scoremax。
2.4、对(2x+1)个目标中心位置positioncenter所在角度的最大响应值 responsemax和APCE值进行线性归一化：
Figure RE-GDA0002994659790000071
2.5、由于单独的最大响应值responsemax和APCE值进行不足以反应跟踪结果的置信程度，因此通过融合最大响应值responsemax和APCE 值提升跟踪结果的置信程度。构建跟踪结果置信程度模型Confidence(i)：
Confidence(i)＝μ*responsemax(i)norm+(1-μ)*APCE(i)norm,i＝1,2,…,2x+1 (4)
其中，responsemax(i)norm和APCE(·)norm分别表示归一化的最大响应值和APCE值，μ为模型控制参数。因此，能够求得所有目标中心位置 positioncenter所在角度中最大的跟踪结果置信值Confidencemax，根据 Confidencemax获得最优旋转角度θopt和最优目标中心位置positionopt。
2.6、构建相邻帧跟踪结果置信程度比较模型：
Figure RE-GDA0002994659790000072
其中，
Figure RE-GDA0002994659790000073
和
Figure RE-GDA0002994659790000074
分别表示第t帧和t-1帧的最大跟踪结果置信值，υ为模型控制参数。
2.6.1、如果Υ＝1，则相比上一帧的跟踪结果置信值，当前帧的跟踪结果置信值有所下降，即当前帧的跟踪结果不理想，***模板有可能遭到污染。反之Υ＝0，则表明当前帧通过最优旋转角度θopt后，能够进一步提升跟踪目标时的准确性和鲁棒性。
2.6.2、当Υ＝1时，则使用最初目标中心位置所在角度的目标图像特征和背景图像特征进行***的模型训练，并设置旋转角度的步长θstep＝0。
步骤3、公开数据集上进行实验；
为了验证本算法，在OTB2015数据集上进行性能评估验证，并和基线算法HCFTstar进行实验对比分析。实验结果显示，基线算法 HCFTstar的准确值和成功值分别为0.834和0.693，在加入旋转自适应模块后，本算法的准确值提升到0.847，成功值提升到0.704。因此，本算法的旋转自适应模块能一定程度的提升***的准确性和鲁棒性。
我们选取了4个具有旋转挑战的代表性视频序列，分别为 Ironman、Bolt、Panda和Box，如表1所示。
表1 4个具有旋转挑战的代表性视频序列
Figure BDA0002804795790000051
这4个视频序列不仅包括了平面内旋转(in-plane rotation， IPR)和平面外旋转(out-of-plane rotation，OPR)挑战，还包含了遮挡(occlusion，OCC)、背景杂乱(background clutter，BC)、形变(deformation，DEF)、运动模糊(motion blur，MB)、光照变化(illumination variation，IV)、快速运动(fast motion，FM)、尺度变化(scalevariation，SV)、目标丢失(out of view，OV) 和低分辨率(low resolution，LR)等挑战。此外，Panda和Box视频序列在OTB2015数据集中属于长视频跟踪序列，视频序列长度分别为1000帧和1161帧，非常考验跟踪算法的长时间跟踪性能。
将本算法和基线算法HCFTstar进行跟踪性能比较，如图1所示。基线算法HCFTstar在Ironman、Bolt、Panda和Box视频序列进行跟踪性能测试时，都只能在视频的一段时间内跟踪上目标。随着视频帧的增大，目标对象不同程度上遭遇了旋转挑战，使得HCFTstar的***模板逐渐遭受到污染，导致跟踪框偏离目标对象。然而，本算法在HCFTstar的基础上加入旋转自适应模块后，能较好的应对旋转挑战。目标在旋转的过程中，本算法能自适应的调整***模板的旋转角度，并且本专利提出的方法找到最优的旋转角度θopt和最优目标中心位置positionopt。

Claims (6)

1.一种基于旋转自适应卷积网络的视觉跟踪方法，其特征在于：该方法具体包括以下步骤：
步骤1、搭建VGG19网络；
步骤2、在VGG19网络中搭建旋转自适应模块，获得基于旋转自适应模块的视觉跟踪网络模型；
步骤3、公开数据集上对视觉跟踪网络模型进行实验。
2.根据权利要求1所述的一种基于旋转自适应卷积网络的视觉跟踪方法，其特征在于步骤2所述的搭建旋转自适应模块，具体实现如下：
2.1、构建旋转角度区间模型Modelrot(x)：
Modelrot(x)＝(2x+1)×θstep (1)
其中，x为向右旋转的角度个数，θstep为旋转角度的步长，用于限制每次旋转的角度；因此从旋转角度变化模型看出，可以获得(2x+1)个旋转角度的变化；
2.2、对当前第t帧目标中心位置所在角度的最大响应值施以高斯变换，相比上一帧目标中心位置所在角度的最大响应值，构建当前第t帧的目标中心位置所在角度的最大响应置信值模型
Figure FDA0002804795780000011
Figure FDA0002804795780000012
其中，
Figure FDA0002804795780000013
为当前第t帧目标中心位置所在角度的最大响应值，θt和θt-1分别表示当前第t帧和第t-1帧的目标中心位置所在角度；
2.3、遍历(2x+1)个旋转角度，分别计算每次旋转后的目标中心位置所在角度的响应图、最大响应值responsemax、APCE值、最大响应置信值scoremax、目标中心位置positioncenter以及旋转θstep后的目标中心位置所在角度θ；
2.4、对(2x+1)个目标中心位置positioncenter所在角度的最大响应值responsemax和APCE值进行线性归一化：
Figure FDA0002804795780000021
2.5、由于单独的最大响应值responsemax和APCE值进行不足以反应跟踪结果的置信程度，因此通过融合最大响应值responsemax和APCE值提升跟踪结果的置信程度；构建跟踪结果置信程度模型Confidence(i)：
Confidence(i)＝μ*responsemax(i)norm+(1-μ)*APCE(i)norm,i＝1,2,…,2x+1 (4)
其中，responsemax(·)norm和APCE(·)norm分别表示归一化的最大响应值和APCE值，μ为模型控制参数；因此，能够求得所有目标中心位置positioncenter所在角度中最大的跟踪结果置信值Confidencemax，根据Confidencemax获得最优旋转角度θopt和最优目标中心位置positionopt；
2.6、构建相邻帧跟踪结果置信程度比较模型：
Figure FDA0002804795780000022
其中，
Figure FDA0002804795780000023
和
Figure FDA0002804795780000024
分别表示第t帧和t-1帧的最大跟踪结果置信值，υ为模型控制参数。
3.根据权利要求2所述的一种基于旋转自适应卷积网络的视觉跟踪方法，其特征在于步骤2.3具体实现如下：
2.3.1、设置跟踪框向右旋转θstep，并计算旋转后当前跟踪框内目标图像特征和背景图像特征；
2.3.2、通过目标中心位置positioncenter、目标中心位置所在角度θ、目标图像特征和背景图像特征计算当前目标位置所在角度的响应图；
通过响应图获得最大响应值responsemax和APCE值，最大响应值responsemax所对应的位置就是目标中心位置positioncenter；然后再根据公式(2)的最大响应置信值模型，计算出当前目标中心位置positioncenter所在角度的最大响应置信值scoremax；
2.3.3、遍历剩余的2x个旋转位置，分别计算所有目标中心位置positioncenter所在角度的响应图、最大响应值responsemax、APCE值和最大响应置信值scoremax。
4.根据权利要求2或3所述的一种基于旋转自适应卷积网络的视觉跟踪方法，其特征在于步骤2.6具体实现如下：
2.6.1、如果Υ＝1，则相比上一帧的跟踪结果置信值，当前帧的跟踪结果置信值有所下降，即当前帧的跟踪结果不理想，***模板有可能遭到污染；反之Υ＝0，则表明当前帧通过最优旋转角度θopt后，能够进一步提升跟踪目标时的准确性和鲁棒性；
2.6.2、当Υ＝1时，则使用最初目标中心位置所在角度的目标图像特征和背景图像特征进行***的模型训练，并设置旋转角度的步长θstep＝0。
5.根据权利要求4所述的一种基于旋转自适应卷积网络的视觉跟踪方法，其特征在于步骤3具体实现如下：
在OTB2015数据集上进行评估验证；将本方法和基线算法HCFTstar进行实验对比分析；实验结果显示，基线算法HCFTstar的准确值和成功值分别为0.834和0.693，在加入旋转自适应模块后，本方法的准确值提升到0.847，成功值提升到0.704。
6.根据权利要求4所述的一种基于旋转自适应卷积网络的视觉跟踪方法，其特征在于步骤1具体实现如下：
1.1、VGG19网络模块包含19个隐藏层，其中前16个卷积层为卷积和池化操作的交替，最后一个卷积层后紧接3个全连接层；每个卷积层的卷积核为3x3；
1.2、使用双线性插值将每个卷积特征图的大小调整为固定尺度大小；令h表示特征图，x表示上采样特征图，第i个位置的特征向量为：
Figure FDA0002804795780000031
其中，插值权重αik分别取决于第i和k个相邻特征向量的位置。
CN202011363738.6A 2020-11-27 2020-11-27 一种基于旋转自适应卷积网络的视觉跟踪方法 Active CN112802057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011363738.6A CN112802057B (zh) 2020-11-27 2020-11-27 一种基于旋转自适应卷积网络的视觉跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011363738.6A CN112802057B (zh) 2020-11-27 2020-11-27 一种基于旋转自适应卷积网络的视觉跟踪方法

Publications (2)

Publication Number Publication Date
CN112802057A true CN112802057A (zh) 2021-05-14
CN112802057B CN112802057B (zh) 2024-02-09

Family

ID=75806371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011363738.6A Active CN112802057B (zh) 2020-11-27 2020-11-27 一种基于旋转自适应卷积网络的视觉跟踪方法

Country Status (1)

Country Link
CN (1) CN112802057B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180285692A1 (en) * 2017-03-28 2018-10-04 Ulsee Inc. Target Tracking with Inter-Supervised Convolutional Networks
CN110210551A (zh) * 2019-05-28 2019-09-06 北京工业大学 一种基于自适应主体敏感的视觉目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180285692A1 (en) * 2017-03-28 2018-10-04 Ulsee Inc. Target Tracking with Inter-Supervised Convolutional Networks
CN110210551A (zh) * 2019-05-28 2019-09-06 北京工业大学 一种基于自适应主体敏感的视觉目标跟踪方法

Also Published As

Publication number Publication date
CN112802057B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN111354017B (zh) 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN110473231B (zh) 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法
CN112233147B (zh) 一种基于双路孪生网络的视频运动目标跟踪方法及装置
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN109859241B (zh) 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法
CN107424177A (zh) 基于连续相关滤波器的定位修正长程跟踪算法
CN111724411B (zh) 一种基于对冲算法的多特征融合跟踪方法
CN111105439B (zh) 一种使用残差注意力机制网络的同步定位与建图方法
CN107067410B (zh) 一种基于增广样本的流形正则化相关滤波目标跟踪方法
CN110135365B (zh) 基于幻觉对抗网络的鲁棒目标跟踪方法
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及***
Chen et al. Using FTOC to track shuttlecock for the badminton robot
US20140050392A1 (en) Method and apparatus for detecting and tracking lips
CN110246154B (zh) 一种基于ica-r多特征融合与自适应更新的视觉目标跟踪方法
Yang et al. Visual tracking with long-short term based correlation filter
CN103985143A (zh) 基于字典学习的视频中判别性在线目标跟踪方法
CN111027586A (zh) 一种基于新型响应图融合的目标跟踪方法
CN112489088A (zh) 一种基于记忆单元的孪生网络视觉跟踪方法
CN116429082A (zh) 一种基于st-orb特征提取的视觉slam方法
CN110135435B (zh) 一种基于广度学习***的显著性检测方法及装置
Ikram et al. Real time hand gesture recognition using leap motion controller based on CNN-SVM architechture
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
CN112802057B (zh) 一种基于旋转自适应卷积网络的视觉跟踪方法
CN113470074B (zh) 一种基于分块判别的自适应时空正则化目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant