CN110135365A - 基于幻觉对抗网络的鲁棒目标跟踪方法 - Google Patents

基于幻觉对抗网络的鲁棒目标跟踪方法 Download PDF

Info

Publication number
CN110135365A
CN110135365A CN201910418050.4A CN201910418050A CN110135365A CN 110135365 A CN110135365 A CN 110135365A CN 201910418050 A CN201910418050 A CN 201910418050A CN 110135365 A CN110135365 A CN 110135365A
Authority
CN
China
Prior art keywords
sample
target
illusion
deformation
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910418050.4A
Other languages
English (en)
Other versions
CN110135365B (zh
Inventor
王菡子
吴强强
严严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201910418050.4A priority Critical patent/CN110135365B/zh
Publication of CN110135365A publication Critical patent/CN110135365A/zh
Application granted granted Critical
Publication of CN110135365B publication Critical patent/CN110135365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

基于幻觉对抗网络的鲁棒目标跟踪方法，涉及计算机视觉技术。首先提出一种新的幻觉对抗网络，旨在于学习样本对间的非线性形变，并将学习到的形变施加在新目标以此来生成新的目标形变样本。为了能有效训练所提出的幻觉对抗网络，提出形变重构损失。基于离线训练的幻觉对抗网络，提出基于幻觉对抗网络的目标跟踪方法，该方法能有效缓解深度神经网络在目标跟踪过程中由于在线更新发生的过拟合问题。此外，为了能进一步提升形变迁移质量，提出选择性性变迁移方法，进一步提升了跟踪精度。提出的目标跟踪方法在当前主流目标跟踪数据集上取得了具有竞争力的结果。

Description

基于幻觉对抗网络的鲁棒目标跟踪方法
技术领域
本发明涉及计算机视觉技术，尤其是涉及一种基于幻觉对抗网络的鲁棒目标跟踪方法。
背景技术
近几年，深度神经网络在计算机视觉领域的应用取得了巨大成功。目标跟踪作为计算机视觉领域的基础问题之一，其在当前许多计算机视觉任务中均扮演了十分重要的角色，如无人驾驶、增强现实、机器人等领域。近来，基于深度神经网络的目标跟踪算法研究受到了国内外研究者的广泛关注。然而，与其他计算机视觉任务所不同(如目标检测和语义分割)，深度神经网络在目标跟踪任务中的应用仍然十分的有效，主要原因为目标跟踪任务本身存在一定的特殊性，其缺少多样化的在线目标训练样本，因此极大地限制了深度神经网络的泛化性，进而影响跟踪结果。同时，目标跟踪任务旨在于跟踪任意目标，其对于要跟踪的目标不提前给出任何先验知识，这一点也对于深度神经网络离线训练数据集的选择带来了巨大挑战。因此，提出一个具有强泛化性的基于深度神经网络的目标跟踪算法具有重要的现实意义。
为了缓解上述问题，当前国内外的研究者们主要提出了两种类型的解决方法。第一类方法将目标跟踪任务看作是一个模板匹配的问题，其具体实现往往采用深度孪生网络，将目标模板和搜索区域同时作为深度孪生网络的输入，最后得到搜索区域中与目标模板最为相似的子区域位置。基于相似度计算的深度孪生网络可以通过使用大量标注的目标跟踪数据集进行完全离线的训练，因此其可以避免由于在线训练样本过少所带来的过拟合问题。在基于深度孪生网络的目标跟踪算法中，其开创性的算法为SiamFC。基于SiamFC，研究者们提出了许多改进算法，其包括使用区域建议窗口生成网络的SiamRPN、使用动态记忆网络的MemSiamFC、使用更深层次骨架网络的SiamRPN++等。由于SiamFC类型的跟踪算法能避免耗时的在线训练步骤，因此其往往能达到远超实时的跟踪速度。然而，由于此类算法缺少对于目标表观变化在线学习的过程，其精度仍然较为受限(如在OTB数据集上的精度结果)。研究者们所提出的另一类方法旨在于利用有限的在线样本来学习鲁棒的神经网络分类器。此类方法的一般思路为使用迁移学习领域的方法来缓解过拟合问题，其较为代表性的方法为H.Nam等人于2016年提出的MDNet。MDNet首先使用多域离线学习来学习较好的分类器初始模型参数，然后在跟踪过程中，通过收集目标的正负样本来进一步训练分类器。近来，基于MDNet，研究者们提出了使用对抗学习的VITAL、学习不同层次目标表征的BranchOut、使用RNN的SANet等。相比于前一类方法，此类方法比上一类方法能达到更高的跟踪精度。然而，由于极为有限的在线样本(尤其是目标样本)，使得此类方法的在线学习十分受限，仍易造成过拟合的问题，进而影响跟踪性能。因此，设计一种简单有效的方法来缓解深度目标跟踪算法在跟踪过程中发生的过拟合问题，具有非常重大的意义。
与当前的目标跟踪算法相比，人类可以轻而易举的对移动的目标进行跟踪。虽然人脑的机制到目前为止还没被完全的探索清楚，但我们可以确定的是通过人类以前的学***时看到的各类事物中学习到相似的动作或变换，从而将这种相似的变换施加到不同的目标，以此想象出新的目标在不同姿态或动作下的样子。这样的想象机制与机器学习中的数据增强方法极为的类似，人脑可以类比为一个视觉分类器，然后使用想象机制来得到不同状态下的目标样本，从而训练出一个鲁棒的视觉分类器。
发明内容
本发明的目的在于提供基于幻觉对抗网络的鲁棒目标跟踪方法。
本发明包括以下步骤：
1)在有标注的目标跟踪数据集中收集大量形变样本对作为训练样本集合；
在步骤1)中，所述在有标注的目标跟踪数据集中收集大量形变样本对作为训练样本集合具体过程可为：标记视频序列收集大量目标样本对，一对样本包含同一个目标；在视频序列a中，首先在第t帧选取目标样本然后在后20帧内随机选取一帧中的目标样本作为用于构成一组形变样本对选取大量的形变样本对构成训练样本集合；所述数据集为Fei-Fei Li等人在2015年提出的ILSVRC-2015视频目标检测数据集。
2)对步骤1)中所得到的训练样本集合中的所有样本进行特征提取，得到训练样本特征集合；
在步骤2)中，所述特征提取的步骤可为：首先将目标样本使用双线形插值方法改变大小至107×107×3，然后使用神经网络特征提取器φ(·)对所有插值后的目标样本进行特征提取；所述特征提取器φ(·)的结构可为在Imagenet数据集上预训练的VGG-M模型的前三层卷积层。
3)使用步骤2)中得到的训练样本特征集合、对抗损失和所提出的形变重构损失来离线训练所提出的幻觉对抗网络；
在步骤3)中，所述训练的过程可为：首先从训练样本特征集合中选取两组训练样本特征对，表示为和使用幻觉对抗网络学习和间的形变，并将此形变施加到用以生成关于目标b新的形变样本，使用对抗损失保证生成的样本分布与目标b分布相近：
其中，En和De分表表示所提出的对抗幻想器中的编码器和解码器部分；为了使得生成样本有效编码形变za，提出形变重构损失对生成样本进行约束：
其中，最终，用于离线训练所提出的幻觉对抗网络的总损失函数为：
lall＝ladv+λldef, (公式三)
其中，λ为用于平衡两项损失的超参数；
所述幻觉对抗网络的离线训练可包括以下子步骤：
3.1公式(三)中的参数λ设置为0.5；
3.2在训练中，使用的优化器为Adam(D.P.Kingma,and J.L.Ba,“Adam:A methodfor stochastic optimization,”in Proceedings of the International Conferenceon Learning Representations,2014)，迭代次数为5×105，学习率为2×10-4；
3.3所提出的幻觉对抗网络的编码器和解码器结构均为隐层节点数为2048的三层感知机，编码器输入层节点为9216，编码器输出层节点为64；解码器输入层节点为4672；判别网络同样为隐层节点数为2048的三层感知机，其输入节点数为9216，输出节点数为1。
4)给定测试视频中的第一帧标注图像，采集目标样本，并在目标样本周围采用高斯和随机采样方式进行正负样本的采样；
在步骤4)中，所述采样的细节可为：在每一次迭代训练中，正负样本比例按照1︰3的比例进行采样，即32个正样本和96个负样本，正样本判定标准为所采样样本和目标样本的区域重叠率大于0.7，负样本的判定标准为所采样样本和目标样本的区域重叠率低于0.5。
5)使用所提出的选择性形变迁移方法对跟踪目标进行待迁移样本对的选择；
在步骤5)中，所述待迁移样本对的选择的过程可为：定义Ns表示用于收集形变样本对的数据集中视频片断的数目，si为视频片断的身份标识，其中， 表示视频片断si中对应样本的个数；对于视频片断si的特征表达ψ(si)，可以通过如下方式计算得到：
其中，为深度特征提取器，对于目标特征计算其余每个视频片断表征ψ(si)间的欧式距离，选取距离最近的T个视频片断；在选择的T个视频片断中，采用与步骤1)中相同的方式收集大量的形变样本对，构成集合DS，用于后续目标形变迁移；
所述选择性形变迁移方法可包括以下子步骤：
5.1在计算视频片断的特征表达时，所使用的深度特征提取器为去掉全连接层的ResNet34模型；
5.2在选择相似视频片断时，参数T设置为2×103。
6)基于选择得到的待迁移样本对，使用离线训练好的幻觉对抗网络生成形变的正样本；
在步骤6)中，所述基于选择得到的待迁移样本对，使用离线训练好的幻觉对抗网络生成形变的正样本的具体步骤可为：在每一次迭代训练中，从集合DS随机选择64对样本对，每一对样本对与目标样本输入对抗幻想，生成对应形变样本，最终，对于每一次迭代，共计生成64个正样本。
7)使用空间采样的正负样本和生成的正样本共同对分类器进行训练，其产生的分类误差损失用于同时更新分类器和幻觉对抗网络；
在步骤7)中，所述使用空间采样的正负样本和生成的正样本共同对分类器进行训练，其产生的分类误差损失用于同时更新分类器和幻觉对抗网络的具体方法可为：将生成的64个正样本、32个空间采样的正样本和96个空间采样的负样本共同输入分类器，计算二分类的交叉熵损失，然后使用Adam优化器，通过反向传播算法同时更新分类器和幻觉对抗网络。
8)给定新的测试帧，使用训练好的分类器置信度最高的区域作为目标位置，完成当前帧的跟踪；
在步骤8)中，所述给定新的测试帧，使用训练好的分类器置信度最高的区域作为目标位置，完成当前帧的跟踪的具体过程可为：在当前测试帧，同时使用随机采样和高斯采样在上一帧估计的目标位置处进行样本采样；采样的样本输入分类器得到其对应的目标置信度。
本发明旨在于将人脑的想象机制用于当前基于深度学习的目标跟踪算法，提出一种新的基于幻觉对抗网络的鲁棒目标跟踪方法。本发明首先提出一种新的幻觉对抗网络，旨在于学习样本对间的非线性形变，并将学习到的形变施加在新目标以此来生成新的目标形变样本。为了能有效训练所提出的幻觉对抗网络，提出形变重构损失。基于离线训练的幻觉对抗网络，提出基于幻觉对抗网络的目标跟踪方法，该方法能有效缓解深度神经网络在目标跟踪过程中由于在线更新发生的过拟合问题。此外，为了能进一步提升形变迁移质量，提出选择性性变迁移方法，进一步提升了跟踪精度。本发明提出的目标跟踪方法在当前主流目标跟踪数据集上取得了具有竞争力的结果。
附图说明
图1为本发明实施例的流程示意图。
具体实施方式
下面结合附图和实施例对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。
参见图1，本发明实施例包括以下步骤：
A.在有标注的目标跟踪数据集中收集大量形变样本对作为训练样本集合。具体过程如下：标记视频序列来收集大量目标样本对(一对样本包含同一个目标)。如在视频序列a中，首先在第t帧选取目标样本然后在后20帧内随机选取一帧中的目标样本作为以此来构成一组形变样本对按照上述步骤，选取大量的形变样本对来构成训练样本集合。
B.对步骤A中所得到的训练样本集合中的所有样本进行特征提取，得到训练样本特征集合。特征提取步骤如下：首先将目标样本使用双线形插值方法改变大小至107×107×3，然后使用神经网络特征提取器φ(·)对所有插值后的目标样本进行特征提取。
C.使用步骤B中得到的训练样本特征集合、对抗损失和所提出的形变重构损失来离线训练所提出的幻觉对抗网络。其具体训练过程描述如下：首先从训练样本特征集合中选取两组训练样本特征对，表示为和使用幻觉对抗网络学习和间的形变，并将此形变施加到用以生成关于目标b新的形变样本。使用对抗损失保证生成的样本分布与目标b分布相近：
其中，En和De分表表示所提出的幻觉对抗网络中的编码器和解码器部分。为了使得生成样本有效编码形变za，提出形变重构损失对生成样本进行约束：
其中，最终，用于离线训练所提出的幻觉对抗网络的总损失函数为：
lall＝ladv+λldef, (公式三)
其中，λ为用于平衡两项损失的超参数。
D、给定测试视频中的第一帧标注图像，采集目标样本，并在目标样本周围采用高斯和随机采样方式进行正负样本的采样。采样细节描述如下：在每一次迭代训练中，正负样本比例按照1︰3的比例进行采样，即32个正样本和96个负样本。正样本判定标准为所采样样本和目标样本的区域重叠率大于0.7，负样本的判定标准为所采样样本和目标样本的区域重叠率低于0.5。
E、使用所提出的选择性形变迁移方法来对跟踪目标进行待迁移样本对的选择。具体选择过程描述如下：定义Ns表示用于收集形变样本对的数据集中视频片断的数目，si为视频片断的身份标识，其中， 表示视频片断si中对应样本的个数。对于视频片断si的特征表达ψ(si)，可以通过如下方式计算得到：
其中，为深度特征提取器。对于目标特征计算其余每个视频片断表征ψ(si)间的欧式距离，选取距离最近的T个视频片断。在选择的T个视频片断中，采用与步骤A中相同的方式收集大量的形变样本对，构成集合DS，用于后续目标形变迁移。
F、基于选择得到的待迁移样本对，使用离线训练好的幻觉对抗网络生成形变的正样本。具体生成步骤如下：在每一次迭代训练中，从集合DS随机选择64对样本对，每一对样本对与目标样本输入对抗幻想，生成对应形变样本。最终，对于每一次迭代，共计生成64个正样本。
G、使用空间采样的正负样本和生成的正样本来共同对分类器进行训练，其产生的分类误差损失用于同时更新分类器和幻觉对抗网络。具体优化过程如下：将生成的64个正样本、32个空间采样的正样本和96个空间采样的负样本共同输入分类器，计算二分类的交叉熵损失，然后使用Adam优化器，通过反向传播算法同时更新分类器和幻觉对抗网络。
H、给定新的测试帧，使用训练好的分类器置信度最高的区域作为目标位置，完成当前帧的跟踪。具体过程如下：在当前测试帧，同时使用随机采样和高斯采样在上一帧估计的目标位置处进行样本采样。采样的样本输入分类器得到其对应的目标置信度。
表1为本发明与其他9个目标跟踪算法在OTB-2013数据集上所取得的精度和成功率对比。本发明方法在主流的数据集上取得了优异的跟踪结果。
表1
方法 精度(％) 成功率(％)
本发明 95.1 69.6
VITAL(2018) 92.9 69.4
MCPF(2017) 91.6 67.7
CCOT(2016) 91.2 67.8
MDNet(2016) 90.9 66.8
CREST(2017) 90.8 67.3
MetaSDNet(2018) 90.5 68.4
ADNet(2017) 90.3 65.9
TRACA(2018) 89.8 65.2
HCFT(2015) 89.1 60.5
在表1中：
VITAL对应为Y.Song等人提出的方法(Y.Song,C.Ma,X.Wu,L.Gong,L.Bao,W.Zuo,C.Shen,R.Lau,and M.-H.Yang,“VITAL:VIsual Tracking via Adversarial Learning,”in Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,2018,pp.8990-8999.)
MCPF对应为T.Zhang等人提出的方法(T.Zhang,C.Xu,and M.-H.Yang,“Multi-Task Correlation Particle Filter for Robust Object Tracking,”in Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition,2017,pp.4819-4827.)
CCOT对应为M.Danelljan等人提出的方法(M.Danelljan,A.Robinson,F.S.Khan,and M.Felsberg,“Beyond Correlation Filters:Learning Continuous ConvolutionOperators for Visual Tracking,”in Proceedings of the European Conference onComputer Vision,2016,pp.472-488.)
MDNet对应为H.Nam等人提出的方法(H.Nam and B.Han,“Learning Multi-domainConvolutional Neural Networks for Visual Tracking,”in Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2016,pp.817-825.)
CREST对应为Y.Song等人提出的方法(Y.Song,C.Ma,L.Gong,J.Zhang,R.～W.H.Lau,and M.-H.Yang,“CREST:Convolutional Residual Learning for VisualTracking,”in Proceedings of the IEEE International Conference on ComputerVision,2017,pp.2555-2564.)
MetaSDNet对应为E.Park等人提出的方法(E.Park and A.C.Berg,“Meta-Tracker:Fast and Robust Online Adaptation for Visual Object Trackers,”inProceedings of the European Conference on Computer Vision,2018,pp.569-585.)
ADNet对应为S.Yun等人提出的方法(S.Yun,J.Choi,Y.Yoo,K.Yun,and J.Y.Choi,“Action-decision Networks for Visual Tracking with Deep ReinforcementLearning,”in Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2017,pp.2711-2720.)
TRACA对应为J.Choi等人提出的方法(J.Choi,H.J.Chang,T.Fischer,S.Yun,andJ.Y.Choi,“Context-aware Deep Feature Compression for High-speed VisualTracking,”in Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2018,pp.479-488)。
HCFT对应为C.Ma等人提出的方法(C.Ma,J.-B.Huang,X.Yang,and M.-H.Yang,“Hierarchical Convolutional Features for Visual Tracking,”in Proceedings ofthe IEEE International Conference on Computer Vision,2015,3074-3082)。

Claims (10)

1.基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于包括以下步骤：
1)在有标注的目标跟踪数据集中收集大量形变样本对作为训练样本集合；
2)对步骤1)中所得到的训练样本集合中的所有样本进行特征提取，得到训练样本特征集合；
3)使用步骤2)中得到的训练样本特征集合、对抗损失和所提出的形变重构损失来离线训练所提出的幻觉对抗网络；
4)给定测试视频中的第一帧标注图像，采集目标样本，并在目标样本周围采用高斯和随机采样方式进行正负样本的采样；
5)使用所提出的选择性形变迁移方法对跟踪目标进行待迁移样本对的选择；
6)基于选择得到的待迁移样本对，使用离线训练好的幻觉对抗网络生成形变的正样本；
7)使用空间采样的正负样本和生成的正样本共同对分类器进行训练，其产生的分类误差损失用于同时更新分类器和幻觉对抗网络；
8)给定新的测试帧，使用训练好的分类器置信度最高的区域作为目标位置，完成当前帧的跟踪。
2.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤1)中，所述在有标注的目标跟踪数据集中收集大量形变样本对作为训练样本集合具体过程为：标记视频序列收集大量目标样本对，一对样本包含同一个目标；在视频序列a中，首先在第t帧选取目标样本然后在后20帧内随机选取一帧中的目标样本作为用于构成一组形变样本对选取大量的形变样本对构成训练样本集合；所述数据集为Fei-FeiLi等人在2015年提出的ILSVRC-2015视频目标检测数据集。
3.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤2)中，所述特征提取的步骤为：首先将目标样本使用双线形插值方法改变大小至107×107×3，然后使用神经网络特征提取器φ(·)对所有插值后的目标样本进行特征提取；所述特征提取器φ(·)的结构为在Imagenet数据集上预训练的VGG-M模型的前三层卷积层。
4.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤3)中，所述训练的过程为：首先从训练样本特征集合中选取两组训练样本特征对，表示为和使用幻觉对抗网络学习和间的形变，并将此形变施加到用以生成关于目标b新的形变样本，使用对抗损失保证生成的样本分布与目标b分布相近：
其中，En和De分表表示所提出的对抗幻想器中的编码器和解码器部分；为了使得生成样本有效编码形变za，提出形变重构损失对生成样本进行约束：
其中，最终，用于离线训练所提出的幻觉对抗网络的总损失函数为：
其中，λ为用于平衡两项损失的超参数；
所述幻觉对抗网络的离线训练包括以下子步骤：
3.1公式(三)中的参数λ设置为0.5；
3.2在训练中，使用的优化器为Adam，迭代次数为5×105，学习率为2×10-4；
3.3所提出的幻觉对抗网络的编码器和解码器结构均为隐层节点数为2048的三层感知机，编码器输入层节点为9216，编码器输出层节点为64；解码器输入层节点为4672；判别网络同样为隐层节点数为2048的三层感知机，其输入节点数为9216，输出节点数为1。
5.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤4)中，所述采样的细节为：在每一次迭代训练中，正负样本比例按照1︰3的比例进行采样，即32个正样本和96个负样本，正样本判定标准为所采样样本和目标样本的区域重叠率大于0.7，负样本的判定标准为所采样样本和目标样本的区域重叠率低于0.5。
6.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤5)中，所述待迁移样本对的选择的过程为：定义Ns表示用于收集形变样本对的数据集中视频片断的数目，si为视频片断的身份标识，其中， 表示视频片断si中对应样本的个数；对于视频片断si的特征表达ψ(si)，通过如下方式计算得到：
其中，为深度特征提取器，对于目标特征计算其余每个视频片断表征ψ(si)间的欧式距离，选取距离最近的T个视频片断；在选择的T个视频片断中，采用与步骤1)中相同的方式收集大量的形变样本对，构成集合DS，用于后续目标形变迁移。
7.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤5)中，所述选择性形变迁移方法包括以下子步骤：
5.1在计算视频片断的特征表达时，所使用的深度特征提取器为去掉全连接层的ResNet34模型；
5.2在选择相似视频片断时，参数T设置为2×103。
8.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤6)中，所述基于选择得到的待迁移样本对，使用离线训练好的幻觉对抗网络生成形变的正样本的具体步骤为：在每一次迭代训练中，从集合DS随机选择64对样本对，每一对样本对与目标样本输入对抗幻想，生成对应形变样本，最终，对于每一次迭代，共计生成64个正样本。
9.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤7)中，所述使用空间采样的正负样本和生成的正样本共同对分类器进行训练，其产生的分类误差损失用于同时更新分类器和幻觉对抗网络的具体方法为：将生成的64个正样本、32个空间采样的正样本和96个空间采样的负样本共同输入分类器，计算二分类的交叉熵损失，然后使用Adam优化器，通过反向传播算法同时更新分类器和幻觉对抗网络。
10.如权利要求1所述基于幻觉对抗网络的鲁棒目标跟踪方法，其特征在于在步骤8)中，所述给定新的测试帧，使用训练好的分类器置信度最高的区域作为目标位置，完成当前帧的跟踪的具体过程为：在当前测试帧，同时使用随机采样和高斯采样在上一帧估计的目标位置处进行样本采样；采样的样本输入分类器得到其对应的目标置信度。
CN201910418050.4A 2019-05-20 2019-05-20 基于幻觉对抗网络的鲁棒目标跟踪方法 Active CN110135365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910418050.4A CN110135365B (zh) 2019-05-20 2019-05-20 基于幻觉对抗网络的鲁棒目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910418050.4A CN110135365B (zh) 2019-05-20 2019-05-20 基于幻觉对抗网络的鲁棒目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110135365A true CN110135365A (zh) 2019-08-16
CN110135365B CN110135365B (zh) 2021-04-06

Family

ID=67571357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910418050.4A Active CN110135365B (zh) 2019-05-20 2019-05-20 基于幻觉对抗网络的鲁棒目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110135365B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274917A (zh) * 2020-01-17 2020-06-12 江南大学 一种基于深度检测的长时目标跟踪方法
CN111354019A (zh) * 2020-03-31 2020-06-30 中国人民解放军军事科学院军事医学研究院 一种基于神经网络的视觉跟踪失效检测***及其训练方法
CN111460948A (zh) * 2020-03-25 2020-07-28 中国人民解放军陆军炮兵防空兵学院 一种基于代价敏感结构化svm的目标跟踪方法
CN111914912A (zh) * 2020-07-16 2020-11-10 天津大学 一种基于孪生条件对抗网络的跨域多视目标识别方法
CN113052203A (zh) * 2021-02-09 2021-06-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向多种类数据的异常检测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和***
KR20170137350A (ko) * 2016-06-03 2017-12-13 (주)싸이언테크 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법
CN108229434A (zh) * 2018-02-01 2018-06-29 福州大学 一种车辆识别与细致重构的方法
CN108681774A (zh) * 2018-05-11 2018-10-19 电子科技大学 基于生成对抗网络负样本增强的人体目标跟踪方法
CN108898620A (zh) * 2018-06-14 2018-11-27 厦门大学 基于多重孪生神经网络与区域神经网络的目标跟踪方法
CN109325967A (zh) * 2018-09-14 2019-02-12 腾讯科技（深圳）有限公司 目标跟踪方法、装置、介质以及设备
CN109345559A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于样本扩充和深度分类网络的运动目标跟踪方法
US10282852B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Autonomous store tracking system
CN109766830A (zh) * 2019-01-09 2019-05-17 深圳市芯鹏智能信息有限公司 一种基于人工智能图像处理的舰船目标识别***及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324932A (zh) * 2013-06-07 2013-09-25 东软集团股份有限公司 基于视频的车辆检测跟踪方法和***
KR20170137350A (ko) * 2016-06-03 2017-12-13 (주)싸이언테크 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법
CN108229434A (zh) * 2018-02-01 2018-06-29 福州大学 一种车辆识别与细致重构的方法
CN108681774A (zh) * 2018-05-11 2018-10-19 电子科技大学 基于生成对抗网络负样本增强的人体目标跟踪方法
CN108898620A (zh) * 2018-06-14 2018-11-27 厦门大学 基于多重孪生神经网络与区域神经网络的目标跟踪方法
US10282852B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Autonomous store tracking system
CN109345559A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于样本扩充和深度分类网络的运动目标跟踪方法
CN109325967A (zh) * 2018-09-14 2019-02-12 腾讯科技（深圳）有限公司 目标跟踪方法、装置、介质以及设备
CN109766830A (zh) * 2019-01-09 2019-05-17 深圳市芯鹏智能信息有限公司 一种基于人工智能图像处理的舰船目标识别***及方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
HYEONSEOB NAM等: "Learning Multi-domain Convolutional Neural Networks for Visual Tracking", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
QIANGQIANG WU等: "DSNet: Deep and Shallow Feature Learning for Efficient Visual Tracking", 《ARXIV:1811.02208V1》 *
WU QIANGQIANG等: "DSNet: Deep and Shallow Feature Learning for Efficient Visual Tracking", 《14TH ASIAN CONFERENCE ON COMPUTER VISION (ACCV)》 *
XIAO WANG等: "SINT++: Robust Visual Tracking via Adversarial Positive Instance Generation", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
XIMING ZHANG等: "Robust Visual Tracking Based on Adversarial Fusion Networks", 《2018 37TH CHINESE CONTROL CONFERENCE (CCC)》 *
YU-XIONG WANG等: "Low-Shot Learning from Imaginary Data", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
周琦栋: "具有显著姿态变化的长时间人体目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
程旭等: "基于多损失的生成式对抗目标跟踪算法", 《东南大学学报(自然科学版)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274917A (zh) * 2020-01-17 2020-06-12 江南大学 一种基于深度检测的长时目标跟踪方法
CN111460948A (zh) * 2020-03-25 2020-07-28 中国人民解放军陆军炮兵防空兵学院 一种基于代价敏感结构化svm的目标跟踪方法
CN111460948B (zh) * 2020-03-25 2023-10-13 中国人民解放军陆军炮兵防空兵学院 一种基于代价敏感结构化svm的目标跟踪方法
CN111354019A (zh) * 2020-03-31 2020-06-30 中国人民解放军军事科学院军事医学研究院 一种基于神经网络的视觉跟踪失效检测***及其训练方法
CN111354019B (zh) * 2020-03-31 2024-01-26 中国人民解放军军事科学院军事医学研究院 一种基于神经网络的视觉跟踪失效检测***及其训练方法
CN111914912A (zh) * 2020-07-16 2020-11-10 天津大学 一种基于孪生条件对抗网络的跨域多视目标识别方法
CN111914912B (zh) * 2020-07-16 2023-06-13 天津大学 一种基于孪生条件对抗网络的跨域多视目标识别方法
CN113052203A (zh) * 2021-02-09 2021-06-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向多种类数据的异常检测方法及装置

Also Published As

Publication number Publication date
CN110135365B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN110135365A (zh) 基于幻觉对抗网络的鲁棒目标跟踪方法
CN106169188B (zh) 一种基于蒙特卡洛树搜索的对象跟踪方法
CN110163127A (zh) 一种由粗到细的视频目标行为识别方法
CN108520530A (zh) 基于长短时记忆网络的目标跟踪方法
CN109859241A (zh) 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法
CN109875777B (zh) 一种带有取物功能的轮椅的取物控制方法
CN108319928A (zh) 一种基于多目标微粒群算法优化的深度学习模型及应用
CN113128424B (zh) 基于注意力机制的图卷积神经网络动作识别方法
CN103810496A (zh) 基于图像深度信息的3d高斯空间人体行为识别方法
CN107122752A (zh) 一种人体动作比对方法及装置
CN110490109A (zh) 一种基于单目视觉的在线人体康复动作识别方法
CN111191627A (zh) 一种多视点下提高动态手势动作识别准确率的方法
CN109284812A (zh) 一种基于改进dqn的视频游戏模拟方法
CN109800317A (zh) 一种基于图像场景图谱对齐的图像查询回答方法
CN109727272B (zh) 一种基于双分支时空正则化相关滤波器的目标跟踪方法
CN106296709A (zh) 一种基于粒子群及模糊均值聚类的细胞图像分割方法
CN110189362A (zh) 基于多分支自编码对抗网络的高效目标跟踪方法
Chen Research on college physical education model based on virtual crowd simulation and digital media
Sun et al. Locate: End-to-end localization of actions in 3d with transformers
Li et al. Study of face orientation recognition based on neural network
Kan et al. EMG pattern recognition based on particle swarm optimization and recurrent neural network
CN112101461A (zh) 一种基于hrtf-pso-fcm的无人机侦察视觉信息可听化方法
Li et al. 3D-Yoga: a 3D yoga dataset for visual-based hierarchical sports action analysis
CN115294228A (zh) 基于模态引导的多图人体姿态生成方法及装置
Jhang et al. Reptile meta-tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant