CN111899283A - 一种视频目标跟踪方法 - Google Patents

一种视频目标跟踪方法 Download PDF

Info

Publication number
CN111899283A
CN111899283A CN202010753190.XA CN202010753190A CN111899283A CN 111899283 A CN111899283 A CN 111899283A CN 202010753190 A CN202010753190 A CN 202010753190A CN 111899283 A CN111899283 A CN 111899283A
Authority
CN
China
Prior art keywords
target
tracking
convolution
layer
search image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010753190.XA
Other languages
English (en)
Other versions
CN111899283B (zh
Inventor
孟宇
邓在旭
沈伾伾
焦志宝
许焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202010753190.XA priority Critical patent/CN111899283B/zh
Publication of CN111899283A publication Critical patent/CN111899283A/zh
Application granted granted Critical
Publication of CN111899283B publication Critical patent/CN111899283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视频目标跟踪方法，属于计算机视觉领域。所述方法包括：将目标图像和搜索图像同时输入层级相关性孪生网络进行特征提取，得到不同卷积层提取的卷积特征，对同一层卷积层提取的目标图像和搜索图像的卷积特征进行相关性度量，将每层的相关性通过层级拼接产生层级相关性；将层级相关性中跟踪响应最高的搜索图像的位置作为跟踪目标在搜索图像的中心位置；根据跟踪目标在搜索图像的中心位置和独立的尺度因子，确定跟踪目标在搜索图像中的位置。采用本发明，能够精确的对任意目标进行跟踪。

Description

一种视频目标跟踪方法
技术领域
本发明涉及计算机视觉领域，特别涉及是指一种视频目标跟踪方法。
背景技术
近年来，伴随着人们生活水平的提高及汽车制造工业发生的巨大变化，汽车数量急剧上升，但是，可用的道路资源却越来越少，加上人类自身反应能力及感知能力有限，由于错误地判断了外界反馈的信息使交通事故率在近年呈现不断攀升的趋势。据不完全统计，世界范围内由于驾驶汽车出现的交通事故死亡的人数已经超过3000万，比世界大战死亡人数还要多。凭借着互联网技术给汽车制造业带来的革命性变化的机会，无人驾驶车在当今社会呈现了迅猛的发展势头，其主要目的是为了将人从复杂的驾驶操作中分离开来，同时提高车辆在道路上行驶的安全性。
但要想将无人驾驶真正投入实用还存在一定难度，最关键的问题就是无人驾驶车不能像人大脑一样根据已有经验对复杂的道路状况和障碍物情况做出比较准确的判断。视频目标跟踪作为无人驾驶车中的关键一环，对车辆前方的目标进行实时跟踪，可以掌握车辆前方目标的动态，为无人驾驶车在当前环境中做出正确的决策提供依据，从而能够确保在行驶过程中，实现车距保持、换道、车速调节等各种必要基本操作，大大的提高无人驾驶车的性能，减少不必要的意外事故，提高行车安全。
但是，现有的视频目标跟踪方法存在跟踪准确率低等问题。
发明内容
本发明实施例提供了视频目标跟踪方法，能够提高目标跟踪的准确率。所述技术方案如下：
一方面，提供了一种视频目标跟踪方法，该方法应用于电子设备，该方法包括：
将目标图像和搜索图像同时输入层级相关性孪生网络进行特征提取，得到不同卷积层提取的卷积特征，对同一层卷积层提取的目标图像和搜索图像的卷积特征进行相关性度量，将每层的相关性通过层级拼接产生层级相关性，其中，所述目标图像包括：跟踪目标；
将层级相关性中跟踪响应最高的搜索图像的位置作为跟踪目标在搜索图像的中心位置；
根据跟踪目标在搜索图像的中心位置和独立的尺度因子，确定跟踪目标在搜索图像中的位置。
进一步地，所述将目标图像和搜索图像同时输入层级相关性孪生网络进行特征提取，得到不同卷积层提取的卷积特征包括：
将目标图像和搜索图像同时输入到层级相关性孪生网络中进行特征提取的两个分支来进行卷积计算，得到不同卷积层提取的卷积特征；
其中，层级相关性孪生网络中进行特征提取的每个分支结构为：(conv1+ReLU+Overlapping+Max POOL)—(conv2+ReLU+Overlapping+Max POOL)—(conv3+ReLU)—(conv4+ReLU)—(conv5+ReLU)；
其中，conv表示卷积层，ReLU表示非线性激活函数，Overlapping表示局部响应归一化层，Max POOL表示最大池化层。
进一步地，对同一层卷积层提取的目标图像和搜索图像的卷积特征进行相关性度量的公式为：
Figure BDA0002610685780000021
其中，F(z,x)i表示卷积层i提取的目标图像和搜索图像的卷积特征之间的相关性；z和x分别表示目标图像和搜索图像；
Figure BDA0002610685780000022
表示卷积层i输出的卷积特征；β表示偏差。
进一步地，所述将层级相关性中跟踪响应最高的搜索图像的位置作为跟踪目标在搜索图像的中心位置包括：
将层级相关性中的最大相关性输入相关性注意力模块；其中，所述相关性注意力模块的结构为：全连接层1-全连接层2-全连接层3-全连接层4-softmax层；
通过四个全连接层来学习不同层卷积特征之间的相关性，再经过softmax层为每个卷积层分配相应的权重；
根据每层卷积层的相关性及分配得到的相应卷积层的权重，确定每层卷积层的跟踪响应，将跟踪响应最高的搜索图像的位置作为跟踪目标在搜索图像的中心位置。
进一步地，最高的跟踪响应表示为：
Figure BDA0002610685780000031
其中，Y(z,x)表示最高的跟踪响应；z和x分别表示目标图像和搜索图像；
Figure BDA0002610685780000032
表示卷积层i输出的卷积特征；αi表示为卷积层i分配的权重；β表示偏差。
进一步地，在宽度方向上独立的尺度因子表示为：
sw(w+p)＝Aw
在高度方向上独立的尺度因子表示为：
sh(h+p)＝Ah
其中，sw和sh分别表示目标在宽度方向和高度方向上的尺度因子；w和h分别表示目标的宽和高；p表示填充区域；Aw与Ah分别表示宽度方向和高度方向上目标的大小。
进一步地，填充区域p表示为：
p＝(w+h)/2。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述视频目标跟踪方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述视频目标跟踪方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
1)在孪生网络的基础上提出了层级相关性孪生网络来进行目标跟踪，层级相关性孪生网络能够综合利用多个卷积层的特征信息，增加了跟踪目标位置的选择，提高了视频目标跟踪方法的跟踪准确率；
2)通过相关性注意力模块使得视频目标跟踪方法在跟踪不同目标时能够自适应调整，并能为每层的相关性分配不同的权重，进一步加强跟踪目标位置的选择，提高跟踪的准确率；
3)在跟踪目标的宽度、高度方向上使用独立的尺度因子来进行输出框(即：跟踪目标的大小)的调整，能够减小输出框的形变，增加跟踪的准确率；
4)对背景复杂和跟踪目标尺度变化较大的情况更鲁棒。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频目标跟踪方法的流程示意图；
图2为本发明实施例提供的层级相关性孪生网络的结构示意图；
图3为本发明实施例提供的相关性注意力模块的结构示意图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种视频目标跟踪方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器，该方法包括：
S101，将目标图像和搜索图像同时输入层级相关性孪生网络进行特征提取，得到不同卷积层提取的卷积特征，对同一层卷积层提取的目标图像和搜索图像的卷积特征进行相关性度量，将每层的相关性通过层级拼接产生层级相关性，其中，所述目标图像包括：跟踪目标；
S102，将层级相关性中跟踪响应最高的搜索图像的位置作为跟踪目标在搜索图像的中心位置；
S103，根据跟踪目标在搜索图像的中心位置和独立的尺度因子，确定跟踪目标在搜索图像中的位置。
本发明实施例所述的视频目标跟踪方法，在孪生网络的基础上提出了层级相关性孪生网络来进行目标跟踪，层级相关性孪生网络能够综合利用多个卷积层的特征信息，增加了跟踪目标位置的选择，提高了视频目标跟踪方法的跟踪准确率；因为使用了独立的尺度因子，所以能够减少缩放图片引起的对跟踪目标形变的影响，更进一步提高了目标跟踪的准确率。
在前述视频目标跟踪方法的具体实施方式中，进一步地，层级相关性孪生网络中进行特征提取的每个分支结构为：(conv1+ReLU+Overlapping+Max POOL)—(conv2+ReLU+Overlapping+Max POOL)—(conv3+ReLU)—(conv4+ReLU)—(conv5+ReLU)；
其中，conv表示卷积层，ReLU表示非线性激活函数，Overlapping表示局部响应归一化层，Max POOL表示最大池化层。
本实施例中，所述层级相关性孪生网络中进行特征提取的结构包括：五个卷积层(conv)；为了防止梯度消失等问题，在每层卷积层后加入了ReLU非线性激活函数。
本实施例中，在conv1和conv2的ReLU非线性激活函数后都连接有局部响应归一化层，用来加快层级相关性孪生网络的收敛，同时在局部响应归一化层后还连接有一个最大池化层，用来减少特征图的尺寸。
本实施例中，由于目标跟踪任务不同于目标检测任务，不需要输出跟踪目标的类别，故进行特征提取时，无需使用全连接层。
本实施例中，如图2所示，例如，可以将大小为127×127的目标图像和大小为255×255的搜索图像同时输入到层级相关性孪生网络中进行特征提取的两个分支来进行卷积计算，得到不同卷积层提取的卷积特征；然后，对同一层卷积层提取的目标图像和搜索图像的卷积特征进行相关性度量，将每层(共五层)的相关性通过层级拼接产生层级相关性，得到5×17×17的层级相关性，其中，5×17×17中的17×17为每层卷积层输出的特征图的大小，5为卷积层的数目。
本实施例中，层级拼接可以理解为叠加，类似RGB，不同的R、G、B值叠加在一起表现出来的颜色不同。
在前述视频目标跟踪方法的具体实施方式中，进一步地，对同一层卷积层提取的目标图像和搜索图像的卷积特征进行相关性度量的公式为：
Figure BDA0002610685780000051
其中，F(z,x)i表示卷积层i提取的目标图像和搜索图像的卷积特征之间的相关性；z和x分别表示目标图像和搜索图像；
Figure BDA0002610685780000052
表示卷积层i输出的卷积特征；β表示偏差。
本实施例中，相关性度量能够衡量位于不同分支的同一层卷积层提取的目标图像和搜索图像的卷积特征的差异。
在前述视频目标跟踪方法的具体实施方式中，进一步地，所述将层级相关性中跟踪响应最高的搜索图像的位置作为跟踪目标在搜索图像的中心位置包括：
将层级相关性中的最大相关性输入相关性注意力模块；其中，所述相关性注意力模块的结构为：全连接层1-全连接层2-全连接层3-全连接层4-softmax层，如图3所示；
通过四个全连接层来学习不同层卷积特征之间的相关性，再经过softmax层为每个卷积层分配相应的权重；
根据每层卷积层的相关性及分配得到的相应卷积层的权重，确定每层卷积层的跟踪响应，将跟踪响应最高的搜索图像的位置作为跟踪目标在搜索图像的中心位置。
本申请中，通过相关性注意力模块使得视频目标跟踪方法在跟踪不同目标时能够自适应调整，并能为每层的相关性分配不同的权重，进一步加强跟踪目标位置的选择，提高跟踪的准确率。
在前述视频目标跟踪方法的具体实施方式中，进一步地，最高的跟踪响应表示为：
Figure BDA0002610685780000061
其中，Y(z,x)表示最高的跟踪响应；z和x分别表示目标图像和搜索图像；
Figure BDA0002610685780000062
表示卷积层i输出的卷积特征；αi表示为卷积层i分配的权重；β表示偏差。
在前述视频目标跟踪方法的具体实施方式中，进一步地，在宽度方向上独立的尺度因子表示为：
sw(w+p)＝Aw
在高度方向上独立的尺度因子表示为：
sh(h+p)＝Ah
其中，sw和sh分别表示跟踪目标在宽度方向和高度方向上的尺度因子；w和h分别表示跟踪目标在目标图像上的宽度和高度；p表示填充区域，p＝(w+h)/2；Aw与Ah分别表示宽度方向和高度方向上输入的目标图像的宽度和高度。
本实施例中，可以根据跟踪目标在目标图像上的宽度w、高度h及输入的目标图像的宽度Aw和高度Ah，计算出跟踪目标在宽度方向和高度方向上的尺度因子sw和sh，进而根据sw和sh，计算出在搜索图像上跟踪目标的宽度和高度，即为最终的输出框大小，这样，在跟踪目标的宽度、高度方向上使用独立的尺度因子来进行输出框(即：跟踪目标的大小)的调整，能够减小输出框的形变，增加跟踪的准确率。
本实施例中，通过独立的尺度因子，使得在宽度、高度方向上，一个维度的变换不会对另外一个产生影响，跟踪目标基本不会产生形变，能够减少由于缩放目标到统一大小而引起的对跟踪目标形变的影响。
本发明实施例提供的视频目标跟踪方法，在孪生网络的基础上提出了层级相关性孪生网络来进行目标跟踪，并为层级相关性孪生网络设计了一个相关性注意力模块和独立的尺度因子，这样，与基于单纯的孪生网络的视频目标跟踪方法相比，具有更高的跟踪准确度，并且对背景复杂和跟踪目标尺度变化较大的情况更鲁棒。
接着，对本发明实施例提供的视频目标跟踪方法的有效性进行验证，具体的：
使用Python汇编语言和TensorFlow深度学习框架。
使用ILSRVC2015-VID数据集作为训练数据集，随机从一个视频片段中选择两帧图像，裁剪缩放为固定大小后输入网络，两帧图像间隔不超过100帧。
为加快本发明提出的跟踪模型(包括：层级相关性孪生网络和相关性注意力模块)在训练阶段的收敛速度，使用的优化方法为动量梯度下降法，使用指数加权平均后的梯度替代原梯度进行参数更新，设置动量为0.9。
设置迭代批量为8个图像对。
初始学习率为0.01。
衰减系数为0.86。
训练轮数为60，每一轮次包含53200个图像对。
训练结束后，将本发明提出的训练好的跟踪模型在OTB50、OTB100、VOT2015和VOT2016数据集上进行测试，通过测试可知，本实施例提供的跟踪模型比基于单纯的孪生网络(例如，全卷积孪生网络)的视频目标跟踪模型提高6.5％的跟踪准确率，且能在不降低速度的条件下，提高算法的跟踪性能。
图4是本发明实施例提供的一种电子设备600的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述视频目标跟踪方法。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述视频目标跟踪方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种视频目标跟踪方法，其特征在于，包括：
将目标图像和搜索图像同时输入层级相关性孪生网络进行特征提取，得到不同卷积层提取的卷积特征，对同一层卷积层提取的目标图像和搜索图像的卷积特征进行相关性度量，将每层的相关性通过层级拼接产生层级相关性，其中，所述目标图像包括：跟踪目标；
将层级相关性中跟踪响应最高的搜索图像的位置作为跟踪目标在搜索图像的中心位置；
根据跟踪目标在搜索图像的中心位置和独立的尺度因子，确定跟踪目标在搜索图像中的位置。
2.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述将目标图像和搜索图像同时输入层级相关性孪生网络进行特征提取，得到不同卷积层提取的卷积特征包括：
将目标图像和搜索图像同时输入到层级相关性孪生网络中进行特征提取的两个分支来进行卷积计算，得到不同卷积层提取的卷积特征；
其中，层级相关性孪生网络中进行特征提取的每个分支结构为：(conv1+ReLU+Overlapping+Max POOL)—(conv2+ReLU+Overlapping+Max POOL)—(conv3+ReLU)—(conv4+ReLU)—(conv5+ReLU)；
其中，conv表示卷积层，ReLU表示非线性激活函数，Overlapping表示局部响应归一化层，Max POOL表示最大池化层。
3.根据权利要求1所述的视频目标跟踪方法，其特征在于，对同一层卷积层提取的目标图像和搜索图像的卷积特征进行相关性度量的公式为：
Figure FDA0002610685770000011
其中，F(z,x)i表示卷积层i提取的目标图像和搜索图像的卷积特征之间的相关性；z和x分别表示目标图像和搜索图像；
Figure FDA0002610685770000012
表示卷积层i输出的卷积特征；β表示偏差。
4.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述将层级相关性中跟踪响应最高的搜索图像的位置作为跟踪目标在搜索图像的中心位置包括：
将层级相关性中的最大相关性输入相关性注意力模块；其中，所述相关性注意力模块的结构为：全连接层1-全连接层2-全连接层3-全连接层4-softmax层；
通过四个全连接层来学习不同层卷积特征之间的相关性，再经过softmax层为每个卷积层分配相应的权重；
根据每层卷积层的相关性及分配得到的相应卷积层的权重，确定每层卷积层的跟踪响应，将跟踪响应最高的搜索图像的位置作为跟踪目标在搜索图像的中心位置。
5.根据权利要求4所述的视频目标跟踪方法，其特征在于，最高的跟踪响应表示为：
Figure FDA0002610685770000021
其中，Y(z,x)表示最高的跟踪响应；z和x分别表示目标图像和搜索图像；
Figure FDA0002610685770000022
表示卷积层i输出的卷积特征；αi表示为卷积层i分配的权重；β表示偏差。
6.根据权利要求1所述的视频目标跟踪方法，其特征在于，在宽度方向上独立的尺度因子表示为：
sw(w+p)＝Aw
在高度方向上独立的尺度因子表示为：
sh(h+p)＝Ah
其中，sw和sh分别表示跟踪目标在宽度方向和高度方向上的尺度因子；w和h分别表示跟踪目标在目标图像上的宽度和高度；p表示填充区域，p＝(w+h)/2；Aw与Ah分别表示宽度方向和高度方向上输入的目标图像的宽度和高度。
7.根据权利要求6所述的视频目标跟踪方法，其特征在于，填充区域p表示为：
p＝(w+h)/2。
CN202010753190.XA 2020-07-30 2020-07-30 一种视频目标跟踪方法 Active CN111899283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010753190.XA CN111899283B (zh) 2020-07-30 2020-07-30 一种视频目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010753190.XA CN111899283B (zh) 2020-07-30 2020-07-30 一种视频目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111899283A true CN111899283A (zh) 2020-11-06
CN111899283B CN111899283B (zh) 2023-10-17

Family

ID=73182806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010753190.XA Active CN111899283B (zh) 2020-07-30 2020-07-30 一种视频目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111899283B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116360492A (zh) * 2023-04-03 2023-06-30 北京科技大学 一种扑翼飞行机器人目标跟踪方法及***
CN117809025A (zh) * 2024-03-01 2024-04-02 深圳魔视智能科技有限公司 基于注意力网络的目标跟踪方法、装置、设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156886A (ja) * 2016-02-29 2017-09-07 Kddi株式会社 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets
US20180129934A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Enhanced siamese trackers
US20180129906A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Deep cross-correlation learning for object tracking
US20190147602A1 (en) * 2017-11-13 2019-05-16 Qualcomm Technologies, Inc. Hybrid and self-aware long-term object tracking
CN109978921A (zh) * 2019-04-01 2019-07-05 南京信息工程大学 一种基于多层注意力机制的实时视频目标跟踪算法
CN110021033A (zh) * 2019-02-22 2019-07-16 广西师范大学 一种基于金字塔孪生网络的目标跟踪方法
CN110286683A (zh) * 2019-07-15 2019-09-27 北京科技大学 一种履带式移动机器人的自主行驶路径跟踪控制方法
CN110490906A (zh) * 2019-08-20 2019-11-22 南京邮电大学 一种基于孪生卷积网络和长短期记忆网络的实时视觉目标跟踪方法
CN110675429A (zh) * 2019-09-24 2020-01-10 湖南人文科技学院 基于孪生网络和相关滤波器的长短程互补型目标跟踪方法
US20200065976A1 (en) * 2018-08-23 2020-02-27 Seoul National University R&Db Foundation Method and system for real-time target tracking based on deep learning
US20200150637A1 (en) * 2018-11-13 2020-05-14 Rockwell Automation Technologies, Inc. Industrial safety monitoring configuration using a digital twin
CN111161317A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多重网络的单目标跟踪方法
CN111192292A (zh) * 2019-12-27 2020-05-22 深圳大学 基于注意力机制与孪生网络的目标跟踪方法及相关设备
CN111260688A (zh) * 2020-01-13 2020-06-09 深圳大学 一种孪生双路目标跟踪方法
CN111291679A (zh) * 2020-02-06 2020-06-16 厦门大学 一种基于孪生网络的目标特定响应注意力目标跟踪方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156886A (ja) * 2016-02-29 2017-09-07 Kddi株式会社 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法
US20180114056A1 (en) * 2016-10-25 2018-04-26 Vmaxx, Inc. Vision Based Target Tracking that Distinguishes Facial Feature Targets
US20180129934A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Enhanced siamese trackers
US20180129906A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Deep cross-correlation learning for object tracking
US20190147602A1 (en) * 2017-11-13 2019-05-16 Qualcomm Technologies, Inc. Hybrid and self-aware long-term object tracking
US20200065976A1 (en) * 2018-08-23 2020-02-27 Seoul National University R&Db Foundation Method and system for real-time target tracking based on deep learning
US20200150637A1 (en) * 2018-11-13 2020-05-14 Rockwell Automation Technologies, Inc. Industrial safety monitoring configuration using a digital twin
CN110021033A (zh) * 2019-02-22 2019-07-16 广西师范大学 一种基于金字塔孪生网络的目标跟踪方法
CN109978921A (zh) * 2019-04-01 2019-07-05 南京信息工程大学 一种基于多层注意力机制的实时视频目标跟踪算法
CN110286683A (zh) * 2019-07-15 2019-09-27 北京科技大学 一种履带式移动机器人的自主行驶路径跟踪控制方法
CN110490906A (zh) * 2019-08-20 2019-11-22 南京邮电大学 一种基于孪生卷积网络和长短期记忆网络的实时视觉目标跟踪方法
CN110675429A (zh) * 2019-09-24 2020-01-10 湖南人文科技学院 基于孪生网络和相关滤波器的长短程互补型目标跟踪方法
CN111192292A (zh) * 2019-12-27 2020-05-22 深圳大学 基于注意力机制与孪生网络的目标跟踪方法及相关设备
CN111161317A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多重网络的单目标跟踪方法
CN111260688A (zh) * 2020-01-13 2020-06-09 深圳大学 一种孪生双路目标跟踪方法
CN111291679A (zh) * 2020-02-06 2020-06-16 厦门大学 一种基于孪生网络的目标特定响应注意力目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BONAN CUAN 等: "Deep Siamese Network for Multiple Object Tracking", 《2018 IEEE 20TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING(MMSP)》, pages 1 - 6 *
YU MENG 等: "Hierarchical correlation siamese network for real-time object tracking", 《APPLIED INTELLIGENCE》, vol. 51, no. 6, pages 3202 - 3211, XP037457778, DOI: 10.1007/s10489-020-01992-x *
ZHAO, K 等: "Feature Deep Continuous Aggregation for 3D Vehicle Detection", 《APPLIED SCIENCES-BASEL》, vol. 9, no. 24, pages 1 - 17 *
王旭初 等: "融合多尺度局部特征与深度特征的双目立体匹配", 《光学学报》, vol. 40, no. 2, pages 119 - 131 *
白国星 等: "基于可变预测时域及速度的车辆路径跟踪控制", 《中国机械工程》, vol. 31, no. 11, pages 1277 - 1284 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116360492A (zh) * 2023-04-03 2023-06-30 北京科技大学 一种扑翼飞行机器人目标跟踪方法及***
CN116360492B (zh) * 2023-04-03 2024-01-30 北京科技大学 一种扑翼飞行机器人目标跟踪方法及***
CN117809025A (zh) * 2024-03-01 2024-04-02 深圳魔视智能科技有限公司 基于注意力网络的目标跟踪方法、装置、设备及存储介质
CN117809025B (zh) * 2024-03-01 2024-07-02 深圳魔视智能科技有限公司 基于注意力网络的目标跟踪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111899283B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
EP3951713A1 (en) Method and apparatus for training image semantic segmentation network, device, and storage medium
US11783594B2 (en) Method of segmenting pedestrians in roadside image by using convolutional network fusing features at different scales
CN113362329B (zh) 病灶检测模型的训练方法及识别图像中的病灶的方法
CN110622177B (zh) 实例分割
CN110458165B (zh) 一种引入注意力机制的自然场景文本检测方法
CN111126258A (zh) 图像识别方法及相关装置
CN111899283A (zh) 一种视频目标跟踪方法
CN115512251A (zh) 基于双分支渐进式特征增强的无人机低照度目标跟踪方法
CN111199175A (zh) 一种目标检测网络模型的训练方法及装置
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN113989287A (zh) 城市道路遥感图像分割方法、装置、电子设备和存储介质
CN115661767A (zh) 一种基于卷积神经网络的图像前方车辆目标识别方法
CN111179272B (zh) 一种面向道路场景的快速语义分割方法
CN114529890A (zh) 状态检测方法、装置、电子设备及存储介质
CN113902753A (zh) 基于双通道和自注意力机制的图像语义分割方法及***
CN114581652A (zh) 目标对象的检测方法、装置、电子设备以及存储介质
CN112001453A (zh) 一种视频事件检测算法的准确率计算方法及装置
CN115689946A (zh) 图像修复方法、电子设备及计算机程序产品
US20230196749A1 (en) Training Neural Networks for Object Detection
CN115743168A (zh) 用于换道决策的模型训练方法、目标车道确定方法及装置
CN115311550A (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN112016599A (zh) 用于图像检索的神经网络训练方法、装置及电子设备
CN113095328A (zh) 一种基尼指数引导的基于自训练的语义分割方法
CN115410012B (zh) 一种夜间机场净空域红外小目标的检测方法、***及应用
US11938943B1 (en) Slice-based dynamic neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant