CN110706253B - 基于表观特征和深度特征的目标跟踪方法、***、装置 - Google Patents
基于表观特征和深度特征的目标跟踪方法、***、装置 Download PDFInfo
- Publication number
- CN110706253B CN110706253B CN201910884524.4A CN201910884524A CN110706253B CN 110706253 B CN110706253 B CN 110706253B CN 201910884524 A CN201910884524 A CN 201910884524A CN 110706253 B CN110706253 B CN 110706253B
- Authority
- CN
- China
- Prior art keywords
- target
- depth
- region
- feature
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 62
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 230000004044 response Effects 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉跟踪技术领域，具体涉及一种基于表观特征和深度特征的目标跟踪方法、***、装置，旨在解决现有目标跟踪方法忽略目标场景的深度信息导致跟踪精度低的问题。本***方法包括根据t‑1帧的目标位置和预设的目标尺寸，获取待追踪目标在第t帧图像的目标区域和搜索区域；通过表观特征、深度特征提取网络分别提取目标区域、搜索区域的表观特征、深度特征；基于预设权重，分别对目标区域、搜索区域的表观特征、深度特征进行加权平均，得到各自的融合特征；根据目标区域和搜索区域的融合特征，通过相关滤波器得到目标的响应图；将响应图的峰值对应的位置作为第t帧的目标位置。本发明提取目标场景的深度信息，提高了目标跟踪的精度。
Description
技术领域
本发明属于计算机视觉跟踪技术领域，具体涉及一种基于表观特征和深度特征的目标跟踪方法、***、装置。
背景技术
目标跟踪是计算机视觉领域中最基本的问题之一，其任务是估计视频序列中的对象或图像区域的运动轨迹。目标跟踪在实际场景中具有非常广泛的应用，通常充当较大计算机视觉***中的一个组件。例如，自动驾驶和基于视觉的主动安全***都依赖于跟踪车辆、骑自行车的人和行人的位置。在机器人***中，跟踪感兴趣的目标是视觉感知中非常重要的一个方面，进而从相机传感器提取高级信息以用于决策和导航。除了机器人相关的应用，目标跟踪还经常被用于自动视频分析，在自动运动分析中，首先就是通过检测和跟踪比赛中涉及的运动员和物体来提取信息。其他的应用还包括增强现实技术和动态结构技术，它们的任务通常是跟踪不同的局部图像区域。从应用的多样性可以看出，目标跟踪问题本身是非常多样化的。
近几十年来，目标跟踪领域虽然取得了突破性的进展，产生了众多经典的研究成果。但是，目标跟踪领域依旧存在着很多理论和技术问题有待解决，特别是跟踪过程中背景干扰、光照变化、尺度变化、遮挡等在开放环境中遇到的复杂问题。所以如何能够在复杂场景下自适应、实时和鲁棒的跟踪目标一直是广大研究者需要解决的问题，研究价值和研究空间依然很大。
对于单目标跟踪，特征的好坏直接决定跟踪性能的好坏。早期基于手工特征的判别式模型只能够提取到目标对象的一些浅层特征，并不能够很好的描述目标对象的本质，而近期出现的卷积神经网络，通过分层结构，可以学习到目标对象不同层次的特征表达，但是却忽略了目标场景全局的深度信息。深度信息可以作为一种辅助特征为目标提供全局信息，解决目标被遮挡等问题，从而提高模型在复杂场景中的鲁棒性。因此，本发明提出了一种基于表观特征和深度特征的目标跟踪方法。
发明内容
为了解决现有技术中的上述问题，即为了解决现有目标跟踪方法忽略目标场景的深度信息导致跟踪精度低的问题，本发明第一方面，提出了一种基于表观特征和深度特征的目标跟踪的方法，该方法包括：
步骤S10，根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域；并基于所述t-1帧的目标位置的中心点获取N倍于所述目标区域大小的区域，将其作为搜索区域；
步骤S20，通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征；
步骤S30，基于预设权重，分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均，得到目标区域的融合特征、搜索区域的融合特征；
步骤S40，根据所述目标区域的融合特征、所述搜索区域的融合特征，通过相关滤波器得到所述待追踪目标的响应图；将所述响应图的峰值对应的位置作为第t帧的目标位置；
其中，
所述表观特征提取网络基于卷积神经网络构建，用于根据输入的图像获取其对应的表观特征；
所述深度特征提取网络基于ResNet网络构建，用于根据输入的图像获取其对应的深度特征。
在一些优选的实施方式中，步骤S10中“根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域”，其方法为：若t等于1，根据预设的目标位置和预设的目标尺寸，获取目标待追踪目标的目标区域；若t大于1，则根据t-1帧的目标位置和预设的目标尺寸，获取待追踪目标的目标区域。
在一些优选的实施方式中，所述表观特征提取网络其结构为：两个卷积层、一个相关滤波层，每个卷积层后连接一个最大池化层和ReLU激活函数；所述网络在训练过程中采用反向传播算法进行训练。
在一些优选的实施方式中，所述深度特征提取网络其结构为：5个卷积层、5个反卷积层；所述深度特征提取网络在训练过程中通过双目图像互相重建进行训练。
在一些优选的实施方式中，所述深度特征提取网络在提取深度特征的过程中，若t等于1，其提取方法为：
基于深度特征提取网络获取第一帧图像的深度特征；
基于所述第一帧图像的深度特征、所述预设的目标位置，获取所述目标区域、所述搜索区域的深度特征。
在一些优选的实施方式中，所述相关滤波器其在对所述目标区域进行滤波时，通过尺度变换方法得到不同的尺度，根据不同的尺度对所述目标区域进行放大或者缩小，然后进行滤波。所述尺度变换方法为：
其中，a为尺度系数，s为尺度池，S为预设的尺度数，as为尺度。
在一些优选的实施方式中，在步骤S40之后还包括相关滤波器状态值的更新，其方法为：
获取相关滤波器在t-1帧的状态值；
基于所述状态值、所述第t帧的目标位置、预设的学习率，更新相关滤波器t帧的状态值。
本发明的第二方面，提出了一种基于表观特征和深度特征的目标跟踪的***，该***包括获取区域模块、提取特征模块、特征融合模块、输出位置模块；
所述获取区域模块，配置为根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域；并基于所述t-1帧的目标位置的中心点获取N倍于所述目标区域大小的区域，将其作为搜索区域；
所述提取特征模块，配置为通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征；
所述特征融合模块，配置为基于预设权重，分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均，得到目标区域的融合特征、搜索区域的融合特征；
所述输出位置模块，配置为根据所述目标区域的融合特征、所述搜索区域的融合特征，通过相关滤波器得到所述待追踪目标的响应图；将所述响应图的峰值对应的位置作为第t帧的目标位置；
其中，
所述表观特征提取网络基于卷积神经网络构建，用于根据输入的图像获取其对应的表观特征；
所述深度特征提取网络基于ResNet网络构建，用于根据输入的图像获取其对应的深度特征。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于表观特征和深度特征的目标跟踪方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于表观特征和深度特征的目标跟踪方法。
本发明的有益效果：
本发明提取目标场景的深度信息，提高了目标跟踪的精度。本发明通过将相关滤波融入到卷积神经网络中，使得学习到的卷积特征能够与相关滤波紧密耦合，从而更适应目标跟踪任务。由于相关滤波是在频域推导的，保持了较高的效率，因此能够保证算法在实时性跟踪的前提下大幅提升跟踪效果。
并且，本发明通过将深度特征与表观特征相融合，为单一特征不能够很好的表达目标的属性提供了一种补充特征，由于深度特征是从目标场景整个帧中提取到的，因此具有全局信息，包含了表观特征没有的深度信息，解决了目标被部分遮挡与形变等问题，使跟踪算法具有更好的鲁棒性。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于表观特征和深度特征的目标跟踪方法的流程示意图；
图2是本发明一种实施例的基于表观特征和深度特征的目标跟踪方法的框架示意图；
图3是本发明一种实施例的基于表观特征和深度特征的目标跟踪方法的训练过程的框架示意图；
图4是本发明一种实施例的基于表观特征和深度特征的目标跟踪方法的实际应用的示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的基于表观特征和深度特征的目标跟踪方法，包括以下步骤：
步骤S10，根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域；并基于所述t-1帧的目标位置的中心点获取N倍于所述目标区域大小的区域，将其作为搜索区域；
步骤S20，通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征；
步骤S30，基于预设权重，分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均，得到目标区域的融合特征、搜索区域的融合特征；
步骤S40，根据所述目标区域的融合特征、所述搜索区域的融合特征，通过相关滤波器得到所述待追踪目标的响应图；将所述响应图的峰值对应的位置作为第t帧的目标位置；
其中，
所述表观特征提取网络基于卷积神经网络构建，用于根据输入的图像获取其对应的表观特征；
所述深度特征提取网络基于ResNet网络构建，用于根据输入的图像获取其对应的深度特征。
为了更清晰地对本发明基于表观特征和深度特征的目标跟踪方法进行说明，下面结合附图1对本发明方法一种实施例中各步骤进行展开详述。
在本发明中，采用一台具有2.8G赫兹中央处理器和1G字节内存的计算机，网络的训练过程在Pytorch框架下实现，整个网络的训练和测试过程均采用多个NVIDIA TITAN XPGPU并行处理，并用python语言编制了整个目标跟踪技术的工作程序，实现了本发明的方法。
下文优选实施例中，先对表观特征提取网络、深度特征提取网络、相关滤波器进行详述，然后再对采用表观特征提取网络、深度特征提取网络、相关滤波器获取待追踪目标的位置的基于表观特征和深度特征的目标跟踪方法进行详述。
1、表观特征提取网络、深度特征提取网络、相关滤波器的训练
步骤A1，构建训练数据集
在本发明中，训练集的数据来源于OTB100数据集，其中包含100个逐帧标注的视频、11种目标表观变化属性、2种评价指标。11种属性分别为：光照变化、尺度变化、遮挡、非刚性形变、运动模糊、快速运动、水平旋转、垂直旋转、移出视野、背景杂乱和低分辨率。
两种评价指标分别为中心点位置误差(Center location error,CLE)和矩形框重叠率(Center location error,CLE)。针对于第一种基于中心点位置误差的评价指标，也就是精度图，定义为被跟踪目标的中心位置与人工标记矩形框位置中心点之间的平均欧几里德距离，数学表达式如公式(1)所示：
其中，(xg,yg)表示人工标记的矩形框的位置(ground truth)，(xp,yp)是当前帧中预测的目标位置。
如果δgp小于给定的阈值，那么这一帧的结果就被认定为是成功的。在精度图中，δgp的阈值设定为20个像素。精度图并不能给出估计的目标尺寸和形状的对比，因为中心位置误差量化了像素的差异。因此，我们经常使用鲁棒性更强的成功率图来评价算法。针对于第二种基于重叠率的评价标准，也就是成功率图：假设预测的矩形框是rt，人工标注的矩形框是ra，那么重叠率(Overlap Score，OS)的计算公式如公式(2)所示：
S＝|rt∩ra|/|rt∪ra| (2)
其中，∪和∩分别表示两个区域的并集和交集，|·|表示区域内像素的个数。OS用于确定跟踪算法是否已成功跟踪当前视频帧中的目标。具有大于阈值的OS分数的帧被称为成功跟踪目标的帧。在成功率图中，阈值在0-1之间变化，因此产生的结果图为变化曲线图。我们使用精度图和成功率图的曲线下面积来表示算法的性能。
步骤A2，离线训练表观特征提取网络
首先准备训练数据，ImageNet中的VID数据集，包含3000多段视频。其次，设计网络结构，由于目标跟踪的实时性也是评价算法非常重要的指标，因此本发明设计了一个轻量级网络，我们使用Siamese Network作为网络的基本结构，一共包含两个卷积层，输入数据的大小是125*125，在每一层卷积后都连接了最大值池化层和Relu激活函数。在此基础上，添加了相关滤波层，并且推导了网络的反向传播。整个过程可以描述为：给出搜索区域的特征
获取期望的响应
在真实位置取得最高响应。其目标函数求解如公式(3)(4)(5)所示：
其中，θ为网络参数，y为标准高斯响应，γ为正则化系数，L(θ)为目标损失函数，D为视频总帧数，l为滤波器通道，
为学习到的相关滤波器，⊙为矩阵点乘，
为提取到的搜索区域特征，z为搜索区域，
为相关滤波器，
为傅里叶逆变换，
为标准高斯响应的离散傅里叶变换的复共轭数，k为当前滤波器，
为目标区域的特征，
为目标区域特征的复共轭，λ为正则化系数，·*表示取复共轭数。
目标函数应该包含显示的正则化，否则，目标将得到非收敛条件。在常规参数优化中使用权重衰减方法来隐含这种正则化。此外，为了限制特征映射值的大小并增加训练过程的稳定性，在卷积层的末尾添加一个局部响应归一化层(Local ResponseNormalization，LRN)。并基于深度学习框架Pytorch对检测分支和学习分支进行反向传播，当误差向后传播到实值特征映射时，其余的反向传播就可以作为传统的CNN优化进行传导。由于相关滤波器层中反向传播的所有操作仍然是在傅里叶频域中的Hadamard运算，可以保持(相关滤波器)DCF的高效性并将离线训练应用于大规模数据集。在完成离线训练之后，将获得一个特定的特征提取器，用于在线判性别相关滤波跟踪算法。
步骤A3，训练深度特征网络
在测试时给定单个图像I，目标是学习可以预测每个像素场景深度的函数f，如公式(6)所示：
其中，
为深度信息。
大多数现有的基于学习的方法将其视为有监督学习问题。其中它们一般都具有彩色输入图像及其在训练时的相应目标深度值。而作为一种替代方案，可以将深度估计作为训练期间的图像重建问题。具体来说，我们可以输入两幅图片，分别是用标准双目相机在同一时间获取的左、右彩色图像Il和Ir，l、r代表左、右。尝试去找到一种对应关系dr，将其应用于左图像时，能够重建出右图像，而不是试图直接预测深度信息。将重建的图像Il(dr)称为
同样，也可以使用给定的右图像估计出左图像，
假设图像被校正，d就对应于图像视差，也就是模型将学会预测的每像素的标量值。这样将只需要单个左图像作为卷积层的输入，而右图像仅在训练期间使用。使用这种新颖的左右一致性损失实现两个视差图之间的一致性可以得到更准确的结果。而深度特征网络的结构由编码器和解码器的ResNet网络所组成，一共包含5个卷积层与5个反卷积层。解码器使用来自编码器激活块的跳跃式传递，使其能够解析更高分辨率的细节。关于训练的损失函数，在每个尺度f定义一个损失函数Cf，总的损失是每个尺度上的算术和，
损失模块又是三个主要的损失函数的组合，如公式(7)所示：
其中，Cap是表观匹配损失函数，表示重建的图像与相应的训练输入相似程度，Cds是差异平滑度损失函数，Clr是左右差异一致性损失函数，
代表左、右图像的表观匹配损失函数，
表示左、右图像的差异平滑度损失函数，
表示左、右图像的左右差异一致性损失函数，αap、αds、αlr为三个损失函数的权重系数。每个主要的损失函数都包含左图像变体和右图像变体，但仅左图像输入到卷积层。
步骤A4，训练相关滤波器
如图3所示，基于步骤A1构建的训练集，通过步骤A2训练好的表观特征提取网络和步骤A3训练好的深度特征提取网络得到数据集对应的表观特征、深度特征。
为了增加跟踪性能的鲁棒性，防止目标受到背景的干扰，在图3中，目标模板即目标区域，根据t-1帧的目标位置和预设的目标尺寸获取，选取目标区域周围2倍的范围作为搜索区域，输入到表观特征提取网络中。这样做的目的是为了增加更多的背景信息，防止目标漂移，增加了模型的判别性。同样，在深度特征提取网络中分别提取目标模板和搜索区域的深度特征。为了获取更多的深度特征，在视频的第一帧，首先将整个图像输入到深度特征提取网络中，提取到整个图像的深度信息，然后在目标区域处裁剪处深度信息，即我们需要的深度特征。
由于提取到的表观特征和深度特征的维数不匹配，表观特征是32维，而深度特征是1维，因此，为了避免特征融合过程中由于维数相差较大而导致深度特征对算法的影响被削弱，我们引入了一个权重系数α对特征进行融合，融合过程如公式(8)所示：
其中，
为第k帧提取的表观特征，
为第k帧提取的深度特征，ψ(x)k表示第k帧融合特征。
将融合特征经过循环移位，产生出正负样本，通过公式
训练出相关滤波器模板。其中，f(xi)为估计出的目标响应，yi为标准高斯响应，W为相关滤波器。
为了训练相关滤波器，关于预测响应图和理想响应图之间差异的优化公式如公式(9)所示：
其中，
为目标区域融合之后的特征，
为搜索区域融合之后的特征，
为目标区域融合之后的特征的复共轭。
在新的一帧到来时，为了检测目标，首先从上一帧估计的目标区域中提取表观特征和深度特征，然后将它们组合在一起获得统一的特征。在相关滤波器层的帮助下，模板在搜索区域上的响应图可以通过公式(10)进行计算：
其中，
为相关滤波器的复共轭。
接着通过在响应图上的最大值来获得当前视频帧中目标的位置。为了确保所提出的模型的鲁棒性，滤波器h以预定义的学习率η来进行更新，如公式(11)所示：
其中，
为第k+1帧的相关滤波器，
为第k帧的相关滤波器。
至于目标的尺度变化，我们使用具有比例因子的金字塔图像块进行尺度滤波
其中，a为尺度系数，s为尺度池，S为要取的尺度数。比如我们算法中采用3个尺度，就是S＝3，我们就可以得出尺度池s＝(-1,0,1)，然后a的s次方就是我们要取的尺度，即(0.97,1,1.03)，然后把这个尺度乘到目标区域上，0.97意思就是范围缩小0.97倍，目标就会变小，1.03就是放大，然后进行滤波，响应值最大的就是我们要的尺度。
得出的目标响应图对应着该点是目标的概率值，因此，选择响应图中最大的点为估计的目标位置，当得出新一帧中目标所在位置时，再更新运动模型。在线跟踪期间，只是随着时间的推移而更新滤波器。可以用增量模式表示目标的优化问题，如公式(12)所示：
其中，ε为输出损失，p为第p个样本，t为当前的样本，βt为当前样本的影响因子，
为第p个样本的相关滤波器，
为第t个样本的特征。
参数βt＞0是样本xt的影响因子，与此同时，方程中的闭式解也可以延伸到时间序列，如公式(13)所示：
其中，
为第p个样本的相关滤波器，
为样本xt的特征，
为第k个滤波器得到的样本xt的特征，
为第k个滤波器得到的样本xt的特征的复共轭。
这种增量更新的优点是我们不需要保存大量的样本集，因此只需要占用很小的空间。
2、基于表观特征和深度特征的目标跟踪方法
本发明实施例的一种基于表观特征和深度特征的目标跟踪方法，包括以下步骤：
步骤S10，根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域；并基于所述t-1帧的目标位置的中心点获取N倍于所述目标区域大小的区域，将其作为搜索区域。
在本实施例中，在视频的第一帧会用矩形框将目标位置和目标尺寸给定。在其他帧的情况下，会根据前一帧的目标位置和预先设定的目标尺寸获取目标在当前帧图像中的位置区域，将其作为目标区域，并以前一帧的目标区域为中心获取2倍于目标区域大小的区域，作为搜索区域。这样可以增加跟踪性能的鲁棒性，防止目标受到背景的干扰。
本实施例中的目标尺寸根据实际的应用情况而设定。
步骤S20，通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征。
在本实施例中，将步骤S10中获取的目标区域和搜索区域分别输入表观特征提取网络、深度特征提取网络，得到各自对应的表观特征和深度特征。
提取视频第一帧图像的深度特征时，首先将整个图像输入到深度特征提取网络中，提取到整个图像的深度信息，然后在目标位置处裁剪处深度信息，即我们需要的深度特征。
其中，表观特征一共包含32维，大小是125*125*32，深度特征的大小限制到125*125*1。
步骤S30，基于预设权重，分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均，得到目标区域的融合特征、搜索区域的融合特征。
在本实施例中，由于提取到的表观特征和深度特征的维数不匹配，表观特征是32维，而深度特征是1维，因此，为了避免特征融合过程中由于维数相差较大而导致深度特征对算法的影响被削弱，我们引入了一个权重系数对特征进行融合，分别得到目标区域和搜索区域的融合特征。
步骤S40，根据所述目标区域的融合特征、所述搜索区域的融合特征，通过相关滤波器得到所述待追踪目标的响应图；将所述响应图的峰值对应的位置作为第t帧的目标位置。
在本实施例中，基于目标区域和搜索区域的融合特征，经过训练好的相关滤波器，得到响应图，通过在响应图上的最大值来获得当前视频帧中待追踪的目标的位置。
在获取到当前帧的目标位置，基于上一帧滤波器的状态值和预设的学习率，更新相关滤波器。
步骤S10-步骤S40，可以参考图4，其中基于目标区域图像(Current image)和搜索区域图像(Search area image)分别通过表观特征提取网络(ANET)和深度特征提取网络(DNET)，得到表观特征和深度特征，基于预设的权重α进行加权平均，得到Current image和Search area image各自的融合特征，基于相关滤波器(DCF)得到响应图(Response map)，通过在响应图上的最大值来获得目标的位置。
本发明第二实施例的一种基于表观特征和深度特征的目标跟踪***，如图2所示，包括：获取区域模块100、提取特征模块200、特征融合模块300、输出位置模块400；
获取区域模块100，配置为根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域；并基于所述t-1帧的目标位置的中心点获取N倍于所述目标区域大小的区域，将其作为搜索区域；
提取特征模块200，配置为通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征；
特征融合模块300，配置为基于预设权重，分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均，得到目标区域的融合特征、搜索区域的融合特征；
输出位置模块400，配置为根据所述目标区域的融合特征、所述搜索区域的融合特征，通过相关滤波器得到所述待追踪目标的响应图；将所述响应图的峰值对应的位置作为第t帧的目标位置；
其中，
所述表观特征提取网络基于卷积神经网络构建，用于根据输入的图像获取其对应的表观特征；
所述深度特征提取网络基于ResNet网络构建，用于根据输入的图像获取其对应的深度特征。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的***的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于表观特征和深度特征的目标跟踪***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于表观特征和深度特征的目标跟踪方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于表观特征和深度特征的目标跟踪方法。
所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于表观特征和深度特征的目标跟踪方法，其特征在于，该方法包括：
步骤S10，根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域；并基于所述t-1帧的目标位置的中心点获取N倍于所述目标区域大小的区域，将其作为搜索区域；
步骤S20，通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征；
步骤S30，基于预设权重，分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均，得到目标区域的融合特征、搜索区域的融合特征；
步骤S40，根据所述目标区域的融合特征、所述搜索区域的融合特征，通过相关滤波器得到所述待追踪目标的响应图；将所述响应图的峰值对应的位置作为第t帧的目标位置；
其中，
所述表观特征提取网络基于卷积神经网络构建，用于根据输入的图像获取其对应的表观特征；
所述深度特征提取网络基于ResNet网络构建，用于根据输入的图像获取其对应的深度特征。
2.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法，其特征在于，步骤S10中“根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域”，其方法为：若t等于1，根据预设的目标位置和预设的目标尺寸，获取目标待追踪目标的目标区域；若t大于1，则根据t-1帧的目标位置和预设的目标尺寸，获取待追踪目标的目标区域。
3.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法，其特征在于，所述表观特征提取网络其结构为：两个卷积层、一个相关滤波层，每个卷积层后连接一个最大池化层和ReLU激活函数；所述网络在训练过程中采用反向传播算法进行训练。
4.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法，其特征在于，所述深度特征提取网络其结构为：5个卷积层、5个反卷积层；所述深度特征提取网络在训练过程中通过双目图像互相重建进行训练。
5.根据权利要求2所述的基于表观特征和深度特征的目标跟踪方法，其特征在于，所述深度特征提取网络在提取深度特征的过程中，若t等于1，其提取方法为：
基于深度特征提取网络获取第一帧图像的深度特征；
基于所述第一帧图像的深度特征、所述预设的目标位置，获取所述目标区域、所述搜索区域的深度特征。
6.根据权利要求1所述的基于表观特征和深度特征的目标跟踪方法，其特征在于，所述相关滤波器其在对所述目标区域进行滤波时，通过尺度变换方法得到不同的尺度，根据不同的尺度对所述目标区域进行放大或者缩小，然后进行滤波，所述尺度变换方法为：
其中，a为尺度系数，s为尺度池，S为预设的尺度数，as为尺度。
7.根据权利要求1-6任一项所述的基于表观特征和深度特征的目标跟踪方法，其特征在于，在步骤S40之后还包括相关滤波器状态值的更新，其方法为：
获取相关滤波器在t-1帧的状态值；
基于所述状态值、所述第t帧的目标位置、预设的学习率，更新相关滤波器t帧的状态值。
8.一种基于表观特征和深度特征的目标跟踪***，其特征在于，该***包括获取区域模块、提取特征模块、特征融合模块、输出位置模块；
所述获取区域模块，配置为根据t-1帧的目标位置和预设的目标尺寸，获取待追踪的目标在第t帧图像的区域，将该区域作为目标区域；并基于所述t-1帧的目标位置的中心点获取N倍于所述目标区域大小的区域，将其作为搜索区域；
所述提取特征模块，配置为通过表观特征提取网络、深度特征提取网络分别提取所述目标区域、所述搜索区域对应的表观特征、深度特征；
所述特征融合模块，配置为基于预设权重，分别对所述目标区域、所述搜索区域对应的表观特征、深度特征进行加权平均，得到目标区域的融合特征、搜索区域的融合特征；
所述输出位置模块，配置为根据所述目标区域的融合特征、所述搜索区域的融合特征，通过相关滤波器得到所述待追踪目标的响应图；将所述响应图的峰值对应的位置作为第t帧的目标位置；
其中，
所述表观特征提取网络基于卷积神经网络构建，用于根据输入的图像获取其对应的表观特征；
所述深度特征提取网络基于ResNet网络构建，用于根据输入的图像获取其对应的深度特征。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序应用由处理器加载并执行以实现权利要求1-7任一项所述的基于表观特征和深度特征的目标跟踪方法。
10.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的基于表观特征和深度特征的目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910884524.4A CN110706253B (zh) | 2019-09-19 | 2019-09-19 | 基于表观特征和深度特征的目标跟踪方法、***、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910884524.4A CN110706253B (zh) | 2019-09-19 | 2019-09-19 | 基于表观特征和深度特征的目标跟踪方法、***、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110706253A CN110706253A (zh) | 2020-01-17 |
| CN110706253B true CN110706253B (zh) | 2022-03-08 |
Family
ID=69194485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910884524.4A Active CN110706253B (zh) | 2019-09-19 | 2019-09-19 | 基于表观特征和深度特征的目标跟踪方法、***、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110706253B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767450A (zh) * | 2021-01-25 | 2021-05-07 | 开放智能机器（上海）有限公司 | 一种基于多损失学习的相关滤波目标跟踪方法及*** |
| CN113592899A (zh) * | 2021-05-28 | 2021-11-02 | 北京理工大学重庆创新中心 | 一种相关滤波目标跟踪深度特征的提取方法 |
| CN113327273B (zh) * | 2021-06-15 | 2023-12-19 | 中国人民解放***箭军工程大学 | 一种基于可变窗函数相关滤波的红外目标跟踪方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794385A (zh) * | 2010-03-23 | 2010-08-04 | 上海交通大学 | 用于视频序列的多角度多目标快速人脸跟踪方法 |
| CN105719292A (zh) * | 2016-01-20 | 2016-06-29 | 华东师范大学 | 利用两层级联的Boosting分类算法实现视频目标跟踪的方法 |
| CN106780542A (zh) * | 2016-12-29 | 2017-05-31 | 北京理工大学 | 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法 |
| CN107862680A (zh) * | 2017-10-31 | 2018-03-30 | 西安电子科技大学 | 一种基于相关滤波器的目标跟踪优化方法 |
| CN108596951A (zh) * | 2018-03-30 | 2018-09-28 | 西安电子科技大学 | 一种融合特征的目标跟踪方法 |
| CN109308713A (zh) * | 2018-08-02 | 2019-02-05 | 哈尔滨工程大学 | 一种基于前视声纳的改进核相关滤波水下目标跟踪方法 |
| CN109344725A (zh) * | 2018-09-04 | 2019-02-15 | 上海交通大学 | 一种基于时空关注度机制的多行人在线跟踪方法 |
| CN109816689A (zh) * | 2018-12-18 | 2019-05-28 | 昆明理工大学 | 一种多层卷积特征自适应融合的运动目标跟踪方法 |
| CN109858326A (zh) * | 2018-12-11 | 2019-06-07 | 中国科学院自动化研究所 | 基于类别语义弱监督的在线视觉跟踪方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5227639B2 (ja) * | 2008-04-04 | 2013-07-03 | 富士フイルム株式会社 | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム |
-
2019
- 2019-09-19 CN CN201910884524.4A patent/CN110706253B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794385A (zh) * | 2010-03-23 | 2010-08-04 | 上海交通大学 | 用于视频序列的多角度多目标快速人脸跟踪方法 |
| CN105719292A (zh) * | 2016-01-20 | 2016-06-29 | 华东师范大学 | 利用两层级联的Boosting分类算法实现视频目标跟踪的方法 |
| CN106780542A (zh) * | 2016-12-29 | 2017-05-31 | 北京理工大学 | 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法 |
| CN107862680A (zh) * | 2017-10-31 | 2018-03-30 | 西安电子科技大学 | 一种基于相关滤波器的目标跟踪优化方法 |
| CN108596951A (zh) * | 2018-03-30 | 2018-09-28 | 西安电子科技大学 | 一种融合特征的目标跟踪方法 |
| CN109308713A (zh) * | 2018-08-02 | 2019-02-05 | 哈尔滨工程大学 | 一种基于前视声纳的改进核相关滤波水下目标跟踪方法 |
| CN109344725A (zh) * | 2018-09-04 | 2019-02-15 | 上海交通大学 | 一种基于时空关注度机制的多行人在线跟踪方法 |
| CN109858326A (zh) * | 2018-12-11 | 2019-06-07 | 中国科学院自动化研究所 | 基于类别语义弱监督的在线视觉跟踪方法及*** |
| CN109816689A (zh) * | 2018-12-18 | 2019-05-28 | 昆明理工大学 | 一种多层卷积特征自适应融合的运动目标跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110706253A (zh) | 2020-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Teed et al. | Droid-slam: Deep visual slam for monocular, stereo, and rgb-d cameras | |
| CN108053419B (zh) | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 | |
| CN108734723B (zh) | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 | |
| CN107424177B (zh) | 基于连续相关滤波器的定位修正长程跟踪方法 | |
| CN110706253B (zh) | 基于表观特征和深度特征的目标跟踪方法、***、装置 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN111311647B (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
| CN108447041B (zh) | 一种基于增强学习的多源图像融合方法 | |
| CN110097575B (zh) | 一种基于局部特征及尺度池的目标跟踪方法 | |
| CN103426182A (zh) | 基于视觉注意机制的电子稳像方法 | |
| CN114565655B (zh) | 一种基于金字塔分割注意力的深度估计方法及装置 | |
| CN109035300B (zh) | 一种基于深度特征与平均峰值相关能量的目标跟踪方法 | |
| Chen et al. | A stereo visual-inertial SLAM approach for indoor mobile robots in unknown environments without occlusions | |
| Malav et al. | DHSGAN: An end to end dehazing network for fog and smoke | |
| Yang et al. | Toward country scale building detection with convolutional neural network using aerial images | |
| Teutscher et al. | PDC: piecewise depth completion utilizing superpixels | |
| CN117011381A (zh) | 基于深度学习和立体视觉的实时手术器械位姿估计方法与*** | |
| CN112767267B (zh) | 基于仿真偏振带雾场景数据集的图像去雾方法 | |
| CN113850189A (zh) | 一种应用于机动平台的嵌入式孪生网络实时跟踪方法 | |
| CN113033356A (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
| CN116958393A (zh) | 一种增量式图像渲染方法及装置 | |
| CN116342653A (zh) | 一种基于相关滤波器的目标跟踪方法、***、设备及介质 | |
| CN113470074B (zh) | 一种基于分块判别的自适应时空正则化目标跟踪方法 | |
| CN113781375B (zh) | 一种基于多曝光融合的车载视觉增强方法 | |
| CN110660079A (zh) | 一种基于时空上下文的单目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |