CN106920247A - 一种基于比对网络的目标跟踪方法及装置 - Google Patents

Abstract

本发明公开一种基于比对网络的目标跟踪方法及装置，其中，基于比对网络的目标跟踪方法，包括如下步骤：确定包含被跟踪目标的当前帧图像；在当前帧图像中获取被跟踪目标区域；获取当前帧的下一帧图像；在下一帧图像中获取多个目标候选区域；获取包含每个目标候选区域的外接矩形；将被跟踪目标区域和外接矩形输入比对神经网络模型进行比对；根据比对结果在多个目标候选区域中确定目标跟踪区域；在目标跟踪区域内确定被跟踪目标。本发明通过比对神经网络模型对被跟踪目标区域和目标候选区域进行综合比较，能够准确识别出被跟踪目标物体，快速完成跟踪任务。

Description

一种基于比对网络的目标跟踪方法及装置

技术领域

本发明涉及图像处理领域，具体涉及一种基于比对网络的目标跟踪方法及装置。

背景技术

目标跟踪的目的是获取视频序列中特定目标的运动轨迹，近年来随着计算机网络视频的快速传播，目标跟踪的研究一直是计算机视觉领域的热门课题，也在很多实用视觉***中扮演着重要角色，而目标跟踪是指给出目标在跟踪视频第一帧中的初始状态，预测该目标在后续帧中的精确位置，与此同时，视觉目标跟踪也作为人工智能的基础，可以模拟人类视觉的行为。

目前现有技术中的目标跟踪方法主要是通过学习分类任务的检测方式提取目标物体的特征信息后跟踪目标物体，但在视频流中的图像信息种类很多，在跟踪的过程中，因为无法对视频流中的上一帧图像内目标区域和下一帧图像内的目标区域进行综合比较，所以在所有的视频图像中寻找具有被跟踪目标的特征信息的目标较为复杂，同时无法快速准确地完成跟踪任务。

发明内容

因此，本发明实施例要解决的技术问题在于现有技术中的目标跟踪方法采用学习分类任务的检测方式提取目标物体的特征信息后跟踪目标物体，无法对视频流中的上一帧图像内目标区域和下一帧图像内的目标区域进行综合比较，造成不能准确获取被跟踪目标物体。

为此，本发明实施例提供了如下技术方案：

本发明实施例提供一种基于比对网络的目标跟踪方法，包括如下步骤：

确定包含被跟踪目标的当前帧图像；

在所述当前帧图像中获取被跟踪目标区域；

获取当前帧的下一帧图像；

在所述下一帧图像中获取多个目标候选区域；

获取包含每个所述目标候选区域的外接矩形；

将所述被跟踪目标区域和所述外接矩形输入比对神经网络模型进行比对；

根据比对结果在多个目标候选区域中确定目标跟踪区域。

可选地，还包括：在所述目标跟踪区域内确定被跟踪目标。

可选地，所述在所述下一帧图像中获取多个目标候选区域，包括：

获取所述当前帧图像的正样本和负样本；

检测所述下一帧图像边缘信息；

在所述当前帧图像中检测所述被跟踪目标区域与所述图像边缘信息重合的边缘信息。

可选地，所述将所述被跟踪目标区域和所述外接矩形输入比对神经网络模型进行比对，包括如下步骤：

在卷积层中将所述目标候选区域的外接矩形映射到对应位置的卷积特征；

在池化层中统一所述卷积特征的维度；

在全连接层中综合输入所述卷积特征。

可选地，所述根据比对结果在多个目标候选区域中确定目标跟踪区域，包括：

计算所述被跟踪目标区域与所述目标候选区域的相似度；

获取最大的目标候选区域得分。

本发明实施例提供一种基于比对网络的目标跟踪装置，包括如下单元：

第一确定单元，用于确定包含被跟踪目标的当前帧图像；

第一获取单元，用于在所述当前帧图像中获取被跟踪目标区域；

第二获取单元，用于获取当前帧的下一帧图像；

第三获取单元，用于在所述下一帧图像中获取多个目标候选区域；

第四获取单元，用于获取包含每个所述目标候选区域的外接矩形；

比对单元，用于将所述被跟踪目标区域和所述外接矩形输入比对神经网络模型进行比对；

第二确定单元，用于根据比对结果在多个目标候选区域中确定目标跟踪区域。

可选地，还包括：第三确定单元，用于在所述目标跟踪区域内确定被跟踪目标。

可选地，所述第三获取单元，包括：

第一获取模块，用于获取所述当前帧图像的正样本和负样本；

第一检测模块，用于检测所述下一帧图像边缘信息；

第二检测模块，用于在所述当前帧图像中检测所述被跟踪目标区域与所述图像边缘信息重合的边缘信息。

可选地，所述比对单元，包括：

映射模块，用于在卷积层中将所述目标候选区域的外接矩形映射到对应位置的卷积特征；

统一模块，用于在池化层中统一所述卷积特征的维度；

输入模块，用于在全连接层中综合输入所述卷积特征。

可选地，所述第二确定单元，包括：

计算模块，用于计算所述被跟踪目标区域与所述目标候选区域的相似度；

第二获取模块，用于获取最大的目标候选区域得分。

本发明实施例技术方案，具有如下优点：

本发明提供一种基于比对网络的目标跟踪方法及装置，其中，基于比对网络的目标跟踪方法，包括如下步骤：确定包含被跟踪目标的当前帧图像；在当前帧图像中获取被跟踪目标区域；获取当前帧的下一帧图像；在下一帧图像中获取多个目标候选区域；获取包含每个目标候选区域的外接矩形；将被跟踪目标区域和外接矩形输入比对神经网络模型进行比对；根据比对结果在多个目标候选区域中确定目标跟踪区域；在目标跟踪区域内确定被跟踪目标。本发明通过比对神经网络模型对被跟踪目标区域和目标候选区域进行综合比较，能够准确识别出被跟踪目标物体，快速完成跟踪任务。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中基于比对网络的目标方法的流程图；

图2为本发明实施例1中基于比对网络的目标方法中获取边缘峰值的流程图；

图3为本发明实施例1中基于比对网络的目标方法中比对流程图；

图4为本发明实施例1中基于比对网络的目标方法中确定目标跟踪区域的流程图；

图5为本发明实施例2中基于比对网络的目标装置的结构框图；

图6为本发明实施例2中基于比对网络的目标装置第三获取单元的结构框图；

图7为本发明实施例2中基于比对网络的目标装置比对单元的结构框图；

图8为本发明实施例2中基于比对网络的目标装置第二确定单元的结构框图。

具体实施方式

下面将结合附图对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种基于比对网络的目标跟踪方法，如图1所示，包括如下步骤：

S1、确定包含被跟踪目标的当前帧图像；在视频流中输入多幅连续的图像才能构成一个完整的视频，且图像是连续的时序关联数据，所以只有通过获取具有当前帧的被跟踪目标图像才能完成具体的跟踪，在视频流中只有确定包含被跟踪目标的当前帧图像位置才能找到被跟踪目标。

具体地，目标跟踪通常指给出目标在跟踪视频第一帧中的初始状态，自动估计目标物体在后续帧中的状态。人眼可以比较轻松的在一段时间内跟住某个特定目标，但对机器而言，这一任务并不简单，在跟踪的过程中会出现目标发生剧烈形变，被其他目标遮挡或出现相似物体干扰等等各种复杂的情况。上述当前帧为包含从视频流输入的初始帧或上一帧或下一帧在当前时刻的图像信息，该信息包括当前帧的位置和尺寸。

S2、在当前帧图像中获取被跟踪目标区域；即为在当前帧图像中检测出具体的被跟踪目标的区域(当前patch)，这个区域是由多个像素点构成的图像块。

S3、获取当前帧的下一帧图像；跟踪的目的就是为了追上前面的物体，只有通过获取一帧帧图像信息才能最终跟踪上这个具体的物体，所以这里需要在下一帧，利用当前帧中获取的被跟踪目标区域完成进一步跟踪。

S4、在下一帧图像中获取多个目标候选区域；利用proposal生成方式，生成目标建议位置的目的就是生成一个数量相对小的选择框候选集，即为多个目标候选区域。

作为一种实现方式，本实施例中基于目标候选的目标跟踪方法，如图2所示，步骤S4，在下一帧图像中获取多个目标候选区域，包括：

S41、获取当前帧图像的正样本和负样本；正样本指图片中只有需要寻找的某一目标，即通常指与跟踪相关的目标样本信息，负样本指其中不包含需要寻找的目标，即通常指多余的、不相关的样本信息，也可以把正确的目标区域之外的其它候选区域作为负样本。

S42、检测下一帧图像边缘信息，通过下一帧的图像边缘信息获取目标可能位置的一些候选区域。

S43、在当前帧图像中检测被跟踪目标区域与图像边缘信息重合的边缘信息。

具体地，利用结构化边缘检测器获得图像中每个像素的边界响应，这样就可以得到一个稠密的边界响应，然后执行非极大值抑制找到边缘峰值，这样又可以得到一个稀疏的边缘图，再对边缘进行分组，认为直线边界相连接的边缘像素具有更高的相关性，而未直接连接或通过曲率过高的曲线连接的边缘像素具有更低的相关性，接下来，采用滑动窗的方法在当前帧图像区域中检测与多个目标候选区域的边缘重合的边缘信息较多的目标候选区域，从而得到了具体的目标候选区域。

S5、获取包含每个目标候选区域的外接矩形；在获取重合较多的边缘信息的目标候选区域中得到其组成的最大包含每个目标候选区域的外接矩形，(矩形patch)。

S6、将被跟踪目标区域和外接矩形输入比对神经网络模型进行比对；此比对神经网络模型主要是将被跟踪目标区域和目标候选区域的相似度一次性计算出来。

作为一种实现方式，本实施例中基于比对网络的目标跟踪方法，如图3所示，步骤S6，将被跟踪目标区域和外接矩形输入比对神经网络模型进行比对，包括如下步骤：

S61、在卷积层中将目标候选区域的外接矩形映射到对应位置的卷积特征；此处卷积层的作用主要用于提取卷积特征，即从视频图像中抽取一些图像块，学习一些特征，然后利用这些特征作为滤波器去扫过整张大图，即逐行逐列做卷积，目标候选区域的外接矩形映射到对应位置，同时通过共享卷积进行比较被跟踪目标区域和外接矩形内的目标候选区域。

S62、在池化层中统一卷积特征的维度；池化层的作用主要用于统一卷积特征的维度，因为在卷积层逐行逐列做完卷积后，维度会发生变化，所以需要降低维度，从而降低卷积层输出的特征，同时改善结果。

S63、在全连接层中综合输入卷积特征，全连接层用于把前面提取的特征综合起来。

S7、根据比对结果在多个目标候选区域中确定目标跟踪区域。比如，在跟踪某一车辆，当采集了公路上的所有车辆为正样本，行人为负样本后，且已经得到被跟踪车辆的相似度，此时需要关注被跟踪的所有很相似的车辆所在的范围即为目标跟踪区域。

作为一种实现方式，本实施例中基于比对网络的目标跟踪方法，如图4所示，根据比对结果在多个目标候选区域中确定目标跟踪区域，包括：

S71、计算被跟踪目标区域与目标候选区域的相似度；计算当前帧图像中获取被跟踪目标区域和多个目标候选区域之间的相似度，也可以理解为计算上一帧patch与下一帧的目标候选patch之间的相似度，选取相似度得分最高的目标候选区域作为当前帧跟踪到的目标位置。

S72、获取最大的目标候选区域得分，将得分最高的目标候选区域作为跟踪结果。

S8、在目标跟踪区域内确定被跟踪目标。根据确切的目标跟踪区域确定出被跟踪目标物体，完成跟踪任务。

实施例2

本实施例提供一种基于比对网络的目标跟踪装置，如图5所示，与实施例1中的基于目标跟踪装置相对应，包括如下单元：

第一确定单元51，用于确定包含被跟踪目标的当前帧图像；

第一获取单元52，用于在当前帧图像中获取被跟踪目标区域；

第二获取单元53，用于获取当前帧的下一帧图像；

第三获取单元54，用于在下一帧图像中获取多个目标候选区域；

第四获取单元55，用于获取包含每个目标候选区域的外接矩形；

比对单元56，用于将被跟踪目标区域和外接矩形输入比对神经网络模型进行比对；

第二确定单元57，用于根据比对结果在多个目标候选区域中确定目标跟踪区域。

作为一种实现方式，本实施例中基于比对网络的目标跟踪装置，还包括：第三确定单元58，用于在目标跟踪区域内确定被跟踪目标。

作为一种实现方式，本实施例中基于比对网络的目标跟踪装置，如图6所示，第三获取单元54，包括：

第一获取模块541，用于获取当前帧图像的正样本和负样本；

第一检测模块542，用于检测下一帧图像边缘信息；

第二检测模块543，用于在当前帧图像中检测被跟踪目标区域与图像边缘信息重合的边缘信息。

作为一种实现方式，本实施例中基于比对网络的目标跟踪装置，如图7所示，比对单元56，包括：

映射模块561，用于在卷积层中将目标候选区域的外接矩形映射到对应位置的卷积特征；

统一模块562，用于在池化层中统一卷积特征的维度；

输入模块563，用于在全连接层中综合输入卷积特征。

作为一种实现方式，本实施例中基于比对网络的目标跟踪装置，如图8所示，第二确定单元57，包括：

计算模块571，用于计算被跟踪目标区域与目标候选区域的相似度；

第二获取模块572，用于获取最大的目标候选区域得分。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于比对网络的目标跟踪方法，其特征在于，包括如下步骤：

确定包含被跟踪目标的当前帧图像；

在所述当前帧图像中获取被跟踪目标区域；

获取当前帧的下一帧图像；

在所述下一帧图像中获取多个目标候选区域；

获取包含每个所述目标候选区域的外接矩形；

将所述被跟踪目标区域和所述外接矩形输入比对神经网络模型进行比对；

根据比对结果在多个目标候选区域中确定目标跟踪区域。

2.根据权利要求1所述的方法，其特征在于，还包括：在所述目标跟踪区域内确定被跟踪目标。

3.根据权利要求1所述的方法，其特征在于，所述在所述下一帧图像中获取多个目标候选区域，包括：

获取所述当前帧图像的正样本和负样本；

检测所述下一帧图像边缘信息；

在所述当前帧图像中检测所述被跟踪目标区域与所述图像边缘信息重合的边缘信息。

4.根据权利要求1所述的方法，其特征在于，所述将所述被跟踪目标区域和所述外接矩形输入比对神经网络模型进行比对，包括如下步骤：

在卷积层中将所述目标候选区域的外接矩形映射到对应位置的卷积特征；

在池化层中统一所述卷积特征的维度；

在全连接层中综合输入所述卷积特征。

5.根据权利要求1所述的方法，其特征在于，所述根据比对结果在多个目标候选区域中确定目标跟踪区域，包括：

计算所述被跟踪目标区域与所述目标候选区域的相似度；

获取最大的目标候选区域得分。

6.一种基于比对网络的目标跟踪方法，其特征在于，包括如下单元：

第一确定单元，用于确定包含被跟踪目标的当前帧图像；

第一获取单元，用于在所述当前帧图像中获取被跟踪目标区域；

第二获取单元，用于获取当前帧的下一帧图像；

第三获取单元，用于在所述下一帧图像中获取多个目标候选区域；

第四获取单元，用于获取包含每个所述目标候选区域的外接矩形；

比对单元，用于将所述被跟踪目标区域和所述外接矩形输入比对神经网络模型进行比对；

第二确定单元，用于根据比对结果在多个目标候选区域中确定目标跟踪区域。

7.根据权利要求6所述的装置，其特征在于，还包括：第三确定单元，用于在所述目标跟踪区域内确定被跟踪目标。

8.根据权利要求6所述的装置，其特征在于，所述第三获取单元，包括：

第一获取模块，用于获取所述当前帧图像的正样本和负样本；

第一检测模块，用于检测所述下一帧图像边缘信息；

第二检测模块，用于在所述当前帧图像中检测所述被跟踪目标区域与所述图像边缘信息重合的边缘信息。

9.根据权利要求6所述的装置，其特征在于，所述比对单元，包括：

映射模块，用于在卷积层中将所述目标候选区域的外接矩形映射到对应位置的卷积特征；

统一模块，用于在池化层中统一所述卷积特征的维度；

输入模块，用于在全连接层中综合输入所述卷积特征。

10.根据权利要求6所述的装置，其特征在于，所述第二确定单元，包括：

计算模块，用于计算所述被跟踪目标区域与所述目标候选区域的相似度；

第二获取模块，用于获取最大的目标候选区域得分。