CN106920248A - 一种目标跟踪方法及装置 - Google Patents

Abstract

本发明公开一种目标跟踪方法及装置，其中目标跟踪方法，包括如下步骤：根据当前帧图像建立网络跟踪模型；确定包含被跟踪目标的当前帧图像；在当前帧图像中获取被跟踪目标区域；获取当前帧的下一帧图像；在下一帧图像中获取多个目标候选区域；计算被跟踪目标区域和每个目标候选区域的相似度；根据相似度在多个目标候选区域中确定目标跟踪区域；在目标跟踪区域内确定被跟踪目标；获取被跟踪目标的当前状态，根据当前状态更新网络跟踪模型。本发明通过建立网络跟踪模型，可以识别出被跟踪目标同类物体间的个体差异，在更新样本物体时，可以有效表述出目标物体在各种情况下的外观变化。

Description

一种目标跟踪方法及装置

技术领域

本发明涉及图像处理领域，具体涉及一种目标跟踪方法及装置。

背景技术

目标跟踪的目的是获取视频序列中特定目标的运动轨迹，近年来随着计算机网络视频的快速传播，目标跟踪的研究一直是计算机视觉领域的热门课题，也在很多实用视觉***中扮演着重要角色，而目标跟踪是指给出目标在跟踪视频第一帧中的初始状态，预测该目标在后续帧中的精确位置，与此同时，视觉目标跟踪也作为人工智能的基础，可以模拟人类视觉的行为。

目前现有技术中的目标跟踪方法主要采用检测不同分类任务的图像跟踪目标物体，而无法识别个体级别的同类任务的差别，比如：该目前通过分类任务检测的方式只关注区分不同类间的物体，而忽略了同类物体间的差别，如在跟踪车辆和行人的时候，只能获取视频图像中的所有车辆、行人整体的不同，而无法识别单独车辆或行人因在跟踪目标物体的过程中会出现目标发生剧烈形变、被其他目标遮挡或出现相似物体干扰引起个体级别的不同，即在所有目标中无法抑制掉其它不相关目标从而识别某一个物体。

发明内容

因此，本发明实施例要解决的技术问题在于现有技术中的目标跟踪方法，在跟踪目标物体的过程中，因无法识别个体级别的同类物体间的任务差别。

为此，本发明实施例提供了如下技术方案：

本发明实施例提供一种目标跟踪方法，包括如下步骤：

根据当前帧图像建立网络跟踪模型；

确定包含被跟踪目标的当前帧图像；

在所述当前帧图像中获取被跟踪目标区域；

获取当前帧的下一帧图像；

在所述下一帧图像中获取多个目标候选区域；

计算所述被跟踪目标区域和每个所述目标候选区域的相似度；

根据所述相似度在多个目标候选区域中确定目标跟踪区域；

在所述目标跟踪区域内确定被跟踪目标；

获取所述被跟踪目标的当前状态。

可选地，本发明实施例所述目标跟踪方法，还包括：根据所述当前状态更新所述网络跟踪模型。

可选地，本发明实施例所述目标跟踪方法，所述在所述下一帧图像中获取多个目标候选区域，包括：

获取所述当前帧图像的正样本和负样本；

检测所述下一帧图像边缘信息；

在所述当前帧图像中检测所述被跟踪目标区域与所述图像边缘信息重合的边缘信息。

可选地，本发明实施例所述目标跟踪方法，所述计算所述被跟踪目标区域和每个所述目标候选区域的相似度，包括：

获取包含每个所述目标候选区域的外接矩形；

将所述被跟踪目标区域和所述外接矩形输入比对神经网络模型；

获取最大的目标候选区域得分。

可选地，本发明实施例所述目标跟踪方法，根据所述当前状态更新所述网络跟踪模型，包括：

定期采用长期更新所述正样本；

根据所述被跟踪目标的当前状态，确定得分阈值；

判断所述最大的目标候选区域得分是否小于所述得分阈值，若是，则采用短期更新所述正样本，若否，则采用长期更新所述正样本；

更新所述被跟踪目标的尺度。

本发明实施例提供一种目标跟踪装置，包括如下单元：

建立单元，用于根据当前帧图像建立网络跟踪模型；

第一确定单元，用于确定包含被跟踪目标的当前帧图像；

第一获取单元，用于在所述当前帧图像中获取被跟踪目标区域；

第二获取单元，用于获取当前帧的下一帧图像；

第三获取单元，用于在所述下一帧图像中获取多个目标候选区域；

计算单元，用于计算所述被跟踪目标区域和每个所述目标候选区域的相似度；

第二确定单元，用于根据所述相似度在多个目标候选区域中确定目标跟踪区域；

第三确定单元，用于在所述目标跟踪区域内确定被跟踪目标；

第四获取单元，用于获取所述被跟踪目标的当前状态。

可选地，本发明实施例所述目标跟踪装置，还包括：更新单元，用于根据所述当前状态更新所述网络跟踪模型。

可选地，本发明实施例所述目标跟踪装置，所述第三获取单元，包括：

第一获取模块，用于获取所述当前帧图像的正样本和负样本；

第一检测模块，用于检测所述下一帧图像边缘信息；

第二检测模块，用于在所述当前帧图像中检测所述被跟踪目标区域与所述图像边缘信息重合的边缘信息。

可选地，本发明实施例所述目标跟踪装置，所述计算单元，包括：

第二获取模块，用于获取包含每个所述目标候选区域的外接矩形；

输入模块，用于将所述被跟踪目标区域和所述外接矩形输入比对神经网络模型；

第三获取模块，用于获取最大的目标候选区域得分。

可选地，本发明实施例所述目标跟踪装置，所述更新单元，包括：

第一更新模块，用于定期采用长期更新所述正样本；

确定模块，用于根据所述被跟踪目标的当前状态，确定得分阈值；

判断模块，用于判断所述最大的目标候选区域得分是否小于所述得分阈值；若是，则采用短期更新所述正样本，若否，则采用长期更新所述正样本；

第二更新模块，用于更新所述被跟踪目标的尺度。

本发明实施例技术方案，具有如下优点：

本发明提供一种目标跟踪方法及装置，其中目标跟踪方法，包括如下步骤：根据当前帧图像建立网络跟踪模型；确定包含被跟踪目标的当前帧图像；在当前帧图像中获取被跟踪目标区域；获取当前帧的下一帧图像；在下一帧图像中获取多个目标候选区域；计算被跟踪目标区域和每个目标候选区域的相似度；根据相似度在多个目标候选区域中确定目标跟踪区域；在目标跟踪区域内确定被跟踪目标；获取被跟踪目标的当前状态，根据当前状态更新网络跟踪模型。本发明通过建立网络跟踪模型，可以识别出被跟踪目标同类物体间的个体差异，在更新样本物体时，可以有效表述出目标物体在各种情况下的外观变化。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中目标跟踪方法的流程图；

图2为本发明实施例1中目标跟踪方法中获取多个目标候选区域的流程图；

图3为本发明实施例1中目标跟踪方法中计算每个目标候选区域相似度的流程图；

图4为本发明实施例1中目标跟踪方法中更新网络跟踪模型的流程图；

图5为本发明实施例2中目标跟踪装置结构框图；

图6为本发明实施例2中目标跟踪装置中第三获取单元的结构框图；

图7为本发明实施例2中目标跟踪装置中计算单元的结构框图；

图8为本发明实施例2中目标跟踪装置中更新单元的结构框图。

具体实施方式

下面将结合附图对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种目标跟踪方法，如图1所示，包括如下步骤：

S1、根据当前帧图像建立网络跟踪模型；此网络跟踪模型为结合时序关联的视频数据，训练得到识别个体级别的网络。因为目标跟踪通常指给出目标在跟踪视频第一帧中的初始状态，自动估计目标物体在后续帧中的状态。人眼可以比较轻松的在一段时间内跟住某个特定目标，但对机器而言，这一任务并不简单，在跟踪的过程中会出现目标发生剧烈形变，被其他目标遮挡或出现相似物体干扰等等各种复杂的情况。上述当前帧为包含从视频流输入的初始帧或上一帧或下一帧在当前时刻的图像信息，该信息包括当前帧的位置和尺寸。

S2、确定包含被跟踪目标的当前帧图像；在视频流中输入多幅连续的图像才能构成一个完整的视频，且图像是连续的时序关联数据，所以只有通过获取具有当前帧的被跟踪目标图像才能完成具体的跟踪，在视频流中只有确定包含被跟踪目标的当前帧图像位置才能找到被跟踪目标。

S3、在当前帧图像中获取被跟踪目标区域；即为在当前帧图像中检测出具体的被跟踪目标的区域(当前patch)，这个区域是由多个像素点构成的图像块。

S4、获取当前帧的下一帧图像；跟踪的目的就是为了追上前面的物体，只有通过获取一帧帧图像信息才能最终跟踪上这个具体的物体，所以这里需要在下一帧，利用当前帧中获取的被跟踪目标区域完成进一步跟踪。

S5、在下一帧图像中获取多个目标候选区域；利用proposal生成方式，生成目标建议位置的目的就是生成一个数量相对小的选择框候选集，即为多个目标候选区域。

作为一种实现方式，本实施例中目标跟踪方法，如图2所示，步骤S5，在下一帧图像中获取多个目标候选区域，包括：

S51、获取当前帧图像的正样本和负样本；正样本指图片中只有需要寻找的某一目标，即通常指与跟踪相关的目标样本信息，负样本指其中不包含需要寻找的目标，即通常指多余的、不相关的样本信息，也可以把正确的目标区域之外的其它候选区域作为负样本。

S52、检测下一帧图像边缘信息，通过下一帧的图像边缘信息获取目标可能位置的一些候选区域。

S53、在当前帧图像中检测被跟踪目标区域与图像边缘信息重合的边缘信息。利用结构化边缘检测器获得图像中每个像素的边界响应，这样就可以得到一个稠密的边界响应，然后执行非极大值抑制找到边缘峰值，这样又可以得到一个稀疏的边缘图，再对边缘进行分组，认为直线边界相连接的边缘像素具有更高的相关性，而未直接连接或通过曲率过高的曲线连接的边缘像素具有更低的相关性，接下来，采用滑动窗的方法在当前帧图像区域中检测与多个目标候选区域的边缘重合的边缘信息较多的目标候选区域，从而得到了具体的目标候选区域。

S6、计算被跟踪目标区域和每个目标候选区域的相似度；计算当前帧图像中获取被跟踪目标区域和多个目标候选区域之间的相似度，也可以理解为计算上一帧patch与下一帧的目标候选patch之间的相似度，选取相似度得分最高的目标候选区域作为当前帧跟踪到的目标位置。

作为一种实现方式，本实施例中目标跟踪方法，如图3所示，步骤S6，计算被跟踪目标区域和每个目标候选区域的相似度，包括：

S61、获取包含每个目标候选区域的外接矩形；在获取重合较多的边缘信息的目标候选区域中得到其组成的最大包含每个目标候选区域的外接矩形，(矩形patch)。

S62、将被跟踪目标区域和外接矩形输入比对神经网络模型；此比对神经网络模型主要是将被跟踪目标区域和目标候选区域的相似度一次性计算出来，同时共享卷积层，此卷积层的作用主要用于将目标候选区域的外接矩形映射到对应位置的卷积特征；然后通过金字塔的池化层，将维度不一的卷积特征转换为维度不一致的全连接输入，此池化层的作用主要用于统一维度不一的卷积特征，从而降低卷积层的输出的特征；再通过全连接层与上一层的所有结点进行连接，此全连接层的作用主要用于综合卷积特征。最后通过决策网络采用softmax，计算得到当前帧图像中被跟踪目标区域与每一个候选区域的相似度。

S63、获取最大的目标候选区域得分。在上述步骤S62计算过后，进而得到最大的目标候选区域作为最终得到的跟踪结果。

S7、根据相似度在多个目标候选区域中确定目标跟踪区域；比如，在跟踪某一车辆，当采集了公路上的所有车辆为正样本，行人为负样本后，且已经得到被跟踪车辆的相似度，此时需要关注被跟踪的所有很相似的车辆所在的范围即为目标跟踪区域，从而进一步为更新目标的外观做准备。

S8、在目标跟踪区域内确定被跟踪目标；在上述步骤S7中所有很相似的车辆中确认出最终寻找的那个车辆为被跟踪目标。

S9、获取被跟踪目标的当前状态。由于上述的车辆会在跟踪的过程中运动，只有确定当前的动作，如确认该被跟踪目标车辆是转弯、直行、后退的状态，也为进一步更新做准备。

作为一种实现方式，本实施例中目标跟踪方法，还包括：

S10、根据当前状态更新网络跟踪模型，由于在跟踪的过程中，会存在各种各样的图像信息，在获取的正样本和负样本的图像信息中，由于在跟踪的过程中会出现被跟踪目标发生剧烈形变，如由于被其他目标遮挡或出现相似物体干扰、尺度、旋转或姿态或光照等等外观会发生各种各样的变化情况，需要更新样本信息以适应这些变化，从而保证跟踪的鲁棒性和自适应性。

作为一种实现方式，本实施例中目标跟踪方法，如图4所示，步骤S10，根据当前状态更新网络跟踪模型，包括：

S101、定期采用长期更新正样本；长期更新即为定期地使用较长时间内的正样本进行更新，其中在更新的过程中，由于旧的负样本对于当前帧通常是多于的，不相关的，都使用短期内的负样本作为参考更新正样本。

S102、根据被跟踪目标当前状态，确定得分阈值；此处的当前状态为跟踪状态，即能否跟上目标物体，所确定的得分阈值，作为下一步判断得分的参考阈值。

S103、判断最大的目标候选区域得分是否小于得分阈值，若是，则采用短期更新正样本，若否，则采用长期更新正样本；因为最大的目标候选区域得分小于得分阈值说明跟踪失败，失败的原因可能是因为如目标物体车辆在转弯或调头时造成，所以首先需要更新目标的外观，既然跟踪失败，所以需要采用短时间内采集的样本信息进行更新，尽可能地挽救这一失败，当得分高于得分阈值的时候，说明跟踪一切正常，可以使用较长时间内的正样本进行更新。

S104、更新被跟踪目标的尺度，因为在上述步骤S9中获取被跟踪目标的当前状态后获得到目标的精确位置和尺寸，更新目标尺度即为训练一个回归模型来预测目标的精确位置，在接下来的序列中，用这个模型来调整跟踪的目标位置。其中这个回归模型包括平移变换和尺度变换，最终目的是为了得到被跟踪目标地精确结果。

实施例2

本实施例提供一种目标跟踪装置，与实施例1中的目标跟踪方法相对应，如图5所示，包括如下单元：

建立单元511，用于根据当前帧图像建立网络跟踪模型；

第一确定单元512，用于确定包含被跟踪目标的当前帧图像；

第一获取单元513，用于在当前帧图像中获取被跟踪目标区域；

第二获取单元514，用于获取当前帧的下一帧图像；

第三获取单元515，用于在下一帧图像中获取多个目标候选区域；

计算单元516，用于计算被跟踪目标区域和每个目标候选区域的相似度；

第二确定单元517，用于根据相似度在多个目标候选区域中确定目标跟踪区域；

第三确定单元518，用于在目标跟踪区域内确定被跟踪目标；

第四获取单元519，用于获取被跟踪目标的当前状态。

作为一种实现方式，本实施例中目标跟踪装置，如图6所示，还包括：更新单元520，用于根据当前状态更新网络跟踪模型。

作为一种实现方式，本实施例装置，如图7所示，第三获取单元515，包括：

第一获取模块5151，用于获取当前帧图像的正样本和负样本；

第一检测模块5152，用于检测下一帧图像边缘信息，

第二检测模块5153，用于在当前帧图像中检测被跟踪目标区域与图像边缘信息重合的边缘信息。

作为一种实现方式，本实施例中目标跟踪装置，如图8所示，计算单元516，包括：

第二获取模块5161，用于获取包含每个目标候选区域的外接矩形；

输入模块5162，用于将被跟踪目标区域和外接矩形输入比对神经网络模型；

第三获取模块5163，用于获取最大的目标候选区域得分。

作为一种实现方式，本实施例中目标跟踪装置，如图8所示，更新单元520，包括：

第一更新模块5201，用于定期采用长期更新正样本；

确定模块5202，用于根据被跟踪目标的当前状态，确定得分阈值；

判断模块5203，用于判断最大的目标候选区域得分是否小于得分阈值；若是，则采用短期更新正样本，若否，则采用长期更新正样本；

第二更新模块5204，用于更新被跟踪目标的尺度。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括如下步骤：

根据当前帧图像建立网络跟踪模型；

确定包含被跟踪目标的当前帧图像；

在所述当前帧图像中获取被跟踪目标区域；

获取当前帧的下一帧图像；

在所述下一帧图像中获取多个目标候选区域；

计算所述被跟踪目标区域和每个所述目标候选区域的相似度；

根据所述相似度在多个目标候选区域中确定目标跟踪区域；

在所述目标跟踪区域内确定被跟踪目标；

获取所述被跟踪目标的当前状态。

2.根据权利要求1所述的方法，其特征在于，还包括：根据所述当前状态更新所述网络跟踪模型。

3.根据权利要求1所述的方法，其特征在于，所述在所述下一帧图像中获取多个目标候选区域，包括：

获取所述当前帧图像的正样本和负样本；

检测所述下一帧图像边缘信息；

在所述当前帧图像中检测所述被跟踪目标区域与所述图像边缘信息重合的边缘信息。

4.根据权利要求1所述的方法，其特征在于，所述计算所述被跟踪目标区域和每个所述目标候选区域的相似度，包括：

获取包含每个所述目标候选区域的外接矩形；

将所述被跟踪目标区域和所述外接矩形输入比对神经网络模型；

获取最大的目标候选区域得分。

5.根据权利要求1或2或4所述的方法，其特征在于，根据所述当前状态更新所述网络跟踪模型，包括：

定期采用长期更新所述正样本；

根据所述被跟踪目标的当前状态，确定得分阈值；

判断所述最大的目标候选区域得分是否小于所述得分阈值，若是，则采用短期更新所述正样本，若否，则采用长期更新所述正样本；

更新所述被跟踪目标的尺度。

6.一种权利要求1-5任一项所述目标跟踪装置，其特征在于，包括如下单元：

建立单元，用于根据当前帧图像建立网络跟踪模型；

第一确定单元，用于确定包含被跟踪目标的当前帧图像；

第一获取单元，用于在所述当前帧图像中获取被跟踪目标区域；

第二获取单元，用于获取当前帧的下一帧图像；

第三获取单元，用于在所述下一帧图像中获取多个目标候选区域；

计算单元，用于计算所述被跟踪目标区域和每个所述目标候选区域的相似度；

第二确定单元，用于根据所述相似度在多个目标候选区域中确定目标跟踪区域；

第三确定单元，用于在所述目标跟踪区域内确定被跟踪目标；

第四获取单元，用于获取所述被跟踪目标的当前状态。

7.根据权利要求6所述的装置，其特征在于，还包括：更新单元，用于根据所述当前状态更新所述网络跟踪模型。

8.根据权利要求6所述的装置，其特征在于，所述第三获取单元，包括：

第一获取模块，用于获取所述当前帧图像的正样本和负样本；

第一检测模块，用于检测所述下一帧图像边缘信息；

第二检测模块，用于在所述当前帧图像中检测所述被跟踪目标区域与所述图像边缘信息重合的边缘信息。

9.根据权利要求6所述的装置，其特征在于，所述计算单元，包括：

第二获取模块，用于获取包含每个所述目标候选区域的外接矩形；

输入模块，用于将所述被跟踪目标区域和所述外接矩形输入比对神经网络模型；

第三获取模块，用于获取最大的目标候选区域得分。

10.根据权利要求6或7或9所述的装置，其特征在于，所述更新单元，包括：

第一更新模块，用于定期采用长期更新所述正样本；

确定模块，用于根据所述被跟踪目标的当前状态，确定得分阈值；

判断模块，用于判断所述最大的目标候选区域得分是否小于所述得分阈值；若是，则采用短期更新所述正样本，若否，则采用长期更新所述正样本；

第二更新模块，用于更新所述被跟踪目标的尺度。