CN110473227B - 目标跟踪方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种目标跟踪方法、装置、设备及存储介质。该目标跟踪方法包括：获取视频流中的在前帧图像中的第一边界区域图像；获取视频流中的当前帧图像上与第一边界区域图像的大小相等的第二边界区域图像；对第一边界区域图像和第二边界区域图像进行相关度滤波处理，得到候选坐标；根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像；通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。本申请能够在较低硬件要求的前提下实现在低帧率频流中对目标进行实时精确跟踪。

Description

目标跟踪方法、装置、设备及存储介质

技术领域

本申请涉及目标跟踪技术领域，具体而言，涉及目标跟踪方法、装置、设备及存储介质。

背景技术

目前有很多的业务场景需要对监控视频或者手机视频中的特定目标进行跟踪，比如监控场景下的人脸识别有时需要结合目标的视频序列进行识别而不仅仅是某一帧，而且在视频流中对目标进行跟踪也是一些高阶视觉问题的基础，如行为分析和行为预测等。

现在基于深度学习为基础的跟踪技术主要分为两种，一种是Detection-BasedTracking(DBT，基于探测的跟踪)，这种方法主要是基于目标检测技术，然后通过孪生网络进行目标匹配，这种方式的优点是可以在低帧率下进行精确跟踪，但是比较耗时，无法满足实时性的要求，且硬件成本比较高。另一种方式是Detection-Free Tracking(DFT，无探测跟踪)，这种方法需要用特定的方式进行初始化，然后在后续的视频帧中对目标进行定位，这种方式的优点是这类方法中有很多可以实现实时的方法，且硬件成本较低，但是这类方法对视频的帧率有要求，在低帧率的视频中往往表现很差，而且这类方法有个很明显的短板，无法直接判断目标是否跟丢，也无法判断是否有新的目标出现。

然而，在现实应用场景中，比如监控场景下和手机视频中，这类场景有两个特点，一是视频帧率较低(如摄像头的帧率一般在15fps左右，直接用DFT的方式表现很差)，二是硬件资源紧缺(如果用DBT的方式，非常耗时，无法满足实时性)。现有的DBT和DFT算法均无法实现在上述场景下进行目标的跟踪检测。

因此，如何在低硬件要求下实现低帧率视频中的目标跟踪成为亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供的目标跟踪方法、装置、设备及存储介质，能够在较低硬件要求的前提下实现在低帧率频流中对目标进行实时精确跟踪。

第一方面，本申请实施例提供的一种目标跟踪方法，所述方法包括：获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像；获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同；对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置；根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像；通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。

在上述实现过程中，本申请通过获取视频流中的在前帧图像中的第一边界区域图像和获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，从而只需要在当前帧图像裁剪一个第二边界区域图像，无需裁剪出多个图像，进而可以降低硬件资源开销，进一步地，通过在确定候选坐标后，根据候选坐标在第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像，进而通过所述第一候选区域图像和第二候选区域图像来确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标，从而实现在低帧率频流中对目标进行实时精确跟踪，以及能够准确确定跟踪目标是否消失。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，所述方法还包括：对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，所述当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪。

在上述实现过程中，通过对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，从而可以准确得到当前帧图像中的跟踪目标的位置以及边界框的大小，进而可以更好的应对目标在视频流数据中形态的变化的应用场景，以及提高对跟踪目标的跟踪的精确度。进一步地，通过将当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪，从而可以使本申请能够更好的应对目标在视频流数据中形态的变化的应用场景。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，所述对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，包括：对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数，所述修正参数包括边界框的偏移量；根据所述修正参数确定所述当前帧图像的边界框图像。

在上述实现过程中，通过对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数，所述修正参数包括边界框的偏移量；根据所述修正参数确定所述当前帧图像的边界框图像，从而可以得到跟踪目标的准确位置，实现精准跟踪，进一步的，通过将当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪的边界框图像，可以使本申请能够更好的应对目标在视频流数据中形态的变化的应用场景。

结合第一方面，本申请实施例提供了第一方面的第三种可能的实施方式，所述对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，包括：分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；将所述相关度最大的位置作为候选坐标。

在上述实现过程中，通过分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；将所述相关度最大的位置作为候选坐标。由于将第一特征图和第二特征图中相关度最大的位置作为候选坐标，从而使得可以更加准确的得到两帧图像中关联度最高的候选坐标，以便于对跟踪目标进行实时精确跟踪。

结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，所述通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标，包括：将所述第一候选区域图像和第二候选区域图像进行拼接，得到拼接后的候选特征图；确定所述候选特征图对应的置信度；根据所述置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标。

在上述实现过程中，通过将所述第一候选区域图像和第二候选区域图像进行拼接，得到拼接后的候选特征图；确定所述候选特征图对应的置信度；根据所述置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标，从而可以快速判断是否是同一目标，进而来确定跟踪目标是否消失。

第二方面，本申请实施例提供的一种目标跟踪装置，包括：第一获取单元，用于获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像；第二获取单元，用于获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同；第一处理单元，用于对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置；第二处理单元，用于根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像；目标跟踪单元，用于通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，所述装置还包括：位置处理单元，用于对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，所述当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪。

结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第二种可能的实施方式，所述位置处理单元，还用于：对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数，所述修正参数包括边界框的偏移量；根据所述修正参数确定所述当前帧图像的边界框图像。

结合第二方面，本申请实施例提供了第二方面的第三种可能的实施方式，所述第一处理单元，还用于：分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；将所述相关度最大的位置作为候选坐标。

结合第二方面，本申请实施例提供了第二方面的第四种可能的实施方式，目标跟踪单元，还用于：将所述第一候选区域图像和第二候选区域图像进行拼接，得到拼接后的候选特征图；确定所述候选特征图对应的置信度；根据所述置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标。

第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述目标跟踪方法的步骤。

第四方面，本申请实施例提供的一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的目标跟踪方法。

第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的目标跟踪方法。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例所提供的一种目标跟踪方法的流程图；

图2为实现图1所示的一种目标跟踪方法中的网络的结构示意图；

图3为本申请实施例所提供的另一种目标跟踪方法的流程图；

图4为本申请实施例所提供的一种目标跟踪装置的结构示意图；

图5为本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

现有技术中存在的上述缺陷，本申请人认为均是申请人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下午中本申请实施例针对上述问题所提出的解决方案，都应该是申请人在本申请过程中对本申请做出的贡献。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，是本申请实施例提供的目标跟踪方法的流程图，应理解，图1所示的方法可以通过目标跟踪装置执行，该目标跟踪装置可以与下文中的图5所示的电子设备对应，该电子设备可以是能够执行该方法的各种设备，例如，如个人计算机、智能手机、服务器等，本申请实施例并不限于此，具体包括如下步骤：

步骤S101，获取视频流中的在前帧图像中的第一边界区域图像。

可选地，视频流为低帧率视频流，例如，帧率低于每秒48帧画面频率的视频流即为低帧率视频流。例如，帧率为每秒15帧或每秒5帧的视频流。

可选地，在前帧图像可以是当前帧图像中时间上紧挨着的前一帧，也可以不是时间上挨着的前面的一帧。例如，当前帧为视频流中的第t帧，则在前帧可以是视频流中的第1帧到第t-1帧中的任一帧，例如，在前帧可以是t-1帧，也可以是t-2帧等。其中，t为正整数。

可选地，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像。

可选地，边界框图像的形状为矩形。

可选地，跟踪目标可以人脸，也可以是其他物品，例如，管制刀具，如刀或钢管等。在此，不作具体限定。

当然，在实际使用中，跟踪目标还可以是动物，例如狗或猫等。

可选地，跟踪目标为预先指定的，例如，可以是后台管理员所输入的，也可以是实时定义的。在此，不作具体限定。

可选地，所述第一边界区域图像的面积可以是边界框图像的9倍，即第一边界区域图像的宽和高分别为边界框图像的宽和高的3倍。

当然，在实际使用中，所述第一边界区域图像还可以是边界框图像的1倍、2倍或4倍等。在此，不作具体限定。

在上述实现过程中，通过将在前帧图像中的边界框图像的3倍区域裁剪出来，可以避免由于在低帧率视频中，目标的移动的幅度相对较高导致目标没有被裁剪完全，从而使得所得到的第一边界区域图像中的跟踪目标完整，进而提高目标跟踪的精确度。

步骤S102，获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像。

可选地，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同。即在当前帧图像上将与第一边界区域图像在所述在前帧图像中的区域裁剪出来得到第二边界区域图像。

在上述实现过程中，通过在当前帧图像中将与第一边界区域图像在所述在前帧图像中的区域裁剪出来，并且只需要裁剪一个图像出来即可，从而可以降低硬件资源开销，进一步地，本申请还可以克服现有技术中通过从三个固定比例的边界框(bounding box)中选择分数最高的来得到下一帧的bounding box，而导致无法应对视频中的各种尺度变化的应用场景，从而实现适用于目标在视频中的各种尺度变化的应用场景的技术效果。

步骤S103，对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标。

可选地，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置。

作为一种实施方式，步骤S103包括：分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；将所述相关度最大的位置作为候选坐标。具体地，将所述第一边界区域图像输入预设卷积神经网络(Convoluted Neural Network,CNN)，得到第一特征图(feature map1)，将所述第二边界区域图像输入同一个CNN，得到第二特征图(feature map2)，将第一特征图和第二特征图进行相关滤波，得到分数图，其中，将分数图中分数值最大的位置作为候选区域的位置，即候选坐标。

可选地，第一特征图和第二特征图在以数据格式显示时，以多维向量/矩阵的形式显示。

例如，可以用5*5的向量/矩阵来表征该第一特征图和第二特征图。

应理解，上述举例仅为示例而非限定。

可选地，可以通过相关滤波算法对所述第一特征图与所述第二特征图进行相关度滤波处理。例如，可以通过相关滤波跟踪(MOSSE，Minimum Output Sum of Squared Errorfilter)或ASEF相关滤波器(Average of Synthetic Exact Filters，合成精确滤波器的平均值)对所述第一特征图与所述第二特征图进行相关度滤波处理，以得到第一特征图和第二特征图中相关度最大的位置。

在上述实现过程中，通过分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；将所述相关度最大的位置作为候选坐标。由于将第一特征图和第二特征图中相关度最大的位置作为候选坐标，从而使得可以更加准确的得到两帧图像中关联度最高的候选坐标，以便于对跟踪目标进行实时精确跟踪。

步骤S104，根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像。

作为一种实施方式，以候选坐标为中心以边界框图像为大小确定候选区域；用候选区域在第一特征图上进行裁剪，得到第一候选区域图像(feature1)；用候选区域在第二特征图进行裁剪，得到第二候选区域图像(feature2)。

可选地，候选区域也可以称之为感兴趣的区域(Regions of Interest，ROI)。

可选地，用候选区域在第一特征图上进行裁剪，得到第一候选区域图像，包括：在第一特征图上以选坐标为中心，裁剪出与边界框图像大小相同的第一图像，将第一图像的尺寸调整到预设尺寸，得到第一候选区域图像。

其中，预设尺寸是指预先设定好的图像尺寸。

可选地，预设尺寸的设置可以根据用户需求进行设置，在此，不作具体限定。

举例来说，假设候选坐标为(x，y)，边界框图像的大小为3*3，则在第一特征图上先找到坐标为(x，y)的点，再以该点为中心，裁剪出一个3*3大小的区域，将该区域作为第一候选区域图像。

其中，第二候选区域图像的具体实施过程可以参照上述得到第一候选区域图像的具体实现过程，在此，不再赘述。

可选地，第一候选区域图像和第二候选区域图像在以数据格式显示时，以一维向量/矩阵的形式显示。

例如，可以显示为1*1024的向量/矩阵的形式来表征该第一候选区域图像和第二候选区域图像。

应理解，上述举例仅为示例而非限定。

步骤S105，通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。

作为一种实施方式，步骤S105包括：将所述第一候选区域图像和第二候选区域图像进行拼接，得到拼接后的候选特征图；确定所述候选特征图对应的置信度；根据所述置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标。

可选地，拼接是指将第一候选区域图像和第二候选区域图像进行首尾连接。即将第二候选区域图像连接在第一候选区域图像后面。

可选地，确定所述候选特征图对应的置信度，包括：将所述候选特征图输入全连接层，得到所述候选特征图对应的置信度。

可选地，所述全连接层为预先训练的，全连接层用于计算输入的候选特征图的置信度。

当然，在实际使用中，也可以基于全局平均池化来得到候选特征图对应的置信度。在此，不作具体限定。

继续以上述例子来说，假设第一候选区域图像和第二候选区域图像均为1*1024的向量/矩阵，则将第一候选区域图像和第二候选区域图像进行拼接是指，将第二候选区域图像的第一位数据拼接在第一候选区域图像的最后一位后面，得到1*2048的向量/矩阵。例如，假设第一候选区域图像为(a0，a1，a2……a1023)，第二候选区域图像为(b0，b1，b2……b103)，得到的拼接后的候选特征图为(a0，a1，a2……a1023，b0，b1，b2……b1023)。

应理解，上述仅为示例而非限定。

可选地，根据所述置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标，包括：将所述置信度与预设阀值进行比较，当所述置信度大于或等于预设阀值时，判定当前帧图像中的跟踪目标与所述在前帧图像中的所述跟踪目标为同一目标。反之，当所述置信度小于预设阀值时，判定当前帧图像中的跟踪目标与所述在前帧图像中的所述跟踪目标不为同一目标。

可选地，预设阀值的设置可以根据用户需求来设定，在此，不作具体限定。

例如，预设阀值可以是小数，如0.8或0.9，当然，也可以是百分数，如90％。

应理解，上述仅为示例而非限定。

在上述实现过程中，通过将所述第一候选区域图像和第二候选区域图像进行拼接，得到拼接后的候选特征图；确定所述候选特征图对应的置信度；根据所述置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标，从而快速判断是否是同一目标，进而来确定跟踪目标是否消失。

当然，在实际使用中，也可以不将第一候选区域图像和第二候选区域图像进行拼接，具体地，分别确定第一候选区域图像和第二候选区域图像所对应的第一置信度和第二置信度，根据所述第一置信度和第二置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标。

在一可能的实施例中，所述方法还包括：在判定当前帧图像中的跟踪目标与所述在前帧图像中的所述跟踪目标不为同一目标后，发送反馈信息。

可选地，反馈信息包括用于表征跟踪目标已经消失的描述信息。

当然，在实际使用中，反馈信息还可以包括用于表征跟踪目标消失的具体原因的描述信息。在此，不作具体限定。

在上述实现过程中，通过发送反馈信息，可以使得在目标消失后能够给出相应的反馈信息，以使用户快速获知跟踪目标已经消失。

在一可能的实施例中，所述方法还包括：对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，所述当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪。

可选地，修正后确定的当前帧图像的边界框图像的大小可以等于在前帧图像中的边界框图像的大小。也可以是当前帧图像的边界框图像的大小小于在前帧图像中的边界框图像的大小。

当然，在实际使用中，当前帧图像的边界框图像的大小也可以大于在前帧图像中的边界框图像的大小。在此，不作具体限定。

可选地，在后帧是指当前帧中时间上紧挨着的下一帧，也可以不是时间上挨着的后面的一帧。

继续以上述例子为例，假设当前帧为视频流中的第t帧，则在后帧可以是该视频流中第t帧后的任一帧，例如，该在后帧可以是t+1帧，也可以是t+2帧等。

在上述实现过程中，通过对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，从而可以准确得到当前帧图像中的跟踪目标的位置以及边界框的大小，进而可以更好的应对目标在视频流数据中形态的变化的应用场景，以及提高对跟踪目标的跟踪的精确度。进一步地，通过将当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪。

可选地，对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，包括：对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数，所述修正参数包括边界框的偏移量；根据所述修正参数确定所述当前帧图像的边界框图像。

可选地，可以基于预先训练好的全连接层对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数。具体地，将第二候选区域图像输入预先训练好的全连接层，输出边界框的修正参数。

举例来说，假设边界框为矩形，在前帧图像中的边界框的左上角点的坐标为(x1，y1)，右下角点的坐标为(x2，y2)，将第二候选区域图像输入预先训练好的全连接层，输出边界框的修正参数为：d_x1，d_y1，d_x2，d_y2。则根据偏移量对第二候选区域图像进行修正，即将当前帧中的第二候选区域图像的边界框的位置进行修正，得到修正后的当前帧图像的边界框图像的左上角点的坐标为(x1+d_x1，y1+d_y1)，右下角点的坐标为(x2+d_x2，y2+d_y2)。

在上述实现过程中，通过对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数，所述修正参数包括边界框的偏移量；根据所述修正参数确定所述当前帧图像的边界框图像，从而可以得到跟踪目标的准确位置，实现精准跟踪，进一步的，通过将当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪的边界框图像，可以使本申请能够更好的应对目标在视频流数据中形态的变化的应用场景。

举例来说，在当前时刻，当前帧为跟踪目标的分析帧，而在当前时刻的下一时刻，当前帧就作为了在前帧，而在后帧就作为了新的当前帧，从而按照时间节点来决定哪一帧为在前帧，哪一帧为当前帧，哪一帧为在后帧。而随着时间的变化，每帧中的边界框可能会发生变化。

在上述实现过程中，通过得到修正后的边界框图像，使得在持续跟踪时，能够将当前帧中的边界框图像作为在后帧目标跟踪时的在前帧图像，进而能够获取到准确的第一边界区域图像，从而通过循环执行步骤S101至步骤S105来完成对视频流中所有帧的目标跟踪，且在跟踪过程中，通过使用在前帧的边界框图像来完成目标跟踪，并在跟踪完成时，修正当前帧中的边界框图像的位置，进而使得目标跟踪更加精确以及提高了跟踪的实时性。

作为一种实施方式，通过在候选区域周围生成多个固定大小的格子(anchor)，确定每个anchor对应的置信度(faceness)，从多个置信度中获取最高的置信度所对应的格子作为当前帧图像中边界框的位置。

可选地，格子的大小可以根据用户需求或跟踪目标的大小进行设置，在此，不作具体限定。

上文结合图1描述了本申请实施例中目标跟踪方法，下面，以人脸为跟踪目标来进行描述，作为示例而非限定，下面结合图2与图3对本申请实施例中的目标跟踪方法进行详细的描述。如图3所示的方法包括：

步骤S201，定时检测人脸。

可选地，通过对在前帧图像进行人脸检测来确定跟踪目标。

例如，基于DPM(Deformable Parts Model，可变形零件模型)目标检测算法或者是基于卷积神经网络来进行人脸检测并确定跟踪目标。

应理解，上述仅为示例而非限定。

可选地，在确定跟踪目标后，将包括跟踪目标的第一边界区域图像裁剪出来。其中，具体实施过程，可以参照步骤S101，在此，不作具体限定。

步骤S202，提取特征更新相关滤波算法模版。

可选地，对检测出的人脸用CNN提取出第一特征图和第二特征图。

可选地，如果第一特征图和第二特征图是在对低帧率视频流进行第一次人脸检测时所得到，此时利用第一特征图和第二特征图初始化相关滤波器(Correlation Filters，CF)的模版。

可选地，如果是在判断所述第t+1帧图像中的跟踪目标是与所述第t帧图像中的跟踪目标为同一目标时，所返回的第一特征图和第二特征图，则用返回的第一特征图和第二特征图更新相关滤波算法模版。

可选地，通过CNN分别提取输入的第一边界区域图像和所述第二边界区域图像的第一特征图和第二特征图。

举例来说，如图2所示，分别将从第t帧目标区域(即上文的第一边界区域图像)和第t+1帧目标区域(即上文的第二边界区域图像)输入同一CNN，分别得到第一特征图和第二特征图。

步骤S203，得到候选区域。

举例来说，如图2所示，分别将从第t帧目标区域得到的第一特征图和从第t+1帧目标区域得到的第二特征图输入CF进行相关度滤波处理，得到分数图(ScoresMap)，将分数图中分数值最大的位置作为候选区域的位置，即候选坐标，以候选坐标为中心以在前帧图像中的边界框图像的大小确定候选区域的大小。

即，在后续的视频帧中，利用CNN抽取特征并结合相关滤波算法对跟踪目标进行重新定位，得到跟踪目标的候选区域。

步骤S204，修正边界框图像。

可选地，利用CNN对相关滤波算法得到的修正参数对边界框图像进行修正。其具体实现过程可以参照上文对第二候选区域图像进行修正处理的具体实现过程，在此，不作具体限定。

继续以上述例子为例来说，如图2所示，在第一特征图上以选坐标为中心，裁剪出与边界框图像大小相同的第一图像，将第一图像的尺寸调整到预设尺寸，得到第一候选区域图像，在第二特征图上以选坐标为中心，裁剪出与边界框图像大小相同的第二图像，将第二图像进行尺寸调整(ROIpooling，感兴趣的区域池化)，即将第二图像的尺寸调整到预设尺寸，得到第二特征图。第一候选区域图像后面接全连接层(Full Connection Layer，FC)做边界框修正，以确定所述第t+1帧图像的边界框图像。将第一候选区域图像与第二候选区域图像拼接然后接FC得到置信度，根据置信度判断所述第t+1帧图像中的跟踪目标是否与所述第t帧图像中的跟踪目标为同一目标。

步骤S205，是否为跟踪目标。

可选地，将所述置信度与预设阀值进行比较，当所述置信度大于或等于预设阀值时，判定当前帧图像中的跟踪目标与所述在前帧图像中的所述跟踪目标为同一目标。反之，当所述置信度小于预设阀值时，判定当前帧图像中的跟踪目标与所述在前帧图像中的所述跟踪目标不为同一目标。

其中，具体实施过程，可以参照上文，在此，不再赘述。

可选地，如果判定结果为跟踪目标，即重新执行步骤S202，即，当前帧图像中的跟踪目标与所述在前帧图像中的所述跟踪目标为同一目标，则用修正的边界框在第二候选区域图像中抽取出目标的特征用以更新相关滤波算法模板，更新模板可以使相关滤波算法更好的应对目标在视频流数据中形态的变化；如果判定结果为不是跟踪目标，则目标消失。

重复执行步骤S203至步骤S205，当视频中跟踪目标消失时，重新跳至步骤S202。

步骤S206，视频是否结束。

可选地，在视频没有结束时，重复执行步骤S201至步骤S205，直到视频结束。

可选地，视频结束可以是指不再监测，或者是监测完成。在此，不作具体限定。

在上述实现过程中，由于本申请实施例所提供的目标跟踪方法使用的网络模型很小，对硬件要求很低，因此，容易移植到一些资源紧缺的电子设备上。

本申请实施例所提供的目标跟踪方法，通过获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像；获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同；对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置；根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像；通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。从而使本申请可以在降低硬件资源开销的前提下，实现在低帧率频流中对目标进行实时精确跟踪的技术效果。

请参阅图4，图4示出了采用图1所示的目标跟踪方法一一对应的目标跟踪装置，应理解，该装置300与上述图1至图3方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置300具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置300包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置300的操作***(operating system，OS)中的软件功能模块。具体地，该装置300包括：

第一获取单元310，用于获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像；

第二获取单元320，用于获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同；

第一处理单元330，用于对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置；

第二处理单元340，用于根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像；

目标跟踪单元350，用于通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。

在一可能的实施例中，所述装置300还包括：位置处理单元，用于对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，所述当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪。

可选地，所述位置处理单元，还用于：对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数，所述修正参数包括边界框的偏移量；根据所述修正参数确定所述当前帧图像的边界框图像。

可选地，所述第一处理单元330，还用于：分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；将所述相关度最大的位置作为候选坐标。

可选地，目标跟踪单元350，还用于：将所述第一候选区域图像和第二候选区域图像进行拼接，得到拼接后的候选特征图；确定所述候选特征图对应的置信度；根据所述置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标。

本申请还提供一种电子设备，图5为本申请实施例中的电子设备400的结构框图，如图5所示。电子设备400可以包括处理器410、通信接口420、存储器430和至少一个通信总线440。其中，通信总线440用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口420用于与其他节点设备进行信令或数据的通信。处理器410可以是一种集成电路芯片，具有信号的处理能力。

上述的处理器410可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器410也可以是任何常规的处理器等。

存储器430可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。存储器430中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器410执行时，电子设备400可以执行上述图1至图3方法实施例涉及的各个步骤。

所述存储器430和处理器410各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线440实现电性连接。所述处理器410用于执行存储器430中存储的可执行模块，例如装置300包括的软件功能模块或计算机程序。并且，装置300用于执行下述方法：获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像；获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同；对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置；根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界图像大小相等的第一候选区域图像和第二候选区域图像；通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。

可选地，电子设备500可以是个人计算机、智能手机、服务器、电脑等设备。

可以理解，图5所示的结构仅为示意，所述电子设备400还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。

本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种目标跟踪方法，其特征在于，所述方法包括：

获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像；

获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同；

对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置；

根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界框图像大小相等的第一候选区域图像和第二候选区域图像；

通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，所述当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪。

3.根据权利要求2所述的方法，其特征在于，所述对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，包括：

对所述第二候选区域图像进行边界框修正处理，得到边界框的修正参数，所述修正参数包括边界框的偏移量；

根据所述修正参数确定所述当前帧图像的边界框图像。

4.根据权利要求1所述的方法，其特征在于，所述对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，包括：

分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；

对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；

将所述相关度最大的位置作为候选坐标。

5.根据权利要求1所述的方法，其特征在于，所述通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标，包括：

将所述第一候选区域图像和所述第二候选区域图像进行拼接，得到拼接后的候选特征图；

确定所述候选特征图对应的置信度；

根据所述置信度确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的所述跟踪目标为同一目标。

6.一种目标跟踪装置，其特征在于，包括：

第一获取单元，用于获取视频流中的在前帧图像中的第一边界区域图像，所述第一边界区域图像包括所述在前帧图像的边界框图像，所述在前帧图像的边界框图像包括跟踪目标的图像；

第二获取单元，用于获取所述视频流中的当前帧图像上与所述第一边界区域图像的大小相等的第二边界区域图像，所述第二边界区域图像在所述当前帧图像中的位置与所述第一边界区域图像在所述在前帧图像中的位置相同；

第一处理单元，用于对所述第一边界区域图像和所述第二边界区域图像进行相关度滤波处理，得到候选坐标，所述候选坐标为所述第一边界区域图像和所述第二边界区域相关度最高的位置；

第二处理单元，用于根据所述候选坐标分别确定所述第一边界区域图像和所述第二边界区域图像中与所述边界框图像大小相等的第一候选区域图像和第二候选区域图像；

目标跟踪单元，用于通过所述第一候选区域图像和第二候选区域图像，确定所述当前帧图像中的跟踪目标是否与所述在前帧图像中的跟踪目标为同一目标。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

位置处理单元，用于对所述第二候选区域图像进行修正处理，以确定所述当前帧图像的边界框图像，所述当前帧图像的边界框图像用于确定所述当前帧图像的在后帧图像的目标跟踪。

8.根据权利要求6所述的装置，其特征在于，所述第一处理单元，还用于：

分别将所述第一边界区域图像和所述第二边界区域图像输入同一预设卷积神经网络，得到第一特征图和第二特征图，所述预设卷积神经网络为预先训练好的卷积神经网络；

对所述第一特征图与所述第二特征图进行相关度滤波处理，得到相关度最大的位置；

将所述相关度最大的位置作为候选坐标。

9.一种电子设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的目标跟踪方法的步骤。

10.一种存储介质，其特征在于，所述存储介质用于存储指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至5任一项所述的目标跟踪方法。

Images