CN110853076B - 一种目标跟踪方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种目标跟踪方法、装置、设备及存储介质，涉及视觉追踪技术领域。该方法包括：获取待检测帧图像；其中，所述待检测帧图像中包含有跟踪框，所述跟踪框所框选的图像区域为跟踪目标；根据所述待检测帧图像，获取目标检测框，所述目标检测框所框选的图像区域为检测目标；根据所述目标检测框所框选的图像区域，判断其是否满足预设的跟踪需求，若满足，则：对所述跟踪框进行更新，将所述目标检测框所框选的图像作为当前跟踪目标。相对于现有技术，避免了小目标难识别，易跟丢的问题。

Description

一种目标跟踪方法、装置、设备及存储介质

技术领域

本申请涉及视觉追踪技术领域，具体而言，涉及一种目标跟踪方法、装置、设备及存储介质。

背景技术

视觉目标跟踪是计算机视觉中的一个重要研究方向,有着广泛的应用，如：视频监控，人机交互，无人驾驶等。

现有技术的目标跟踪是在图像序列中，先根据检测算法检测到目标，对目标进行准确的定位，然后在目标移动的过程中不断更新目标的运动信息，从而实现对目标的持续跟踪。

但是由于现有技术仅通过跟踪算法对目标进行跟踪，在跟踪过程中若光线不佳、目标发生旋转、目标被遮蔽时，非常容易出现目标跟丢的情况，致使无法完成有效准确的跟踪效果。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种目标跟踪方法、装置、设备及存储介质，以解决现有技术中跟踪过程中容易出现目标跟丢的问题。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请一实施例提供了一种目标跟踪方法，所述方法包括：

获取待检测帧图像；其中，所述待检测帧图像中包含有跟踪框，所述跟踪框所框选的图像区域为跟踪目标；

根据所述待检测帧图像，获取目标检测框，所述目标检测框所框选的图像区域为检测目标；

根据所述目标检测框所框选的图像区域，判断其是否满足预设的跟踪需求，若满足，则：对所述跟踪框进行更新，将所述目标检测框所框选的图像作为当前跟踪目标。

采用本申请提供的目标跟踪方法，可以在跟踪过程中，获取目标检测框，对获取的目标检测框是否满足预设的跟踪需求，若满足，则对跟踪框进行更新，将目标检测框所框选的图像作为当前跟踪目标，由于在跟踪过程中将跟踪算法和检测算法相结合，采用目标检测框对跟踪框进行更新，将目标检测框所框选的图像作为当前跟踪目标，跟踪框对当前跟踪目标进行跟踪，实现了目标跟踪过程中的动态跟踪，所以提高了小目标跟踪的跟踪效果，降低了小目标跟踪丢失的情况。

第二方面，本申请另一实施例提供了一种目标跟踪装置，所述装置包括：获取模块、判断模块和更新模块，其中：

所述获取模块，用于获取待检测帧图像；其中，所述待检测帧图像中包含有跟踪框，所述跟踪框所框选的图像区域为跟踪目标；根据所述待检测帧图像，获取目标检测框，所述目标检测框所框选的图像区域为检测目标；

所述判断模块，用于根据所述目标检测框所框选的图像区域，判断其是否满足预设的跟踪需求；

所述更新模块，用于若满足，则：对所述跟踪框进行更新，将所述目标检测框所框选的图像作为当前跟踪目标。

第三方面，本申请另一实施例提供了一种目标跟踪设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当目标跟踪设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面任一所述方法的步骤。

第四方面，本申请另一实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。

本申请的有益效果是：采用本申请提供的目标跟踪方法，可以对获取的目标检测框是否满足预设的跟踪需求，若满足，则对跟踪框进行更新，将目标检测框所框选的图像作为当前跟踪目标，由于在跟踪过程中采用目标检测框对跟踪框进行更新，并根据更新后的跟踪框对跟踪目标继续跟踪，所以提高了小目标跟踪的跟踪效果，降低了小目标跟踪丢失的情况。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的目标跟踪方法的流程示意图；

图2为本申请另一实施例提供的目标跟踪方法的流程示意图；

图3为本申请另一实施例提供的目标跟踪方法的流程示意图；

图4为本申请一实施例提供的目标跟踪装置的结构示意图；

图5为本申请另一实施例提供的目标跟踪装置的结构示意图；

图6为本申请另一实施例提供的目标跟踪装置的结构示意图；

图7为本申请一实施例提供的目标跟踪设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

本申请下述各实施例所提供的目标跟踪方法、装置、设备以及存储介质等，可应用于基于计算机视觉领域的目标跟踪，例如采用飞行器的高空视角监控场景，或者，地面摄像头的监控场景等。

图1为本申请一实施例提供的一种目标跟踪方法的流程示意图，该目标跟踪方法可由具有图像处理能力的计算机设备执行。该计算机设备例如可以为安装有目标跟踪应用的终端或服务器。如图1所示，该方法可包括：

S101：获取待检测帧图像。

其中，待检测帧图像中包含有跟踪框，跟踪框所框选的图像区域为跟踪目标。

本申请所提供的各方案中，可根据跟踪框，采用预设跟踪算法对跟踪目标进行跟踪。其中，预设跟踪算法可以为高效的卷积操作的跟踪算法(Efficient ConvolutionOperators for Tracking，ECO)。采用ECO算法进行目标跟踪，可提高目标跟踪的速度，可应用于针对大多数对象的追踪，满足不同对象的视觉挑战。当然，该跟踪框还可以是采用其它的跟踪算法进行得到的，本申请在此不再赘述。

需要指出的是，该跟踪目标可以为基于用户操作所选择的跟踪目标，也可以为预设的跟踪目标，或者，还可以是采用其它的方式所确定的跟踪目标，本申请不对此进行限制。

该跟踪目标可以为车辆、人物或者其它进行跟踪的可移动目标。

S102：根据待检测帧图像，获取目标检测框，目标检测框所框选的图像区域为检测目标。

其中，该方法中，可采用预设的检测算法，对待检测帧图像进行检测，以生成该待检测帧图像上的目标检测框。待检测帧图像中可能存在至少一个目标检测框。该待检测帧图像中的目标检测框的个数可与检测目标的个数相关，若该检测目标为一个，则该待检测帧图像中可具有一个目标检测框；若该检测目标为多个，则该待检测帧图像中可具有多个目标检测框，每个目标检测框所框选的图像区域均为一个检测目标。

S103：根据目标检测框所框选的图像区域，判断其是否满足预设的跟踪需求。

如上所示的目标检测框所框选的图像区域为检测目标，因此该步骤S103可以为判断该检测目标是否满足预设的跟踪需求。

该预设的跟踪需求可以为根据上述跟踪目标进行得到的。例如可以为判断该目标检测框所框选的图像区域中该检测目标的形状是否与预设的跟踪目标的形状相似，若相似，则可确定该检测目标满足该跟踪需求；反之，若不相似，则可确定该检测目标不满足该跟踪需求。其中，形状相似可以包括：形状相同，或者，形状的差异参数小于或等于预设的差值。

需要指出的是，在跟踪需求还可以为其它的一些跟踪需求，例如基于该跟踪目标的其它参数所确定的需求，上述仅为示例说明，本申请不对此限制。

若满足，则执行下述S104；反之，若不满足，返回继续执行上述S102-S103。

S104：对跟踪框进行更新，将目标检测框所框选的图像作为当前跟踪目标。

若检测目标满足预设的跟踪需求，可将该待检测帧图像中跟踪框更新至该检测框所在的位置，使得，该更新后的跟踪框所框选的图像即为该目标检测框所框选的图像，继而将该目标监测框所框选的图像确定为当前跟踪目标，实现了跟踪框的更新。

可选地，如上所述的对跟踪框的更新可以为：每间隔预设个数帧，便根据待检测帧图像，获取满足预设的跟踪需求的目标检测框，并根据目标检测框对跟踪框进行更新。在本申请的一个实施例中，将预设个数帧设置可以为90帧，即每间隔90帧，便执行上述S102-S104一次，以根据满足预设的跟踪需求的目标检测帧对跟踪框进行一次更新。预设个数帧的帧数越小，间隔时间越短，使得跟踪框的更新频率越高，其目标跟踪效果越好，但更新的越频繁会使得跟踪设备的功耗越大；然而，帧数越大，间隔时间越长，会使得跟踪框的更新频率越低，很容易出现目标丢失。因此，在本申请中，将预设个数帧设置为90帧，可在保证跟踪框更新频率，避免目标丢失的情况下，不会造成的跟踪过程中功耗过大。

需要指出的是，具体的帧数设置并不以此为限，具体的帧数设置可以根据实际的跟踪需求进行调整，本申请在此不做任何限制。

由于单纯采用跟踪算法进行目标跟踪的过程中，移动中的跟踪目标可能由于遮挡等，会造成跟踪框的丢失，从而使得目标消失。假设，若跟踪目标为汽车，汽车在转弯过程中在待检测帧图像上的大小相对于正常驾驶的情况会发生变化，但是待检测帧图像上跟踪框的大小通常是固定的，若跟踪框没有改变，若汽车在待检测帧图像上的大小与跟踪框的大小差别较大时，会使得跟踪框框选的图像区域，不仅仅是跟踪目标，还包括其他的信息，会使得跟踪目标不具有针对性，从而造成目标丢失；也可能会使得跟踪框框选的图像区域仅为跟踪目标的部分，即跟踪框框不住跟踪目标，也会造成目标丢失。又或者，作为跟踪目标的目标汽车被遮挡后，在该检测帧图像中实际没有目标汽车，该跟踪框所框选的图像区域实际并非目标汽车，即在遮挡时间内，并没有采用该跟踪框跟踪目标汽车。在遮挡时间过后，跟踪框的位置相对于遮挡前没有改变，若遮挡时间较长，可能造成跟踪目标丢失。

而本申请实施例所提供的目标跟踪方法，可在采用跟踪框，对跟踪目标进行跟踪的过程中，还对该检测帧图像进行目标检测，以获取该检测帧图像的目标检测框，实现了跟踪算法与检测算法的结合，若该目标检测框所框选的图像区域满足预设的跟踪需求，则对跟踪框进行更新，将该目标检测框所框选的图像作为当前跟踪目标，实现了目标跟踪过程中的动态跟踪，可有效避免跟踪框丢失，造成的目标丢失。

本申请提出跟踪算法和检测算法相结合，以提高跟踪过程中的跟踪效果。其中，该跟踪算法可以为ECO跟踪算法，检测算法可以为Tiny YOLOv3检测算法，在目标跟踪过程中，将ECO跟踪算法和Tiny YOLOv3检测算法结合，可有效提升目标跟踪效果，尤其是针对小目标跟踪的效果。

在一些可能的实现示例中，可将跟踪算法和检测算法集成在嵌入式平台TX2上，可实现实时(30fps，即每秒30帧)的小目标的实时跟踪。其中，小目标可以为像素值40*20、或者，像素值50*30的目标。当然，小目标仅为该目标跟踪方法可实现实时跟踪的最小像素尺寸的目标，除了小目标的实时跟踪之外，还可实现其他像素尺寸的目标的实时跟踪，本申请对此不进行限制。

采用本申请提供的目标跟踪方法，可以在跟踪过程中，获取目标检测框，对获取的目标检测框是否满足预设的跟踪需求，若满足，则对跟踪框进行更新，将目标检测框所框选的图像作为当前跟踪目标，由于在跟踪过程中将跟踪算法和检测算法相结合，采用目标检测框对跟踪框进行更新，将目标检测框所框选的图像作为当前跟踪目标，跟踪框对当前跟踪目标进行跟踪，实现了目标跟踪过程中的动态跟踪，所以提高了小目标跟踪的跟踪效果，降低了小目标跟踪丢失的情况。

可选地，如上方法中所示的S102可包括：若根据待检测帧图像，获取到多个检测框，则：从多个检测框中，选出与该跟踪框距离最近的检测框作为目标检测框。

其中，检测框和跟踪框可以为任意形状。以矩形为例，即检测框和跟踪框均为矩形，那么，可根据检测框和跟踪框的中心距离，确定该检测框和跟踪框的距离。

若采用预设的检测算法，对该待检测帧图像进行检测处理，得到多个检测框，可从该多个检测框，确定一个检测框作为目标检测框。该方法中，在多个检测框中，由于距离该跟踪框最近的检测框所框选的图像区域与跟踪目标的相似度最高，所以选择与该跟踪框距离最近的检测框作为目标监测框，可保证选择的目标检测框更准确。

并且，该方法中，从该多个检测框中选择该目标检测框后，继而判断该目标检测框所框选的图像区域是否满足预设的跟踪需求，若满足预设的跟踪需求，则进行跟踪框的更新，不仅可使得更新后的跟踪框更准确，避免目标丢失，还可减少跟踪过程中的计算量，减少功耗。

在其它的一些可能的实现方式中，也可不从多个检测框进行目标检测框的选择，对于每个检测框，均执行上述S103判断每个检测框是否满足预设的跟踪需求，继而在检测框框选的图像区域满足预设跟踪需求的情况下，进行跟踪框的更新，避免跟踪目标丢失。

可选地，如上所示的对跟踪框的更新可以包括：对跟踪框大小和/或位置的更新。

举例说明，在本申请的一个实施例中，对跟踪框的更新过程为：根据该待检测帧图像上该目标检测框的位置，对待检测帧图像上跟踪框的位置进行更新，使得更新后的跟踪框的位置与目标检测框的位置相同；根据目标检测框的大小，对待检测帧图像上跟踪框的大小进行更新，使得更新后的跟踪框的大小与目标检测框的大小相同，但是具体对跟踪框的更新并不以此实施例给出的举例为限，本申请对此不作任何限制。

可选地，在如上所示的方法中S101获取检测帧图像之前，该方法还包括：检测触发操作，该触发操作包括：调整操作和/或重找回操作。

在一种示例中，可对当前帧图像中的跟踪框进行检测，以确定该跟踪框所框选的图像区域的置信度，继而根据置信度，检测触发操作。在其它的示例中，还可根据预设的时间间隔，检测触发操作，或者，根据预设间隔帧数，检测触发操作。

假设，若采用置信度检测触发操作，该跟踪框所框选的图像区域的置信度为预设的调整置信度，则可确定检测到调节操作，执行下述调整操作对应的处理操作，其中，预设的调整置信度即为预设最大置信度。反之，若该跟踪框所框选的图像区域的置信度为预设的重找回置信度，则可确定检测到重找回操作，则执行下述重找回操作对应的处理操作，其中，若置信度不是预设最大置信度，则为重找回置信度。

该跟踪框所框选的图像区域的置信度可用于表示该跟踪框对该跟踪目标的跟踪状态。置信度为预设最大置信度时，表示该跟踪框对该跟踪目标的跟踪状态较好，跟踪框所框选的图像区域即为跟踪目标。反之，置信度越低，表示该跟踪框对该跟踪目标的跟踪状态较差，甚至目标可能已经丢失。

在一种实现方式中，若检测到的触发操作为调整操作，则获取当前帧图像为待检测帧图像，根据当前帧图像，确定目标检测框。

一旦基于当前帧图像检测到调整操作，便可确定该当前帧图像为检测帧图像，执行上述S102中确定目标检测框、上述S103判断是否满足预设的跟踪需求等操作，若满足，则继续执行上述S104进行跟踪框的更新。

当检测到调整操作，则一种具体的实现中，可在目标追踪的过程中，采用(Artificial Intelligence，AI)检测框进行辅助跟踪，即在当前帧图像中的检测框为AI检测框，可从当前帧图像的检测框中选择满足预设要求的检测框作为跟踪框。该预设要求例如可以与当前跟踪框的距离最近。在该实施方式中，可不对检测框进行模板匹配。

在另一种具体的实现中，可在目标跟踪的过程，从当前帧图像的检测框中选择满足预设要求的检测框作为跟踪框，其中，该预设要求为与当前跟踪框的距离最近。在该实施方式中，还可以进一步对检测框进行模板匹配，以确定检测框所框选的图像区域的响应值是否满足预设的跟踪需求。

示例地，在每间隔预设个数帧对跟踪框的两次更新间隔的过程中，根据该跟踪框采用跟踪算法进行跟踪。具体地，可采用跟踪算法，基于跟踪模板对当前帧图像中的跟踪框进行模板匹配，确定当前帧图像中跟踪框的响应值(peak_value)，根据跟踪框的响应值，以及预设的响应区间段与置信度的对应关系，确定当前帧图像中跟踪框的置信度，若跟踪框的置信度为预设最大置信度，则可确定检测到的触发操作为调整操作，则确定当前帧图像为待检测帧图像，并根据当前帧图像，确定目标检测框，即根据该当前帧图像中的跟踪框采用跟踪算法对跟踪目标进行继续跟踪。

其中，跟踪框所框选的图像区域的响应值可以为采用跟踪算法，对该跟踪框所框选的图像进行处理得到的，可用于确定当前帧图像中跟踪框的置信度。跟踪框的置信度为响应值所在的响应区间段对应的置信度，若大于或等于预设阈值，则确定满足跟踪需求；若小于预设阈值，则确定不满足跟踪需求。不同的响应区间段对应不同的置信度，置信度用于表示当前的跟踪框对跟踪目标的跟踪情况，在本申请的一个实施例中，置信度包括：255、128和0，其中，255为预设最大置信度，即调整置信度，可表示当前帧图像中跟踪框的跟踪状态较好，可以继续跟踪；128为预设的重找回置信度，可表示当前帧图像中跟踪框的跟踪效果不佳，需要对跟踪框进行调整；0为预设丢失置信度，可表示当前帧图像中跟踪框的跟踪状态较差，跟踪目标已丢失，需要重新选择跟踪目标或进入重找回操作，重新开始跟踪。响应区间段和置信度的匹配关系根据用户需要设置，只要能清楚地划分开各区间段与置信度的对应关系即可，本申请在此不做任何限制。

在另一种实现方式中，若触发操作为重找回操作，则获取第一预设帧数的图像，根据第一预设帧数的图像，确定待检测帧图像和目标检测框。

若检测到的触发操作为重找回操作，则根据第一预设帧数的图像，确定待检测帧图像和目标检测框，确定在目标检测框后，便可继续执行上述S102中确定目标检测框、上述S103判断是否满足预设的跟踪需求等操作，若满足，则继续执行上述S104进行跟踪框的更新，实现了跟踪框的重找回，继而实现跟踪目标的重找回。

在一些可能的实现方式，如所示的目标跟踪方法中，判断检测框是否满足预设的跟踪需求，可包括：判断检测框所框选的图像区域的响应值是否大于或等于预设阈值，若大于或等于预设阈值，则确定满足跟踪需求；若小于预设阈值，则确定不满足跟踪需求。

在具体实现过程中，可根据预设的检测模板对该检测框所框选的图像区域进行匹配，得到该检测框所框选的图像区域的响应值，继而基于该检测框所框选的图像区域的响应值，确定该检测框是否满足预设的跟踪需求。

在另一些可能的实现方式，如所示的目标跟踪方法中，判断跟踪框是否满足预设的跟踪需求，可包括：根据判断追踪框所框选的图像区域的响应值是否大于或等于预设阈值，若大于或等于预设阈值，则确定满足跟踪需求；若小于预设阈值，则确定不满足跟踪需求。

在具体实现过程中，可根据预设的跟踪模板对该跟踪框所框选的图像区域进行匹配，得到该跟踪框所框选的图像区域的响应值，继而基于该跟踪框所框选的图像区域的响应值，确定该跟踪框是否满足预设的跟踪需求。

需要说明的是，对于同一目标，检测框所采用的检测模板，和跟踪框所采用的跟踪模板可以是同一模板，均是通过判断当前所框选的图像区域相对于预设目标的响应值，继而根据该响应值与预设阈值之间的关系来确定是否满足预设的跟踪需求。具体的，响应值大于或等于预设阈值即满足预设的跟踪需求，小于预设阈值则不满足预设的跟踪需求。

在实际的目标跟踪过程中，还可采用预设的时间间隔，对模板进行更新，例如每间隔10帧，将10帧图像融合，得到更新后的模板。

可选地，上述检测到的触发操作为重找回操作时，第一预设帧数可根据应用场景的不同进行调整，在本申请的一个实施例中，第一预设帧数可以为1500帧，但是具体第一预设帧数的设置根据场景的不同，由用户灵活调整，本申请在此不做任何限制。

本申请提供的方案中，可通过检测到的触发操作为调整操作或重找回操作，执行对应的处理操作，实现了不同触发操作下目标检测框的更新，保证了跟踪框的更新，从而保证了跟踪目标的更新，避免目标丢失，提高了跟踪准确度。

在其它一些可能的实现方式中，若触发操作为重找回操作，则上述根据第一预设帧数的图像，确定待检测帧图像和目标检测框可包括：

从第一预设帧数的图像中，确定待检测帧图像。

该方法中，可采用预设的检测算法对第一预设帧数的图像均进行检测，以确定第一预设帧数的图像中各图像是否具有检测框，并将其中具有检测框的图像确定为该待检测帧图像。

可选地，预设的检测算法可以在确定跟踪目标并开始跟踪之后就开启，即在整个跟踪过程中全程开启；也可以为开始跟踪的时候不开启，仅在预设时间段内或跟踪目标满足预设要求时开启。例如：跟踪目标尺寸小于预设阈值时，就开启预设的检测算法，这样就可以保证小目标的跟踪效果，具体检测算法何时开启可以根据用户需要设计，本申请在此不做任何限制。在确定该待检测帧图像的情况下，还需确定该待检测帧图像的个数。若待检测帧图像为一个，即该待检测帧图像唯一，则可根据待检测帧图像，确定目标检测框。

若待检测帧图像为多个，即该待检测帧图像不唯一，在一种实施方式中，可根据各待检测帧图像中跟踪框与检测框的距离，从多个待检测帧图像的检测框中，选择距离最短的检测框，为目标检测框。

其中，距离最短的检测框可以为各待检测帧图像中，跟踪框与检测框的距离最短的检测框。将距离最短的检测框作为目标检测框，可保证目标检测框所框选的图像区域与检测目标更接近，使得目标检测框更准确，并在目标检测框所框选的图像区域所框选的图像区域满足预设跟踪需求的情况下，对跟踪框进行更新，根据更新后的跟踪框对跟踪目标进行继续跟踪。

若待检测帧图像为多个，在另一种实施方式中，也可以选择距离当前时间最近的待检测帧图像的检测框，作为目标检测框，具体选择目标检测框的方式根据用户需要设计，本申请在此不做任何限制。

本申请实施例提供的方案，可在检测到的重找回操作时，从第一预设帧数的图像中确定待检测帧图像，并从一个或多个待检测帧图像中确定目标检测框，可提高了重找回过程中目标检测框的准确度，提高了跟踪框以及跟踪目标的重找回效果，有效保证目标跟踪效果。

可选地，若上述方法中检测到的触发操作为调整操作，则该方法还可包括：判断检测算法是否开启，若未开启检测算法，则判断跟踪框所框选的图像区域是否满足预设的跟踪需求，若满足，则继续跟踪；若不满足，则执行重找回操作。

如检测到触发操作为调整操作，并开启检测算法，则采用检测算法，确定该待检测帧图像中的目标检测框，并判断是否满足预设的跟踪需求等操作，若满足，则继续执行上述方式进行跟踪框的更新。反之，检测到触发操作为调整操作，但未开启检测算法，则判断跟踪框所框选的图像区域是否满足预设的跟踪需求，若满足，则继续跟踪；若不满足，则执行重找回操作。

可选地，若上述方法中检测到的触发操作为重找回操作，则该方法还可包括：判断检测算法是否开启，若未开启检测算法，则获取第二预设帧数的图像，根据第二预设帧数的图像，确定与跟踪模板相匹配的图像区域；若与跟踪模板相匹配的图像区域满足跟踪需求，则：将与跟踪模板相匹配的图像区域作为当前跟踪目标。其中，跟踪模板可以为上述确定跟踪框所框选图像区域的置信度所采用的跟踪模板。

如检测到的触发操作为重找回操作，而检测算法未开启，则根据第二预设帧数的图像和预设的跟踪模板进行图像匹配，以对跟踪目标进行更新。具体实现过程中，在第二预设帧数的帧图像中，将每个帧图像与跟踪模板进行匹配，并判断匹配成功的图像区域是否满足跟踪需求，若存在某个帧图像存在与跟踪模板匹配成功的图像区域，并且该匹配成功的图像区域满足预设的跟踪需求，则将该图像区域作为当前跟踪目标。若第二预设帧数的图像中各图像，均不存在与跟踪模板匹配成功的图像区域，或是匹配成功的图像区域不满足预设的跟踪需求，则确定跟踪目标丢失。

其中，第二预设帧数可以为预设的跟踪模板的训练帧数，该训练帧数为训练该跟踪模板的过程中所采用的帧图像的个数。在本申请的一个实施例中，将跟踪模板的帧数设置为4帧，相对于传统技术，该实施例中的预设跟踪算法在已有的跟踪算法的基础上进行了调整，对原先算法中跟踪模板的帧数从10帧改为了4帧：即通过4帧的图像训练出一个跟踪模板，使得模板的数据量变小，从而提升了算法的速度，提升了跟踪效果。

经过模板匹配更新后的跟踪框，由于置信度为最大置信度，所以跟踪效果较好，经过模板匹配更新跟踪框，进一步保证了跟踪框的跟踪效果。

本申请实施例还通过提供调整操作以及重找回操作过程中，未开启检测算法的执行操作，保证了未开启检测算法时，目标的追踪效果。

图2为本申请另一实施例提供的目标跟踪方法，如图2所示，该方法还可包括：根据波门指令，确定跟踪框所框选的图像区域的操作。

该操作，具体包括S105：获取波门调整指令，并根据波门调整指令调整待检测帧图像上的波门的位置和尺寸。

即根据输入的波门调整指令，对待检测帧图像上的波门进行调整；其中，波门调整指令，用于调整波门的大小和/或位置；确定第一帧图像上波门所在位置内的对象为跟踪目标。

可选地，波门的调整可以由用户在触屏上通过手指缩放调整，也可以为用户通过鼠标在显示器上进行调整，也可以为用户通过连接在主机上的画板对波门进行调整；具体调整方式根据用户需要设计，本申请在此不做任何限制。

由于波门的大小和位置均可以通过用户的需求进行调整，能够降低过多背景区域从而提升跟踪效果，同时更好地提升用户的视觉效果，避免了波门大小不可调，相对于跟踪目标过大或过小，造成跟踪目标选择不精准的问题，实现了对跟踪目标的精准选择，提升了用户体验。

可选地，若在跟踪过程中，需要切换跟踪目标，则直接由用户通过外部设备操控调整波门，重新通过波门框选新的跟踪目标，从而生成新的跟踪框跟踪新的跟踪目标，进入跟踪目标的状态。其中，外部设备可以为平板、笔记本、智能手机、掌上电脑等任何具有图片处理功能的智能设备。

S106：根据调整后的波门，生成对应的跟踪框。

可选地，在本申请的一个实施例中，根据调整后的波门生成对应的跟踪框之后，立即开启预设的检测算法，并根据上述方法通过预设的检测算法和跟踪算法的结合，实现对跟踪框的实时更新，由于预设的检测算法在跟踪过程中保持开启状态，所以保证了跟踪目标的跟踪效果。

可选地，本申请提供的波门、检测框和跟踪框的形状可以为矩形、也可以为其他形状；各框体的形状可以相同，也可以不同形状；颜色可以相同，也可以不同；只需各个框体之间有区别，用户可以直观区分开即可；在本申请的一个实施例中，波门为白色的矩形框体，检测框为红色的矩形框体，跟踪框为绿色的由线段围成的矩形框体，但具体的形状和颜色的设置根据用户需要设置，本申请在此不做任何限制。

图3为本申请一实施例提供的目标跟踪方法的流程示意图，举例说明本申请提供的目标跟踪方法的完整流程示意，如图3所示，本申请的一个实施例中，该方法的完整流程为：

S201：调整波门。

其中，波门的调整是根据接收到的波门指令进行的，具体调整方式可以为上述图2给出的方式。

根据波门调整指令对波门进行调整后，生成对应的跟踪框，并执行S202：跟踪目标。

其中，目标的跟踪采用的是上述实施例中的跟踪算法对跟踪目标进行跟踪的，在跟踪过程中，执行S203：判断预设检测算法是否开启。

若预设检测算法未开启，则触发调整操作，执行S204a：判断跟踪框所框选的图像区域是否满足预设的跟踪需求。若满足，则返回S202，根据当前跟踪框继续对跟踪目标进行跟踪，若不是，则触发重找回操作，执行S205：重找回。

若预设检测算法开启，则执行S204b：判断目标检测框所框选的图像区域是否满足预设的跟踪需求，若满足，则执行S206：对第二帧图像上的跟踪框进行更新；若不满足，则执行S205：重找回。

其中，判断目标检测框所框选的图像区域是否满足预设的跟踪需求，及判断目标检测框所框选的图像区域的置信度是否为预设最大置信度，若是预设最大置信度，则满足预设的跟踪需求，若不是预设最大置信度，则不满足预设的跟踪需求。

触发重找回操作后，执行S207：判断预设检测算法是否开启。

若预设检测算法为开启状态，则执行S208：判断第一预设帧数的图像中是否存在目标检测框；若存在，则执行S208a：根据目标检测框对跟踪框进行更新；若不存在目标检测框，则执行S208b：根据第二预设帧数的图像和跟踪模板对跟踪框进行更新。

若预设检测算法未开启，则执行S208b：根据第二预设帧数的图像和跟踪模板对跟踪框进行更新。

S208b之后，对更新后的跟踪框执行S209：判断是否满足重找回条件。

若满足，则返回S202，根据更新后的跟踪框，继续对跟踪目标进行跟踪；若不满足，则表示当前跟踪目标已经丢失，执行S210：确定跟踪目标丢失。

采用本申请提供的目标跟踪方法，在跟踪过程中，每间隔预设个数个帧，就根据检测算法确认预设区域内距离跟踪框中心点最近的检测框的响应值，并根据最近的检测框的响应值以及最近的检测框对跟踪框进行更新，并根据更新后的跟踪框对跟踪目标继续跟踪。由于在跟踪过程中预设检测算法和预设跟踪算法的配合使用，周期性采用检测算法对跟踪框进行更新，提高了小目标跟踪的跟踪效果，降低了小目标跟踪丢失的情况。

图4为本申请一实施例提供的目标跟踪装置的结构示意图，如图4所示，该装置包括：获取模块201、判断模块202和更新模块203，其中：

获取模块201，用于获取待检测帧图像；其中，待检测帧图像中包含有跟踪框，跟踪框所框选的图像区域为跟踪目标；根据待检测帧图像，获取目标检测框，目标检测框所框选的图像区域为检测目标。

判断模块202，用于根据目标检测框所框选的图像区域，判断其是否满足预设的跟踪需求。

更新模块203，用于若满足，则：对跟踪框进行更新，将目标检测框所框选的图像作为当前跟踪目标。

可选地，获取模块201，还用于若根据待检测帧图像，获取到多个检测框，则：从多个检测框中，选出与跟踪框距离最近的检测框作为目标检测框。

可选地，所述目标跟踪装置包括检测模块，检测模块可位于获取模块201之前，用于检测触发操作。

可选地，触发操作包括：调整操作和/或重找回操作，其中，若触发操作为调整操作，则获取模块201，还用于：获取当前帧图像为待检测帧图像，根据当前帧图像，确定目标检测框。

若触发操作为重找回操作，则获取模块201，还用于：获取第一预设帧数的图像，根据第一预设帧数的图像，确定待检测帧图像和目标检测框。

图5为本申请另一实施例提供的目标跟踪装置的结构示意图，如图5所示，该装置还包括：确定模块204，用于从第一预设帧数的图像中，确定待检测帧图像。

若待检测帧图像唯一，则确定模块204，还用于根据待检测帧图像，确定目标检测框。

若待检测帧图像为多个，则确定模块204，还用于：选择距离当前帧图像时间最近的待检测帧图像的检测框，为目标检测框；或，根据各待检测帧图像的跟踪框与检测框的距离，从多个待检测帧图像的检测框中，选择距离最短的检测框，为目标检测框。

可选地，判断模块202，还用于若未开启检测算法，则判断跟踪框所框选的图像区域是否满足预设的跟踪需求，若满足，则继续跟踪；若不满足，则执行重找回操作。

可选地，获取模块201，还用于若未开启检测算法，则获取第二预设帧数的图像，根据第二预设帧数的图像，确定与跟踪模板相匹配的图像区域；若与跟踪模板相匹配的图像区域满足跟踪需求，则：将与跟踪模板相匹配的图像区域作为当前跟踪目标。

图6为本申请另一实施例提供的目标跟踪装置的结构示意图，如图6所示，该装置还包括：生成模块205，其中：

获取模块201，还用于获取波门调整指令，并根据所述波门调整指令调整所述待检测帧图像上的波门的位置和尺寸。

生成模块205，用于根据调整后的波门，生成对应的所述跟踪框。

可选地，判断模块202，还用于判断检测框或跟踪框所框选的图像区域的响应值是否大于或等于预设阈值，若大于或等于预设阈值，则确定满足预设跟踪需求；若小于预设阈值，则确定不满足跟踪需求。

可选的，若所述检测模块检测的触发操作为调整操作，则获取模块201，还用于若根据所述当前帧图像，获取到多个检测框，则：从所述多个检测框中，选出与所述跟踪框距离最近的检测框作为所述目标检测框；

判断模块202，还用于根据当前状态为所述调整操作，判断结果为满足所述跟踪需求。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。

图7为本申请另一实施例提供的目标跟踪设备的结构示意图，该目标跟踪设备的获取设备可以集成于终端设备或者终端设备的芯片，该终端可以是具备图像处理功能的计算设备。

该目标跟踪设备可包括：处理器501、存储介质502和总线503。

处理器501用于存储程序，处理器501调用存储介质502存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本申请还提供一种程序产品，例如存储介质，该存储介质上存储有计算机程序，包括程序，该程序在被处理器运行时执行上述方法实施例。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种目标跟踪方法，其特征在于，所述方法包括：

获取待检测帧图像；其中，所述待检测帧图像中包含有跟踪框，所述跟踪框所框选的图像区域为跟踪目标；

根据所述待检测帧图像，获取目标检测框，所述目标检测框所框选的图像区域为检测目标；

根据所述目标检测框所框选的图像区域，判断其是否满足预设的跟踪需求，若满足，则：对所述跟踪框进行更新，将所述目标检测框所框选的图像作为当前跟踪目标；其中，对跟踪框的更新包括：对跟踪框的大小和/或位置的更新；

所述获取待检测帧图像之前，还包括：检测触发操作；所述触发操作包括：调整操作和/或重找回操作；

若所述触发操作为所述调整操作，则确定是否开启检测算法；

若开启，则：获取当前帧图像为所述待检测帧图像，根据所述当前帧图像，确定所述目标检测框；

若所述触发操作为所述重找回操作，则确定是否开启所述检测算法；

若开启，则获取第一预设帧数的图像，根据所述第一预设帧数的图像，确定所述待检测帧图像和所述目标检测框；

获取波门调整指令，并根据所述波门调整指令调整所述待检测帧图像上的波门的位置和尺寸；

根据调整后的波门，生成对应的所述跟踪框；

若所述触发操作为调整操作，则所述方法还包括：

若未开启所述检测算法，则判断所述跟踪框所框选的图像区域是否满足预设的跟踪需求，若满足，则继续跟踪，并开启所述检测算法；若不满足，则执行所述重找回操作；

若所述触发操作为重找回操作，则所述方法还包括：

若未开启所述检测算法，则获取第二预设帧数的图像，根据所述第二预设帧数的图像，确定与跟踪模板相匹配的图像区域；若所述与跟踪模板相匹配的图像区域满足所述跟踪需求，则：将所述与跟踪模板相匹配的图像区域作为当前跟踪目标，并开启所述检测算法。

2.如权利要求1所述的方法，其特征在于，所述根据所述待检测帧图像，获取目标检测框的操作，包括：

若根据所述待检测帧图像，获取到多个检测框，则：从所述多个检测框中，选出与所述跟踪框距离最近的检测框作为所述目标检测框。

3.如权利要求1所述的方法，其特征在于，所述根据所述第一预设帧数的图像，确定所述目标检测框的操作，包括：

从所述第一预设帧数的图像中，确定所述待检测帧图像；

若所述待检测帧图像唯一，则根据所述待检测帧图像，确定所述目标检测框；

若所述待检测帧图像为多个，则：

选择距离当前帧图像时间最近的待检测帧图像的检测框，为所述目标检测框；或，

根据各所述待检测帧图像的跟踪框与检测框的距离，从多个所述待检测帧图像的检测框中，选择所述距离最短的检测框，为所述目标检测框。

4.如权利要求1-3中任一项所述的方法，其特征在于，所述判断其是否满足预设的跟踪需求，包括：

判断所述检测框或跟踪框所框选的图像区域的响应值是否大于或等于预设阈值，若大于或等于所述预设阈值，则确定满足所述跟踪需求；若小于所述预设阈值，则确定不满足所述跟踪需求。

5.如权利要求1所述的方法，其特征在于，若所述触发操作为调整操作，则所述获取当前帧图像为所述待检测帧图像，根据所述当前帧图像，确定所述目标检测框的操作，包括：

若根据所述当前帧图像，获取到多个检测框，则：从所述多个检测框中，选出与所述跟踪框距离最近的检测框作为所述目标检测框；

所述判断所述目标检测框是否满足预设的跟踪需求的操作包括：

根据当前状态为所述调整操作，判断结果为满足所述跟踪需求。

6.一种目标跟踪装置，其特征在于，所述装置包括：获取模块、判断模块和更新模块，其中：

所述获取模块，用于获取待检测帧图像；其中，所述待检测帧图像中包含有跟踪框，所述跟踪框所框选的图像区域为跟踪目标；根据所述待检测帧图像，获取目标检测框，所述目标检测框所框选的图像区域为检测目标；

所述判断模块，用于根据所述目标检测框所框选的图像区域，判断其是否满足预设的跟踪需求；

所述更新模块，用于若满足，则：对所述跟踪框进行更新，将所述目标检测框所框选的图像作为当前跟踪目标；其中，对跟踪框的更新包括：对跟踪框的大小和/或位置的更新；

所述目标跟踪装置还包括：检测模块，所述检测模块可位于获取模块之前，用于检测触发操作；

所述触发操作包括：调整操作和/或重找回操作；

其中，若所述触发操作为所述调整操作，则获取模块，还用于获取当前帧图像为所述待检测帧图像，根据所述当前帧图像，确定所述目标检测框；

若所述触发操作为所述重找回操作，则获取模块，还用于获取第一预设帧数的图像，根据所述第一预设帧数的图像，确定所述待检测帧图像和所述目标检测框；

所述获取模块，还用于获取波门调整指令，并根据所述波门调整指令调整所述待检测帧图像上的波门的位置和尺寸；

所述装置还包括生成模块，所述生成模块用于根据调整后的波门，生成对应的所述跟踪框；

若所述检测模块检测的触发操作为调整操作，则：

所述判断模块，还用于若未开启检测算法，则判断跟踪框所框选的图像区域是否满足预设的跟踪需求，若满足，则继续跟踪，并开启所述检测算法；若不满足，则执行重找回操作；

若所述检测模块检测的触发财务为重找回操作，则：

所述获取模块，还用于若未开启检测算法，则获取第二预设帧数的图像，根据第二预设帧数的图像，确定与跟踪模板相匹配的图像区域；若与跟踪模板相匹配的图像区域满足跟踪需求，则：将与跟踪模板相匹配的图像区域作为当前跟踪目标，并开启所述检测算法。

7.如权利要求6所述的目标跟踪装置，其特征在于，

获取模块，还用于若根据待检测帧图像，获取到多个检测框，则：从多个检测框中，选出与跟踪框距离最近的检测框作为目标检测框。

8.如权利要求6所述的目标跟踪装置，其特征在于，

该装置还包括：确定模块，用于从第一预设帧数的图像中，确定待检测帧图像；

若待检测帧图像唯一，则确定模块，还用于根据待检测帧图像，确定目标检测框；

若待检测帧图像为多个，则确定模块，还用于选择距离当前帧图像时间最近的待检测帧图像的检测框，为目标检测框；或，根据各待检测帧图像的跟踪框与检测框的距离，从多个待检测帧图像的检测框中，选择距离最短的检测框，为目标检测框。

9.如权利要求6-8中任一项所述目标跟踪装置，其特征在于，

判断模块，还用于判断检测框或跟踪框所框选的图像区域的响应值是否大于或等于预设阈值，若大于或等于预设阈值，则确定满足预设跟踪需求；若小于预设阈值，则确定不满足跟踪需求。

10.如权利要求6所述的目标跟踪装置，其特征在于，

若所述检测模块检测的触发操作为调整操作，则，

所述获取模块，还用于若根据所述当前帧图像，获取到多个检测框，则：从所述多个检测框中，选出与所述跟踪框距离最近的检测框作为所述目标检测框；

所述判断模块，还用于根据当前状态为所述调整操作，判断结果为满足所述跟踪需求。

11.一种目标跟踪设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当目标跟踪设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述权利要求1-5任一项所述方法的步骤。

12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述权利要求1-5任一项所述方法的步骤。

Images