CN108875465A - 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质 - Google Patents

Abstract

一种多目标跟踪方法、装置以及非易失性存储介质，所述方法包括：获取视频流中的多个图像帧；对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹；将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。本发明提出使用单目标跟踪来解决多目标跟踪的问题。通过对高置信度的检测进行单目标的跟踪，可以有效果弥补目标检测过程中的假负例,提高多目标跟踪的效果。

Description

多目标跟踪方法、多目标跟踪装置以及非易失性存储介质

技术领域

本发明实施例涉及人工智能领域，具体涉及一种多目标跟踪方法，与该多目标跟踪方法对应的多目标跟踪装置，以及非易失性存储介质。

背景技术

多目标跟踪(multi-target object tracking)对于视频监控以及视频数据结构化有着非常重要的意义。目前多目标跟踪主要分成两步：目标检测以及数据关联。目标检测用于在每帧图片中找到所有的目标对象的位置。数据关联主要是在多帧图像之间把同一个对象进行关联。因此，常规的多目标跟踪往往依赖于目标检测的结果。

然而，对于目标检测来讲，对于小尺寸的物体，以及遮挡比较严重的情况，依靠单张图片的信息往往很难检测到目标。传统的数据关联算法比较网络流技术，对于检测的结果非常依赖，如果检测效果变差，最后的多目标跟踪结果也会受到影响。

发明内容

本发明实施例的目的在于提供一种应用于电子设备的图像处理方法以及图像处理装置，以解决上述技术问题。

根据本发明的至少一个实施例，提供了一种多目标跟踪方法，所述方法包括：获取视频流中的多个图像帧；对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹；将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。

例如，所述单个目标包括第一目标，所述对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹的步骤包括：判断所述多个图像帧中的至少一个图像帧中是否可能存在所述第一目标；响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹。

例如，所述判断所述多个图像帧中的至少一个图像帧中是否可能存在第一目标包括：对所述多个图像帧中的至少一个图像帧进行所述第一目标的检测；根据检测结果确定所述至少一个图像帧中存在所述第一目标的可能值；将可能值大于第一预设阈值的图像帧确定为可能存在所述第一目标的图像帧；所述响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹的步骤包括：根据所述可能值从高到低进行排序；根据所述排序结果，从高到低分别对每一可能存在所述第一目标的图像帧进行目标跟踪。

例如，所述响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹的步骤包括：当至少一个图像帧中可能存在所述第一目标时，将该图像帧作为当前帧；确定第一目标在当前帧中的检测区域，该检测区域为所述第一目标在该图像帧中的可能位置；根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域，该采样区域为所述第一目标在该前后帧中的可能位置；判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标。

例如，所述判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标的步骤包括：对当前帧中的第一目标检测区域，进行第一特征提取；对前后帧中预测的第一目标的采样区域进行第二特征提取，第一特征与第二特征相同或类似；对所述第一特征和第二特征进行特征融合；根据特征融合结果来判断所述前后帧中第一目标采样区域中的目标是否是所述第一目标。

例如，所述根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域的步骤包括：提取所述当前帧中第一目标的检测区域的第一特征向量；在所述前后帧图像平面上撒粒子；每个所述粒子计算该粒子所在位置处的图像的特征，得到第二特征向量；计算第二特征向量与第一特征向量之间的第一相似度值；根据该第一相似度值来预测在前后帧中第一目标的采样区域的位置。

例如，在所述前后帧中，当预测得到多个第一目标的采样区域时，确定所述多个采样区域中相似度值最高的位置；将相似度值最高的位置作为第一目标的采样区域。

例如，判断所述相似度值最高的位置的相似度值是否小于第二预设阈值；当所述相似度值最高的位置的相似度值小于第二预设阈值时，停止对该图像帧的前后帧进行目标跟踪。

例如，当判断出所述前后帧中第一目标采样区域的目标是所述第一目标，则用第一目标检测区域替换该第一目标采样区域；将所述图像帧中获取的所有第一目标检测区域进行连接，以获得第一目标跟踪轨迹。

例如，所述将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹包括：获取所述多个图像帧中的多个目标中的每个对应的单个目标跟踪轨迹；将所述每个单个目标跟踪轨迹进行图像融合，以获得所述多目标跟踪轨迹。

例如，所述将所述每个单个目标跟踪轨迹进行图像融合，以获得所述多目标跟踪轨迹的步骤包括：确定每个单个目标跟踪轨迹中任意两个之间的第二相似度值；当所述第二相似度值大于第三预设阈值时，则对该两个单个目标跟踪轨迹进行图像融合。

例如，获取每个单个目标跟踪轨迹在图像帧中的时间信息；获取每个单个目标跟踪轨迹在图像帧中的空间信息；判断所述时间信息和/或所述空间信息是否接近；当两个单个目标跟踪轨迹的所述时间信息和所述空间信息中的至少一个接近时，计算该两个单个目标跟踪轨迹之间的第二相似度值。

根据本发明的至少一个实施例，提供了一种多目标跟踪装置，所述装置包括：获取单元，被配置为获取视频流中的多个图像帧；单目标检测单元，被配置为对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹；融合单元，被配置为将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。

例如，所述单个目标包括第一目标，所述单目标检测单元包括：判断单元，被配置为判断所述多个图像帧中的至少一个图像帧中是否可能存在所述第一目标；目标跟踪单元，被配置为响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹。

例如，所述判断单元对所述多个图像帧中的至少一个图像帧进行所述第一目标的检测；根据检测结果确定所述至少一个图像帧中存在所述第一目标的可能值；将可能值大于第一预设阈值的图像帧确定为可能存在所述第一目标的图像帧；所述目标跟踪单元根据所述可能值从高到低进行排序；根据所述排序结果，从高到低分别对每一可能存在所述第一目标的图像帧进行目标跟踪。

例如，所述目标跟踪单元进一步被配置为，当至少一个图像帧中可能存在所述第一目标时，将该图像帧作为当前帧；确定第一目标在当前帧中的检测区域，该检测区域为所述第一目标在该图像帧中的可能位置；根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域，该采样区域为所述第一目标在该前后帧中的可能位置；判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标。

例如，所述判断单元进一步被配置为对当前帧中的第一目标检测区域，进行第一特征提取；对前后帧中预测的第一目标的采样区域进行第二特征提取，第一特征与第二特征相同或类似；对所述第一特征和第二特征进行特征融合；根据特征融合结果来判断所述前后帧中第一目标采样区域中的目标是否是所述第一目标。

例如，所述根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域包括：提取所述当前帧中第一目标的检测区域的第一特征向量；在所述前后帧图像平面上撒粒子；每个所述粒子计算该粒子所在位置处的图像的特征，得到第二特征向量；计算第二特征向量与第一特征向量之间的第一相似度值；根据该第一相似度值来预测在前后帧中第一目标的采样区域的位置。

例如，在所述前后帧中，当预测得到多个第一目标的采样区域时，确定所述多个采样区域中相似度值最高的位置；将相似度值最高的位置作为第一目标的采样区域。

例如，判断所述相似度值最高的位置的相似度值是否小于第二预设阈值；当所述相似度值最高的位置的相似度值小于第二预设阈值时，停止对该图像帧的前后帧进行目标跟踪。

例如，当判断出所述前后帧中第一目标采样区域的目标是所述第一目标，则用第一目标检测区域替换该第一目标采样区域；将所述图像帧中获取的所有第一目标检测区域进行连接，以获得第一目标跟踪轨迹。

例如，所述融合单元进一步被配置为，获取所述多个图像帧中的多个目标中的每个对应的单个目标跟踪轨迹；将所述每个单个目标跟踪轨迹进行图像融合，以获得所述多目标跟踪轨迹。

例如，所述将所述每个单个目标跟踪轨迹进行图像融合，以获得所述多目标跟踪轨迹包括：确定每个单个目标跟踪轨迹中任意两个之间的第二相似度值；当所述第二相似度值大于第三预设阈值时，则对该两个单个目标跟踪轨迹进行图像融合。

例如，获取每个单个目标跟踪轨迹在图像帧中的时间信息；获取每个单个目标跟踪轨迹在图像帧中的空间信息；判断所述时间信息和/或所述空间信息是否接近；当两个单个目标跟踪轨迹的所述时间信息和所述空间信息中的至少一个接近时，计算该两个单个目标跟踪轨迹之间的第二相似度值。

根据本发明的至少一个实施例，提供了一种计算机可读的非易失性存储介质，存储计算机程序指令，当所述计算机执行所述程序指令时，执行以下步骤：获取视频流中的多个图像帧；对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹；将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。

本发明提出使用单目标跟踪(single object tracking)来解决多目标跟踪的问题。通过对高置信度的检测进行单目标的跟踪，可以有效果弥补目标检测过程中的假负例(False Negative,FN)，提高多目标跟踪的效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本发明的示例性实施例。

图1示出了根据本发明实施例的多目标跟踪方法流程图；

图2示出了第一目标的目标跟踪方法流程图；

图3示出了根据本发明实施例的多目标跟踪装置的结构示意图。

图4示出了执行多目标跟踪方法的计算机的结构示意图。

具体实施方式

在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

在本发明的以下实施例中，目标是指图像帧中的不同人物、物体或场景，多目标可以是图像帧中的不同人物、物体或不同场景。

图1示出了根据本发明实施例的多目标跟踪方法流程图。参见图1，多目标跟踪方法100可以包括以下步骤。

在步骤S101中，获取视频流中的多个图像帧。例如，可以获取视频流中的每一帧图像帧作为图像帧，也可以从视频流中选取部分图像帧作为多个图像帧。

在步骤S102中，对于多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹。

在步骤S103中，将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。

通过本发明实施例，先进行图像帧中的单个目标跟踪检测，在检测到每个单个目标的轨迹之后，再将每个单目标轨迹融合，以得到多个目标跟踪轨迹，这样，即使对于小尺寸的物体或者遮挡比较严重的情况，也能够准确检测到每个目标，提高了多目标检测的整体检测精度和效率。

下面将进一步介绍上述步骤S102以及步骤S103的实现方法示例。

在步骤S102中，对于多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹。例如，单个目标包括第一目标、第二目标以及第三目标…第N目标等等。分别对第一目标、第二目标以及第三目标…第N目标进行单个目标检测，以得到第一目标、第二目标以及第三目标…第N目标的目标跟踪轨迹。以下以第一目标为例，进行单个目标跟踪方法的说明。该第一目标例如是一个球员，一个足球，一个球门等。在确定第一目标的目标跟踪轨迹之后，还可以以相同方式找到第二目标、第三目标等的目标跟踪轨迹，从而确定图像帧中所有目标的目标跟踪轨迹。

示例性地，在本发明实施例中可以使用卷积神经网络(CNN)进行目标检测，CNN可以采用各种可行的网络结构，在此并不进行限定。在一个示例中，具体的目标检测算法使用fasterRCNN。

根据本发明的一个示例，在确定第一目标跟踪轨迹时，可以首先判断多个图像帧中的一个或多个图像帧中是否可能存在第一目标。当一个或多个图像帧中可能存在第一目标时，响应于该帧或该些帧中可能存在第一目标，在这些可能存在的图像帧中对第一目标进行目标跟踪，以得到该第一目标在多个图像帧中的目标跟踪轨迹。此外，当判断一个或多个图像帧中可能不会存在第一目标时，则可以不在这些图像帧中进行第一目标的目标跟踪。其中，根据本发明的一个示例，可能存在第一目标，可以是第一目标存在的可能性等于或超过预先设定的阈值，例如第一预设阈值。而不可能存在第一目标，则可以是第一目标存在的可能性低于预先设定的阈值。

在确定图像帧中存在第一目标的可能值之后，可以根据可能值的数值从高到低进行排序，并根据排序结果，从高到低分别对每一可能存在第一目标的图像帧进行目标跟踪。由于可能值高的图像帧中找到第一目标的可能性比之可能值小的图像帧要大，因此，这种目标跟踪方法可以增大目标跟踪的效率。

图2示出了第一目标的目标跟踪方法流程图，参见图2，根据本发明的一个示例，在确定至少一个图像帧中可能存在第一目标时，在多个图像帧中对第一目标进行目标跟踪，以得到该第一目标在多个图像帧中的目标跟踪轨迹可以包括如下步骤。

在步骤S201中，当至少一个图像帧中可能存在第一目标时，将该图像帧确定为当前帧。

在步骤S202中，确定第一目标在当前帧中的检测区域，该检测区域为第一目标在该图像帧中的可能位置。也就是说，确定第一目标在当前帧中的可能位置。例如，该可能位置，即检测区域可以采用方框等标记进行标注。

在步骤S203中，根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域，该采样区域为第一目标在该前后帧中的可能位置。也就是说，预测第一目标在当前帧的前帧和/或后帧中的可能位置，并可以采用标记进行标注。例如，可以根据每个当前帧，分别预测向前面进行预定数量帧(例如50帧)以及向后面进行预定数量帧(例如50帧)的第一目标的可能位置。

根据本发明的一个示例，可以通过粒子过滤法预测第一目标在前后帧中的位置。例如，在确定第一目标在当前帧中的检测区域之后，可以首先提取当前帧中第一目标的检测区域的第一特征向量。然后在前后帧图像平面上撒粒子，每个粒子可以计算该粒子所在位置处的图像的特征，并得到第二特征向量。然后计算第二特征向量与第一特征向量之间的第一相似度值，从而可以根据该第一相似度值来预测在前后帧中第一目标的采样区域的位置。

此外，根据本发明的一个示例，当在前后帧中，预测得到多个第一目标的采样区域时，可以从多个采用区域中选择一个作为最终的采样区域。例如可以确定多个采样区域中所述第一相似度值最高的位置，并将相似度值最高的位置作为第一目标的采样区域，从而可以有效去除图像处理时产生的噪声。

此外，为了排除基本不可能出现第一目标的图像帧，在确定了多个采样区域的相似度值之后，找到相似度值最高的位置，可以进一步判断该位置的相似度值是否大于第二预设阈值，当该相似度值最高的位置的相似度值小于第二预设阈值时，表示该采集区域可能并不是第一目标所在位置，或者该图像帧中并没有第一目标，因此可以停止对该图像帧的前后帧进行目标跟踪。而当该相似度值最高的位置的相似度值大于第二预设阈值时，可以继续对该图像帧的前后帧进行目标跟踪。从而可以有效提高目标跟踪效率。

由此，根据上述方式确定了多个图像帧中的所有第一目标检测区域或采样区域之后，也就是说，确定了多个图像帧中所有第一目标的位置之后，就可以在后续步骤中进一步判断该检测区域是否是第一目标。

在步骤S204中，判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标。根据本发明的一个示例，可以对当前帧中的第一目标检测区域，进行第一特征提取。并对前后帧中预测的第一目标的采样区域进行第二特征提取，第一特征与第二特征相同或类似。之后对第一特征和第二特征进行特征融合，根据特征融合结果来判断前后帧中第一目标采样区域中的目标是否是第一目标。例如，首先确定第一特征和第二特征的特征矩阵或特征向量的特征值，然后计算第一特征矩阵和第二特征矩阵的相似度，当相似度大于预设阈值时，则可以确定前一帧或后一帧中采样区域中的目标是第一目标。

根据本发明的另一个示例，还可以判断前帧或后帧中的采样区域和当前帧中的检测区域之间的交叠率。例如，采样区域与检测区域的交集比上它们的并集，根据该交叠率来判断采样区域是否是第一目标。例如，当交叠率大于预设阈值时，可以确定采样区域即为第一目标。当交叠率小于预设阈值时，可以确定采样区域不是第一目标。

这样，在确定当前帧中的第一目标之后，可以根据当前帧中的第一目标，判断出前后帧中采样区域的目标是否是第一目标。当确定前帧或后帧中的采用区域是第一目标时，可以使用第一目标检测区域替换该第一目标采样区域。也就是说，明确采用区域就是第一目标。然后将确定具有第一目标的前帧或后帧作为当前帧，继续进行前后帧的第一目标跟踪。当然，可替换地，也可以根据每个当前帧，分别确定前面预定数量帧(例如50帧)以及后面预定数量帧(例如50帧)中的采样区域是否是第一目标。当确定前帧或后帧中的采用区域是第一目标时，可以使用第一目标检测区域替换该第一目标采样区域。从而实现第一目标的轨迹跟踪。

示例性地，前述的判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标的方法，是由训练好的神经网络实现的。

当找到多帧图像中每帧图像中的第一目标的检测区域之后，对这些检测区域进行连接，从而获得第一目标在多个图像帧中的轨迹线，即第一目标跟踪轨迹。

通过本发明的实施例，由于使用多帧图像进行单个目标检测，即使对于小尺寸物体，也可以准确确定单个目标的目标跟踪轨迹，提高了单个目标跟踪的准确性。

此外，为了实现步骤S103，将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。根据本发明的一个示例，在步骤S102获取了所有单个目标的跟踪轨迹之后，在步骤S103中，可以将获取的每个单个目标跟踪轨迹进行图像融合，以获得多目标跟踪轨迹。例如，将所有单目标的目标跟踪轨迹的图像进行组合，拼成具有多目标跟踪轨迹的图像。

根据本发明的一个示例，为了提高多个目标跟踪轨迹图像融合的效率，可以首先确定每个单个目标跟踪轨迹中任意两个之间的第二相似度值。相似度值高的两个运动轨迹往往也是特征接近或类似的，因此可以对相似度值高的两个目标进行图像融合。例如，确定第一目标与第二目标之间的相似度，确定第二目标与第三目标之间的相似度，确定第一目标与第三目标之间的相似度，等等。当任两个目标之间的第二相似度值大于第三预设阈值时，则对该两个单个目标跟踪轨迹进行图像融合。

此外，在具有多个单目标跟踪轨迹时，如果按顺序地两两比较相似度，计算量可能会非常大，为了减小计算量，提高计算效率，根据本发明的一个示例，可以有选择地比较两个单目标跟踪轨迹之间的相似度。例如，在时间接近或空间接近的目标跟踪轨迹，可能会有较高相似度，因此，可以获取每个单个目标跟踪轨迹在图像帧中的时间信息，找到时间信息接近的两个单个目标跟踪轨迹，并计算这两个单目标跟踪轨迹之间的相似度。还例如，获取每个单个目标跟踪轨迹在图像帧中的空间信息，找到空间信息接近的两个单个目标跟踪轨迹，并计算这两个单目标跟踪轨迹之间的相似度。或者，同时获取时间信息和空间信息，当两个单个目标跟踪轨迹的时间信息和空间信息均接近时，计算该两个单个目标跟踪轨迹之间的第二相似度值。

本发明实施例，首先在多帧图像中确定单目标根据轨迹，然后将多个单目标根据轨迹进行融合，从而得到多目标根据轨迹，比之现有技术中，在单帧图像中确定多个目标的方案，显著提高了目标检测的准确度。

以上介绍了根据本发明实施例的多目标跟踪方法，下面将进一步介绍根据本发明实施例的多目标跟踪装置。该多目标跟踪装置与多目标跟踪方法对应，为了说明书的简洁，以下仅作简要介绍，具体可以参见前述的多目标根据方法。

图3示出了根据本发明实施例的多目标跟踪装置的结构示意图。参见图3，多目标跟踪装置300包括获取单元301，单目标检测单元302以及融合单元303。所述获取单元301被配置为获取视频流中的多个图像帧。单目标检测单元302被配置为对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹。融合单元303被配置为将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。

根据本发明的一个示例，单个目标包括第一目标，对于多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹的步骤包括：判断多个图像帧中的至少一个图像帧中是否可能存在第一目标；响应于至少一个图像帧中可能存在第一目标，在多个图像帧中对第一目标进行目标跟踪，以得到该第一目标在多个图像帧中的目标跟踪轨迹。

根据本发明的一个示例，判断多个图像帧中的至少一个图像帧中是否可能存在第一目标包括：对多个图像帧中的至少一个图像帧进行第一目标的检测；根据检测结果确定至少一个图像帧中存在第一目标的可能值；将可能值大于第一预设阈值的图像帧确定为可能存在第一目标的图像帧。并且，响应于至少一个图像帧中可能存在第一目标，在多个图像帧中对第一目标进行目标跟踪，以得到该第一目标在多个图像帧中的目标跟踪轨迹的步骤包括：根据可能值从高到低进行排序；根据排序结果，从高到低分别对每一可能存在第一目标的图像帧进行目标跟踪。

根据本发明的一个示例，响应于至少一个图像帧中可能存在第一目标，在多个图像帧中对第一目标进行目标跟踪，以得到该第一目标在多个图像帧中的目标跟踪轨迹的步骤包括：当至少一个图像帧中可能存在第一目标时，将该图像帧作为当前帧；确定第一目标在当前帧中的检测区域，该检测区域为第一目标在该图像帧中的可能位置；根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域，该采样区域为第一目标在该前后帧中的可能位置；判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标。

根据本发明的一个示例，判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标的步骤包括：对当前帧中的第一目标检测区域，进行第一特征提取；对前后帧中预测的第一目标的采样区域进行第二特征提取，第一特征与第二特征相同或类似；对第一特征和第二特征进行特征融合；根据特征融合结果来判断前后帧中第一目标采样区域中的目标是否是第一目标。

根据本发明的一个示例，根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域的步骤包括：提取当前帧中第一目标的检测区域的第一特征向量；在前后帧图像平面上撒粒子；每个粒子计算该粒子所在位置处的图像的特征，得到第二特征向量；计算第二特征向量与第一特征向量之间的第一相似度值；根据该第一相似度值来预测在前后帧中第一目标的采样区域的位置。

根据本发明的一个示例，在前后帧中，当预测得到多个第一目标的采样区域时，确定多个采样区域中相似度值最高的位置；将相似度值最高的位置作为第一目标的采样区域。

根据本发明的一个示例，判断相似度值最高的位置的相似度值是否小于第二预设阈值；当相似度值最高的位置的相似度值小于第二预设阈值时，停止对该图像帧的前后帧进行目标跟踪。

根据本发明的一个示例，当判断出前后帧中第一目标采样区域的目标是第一目标，则用第一目标检测区域替换该第一目标采样区域；将图像帧中获取的所有第一目标检测区域进行连接，以获得第一目标跟踪轨迹。

根据本发明的一个示例，将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹包括：获取多个图像帧中的多个目标中的每个对应的单个目标跟踪轨迹；将每个单个目标跟踪轨迹进行图像融合，以获得多目标跟踪轨迹。

根据本发明的一个示例，将每个单个目标跟踪轨迹进行图像融合，以获得多目标跟踪轨迹的步骤包括：确定每个单个目标跟踪轨迹中任意两个之间的第二相似度值；当第二相似度值大于第三预设阈值时，则对该两个单个目标跟踪轨迹进行图像融合。

根据本发明的一个示例，获取每个单个目标跟踪轨迹在图像帧中的时间信息；获取每个单个目标跟踪轨迹在图像帧中的空间信息；判断时间信息和/或空间信息是否接近；当两个单个目标跟踪轨迹的时间信息和空间信息中的至少一个接近时，计算该两个单个目标跟踪轨迹之间的第二相似度值。

在本发明的实施例的多目标跟踪装置中，由于使用多帧图像进行单个目标检测，即使对于小尺寸物体，也可以准确确定单个目标的目标跟踪轨迹，提高了单个目标跟踪的准确性。

以上介绍了根据本发明实施例的多目标根据装置，下面将进一步介绍根据本发明实施例的计算机可读的非易失性存储介质，该非易失性存储介质中存储有计算机程序指令，当计算机执行程序指令时，用来执行前述多目标跟踪方法，为了说明书的简洁，以下仅作简要介绍。

图4示出了执行多目标跟踪方法的计算机的结构示意图。参见图4，计算机包括处理器401，处理器401例如是通用处理器，例如中央处理器CPU，也可以是专用处理器，例如可编程逻辑电路。此外，计算机还包括存储器25，存储器25包括只读存储器ROM和随机存储器RAM。存储器25例如存储有计算机可读的非易失性存储介质，该存储介质中存储计算机程序指令，当计算机执行程序指令时，执行以下步骤：获取视频流中的多个图像帧；对于多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹；将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。

此外，计算机还可以包括输入装置404以及输出装置403。输入装置404例如包括鼠标，键盘。输出装置403例如包括显示器，扬声器等。

通过本发明的实施例，通过计算机可以实现多目标跟踪方法，可以高效地对图像帧进行处理，并得到处理结果。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。并且软件模块可以置于任意形式的计算机存储介质中。为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域技术人员应该理解，可依赖于设计需求和其它因素对本发明进行各种修改、组合、部分组合和替换，只要它们在所附权利要求书及其等价物的范围内。

Claims (25)

1.一种多目标跟踪方法，所述方法包括：

获取视频流中的多个图像帧；

对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹；

将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。

2.根据权利要求1所述的跟踪方法，其中，所述单个目标包括第一目标，所述对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹的步骤包括：

判断所述多个图像帧中的至少一个图像帧中是否可能存在所述第一目标；

响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹。

3.根据权利要求2所述的跟踪方法，其中，

所述判断所述多个图像帧中的至少一个图像帧中是否可能存在第一目标包括：

对所述多个图像帧中的至少一个图像帧进行所述第一目标的检测；

根据检测结果确定所述至少一个图像帧中存在所述第一目标的可能值；

将可能值大于第一预设阈值的图像帧确定为可能存在所述第一目标的图像帧；

所述响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹的步骤包括：

根据所述可能值从高到低进行排序；

根据所述排序结果，从高到低分别对每一可能存在所述第一目标的图像帧进行目标跟踪。

4.根据权利要求2所述的跟踪方法，所述响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹的步骤包括：

当至少一个图像帧中可能存在所述第一目标时，将该图像帧作为当前帧；

确定第一目标在当前帧中的检测区域，该检测区域为所述第一目标在该图像帧中的可能位置；

根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域，该采样区域为所述第一目标在该前后帧中的可能位置；

判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标。

5.根据权利要求4所述的跟踪方法，所述判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标的步骤包括：

对当前帧中的第一目标检测区域，进行第一特征提取；

对前后帧中预测的第一目标的采样区域进行第二特征提取，第一特征与第二特征相同或类似；

对所述第一特征和第二特征进行特征融合；

根据特征融合结果来判断所述前后帧中第一目标采样区域中的目标是否是所述第一目标。

6.根据权利要求4所述的跟踪方法，所述根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域的步骤包括：

提取所述当前帧中第一目标的检测区域的第一特征向量；

在所述前后帧图像平面上撒粒子；

每个所述粒子计算该粒子所在位置处的图像的特征，得到第二特征向量；

计算第二特征向量与第一特征向量之间的第一相似度值；

根据该第一相似度值来预测在前后帧中第一目标的采样区域的位置。

7.根据权利要求6所述的跟踪方法，其中，

在所述前后帧中，当预测得到多个第一目标的采样区域时，确定所述多个采样区域中相似度值最高的位置；

将相似度值最高的位置作为第一目标的采样区域。

8.根据权利要求7所述的跟踪方法，其中，

判断所述相似度值最高的位置的相似度值是否小于第二预设阈值；

当所述相似度值最高的位置的相似度值小于第二预设阈值时，停止对该图像帧的前后帧进行目标跟踪。

9.根据权利要求4所述的跟踪方法，其中，

当判断出所述前后帧中第一目标采样区域的目标是所述第一目标，则用第一目标检测区域替换该第一目标采样区域；

将所述图像帧中获取的所有第一目标检测区域进行连接，以获得第一目标跟踪轨迹。

10.根据权利要求1所述的跟踪方法，所述将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹包括：

获取所述多个图像帧中的多个目标中的每个对应的单个目标跟踪轨迹；

将所述每个单个目标跟踪轨迹进行图像融合，以获得所述多目标跟踪轨迹。

11.根据权利要求10所述的跟踪方法，所述将所述每个单个目标跟踪轨迹进行图像融合，以获得所述多目标跟踪轨迹的步骤包括：

确定每个单个目标跟踪轨迹中任意两个之间的第二相似度值；

当所述第二相似度值大于第三预设阈值时，则对该两个单个目标跟踪轨迹进行图像融合。

12.根据权利要求11所述的跟踪方法，其中，

获取每个单个目标跟踪轨迹在图像帧中的时间信息；

获取每个单个目标跟踪轨迹在图像帧中的空间信息；

判断所述时间信息和/或所述空间信息是否接近；

当两个单个目标跟踪轨迹的所述时间信息和所述空间信息中的至少一个接近时，计算该两个单个目标跟踪轨迹之间的第二相似度值。

13.一种多目标跟踪装置，所述装置包括：

获取单元，被配置为获取视频流中的多个图像帧；

单目标检测单元，被配置为对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹；

融合单元，被配置为将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。

14.根据权利要求13所述的跟踪装置，其中，所述单个目标包括第一目标，所述单目标检测单元包括：

判断单元，被配置为判断所述多个图像帧中的至少一个图像帧中是否可能存在所述第一目标；

目标跟踪单元，被配置为响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹。

15.根据权利要求14所述的跟踪装置，其中，

所述判断单元对所述多个图像帧中的至少一个图像帧进行所述第一目标的检测；根据检测结果确定所述至少一个图像帧中存在所述第一目标的可能值；将可能值大于第一预设阈值的图像帧确定为可能存在所述第一目标的图像帧；

所述目标跟踪单元根据所述可能值从高到低进行排序；根据所述排序结果，从高到低分别对每一可能存在所述第一目标的图像帧进行目标跟踪。

16.根据权利要求14所述的跟踪装置，所述目标跟踪单元进一步被配置为，当至少一个图像帧中可能存在所述第一目标时，将该图像帧作为当前帧；确定第一目标在当前帧中的检测区域，该检测区域为所述第一目标在该图像帧中的可能位置；根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域，该采样区域为所述第一目标在该前后帧中的可能位置；判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标。

17.根据权利要求16所述的跟踪装置，所述判断单元进一步被配置为对当前帧中的第一目标检测区域，进行第一特征提取；对前后帧中预测的第一目标的采样区域进行第二特征提取，第一特征与第二特征相同或类似；对所述第一特征和第二特征进行特征融合；根据特征融合结果来判断所述前后帧中第一目标采样区域中的目标是否是所述第一目标。

18.根据权利要求16所述的跟踪装置，所述根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域包括：提取所述当前帧中第一目标的检测区域的第一特征向量；在所述前后帧图像平面上撒粒子；每个所述粒子计算该粒子所在位置处的图像的特征，得到第二特征向量；计算第二特征向量与第一特征向量之间的第一相似度值；根据该第一相似度值来预测在前后帧中第一目标的采样区域的位置。

19.根据权利要求18所述的跟踪装置，其中，

在所述前后帧中，当预测得到多个第一目标的采样区域时，确定所述多个采样区域中相似度值最高的位置；将相似度值最高的位置作为第一目标的采样区域。

20.根据权利要求19所述的跟踪装置，其中，

判断所述相似度值最高的位置的相似度值是否小于第二预设阈值；当所述相似度值最高的位置的相似度值小于第二预设阈值时，停止对该图像帧的前后帧进行目标跟踪。

21.根据权利要求16所述的跟踪装置，其中，

当判断出所述前后帧中第一目标采样区域的目标是所述第一目标，则用第一目标检测区域替换该第一目标采样区域；

将所述图像帧中获取的所有第一目标检测区域进行连接，以获得第一目标跟踪轨迹。

22.根据权利要求13所述的跟踪装置，所述融合单元进一步被配置为，获取所述多个图像帧中的多个目标中的每个对应的单个目标跟踪轨迹；将所述每个单个目标跟踪轨迹进行图像融合，以获得所述多目标跟踪轨迹。

23.根据权利要求22所述的跟踪装置，所述将所述每个单个目标跟踪轨迹进行图像融合，以获得所述多目标跟踪轨迹包括：确定每个单个目标跟踪轨迹中任意两个之间的第二相似度值；当所述第二相似度值大于第三预设阈值时，则对该两个单个目标跟踪轨迹进行图像融合。

24.根据权利要求23所述的跟踪装置，其中，获取每个单个目标跟踪轨迹在图像帧中的时间信息；获取每个单个目标跟踪轨迹在图像帧中的空间信息；判断所述时间信息和/或所述空间信息是否接近；当两个单个目标跟踪轨迹的所述时间信息和所述空间信息中的至少一个接近时，计算该两个单个目标跟踪轨迹之间的第二相似度值。

25.一种计算机可读的非易失性存储介质，存储计算机程序指令，当所述计算机执行所述程序指令时，执行以下步骤：

获取视频流中的多个图像帧；

对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹；

将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。