CN110428448A - 目标检测跟踪方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种目标检测跟踪方法、装置、设备及存储介质，属于计算机视觉技术领域。所述方法包括：获取第一摄像头采集的视频图像；对第一摄像头采集的视频图像中的目标对象进行检测跟踪，得到目标对象的局部跟踪信息；根据目标对象的局部跟踪信息，计算目标对象与全局跟踪队列中的对象之间的相似度；根据上述相似度，为目标对象分配全局标识。本申请实施例提供的技术方案，在多摄像头场景下进行目标检测跟踪时，除了考虑目标对象的空间信息，还结合考虑了时间信息和外观信息，这有助于降低数据误匹配的概率，提高在多摄像头场景下进行目标检测跟踪的准确性。

Description

目标检测跟踪方法、装置、设备及存储介质

技术领域

本申请实施例涉及计算机视觉技术领域，特别涉及一种目标检测跟踪方法、装置、设备及存储介质。

背景技术

随着公众安全需求的与日俱增，布设视频监控的区域不断扩大。大范围的视频监控区域通常有多个摄像头，通过对多个摄像头采集的视频图像进行处理分析，可以实现大范围内的目标检测跟踪。

目前，相关技术对于多摄像头场景下的目标检测跟踪方案，通常采用基于摄像头的三维世界坐标标定，来获取所跟踪的目标对象在各个摄像头之间的空间位置关系。在相关技术中，预先对各个摄像头分别进行三维世界坐标标定，***在处理分析各个摄像头的数据时，首先将各个摄像头中的目标对象转换至同一个三维世界坐标系中，然后在该三维世界坐标系中对目标对象进行处理分析。

相关技术对于多摄像头场景下的目标检测跟踪方案，主要是基于目标对象的空间位置，来判断不同时间点或不同摄像头中出现的目标对象是否匹配，但这很容易导致数据的误匹配，也即在多摄像头场景下进行目标检测跟踪的准确性较差。

发明内容

本申请实施例提供了一种目标检测跟踪方法、装置、设备及存储介质，可用于解决相关技术在多摄像头场景下进行目标检测跟踪的准确性较差的问题。所述技术方案如下：

一方面，本申请实施例提供了一种目标检测跟踪方法，所述方法包括：

获取第一摄像头采集的视频图像；

对所述第一摄像头采集的视频图像中的目标对象进行检测跟踪，得到所述目标对象的局部跟踪信息，所述局部跟踪信息包括局部外观信息和局部时空信息，所述局部外观信息用于指示所述目标对象在所述第一摄像头采集的视频图像中的外观特征，所述局部时空信息用于指示所述目标对象在所述第一摄像头采集的视频图像中的时空特征；

根据所述目标对象的局部跟踪信息，计算所述目标对象与全局跟踪队列中的对象之间的相似度；其中，所述全局跟踪队列用于存储基于至少一个摄像头采集的视频图像跟踪得到的至少一个对象的全局跟踪信息，所述至少一个摄像头包括所述第一摄像头，所述全局跟踪信息包括全局外观信息和全局时空信息，所述全局外观信息用于指示所述对象在所述至少一个摄像头下的全局外观特征，所述全局时空信息用于指示所述对象在所述至少一个摄像头下的最新时空特征；

根据所述相似度，为所述目标对象分配全局标识。

另一方面，本申请实施例提供了一种目标检测跟踪装置，所述装置包括：

信息获取模块，用于获取第一摄像头采集的视频图像；

检测跟踪模块，用于对所述第一摄像头采集的视频图像中的目标对象进行检测跟踪，得到所述目标对象的局部跟踪信息，所述局部跟踪信息包括局部外观信息和局部时空信息，所述局部外观信息用于指示所述目标对象在所述第一摄像头采集的视频图像中的外观特征，所述局部时空信息用于指示所述目标对象在所述第一摄像头采集的视频图像中的时空特征；

计算比较模块，用于根据所述目标对象的局部跟踪信息，计算所述目标对象与全局跟踪队列中的对象之间的相似度；其中，所述全局跟踪队列用于存储基于至少一个摄像头采集的视频图像跟踪得到的至少一个对象的全局跟踪信息，所述至少一个摄像头包括所述第一摄像头，所述全局跟踪信息包括全局外观信息和全局时空信息，所述全局外观信息用于指示所述对象在所述至少一个摄像头下的全局外观特征，所述全局时空信息用于指示所述对象在所述至少一个摄像头下的最新时空特征；

分配标识模块，用于根据所述相似度，为所述目标对象分配全局标识。

在一种可能的设计中，所述时空比较单元，还用于当空间位置关系为两个摄像头邻接且视野有重叠时，根据所述目标对象在所述第一摄像头对应的图像坐标系中的位置坐标，以及所述第一摄像头对应的图像坐标系与全局坐标系之间的转换关系，计算所述目标对象的全局位置坐标；根据所述第i个对象在所述第二摄像头对应的图像坐标系与全局坐标系之间的转换关系，计算所述第i个对象的全局位置坐标；根据所述目标对象的全局位置坐标和所述第i个对象的全局位置坐标，计算所述目标对象与所述第i个对象之间的时空相似度。

在一种可能的设计中，所述时空比较单元，还用于当空间位置关系为两个摄像头邻接且视野有重叠时，将所述目标对象在所述第一摄像头对应的图像坐标系中的位置坐标，以及所述第i个对象在所述第二摄像头对应的图像坐标系中的位置坐标，转换至同一个目标摄像头对应的图像坐标系中，所述目标摄像头为所述第一摄像头或所述第二摄像头；根据所述目标对象在所述目标摄像头对应的图像坐标系中的位置坐标，以及所述第i个对象在所述目标摄像头对应的图像坐标系中的位置坐标，计算所述目标对象与所述第i个对象之间的时空相似度。

在一种可能的设计中，所述外观比较子模块，用于计算所述目标对象的局部外观信息所包括的k维外观特征，与所述第i个对象的全局外观信息所包括的k维外观特征之间的距离值。其中，k为正整数。根据所述距离值确定所述目标对象与所述第i个对象之间的外观相似度。

在一种可能的设计中，所述相似度计算子模块，用于将所述外观相似度和所述时空相似度进行加权求和，计算得到所述目标对象与所述第i个对象之间的相似度。

在一种可能的设计中，所述标识分配模块，用于对于每个目标对象，根据相似度矩阵查找所述全局跟踪队列中是否存在与所述目标对象相匹配的特定对象；其中，所述相似度矩阵包括所述m个目标对象与所述n个对象两两之间的相似度；若所述全局跟踪队列中存在所述特定对象，则为所述目标对象分配所述特定对象的全局标识；若所述全局跟踪队列中不存在所述特定对象，则为所述目标对象分配新的全局标识。

在一种可能的设计中，所述装置还包括坐标计算模块，用于根据所述目标对象在所述第一摄像头对应的坐标系中的位置坐标，以及所述第一摄像头对应的坐标系与全局坐标系之间的转换关系，计算所述目标对象的全局位置坐标；根据所述目标对象在各个时刻的全局位置坐标，生成所述目标对象的运动轨迹。

再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述目标检测跟踪方法。

又一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述目标检测跟踪方法。

还一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述目标检测跟踪方法。

本申请实施例提供的技术方案可以带来如下有益效果：

通过获取目标对象在单摄像头下的局部外观信息和局部时空信息，计算该目标对象与全局跟踪队列中的对象之间的相似度，根据计算出的相似度给该目标对象分配全局标识，也即在多摄像头场景下进行目标检测跟踪时，除了考虑目标对象的空间信息，还结合考虑了时间信息和外观信息，这有助于降低数据误匹配的概率，提高在多摄像头场景下进行目标检测跟踪的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的目标检测跟踪方法的一种可能的实施环境的示意图；

图2是本申请实施例提供的目标检测跟踪方法的核心步骤；

图3是本申请实施例提供的目标检测跟踪方法的一种可能的计算机设备的处理过程图；

图4是本申请实施例提供的目标检测跟踪方法的流程图；

图5是本申请实施例提供的时空相似度的一种参考性的计算方法；

图6是本申请实施例提供的目标检测跟踪装置的框图；

图7是本申请实施例提供的目标检测跟踪装置的完整框图；

图8是本申请实施例提供的计算机设备的结构框图。

具体实施方式

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供的方案涉及人工智能的计算机视觉技术，具体通过如下实施例进行说明。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

请参考图1，其示出了本申请实施例涉及的一种实施环境的示意图。该实施环境可以包括：摄像头10和计算机设备20。

摄像头10用于拍摄其视野范围内的图像，生成视频流。在本申请实施例中，摄像头10的数量有多个。例如，如图1所示，在某一个现实场景30的不同位置，布设多个摄像头10，每个摄像头10用于对该现实场景30的一部分区域进行监控，得到相应的视频流。

计算机设备20是指具备对数据进行处理和存储功能的设备，如PC(PersonalComputer，个人计算机)、服务器或者其它具有计算能力的电子设备，本申请实施例对此不作限定。计算机设备20可以接收多个摄像头10的视频流，并且可以将该视频流解码形成图像，然后做后续的处理，如进行多摄像头场景下的多目标检测跟踪。

如图2所示，其示出了计算机设备20在多摄像头场景下的多目标检测跟踪的流程图。计算机设备20接收多个摄像头10的视频流，并将视频流解码形成图像(如图2中(a)部分所示)。对于每个摄像头10，计算机设备20对该单个摄像头10的视频图像进行目标检测，得到单个摄像头10下的目标检测结果。计算机设备20可以在单个摄像头10下进行多目标检测，也即从单个摄像头10的视频图像中检测出多个目标对象(如图2中(b)部分所示)。计算机设备20基于单个摄像头10下的目标检测结果，可以进一步进行多目标跟踪，也即对该单个摄像头10下的多个目标对象分别进行跟踪，得到该单个摄像头10下的多目标跟踪结果(如图2中(c)部分所示)。最后，计算机设备20整合多个摄像头10下的多目标跟踪结果，得到多个摄像头10下的多个目标对象的跟踪结果，即全局跟踪结果(如图2中(d)部分所示)。

摄像头10与计算机设备20之间可以通过有线或者无线的方式进行通信。例如，摄像头10与计算机设备20之间的数据传送可以采用设备到设备(Ad-Hoc)的方式，也可以在基站或无线访问点(Access Point，AP)的协调下进行，本申请实施例对此不作限定。

在示例性实施例中，如图3所示，计算机设备20包括单屏跟踪模块21和跨屏跟踪模块22。单屏跟踪模块21主要负责单个摄像头下的目标检测和跟踪，得到单个摄像头下的多目标跟踪结果。跨屏跟踪模块22主要负责对多个摄像头下的多目标跟踪结果进行整合，得到全局跟踪结果。

结合参考图3，单屏跟踪模块21先对单个摄像头下的视频图像进行目标检测，检测到目标对象后即开始进行单摄像头下的目标跟踪，获取单摄像头下的局部跟踪信息，该局部跟踪信息包括局部外观信息和局部时空信息。单屏跟踪模块21将目标对象的局部跟踪信息推送至跨屏跟踪模块22。跨屏跟踪模块22接收到目标对象的局部跟踪信息之后，计算目标对象与全局跟踪队列中的对象之间的相似度，根据该相似度，为目标对象分配全局标识。如图3所示，全局跟踪队列用于存储基于多个摄像头采集的视频图像跟踪得到的至少一个对象的全局跟踪信息，包括全局外观信息和全局时空信息。单个摄像头的局部跟踪信息可以采用局部跟踪队列来表示，该局部跟踪队列中包括基于单个摄像头采集的视频图像跟踪得到的至少一个目标对象的局部跟踪信息。跨屏跟踪模块22根据目标对象的局部跟踪信息和全局跟踪队列中的对象的全局跟踪信息，计算目标对象与全局跟踪队列中的对象之间的相似度，该相似度可以是外观相似度和时空相似度的加权和。最后，跨屏跟踪模块22根据相似度计算结果，为目标对象分配全局标识。另外，计算机设备还可以根据全局跟踪结果，实现一些业务功能，如对象的轨迹绘制和显示，或者基于全局跟踪结果的其他业务逻辑，如区域管控、徘徊检测、视频结构化，等等。

在本申请实施例中，对象是指能够从视频图像中进行检测跟踪的人或物体，可选地，对象是行人、动物、交通工具(如车辆)等可移动的实物。

请参考图4，其示出了本申请一个实施例提供的目标检测跟踪方法的流程图。该方法可应用于图1所示实施环境的计算机设备中。该方法可以包括如下几个步骤(401～404)：

步骤401，获取第一摄像头采集的视频图像。

第一摄像头可以是多个摄像头中的任意一个摄像头。该多个摄像头可以用于对某一个现实场景进行监控，不同的摄像头可用于对该现实场景中的不同区域进行监控。任意两个摄像头的监控区域，可以存在重叠区域，也可以不存在重叠区域。

另外，计算机设备可以对第一摄像头采集的视频流进行解码，得到多帧视频图像。

步骤402，对第一摄像头采集的视频图像中的目标对象进行检测跟踪，得到目标对象的局部跟踪信息。

目标对象是指计算机设备在第一摄像头采集的视频图像中检测跟踪的对象，该目标对象可以包括一个对象，也可以包括多个对象。如上文已经介绍，在本申请实施例中，对象可以是行人、动物、交通工具(如车辆)等可移动的实物。在一个示例中，计算机设备对第一摄像头采集的视频图像中的所有对象(如所有行人)进行检测跟踪，得到各个对象的局部跟踪信息。在另一个示例中，计算机设备对第一摄像头采集的视频图像中的某个或某些特定对象(如某个或某些特定的行人)进行检测跟踪，得到各个特定对象的局部跟踪信息。

计算机设备首先运用目标检测技术对目标对象进行检测。可选地，计算机设备可以采用SSD(Single Shot MultiBox Detector)、YOLO(You Only Look Once)系列等方法对目标对象进行检测，本申请实施例对此不作限定。

计算机设备检测到目标对象后，再使用目标跟踪算法对目标对象进行跟踪，为该目标对象分配局部标识。目标对象的局部标识用于在单个摄像头下对目标对象起到唯一标识的作用，在单个摄像头下，不同的对象具有不同的局部标识，局部标识可以记为局部ID。可选地，计算机设备可以采用KCF(Kernelized Correlation Filtets)等相关滤波算法以及基于深度神经网络的跟踪算法(如SiamesNetwork)等对目标对象进行跟踪，本申请实施例对此不作限定。

在本申请实施例中，基于对目标对象的检测跟踪结果，计算机设备可以得到目标对象的局部跟踪信息。其中，局部跟踪信息可以包括局部外观信息和局部时空信息。

局部外观信息用于指示目标对象在单个摄像头(如本实施例中的第一摄像头)采集的视频图像中的外观特征。该外观特征反映了目标对象的颜色、形状、纹理等特征。例如，通过对该目标对象在视频图像中对应的图像区域进行特征提取，得到该目标对象的局部外观信息。以目标对象为行人为例，可以采用行人重识别(person re-identification)技术和/或人脸识别技术等得到该目标对象的局部外观信息，本申请实施例对于局部外观信息的具体获取手段不作限定。

局部时空信息用于指示目标对象在单个摄像头(如本实施例中的第一摄像头)采集的视频图像中的时空特征。该时空特征反映了目标对象在时间和空间上的特征。局部时空信息可以包括目标对象的检测框的位置及大小、目标对象的关键点信息和该目标对象对应的时间戳等信息。其中，目标对象的检测框是指包含该目标对象的最小的、且为预设形状的框，例如可以是包含该目标对象的最小矩形框。上文介绍的目标对象的局部外观信息，可以对该目标对象的检测框中的图像区域进行特征提取得到。目标对象的关键点信息是指该目标对象的各个关键点的位置，以目标对象为行人为例，其关键点可以包括足部关键点或者其它部位的关键点。关键点信息可以采用OpenPose或Mask RCNN等相关的关键点定位算法得到，本申请实施例对此不作限定。目标对象对应的时间戳是指当前处理的该帧视频图像的采集时刻。

计算机设备每对第一摄像头采集的一帧视频图像中的目标对象进行检测跟踪之后，可以得到一个局部跟踪队列。该局部跟踪队列中包括从这一帧视频图像中检测跟踪得到的至少一个对象的局部标识，以及与该局部标识对应的局部跟踪信息。

另外，对于第一摄像头采集的视频流，计算机设备可以对该视频流中的每一帧视频图像中的目标对象进行检测跟踪，也可以每间隔若干帧视频图像对目标对象进行一次检测跟踪，例如每隔5帧视频图像对目标对象进行一次检测跟踪，即对第1帧、第6帧、第11帧、第16帧等视频图像中的目标对象进行检测跟踪。

在上述步骤401和步骤402中，仅以第一摄像头为例，对第一摄像头下的目标检测跟踪过程进行了介绍说明。对于多摄像头场景，每个摄像头下的目标检测跟踪过程与上文介绍的第一摄像头下的目标检测跟踪过程相同或类似，此处不再赘述。

步骤403，根据目标对象的局部跟踪信息，计算目标对象与全局跟踪队列中的对象之间的相似度。

全局跟踪队列用于存储基于至少一个摄像头采集的视频图像跟踪得到的至少一个对象的全局标识，以及每个全局标识对应的全局跟踪信息。该至少一个摄像头包括上述第一摄像头。可选地，当本实施例提供的技术方案应用于多摄像头场景下的目标检测跟踪时，摄像头的数量为多个(也即至少两个)，该至少两个摄像头中包括上述第一摄像头，还包括至少一个其他摄像头。全局跟踪队列中包括各个对象的全局标识，以及与该全局标识对应的全局跟踪信息。其中，对象的全局标识用于在多个摄像头下对该对象起到唯一标识的作用，在多个摄像头下，不同的对象具有不同的全局标识，全局标识可以记为全局ID。

在本申请实施例中，全局跟踪信息包括全局外观信息和全局时空信息。

全局外观信息用于指示对象在至少一个摄像头下的全局外观特征。在一种可能的实施方式中，对于某一个对象来说，该对象的全局外观信息，可以根据该对象在各个摄像头下的局部外观信息进行整合得到。例如，假设总共有3个摄像头，记为摄像头1、摄像头2和摄像头3，对于某一个对象来说，如果从其中2个摄像头(如摄像头1和摄像头3)中检测得到该对象，并获得了该对象在摄像头1下的局部外观信息和该对象在摄像头3下的局部外观信息，则可以根据该对象在摄像头1下的局部外观信息和该对象在摄像头3下的局部外观信息，计算得到该对象的全局外观信息。例如，计算该对象在各个摄像头下的局部外观信息的平均值或者加权平均值，得到该对象的全局外观信息。在另一种可能的实施方式中，对于某一个对象来说，该对象的全局外观信息，包括该对象在所有摄像头下的局部外观信息。例如，假设总共有3个摄像头，记为摄像头1、摄像头2和摄像头3，对于某一个对象来说，如果从其中2个摄像头(如摄像头1和摄像头3)中检测到该对象，并获得了该对象在摄像头1下的局部外观信息和该对象在摄像头3下的局部外观信息，则该对象的全局外观信息包括摄像头1下的局部外观信息和摄像头3下的局部外观信息。

全局时空信息用于指示对象在至少一个摄像头下的全局时空特征。在一种可能的实施方式中，对于某一个对象来说，该对象的全局时空信息，是指该对象在各个摄像头下最新的局部时空信息。例如，假设总共有3个摄像头，记为摄像头1、摄像头2和摄像头3，对于某一个对象来说，如果从其中2个摄像头(如摄像头1和摄像头3)中检测得到该对象，并获得了该对象在摄像头1下的局部时空信息和该对象在摄像头3下的局部时空信息。那么，如果该对象在摄像头1下的局部时空信息包含的时间戳，晚于该对象在摄像头3下的局部时空信息包含的时间戳，则将该对象在摄像头1下的局部时空信息，确定为该对象的全局时空信息；反之，如果该对象在摄像头3下的局部时空信息包含的时间戳，晚于该对象在摄像头1下的局部时空信息包含的时间戳，则将该对象在摄像头3下的局部时空信息，确定为该对象的全局时空信息。在另一种可能的实施方式中，对于某一个对象来说，该对象的全局时空信息包括该对象在所有摄像头下的最新时空信息。例如，假设总共有3个摄像头，记为摄像头1、摄像头2和摄像头3，对于某一个对象来说，如果从其中2个摄像头(如摄像头1和摄像头3)中检测到该对象，并获得了该对象在摄像头1下最新的局部时空信息和摄像头3下最新的局部时空信息，则该对象的全局时空信息包括摄像头1下最新的局部时空信息和摄像头3下最新的局部时空信息。

可选地，对于全局跟踪队列中的每一个对象，计算机设备根据目标对象的局部跟踪信息以及该对象的全局跟踪信息，计算该目标对象与该对象之间的相似度。计算机设备计算目标对象与全局跟踪队列中的各个对象之间的相似度，目的是为了检测全局跟踪队列所记录的各个对象中，是否存在目标对象。例如，目标对象与全局跟踪队列中的某一个对象的相似度较高，如大于预设阈值，则可以确定目标对象即为全局跟踪队列中的这一个对象。又例如，计算机设备可以获取目标对象与全局跟踪队列中的各个对象之间的最大相似度，如果该最大相似度大于预设阈值，则可以确定目标对象即为该最大相似度对应的那一个对象。

在一种可能的实施方式中，目标对象与全局跟踪队列中的对象之间的相似度，可以根据该目标对象与该全局跟踪队列中的对象之间的外观相似度和时空相似度计算得到。其中，外观相似度反映了两者外观特征的相似性，目标对象与全局跟踪队列中的对象的外观相似度，可以根据目标对象的局部外观信息与该对象的全局外观信息计算得到。时空相似度反映了两者时空特征的相似性，目标对象与全局跟踪队列中的对象的时空相似度，可以根据目标对象的局部时空信息与该对象的全局时空信息计算得到。

示例性地，对于全局跟踪队列中的第i个对象，计算机设备根据目标对象的局部外观信息和该第i个对象的全局外观信息，计算该目标对象与该第i个对象之间的外观相似度；根据该目标对象的局部时空信息和该第i个对象的全局时空信息，计算该目标对象与该第i个对象之间的时空相似度；根据该外观相似度和该时空相似度，计算该目标对象与该第i个对象之间的相似度。其中，i为正整数。上述计算外观相似度和计算时空相似度的两个步骤，可以同时执行，也可以先后执行，本申请实施例对此不作限定。另外，有关上述相似度的具体计算过程，请参见下文实施例中的介绍说明。

需要说明的一点是，计算机设备最开始维护的全局跟踪队列是一个空队列，当计算机设备获取到第一个局部跟踪队列时，可以直接将该第一个局部跟踪队列中的各个对象的局部跟踪信息，存储至该全局跟踪队列中，作为该全局跟踪队列中的各个对象的全局跟踪信息，以完成对全局跟踪队列的第一次更新。另外，在第一次更新过程中，全局跟踪队列中的各个对象的全局标识，可以直接使用上述第一个局部跟踪队列中的各个对象的局部标识，也可以重新分配新的全局标识，本申请实施例对此不作限定。

步骤404，根据上述相似度，确定目标对象的全局标识。

计算机设备在计算得到目标对象与全局跟踪队列中的各个对象之间的相似度之后，可以根据该相似度计算结果，查找全局跟踪队列中是否存在与该目标对象相匹配的特定对象。如果全局跟踪队列中存在上述特定对象，则计算机设备为目标对象分配该特定对象的全局标识。如果全局跟踪队列中不存在上述特定对象，则为目标对象分配新的全局标识。例如，全局跟踪队列中包括3个对象，包括对象1、对象2和对象3，其全局标识分别为001、002和003。假设根据相似度计算结果，确定对象1与目标对象相匹配，则为该目标对象分配的全局标识即为001；假设根据相似度计算结果，确定全局跟踪队列中不存在与目标对象相匹配的特定对象，则为该目标对象分配新的全局标识，如分配004作为该目标对象的全局标识。

另外，计算机设备还需要对全局跟踪队列进行更新，当全局跟踪队列中存在与目标对象相匹配的特定对象时，计算机设备根据该目标对象的局部跟踪信息，对该特定对象的全局跟踪信息进行更新，包括根据目标对象的局部外观信息对该特定对象的全局外观信息进行更新，以及根据目标对象的局部时空信息对该特定对象的全局时空信息进行更新。当全局跟踪队列中不存在与目标对象相匹配的特定对象时，可以将该目标对象作为一个新的对象添加至全局跟踪队列中，并将该目标对象的局部跟踪信息，确定为该目标对象的全局跟踪信息。

需要说明的一点是，如果计算机设备包括上文介绍的单屏跟踪模块和跨屏跟踪模块，则上述步骤401和402可以由单屏跟踪模块执行，单屏跟踪模块得到目标对象的局部跟踪信息之后，将其发送给跨屏跟踪模块；上述步骤403和404可以由跨屏跟踪模块执行，跨屏跟踪模块根据目标对象的局部跟踪信息，结合全局跟踪队列，为目标对象分配全局标识。

在一种可能的实施方式中，上述步骤404之后还可以包括：根据该目标对象在其所在的摄像头的图像坐标系中的位置坐标，以及该摄像头的图像坐标系与全局坐标系之间的转换关系，计算该目标对象的全局位置坐标。其中，全局坐标系是指大地平面的实际物理坐标系。当摄像头预先作了全局坐标标定的情形下，可以利用物理世界中的平面投影到摄像头画面中的成像满足仿射变换这一性质，对全局坐标系和图像坐标系之间的转换关系进行建模，得到仿射变换模型，之后利用该仿射变换模型即可将该目标对象从摄像头的图像坐标系转换至全局坐标系中，以此计算出该目标对象的全局位置坐标。根据计算出的全局位置坐标，可以生成该目标对象的运动轨迹，从而能够实现大范围多摄像头视频监控场景中的实时人员定位跟踪。

综上所述，本申请实施例提供的技术方案，通过获取目标对象在单摄像头下的局部外观信息和局部时空信息，计算该目标对象与全局跟踪队列中的对象之间的相似度，根据计算出的相似度给该目标对象分配全局标识，也即在多摄像头场景下进行目标检测跟踪时，除了考虑目标对象的空间信息，还结合考虑了时间信息和外观信息，这有助于降低数据误匹配的概率，提高在多摄像头场景下进行目标检测跟踪的准确性。

另外，本申请实施例提供的技术方案，能够实现多摄像头场景下的多目标检测跟踪。在实际应用场景中，能够实现大范围多摄像头视频监控场景中的实时人员定位跟踪，继而可应用于人员授权、区域管控、人员活动轨迹实时查看、追溯、统计分析等业务场景；另外，也可以帮助实现无人或少人的安防监控，减少安保成本及提高安保效率。

下面，对相似度的计算过程进行介绍说明。

在一种可能的实施方式中，目标对象与全局跟踪队列中的对象之间的相似度，可以根据该目标对象与该全局跟踪队列中的对象之间的外观相似度和时空相似度进行计算。以计算目标对象与全局跟踪队列中的第i个对象之间的相似度为例，可以将两者的外观相似度和时空相似度进行加权求和，计算得到目标对象与该第i个对象之间的相似度。

示例性地，目标对象与第i个对象之间的相似度＝W1×目标对象与第i个对象之间的外观相似度+W2×目标对象与第i个对象之间的时空相似度，其中，W1表示外观相似度对应的权重，W2表示时空相似度对应的权重。W1和W2的具体取值可以根据实际应用场景决定，本申请实施例对此不作限定。

可选地，目标对象与第i个对象之间的外观相似度，采用如下步骤计算得到：

1、计算目标对象的局部外观信息所包括的k维外观特征，与第i个对象的全局外观信息所包括的k维外观特征之间的距离值，k为正整数；

2、根据该距离值确定目标对象与第i个对象之间的外观相似度。

目标对象与全局跟踪队列中的第i个对象之间的外观相似度，根据k维外观特征之间的距离值确定，该距离值可以采用余弦距离或者欧氏距离等进行表示。可选地，该距离值采用非归一化的欧氏距离来表示，采用这种方式来表示距离值，能够使得外观相似度在数值上体现地更加直观。另外，计算机设备可以直接将上述距离值确定为外观相似度，也可以基于预设的换算规则将距离值换算为外观相似度，本申请实施例对此不作限定。

可选地，目标对象与第i个对象之间的时空相似度，采用如下步骤计算得到：

1、若第i个对象的全局时空信息来自于至少一个摄像头中的第二摄像头，则根据目标对象的局部时空信息和第i个对象的全局时空信息，确定目标对象在第一摄像头和第二摄像头中出现的时间差，以及确定第一摄像头和第二摄像头之间的空间位置关系；

结合上文实施例中关于全局时空信息的介绍说明可知，第i个对象的全局时空信息，是该第i个对象在上述至少一个摄像头下的最新的局部时空信息。该最新的局部时空信息是从哪一个摄像头的视频图像中提取得到的，那么该摄像头即为第二摄像头。计算机设备根据目标对象的局部时空信息中包含的时间戳，以及该第i个对象的全局时空信息中包含的时间戳，计算这两个时间戳的差值，得到目标对象在第一摄像头和第二摄像头中出现的时间差。

另外，第一摄像头和第二摄像头之间的空间位置关系已知，这根据各个摄像头在现实场景中的布设位置即可确定。其中，空间位置关系为以下任意一种：两个摄像头为同一摄像头、两个摄像头邻接且视野有重叠、两个摄像头邻接且视野无重叠、两个摄像头非邻接。两个摄像头邻接是指这两个摄像头相邻设置，即一个摄像头设置在另一个摄像头的旁边。当两个摄像头邻接时，这两个摄像头的视野有可能有重叠，即两者的拍摄区域存在一部分的重叠区域；或者，这两个摄像头的视野也可能没有重叠，即两者的拍摄区域并不存在重叠区域。

可选地，视野有重叠是指地平面拍摄有重叠区域，视野无重叠是指地平面拍摄没有重叠区域。

2、根据上述时间差和空间位置关系，确定目标对象与第i个对象之间的时空相似度。

在本申请实施例中，可以配置预设对应关系，该预设对应关系包括时间差所属的取值区间、空间位置关系与时空相似度之间的对应关系。计算机设备查询预设对应关系，将与时间差和空间位置关系相对应的时空相似度，确定为目标对象与第i个对象之间的时空相似度。

结合参考图4，其示例性示出了一种预设对应关系的示意图。在图4中，仅以时空相似度对应的距离来表示时空相似度的大小，距离越大，时空相似度越小；距离越小，时空相似度越大。如图4所示，将时间差分为4个不同的取值区间，分别为时间差＝0、0＜时间差≤T1、T1＜时间差≤T2，以及时间差＞T2。其中，T1和T2是预设阈值，且T1小于T2。

当空间位置关系是两个摄像头为同一摄像头时，时空相似度对应的距离的计算可以分为如下几种情形：

(1)如果时间差＝0，则可认为目标对象和该第i个对象不是同一个对象，目标对象与该第i个对象之间的时空相似度对应的距离为无穷大。

(2)如果0＜时间差≤T1，则根据目标对象的检测框与第i个对象的检测框之间的距离，确定目标对象与该第i个对象之间的时空相似度对应的距离。

在一个示例中，计算机设备将目标对象的检测框的中心点，与第i个对象的检测框的中心点之间的欧式距离，作为该目标对象的检测框与该第i个对象的检测框之间距离。

在另一个示例中，计算机设备除了考虑两个检测框的中心点之间的距离之外，同时考虑两个检测框的大小，综合这两方面信息计算这两个检测框之间的距离。可选地，计算机设备将两个检测框之间的欧氏距离，除以两个检测框大小的相似度，得到这两个检测框之间距离。其中，这两个检测框大小的相似度，可以使用较小面积的检测框的面积比上较大面积的检测框的面积，本申请实施例对此不作限定。

计算机设备在计算得到目标对象的检测框与第i个对象的检测框之间的距离之后，可以直接将该距离作为目标对象与该第i个对象之间的时空相似度对应的距离，也可以根据预设的换算关系，根据该距离进一步计算出时空相似度对应的距离，本申请实施例对此不作限定。

(3)如果时间差＞T1，则确定目标对象与该第i个对象之间的时空相似度对应的距离为预设常数C1。

预设常数C1的取值可以结合实际情况预先进行设定，本申请实施例对此不作限定。

当空间位置关系是两个摄像头邻接且视野有重叠时，时空相似度对应的距离的计算可以分为如下几种情形：

(1)如果时间差＝0，则根据转换到同一个坐标系下的目标对象与第i个对象之间的距离，确定目标对象与该第i个对象之间的时空相似度对应的距离。

在一个示例中，当摄像头预先作了全局坐标标定的情形下，可以利用物理世界中的平面投影到摄像头画面中的成像满足仿射变换这一性质，对全局坐标系和图像坐标系之间的转换关系进行建模，可以事先标定若干组特征点(可选地，不少于四组特征点)以完成仿射变换模型的计算。如当目标对象是行人时，假设行人站立于地面上，即行人足部位于地平面之上，若足部可见则可将足部特征点在图像坐标系中的位置换算至全局坐标系中，然后在全局坐标系中计算目标对象与该第i个对象之间的距离。

在另一个示例中，当摄像头没有预先进行全局坐标标定的情形下，可以利用两个地面拍摄有重叠区域的摄像头的图像坐标系之间相互转换关系，将目标对象和该第i个对象转换至同一个图像坐标系下，然后在该同一个图像坐标系中计算目标对象与该第i个对象之间的距离，本申请实施例对于具体转换至哪一个图像坐标系不作限定。

在又一个实施例中，当摄像头预先作了全局坐标标定的情形下，也可以利用两个拍摄有重叠区域的摄像头的图像坐标系的相互转换关系将目标对象和该第i个对象转换至同一个图像坐标系中，然后将目标对象与该第i个对象在该同一个图像坐标系中的距离作为目标对象与该第i个对象之间的时空相似度对应的距离。

(2)如果0＜时间差≤T2，则分为如下几种情形：

在一个示例中，当摄像头预先作了全局坐标标定的情形下，可以将目标对象与该第i个对象转换至全局坐标系中，然后使用目标对象与该第i个对象在全局坐标系中的距离作为目标对象与该第i个对象之间的时空相似度对应的距离。

在另一个示例中，当摄像头没有预先作全局坐标标定的情形下，确定目标对象与该第i个对象之间的时空相似度对应的距离为预设常数C2，其中，预设常数C2的取值可以结合实际情况预先进行设定，本申请实施例对此不作限定。

在又一个示例中，当摄像头预先作了全局坐标标定的情形下，也可以使用预设常数C2作为目标对象与该第i个对象之间的时空相似度对应的距离。

(3)如果时间差＞T2，则确定目标对象与该第i个对象之间的时空相似度对应的距离为预设常数C3，其中，预设常数C3的取值可以结合实际情况预先进行设定，本申请实施例对此不作限定。

当空间位置关系是两个摄像头邻接且视野无重叠时，时空相似度对应的距离的计算可以分为如下几种情形：

(1)如果时间差＝0，则可认为目标对象和该第i个对象不是同一个对象，目标对象与该第i个对象之间的时空相似度对应的距离为无穷大。

(2)如果0＜时间差≤T2，则分为如下几种情形：

在一个示例中，如果摄像头预先作了全局坐标标定，可以使用目标对象和该第i个对象在全局坐标系中的距离作为目标对象和该第i个对象之间的时空相似度对应的距离。

在另一个示例中，如果摄像头没有预先作全局坐标标定，则确定目标对象与该第i个对象之间的时空相似度对应的距离为预设常数C4，其中，预设常数C4的取值可以结合实际情况预先进行设定，本申请实施例对此不作限定。

(3)如果时间差＞T2，则确定目标对象与该第i个对象之间的时空相似度对应的距离为预设常数C5，其中，预设常数C5的取值可以结合实际情况预先进行设定，本申请实施例对此不作限定。

当空间位置关系是两个摄像头非邻接时，确定目标对象和该第i个对象之间的时空相似度对应的距离为无穷大。

其中，上述预设常数C1、C2、C3、C4和C5可以是取值相同的常数，也可以是取值不同的常数，可以结合实际情况预先进行设定，本申请实施例对此不作限定。

结合上文实施例中介绍的时空相似度的具体确定过程，本申请实施例在确定两个对象的时空相似度时，主要依据包括以下几点：

1、同一个对象在同一时刻不能出现在不同位置；

2、当对象消失后，时间越久，之前的位置信息就越不可靠；

3、当两个摄像头邻接且视野有重叠时，可以利用物理世界中的平面投影到摄像头画面中的成像满足仿射变换这一性质，确定目标对象与全局跟踪队列中的对象之间的距离；

4、同一个摄像头内的检测框之间的距离，可以同时考虑检测框的大小对时空相似度的影响。

需要说明的一点是，在本申请实施例中，主要对目标对象与全局跟踪队列中的第i个对象之间的相似度计算过程进行了介绍说明，任意一个目标对象与全局跟踪队列中的任意一个对象之间的相似度，均可以采用相同或者类似的方法进行计算得到，本申请实施例对此不作限定。

综上所述，本申请实施例提供的时空相似度的计算方法，综合考虑了目标对象的时间信息、检测框大小、位置信息等，使得时空相似度的计算结果更为可靠，进一步降低了数据误匹配的概率，提升了目标检测跟踪的准确性。

在示例性实施例中，计算机设备在计算得到目标对象与全局跟踪队列中的对象之间的相似度之后，可以采用如下几种可能的实施方式，根据该相似度为目标对象分配全局标识。假设从第一摄像头的视频图像中检测跟踪得到的目标对象的数量为m个，全局跟踪队列中包含的对象的数量为n个，m和n均为正整数。

在一种可能的实施方式中，上述步骤404包括如下几个子步骤：

1、对于每个目标对象，根据相似度矩阵查找全局跟踪队列中是否存在与目标对象相匹配的特定对象；

2、若全局跟踪队列中存在特定对象，则为目标对象分配该特定对象的全局标识；

3、若全局跟踪队列中不存在特定对象，则为目标对象分配新的全局标识。

其中，相似度矩阵包括m个目标对象与n个对象两两之间的相似度，有关相似度的计算过程在上文已经介绍说明，此处不再赘述。特定对象可以是全局跟踪队列中与目标对象之间的相似度最大，且该最大相似度大于预设阈值的一个对象。预设阈值的取值，可以根据实际应用场景进行设定，如在对目标检测跟踪精度要求较高的场景下，可以设置较高的取值，本申请实施例对此不作限定。

在示例性实施例中，可以采用一定的算法从相似度矩阵中查找是否存在与目标对象相匹配的特定对象，如带权重的匈牙利算法，本申请实施例对此并不作限定。

另外，在一些其它可能的示例中，计算机设备还可以逐个遍历全局跟踪队列中的对象，逐个计算目标对象与全局跟踪队列中的对象之间的相似度，当某个对象的相似度大于预设阈值时，停止计算，直接为目标对象分配该对象的全局标识，当全局跟踪队列中没有对象的相似度大于预设阈值时，为目标对象分配新的全局标识。或者，计算机设备也可以分别计算目标对象与全局跟踪队列中的各个对象之间的相似度，然后直接为目标对象分配该相似度最大的那一个对象的全局标识。上述两种方式计算效率较高，且有助于减少计算量，但匹配准确率偏低。

综上所述，本申请实施例提供的技术方案中，通过在计算得到目标对象与全局跟踪队列中的对象之间的相似度之后，根据该相似度为目标对象分配全局标识，使得检测到的每个目标对象都有对应的全局标识，以此实现对目标对象的跨屏跟踪。

另外，通过将全局跟踪队列中与目标对象之间的相似度最大，且该最大相似度大于预设阈值的一个对象，作为与目标对象相匹配的特定对象，匹配准确率更高。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图6，其示出了本申请一个实施例提供的目标检测跟踪装置的框图。该装置6000具有实现上述方法实施例的功能，该功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置6000可以是上文介绍的计算机设备，也可以设置在计算机设备中。该装置6000可以包括：信息获取模块6100、检测跟踪模块6200、计算比较模块6300和分配标识模块6400。

信息获取模块6100，用于获取第一摄像头采集的视频图像。

检测跟踪模块6200，用于对该第一摄像头采集的视频图像中的目标对象进行检测跟踪，得到该目标对象的局部跟踪信息，该局部跟踪信息包括局部外观信息和局部时空信息，该局部外观信息用于指示该目标对象在该第一摄像头采集的视频图像中的外观特征，该局部时空信息用于指示该目标对象在该第一摄像头采集的视频图像中的时空特征。

计算比较模块6300，用于根据该目标对象的局部跟踪信息，计算该目标对象与全局跟踪队列中的对象之间的相似度；其中，该全局跟踪队列用于存储基于至少一个摄像头采集的视频图像跟踪得到的至少一个对象的全局跟踪信息，该至少一个摄像头包括该第一摄像头，该全局跟踪信息包括全局外观信息和全局时空信息，该全局外观信息用于指示该对象的全局外观特征，该全局时空信息用于指示该对象的最新时空特征。

标识分配模块6400，用于根据该相似度，为该目标对象分配全局标识。

本申请实施例中，视频获取模块6100和检测跟踪模块6200可以结合成为上文介绍的单屏跟踪模块，计算比较模块6300和标识分配模块6400可以结合成为上文介绍的跨屏跟踪模块。

在示例性实施例中，如图7所示，该计算比较模块6300，包括：外观比较子模块6310、时空比较子模块6320和相似度计算子模块6330。

外观比较子模块6310，用于对于该全局跟踪队列中的第i个对象，根据该目标对象的局部外观信息和该第i个对象的全局外观信息，计算该目标对象与该第i个对象之间的外观相似度。

时空比较子模块6320，用于根据该目标对象的局部时空信息和该第i个对象的全局时空信息，计算该目标对象与该第i个对象之间的时空相似度。

相似度计算子模块6330，用于根据该外观相似度和该时空相似度，计算该目标对象与该第i个对象之间的相似度。其中，i为正整数。

在示例性实施例中，如图7所示，该时空比较子模块6320，包括：信息确定单元6321和时空比较单元6322。

信息确定单元6321，用于当该第i个对象的全局时空信息来自于该至少一个摄像头中的第二摄像头时，根据该目标对象的局部时空信息和该第i个对象的全局时空信息，确定该目标对象在该第一摄像头和该第二摄像头中出现的时间差，以及确定该第一摄像头和该第二摄像头之间的空间位置关系。

时空比较单元6322，用于根据该时间差和该空间位置关系，确定该目标对象与该第i个对象之间的时空相似度。

在示例性实施例中，如图7所示，该时空比较单元6322，用于查询预设对应关系，将与该时间差和该空间位置关系相对应的时空相似度，确定为该目标对象与该第i个对象之间的时空相似度；其中，该预设对应关系包括该时间差所属的取值区间、该空间位置关系与该时空相似度之间的对应关系，该空间位置关系包括以下至少一项：两个摄像头为同一摄像头、两个摄像头邻接且视野有重叠、两个摄像头邻接且视野无重叠、两个摄像头非邻接。

在示例性实施例中，如图7所示，该时空比较单元6322，还用于当空间位置关系为两个摄像头邻接且视野有重叠时，根据该目标对象在第一摄像头对应的图像坐标系中的位置坐标，以及第一摄像头对应的图像坐标系与全局坐标系之间的转换关系，计算该目标对象的全局位置坐标；根据该第i个对象在第二摄像头对应的图像坐标系与全局坐标系之间的转换关系，计算该第i个对象的全局位置坐标；根据该目标对象的全局位置坐标和该第i个对象的全局位置坐标，计算该目标对象与该第i个对象之间的时空相似度。

在示例性实施例中，如图7所示，该时空比较单元6322，还用于当空间位置关系为两个摄像头邻接且视野有重叠时，将该目标对象在第一摄像头对应的图像坐标系中的位置坐标，以及该第i个对象在第二摄像头对应的图像坐标系中的位置坐标，转换至同一个目标摄像头对应的图像坐标系中，该目标摄像头为第一摄像头或第二摄像头；根据该目标对象在该目标摄像头对应的图像坐标系中的位置坐标，以及该第i个对象在该目标摄像头对应的图像坐标系中的位置坐标，计算该目标对象与该第i个对象之间的时空相似度。

在示例性实施例中，如图7所示，该外观比较子模块6310，用于计算该目标对象的局部外观信息所包括的k维外观特征，与该第i个对象的全局外观信息所包括的k维外观特征之间的距离值。其中，k为正整数。根据该距离值确定该目标对象与该第i个对象之间的外观相似度。

在示例性实施中，如图7所示，该相似度计算子模块6330，用于将该外观相似度和该时空相似度进行加权求和，计算得到该目标对象与该第i个对象之间的相似度。

在示例性实施例中，如图7所示，该标识分配模块6400，用于对于每个目标对象，根据相似度矩阵查找该全局跟踪队列中是否存在与该目标对象相匹配的特定对象；其中，该相似度矩阵包括该m个目标对象与该n个对象两两之间的相似度；若该全局跟踪队列中存在该特定对象，则为该目标对象分配该特定对象的全局标识；若该全局跟踪队列中不存在该特定对象，则为该目标对象分配新的全局标识。

在示例性实施例中，如图7所示，该装置6000还包括坐标计算模块6500，用于根据该目标对象在该第一摄像头对应的坐标系中的位置坐标，以及该第一摄像头对应的坐标系与全局坐标系之间的转换关系，计算该目标对象的全局位置坐标；根据该目标对象在各个时刻的全局位置坐标，生成该目标对象的运动轨迹。

综上所述，本申请实施例提供的技术方案，通过获取目标对象在单摄像头下的局部外观信息和局部时空信息，计算该目标对象与全局跟踪队列中的对象之间的相似度，根据计算出的相似度给该目标对象分配全局标识，也即在多摄像头场景下进行目标检测跟踪时，除了考虑目标对象的空间信息，还结合考虑了时间信息和外观信息，这有助于降低数据误匹配的概率，提高在多摄像头场景下进行目标检测跟踪的准确性。

需要说明的是，本申请实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图8，其示出了本申请实施例提供的计算机设备的结构框图。该计算机设备可以用于实施上述实施例中提供的目标检测跟踪方法。例如，该计算机设备可以是图1所示实施环境中的计算机设备20。具体来讲：

该计算机设备800包括处理单元(如中央处理器CPU、图形处理器GPU和现场可编程逻辑门阵列FPGA等)801、包括随机存取存储器(RAM)802和只读存储器(ROM)803的***存储器804，以及连接***存储器804和中央处理单元801的***总线805。该计算机设备800还包括帮助计算计算机设备内的各个器件之间传输信息的基本输入/输出***(I/O***)806，和用于存储操作***813、应用程序814和其他程序模块812的大容量存储设备807。

该基本输入/输出***806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中，该显示器808和输入设备809都通过连接到***总线805的输入输出控制器810连接到中央处理单元801。该基本输入/输出***806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。

该大容量存储设备807通过连接到***总线805的大容量存储控制器(未示出)连接到中央处理单元801。该大容量存储设备807及其相关联的计算机可读介质为计算机设备800提供非易失性存储。也就是说，该大容量存储设备807可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的***存储器804和大容量存储设备807可以统称为存储器。

根据本申请实施例，该计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备800可以通过连接在该***总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机***(未示出)。

该存储器还包括至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述目标检测跟踪方法。

本申请实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或该指令集在被处理器执行时以实现上述目标检测跟踪方法。

在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被处理器执行时，其用于实现上述目标检测跟踪方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种目标检测跟踪方法，其特征在于，所述方法包括：

获取第一摄像头采集的视频图像；

对所述第一摄像头采集的视频图像中的目标对象进行检测跟踪，得到所述目标对象的局部跟踪信息，所述局部跟踪信息包括局部外观信息和局部时空信息，所述局部外观信息用于指示所述目标对象在所述第一摄像头采集的视频图像中的外观特征，所述局部时空信息用于指示所述目标对象在所述第一摄像头采集的视频图像中的时空特征；

根据所述目标对象的局部跟踪信息，计算所述目标对象与全局跟踪队列中的对象之间的相似度；其中，所述全局跟踪队列用于存储基于至少一个摄像头采集的视频图像跟踪得到的至少一个对象的全局标识，以及与每个全局标识对应的全局跟踪信息，所述全局跟踪信息包括全局外观信息和全局时空信息，所述全局外观信息用于指示所述对象在所述至少一个摄像头下的全局外观特征，所述全局时空信息用于指示所述对象在所述至少一个摄像头下的全局时空特征；

根据所述相似度，确定所述目标对象的全局标识。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的局部跟踪信息，计算所述目标对象与全局跟踪队列中的对象之间的相似度，包括：

对于所述全局跟踪队列中的第i个对象，根据所述目标对象的局部外观信息和所述第i个对象的全局外观信息，计算所述目标对象与所述第i个对象之间的外观相似度；

根据所述目标对象的局部时空信息和所述第i个对象的全局时空信息，计算所述目标对象与所述第i个对象之间的时空相似度；

根据所述外观相似度和所述时空相似度，计算所述目标对象与所述第i个对象之间的相似度，所述i为正整数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象的局部时空信息和所述第i个对象的全局时空信息，计算所述目标对象与所述第i个对象之间的时空相似度，包括：

若所述第i个对象的全局时空信息来自于所述至少一个摄像头中的第二摄像头，则根据所述目标对象的局部时空信息和所述第i个对象的全局时空信息，确定所述目标对象在所述第一摄像头和所述第二摄像头中出现的时间差，以及确定所述第一摄像头和所述第二摄像头之间的空间位置关系；

根据所述时间差和所述空间位置关系，确定所述目标对象与所述第i个对象之间的时空相似度。

4.根据权利要求3所述的方法，其特征在于，所述根据所述时间差和所述空间位置关系，确定所述目标对象与所述第i个对象之间的时空相似度，包括：

查询预设对应关系，将与所述时间差和所述空间位置关系相对应的时空相似度，确定为所述目标对象与所述第i个对象之间的时空相似度；

其中，所述预设对应关系包括所述时间差所属的取值区间、所述空间位置关系与所述时空相似度之间的对应关系，所述空间位置关系为以下任意一种：两个摄像头为同一摄像头、两个摄像头邻接且视野有重叠、两个摄像头邻接且视野无重叠、两个摄像头非邻接。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述空间位置关系为两个摄像头邻接且视野有重叠时，根据所述目标对象在所述第一摄像头对应的图像坐标系中的位置坐标，以及所述第一摄像头对应的图像坐标系与全局坐标系之间的转换关系，计算所述目标对象的全局位置坐标；

根据所述第i个对象在所述第二摄像头对应的图像坐标系中的位置坐标，以及所述第二摄像头对应的图像坐标系与所述全局坐标系之间的转换关系，计算所述第i个对象的全局位置坐标；

根据所述目标对象的全局位置坐标和所述第i个对象的全局位置坐标，计算所述目标对象与所述第i个对象之间的时空相似度。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述空间位置关系为两个摄像头邻接且视野有重叠时，将所述目标对象在所述第一摄像头对应的图像坐标系中的位置坐标，以及所述第i个对象在所述第二摄像头对应的图像坐标系中的位置坐标，转换至同一个目标摄像头对应的图像坐标系中；其中，所述目标摄像头为所述第一摄像头或所述第二摄像头；

根据所述目标对象在所述目标摄像头对应的图像坐标系中的位置坐标，以及所述第i个对象在所述目标摄像头对应的图像坐标系中的位置坐标，计算所述目标对象与所述第i个对象之间的时空相似度。

7.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象的局部外观信息和所述第i个对象的全局外观信息，计算所述目标对象与所述第i个对象之间的外观相似度，包括：

计算所述目标对象的局部外观信息所包括的k维外观特征，与所述第i个对象的全局外观信息所包括的k维外观特征之间的距离值，所述k为正整数；

根据所述距离值确定所述目标对象与所述第i个对象之间的外观相似度。

8.根据权利要求2所述的方法，其特征在于，所述根据所述外观相似度和所述时空相似度，计算所述目标对象与所述第i个对象之间的相似度，包括：

将所述外观相似度和所述时空相似度进行加权求和，计算得到所述目标对象与所述第i个对象之间的相似度。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述目标对象的数量为m个，所述全局跟踪队列中包含的对象的数量为n个，所述m和所述n均为正整数；

所述根据所述相似度，确定所述目标对象的全局标识，包括：

对于每个目标对象，根据相似度矩阵查找所述全局跟踪队列中是否存在与所述目标对象相匹配的特定对象；其中，所述相似度矩阵包括所述m个目标对象与所述n个对象两两之间的相似度；

若所述全局跟踪队列中存在所述特定对象，则为所述目标对象分配所述特定对象的全局标识；

若所述全局跟踪队列中不存在所述特定对象，则为所述目标对象分配新的全局标识。

10.一种目标检测跟踪装置，其特征在于，所述装置包括：

视频获取模块，用于获取第一摄像头采集的视频图像；

检测跟踪模块，用于对所述第一摄像头采集的视频图像中的目标对象进行检测跟踪，得到所述目标对象的局部跟踪信息，所述局部跟踪信息包括局部外观信息和局部时空信息，所述局部外观信息用于指示所述目标对象在所述第一摄像头采集的视频图像中的外观特征，所述局部时空信息用于指示所述目标对象在所述第一摄像头采集的视频图像中的时空特征；

计算比较模块，用于根据所述目标对象的局部跟踪信息，计算所述目标对象与全局跟踪队列中的对象之间的相似度；其中，所述全局跟踪队列用于存储基于至少一个摄像头采集的视频图像跟踪得到的至少一个对象的全局跟踪信息，所述至少一个摄像头包括所述第一摄像头，所述全局跟踪信息包括全局外观信息和全局时空信息，所述全局外观信息用于指示所述对象在所述至少一个摄像头下的全局外观特征，所述全局时空信息用于指示所述对象在所述至少一个摄像头下的最新时空特征；

标识分配模块，用于根据所述相似度，为所述目标对象分配全局标识。

11.根据权利要求10所述的装置，其特征在于，所述计算比较模块，包括：

外观比较子模块，用于对于所述全局跟踪队列中的第i个对象，根据所述目标对象的局部外观信息和所述第i个对象的全局外观信息，计算所述目标对象与所述第i个对象之间的外观相似度；

时空比较子模块，用于根据所述目标对象的局部时空信息和所述第i个对象的全局时空信息，计算所述目标对象与所述第i个对象之间的时空相似度；

相似度计算子模块，用于根据所述外观相似度和所述时空相似度，计算所述目标对象与所述第i个对象之间的相似度，所述i为正整数。

12.根据权利要求11所述的装置，其特征在于，所述时空比较子模块，包括：

信息确定单元，用于当所述第i个对象的全局时空信息来自于所述至少一个摄像头中的第二摄像头时，根据所述目标对象的局部时空信息和所述第i个对象的全局时空信息，确定所述目标对象在所述第一摄像头和所述第二摄像头中出现的时间差，以及确定所述第一摄像头和所述第二摄像头之间的空间位置关系；

时空比较单元，用于根据所述时间差和所述空间位置关系，确定所述目标对象与所述第i个对象之间的时空相似度。

13.根据权利要求12所述的装置，其特征在于，

所述时空比较单元，用于查询预设对应关系，将与所述时间差和所述空间位置关系相对应的时空相似度，确定为所述目标对象与所述第i个对象之间的时空相似度；

其中，所述预设对应关系包括所述时间差所属的取值区间、所述空间位置关系与所述时空相似度之间的对应关系，所述空间位置关系包括以下至少一项：两个摄像头为同一摄像头、两个摄像头邻接且视野有重叠、两个摄像头邻接且视野无重叠、两个摄像头非邻接。

14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一项所述的目标检测跟踪方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一项所述的目标检测跟踪方法。