CN111145214A - 目标跟踪方法、装置、终端设备及介质 - Google Patents

Abstract

本申请适用于计算机技术领域，提供了一种目标跟踪方法、装置、终端设备及介质，所述方法包括：获取视频帧，识别所述视频帧中的待跟踪目标；将所述待跟踪目标与前一视频帧中的各个目标进行匹配；若在所述前一视频帧中匹配到所述待跟踪目标的对应目标，则为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；若在所述前一视频帧中未匹配到所述待跟踪目标的对应目标，则获取所述待跟踪目标的特征信息，依据所述特征信息对所述待跟踪目标进行匹配。通过上述方法，能够提高目标跟踪的准确率。

Description

目标跟踪方法、装置、终端设备及介质

技术领域

本申请属于计算机技术领域，尤其涉及一种目标跟踪方法、装置、终端设备及介质。

背景技术

目标跟踪，是要将视频序列中的各个视频帧中属于同一目标的各个待跟踪目标保持相同的标识。视频帧中的待跟踪目标包括人、动物、汽车等，但是待跟踪目标在不同视频帧中的位置、姿态可能不同。例如视频中的一个人在走路，那么他在各个视频帧中的姿势可能是不同的，也可能会被周围的其他物体遮挡，导致目标跟踪时可能将各个视频帧中的同一个人识别为多个不同的人，目标跟踪的准确率不高。

发明内容

本申请实施例提供了一种目标跟踪方法、装置、终端设备及介质，可以提高目标跟踪的准确率。

第一方面，本申请实施例提供了一种目标跟踪方法，包括：

获取视频帧，识别所述视频帧中的待跟踪目标；

将所述待跟踪目标与前一视频帧中的各个目标进行匹配；

若在所述前一视频帧中匹配到所述待跟踪目标的对应目标，则为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

若在所述前一视频帧中未匹配到所述待跟踪目标的对应目标，则获取所述待跟踪目标的特征信息，依据所述特征信息对所述待跟踪目标进行匹配。

第二方面，本申请实施例提供了一种目标跟踪装置，包括：

识别模块，用于获取视频帧，识别所述视频帧中的待跟踪目标；

第一匹配模块，用于将所述待跟踪目标与前一视频帧中的各个目标进行匹配；

标识信息赋予模块，用于若在所述前一视频帧中匹配到所述待跟踪目标的对应目标，则为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

第二匹配模块，用于若在所述前一视频帧中未匹配到所述待跟踪目标的对应目标，则获取所述待跟踪目标的特征信息，依据所述特征信息对所述待跟踪目标进行匹配。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中所述的方法。

本申请实施例与现有技术相比存在的有益效果是：在对视频进行处理时，获取视频帧，识别视频帧中的待跟踪目标，并将该视频帧中的待跟踪目标与前一视频帧中的各个目标进行匹配；若在前一视频帧中匹配到待跟踪目标相匹配的对应目标，可以认为该待跟踪目标与对应目标属于同一目标，赋予待跟踪目标与对应目标相同的标识；这相当于对待跟踪目标进行了一次匹配。对于在第一次匹配中未能匹配成功的待跟踪目标，可以将其与目标库中的目标进行特征匹配，将特征相似度达到阈值的待跟踪目标与目标库中的目标识别为同一目标，赋予相同标识；这相当于对待跟踪目标的第二次匹配。在本申请实施例中，通过对待跟踪目标进行两次匹配，提高了目标跟踪的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的一种目标跟踪方法的流程示意图；

图2是本申请实施例二提供的一种目标跟踪方法的流程示意图；

图3是本申请实施例三提供的一种目标跟踪方法的流程示意图；

图4是本申请实施例四提供的第一次匹配的示意图；

图5是本申请实施例四提供的特征比对结果判断的示意图；

图6是本申请实施例五提供的一种目标跟踪装置的结构示意图；

图7是本申请实施例六提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

图1是本申请实施例一提供的一种目标跟踪方法的流程示意图，如图1所示，所述方法包括如下步骤：

S101，获取视频帧，识别所述视频帧中的待跟踪目标；

本实施例中的目标跟踪方法可以应用在进行视频跟踪的终端设备上，例如计算机、手机、监控设备、导航设备等等，本实施例中对终端设备具体类型不做限定。

在本方法中，一般要对一个视频序列进行处理，一个视频序列一般由多个视频帧组成，视频序列中的目标以人眼来看，是动态的；但是截取出一个视频帧，获得的是静态的画面。

一般情况下，视频中会出现车辆、行人、动物、建筑物等等目标，这些目标可以作为待跟踪目标。从视频序列中获取视频帧，对其中的待跟踪目标进行识别。当然也可以对待跟踪目标的类别进行规定，例如，若仅需要对监控***中的人物进行识别，则待跟踪目标为人物。

在进行目标识别时，可以为每个待跟踪目标识别一个检测框，可以获取检测框的坐标，通过检测框的坐标可以确定待跟踪目标在视频帧中的位置。

S102，将所述待跟踪目标与前一视频帧中的各个目标进行匹配；

上述匹配是要确定待跟踪目标与前一视频帧中的某个目标是否属于同一个目标。视频是由连续的视频帧组成的，前一视频帧，是指在当前处理的视频帧紧接着的前一帧画面。视频帧与视频帧之间的时间差是非常短暂的，肉眼在看超过24帧每秒的静态图片就会认为是连续动态视频，现在的技术每秒能够达到更多的帧数。在24帧每秒的视频中，视频帧之间的间隔大概不到0.05秒，这是一个很短的时间间隔，现在的视频大多每秒都高于24帧，两个视频帧之间的时间差要比0.05秒更小。因此当前处理的视频帧与前一视频帧之间的间隔是非常短的，在很短的时间内，物体的移动距离一般都很短，因此前一视频帧中出现的目标，在当前处理的视频帧中应该也会出现。对于两个视频帧中的同一个待跟踪目标，如果按照检测框的坐标将其移动到在同一个视频帧中，两个检测框应该会有比较大的重合。根据这样的原理，可以将当前视频帧中的目标与前一视频帧中的目标进行匹配。

S103，若在所述前一视频帧中匹配到所述待跟踪目标的对应目标，则为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

上述对应目标，是与待跟踪目标属于同一目标的前一视频帧中的目标。若待跟踪目标与对应目标属于同一目标，则赋予待跟踪目标与对应目标相同的标识信息。一个标识信息对应一个目标，一个目标可能会对应多个视频帧中的检测框。标识信息的格式可以是多样的，例如可以用数字1，2，3，4…来指代不同的目标，也可以用字母a，b，c，d…来表示；还可以用字母和数字的组合来来表示，标识信息的目的在于区分各个不同目标，对于其格式不做限制。

在赋予待跟踪目标标识信息后，可以将该待跟踪目标存储到目标库中。具体地，可以将其对应的检测框所在的帧和检测框在视频帧中的坐标与目标库中对应的标识信息关联存储。

S104，若在所述前一视频帧中未匹配到所述待跟踪目标的对应目标，则获取所述待跟踪目标的特征信息，依据所述特征信息对所述待跟踪目标进行匹配。

具体地，在将当前视频帧中的待跟踪目标与前一视频帧中的各个目标进行匹配的过程中，可能因为遮挡或者移动速度较快导致一些待跟踪目标无法匹配到对应目标，对于这些待跟踪目标，可以利用其特征进行匹配。在利用特征信息对待跟踪目标进行匹配时，可以采用特征提取方法算法提取出其特征；然后将待跟踪目标的特征与已经有标识信息的目标库中目标的特征进行比对，如果待跟踪目标与目标库中的某一目标特征比对成功，则表明待跟踪目标与该目标库中目标属于同一目标，赋予该待跟踪目标与该目标库中目标相同的标识信息，将带跟踪目标的特征存储在标识信息对应的特征库中。对于在特征比对中未成功匹配的待跟踪目标，可以将其看作新的目标，赋予其新的标识信息，并将该待跟踪目标存储到目标库中，将其特征存储到对应目标库中。

在本实施例中，相当于对待跟踪目标进行了两次匹配，第一次匹配是基于在两个视频帧之间的非常短暂的时间差下，目标的位移一般很小，利用目标的检测框的重合度来判断待跟踪目标是否与前一视频帧相应位置出现的目标属于同一目标，如果将重合度的阈值设置的比较高，那么匹配的正确率就比较大。第二次匹配是对于在第一次匹配中未成功匹配的待跟踪目标进行特征匹配。第二次匹配可以将当前帧中出现而前一视频帧中未出现的目标，以及一些被遮挡的目标，通过特征比对的方式，匹配成功。通过对待跟踪目标的两次匹配，提高了目标跟踪的准确率。

图2是本申请实施例二提供的一种目标跟踪方法的流程示意图，如图2所示，所述方法包括以下步骤：

S201，获取视频帧，识别所述视频帧中的待跟踪目标；

本实施例中的目标跟踪方法可以应用在进行视频跟踪的终端设备上，例如计算机、手机、监控设备、导航设备等等，本实施例中对终端设备具体类型不做限定。

具体地，从视频序列中获取视频帧，可以利用检测器识别出视频帧中的待跟踪目标，为每个待跟踪目标识别一个检测框，每个检测框可以具有其对应的坐标，通过坐标可以确定检测框在视频中的位置。

S202，分别计算所述待跟踪目标与所述前一视频帧中的各个目标之间的重合度；

具体地，若当前处理的视频帧为该视频序列的第一个视频帧，因为视频帧很属于一个静止的画面，视频帧中的各个待跟踪目标显然是属于不同的目标，因此可以赋予各个待跟踪目标各部相同的标识信息，标识信息的作用在于区分不同目标，本领域人员应该清楚，标识信息的形式不相同，不应超出本申请的范围。赋予各个待跟踪目标标识信息后，可以将其存储在目标库中，目标库中的信息可以包括但不限于标识信息、检测框坐标和目标类型。对于该视频帧中的各个目标，可以采用目标跟踪算法提取各个目标的特征，然后将其特征存储在目标对应的特征库中。

若当前处理的视频帧不是视频序列的第一个视频帧，则可以将视频帧中的待跟踪目标与前一视频帧中的各个目标进行匹配，计算待跟踪目标前一视频帧中的对应位置目标的检测框之间的重合度。

上述重合度，可以包括待跟踪目标的检测框与前一视频帧对应位置的目标的检测框的交并比(IntersectionoverUnion，IOU)值。IOU是计算预测的框和实际的边框之间的交并比。在本申请中，可以将前一视频帧中的目标的检测框看作预测的边框，将当前处理的视频帧中的目标的检测框看作实际的边框，然后计算其IOU值。在具体计算时，可以根据坐标，将前一视频帧中的各个检测框的位置迁移到当前视频帧中，然后将相应位置的前一视频帧中的检测框和待跟踪目标的检测框的交集与二者的并集计算比值，即IOU值，将IOU值看作重合度。当然，如果将前一视频帧中的各个检测框按照坐标迁移到当前视频帧中，对于当前视频帧中的一个待跟踪目标，可能有多个前一视频帧中的检测框与其有交集，可以计算待跟踪目标的检测框与多个前一视频帧中的检测框的多个IOU值，将最大的IOU值作为其重合度。

当然，也可以直接计算当前视频帧中的待跟踪目标检测框与前一视频帧中的各个目标的检测框的IOU值，然后将其中最大的IOU值作为重合度。

S203，若所述待跟踪目标与所述前一视频帧中的第一目标之间的重合度大于预设重合度阈值，则判定在所述前一视频帧中匹配到所述待跟踪目标的对应目标，所述第一目标为所述前一视频帧中的任一目标；

具体地，可以设置一个重合度阈值，如果待跟踪目标的检测框与前一视频帧中的某个目标的重合度大于重合度阈值，则说明待跟踪目标与该目标属于同一个目标。可以将重合度阈值设置的比较高，这样在匹配过程中的准确率就会高一些。

S204，若所述待跟踪目标与所述前一视频帧中的第一目标之间的重合度均小于等于预设重合度阈值，则判定在所述前一视频帧中未匹配到所述待跟踪目标的对应目标。

存在一些情况是，当前处理的视频帧中出现了前一视频帧中没有的目标，比如说在前一视频帧中，一只猫可能藏在建筑后面，而没有出现在画面中，但是在这一视频帧中出现了，这种情况下，采用重合度的匹配时无法对目标进行跟踪的。

具体地，当待跟踪目标的检测框与前一视频帧中的各个目标的重合度低于重合度阈值，则可以表明待跟踪目标与前一视频帧中的目标在两个视频帧中的移动距离大于预设值，不能判定其属于同一个目标，则表明待跟踪目标没有在前一视频帧中的对应目标。

对于当前处理的视频帧，可以利用特征提取算法提取各个待跟踪目标的特征。提取特征的步骤也可以放在重合度计算之前。

S205，若在所述前一视频帧中匹配到所述待跟踪目标的对应目标，则为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

对于当前处理的视频帧中各个待跟踪目标，若在前一视频帧中匹配到对应目标，说明待跟踪目标与对应目标属于同一目标。在对前一视频帧进行处理的过程中，已经赋予了对应目标标识信息，可以将该对应目标的标识信息赋予该待跟踪目标。将该待跟踪目标存储在目标库中，并将其特征信息存储在目标对应的特征库中。

S206，若在所述前一视频帧中未匹配到所述待跟踪目标的对应目标，则获取所述待跟踪目标的特征信息，分别计算所述特征信息与预置的特征库中各个目标的特征信息之间的相似度；

具体地，但对于在前一视频帧中未匹配到对应目标的待跟踪目标，可以利用其特征信息，将其与目标苦衷各个目标进行特征比对。特征比对，可以根据两个目标之间特征的相似度来判断这两个目标是否属于同一目标。

在视频序列中，由于遮挡，运动速度等等原因，一个目标在视频序列的某一视频帧出现后，可能在接下来的多个视频帧中没有出现，然后又出现在相隔很多视频帧的画面上。这种情况，利用视频帧中的待跟踪目标与前一视频帧中的各个目标进行匹配时，无法实现对待跟踪目标的跟踪。此时，可以通过特征比对的方式对待跟踪目标进行跟踪。

在处理当前视频帧时，当前视频帧的前面的所有视频帧中的各个目标已经全部而完成了目标跟踪并赋予其对应的标识信息。而且各个目标已经存储在目标库中，各个目标对应的特征信息存储在目标对应的特征库中。因此可以将待跟踪目标与目标库中的目标进行比对，计算待跟踪目标与目标库中各个目标的特征相似度。

目标库中存放着多个目标，每个目标可能存在于不同的视频帧中，对于每一个视频帧的中目标都已提取出一个特征，因此一个目标可以对应一个特征库，特征库中包括该目标对应的在各个多个视频帧中提取出的多个特征，因此一个目标的特征库中可以包括多个特征。当然，也会存在一些目标的特征库中只有一个特征的情况。

在进行特征比对时，需要将待跟踪目标与特征库中的各个目标进行特征比对。再将待跟踪目标与目标库中任一目标进行特征比对时，可以分别计算待跟踪目标的特征与该目标对应的特征库中的各个特征的相似度。然后选取其中最大的相似度作为待跟踪目标与该目标的特征相似度。按照这样的方法分别计算待跟踪目标与目标库中各个目标的相似度。

进行相似度预算时，也可以直接计算待跟踪目标的特征与所有目标库中的各个特征的相似度，然后选取其中的相似度最大值来进行之后的匹配。

S207，若所述相似度最大值大于预设相似度阈值，则识别所述相似度最大值对应的目标与所述待跟踪目标匹配，为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

具体地，可以预先设置一个相似度阈值，在计算完待跟踪目标与目标库中各个目标的相似度之后，可以选取其中相似度的最大值与相似度阈值进行比较。若目标库中的目标S2与待跟踪目标的相似度最大，且该相似度最大值大于相似度阈值，则可以判定，该目标S2与待跟踪目标匹配，属于同一个目标，将目标库中S2的标识信息赋予该待跟踪目标，然后将该待跟踪目标的特征存储在对应目标的特征库中。

S208，若所述相似度最大值小于等于预设相似度阈值，则为所述待跟踪目标赋予新的标识信息。

具体地，若目标库中各个目标与待跟踪目标的相似度的最大值小于等于相似度阈值，则表明待跟踪目标与目标库中各个目标都不匹配，属于一个新的目标，则为该待跟踪目标赋予一个新的标识，然后将该待跟踪目标存储到目标库中，将该待跟踪目标的特征存储在其对应的特征库中。

在本申请实施例中，相当于对待跟踪目标进行了两次匹配，第一次匹配，是进行重合度匹配，通过设置一个较高的重合度阈值，提高了第一次匹配的准确率；对于在第一次匹配中未能匹配成功的待跟踪目标，可以将其与目标库中的目标进行特征匹配，将特征相似度达到阈值的待跟踪目标与目标库中的目标识别为同一目标，赋予相同标识；这相当于对待跟踪目标的第二次匹配。将第一次匹配中未成功匹配的目标通过特征比对的方式，对其进行匹配，使得视频帧中的各个待跟踪目标匹配成功的概率增大。二次匹配，一方面提高了匹配的成功率，另一方面提高了目标跟踪的准确率。

图3是本申请实施例三提供的一种目标跟踪方法的流程示意图，如图3所示，所述方法包括以下步骤：

S301，获取视频帧，识别所述视频帧中的待跟踪目标；

S302，将所述待跟踪目标与前一视频帧中的各个目标进行匹配；

S303，若在所述前一视频帧中匹配到所述待跟踪目标的对应目标，则为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

本实施例中的S301－S303与前述S101－S103类似，可以相互参考，在此不再赘述。

S304，若在所述前一视频帧中未匹配到所述待跟踪目标的对应目标，则获取所述待跟踪目标的特征信息，针对预置的特征库中的任一目标的特征信息，提取所述目标的特征信息对应的多条特征向量；

在之前的步骤中采用特征提取算法对目标进行特征提取时，可以采用卷积神经网络(ConvolutionalNeuralNetworks，CNN)算法对其进行特征提取，提取出的特征一般会以特征向量的形式存在。

具体地，若在前一视频帧中未匹配到待跟踪目标的对应目标，则可以对其采用后续的特征比对进行再一次的匹配。进行特征比对需要获取其特征信息，提取出的特征信息一般以特征向量的形式存在，因而可以获取到待跟踪目标的特征向量。

S305，分别计算所述待跟踪目标的特征信息对应的特征向量与所述目标的多条特征向量之间的余弦距离，以所述余弦距离的最小值作为所述待跟踪目标与所述目标之间的相似度。

具体地，在计算相似度的过程中，可以用特征向量之间的余弦距离来表示特征之间的相似度。本领域技术人员应当清楚，采用其他计算方式对特征向量进行相似度运算，不应当超过本申请的范围。

所述待跟踪目标的特征信息对应的特征向量与所述目标的多条特征向量之间的余弦距离，以所述余弦距离的最小值作为所述待跟踪目标与所述目标之间的相似度。

在对视频进行目标跟踪的过程当中，会维护一个目标库，该目标库会保存视频序列内，在处理到当前帧之前出现过的各个目标。对于每一个目标，在当前视频帧之前该目标出现过的各个视频帧内，都能利用特征提取网络提取深度特征，将这些特征保存在各目标的所属的特征库内，提取的特征一般以特征向量的形式存在，所以目标库中一个目标对应特征库中可以包括多个特征向量。

在进行相似度计算时，可以分别计算待跟踪目标的特征向量与某一目标对应的特征库中的各个特征向量的余弦距离，然后选取其中最小的余弦距离作为其相似度。对于目标库中的各个目标，分别用上述办法计算其与待跟踪目标的相似度。

S306，若所述相似度最大值大于预设相似度阈值，则识别所述相似度最大值对应的目标与所述待跟踪目标匹配，为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

S307，若所述相似度最大值小于等于预设相似度阈值，则为所述待跟踪目标赋予新的标识信息。

本实施例中S306－S307与前述S206－S207相同，可以相互参阅，在此不再赘述。

S308，计算所述待跟踪目标与所述匹配到的对应目标之间的位置距离；

为了避免利用特征比对会出现误差，可以引入位置信息做进一步验证。即如果未匹配目标与某一目标库内目标相似度高，同时还要计算这个库内目标最后一次出现的位置与未匹配目标所在位置之间距离，通过为止距离对此次特征比对是否正确进行判断。

S309，若所述位置距离小于帧数间隔的预设倍数，则判定所述待跟踪目标与所述匹配到的对应目标匹配正确；

如果这个距离小于n*k倍的检测框的宽度，表明此次特征比对有效。n是该库内目标最后一次出现与当前帧之间的帧数间隔，k是一个超参数可以设为1.5或者其他数值。

S310，若所述位置距离大于等于帧数间隔的预设倍数，则为所述待跟踪目标赋予新的标识信息。

如果这个距离超过n*k倍的检测框的宽度，n是该库内目标最后一次出现与当前帧之间的帧数间隔，k是一个超参数可以设为1.5或者其他数值，则认为这个特征比对无效，是一次错误比对。例如如果待跟踪目标在当前帧在图像左下角，而匹配到的目标最后一次出现是在3帧之前，且在3帧前图像的右上角，两个框之间的距离较大。则可以认为一个目标不会在3帧内移动超过3*1.5*检测框宽的距离，所以并没有正确匹配。可以将待跟踪目标看作为新的目标，为期赋予新的标识信息。

此外，若待跟踪目标的特征向量与目标库中多个目标的相似度均高于相似度阈值，若利用与待跟踪相似度最大的目标没有匹配正确时，可以按照相似度由高到低的顺序，依次进行位置距离判断，若某一目标与待跟踪目标的相似度高于相似度阈值，且位置距离判断满足要求，则可以认为该目标与待跟踪目标属于同一目标。

在本实施例中，目标跟踪过程中，对待跟踪目标进行了一次IOU匹配和一次特征匹配和特征，提高了目标匹配的成功率；在特征匹配之后，通过位置距离对特征匹配的结果进行再一次的判断，从而去除掉特征匹配错误的目标跟踪，提高目标跟踪的准确率。

为了更好地对本申请进行说明，采用以一个实际应用实施例四，对本身申请中的目标跟踪的方法进行说明。

若需要对一个视频序列进行跟踪，对于视频序列的第一个视频帧，可以采用检测器识别出第一个视频帧中的各个目标，为每一个目标识别出一个检测框，当然可能检测器误检，对一个目标检测出多个框，这时候就要匹配其中最好的那个框，另外一个框扔掉。对于第一个视频帧中的各个目标，因为其实目标第一次出现，且在视频帧中的各个不同目标不可能会有两个目标属于同一目标，因此可以赋予视频帧中的各个目标不同的标识信息，标识信息可以是一个id，可以赋予各个目标不同的id，然后将这些id、对应的检测框以及其他信息存储到目标库中。对于视频帧中的各个目标，可以采用特征提取算法CNN算法对各个目标提取特征，并将特征存储到目标对应的特征库中。

在对视频序列进行处理的过程中，可以对当前视频帧中的各个目标采用检测器识别出一个检测框，所述检测框可以是一个包围盒(boundingbox)。在对当前视频帧进行处理时，可以将当前视频帧中的待跟踪目标与前一视频帧中的各个目标进行匹配。利用检测框之间的重合度来判断是否能够匹配，因此可以预知一个重合度阈值x0。图4是本实施例提供的待跟踪目标与前一视频帧中的各个目标进行匹配的示意图。假设当前处理的视频帧为图4中的b，视频帧b中包括有待跟踪目标b2和b4，利用检测器为该待跟踪目标识别出检测框b1和b3；当前处理的视频帧的前一个视频帧为图4中的a，视频帧a中包括目标a2，以及目标a2对应的检测框a1，在之前对视频帧a进行处理时，已经赋予了目标a2对应的id。在对视频帧b进行处理时，利用检测器识别出了该视频帧中的2个待跟踪目标b2和b3，在将视频帧b中的待跟踪目标与其前一视频帧a中的各个目标进行匹配时，因为视频帧中a只有一个目标，在匹配时，可以将目标a2的检测框a1按照其坐标迁移到视频帧b中，该检测框a2会与检测框b1有交集，如图4中的所示，c中仅表示出检测框a1检测框b1，如图，c中的c1用来表示检测框a1，c中的c2用来表示检测框b1；从图4的c中可以看出待跟踪目标b2的检测框与其前一视频帧a中的目标a2的检测框有非常大的重合度，可以计算着两个检测框之间的IOU值，IOU值的计算方法是是两个检测框之间的交集和并集的比值，检测框b1和a1之间的交集如图4中的d中的阴影部分d3所示，检测框b1和a1之间的并集如图4中的c中的阴影部分c3所示。计算出d3与c3的比值x，即为检测框b1和a1的IOU值。若x>x0，则判定目标b2与目标a2属于同一个目标，目标b2的id应与目标a2相同，然后将目标b2的特征存储在其id对应的特征库中。

关于各个目标的特征提取的步骤，可以放在待跟踪目标与前一视频帧中的各个目标匹配之前，也可以当需要将特征存储到特征库中时再进行提取，还可以放在目标检测完成与将特征存储在特征库步骤的中间任一时间内。

在将图4中的视频帧b中的待跟踪目标与其前一视频帧a中的各个目标进行匹配时，b3这一目标未能匹配到对应目标。因此可以将其与目标库中的目标进行特征比对。设置一个相似度阈值y0。

采用特征提取算法提取b3的特征向量b31，将其与目标库中已经存储的各个目标进行特征相似度计算。分别计算特征向量b31与某一目标对应的特征库内的若干条特征向量的余弦距离，将其中最小的余弦距离作为该目标与特征向量b31的相似度。按照这样的办法计算出b31与目标库中各个目标的相似度。

假设现在计算出目标库中各个目标的相似度后，有一个id为1555的目标与b31的相似度最大为y，若y>y0，则认为待跟踪目标b3的id为1555。

在进行特征比对之后，需要利用位置对特征比对的结果进行判断，图5是对特征比对进行判断的示意图。

假设在视频序列中id为1555的目标，距离待跟踪目标b3最近的图像是在图5中的视频帧51，id为1555的目标在视频帧51中以目标510的形式出现。若该视频帧51位于当前处理视频帧的前面3帧。则可以计算目标510与目标b3之间的位置距离z。假设目标框的宽度为的d，若z>＝3*1.5*d，则表明特征比对错误，b3的id并不是1555，赋予b3新的id，并将新的id添加到目标库中；若z<3*1.5*d，则表明特征比对正确，b1的id为1555。

然后将b3的信息添加到目标库中，将b3的特征添加到对应特征库中。这样完成了对于当前视频帧中多目标的踪，且更新了目标库和特征库，在对接下来的视频帧进行处理时，可以利用当前已经处理好的视频帧b对接下来的一个视频帧进行IOU匹配；可以利用更新后的目标库和特征库进行特征比对。每次对一个视频帧进行处理后，都完成了对于目标库和特征库的一次更新和维护，从而更有利于对之后视频帧中的待跟踪目标进行特征比对。

图6是本申请实施例五提供的一种目标跟踪装置的结构示意图；

识别模块61，用于获取视频帧，识别所述视频帧中的待跟踪目标；

第一匹配模块62，用于将所述待跟踪目标与前一视频帧中的各个目标进行匹配；

标识信息赋予模块63，用于若在所述前一视频帧中匹配到所述待跟踪目标的对应目标，则为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

第二匹配模块64，用于若在所述前一视频帧中未匹配到所述待跟踪目标的对应目标，则获取所述待跟踪目标的特征信息，依据所述特征信息对所述待跟踪目标进行匹配。

上述目标跟踪装置中，所述第一匹配模块62具体可以包括以下子模块：

重合度计算模块，用于分别计算所述待跟踪目标与所述前一视频帧中的各个目标之间的重合度；

第一匹配成功判定子模块，用于若所述待跟踪目标与所述前一视频帧中的第一目标之间的重合度大于预设重合度阈值，则判定在所述前一视频帧中匹配到所述待跟踪目标的对应目标，所述第一目标为所述前一视频帧中的任一目标；

第一匹配失败判定子模块，用于若所述待跟踪目标与所述前一视频帧中的第一目标之间的重合度均小于等于预设重合度阈值，则判定在所述前一视频帧中未匹配到所述待跟踪目标的对应目标。

上述目标跟踪装置中，所述第一匹配模块62的重合度计算子模块具体可以包括以下单元：

检测框获取单元，用于获取所述视频帧中的待跟踪目标的检测框，以及获取所述前一视频帧中的各个目标的检测框；

检测框重合度计算单元，用于分别计算所述待跟踪目标的检测框与所述前一视频帧中的各个目标的检测框之间的重合度。

上述目标跟踪装置中，所述第二匹配模块64具体可以包括以下子模块：

相似度计算子模块，用于分别计算所述特征信息与预置的特征库中各个目标的特征信息之间的相似度；

第二匹配成功判断子模块，用于若所述相似度最大值大于预设相似度阈值，则识别所述相似度最大值对应的目标与所述待跟踪目标匹配，为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

第二匹配失败判断子模块，用于若所述相似度最大值小于等于预设相似度阈值，则为所述待跟踪目标赋予新的标识信息。

上述目标跟踪装置中，所述第二匹配模块64的相似度计算子模块具体可以包括以下单元：

特征向量获取单元，用于针对预置的特征库中的任一目标的特征信息，提取所述目标的特征信息对应的多条特征向量；

余弦距离计算单元，用于分别计算所述待跟踪目标的特征信息对应的特征向量与所述目标的多条特征向量之间的余弦距离，以所述余弦距离的最小值作为所述待跟踪目标与所述目标之间的相似度。

上述目标跟踪装置中，所述第二匹配模块64具体可以还包括以下子模块：

位置距离计算子模块，用于计算所述待跟踪目标与所述匹配到的对应目标之间的位置距离；

匹配正确判断子模块，用于若所述位置距离小于帧数间隔的预设倍数，则判定所述待跟踪目标与所述匹配到的对应目标匹配正确；

标识信息赋予子模块，用于若所述位置距离大于等于帧数间隔的预设倍数，则为所述待跟踪目标赋予新的标识信息。

上述目标跟踪装置中具体还可以包括以下模块：

存储模块，用于将所述待跟踪目标的特征信息存储至与被赋予的标识信息对应的特征库。

图7为本申请一实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个)处理器、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意各个方法实施例中的步骤。

所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器70可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field－ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read－OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：

获取视频帧，识别所述视频帧中的待跟踪目标；

将所述待跟踪目标与前一视频帧中的各个目标进行匹配；

若在所述前一视频帧中匹配到所述待跟踪目标的对应目标，则为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

若在所述前一视频帧中未匹配到所述待跟踪目标的对应目标，则获取所述待跟踪目标的特征信息，依据所述特征信息对所述待跟踪目标进行匹配。

2.如权利要求1所述的方法，其特征在于，所述将所述待跟踪目标与前一视频帧中的各个目标进行匹配，包括：

分别计算所述待跟踪目标与所述前一视频帧中的各个目标之间的重合度；

若所述待跟踪目标与所述前一视频帧中的第一目标之间的重合度大于预设重合度阈值，则判定在所述前一视频帧中匹配到所述待跟踪目标的对应目标，所述第一目标为所述前一视频帧中的任一目标；

若所述待跟踪目标与所述前一视频帧中的第一目标之间的重合度均小于等于预设重合度阈值，则判定在所述前一视频帧中未匹配到所述待跟踪目标的对应目标。

3.如权利要求2所述的方法，其特征在于，所述分别计算所述待跟踪目标与所述前一视频帧中的各个目标之间的重合度，包括：

获取所述视频帧中的待跟踪目标的检测框，以及获取所述前一视频帧中的各个目标的检测框；

分别计算所述待跟踪目标的检测框与所述前一视频帧中的各个目标的检测框之间的重合度。

4.如权利要求1所述的方法，其特征在于，所述依据所述特征信息对所述待跟踪目标进行匹配，包括：

分别计算所述特征信息与预置的特征库中各个目标的特征信息之间的相似度；

若所述相似度最大值大于预设相似度阈值，则识别所述相似度最大值对应的目标与所述待跟踪目标匹配，为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

若所述相似度最大值小于等于预设相似度阈值，则为所述待跟踪目标赋予新的标识信息。

5.如权利要求4所述的方法，其特征在于，所述分别计算所述特征信息与预置的特征库中各个目标的特征信息之间的相似度，包括：

针对预置的特征库中的任一目标的特征信息，提取所述目标的特征信息对应的多条特征向量；

分别计算所述待跟踪目标的特征信息对应的特征向量与所述目标的多条特征向量之间的余弦距离，以所述余弦距离的最小值作为所述待跟踪目标与所述目标之间的相似度。

6.如权利要求4所述的方法，其特征在于，还包括：

计算所述待跟踪目标与所述匹配到的对应目标之间的位置距离；

若所述位置距离小于帧数间隔的预设倍数，则判定所述待跟踪目标与所述匹配到的对应目标匹配正确；

若所述位置距离大于等于帧数间隔的预设倍数，则为所述待跟踪目标赋予新的标识信息。

7.如权利要求1－6任一项所述的方法，其特征在于，还包括：

将所述待跟踪目标的特征信息存储至与被赋予的标识信息对应的特征库。

8.一种目标跟踪装置，其特征在于，包括：

识别模块，用于获取视频帧，识别所述视频帧中的待跟踪目标；

第一匹配模块，用于将所述待跟踪目标与前一视频帧中的各个目标进行匹配；

标识信息赋予模块，用于若在所述前一视频帧中匹配到所述待跟踪目标的对应目标，则为所述待跟踪目标赋予与匹配到的对应目标相同的标识信息；

第二匹配模块，用于若在所述前一视频帧中未匹配到所述待跟踪目标的对应目标，则获取所述待跟踪目标的特征信息，依据所述特征信息对所述待跟踪目标进行匹配。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images