CN109446942A - 目标跟踪方法、装置和*** - Google Patents

Abstract

本发明提供了一种目标跟踪方法、装置和***；其中，该方法包括：通过检测模型检测当前帧图像中的目标对象，并判断目标对象是否为指定目标；如果是，获取当前帧图像之前的指定帧图像中与指定目标相匹配的跟踪目标；如果相匹配的跟踪目标为多个，根据多个跟踪目标的检测数据的相对位置，从多个跟踪目标中确定指定目标；根据多个跟踪目标中，除指定目标以外的跟踪目标在指定帧图像中的位置，估计除指定目标以外的跟踪目标在当前帧图像的位置，根据估计结果从除指定目标以外的跟踪目标中确定被遮挡目标。本发明可以实现未被遮挡的目标对象和被遮挡目标的跟踪，降低了跟踪丢失的发生概率，从而提高了目标跟踪的准确率。

Description

目标跟踪方法、装置和***

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种目标跟踪方法、装置和***。

背景技术

在监控领域，对行人进行跟踪具有重要的价值。受拍摄角度的限制，当行人较多或行人间距离较近时，在视频上容易发生相互遮挡。相关的行人跟踪方法中，可以基于传统滤波器，如KFPPK(Kalman filter and the probability product kernel，卡尔曼滤波器与概率乘积核)算法，通过算法估计处理轻度的遮挡问题；还有一种通过基于卡尔曼滤波的鲁棒多目标检测跟踪算法，该算法利用像素级差距和长宽比来进行遮挡判断；但如果互相遮挡的行人间的体型存在差异、或行人的位置关系不正、或有其他外界非行人因素干扰时，上述这些方式的遮挡处理效果较差，进而导致行人跟踪的准确率较低。

发明内容

有鉴于此，本发明的目的在于提供一种目标跟踪方法、装置和***，以实现未被遮挡的目标对象和被遮挡目标的跟踪，降低跟踪丢失的发生概率，从而提高目标跟踪的准确率。

第一方面，本发明实施例提供了一种目标跟踪方法，该方法包括：获取当前帧图像；通过预设的检测模型检测当前帧图像中的目标对象，并判断目标对象是否为指定目标；指定目标为未被遮挡的目标，且指定目标遮挡了被遮挡目标；如果是，获取当前帧图像之前的指定帧图像中与指定目标相匹配的跟踪目标；如果相匹配的跟踪目标为多个，根据多个跟踪目标的检测数据的相对位置，从多个跟踪目标中确定指定目标，以对指定目标进行跟踪；根据多个跟踪目标中，除指定目标以外的跟踪目标在指定帧图像中的位置，估计除指定目标以外的跟踪目标在当前帧图像的位置，根据估计结果从除指定目标以外的跟踪目标中确定被遮挡目标，以对被遮挡目标进行跟踪。

在本发明较佳的实施例中，上述通过预设的检测模型检测当前帧图像中的目标对象，并判断目标对象是否为指定目标的步骤，包括：通过第一网络模型检测当前帧图像中的目标对象；通过第二网络模型检测目标对象是否遮挡了被遮挡目标，如果是，将目标对象确定为指定目标。

在本发明较佳的实施例中，上述获取当前帧图像之前的指定帧图像中与指定目标相匹配的跟踪目标的步骤，包括：获取当前帧图像之前的指定帧图像中的跟踪目标；如果跟踪目标为多个，逐一将每个跟踪目标的检测数据与指定目标的检测数据进行匹配；将匹配结果大于或等于预设的匹配阈值的跟踪目标确定为指定目标相匹配的跟踪目标。

在本发明较佳的实施例中，上述逐一将每个跟踪目标的检测数据与指定目标的检测数据进行匹配的步骤，包括：逐一计算每个跟踪目标的检测数据与指定目标的检测数据之间的交并比；如果当前跟踪目标对应的交并比大于或等于预设的第一比值阈值，将当前跟踪目标的检测数据与指定目标的检测数据进行匹配。

在本发明较佳的实施例中，上述检测数据通过检测框标识；根据多个跟踪目标的检测数据的相对位置，从多个跟踪目标中确定指定目标的步骤，包括：从多个跟踪目标中识别检测数据的检测框底边位置位于最底部的跟踪目标；将识别出的跟踪目标确定为指定目标。

在本发明较佳的实施例中，上述指定帧图像包括多帧图像；根据多个跟踪目标中，除指定目标以外的跟踪目标在指定帧图像中的位置，估计除指定目标以外的跟踪目标在当前帧图像的位置的步骤，包括：根据多个跟踪目标中，除指定目标以外的跟踪目标在多帧图像中的位置，通过卡尔曼算法对除指定目标以外的跟踪目标进行运动估计，得到除指定目标以外的跟踪目标在当前帧图像的估计位置。

在本发明较佳的实施例中，上述根据估计结果从除指定目标以外的跟踪目标中确定被遮挡目标的步骤，包括：判断估计位置与指定目标的检测数据的交并比是否大于或等于预设的第二比值阈值；如果是，确定估计位置对应的跟踪目标为被遮挡目标，将估计位置确定为被遮挡目标在当前帧图像中的位置；如果否，根据指定目标的检测数据的位置，调整估计位置，将调整后的估计位置确定为被遮挡目标在当前帧图像中的位置。

第二方面，本发明实施例提供了一种目标跟踪装置，该装置包括：图像获取模块，用于获取当前帧图像；检测模块，用于通过预设的检测模型检测当前帧图像中的目标对象，并判断目标对象是否为指定目标；指定目标为未被遮挡的目标，且指定目标遮挡了被遮挡目标；第一跟踪模块，用于如果目标对象是指定目标，获取当前帧图像之前的指定帧图像中与指定目标相匹配的跟踪目标；如果相匹配的跟踪目标为多个，根据多个跟踪目标的检测数据的相对位置，从多个跟踪目标中确定指定目标，以对指定目标进行跟踪；第二跟踪模块，用于根据多个跟踪目标中，除指定目标以外的跟踪目标在指定帧图像中的位置，估计除指定目标以外的跟踪目标在当前帧图像的位置，根据估计结果从除指定目标以外的跟踪目标中确定被遮挡目标，以对被遮挡目标进行跟踪。

第三方面，本发明实施例提供了一种目标跟踪***，该***包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述目标跟踪方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述目标跟踪方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供的上述目标跟踪方法、装置和***，首先通过预设的检测模型检测当前帧图像中的目标对象，并判断目标对象是否为指定目标；该指定目标为未被遮挡的目标，且该指定目标遮挡了被遮挡目标；如果目标对象是指定目标；则获取当前帧图像之前的指定帧图像中与指定目标相匹配的跟踪目标；根据多个跟踪目标的检测数据的相对位置，从多个跟踪目标中确定指定目标，以对指定目标进行跟踪；再根据多个跟踪目标中，除指定目标以外的跟踪目标在指定帧图像中的位置，估计除指定目标以外的跟踪目标在当前帧图像的位置，根据估计结果从除指定目标以外的跟踪目标中确定被遮挡目标，以对该被遮挡目标进行跟踪。上述方式可以同时实现未被遮挡的目标对象和被遮挡目标的跟踪，只要检测出目标对象遮挡了被遮挡目标，即可通过多帧图像间运动估计的方式实现被遮挡目标的跟踪，降低了跟踪丢失的发生概率，从而提高了目标跟踪的准确率。

尤其是对于人流密集的视频帧中，目标间的遮挡较为严重，通过上述方式可以很好地降低同一跟踪目标被识别为多个行人的情况，提升了人流密集情况下的目标跟踪效果。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子***的结构示意图；

图2为本发明实施例提供的一种目标跟踪方法的流程图；

图3为本发明实施例提供的另一种目标跟踪方法的流程图；

图4为本发明实施例提供的一种目标跟踪装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有的遮挡处理方式的遮挡处理效果较差，进而导致行人跟踪的准确率较低的问题，本发明实施例提供了一种目标跟踪方法、装置和***；该技术可以应用于视频监控、行人跟踪等场景中；该技术可采用相应的软件和硬件实现，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的目标跟踪方法、装置和***的示例电子***100。

如图1所示的一种电子***的结构示意图，电子***100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子***100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子***也可以具有其他组件和结构。

所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子***100中的其它组件的数据进行处理，还可以控制所述电子***100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集设备110可以采集预览视频帧或图像数据，并且将采集到的预览视频帧或图像数据存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的目标跟踪方法、装置和***的示例电子***中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到帧图像的指定位置。当上述电子***中的各器件集成设置时，该电子***可以被实现为诸如相机、智能手机、平板电脑、计算机等智能终端。

实施例二：

本实施例提供了一种目标跟踪方法，该方法由上述电子***中的处理设备执行；该处理设备可以是具有数据处理能力的任何设备或芯片。该处理设备可以独立对接收到的信息进行处理，也可以与服务器相连，共同对信息进行分析处理，并将处理结果上传至云端。

如图2所示，该目标跟踪方法包括如下步骤：

步骤S202，获取当前帧图像；

对于一段视频数据，在对其进行目标跟踪时，可以按照时间顺序，从该视频数据的第一帧图像开始，对其中的目标对象进行检测和识别；将多帧图像间，被识别为同一目标对象的对象通过同一个序号或符号进行标识，以对该目标对象进行跟踪。在实际跟踪过程中，可以逐一对上述视频数据中的每帧图像进行目标对象的检测和识别，此时可以按照视频数据中帧图像的排列顺序获取当前帧图像；另一种方式中，可以预先设置采样频率，按照视频数据中帧图像的排列顺序以及预设的采样频率，获取当前帧图像。

步骤S204，通过预设的检测模型检测当前帧图像中的目标对象，并判断该目标对象是否为指定目标；该指定目标为未被遮挡的目标，且指定目标遮挡了被遮挡目标；

上述预设的检测模型可以通过神经网络训练得到；当前帧图像输入至检测模型中后，具体可以通过人脸检测或人形检测的方式检测当前帧图像中是否存在目标对象；如果存在目标对象，可以通过检测框标识该目标对象的检测数据；该检测框通常为矩形，该检测框中通常包含有目标对象的脸部区域或由头至脚的身体区域。

上述检测模型可以预先训练成仅检测未被遮挡或者遮挡程度小于预设阈值的目标对象；具体地，预先在训练样本中使用检测框(如矩形检测框等)仅标注未被遮挡或遮挡程度较小的行人，再将该训练样本输入至神经网络中进行训练，即可得到上述检测模型。

需要说明的是，现有技术中，基于神经网络或深度神经网络实现的行人检测模型通常忽略被遮挡行人，因此，本实施例中的检测模型如果采用现有技术中的行人检测模型，即不通过上述训练样本进行训练，其检测出的目标对象也大多是未被遮挡或遮挡程度较小的行人，而通过上述训练样本进行训练后，可以使检测出的目标对象是未被遮挡或遮挡程度较小的行人的占比更高，检测结果更加准确。

由上述描述可知，检测模型检测出的目标对象可以认为是未被遮挡的目标，但不一定是遮挡了被遮挡目标的指定对象；为了从目标对象中获取指定对象；还需要对这些目标对象逐一判断是否遮挡了其他对象，该其他对象即为上述被遮挡目标。具体的判断过程也可以通过上述检测模型实现，或者通过一个分立的遮挡判别模型实现；当通过检测模型实现时，上述检测出的目标对象可以是通过该检测模型的第一子网络实现，输出检测出的目标对象作为中间结果；得到目标对象后，在通过该检测模型中的第二子网络对这些目标对象进行检测，从这些目标对象中筛选出指定目标。当通过分立的遮挡判别模型实现时，将检测模型检测得到的目标对象输入至遮挡判别模型进行筛选，输出得到指定目标。

上述第二子网络或上述遮挡判别模型均可以预先训练成用于识别目标对象是否遮挡其他对象的模型；具体地，预先在训练样本中使用检测框标注出来行人自身没有被遮挡，但遮挡了其他行人的行人，再将该训练样本输入至神经网络中进行训练，即可得到上述第二子网络或遮挡判别模型。

步骤S206，如果是，获取当前帧图像之前的指定帧图像中与指定目标相匹配的跟踪目标；如果相匹配的跟踪目标为多个，根据多个跟踪目标的检测数据的相对位置，从多个跟踪目标中确定指定目标，以对指定目标进行跟踪；

由上述描述可知，目标追踪是按照时间顺序从视频数据的第一帧图像开始，对其中的目标对象进行检测和识别；当获取到当前帧图像时，该当前帧图像之前的帧图像通常已经完成了目标追踪的过程；即，对于当前帧图像之前的一个帧图像，该视频帧图像中通过检测框标明了各个跟踪目标，每个跟踪目标对应一个跟踪标识；当前帧图像之前的多个帧图像之间，同一跟踪目标对应同一个跟踪标识。为了将当前帧图像中识别出的目标对象与当前帧图像之前的帧图像中的跟踪目标相对应，通常需要将该目标对象与当前帧图像之前的帧图像中的跟踪目标进行匹配，将匹配成功的跟踪目标与该目标对象进行关联，以完成该跟踪目标在当前帧中的跟踪。

上述当前帧图像之前的指定帧图像，可以为视频数据中当前帧图像的前一帧图像，也可以为按照设定频率采样后，当前帧图像的前一帧图像，也可以为当前帧图像之前的其他指定的帧图像。当然，该指定帧图像也可能包含多帧图像；但在大多的跟踪过程中该指定帧图像为单帧图像。对于上述指定目标，通常也需要获取与之相匹配的当前帧图像之前的指定帧图像中的跟踪目标，由于上述指定目标遮挡了被遮挡目标，该指定目标的检测数据中可能包含被遮挡目标的至少一部分检测数据；因而指定目标可能与指定帧图像中的跟踪目标多个跟踪目标相匹配，例如，如果该指定目标遮挡的被遮挡目标为一个，那么该指定目标可能与指定帧图像中的两个跟踪目标相匹配。

该指定目标匹配的多个跟踪目标中，通常仅有一个跟踪目标与该指定目标是同一个目标；由上述描述可知，该指定目标是没有被遮挡的目标，且摄像头大多以特定的角度拍摄视频；因此，可以根据匹配的多个跟踪目标的相对位置确定哪个跟踪目标与该指定目标是同一个目标；例如，摄像头以俯视角度拍摄视频时，指定目标相对于被遮挡目标的在帧图像中的位置较为靠下，基于此，可以从多个跟踪目标中确定指定目标；而如果摄像头以其他角度拍摄，或者道路倾斜的情况下，指定目标相对于被遮挡目标的在帧图像中的位置可能会发生变化，此时根据拍摄角度或道路倾斜角度确定指定目标与被遮挡目标的相对位置即可，进而从多个跟踪目标中确定指定目标。至此，实现了当前帧图像中的指定目标与当前帧图像之前的指定帧图像中跟踪目标的关联，完成了该跟踪目标在当前帧图像的跟踪。

需要说明的是，该指定目标也可能仅与其中一个跟踪目标相匹配，该情况可能是由于该指定目标对被遮挡目标的遮挡程度较为严重造成，但由于已经检测出指定目标附近存在被遮挡目标，可以根据指定目标的位置估计被遮挡目标在指定帧图像中的位置，如果估计位置中存在跟踪目标，可以将该跟踪目标与被遮挡目标关联；如果估计位置中不存在跟踪目标，说明该被遮挡目标是新出现的目标，此时可以采用一个新的标识标记该跟踪目标，并在后续的视频帧图像中予以跟踪。

步骤S208，根据多个跟踪目标中，除指定目标以外的跟踪目标在指定帧图像中的位置，估计除指定目标以外的跟踪目标在当前帧图像的位置，根据估计结果从除指定目标以外的跟踪目标中确定被遮挡目标，以对该被遮挡目标进行跟踪。

本实施例中的目标跟踪过程，不仅需要对指定目标进行跟踪，还需要对该指定目标遮挡的被遮挡目标进行跟踪；由于目标跟踪在视频帧图像间是连续的过程，本实施例中默认当前帧图像的之前的指定帧图像已经完成了对未被遮挡的指定目标和该指定目标遮挡的被遮挡目标进行跟踪。

上述多个跟踪目标均与指定目标匹配，除指定目标以外的跟踪目标中可能存在该指定目标遮挡的被遮挡目标；此时，可以对除指定目标以外的跟踪目标进行运动估计，以得到该跟踪结果在当前帧图像中的估计位置；在实际实现时，上述运动估计的过程可能需要当前帧图像之前的多个帧图像中同一跟踪目标的位置，此时上述指定帧图像包含了多帧图像。

如果该跟踪目标的估计位置位于指定目标附近，且该估计位置与指定目标的检测数据重合程度较高，说明该跟踪目标可能为当前帧图像中的被遮挡目标，此时即可将该跟踪目标与被遮挡目标关联，以完成该跟踪目标在当前帧图像的跟踪。

如果上述除指定目标以外的跟踪目标的估计位置没有在指定目标附近，或者与指定目标的检测数据不重合；而当前帧图像中的指定目标附近又检测到存在被遮挡目标，此时可以调整除指定目标以外的跟踪目标对应的估计位置，将调整后的估计位置与被遮挡目标关联，以完成该跟踪目标在当前帧图像的跟踪。

本发明实施例提供的上述目标跟踪方法，首先通过预设的检测模型检测当前帧图像中的目标对象，并判断目标对象是否为指定目标；该指定目标为未被遮挡的目标，且该指定目标遮挡了被遮挡目标；如果目标对象是指定目标；则获取当前帧图像之前的指定帧图像中与指定目标相匹配的跟踪目标；根据多个跟踪目标的检测数据的相对位置，从多个跟踪目标中确定指定目标，以对指定目标进行跟踪；再根据多个跟踪目标中，除指定目标以外的跟踪目标在指定帧图像中的位置，估计除指定目标以外的跟踪目标在当前帧图像的位置，根据估计结果从除指定目标以外的跟踪目标中确定被遮挡目标，以对该被遮挡目标进行跟踪。上述方式可以同时实现未被遮挡的目标对象和被遮挡目标的跟踪，只要检测出目标对象遮挡了被遮挡目标，即可通过多帧图像间运动估计的方式实现被遮挡目标的跟踪，降低了跟踪丢失的发生概率，从而提高了目标跟踪的准确率。

尤其是对于人流密集的视频帧中，目标间的遮挡较为严重，通过上述方式可以很好地降低同一跟踪目标被识别为多个行人的情况，提升了人流密集情况下的目标跟踪效果。

实施例三：

本实施例提供了另一种目标跟踪方法，该方法在上述实施例的基础上实现；该方法中，进一步描述了该目标跟踪方法，尤其是发生遮挡的指定目标和被该指定目标遮挡的被遮挡目标的跟踪方式；如图3所示，该方法包括如下步骤：

步骤S302，获取当前帧图像；

步骤S304，通过第一网络模型检测当前帧图像中的目标对象；

该第一网络模型可以通过人脸检测或人形检测的方式检测目标对象；通常，人脸检测得到的检测数据通常包括人脸或头部，人形检测得到的检测数据通常包括整个人体。由上述实施例描述可知，后续需要基于各个跟踪目标的相对位置关系实现目标跟踪，而人与人之间身高差距较大，因而通过人脸检测不易实现本实施例中的目标跟踪，因此本实施例中采用人形检测的方式检测目标对象，检测出的目标对象通过检测框标识，如矩形框。

该第一网络模型可以通过训练得到；具体地，预先在训练样本中使用检测框仅标注未被遮挡或遮挡程度较小的行人，再将该训练样本输入至神经网络模型中进行训练，即可得到上述第一网络模型；其中，该神经网络模型具体可以为Faster-RCNN模型、RetinaNet模型等。

步骤S306，通过第二网络模型检测目标对象是否遮挡了被遮挡目标，如果是，将目标对象确定为指定目标。

该第二网络模型可以预先训练成用于识别目标对象是否遮挡其他对象的模型；具体地，预先在训练样本中使用检测框标注出来行人自身没有被遮挡、但遮挡了其他行人的行人，再将该训练样本输入至神经网络模型中进行训练，即可得到上述第二网络模型，该第二网络模型也可以称为上述实施例中的遮挡判别模型。该神经网络模型具体可以为小型分类网络，如resnet10、resnet18等。

上述第一网络模型和第二网络模型均可以使用轻量化的神经网络训练实现。由于神经网络通常仅接受固定大小的图像数据，因此，上述第一网络模型和第二网络模型的训练样本中，使用检测框标注出行人后，将检测框包含的图像调整至对应的神经网络所能接受的固定大小，再将该检测框包含的图像输入至神经网络中进行训练。其中，检测框包含的图像具体的调整方式可以为图像伸缩、删除多余部分、填补空白部分等方式。

上述第二网络模型的训练样本具体可以通过下述方式获得：从现有的行人数据集中选取与其他检测框不相交的行人的检测框作为负样本；选取遮挡了其他行人的检测框作为正样本。由于正样本相对于负样本的数量较小，再从选取行人非常多、遮挡较为严重的视频中选取正样本，具体地，如果两个检测框存在超过某个交并比阈值(如0.3)的交并比时，将检测框底边靠下的检测框作为正样本。

在通过上述方式获得训练样本后，通过这些训练样本训练第二网络模型的过程中，使用困难负样本挖掘技术再次调节训练样本中正样本和负样本数量差距造成的影响。具体地，在训练过程中，可以先随机选取和正样本同数量级的负样本，训练后在整个负样本集合里挖掘无法正确判别的负样本作为“困难负样本”继续训练第二网络模型。

在上述第二网络模型的训练过程中，可以先在通用物体上数据集(如imagenet数据集)上进行第一次训练，再在普通行人数据集(如caltech数据集)上进行第二次训练(即微调的过程)，再在构造的含遮挡训练数据(即上述第二网络模型的训练样本)上进行第三次训练(即再次微调的过程)，进而得到最终的第二网络模型。

步骤S308，获取当前帧图像之前的指定帧图像中的跟踪目标；

由上述实施例可知，当前帧图像之前的指定帧图像可以设置为当前帧图像之前的任意帧图像，但通常是当前帧图像之前的，与该当前帧图像距离较近的帧图像。由于指定帧图像位于当前帧图像之前，在对当前帧图像进行目标跟踪的时候，指定帧图像已经完成了目标跟踪的过程，即对指定帧图像中的每个跟踪目标通过检测框标识，并赋予跟踪标识。因此，获取指定帧图像中的跟踪目标，具体可以获取该指定帧图像中各个检测框的位置以及对应的跟踪标识。

步骤S310，如果跟踪目标为多个，逐一将每个跟踪目标的检测数据与指定目标的检测数据进行匹配；将匹配结果大于或等于预设的匹配阈值的跟踪目标确定为指定目标相匹配的跟踪目标。

在实际实现时，可以统计指定帧图像中跟踪标识的个数，进而获知该指定帧图像中跟踪目标的个数。如果跟踪目标为多个，则每个跟踪目标均有可能与指定目标为同一行人，因此逐一将每个跟踪目标的检测数据与指定目标的检测数据进行匹配。由于检测数据是通过检测框标识的部分区域图像，因此，可以通过相关的图像匹配算法实现跟踪目标的检测数据与指定目标的检测数据之间的匹配；该图像匹配算法也可以理解为图像相似度比对算法，具体包括原始对偶算法、动态树维护最短路径树的增量算法、直方图方法、图像模板匹配方法、感知哈希算法等。

跟踪目标的检测数据与指定目标的检测数据之间匹配后，生成的匹配结果可以表征二者之间的相似程度；例如，该匹配结果可以为一个百分比，匹配结果越高，二者之间的相似程度越大；当匹配结果为100％时，说明二者完全相同。由于跟踪目标大多处于运动状态，因此可以根据经验设置一个匹配阈值，如70％，如果跟踪目标的检测数据与指定目标的检测数据之间的匹配结果大于或等于70％，说明跟踪目标与指定目标为同一行人，该跟踪目标为指定目标相匹配的跟踪目标。

如果跟踪目标为一个，将该跟踪目标与当前帧图像中的指定目标相匹配，如果匹配结果大于或等于预设的匹配阈值，该跟踪目标即为指定目标相匹配的跟踪目标；而如果匹配结果小于预设的匹配阈值，该跟踪目标可以与当前帧图像中，除上述指定目标以外的其他目标对象(即没有遮挡其他目标的目标对象)进行匹配。可以理解，本实施例重点描述指定目标(即未被遮挡的目标，且该指定目标遮挡了被遮挡目标)的目标跟踪过程，对于没有遮挡其他目标的目标对象，可以采用现有方式进行目标跟踪。

另外，如果跟踪目标的个数较多，逐一将每个跟踪目标的检测数据与指定目标的检测数据进行匹配可能会导致运算成本较高；为了解决该问题，在进行匹配之前，可以将多个跟踪目标进行筛选，具体地，上述步骤S310中的，逐一将每个跟踪目标的检测数据与指定目标的检测数据进行匹配的过程，可通过下述步骤1-步骤2实现：

步骤1，逐一计算每个跟踪目标的检测数据与指定目标的检测数据之间的交并比；

跟踪目标的检测数据与指定目标的检测数据之间的交并比可以理解为跟踪目标的检测数据与指定目标的检测数据之间的交叠率，通常，交并比越高，说明跟踪目标的检测数据与指定目标的检测数据重叠程度越高，该跟踪目标与指定目标是同一行人的可能性越大。

上述跟踪目标的检测数据与指定目标的检测数据之间的交并比IOU(Intersection Over Union)可以通过下述公式计算：IOU＝(跟踪目标的检测数据∩指定目标的检测数据)/(跟踪目标的检测数据∪指定目标的检测数据)。

步骤2，如果当前跟踪目标对应的交并比大于或等于预设的第一比值阈值，将当前跟踪目标的检测数据与指定目标的检测数据进行匹配。

上述交并比可以为一个百分比；如果跟踪目标的检测数据与指定目标的检测数据之间的交并比较小，甚至为零，说明跟踪目标和指定目标的位置距离较远；同于当前帧图像和指定帧图像之间相邻或距离较近，同一行人在两个帧图像的移动距离通常不会太大，基于此，如果跟踪目标的检测数据与指定目标的检测数据之间的交并比较小，很有可能二者不是同一行人，也就无需再进行检测数据间的匹配。具体可以设置一个第一比值阈值，该第一比值阈值可以为50％，当交并比大于或等于该第一比值阈值时，将当前跟踪目标的检测数据与指定目标的检测数据进行匹配；如果交并比小于该第一比值阈值，则不再将当前跟踪目标的检测数据与指定目标的检测数据进行匹配。

因此，通过上述方式，可以在跟踪目标较多的情况下，先根据交并比进行筛选出距离指定目标较近的跟踪目标，再将这些跟踪目标与指定目标进行匹配，从而可以节约图像匹配的运算成本。

步骤S312，如果指定目标相匹配的跟踪目标多个，从多个跟踪目标中识别检测数据的检测框底边位置位于最底部的跟踪目标；将识别出的跟踪目标确定为指定目标。

例如，如果跟踪目标A与跟踪目标B均与指定目标匹配，说明该指定目标的检测数据包含跟踪目标A的全部或至少一部分检测数据，也包含跟踪目标B的全部或至少一部分检测数据；因此，与指定目标相匹配的多个跟踪目标中，其中一个跟踪目标与指定目标属于同一个目标，其他跟踪目标为该指定目标遮挡的被遮挡目标。

由于大多数采集视频帧的摄像头设置在相对人群较高的位置，距离摄像头较近的行人通常不被其他行人遮挡，且易遮挡其他行人；并且，距离摄像头较近的行人位于视频帧中的位置较为靠下。基于该原理，可以对多个跟踪目标的位置进行比较，将处于最低位置的跟踪目标确定为指定目标。考虑到行人之间的身高不同，为了准确获取各个跟踪目标的位置，可以将检测数据的检测框底边作为基准，将检测数据的检测框底边位置位于最底部的跟踪目标，确定为指定目标。

至此，本实施例实现了当前帧图像中的指定目标与当前帧图像之前的指定帧图像中跟踪目标的关联，完成了该跟踪目标在当前帧图像的跟踪。但由于指定目标遮挡了被遮挡目标，因此，还需要对被遮挡目标进行目标跟踪，具体通过下述步骤实现。

步骤S314，根据多个跟踪目标中，除指定目标以外的跟踪目标在多帧图像中的位置，通过卡尔曼算法对除指定目标以外的跟踪目标进行运动估计，得到除指定目标以外的跟踪目标在当前帧图像的估计位置。

由于上述多个跟踪目标均与当前帧图像中的指定目标相匹配，多个跟踪目标中除与指定目标为同一行人的跟踪目标以外，其余均为被指定目标遮挡的跟踪目标；由于这些被遮挡的跟踪目标的检测数据大部分被指定目标的检测数据遮挡，所以难以通过匹配的方式得到被遮挡的跟踪目标在当前帧图像中的位置；因此，上述步骤中，通过运动估计的方式估算被遮挡的跟踪目标在当前帧图像中的位置。

可以理解，跟踪目标的运动状态是相对连续的，因此可以根据跟踪目标在当前帧图像之前的多个帧图像中的运动轨迹，预测该跟踪目标在当前帧图像的位置。上述卡尔曼算法具体可以为最小二乘估计，线性最小方差估计、最小方差估计、递推最小二乘估计等算法。

步骤S316，判断上述估计位置与指定目标的检测数据的交并比是否大于或等于预设的第二比值阈值；如果是，执行步骤S318；如果否，执行步骤S320；

该步骤可以进一步确定估计位置的合理性。由于上述估计位置是被指定目标遮挡的跟踪目标的位置，因此，该估计位置需要与指定目标的检测数据存在一定的重叠，重叠程度可以通过上述交并比衡量。如果估计位置与指定目标的检测数据的交并比大于或等于预设的第二比值阈值(该第二比值阈值可以根据经验设置)，说明该估计位置被指定目标的检测数据“遮挡”，即该估计位置较为合理；如果估计位置与指定目标的检测数据的交并比小于预设的第二比值阈值，说明该估计位置没有被指定目标的检测数据“遮挡”，该估计位置不太合理。

步骤S318，确定估计位置对应的跟踪目标为被遮挡目标，将估计位置确定为被遮挡目标在当前帧图像中的位置；

当估计位置较为合理时，可以将该估计位置确定为指定目标遮挡的被遮挡目标在当前帧图像中的位置；该估计位置对应的跟踪目标即为该被遮挡目标，该被遮挡目标可以与估计位置对应的跟踪目标设置同一跟踪标识，以代表该被遮挡目标与跟踪目标为同一行人。

步骤S320，根据指定目标的检测数据的位置，调整估计位置，将调整后的估计位置确定为被遮挡目标在当前帧图像中的位置。

当估计位置不合理时，即该估计位置应当位于被指定目标的检测数据遮挡的区域，而该估计位置实际处于距离指定目标的检测数据较远的位置，此时可以将估计位置进行调整。

具体的调整过程可以如下：获取估计位置的中心点A和指定目标的检测数据的中心点B，中心点A和中心点B形成一个连线；将估计位置的中心点A沿着该连线移动，在移动过程中计算估计位置与指定目标的检测数据的交并比，当该交并比大于或等于预设的第二比值阈值时，估计位置停止移动，此时估计位置即为被遮挡目标在当前帧图像中的位置。

通过上述方式，只要检测出当前帧图像中存在指定目标(即该目标不被遮挡，也遮挡其他目标)，该指定目标的被遮挡目标就不会被跟踪丢失。但如果某一目标没有被检测出来，或者本来遮挡了其他目标的目标没有被检测出是指定目标，则有可能会造成跟踪目标的丢失。

上述方式可以同时实现未被遮挡的目标对象和被遮挡目标的跟踪，只要检测出目标对象遮挡了被遮挡目标，即可通过多帧图像间运动估计的方式实现被遮挡目标的跟踪，降低了跟踪丢失的发生概率，从而提高了目标跟踪的准确率。

实施例四：

对应于上述方法实施例，参见图4所示的一种目标跟踪装置的结构示意图，该装置包括：

图像获取模块40，用于获取当前帧图像；

检测模块41，用于通过预设的检测模型检测当前帧图像中的目标对象，并判断目标对象是否为指定目标；指定目标为未被遮挡的目标，且指定目标遮挡了被遮挡目标；

第一跟踪模块42，用于如果目标对象是指定目标，获取当前帧图像之前的指定帧图像中与指定目标相匹配的跟踪目标；如果相匹配的跟踪目标为多个，根据多个跟踪目标的检测数据的相对位置，从多个跟踪目标中确定指定目标，以对指定目标进行跟踪；

第二跟踪模块43，用于根据多个跟踪目标中，除指定目标以外的跟踪目标在指定帧图像中的位置，估计除指定目标以外的跟踪目标在当前帧图像的位置，将估计结果确定为被遮挡目标在当前帧图像中的位置，以对被遮挡目标进行跟踪。

本发明实施例提供的上述目标跟踪装置，首先通过预设的检测模型检测当前帧图像中的目标对象，并判断目标对象是否为指定目标；该指定目标为未被遮挡的目标，且该指定目标遮挡了被遮挡目标；如果目标对象是指定目标；则获取当前帧图像之前的指定帧图像中与指定目标相匹配的跟踪目标；根据多个跟踪目标的检测数据的相对位置，从多个跟踪目标中确定指定目标，以对指定目标进行跟踪；再根据多个跟踪目标中，除指定目标以外的跟踪目标在指定帧图像中的位置，估计除指定目标以外的跟踪目标在当前帧图像的位置，根据估计结果从除指定目标以外的跟踪目标中确定被遮挡目标，以对该被遮挡目标进行跟踪。上述方式可以同时实现未被遮挡的目标对象和被遮挡目标的跟踪，只要检测出目标对象遮挡了被遮挡目标，即可通过多帧图像间运动估计的方式实现被遮挡目标的跟踪，降低了跟踪丢失的发生概率，从而提高了目标跟踪的准确率。

进一步地，上述检测模块还用于：通过第一网络模型检测当前帧图像中的目标对象；通过第二网络模型检测目标对象是否遮挡了被遮挡目标，如果是，将目标对象确定为指定目标。

进一步地，上述第一跟踪模块还用于：获取当前帧图像之前的指定帧图像中的跟踪目标；如果跟踪目标为多个，逐一将每个跟踪目标的检测数据与指定目标的检测数据进行匹配；将匹配结果大于或等于预设的匹配阈值的跟踪目标确定为指定目标相匹配的跟踪目标。

进一步地，上述第一跟踪模块还用于：逐一计算每个跟踪目标的检测数据与指定目标的检测数据之间的交并比；如果当前跟踪目标对应的交并比大于或等于预设的第一比值阈值，将当前跟踪目标的检测数据与指定目标的检测数据进行匹配。

进一步地，上述检测数据通过检测框标识；上述第一跟踪模块还用于：从多个跟踪目标中识别检测数据的检测框底边位置位于最底部的跟踪目标；将识别出的跟踪目标确定为指定目标。

进一步地，上述指定帧图像包括多帧图像；上述第二跟踪模块还用于：根据多个跟踪目标中，除指定目标以外的跟踪目标在多帧图像中的位置，通过卡尔曼算法对除指定目标以外的跟踪目标进行运动估计，得到除指定目标以外的跟踪目标在当前帧图像的估计位置。

进一步地，上述第二跟踪模块还用于：判断估计位置与指定目标的检测数据的交并比是否大于或等于预设的第二比值阈值；如果是，确定估计位置对应的跟踪目标为被遮挡目标，将估计位置确定为被遮挡目标在当前帧图像中的位置；如果否，根据指定目标的检测数据的位置，调整估计位置，将调整后的估计位置确定为被遮挡目标在当前帧图像中的位置。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例五：

本发明实施例提供了一种目标跟踪***，该***包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行上述目标跟踪方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的目标跟踪***的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步地，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述目标跟踪方法的步骤。

本发明实施例所提供的目标跟踪方法、装置和***的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种目标跟踪方法，其特征在于，所述方法包括：

获取当前帧图像；

通过预设的检测模型检测所述当前帧图像中的目标对象，并判断所述目标对象是否为指定目标；所述指定目标为未被遮挡的目标，且所述指定目标遮挡了被遮挡目标；

如果是，获取所述当前帧图像之前的指定帧图像中与所述指定目标相匹配的跟踪目标；如果相匹配的所述跟踪目标为多个，根据多个所述跟踪目标的检测数据的相对位置，从多个所述跟踪目标中确定所述指定目标，以对所述指定目标进行跟踪；

根据多个所述跟踪目标中，除所述指定目标以外的跟踪目标在所述指定帧图像中的位置，估计所述除所述指定目标以外的跟踪目标在所述当前帧图像的位置，根据估计结果从除所述指定目标以外的跟踪目标中确定所述被遮挡目标，以对所述被遮挡目标进行跟踪。

2.根据权利要求1所述的方法，其特征在于，通过预设的检测模型检测所述当前帧图像中的目标对象，并判断所述目标对象是否为指定目标的步骤，包括：

通过第一网络模型检测所述当前帧图像中的目标对象；

通过第二网络模型检测所述目标对象是否遮挡了被遮挡目标，如果是，将所述目标对象确定为指定目标。

3.根据权利要求1所述的方法，其特征在于，获取所述当前帧图像之前的指定帧图像中与所述指定目标相匹配的跟踪目标的步骤，包括：

获取当前帧图像之前的指定帧图像中的跟踪目标；

如果所述跟踪目标为多个，逐一将每个所述跟踪目标的检测数据与所述指定目标的检测数据进行匹配；

将匹配结果大于或等于预设的匹配阈值的跟踪目标确定为所述指定目标相匹配的跟踪目标。

4.根据权利要求3所述的方法，其特征在于，逐一将每个所述跟踪目标的检测数据与所述指定目标的检测数据进行匹配的步骤，包括：

逐一计算每个所述跟踪目标的检测数据与所述指定目标的检测数据之间的交并比；

如果当前跟踪目标对应的交并比大于或等于预设的第一比值阈值，将所述当前跟踪目标的检测数据与所述指定目标的检测数据进行匹配。

5.根据权利要求1所述的方法，其特征在于，所述检测数据通过检测框标识；

根据多个所述跟踪目标的检测数据的相对位置，从多个所述跟踪目标中确定所述指定目标的步骤，包括：

从多个所述跟踪目标中识别检测数据的检测框底边位置位于最底部的跟踪目标；

将识别出的跟踪目标确定为所述指定目标。

6.根据权利要求1所述的方法，其特征在于，所述指定帧图像包括多帧图像；

根据多个所述跟踪目标中，除所述指定目标以外的跟踪目标在所述指定帧图像中的位置，估计所述除所述指定目标以外的跟踪目标在所述当前帧图像的位置的步骤，包括：

根据多个所述跟踪目标中，除所述指定目标以外的跟踪目标在所述多帧图像中的位置，通过卡尔曼算法对除所述指定目标以外的跟踪目标进行运动估计，得到除所述指定目标以外的跟踪目标在所述当前帧图像的估计位置。

7.根据权利要求6所述的方法，其特征在于，根据估计结果从除所述指定目标以外的跟踪目标中确定所述被遮挡目标的步骤，包括：

判断所述估计位置与所述指定目标的检测数据的交并比是否大于或等于预设的第二比值阈值；

如果是，确定所述估计位置对应的跟踪目标为所述被遮挡目标，将所述估计位置确定为所述被遮挡目标在所述当前帧图像中的位置；

如果否，根据所述指定目标的检测数据的位置，调整所述估计位置，将调整后的所述估计位置确定为所述被遮挡目标在所述当前帧图像中的位置。

8.一种目标跟踪装置，其特征在于，所述装置包括：

图像获取模块，用于获取当前帧图像；

检测模块，用于通过预设的检测模型检测所述当前帧图像中的目标对象，并判断所述目标对象是否为指定目标；所述指定目标为未被遮挡的目标，且所述指定目标遮挡了被遮挡目标；

第一跟踪模块，用于如果所述目标对象是所述指定目标，获取所述当前帧图像之前的指定帧图像中与所述指定目标相匹配的跟踪目标；如果相匹配的所述跟踪目标为多个，根据多个所述跟踪目标的检测数据的相对位置，从多个所述跟踪目标中确定所述指定目标，以对所述指定目标进行跟踪；

第二跟踪模块，用于根据多个所述跟踪目标中，除所述指定目标以外的跟踪目标在所述指定帧图像中的位置，估计所述除所述指定目标以外的跟踪目标在所述当前帧图像的位置，根据估计结果从除所述指定目标以外的跟踪目标中确定所述被遮挡目标，以对所述被遮挡目标进行跟踪。

9.一种目标跟踪***，其特征在于，所述***包括：图像采集设备、处理设备和存储装置；

所述图像采集设备，用于获取预览视频帧或图像数据；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行上述权利要求1至7任一项所述的方法的步骤。