CN110059521B - 目标跟踪方法及装置 - Google Patents

Abstract

本发明提供一种目标跟踪方法及装置，应用于存储有各目标对象对应的特征模型的服务器。所述方法包括：对当前视频帧图像进行目标检测，并根据检测得到的各待检测对象的位置信息提取出对应的CNN特征；根据各待检测对象的位置信息及CNN特征，与上一视频帧图像中各目标对象的位置信息及特征模型，计算得到对应的相似度矩阵；基于相似度矩阵将各待检测对象与各目标对象进行数据关联，得到最优匹配结果；若最优匹配结果中存在与对应目标对象匹配成功的待检测对象时，根据待检测对象的CNN特征对对应特征模型进行更新，并基于所述待检测对象得到对应的跟踪结果。所述方法抗干扰能力强，跟踪成功率高，可持续对目标对象进行跟踪。

Description

目标跟踪方法及装置

技术领域

本发明涉及视频图像的多目标跟踪技术领域，具体而言，涉及一种目标跟踪方法及装置。

背景技术

随着监控技术的不断发展，用于对监控视频中多个目标对象进行跟踪的多目标跟踪技术的应用愈发广泛。现有的多目标跟踪方案在对目标对象进行跟踪过程中通过将该目标对象在当前视频图像中的CNN(Convolutional Neural Network，卷积神经网络)特征与该目标对象最近被跟踪成功时的CNN特征进行比对的方式，实现对该目标对象的跟踪，但这种多目标跟踪方案抗干扰能力弱，目标跟踪成功率低，通常会因为目标对象最近被跟踪成功时的CNN特征携带有部分遮挡物的特征，而致使目标对象在当前视频图像中的CNN特征无法与该目标对象最近被跟踪成功时的CNN特征正确匹配，从而导致跟踪失败。

发明内容

为了克服现有技术中的上述不足，本发明的目的在于提供一种目标跟踪方法及装置，所述目标跟踪方法抗干扰能力强，目标跟踪成功率高，能够持续对目标对象进行跟踪。

就方法而言，本发明较佳的实施例提供一种目标跟踪方法，应用于服务器，所述服务器存储有各目标对象对应的特征模型，其中每个特征模型包括对应目标对象的历史CNN特征，所述方法包括：

对当前视频帧图像进行目标检测，并根据检测得到的所述当前视频帧图像中各待检测对象的位置信息从所述当前视频帧图像中提取出各待检测对象对应的CNN特征；

根据当前视频帧图像中各待检测对象的位置信息及对应的CNN特征，与上一视频帧图像中各目标对象的位置信息及对应的特征模型，计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间的相似度矩阵；

基于所述相似度矩阵将各待检测对象与各目标对象进行数据关联，得到当前视频帧图像与上一视频帧图像之间的最优匹配结果；

若所述最优匹配结果中存在与对应目标对象匹配成功的待检测对象时，根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新，并基于所述匹配成功的待检测对象得到对应的跟踪结果。所述方法根据当前视频帧图像中的各待检测对象的CNN特征与上一视频帧图像中各目标对象的特征模型包括的历史CNN特征，计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间最优的相似度矩阵，并基于所述相似度矩阵得到所述当前视频帧图像与上一视频帧图像之间的最优匹配结果，以基于所述最优匹配结果中存在的与对应目标对象匹配成功的待检测对象得到对应的跟踪结果，从而降低干扰物对目标跟踪的影响，提高目标跟踪成功率，实现对目标对象的持续跟踪。

就装置而言，本发明较佳的实施例提供一种目标跟踪装置，应用于服务器，所述服务器存储有各目标对象对应的特征模型，其中每个特征模型包括对应目标对象的历史CNN特征，所述装置包括：

检测提取模块，用于对当前视频帧图像进行目标检测，并根据检测得到的所述当前视频帧图像中各待检测对象的位置信息从所述当前视频帧图像中提取出各待检测对象对应的CNN特征；

矩阵计算模块，用于根据当前视频帧图像中各待检测对象的位置信息及对应的CNN特征，与上一视频帧图像中各目标对象的位置信息及对应的特征模型，计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间的相似度矩阵；

图像匹配模块，用于基于所述相似度矩阵将各待检测对象与各目标对象进行数据关联，得到当前视频帧图像与上一视频帧图像之间的最优匹配结果；

更新跟踪模块，用于若所述最优匹配结果中存在与对应目标对象匹配成功的待检测对象时，根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新，并基于所述匹配成功的待检测对象得到对应的跟踪结果。

相对于现有技术而言，本发明较佳的实施例提供的目标跟踪方法及装置具有以下有益效果：所述目标跟踪方法抗干扰能力强，目标跟踪成功率高，能够持续对目标对象进行跟踪。所述目标跟踪方法应用于服务器，所述服务器存储有各目标对象对应的特征模型，其中每个特征模型包括对应目标对象的历史CNN特征。首先，所述方法通过对当前视频帧图像进行目标检测，得到所述当前视频帧图像中的各待检测对象，并根据检测得到的所述当前视频帧图像中各待检测对象的位置信息从所述当前视频帧图像中提取出各待检测对象对应的CNN特征；接着，所述方法根据当前视频帧图像中各待检测对象的位置信息及对应的CNN特征，与上一视频帧图像中各目标对象的位置信息及对应的特征模型包括的历史CNN特征，计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间最优的相似度矩阵；然后，所述方法基于所述相似度矩阵将各待检测对象与各目标对象进行数据关联，得到当前视频帧图像与上一视频帧图像之间的最优匹配结果；最后，所述方法在所述最优匹配结果中存在与对应目标对象匹配成功的待检测对象时，根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新，并基于所述匹配成功的待检测对象得到对应的跟踪结果，从而降低干扰物对目标跟踪的影响，提高目标跟踪成功率，实现对目标对象的持续跟踪。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明权利要求保护范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳的实施例提供的服务器的一种方框示意图。

图2为本发明较佳的实施例提供的目标跟踪方法的一种流程示意图。

图3为图2中所示的步骤S220包括的子步骤的一种流程示意图。

图4为图2中所示的步骤S240包括的子步骤的一种流程示意图。

图5为本发明较佳的实施例提供的图1中所示的目标跟踪装置的一种方框示意图。

图6为图5中所示的矩阵计算模块的一种方框示意图。

图标：10-服务器；11-存储器；12-处理器；13-通信单元；100-目标跟踪装置；110-检测提取模块；120-矩阵计算模块；130-图像匹配模块；140-更新跟踪模块；121-相似度计算子模块；122-矩阵生成子模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，是本发明较佳的实施例提供的服务器10的一种方框示意图。在本发明实施例中，所述服务器10用于对获取到的监控视频中各监控对象进行持续地抗干扰能力强且跟踪成功率高的目标跟踪，其中所述服务器10可以是，但不限于，云端式服务器、分布式服务器、集中式服务器等。

在本实施例中，所述服务器10包括目标跟踪装置100、存储器11、处理器12及通信单元13。所述存储器11、处理器12及通信单元13各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，所述存储器11可用于存储监控视频中各目标对象对应的特征模型，其中每个特征模型包括对应目标对象在所述服务器10进行跟踪时提取出的历史CNN特征，所述目标对象即为所述监控视频中需要进行跟踪的对象，所述目标对象可以是人，也可以是车辆，还可以是动物和/或植物。所述存储器11可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除可编程只读存储器(ElectricErasable Programmable Read-Only Memory，EEPROM)等。其中，所述存储器11中可以存储有软件程序，所述处理器12在接收到执行指令后，可执行所述软件程序。

所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。所述处理器12可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述通信单元13用于通过网络建立所述服务器10与其他外部设备之间的通信连接，并通过所述网络收发数据。其中，所述其他外部设备包括监控设备及显示设备，所述服务器10通过所述通信单元13从监控设备处获取需要进行目标跟踪的监控视频，并在完成对所述监控视频的目标跟踪后，可通过所述通信单元13将完成目标跟踪的监控视频在显示设备上进行显示。

所述目标跟踪装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中的软件功能模块。所述处理器12可用于执行所述存储器11存储的所述目标跟踪装置100对应的可执行模块，例如所述目标跟踪装置100所包括的软件功能模块及计算机程序等。在本实施例中，所述目标跟踪装置100的抗干扰能力强，能够通过将当前视频帧图像中各待检测对象的CNN特征与各目标对象的特征模型包括的历史CNN特征进行一一比对的方式，对监控视频中各目标对象进行持续地目标跟踪成功率高的目标跟踪。

可以理解的是，图1所示的框图仅为服务器10的一种结构组成示意图，所述服务器10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，是本发明较佳的实施例提供的目标跟踪方法的一种方框示意图。在本发明实施例中，所述目标跟踪方法应用于上述的服务器10，用于对监控视频中各目标对象进行持续地抗干扰能力强且跟踪成功率高的目标跟踪，其中所述服务器10中存储有对应监控视频中各目标对象的特征模型，每个特征模型包括对应目标对象的历史CNN特征。下面对图2所示的目标跟踪方法具体流程和步骤进行详细阐述。

在本发明实施例中，所述目标跟踪方法包括以下步骤：

步骤S210，对当前视频帧图像进行目标检测，并根据检测得到的所述当前视频帧图像中各待检测对象的位置信息从所述当前视频帧图像中提取出各待检测对象对应的CNN特征。

在本实施例中，所述服务器10获取到的监控视频可由多个视频帧图像连续显示形成，所述服务器10可通过将多个视频帧图像中可能存在的各目标对象的CNN特征进行比对的方式，完成对所述监控视频中需要跟踪的对象进行目标跟踪。所述服务器10可通过对当前视频帧图像进行目标检测的方式，获取到所述当前视频帧图像中各待检测对象的位置信息，并根据各待检测对象的位置信息从所述当前视频帧图像中对应位置处扣取出对应待检测对象的特征区域，从而从每个待检测对象的特征区域中提取出对应待检测对象的CNN特征。其中所述待检测对象为当前视频帧图像中检测到的对象，其中所述待检测对象可以包括所述监控视频中按照时序排列的所述当前视频帧图像的至少前一个视频帧图像中已经持续跟踪的对象，及所述当前视频帧图像中新出现的需要进行初次跟踪的对象。

步骤S220，根据当前视频帧图像中各待检测对象的位置信息及对应的CNN特征，与上一视频帧图像中各目标对象的位置信息及对应的特征模型，计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间的相似度矩阵。

在本实施例中，所述上一视频帧图像为所述监控视频中按照时序排列的所述当前视频帧图像的前一个视频帧图像，所述上一视频帧图像中的目标对象为所述服务器10在对所述当前视频帧图像进行目标跟踪前从所述监控视频中获取到的所有目标对象，所述上一视频帧图像中的目标对象包括在该上一视频帧图像中直接显露出的目标对象，及对当前视频帧图像进行目标检测前的未在该上一视频帧图像中直接显露出的目标对象。

在本实施例中，所述服务器10通过将当前视频帧图像中各待检测对象在该视频帧图像中的CNN特征与上一视频帧图像中各目标对象对应特征模型中包括的历史CNN特征进行比对的方式，将当前视频帧图像中各待检测对象在该视频帧图像中的位置信息与上一视频帧图像中各目标对象在该上一视频帧图像中各自应该对应的位置信息进行比对的方式，得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间的最优的相似度矩阵。其中每个特征模型中包括的历史CNN特征为对应目标对象被成功跟踪时在对应视频帧图像中的CNN特征。例如，第一视频帧图像、第三视频帧图像、第五视频帧图像及第七视频帧图像按照时序依次排列，一个目标对象在第一视频帧图像、第五视频帧图像及第七视频帧图像中被成功跟踪，若特征模型中的历史CNN特征数目没有限制，则该目标对象的特征模型包括该目标对象在所述第一视频帧图像、第五视频帧图像及第七视频帧图像中各自对应的CNN特征。

可选地，请参照图3，是图2中所示的步骤S220包括的子步骤的一种流程示意图。在本实施例中，所述步骤S220中计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间的相似度矩阵的步骤可以包括子步骤S221、子步骤S222及子步骤S223：

子步骤S221，基于各目标对象对应特征模型中的历史CNN特征计算得到各待检测对象与各目标对象之间的特征相似度。

在本实施例中，所述服务器10可通过将所述当前视频帧图像中各待检测对象各自对应的CNN特征分别与所述上一视频帧图像中各目标对象的特征模型中包括的所有历史CNN特征进行比对计算的方式，获取到所述各待检测对象与各目标对象之间最佳的特征相似度。

可选地，所述基于各目标对象对应特征模型中的历史CNN特征计算得到各待检测对象与各目标对象之间的特征相似度的步骤包括：

对每个待检测对象的CNN特征与各目标对象对应特征模型中的每个历史CNN特征之间的余弦距离进行计算，得到所述待检测对象与对应目标对象之间的各余弦距离；

从所述各余弦距离中选取数值最小的余弦距离作为所述待检测对象与对应目标对象之间的特征相似度。

其中，按照上述步骤即可求得的各待检测对象与对应目标对象之间的最佳的特征相似度，所述最佳的特征相似度可由如下公式计算得到：

其中，M_i表示目标序号为i的目标对象的特征模型，F_i ⁰表示该目标对象的初始CNN特征，F_i ⁿ表示该目标对象在第n视频帧图像的历史CNN特征，aff_app表示待检测对象与对应目标对象之间的特征相似度，F_i表示对应目标对象的历史CNN特征，

表示对应待检测对象的CNN特征，cosine(F_i，

)表示目标对象历史CNN特征F_i与对应待检测对象的CNN特征

之间的余弦距离。

子步骤S222，基于各目标对象在上一视频帧图像的位置信息、目标尺寸信息，及各待检测对象在当前视频帧图像的位置信息、目标尺寸信息，计算得到各待检测对象与各目标对象之间的空间相似度及形状相似度；

在本实施例中，各目标对象在上一视频帧图像的位置信息包括对应目标对象在该上一视频帧图像中对应特征区域的左上角坐标点的X坐标信息及Y坐标信息，各目标对象在上一视频帧图像的目标尺寸信息包括对应目标对象在该上一视频帧图像中对应特征区域的区域宽度及区域高度，各待检测对象在当前视频帧图像中的位置信息包括对应待检测对象在所述当前视频帧图像中的特征区域在左上角坐标点的X坐标信息及Y坐标信息，各待检测对象在当前视频帧图像中的目标尺寸信息包括对应待检测对象在所述当前视频帧图像中的特征区域的区域宽度及区域高度。所述服务器10将根据各待检测对象的区域宽度、区域高度、X坐标信息、Y坐标信息，及各目标对象的X坐标信息和Y坐标信息，计算求得各待检测对象与各目标对象之间的空间相似度；所述服务器10将根据各待检测对象的区域宽度、区域高度、X坐标信息、Y坐标信息，及各目标对象的区域宽度及区域高度，计算求得各待检测对象与各目标对象之间的形状相似度。在本实施例中，所述空间相似度与所述形状相似度均符合匈牙利算法及其扩展算法的匹配准则。其中，所述空间相似度与所述形状相似可由如下公式计算得到：

其中，trk_i表示第i个目标对象，det_j表示第j个待检测对象，X、Y、W、H分别表示对象在对应视频帧图像中对应特征区域的左上角点的x坐标值、y坐标值、区域宽度和区域高度，aff_mot(trk_i，det_j)表示第i个目标对象与第j个待检测对象之间的空间相似度，aff_shp(trk_i，det_j)表示第i个目标对象与第j个待检测对象之间的形状相似度。

子步骤S223，根据各待检测对象与各目标对象之间的特征相似度、空间相似度及形状相似度计算得到所述各待检测对象与各目标对象之间的关联相似度，并相应得到所述相似度矩阵。

在本实施例中，所述服务器10通过将各待检测对象与各目标对象之间的特征相似度、空间相似度及形状相似度进行相乘运算，得到各待检测对象与各目标对象之间的最佳的关联相似度，并将各待检测对象与各目标对象之间的最佳的关联相似度以矩阵的形式进行排布生成所述当前视频帧图像与上一视频帧图像之间最佳的相似度矩阵。

请再次参照图2，步骤S230，基于所述相似度矩阵将各待检测对象与各目标对象进行数据关联，得到当前视频帧图像与上一视频帧图像之间的最优匹配结果。

在本实施例中，所述服务器10通过采用匈牙利算法或其扩展算法基于所述相似度矩阵将各待检测对象与各目标对象进行数据关联，从而得到所述当前视频帧图像与上一视频帧图像之间的最优匹配结果。

步骤S240，若所述最优匹配结果中存在与对应目标对象匹配成功的待检测对象时，根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新，并基于所述匹配成功的待检测对象得到对应的跟踪结果。

在本实施例中，所述服务器10在得到所述当前视频帧图像与上一视频帧图像之间的最优匹配结果时，会对当前视频帧图像中的各待检测对象进行对象划分，得到与所述上一视频帧图像中对应目标对象匹配成功的待检测对象、与所述上一视频帧图像中对应目标对象匹配程度较低的待检测对象，及未与所述上一视频帧图像中各目标对象相匹配的属于所述当前视频帧图像中新出现需要进行跟踪的待检测对象。

在本实施例中，针对所述当前视频帧图像中新出现需要进行跟踪的待检测对象，所述服务器10会以该待检测对象在所述当前视频帧图像中的CNN特征作为该待检测对象的初始CNN特征，基于所述初始CNN特征创建该待检测对象的特征模型，并以Kalman滤波器对该待检测对象进行参数修正，得到该待检测对象的跟踪结果。其中所述服务器10在对所述当前视频帧图像的后一个视频帧图像进行目标跟踪时，会以创建的该待检测对象作为监控视频的一个目标对象，并以该待检测对象的特征模型进行目标跟踪。

在本实施例中，针对所述当前视频帧图像中与所述上一视频帧图像中对应目标对象匹配程度较低的待检测对象，所述服务器10将基于Kalman滤波器对该待检测对象在以往视频帧图像中的位置信息进行预测，并根据预测结果判断是否去除该待检测对象的***。其中若该预测结果表明该待检测对象在以往视频帧图像中的位置信息长期不变，且该待检测对象在以往视频帧图像中的预测总时长大于预设时长阈值时，所述服务器10将去除对该待检测对象的***；若该预测结果表明该待检测对象在以往视频帧图像中的位置信息长期不变，且该待检测对象在以往视频帧图像中的预测总时长小于预设时长阈值时，所述服务器10将以Kalman滤波器对该待检测对象进行参数修正，得到该待检测对象的跟踪结果。

在本实施例中，针对所述当前视频帧图像中与所述上一视频帧图像中对应目标对象匹配成功的待检测对象，所述服务器10将以该待检测对象在当前视频帧图像中的CNN特征对该待检测对象匹配成功的目标对象的特征模型进行更新，并以Kalman滤波器对该待检测对象进行参数修正，得到所述该待检测对象的跟踪结果，此时该检测对象即为对应匹配成功的目标对象。

可选地，请参照图4，是图2中所示的步骤S240包括的子步骤的一种流程示意图。在本实施例中，所述步骤S240中根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新的步骤包括子步骤S241及子步骤S242：

子步骤S241，对所述目标对象对应的特征模型中的历史CNN特征的特征数目进行统计，得到对应的特征总数。

在本实施例中，所述服务器10在对对应目标对象的特征模型进行更新时，通过统计该目标对象的特征模型中历史CNN特征的特征数目的方式，得到对应的特征总数。

子步骤S242，将所述特征总数与预设特征存储数量进行比较，并根据比较结果将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到该目标对象对应的特征模型中。

在本实施例中，所述服务器10根据比较结果将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到该目标对象对应的特征模型中的步骤包括：

若所述比较结果为所述特征总数小于所述预设特征存储数量时，直接将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到对应特征模型中进行存储；

若所述比较结果为所述特征总数不小于所述预设特征存储数量时，用所述待检测对象的CNN特征替换对应特征模型中除初始CNN特征外的任意一个历史CNN特征，以将所述待检测对象的CNN特征加入到该目标对象对应的特征模型中。

其中，所述预设特征存储数量可以是10个，也可以是15个，还可以是25个，其数值可根据实际需求进行不同的配置。

请参照图5，是本发明较佳的实施例提供的图1中所示的目标跟踪装置100的一种方框示意图。在本发明实施例中，所述目标跟踪装置100包括检测提取模块110、矩阵计算模块120、图像匹配模块130及更新跟踪模块140。

所述检测提取模块110，用于对当前视频帧图像进行目标检测，并根据检测得到的所述当前视频帧图像中各待检测对象的位置信息从所述当前视频帧图像中提取出各待检测对象对应的CNN特征。

在本实施例中，所述检测提取模块110可以执行图2中所示的步骤S210，具体的执行过程可参照上文中对步骤S210的详细描述。

所述矩阵计算模块120，用于根据当前视频帧图像中各待检测对象的位置信息及对应的CNN特征，与上一视频帧图像中各目标对象的位置信息及对应的特征模型，计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间的相似度矩阵。

在本实施例中，所述矩阵计算模块120可以执行图2中所示的步骤S220，具体的执行过程可参照上文中对步骤S220的详细描述。

请参照图6，是图5中所示的矩阵计算模块120的一种方框示意图。在本实施例中，所述矩阵计算模块120包括相似度计算子模块121及矩阵生成子模块122。

所述相似度计算子模块121，用于基于各目标对象对应特征模型中的历史CNN特征计算得到各待检测对象与各目标对象之间的特征相似度。

在本实施例中，所述相似度计算子模块121基于各目标对象对应特征模型中的历史CNN特征计算得到各待检测对象与各目标对象之间的特征相似度的方式包括：

对每个待检测对象的CNN特征与各目标对象对应特征模型中的每个历史CNN特征之间的余弦距离进行计算，得到所述待检测对象与对应目标对象之间的各余弦距离；

从所述各余弦距离中选取数值最小的余弦距离作为所述待检测对象与对应目标对象之间的特征相似度。

其中，所述相似度计算子模块121可以执行图3中所示的子步骤S221，具体的执行过程可以参照上文中对子步骤S221的详细描述。

所述相似度计算子模块121，还用于基于各目标对象在上一视频帧图像的位置信息、目标尺寸信息，及各待检测对象在当前视频帧图像的位置信息、目标尺寸信息，计算得到各待检测对象与各目标对象之间的空间相似度及形状相似度。

在本实施例中，所述相似度计算子模块121还可以执行图3中所示的子步骤S222，具体的执行过程可以参照上文中对子步骤S222的详细描述。

所述矩阵生成子模块122，用于根据各待检测对象与各目标对象之间的特征相似度、空间相似度及形状相似度计算得到所述各待检测对象与各目标对象之间的关联相似度，并相应得到所述相似度矩阵。

在本实施例中，所述矩阵生成子模块122可以执行图3中所示的子步骤S223，具体的执行过程可以参照上文中对子步骤S223的详细描述。

请再次参照图5，所述图像匹配模块130，用于基于所述相似度矩阵将各待检测对象与各目标对象进行数据关联，得到当前视频帧图像与上一视频帧图像之间的最优匹配结果。

在本实施例中，所述图像匹配模块130可以执行图2中所示的步骤S230，具体的执行过程可以参照上文中对步骤S230的详细描述。

所述更新跟踪模块140，用于若所述最优匹配结果中存在与对应目标对象匹配成功的待检测对象时，根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新，并基于所述匹配成功的待检测对象得到对应的跟踪结果。

在本实施例中，所述更新跟踪模块140根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新的方式包括：

对所述目标对象对应的特征模型中的历史CNN特征的特征数目进行统计，得到对应的特征总数；

将所述特征总数与预设特征存储数量进行比较，并根据比较结果将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到该目标对象对应的特征模型中。

其中，所述更新跟踪模块140根据比较结果将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到该目标对象对应的特征模型中的方式包括：

若所述比较结果为所述特征总数小于所述预设特征存储数量时，直接将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到对应特征模型中进行存储；

若所述比较结果为所述特征总数不小于所述预设特征存储数量时，用所述待检测对象的CNN特征替换对应特征模型中除初始CNN特征外的任意一个历史CNN特征，以将所述待检测对象的CNN特征加入到该目标对象对应的特征模型中。

在本实施例中，所述更新跟踪模块140可以执行图2中所示的步骤S240，及图4所示的子步骤S241和子步骤S242，具体的执行过程可参照上文中对步骤S240、子步骤S241及子步骤S242的详细描述。

综上所述，在本发明较佳的实施例提供的目标跟踪方法及装置中，所述目标跟踪方法抗干扰能力强，目标跟踪成功率高，能够持续对目标对象进行跟踪。所述目标跟踪方法应用于服务器，所述服务器存储有各目标对象对应的特征模型，其中每个特征模型包括对应目标对象的历史CNN特征。首先，所述方法通过对当前视频帧图像进行目标检测，得到所述当前视频帧图像中的各待检测对象，并根据检测得到的所述当前视频帧图像中各待检测对象的位置信息从所述当前视频帧图像中提取出各待检测对象对应的CNN特征；接着，所述方法根据当前视频帧图像中各待检测对象的位置信息及对应的CNN特征，与上一视频帧图像中各目标对象的位置信息及对应的特征模型包括的历史CNN特征，计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间最优的相似度矩阵；然后，所述方法基于所述相似度矩阵将各待检测对象与各目标对象进行数据关联，得到当前视频帧图像与上一视频帧图像之间的最优匹配结果；最后，所述方法在所述最优匹配结果中存在与对应目标对象匹配成功的待检测对象时，根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新，并基于所述匹配成功的待检测对象得到对应的跟踪结果，从而降低干扰物对目标跟踪的影响，提高目标跟踪成功率，实现对目标对象的持续跟踪。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种目标跟踪方法，其特征在于，应用于服务器，所述服务器存储有各目标对象对应的特征模型，其中每个特征模型包括对应目标对象的历史CNN特征，所述方法包括：

对当前视频帧图像进行目标检测，并根据检测得到的所述当前视频帧图像中各待检测对象的位置信息从所述当前视频帧图像中提取出各待检测对象对应的CNN特征；

根据当前视频帧图像中各待检测对象的位置信息及对应的CNN特征，与上一视频帧图像中各目标对象的位置信息及对应的特征模型，计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间的相似度矩阵；

基于所述相似度矩阵将各待检测对象与各目标对象进行数据关联，得到当前视频帧图像与上一视频帧图像之间的最优匹配结果；

若所述最优匹配结果中存在与对应目标对象匹配成功的待检测对象时，根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新，并基于所述匹配成功的待检测对象得到对应的跟踪结果；

所述计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间的相似度矩阵的步骤包括：

基于各目标对象对应特征模型中的历史CNN特征计算得到各待检测对象与各目标对象之间的特征相似度；

基于各目标对象在上一视频帧图像的位置信息、目标尺寸信息，及各待检测对象在当前视频帧图像的位置信息、目标尺寸信息，计算得到各待检测对象与各目标对象之间的空间相似度及形状相似度；

根据各待检测对象与各目标对象之间的特征相似度、空间相似度及形状相似度进行相乘计算得到所述各待检测对象与各目标对象之间的关联相似度，并相应得到所述相似度矩阵；

所述基于各目标对象在上一视频帧图像的位置信息、目标尺寸信息，及各待检测对象在当前视频帧图像的位置信息、目标尺寸信息，计算得到各待检测对象与各目标对象之间的空间相似度及形状相似度的步骤包括：

根据各待检测对象的区域宽度、区域高度、X坐标信息、Y坐标信息，及各目标对象的X坐标信息和Y坐标信息，计算求得各待检测对象与各目标对象之间的空间相似度；

根据各待检测对象的区域宽度、区域高度、X坐标信息、Y坐标信息，及各目标对象的区域宽度及区域高度，计算求得各待检测对象与各目标对象之间的形状相似度；

所述空间相似度与所述形状相似度均符合匈牙利算法及其扩展算法的匹配准则；其中，所述空间相似度与所述形状相似可由如下公式计算得到：

其中，trk_i表示第i个目标对象，det_j表示第j个待检测对象，X、Y、W、H分别表示对象在对应视频帧图像中对应特征区域的左上角点的x坐标值、y坐标值、区域宽度和区域高度，aff_mot(trk_i，det_j)表示第i个目标对象与第j个待检测对象之间的空间相似度，aff_shp(trk_i，det_j)表示第i个目标对象与第j个待检测对象之间的形状相似度。

2.根据权利要求1所述的方法，其特征在于，所述基于各目标对象对应特征模型中的历史CNN特征计算得到各待检测对象与各目标对象之间的特征相似度的步骤包括：

对每个待检测对象的CNN特征与各目标对象对应特征模型中的每个历史CNN特征之间的余弦距离进行计算，得到所述待检测对象与对应目标对象之间的各余弦距离；

从所述各余弦距离中选取数值最小的余弦距离作为所述待检测对象与对应目标对象之间的特征相似度。

3.根据权利要求1-2中任意一项所述的方法，其特征在于，所述根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新的步骤包括：

对所述目标对象对应的特征模型中的历史CNN特征的特征数目进行统计，得到对应的特征总数；

将所述特征总数与预设特征存储数量进行比较，并根据比较结果将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到该目标对象对应的特征模型中。

4.根据权利要求3所述的方法，其特征在于，所述根据比较结果将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到该目标对象对应的特征模型中的步骤包括：

若所述比较结果为所述特征总数小于所述预设特征存储数量时，直接将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到对应特征模型中进行存储；

若所述比较结果为所述特征总数不小于所述预设特征存储数量时，用所述待检测对象的CNN特征替换对应特征模型中除初始CNN特征外的任意一个历史CNN特征，以将所述待检测对象的CNN特征加入到该目标对象对应的特征模型中。

5.一种目标跟踪装置，其特征在于，应用于服务器，所述服务器存储有各目标对象对应的特征模型，其中每个特征模型包括对应目标对象的历史CNN特征，所述装置包括：

检测提取模块，用于对当前视频帧图像进行目标检测，并根据检测得到的所述当前视频帧图像中各待检测对象的位置信息从所述当前视频帧图像中提取出各待检测对象对应的CNN特征；

矩阵计算模块，用于根据当前视频帧图像中各待检测对象的位置信息及对应的CNN特征，与上一视频帧图像中各目标对象的位置信息及对应的特征模型，计算得到当前视频帧图像中各待检测对象与上一视频帧图像中各目标对象之间的相似度矩阵；

图像匹配模块，用于基于所述相似度矩阵将各待检测对象与各目标对象进行数据关联，得到当前视频帧图像与上一视频帧图像之间的最优匹配结果；

更新跟踪模块，用于若所述最优匹配结果中存在与对应目标对象匹配成功的待检测对象时，根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新，并基于所述匹配成功的待检测对象得到对应的跟踪结果；

所述矩阵计算模块包括相似度计算子模块及矩阵生成子模块；

所述相似度计算子模块，用于基于各目标对象对应特征模型中的历史CNN特征计算得到各待检测对象与各目标对象之间的特征相似度；

所述相似度计算子模块，还用于基于各目标对象在上一视频帧图像的位置信息、目标尺寸信息，及各待检测对象在当前视频帧图像的位置信息、目标尺寸信息，计算得到各待检测对象与各目标对象之间的空间相似度及形状相似度；

所述矩阵生成子模块，用于根据各待检测对象与各目标对象之间的特征相似度、空间相似度及形状相似度进行相乘计算得到所述各待检测对象与各目标对象之间的关联相似度，并相应得到所述相似度矩阵；

所述相似度计算子模块在用于所述基于各目标对象在上一视频帧图像的位置信息、目标尺寸信息，及各待检测对象在当前视频帧图像的位置信息、目标尺寸信息，计算得到各待检测对象与各目标对象之间的空间相似度及形状相似度时，相似度计算子模块具体用于：

根据各待检测对象的区域宽度、区域高度、X坐标信息、Y坐标信息，及各目标对象的X坐标信息和Y坐标信息，计算求得各待检测对象与各目标对象之间的空间相似度；

根据各待检测对象的区域宽度、区域高度、X坐标信息、Y坐标信息，及各目标对象的区域宽度及区域高度，计算求得各待检测对象与各目标对象之间的形状相似度；

所述空间相似度与所述形状相似度均符合匈牙利算法及其扩展算法的匹配准则；其中，所述空间相似度与所述形状相似可由如下公式计算得到：

其中，trk_i表示第i个目标对象，det_j表示第j个待检测对象，X、Y、W、H分别表示对象在对应视频帧图像中对应特征区域的左上角点的x坐标值、y坐标值、区域宽度和区域高度，aff_mot(trk_i，det_j)表示第i个目标对象与第j个待检测对象之间的空间相似度，aff_shp(trk_i，det_j)表示第i个目标对象与第j个待检测对象之间的形状相似度。

6.根据权利要求5所述的装置，其特征在于，所述相似度计算子模块基于各目标对象对应特征模型中的历史CNN特征计算得到各待检测对象与各目标对象之间的特征相似度的方式包括：

对每个待检测对象的CNN特征与各目标对象对应特征模型中的每个历史CNN特征之间的余弦距离进行计算，得到所述待检测对象与对应目标对象之间的各余弦距离；

从所述各余弦距离中选取数值最小的余弦距离作为所述待检测对象与对应目标对象之间的特征相似度。

7.根据权利要求5-6中任意一项所述的装置，其特征在于，所述更新跟踪模块根据所述与对应目标对象匹配成功的待检测对象的CNN特征对该目标对象对应的特征模型进行更新的方式包括：

对所述目标对象对应的特征模型中的历史CNN特征的特征数目进行统计，得到对应的特征总数；

将所述特征总数与预设特征存储数量进行比较，并根据比较结果将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到该目标对象对应的特征模型中。

8.根据权利要求7所述的装置，其特征在于，所述更新跟踪模块根据比较结果将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到该目标对象对应的特征模型中的方式包括：

若所述比较结果为所述特征总数小于所述预设特征存储数量时，直接将与所述目标对象匹配成功的所述待检测对象的CNN特征加入到对应特征模型中进行存储；

若所述比较结果为所述特征总数不小于所述预设特征存储数量时，用所述待检测对象的CNN特征替换对应特征模型中除初始CNN特征外的任意一个历史CNN特征，以将所述待检测对象的CNN特征加入到该目标对象对应的特征模型中。

Images