CN108470332B - 一种多目标跟踪方法及装置 - Google Patents

Abstract

本发明提供了一种多目标跟踪方法及装置，该多目标跟踪方法包括：通过目标检测获取多个跟踪目标在第j帧的候选检测框；将多个跟踪目标在第j帧的候选检测框与多个跟踪目标在第j‑1帧的感兴趣区域ROI进行关联，获得多个跟踪目标在第j帧中分别对应的检测框；确定多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；利用分类识别模型对至少两个跟踪目标在第j帧关联的检测框进行重新分类，得到至少两个跟踪目标在第j帧重新分类后的检测框。本发明能够使跟踪过程中发生重叠的跟踪目标正确匹配其在取消重叠时的位置，从而确保多目标跟踪的准确性。

Description

一种多目标跟踪方法及装置

技术领域

本发明涉及图像处理技术领域，更具体的，涉及一种多目标跟踪方法和目标跟踪装置。

背景技术

目标跟踪包括单目标跟踪和多目标跟踪。单目标跟踪可以通过目标的表观建模或者运动建模，以处理光照、形变、遮挡等问题。多目标跟踪问题就复杂得多，除了单目标跟踪会遇到的问题外，还需要目标间的关联匹配。

多目标跟踪技术属于计算机视觉领域的一个研究热点。多目标跟踪是指利用计算机，在视频序列中确定感兴趣的、具有某种显著视觉特征的各个独立运动目标的位置、大小和各个目标完整的运动轨迹。在车载辅助***、军事领域及智能安防领域都有着非常广泛的应用。多目标跟踪技术一般采用以下两种方案：

1.先检测出目标，然后对检测出的每个目标进行特征描述，再根据所述特征对每个目标进行跟踪。

2.对于长时间跟踪或者被跟踪目标存在形状变化情况下的跟踪，很多人采用检测的方法来代替跟踪，将连续帧得到的检测目标进行关联，从而得到目标完整的轨迹。

在多目标跟踪任务中经常会碰到目标的重叠问题。对于跟踪目标与其他目标发生重叠后，可能会发生目标跟踪轨迹匹配错误。

发明内容

有鉴于此，本发明提供一种多目标跟踪方法及装置，致力于解决多目标跟踪中目标跟踪轨迹匹配错误的问题。

第一方面，本发明实施例提供了一种多目标跟踪方法，包括：

通过目标检测获取多个跟踪目标在第j帧的候选检测框；

将多个跟踪目标在第j帧的候选检测框与多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联，获得多个跟踪目标在第j帧中分别对应的检测框；

确定多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；

利用分类识别模型对至少两个跟踪目标在第j帧关联的检测框进行重新分类，得到至少两个跟踪目标在第j帧重新分类后的检测框,以使得至少两个跟踪目标在第j帧重新分类后的检测框与至少两个跟踪目标在第i-1帧的ROI进行关联，其中i,j为正整数且i<j。

在一个实施例中，第一方面的多目标跟踪方法还包括：

建立多个跟踪目标的分类识别模型；

在确定至少两个跟踪目标在第i帧关联的检测框之间发生重叠时，利用至少两个跟踪目标在发生重叠时之前的帧的ROI，更新分类识别模型，

其中利用分类识别模型对至少两个跟踪目标在第j帧关联的检测框进行重新分类，包括：

利用更新后的分类识别模型对至少两个跟踪目标在第j帧关联的检测框进行重新分类。

在一个实施例中，第一方面的多目标跟踪方法在确定多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠时，包括：

计算多个跟踪目标在第j帧关联的检测框之间的交并比IOU；

若多个跟踪目标在第j帧关联的检测框之间的IOU大于特定阈值时，则有至少两个跟踪目标的检测框发生重叠，

若多个跟踪目标在第j帧关联的检测框之间的IOU小于或等于特定阈值时，则确定至少两个跟踪目标的检测框不发生重叠。

在一个实施例中，第一方面的多目标跟踪方法中，还包括将多个跟踪目标在第j帧的候选检测框与多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联：

计算多个跟踪目标在第j-1帧确定的ROI与多个跟踪目标在第j帧的候选检测框的交并比IOU，将多个跟踪目标中每个跟踪目标的IOU值最大且大于某个特定阈值对应的候选检测框，作为跟踪目标在第j帧的检测框。

在一个实施例中，第一方面的多目标跟踪方法中，还包括对多个跟踪目标的候选检测框处理：

当多个跟踪目标中的每个跟踪目标与第j帧的候选检测框关联完成后，将其关联的检测框从候选检测框队列中删除；

对于未关联成功的跟踪目标，若其连续若干帧未关联成功，则将其从跟踪目标队列中删除；

对于未关联成功的候选检测框，若其在连续若干帧连续出现，则将其作为新的跟踪目标，加入跟踪目标队列。

第二方面，提供了一种多目标跟踪装置，该装置包括：

获取模块，用于通过目标检测获取多个跟踪目标在第j帧的候选检测框；

关联模块，用于将多个跟踪目标在第j帧的候选检测框与多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联，获得多个跟踪目标在第j帧中分别对应的检测框；

确定模块，用于确定多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；

分类模块，用于利用分类识别模型对至少两个跟踪目标在第j帧关联的检测框进行重新分类，得到至少两个跟踪目标在第j帧重新分类后的检测框,以使得上述至少两个跟踪目标在第j帧重新分类后的检测框与至少两个跟踪目标在第i-1帧的ROI进行关联，其中i,j为正整数且i<j。

在一个实施例中，第二方面的多目标跟踪装置中，还包括：

建立模块，用于建立多个跟踪目标的分类识别模型；

更新模块，用于在确定至少两个跟踪目标在第i帧之前关联的检测框之间发生重叠时，利用至少两个跟踪目标在发生重叠时之前的帧的ROI，更新分类识别模型，其中分类模块利用更新后的分类识别模型对至少两个跟踪目标在第i帧关联的检测框进行重新分类。

在一个实施例中，第二方面的多目标跟踪装置中，确定模块具体用于：

确定多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；

计算多个跟踪目标在第j帧关联的检测框之间的交并比IOU；

确定若多个跟踪目标在第j帧关联的检测框之间的IOU大于特定阈值时，则有至少两个多个跟踪目标的检测框发生重叠；若多个跟踪目标在第j帧关联的检测框之间的IOU小于或等于特定阈值时，则确定至少两个多个跟踪目标的检测框不发生重叠。

在一个实施例中，第二方面的多目标跟踪装置中，关联模块具体用于：

将多个跟踪目标在第j帧的候选检测框与多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联；

计算多个跟踪目标在第j-1帧确定的ROI与多个跟踪目标在第j帧的候选检测框的交并比IOU，将多个跟踪目标中每个跟踪目标的IOU值最大且大于某个特定阈值对应的候选检测框，作为跟踪目标在第j帧的检测框。

在一个实施例中，第二方面的多目标跟踪装置中，关联模块还用于：

当多个跟踪目标中的每个跟踪目标与第j帧的候选检测框关联完成后，将其关联的检测框从候选检测框队列中删除；

对于未关联成功的跟踪目标，若其连续若干帧未关联成功，则将其从跟踪目标队列中删除；

对于未关联成功的候选检测框，若其在连续若干帧连续出现，则将其作为新的跟踪目标，加入跟踪目标队列。

本发明的又一个方面提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，可执行指令被处理器执行时实现如上所述的方法。

本发明的又一个方面提供一种计算机设备，包括：存储器、处理器及存储在存储器中并可在处理器中运行的可执行指令，其中，处理器执行可执行指令时实现如上所述的方法。

综上所述，本发明实施例提供了一种多目标跟踪方法，通过目标检测获取多个跟踪目标在第j帧的候选检测框；将多个跟踪目标在第j帧的候选检测框与多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联，获得多个跟踪目标在第j帧中分别对应的检测框；确定多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；利用分类识别模型对至少两个跟踪目标在第j帧关联的检测框进行重新分类，得到至少两个跟踪目标在第j帧重新分类后的检测框,以使得至少两个跟踪目标在第j帧重新分类后的检测框与至少两个跟踪目标在第i-1帧的ROI进行关联，其中i,j为正整数且i<j。本发明能够使跟踪过程中发生重叠的跟踪目标正确匹配其在取消重叠时的位置，从而确保多目标跟踪的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1是本发明一实施例的用于多目标跟踪中发生跟踪目标重叠时的示意性流程图；

图2是本发明一实施例的用于多目标跟踪的示意性流程图；

图3是本发明一实施例的用于多目标跟踪中，发生跟踪目标重叠时，对分类模型微调的示意性流程图。

图4是根据本发明一示例性实施例示出的一种多目标跟踪装置400的框图。

图5是根据本发明一示例性实施例示出的用于多目标跟踪的计算机设备的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。根据本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明一实施例的多目标跟踪方法的示意性流程图。图1的方法可以由计算设备，例如，服务器，来执行。图1的目标跟踪方法包括如下内容。

110，通过目标检测获取多个跟踪目标在第j帧的候选检测框。

在一幅图像(例如，视频中的每一帧图像)中，区别于周围环境的闭合区域往往被称为目标。给出目标在图像中的位置的过程称为检测。例如，可以利用已经训练好的目标检测网络或模型，检测在当前视频帧里多个跟踪目标的位置及其类别信息。

例如，可以通过下列方式获取候选检测框：对应用场景或接近于应用场景的若干图片进行标注，用于训练基于深度学习的目标检测器；利用目标检测器获取多个跟踪目标在第j帧的候选检测框。

120，将步骤110获得的多个跟踪目标在第j帧的候选检测框与这多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联，获得多个跟踪目标在第j帧中分别对应的检测框。

在机器视觉或图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域(Region of Interest，ROI)。由于感兴趣区域的面积较小，因此可以减少处理时间，增加精度。在本发明的实施例中，以ROI选为矩形框进行举例说明。

关联，也称为数据关联，是多目标跟踪任务中经常使用的典型的处理方法，用于解决目标间的匹配问题。例如，可以利用交并比(IOU)进行数据关联，本发明的实施例并不限于此，也可以采用其它方法进行关联，例如，概率数据关联、联合概率数据关联以及多假设跟踪算法。

跟踪是在某一帧确定目标的位置(ROI)，得到目标的相关信息，例如颜色特征、梯度特征等，然后在随后的帧中搜索得到目标的具***置。

130，确定多个跟踪目标中的至少两个跟踪目标在第j帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠。

具体地，可以通过计算交并比(IOU)判断多个跟踪目标在第j帧关联的检测框之间发生重叠。这里的交并比，是在第j帧、对多个跟踪对象关联的检测框、两两之间所做的计算。例如，可以计算第j帧中，每个跟踪对象关联的检测框与其他跟踪对象关联的检测框之间是否重叠。例如，由计算得出，两个跟踪目标之间交并比大于0.3，则说明多个跟踪目标之间的这两个跟踪目标发生了相互重叠。再例如，多个跟踪目标中，除上述发生重叠的跟踪目标之外的跟踪目标，与这两个发生重叠的跟踪目标中的任一个计算得到的交并比大于0.3，则说明多于两个跟踪目标之间发生了相互重叠。以此类推，发生重叠的跟踪目标可以是多个。再例如，当计算得出，两个跟踪目标交并比小于等于0.3，说明这两个跟踪目标之间的不发生相互重叠。这里，重叠也可以称为遮挡。应理解，确定是否重叠的方法并不限于交并比，也可以采用其它判断跟踪目标重叠的方法来实现。

在本发明的实施例中，根据如前所述的判断方法，至少两个跟踪目标在第i帧发生了重叠，而在之后的第j帧，取消了重叠。

140，利用分类识别模型对如前的至少两个发生重叠的跟踪目标在取消重叠时刻的第j帧关联的检测框进行重新分类，得到至少两个跟踪目标在第j帧重新分类后的检测框，以使得至少两个发生重叠的跟踪目标在第j帧重新分类后的检测框与至少两个跟踪目标在第i-1帧的ROI进行关联。

这里的i,j为正整数，且i<j。

具体而言，首先针对视频中的每一帧进行目标检测，以确定多个跟踪目标的候选检测框，并将多个跟踪目标在当前帧的候选检测框与多个跟踪目标在上一帧的ROI进行关联，获得多个跟踪目标在当前帧分别对应的检测框。进一步，如果当前帧有若干跟踪目标发生重叠，并且在之后的某一帧取消了重叠，则在取消重叠的那一帧，可以利用分类识别模型对发生重叠的跟踪目标关联测检测进行重新分类，得到重新分类后的检测框，以使得在重新分类后的检测框与其在发生重叠时所在帧的上一帧的ROI进行关联。

跟踪目标发生相互重叠后，仅根据前后帧的ROI信息进行数据关联可能会出现目标的轨迹信息对应错误的情况。

在本发明的实施例中，根据如前所述的判断方法，至少两个跟踪目标在第j帧取消了重叠，可以利用分类识别模型将曾发生重叠的跟踪目标在取消重叠之后关联的检测框重新分类，使得发生重叠的至少两个跟踪目标在重叠后，得到其关联正确的检测框，从而保障跟踪的准确性。另外，由于不必对每个跟踪目标建立一个模型进行跟踪，因此，降低了计算复杂度，从而保障了跟踪的实时性。

可选地，发生相互重叠的跟踪目标，在重叠的整个过程中，可以不予判断匹配是否正确。

可选地，作为另一实施例，图1的方法还包括：建立多个跟踪目标的分类识别模型；在确定至少两个跟踪目标在第i帧关联的检测框之间发生重叠时，利用至少两个跟踪目标在发生重叠时之前的帧的ROI，更新分类识别模型。其中，在140中，可以利用更新后的分类识别模型对至少两个跟踪目标在第j帧关联的检测框进行重新分类。

分类识别模型可以通过如下方式建立与训练：对应用场景或接近于应用场景的若干视频，采用逐帧或间隔若干帧标注，用于训练基于深度学习的分类识别模型。进一步，可以利用发生相互重叠以前的跟踪目标的ROI重新训练分类识别模型，并利用重新训练后的分类识别模型对发生重叠的跟踪目标的检测框进行重新分类。

基于本发明的实施例，在多目标跟踪过程中，在跟踪目标发生相互重叠的情况下，可以对预先训练好的分类识别模型进行微调。例如，利用发生相互重叠以前的跟踪目标ROI重新训练分类识别模型；在跟踪目标取消重叠以后，对应可以利用微调好的分类识别模型对跟踪目标的检测框进行重新分类。由于利用发生相互重叠以前的跟踪目标ROI重新训练分类识别模型可以提高分类识别模型的精度，从而进一步确保多目标跟踪的跟踪轨迹的准确性和实时性。

可选地，作为另一实施例，图1的方法还包括：将分类识别模型的卷积网络的最后一个全连接层的输出节点的数目修改为等于至少两个跟踪目标的数目。

换句话说，有N个跟踪目标发生重叠，就将最后一个全连接层的输出节点的数目改成N。由于更新后的分类识别模型只需要对至少两个跟踪目标而非所有跟踪目标进行分类，因此，相应地减少全连接层的输出节点的数目能够提高分类识别模型进行分类的速度。

可选地，作为另一实施例，图1的方法还包括：确定多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠，包括：

计算多个跟踪目标在第j帧关联的检测框之间的交并比IOU；

若多个跟踪目标在第j帧关联的检测框之间的IOU大于特定阈值时，则有至少两个跟踪目标的检测框发生重叠；

若多个跟踪目标在第j帧关联的检测框之间的IOU小于或等于特定阈值时，则确定至少两个跟踪目标的检测框不发生重叠。

具体而言，检测候选框的交并比(IOU)，其计算公式如下：

其中，BOX1，BOX2分别表示1,2两个跟踪框，分子表示二者的交集，分母表示二者的并集。

判断重叠需要计算交并比(IOU)，当交并比大于0.3，说明多个跟踪目标之间的至少两个跟踪目标发生了相互重叠。

需要说明的是，这里的交并比，是在当前帧、对所有跟踪对象关联的检测框之间所做的计算。在步骤130中已作较为详细的描述，在此不再做过多描述。

可选地，作为另一实施例，图1的方法还包括：将多个跟踪目标在第j帧的候选检测框与多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联，包括：

计算多个跟踪目标在第j-1帧确定的ROI与多个跟踪目标在第j帧的候选检测框的交并比IOU，将多个跟踪目标中每个跟踪目标的IOU值最大且大于某个特定阈值对应的候选检测框，作为跟踪目标在第j帧的检测框。

具体而言，数据关联具体操作为计算每个跟踪目标在第j-1帧确定的ROI与第j帧所有检测候选框的交并比，交并比的概念及计算方法已在前文描述，在此不再做过多描述。需要说明的是，用于数据关联的交并比是在第j帧、对多个跟踪对象关联的检测框之间所做的计算。例如，可以计算第j帧中每个跟踪对象关联的检测框与其它跟踪对象关联的检测框之间是否重叠。应理解，确定是否重叠的方法并不限于交并比，也可以采用其它判断跟踪目标重叠的方法来实现。

根据本发明的实施例，关联用的交并比数据用矩阵记录。具体方法为，例如第j-1帧有N个跟踪目标，第j帧有M个跟踪目标，用一个N×M阶矩阵A来记录交并比数据，矩阵里面的每个元素A(n,m)表示第j-1帧第n个目标与第j帧m个目标的交并比。

假设同一个目标在相邻帧间移动很小，选取检测的结果与跟踪目标在前一帧位置最近的检测位置作为目标在当前帧的位置。选取IOU值最大且大于某个特定的阈值对应的当前帧的检测框，作为该跟踪目标在当前帧的位置。此阈值一般取0.3左右。

可选地，作为另一实施例，图1的方法还包括：当多个跟踪目标中的每个跟踪目标与第j帧的候选检测框关联完成后，将其关联的检测框从候选检测框队列中删除；对于未关联成功的跟踪目标，若其连续若干帧未关联成功，则将其从跟踪目标队列中删除；对于未关联成功的候选检测框，若其在连续若干帧连续出现，则将其作为新的跟踪目标，加入跟踪目标队列。

具体而言，对于某一视频帧，可以利用已经训练好的目标检测网络或模型，检测在当前视频帧里多个跟踪目标，作为跟踪目标的候选检测框队列。跟踪目标队列，就是此视频帧之前的所有帧确定的目标的总和。当跟踪目标队列中的某个跟踪目标与此帧中的某一候选检测框关联完成后，将这个跟踪目标关联的检测框从候选检测框队列中删除。这样做的目的是为了减少后续需要分析处理的检测框，提高跟踪速度和效率。

对于在某一视频帧、没有与候选检测框中的任一检测框关联成功的跟踪目标，如果这个跟踪目标在接下来的连续若干帧仍没有与任一候选检测框关联成功，则将这个跟踪目标从跟踪目标队列中删除。这样做的目的是为了减少跟踪目标数量，减少干扰，提高跟踪速度和效率。

对于在某一个视频帧、没有与任一跟踪目标关联成功的候选检测框，如果这个候选检测框在接下来的连续若干帧都出现，就将这个候选检测框作为新的跟踪目标，加入跟踪目标队列。这样做是因为短时间在某一小区域联系出现的目标，基本可以确定是要跟踪的目标。这样做的目的，可以使跟踪更加全面、准确。

根据本发明的实施例，可以通过下列方式获取候选检测框：对应用场景或接近于应用场景的若干图片进行标注，用于训练基于深度学习的目标检测器；利用目标检测器获取多个跟踪目标在任一待处理帧的候选检测框。

根据本发明的实施例，可以通过如下方式建立多个跟踪目标的分类识别模型。例如，对应用场景或接近于应用场景的若干视频，采用逐帧或间隔若干帧标注，用于训练基于深度学习的分类识别模型。

图2是根据本发明一实施例的用于多目标跟踪的整个过程的示意性流程图。

多目标跟踪的技术能够跟踪多个目标在一段时间的动作轨迹,解决了感知动态物体的问题。

如上所述，在步骤110之前，还包括如下步骤：

210，构建并训练网络模型。

该网络模型包括基于深度学习的目标检测模型，例如，Faster RCNN(FasterRegion based Neural Convolution Network)、SSD(Single Shot MultiBox Detector)、YOLO(You Only Look Once)等深度神经网络模型。例如，对应用场景或接近于应用场景的若干图片进行标注，用以训练基于深度学习的目标检测器。

具体而言，可以基于深度学习的目标检测模型，输入一张图片，经过多层卷积计算，得到图像的特征图；然后根据物体在图像中的大小分布等，设计相应的锚点坐标框，对锚点位置进行分类和包围框回归，找到图像中可能存在物体的位置，然后把这些位置作为感兴趣区域(ROI)映射到特征图上，取出每个位置的卷积特征，然后与训练好的参数进行大量内积计算，得到向量式的特征从而进行进一步的分类和包围框回归，最终获得图像中存在物体的位置和类别。卷积层的作用是提取图像特征。对输入图像进行二维卷积和偏置的操作后，再使用非线性激活函数，便可获得一个卷积结果，即获得一个图像特征。

在210中，该网络模型还包括基于深度学习的目标分类模型，例如ResNet18,CaffeNet或GoogleNet等分类模型。对于相似程度高的复杂数据集，采用triple loss进行训练分类模型。

构建训练网络模型包括如下：

用预训练的深度神经网络模型提取跟踪目标的深度特征，对样本数超过一定数目的跟踪目标进行特征提取、分类训练，得到分类模型。

具体而言，可以采集应用场景或接近于应用场景真实视频，进行标注。标注方法可以是逐帧、也可以是隔若干帧，例如隔1、2或5帧，获得原始采样图像，不同的跟踪目标标注不同的id，构建应用于跟踪目标图像分类的数据库，数据库由带有标注和标签的图片组成分类模型。

在深度学习目标分类网络中，全连接层的作用是，连接所有的特征，将输出值送给分类模型。

根据本发明的实施例，假设统计得到的跟踪目标类别数是N类，则将分类网络的最后一个全连接层的输出数目设为N，使该分类模型具有区分这N个类别的能力。

220，输入视频帧。

230，使用基于深度学习的目标检测器在当前帧获取目标的候选检测框。

此步骤与前述的步骤110类似，在此不再做过多描述。

240，对当前帧得到的检测候选框与跟踪目标在上一帧的感兴趣区域ROI(Regionof Interest)进行数据关联，获得跟踪目标在当前帧中对应的检测框。

250，判断多个跟踪目标在当前帧关联的检测框之间是否发生重叠。

260，若跟踪目标与其他跟踪目标检测框都不重叠则给出跟踪结果，即利用交并比的进行跟踪目标在相邻帧间的数据关联。

270，若有至少两个跟踪目标检测框重叠，则将其对应的至少两个跟踪目标置为“重叠”状态。

跟踪目标发生相互重叠后，仅根据前后帧的ROI信息进行数据关联可能会出现目标的轨迹信息对应错误的情况。

280，判断相互重叠的跟踪目标是否取消重叠。

相互重叠的跟踪目标，当其交并比小于0.3，表示之前发生重叠的跟踪目标之间不再相互重叠。

290，对取消重叠后的跟踪目标关联的检测框利用微调后的分类模型重新分类,使得发生重叠的跟踪目标在重叠后关联到正确的检测框，也就是说使得发生重叠的跟踪目标在取消重叠后的检测框正确关联跟踪目标发生重叠之前一帧的ROI。

为了提高运算速度，使分类效果更佳，对预训练的分类模型进行微调。

图3是本发明一实施例的用于多目标跟踪中，发生跟踪目标重叠时，对分类模型微调的示意性流程图。

310，修改最后一个全连接层输出节点数目为N。

此时需要训练分类网络学习发生相互重叠的每个跟踪目标的特点。分类模型需要分的类别与预训练分类模型存在不同，模型分类数为发生重叠的跟踪目标的数目。

假设N个目标发生相互重叠，则修改最后一个全连接层输出节点数目为N。

320，加载预训练分类模型，对最后一个全连接层的参数初始化。

修改分类网络最后一个全连接层的输出节点数,会导致最后一个全连接层参数数目不匹配。需要用随机化的一个初始值，此参数值不依赖于预训练的分类模型，对最后一个全连接层的参数初始化，使其可以输出相应的节点数。

加载预训练的分类模型,同时对最后一个全连接层的参数进行初始化，得到微调后的新的分类模型。

330，用发生重叠的跟踪目标在发生重叠之前的ROI重新训练分类模型。

将发生相互重叠的至少两个跟踪目标从开始跟踪到第i帧之前发生重叠时刻对应的帧，提取出其对应的全部的ROI，对修改好的分类模型进行若干次迭代，重新训练，使该分类模型能很好的识别发生相互重叠的跟踪目标。

发生相互重叠的跟踪目标，在重叠的整个过程中，不予判断匹配是否正确。

根据本发明实施例提供的技术方案，通过判断跟踪目标发生相互重叠的情况下，对预先训练好的分类模型进行微调用发生相互重叠以前的跟踪目标ROI重新训练分类模型；对目标取消重叠以后，对应的检测框用微调好的分类模型进行重新分类，确保跟踪目标正确匹配其在取消重叠时的位置，从而确保多目标跟踪的准确性和实时性。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再做过多描述。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图4是根据本发明一示例性实施例示出的一种目标跟踪装置400的框图。

如图4所示，该装置400包括：获取模块410，用于通过目标检测获取多个跟踪目标在第j帧的候选检测框；关联模块420，用于将多个跟踪目标在第j帧的候选检测框与多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联，获得多个跟踪目标在第j帧中分别对应的检测框；确定模块430，用于确定多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；以及分类模块440，用于利用分类识别模型对至少两个跟踪目标在取消重叠时的第j帧关联的检测框进行重新分类，得到发生重叠的跟踪目标在第j帧重新分类后的检测框,以使得发生重叠的跟踪目标在取消重叠时，重新分类后的检测框与发生重叠之前的ROI进行正确的关联。

可选地，装置400还包括：建立模块405，用于建立多个跟踪目标的分类识别模型；更新模块435，用于在确定至少两个跟踪目标在第i帧之前关联的检测框之间发生重叠时，利用至少两个跟踪目标在发生重叠时之前的帧的ROI，更新分类识别模型，其中分类模块利用更新后的分类识别模型对至少两个跟踪目标在第i帧关联的检测框进行重新分类。

更新模块435，具体用于：将分类识别模型的卷积网络的最后一个全连接层的输出节点的数目修改为等于至少两个跟踪目标的数目。

确定模块430，具体用于：确定多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；计算多个跟踪目标在第j帧关联的检测框之间的交并比IOU；确定若多个跟踪目标在第j帧关联的检测框之间的IOU大于特定阈值时，则有至少两个多个跟踪目标的检测框发生重叠；若多个跟踪目标在第j帧关联的检测框之间的IOU小于或等于特定阈值时，则确定至少两个跟踪目标的检测框不发生重叠。

关联模块420，具体用于：将多个跟踪目标在第j帧的候选检测框与多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联；计算多个跟踪目标在第j-1帧确定的ROI与多个跟踪目标在第j帧的候选检测框的交并比IOU，将多个跟踪目标中每个跟踪目标的IOU值最大且大于某个特定阈值对应的候选检测框，作为跟踪目标在第j帧的检测框。

关联模块420，还用于：当多个跟踪目标中的每个跟踪目标与第j帧的候选检测框关联完成后，将其关联的检测框从候选检测框队列中删除；对于未关联成功的跟踪目标，若其连续若干帧未关联成功，则将其从跟踪目标队列中删除；对于未关联成功的候选检测框，若其在连续若干帧连续出现，则将其作为新的跟踪目标，加入跟踪目标队列。

获取模块410，具体用于：通过目标检测获取多个跟踪目标在第j帧的候选检测框；对应用场景或接近于应用场景的若干图片进行标注，以训练基于深度学习的目标检测器。

建立模块405，具体用于：对应用场景或接近于应用场景的若干视频，采用逐帧或间隔若干帧标注，以训练基于深度学习的分类识别模型。

图5是根据本发明一示例性实施例示出的用于多目标跟踪的计算机设备500的框图。

参照图5，装置500包括处理组件510，其进一步包括一个或多个处理器，以及由存储器520所代表的存储器资源，用于存储可由处理组件510的执行的指令，例如应用程序。存储器520中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件510被配置为执行指令，以执行上述对目标跟踪方法。

装置500还可以包括一个电源组件被配置为执行装置500的电源管理，一个有线或无线网络接口被配置为将装置500连接到网络，和一个输入输出(I/O)接口。装置500可以操作基于存储在存储器520的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

一种非临时性计算机可读存储介质，当存储介质中的指令由上述装置500的处理器执行时，使得上述装置500能够执行一种多目标跟踪方法，包括：通过目标检测获取多个跟踪目标在第j帧的候选检测框；将多个跟踪目标在第j帧的候选检测框与多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联，获得多个跟踪目标在第j帧中分别对应的检测框；确定多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；利用分类识别模型对至少两个跟踪目标在第j帧关联的检测框进行重新分类，得到至少两个跟踪目标在第j帧重新分类后的检测框,以使得至少两个跟踪目标在第j帧重新分类后的检测框与至少两个跟踪目标在第i-1帧的ROI进行关联，其中i,j为正整数且i<j。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再做过多描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种多目标跟踪方法，其特征在于，包括：

通过目标检测获取多个跟踪目标在第j帧的候选检测框；

基于交并比IOU将所述多个跟踪目标在第j帧的候选检测框与所述多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联，获得所述多个跟踪目标在第j帧中分别对应的检测框；

确定所述多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；

利用分类识别模型对所述至少两个跟踪目标在第j帧关联的检测框进行重新分类，得到所述至少两个跟踪目标在第j帧重新分类后的检测框,以使得所述至少两个跟踪目标在第j帧重新分类后的检测框与所述至少两个跟踪目标在第i-1帧的ROI进行关联，其中i,j为正整数且i<j，

所述方法还包括：

建立所述多个跟踪目标的分类识别模型；

在确定所述至少两个跟踪目标在第i帧关联的检测框之间发生重叠时，利用所述至少两个跟踪目标在发生重叠时之前的帧的ROI，更新所述分类识别模型，

其中所述利用分类识别模型对所述至少两个跟踪目标在第j帧关联的检测框进行重新分类，包括：

利用更新后的分类识别模型对所述至少两个跟踪目标在第j帧关联的检测框进行重新分类。

2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述确定所述多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠，包括：

计算所述多个跟踪目标在第j帧关联的检测框之间的交并比IOU；

若所述多个跟踪目标在第j帧关联的检测框之间的IOU大于特定阈值时，则有至少两个所述多个跟踪目标的检测框发生重叠，

若所述多个跟踪目标在第j帧关联的检测框之间的IOU小于或等于特定阈值时，则确定所述至少两个所述多个跟踪目标的检测框不发生重叠。

3.根据权利要求1所述的多目标跟踪方法，其特征在于，所述基于交并比IOU将所述多个跟踪目标在第j帧的候选检测框与所述多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联，包括：

计算所述多个跟踪目标在第j-1帧确定的ROI与所述多个跟踪目标在第j帧的候选检测框的交并比IOU，将所述多个跟踪目标中每个跟踪目标的IOU值最大且大于某个特定阈值对应的候选检测框，作为所述跟踪目标在第j帧的检测框。

4.根据权利要求3所述的多目标跟踪方法，其特征在于，还包括：

当所述多个跟踪目标中的每个跟踪目标与第j帧的候选检测框关联完成后，将其关联的检测框从候选检测框队列中删除；

对于未关联成功的跟踪目标，若其连续若干帧未关联成功，则将其从跟踪目标队列中删除；

对于未关联成功的候选检测框，若其在连续若干帧连续出现，则将其作为新的跟踪目标，加入所述跟踪目标队列。

5.一种多目标跟踪装置，其特征在于，包括：

获取模块，用于通过目标检测获取多个跟踪目标在第j帧的候选检测框；

关联模块，用于基于交并比IOU将所述多个跟踪目标在第j帧的候选检测框与所述多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联，获得所述多个跟踪目标在第j帧中分别对应的检测框；

确定模块，用于确定所述多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；

分类模块，用于利用分类识别模型对所述至少两个跟踪目标在第j帧关联的检测框进行重新分类，得到所述至少两个跟踪目标在第j帧重新分类后的检测框,以使得所述至少两个跟踪目标在第j帧重新分类后的检测框与所述至少两个跟踪目标在第i-1帧的ROI进行关联，其中i,j为正整数且i<j；

建立模块，用于建立所述多个跟踪目标的分类识别模型；

更新模块，用于在确定所述至少两个跟踪目标在第i帧关联的检测框之间发生重叠时，利用所述至少两个跟踪目标在发生重叠时之前的帧的ROI，更新所述分类识别模型，其中，

所述分类模块，还用于利用更新后的分类识别模型对所述至少两个跟踪目标在第i帧关联的检测框进行重新分类。

6.根据权利要求5所述的多目标跟踪装置，其特征在于，所述确定模块具体用于：

确定所述多个跟踪目标中的至少两个跟踪目标在第i帧关联的检测框之间发生重叠并且在第j帧关联的检测框之间取消重叠；

计算所述多个跟踪目标在第j帧关联的检测框之间的交并比IOU；

确定若所述多个跟踪目标在第j帧关联的检测框之间的IOU大于特定阈值时，则有至少两个所述多个跟踪目标的检测框发生重叠；若所述多个跟踪目标在第j帧关联的检测框之间的IOU小于或等于特定阈值时，则确定所述至少两个所述多个跟踪目标的检测框不发生重叠。

7.根据权利要求5所述的多目标跟踪装置，其特征在于，所述关联模块具体用于：

基于交并比IOU将所述多个跟踪目标在第j帧的候选检测框与所述多个跟踪目标在第j-1帧的感兴趣区域ROI进行关联；计算所述多个跟踪目标在第j-1帧确定的ROI与所述多个跟踪目标在第j帧的候选检测框的交并比IOU，将所述多个跟踪目标中每个跟踪目标的IOU值最大且大于某个特定阈值对应的候选检测框，作为所述跟踪目标在第j帧的检测框。

8.根据权利要求7所述的多目标跟踪装置，其特征在于，所述关联模块还用于：

当所述多个跟踪目标中的每个跟踪目标与第j帧的候选检测框关联完成后，将其关联的检测框从候选检测框队列中删除；

对于未关联成功的跟踪目标，若其连续若干帧未关联成功，则将其从跟踪目标队列中删除；

对于未关联成功的候选检测框，若其在连续若干帧连续出现，则将其作为新的跟踪目标，加入所述跟踪目标队列。

Images