CN112037247A - 一种目标跟踪的方法、装置及计算机存储介质 - Google Patents

Abstract

本申请公开了一种目标跟踪的方法、装置及计算机存储介质，包括：获取当前帧图像中的检测框，检测框包括脸部检测框和头肩检测框；分别确定与脸部检测框匹配的人脸跟踪目标、及与头肩检测框匹配的头肩跟踪目标；对人脸跟踪目标和头肩跟踪目标进行匹配，得到跟踪目标；判断跟踪目标是否包括人脸跟踪目标，若否，则利用跟踪目标所包括的头肩跟踪目标所对应的头肩检测框的位置信息更新跟踪目标的位置信息。本申请所提供的技术方案可以较好地提高目标跟踪的准确度。

Description

一种目标跟踪的方法、装置及计算机存储介质

技术领域

本申请涉及目标跟踪领域，特别是涉及一种目标跟踪的方法、装置及计算机存储介质。

背景技术

近年来，随着深度学习技术的不断发展，人工智能产品逐渐落地到生活中。目标识别的产品也是经过了从无到有的过程，现阶段在提升产品竞争力时，做好其中的各个模块成为了重中之重。目标跟踪技术是在目标脸部检测后用以确定目标脸部在连续视频中的位置，为后续的目标脸部优选和脸部识别提供关键的技术支持。但是在实际的应用场景中，由于现有的检测算法本身的不稳定性，或者目标脸部出现在较远的位置，目标脸部较小且较为模糊时而无法检测到目标脸部或者是准确检测到目标脸部；再或者由于目标的运动不规则性，在一些复杂场景下，例如脸部出现低头、扭头、转身等情况，如果仅仅依靠现有的主动跟踪算法，在丢失帧数过多的情况下，容易出现跟踪丢失，错误跟踪的现象，进而无法完成准确的跟踪，故需要一种可以解决上述问题的技术方案。

发明内容

本申请主要解决的技术问题是提供一种目标跟踪的方法、装置及计算机存储介质，能够提高目标跟踪的准确度和稳定性。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种目标跟踪的方法，包括：

获取当前帧图像中的检测框，所述检测框包括脸部检测框和所述头肩检测框；

分别确定与所述脸部检测框匹配的人脸跟踪目标、及与所述头肩检测框匹配的头肩跟踪目标；

对所述人脸跟踪目标和所述头肩跟踪目标进行匹配，得到跟踪目标；

判断所述跟踪目标是否包括所述人脸跟踪目标，若否，则利用所述跟踪目标所包括的所述头肩跟踪目标所对应的所述头肩检测框的位置信息更新所述跟踪目标的位置信息。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种目标跟踪的装置，所述装置包括耦接的存储器和处理器，其中，

所述存储器包括本地储存，且存储有计算机程序；

所述处理器用于运行所述计算机程序，以执行如上所述的方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机存储介质，所述计算机存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现如上所述的方法。

本申请所提供的技术方案，通过获取当前帧图像中包括的脸部检测框和头肩检测框，在获取到当前帧图像中的检测框之后，进一步确定分别与脸部检测框匹配的人脸跟踪目标、及与头肩检测框匹配的头肩跟踪目标；对人脸跟踪目标和头肩跟踪目标进行匹配，得到跟踪目标；判断跟踪目标是否包括人脸跟踪目标，若否，则利用跟踪目标所包括的头肩跟踪目标所对应的头肩检测框的位置信息更新跟踪目标的位置信息，即在本申请所提供的技术方案中，在判断得到跟踪目标中不包括人脸跟踪目标时，利用跟踪目标中所包括的头肩跟踪目标所对应的头肩检测框的位置信息更新跟踪目标的位置信息，实现了在无法检测到脸部检测框时依然可以依靠头肩检测框确定跟踪目标的位置信息，较好地提高了对于目标位置跟踪的准确度与稳定性。

附图说明

图1为本申请一种目标跟踪的方法一实施例中的流程示意图；

图2是本申请一种目标跟踪的方法另一实施例中的流程示意图；

图3是本申请一种目标跟踪的方法又一实施例中的流程示意图；

图4是本申请一种目标跟踪的方法又一实施例中的流程示意图；

图5为本申请一种目标跟踪的方法又一实施例中的流程示意图；

图6为本申请一种目标跟踪的方法另一实施例中的流程示意图；

图7为本申请一种目标跟踪的方法再一实施例中的流程示意图；

图8是本申请一种目标跟踪的装置一实施例中的结构示意图；

图9是本申请一种计算机存储介质一实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参见图1，图1为本申请一种目标跟踪的方法一实施例中的流程示意图。在当前实施例中，本申请所提供的方法包括：

S110：获取当前帧图像中的检测框。

在进行目标跟踪的过程中，在获取到当前帧图像后，进一步对当前帧图像进行识别，以获取到当前帧图像中的检测框。需要说明的是，如果当前帧图像中包括多个目标时，则步骤S110是分别获取到当前帧图像中所有目标所对应的检测框。

其中，检测框包括头肩检测框和头肩检测框。头肩检测框是指用于指示目标在当前帧图像中的头肩所在的框型结构，脸部检测框是用于指示目标的脸部在当前帧图像中的脸部所在的框型结构。其中，脸部检测框至少包括脸部检测框、动物脸部检测框和机器人脸部检测框，头肩检测框至少包括人的头肩检测框、动物头肩检测框和机器人头肩检测框。

如，在一实施例中，当前帧图像中共包括5个目标，则步骤S110用于分别获取该帧图像中5个目标的检测框。如根据设定可以是分别获取5个目标的脸部检测框；再分别获取5个目标的头肩检测框。

具体所能获取到的头肩检测框和脸部检测框的数量是基于目标实际分布情况和算法的精度确定，基于上述例子，如当前帧图像中共包括5个目标，但是由于有些目标正在转头侧身，可能就会获取到3个脸部检测框和5个头肩检测框。

S120：分别确定与脸部检测框匹配的人脸跟踪目标、及与头肩检测框匹配的头肩跟踪目标。

在获取到当前帧图像中的检测框之后，进一步将所获取到的检测框分别与跟踪目标进行匹配，以分别确定与脸部检测框匹配的人脸跟踪目标、及与头肩检测框匹配的头肩跟踪目标。

如，在当前帧图像中获取到5个脸部检测框和6个头肩检测框，则对应的在步骤S120中则会分别确定与这5个脸部检测框匹配的人脸跟踪目标，以及6个头肩检测框匹配的头肩跟踪目标。

具体地，在一实施例中，步骤S120中则可以是分别将当前帧图像中所获取得到的脸部检测框与前一帧中已跟踪的人脸跟踪目标进行匹配，以确定当前帧图像中脸部检测框所匹配的人脸跟踪目标，同时将当前帧图像中所获取的头肩检测框与前一帧图像中已经跟踪的头肩跟踪目标进行匹配，以确定当前帧图像中头肩检测框所匹配的头肩跟踪目标。需要说明的是，一个脸部检测框只与一个已跟踪脸部(已跟踪脸部即为前一帧图像中的人脸跟踪目标)匹配，一个头肩检测框与一个已跟踪头肩(已跟踪头肩即为前一帧图像中的头肩跟踪目标)匹配，一个已跟踪脸部和一个已跟踪头肩可以是关联匹配的，即一个已跟踪脸部和一个已跟踪头肩均对应着同一个跟踪目标。

S130：对人脸跟踪目标和头肩跟踪目标进行匹配，得到跟踪目标。

在步骤S120中分别确定了当前帧图像中各个脸部检测框所匹配的人脸跟踪目标，以及确定了当前帧图像中各个头肩检测框所匹配的头肩跟踪目标之后，进一步对当前帧图像中所确定的人脸跟踪目标和头肩跟踪目标进行匹配处理，进而得到跟踪目标。其中，在对人脸跟踪目标和头肩跟踪目标进行匹配处理，匹配处理所得的结果包括匹配成功的人脸跟踪目标和头肩跟踪目标、与所有头肩跟踪目标均不匹配的人脸跟踪目标、以及与所有人脸跟踪目标均不匹配的头肩跟踪目标。故可以得知，跟踪目标的类型包括以下几种：同时包括一个人脸跟踪目标和与该人脸跟踪目标匹配的头肩跟踪目标的跟踪目标；包括人脸跟踪目标且不包括头肩跟踪目标的跟踪目标，以及包括头肩跟踪目标且不包括人脸跟踪目标的跟踪目标。

S140：判断跟踪目标是否包括人脸跟踪目标，若否，则利用跟踪目标所包括的头肩跟踪目标所对应的头肩检测框的位置信息更新跟踪目标的位置信息。

在得到跟踪目标之后，进一步判断跟踪目标是否包括人脸跟踪目标。若判断得到跟踪目标中不包括人脸跟踪目标，仅仅包括头肩跟踪目标，则会利用跟踪目标所包括的头肩跟踪目标所对应的头肩检测框的位置信息更新跟踪目标的位置信息。

在另一实施例中，若判断得到跟踪目标中包括人脸跟踪目标，则会进一步利用跟踪目标所包括的人脸跟踪目标所对应的脸部检测框的位置信息更新跟踪目标的位置信息。

其中，检测框的位置信息可以是检测框中心的位置信息。在另一实施例中，检测框的位置信息也可以是检测框多个取样点的位置信息，如可以是检测框中心和检测框四个角所在的位置信息。

更进一步地，若判断得到跟踪目标中包括人脸跟踪目标和头肩跟踪目标时，利用与跟踪目标匹配的脸部检测框的位置信息更新跟踪目标的脸部位置信息的同时，进一步利用头肩检测框的位置信息进一步更新完善跟踪目标的头肩位置信息，即在跟踪目标的过程中通过利用更容易检测的头肩检测框位置信息辅助更新跟踪目标的位置信息，相比于现有技术可以实现对目标进行更为准确稳定的跟踪。

更进一步的，在利用检测框的位置信息更新跟踪目标的位置信息的同时，还可以对应更新其他属性信息，其中属性信息至少包括：检测框的ID、标签、对应目标的类别信息和对应目标的身份信息中的一种。其中，目标的类别信息至少包括：动物、人和机器人，目标的身份信息可以用于标记目标的身份信息，如宠物A、宠物B，再比如人的身份证信息、姓名等。其中，目标的类别信息和目标的身份信息可以是由用户设定，也可以是和数据库进行数据比对求得的，在此不做限定。

图1所对应的实施例中，通过获取当前帧图像中包括的脸部检测框和头肩检测框，在获取到当前帧图像中的检测框之后，进一步确定分别与脸部检测框匹配的人脸跟踪目标、及与头肩检测框匹配的头肩跟踪目标；对人脸跟踪目标和头肩跟踪目标进行匹配，得到跟踪目标；判断跟踪目标是否包括人脸跟踪目标，若否，则利用跟踪目标所包括的头肩跟踪目标所对应的头肩检测框的位置信息更新跟踪目标的位置信息，即在本申请所提供的技术方案中，在判断得到跟踪目标中不包括人脸跟踪目标时，利用跟踪目标中所包括的头肩跟踪目标所对应的头肩检测框的位置信息更新跟踪目标的位置信息，实现了在无法检测到脸部检测框时依然可以依靠头肩检测框确定跟踪目标的位置信息，进而可以实现对跟踪目标进行更为准确的跟踪，相比于现有技术提高了对于目标跟踪的准确度与稳定性。

请参见图2，图2为本申请一种目标跟踪的方法另一实施例中的流程示意图。在当前实施例中，检测框包括脸部检测框和头肩检测框，上述步骤S120分别确定与脸部检测框匹配的人脸跟踪目标、及与头肩检测框匹配的头肩跟踪目标，进一步包括步骤S201至步骤S204。

S201：从若干已跟踪脸部中，查找与脸部检测框匹配的已跟踪脸部以作为当前检测脸部，以及，从若干已跟踪头肩中，查找出与头肩检测框匹配的已跟踪头肩以作为当前检测头肩。

在获取了当前帧图像中的脸部检测框后，进一步从已跟踪脸部中，查找出与脸部检测框匹配的已跟踪脸部以作为当前检测脸部。其中，需要说明的是，已跟踪脸部为截止当前帧图像之前一帧图像中所跟踪的脸部，在此并不限定已跟踪脸部的数量，已跟踪脸部的数量可以大于当前帧图像中的脸部检测框的数量，也可以小于或等于当前帧图像中的脸部检测框的数量。如，在当前帧图像中有5个脸部检测框，则会从若干已跟踪脸部中查找出分别与这5个脸部检测框匹配的已跟踪脸部，以分别作为对应5个脸部检测框的当前检测脸部。其中，当前检测脸部指的是当前帧图像中的脸部检测框对应的脸部。

需要说明的是，在对目标进行跟踪的过程中，由于目标的运动存在随机性，故在查找与脸部检测框匹配的已跟踪脸部的过程中，会有在已跟踪脸部中无法查找到与其相匹配的已跟踪脸部的脸部检测框，同样的，已跟踪脸部中也会存在有与当前帧图像中的脸部检测框无法匹配的已跟踪脸部，而本申请在下述一些实施例中提供了解决上述情况的技术手段，进而可以实现对目标进行更为准确全面的跟踪，具体可以参见下文对应实施例部分的阐述。

同样的，在获取了当前帧中的脸部检测框和头肩检测框之后，还会进一步从已跟踪头肩中，查找出与头肩检测框匹配的已跟踪头肩以作为当前检测头肩。如在当前帧图像中有6个头肩检测框，则会从若干已跟踪头肩中查找到与当前帧图像中的6个头肩检测框匹配的已跟踪头肩，以作为当前检测头肩。其中，已跟踪头肩是指截止当前帧图像之前已经跟踪的头肩，当前检测头肩则是指的是当前帧图像中头肩检测框对应的头肩。与已跟踪脸部相同，在此并不限定已跟踪头肩的数量，已跟踪头肩的数量可以大于当前帧图像中的头肩检测框的数量，也可以小于或等于当前帧图像中的头肩检测框的数量。

同样的，由于目标的运动存在随机性和不确定性，故在查找与头肩检测框匹配的已跟踪头肩的过程中，会有在已跟踪头肩中无法查找到与其相匹配的已跟踪头肩的头肩检测框，同样的，已跟踪头肩中也会存在有与当前帧图像中的头肩检测框无法匹配的已跟踪头肩，而本申请在下述一些实施例中提供了解决上述情况的技术手段，进而可以实现对目标进行更为准确全面的跟踪，具体可以参见下文对应实施例部分的阐述。

需要说明的是，在当前实施例中并不限定查找与脸部检测框匹配的已跟踪脸部和查找与头肩检测框匹配的已跟踪头肩的先后顺序，具体可以依据需要进行设置和调整。

同时，在当前帧图像为进行目标跟踪所得的第一帧图像时，则可以得知此时不存在已跟踪脸部、已跟踪头肩和已跟踪目标，故此时本申请所提供的方法是，直接构建对应第一帧图像中的头肩检测框的新的已跟踪头肩，构建对应第一帧图像中的脸部检测框的新的已跟踪脸部，并在构建了新的已跟踪头肩和新的已跟踪脸部后，进一步构建与新的已跟踪头肩和/或新的已跟踪脸部匹配的新的跟踪目标，以用于在后续各帧图像对于目标进行跟踪。

S202：若查找不到当前检测脸部，则基于脸部检测框构建新的已跟踪脸部。

若在已跟踪的脸部中查找不到当前检测脸部时，则会判断当前脸部检测框对应的脸部是新目标的脸部，则会基于脸部检测框侯建新的已跟踪脸部，以便在后续各帧图像中对该脸部检测框对应的新的已跟踪脸部进行跟踪。

S203：若查找不到当前检测头肩，则基于头肩检测框构建新的已跟踪头肩。

若在已跟踪头肩中查找不到当前检测头肩，则判断当前头肩检测框对应的头肩是新目标的头肩，故会进一步基于该头肩检测框构建新的已跟踪头肩，以便后续各帧图像中对该头肩检测框对应的新的已跟踪头肩进行跟踪。

进一步地，若已跟踪头肩中存在与当前帧图像中的所有头肩检测框均不匹配的已跟踪头肩，则将与当前帧图像中的所有头肩检测框均不匹配的已跟踪头肩确定为未匹配头肩，并采用主动跟踪算法预测得到未匹配头肩的位置信息。

同理，若已跟踪脸部中存在与当前帧图像中的所有脸部检测框均不匹配的已跟踪脸部，则将与当前帧图像中的所有脸部检测框均不匹配的已跟踪脸部确定为未匹配脸部，并采用主动跟踪算法预测得到未匹配脸部的位置信息。

在另一实施例中，如若本申请所提供的方法在对所得的人脸跟踪目标和头肩跟踪目标进行匹配并得到跟踪目标之后，本申请所提供的方法还进一步包括：将当前帧图像所得的跟踪目标与前一帧图像所得的跟踪目标进行比对，以判断当前帧图像中所得的跟踪目标与前一帧图像中所得的跟踪目标是否匹配，进而判断在对目标进行跟踪的过程中是否有丢失的跟踪目标。若判断得到前一帧图像中的所得的跟踪目标中存在与当前帧图像中所得的所有跟踪目标均不匹配的跟踪目标，则将均不匹配的跟踪目标确定为未匹配目标，并采用主动跟踪算法预测得到未匹配目标的位置信息。

其中，再进一步地，采用主动跟踪算法预测得到未匹配脸部/未匹配头肩/未匹配目标的位置信息包括：根据未匹配内容在当前帧图像之前的预设数量帧图像中的运动轨迹，预测未匹配内容在当前帧图像中的位置信息。其中，未匹配内容为未匹配脸部、未匹配头肩、未匹配目标中任意一个，预设数量可以根据经验值进行设定，如可以设定为5帧，那么对应的则会根据未匹配内容在当前帧图像之前的5帧图像中的运动轨迹，预测未匹配内容在当前帧图像中的位置信息，并利用预测所得的位置信息更新该未匹配内容的位置信息。

再进一步地，在根据未匹配内容在当前帧图像之前的预设数量帧图像中的运动轨迹，预测未匹配内容在当前帧图像中的位置信息之后，本申请所提供的方法进一步包括：统计采用主动跟踪算法预测同一未匹配内容的位置信息的帧数。

在统计得到采用主动跟踪算法预测同一未匹配内容的位置信息的帧数之后，进一步判断采用主动跟踪算法预测同一未匹配内容的位置信息的帧数是否大于第三预设阈值，若判断得到统计的帧数超过第三预设阈值，则会判断该未匹配内容对应的目标已经离开跟踪区域，故本申请所提供的方法还包括：进一步删除该未匹配内容。

S204：将当前检测脸部和新的已跟踪脸部输出为当前帧图像对应的人脸跟踪目标，将当前检测头肩和新的已跟踪头肩输出为当前帧图像对应的头肩跟踪目标。

更进一步地，在其他实施例中，当前帧图像对应的人脸跟踪目标包括：脸部检测框与前一帧图像所对应的已跟踪脸部匹配的当前检测脸部、与前一帧图像中所有已跟踪脸部均不匹配的新的已跟踪脸部、及前一帧中的与当前帧图像所对应的所有脸部检测框均不匹配的未匹配脸部。同理，当前帧图像对应的头肩跟踪目标可以包括：头肩检测框与前一帧图像所对应的已跟踪头肩匹配的当前检测头肩、与前一帧图像中所有已跟踪头肩均不匹配的新的已跟踪头肩、及前一帧中的与当前帧图像所对应的所有头肩检测框均不匹配的未匹配头肩。

进一步地，请参见图3，图3为本申请一种目标跟踪的方法又一实施例中的流程示意图。在当前实施例中，着重阐述的是上述步骤根据未匹配内容在当前帧图像之前的预设数量帧图像中的运动轨迹，预测未匹配内容在当前帧图像中的位置信息，进一步包括：

S301：选取在当前帧之前的预设数量帧图像，并获取未匹配内容在预设数量帧图像的每相邻图像中的中心点坐标的位移变量。

其中，未匹配内容为未匹配脸部、未匹配头肩、未匹配目标中任意一个。在确认了未匹配内容之后，进一步选取当前帧之前的预设数量帧图像，然后自所选取的预设数量帧图像中的分别获取未匹配内容在每相邻图像中的中心点坐标的位移变量。

S302：获得预设数量帧图像对应的中心点坐标的位移变量的均值。

在获取未匹配内容在预设数量帧图像的每相邻图像中的中心点坐标的位移变量之后，进一步获得预设数量帧图像中对应的每相邻图像中心点坐标的位移变量的均值。

S303：计算未匹配内容在前一帧图像中的预设点坐标与均值之间的和，作为未匹配内容在当前帧的位置信息。

在获取到预设数量帧图像对应的中心点坐标的位移变量的均值之后，进一步计算未匹配内容在前一帧图像中的预设点坐标与均值之间的和，用作未匹配内容在当前帧图像中的位置信息。

其中，上述步骤S302至步骤S303中的计算公式如下所示，

其中，x表示横坐标，y表示纵坐标，分别为跟踪目标在当前帧之前一帧图像中的位置的对角横坐标和纵坐标，也可以将x1和y1理解为跟踪目标丢失前一帧的位置的对角横、纵坐标，n为用于参考轨迹的图像帧的数量，即上述的预设数量，如，当n为5时，则表示选取目标丢失前临近5帧中相邻帧中的中心点坐标的位移变量的均值，x′₁和y′₁表示跟踪目标的预测对角坐标。

进一步地，请参见图4，图4为本申请一种目标跟踪的方法又一实施例中的流程示意图。

在当前实施例中，上述步骤S201中的从若干已跟踪脸部中，查找与脸部检测框匹配的已跟踪脸部以作为当前检测脸部，进一步包括：

S401：分别计算脸部检测框与每个已跟踪脸部的第一交并比。

在当前实施例中，是通过分别计算当前帧图像中各个脸部检测框与若干已跟踪脸部中的每个的第一交并比，并基于所得的第一交并比，查找到与脸部检测框匹配的已跟踪脸部，并将与脸部检测框匹配的已跟踪脸部作为当前检测脸部。

更进一步地，也可以将步骤S401理解为是分别计算当前帧图像中各个脸部检测框与对前一帧图像进行跟踪所得的每一个当前检测脸部之间的第一交并比，并基于所得的第一交并比确定当前帧图像中的每个脸部检测框所匹配的已跟踪脸部。其中，第一交并比是指当前帧图像中脸部检测框与对前一帧图像进行跟踪后所得的每一个当前检测脸部的交并比，对于当前帧图像来说，前一帧图像中的当前检测脸部即是已跟踪脸部。

具体地，第一交并比在当前实施例的计算公式如下：

其中，在当前实施例中，IOU代指交并比(在当前实施例中IOU是指第一交并比)，A为结合历史帧信息得到的已跟踪脸部的信息，B是指由检测算法在当前帧图像中检测得到的当前检测脸部的信息，当第一交并比越大时则表示当前帧脸部检测框的位置与历史帧中的已跟踪脸部的位置最接近，对应的，则会判断该脸部检测框很大概率为该已跟踪脸部在当前帧图像中的位置。故在当前实施例中，会预设一个经验阈值，并将所得的第一交并比与该经验阈值进行判断大小，并在第一交并比大于或等于该经验阈值时判断得到当前脸部检测框与已跟踪脸部匹配。

S402：判断第一交并比是否大于或等于第一预设阈值。

在计算求得脸部检测框与每个已跟踪脸部的第一交并比后，会进一步将所得的第一交并比与第一预设阈值进行比较大小，以判断所得的第一交并比是否大于或等于第一预设阈值。需要说明的是，对于同一个脸部检测框，在步骤S401中会得到多个第一交并比，对应的，则在步骤S402中会进一步判断所得的同一个检测框所对应的每一个交并比是否大于或等于第一预设阈值，以判断当前脸部检测框与各个第一交并比对应的已跟踪脸部是否匹配。

其中，第一预设阈值是预先设置的一个较大的，用于判断脸部检测框与已跟踪脸部是否匹配的交并比的经验值。

S403：确定第一交并比对应的已跟踪脸部与脸部检测框匹配并作为当前检测脸部。

若步骤S402中判断得到第一交并比大于或等于第一预设值，则会将该第一交并比对应的已跟踪脸部与脸部检测框匹配，并将该已跟踪脸部作为当前脸部检测框对应的当前检测脸部。

更进一步地，当同一个脸部检测框所对应的多个第一交并比中有多个均大于预设的经验值时，则会将最大的第一交并比对应的已跟踪脸部确定为该脸部检测框匹配的已跟踪脸部，对应的则会选择脸部检测框的检测信息更新对应的已跟踪脸部。

请参见图5，图5为本申请一种目标跟踪的方法又一实施例中的流程示意图。在当前实施例中，上述步骤S201中的从若干已跟踪头肩中，查找与头肩检测框匹配的已跟踪头肩以作为当前检测头肩，进一步包括：

S501：分别计算头肩检测框与每个已跟踪头肩的第二交并比。

其中，对于当前帧图像来说，已跟踪头肩是指当前帧图像之前的帧中的当前检测头肩。第二交并比是当前帧图像中的头肩检测框的信息与已跟踪头肩的信息之间的交并比。其中，头肩检测框的信息至少包括头肩检测框的位置信息，已跟踪头肩的信息至少包括已跟踪头肩的位置信息。具体地，第二交并比也是基于公式

计算求得。其中，在当前实施例中，A为结合历史帧信息得到的已跟踪头肩的信息，B是指由检测算法在当前帧图像中检测得到的当前检测头肩的信息，当第二交并比越大时则表示当前帧图像中的头肩检测框的位置与历史帧图像中的已跟踪头肩的位置最接近，对应的，则会判断该头肩检测框为该已跟踪头肩在当前帧图像中的位置。故在当前实施例中，同样会预设一个经验阈值，并将所得的第二交并比与该经验阈值进行判断大小，并在第二交并比大于或等于该经验阈值时判断得到当前头肩检测框与已跟踪头肩匹配。

S502：判断第二交并比是否大于或等于第二预设阈值。

在计算求得第二交并比后，进一步判断第二交并比是否大于或等于第二预设阈值。其中，第二预设阈值是预设的用于判断头肩检测框与已跟踪头肩是否匹配的经验阈值。若第二交并比大于或等于第二预设阈值时，则会执行步骤S503，若否，则会进一步执行计算该头肩检测框与下一个已跟踪头肩之间的第二交并比，并判断所求得的该头肩检测框与下一个已跟踪头肩之间的第二交并比是否大于或等于第二预设阈值，依次循环，直至判断完所有的第二交并比和第二预设阈值之间的大小关系。

S503：第二交并比对应的已跟踪头肩与头肩检测框匹配并作为当前检测头肩。

若第二交并比大于或等于第二预设阈值后，进一步将该第二交并比对应的已跟踪头肩与头肩检测框匹配并作为当前检测头肩。

进一步地，若当同一个头肩检测框所对应的多个第二交并比中有多个均大于预设的第二预设阈值时，则会进一步确定多个大于或等于第二预设阈值的第二交并比中最大的第二交并比，将最大的第二交并比对应的已跟踪头肩确定为该头肩检测框匹配的已跟踪头肩，对应的则会选择头肩检测框的检测信息更新对应的已跟踪头肩。

请参见图6，图6为本申请一种目标跟踪的方法另一实施例中的流程示意图。在当前实施例中，本申请所提供的方法包括：

S601：获取当前帧图像中的检测框。步骤S601与上述步骤S110相同，具体可以参见上文对应部分的阐述，在此不再赘述。

S602：确定与检测框匹配的跟踪目标。

在当前实施例中，步骤S602用于从若干已跟踪脸部中，查找与脸部检测框匹配的已跟踪脸部以作为当前检测脸部，并在查找不到当前检测脸部时，基于脸部检测框构建新的已跟踪脸部；以及，从若干已跟踪头肩中，查找出与头肩检测框匹配的已跟踪头肩以作为当前检测头肩，并在查找不到当前检测头肩时，则基于头肩检测框构建新的已跟踪头肩。对应的，也可以将上述步骤理解为确定与检测框匹配的跟踪目标并对应的更新已跟踪脸部和已跟踪头肩。进一步地，步骤S602与上述步骤S120及图2和图4所对应的实施例所阐述的部分内容相同，在此可以进一步参见上文对应部分的阐述。

在当前实施例中，在确定了已跟踪头肩、与脸部检测框匹配的已跟踪脸部，并对应更新了已跟踪头肩和已跟踪脸部之后，且在步骤利用与跟踪目标匹配的检测框的位置信息更新跟踪目标的位置信息之前，本申请所提供的方法还包括步骤S603。

S603：遍历已跟踪脸部和已跟踪头肩，以查找出每组关联的已跟踪脸部和已跟踪头肩。

遍历已经利用当前帧图像中的检测框更新过的已跟踪脸部和已跟踪头肩，进而查找出每组关联的已跟踪脸部和已跟踪头肩。其中，可以根据当前帧图像之前一帧图像中各个已跟踪脸部和已跟踪头肩的关联信息查找出当前帧图像所对应的每组关联的已跟踪脸部和已跟踪头肩；还可以是根据当前帧图像中已跟踪脸部和已跟踪头肩对应的位置信息以及其他相关的特征信息确定关联的已跟踪脸部和已跟踪头肩。其中，关联的已跟踪脸部和已跟踪头肩同时对应同一个跟踪目标。

进一步地，在另一实施例中，还可以结合当前帧图像之前预设数量帧中的各个已跟踪脸部和已跟踪头肩的关联信息查找出当前帧图像中所对应的每组关联的已跟踪脸部和已跟踪头肩。具体地，如当预设数量为5帧，在当前帧图像之前5帧图像中存在4帧图像的已跟踪脸部A和已跟踪头肩b为关联的，则选择相信大比例帧中的关联关系的判断，即对应会在当前帧图像中判断已跟踪脸部A和已跟踪头肩b为关联的。

更进一步的，在另一实施例中，遍历已跟踪脸部和已跟踪头肩，查找出每组关联的已跟踪脸部和已跟踪头肩之后，可以进一步基于当前帧图像之前预设数量帧中的各个已跟踪脸部和已跟踪头肩的关联信息进一步验证当前帧图像中所找出的每组关联的已跟踪脸部和已跟踪头肩是否准确。如，当前帧中确定的关联的已跟踪脸部和已跟踪头肩与当前帧图像之前预设数量帧中的关联关系相同，则判断该关联的已跟踪脸部和已跟踪头肩是准确的；反之，如果判断得到当前帧中确定的关联的已跟踪脸部和已跟踪头肩与当前帧图像之前预设数量帧中的关联关系均不相同，或者是与当前帧图像之前预设数量帧中多数帧中的关联关系不同，则判断该关联的已跟踪脸部和已跟踪头肩是不准确的。

在存在与匹配脸部或匹配头肩匹配的跟踪目标的情况下，上述步骤S130利用与跟踪目标匹配的检测框的位置信息更新跟踪目标的位置信息进一步包括：

S604：若匹配脸部存在关联的已跟踪头肩，则将匹配脸部的位置信息及其关联的已跟踪头肩的位置信息，作为与匹配脸部关联的跟踪目标的脸部位置信息和头肩位置信息。

其中，在当前实施例中，匹配脸部包括当前检测脸部和新的已跟踪脸部。经过步骤S603遍历已跟踪脸部和已跟踪头肩之后，查找到与当前匹配脸部存在关联关系的已跟踪头肩，则会对应将当前该匹配脸部在当前帧图像中的位置信息及其关联的已跟踪头肩在当前帧图像中的位置信息输出，分别作为与匹配脸部关联的跟踪目标的脸部位置信息和头肩位置信息，以实现对应更新跟踪目标的位置信息。

进一步地，在另一实施例中，当匹配脸部不存在关联的已跟踪头肩，则步骤利用与跟踪目标匹配的检测框的位置信息更新跟踪目标的位置信息，包括：将匹配脸部的位置信息作为与匹配脸部关联的跟踪目标的脸部位置信息。其中，与匹配脸部关联的跟踪目标为匹配脸部匹配的跟踪目标。具体地，可以通过计算匹配脸部对应的脸部检测框与跟踪目标对应的脸部或在前一帧图像中的脸部检测框之间的交并比，并判断交并比是否大于对应的预设经验值，若是，则判断该匹配脸部与跟踪目标匹配，进而得到该跟踪目标与匹配脸部具备关联关系。

在一实施例中，也可以是通过先判断匹配头肩与跟踪目标是否关联，然后再基于匹配头肩与匹配脸部的关联关系进行更新跟踪目标的位置信息。对应的，若匹配头肩存在关联的已跟踪脸部时，则步骤利用与跟踪目标匹配的检测框的位置信息更新跟踪目标的位置信息，进一步包括：将匹配头肩的位置信息及其关联的已跟踪脸部的位置信息，作为与匹配头肩关联的跟踪目标的头肩位置信息和脸部位置信息。其中，匹配头肩包括当前检测头肩和新的已跟踪头肩。

进一步地，在另一实施例中，若匹配头肩不存在关联的已跟踪脸部时，则步骤利用与跟踪目标匹配的检测框的位置信息更新跟踪目标的位置信息进一步包括：则将匹配头肩的位置信息作为与匹配头肩关联的跟踪目标的头肩位置信息。其中，与匹配头肩关联的跟踪目标为匹配头肩匹配的跟踪目标。具体地，可以通过计算匹配头肩对应的头肩检测框与跟踪目标对应的头肩或在前一帧图像中的头肩检测框之间的交并比，并判断交并比是否大于对应的预设经验值，若是，则判断该匹配头肩与跟踪目标匹配，进而得到该跟踪目标与匹配头肩具备关联关系。

在又一实施例中，在存在与未匹配脸部或未匹配头肩关联的跟踪目标的情况下，本申请所提供的方法还包括：若未匹配脸部存在关联的已跟踪头肩，则将未匹配脸部的位置信息及其关联的已跟踪头肩的位置信息，作为与未匹配脸部关联的跟踪目标的脸部位置信息和头肩位置信息。其中，未匹配脸部为与当前帧图像中所有脸部检测框均不匹配的已跟踪脸部。

反之，若未匹配脸部不存在关联的已跟踪头肩，则将未匹配脸部的位置信息作为与未匹配脸部关联的跟踪目标的脸部位置信息。

在又一实施例中，若未匹配头肩存在关联的已跟踪脸部，则将未匹配头肩的位置信息及其关联的已跟踪脸部的位置信息，作为与未匹配头肩关联的跟踪目标的头肩位置信息和脸部位置信息。其中，未匹配头肩为与当前帧图像中所有头肩检测框均不匹配的已跟踪头肩。

反之，若未匹配头肩不存在关联的已跟踪脸部，则将未匹配头肩的位置信息作为与未匹配头肩关联的跟踪目标的头肩位置信息。

请参见图7，图7为本申请一种目标跟踪的方法再一实施例中的流程示意图。

在当前实施例中，检测框包括脸部检测框和头肩检测框时，且直接将脸部检测框和头肩检测框与跟踪目标进行匹配，故上述步骤在已存在的跟踪目标中，查找出与检测框匹配的跟踪目标，进一步包括：

S701：遍历当前帧图像中脸部检测框和头肩检测框，分别计算当前帧图像中脸部检测框与各个跟踪目标的脸部所对应的第三交并比、及当前帧图像中头肩检测框与各个跟踪目标的头肩所对应的第四交并比。其中，第三交并比和第四交并比均是基于公式

计算求得，具体可以参见上文对应部分的阐述，在此不做限定。

S702：分别判断第三交并比是否大于或等于第四预设阈值，和/或第四交并比是否大于或等于第五预设阈值。其中，第四预设阈值和第五预设阈值为预设经验值，在此不做限定。

S703：若第三交并比大于或等于第四预设阈值，则判断当前帧图像中的脸部检测框与跟踪目标的脸部匹配，和/或若第四交并比大于或等于第五预设阈值，则判断当前帧图像中的头肩检测框与跟踪目标的头肩匹配。

在当前实施例中，在检测得到脸部检测框和头肩检测框之后，直接利用脸部检测框和头肩检测框确定各自匹配的跟踪目标。其中，在当前实施例中是依据脸部检测框与跟踪目标的脸部之间的第三交并比，判断脸部检测框与跟踪目标的脸部是否匹配，以及头肩检测框与跟踪目标的头肩之间的第四交并比，判断头肩检测框与跟踪目标的头肩是否匹配。

在当前实施例中，上述步骤利用与跟踪目标匹配的检测框的位置信息更新跟踪目标的位置信息进一步包括：

S704：利用脸部检测框的信息对应更新跟踪目标的脸部的信息，和/或利用头肩检测框的信息对应更新跟踪目标的头肩的信息。

其中，脸部检测框/头肩检测框的信息至少包括脸部检测框/头肩检测框的位置信息和属性信息，脸部/头肩的信息至少包括的信息和属性信息，其中，脸部检测框/头肩检测框的属性信息包括脸部检测框/头肩检测框的ID、标签及对应的目标的类别、身份信息中的一种，脸部/头肩的属性信息至少包括对应的目标ID、检测框ID、对应的目标的类别及目标的身份信息中的一种。

更进一步地，在一实施例中，当判断得到有跟踪目标中存在与当前帧图像中的脸部检测框和头肩检测框均不匹配的未匹配目标时，本申请所提供的方法还包括：采用主动跟踪算法预测得到未匹配目标在当前帧图像中的位置信息。具体地，是选取在未匹配目标在当前帧之前的预设数量帧图像中的运动轨迹，进而根据未匹配目标的运动轨迹利用主动跟踪算法预测得到跟踪目标在当前帧图像中的位置。

更进一步地，在另一实施例中，当判断得到跟踪目标中存在与当前帧图像中的所有脸部检测框均不匹配的第一未匹配目标，则本申请所提供的方法还包括：采用主动跟踪算法预测第一未匹配跟踪目标的脸部位置信息。

更进一步地，在又一实施例中，若跟踪目标中存在与当前帧图像中的所有头肩检测框均不匹配的第二未匹配目标，则本申请所提供的方法还包括：采用主动跟踪算法预测第二未匹配目标的头肩位置信息。

在采用主动跟踪算法预测未匹配目标/第一未匹配目标/第二未匹配目标的位置信息后，本申请所提供的方法还包括：统计采用主动跟踪算法预测未匹配目标/第一未匹配目标/第二未匹配目标的位置信息的帧数，并判断帧数是否大于第三预设阈值，若是，则删除对于未匹配目标/第一未匹配目标/第二未匹配目标的跟踪。

再进一步地，在一实施例中，当判断得到当前帧图像中的脸部检测框与每一个跟踪目标的脸部均不匹配，则本申请所提供的方法还包括：构建对应该脸部检测框的第一新跟踪目标，并将脸部检测框在当前帧图像中的位置信息保存为第一新跟踪目标的位置信息。

再进一步地，在一实施例中，当判断得到当前帧图像中的头肩检测框与每一个跟踪目标的头肩均不匹配，则本申请所提供的方法还包括：构建对应该脸部检测框的第二新跟踪目标，并将头肩检测框在当前帧图像中的位置信息保存为第二新跟踪目标的位置信息。

在分别构建第一新跟踪目标和第二新跟踪目标之后，本申请所提供的方法进一步包括：判断构建所得的第一新跟踪目标和第二新跟踪目标是否为同一个新跟踪目标，若是，则会将第一新跟踪目标和第二新跟踪目标合并为同一个新跟踪目标进行跟踪，并分别与对应的脸部检测框和头肩检测框建立关联关系。

更进一步地，在另一实施例中，当判断得到当前帧图像中存在与每一个跟踪目标的脸部均不匹配的未匹配脸部检测框，且也判断当前帧图像中存在与每一个跟踪目标的头肩均不匹配的未匹配头肩检测框时，首先判断未匹配脸部检测框与未匹配头肩检测框是否具备关联关系，若是，则会构建对应该未匹配脸部检测框和未匹配头肩检测框的信跟踪目标。

本申请图1至图7及其所对应任意一个实施例中应用于对人急性跟踪时，通过使用本申请中的脸部检测框和头肩检测框双增强策略，使得在无法稳定地检测到人体的脸部时，利用人体的头肩检测框也能输出稳定人体目标的跟踪结果，进而解决了现有技术中在人体目标运动过程中因为转身、低头、扭头致使脸部无法被检测到所导致的准确度及稳定性下降的问题，进而使得目标跟踪算法的鲁棒性大大增强。当本申请所提供的方法运用到人脸识别的产品上，可以使得人脸识别的性能大大增强，显著降低了人脸识别产品的多抓率，使得人脸运动轨迹的生命周期能够被准确的确定，气道了良好的技术效果。

请参见图8，图8为本申请一种目标跟踪的装置一实施例中的结构示意图。在当前实施例中，本申请所提供的目标跟踪的装置800包括耦接的处理器801和存储器802。其中，目标跟踪的装置800可以执行图1至图7及其对应的任意一个实施例中所述的目标跟踪的方法。

其中，存储器802包括本地储存(图未示)，且存储有计算机程序，计算机程序被执行时可以实现图1至图7及其所对应的任意一个实施例中所述的方法。

处理器801与存储器802耦接，处理器801用于运行计算机程序，以执行如上图1至图7及其对应的任意一个实施例中所述的目标跟踪的方法。

进一步地，在另一实施例中，本申请所提供的目标跟踪的装置800还会包括通信电路(图未示)，通信电路与处理器801连接，用于在处理器801的控制下与外部的终端设备进行数据交互，以将目标跟踪的结果输出至外部终端设备。

参见图9，图9为本申请一种计算机存储介质一实施例中结构示意图。该存储介质900存储有能够被处理器运行的计算机程序901，该计算机程序901用于实现如上图1至图7及其对应的任意一个实施例中所描述的目标跟踪的方法。具体地，上述存储介质900可以是存储器、个人计算机、服务器、网络设备，或者U盘等其中的一种，具体在此不做任何限定。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种目标跟踪的方法，其特征在于，包括：

获取当前帧图像中的检测框，所述检测框包括脸部检测框和头肩检测框；

分别确定与所述脸部检测框匹配的人脸跟踪目标、及与所述头肩检测框匹配的头肩跟踪目标；

对所述人脸跟踪目标和所述头肩跟踪目标进行匹配，得到跟踪目标；

判断所述跟踪目标是否包括所述人脸跟踪目标，若否，则利用所述跟踪目标所包括的所述头肩跟踪目标所对应的所述头肩检测框的位置信息更新所述跟踪目标的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述确定分别与所述脸部检测框匹配的人脸跟踪目标、及与所述头肩检测框匹配的头肩跟踪目标，进一步包括：

从若干已跟踪脸部中，查找与所述脸部检测框匹配的已跟踪脸部以作为当前检测脸部；以及，从若干已跟踪头肩中，查找与所述头肩检测框匹配的已跟踪头肩以作为当前检测头肩；和/或，若查找不到所述当前检测脸部，则基于所述脸部检测框构建新的已跟踪脸部；若查找不到所述当前检测头肩，则基于所述头肩检测框构建新的已跟踪头肩；

将所述当前检测脸部和所述新的已跟踪脸部输出为所述当前帧图像对应的所述人脸跟踪目标，将所述当前检测头肩和所述新的已跟踪头肩输出为所述当前帧图像对应的所述头肩跟踪目标。

3.根据权利要求2所述的方法，其特征在于，所述从若干已跟踪脸部中，查找与所述脸部检测框匹配的已跟踪脸部以作为当前检测脸部，包括：

分别计算所述脸部检测框与每个已跟踪脸部的第一交并比；

判断所述第一交并比是否大于或等于第一预设阈值；

若是，则确定所述第一交并比对应的已跟踪脸部与所述脸部检测框匹配并作为当前检测脸部；

所述从若干已跟踪头肩中，查找与所述头肩检测框匹配的已跟踪头肩以作为当前检测头肩，包括：

分别计算所述头肩检测框与每个已跟踪头肩的第二交并比；

判断所述第二交并比是否大于或等于第二预设阈值；

若是，则确定所述第二交并比对应的已跟踪头肩与所述头肩检测框匹配并作为当前检测头肩。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若查找到所述当前检测脸部，则利用所述脸部检测框的位置信息更新与其匹配所述已跟踪脸部的位置信息；

若查找不到所述当前检测脸部，则将所述脸部检测框的位置信息作为所述新的已跟踪脸部的位置信息；

和/或，所述方法还包括：

若查找到所述当前检测头肩，则利用所述头肩检测框的位置信息更新与其匹配所述已跟踪头肩的位置信息；

若查找不到所述当前检测头肩，则将所述头肩检测框的位置信息作为所述新的已跟踪头肩的位置信息。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若存在与当前帧图像中的所有脸部检测框均不匹配的已跟踪脸部，则将与当前帧图像中的所有脸部检测框均不匹配的已跟踪脸部确定为未匹配脸部，并采用主动跟踪算法预测得到所述未匹配脸部的位置信息；

若存在与当前帧图像中的所有头肩检测框均不匹配的已跟踪头肩，则将与当前帧图像中的所有头肩检测框均不匹配的已跟踪头肩确定为未匹配头肩，并采用主动跟踪算法预测得到所述未匹配头肩的位置信息。

6.根据权利要求5所述的方法，其特征在于，所述采用主动跟踪算法预测得到所述未匹配脸部/未匹配头肩的位置信息，包括：

根据未匹配内容在当前帧图像之前的预设数量帧图像中的运动轨迹，预测所述未匹配内容在所述当前帧图像中的位置信息，所述未匹配内容为未匹配脸部、未匹配头肩中任意一个。

7.根据权利要求6所述的方法，其特征在于，所述根据未匹配内容在当前帧图像之前的预设数量帧图像中的运动轨迹，预测所述未匹配内容在所述当前帧图像中的位置信息，进一步包括：

选取在所述当前帧之前的预设数量帧图像，并获取所述未匹配内容在所述预设数量帧图像的每相邻图像中的中心点坐标的位移变量；

获得所述预设数量帧图像对应的所述中心点坐标的位移变量的均值；

计算所述未匹配内容在前一帧图像中的预设点坐标与所述均值之间的和，作为所述未匹配内容在所述当前帧的位置信息；

和/或，在所述根据未匹配内容在当前帧图像之前的预设数量帧图像中的运动轨迹，预测所述未匹配内容在所述当前帧图像中的位置信息之后，所述方法还包括：

统计采用所述主动跟踪算法预测同一所述未匹配内容的位置信息的帧数；

若统计的所述帧数超过第三预设阈值，则删除所述未匹配内容。

8.根据权利要求1所述的方法，其特征在于，在所述判断所述跟踪目标是否包括所述人脸跟踪目标之后，所述方法还包括：

若判断得到所述跟踪目标包括所述人脸跟踪目标，则利用所述人脸跟踪目标所对应的脸部检测框的位置信息更新所述跟踪目标的位置信息。

9.一种目标跟踪的装置，其特征在于，所述装置包括耦接的存储器和处理器，其中，

所述存储器包括本地储存，且存储有计算机程序；

所述处理器用于运行所述计算机程序，以执行权利要求1至8任一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现权利要求1至8任一项所述的方法。

Images