CN110009662A - 人脸跟踪的方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种人脸跟踪的方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域。该方法包括：通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息，然后基于检测框信息，确定至少一个人脸对应的属性信息，然后基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。本申请实施例实现了降低在对多个人脸进行追踪时，发生多个人脸的跟踪轨迹交替的概率，提升对人脸进行跟踪的准确度，进而可以提升用户体验。

Description

人脸跟踪的方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，本申请涉及一种人脸跟踪的方法、装置、电子设备及计算机可读存储介质。

背景技术

随着信息技术的发展，目标对象的追踪技术也随之发展，目标对象的追踪技术即在视频流的各帧图像中对目标对象进行轨迹追踪。

在很多智能摄像头或者人脸抓拍机上，通过在每帧图像中追踪针对目标对象的检测框，以实现对目标对象进行追踪，例如基于每帧图像上针对人脸的检测框追踪，以实现人脸追踪得到追踪轨迹，但是现有的人脸追踪技术仅适用于比较简单的场景下，例如，每帧图像中仅有一个目标人脸或者一个待追踪人脸的场景下，若针对某些复杂的场景，例如，如图1a所示场景下，两个人脸在视频中真实的轨迹交错时，基于现有的人脸追踪技术，得到的追踪轨迹中可能出现人脸的追踪轨迹交替的错误轨迹，如图1b所示，从而导致追踪人脸的准确度较低，进而导致用户体验较差。

因此，如何更准确地针对人脸进行追踪成为一个关键问题。

发明内容

本申请提供了一种人脸跟踪的方法、装置、电子设备及计算机可读存储介质，用于解决跟踪目标对象的准确度较低以及用户体验较差的技术问题。

第一方面，提供了一种人脸跟踪的方法，该方法包括：

通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息；

基于检测框信息，确定至少一个人脸对应的属性信息；

基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。

在一种可能的实现方式中，基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪，包括：

根据至少一个人脸的检测框信息以及至少一个人脸的属性信息，与已有的跟踪轨迹信息进行匹配；

基于匹配结果，更新已有的跟踪轨迹信息，以实现对至少一个人脸进行跟踪处理。

在一种可能的实现方式中，根据至少一个人脸的检测框信息以及至少一个人脸的属性信息，与已有的跟踪轨迹信息进行匹配；基于匹配结果，更新已有的跟踪轨迹信息，包括：

根据已有的跟踪轨迹信息以及至少一个人脸的检测框信息和属性信息，计算相似度矩阵；

根据相似度矩阵，更新已有的跟踪轨迹信息。

在一种可能的实现方式中，根据相似度矩阵，更新已有的跟踪轨迹信息，包括：

确定相似度矩阵中不大于预设阈值的元素；

基于相似度矩阵中不大于预设阈值的元素，并通过二分图最佳匹配算法，确定匹配边的集合，匹配边的集合中任一匹配边表征任一组匹配的跟踪轨迹信息以及人脸的检测框信息和属性信息；

根据匹配边的集合，更新已有的跟踪轨迹信息。

在一种可能的实现方式中，更新已有的跟踪轨迹信息，包括以下至少一项：

若视频流中的任一帧帧图像对应的人脸信息中不包含已有的跟踪轨迹信息，则在已有的跟踪轨迹信息中删除任一帧帧图像对应的人脸信息中不包含的跟踪轨迹信息；

若已有的跟踪轨迹信息中不包含视频流中的任一帧帧图像对应的人脸信息，则在已有跟踪轨迹信息中添加任一帧帧图像对应的人脸信息；

人脸信息包括：人脸的检测框信息以及人脸对应的属性信息。

在一种可能的实现方式中，任一人脸对应的属性信息包括以下至少一项：

年龄信息；性别信息。

在一种可能的实现方式中，根据已有的跟踪轨迹信息以及至少一个人脸的检测框信息和属性信息，计算相似度矩阵，包括：

根据特定公式，计算相似度矩阵中的任一元素；

根据计算出的相似度矩阵中的各个元素，确定相似度矩阵；

特定公式为：

A_ij＝(T_i1-f_j1)²×a+(T_i2-f_j2)²×b+(T_i3-f_j3)²×c+(T_i4-f_j4)×d，其中，T_i1为已有的跟踪轨迹中任一跟踪轨迹中人脸对应的年龄信息，f_j1为人脸检测框对应的年龄信息；T_i2为已有的跟踪轨迹中任一跟踪轨迹中人脸对应的性别为男性或者女性的概率信息、f_j2为人脸检测框对应的性别为男性或者女性的概率信息；T_i3-f_j3表示已有的跟踪轨迹中任一跟踪轨迹与人脸检测框之间的中心点位置的欧式距离；T_i4-f_j4为已有的跟踪轨迹中任一跟踪轨迹与人脸框之间的特征距离。

在一种可能的实现方式中，基于检测框信息，确定至少一个人脸对应的属性信息，包括：

基于检测框信息并通过训练后的网络模型，输出至少一个人脸对应的属性特征向量。

第二方面，提供了一种人脸跟踪的装置，该装置包括：

处理模块，用于通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息；

确定模块，用于基于检测框信息，确定至少一个人脸对应的属性信息；

跟踪模块，用于基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。

在一种可能的实现方式中，跟踪模块包括：匹配单元以及更新单元，其中，

匹配单元，用于根据至少一个人脸的检测框信息以及至少一个人脸的属性信息，与已有的跟踪轨迹信息进行匹配；

更新单元，用于基于匹配单元的匹配结果，更新已有的跟踪轨迹信息，以实现对至少一个人脸进行跟踪处理。

在一种可能的实现方式中，匹配单元，具体用于根据已有的跟踪轨迹信息以及至少一个人脸的检测框信息和属性信息，计算相似度矩阵；

更新单元，具体用于根据相似度矩阵，更新已有的跟踪轨迹信息。

在一种可能的实现方式中，更新单元，具体用于确定相似度矩阵中不大于预设阈值的元素；

更新单元，具体还用于基于相似度矩阵中不大于预设阈值的元素，并通过二分图最佳匹配算法，确定匹配边的集合，匹配边的集合中任一匹配边表征任一组匹配的跟踪轨迹信息以及人脸的检测框信息和属性信息；

更新单元，具体还用于根据匹配边的集合，更新已有的跟踪轨迹信息。

在一种可能的实现方式中，更新单元，具体用于当视频流中的任一帧帧图像对应的人脸信息中不包含已有的跟踪轨迹信息时，在已有的跟踪轨迹信息中删除任一帧帧图像对应的人脸信息中不包含的跟踪轨迹信息；和/或，

更新单元，具体用于当已有的跟踪轨迹信息中不包含视频流中的任一帧帧图像对应的人脸信息时，在已有跟踪轨迹信息中添加任一帧帧图像对应的人脸信息；

人脸信息包括：人脸的检测框信息以及人脸对应的属性信息。

在一种可能的实现方式中，任一人脸对应的属性信息包括以下至少一项：

年龄信息；性别信息。

在一种可能的实现方式中，匹配单元，具体用于本根据特定公式，计算相似度矩阵中的任一元素；

匹配单元，具体还用于根据计算出的相似度矩阵中的各个元素，确定相似度矩阵；

特定公式为：

A_ij＝(T_i1-f_j1)²×a+(T_i2-f_j2)²×b+(T_i3-f_j3)²×c+(T_i4-f_j4)×d，其中，T_i1为已有的跟踪轨迹中任一跟踪轨迹中人脸对应的年龄信息，f_j1为人脸检测框对应的年龄信息；T_i2为已有的跟踪轨迹中任一跟踪轨迹中人脸对应的性别为男性或者女性的概率信息、f_j2为人脸检测框对应的性别为男性或者女性的概率信息；T_i3-f_j3表示已有的跟踪轨迹中任一跟踪轨迹与人脸检测框之间的中心点位置的欧式距离；T_i4-f_j4为已有的跟踪轨迹中任一跟踪轨迹与人脸框之间的特征距离。

在一种可能的实现方式中，确定模块，具体用于基于检测框信息并通过训练后的网络模型，输出至少一个人脸对应的属性特征向量。

第三方面，提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行本申请第一方面或者第一方面的任一可能的实现方式所示的人脸跟踪的方法对应的操作。

第四方面，提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面或者第一方面任一种可能的实现方式所示的人脸跟踪的方法。

本申请提供的技术方案带来的有益效果是：

本申请提供了一种人脸跟踪的方法、装置、电子设备及计算机可读存储介质，与现有技术相比，本申请通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息，然后基于检测框信息，确定至少一个人脸对应的属性信息，然后基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。即本申请在对至少一个人脸进行跟踪时不但需要根据帧图像中的检测框信息还需要依据各个检测框中人脸的属性信息，从而可以降低在对多个人脸进行追踪时，发生多个人脸的跟踪轨迹交替的概率，提升对人脸进行跟踪的准确度，进而可以提升用户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1a为两个目标对象在视频中真实的轨迹交错示意图；

图1b为两个目标对象的追踪轨迹出现错误交替的示意图；

图1c为本申请实施例提供的一种人脸跟踪的方法流程示意图；

图2为本申请实施例提供的一种人脸跟踪的装置结构示意图；

图3为本申请实施例提供的一种人脸跟踪的电子设备的结构示意图；

图4为本申请实施例中检测框的表现形式示例图；

图5为某一应用场景下人脸跟踪的流程示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

本申请实施例提供了一种人脸跟踪的方法，如图1c所示，该方法包括：

步骤S101、通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息。

对于本申请实施例，检测框可以为用于在图像中指示目标对象的区域的标识信息，通过任意形状来标识，例如，矩形、正方形等。例如，如图4所示，图像中的正方形框即为检测框，用于在该图像中指示大猩猩的脸部区域。

对于本申请实施例，步骤S101具体可以包括：将视频流中的至少一帧帧图像通过预设模型(检测网络)，得到至少一个人脸的检测框信息。

对于本申请实施例，检测网络可以采用以下任一项网络结构：

单网络目标检测框架(single shot multibox detector，SSD)网络；SSD以及残差神经网络(Residual Neural Network，ResNet)18；SSD以及ResNet50；SSD以及ResNet100；SSD以及ShuffleNetV2；区域卷积神经网络(Region Convolutional Neural Network，RCNN)；RCNN以及ResNet18；RCNN以及ResNet50；RCNN以及ResNet100；RCNN以及ShuffleNetV2；FasterRCNN；FasterRCNN以及ResNet18；FasterRCNN以及ResNet50；FasterRCNN以及ResNet100；FasterRCNN以及ShuffleNetV2；YOLO-v1；YOLO-v1以及ResNet18；YOLO-v1以及ResNet50；YOLO-v1以及ResNet100；YOLO-v1以及ShuffleNetV2；YOLO-v2；YOLO-v2以及ResNet18；YOLO-v2以及ResNet50；YOLO-v2以及ResNet100；YOLO-v2以及ShuffleNetV2；YOLO-v3；YOLO-v3以及ResNet18；YOLO-v3以及ResNet50；YOLO-v3以及ResNet100；YOLO-v3以及ShuffleNetV2。

本申请实施例的另一种可能的实现方式，检测框信息包括：检测框在该帧图像中的位置信息以及检测框的大小中的至少一项。

步骤S102、基于检测框信息，确定至少一个人脸对应的属性信息。

本申请实施例的另一种可能的实现方式，步骤S102具体可以包括：基于检测框信息并通过训练后的网络模型，输出至少一个人脸对应的属性特征向量。

对于本申请实施例，基于检测框信息，在任一帧帧图像中识别人脸；并将识别出的人脸图像信息通过训练后的网络模型确定至少一个人脸对应的属性特征向量。

对于本申请实施例，任一人脸对应的属性信息为通过预设模型(即上述训练后的网络模型)预测的数值。在本申请实施例中，若属性为离散值(例如，性别)，则通过预设模型预测的信息为该属性属于某一类型的概率；若属性为连续值(例如，年龄)，则通过预设模型得到该属性的具体数值。

例如，针对年龄属性来说，通过预设模型得到年龄属性为年龄数值(单位：岁)，例如，5岁；针对性别属性，通过预设模型得到为男性的概率为0.8，得到为女性的概率为0.2。

由于任一人脸对应的属性信息可以为多个，任一人脸对应的属性信息包括：任一人脸对应的属性特征向量。

对于本申请实施例，通过预设模型并基于检测框信息确定任一帧图像中至少一个人脸对应的属性信息，可以提高确定出的至少一个人脸对应的属性信息的准确度，并且还可以提升确定至少一个人脸对应的属性信息的效率，进而可以提升人脸跟踪的准确度以及效率。

步骤S103、基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。

本申请实施例提供了一种人脸跟踪的方法，与现有技术相比，本申请通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息，然后基于检测框信息，确定至少一个人脸对应的属性信息，然后基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。即本申请实施例在对至少一个人脸进行跟踪时不但需要根据帧图像中的检测框信息还需要依据各个检测框中人脸的属性信息，从而可以降低在对多个人脸进行追踪时，发生多个人脸的跟踪轨迹交替的概率，提升对人脸进行跟踪的准确度，进而可以提升用户体验。

本申请实施例的另一种可能的实现方式，步骤S103具体可以包括：步骤S1031(图中未示出)以及步骤S1032(图中未示出)，其中，

步骤S1031、根据至少一个人脸的检测框信息以及至少一个人脸的属性信息，与已有的跟踪轨迹信息进行匹配。

步骤S1032、基于匹配结果，更新已有的跟踪轨迹信息，以实现对至少一个人脸进行跟踪处理。

本申请实施例的另一种可能的实现方式，任一人脸对应的属性信息包括以下至少一项：

年龄信息；性别信息；皮肤颜色信息；头发颜色信息；虹膜颜色信息；装饰物信息。

本申请实施例的另一种可能的实现方式，步骤S1031具体可以包括：根据已有的跟踪轨迹信息以及至少一个人脸的检测框信息和属性信息，计算相似度矩阵；步骤S1032具体可以包括：根据相似度矩阵，更新已有的跟踪轨迹信息。

本申请实施例的另一种可能的实现方式，根据已有的跟踪轨迹信息以及至少一个人脸的检测框信息和属性信息，计算相似度矩阵，包括：根据特定公式，计算相似度矩阵中的任一元素；根据计算出的相似度矩阵中的各个元素，确定相似度矩阵；

其中，特定公式为：

A_ij＝(T_i1-f_j1)²×a+(T_i2-f_j2)²×b+(T_i3-f_j2)²×c+(T_i4-f_j4)×d，其中，T_i1为已有的跟踪轨迹中任一跟踪轨迹中人脸对应的年龄信息，f_j1为人脸检测框对应的年龄信息；T_i2为已有的跟踪轨迹中任一跟踪轨迹中人脸对应的性别为男性或者女性的概率信息、f_j2为人脸检测框对应的性别为男性或者女性的概率信息；T_i3-f_j3表示已有的跟踪轨迹中任一跟踪轨迹与人脸检测框之间的中心点位置的欧式距离；T_i4-f_j4为已有的跟踪轨迹中任一跟踪轨迹与人脸框之间的特征距离。

例如，假设原有的轨迹(原有各个人脸分别对应的轨迹信息)有n个，分别称作T_1，T_2，...，T_n，而新的一帧里的人脸有m个，分别称作f_1，f_2，...，f_m。

其中，计算出的相似度矩阵A的第i行第j列为轨迹T_i和人脸f_j的年龄属性的差的平方乘以系数a，并加上轨迹T_i和人脸f_j的性别属性里预测该人为女性的概率的差的平方乘以系数b，并加上轨迹T_i和人脸f_j的人脸的中心点位置的欧式距离的平方乘以系数c，并加上轨迹T_i和人脸f_j的特征距离乘以系数d。

其中，以上的a、b、c以及d为事先选定的常数，“人脸的特征的距离”具体用什么算法往往由具体的人脸识别算法决定。通常会把每个人脸的特征表示成一个高维向量，特征的距离表示为两个这样的向量的欧式距离的平方，或者这样两个向量在向量空间里的夹角的余弦值。

本申请实施例的另一种可能的实现方式，根据相似度矩阵，更新已有的跟踪轨迹信息，包括：确定相似度矩阵中不大于预设阈值的元素；基于相似度矩阵中不大于预设阈值的元素，并通过二分图最佳匹配算法，确定匹配边的集合，匹配边的集合中任一匹配边表征任一组匹配的跟踪轨迹信息以及人脸的检测框信息和属性信息；根据匹配边的集合，更新已有的跟踪轨迹信息。

具体地，使用一个预先选定的阈值t，对于相似度矩阵里大于t的所有元素A_ij，则认为轨迹T_i和人脸f_j一定不能匹配；对于所有可能匹配的轨迹和人脸的二元组(这里可能匹配的定义和前一段话相同，如果A_ij<＝t，就可能匹配)，使用一个二分图最佳匹配算法得到一种最优的匹配方案。

其中，二分图匹配算法的输出是一个匹配边的集合，每个匹配边表示一组匹配的轨迹和人脸，并且保证任何人脸只匹配到至多一个轨迹，且任何轨迹只匹配到至多一个人脸。

对于本申请实施例，二分图又称作二部图，是图论中的一种特殊模型；设G＝(V，E)是一个无向图，如果顶点V可分割为两个互不相交的子集(A，B)，并且图中的每条边(i，j)所关联的两个顶点i和j分别属于这两个不同的顶点集(i in A，j in B)，则称图G为一个二分图。

本申请实施例的另一种可能的实现方式，更新已有的跟踪轨迹信息，包括步骤Sa(图中未示出)以及步骤Sb(图中未示出)中的至少一项，其中，

步骤Sa、若视频流中的任一帧帧图像对应的人脸信息中不包含已有的跟踪轨迹信息，则在已有的跟踪轨迹信息中删除任一帧帧图像对应的人脸信息中不包含的跟踪轨迹信息。

步骤Sb、若已有的跟踪轨迹信息中不包含视频流中的任一帧帧图像对应的人脸信息，则在已有跟踪轨迹信息中添加任一帧帧图像对应的人脸信息。

其中，人脸信息包括：人脸的检测框信息以及人脸对应的属性信息。

对于本申请实施例，对于没有匹配到人脸的轨迹，认为这些轨迹对应的人脸已经离开画面，则在原有的跟踪轨迹信息中删除这些轨迹；对于没有匹配到轨迹的人脸，认为这些人脸是这一帧新出现的人脸，则在已有的跟踪轨迹中添加对应的人脸信息。

上述详细介绍了目标跟踪的方法，下述通过一个应用场景并以总结性的方式介绍该目标跟踪的方法，具体如5所示：

视频流中任一帧帧图像经过预处理之后，将预处理后的帧图像通过检测网络，输出该帧图像中的人脸检测框信息，并基于人脸检测框信息通过人脸属性网络，得到各个人脸分别对应的属性信息，将该帧图像中人脸框信息以及各各个人脸分别对应的属性信息，并通过人脸跟踪模块，得到人脸跟踪信息。

上述实施例从方法流程的角度介绍人脸跟踪的方法流程，下述结合附图从虚拟模块的角度介绍人脸跟踪的装置，具体如下所示：

本申请实施例提供了一种人脸跟踪的装置，如图2所示，该人脸跟踪的装置20可以包括处理模块21、确定模块22以及跟踪模块23，其中，

处理模块21，用于通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息。

确定模块22，用于基于检测框信息，确定至少一个人脸对应的属性信息。

跟踪模块23，用于基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。

本申请实施例的另一种可能的实现方式，跟踪模块23包括：匹配单元以及更新单元，其中，

匹配单元，用于根据至少一个人脸的检测框信息以及至少一个人脸的属性信息，与已有的跟踪轨迹信息进行匹配。

更新单元，用于基于匹配单元的匹配结果，更新已有的跟踪轨迹信息，以实现对至少一个人脸进行跟踪处理。

本申请实施例的另一种可能的实现方式，匹配单元，具体用于根据已有的跟踪轨迹信息以及至少一个人脸的检测框信息和属性信息，计算相似度矩阵。

更新单元，具体用于根据相似度矩阵，更新已有的跟踪轨迹信息。

本申请实施例的另一种可能的实现方式，更新单元，具体用于确定相似度矩阵中不大于预设阈值的元素。

更新单元，具体还用于基于相似度矩阵中不大于预设阈值的元素，并通过二分图最佳匹配算法，确定匹配边的集合，匹配边的集合中任一匹配边表征任一组匹配的跟踪轨迹信息以及人脸的检测框信息和属性信息。

更新单元，具体还用于根据匹配边的集合，更新已有的跟踪轨迹信息。

本申请实施例的另一种可能的实现方式，更新单元，具体用于当视频流中的任一帧帧图像对应的人脸信息中不包含已有的跟踪轨迹信息时，在已有的跟踪轨迹信息中删除任一帧帧图像对应的人脸信息中不包含的跟踪轨迹信息；和/或，更新单元，具体用于当已有的跟踪轨迹信息中不包含视频流中的任一帧帧图像对应的人脸信息时，在已有跟踪轨迹信息中添加任一帧帧图像对应的人脸信息。

其中，人脸信息包括：人脸的检测框信息以及人脸对应的属性信息。

本申请实施例的另一种可能的实现方式，任一人脸对应的属性信息包括：年龄信息以及性别信息中的至少一项。

本申请实施例的另一种可能的实现方式，匹配单元，具体用于本根据特定公式，计算相似度矩阵中的任一元素。

匹配单元，具体还用于根据计算出的相似度矩阵中的各个元素，确定相似度矩阵。

其中，特定公式为：

A_ij＝(T_i1-f_j1)²×a+(T_i2-f_j2)²×b+(T_i3-f_j3)²×c+(T_i4-f_j4)×d，其中，T_i1为已有的跟踪轨迹中任一跟踪轨迹中人脸对应的年龄信息，f_j1为人脸检测框对应的年龄信息；T_i2为已有的跟踪轨迹中任一跟踪轨迹中人脸对应的性别为男性或者女性的概率信息、f_j2为人脸检测框对应的性别为男性或者女性的概率信息；T_i3-f_j3表示已有的跟踪轨迹中任一跟踪轨迹与人脸检测框之间的中心点位置的欧式距离；T_i4-f_j4为已有的跟踪轨迹中任一跟踪轨迹与人脸框之间的特征距离。

本申请实施例的另一种可能的实现方式，确定模块22，具体用于基于检测框信息并通过训练后的网络模型，输出至少一个人脸对应的属性特征向量。

本申请实施例提供了一种人脸跟踪的装置，与现有技术相比，本申请实施例通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息，然后基于检测框信息，确定至少一个人脸对应的属性信息，然后基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。即本申请实施例在对至少一个人脸进行跟踪时不但需要根据帧图像中的检测框信息还需要依据各个检测框中人脸的属性信息，从而可以降低在对多个人脸进行追踪时，发生多个人脸的跟踪轨迹交替的概率，提升对人脸进行跟踪的准确度，进而可以提升用户体验。

本实施例的人脸跟踪的装置可执行上述方法实施例提供的一种人脸跟踪的方法，其实现原理相类似，此处不再赘述。

上述实施例从方法流程的角度介绍了人脸跟踪的方法，以及从虚拟模块的角度介绍了人脸跟踪的装置，下述结合附图从实体装置的角度介绍了一种电子设备，以执行人脸跟踪的方法，具体如下所示：

本申请实施例提供了一种电子设备，如图3所示，图3所示的电子设备3000包括：处理器3001和存储器3003。其中，处理器3001和存储器3003相连，如通过总线3002相连。可选地，电子设备3000还可以包括收发器3004。需要说明的是，实际应用中收发器3004不限于一个，该电子设备3000的结构并不构成对本申请实施例的限定。

处理器3001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器3001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线3002可包括一通路，在上述组件之间传送信息。总线3002可以是PCI总线或EISA总线等。总线3002可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器3003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器3003用于存储执行本申请方案的应用程序代码，并由处理器3001来控制执行。处理器3001用于执行存储器3003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。

本申请实施例提供了一种电子设备，本申请实施例中的电子设备包括：存储器和处理器；至少一个程序，存储于所述存储器中，用于被所述处理器执行时，与现有技术相比可实现：本申请实施例通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息，然后基于检测框信息，确定至少一个人脸对应的属性信息，然后基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。即本申请实施例在对至少一个人脸进行跟踪时不但需要根据帧图像中的检测框信息还需要依据各个检测框中人脸的属性信息，从而可以降低在对多个人脸进行追踪时，发生多个人脸的跟踪轨迹交替的概率，提升对人脸进行跟踪的准确度，进而可以提升用户体验。

本实施例的电子设备可执行上述方法实施例提供的一种人脸跟踪的方法，其实现原理相类似，此处不再赘述。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请实施例通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息，然后基于检测框信息，确定至少一个人脸对应的属性信息，然后基于至少一个人脸的检测框信息以及至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。即本申请实施例在对至少一个人脸进行跟踪时不但需要根据帧图像中的检测框信息还需要依据各个检测框中人脸的属性信息，从而可以降低在对多个人脸进行追踪时，发生多个人脸的跟踪轨迹交替的概率，提升对人脸进行跟踪的准确度，进而可以提升用户体验。

本实施例的计算机可读存储介质适用于上述方法实施例提供的一种人脸跟踪的方法，其实现原理相类似，此处不再赘述。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种人脸跟踪的方法，其特征在于，包括：

通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息；

基于检测框信息，确定至少一个人脸对应的属性信息；

基于所述至少一个人脸的检测框信息以及所述至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。

2.根据权利要求1所述的方法，其特征在于，基于所述至少一个人脸的检测框信息以及所述至少一个人脸对应的属性信息，对至少一个人脸进行跟踪，包括：

根据所述至少一个人脸的检测框信息以及所述至少一个人脸的属性信息，与已有的跟踪轨迹信息进行匹配；

基于匹配结果，更新所述已有的跟踪轨迹信息，以实现对所述至少一个人脸进行跟踪处理。

3.根据权利要求2所述的方法，其特征在于，根据所述至少一个人脸的检测框信息以及所述至少一个人脸的属性信息，与已有的跟踪轨迹信息进行匹配；基于匹配结果，更新所述已有的跟踪轨迹信息，包括：

根据所述已有的跟踪轨迹信息以及至少一个人脸的检测框信息和属性信息，计算相似度矩阵；

根据相似度矩阵，更新所述已有的跟踪轨迹信息。

4.根据权利要求3所述的方法，其特征在于，根据相似度矩阵，更新所述已有的跟踪轨迹信息，包括：

确定所述相似度矩阵中不大于预设阈值的元素；

基于所述相似度矩阵中不大于预设阈值的元素，并通过二分图最佳匹配算法，确定匹配边的集合，所述匹配边的集合中任一匹配边表征任一组匹配的跟踪轨迹信息以及人脸的检测框信息和属性信息；

根据所述匹配边的集合，更新所述已有的跟踪轨迹信息。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述更新所述已有的跟踪轨迹信息，包括以下至少一项：

若视频流中的任一帧帧图像对应的人脸信息中不包含所述已有的跟踪轨迹信息，则在所述已有的跟踪轨迹信息中删除所述任一帧帧图像对应的人脸信息中不包含的跟踪轨迹信息；

若所述已有的跟踪轨迹信息中不包含视频流中的任一帧帧图像对应的人脸信息，则在所述已有跟踪轨迹信息中添加所述任一帧帧图像对应的人脸信息；

所述人脸信息包括：人脸的检测框信息以及人脸对应的属性信息。

6.根据权利要求1-5任一项所述的方法，其特征在于，任一人脸对应的属性信息包括以下至少一项：

年龄信息；性别信息。

7.根据权利要求3或4所述的方法，其特征在于，根据所述已有的跟踪轨迹信息以及至少一个人脸的检测框信息和属性信息，计算相似度矩阵，包括：

根据特定公式，计算相似度矩阵中的任一元素；

根据计算出的相似度矩阵中的各个元素，确定相似度矩阵；

所述特定公式为：

A_ij＝(T_i1-f_j1)²×a+(T_i2-f_j2)²×b+(T_i3-f_j3)²×c+(T_i4-f_j4)×d，其中，T_i1为已有的跟踪轨迹中任一跟踪轨迹中人脸对应的年龄信息，f_j1为人脸检测框对应的年龄信息；T_i2为已有的跟踪轨迹中任一跟踪轨迹中人脸对应的性别为男性或者女性的概率信息、f_j2为人脸检测框对应的性别为男性或者女性的概率信息；T_i3-f_j3表示已有的跟踪轨迹中任一跟踪轨迹与人脸检测框之间的中心点位置的欧式距离；T_i4-f_j4为已有的跟踪轨迹中任一跟踪轨迹与人脸框之间的特征距离。

8.根据权利要求1-7任一项所述的方法，其特征在于，基于检测框信息，确定至少一个人脸对应的属性信息，包括：

基于所述检测框信息并通过训练后的网络模型，输出所述至少一个人脸对应的属性特征向量。

9.一种人脸跟踪的装置，其特征在于，包括：

处理模块，用于通过对视频流中的至少一帧帧图像进行处理，得到至少一个人脸的检测框信息；

确定模块，用于基于检测框信息，确定至少一个人脸对应的属性信息；

跟踪模块，用于基于所述至少一个人脸的检测框信息以及所述至少一个人脸对应的属性信息，对至少一个人脸进行跟踪。

10.一种电子设备，其特征在于，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～8任一项所述的人脸跟踪的方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的人脸跟踪的方法。