CN110276277A - 用于检测人脸图像的方法和装置 - Google Patents

Abstract

本申请实施例公开了用于检测人脸图像的方法和装置。该方法的一具体实施方式包括：获取目标图像帧序列；对于目标图像帧序列包括的每个图像帧，将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息；基于所得到的人脸位置信息，从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，其中，每个人脸图像序列包括的人脸图像用于指示同一个人脸；对于至少一个人脸图像序列中的每个人脸图像序列，确定该人脸图像序列包括的每个人脸图像的质量评分；基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。该实施方式实现了从目标图像序列中提取高质量的人脸图像，有利于提高利用提取出的人脸图像进行人脸识别等操作的准确性。

Description

用于检测人脸图像的方法和装置

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于检测人脸图像的方法和装置。

背景技术

目前视频监控网络已覆盖中国各大中小城市，人脸识别技术可以应用在安防监控领域。通常，为了建立从云端到前端软硬一体的新型智能安防体系，就必须在前端部署足够丰富的人脸抓拍设备。在监控点位改造和社会资源接入的过程中，纯粹依靠后端抓拍、分析的模式不仅给网络的数据传输能力带来挑战，而且也给后端平台的数据处理能力带来很大的压力，存在运行效率缩减、运营成本大的问题。通常，可以把人脸抓拍功能分担到前端，但是大批量的更换抓拍摄像机会造成项目建设成本的骤增。目前随着5G时代的来临，边缘计算作为云计算的补充，可以充当替代解决方案，这样，就需要一种网关设备能实现前端视频的人脸抓拍，供后端进行分析。

发明内容

本申请实施例的目的在于提出了一种改进的用于检测人脸图像的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种用于检测人脸图像的方法，该方法包括：获取目标图像帧序列；对于目标图像帧序列包括的每个图像帧，将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息；基于所得到的人脸位置信息，从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，其中，每个人脸图像序列包括的人脸图像用于指示同一个人脸；对于至少一个人脸图像序列中的每个人脸图像序列，确定该人脸图像序列包括的每个人脸图像的质量评分；基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。

在一些实施例中，基于所得到的人脸位置信息，从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，包括：对于目标图像帧序列中的每两个相邻的图像帧，确定该两个相邻的图像帧的第一图像帧中的每个人脸图像中的特征点，以及确定第一图像帧中的每个人脸图像对应的、在第二图像帧中的预测特征点；从第二图像帧中的人脸图像中，确定包括的预测特征点的数量大于等于预设数值的人脸图像作为与在第一图像帧中的对应人脸图像指示的人脸相同的人脸图像。

在一些实施例中，基于所得到的人脸位置信息，从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，包括：对于目标图像帧序列中的每两个相邻的图像帧，将该两个相邻的图像帧中的第一图像帧中的人脸图像与第二图像帧中的人脸图像中的，面积重合度大于等于预设的重合度阈值的人脸图像确定为指示相同人脸的人脸图像。

在一些实施例中，人脸检测模型还用于生成图像帧的关键点信息集合，其中，关键点信息用于表征人脸关键点在人脸图像中的位置；以及确定该人脸图像序列包括的每个人脸图像的质量评分，包括：基于该人脸图像序列包括的每个人脸图像的关键点信息集合，确定每个人脸图像的人脸姿态角信息；基于人脸姿态角信息，确定每个人脸图像的质量评分。

在一些实施例中，基于该人脸图像序列包括的每个人脸图像的关键点信息集合，确定每个人脸图像的人脸姿态角信息，包括：基于该人脸图像序列包括的每个人脸图像的关键点信息集合，生成每个人脸图像对应的关键点特征向量；将所生成的关键点特征向量乘以预先拟合的特征矩阵，得到人脸姿态角特征向量作为人脸姿态角信息。

在一些实施例中，基于人脸姿态角信息，确定每个人脸图像的质量评分，包括：基于每个人脸图像的关键点信息集合，确定每个人脸图像的清晰度；利用人脸姿态角信息和清晰度，确定每个人脸图像的质量评分。

在一些实施例中，基于每个人脸图像的关键点信息集合，确定每个人脸图像的清晰度，包括：从每个人脸图像的关键点信息集合中提取目标关键点信息；基于目标关键点信息，从每个人脸图像中确定目标区域，以及确定目标区域包括的像素点的平均像素梯度；基于平均像素梯度，确定每个人脸图像的清晰度。

在一些实施例中，人脸检测模型包括结构为深度可分离卷积的卷积层。

在一些实施例中，人脸检测模型预先利用批标准化方式训练得到。

第二方面，本申请实施例提供了一种用于检测人脸图像的装置，该装置包括：获取模块，用于获取目标图像帧序列；生成模块，用于对于目标图像帧序列包括的每个图像帧，将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息，其中，人脸位置信息用于表征人脸图像在该图像帧中的位置；确定模块，用于基于所得到的人脸位置信息，从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，其中，每个人脸图像序列包括的人脸图像用于指示同一个人脸；输出模块，用于对于至少一个人脸图像序列中的每个人脸图像序列，确定该人脸图像序列包括的每个人脸图像的质量评分；基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。

在一些实施例中，确定模块进一步配置用于：对于目标图像帧序列中的每两个相邻的图像帧，确定该两个相邻的图像帧的第一图像帧中的每个人脸图像中的特征点，以及确定第一图像帧中的每个人脸图像对应的、在第二图像帧中的预测特征点；从第二图像帧中的人脸图像中，确定包括的预测特征点的数量大于等于预设数值的人脸图像作为与在第一图像帧中的对应人脸图像指示的人脸相同的人脸图像。

在一些实施例中，确定模块进一步配置用于：对于目标图像帧序列中的每两个相邻的图像帧，将该两个相邻的图像帧中的第一图像帧中的人脸图像与第二图像帧中的人脸图像中的，面积重合度大于等于预设的重合度阈值的人脸图像确定为指示相同人脸的人脸图像。

在一些实施例中，人脸检测模型还用于生成图像帧的关键点信息集合，其中，关键点信息用于表征人脸关键点在人脸图像中的位置；以及输出模块包括：第一确定单元，用于基于该人脸图像序列包括的每个人脸图像的关键点信息集合，确定每个人脸图像的人脸姿态角信息；第二确定单元，用于基于人脸姿态角信息，确定每个人脸图像的质量评分。

在一些实施例中，第一确定单元包括：第一生成子单元，用于基于该人脸图像序列包括的每个人脸图像的关键点信息集合，生成每个人脸图像对应的关键点特征向量；第二生成子单元，用于将所生成的关键点特征向量乘以预先拟合的特征矩阵，得到人脸姿态角特征向量作为人脸姿态角信息。

在一些实施例中，第二确定单元包括：第一确定子单元，用于基于每个人脸图像的关键点信息集合，确定每个人脸图像的清晰度；第二确定子单元，用于利用人脸姿态角信息和清晰度，确定每个人脸图像的质量评分。

在一些实施例中，第一确定子单元包括：提取子模块，用于从每个人脸图像的关键点信息集合中提取目标关键点信息；第一确定子模块，用于基于目标关键点信息，从每个人脸图像中确定目标区域，以及确定目标区域包括的像素点的平均像素梯度；第二确定子模块，用于基于平均像素梯度，确定每个人脸图像的清晰度。

在一些实施例中，人脸检测模型包括结构为深度可分离卷积的卷积层。

在一些实施例中，人脸检测模型预先利用批标准化方式训练得到的。

第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

本申请实施例提供的用于检测人脸图像的方法和装置，通过从目标图像帧序列中确定至少一个人脸图像序列，其中，每个人脸图像序列用于指示同一个人脸，然后从每个人脸图像序列中确定每个人脸图像的质量评分，根据质量评分提取人脸图像及输出，从而实现了从目标图像序列中提取高质量的人脸图像，有利于提高利用提取出的人脸图像进行人脸识别等操作的准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性***架构图；

图2是根据本申请的用于检测人脸图像的方法的一个实施例的流程图；

图3是根据本申请的用于检测人脸图像的方法的又一个实施例的流程图；

图4是根据本申请的用于检测人脸图像的方法的人脸姿态角的示例性示意图；

图5是根据本申请的用于检测人脸图像的装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的电子设备的计算机***的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请实施例的用于检测人脸图像的方法的示例性***架构100。

如图1所示，***架构100可以包括终端设备101，网络102，中间设备103和服务器104。网络102用以在终端设备101、中间设备103和服务器104之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

服务器104可以是提供各种服务的服务器，例如对终端设备101上传的图像帧序列进行处理的图像处理服务器。图像处理服务器可以对接收的图像帧序列进行处理，并得到处理结果(例如高质量的人脸图像)。

中间设备103可以是各种用于数据收发及处理的设备，包括但不限于以下至少一种：交换机、网关设备等。

需要说明的是，本申请实施例所提供的用于检测人脸图像的方法一般由中间设备103执行，相应地，用于检测人脸图像的装置一般设置于中间设备103中。还需要说明的是，本申请实施例所提供的用于检测人脸图像的方法还可以由终端设备101或服务器104执行，相应地，用于检测人脸图像的装置可以设置于终端设备101或服务器104中。

应该理解，图1中的数据服务器、网络和主服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、中间设备和服务器。

继续参考图2，其示出了根据本申请的应用于检测人脸图像的方法的一个实施例的流程200。该方法包括以下步骤：

步骤201，获取目标图像帧序列。

在本实施例中，用于检测人脸图像的方法的执行主体(例如图1所示的中间设备或终端设备或服务器)可以获取目标图像帧序列。其中，目标图像帧序列可以是摄像头(例如上述执行主体包括的摄像头或与上述执行主体通信连接的电子设备包括的摄像头)对目标人脸(例如即上述摄像头的拍摄范围内的人物的人脸)拍摄的视频包括的图像帧序列。通常，目标图像帧可以是摄像头当前拍摄的图像帧以及当前时间之前的预设时间段拍摄的图像帧组成的图像帧序列。

步骤202，对于目标图像帧序列包括的每个图像帧，将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息。

在本实施例中，对于目标图像帧序列包括的每个图像帧，上述执行主体可以将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息。其中，人脸检测模型用于表征图像序列和人脸位置信息的对应关系。

作为示例，人脸检测模型可以是上述执行主体或其他电子设备，利用机器学习方法，将预设的训练样本集合中的训练样本包括的样本图像帧序列作为输入，将与输入的样本图像帧序列对应的样本位置信息作为期望输出，对初始模型(例如卷积神经网络、循环神经网络等)进行训练，针对每次训练输入的样本图像帧序列，可以得到实际输出。其中，实际输出是初始模型实际输出的数据，用于表征人脸图像的位置。然后，上述执行主体可以采用梯度下降法和反向传播法，基于实际输出和期望输出，调整初始模型的参数，将每次调整参数后得到的模型作为下次训练的初始模型，并在满足预设的训练结束条件的情况下，结束训练，从而训练得到语音识别模型。这里预设的训练结束条件可以包括但不限于以下至少一项：训练时间超过预设时长；训练次数超过预设次数；利用预设的损失函数(例如交叉熵损失函数)计算所得的损失值小于预设损失值阈值。

上述初始模型可以是各种用于目标检测的模型，例如MTCNN(Multi-taskconvolutional neural network，多任务卷积神经网络)、RetinaFace等。

在本实施例的一些可选的实现方式中，人脸检测模型可以包括结构为深度可分离卷积的卷积层。其中，采用深度可分离卷积(depthwise separable convolutions)结构的卷积神经网络可以降低卷积神经网络所占用的存储空间，以及能够降低卷积神经网络的计算量，从而有助于提高提取人脸图像的效率。采用深度可分离卷积结构的卷积神经网络是目前广泛研究和应用的公知技术，在此不再赘述。

在本实施例的一些可选的实现方式中，人脸检测模型可以是预先利用批标准化方式训练得到模型。其中，批标准化(Batch Normalization，BN)，又叫批量归一化，是一种用于改善人工神经网络的性能和稳定性的技术。采用批标准化方式训练模型，可以提升训练速度，收敛过程大大加快，另外可以简化调参过程，提高训练效率和模型处理数据的精度。

步骤203，基于所得到的人脸位置信息，从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列。

在本实施例中，上述执行主体可以基于所得到的人脸位置信息，从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列。其中，每个人脸图像序列包括的人脸图像用于指示同一个人脸。

在本实施例的一些可选的实现方式中，上述执行主体可以按照如下步骤确定至少一个人脸图像序列：

对于目标图像帧序列中的每两个相邻的图像帧，执行如下步骤：

首先，确定该两个相邻的图像帧的第一图像帧中的每个人脸图像中的特征点，以及确定第一图像帧中的每个人脸图像对应的、在第二图像帧中的预测特征点。其中，第一图像帧为处于第二图像帧之前的图像帧。具体地，上述执行主体可以根据所得到的人脸位置信息，从各个图像帧中确定人脸图像，然后，利用各种方法确定人脸图像的特征点。例如采用SIFT(Scale-invariant feature transform，尺度不变特征转换)算法提取每个人脸图像的特征点。再然后，上述执行主体可以利用各种特征点预测算法(例如训练神经网络、条件随机场等)，确定每个人脸图像对应的、在第二图像帧中的预测特征点。

实践中，可以采用光流法确定人脸图像的特征点和预测特征点。其中，光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到相邻的两帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流法的优点在于它无须了解场景的信息，就可以准确地检测识别运动日标位置。而且光流不仅携带了运动物体的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。

然后，从第二图像帧中的人脸图像中，确定包括的预测特征点的数量大于等于预设数值的人脸图像作为与在第一图像帧中的对应人脸图像指示的人脸相同的人脸图像。具体地，上述执行主体可以根据第二图像帧对应的人脸位置信息确定人脸图像，以及确定每个人脸图像包括的预测特征点的数量。对于第二图像帧中的一个人脸图像，如果该人脸图像中的预测特征点的数量大于等于预设数值，且该人脸图像中的预测特征点是基于第一图像帧中的某个人脸图像生成的，则将这两个人脸图像确定为用于指示同一个人脸的人脸图像。通常，预测特征点具有对应的人脸图像标识(用于指示第一图像中的人脸图像)，当第二图像中的某个人脸图像包括的预测特征点的数量大于等于预设数值时，将该人脸图像的人脸图像标识设置为与预测特征点对应的人脸图像标识。当第二图像中的某个人脸图像包括的预测特征点的数量小于预设数值时，为该人脸图像设置新的人脸图像标识。

在本实施例的一些可选的实现方式中，上述执行主体可以按照如下步骤确定至少一个人脸图像序列：

对于目标图像帧序列中的每两个相邻的图像帧，将该两个相邻的图像帧中的第一图像帧中的人脸图像与第二图像帧中的人脸图像中的，面积重合度(或称为矩形的交并比IOU)大于等于预设的重合度阈值的人脸图像确定为指示相同人脸的人脸图像。

步骤204，对于至少一个人脸图像序列中的每个人脸图像序列，确定该人脸图像序列包括的每个人脸图像的质量评分；基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。

在本实施例中，对于上述至少一个人脸图像序列中的每个人脸图像序列，上述执行主体可以首先确定该人脸图像序列包括的每个人脸图像的质量评分。然后，基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。其中，人脸图像的质量评分可以用于表征人脸图像的质量，即，质量评分越高，表示人脸图像的质量越高。作为示例，可以将质量评分最大的人脸图像作为最优人脸图像输出。

上述执行主体可以按照各种方法确定人脸图像的质量评分。作为示例，上述执行主体可以确定人脸图像的清晰度，将清晰度确定为质量评分。其中，清晰度可以利用现有的确定图像清晰度的算法得到。例如，确定图像清晰度的算法可以包括但不限于以下至少一种：像素梯度函数、灰度方差函数、灰度方差乘积函数等。

上述执行主体可以从人脸图像序列中，提取清晰度最大的人脸图像并输出。或者，按照清晰度由大到小的顺序，提取预设数量个人脸图像并输出。

在本实施例中，上述执行主体可以按照各种方式输出提取的人脸图像，例如，可以在上述执行主体包括的显示器上显示提取的人脸图像和该人脸图像的标识。或者，将提取的人脸图像发送到与上述执行主体通信连接的其他电子设备。

本申请的上述实施例提供的方法，通过从目标图像帧序列中确定至少一个人脸图像序列，其中，每个人脸图像序列用于指示同一个人脸，然后从每个人脸图像序列中确定每个人脸图像的质量评分，根据质量评分提取人脸图像及输出，从而实现了从目标图像序列中提取高质量的人脸图像，有利于提高利用提取出的人脸图像进行人脸识别等操作的准确性。

进一步参考图3，其示出了根据本申请的用于检测人脸图像的方法的又一个实施例的流程300。该方法包括以下步骤：

步骤301，获取目标图像帧序列。

在本实施例中，步骤301与图2对应实施例中的步骤201基本一致，这里不再赘述。

步骤302，对于目标图像帧序列包括的每个图像帧，将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息。

在本实施例中，人脸检测模型可以确定输入的图像帧中的人脸图像的人脸位置信息，还可以用于生成输入的图像帧的关键点信息集合。实践中，人脸检测模型可以是基于MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)训练的模型。该模型包括多个级联的子模型，子模型可以分别用于检测人脸位置和确定关键点信息集合。其中，关键点信息集合中的关键点信息用于表征人脸关键点在人脸图像中的位置。通常，关键点信息可以包括人脸关键点在图像帧中的坐标。人脸关键点是人脸图像中，用于表征特定位置(例如眼睛、鼻子、嘴巴等)的点。

步骤303，基于所得到的人脸位置信息，从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列。

在本实施例中，步骤303与图2对应实施例中的步骤203基本一致，这里不再赘述。

步骤304，对于至少一个人脸图像序列中的每个人脸图像序列，基于该人脸图像序列包括的每个人脸图像的关键点信息集合，确定每个人脸图像的人脸姿态角信息；基于人脸姿态角信息，确定每个人脸图像的质量评分。

在本实施例中，对于上述至少一个人脸图像序列中的每个人脸图像序列，用于检测人脸图像的方法的执行主体(例如图1所示的中间设备或终端设备或服务器)可以执行如下步骤：

步骤一，基于该人脸图像序列包括的每个人脸图像的关键点信息集合，确定每个人脸图像的人脸姿态角信息。

其中，人脸姿态角信息可以用于表征人脸的正面朝向相对于拍摄人脸的摄像头的偏转程度。人脸姿态角信息可以包括俯仰角(pitch)、偏航角(yaw)、横滚角(roll)三种角度，分别代表上下翻转，左右翻转，平面内旋转的角度。如图4所示，x轴、y轴、z轴是直角坐标系的三个轴。其中，z轴可以为目标摄像头401的光轴，y轴可以为在人的头部不发生侧转的状态下、通过人的头顶轮廓的中心点且与水平面垂直的直线。俯仰角可以为人脸绕x轴旋转的角度，偏航角可以为人脸绕y轴旋转的角度，横滚角可以为人脸绕z轴旋转的角度。在图4中的直角坐标系中，当人的头部转动时，确定以该直角坐标系的原点为端点、且通过人的两个眼球中心点的连线的中点的射线，该射线分别与x轴、y轴、z轴的角度可以确定为正面姿态角。

上述执行主体可以按照各种方法确定人脸姿态角信息。例如，可以利用现有的人脸姿态角估计方法，基于关键点信息集合，确定人脸姿态角信息。其中，人脸姿态角估计方法可以包括但不限于以下至少一种：基于模型的方法，基于表观的方法，基于分类的方法等。

在本实施例的一些可选的实现方式中，上述执行主体可以按照如下步骤确定每个人脸图像的人脸姿态角信息：

首先，基于该人脸图像序列包括的每个人脸图像的关键点信息集合，生成每个人脸图像对应的关键点特征向量。其中，关键点特征向量中的元素包括M个人脸关键点的坐标。

作为示例，假设M为5，对于一个人脸图像，可以生成该人脸图像对应的关键点特征向量A为[x1,x2,x3,x4,x5,y1,y2,y3,y4,y5,b]，其中，x1-x5为5个人脸关键点的x轴坐标，y1-y5为5个人脸关键点的y轴坐标，b为预设的偏置项，例如为0。关键点特征向量A为1×11的向量。

将所生成的关键点特征向量乘以预先拟合的特征矩阵，得到人脸姿态角特征向量作为人脸姿态角信息。

继续上述示例，假设上述特征矩阵X为11×3的矩阵，将特征向量A乘以特征矩阵X，得到1×3的向量即为人脸姿态角向量，人脸姿态角向量包括俯仰角、偏航角、横滚角。

上述特征矩阵可以预先按照如下方式拟合得到：

假设有N个样本关键点特征向量，每个样本关键点特征向量表示为V＝[x1,x2,x3,x4,x5,y1,y2,y3,y4,y5,1]，其中，向量中的数值1为预设偏置项。将N个样本关键点特征向量组合为一个特征矩阵B，其中B是一个N×11的矩阵。每个样本关键点特征向量对应一个样本人脸姿态角向量(包括俯仰角、偏航角、横滚角)，将N个样本关键点特征向量组合为一个N×3的矩阵C。建立关系式B×X＝C。其中B，C为已知条件，所以利用最小二乘法求解上述关系式，可以得到X。

步骤二，基于人脸姿态角信息，确定每个人脸图像的质量评分。

具体地，上述执行主体可以利用预设的、人脸姿态角信息包括的三个角度分别对应的权重，确定每个人脸图像的质量评分。作为示例，可以按照如下公式确定人脸姿态信息：

score1＝0.2×(15–abs(roll))+0.5×(15-abs(yaw))+0.3×(15-abs(pitch))公式(1)

其中，Score1为人脸图像的质量评分，pitch、yaw、roll分别为俯仰角、偏航角、横滚角，0.2、0.5、0.3分别为三个角度对应的权重，abs()为取括号中的角度的绝对值，15为设置的角度阈值，即，姿态角超过15度时，取负值。

在本实施例的一些可选的实现方式中，上述执行主体可以按照如下步骤确定人脸图像的质量评分：

首先，基于每个人脸图像的关键点信息集合，确定每个人脸图像的清晰度。其中，清晰度可以利用现有的确定图像清晰度的算法得到。例如，确定图像清晰度的算法可以包括但不限于以下至少一种：像素梯度函数、灰度方差函数、灰度方差乘积函数等。通常，可以将清晰度设置为处于[0,1]区间内。

然后，利用人脸姿态角信息和清晰度，确定每个人脸图像的质量评分。具体地，上述执行主体可以利用人脸姿态角信息，按照上述公式(1)确定第一评分score1。上述清晰度为第二评分score2，基于预设的权重，确定人脸图像的质量评分。作为示例，人脸图像的质量评分可以按照如下公式(2)确定：

score＝0.6×score1+0.4×score2 公式(2)

其中，score为质量评分，0.6和0.4为预设的权重。

需要说明的是，上述第一评分和第二评分的数值区间相同，例如同处于[0,1]或[0,100]。

在本实施例的一些可选的实现方式中，上述执行主体可以按照如下步骤确定每个人脸图像的清晰度：

首先，从每个人脸图像的关键点信息集合中提取目标关键点信息。其中，目标关键点信息可以是预先设置的、用于表征人脸的特定位置的关键点信息。通常，目标人脸关键点信息可以是用于指示人的眼睛和嘴巴的关键点信息。

然后，基于目标关键点信息，从每个人脸图像中确定目标区域，以及确定目标区域包括的像素点的平均像素梯度。其中，目标区域可以是包括目标关键点信息指示的人脸关键点的区域。例如，目标区域可以是包括目标关键点信息指示的人脸关键点的最小矩形。

上述执行主体可以利用现有的确定像素的像素梯度的方法，确定目标区域中的每个像素点的像素梯度，将所确定的像素梯度取平均，得到平均像素梯度。

最后，基于平均像素梯度，确定每个人脸图像的清晰度。具体地，可以计算目标区域内每个像素点的水平梯度和垂直梯度的平均值的总和S，然后计算平均梯度avg_g＝S/(w*h*255.0)，其中，w和h为目标区域的宽度和高度。

现有技术中，为了提高人脸图像检测的准确性，通常需要使用深度较大的神经网络检测图像。如果网络太深，提取图像特征的时间将会变长，整个推理速度变慢。上述可选的实现方式由于采用了人脸姿态角和图像清晰度相结合的方法确定人脸图像的质量评分，相比于深度较大的神经网络，图像处理速度更快，占用的硬件资源更少，因此，本申请的实施例的各步骤以及可选的实现方式，可以组合应用在人脸图像检测***的前端(例如图1所示的终端设备或中间设备)，减轻了后端服务器的压力。

步骤三，基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。

步骤三与图2对应实施例中的步骤204中的提取人脸图像及输出的方法基本相同，这里不再赘述。

从图3中可以看出，与图2对应的实施例相比，本实施例中的用于发送信息的方法的流程300突出了基于人脸姿态角信息确定每个人脸图像的质量评分的步骤。由此可以利用人脸姿态角信息，进一步提高确定人脸图像的质量评分的准确性，有助于进一步提高提取出的人脸图像的质量。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于检测人脸图像的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的用于检测人脸图像的装置500包括：获取模块501，用于获取目标图像帧序列；生成模块502，用于对于目标图像帧序列包括的每个图像帧，将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息，其中，人脸位置信息用于表征人脸图像在该图像帧中的位置；确定模块503，用于基于所得到的人脸位置信息，从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，其中，每个人脸图像序列包括的人脸图像用于指示同一个人脸；输出模块504，用于对于至少一个人脸图像序列中的每个人脸图像序列，确定该人脸图像序列包括的每个人脸图像的质量评分；基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。

在本实施例中，用于检测人脸图像的方法的获取模块501可以获取目标图像帧序列。其中，目标图像帧序列可以是摄像头对目标人脸(例如即上述摄像头的拍摄范围内的人物的人脸)拍摄的视频包括的图像帧序列。通常，目标图像帧可以是摄像头当前拍摄的图像帧以及当前时间之前的预设时间段拍摄的图像帧组成的图像帧序列。

在本实施例中，对于目标图像帧序列包括的每个图像帧，上述生成模块502可以将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息。其中，人脸检测模型用于表征图像序列和人脸位置信息的对应关系。

作为示例，人脸检测模型可以是上述装置500或其他电子设备，利用机器学习方法，将预设的训练样本集合中的训练样本包括的样本图像帧序列作为输入，将与输入的样本图像帧序列对应的样本位置信息作为期望输出，对初始模型(例如卷积神经网络、循环神经网络等)进行训练，针对每次训练输入的样本图像帧序列，可以得到实际输出。其中，实际输出是初始模型实际输出的数据，用于表征人脸图像的位置。然后，用于训练人脸检测模型的执行主体可以采用梯度下降法和反向传播法，基于实际输出和期望输出，调整初始模型的参数，将每次调整参数后得到的模型作为下次训练的初始模型，并在满足预设的训练结束条件的情况下，结束训练，从而训练得到语音识别模型。这里预设的训练结束条件可以包括但不限于以下至少一项：训练时间超过预设时长；训练次数超过预设次数；利用预设的损失函数(例如交叉熵损失函数)计算所得的损失值小于预设损失值阈值。

上述初始模型可以是各种用于目标检测的模型，例如MTCNN(Multi-taskconvolutional neural network，多任务卷积神经网络)、RetinaFace等。

在本实施例中，确定模块503可以基于所得到的人脸位置信息，按照各种方式从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列。其中，每个人脸图像序列包括的人脸图像用于指示同一个人脸。

在本实施例中，对于上述至少一个人脸图像序列中的每个人脸图像序列，上述输出模块504可以首先确定该人脸图像序列包括的每个人脸图像的质量评分。然后，基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。其中，人脸图像的质量评分可以用于表征人脸图像的质量，即，质量评分越高，表示人脸图像的质量越高。通常，可以将质量评分最大的人脸图像作为最优人脸图像输出。

上述输出模块504可以按照各种方法确定人脸图像的质量评分。作为示例，上述输出模块504可以确定人脸图像的清晰度，将清晰度确定为质量评分。其中，清晰度可以利用现有的确定图像清晰度的算法得到。例如，确定图像清晰度的算法可以包括但不限于以下至少一种：像素梯度函数、灰度方差函数、灰度方差乘积函数等。

上述输出模块504可以从人脸图像序列中，提取清晰度最大的人脸图像并输出。或者，按照清晰度由大到小的顺序，提取预设数量个人脸图像并输出。

在本实施例的一些可选的实现方式中，确定模块503进一步配置用于：对于目标图像帧序列中的每两个相邻的图像帧，确定该两个相邻的图像帧的第一图像帧中的每个人脸图像中的特征点，以及确定第一图像帧中的每个人脸图像对应的、在第二图像帧中的预测特征点；从第二图像帧中的人脸图像中，确定包括的预测特征点的数量大于等于预设数值的人脸图像作为与在第一图像帧中的对应人脸图像指示的人脸相同的人脸图像。

在本实施例的一些可选的实现方式中，确定模块503进一步配置用于：对于目标图像帧序列中的每两个相邻的图像帧，将该两个相邻的图像帧中的第一图像帧中的人脸图像与第二图像帧中的人脸图像中的，面积重合度大于等于预设的重合度阈值的人脸图像确定为指示相同人脸的人脸图像。

在本实施例的一些可选的实现方式中，人脸检测模型还用于生成图像帧的关键点信息集合，其中，关键点信息用于表征人脸关键点在人脸图像中的位置；以及输出模块504包括：第一确定单元(图中未示出)，用于基于该人脸图像序列包括的每个人脸图像的关键点信息集合，确定每个人脸图像的人脸姿态角信息；第二确定单元(图中未示出)，用于基于人脸姿态角信息，确定每个人脸图像的质量评分。

在本实施例的一些可选的实现方式中，第一确定单元(图中未示出)包括：第一生成子单元(图中未示出)，用于基于该人脸图像序列包括的每个人脸图像的关键点信息集合，生成每个人脸图像对应的关键点特征向量；第二生成子单元(图中未示出)，用于将所生成的关键点特征向量乘以预先拟合的特征矩阵，得到人脸姿态角特征向量作为人脸姿态角信息。

在本实施例的一些可选的实现方式中，第二确定单元包括：第一确定子单元(图中未示出)，用于基于每个人脸图像的关键点信息集合，确定每个人脸图像的清晰度；第二确定子单元(图中未示出)，用于利用人脸姿态角信息和清晰度，确定每个人脸图像的质量评分。

在本实施例的一些可选的实现方式中，第一确定子单元包括：提取子模块(图中未示出)，用于从每个人脸图像的关键点信息集合中提取目标关键点信息；第一确定子模块(图中未示出)，用于基于目标关键点信息，从每个人脸图像中确定目标区域，以及确定目标区域包括的像素点的平均像素梯度；第二确定子模块(图中未示出)，用于基于平均像素梯度，确定每个人脸图像的清晰度。

在本实施例的一些可选的实现方式中，人脸检测模型包括结构为深度可分离卷积的卷积层。

在本实施例的一些可选的实现方式中，人脸检测模型预先利用批标准化方式训练得到的。

本申请的上述实施例提供的装置，通过从目标图像帧序列中确定至少一个人脸图像序列，其中，每个人脸图像序列用于指示同一个人脸，然后从每个人脸图像序列中确定每个人脸图像的质量评分，根据质量评分提取人脸图像及输出，从而实现了从目标图像序列中提取高质量的人脸图像，有利于提高利用提取出的人脸图像进行人脸识别等操作的准确性。

下面参考图6，其示出了适于用来实现本申请实施例的电子设备的计算机***600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请所述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、生成模块、确定模块和输出模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，获取模块还可以被描述为“用于获取目标图像帧序列的模块”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取目标图像帧序列；对于目标图像帧序列包括的每个图像帧，将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息；基于所得到的人脸位置信息，从目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，其中，每个人脸图像序列包括的人脸图像用于指示同一个人脸；对于至少一个人脸图像序列中的每个人脸图像序列，确定该人脸图像序列包括的每个人脸图像的质量评分；基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种用于检测人脸图像的方法，其特征在于，所述方法包括：

获取目标图像帧序列；

对于所述目标图像帧序列包括的每个图像帧，将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息；

基于所得到的人脸位置信息，从所述目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，其中，每个人脸图像序列包括的人脸图像用于指示同一个人脸；

对于所述至少一个人脸图像序列中的每个人脸图像序列，确定该人脸图像序列包括的每个人脸图像的质量评分；基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。

2.根据权利要求1所述的方法，其特征在于，所述基于所得到的人脸位置信息，从所述目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，包括：

对于所述目标图像帧序列中的每两个相邻的图像帧，确定该两个相邻的图像帧的第一图像帧中的每个人脸图像中的特征点，以及确定第一图像帧中的每个人脸图像对应的、在第二图像帧中的预测特征点；从第二图像帧中的人脸图像中，确定包括的预测特征点的数量大于等于预设数值的人脸图像作为与在第一图像帧中的对应人脸图像指示的人脸相同的人脸图像。

3.根据权利要求1所述的方法，其特征在于，所述基于所得到的人脸位置信息，从所述目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，包括：

对于所述目标图像帧序列中的每两个相邻的图像帧，将该两个相邻的图像帧中的第一图像帧中的人脸图像与第二图像帧中的人脸图像中的，面积重合度大于等于预设的重合度阈值的人脸图像确定为指示相同人脸的人脸图像。

4.根据权利要求1所述的方法，其特征在于，所述人脸检测模型还用于生成图像帧的关键点信息集合，其中，关键点信息用于表征人脸关键点在人脸图像中的位置；以及

所述确定该人脸图像序列包括的每个人脸图像的质量评分，包括：

基于该人脸图像序列包括的每个人脸图像的关键点信息集合，确定每个人脸图像的人脸姿态角信息；

基于人脸姿态角信息，确定每个人脸图像的质量评分。

5.根据权利要求4所述的方法，其特征在于，所述基于该人脸图像序列包括的每个人脸图像的关键点信息集合，确定每个人脸图像的人脸姿态角信息，包括：

基于该人脸图像序列包括的每个人脸图像的关键点信息集合，生成每个人脸图像对应的关键点特征向量；

将所生成的关键点特征向量乘以预先拟合的特征矩阵，得到人脸姿态角特征向量作为人脸姿态角信息。

6.根据权利要求4所述的方法，其特征在于，所述基于人脸姿态角信息，确定每个人脸图像的质量评分，包括：

基于每个人脸图像的关键点信息集合，确定每个人脸图像的清晰度；

利用人脸姿态角信息和清晰度，确定每个人脸图像的质量评分。

7.根据权利要求6所述的方法，其特征在于，所述基于每个人脸图像的关键点信息集合，确定每个人脸图像的清晰度，包括：

从每个人脸图像的关键点信息集合中提取目标关键点信息；

基于目标关键点信息，从每个人脸图像中确定目标区域，以及确定目标区域包括的像素点的平均像素梯度；

基于平均像素梯度，确定每个人脸图像的清晰度。

8.根据权利要求1-7之一所述的方法，其特征在于，所述人脸检测模型包括结构为深度可分离卷积的卷积层。

9.根据权利要求1-7之一所述的方法，其特征在于，所述人脸检测模型预先利用批标准化方式训练得到。

10.一种用于检测人脸图像的装置，其特征在于，所述装置包括：

获取模块，用于获取目标图像帧序列；

生成模块，用于对于所述目标图像帧序列包括的每个图像帧，将该图像帧输入预先训练的人脸检测模型，得到人脸位置信息，其中，人脸位置信息用于表征人脸图像在该图像帧中的位置；

确定模块，用于基于所得到的人脸位置信息，从所述目标图像帧序列包括的图像帧中，确定至少一个人脸图像序列，其中，每个人脸图像序列包括的人脸图像用于指示同一个人脸；

输出模块，用于对于所述至少一个人脸图像序列中的每个人脸图像序列，确定该人脸图像序列包括的每个人脸图像的质量评分；基于所得到的质量评分，从该人脸图像序列中提取人脸图像及输出。

11.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。