CN113642434A - 人脸图像序列中的人脸择优方法、设备 - Google Patents

Abstract

本申请涉及一种人脸图像序列中的人脸择优方法，包括：从目标人脸视频中获取人脸图像序列，从人脸图像序列中选取人脸区域处于热点区域、且人脸尺寸大于预设尺寸的人脸图像；基于人脸模糊度阈值和人脸模糊度评优规则，确定满足人脸模糊度评优规则的候选人脸图像；基于人脸姿态阈值和人脸姿态评优规则，确定满足人脸姿态评优规则的候选人脸图像；基于人脸图像质量评价模型对人脸图像序列中的候选人脸图像进行质量评价，得到质量评价结果；基于质量评价结果，从满足人脸模糊度评优规则、人脸姿态评优规则的候选人脸图像中提取得到目标人脸图像集。本方法能快捷、有效地筛选出待识别人员的高质量人脸图片，有助于提高人脸识别的效率和准确率。

Description

人脸图像序列中的人脸择优方法、设备

技术领域

本申请属于图像处理技术领域，具体涉及一种人脸择优方法。

背景技术

随着计算机图像图例技术的飞速发展，人脸识别在多个领域。当前 主流的人脸识别包括基于LGBP算法的人脸识别方式、基于改进神经网 络模型的人脸识别方式、基于PCA算法的人脸识别等。以上方法都是基 于固定图像的人脸识别算法，对图像要求较高。随着应用性的推广，基 于动态随机图像的人脸识别成为研究的热点。

动态随机图像的采集过程中，被采集者以各种运动方向和角度对着 摄像头，采集的人脸有不同的俯仰角和侧视角度；在运动过程中，脸部 的几何特征会发生较为明显变化；此外运动模糊、对焦模糊、不同光照 条件下如逆光和暗光、摄像机本身带来的噪点模糊都会使得采集图像质 量不佳。

由于人脸图片的质量直接影响人脸识别的效果，因此如何快捷有效 的筛选出待识别人员的高质量人脸图片成为亟待解决的问题。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本申请提供一种人脸图像序列中 的人脸择优方法、设备和可读存储介质。

(二)技术方案

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种人脸图像序列中的人脸择优方法， 该方法包括：

从目标人脸视频中获取人脸图像序列，所述人脸图像序列包括同一 人的不小于预设数量的多张人脸图像；

从所述人脸图像序列中选取人脸区域处于预设的热点区域、且人脸 尺寸大于预设尺寸的人脸图像，作为候选人脸图像；

基于预设的人脸模糊度阈值和人脸模糊度评优规则，确定所述人脸 图像序列中图像模糊度满足人脸模糊度评优规则的候选人脸图像；

基于预设的人脸姿态阈值和人脸姿态评优规则，确定所述人脸图像 序列中人脸姿态满足人脸姿态评优规则的候选人脸图像；

基于预先构建的人脸图像质量评价模型对所述人脸图像序列中的候 选人脸图像进行质量评价，得到质量评价结果；其中，所述人脸图像质 量评价模型是基于深度神经网络构建，用于得到高质量人脸图像的概率 值的网络模型；

基于质量评价结果，从满足人脸模糊度评优规则、人脸姿态评优规 则的候选人脸图像中提取得到人脸择优的目标人脸图像集。

可选地，从目标人脸视频中获取人脸图像序列，包括：

S11、获取目标人脸视频；

S12、基于预设的数量阈值和人脸图像数量筛选规则，从所述目标人 脸视频中筛选得到满足数量要求的人脸图像序列。

可选地，所述人脸模糊度评优规则包括：

将人脸图像的模糊度小于预设的人脸模糊度阈值的人脸图像作为满 足人脸模糊度评优规则的人脸图像；

将人脸图像的模糊度大于等于预设的人脸模糊度阈值的人脸图像作 为不满足人脸模糊度评优规则的人脸图像。

可选地，所述预设的人脸姿态阈值包括预设的偏航角阈值、预设的 俯仰角阈值和预设的侧偏角阈值。

可选地，人脸姿态评优规则包括：

将偏航角度大于预设的偏航角阈值、俯仰角度大于俯仰角阈值、侧 偏角度大于预设的侧偏角阈值的人脸图像作为满足姿态评优规则的图 像；

将偏航角度小于等于预设的偏航角阈值，和/或，俯仰角度小于等于 俯仰角阈值，和/或，侧偏角度小于等于预设的侧偏角阈值的人脸图像作 为不满足姿态评优规则的图像。

可选地，确定人脸图像序列中满足人脸姿态评优规则的人脸图像， 包括：

通过预设的人脸姿态估计算法，对所述人脸图像序列进行处理，得 到人脸图像序列中每个人脸图像的人脸姿态信息，所述人脸姿态信息包 括人脸图像在三维空间中的偏航角度、俯仰角度、侧偏角度；

若偏航角度大于预设的偏航角阈值、俯仰角度大于俯仰角阈值且侧 偏角度大于预设的侧偏角阈值，则人脸图像是满足姿态评优规则的图像； 否则，

若偏航角度小于等于预设的偏航角阈值，和/或，俯仰角度小于等于 俯仰角阈值，和/或，侧偏角度小于等于预设的侧偏角阈值，则人脸图像 是不满足姿态评优规则的图像。

可选地，预设的人脸姿态估计算法包括：

定义一个具有8个关键点的3D脸部模型，8个关键点分别是左眼 角，右眼角，鼻尖，左鼻翼、右鼻翼、左嘴角，右嘴角，下颌；

采用人脸检测以及面部关键点检测得到上述3D脸部对应的2D人脸 关键点；

采用开源计算机视觉库Opencv的solvePnP函数解出旋转向量；

将旋转向量转换为姿态角，作为人脸姿态信息。

通过左眼角，右眼角，鼻尖，左鼻翼、右鼻翼、左嘴角，右嘴角8 个关键点，不仅保证了人脸姿态估计的精确度，还大大提高运算效率。

可选地，基于质量评价结果，从满足人脸模糊度评优规则、人脸姿 态评优规则的候选人脸图像中提取得到人脸择优的目标人脸图像集，包 括：

S61、基于人脸图像的评价指标，对人脸图像进行综合质量评价，得 到综合质量评分；所述人脸图像的评价指标包括图像亮度、图像对比度、 图像模糊度、人脸姿态角、遮挡情况、人脸区域位置、人脸区域大小、 人脸图像质量中的一种或多种；

S62、根据每张人脸图像对应的综合质量评分，对满足人脸模糊度评 优规则、人脸姿态评优规则且质量评分大于预设分数阈值的候选人脸图 像进行质量优劣排序；

S63、根据候选人脸图像的质量优劣排序结果，选取质量最优的N个 人脸图像作为人脸择优的目标人脸图像集。

可选地，基于人脸图像的评价指标，对人脸图像进行综合质量评价， 得到综合质量评分，包括：

通过计算人脸图像的评价指标，对各个指标值进行评分，得到指标 评分；

将各个指标评分加权平均，将加权平均值作为综合质量评分；

所述评价指标包括图像对比度、图像模糊度、人脸姿态角、人脸图 像质量，权重分别为0.1、0.2、0.4、0.3。

此实施方式评价效果更好，更加贴近人类主观感觉，且对提取出的 人脸图像进行人脸识别时，识别效率更高，准确率明显提升。

第二方面，本申请实施例提供一种电子设备，包括：存储器、处理 器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述 计算机程序被所述处理器执行时实现如上第一方面任一项所述的人脸图 像序列中的人脸择优方法的步骤。

第三方面，本申请实施例提供一种计算机可读存储介质，所述计算 机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时 实现如上第一方面任一项所述的人脸图像序列中的人脸择优方法的步 骤。

(三)有益效果

本申请的有益效果是：本申请提出了一种人脸图像序列中的人脸择 优方法、设备和可读存储介质，其中的方法包括：从目标人脸视频中获 取人脸图像序列，从人脸图像序列中选取人脸区域处于热点区域、且人 脸尺寸大于预设尺寸的人脸图像；基于人脸模糊度阈值和人脸模糊度评 优规则，确定满足人脸模糊度评优规则的候选人脸图像；基于人脸姿态 阈值和人脸姿态评优规则，确定满足人脸姿态评优规则的候选人脸图像； 基于人脸图像质量评价模型对人脸图像序列中的候选人脸图像进行质量 评价，得到质量评价结果；基于质量评价结果，从满足人脸模糊度评优 规则、人脸姿态评优规则的候选人脸图像中提取得到目标人脸图像集。 本方法能快捷、有效地筛选出待识别人员的高质量人脸图片，有助于提 高人脸识别的效率和准确率。

附图说明

本申请借助于以下附图进行描述：

图1为本申请一个实施例中的人脸图像序列中的人脸择优方法流程 示意图；

图2为本申请另一个实施例中的人脸图像序列中的人脸择优方法流 程示意图；

图3为本申请又一实施例中的电子设备的架构示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实 施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实 施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的 是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互 组合；为了便于描述，附图中仅示出了与发明相关的部分。

实施例一

图1为本申请一个实施例中的人脸图像序列中的人脸择优方法流程 示意图，如图1所示，该方法可以由一个装置执行，该装置可以由软件 和/或硬件实现。

本实施例人脸图像序列中的人脸择优方法包括以下步骤：

S10、从目标人脸视频中获取人脸图像序列，人脸图像序列包括同一 人的不小于预设数量的多张人脸图像；

S20、从所述人脸图像序列中选取人脸区域处于预设的热点区域、且 人脸尺寸大于预设尺寸的人脸图像，作为候选人脸图像；

S30、基于预设的人脸模糊度阈值和人脸模糊度评优规则，确定所述 人脸图像序列中图像模糊度满足人脸模糊度评优规则的候选人脸图像；

S40、基于预设的人脸姿态阈值和人脸姿态评优规则，确定所述人脸 图像序列中人脸姿态满足人脸姿态评优规则的候选人脸图像；

S50、基于预先构建的人脸图像质量评价模型对所述人脸图像序列中 的候选人脸图像进行质量评价，得到质量评价结果；其中，人脸图像质 量评价模型是基于深度神经网络构建，用于得到高质量人脸图像的概率 值的网络模型；

S60、基于质量评价结果，从满足人脸模糊度评优规则、人脸姿态评 优规则的人脸图像中提取得到人脸择优的目标人脸图像集。

本实施例的人脸图像序列中的人脸择优方法，能够快捷、有效地筛 选出待识别人员的高质量人脸图像，有助于提高人脸识别的效率和准确 率。

为了更好地理解本发明，以下对本实施例中的各步骤进行展开说明。

在步骤S10中，从目标人脸视频中获取人脸图像序列，人脸图像序 列包括同一人的不小于预设数量的多张人脸图像。

本实施例中，人脸择优方法的执行主体可以通过有线连接方式或者 无线连接方式从目标人脸视频所对应的人脸图像序列中获取人脸图像。

可以理解的是，视频实质上是一个按照时间的先后顺序拍摄获得的 图像序列，故上述目标人脸视频可以对应一个人脸图像序列。

本实施例中，在步骤S1具体包括：

S11、获取目标人脸视频；

具体地，目标人脸视频可以为从视频图像中截取的目标人脸视频， 也可以为对人脸进行拍摄所获得的视频。

S12、基于预设的数量阈值和人脸图像数量筛选规则，从目标人脸视 频中筛选得到满足数量要求的人脸图像序列；

具体地，人脸图像数量筛选规则为：

将人脸图像数量大于预设的数量阈值的目标人脸视频，作为人脸图 像序列。

在步骤S20中，从人脸图像序列中选取人脸区域处于预设的热点区 域的人脸图像中，热点区域可以是任意形状的多边形区域，通常为相机 画面中的卡口区域如大门，闸机进出口，特定岗位，过道，走廊等，默 认情况下是以相机画面的中心为中点，宽度为画面宽度的1/2,高度为画 面高度1/2的矩形区域。

选取人脸尺寸大于预设尺寸的人脸图像，可以是人脸的长度大于预 设的长度阈值、人脸的宽度大于预设的宽度阈值，优选地，人脸的长宽 比也大于预设的比例阈值，具体地，长宽比例范围为[0.8，3]。

步骤S30中，预设的人脸模糊度阈值可以是根据个人主观判断得到 的模糊度数值，也是是经过统计分析得到的模糊度统计结果。

本实施例中，人脸模糊度评优规则可以包括：

将人脸图像的模糊度小于预设的人脸模糊度阈值的人脸图像作为满 足人脸模糊度评优规则的人脸图像；

将人脸图像的模糊度大于等于预设的人脸模糊度阈值的人脸图像作 为不满足人脸模糊度评优规则的人脸图像。

本实施例中，确定人脸图像序列中图像模糊度满足人脸模糊度评优 规则的人脸图像，包括：

通过预设的人脸模糊度算法，对人脸图像序列进行处理，得到人脸 图像序列中每个人脸图像的模糊度；

若人脸图像的模糊度小于预设的人脸模糊度阈值，则人脸图像是满 足人脸模糊度评优规则的人脸图像；

若人脸图像的模糊度大于等于预设的人脸模糊度阈值，则人脸图像 是不满足人脸模糊度评优规则的人脸图像。

本实施例中，预设的人脸模糊度算法可以是采用Brenner梯度函数作 为灰度变化评价函数，计算人脸图像的清晰度，也可以是图像灰度熵函 数，将清晰度取相反数得到模糊度。

需要说明的是，以上仅仅是对人脸模糊度算法采用的函数做示例性 说明，并构成对人脸模糊度算法的限定。

步骤S40中，预设的人脸姿态阈值包括预设的偏航角(Yaw)阈值、预 设的俯仰角(Pitch)阈值和预设的侧偏角(Roll)阈值。

本实施例中，人脸姿态评优规则可以包括：

将偏航角度大于预设的偏航角阈值、俯仰角度大于预设的俯仰角阈 值、侧偏角度大于预设的侧偏角阈值的人脸图像作为满足姿态评优规则 的图像；

将偏航角度小于等于预设的偏航角阈值，和/或，俯仰角度小于等于 俯仰角阈值，和/或，侧偏角度小于等于预设的侧偏角阈值的人脸图像作 为不满足姿态评优规则的图像。

具体地，确定人脸图像序列中满足人脸姿态评优规则的人脸图像， 包括：

通过预设的人脸姿态估计算法，对所述人脸图像序列进行处理，得 到人脸图像序列中每个人脸图像的人脸姿态信息，人脸姿态信息包括人 脸图像在三维空间中的三个姿态角信息，分别为偏航角度、俯仰角度、 侧偏角度；

若偏航角度大于预设的偏航角阈值、俯仰角度大于俯仰角阈值且侧 偏角度大于预设的侧偏角阈值，则人脸图像是满足姿态评优规则的图像； 否则，

若偏航角度小于等于预设的偏航角阈值，和/或，俯仰角度小于等于 俯仰角阈值，和/或，侧偏角度小于等于预设的侧偏角阈值，则人脸图像 是不满足姿态评优规则的图像。

本实施例中，预设的人脸姿态估计算法的步骤可以包括：

1)首先定义一个具有n个关键点的3D脸部模型，n可以根据对准 确度的容忍程度进行定义，本实施例中定义8个关键点的3D脸部模型， 分别是左眼角，右眼角，鼻尖，左鼻翼、右鼻翼、左嘴角，右嘴角，下 颌；

2)采用人脸检测以及面部关键点检测得到上述3D脸部对应的2D人 脸关键点；

3)采用开源计算机视觉库(Open Source Computer Vision Library， Opencv)的solvePnP函数解出旋转向量；

4)将旋转向量转换为姿态角。

关键点的选择决定了人脸姿态估计的精确度，进而影响人脸识别的 的准确率，数量越多的关键点越有助于提高准确率，但过多的关键点也 会延长计算时间，降低运算效率。通过左眼角，右眼角，鼻尖，左鼻翼、 右鼻翼、左嘴角，右嘴角8个关键点，不仅保证了人脸姿态估计的精确 度，还大大提高运算效率。

人脸姿态估计也可以采用其他的算法，本发明不做具体限定。

步骤S50中，人脸图像质量评价模型通过基于深度神经网络构建的 人脸图像质量评价模型FaceQualityNet，得到质量评分。这个模型综合考 虑了人脸曝光程度，人脸遮挡，残缺，戴帽子，戴眼镜等因素，输出是 一个0-1之间的预测值，0表示质量低，1表示质量高。

具体的，FaceQualityNet基于深度残差网络(Residual Networks，简 称ResNet)ResNet18构建的分类模型，训练样本为BGR格式的人脸图像， 样本标签为质量高1和质量低0。模型训练中，输入是112*112的BGR 图像，归一化到0-1区间内，输出2维softmax之后的概率值，第1维表 示bad的概率，第二维表示good的概率，***使用第二维作为质量预测 值。

步骤S60中包括：

S61、对人脸图像进行综合质量评价，具体是通过计算人脸图像的评 价指标，对各个指标值进行评分，得到指标评分；将各个指标评分加权 平均，将加权平均值作为综合质量评分。这里评价指标可以是一个，也 可以是多个。评价指标包括并不限于图像亮度、图像对比度、图像模糊 度、人脸姿态角、遮挡情况、人脸区域位置、人脸区域大小、人脸图像 质量等。当评价指标为多个时，可以采用对各个指标得分进行加权平均， 将加权平均值作为综合质量评分。

在一种优选的实施方式中，评价指标包括图像对比度、图像模糊度、 人脸姿态角、人脸图像质量，权重分别为0.1、0.2、0.4、0.3。

通过实验验证，此优选的实施方式评价效果更好，更加贴近人类主 观感觉，且对提取出的人脸图像进行人脸识别时，识别效率更高，准确 率明显提升。

S62、根据每张人脸图像对应的综合质量评分，对满足人脸模糊度评 优规则、人脸姿态评优规则且质量评分大于预设分数阈值的候选人脸图 像进行质量优劣排序；

S63、根据候选人脸图像的质量优劣排序结果，选取质量最优的N个 人脸图像作为人脸择优的目标人脸图像集。

S62中，对人脸图像序列中的人脸图像进行质量优劣排序，排序的方 式可以是按照质量评分由高到低的顺序，也可以是按照质量评分由低到 高的顺序。本实施例中，采用由高到低的方式。

需要说明的是，本实施例采取的排序方式仅仅是示例性的说明，并 不构成对排序方式的具体限定。

S63中，目标人脸图像集可以包括一张或多张人脸图像，相应地，确 定人脸择优的目标人脸图像集的方法可以是：当采用由高到低的方式排 序时，选取排在前N位的人脸图像；当采用由低到高的方式排序时，选 取排在后N位的人脸图像，其中，N大于等于1。本实例中，选取排在前 N位的人脸图像。

实施例二

图2为本申请另一个实施例中的人脸图像序列中的人脸择优方法流 程示意图，如图2所示，该方法的执行主体是人脸识别装置。

本实施例人脸图像序列中的人脸择优方法包括以下步骤：

S1、获取目标人脸视频；

具体地，目标人脸视频可以为从视频图像中截取的目标人脸视频。

S2、判断人脸图像数量是否大于预设的数量阈值，若否，丢弃该人 脸图像视频，若是，进入下一步；

对每个人脸图像分别进行以下判断：

S3、判断人脸图像是否处于预设的热点区域，若否，丢弃该人脸图 像，若是，进入下一步；

S4、判断人脸尺寸是否大于预设的尺寸，若否，丢弃该人脸图像， 若是，进入下一步；

具体地，人脸的长宽比范围为[0.8，3]。

S5、判断人脸图像模糊度是否大于预设的模糊度阈值，若否，丢弃 该人脸图像，若是，进入下一步；

S6、判断人脸姿态的偏航角度、俯仰角度、侧偏角度是否大于预设 角度阈值；若否，丢弃该人脸图像，若是，进入下一步；

预设角度阈值包括预设的偏航角阈值、预设的俯仰角阈值和预设的 侧偏角阈值。

本实施例中，预设的人脸姿态估计算法的步骤可以包括：

1)首先定义一个具有8个关键点的3D脸部模型，分别是左眼角， 右眼角，鼻尖，左鼻翼、右鼻翼、左嘴角，右嘴角，下颌；

2)采用人脸检测以及面部关键点检测得到上述3D脸部对应的2D人 脸关键点；

3)采用开源计算机视觉库(Open Source Computer Vision Library， Opencv)的solvePnP函数解出旋转向量；

4)将旋转向量转换为姿态角。

关键点的选择决定了人脸姿态估计的精确度，进而影响人脸识别的 的准确率，数量越多的关键点越有助于提高准确率，但过多的关键点也 会延长计算时间，降低运算效率。通过左眼角，右眼角，鼻尖，左鼻翼、 右鼻翼、左嘴角，右嘴角8个关键点，不仅保证了人脸姿态估计的精确 度，还大大提高运算效率。

S7、对人脸图像进行质量评价，得到质量评分；

S8、判断质量评分是否大于预设分数阈值；若否，丢弃该人脸图像， 若是，进入下一步；

S9、按照质量评分由高到低的顺序对人脸图像序列中的人脸图像进 行质量优劣排序，选取排在前N位的人脸图像输出。

实施例三

本申请第二方面通过实施例三提供了一种电子设备，包括：存储器、 处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程 序被处理器执行时实现如上实施例中任意一项所述的人脸图像序列中的 人脸择优方法的步骤。

图3为本申请又一实施例中的电子设备的架构示意图。

图3所示的电子设备可包括：至少一个处理器101、至少一个存储器 102、至少一个网络接口104和其他的用户接口103。电子设备中的各个 组件通过总线***105耦合在一起。可理解，总线***105用于实现这 些组件之间的连接通信。总线***105除包括数据总线之外，还包括电 源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中 将各种总线都标为总线***105。

其中，用户接口103可以包括显示器、键盘或者点击设备(例如，鼠 标，轨迹球(trackball)或者触感板等。

可以理解，本实施例中的存储器102可以是易失性存储器或非易失 性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存 储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器 (ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM， EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory， RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式 的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机 存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器 (DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储 器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器 (SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本文描述的存储器62旨在包括但不限于 这些和任意其它适合类型的存储器。

在一些实施方式中，存储器102存储了如下的元素，可执行单元或 者数据结构，或者他们的子集，或者他们的扩展集：操作***1021和应 用程序1022。

其中，操作***1021，包含各种***程序，例如框架层、核心库层、 驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序 622，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方 法的程序可以包含在应用程序1022中。

在本发明实施例中，处理器101通过调用存储器102存储的程序或 指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101 用于执行第一方面所提供的方法步骤。

上述本发明实施例揭示的方法可以应用于处理器101中，或者由处 理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理 能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件 的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通 用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其 他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以 实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用 处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结 合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执 行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电 可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质 位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成 上述方法的步骤。

另外，结合上述实施例中的人脸图像序列中的人脸择优方法，本发 明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储 有计算机程序，计算机程序被处理器执行时实现如上方法实施例中的任 意一种人脸图像序列中的人脸择优方法。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标 记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求 中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多 个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助 于适当编程的计算机来实现。词语第一、第二、第三等的使用，仅是为 了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部 分。

此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、 “一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例” 等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者 特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述 术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的 具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以 合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可 以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征 进行结合和组合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了 基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以， 权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和 修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱 离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发 明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和 变型在内。

Claims (10)

1.一种人脸图像序列中的人脸择优方法，其特征在于，该方法包括：

从目标人脸视频中获取人脸图像序列，所述人脸图像序列包括同一人的不小于预设数量的多张人脸图像；

从所述人脸图像序列中选取人脸区域处于预设的热点区域、且人脸尺寸大于预设尺寸的人脸图像，作为候选人脸图像；

基于预设的人脸模糊度阈值和人脸模糊度评优规则，确定所述人脸图像序列中图像模糊度满足人脸模糊度评优规则的候选人脸图像；

基于预设的人脸姿态阈值和人脸姿态评优规则，确定所述人脸图像序列中人脸姿态满足人脸姿态评优规则的候选人脸图像；

基于预先构建的人脸图像质量评价模型对所述人脸图像序列中的候选人脸图像进行质量评价，得到质量评价结果；其中，所述人脸图像质量评价模型是基于深度神经网络构建，用于得到高质量人脸图像的概率值的网络模型；

基于质量评价结果，从满足人脸模糊度评优规则、人脸姿态评优规则的候选人脸图像中提取得到人脸择优的目标人脸图像集。

2.根据权利要求1所述的人脸图像序列中的人脸择优方法，其特征在于，从目标人脸视频中获取人脸图像序列，包括：

S11、获取目标人脸视频；

S12、基于预设的数量阈值和人脸图像数量筛选规则，从所述目标人脸视频中筛选得到满足数量要求的人脸图像序列。

3.根据权利要求1所述的人脸图像序列中的人脸择优方法，其特征在于，所述人脸模糊度评优规则包括：

将人脸图像的模糊度小于预设的人脸模糊度阈值的人脸图像作为满足人脸模糊度评优规则的人脸图像；

将人脸图像的模糊度大于等于预设的人脸模糊度阈值的人脸图像作为不满足人脸模糊度评优规则的人脸图像。

4.根据权利要求1所述的人脸图像序列中的人脸择优方法，其特征在于，所述预设的人脸姿态阈值包括预设的偏航角阈值、预设的俯仰角阈值和预设的侧偏角阈值。

5.根据权利要求4所述的人脸图像序列中的人脸择优方法，其特征在于，人脸姿态评优规则包括：

将偏航角度大于预设的偏航角阈值、俯仰角度大于俯仰角阈值、侧偏角度大于预设的侧偏角阈值的人脸图像作为满足姿态评优规则的图像；

将偏航角度小于等于预设的偏航角阈值，和/或，俯仰角度小于等于俯仰角阈值，和/或，侧偏角度小于等于预设的侧偏角阈值的人脸图像作为不满足姿态评优规则的图像。

6.根据权利要求5所述的人脸图像序列中的人脸择优方法，其特征在于，确定人脸图像序列中满足人脸姿态评优规则的人脸图像，包括：

通过预设的人脸姿态估计算法，对所述人脸图像序列进行处理，得到人脸图像序列中每个人脸图像的人脸姿态信息，所述人脸姿态信息包括人脸图像在三维空间中的偏航角度、俯仰角度、侧偏角度；

若偏航角度大于预设的偏航角阈值、俯仰角度大于俯仰角阈值且侧偏角度大于预设的侧偏角阈值，则人脸图像是满足姿态评优规则的图像；否则，

若偏航角度小于等于预设的偏航角阈值，和/或，俯仰角度小于等于俯仰角阈值，和/或，侧偏角度小于等于预设的侧偏角阈值，则人脸图像是不满足姿态评优规则的图像。

7.根据权利要求6所述的人脸图像序列中的人脸择优方法，其特征在于，预设的人脸姿态估计算法包括：

定义一个具有8个关键点的3D脸部模型，8个关键点分别是左眼角，右眼角，鼻尖，左鼻翼、右鼻翼、左嘴角，右嘴角，下颌；

采用人脸检测以及面部关键点检测得到上述3D脸部对应的2D人脸关键点；

采用开源计算机视觉库Opencv的solvePnP函数解出旋转向量；

将旋转向量转换为姿态角，作为人脸姿态信息。

8.根据权利要求1所述的人脸图像序列中的人脸择优方法，其特征在于，基于质量评价结果，从满足人脸模糊度评优规则、人脸姿态评优规则的候选人脸图像中提取得到人脸择优的目标人脸图像集，包括：

S61、基于人脸图像的评价指标，对人脸图像进行综合质量评价，得到综合质量评分；所述人脸图像的评价指标包括图像亮度、图像对比度、图像模糊度、人脸姿态角、遮挡情况、人脸区域位置、人脸区域大小、人脸图像质量中的一种或多种；

S62、根据每张人脸图像对应的综合质量评分，对满足人脸模糊度评优规则、人脸姿态评优规则且质量评分大于预设分数阈值的候选人脸图像进行质量优劣排序；

S63、根据候选人脸图像的质量优劣排序结果，选取质量最优的N个人脸图像作为人脸择优的目标人脸图像集。

9.根据权利要求8所述的人脸图像序列中的人脸择优方法，其特征在于，基于人脸图像的评价指标，对人脸图像进行综合质量评价，得到综合质量评分，包括：

通过计算人脸图像的评价指标，对各个指标值进行评分，得到指标评分；

将各个指标评分加权平均，将加权平均值作为综合质量评分；

所述评价指标包括图像对比度、图像模糊度、人脸姿态角、人脸图像质量，权重分别为0.1、0.2、0.4、0.3。

10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上权利要求1至9中任一项所述的人脸图像序列中的人脸择优方法的步骤。

Images