CN111241925A - 人脸质量评定方法、***、电子设备及可读存储介质 - Google Patents

人脸质量评定方法、***、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111241925A
CN111241925A CN201911387751.2A CN201911387751A CN111241925A CN 111241925 A CN111241925 A CN 111241925A CN 201911387751 A CN201911387751 A CN 201911387751A CN 111241925 A CN111241925 A CN 111241925A
Authority
CN
China
Prior art keywords
face
human face
quality
neural network
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911387751.2A
Other languages
English (en)
Other versions
CN111241925B (zh
Inventor
王心莹
刘小扬
何学智
林林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Newland Digital Technology Co ltd
Original Assignee
Newland Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Newland Digital Technology Co ltd filed Critical Newland Digital Technology Co ltd
Priority to CN201911387751.2A priority Critical patent/CN111241925B/zh
Publication of CN111241925A publication Critical patent/CN111241925A/zh
Application granted granted Critical
Publication of CN111241925B publication Critical patent/CN111241925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸质量评定方法，包括步骤：准备包含人脸的图像数据集以及对应的人脸属性标签；进行人脸检测，获得关键点并进行人脸对齐；将人脸图像的像素值进行归一化；评估人脸质量得分，质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出，所述神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估；将各参照因素进行加权计算，获得人脸质量得分。该方法具有质量评定速度快、准确性高的优点，能够在复杂的现实场景下准确地进行识别各类质量属性。

Description

人脸质量评定方法、***、电子设备及可读存储介质
技术领域
本发明涉及图像识别技术领域，特别涉及一种人脸质量评定方法、***、电子设备及可读存储介质。
背景技术
随着移动互联网的发展，大量的人脸图像数据，包括手机，监控图像设备，摄像头拍摄等，出现在人们的生活当中。这些图像数据也广泛地应用于人脸识别，人脸活体检测等相关的技术当中。然而，这些数据因其拍摄设备，拍摄环境，拍摄手法，存储方式，后期处理等因素的影响，具有质量参差不齐的特点。这些质量问题很容易导致活体检测与人脸识别性能的下降。除此之外，在某些应用上要求上传的图像需要符合某些质量规范要求。因此，一套合格的质量判断与择优***无论是对人脸活体检测还是对于人脸识别以及相关的一些规范要求来说都是必要的。
现有的人脸图片质量择优方法主要通过传统的图像处理方法来对图像质量进行判断，而且通常仅对某个方面，例如说模糊，遮挡等进行判断。这些方法基于传统的图像处理与模式匹配，使用了人工设计的特征，鲁棒性较差，难以对各种任务均有效；考虑的质量影响因素较为单一，评价指标较少；使用数据较少，普适性差，无法应对较为复杂的场景。
发明内容
本发明要解决的技术问题是如何提供一种适应多种场景、普适性好的人脸质量评定方法、***、电子设备及可读存储介质。
为了解决上述技术问题，本发明的技术方案为：
第一方面，本发明提出了一种人脸质量评定方法，包括步骤：
准备包含人脸的图像数据集以及对应的人脸属性标签；
进行人脸检测，获得关键点并进行人脸对齐；
将人脸图像的像素值进行归一化；
评估人脸质量得分，质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出，所述神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估；将各参照因素进行加权计算，获得人脸质量得分。
优选地，所述神经网络质量输出包括绕y轴方向的人脸角度、绕x轴方向的人脸角度、绕z轴方向的人脸角度、表情分类、眼镜分类、口罩分类、眼睛状态分类、嘴巴状态分类、妆容状态分类、人脸真实度、人脸模糊度、人脸遮挡度。
优选地，通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估神经网络质量输出的过程包括，
S1：设计网络训练的目标函数，包括多个Softmax损失函数及Euclidean损失函数，分别定义如下：
Softmax损失L：L＝-log(pi),
其中pi为每一个属性类计算出的归一化后的概率,即
Figure BDA0002344047180000021
xi表示第i个神经元输出，N表示类别总数；
Euclidean损失L：
Figure BDA0002344047180000022
其中yi为真实的标签值，
Figure BDA0002344047180000023
为回归器的预测值；
S2：利用已标注好的数据进行训练，得到一个训练模型；然后利用该训练模型对某些样本缺失的标注进行补充，以减少数据标注的稀疏性；
S3：利用S2得到的模型作为新的训练初始化权重，并利用补充标注后的该数据集再次进行端到端的训练；
S4：重复步骤S2及步骤S3直至得到满足条件的网络模型。
优选地，表情分类，眼镜分类，口罩分类，眼睛状态分类，嘴巴状态分类，妆容状态分类采用softmax损失函数作为目标函数；
绕y轴方向的人脸角度，绕x轴方向的人脸角度，对应绕z轴方向的人脸角度，人脸真实度，人脸模糊度，人脸遮挡度则采用Euclidean损失函数作为目标函数；
优选地，绕y轴方向的人脸角度，绕x轴方向的人脸角度，对应绕z轴方向的人脸角度，人脸真实度，人脸模糊度，人脸遮挡度则采用Euclidean损失函数作为目标函数。
优选地，所述人脸亮度为人脸区域的灰度平均值除以255；所述左右脸亮度差异的计算方法为：左脸的亮度值与右脸亮度值之间的差值的绝对值。
优选地，绕y轴方向的人脸角度区间为[-75°，75°]；绕x轴方向的人脸角度区间为[-75°，75°]；绕z轴方向的人脸角度区间为[-90°，90°]；
表情分类为8类：愤怒、恶心、惊恐、开心、正常、悲伤、惊讶、打哈欠；
眼镜分类为3类：无眼镜、正常眼镜、有色眼镜；
口罩分类为2类：无口罩、戴口罩；
眼睛状态为3类：正常睁眼、闭眼、遮挡；
嘴巴状态为3类：正常闭合、张嘴、遮挡；
妆容状态为2类：正常、浓妆；
人脸真实度区分为：石像雕像画像、动画人脸和真实人脸。
第二方面，本发明还提出一种人脸质量评定***，包括：
数据模块：准备包含人脸的图像数据集以及对应的人脸属性标签；
检测模块：进行人脸检测，获得关键点并进行人脸对齐；
归一化模块：将人脸图像的像素值进行归一化；
评估模块：评估人脸质量得分，质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出，所述神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估；将各参照因素进行加权计算，获得人脸质量得分。
第三方面，本发明还提出一种人脸质量评定电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的人脸质量评定方法的步骤。
第四方面，一种人脸质量评定的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时间实现上述的人脸质量评定方法的步骤。
本发明公开了一种基于深度卷积神经网络和传统图像处理的人脸图像质量判定优劣的方法。在多个数据集上采用深度学习构建多任务的深度卷积神经网络和在部分数据集上采用传统图像处理技术的方式一起，输出多种人脸图像质量的同时，根据适用场景对其进行加权计算，构建了一套人脸图像质量的评估方式。本方法可输出多个人脸图像质量或者进行总体打分，可单独运用在需要控制人脸图像质量的过滤***上；也可在一个时间周期内挑选出最优人脸，配合人脸识别或者活体检测等***，实现更高的效率。本方法具有泛化能力好，速度快，具有普适性等优点。
附图说明
图1为本发明人脸质量评定方法一实施例的步骤流程图；
图2为本发明人脸质量评定方法一实施例的106个人脸关键点的示意图；
图3为本发明人脸质量评定方法一实施例的人脸角度定义图；
图4为本发明人脸质量评定方法另一实施例的步骤流程图；
图5为本发明人脸质量评定方法一实施例的模型训练流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明要解决的技术问题是如何提供一种适应多钟场景、普适性好的人脸质量评定方法、***、电子设备及可读存储介质。
为了解决上述技术问题，本发明的技术方案为：
参照图1，本发明提出了一种人脸质量评定方法，包括步骤：
准备包含人脸的图像数据集以及对应的人脸属性标签；
进行人脸检测，获得关键点并进行人脸对齐；
将人脸图像的像素值进行归一化；
评估人脸质量得分，质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出，神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估；将各参照因素进行加权计算，获得人脸质量得分。
具体地，神经网络质量输出包括绕y轴方向的人脸角度、绕x轴方向的人脸角度、绕z轴方向的人脸角度、表情分类、眼镜分类、口罩分类、眼睛状态分类、嘴巴状态分类、妆容状态分类、人脸真实度、人脸模糊度、人脸遮挡度。
具体地，通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估神经网络质量输出的过程包括，
设计网络训练的目标函数，包括多个Softmax损失函数及Euclidean损失函数，分别定义如下：
Softmax损失L：L＝-log(pi),
其中pi为每一个属性类计算出的归一化后的概率,即
Figure BDA0002344047180000041
xi表示第i个神经元输出，N表示类别总数；
Euclidean损失L：
Figure BDA0002344047180000042
其中yi为真实的标签值，
Figure BDA0002344047180000043
为回归器的预测值。
利用已标注好的数据进行训练，得到一个训练模型；然后利用该训练模型对某些样本缺失的标注进行补充，其选取的为置信度高的样本属性，以减少数据标注的稀疏性；然后得利前述模型作为新的训练初始化权重，并利用补充标注后的该数据集再次进行端到端的训练得到新的模型；重复前面的步骤直到得到满足条件的网络模型。
具体地，表情分类，眼镜分类，口罩分类，眼睛状态分类，嘴巴状态分类，妆容状态分类采用softmax损失函数作为目标函数；
绕y轴方向的人脸角度，绕x轴方向的人脸角度，对应绕z轴方向的人脸角度，人脸真实度，人脸模糊度，人脸遮挡度则采用Euclidean损失函数作为目标函数；
具体地，人脸亮度为人脸区域的灰度平均值除以255；左右脸亮度差异的计算方法为：左脸的亮度值与右脸亮度值之间的差值的绝对值。
绕y轴方向的人脸角度区间为[-75°，75°]；绕x轴方向的人脸角度区间为[-75°，75°]；绕z轴方向的人脸角度区间为[-90°，90°]；
表情分类为8类：愤怒、恶心、惊恐、开心、正常、悲伤、惊讶、打哈欠；
眼镜分类为3类：无眼镜、正常眼镜、有色眼镜；
口罩分类为2类：无口罩、戴口罩；
眼睛状态为3类：正常睁眼、闭眼、遮挡；
嘴巴状态为3类：正常闭合、张嘴、遮挡；
妆容状态为2类：正常、浓妆；
人脸真实度区分为：石像雕像画像、动画人脸和真实人脸。
本发明公开了一种基于深度卷积神经网络和传统图像处理的人脸图像质量判定优劣的方法。在多个数据集上采用深度学习构建多任务的深度卷积神经网络和在部分数据集上采用传统图像处理技术的方式一起，输出多种人脸图像质量的同时，根据适用场景对其进行加权计算，构建了一套人脸图像质量的评估方式。本方法可输出多个人脸图像质量或者进行总体打分，可单独运用在需要控制人脸图像质量的过滤***上；也可在一个时间周期内挑选出最优人脸，配合人脸识别或者活体检测等***，实现更高的效率。本方法具有泛化能力好，速度快，具有普适性等优点。
参照图4及图5，本发明的另一实施例中，人脸质量评定方法的过程如下。
数据集的准备和预处理。准备包含人脸的图像数据集以及对应的人脸属性标签；其中数据集主要包括2个部分，第一部分数据集的主要组成为多个大型公开数据集，人脸更加多样化。这些数据集的标签较为稀疏，具体表现为部分数据集标有角度标签，部分数据集标有眼镜标签，部分数据集标有嘴巴状态标签等等，针对没有标签的质量属性则人工加入适量标签。第二部分数据集的主要组成为少量私有数据库，更加适用于现实场景。
参照图2，对图像进行人脸检测，得出106个人脸关键点后进行人脸对齐。人脸图像大小为112*96像素。
对人脸图像进行归一化。具体为设定平均图像的RGB值为[127.5,127.5,127.5]，缩放值为1/127.5。即人脸图像数据集中的每幅人脸图像减去平均图像并乘以缩放值，把图像像素值归一化到[-1,1]之间。
构建质量输出：共有15个质量输出。构建2个光照相关的质量输出。根据106个人脸关键点划分出人脸各个区域，根据人脸区域的灰度平均值计算人脸亮度:
birghtness＝mean(人脸区域的灰度值)/255
根据左右脸的灰度平均值计算左右脸亮度差异。
Figure BDA0002344047180000051
根据人脸关键点，计算两眼间距。构建1个质量输出。
Figure BDA0002344047180000052
基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络，构建12个质量输出：
绕y轴方向的人脸角度(yaw)，绕x轴方向的人脸角度(pitch)，绕z轴方向的人脸角度(roll)，表情分类，眼镜分类，口罩分类，眼睛状态分类，嘴巴状态分类，妆容状态分类，人脸真实度(该项区分的是石像雕像画像，动漫人脸和真实人脸)，人脸模糊度，人脸遮挡度。
参照图3，具体为，绕y轴方向的人脸角度(yaw)区间为[-75°，75°]；
绕x轴方向的人脸角度(pitch)区间为[-75°，75°]；
绕z轴方向的人脸角度(roll)区间为[-90°，90°]；
表情分类为8类：愤怒/恶心/惊恐/开心/正常/悲伤/惊讶/打哈欠；
眼镜分类为3类：无眼镜/正常眼镜/有色眼镜；
口罩分类为2类：无口罩/戴口罩；
眼睛状态为3类：正常睁眼/闭眼/遮挡；
嘴巴状态为3类：正常闭合/张嘴/遮挡；
妆容状态为2类：正常/浓妆；
人脸真实度，该项区分的是石像雕像画像，动画人脸和真实人脸，区间为[0,1]；
人脸模糊度区间为[0,1]；
人脸遮挡度区间为[0,1]；
其中，表情分类，眼镜分类，口罩分类，眼睛状态分类，嘴巴状态分类，妆容状态分类都采用softmax损失函数作为目标函数；饶y轴方向的人脸角度(yaw)，绕x轴方向的人脸角度(pitch)，对应饶z轴方向的人脸角度(roll)，人脸真实度，人脸模糊度，人脸遮挡度则采用Euclidean损失函数作为目标函数。
网络训练的目标函数为多个Softmax损失函数和Euclidean损失函数的组合。多个任务进行共同学习时其损失函数定义如下：
Lmult-itasks＝a1·Lage+a2·Lyaw+a3·Lroll+a4·Lpitch+a5·Lemotion+a6·Lglasses+a7·Lmask+a8·Leye+a9·Lmout
+a10·Lmakeup+a11·Lrealist
其中Lmulti-tasks为多任务的总目标优化函数，ai(i＝1,,11)分别为预设的各个损失的权重，
Figure BDA0002344047180000061
其取值主要根据损失函数的不同和各个任务的收敛难易程度来设置；Lage,Lyaw,Lroll,Lpitch,Lemotion,Lglasses,Lmask,Leye,Lmouth,Lmakeup,Lrealistic分别为各个任务的损失，具体每个损失参照上述说明
将稀疏标注的数据集放到构建好的卷积神经网络模型中利用反向传播算法进行端到端的训练，得到初始模型。
将数据集送入初始模型进行前向计算，除了已拥有标注的部分质量，该网络模型的高置信度的计算结果将作为协助来补充人脸质量标注，以减少数据集的稀疏性。例如，一张人脸图的眼镜分类识别结果为95％为戴墨镜，该置信度较高，则作为标注；若结果为70％为戴墨镜，该置信度较低，则不作为标注，将该图的眼镜分类的标注空置。
用初始模型进行初始化，利用该数据集再次进行端到端的训练。
可重复以上2步来多次对数据集进行标注补充以得到更加精确的网络模型。
人脸质量评分基于以下15项质量加权计算得出：
人脸亮度(brightness)，左右脸亮度差异(side_diff)；两眼间距(eye_dist)；绕y轴方向的人脸角度(yaw)，绕x轴方向的人脸角度(pitch)，绕z轴方向的人脸角度(roll)，表情分类(emotion)，眼镜分类(glasses)，口罩分类(mask)，眼睛状态分类(eye_status)，嘴巴状态分类(mouth_status)，妆容状态分类(makeup)，人脸真实度(realistic)，人脸模糊度(blur)，人脸遮挡度(occlusion)。
将各个质量因素标准化。
将人脸光照状态标准化，公式如下：
Figure BDA0002344047180000071
Ebrightness代表人脸亮度的质量评分，区间为0～1，越大代表光照质量越好。在min_brightness(预先设置的最暗光线值)和max_brightness(预先设置的最亮光线值)之间的视为正常光照。
将左右脸亮度差异标准化，公式如下：
Eside_diff＝1-side_diff
代表左右脸亮度差异的质量评分，区间为[0，1]，越大代表人脸越均匀，质量越好。
将角度归一化和标准化，公式如下：
Epose＝1-(pitch2+yaw2+roll2)/(752+752+902)
代表人脸姿态的综合评分，区间为[0，1]，越大表示人脸姿态越好。将两眼间距一化，公式如下：
Eeye_dist＝min(eyedist，std_eye_dist)/std_eye_dist
Eeye_dist代表瞳距的质量评分，区间为[0，1]，越大代表瞳距质量越好。std_eye_dist为瞳距标准值，设置该项的作用为限制瞳距对整体质量评分的贡献，即当瞳距大于该值时，瞳距再大也不会提升整体质量评分。
将表情归一化，公式如下：
Figure BDA0002344047180000072
Figure BDA0002344047180000073
代表表情的质量评分，区间为[0，1]，越大代表表情越正常。其中n为表情的输出项数量；emotioni为各个表情项的置信度，取值区间为[0，1]；ai为各个表情项的影响因子，相加得1。
眼镜分类，口罩分类，眼镜状态分类，嘴巴状态分类，妆容状态分类的归一化同上。
计算总体的人脸质量评分，
Equality＝a1·Epose+a2·Eeye_dist+a3·Eemotion+a4·Eglasses+a5·Emask+a6·Eeye_status+a7·Emouth_status+a8·Emakeup+a9·Erealistic+a10·Eblur+a11·Eocciusion+a12·Ebrightness+a13·Eside_diff
其中，ai(i＝1，…13)分别为各个质量项的权重，相加为1。可根据不同场景设置不同的权重分布。Equality越大说明该人脸图像质量越好。
第二方面，本发明还提出一种人脸质量评定***，包括：
数据模块：准备包含人脸的图像数据集以及对应的人脸属性标签；
检测模块：进行人脸检测，获得关键点并进行人脸对齐；
归一化模块：将人脸图像的像素值进行归一化；
评估模块：评估人脸质量得分，质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出，神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估；将各参照因素进行加权计算，获得人脸质量得分。
第三方面，本发明还提出一种人脸质量评定电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述的人脸质量评定方法的步骤。
第四方面，一种人脸质量评定的可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时间实现上述的人脸质量评定方法的步骤。
本发明技术方案，具有速度快的优点。技术方案中的卷积神经网络使用基于多标签学习的方法，可以混合多个人脸质量，发掘他们之间的关联性，提高模型的泛化能力。且能够在复杂的现实场景下准确地进行识别各类质量属性。包含了较为全面的质量影响因子。其整体质量评分由多个不同的质量评价指标加权计算得出，有效避免了单一因子进行质量评价的局限性。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (9)

1.一种人脸质量评定方法，其特征在于，包括步骤：
准备包含人脸的图像数据集以及对应的人脸属性标签；
进行人脸检测，获得关键点并进行人脸对齐；
将人脸图像的像素值进行归一化；
评估人脸质量得分，质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出，所述神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估；将各参照因素进行加权计算，获得人脸质量得分。
2.根据权利要求1所述的人脸质量评定方法，其特征在于：所述神经网络质量输出包括绕y轴方向的人脸角度、绕x轴方向的人脸角度、绕z轴方向的人脸角度、表情分类、眼镜分类、口罩分类、眼睛状态分类、嘴巴状态分类、妆容状态分类、人脸真实度、人脸模糊度、人脸遮挡度。
3.根据权利要求2所述的人脸质量评定方法，其特征在于，通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估神经网络质量输出的过程包括：
S1：设计网络训练的目标函数，包括多个Softmax损失函数及Euclidean损失函数，分别定义如下：
Softmax损失L：L＝-log(pi),
其中pi为每一个属性类计算出的归一化后的概率,即
Figure FDA0002344047170000011
xi表示第i个神经元输出，N表示类别总数；
Euclidean损失L：
Figure FDA0002344047170000012
其中yi为真实的标签值，
Figure FDA0002344047170000013
为回归器的预测值；
S2：利用已标注好的数据进行训练，得到一个训练模型；利用该训练模型对样本缺失的标注进行补充，以减少数据标注的稀疏性；
S3：利用S2得到的模型作为新的训练初始化权重，并利用补充标注后的该数据集再次进行端到端的训练；
S4：重复步骤S2及步骤S3直至得到满足条件的网络模型。
4.根据权利要求3所述的人脸质量评定方法，其特征在于：
表情分类，眼镜分类，口罩分类，眼睛状态分类，嘴巴状态分类，妆容状态分类采用Softmax损失函数作为目标函数；
绕y轴方向的人脸角度，绕x轴方向的人脸角度，对应绕z轴方向的人脸角度，人脸真实度，人脸模糊度，人脸遮挡度则采用Euclidean损失函数作为目标函数。
5.根据权利要求2所述的人脸质量评定方法，其特征在于：所述人脸亮度为人脸区域的灰度平均值除以255；所述左右脸亮度差异的计算方法为：左脸的亮度值与右脸亮度值之间的差值的绝对值。
6.根据权利要求2所述的人脸质量评定方法，其特征在于：
绕y轴方向的人脸角度区间为[-75°，75°]；绕x轴方向的人脸角度区间为[-75°，75°]；绕z轴方向的人脸角度区间为[-90°，90°]；
表情分类为8类：愤怒、恶心、惊恐、开心、正常、悲伤、惊讶、打哈欠；
眼镜分类为3类：无眼镜、正常眼镜、有色眼镜；
口罩分类为2类：无口罩、戴口罩；
眼睛状态为3类：正常睁眼、闭眼、遮挡；
嘴巴状态为3类：正常闭合、张嘴、遮挡；
妆容状态为2类：正常、浓妆；
人脸真实度区分为：石像雕像画像、动画人脸和真实人脸。
7.一种人脸质量评定***，其特征在于，包括：
数据模块：准备包含人脸的图像数据集以及对应的人脸属性标签；
检测模块：进行人脸检测，获得关键点并进行人脸对齐；
归一化模块：将人脸图像的像素值进行归一化；
评估模块：评估人脸质量得分，质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出，所述神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估；将各参照因素进行加权计算，获得人脸质量得分。
8.一种人脸质量评定电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-6任一项所述的人脸质量评定方法的步骤。
9.一种人脸质量评定的可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时间实现权利要求1-6任一项所述的人脸质量评定方法的步骤。
CN201911387751.2A 2019-12-30 2019-12-30 人脸质量评定方法、***、电子设备及可读存储介质 Active CN111241925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911387751.2A CN111241925B (zh) 2019-12-30 2019-12-30 人脸质量评定方法、***、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911387751.2A CN111241925B (zh) 2019-12-30 2019-12-30 人脸质量评定方法、***、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111241925A true CN111241925A (zh) 2020-06-05
CN111241925B CN111241925B (zh) 2023-08-18

Family

ID=70875835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911387751.2A Active CN111241925B (zh) 2019-12-30 2019-12-30 人脸质量评定方法、***、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111241925B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723762A (zh) * 2020-06-28 2020-09-29 湖南国科微电子股份有限公司 人脸属性识别方法、装置、电子设备及存储介质
CN111738179A (zh) * 2020-06-28 2020-10-02 湖南国科微电子股份有限公司 一种人脸图像质量评估方法、装置、设备、介质
CN111814840A (zh) * 2020-06-17 2020-10-23 恒睿(重庆)人工智能技术研究院有限公司 一种人脸图像质量评估方法、***、设备和介质
CN111967381A (zh) * 2020-08-16 2020-11-20 云知声智能科技股份有限公司 一种人脸图像质量评分标注方法及装置
CN112200010A (zh) * 2020-09-15 2021-01-08 青岛邃智信息科技有限公司 一种社区监控场景下的人脸采集质量评估策略
CN112199530A (zh) * 2020-10-22 2021-01-08 天津众颐科技有限责任公司 多维度脸库图片自动更新方法、***、设备及介质
CN112529845A (zh) * 2020-11-24 2021-03-19 浙江大华技术股份有限公司 图像质量值确定方法、装置、存储介质及电子装置
CN112749687A (zh) * 2021-01-31 2021-05-04 云知声智能科技股份有限公司 一种图片质量和静默活体检测多任务训练方法和设备
CN113011271A (zh) * 2021-02-23 2021-06-22 北京嘀嘀无限科技发展有限公司 生成和处理图像的方法、装置、设备、介质和程序产品
CN113158777A (zh) * 2021-03-08 2021-07-23 佳都新太科技股份有限公司 质量评分方法、质量评分模型的训练方法及相关装置
CN113158860A (zh) * 2021-04-12 2021-07-23 烽火通信科技股份有限公司 基于深度学习多维度输出人脸质量评估方法与电子设备
CN113436174A (zh) * 2021-06-30 2021-09-24 华中科技大学 一种人脸质量评估模型的构建方法及应用
CN113536900A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 人脸图像的质量评价方法、装置以及计算机可读存储介质
US11971246B2 (en) 2021-07-15 2024-04-30 Google Llc Image-based fitting of a wearable computing device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942525A (zh) * 2013-12-27 2014-07-23 高新兴科技集团股份有限公司 一种基于视频序列的实时人脸优选方法
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN109815826A (zh) * 2018-12-28 2019-05-28 新大陆数字技术股份有限公司 人脸属性模型的生成方法及装置
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN110147744A (zh) * 2019-05-09 2019-08-20 腾讯科技（深圳）有限公司 一种人脸图像质量评估方法、装置及终端
CN110163114A (zh) * 2019-04-25 2019-08-23 厦门瑞为信息技术有限公司 一种人脸角度及人脸模糊度分析方法、***和计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942525A (zh) * 2013-12-27 2014-07-23 高新兴科技集团股份有限公司 一种基于视频序列的实时人脸优选方法
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN109815826A (zh) * 2018-12-28 2019-05-28 新大陆数字技术股份有限公司 人脸属性模型的生成方法及装置
CN110163114A (zh) * 2019-04-25 2019-08-23 厦门瑞为信息技术有限公司 一种人脸角度及人脸模糊度分析方法、***和计算机设备
CN110147744A (zh) * 2019-05-09 2019-08-20 腾讯科技（深圳）有限公司 一种人脸图像质量评估方法、装置及终端

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814840A (zh) * 2020-06-17 2020-10-23 恒睿(重庆)人工智能技术研究院有限公司 一种人脸图像质量评估方法、***、设备和介质
CN111738179A (zh) * 2020-06-28 2020-10-02 湖南国科微电子股份有限公司 一种人脸图像质量评估方法、装置、设备、介质
CN111723762A (zh) * 2020-06-28 2020-09-29 湖南国科微电子股份有限公司 人脸属性识别方法、装置、电子设备及存储介质
CN111723762B (zh) * 2020-06-28 2023-05-12 湖南国科微电子股份有限公司 人脸属性识别方法、装置、电子设备及存储介质
CN111967381B (zh) * 2020-08-16 2022-11-11 云知声智能科技股份有限公司 一种人脸图像质量评分标注方法及装置
CN111967381A (zh) * 2020-08-16 2020-11-20 云知声智能科技股份有限公司 一种人脸图像质量评分标注方法及装置
CN112200010A (zh) * 2020-09-15 2021-01-08 青岛邃智信息科技有限公司 一种社区监控场景下的人脸采集质量评估策略
CN112199530A (zh) * 2020-10-22 2021-01-08 天津众颐科技有限责任公司 多维度脸库图片自动更新方法、***、设备及介质
CN112199530B (zh) * 2020-10-22 2023-04-07 天津众颐科技有限责任公司 多维度脸库图片自动更新方法、***、设备及介质
CN112529845A (zh) * 2020-11-24 2021-03-19 浙江大华技术股份有限公司 图像质量值确定方法、装置、存储介质及电子装置
CN112749687A (zh) * 2021-01-31 2021-05-04 云知声智能科技股份有限公司 一种图片质量和静默活体检测多任务训练方法和设备
CN112749687B (zh) * 2021-01-31 2024-06-14 云知声智能科技股份有限公司 一种图片质量和静默活体检测多任务训练方法和设备
CN113011271A (zh) * 2021-02-23 2021-06-22 北京嘀嘀无限科技发展有限公司 生成和处理图像的方法、装置、设备、介质和程序产品
CN113158777A (zh) * 2021-03-08 2021-07-23 佳都新太科技股份有限公司 质量评分方法、质量评分模型的训练方法及相关装置
CN113158860A (zh) * 2021-04-12 2021-07-23 烽火通信科技股份有限公司 基于深度学习多维度输出人脸质量评估方法与电子设备
CN113536900A (zh) * 2021-05-31 2021-10-22 浙江大华技术股份有限公司 人脸图像的质量评价方法、装置以及计算机可读存储介质
CN113436174A (zh) * 2021-06-30 2021-09-24 华中科技大学 一种人脸质量评估模型的构建方法及应用
US11971246B2 (en) 2021-07-15 2024-04-30 Google Llc Image-based fitting of a wearable computing device

Also Published As

Publication number Publication date
CN111241925B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111241925A (zh) 人脸质量评定方法、***、电子设备及可读存储介质
CN111950649B (zh) 基于注意力机制与胶囊网络的低照度图像分类方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
WO2021155706A1 (zh) 利用不平衡正负样本对业务预测模型训练的方法及装置
CN107153816A (zh) 一种用于鲁棒人脸识别的数据增强方法
CN111274916B (zh) 人脸识别方法和人脸识别装置
CN110288555B (zh) 一种基于改进的胶囊网络的低照度增强方法
WO2022156640A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
Li et al. Deep dehazing network with latent ensembling architecture and adversarial learning
CN113158862B (zh) 一种基于多任务的轻量级实时人脸检测方法
CN109858368B (zh) 一种基于Rosenbrock-PSO的人脸识别攻击防御方法
CN109858466A (zh) 一种基于卷积神经网络的人脸关键点检测方法及装置
CN111325152A (zh) 一种基于深度学习的交通标志识别方法
CN112614077A (zh) 一种基于生成对抗网络的非监督低照度图像增强方法
CN109800817B (zh) 基于融合语义神经网络的图像分类方法
CN106068514A (zh) 用于在不受约束的媒体中识别面孔的***和方法
WO2021243947A1 (zh) 对象再识别方法及装置、终端和存储介质
CN115661246A (zh) 一种基于自监督学习的姿态估计方法
CN112597993A (zh) 基于补丁检测的对抗防御模型训练方法
CN113743426A (zh) 一种训练方法、装置、设备以及计算机可读存储介质
CN113436174A (zh) 一种人脸质量评估模型的构建方法及应用
JP7475745B1 (ja) バイナリ協調フィードバックに基づく無人航空機のスマートクルーズ検出方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及***
Zhang et al. A novel DenseNet Generative Adversarial network for Heterogenous low-Light image enhancement
CN116452472A (zh) 基于语义知识引导的低照度图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant