CN111241925B - 人脸质量评定方法、***、电子设备及可读存储介质 - Google Patents
人脸质量评定方法、***、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN111241925B CN111241925B CN201911387751.2A CN201911387751A CN111241925B CN 111241925 B CN111241925 B CN 111241925B CN 201911387751 A CN201911387751 A CN 201911387751A CN 111241925 B CN111241925 B CN 111241925B
- Authority
- CN
- China
- Prior art keywords
- face
- neural network
- quality
- classification
- axis direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸质量评定方法,包括步骤:准备包含人脸的图像数据集以及对应的人脸属性标签;进行人脸检测,获得关键点并进行人脸对齐;将人脸图像的像素值进行归一化;评估人脸质量得分,质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出,所述神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估;将各参照因素进行加权计算,获得人脸质量得分。该方法具有质量评定速度快、准确性高的优点,能够在复杂的现实场景下准确地进行识别各类质量属性。
Description
技术领域
本发明涉及图像识别技术领域,特别涉及一种人脸质量评定方法、***、电子设备及可读存储介质。
背景技术
随着移动互联网的发展,大量的人脸图像数据,包括手机,监控图像设备,摄像头拍摄等,出现在人们的生活当中。这些图像数据也广泛地应用于人脸识别,人脸活体检测等相关的技术当中。然而,这些数据因其拍摄设备,拍摄环境,拍摄手法,存储方式,后期处理等因素的影响,具有质量参差不齐的特点。这些质量问题很容易导致活体检测与人脸识别性能的下降。除此之外,在某些应用上要求上传的图像需要符合某些质量规范要求。因此,一套合格的质量判断与择优***无论是对人脸活体检测还是对于人脸识别以及相关的一些规范要求来说都是必要的。
现有的人脸图片质量择优方法主要通过传统的图像处理方法来对图像质量进行判断,而且通常仅对某个方面,例如说模糊,遮挡等进行判断。这些方法基于传统的图像处理与模式匹配,使用了人工设计的特征,鲁棒性较差,难以对各种任务均有效;考虑的质量影响因素较为单一,评价指标较少;使用数据较少,普适性差,无法应对较为复杂的场景。
发明内容
本发明要解决的技术问题是如何提供一种适应多种场景、普适性好的人脸质量评定方法、***、电子设备及可读存储介质。
为了解决上述技术问题,本发明的技术方案为:
第一方面,本发明提出了一种人脸质量评定方法,包括步骤:
准备包含人脸的图像数据集以及对应的人脸属性标签;
进行人脸检测,获得关键点并进行人脸对齐;
将人脸图像的像素值进行归一化;
评估人脸质量得分,质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出,所述神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估;将各参照因素进行加权计算,获得人脸质量得分。
优选地,所述神经网络质量输出包括绕y轴方向的人脸角度、绕x轴方向的人脸角度、绕z轴方向的人脸角度、表情分类、眼镜分类、口罩分类、眼睛状态分类、嘴巴状态分类、妆容状态分类、人脸真实度、人脸模糊度、人脸遮挡度。
优选地,通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估神经网络质量输出的过程包括,
S1:设计网络训练的目标函数,包括多个Softmax损失函数及Euclidean损失函数,分别定义如下:
Softmax损失L:L=-log(pi),
其中pi为每一个属性类计算出的归一化后的概率,即xi表示第i个神经元输出,N表示类别总数;
Euclidean损失L:
其中yi为真实的标签值,为回归器的预测值;
S2:利用已标注好的数据进行训练,得到一个训练模型;然后利用该训练模型对某些样本缺失的标注进行补充,以减少数据标注的稀疏性;
S3:利用S2得到的模型作为新的训练初始化权重,并利用补充标注后的该数据集再次进行端到端的训练;
S4:重复步骤S2及步骤S3直至得到满足条件的网络模型。
优选地,表情分类,眼镜分类,口罩分类,眼睛状态分类,嘴巴状态分类,妆容状态分类采用softmax损失函数作为目标函数;
绕y轴方向的人脸角度,绕x轴方向的人脸角度,对应绕z轴方向的人脸角度,人脸真实度,人脸模糊度,人脸遮挡度则采用Euclidean损失函数作为目标函数;
优选地,绕y轴方向的人脸角度,绕x轴方向的人脸角度,对应绕z轴方向的人脸角度,人脸真实度,人脸模糊度,人脸遮挡度则采用Euclidean损失函数作为目标函数。
优选地,所述人脸亮度为人脸区域的灰度平均值除以255;所述左右脸亮度差异的计算方法为:左脸的亮度值与右脸亮度值之间的差值的绝对值。
优选地,绕y轴方向的人脸角度区间为[-75°,75°];绕x轴方向的人脸角度区间为[-75°,75°];绕z轴方向的人脸角度区间为[-90°,90°];
表情分类为8类:愤怒、恶心、惊恐、开心、正常、悲伤、惊讶、打哈欠;
眼镜分类为3类:无眼镜、正常眼镜、有色眼镜;
口罩分类为2类:无口罩、戴口罩;
眼睛状态为3类:正常睁眼、闭眼、遮挡;
嘴巴状态为3类:正常闭合、张嘴、遮挡;
妆容状态为2类:正常、浓妆;
人脸真实度区分为:石像雕像画像、动画人脸和真实人脸。
第二方面,本发明还提出一种人脸质量评定***,包括:
数据模块:准备包含人脸的图像数据集以及对应的人脸属性标签;
检测模块:进行人脸检测,获得关键点并进行人脸对齐;
归一化模块:将人脸图像的像素值进行归一化;
评估模块:评估人脸质量得分,质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出,所述神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估;将各参照因素进行加权计算,获得人脸质量得分。
第三方面,本发明还提出一种人脸质量评定电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的人脸质量评定方法的步骤。
第四方面,一种人脸质量评定的可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时间实现上述的人脸质量评定方法的步骤。
本发明公开了一种基于深度卷积神经网络和传统图像处理的人脸图像质量判定优劣的方法。在多个数据集上采用深度学习构建多任务的深度卷积神经网络和在部分数据集上采用传统图像处理技术的方式一起,输出多种人脸图像质量的同时,根据适用场景对其进行加权计算,构建了一套人脸图像质量的评估方式。本方法可输出多个人脸图像质量或者进行总体打分,可单独运用在需要控制人脸图像质量的过滤***上;也可在一个时间周期内挑选出最优人脸,配合人脸识别或者活体检测等***,实现更高的效率。本方法具有泛化能力好,速度快,具有普适性等优点。
附图说明
图1为本发明人脸质量评定方法一实施例的步骤流程图;
图2为本发明人脸质量评定方法一实施例的106个人脸关键点的示意图;
图3为本发明人脸质量评定方法一实施例的人脸角度定义图;
图4为本发明人脸质量评定方法另一实施例的步骤流程图;
图5为本发明人脸质量评定方法一实施例的模型训练流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是,对于这些实施方式的说明用于帮助理解本发明,但并不构成对本发明的限定。此外,下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明要解决的技术问题是如何提供一种适应多钟场景、普适性好的人脸质量评定方法、***、电子设备及可读存储介质。
为了解决上述技术问题,本发明的技术方案为:
参照图1,本发明提出了一种人脸质量评定方法,包括步骤:
准备包含人脸的图像数据集以及对应的人脸属性标签;
进行人脸检测,获得关键点并进行人脸对齐;
将人脸图像的像素值进行归一化;
评估人脸质量得分,质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出,神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估;将各参照因素进行加权计算,获得人脸质量得分。
具体地,神经网络质量输出包括绕y轴方向的人脸角度、绕x轴方向的人脸角度、绕z轴方向的人脸角度、表情分类、眼镜分类、口罩分类、眼睛状态分类、嘴巴状态分类、妆容状态分类、人脸真实度、人脸模糊度、人脸遮挡度。
具体地,通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估神经网络质量输出的过程包括,
设计网络训练的目标函数,包括多个Softmax损失函数及Euclidean损失函数,分别定义如下:
Softmax损失L:L=-log(pi),
其中pi为每一个属性类计算出的归一化后的概率,即xi表示第i个神经元输出,N表示类别总数;
Euclidean损失L:
其中yi为真实的标签值,为回归器的预测值。
利用已标注好的数据进行训练,得到一个训练模型;然后利用该训练模型对某些样本缺失的标注进行补充,其选取的为置信度高的样本属性,以减少数据标注的稀疏性;然后得利前述模型作为新的训练初始化权重,并利用补充标注后的该数据集再次进行端到端的训练得到新的模型;重复前面的步骤直到得到满足条件的网络模型。
具体地,表情分类,眼镜分类,口罩分类,眼睛状态分类,嘴巴状态分类,妆容状态分类采用softmax损失函数作为目标函数;
绕y轴方向的人脸角度,绕x轴方向的人脸角度,对应绕z轴方向的人脸角度,人脸真实度,人脸模糊度,人脸遮挡度则采用Euclidean损失函数作为目标函数;
具体地,人脸亮度为人脸区域的灰度平均值除以255;左右脸亮度差异的计算方法为:左脸的亮度值与右脸亮度值之间的差值的绝对值。
绕y轴方向的人脸角度区间为[-75°,75°];绕x轴方向的人脸角度区间为[-75°,75°];绕z轴方向的人脸角度区间为[-90°,90°];
表情分类为8类:愤怒、恶心、惊恐、开心、正常、悲伤、惊讶、打哈欠;
眼镜分类为3类:无眼镜、正常眼镜、有色眼镜;
口罩分类为2类:无口罩、戴口罩;
眼睛状态为3类:正常睁眼、闭眼、遮挡;
嘴巴状态为3类:正常闭合、张嘴、遮挡;
妆容状态为2类:正常、浓妆;
人脸真实度区分为:石像雕像画像、动画人脸和真实人脸。
本发明公开了一种基于深度卷积神经网络和传统图像处理的人脸图像质量判定优劣的方法。在多个数据集上采用深度学习构建多任务的深度卷积神经网络和在部分数据集上采用传统图像处理技术的方式一起,输出多种人脸图像质量的同时,根据适用场景对其进行加权计算,构建了一套人脸图像质量的评估方式。本方法可输出多个人脸图像质量或者进行总体打分,可单独运用在需要控制人脸图像质量的过滤***上;也可在一个时间周期内挑选出最优人脸,配合人脸识别或者活体检测等***,实现更高的效率。本方法具有泛化能力好,速度快,具有普适性等优点。
参照图4及图5,本发明的另一实施例中,人脸质量评定方法的过程如下。
数据集的准备和预处理。准备包含人脸的图像数据集以及对应的人脸属性标签;其中数据集主要包括2个部分,第一部分数据集的主要组成为多个大型公开数据集,人脸更加多样化。这些数据集的标签较为稀疏,具体表现为部分数据集标有角度标签,部分数据集标有眼镜标签,部分数据集标有嘴巴状态标签等等,针对没有标签的质量属性则人工加入适量标签。第二部分数据集的主要组成为少量私有数据库,更加适用于现实场景。
参照图2,对图像进行人脸检测,得出106个人脸关键点后进行人脸对齐。人脸图像大小为112*96像素。
对人脸图像进行归一化。具体为设定平均图像的RGB值为[127.5,127.5,127.5],缩放值为1/127.5。即人脸图像数据集中的每幅人脸图像减去平均图像并乘以缩放值,把图像像素值归一化到[-1,1]之间。
构建质量输出:共有15个质量输出。构建2个光照相关的质量输出。根据106个人脸关键点划分出人脸各个区域,根据人脸区域的灰度平均值计算人脸亮度:
birghtness=mean(人脸区域的灰度值)/255
根据左右脸的灰度平均值计算左右脸亮度差异。
根据人脸关键点,计算两眼间距。构建1个质量输出。
基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络,构建12个质量输出:
绕y轴方向的人脸角度(yaw),绕x轴方向的人脸角度(pitch),绕z轴方向的人脸角度(roll),表情分类,眼镜分类,口罩分类,眼睛状态分类,嘴巴状态分类,妆容状态分类,人脸真实度(该项区分的是石像雕像画像,动漫人脸和真实人脸),人脸模糊度,人脸遮挡度。
参照图3,具体为,绕y轴方向的人脸角度(yaw)区间为[-75°,75°];
绕x轴方向的人脸角度(pitch)区间为[-75°,75°];
绕z轴方向的人脸角度(roll)区间为[-90°,90°];
表情分类为8类:愤怒/恶心/惊恐/开心/正常/悲伤/惊讶/打哈欠;
眼镜分类为3类:无眼镜/正常眼镜/有色眼镜;
口罩分类为2类:无口罩/戴口罩;
眼睛状态为3类:正常睁眼/闭眼/遮挡;
嘴巴状态为3类:正常闭合/张嘴/遮挡;
妆容状态为2类:正常/浓妆;
人脸真实度,该项区分的是石像雕像画像,动画人脸和真实人脸,区间为[0,1];
人脸模糊度区间为[0,1];
人脸遮挡度区间为[0,1];
其中,表情分类,眼镜分类,口罩分类,眼睛状态分类,嘴巴状态分类,妆容状态分类都采用softmax损失函数作为目标函数;饶y轴方向的人脸角度(yaw),绕x轴方向的人脸角度(pitch),对应饶z轴方向的人脸角度(roll),人脸真实度,人脸模糊度,人脸遮挡度则采用Euclidean损失函数作为目标函数。
网络训练的目标函数为多个Softmax损失函数和Euclidean损失函数的组合。多个任务进行共同学习时其损失函数定义如下:
Lmult-itasks=a1·Lage+a2·Lyaw+a3·Lroll+a4·Lpitch+a5·Lemotion+a6·Lglasses+a7·Lmask+a8·Leye+a9·Lmout
+a10·Lmakeup+a11·Lrealist
其中Lmulti-tasks为多任务的总目标优化函数,ai(i=1,,11)分别为预设的各个损失的权重,其取值主要根据损失函数的不同和各个任务的收敛难易程度来设置;Lage,Lyaw,Lroll,Lpitch,Lemotion,Lglasses,Lmask,Leye,Lmouth,Lmakeup,Lrealistic分别为各个任务的损失,具体每个损失参照上述说明
将稀疏标注的数据集放到构建好的卷积神经网络模型中利用反向传播算法进行端到端的训练,得到初始模型。
将数据集送入初始模型进行前向计算,除了已拥有标注的部分质量,该网络模型的高置信度的计算结果将作为协助来补充人脸质量标注,以减少数据集的稀疏性。例如,一张人脸图的眼镜分类识别结果为95%为戴墨镜,该置信度较高,则作为标注;若结果为70%为戴墨镜,该置信度较低,则不作为标注,将该图的眼镜分类的标注空置。
用初始模型进行初始化,利用该数据集再次进行端到端的训练。
可重复以上2步来多次对数据集进行标注补充以得到更加精确的网络模型。
人脸质量评分基于以下15项质量加权计算得出:
人脸亮度(brightness),左右脸亮度差异(side_diff);两眼间距(eye_dist);绕y轴方向的人脸角度(yaw),绕x轴方向的人脸角度(pitch),绕z轴方向的人脸角度(roll),表情分类(emotion),眼镜分类(glasses),口罩分类(mask),眼睛状态分类(eye_status),嘴巴状态分类(mouth_status),妆容状态分类(makeup),人脸真实度(realistic),人脸模糊度(blur),人脸遮挡度(occlusion)。
将各个质量因素标准化。
将人脸光照状态标准化,公式如下:
Ebrightness代表人脸亮度的质量评分,区间为0~1,越大代表光照质量越好。在min_brightness(预先设置的最暗光线值)和max_brightness(预先设置的最亮光线值)之间的视为正常光照。
将左右脸亮度差异标准化,公式如下:
Eside_diff=1-side_diff
代表左右脸亮度差异的质量评分,区间为[0,1],越大代表人脸越均匀,质量越好。
将角度归一化和标准化,公式如下:
Epose=1-(pitch2+yaw2+roll2)/(752+752+902)
代表人脸姿态的综合评分,区间为[0,1],越大表示人脸姿态越好。将两眼间距一化,公式如下:
Eeye_dist=min(eyedist,std_eye_dist)/std_eye_dist
Eeye_dist代表瞳距的质量评分,区间为[0,1],越大代表瞳距质量越好。std_eye_dist为瞳距标准值,设置该项的作用为限制瞳距对整体质量评分的贡献,即当瞳距大于该值时,瞳距再大也不会提升整体质量评分。
将表情归一化,公式如下:
代表表情的质量评分,区间为[0,1],越大代表表情越正常。其中n为表情的输出项数量;emotioni为各个表情项的置信度,取值区间为[0,1];ai为各个表情项的影响因子,相加得1。
眼镜分类,口罩分类,眼镜状态分类,嘴巴状态分类,妆容状态分类的归一化同上。
计算总体的人脸质量评分,
Equality=a1·Epose+a2·Eeye_dist+a3·Eemotion+a4·Eglasses+a5·Emask+a6·Eeye_status+a7·Emouth_status+a8·Emakeup+a9·Erealistic+a10·Eblur+a11·Eocciusion+a12·Ebrightness+a13·Eside_diff
其中,ai(i=1,…13)分别为各个质量项的权重,相加为1。可根据不同场景设置不同的权重分布。Equality越大说明该人脸图像质量越好。
第二方面,本发明还提出一种人脸质量评定***,包括:
数据模块:准备包含人脸的图像数据集以及对应的人脸属性标签;
检测模块:进行人脸检测,获得关键点并进行人脸对齐;
归一化模块:将人脸图像的像素值进行归一化;
评估模块:评估人脸质量得分,质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出,神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估;将各参照因素进行加权计算,获得人脸质量得分。
第三方面,本发明还提出一种人脸质量评定电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述的人脸质量评定方法的步骤。
第四方面,一种人脸质量评定的可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时间实现上述的人脸质量评定方法的步骤。
本发明技术方案,具有速度快的优点。技术方案中的卷积神经网络使用基于多标签学习的方法,可以混合多个人脸质量,发掘他们之间的关联性,提高模型的泛化能力。且能够在复杂的现实场景下准确地进行识别各类质量属性。包含了较为全面的质量影响因子。其整体质量评分由多个不同的质量评价指标加权计算得出,有效避免了单一因子进行质量评价的局限性。
以上结合附图对本发明的实施方式作了详细说明,但本发明不限于所描述的实施方式。对于本领域的技术人员而言,在不脱离本发明原理和精神的情况下,对这些实施方式进行多种变化、修改、替换和变型,仍落入本发明的保护范围内。
Claims (6)
1.一种人脸质量评定方法,其特征在于,包括步骤:
准备包含人脸的图像数据集以及对应的人脸属性标签;
进行人脸检测,获得关键点并进行人脸对齐;
将人脸图像的像素值进行归一化;
评估人脸质量得分,质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出,所述神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估;将各参照因素进行加权计算,获得人脸质量得分;
所述神经网络质量输出包括绕y轴方向的人脸角度、绕x轴方向的人脸角度、绕z轴方向的人脸角度、表情分类、眼镜分类、口罩分类、眼睛状态分类、嘴巴状态分类、妆容状态分类、人脸真实度、人脸模糊度、人脸遮挡度;
通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估神经网络质量输出的过程包括:
S1:设计网络训练的目标函数,包括多个Softmax损失函数及Euclidean损失函数,分别定义如下:
Softmax损失L:L=-log(pi),
其中pi为每一个属性类计算出的归一化后的概率,即xi表示第i个神经元输出,N表示类别总数;
Euclidean损失L:
其中yi为真实的标签值,为回归器的预测值;
S2:利用已标注好的数据进行训练,得到一个训练模型;利用该训练模型对样本缺失的标注进行补充,以减少数据标注的稀疏性;
S3:利用S2得到的模型作为新的训练初始化权重,并利用补充标注后的该数据集再次进行端到端的训练;
S4:重复步骤S2及步骤S3直至得到满足条件的网络模型;
绕y轴方向的人脸角度区间为[-75°,75°];绕x轴方向的人脸角度区间为[-75°,75°];绕z轴方向的人脸角度区间为[-90°,90°];
表情分类为8类:愤怒、恶心、惊恐、开心、正常、悲伤、惊讶、打哈欠;
眼镜分类为3类:无眼镜、正常眼镜、有色眼镜;
口罩分类为2类:无口罩、戴口罩;
眼睛状态为3类:正常睁眼、闭眼、遮挡;
嘴巴状态为3类:正常闭合、张嘴、遮挡;
妆容状态为2类:正常、浓妆;
人脸真实度区分为:石像雕像画像、动画人脸和真实人脸。
2.根据权利要求1所述的人脸质量评定方法,其特征在于:
表情分类,眼镜分类,口罩分类,眼睛状态分类,嘴巴状态分类,妆容状态分类采用Softmax损失函数作为目标函数;
绕y轴方向的人脸角度,绕x轴方向的人脸角度,对应绕z轴方向的人脸角度,人脸真实度,人脸模糊度,人脸遮挡度则采用Euclidean损失函数作为目标函数。
3.根据权利要求2所述的人脸质量评定方法,其特征在于:所述人脸亮度为人脸区域的灰度平均值除以255;所述左右脸亮度差异的计算方法为:左脸的亮度值与右脸亮度值之间的差值的绝对值。
4.一种人脸质量评定***,其特征在于,包括:
数据模块:准备包含人脸的图像数据集以及对应的人脸属性标签;
检测模块:进行人脸检测,获得关键点并进行人脸对齐;
归一化模块:将人脸图像的像素值进行归一化;
评估模块:评估人脸质量得分,质量得分评估的参照因素包括人脸亮度、左右脸亮度差异、两眼间距及神经网络质量输出,所述神经网络质量输出通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估;将各参照因素进行加权计算,获得人脸质量得分;
其中,所述神经网络质量输出包括绕y轴方向的人脸角度、绕x轴方向的人脸角度、绕z轴方向的人脸角度、表情分类、眼镜分类、口罩分类、眼睛状态分类、嘴巴状态分类、妆容状态分类、人脸真实度、人脸模糊度、人脸遮挡度;
通过基于MobileFaceNet的神经网络结构来构建多任务卷积神经网络进行评估神经网络质量输出的过程包括:
S1:设计网络训练的目标函数,包括多个Softmax损失函数及Euclidean损失函数,分别定义如下:
Softmax损失L:L=-log(pi),
其中pi为每一个属性类计算出的归一化后的概率,即xi表示第i个神经元输出,N表示类别总数;
Euclidean损失L:
其中yi为真实的标签值,为回归器的预测值;
S2:利用已标注好的数据进行训练,得到一个训练模型;利用该训练模型对样本缺失的标注进行补充,以减少数据标注的稀疏性;
S3:利用S2得到的模型作为新的训练初始化权重,并利用补充标注后的该数据集再次进行端到端的训练;
S4:重复步骤S2及步骤S3直至得到满足条件的网络模型;
绕y轴方向的人脸角度区间为[-75°,75°];绕x轴方向的人脸角度区间为[-75°,75°];绕z轴方向的人脸角度区间为[-90°,90°];
表情分类为8类:愤怒、恶心、惊恐、开心、正常、悲伤、惊讶、打哈欠;
眼镜分类为3类:无眼镜、正常眼镜、有色眼镜;
口罩分类为2类:无口罩、戴口罩;
眼睛状态为3类:正常睁眼、闭眼、遮挡;
嘴巴状态为3类:正常闭合、张嘴、遮挡;
妆容状态为2类:正常、浓妆;
人脸真实度区分为:石像雕像画像、动画人脸和真实人脸。
5.一种人脸质量评定电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述程序时实现权利要求1-3任一项所述的人脸质量评定方法的步骤。
6.一种人脸质量评定的可读存储介质,其上存储有计算机程序,其特征在于:该计算机程序被处理器执行时间实现权利要求1-3任一项所述的人脸质量评定方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911387751.2A CN111241925B (zh) | 2019-12-30 | 2019-12-30 | 人脸质量评定方法、***、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911387751.2A CN111241925B (zh) | 2019-12-30 | 2019-12-30 | 人脸质量评定方法、***、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111241925A CN111241925A (zh) | 2020-06-05 |
CN111241925B true CN111241925B (zh) | 2023-08-18 |
Family
ID=70875835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911387751.2A Active CN111241925B (zh) | 2019-12-30 | 2019-12-30 | 人脸质量评定方法、***、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111241925B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814840A (zh) * | 2020-06-17 | 2020-10-23 | 恒睿(重庆)人工智能技术研究院有限公司 | 一种人脸图像质量评估方法、***、设备和介质 |
CN111723762B (zh) * | 2020-06-28 | 2023-05-12 | 湖南国科微电子股份有限公司 | 人脸属性识别方法、装置、电子设备及存储介质 |
CN111738179A (zh) * | 2020-06-28 | 2020-10-02 | 湖南国科微电子股份有限公司 | 一种人脸图像质量评估方法、装置、设备、介质 |
CN111967381B (zh) * | 2020-08-16 | 2022-11-11 | 云知声智能科技股份有限公司 | 一种人脸图像质量评分标注方法及装置 |
CN112200010A (zh) * | 2020-09-15 | 2021-01-08 | 青岛邃智信息科技有限公司 | 一种社区监控场景下的人脸采集质量评估策略 |
CN112199530B (zh) * | 2020-10-22 | 2023-04-07 | 天津众颐科技有限责任公司 | 多维度脸库图片自动更新方法、***、设备及介质 |
CN112529845A (zh) * | 2020-11-24 | 2021-03-19 | 浙江大华技术股份有限公司 | 图像质量值确定方法、装置、存储介质及电子装置 |
CN112749687B (zh) * | 2021-01-31 | 2024-06-14 | 云知声智能科技股份有限公司 | 一种图片质量和静默活体检测多任务训练方法和设备 |
CN113011271A (zh) * | 2021-02-23 | 2021-06-22 | 北京嘀嘀无限科技发展有限公司 | 生成和处理图像的方法、装置、设备、介质和程序产品 |
CN113158777B (zh) * | 2021-03-08 | 2024-07-02 | 佳都科技集团股份有限公司 | 质量评分方法、质量评分模型的训练方法及相关装置 |
CN113158860B (zh) * | 2021-04-12 | 2022-06-24 | 烽火通信科技股份有限公司 | 基于深度学习多维度输出人脸质量评估方法与电子设备 |
CN113536900A (zh) * | 2021-05-31 | 2021-10-22 | 浙江大华技术股份有限公司 | 人脸图像的质量评价方法、装置以及计算机可读存储介质 |
CN113436174A (zh) * | 2021-06-30 | 2021-09-24 | 华中科技大学 | 一种人脸质量评估模型的构建方法及应用 |
US11971246B2 (en) | 2021-07-15 | 2024-04-30 | Google Llc | Image-based fitting of a wearable computing device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942525A (zh) * | 2013-12-27 | 2014-07-23 | 高新兴科技集团股份有限公司 | 一种基于视频序列的实时人脸优选方法 |
CN108269250A (zh) * | 2017-12-27 | 2018-07-10 | 武汉烽火众智数字技术有限责任公司 | 基于卷积神经网络评估人脸图像质量的方法和装置 |
CN109815826A (zh) * | 2018-12-28 | 2019-05-28 | 新大陆数字技术股份有限公司 | 人脸属性模型的生成方法及装置 |
WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
CN110147744A (zh) * | 2019-05-09 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 一种人脸图像质量评估方法、装置及终端 |
CN110163114A (zh) * | 2019-04-25 | 2019-08-23 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、***和计算机设备 |
-
2019
- 2019-12-30 CN CN201911387751.2A patent/CN111241925B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942525A (zh) * | 2013-12-27 | 2014-07-23 | 高新兴科技集团股份有限公司 | 一种基于视频序列的实时人脸优选方法 |
WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
CN108269250A (zh) * | 2017-12-27 | 2018-07-10 | 武汉烽火众智数字技术有限责任公司 | 基于卷积神经网络评估人脸图像质量的方法和装置 |
CN109815826A (zh) * | 2018-12-28 | 2019-05-28 | 新大陆数字技术股份有限公司 | 人脸属性模型的生成方法及装置 |
CN110163114A (zh) * | 2019-04-25 | 2019-08-23 | 厦门瑞为信息技术有限公司 | 一种人脸角度及人脸模糊度分析方法、***和计算机设备 |
CN110147744A (zh) * | 2019-05-09 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 一种人脸图像质量评估方法、装置及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN111241925A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111241925B (zh) | 人脸质量评定方法、***、电子设备及可读存储介质 | |
CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
CN110348387B (zh) | 一种图像数据处理方法、装置以及计算机可读存储介质 | |
Shi et al. | A facial expression recognition method based on a multibranch cross-connection convolutional neural network | |
CN106068514B (zh) | 用于在不受约束的媒体中识别面孔的***和方法 | |
WO2020228525A1 (zh) | 地点识别及其模型训练的方法和装置以及电子设备 | |
WO2023050992A1 (zh) | 用于人脸重建的网络训练方法、装置、设备及存储介质 | |
WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
CN112419170B (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
CN109858466A (zh) | 一种基于卷积神经网络的人脸关键点检测方法及装置 | |
US20230081982A1 (en) | Image processing method and apparatus, computer device, storage medium, and computer program product | |
CN107330439A (zh) | 一种图像中物体姿态的确定方法、客户端及服务器 | |
WO2021139557A1 (zh) | 肖像简笔画生成方法、***及绘画机器人 | |
CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
CN112800903A (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及*** | |
WO2021073311A1 (zh) | 图像识别方法、装置、计算机可读存储介质及芯片 | |
CN109711356B (zh) | 一种表情识别方法和*** | |
CN110222572A (zh) | 跟踪方法、装置、电子设备及存储介质 | |
WO2021243947A1 (zh) | 对象再识别方法及装置、终端和存储介质 | |
CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
CN110222718A (zh) | 图像处理的方法及装置 | |
CN110232326A (zh) | 一种三维物体识别方法、装置及存储介质 | |
CN115661246A (zh) | 一种基于自监督学习的姿态估计方法 | |
CN110969089A (zh) | 噪声环境下的轻量级人脸识别***及识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |