CN110619628B - 一种人脸图像质量评估方法 - Google Patents

Abstract

本发明公开了一种人脸图像质量评估方法，包括以下步骤：S1、获取待评估的人像图片；S2、对人像图片进行模糊判定，通过人像图片的像素均方差计算人像图片的模糊量评分；S3、对人像图片进行光照质量判定；S31、将人像图片的RGB颜色空间转换为HSV彩色空间；S32、通过人脸检测算法对人像图片中的人脸区域进行截取；S33、计算人脸区域内的明度均值作为人脸光照的量化数值；S34、通过人脸光照的量化数值计算光照质量评分；S4、对人像图片进行人脸姿态判定，通过人脸姿态角度值计算出人脸姿态评分；S5、将人像图片的模糊量评分、光照质量评分、人脸姿态评分赋予不同的权重，求和后即得到人脸图像的质量评估分数值。

Description

一种人脸图像质量评估方法

技术领域

本发明涉及图像处理领域，尤其涉及一种人脸图像质量评估方法。

背景技术

人脸识别技术在视频监控，公共安全，门禁认证等领域有广泛的应用前景。人脸识别技术也涉及多个学科的知识，受到各国政府和公司的高度关注和广泛的研究。在自然条件下，人脸识别还是有一些非常具有挑战性的难题。人脸图片质量对人脸检测效果有非常大的影响。人脸识别属于非接触性生物识别，造成了有很多因素会影响到人脸图片质量。

人脸图像质量评估也有了很多算法。基于纹理特征融合的人脸图像质量评估算法：从视频序列中选取同一人的高质量人脸图像是人脸识别技术的关键步骤。为了提升人脸图像评估的可靠性，首先，针对人脸图像提取HOG、GIST、GABOR和LBP等纹理特征；接着，根据标注数据训练分类器，实现单特征得分评估；再将多特征得分值融合成特征向量；最后，通过多项式核函数升维得到新的特征向量，并根据该特征训练SVMs分类器，以回归人脸图像质量得分。基于特征融合的方法能有效提升人脸图像质量评估的效果，特别是HOG-GIST特征组合的算法具有很好的效率，目标人脸在不同姿势及遮挡的情况都能得到可靠的评估结果。但是其指标过少，无法覆盖所有情况。

融合二级评价指标的人脸图像质量评价方法：针对姿态和光照对人脸的干扰,基于子区域直方图距离的人脸对称度评价,用于评估非对称光照和姿态对人脸质量的影响。针对含有人脸的原始图像质量的第一级评价与针对人脸有效区域的第二级评价相融合的评价策略,第一级评价的反馈信息能有效指导图像采集环境构建和改善,为后期人脸检测和识别提供优质图像源。主要评价指标包括:对比度、适宜度、对称度、清晰度、人脸有效区域面积等物理参数。但是其各权重指标难以确定，需在大数据库中进行调整。

基于卷积神经网络的人脸图像质量评价：针对人脸识别过程中人脸图像质量较低造成的低识别率问题，首先建立一个卷积神经网络模型，提取人脸图像质量的深层语义信息；然后在无约束环境下收集人脸图像，并通过传统的图像处理方法以及人工筛选进行过滤，得到的数据集用以进行模型参数的训练；其次通过在图形处理器(GPU)上加速训练，得到用于拟合人脸图像到类别的映射关系；最后将输入在高质量图像类别的概率作为图像的质量得分，建立人脸图像的质量打分机制。与VGG-16网络相比，此模型准确率降低了0.21个百分点，但是参数规模减小了98％，极大地提高了模型运算效率；同时模型在人脸模糊、光照、姿态和遮挡方面都具有较强的判别能力，其缺点为：该模型的准确性和适应性仍有待提高。

发明内容

本发明目的是针对上述问题，提供一种准确性更高的人脸图像质量评估方法。

为了实现上述目的，本发明的技术方案是：

一种人脸图像质量评估方法，包括以下步骤：

S1、获取待评估的人像图片；

S2、对人像图片进行模糊判定；

S21、对人像图片的边缘点进行检测；

S22、计算人像图片中的像素均方差，通过像素均方差计算人像图片的模糊量评分；

S3、对人像图片进行光照质量判定；

S31、将人像图片的RGB颜色空间转换为HSV彩色空间；

S32、通过人脸检测算法对人像图片中的人脸区域进行截取；

S33、计算人脸区域内的明度均值作为人脸光照的量化数值；

S34、通过人脸光照的量化数值计算光照质量评分；

S4、对人像图片进行人脸姿态判定；

S41、采用深度学习算法检测出人像图片中的人脸关键点信息；

S42、通过人脸关键点信息计算出人脸姿态角度值；

S43、通过人脸姿态角度值计算出人脸姿态评分；

S5、将人像图片的模糊量评分、光照质量评分、人脸姿态评分赋予不同的权重，求和后即得到人脸图像的质量评估分数值。

进一步的，所述步骤S21中人像图片的边缘点包括以下步骤：

S211、计算当前像素点的水平绝对差，其公式为：

D_h(x,y)＝|f(x,y+1)-f(x,y-1)|；

其中，f(x,y)表示当前像素点，x∈[1,M],y∈[1,N]；

S212、计算人像图片中所有像素点的水平绝对差的平均值，其公式为：

S213、当当前像素点的D_h(x,y)大于D_h-mean，则当前像素点就是一个候选的边缘点，当当前像素点的D_h(x,y)比其水平方向两个相邻的点{C_h(x,y-1),C_h(x,y+1)}都大，则当前像素点就被确认为一个边缘点；边缘点的判断公式为：

进一步的，所述步骤S34中光照质量评分的计算公式为：

其中，V_f为人脸光照的量化数值，

进一步的，所述步骤S42中通过人脸关键点信息计算出人脸姿态角度值包括以下步骤：

S421、通过人脸关键点信息计算出人脸姿态的旋转向量；

S422、将人脸姿态的旋转向量转换为四元数；

S423、将四元数转换为欧拉角，该欧拉角即为人脸姿态角度值。

进一步的，所述步骤S43中通过人脸姿态角度值计算出人脸姿态评分的计算公式为：

其中，权重分别为ω₁＝0.5、ω₂＝1.2、ω₃＝1.1，偏置参数为b＝15；Yaw为摇头角度值；Pitch为点头角度值；Roll为摆头角度值。

进一步的，所述步骤S5中质量评估分数值的计算公式为：

score＝ω₁*score_blur+ω₂*score_light+ω₃*score_pose；

其中，权重分别为ω₁＝0.3、ω₂＝0.3、ω₃＝0.4；score_blur为模糊量评分，scroe_light为光照质量评分，score_pose为人脸姿态评分。

与现有技术相比，本发明具有的优点和积极效果是：

本发明通过对图像进行模糊判定、光照轻度判定、人脸姿态判定的设计，多方面对人脸图像的质量进行了评估，得到的质量评估结果更加客观，有效的提高了图像评估的准确性，其使得计算机能够正确的评价图像质量，并且将人对图像质量的主观感受用指标加以表达，为图像处理***的性能评估提供了依据；另一方面，本发明可以改善人脸识别***的总体性能，可以有效改善由于输入图像质量过低引起的错误，节省***匹配时间，从而提高了人脸识别***的工作效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为人脸关键点示意图；

图2为人脸姿态示意图；

图3为图片质量评估在人脸识别***中的应用流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

如图1、图2和图3所示，本发明提出了一种人像图片质量评估方法及***，包括模糊判定，光照质量判定，人脸姿态判定。

(1)模糊判定可通过人脸检测接口，基于对应阈值，进行质量检测的判断，以保证人脸质量符合后续业务操作要求。

为了解决一些灰度图像所无法适应的场景，模糊评估分为两个步骤：首先是进行彩色图像边缘检测，然后是模糊判定。此处模糊估计是通过计算当前像素点与领域内像素点均值之差来确定。我们用f(x,y)表示当前像素点，其中x∈[1,M],y∈[1,N]。水平绝对差定义如下:

D_h(x,y)＝|f(x,y+1)-f(x,y-1)|

整个图片的水平绝对差的平均值为:

如果当前像素点的D_h(x,y)大于D_h-mean则该像素点就是一个候选的边缘点C_h(x,y)，如果C_h(x,y)比它水平方向两个相邻的点{C_h(x,y-1),C_h(x,y+1)}都大，则该像素点就被确认为一个边缘点。边缘点E_h(x,y)的判断总结如下：

接下来我们检测边缘是否模糊，我们用均方差来计算模糊量，如果图片具有较高方差，那么它就有较广的频响范围，代表着正常，聚焦准确的图片。但是如果图片具有较小方差，那么它就有较窄的频响范围，意味着图片中的边缘数量很少。图片越模糊，其边缘就越少。

(2)光照质量判定：实际场景中，由于场景的不同(特别是非限制场景下)所得图像光照会存在较大差异。而在，图像中目标识别领域，光照对于识别精度存在较大影响，因此光照质量判定是图像质量评估中的一个重要组成部分。本发明中认为较好的光照存在一个范围，超出合理的光照范围均会对后续处理产生负作用，如光照过亮或过暗。为了能够较好地从图像中获取其亮度信息，本发明将图像从常用的RGB颜色空间转换到HSV彩色空间，其中H、S、V分别表示色相、饱和度以及明度，而明度参量可以准确衡量一张图像的光照情况。此外、为了去除背景干扰本发明会利用人脸检测算法将人脸区域截取，单独计算该区域内的明度均值作为人脸光照的量化数值V_f。因为，质量评估需要确定目标图像光照是否在合理范围并且需要给定其量化得分。本专利认为归一化后的V_f＝0.5时图像光照为最佳的均衡状态，当V_f据均衡状态越远其光照质量越差即得分越小。因此光照质量评分公式如下：

在实际评估中发现在0.5一定范围内均可认为是均衡光照。因此，这里通过系数加权调节亮度均值以及质量评分的映射合理性，式中取

如此，便可得到图像明度的合理量化评估。

(3)人脸姿态估计：人脸姿态估计主要是获得脸部朝向的角度信息。本发明中的人脸姿态信息用三个欧拉角(pitch，yaw，roll；Yaw:摇头；Pitch:点头；Roll:摆头)表示。其首先采用深度学习算法检测出人脸68关键点(如图1所示)，然后该模型会输出三个角度预测值。

三维空间的任意旋转，都可以用绕三维空间的某个轴旋转过某个角度来表示，即Axis-Angle表示方法。Axis可用一个三维向量(x,y,z)来表示，theta可以用一个角度值来表示，直观来讲，一个四维向量(theta,x,y,z)就可以表示出三维空间任意的旋转。注意，这里的三维向量(x,y,z)只是用来表示axis的方向朝向，因此更紧凑的表示方式是用一个单位向量来表示方向axis，而用该三维向量的长度来表示角度值theta。这样以来，可以用一个三维向量(theta*x,theta*y,theta*z)就可以表示出三维空间任意的旋转，前提是其中(x,y,z)是单位向量。这就是旋转向量(Rotation Vector)的表示方式。

四元数(Quaternion)也是一种常用的旋转表示方式。假设(x,y,z)是axis方向的单位向量，theta是绕axis转过的角度，那么四元数可以表示为

因为从四元数转换到欧拉角公式较简单，所以我先将rotation vector转换为四元数。在3D空间中，表示物体的旋转可以由三个欧拉角来表示：pitch围绕X轴旋转，叫俯仰角。yaw围绕Y轴旋转，叫偏航角。roll围绕Z轴旋转，叫翻滚角(如图2所示)。这三个角的顺序对旋转结果有影响。

1)四元数的定义

q＝[w x y z]^T

|q|²＝w²+x²+y²+z²＝1

通过旋转轴和绕该轴旋转的角度可以构造一个四元数：

其中α是绕旋转轴旋转的角度，cos(β_x)cos(β_y)cos(β_z)为旋转轴在X轴,Y轴,Z轴方向的分量(由此确定了旋转轴)。

2)欧拉角到四元数的转换

3)四元数到欧拉角的转换

arctan和arcsin的结果是

这并不能覆盖所有朝向(对于θ角的取值范围已经满足)，因此需要用atan2来代替arctan。

关键点检测算法会输出关键点位置及Yaw:摇头；Pitch:点头；Roll:摆头(歪头)的得分，我们再根据下式计算人脸姿态得分，权重比例分别取ω₁＝0.5、ω₂＝1.2、ω₃＝1.1以及偏置b＝15。

根据模糊，光照，姿态的得分，给他们赋予不同的权重，然后得到人脸图像质量的得分，实际使用取ω₁＝0.3、ω₂＝0.3、ω₃＝0.4以侧重人脸姿态影响，则：

score＝ω₁*score_blur+ω₂*score_light+ω₃*score_pose；

其中，score_blur为模糊量评分，scroe_light为光照质量评分，score_pose为人脸姿态评分。

本发明通过对图像进行模糊判定、光照轻度判定、人脸姿态判定的设计，多方面对人脸图像的质量进行了评估，得到的质量评估结果更加客观，有效的提高了图像评估的准确性，其使得计算机能够正确的评价图像质量，并且将人对图像质量的主观感受用指标加以表达，为图像处理***的性能评估提供了依据；另一方面，如图3所示，本发明可以改善人脸识别***的总体性能，可以有效改善由于输入图像质量过低引起的错误，节省***匹配时间，从而提高了人脸识别***的工作效率。

Claims (5)

1.一种人脸图像质量评估方法，其特征在于：包括以下步骤：

S1、获取待评估的人像图片；

S2、对人像图片进行模糊判定；

S21、对人像图片的边缘点进行检测；

S22、计算人像图片中的像素均方差，通过像素均方差计算人像图片的模糊量评分；

S3、对人像图片进行光照质量判定；

S31、将人像图片的RGB颜色空间转换为HSV彩色空间；

S32、通过人脸检测算法对人像图片中的人脸区域进行截取；

S33、计算人脸区域内的明度均值作为人脸光照的量化数值；

S34、通过人脸光照的量化数值计算光照质量评分；

S4、对人像图片进行人脸姿态判定；

S41、采用深度学习算法检测出人像图片中的人脸关键点信息；

S42、通过人脸关键点信息计算出人脸姿态角度值；

S43、通过人脸姿态角度值计算出人脸姿态评分；

S5、将人像图片的模糊量评分、光照质量评分、人脸姿态评分赋予不同的权重，求和后即得到人脸图像的质量评估分数值；

所述步骤S21中人像图片的边缘点包括以下步骤：

S211、计算当前像素点的水平绝对差，其公式为：

D_h(x,y)＝|f(x,y+1)-f(x,y-1)|；

其中，f(x,y)表示当前像素点，x∈[1,M],y∈[1,N]；

S212、计算人像图片中所有像素点的水平绝对差的平均值，其公式为：

S213、当当前像素点的D_h(x，y)大于D_h-mean，则当前像素点就是一个候选的边缘点，当当前像素点的D_h(x，y)比其水平方向两个相邻的点{C_h(x，y-1)，C_h(x，y+1)}都大，则当前像素点就被确认为一个边缘点；边缘点的判断公式为：

2.如权利要求1所述的人脸图像质量评估方法，其特征在于：所述步骤S34中光照质量评分的计算公式为：

其中，V_f为人脸光照的量化数值，

3.如权利要求2所述的人脸图像质量评估方法，其特征在于：所述步骤S42中通过人脸关键点信息计算出人脸姿态角度值包括以下步骤：

S421、通过人脸关键点信息计算出人脸姿态的旋转向量；

S422、将人脸姿态的旋转向量转换为四元数；

S423、将四元数转换为欧拉角，该欧拉角即为人脸姿态角度值。

4.如权利要求3所述的人脸图像质量评估方法，其特征在于：所述步骤S43中通过人脸姿态角度值计算出人脸姿态评分的计算公式为：

其中，权重分别为ω₁＝0.5、ω₂＝1.2、ω₃＝1.1，偏置参数为b＝15；Yaw为摇头角度值；Pitch为点头角度值；Roll为摆头角度值。

5.如权利要求4所述的人脸图像质量评估方法，其特征在于：所述步骤S5中质量评估分数值的计算公式为：

score＝ω₁*score_blur+ω₂*score_light+ω₃*score_pose；

其中，权重分别为ω₁＝0.3、ω₁＝0.3、ω₃＝0.4；score_blur为模糊量评分，scroe_light为光照质量评分，score_pose为人脸姿态评分。

Images