CN111192241B - 一种人脸图像的质量评估方法、装置及计算机存储介质 - Google Patents

Abstract

本申请公开了一种人脸图像的质量评估方法、装置及计算机存储介质，该方法包括获取人脸图像；确定人脸图像中的局部亮光区域，其中，局部亮光区域为人脸图像的拍摄场景中的照明源在人脸图像上形成的亮度大于人脸所在区域的亮度的区域；从人脸图像去除局部亮光区域；基于去除局部亮光区域后的人脸图像进行质量评估。通过上述方式，本申请能够提高人脸图像的质量评估的准确度。

Description

一种人脸图像的质量评估方法、装置及计算机存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种人脸图像的质量评估方法、装置及计算机存储介质。

背景技术

在人脸识别中需要对人脸图像的质量进行分析，以估计人脸识别的准确度，但是受拍摄场景的自然光或环境光的影响，拍摄到的图像中可能存在局部较亮的区域，在对这些图像进行质量评估时，这些较亮的区域造成干扰，致使评估的结果与真实的结果之间存在差异，无法准确评估人脸图像的质量，影响人脸识别的准确率。

发明内容

本申请提供一种人脸图像的质量评估方法、装置及计算机存储介质，能够提高人脸图像的质量评估的准确度。

为解决上述技术问题，本申请采用的技术方案是：提供一种人脸图像的质量评估方法，该方法包括：获取人脸图像；确定人脸图像中的局部亮光区域，其中，局部亮光区域为人脸图像的拍摄场景中的照明源在人脸图像上形成的亮度大于人脸所在区域的亮度的区域；从人脸图像去除局部亮光区域；基于去除局部亮光区域后的人脸图像进行质量评估。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种人脸图像的质量评估装置，该质量评估装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述的人脸图像的质量评估方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机存储介质，该计算机存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述的人脸图像的质量评估方法。

通过上述方案，本申请的有益效果是：先从获取到的人脸图像提取出局部亮光区域，再消除人脸图像中的局部亮光区域，然后对消除局部亮光区域的人脸图像进行质量评估，能够抑制亮光而对其他特征无破坏，由于拍摄场景中的照明源可能对人脸图像的质量评估造成影响，能够提高人脸图像的质量评估的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的人脸图像的质量评估方法一实施例的流程示意图；

图2是图1所示的实施例中人脸图像中局部光亮区域的示意图；

图3是本申请提供的人脸图像的质量评估方法另一实施例的流程示意图；

图4a是图3所示的实施例中人脸框与特征点的示意图；

图4b是图3所示的实施例中经过人脸对齐处理后的人脸图像的示意图；

图5是图3所示的实施例中步骤34的流程示意图；

图6是图3所示的实施例中步骤35的流程示意图；

图7是本申请提供的人脸图像的质量评估装置一实施例的结构示意图；

图8是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请提供的人脸图像的质量评估方法一实施例的流程示意图，该方法包括：

步骤11：获取人脸图像。

为了评价人脸图像的质量，先获取人脸图像，人脸图像可以为灰度图像或彩色图像，该人脸图像包括至少一个局部亮光区域，局部亮光区域的形状可以为矩形、椭圆形、正方形或不规则形状等，如图2所示的椭圆形A与矩形B；可以利用成像设备拍摄包括人脸的图像，也可以从人脸数据库中选择一张包括局部亮光区域的人脸图像。

步骤12：确定人脸图像中的局部亮光区域。

局部亮光区域为人脸图像的拍摄场景中的照明源在人脸图像上形成的亮度大于人脸所在区域的亮度的区域，对人脸图像进行处理，以便从人脸图像中提取出局部亮光区域，例如，如图2所示，确定局部亮光区域A与B所在的位置以及灰度值。

步骤13：从人脸图像去除局部亮光区域。

在从人脸图像中确定出局部亮光区域后，对该人脸图像进行处理，以去除局部亮光区域，降低局部亮光区域对人脸图像的质量评估的影响。

步骤14：基于去除局部亮光区域后的人脸图像进行质量评估。

在去除了人脸图像中的局部亮光区域后，对该人脸图像的质量进行评估，具体地，可通过计算去除局部亮光区域后的人脸图像与参考人脸图像之间的均方根误差(RootMean Squared Error，RMSE)、峰值信噪比(Peak Signal to Noise Ratio，PSNR)、结构相似性(Structural Similarity，SSIM)或拉普拉斯方差(Laplacian Squared Error，LSE)等，来对人脸图像的质量进行评估，得到人脸图像的质量。

本实施例提供了一种人脸图像的质量评估方法，由于拍摄场景中的照明源可能对人脸图像的质量评估造成影响，先从获取到的人脸图像提取出局部亮光区域，再从人脸图像中消除局部亮光区域，然后对消除局部亮光区域的人脸图像进行质量评估，能够抑制亮光而对其他特征无破坏，排除亮光对图像质量评估的干扰，有助于提高人脸图像的质量评估的准确度。

请参阅图3，图3是本申请提供的人脸图像的质量评估方法另一实施例的流程示意图，该方法包括：

步骤31：获取原始图像，并在原始图像中进行人脸检测。

可以从一个视频中获取其中的一个视频帧，记作原始图像，然后利用人脸检测方法从该原始图像中提取出出人脸，确定人脸的位置、大小以及人脸的特征点等。

步骤32：基于检测到的人脸的特征点进行相似变换，以将人脸映射到预定尺寸的图像区域，进而形成人脸图像。

利用检测到的人脸的特征点将图像的尺寸变成预定尺寸，并尽可能降低非人脸区域所占的比例；例如，如图4所示，图4a为原始图像，进行人脸检测，可以得到人脸框F与四个特征点T，图4a中人脸的尺寸为M1*N1，经过人脸对齐处理后，人脸图像的尺寸变为M2*N2，如图4b所示，M2≤M1，N2≤N1。

步骤33：将人脸图像转换为灰度图像。

获取到的人脸图像为彩色图像，为了方便提取出局部亮度区域，可将彩色图像转换为灰度图像。

步骤34：将灰度图像进一步转换成二值化图像，并基于二值化图像确定局部亮光区域。

在一具体的实施例中，如图5所示，可采用如下步骤获取到局部亮光区域：

步骤341：对灰度图像进行中值滤波，得到滤波后的灰度图像。

可以利用a*b的滤波模板对灰度图像进行中值滤波，将滤波模板中心的灰度值替换成滤波模板内的所有灰度值的中值，以对灰度图像进行平滑。

步骤342：对滤波后的灰度图像的各像素的灰度值进行统计，并将分割阈值设置成大于统计数量最多的灰度值，或者将分割阈值设置成根据实验预先确定的固定值。

在一具体的实施例中，可在对灰度图像进行滤波后，可统计滤波后的灰度图像的灰度值，得到灰度值的分布情况，然后根据灰度值的分布情况确定分割阈值，分割阈值可跟随像素数量最多的灰度值正向变化；例如，灰度图像的大小为8*8，根据灰度值的分布情况，假设灰度值170对应的像素数量为35，则像素数量最多的灰度值为170，设置分割阈值为180；当灰度值200对应的像素数量为35时，像素数量最多的灰度值为200，此时可设置分割阈值为215。

在另一具体的实施例中，可利用历史经验设置分割阈值，即将分割阈值设置成根据实验预先确定的固定值，例如，将分割阈值设置为180。

步骤343：将滤波后的灰度图像中灰度值大于或等于分割阈值的像素的灰度值设置成第一灰度值，将灰度图像中灰度值小于分割阈值的像素的灰度值设置成第二灰度值。

在确定了分割阈值后，根据分割阈值将滤波后的灰度图像转换成二值化图像，具体地，将灰度值小于分割阈值的像素的灰度值设置为第二灰度值，其他像素的灰度值设置为第一灰度值；例如，分割阈值为180，滤波后的灰度图像的灰度值为{200，234；156，134；179，252；190，153}，则第一灰度值为{200，234，252，190}，第二灰度值为{156，134，179，153}；为了方便观察二值化图像的细节，可以将第一灰度值设置为255，第二灰度值设置为0。

步骤344：从二值化图像中选择第一灰度值的像素所在的区域作为局部亮光区域。

由于局部亮光区域的灰度值比较高，在利用分割阈值对滤波后的灰度图像进行分割后，局部亮光区域被保留下来，第一灰度值对应的区域可看作局部亮光区域。

在一具体的实施例中，为了防止二值化图像中局部亮光区域无法形成一个闭合的区域，可对局部亮光区域进行膨胀或闭运算处理，以使得处理后的局部亮光区域形成一闭合区域。

步骤35：以局部亮光区域为掩膜对人脸图像进行泊松图像编辑。

在一具体的实施例中，如图6所示，可采用如下步骤对人脸图像进行处理，得到去除局部亮光区域后的人脸图像：

步骤351：对人脸图像进行对数变换，得到对数人脸图像。

计算人脸图像中每个像素的灰度值的对数，得到对数人脸图像中的对数灰度值。

步骤352：计算对数人脸图像内的对数梯度场。

可利用如下公式计算出对数梯度：

G(i,j)＝f(i+1,j)+f(i,j+1)-2f(i,j)

其中，G(i,j)为对数人脸图像中坐标(i,j)处的梯度，f(i,j)对数人脸图像中坐标(i,j)处的对数灰度值。

步骤353：对局部亮光区域内的对数梯度场进行非线性变换，以降低相对较大的梯度，并增加相对较小的梯度。

利用非线性函数对局部亮光区域内的对数梯度场进行处理，得到变换后的对数梯度场；例如，变换前局部亮光区域的对数梯度场为[-3，-10；20，15]，变换后局部亮光区域的对数梯度场变为[-1，-5；11，8]。

步骤354：将变换后的局部亮光区域内的对数梯度场与局部亮光区域***的对数梯度场进行融合。

在对局部亮光区域内的对数梯度场进行非线性变换后，可将变换后的局部亮光区域内的对数梯度场与局部亮光区域***的对数梯度场进行拼接，得到整个对数人脸图像的对数梯度场，记作融合后的对数梯度场。

步骤355：根据融合后的对数梯度场与局部亮光区域的边界求解泊松方程，进而重建去除局部亮光区域的对数人脸图像。

融合后的对数梯度场与重建后的对数人脸图像的灰度值之间满足如下关系：

Δf^*＝div(v)

Δf^*＝f^*(i+1,j)+f^*(i,j+1)+f^*(i-1,j)+f^*(i,j-1)-4f^*(i,j)

其中，div()为散度函数，v为融合后的对数梯度场，f^*(i,j)为重建后的对数人脸图像中位置(i,j)处的灰度值，Δ为拉普拉斯算子。

利用上式可得到局部亮光区域内散度与灰度值之间的关系，可利用狄利克雷边界条件f^*(i,j)＝f(i,j)，得到局部亮光区域***散度与灰度值之间的关系，根据散度与灰度值之间的关系，可以求解出f^*(i,j)。

在其他实施例中，还可利用Δf^*＝div(v)得到非边界区域内散度与灰度值之间的关系，利用狄利克雷边界条件f^*(i,j)＝f(i,j)，得到边界区域内散度与灰度值之间的关系，根据散度与灰度值之间的关系，从而求解出f^*(i,j)，其中，边界区域为图像最***的像素组成的区域。

步骤356：对去除局部亮光区域的对数人脸图像进行逆对数变换，得到去除局部亮光区域的人脸图像。

在获取到重建后的对数人脸图像后，可对每个对数灰度值进行处理，得到去除局部亮光后的人脸图像的灰度值。

亮光在灰度图像中的特征比较明显，因而可以通过二值化将局部亮光区域找出来；在获取到局部亮光区域后，通过上述的步骤可达到消除局部亮光区域的目的，以便进行人脸图像质量的评估。

步骤36：计算去除局部亮光区域后的人脸图像的拉普拉斯方差。

可采用如下公式计算LSE：

o(f(i,j))＝f(i+1,j)+f(i-1,j)+f(i,j+1)+f(i,j-1)-4f(i,j)

o'(f(i,j))＝f'(i+1,j)+f'(i-1,j)+f'(i,j+1)+f'(i,j-1)-4f'(i,j)

其中，f(i,j)为去除局部亮光区域后的人脸图像中位置(i,j)处的灰度值，f'(i,j)为参考人脸图像中位置(i,j)处的灰度值，参考人脸图像为预先选取的图像，拉普拉斯方差越大，人脸图像的质量越好。

步骤37：根据人脸图像的拉普拉斯方差得到人脸图像的质量评估结果。

在计算出人脸图像的拉普拉斯方差后，可将直接该拉普拉斯方差作为人脸图像的质量评估结果；或者也可以对拉普拉斯方差进行处理，将处理结果作为人脸图像的质量评估结果。

亮光可能对整个人脸图像的梯度变化带来较大的影响，导致人脸图像的LSE增加，使得利用LSE分析人脸质量产生较大的误差，影响到最优质量的人脸图像的挑选，本实施例的方案可以解决动态环境中亮光的干扰，在去除光照后人脸的梯度判断准确，且人脸的原来特征没有发生变化，从而可以更准确地分析人脸图像的质量。

请参阅图7，图7是本申请提供的人脸图像的质量评估装置一实施例的结构示意图，人脸图像的质量评估装置70包括互相连接的存储器71和处理器72，存储器71用于存储计算机程序，计算机程序在被处理器72执行时，用于实现上述实施例中的人脸图像的质量评估方法。

本实施例的人脸图像的质量评估装置70能够在不破坏人脸特征信息的前提下，有效地去除光照对人脸图像质量分析的影响，从而更准确地分析人脸图像的质量，得到更清晰的人脸图像，能够在视频的关键帧提取中更方便地获得视频流的最优帧。

请参阅图8，图8是本申请提供的计算机存储介质一实施例的结构示意图，计算机存储介质80用于存储计算机程序81，计算机程序81在被处理器执行时，用于实现上述实施例中的人脸图像的质量评估方法。

计算机存储介质80可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (5)

1.一种人脸图像的质量评估方法，其特征在于，所述方法包括：

获取人脸图像；

确定所述人脸图像中的局部亮光区域，其中，所述局部亮光区域为所述人脸图像的拍摄场景中的照明源在所述人脸图像上形成的亮度大于人脸所在区域的亮度的区域；

从所述人脸图像去除所述局部亮光区域；

基于去除所述局部亮光区域后的人脸图像进行质量评估；

其中，所述获取人脸图像的步骤，包括：

获取原始图像；

在所述原始图像中进行人脸检测；

基于检测到的人脸的特征点进行相似变换，以将所述人脸映射到预定尺寸的图像区域，进而形成所述人脸图像；

其中，所述确定所述人脸图像中的局部亮光区域的步骤，包括：

将所述人脸图像转换为灰度图像；

将所述灰度图像进一步转换成二值化图像；

基于所述二值化图像确定所述局部亮光区域；

所述基于所述二值化图像确定所述局部亮光区域之后，进一步包括：

对所述局部亮光区域进行膨胀或闭运算处理，以使得处理后的局部亮光区域形成一闭合区域；

以及，所述从所述人脸图像去除所述局部亮光区域的步骤，包括：

以所述局部亮光区域为掩膜对所述人脸图像进行泊松图像编辑；

所述以所述局部亮光区域为掩膜对所述人脸图像进行泊松图像编辑的步骤，包括：

对所述人脸图像进行对数变换，得到对数人脸图像；

计算所述对数人脸图像内的对数梯度场；

对所述局部亮光区域内的对数梯度场进行非线性变换，以降低相对较大的梯度，并增加相对较小的梯度；

将变换后的局部亮光区域内的对数梯度场与所述局部亮光区域***的对数梯度场进行融合；

根据融合后的对数梯度场与所述局部亮光区域的边界求解泊松方程，进而重建去除所述局部亮光区域的对数人脸图像；

对所述去除所述局部亮光区域的对数人脸图像进行逆对数变换，得到去除所述局部亮光区域的人脸图像。

2.根据权利要求1所述的人脸图像的质量评估方法，其特征在于，所述将所述灰度图像进一步转换成二值化图像的步骤，包括：

对所述灰度图像进行中值滤波，得到滤波后的灰度图像；

对所述滤波后的灰度图像的各像素的灰度值进行统计，并将分割阈值设置成大于统计数量最多的灰度值，或者将所述分割阈值设置成根据实验预先确定的固定值；

将所述滤波后的灰度图像中灰度值大于或等于所述分割阈值的像素的灰度值设置成第一灰度值，将所述灰度图像中灰度值小于所述分割阈值的像素的灰度值设置成第二灰度值；

所述基于所述二值化图像确定所述局部亮光区域的步骤，包括：

从所述二值化图像中选择所述第一灰度值的像素所在的区域作为所述局部亮光区域。

3.根据权利要求1所述的人脸图像的质量评估方法，其特征在于，所述基于去除所述局部亮光区域后的人脸图像进行质量评估的步骤，包括：

计算所述去除所述局部亮光区域后的人脸图像的拉普拉斯方差；

根据所述人脸图像的拉普拉斯方差得到所述人脸图像的质量评估结果。

4.一种人脸图像的质量评估装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-3中任一项所述的人脸图像的质量评估方法。

5.一种计算机存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-3中任一项所述的人脸图像的质量评估方法。