CN105701468A - 一种基于深度学习的人脸吸引力评价方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的人脸吸引力评价方法，该方法包括下述步骤：(1)、对人脸数据库中的人脸图像做图层分解，提取出包含人脸皮肤光滑度信息的细节图层和包含人脸皮肤亮度信息的亮度图层；(2)、在特定设计的卷积神经网络结构下，将细节层作为输入训练得到一个初步的人脸吸引力评价网络模型；(3)、将亮度层作为输入对网络模型进行微调优化；(4)、将人脸图像的RGB颜色信息作为输入对网络模型进行微调优化，得到最终的评分模型；(5)、将任意人脸图像输入评分模型，得到相应的人脸吸引力分数。本发明摒弃传统的手工提取人脸面部特征的方法，利用深度学习中的卷积神经网络自动提取人脸特征并学习人脸美丽的标准。

Description

一种基于深度学习的人脸吸引力评价方法

技术领域

本发明涉及计算机图像数据处理及模式识别的研究领域，特别涉及一种基于深度学习的人脸吸引力评价方法。

背景技术

爱美之心，人皆有之。人人都希望自己是美丽的，然而评价一张人脸图像是否具有足够的吸引力，却是一个抽象的难题，其不可避免的要受到人脸图像的姿态、光照、种族及评判人主观因素等的影响。然而人脸吸引力评价也并非绝对抽象，长时间以来，研究者们关于人脸吸引力也积累了一些量化标准，如由中国的传统审美观念衍生出的“三庭五眼”和“四高三低”，以及在欧洲地区盛行的“面部黄金比例”等。近年来，随着人工智能的兴起，自动化的人脸吸引力评价也在机器学习和计算机视觉领域引起关注。然而如何让计算机对人脸进行客观的吸引力评价是一个复杂的难题，目前这方面国内外的研究还比较少，大多停留在手工提取人脸几何特征或表观特征，然后用传统的机器学习算法进行学习的基础上。然而手工提取特征的工作不仅繁杂，选择合适的面部特征也相当依赖于研究者的经验和学识。深度学习的方法可以摒弃繁琐的手工特征提取的工作，将其吸引力预测合为一体。利用深度自学习来提取人脸图像更具结构性和层次性的美学特征，可以实现对人脸图像更准确的吸引力预测。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于深度学习的人脸吸引力评价方法，具体通过深度学习中的卷积神经网络建立人脸吸引力预测的客观评价模型，结合大量的训练样本和层次化的训练方法，使得模型能够学习到人脸吸引力评价的客观标准，对任意输入的每张人脸图片预测出合理的吸引力分数，从而实现端到端的人脸吸引力评价。

为了实现上述目的，本发明采用以下技术方案：

本发明提供的一种基于深度学习的人脸吸引力评价方法，该方法包括下述步骤：

(1)、对人脸数据库中的人脸图像做图层分解，提取出包含人脸皮肤光滑度信息的细节图层和包含人脸皮肤亮度信息的亮度图层；

(2)、在特定设计的卷积神经网络结构下，将细节层作为输入训练得到一个初步的人脸吸引力评价网络模型；

(3)、将亮度层作为输入对网络模型进行微调优化；

(4)、将人脸图像的RGB颜色信息作为输入对网络模型进行微调优化，得到最终的评分模型；

(5)、将任意人脸图像输入评分模型，得到相应的人脸吸引力分数。

作为优选的技术方案，在步骤(1)中，所述数据库是SCUT-FBP数据库，包含M张亚洲青年女性人脸图像，其人脸美丽标准的制定是根据N位志愿者的平均审美决定的，即在SCUT-FBP数据库中，每张图像被赋予一个人脸吸引力分数。

作为优选的技术方案，所述人脸吸引力分数为N位志愿者对数据库中每张图像进行吸引力评分后所得的平均分，范围是1-5分，分数越高表示吸引力越大。

作为优选的技术方案，在步骤(1)中，对人脸数据库中的人脸图像做图层分解包括颜色空间映射和滤波处理两大过程：

颜色空间映射是指将RGB颜色空间映射到CIEL*a*b*颜色空间，其中，L*坐标表示颜色亮度，范围是0～100，L*为0表示黑色而L*为100表示白色；a*坐标表示红色和绿色之间的值，范围是-500～500，负值指示绿色而正值指示红色；b*坐标表示黄色和蓝色之间的值，范围是-200～200，负值指示蓝色而正值指示黄色，颜色空间映射过程包含从RGB色彩空间到XYZ空间的线性变换与从XYZ空间到L*a*b*空间的非线性变换，从RGB到XYZ的线性变换的公式为：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\frac{1}{0.17697}\left[\begin{array}{ccc}0.\mathrm{49}& 0.\mathrm{31}& 0.\mathrm{20}\\ 0.\mathrm{17697}& 0.\mathrm{81240}& 0.\mathrm{01063}\\ 0& 0.\mathrm{01}& 0.\mathrm{99}\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

从XYZ空间到L*a*b*空间的公式为：

$L^{*}=116f\left(\frac{Y}{Y_n}\right)-16$

$a^{*}=500\[f\left(\frac{X}{X_n}\right)-f\left(\frac{Y}{Y_n}\right)\]$

$b^{*}=200\[f\left(\frac{Y}{Y_n}\right)-f\left(\frac{Z}{Z_n}\right)\]$

其中，

$f\left(t\right)=\left\{\begin{array}{cc}{t}^{\frac{1}{3}}& ift>{\left(\frac{6}{29}\right)}^3\\ \frac{1}{3}{\left(\frac{29}{6}\right)}^{2}t+\frac{4}{29}& otherwise\end{array}\right.$

滤波处理表示用加权最小二乘滤波器对CIEL*a*b*中的亮度通道L*进行处理得到代表皮肤亮度的亮度图层，设定原始人脸输入图像经过变换到CIEL*a*b*颜色空间后的亮度通道为I_L*，人脸亮度图层为I_L，并应用基于加权最小二乘滤波予以描述，则有：

$I_L=\underset{I_L}{\arg \min }\left(\right|I_L-I_{L^{*}}{|}^2+H\left(\▿I_L,\▿I_G\right))$

其中：

$H(\▿I_L,\▿I_G)=\mathrm{\λ}\mathrm{\Σ}\left(\right|\frac{\∂I_L}{\∂x}{|}^2*{\left(|\frac{\∂I_G}{\∂x}{|}^{\mathrm{\α}}+\∈\right)}^{-1}+|\frac{\∂I_L}{\∂y}{|}^2*{\left(|\frac{\∂I_G}{\∂y}{|}^{\mathrm{\α}}+\∈\right)}^{-1})$

其中，x和y表示图像中某一点的空间位置；参数∈是一个小的常数，用来避免分母为0的情况；参数λ用来平衡光滑项与数据项的比例，从而控制图像整体的平滑度；参数α是通过调节导向图I_G的梯度变化来控制图像输出的；I_G是导向图，用来控制边缘保持平滑的局部特性，这里取I_G＝logI_L*，从亮度通道中减去亮度图层就能得到包含皮肤光滑度的光滑度图层I_s，即I_s＝I_L*-I_L。

作为优选的技术方案，在颜色空间映射过程中，所述X_n，Y_n，Z_n分别为95.047，100.0，108.883。

作为优选的技术方案，在步骤(2)中，所述特定设计的卷积神经网络结构是具有网络输入图片尺寸较大、卷积核尺寸较小以及网络结构较深的网络结构。

作为优选的技术方案，该特定设计的卷积神经网络结构的图像输入大小为256x256，在训练过程中会被随机裁剪成227x227大小，网络包含6个卷积层和2个全连接层，每个卷积层分别包含50,100,150,200,250,300个特征图；每个卷积层的卷积核大小分别是5x5,5x5,4x4,4x4,4x4,2x2，卷积步长都为1；每个卷积层后紧跟一个下采样层，每个下采样层的核都为2x2大小，步长为2，前5个下采样层采用均值采样方法，最后一个下采样层采用最大值采样方法；网络第一个全连接层包含500个神经元，第二个全连接层包含1个神经元，即输出网络预测的吸引力分数。

作为优选的技术方案，还包括确定卷积神经网络结构的损失函数的步骤，其具体为：

采用人脸图像被赋予的吸引力分数和网络输出分数之间的欧氏距离作为网络的损失函数，定义为网络预测吸引力分数，y_n为被赋予的吸引力分数，则网络的损失函数为：

$Loss=\frac{1}{2N}{\mathrm{\Σ}}_{n=1}^N\left|\right|{\hat{y}}_n-y_n|{|}_2^2.$

作为优选的技术方案，在步骤(5)中，被输入进行吸引力评分的任意人脸图像的输入信息是RGB像素值。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明摒弃传统的手工提取人脸面部特征的方法，利用深度学习中的卷积神经网络自动提取人脸特征并学习人脸美丽的标准；

2、本发明将特征提取和人脸吸引力预测合为一体，有利于整体优化，实现了真正的端到端的人脸吸引力预测；

3、本发明人脸吸引力评价标准由70位志愿者的平均审美所决定，更具有公正性和合理性；

4、本发明从认知心理学的角度出发，综合利用人脸亮度、光滑度和颜色三种人脸属性，使人脸吸引力预测更符合人的审美判断；

5、本发明与人脸大数据的结合使评分模型可以得到进一步的优化，人脸数据的增加可以使模型在侧脸、遮挡、光照等干扰下仍具有较强的鲁棒性。

附图说明

图1为本发明的流程图；

图2为本发明的图层分解示意图；

图3为本发明的卷积神经网络结构简图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本发明的基于深度学习的人脸吸引力评价方法，其流程示意图如附图1所示，包括下述步骤：

步骤S101、对人脸数据库中的人脸图像做图层分解，提取出包含人脸皮肤光滑度信息的细节图层和包含人脸皮肤亮度信息的亮度图层；

步骤S102、在特定设计的卷积神经网络结构下，将细节层作为输入训练得到一个初步的人脸吸引力评价网络模型；

步骤S103、将亮度层作为输入对网络模型进行微调优化；

步骤S104、将人脸图像的RGB颜色信息作为输入对网络模型进行微调优化，得到最终的评分模型；

步骤S105、将任意人脸图像输入评分模型，得到相应的人脸吸引力分数。

本发明中，通过图层分解得到数据库中的人脸的三种皮肤属性信息：亮度、光滑度和颜色，综合利用这三种属性去训练得到一个基于深度学习中的卷积神经网络评分模型，将任意一张人脸输入此模型即可得到人脸吸引力评价结果

下面对具体的技术点做进一步的分析：

在步骤S101中，所述数据库是SCUT-FBP数据库，包含M张亚洲青年女性人脸图像，其人脸美丽标准的制定是根据N位志愿者的平均审美决定的，即在SCUT-FBP数据库中，每张图像被赋予一个人脸吸引力分数。所述人脸吸引力分数为N位志愿者对数据库中每张图像进行吸引力评分后所得的平均分，范围是1-5分，分数越高表示吸引力越大。当然本实施例中的吸引力分数可以根据实际情况进行选择。其中在该数据库中，M为500，N为70。

在步骤S101中对人脸图像做图层分解的技术方案为：

本发明中很关键的一个技术点在于从人类审美的认知心理学角度出发，综合利用人脸的亮度、光滑度和颜色三种属性去不断优化人脸吸引力评价模型。图层分解是得到人脸亮度和光滑度信息的重要步骤，包括颜色空间映射和滤波处理两大过程，如附图2所示。颜色空间映射指将RGB颜色空间映射到CIEL*a*b*颜色空间。其中，L*坐标表示颜色亮度，范围是0～100，L*为0表示黑色而L*为100表示白色；a*坐标表示红色和绿色之间的值，范围是-500～500，负值指示绿色而正值指示红色；b*坐标表示黄色和蓝色之间的值，范围是-200～200，负值指示蓝色而正值指示黄色。颜色空间映射过程包含从RGB色彩空间到XYZ空间的线性与从XYZ空间到L*a*b*空间的非线性变换。从RGB到XYZ的线性变换的公式为：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\frac{1}{0.17697}\left[\begin{array}{ccc}0.\mathrm{49}& 0.\mathrm{31}& 0.\mathrm{20}\\ 0.\mathrm{17697}& 0.\mathrm{81240}& 0.\mathrm{01063}\\ 0& 0.\mathrm{01}& 0.\mathrm{99}\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

从XYZ空间到L*a*b*空间的公式为：

$L^{*}=116f\left(\frac{Y}{Y_n}\right)-16$

$a^{*}=500\[f\left(\frac{X}{X_n}\right)-f\left(\frac{Y}{Y_n}\right)\]$

$b^{*}=200\[f\left(\frac{Y}{Y_n}\right)-f\left(\frac{Z}{Z_n}\right)\]$

其中，

$f\left(t\right)=\left\{\begin{array}{cc}{t}^{\frac{1}{3}}& ift>{\left(\frac{6}{29}\right)}^3\\ \frac{1}{3}{\left(\frac{29}{6}\right)}^{2}t+\frac{4}{29}& otherwise\end{array}\right.$

X_n，Y_n，Z_n分别为95.047，100.0，108.883。

滤波处理表示用加权最小二乘(WeightedLeastSquares,WLS)滤波器对CIEL*a*b*中的L*通道进行处理得到代表皮肤亮度的亮度图层。设定原始人脸输入图像经过变换到CIEL*a*b*颜色空间后的亮度通道为I_L*，人脸亮度图层为I_L，并应用基于加权最小二乘(WLS)滤波予以描述，则有：

$I_L=\underset{I_L}{\arg \min }\left(\right|I_L-I_{L^{*}}{|}^2+H\left(\▿I_L,\▿I_G\right))$

其中：

$H(\▿I_L,\▿I_G)=\mathrm{\λ}\mathrm{\Σ}\left(\right|\frac{\∂I_L}{\∂x}{|}^2*{\left(|\frac{\∂I_G}{\∂x}{|}^{\mathrm{\α}}+\∈\right)}^{-1}+|\frac{\∂I_L}{\∂y}{|}^2*{\left(|\frac{\∂I_G}{\∂y}{|}^{\mathrm{\α}}+\∈\right)}^{-1})$

其中，x和y表示图像中某一点的空间位置；参数∈是一个小的常数，用来避免分母为0的情况；参数λ用来平衡光滑项与数据项的比例，从而控制图像整体的平滑度；参数α是通过调节导向图I_G的梯度变化来控制图像输出的；I_G是导向图，用来控制边缘保持平滑的局部特性，这里取I_G＝logI_L*。从亮度通道中减去亮度图层就能得到包含皮肤光滑度的光滑度图层I_s，即I_s＝I_L*-I_L。

在步骤S102中，卷积神经网络的具体技术方案为：

卷积神经网络的结构对模型学习人脸吸引力表征具有重要影响，经过多次实验，本发明针对性地提出了一个具有较大的输入图片尺寸，较小的卷积核尺寸和较深的结构的卷积神经网络，其简要结构如附图3所示，其详细参数如下所述：

网络的图像输入大小为256x256，在训练过程中会被随机裁剪成227x227大小。网络包含6个卷积层(Convolutionallayer)和2个全连接层(Fully-connectedlayer)，每个卷积层分别包含50,100,150,200,250,300个特征图(Featuremap)；每个卷积层的卷积核(Convolutionalkernel)大小分别是5x5,5x5,4x4,4x4,4x4,2x2，卷积步长(Stride)都为1；每个卷积层后紧跟一个下采样层(Poolinglayer)，每个下采样层的核都为2x2大小，步长为2，前5个下采样层采用均值采样方法(AveragePooling)，最后一个下采样层采用最大值采样方法(MaxPooling)；网络第一个全连接层包含500个神经元，第二个全连接层包含1个神经元；采用人脸图像被赋予的吸引力分数和网络输出分数之间的欧氏距离作为网络的损失函数。定义为网络预测吸引力分数，y_n为被赋予的吸引力分数，则网络的损失函数为：

$Loss=\frac{1}{2N}{\mathrm{\Σ}}_{n=1}^N\left|\right|{\hat{y}}_n-y_n|{|}_2^2$

最后，对网络进行下述训练：

为综合利用人脸的三种属性，本发明在训练网络模型时采取层次性的训练方法，具体包括以下三个步骤：

(1)、在特定设计的卷积神经网络结构下，将代表皮肤光滑度的细节层信息作为输入训练得到一个初步的人脸吸引力评分网络模型；

(2)、将代表皮肤亮度的亮度层信息作为输入对网络模型进行微调；

(3)、将代表皮肤颜色的RGB颜色信息作为输入对网络模型进行微调，得到最终的评分模型。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的人脸吸引力评价方法，其特征在于，该方法包括下述步骤：

(1)、对人脸数据库中的人脸图像做图层分解，提取出包含人脸皮肤光滑度信息的细节图层和包含人脸皮肤亮度信息的亮度图层；

(2)、在特定设计的卷积神经网络结构下，将细节层作为输入训练得到一个初步的人脸吸引力评价网络模型；

(3)、将亮度层作为输入对网络模型进行微调优化；

(4)、将人脸图像的RGB颜色信息作为输入对网络模型进行微调优化，得到最终的评分模型；

(5)、将任意人脸图像输入评分模型，得到相应的人脸吸引力分数。

2.根据权利要求1所述的基于深度学***均审美决定的，即在SCUT-FBP数据库中，每张图像被赋予一个人脸吸引力分数。

3.根据权利要求2所述的基于深度学***均分，范围是1-5分，分数越高表示吸引力越大。

4.根据权利要求1所述的基于深度学习的人脸吸引力评价方法，其特征在于，在步骤(1)中，对人脸数据库中的人脸图像做图层分解包括颜色空间映射和滤波处理两大过程：

颜色空间映射是指将RGB颜色空间映射到CIEL*a*b*颜色空间，其中，L*坐标表示颜色亮度，范围是0～100，L*为0表示黑色而L*为100表示白色；a*坐标表示红色和绿色之间的值，范围是-500～500，负值指示绿色而正值指示红色；b*坐标表示黄色和蓝色之间的值，范围是-200～200，负值指示蓝色而正值指示黄色，颜色空间映射过程包含从RGB色彩空间到XYZ空间的线性变换与从XYZ空间到L*a*b*空间的非线性变换，从RGB到XYZ的线性变换的公式为：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\frac{1}{0.17697}\left[\begin{array}{ccc}0.49& 0.31& 0.20\\ 0.17697& 0.81240& 0.01063\\ 0& 0.01& 0.99\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

从XYZ空间到L*a*b*空间的公式为：

$L^{*}=116f\left(\frac{Y}{Y_n}\right)-16$

$a^{*}=500\[f\left(\frac{X}{X_n}\right)-f\left(\frac{Y}{Y_n}\right)\]$

$b^{*}=200\[f\left(\frac{Y}{Y_n}\right)-f\left(\frac{Z}{Z_n}\right)\]$

其中，

$f\left(t\right)=\left\{\begin{array}{cc}{t}^{\frac{1}{3}}& ift>{\left(\frac{6}{29}\right)}^3\\ \frac{1}{3}{\left(\frac{29}{6}\right)}^{2}t+\frac{4}{29}& otherwise\end{array}\right.$

滤波处理表示用加权最小二乘滤波器对CIEL*a*b*中的亮度通道L*进行处理得到代表皮肤亮度的亮度图层，设定原始人脸输入图像经过变换到CIEL*a*b*颜色空间后的亮度通道为人脸亮度图层为I_L，并应用基于加权最小二乘滤波予以描述，则有：

$I_L=\underset{I_L}{\arg \min }\left(\right|I_L-I_{L^{*}}{|}^2+H\left(\▿I_L,\▿I_G\right))$

其中：

$H(\▿I_L,\▿I_G)=\mathrm{\λ}\mathrm{\Σ}\left(\right|\frac{\∂I_L}{\∂x}{|}^2*{\left(|\frac{\∂I_G}{\∂x}{|}^{\mathrm{\α}}+\∈\right)}^{-1}+|\frac{\∂I_L}{\∂y}{|}^2*{\left(|\frac{\∂I_G}{\∂y}{|}^{\mathrm{\α}}+\∈\right)}^{-1})$

其中，x和y表示图像中某一点的空间位置；参数∈是一个小的常数，用来避免分母为0的情况；参数λ用来平衡光滑项与数据项的比例，从而控制图像整体的平滑度；参数α是通过调节导向图I_G的梯度变化来控制图像输出的；I_G是导向图，用来控制边缘保持平滑的局部特性，这里取从亮度通道中减去亮度图层就能得到包含皮肤光滑度的光滑度图层I_S，即

5.根据权利要求4所述的基于深度学习的人脸吸引力评价方法，其特征在于，在颜色空间映射过程中，所述X_n，Y_n，Z_n分别为95.047，100.0，108.883。

6.根据权利要求1所述的基于深度学习的人脸吸引力评价方法，其特征在于，在步骤(2)中，所述特定设计的卷积神经网络结构是具有网络输入图片尺寸较大、卷积核尺寸较小以及网络结构较深的网络结构。

7.根据权利要求6所述的基于深度学习的人脸吸引力评价方法，其特征在于，该特定设计的卷积神经网络结构的图像输入大小为256x256，在训练过程中会被随机裁剪成227x227大小，网络包含6个卷积层和2个全连接层，每个卷积层分别包含50,100,150,200,250,300个特征图；每个卷积层的卷积核大小分别是5x5,5x5,4x4,4x4,4x4,2x2，卷积步长都为1；每个卷积层后紧跟一个下采样层，每个下采样层的核都为2x2大小，步长为2，前5个下采样层采用均值采样方法，最后一个下采样层采用最大值采样方法；网络第一个全连接层包含500个神经元，第二个全连接层包含1个神经元，即输出网络预测的吸引力分数。

8.根据权利要求7所述的基于深度学习的人脸吸引力评价方法，其特征在于，还包括确定卷积神经网络结构的损失函数的步骤，其具体为：

采用人脸图像被赋予的吸引力分数和网络输出分数之间的欧氏距离作为网络的损失函数，定义为网络预测吸引力分数，y_n为被赋予的吸引力分数，则网络的损失函数为：

$Loss=\frac{1}{2N}{\mathrm{\Σ}}_{n=1}^N\left|\right|{\hat{y}}_n-y_n|{|}_2^2.$

9.根据权利要求1所述的基于深度学习的人脸吸引力评价方法，其特征在于，在步骤(5)中，被输入进行吸引力评分的任意人脸图像的输入信息是RGB像素值。