CN108108715A - 基于生物启发和深度属性学习相结合的人脸美感预测方法 - Google Patents

Abstract

基于生物启发和深度属性学习相结合的人脸美感预测方法，涉及一种人脸美感预测方法。首先通过眼动仪获取用户观察人脸图像时的眼动信息，进而提取出人观看人脸时的审美空间区域，通过聚类将审美空间区域划分为若干特征空间，然后通过监督学习和卷积神经网络方法训练出人脸美感检测器，训练出的人脸美感检测器对于一张正面的人脸图像，预处理后能够得到人脸图像的美感等级。通过收集图像的中层属性特征信息提取了用户观察图像时的审美空间区域，通过得到的人脸美感模型充分验证了决定人脸美感的审美特征区域，并且相对于其他人脸美感评价方法在准确率方面有了很大的提升。

Description

基于生物启发和深度属性学习相结合的人脸美感预测方法

技术领域

本发明涉及一种人脸美感预测方法，特别是涉及一种基于生物启发和深度属性学习相结合的人脸美感预测方法。

背景技术

在当前人脸相关应用中，人脸美感预测受到了越来越多人的关注，在客户端和移动端也得到了相关的应用，例如在用户进行人脸拍照时，实时返回一个当前人脸的美感分数，帮助人们找出理想的拍照角度。但目前人脸美感技术中最关键的挑战在于提取具有判别性和感知能力的特征来区分人脸面部分美感。到目前为止，现有刻画人脸美感的方法主要依赖于手动提取的图像底层特征，比如人脸的几何特征的空间位置的计算，或人脸图像的全局特征的判别等。对于基于几何特征的方法，大多数的方法是，首先手动或自动的对人脸的关键点进行标注，根据这些关键点的位置计算人脸各个器官的比例关系，然后通过训练得到分类回归模型，用于人脸美感的分类回归。对于基于人脸的全局特征的方法，将整个预处理后的人脸图像输入提取整张人脸的特征信息来进行人脸美感评价模型的训练，不过由于人脸图像的维度过高，造成的问题有，计算复杂度过高，且在高维空间中的分布稀疏，分类效果并不是很好。

中国专利201110177113.5发明提供了一种基于几何特征的人脸美感分析方法，通过基于组合策略的局部几何特征进行组合描述，并采用基于记忆的动态加权核密度估计(MDKDE)构建弱分类器，利用Adaboost集成学习机制实现特征的集成，得到人脸美感精确类别。与以往基于几何特征的人脸美感分析技术不同的是，发明从欧氏距离、斜率和面积等多角度选取描述人脸美感的局部几何特征，构成人脸美感的单一描述，并由局部几何特征描述进行组合得到组合特征描述，并采用MDKDE构建Adaboost集成学习的弱分类器，对任意输入的人脸图像获得了较好的分类结果。

以上这两种方法不能揭示图像语意信息的有效表达，尽管基于几何特征的方法对人脸美感的分析也具有相关性，但是仍旧不能清晰的解释人类大脑是如何利用这些几何特征去分析和判别出人脸的美感，并没有用科学的方法去统计和验证其合理性。对于基于全局特征的美感分析方法，存在着很多人类大脑不关注的区域和噪声，可能存在对人脸审美的判别中造成不可逆影响的情况。我们知道，在人脑感知***中，当评估人脸的美感问题时，人脑趋向于有选择的关注那些有吸引力的人脸位置区域，在这样情况下，提取人脸显著特征位置显得尤为重要了。

发明内容

本发明所要解决的技术问题在于针对上述现有技术的不足，提供基于生物启发和深度属性学习相结合的人脸美感预测方法。

本发明包括以下步骤：

1)人脸图像的预处理；

2)人脸显著特征位置的提取；

3)获取人脸图像的美感等级标签；

4)人脸美感模型的建立。

在步骤1)中，所述人脸图像的预处理包括人脸检测、人脸关键点定位、人脸图像归一化处理等；所述人脸图像的预处理的具体方法，包括以下步骤：

(1)对人脸图像进行人脸检测及人脸关键点的定位，具体方法包括但不限于基于opencv的人脸检测和人脸关键点的定位、基于人脸关键点位置的手工标注等；

(2)根据人脸关键点的位置进行人脸图像几何归一化处理，将人脸表情子图像变换为统一的尺寸；

(3)人脸图像的灰度归一化处理，用来增强图像亮度，减弱光线和光照强度的影响。

在步骤2)中，所述人脸显著特征位置的提取的具体方法可为：

(1)根据步骤1)中预处理后的人脸图像，由眼动仪获取用户观察图像时的眼动信息，通过眼动追踪仪获取用户的眼动扫描和追踪数据，计算用户眼球在图像的焦点位置；

(2)根据得到的用户眼球在图像的焦点位置，分析并提取用户关注的人脸显著特征点集合；

(3)将用户扫视过的人脸特征点的集合进行筛选；所述筛选为删除所有用户扫视过的人脸特征点频度小于5的特征点；

(4)将筛选后的用户扫视的人脸特征点进行聚类，得到所有用户关注的图像焦点位置，即聚类后的簇心，其中定义为凝视点(POG)，由凝视点(POG)得到用户的凝视区域，用户的凝视区域计算如下：

S＝d·tan(θ)

其中，S为用户的凝视区域，d为用户到实验主机屏幕的水平距离，θ为视觉广度，取值为6度；tan()为正切函数。

在步骤3)中，所述获取人脸图像的美感等级标签的具体方法可为：针对步骤1)中预处理后的人脸图像，通过实验获取至少20用户对于人脸图像之间的美感相对排名，然后通过包括但不限于TrueSkill算法将美感的相对排名转换为人脸图像的美感评分，进而转化为美感等级标签。

在步骤4)中，所述人脸美感模型的建立的具体方法可为：

(1)根据步骤2)得到的凝视区域，将步骤1)进行预处理之后的人脸图像凝视区域之外的区域进行高斯模糊处理；

(2)将人脸图像划分为训练集合和测试集合；

(3)根据步骤2)得到的用户观察人脸时的凝视区域及步骤3)得到的人脸图像的美感标签通过包括但不限于监督学习和卷积神经网络的方法训练出人脸美感评价模型。

本发明的实验评价标准为准确度(Accuracy)，反映了预测的人脸美感类别与标注的美感类别之间的一致程度。

不同方法在人脸美感预测任务上的效果比较参见表1。

表1

方法	二分类(％)	三分类(％)
			AutoDL	68.7	63.0
ManualRegion	65.1	59.9
			DBP	63.9	50.4
Data-Driven	68.0	56.6
			Bio-AttriBank	72.1	65.3
Bio-AttriBank-PCA	73.5	65.8

其中AutoDL、ManualRegion、DBP和Data-Driven为近两年最佳的人脸美感预测方法，Bio-AttriBank为本发明提出的基于生物启发和深度属性学习相结合的人脸美感预测方法，Bio-AttriBank-PCA为本发明提出的基于生物启发和深度属性学习相结合的人脸美感预测方法的变种。由表1可知，本发明在二分类和三分类的人脸美感预测任务上都取得最佳的效果。

本发明首次提出了基于人脸显著特征的人脸美感预测方法，建立起人在进行人脸美感分析时的情感桥梁。

本发明首先通过眼动仪获取用户观察人脸图像时的眼动信息，进而提取出人观看人脸时的审美空间区域，通过聚类将审美空间区域划分为若干特征空间，然后通过监督学习和卷积神经网络方法训练出人脸美感检测器，训练出的人脸美感检测器对于一张正面的人脸图像，预处理后能够得到人脸图像的美感等级。通过收集图像的中层属性特征信息提取了用户观察图像时的审美空间区域，通过得到的人脸美感模型充分验证了决定人脸美感的审美特征区域，并且相对于其他人脸美感评价方法在准确率方面有了很大的提升。

附图说明

图1为本发明实例中凝视点(POG)分布热区图及聚类后簇心位置；

图2为本发明实例中凝视区域S的确定过程；

图3为本发明实例中的标定的人脸美感分数；

图4为本发明实例中训练网络结构。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

1.人脸图像的预处理

(1)对人脸图像进行人脸检测并进行人脸关键点的定位，具体方法包括但不限于基于opencv的人脸检测和人脸关键点的定位；

(2)根据人脸关键点的位置进行人脸图像几何归一化处理，将人脸表情子图像变换为统一的尺寸。具体方法为，根据左右眼的坐标值旋转图像，保证人脸方向的一致性，根据面部特征点和几何模型确定矩阵特征区域，以两眼中心点为基准，左右方向剪切两眼中心的距离d，垂直方向各取0.5d和1.5d的矩形区域进行剪裁，最后将剪裁之后的图像进行尺度变换为统一的尺寸，这里为128×128的大小；

(3)人脸图像的灰度归一化处理，用来增强图像亮度，减弱光线和光照强度的影响。

2.凝视点(POG)的确定

本发明中，为了建立起人在进行美感分析时的情感桥梁，从两个方面来提取图像的特征。首先，利用相对于底层特征属性更具有说服力图像的中层属性检测器来提取图像的特征；另一方面，使用一个更加自然的方法去提取人在判断人脸美感时的人眼重点观看的位置，本方法借助于心理学仪器眼动仪来实现，用眼动仪来记录人在进行美感分析时的凝视点(POG)来反映人的视觉关注点。图1中(a)图是在眼动实验中在经过用户对4000多张图片扫视之后统计筛选后得到的POG分布热区图，但是，由于视觉广度(visual span)的影响，关注位置被限制在焦距范围内，因此将POG点聚类为若干个人脸美感兴趣区域，其中聚类之后的簇心如图1中(b)图所示。

3.凝视区域S的确定

如图2所示，首先由POG得到若干簇心位置，然后考虑视觉广度(visual span)的影响，得到凝视区域S_field如图所示，用户的凝视区域计算如下：

S＝d·tan(θ)

其中，S为用户的凝视区域，d为用户到实验主机屏幕的水平距离，θ为视觉广度，取值为6度，tan()为正切函数。

4.人脸图像美感等级标签的确定

通过实验得到人脸图像之间美感的相对排序是简单的，但直接通过实验确定人脸图像美感分数却相对困难，为了解决这个问题，借助TrueSkill算法将人脸图像之间美感的相对排序转换为绝对的美感分数。

5.人脸美感模型的建立

给定预处理后的N个人脸图像集合D，对于任意一张人脸图像及其美感标签，首先对每个人脸图像进行高斯模糊后得到高斯模糊后的图像。由步骤3得到的凝视区域，将图像集合中第i张图像的第j个凝视区域定义为为第j个矩形块。然后利用第j个凝视区域的位置对高斯模糊后的人脸图像G_i进行替换得到待训练人脸图像。最后，通过应用卷积神经网络(CNN)和softmax函数的前向传播，输出第j属性检测器的概率估计。为了训练每个属性检测器的模型利用交叉熵方法并将损失反向传播用于更新每个深度网络层的参数。为了预测第i个人脸图片的美感等级，串联不同属性的概率估计并且将其送入最后的已训练的softmax层来产生最后的美感等级。

在模型训练之前，修改了LeNet模型的层数来进行训练，网络结构如图4所示，对于每个生物启发的属性检测器，拿整张经过上述处理后的人脸图像(大小128×128)作为输入，将带有凝视区域和全局区域的整个肖像图像(伸缩成128×128像素的图像)输入到网络中，最后训练出所需的人脸美感预测模型。

Claims (6)

1.基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于包括以下步骤：

1)人脸图像的预处理；

2)人脸显著特征位置的提取；

3)获取人脸图像的美感等级标签；

4)人脸美感模型的建立。

2.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤1)中，所述人脸图像的预处理包括人脸检测、人脸关键点定位、人脸图像归一化处理。

3.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤1)中，所述人脸图像的预处理的具体方法，包括以下步骤：

(1)对人脸图像进行人脸检测及人脸关键点的定位，具体方法包括但不限于基于opencv的人脸检测和人脸关键点的定位、基于人脸关键点位置的手工标注；

(2)根据人脸关键点的位置进行人脸图像几何归一化处理，将人脸表情子图像变换为统一的尺寸；

(3)人脸图像的灰度归一化处理，用来增强图像亮度，减弱光线和光照强度的影响。

4.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤2)中，所述人脸显著特征位置的提取的具体方法为：

(1)根据步骤1)中预处理后的人脸图像，由眼动仪获取用户观察图像时的眼动信息，通过眼动追踪仪获取用户的眼动扫描和追踪数据，计算用户眼球在图像的焦点位置；

(2)根据得到的用户眼球在图像的焦点位置，分析并提取用户关注的人脸显著特征点集合；

(3)将用户扫视过的人脸特征点的集合进行筛选；所述筛选为删除所有用户扫视过的人脸特征点频度小于5的特征点；

(4)将筛选后的用户扫视的人脸特征点进行聚类，得到所有用户关注的图像焦点位置，即聚类后的簇心，其中定义为凝视点，由凝视点得到用户的凝视区域，用户的凝视区域计算如下：

S＝d·tan(θ)

其中，S为用户的凝视区域，d为用户到实验主机屏幕的水平距离，θ为视觉广度，取值为6度；tan()为正切函数。

5.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤3)中，所述获取人脸图像的美感等级标签的具体方法为：针对步骤1)中预处理后的人脸图像，通过实验获取至少20用户对于人脸图像之间的美感相对排名，然后通过包括但不限于TrueSkill算法将美感的相对排名转换为人脸图像的美感评分，进而转化为美感等级标签。

6.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤4)中，所述人脸美感模型的建立的具体方法为：

(1)根据步骤2)得到的凝视区域，将步骤1)进行预处理之后的人脸图像凝视区域之外的区域进行高斯模糊处理；

(2)将人脸图像划分为训练集合和测试集合；

(3)根据步骤2)得到的用户观察人脸时的凝视区域及步骤3)得到的人脸图像的美感标签通过包括但不限于监督学习和卷积神经网络的方法训练出人脸美感评价模型。