CN109359526B - 一种人脸姿态估计方法、装置和设备 - Google Patents

Abstract

本发明公开了一种人脸姿态估计方法，装置和设备，属于涉及图像识别技术领域，所述方法包括步骤：读取待估计的图片；根据第一模型，识别出待估计图片的人脸特征点；根据第二模型和所述人脸特征点，识别出待估计图片的人脸待姿态角。通过本发明，可实时直接生成人脸姿态角数据，并可连续输出预测值，可广泛应用于要求实时、连续判断人脸姿态的应用领域，通过本方法生成人脸姿态的训练和测试数据集，可避免人工标注，提高数据集精度。同时，针对第一模型中的卷积神经网络人脸特征点模型，提出了新的损失函数，新的损失函数更有利于计算机运算，加快了模型的计算效率。

Description

一种人脸姿态估计方法、装置和设备

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种人脸姿态估计方法、装置和设备。

背景技术

目前，人脸姿态估计在人脸识别和人机交互等领域中发挥着重要作用。人脸姿态变化会导致人脸信息丢失及差异，使得不同人的侧脸相似度比同一个人的侧脸和正脸之间的相似度还要高。在海关、机场、展览馆等公共场合及公安追捕罪犯***等实际应用中，当前人脸识别技术受到限制。因此，人脸姿态估计对于多姿态人脸识别来说非常重要。除此之外，人脸姿态估计还在智慧城市、司机疲劳检测***等方面都有着广泛的应用。

根据实现原理和方式的不同，现有的人脸姿态估计方法大体上可以分为六类：(1)形状模板匹配的方法；(2)检测分类器的方法；(3)特征回归的方法；(4)流形嵌入的方法；(5)局部约束模型的方法；(6)脸部特征点几何关系的方法。其中，脸部特征点几何关系的方法具有简单、耗时短、效率高等优点，基于卷积神经网络的人脸特征点提取算法使脸部关键特征点的检测和定位精度得到保障。基于前馈神经网络的姿态估计有效避免人工模型估计过程病态化的问题。

专利CN108197547A公开了一种人脸姿态估计方法、装置、终端及存储介质，基于残差网络构建两个分类模型，第一分类模型用于粗分类，第二分类模型用于精确分类。存在的问题是，最终输出的是分类结果，当待估计样本处于分类界限区间时，输出结果精度下降。

专利CN105159452A公开了一种基于人脸姿态估计的控制方法与***，采用快速脸部识别算法(比如采用约束局部模型CLM)识别人脸，采用的分类模型可以是主动外貌模型AAM(Active Appearance Model)，手工标注人脸对应的姿态信息，然后训练人脸姿态识别器。存在的问题是，步骤复杂，精度受限于主动外貌模型AAM算法、人工标记误差。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种可即时进行特征点和姿态角位置标注，精度高的一种人脸姿态估计方法和装置。

本发明的第一方面是提出了一种人脸姿态估计方法，包括步骤：

读取待估计的图片；

根据第一模型，识别出待估计图片的人脸特征点；

根据第二模型和所述人脸特征点，识别出待估计图片的人脸待姿态角。

进一步地，所述步骤读取待估计的图片之后，还包括：判断所述图片中是否包含人脸，若是，截取人脸部分图像，并对截取的图像进行归一化处理。

进一步地，所述方法还包括训练第一模型，包括，

对训练集图片进行预处理；

进行卷积神经网络训练。

进一步地，所述方法还包括训练第二模型，包括步骤，

生成姿态角估计训练集；

进行前馈神经网络训练。

进一步地，所述卷积神经网络训练中的采用的损失函数为：

其中，loss代表误差，i表示数据集中第_i张图片，n表示数据集共有n张图片，j表示图像中第j个特征点，j_x表示第j个特征点的x坐标下索引，j_y表示个特征点的y坐标下索引，

表示第_i张图片第_j个特征点坐标估计值，

表示第i张图片第j个特征点坐标真实值，

表示在第_i张图片的第_j个特征点估计值和真实值的欧式距离，l为输入卷积神经网络人脸的长度。

进一步地，所述前馈神经网络训练中采用采用的损失函数为：

其中，x_i,j表示第i个样本偏转的第j个欧拉角，i＝0,...n-1，j＝1,2,3，n为样本数目，x′_i,j表示第i个样本偏转的第j个欧拉角的预测值。

进一步地，所述步骤生成姿态角估计训练集包括步骤：

提取待估计的图片的特征点和旋转中心的坐标信息；

将所述特征点绕所述旋转中心旋转投射到预设平面上；

在预设平面中计算姿态角的角度值。

进一步地，其特征在于，

所述第一模型为卷积神经网络模型，包括1个输入层，3对卷积池化层，1个卷积层，2个全连接层；

所述第二模型为前馈神经网络模型，包括11个隐藏层和1个输出层。

本发明的第二个方面是提出了一种人脸姿态估计的设备，包括一种人脸姿态估计的装置，包括：

输入模块，用于接收待估计的图片；

第一模型，用于识别出待估计图片的人脸特征点，所述第一模型还包括第一模型训练模块，用于训练所述第一模型，

所述第一模型训练模块包括：

训练集图片预处理模块，用于处理训练集中的图片，

卷积神经网络模块，用于判断人脸特征点；

第二模型，识别出待估计图片的人脸待姿态角，所述第二模型包括第二模型训练模块，用于训练所述第二模型，

所述第二模型训练模块包括：

姿态角估计训练集生成模块，用于生成姿态角估计所需的训练集，

前馈神经网络模块，用于判断人脸姿态角。

本发明的第三个方面是提出了一种人脸姿态估计的设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。

本发明的第三个方面是提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的方法。

本发明的有益效果是：

本发明运用所述的人脸姿态估计方法，可实时直接生成人脸姿态角数据，并可连续输出预测值，可广泛应用于要求实时、连续判断人脸姿态的应用领域，通过本方法生成人脸姿态的训练和测试数据集，可避免人工标注，提高数据集精度。同时，针对第一模型中的卷积神经网络人脸特征点模型，提出了新的损失函数，新的损失函数更有利于计算机运算，加快了模型的计算效率。

附图说明

图1是本发明中一种人脸姿态估计方法一具体实施例的流程图；

图2是本发明中一种人脸姿态估计方法一具体实施例中采用的人脸特征点示意图；

图3是本发明中一种人脸姿态估计方法又一具体实施例的流程图；

图4是本发明中一种人脸姿态估计方法一具体实施例中训练第一模型的流程图；

图5是本发明中一种人脸姿态估计方法一具体实施例中第一模型中神经网络的结构示意图；

图6本发明中一种人脸姿态估计方法一具体实施例中训练第二模型的流程图；

图7本发明中一种人脸姿态估计方法一具体实施例中训练第二模型的中生成姿态角估计训练集的流程图；

图8是本发明中一种人脸姿态估计方法一具体实施例中第二模型中神经网络的结构示意图；

图9是本发明中一种人脸姿态估计方法一具体实施例中的输出结果示意图；

图10是本发明中一种人脸姿态估计装置一具体实施例的结构图；

图11是本发明中一种人脸姿态估计设备一具体实施例中结构图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示，图1示出了本发明中一种人脸姿态估计方法一个具体实施例的流程图，包括如下步骤：

S110，读取待估计的图片；

该图片可以从摄像头中实时采集或者从本地存储的图片中读取，并对图片进行初步的处理，处理方式为均值滤波。

S130，根据第一模型，识别出待估计图片的人脸特征点；

本实施例中，事先训练第一模型，使得第一模型可以对人脸特别点进行识别。

人脸特征点与普通图像的关键点不同，一般图像的关键点通常在图像局部像素的最大或最小值处，最大或最小灰度值处，并有某些梯度特征。人脸的特征点是实现人工定义好的，主要包括面部器官位置或者人脸轮廓等。常定义的形状模型有5点形状模型、29点形状模型、68点形状模型等，如图2所示，本实施例中选取左眼1、右眼2、鼻子3、左嘴角4、右嘴角5这5个特征点形状模型的数据。

S150，根据第二模型和所述人脸特征点，识别出待估计图片的人脸待姿态角。

将人脸的特征点数据输入到第二模型中。识别出待估计图片的人脸待姿态角，并标记在图片中。

本实施例中，事先训练第二模型，使得第二模型可以进行人脸的姿态角识别。

本实施例中，通过第一模型确定人脸特征点，通过第二模型和人脸特征点判断人脸姿态，可实时、连续的计算人脸的姿态角数据，在要求实时、连续判断人脸姿态的应用领域，如司机疲劳驾驶监测等方面有重要的应用价值。

如图3所示，在另一个实施例中，在步骤S110后还包括步骤S120，判断图片中是否存在人脸，具体的检测方法可采用Haar算子进行人脸识别。

若包含人脸信息，进入步骤S121，截取人脸部分图像，并对截取的图像进行归一化处理。

截取人脸部分图片，并另存为39*39像素的图片作为第一模型和第二模型的输入图片，同时记录人脸在原始待估计图片的位置。

在本实施例中，还包括训练第一模型，具体步骤如图4所示，包括：

S210，对训练集图片进行预处理；

可采用LFW人脸图像数据集进行人脸训练，预处理包括将数据集中的图像灰度化、将人脸部分截取并另存为39*39像素的图片。

在训练集的图像中标注人脸特征点的位置坐标，特征点为左眼、右眼、鼻子、左嘴角、右嘴角。

S220，进行卷积神经网络训练。

卷积神经网络在处理复杂场景下，如在光照、姿势、表情、遮挡等复杂条件下的性能较好。

定义卷积神经网络结构，本实施例中采用的神经网络为7层结构，包括1个输入层，3对卷积池化层，1个卷积层，2个全连接层，如图5所示。

采用的激活函数为：

其中m、n为前一层和当前层神经元的个数，当在输入层时，m为1，n为第一个卷积层神经元个数为20；当在输出层时m为120，n为10。y_j为当前层单个神经元的输出，j表示第几个神经元，j＝0,1,...n-1。x_i,j为前一层所有神经元的输出，i表示前一层第几个神经元，i＝0,1,...m-1。w_j为当前层第j个神经元的权重系数，b_j为当前层第j个神经元的常数系数。

采用的损失函数为：

其中，loss代表误差，i表示数据集中第i张图片，n表示数据集共有n张图片，j表示图像中第j个特征点，j_x表示第j个特征点的x坐标下索引，j_y表示个特征点的y坐标下索引，

示第i张图片第j个特征点坐标估计值，

表示第i张图片第j个特征点坐标真实值,

表示在第i张图片的第j个特征点估计值和真实值的欧式距离，l为输入卷积神经网络人脸的长度，通过l的引入，使得输出的结果为特征点占人脸比位置的比例值，有效避免了不同人脸比例大小不同的问题。

本损失函数较其他损失函数而言，更利于机器运算，运算效率更高，计算速度更快。

第一模型训练4600步后，在数据集上进行测试，计算出的均方根误差为：

err_train表示模型在训练集上进行估计的均方根误差，err_test表示模型在测试集上进行估计的均方根误差,人脸特征点估计模型做回归训练，其估计精度可由损失函数直接给出。由于估计结果和真实值都是归一化之后的比例值，所有err_train、err_test由训练结果看出，卷积神经网络在训练集上的均方误差为0.00037128685，在测试集上的均方误差为0.0004455708。结果收敛后，第一模型训练完成。

在本实施例中，还包括训练第二模型，具体步骤如图6所示：

S310，生成姿态角估计训练集；

人脸姿态数据可合理简化为，人脸特征点模型旋转合理欧拉角后，投影的到预设平面生成。

进一步地，如图7所示，姿态角估计训练集生成，包括如下步骤：

S311，提取待估计的图片的人脸特征点和旋转中心的坐标信息。

人脸特征点可通过第一模型计算，旋转中心坐标可通过人体头部模型计算，旋转中心和人脸特征点满足几何分布约束。

S312，将所述特征点绕所述旋转中心旋转投射到预设平面上

设置x轴、y轴、z轴是直角坐标系的三个轴，其中，z轴为通过人的头顶中心点且与水平面垂直的直线，y轴可以为与人的两个眼球中心点的连线平行的直线，定义旋转中心为原点。定义绕x轴旋转的角度为横滚角(roll)，绕y轴旋转的角度为俯仰角(pitch)，沿z轴旋转的角度为偏转角(yaw)。设置初始状态为人脸平面法向量指向yoz平面。将人脸特征点投影到yoz平面上。

S313，在预设平面中计算姿态角的角度值。

通过计算yoz平面上人脸特征点的关键点的投影计算姿态角信息。

本实施例中，共生成20000个数据构成数据集，其中18000个数据组成训练集，2000个数据组成测试集。

在生成姿态角估计训练集后，进入步骤S320，进行前馈神经网络训练。如图8所示，图7为本实施中采用的神经网络结构示意图，共包含11个隐藏层和1个输出层，采用的激活函数为：

m、n为前一层和当前层神经元的个数，当在输入层时，m为1，n为第一个卷积层神经元个数为28；当在输出层时m为8，n为3。y_j为当前层单个神经元的输出，j表示第几个神经元，j＝0,1,...n-1。x_i,j为前一层所有神经元的输出，i表示前一层第几个神经元，i＝0,1,...m-1。w_j为当前层第j个神经元的权重系数，b_j为当前层第j个神经元的常数系数。

采用的损失函数为，

损失函数定义为任意样本中人头偏转的任意欧拉角与其估计值之间的均方误差，err为损失函数结果值，通过使损失函数最小，反复迭代求得前馈神经网络模型参数。x_i,j表示第i个样本偏转的第j个欧拉角，i＝0,...n-1，j＝1,2,3。n为样本数目，i从0开始取值。x′_i,j表示第i个样本偏转的第j个欧拉角的预测值。

第二模型训练4000步后达到收敛，测试结果如下：

err_train为前馈模型在训练集上的均方误差结果为0.2545835°，err_test在在测试集上的均方误差结果为0.26021713°。

在本实施例中，如图9所示，示出了本发明中一种人脸姿态估计方法一具体实施例中的输出结果示意图，(x_R,y_R)为人脸区域左上角点坐标，w_R为人脸区域边长，因此，人脸区域可以用(x_R,y_R,w_R)表示，通过第一模型输出的结果为人脸特征点在人脸中横向和纵向的比例值，通过乘以人脸的区域边长，加上人脸在整个图片中的相对位置，即可计算出人脸特征点在整个图片的坐标值，具体的计算公式如下：

其中，(x′_i,y′_i)表示第一模型输出的人脸坐标点比例值，该比例值为点在人脸区域R中的占比，(x_i,y_i)为通过计算后，得出的人脸特征点在归一化处理后生成的图片中的坐标值。

本实施例中具体的结果为：

人脸的姿态角可直接标记在图片中，具体为：

方向角	Roll(横滚角)	Pitch(俯仰角)	Yaw(偏航角)
				角度值/度	5.801024	-22.002823	0.9343903

综上所述，本发明通过第一模型和第二模型实时输出人脸的特征点和姿态信息，第一模型采用卷积神经网络，适用于复杂环境下的人脸识别，同时针对第一模型提出了新的损失函数，缩短了第一模型的训练时间，本发明还公开了一种姿态简化计算方法，用生成姿态角估计训练集，通过本发明生成的图像特征点和姿态数据集，避免了以往的手工标注费时费力，可为后续的图像识别进一步使用。

如图10所示，本发明还公开了一种装置，包括：

输入模块，用于接收待估计的图片；

第一模型，用于识别出待估计图片的人脸特征点，所述第一模型还包括第一模型训练模块，用于训练所述第一模型，

所述第一模型训练模块包括：

训练集图片预处理模块，用于处理训练集中的图片，

卷积神经网络模块，用于判断人脸特征点；

第二模型，识别出待估计图片的人脸待姿态角，所述第二模型包括第二模型训练模块，用于训练所述第二模型，

所述第二模型训练模块包括：

姿态角估计训练集生成模块，用于生成姿态角估计所需的训练集，

前馈神经网络模块，用于判断人脸姿态角。

如图11所示，本发明还公开了一种人脸姿态估计的设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。

本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的方法

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.一种人脸姿态估计方法，其特征在于，所述方法包括步骤：

读取待估计的图片；

根据第一模型，识别出待估计图片的人脸特征点；

训练所述第一模型包括：

对训练集图片进行预处理；

进行卷积神经网络训练；

所述卷积神经网络训练中的采用的损失函数为：

其中，loss代表误差，i表示数据集中第i张图片，n表示数据集共有n张图片，j表示图像中第j个特征点，j_x表示第j个特征点的x坐标下索引，j_y表示个特征点的y坐标下索引，

表示第i张图片第j个特征点坐标估计值，

表示第i张图片第j个特征点坐标真实值，

表示在第i张图片的第j个特征点估计值和真实值的欧式距离，l为输入卷积神经网络人脸的长度；

根据第二模型和所述人脸特征点，识别出待估计图片的人脸待姿态角；

其中，所述第一模型为卷积神经网络模型，包括1个输入层，3对卷积池化层，1个卷积层，2个全连接层；所述第二模型为前馈神经网络模型，包括11个隐藏层和1个输出层。

2.根据权利要求1所述的一种人脸姿态估计方法，其特征在于，所述步骤读取待估计的图片之后，还包括：判断所述图片中是否包含人脸，若是，截取人脸部分图像，并对截取的图像进行归一化处理。

3.根据权利要求1所述的一种人脸姿态估计方法，其特征在于，所述方法还包括训练第二模型，包括步骤，

生成姿态角估计训练集；

进行前馈神经网络训练。

4.根据权利要求3所述的一种人脸姿态估计方法，其特征在于，所述前馈神经网络训练中采用的损失函数为：

其中，x_i,j表示第i个样本偏转的第j个欧拉角，i＝0,...n-1，j＝1,2,3，n表示数据集共有n张图片，x′_i,j表示第i个样本偏转的第j个欧拉角的预测值。

5.根据权利要求3所述的一种人脸姿态估计方法，其特征在于，所述步骤生成姿态角估计训练集包括步骤：

提取待估计的图片的人脸特征和旋转中心的坐标信息；

将所述特征点绕所述旋转中心旋转投射到预设平面上；

在预设平面中计算姿态角的角度值。

6.一种人脸姿态估计的装置，其特征在于，包括：

输入模块，用于接收待估计的图片；

第一模型，用于识别出待估计图片的人脸特征点，所述第一模型还包括第一模型训练模块，用于训练所述第一模型，

所述第一模型训练模块包括：

训练集图片预处理模块，用于处理训练集中的图片，

卷积神经网络模块，用于判断人脸特征点，所述卷积神经网络模型包括1个输入层，3对卷积池化层，1个卷积层，2个全连接层；

其中，所述卷积神经网络训练模型训练中采用的损失函数为：

其中，loss代表误差，i表示数据集中第i张图片，n表示数据集共有n张图片，j表示图像中第j个特征点，j_x表示第j个特征点的x坐标下索引，j_y表示个特征点的y坐标下索引，

表示第i张图片第j个特征点坐标估计值，

表示第i张图片第j个特征点坐标真实值，

表示在第i张图片的第j个特征点估计值和真实值的欧式距离，l为输入卷积神经网络人脸的长度；

第二模型，识别出待估计图片的人脸待姿态角，所述第二模型包括第二模型训练模块，用于训练所述第二模型，

所述第二模型训练模块包括：

姿态角估计训练集生成模块，用于生成姿态角估计所需的训练集，

前馈神经网络模块，用于判断人脸姿态角，所述前馈神经网络模型包括11个隐藏层和1个输出层。

7.一种人脸姿态估计的设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5任一项所述的方法。

Images