CN109902641B - 基于语义对齐的人脸关键点检测方法、***、装置 - Google Patents

Abstract

本发明属于人脸识别领域，具体涉及一种基于语义对齐的人脸关键点检测方法、***、装置，旨在为了提高人脸关键点检测的准确度，本发明方法在传统方法获取基本收敛的人脸关键点检测网络后，采用所构建的包含包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图的训练样本，使用含有隐变量的概率模型作为极大似然估计的目标再进行人脸关键点检测网络的优化；通过最终优化的人脸关键点检测网络进行人脸关键点坐标的预测。本发明在网络训练过程中有效地克服了标注随机性带来的训练震荡问题，提高人脸关键点检测的准确度。

Description

基于语义对齐的人脸关键点检测方法、***、装置

技术领域

本发明属于人脸识别领域，具体涉及一种基于语义对齐的人脸关键点检测方法、***、装置。

背景技术

人脸关键点在基于人脸的计算机视觉,模式识别应用中占有很重要的地位，例如视频监控和身份识别***等。对于大部分的人脸应用，都首先需要对人脸关键点进行精确的检测。

近年主流的人脸关键点检测方法，主要分为两大类，一类是传统方法。一类是基于卷积神经网络的方法。传统方法通过手工图像特征直接回归出模型参数。其中代表性的方法是级联回归，其拟合过程可总结为如下公式：

p^k+1＝p^k+Reg^k(Fea(I,p^k))

在第k次迭代时，通过Reg^k回归形状索引特征Fea来更新形状参数p^k。其中的形状索引特征Fea依赖于输入图像I和当前的形状参数p^k。回归器根据形状索引特征来更新模型参数，并计算出新的特征用于下一次迭代。利用该特性可以将若干弱回归器串联在一起形成一个强回归器以逐步减小误差。

基于卷积神经网络的人脸关键点检测方法主要分为两大类，一类是基于坐标回归的方法，该方法将关键点定位看作一个由图像像素映射到关键点坐标的回归过程，将人脸图片输入卷积神经网络直接预测出每个关键点坐标组成的向量。另一类是基于响应图的方法，由卷积神经网络预测出每个关键点的响应图，并将响应的峰值位置作为预测出的关键点位置。

以上人脸关键点检测方法在训练时，均将人工标注的关键点位置看作回归目标，让模型尽可能估计出人工标注点的位置。然而人脸关键点存在大量弱语义点，这些点通常仅要求均匀分布在指定的边缘上，如人脸轮廓，眼眶，鼻梁等区域，并没有严格的语义位置。由于这些弱语义点周边纹理信息辨识度较低，人工标注结果中不可避免地存在随机性误差，从而导致不同样本间的标注存在语义不一致的现象。因此，采用人工标定点直接训练模型会导致训练过程中产生大量无效误差，从而使网络拟合能力无法集中在真正需要的地方。目前为止，关键点的标注随机性对模型训练的影响尚未得到重视。

发明内容

为了解决现有技术中的上述问题，即为了提高人脸关键点检测的准确度，本发明的第一方面，提出了一种基于语义对齐的人脸关键点检测方法，该方法包括：

步骤S10，基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；

步骤S20，对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；

其中，所述人脸关键点检测网络基于卷积神经网络构建，并使用含有隐变量的概率模型作为极大似然估计的目标进行网络优化，用于输出人脸图像中关键点的响应图。

在一些优选实施方式中，所述人脸关键点检测网络，其训练样本包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图。

在一些优选实施方式中，所述人脸关键点检测网络，其优化过程中所采用的目标函数为

其中，x为输入人脸图像；

为k个关键点的坐标集合；

为网络预测的x中第k个关键点语义一致的真实位置；K为关键点的数量；W为网络权重；o^k代表中x第k个标注关键点；σ₁、σ₂分别为预设的第一权重、第二权重；

代表网络预测的响应图与标准高斯响应图之间的分布距离；N(o^k)为以o^k为中心的邻域。

在一些优选实施方式中，所述人脸关键点检测网络的迭代优化过程中，第t轮迭代过程中固定网络权重W，通过下式计算真实位置

其中，o_t ^k的值为上一轮迭代时优化得到的真实位置

然后再基于真实位置

通过下式获取优化的网络权重W，

在一些优选实施方式中，所述人脸关键点检测网络的迭代优化过程的结束条件为：

目标函数

达到预设的收敛条件，或者

迭代次数达到预设的次数。

本发明的第二方面，提出了一种基于语义对齐的人脸关键点检测***，该***包括响应图获取模块、关键点预测坐标获取模块；

所述响应图获取模块，配置为基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；

所述关键点预测坐标获取模块，配置为对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；

其中，所述人脸关键点检测网络基于卷积神经网络构建，用于输出人脸图像中关键点的响应图。

在一些优选实施方式中，所述人脸关键点检测网络，其训练样本包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图。

在一些优选实施方式中，所述人脸关键点检测网络，其优化过程中所采用的目标函数为

其中，x为输入人脸图像；

为k个关键点的坐标集合；

为网络预测的x中第k个关键点语义一致的真实位置；K为关键点的数量；W为网络权重；o^k代表中x第k个标注关键点；σ₁、σ₂分别为预设的第一权重、第二权重；

代表网络预测的响应图与标准高斯响应图之间的分布距离；N(o^k)为以o^k为中心的邻域。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于语义对齐的人脸关键点检测方法。

本发明的第五方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于语义对齐的人脸关键点检测方法。

本发明的有益效果：

分布在边缘的弱语义关键点的语义模糊性会导致人工标注产生随机误差。将人工标注直接作为网络训练的优化目标会使得训练中存在大量无效误差，且预测位置不断震荡。从而导致网络拟合能力无法集中在真正需要的地方。本发明的基于语义对齐的人脸关键点检测方法，能够计算出无误差且语义一致的关键点真实位置，有效地克服了标注随机性带来的训练震荡问题，同时使得弱语义点的拟合更加灵活。由于更合理地分配了网络拟合能力，本发明可以在运算量不变的前提下显著提升性能。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一种实施例的基于语义对齐的人脸关键点检测方法中训练、检测流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的一种基于语义对齐的人脸关键点检测方法，该方法包括：

步骤S10，基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；

步骤S20，对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；

其中，所述人脸关键点检测网络基于卷积神经网络构建，并使用含有隐变量的概率模型作为极大似然估计的目标进行网络优化，用于输出人脸图像中关键点的响应图

为了更清晰地对本发明基于语义对齐的人脸关键点检测方法进行说明，下面结合附图1从训练数据、网络优化、人脸关键点检测三个方面对本方发明方法进行展开详述。

1、训练数据

手工标定人脸关键点作为训练样本，需要预先给定标定好的人脸框，对于每个人脸框，精确标定出每个关键点在框内的二维坐标。

对于训练样本中每个标注的关键点，生成以标注位置为中心的标准高斯的响应图用作网络监督信息。

所构建的训练数据中，每个训练样本均包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图。

2、网络优化

本实施例采用的人脸关键点检测网络可以为沙漏网络或其他全卷积的网络结构。当用原始人工标注的训练集训练网络直至基本收敛时，由于网络持续拟合具有标注随机性的关键点，陷入震荡状态，从而无法收敛到更好的局部最优值。

2.1目标函数的构建

由于人工标注存在语义的不一致性，直接将人工标注作为网络训练的优化目标会产生收敛困难的问题。为此，本发明引入无误差且在不同样本间语义一致的真实关键点作为网络优化的目标，人工标注位置可看作关键点真实位置的一个观察值，由此更合理地建模了人脸关键点检测问题。由于检测网络的训练过程可看作极大似然估计，本发明设计出含有隐变量的概率模型作为极大似然估计的目标。概率模型如式(1)所示

其中，

代表关键点语义一致的真实位置(真实值)，即隐变量，o代表

的观察值，如人工标注的关键点。x代表输入人脸图片，W代表网络权重。

为给定真实值

得到当前观察值o的概率，根据经验估计，观察值应该与真实值位置接近，因此先验概率模型

的定义如式(2)所示：

其中，K为关键点个数，σ₁代表先验概率模型的权重，记做第一权重，o^k代表中x第k个标注关键点。似然函数

为当前网络预测值为真实隐变量的确信程度，定义如式(3)、(4)所示：

其中，

为网络预测的响应图与标准高斯响应图之间的分布距离，本发明用卡方检验来衡量分布距离。i表示像素索引，E表示标准高斯响应图，Φ(y|x；W)表示输入图片x预测出的响应图。σ₂代表似然函数的权重，记做第二权重。综合先验概率模型和似然函数，可将人脸关键点检测网络训练转化为约束优化问题，如式(5)下：

由于真实值与观察值的距离不可相距太远，真实值

被限制在以当前观察值o^k为中心的邻域N(o^k)中。

2.2迭代优化

在训练过程中，采用迭代优化的方式进行人脸关键点检测网络中网络权重的优化，第t轮迭代过程中固定网络权重W，通过式(6)计算真实位置

其中，o_t ^k的值为上一轮迭代时优化得到的真实位置

此时优化得到的真实值

的位置综合考虑了网络的预测位置和观察值位置。由于网络学***滑单个样本中的标注随机性。

然后再基于真实位置

通过式(7)获取优化的网络权重W，

将目标函数看作损失函数，优化权重W可看作标准的网络训练过程。整个关键点检测模型的训练过程可看作在每次迭代过程中先优化得到关键点真实位置

再用真实位置

训练网络。由于本发明相比已有算法提供了更加灵活的优化目标，有效降低了训练过程中的不合理误差，使得卷积神经网络可以更合理地分配拟合性能，提高关键点定位的准确度。

在训练过程中优选的步骤为：(1)基于1中人工标注的人脸图像训练样本直接训练人脸关键点检测网络直至基本收敛；(2)基于1中构建的训练样本，采用2.2的迭代优化方法进一步对人脸关键点检测网络进行优化。所述人脸关键点检测网络的迭代优化过程的结束条件为目标函数

达到预设的收敛条件，或者迭代次数达到预设的次数。

3、人脸关键点检测

步骤S10，基于上述方法训练好的人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；

步骤S20，对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标。

本发明一种实施例的基于语义对齐的人脸关键点检测***，该***包括响应图获取模块、关键点预测坐标获取模块；

所述响应图获取模块，配置为基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；

所述关键点预测坐标获取模块，配置为对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；

所述人脸关键点检测网络基于卷积神经网络构建，并使用含有隐变量的概率模型作为极大似然估计的目标进行网络优化，用于输出人脸图像中关键点的响应图。

人脸关键点检测网络的具体训练方法上面已经详细描述，此处不再重复。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于语义对齐的人脸关键点检测***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于语义对齐的人脸关键点检测方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于语义对齐的人脸关键点检测方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (6)

1.一种基于语义对齐的人脸关键点检测方法，其特征在于，该方法包括：

步骤S10，基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；

所述人脸关键点检测网络，其优化过程中所采用的目标函数为：

其中，e为输入人脸图像；

为k个关键点的坐标集合；

为网络预测的x中第k个关键点语义一致的真实位置；K为关键点的数量；W为网络权重；e代表中x第k个标注关键点；σ₁、σ₂分别为预设的第一权重、第二权重；

代表网络预测的响应图与标准高斯响应图之间的分布距离；N(o^k)为以o^k为中心的邻域；

所述人脸关键点检测网络的迭代优化过程中，第t轮迭代过程中固定网络权重W，通过下式计算真实位置

其中，o_t ^k的值为上一轮迭代时优化得到的真实位置

然后再基于真实位置

通过下式获取优化的网络权重W，

所述人脸关键点检测网络的迭代优化过程的结束条件为：目标函数

达到预设的收敛条件，或者迭代次数达到预设的次数；

步骤S20，对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；

其中，所述人脸关键点检测网络基于卷积神经网络构建，并使用含有隐变量的概率模型作为极大似然估计的目标进行网络优化，用于输出人脸图像中关键点的响应图。

2.根据权利要求1所述的基于语义对齐的人脸关键点检测方法，其特征在于，所述人脸关键点检测网络，其训练样本包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图。

3.一种基于语义对齐的人脸关键点检测***，其特征在于，该***包括：响应图获取模块、关键点预测坐标获取模块；

所述响应图获取模块，配置为基于人脸关键点检测网络，获取待检测人脸图像的每个关键点的响应图；

所述人脸关键点检测网络，其优化过程中所采用的目标函数为

其中，x为输入人脸图像；

为k个关键点的坐标集合；

为网络预测的x中第k个关键点语义一致的真实位置；K为关键点的数量；W为网络权重；o^k代表中x第k个标注关键点；σ₁、σ₂分别为预设的第一权重、第二权重；

代表网络预测的响应图与标准高斯响应图之间的分布距离；N(o^k)为以o^k为中心的邻域；

所述关键点预测坐标获取模块，配置为对于获取的每个关键点的响应图，选取响应峰值的坐标作为该关键点的预测坐标；

其中，所述人脸关键点检测网络基于卷积神经网络构建，用于输出人脸图像中关键点的响应图。

4.根据权利要求3所述的基于语义对齐的人脸关键点检测***，其特征在于，所述人脸关键点检测网络，其训练样本包括标注有关键点的人脸图像样本、各关键点位置为中心的标准高斯的响应图。

5.一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现权利要求1-2任一项所述的基于语义对齐的人脸关键点检测方法。

6.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-2任一项所述的基于语义对齐的人脸关键点检测方法。

Images