CN103824050A - 一种基于级联回归的人脸关键点定位方法 - Google Patents

Abstract

本发明涉及一种基于级联回归的人脸关键点定位方法，其步骤包括：1）采集大量人脸图片数据，并标记初始关键点位置；2）通过对人脸图片数据进行训练，学习得到粗回归器，然后以粗回归器的输出作为输入，学习得到精回归器；3）给定待识别的人脸图片数据，通过粗回归器将人脸的初始形状回归到真实形状附近，然后以粗回归器的输出作为输入，通过精回归器得到人脸关键点的精确坐标。本发明提出的由粗到精的级联回归方法，通过对大量样本进行学习，以及多特征融合、多回归器融合的方式，极大地提高了算法的速度和鲁棒性，在遮挡、光线差和侧脸等姿态下进行人脸关键点定位都取得了非常好的效果，能够有效提高了人脸关键点定位的精度和速度。

Description

一种基于级联回归的人脸关键点定位方法

技术领域

本发明属于数字图像处理和人脸识别技术领域，具体涉及一种基于级联回归的人脸关键点定位方法。

背景技术

人脸关键点是脸部一些表征能力强的关键点，比如眼睛、鼻子、嘴巴和脸部轮廓等。关键点定位在人脸识别领域有着很重要的作用，比如人脸识别、跟踪、表情分析和3D建模都依赖于关键点定位的结果。

传统的人脸关键点定位方法，是基于参数形状模型的方法，根据关键点附近的表观特征，学习出一个参数模型，在使用时迭代地优化关键点的位置，最后得到关键点坐标。

上述的人脸关键点定位方法，都严重依赖于图片的拍摄质量，人脸姿态。在遮挡、光照和姿态变化较大时，都不能得到准确的结果。同时，由于目前移动端需求的迅速发展，上述方法也不能通过手机等移动端实现实时处理。

发明内容

现有的人脸关键点定位方法对姿态、遮挡、光线非常敏感，精度和速度比较差，在成像条件差、且计算资源受限的手机等移动端上很难做到实时处理。本发明提出了一种快速、精确的由粗到精级联回归方法，通过对大量样本进行学习以及多特征融合、多回归器融合，很好地解决了人脸识别中的关键点定位问题。

本发明采用的技术方案如下：

一种基于级联回归的人脸关键点定位方法，其步骤包括：

1）采集大量人脸图片数据，并标记初始关键点位置（可通过人工标记）；

2）通过对所述大量人脸图片数据进行训练，学习得到一粗回归器，然后以所述粗回归器的输出作为输入，学习得到一精回归器，从而得到由粗到精的级联回归器；

3）给定待检测的人脸图片和对应的人脸位置，通过所述粗回归器将人脸的初始形状回归到真实形状附近，然后以所述粗回归器的输出作为输入，通过所述精回归器得到人脸关键点的精确坐标。

进一步地，所述粗回归器设计成线性回归器，在所有关键点处提取SURF特征。该回归器能够表示3D姿态和SURF特征之间的关系。

进一步地，所述粗回归器包含多级级联的线性回归器，优选采用两级线性回归器，第一级的输出作为第二级的输入。通过这两级线性回归器构成的粗回归器，可以得到一个粗略的关键点位置和3D姿态。

进一步地，所述精回归器以上面的粗回归器的输出作为输入，使用随机蕨级联回归器，以像素差值作为特征。通过精回归器，可以将粗回归器给出的粗略结果回归成一个精确的结果。

进一步地，所述精回归器是一个两层结构，第一层，是一系列弱回归器{f₁,f₂,…,f_t}的级联；第二层，是一系列随机蕨回归器的级联，构成一个弱回归器f。

进一步地，所述人脸关键点包括眼睛、鼻子、嘴巴、脸部轮廓等位置，更具体的，如瞳孔，眼角，眉角，嘴角，唇沿等位置。

本发明中提出了一种由粗到精的级联回归算法，设计了一个多回归器融合的级联回归器。该级联回归器分为两部分：①粗回归器，特点是速度快，能快速回归到正解的附近；②精回归器，特点是每次回归的量较小，但能够得到更为精准的结果。根据设计的回归器的特点，让不同的回归器完成不同的任务（线性回归器和级联随机蕨回归器），融合了多种特征（SURF和像素值差特征）。

本发明提出的由粗到精的级联回归算法，通过对大量样本进行学习，以及多特征融合、多回归器融合的方式，极大的提高了算法的速度和鲁棒性，在遮挡、光线差和侧脸等姿态下进行人脸关键点定位都取得了非常好的效果，能够有效提高了人脸关键点定位的精度和速度，明显优于现有的其他算法。

附图说明

图1是本发明的基于级联回归的人脸关键点定位方法的步骤流程图。

图2是本发明的级联回归器示意图。

图3是采用级联回归器将初始值回归到真实解的示意图。

图4是采用采用本发明的方法进行人脸关键点定位的示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

本发明的基于级联回归的人脸关键点定位方法，其步骤流程如图1所示，主要包括两部分内容，一是建立由粗回归器部分和精回归器部分组成的级联回归器，二是利用建立的级联回归器对人脸图像数据进行处理以识别关键点。

1.建立由粗到精的级联回归器

本发明的整体框架是一个级联回归器。我们的目标是学习一个回归函数f，使它能够从初始的样本空间映射到解空间，能够使得均方差最小。遇到高维空间和复杂的线性关系时，如果只是学习一个回归器来表达这种映射关系并不现实。于是，我们提出了使用级联的方法，通过级联多个弱回归器，将他们组成一个回归能力更强的强回归器。本发明采用的级联回归方法，将回归函数f划分成t个简单的回归函数的级联{f₁,f₂,…,f_t}，每一级f_k的输入都是它的前一级f_k‐1的输出，如图2所示，通过把f₁,f₂,…,f_t相结合，得到的回归函数能够近似出初始形状到真实形状的复杂的非线性映射关系。

本发明的回归器遵循由粗到精的过程，级联回归器分为两个部分，粗回归器和精回归器。

如果只是按照上面的方法，采用简单的用几种弱回归器进行级联，首先效果不理想，因为图片的拍摄条件千差万别，姿态各异，要回归的形状也都不尽相同，要得到完美的效果，对回归器的要求太高。其次，如果级联级数过多，速度也会非常慢，满足不了对速度的要求。本发明中创新地提出了使用不同类型的回归器相级联，使之各司其职，相互促进，扬长避短。

因此，我们将级联的回归器分为两部分，第一部分为粗回归器，把初始值回归到真实解的附近，完成大的回归目标，但是不关心细节。这一部分，完成的粗糙回归目标，速度非常快，为第二部分生成输入。第二部分为精回归器，只需要在细节上进行调节，逐步向真实解缓慢逼近，整个过程如图3所示。两个部分，构成了一个由粗到精的级联回归器，在速度和效果上，都有非常大的提升。

针对两部分的不同特性，本发明设计了不同的分类器和特征，可最大效率地完成回归目标。

第一部分的目标是快速的得到粗糙解，我们采用SURF特征，学习出来一个线性回归器，这一部分回归器，能够迅速将初始值映射到正解附近。具体实施步骤如下：

①在初始形状上每个关键点处提取初始的SURF特征，记作Φ₀，真实回归目标记为ΔX*；

②在训练过程中，由于真实形状X是已知，初始值X₀是已知的，那么真实回归目标ΔX*即为已知，ΔX*=X‐X₀。线性回归器可以表达为ΔX₀=R₀*Φ₀+b₀，目标就是让回归得到的估计量ΔX₀和真实回归目标ΔX*无限接近。这里要求的参数就是R₀和b₀。可通过最小化下式求得：

$\underset{R_0,b_0}{\arg \min }\underset{d^i}{\mathrm{\Σ}}\underset{x_0^i}{\mathrm{\Σ}}{\left|\right|\mathrm{\Δ}{x}_{*}^i-R_0{\mathrm{\φ}}_0^i-b_0\left|\right|}^2,$

其中，dⁱ为第i个人脸图片，X₀ ⁱ为第i个人脸的初始形状，ΔX_* ⁱ为第i个人脸的真实回顾目标，Φ₀ ⁱ为第i个人脸在初始形状X₀ ⁱ处的SURF特征向量，这便是我们熟悉的解最小二乘问题，可以容易的求出R₀和b₀。

③根据得到的R₀和b₀，便可以得到估计的增量ΔX₀=R₀*Φ₁+b₀，X+ΔX₀作为新的训练集，记为X₁。根据新的训练集，提取新的SURF特征Φ₁，有ΔX₁=R₁*Φ₁+b₁，同理，根据上述的方法，可以容易的求得R₁和b₁。以此类推，可以学习很多类似的线性回归器，在第一部分，我们学习两层线性回归器就够了，估计的解X₂已经很接近真实解X了。第一部分得到粗糙解之后，作为第二部分的输入，剩下的精细的回归目标交给后面来做。

第二部分，本发明采用了级联的随机蕨回归器，像素差值作为特征。我们将第一部分的输出作为这一部分的输入，这个值已经距离真实解很接近了，要做的只是在细节上的调整了，使它逐步逼近真实解。

随机蕨回归器是5个特征和阈值的组合，将训练样本划分为2⁵个空间。每一个空间对应一个输出ΔX_bin，ΔX_bin为划分到该空间的所有回归目标的平均值。

第二部分的级联的随机蕨回归器，是一个两层的回归器。因为如果只是把这个回归器设计成原始随机蕨回归器的级联，回归能力太弱，所以本发明中将其设计成了一个两层的结构。具体如下，多个原始随机蕨回归器级联，构成一个弱回归器f。再将这些弱回归器{f₁,f₂,…,f_t}级联构成一个强回归器，也就是上文所述的第二部分精回归器。

具体实施步骤如下：

①提取每个样本的像素差值特征：随机取两个关键点，随机生成一个插值系数，得到两点连线中的一个位置，两个这样的位置上的像素差值作为特征。本发明中，一共提取400个点的特征。

②选取特征：上面已经生成了400个点的特征，一共有160000个两两组合。本发明中用的随机蕨回归器中使用5组特征，在这么大的特征空间中，要选择5组出来。方法如下，首先生成一个随机的列向量，将真实回归目标矩阵映射到一个方向上，然后分别计算每个特征向量和这个投影向量的相关系数，选取相关系数最大的5组即可。

③弱回归器的生成：根据上一步提取的特征，可以把样本划分到原始随机蕨回归器的某个空间中。计算该空间中所有样本的平均真实形状增量ΔX_bin，将其加到当前空间中的每个估计形状上，得到新的估计形状。将得到的估计形状作为下一个原始随机蕨回归器的输入，传给下一个原始随机蕨回归器，保持特征不变，得到新的随机蕨回归器。将这样10个原始随机蕨回归器级联构成一个弱回归器。

④强回归器的生成：经过上述步骤，已经学习到弱回归器f_k，对于一个初始集X_k，可以通过f_k得到回归增量估计ΔX_k，新的初始集可以通过计算X_k+ΔX_k得到，在新的估计形状基础上提取新的特征，按照上述方法得到下一个弱的回归器，如图2所示，以此类推，在本实施例中，级联100个弱回归器{f₁,f₂,…,f₁₀₀}，构成一个二层的强回归器。

至此，得到了完整的由粗到精的级联回归器。

2.利用级联回归器对人脸图像数据进行处理，以识别关键点

将本发明中的这种由粗到精的级联回归器在解决人脸关键点定位问题时能够取得非常好的效果。

具体来说，在人脸关键点定位时，给定一个初始形状（可以用将平均形状对齐到人脸框中心），在每个关键点上提取SURF算子作为特征向量，通过第一部分，得到一个粗略的结果，将其作为第二部分的初始形状，在关键点的位置，提取出像素差值特征，逐级使用，最后得到精确的形状。整个级联回归器遵循由粗到精的过程，第一部分，调整大的姿态，比如侧脸、俯仰、旋转等角度，脸部大小、平移量等。第二部分的精回归器，调整形状的细节，比如嘴巴形状、眼睛形状、眼眉形状等。两个部分，够成了一个由粗到精的级联回归器，在速度和效果上，都有非常大的提升。

图4是采用级联回归器进行人脸关键点定位的示意图，其中(a)为初始化状态，(b)经过第一部分粗回归器得到的人脸关键点位置，(c)为经过第二部分精回归器得到的人脸关键点位置。可以看出，采用本发明的方法，经过第一部分粗回归器，人脸关键点由初始值回归到真实解的附近，进而经过第二部分精回归器逼近到真实解，证明了本发明的方法可以在人脸关键点定位方面取得很好的效果。

本发明的方法，处理一张人脸，在Intel(R)Core(TM)i3-4130CPU3.4GHz的计算机上，用时为8ms左右，速度是之前方法的数倍。本发明在LFPW数据集上，平均误差大约为0.036（每个点的平均误差除以瞳孔间距离），达到了业界先进水平。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (10)

1.一种基于级联回归的人脸关键点定位方法，其步骤包括：

1）采集大量人脸图片数据，并标记初始的关键点位置；

2）通过对所述大量人脸图片数据进行训练，学习得到一粗回归器，然后以所述粗回归器的输出作为输入，学习得到一精回归器，从而得到由粗到精的级联回归器；

3）给定待识别的人脸图片和对应的人脸位置，通过所述粗回归器将人脸的初始形状回归到真实形状附近，然后以所述粗回归器的输出作为输入，通过所述精回归器得到人脸关键点的精确坐标。

2.如权利要求1所述的方法，其特征在于：所述粗回归器采用线性回归器，在所有关键点处提取SURF特征。

3.如权利要求2所述的方法，其特征在于：所述粗回归器是一个级联的线性回归器，前一级的输出作为后一级的输入。

4.如权利要求3所述的方法，其特征在于：使用SURF特征学习得到所述线性回归器，具体步骤包括：

①在初始形状上每个关键点处提取初始的SURF特征，记作Φ₀，真实回归目标记为ΔX*；

②在训练过程中，由于关键点坐标X，初始值关键点坐标X₀已知，那么关键点真实回归目标ΔX*即为已知，ΔX*=X-X₀；线性回归器表达为0X₀=R₀*Φ₀+b₀，其中的参数R₀和b₀通过最小化下式求得：

$\underset{R_0,b_0}{\arg \min }\underset{d^i}{\mathrm{\Σ}}\underset{x_0^i}{\mathrm{\Σ}}{\left|\right|\mathrm{\Δ}{x}_{*}^i-R_0{\mathrm{\φ}}_0^i-b_0\left|\right|}^2,$

其中，dⁱ为第i个人脸图片，X₀ ⁱ为第i个人脸的初始形状，ΔX_* ⁱ为第i个人脸的真实回顾目标，Φ₀ ⁱ为第i个人脸在初始形状X₀ ⁱ处的SURF特征向量；

③根据得到的R₀和b₀，得到估计的增量ΔX₀=R₀*Φ₁+b₀，X+ΔX₀作为新的训练集，记为X₁；根据新的训练集，提取新的SURF特征Φ₁，有ΔX₁=R₁*Φ₁+b₁，同理，根据上述方法求得R₁和b₁；以此类推，得到多级线性回归器。

5.如权利要求4所述的方法，其特征在于：所述粗回归器包含两级线性回归器。

6.如权利要求1或2所述的方法，其特征在于：所述精回归器采用随机蕨级联回归器，以像素差值作为特征。

7.如权利要求6所述的方法，其特征在于：所述精回归器是一个两层结构，第一层是一系列弱回归器的级联；第二层是一系列随机蕨回归器的级联，构成一个所述弱回归器。

8.如权利要求7所述的方法，其特征在于：生成所述两层结构的精回归器的步骤包括：

①提取每个样本的像素差值特征：随机取两个关键点，随机生成一个插值系数，得到两点连线中的一个位置，两个这样的位置上的像素差值作为特征；

②选取特征：生成一个随机的列向量，将真实回归目标矩阵映射到一个方向上，然后分别计算每个特征向量和这个投影向量的相关系数，使用随机蕨回归器选取相关系数最大的多组特征；

③弱回归器的生成：根据上一步提取的特征，把样本划分到原始随机蕨回归器的某个空间中，计算该空间中所有样本的平均真实形状增量ΔX_bin，将其加到当前空间中的每个估计形状上，得到新的估计形状，将得到的估计形状作为下一个原始随机蕨回归器的输入，传给下一个原始随机蕨回归器，保持特征不变，得到新的随机蕨回归器，将多个原始随机蕨回归器级联构成一个弱回归器；

④强回归器的生成：经过上述步骤，已经学习到弱回归器f_k，对于一个初始集X_k，通过f_k得到回归增量估计ΔX_k，新的初始集通过计算X_k+ΔX_k得到，在新的估计形状基础上提取新的特征，按照上述方法得到下一个弱回归器，以此类推，级联多个弱回归器，构成一个二层的强回归器。

9.如权利要求8所述的方法，其特征在于：所述精回归器的弱回归器包含10个级联的原始随机蕨回归器，所述精回归器的强回归器包含100个级联的所述弱回归器。

10.如权利要求1所述的方法，其特征在于：所述人脸关键点包括眼睛、鼻子、嘴巴、脸部轮廓的位置。

Images