CN104408462B - 面部特征点快速定位方法 - Google Patents

Abstract

本发明公开了一种面部特征点快速定位方法，包括如下步骤：1)以Haar‑Like特征为基础，采用训练好的级联分类器依次检测左眼和右眼；2)以左右人眼检测结果为基础，获取左右眼内眼角点的精确位置；3)以内眼角点及其距离为基准，运用人眼三庭五眼几何特征，快速确定嘴巴和眼睛外轮廓上的关键特征点，并保存这些点作为参考特征表，作为下一帧特征点搜索的参考；4)以参考特征表中保存的前一帧的左眼坐标为初始位置，内眼角距离为基准，根据人脸的几何结构，按比例设定当前帧人眼搜索范围，重复步骤1)到3)，当在设定搜索范围内无法检测到左眼时，重新展开全图搜索，重复步骤1)到3)。本发明不需要特殊装置，即可快速准确定位面部特征点。

Description

面部特征点快速定位方法

技术领域

本发明属于图像处理和模式识别的技术领域，具体涉及一种根据面部视频实时定位规定的特征点的面部特征点快速定位方法。

背景技术

目前，已有的基于面部图像判断眼睛的状态，并测定该人的视线方向，推测该人的觉醒程度的方法。为了判断眼睛的状态，需要正确检测面部图像的眼部特征点。此外，当判断车辆驾驶员的觉醒状态时，需要实时检测面部的特征点，包括眼部特征点和嘴部特征点。

例如，在专利文献1(CN102254151A，一种基于面部视频分析的驾驶人疲劳检测方法)中，记载有人脸特征点定位、以及驾驶人疲劳检测等技术。在文献1的人脸特征点定位技术中，在进行人脸检测后，采用与人脸检测类似的方法完成对眼睛、鼻子、嘴巴局部器官的初步定位；然后采用主动形状模型(ASM)对人脸特征点进行精确定位。

例如，在专利文献2(CN101266648B，面部特征点检测装置、面部特征点检测方法及其程序)中，记载有一种在外部乱光或者面部形貌等个人差别，也能够检测规定的面部特征点的方法和装置。该方法通过使用特定权值系数的窗口来寻找和加强特定形状的边缘，这些特定形状的边缘对应于图像中人眼的边缘，从而定位眼部特征点。

专利文献1的方法中，ASM利用局部表观模型特征进行迭代，通过调整形状参数，改变当前模型的位置和形状，完成图像与模型的匹配，当相似度不再变大时得到新的特征点位置。此方法虽然在多数情况下能够精确定位特征点，但是迭代匹配过程随着特征点数的增加急剧增大，匹配时间太长，不适用于实际。

专利文献2对检测到的眼部边缘图像采用特定形状约束去检测眼睛的边缘，在实际应用时存在两方面的问题，一是固定形状约束很难同时满足不同大小和形状的人眼，二是同一人眼的边缘形状受不同人脸姿态的影响较大，这种方法需要有文献二中所提出的特殊装置，才能保证算法的可靠性。

上述论述内容目的在于向读者介绍可能与下面将被描述和/或主张的本发明的各个方面相关的技术的各个方面，相信该论述内容有助于为读者提供背景信息，以有利于更好地理解本发明的各个方面，因此，应了解是以这个角度来阅读这些论述，而不是承认现有技术。

发明内容

本发明的目的在于避免现有技术中的不足而提供一种面部特征点快速定位方法，其不需要特殊装置，即可快速准确定位面部特征点。

本发明的目的通过以下技术方案实现：

提供一种面部特征点快速定位方法，包括如下步骤：

1)以Haar-Like特征为基础，采用训练好的级联分类器依次检测左眼和右眼，包括以下子步骤：

11)采用openCV中提供的左眼分类器获取图像中的人眼集，取最右边的人眼作为左眼检测结果；

12)利用检测到的左眼的范围半径，和右眼在左眼右方向，按半径的一定比例确定搜索右眼区域的位置和半径大小确定右眼的搜索范围；

13)采用openCV中提供的右眼分类器检测图像中的人眼集，取最左边的人眼作为右眼检测结果；

2)以左右人眼检测结果为基础，获取左右眼内眼角点的精确位置，包括以下子步骤：

21)在左右眼范围内，采用阀值法分割虹膜，得到左右虹膜中心点的坐标；

22)利用虹膜中心连线，将人脸矫正在水平线上；

23)在虹膜中心连线上，以虹膜中心距离的一定比例设定左右眼内眼角各自的矩形搜索范围；

24)利用Ostu算法分别获得左右眼角矩形搜索区域内的分割阀值；

25)采用漫水填充算法快速将肤色和眼睛部分分离，同时获得肤色区域点的掩模；

26)利用canny算子分别获得两个内眼角区域内的边缘，去掉肤色掩模范围内的边缘，在左眼角区域剩下的边缘中从左到右，从上到下的第一个边缘点就是左眼内眼角点，在右眼角区域剩下的边缘中从右到左，从上到下的第一个边缘点就是右眼内眼角点；

3)以内眼角点及其距离为基准，运用人眼三庭五眼几何特征，快速确定嘴巴和眼睛外轮廓上的关键特征点，并保存这些点作为参考特征表，作为下一帧特征点搜索的参考，包括以下子步骤：

31)计算内眼角的距离，作为人脸三庭五眼中的眼距离，利用人脸的三庭五眼结构特点，划定嘴巴所在的区域；

32)在划定的嘴巴区域内，用Ostu算法获取分割阀值，去除肤色，留下嘴巴部分；

33)从上到下，从左到右检测嘴巴区域的边界点，获得嘴巴的外轮廓；

34)在13)步骤检测到的眼睛区域内，用Ostu算法获取分割阀值，将区域分为肤色和非肤色区域，去除肤色区域，对剩下的区域进行4-邻域连通，得到实心的眼睛区域，从上到下，从左到右检测眼睛区域的边界点就可以获得眼睛的外轮廓；

35)将两个内眼角点、嘴巴外轮廓、眼睛外轮廓和左右眼虹膜中心点的坐标，以及Haar-Like眼睛搜索半径保存在特征点结构体中，作为下一帧特征点搜索的参考；

4)以参考特征表中保存的前一帧的左眼坐标为初始位置，内眼角距离为基准，根据人脸的几何结构，按比例设定当前帧人眼搜索范围，重复步骤1)到3)，当在设定搜索范围内无法检测到左眼时，重新展开全图搜索，重复步骤1)到3)。

其中，所述步骤21)包括以下子步骤：

(1)统计初始人眼区域内灰度直方图，p(s_k)＝n_k/n,k＝0,1,…L-1，

(2)由于所得到的灰度直方图中存在多个相近峰值点，采用长度为N(N值根据实验结果来确定)的滑动窗口对灰度直方图进行均值滤波操作，由于在人眼区域虹膜部位亮度值偏低，滤波后的直方图中，左边第1个峰值处所对应的横坐标即为虹膜分割阀值T₁。

其中，所述步骤22)具体操作如下：

设两眼虹膜中心点连线与水平方向的夹角为θ，如果|θ-π/2|＞ε，ε为一个阀值，若倾斜角度超过该阀值，认为人脸产生了倾斜，对倾斜人脸采用如下变换进行矫正：

其中，φ＝-θ，(x′,y′)为点(x,y)绕中心点旋转φ后得到的点。

其中，所述步骤3)包括以下子步骤：

31)计算内眼角的距离，作为人脸三庭五眼中的眼距离，利用人脸的三庭五眼结构特点，划定嘴巴所在的区域；

32)在划定的嘴巴区域内，用Ostu算法获取分割阀值，去除肤色，留下嘴巴部分；

33)从上到下，从左到右检测嘴巴区域的边界点，获得嘴巴的外轮廓；

34)在13)步骤检测到的眼睛区域内，用Ostu算法获取分割阀值，将区域分为肤色和非肤色区域，去除肤色区域，对剩下的区域进行4-邻域连通，得到实心的眼睛区域，从肤色区域到非肤色区域，按照上、下、左、右四个方向分别检测，获得的第一个非肤色点就是外轮廓点；

35)将两个内眼角点、嘴巴外轮廓、眼睛外轮廓和左右眼虹膜中心点的坐标，以及Haar-Like眼睛搜索半径保存在特征点结构体中，作为下一帧特征点搜索的参考。

本发明具有下述的有益效果：

(1)本发明基于目前检测准确性最高的Haar-Like特征采用训练好的级联分类器检测人眼，保证了人眼检测的可靠性；为进一步提高人眼检测的速度，利用前一帧图像中检测到的内眼角点作为当前帧人眼检测的初始位置，根据人脸几何结构特征，确定人眼搜索的局部范围，仅在局部范围搜索人眼，只有当局部搜索不到人眼时，才启动全图人眼搜索；

(2)本发明所建立的前一帧图像的特征参考表，使得本方法可充分运用人脸几何结构特征缩小当前帧中人眼、嘴巴等特征点的检测范围，还可运用几何特征进行人脸倾斜角度、人脸与摄像头的距离变化的估计，从而使得本方法适用于多种姿态的人脸；

(3)本发明方法在定位左右内眼角点、人眼和嘴巴外轮廓时，充分利用肤色区域灰度值较为连续的特点，通过Ostu阀值法和漫水填充法将眼睛和嘴巴区域划分成肤色区域和剩下的区域，避免了直接处理具有复杂灰度梯度的人眼和嘴巴区域，因而不需要复杂的轮廓检测算法，只需利用阀值搜索即可获得外轮廓。

综上，本发明方法的技术特点是不需要特殊装置，即可实现对规定面部特征点的快速准确定位。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明方法的结构框图。

图2是本发明方法的算法子流程图之一。

图3是本发明方法的算法子流程图之二。

图4是本发明方法的算法子流程图之三。

图5是人眼、虹膜、内眼角点定位效果图。

图6是眼部、嘴部外轮廓上的关键特征点的实时定位结果展示。

图7是内眼角搜索区域示意图。

图8是嘴巴搜索区域示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

如图1至4所示，本发明的核心在于提供一种面部特征点快速定位方法，其包括如下步骤：

1)采用训练好的Haar-Like特征创建的AdaBoost级联分类器在视频当前帧图像中获取最左边的眼睛，即左眼。然后在定位到左眼的基础上，利用几何位置关系，在当前帧确定右眼的搜索范围，继而在小范围内快速检测右眼。

2)在检测到的人眼区域，根据虹膜灰度值集中在一个较小范围内的特点，通过统计人眼区域灰度直方图并对直方图进行均值滤波，获得虹膜分割阀值，得到虹膜区域及其中心坐标；利用虹膜中心坐标及其连线进行人脸倾斜矫正；然后，以虹膜中心距离为基准，利用人脸面部几何结构，确定左右眼内眼角的小范围搜索区域。在矩形搜索范围内利用HSV肤色模型、Ostu算法、漫水填充算法等快速将肤色和眼睛部分分离，同时获得肤色标志集及肤色点掩模；继而用canny算子获取内眼角的小范围搜索区域的边缘图，利用肤色点掩模，将一些非眼睛内的边缘去掉。然后搜索左眼内眼角区域边缘图最右的点，就是左眼内眼角，同理搜索右眼内眼角区域边缘图最左的点就是右眼内眼角。

3)获得了左右眼的内眼角，可计算内眼角的距离，继而就可以利用它作为人脸器官几何分布特征(三庭五眼)中的眼的宽度，并加以一定的调整，就可建立起一张人脸的五官区域分布图，划定嘴巴所在的区域；在划定的嘴巴区域内，用Ostu算法获取分割阀值，去除肤色，留下嘴巴部分，对嘴巴部分进行4-邻域连通操作，使得嘴巴区域变成一个实心区域，通过阀值搜索，获得嘴巴的外轮廓；类似地，在检测到的眼睛区域内，用Ostu算法获取分割阀值，将区域分为肤色和非肤色区域，去除肤色区域，对剩下的区域进行4-邻域连通操作，得到实心的眼睛区域，通过阀值搜索，获得眼睛的外轮廓；将两个内眼角点、嘴巴外轮廓、眼睛外轮廓和左右眼虹膜中心点的坐标，以及Haar-Like眼睛搜索半径保存在特征表中。

4)以特征表中保存的前一帧的左眼坐标为初始位置，内眼角距离为基础，根据人脸的几何结构，设定当前帧人眼搜索范围，重复步骤(1)到(3)，当在设定搜索范围内无法检测到左眼时，重新展开全图搜索，再重复步骤(1)到(3)。

上述步骤1)具体包括以下子步骤：

11)采用openCV中提供的由清华大学于仕琪训练好的左眼分类器http://opencvlibrary.svn.sourceforge.net/viewvc/opencvlibrary/trunk/opencv/data/haarcascades/haarcascade_lefteye_2splits.xml检测图像中的左眼，取具有最大似然比的人眼作为左眼检测结果；

12)利用检测到的左眼的范围半径，和右眼在左眼右方向，按半径的一定比例确定搜索右眼区域的位置和半径大小确定右眼的搜索范围；

13)采用openCV中提供的由清华大学于仕琪训练好的右眼分类器http://opencvlibrary.svn.sourceforge.net/viewvc/opencvlibrary/trunk/opencv/data/haarcascades/haarcascade_righteye_2splits.xml检测图像中的右眼，取具有最大似然比的人眼作为右眼检测结果；

上述步骤2)具体包括以下子步骤：

21)在左右眼范围内，采用阀值法分割虹膜，得到左右虹膜中心点的坐标，具体包括以下子步骤：

(1)统计初始人眼区域内灰度直方图，p(s_k)＝n_k/n,k＝0,1,…L-1；

(2)由于所得到的灰度直方图中存在多个相近峰值点，采用长度为N(N值根据实验结果来确定)的滑动窗口对灰度直方图进行均值滤波操作。由于在人眼区域虹膜部位亮度值偏低，滤波后的直方图中，左边第1个峰值处所对应的横坐标即为虹膜分割阀值T₁；

22)利用虹膜中心连线，将人脸矫正在水平线上，具体操作如下：

设两眼虹膜中心点连线与水平方向的夹角为θ，如果|θ-π/2|＞ε，ε为一个阀值，若倾斜角度超过该阀值，认为人脸产生了倾斜，对倾斜人脸采用如下变换进行矫正：

其中，φ＝-θ，(x′,y′)为点(x,y)绕中心点旋转φ后得到的点。

23)在虹膜中心连线上，以虹膜中心距离的一定比例设定左右眼内眼角各自的矩形搜索范围；设两眼虹膜中心距离为2L，以虹膜中心连线的中点到左右虹膜中心的连线的四分之三作为内眼角点搜索矩形区域的宽，连线的四分之一作为内眼角点搜索矩形区域的高，所得矩形区域即为内眼角点搜索区域，如图7中填充区域所示。

24)利用Ostu算法分别获得左右眼角矩形搜索区域内的分割阀值；

25)采用漫水填充算法(J.R.Shaw,"QuickFill:Anefficientfloodfillalgorithm",http://www.codeproject.com/gdi/Quic kFill.asp.)快速将肤色和眼睛部分分离，同时获得肤色区域点的掩模；

26)利用canny算子分别获得两个内眼角区域内的边缘，去掉肤色掩模范围内的边缘。在左眼角区域剩下的边缘中从左到右，从上到下的第一个边缘点就是左眼内眼角点，在右眼角区域剩下的边缘中从右到左，从上到下的第一个边缘点就是右眼内眼角点；

上述步骤3)具体包括以下子步骤：

31)计算内眼角的距离，作为人脸三庭五眼中的眼距离。利用人脸的三庭五眼结构特点，划定嘴巴所在的区域；

32)在划定的嘴巴区域内，用Ostu算法获取分割阀值，去除肤色，留下嘴巴部分；具体做法是：以穿过虹膜中心点的垂直直线作为嘴巴搜索矩形的左右边界，以平行于两眼虹膜中心连线，并且分别距离两眼虹膜中心连线8L/5，16L/5(L为两眼虹膜中心点距离的1/2)的两条直线作为上下边界，所得的矩形区域即为嘴巴搜索区域，如图8中填充区域所示。

33)从上到下，从左到右检测嘴巴区域的边界点，获得嘴巴的外轮廓；

34)在13)步检测到的眼睛区域内，用Ostu算法获取分割阀值，将区域分为肤色和非肤色区域，去除肤色区域，对剩下的区域进行4-邻域连通，得到实心的眼睛区域，从肤色区域到非肤色区域，按照上、下、左、右四个方向分别检测，获得的第一个非肤色点就是外轮廓点；

35)将两个内眼角点、嘴巴外轮廓、眼睛外轮廓和左右眼虹膜中心点的坐标，以及Haar-Like眼睛搜索半径保存在特征点结构体中，作为下一帧特征点搜索的参考。

采用本发明的面部特征点快速定位方法进行人眼、虹膜、内眼角点定位效果如图5所示，眼部、嘴部外轮廓上的关键特征点的实时定位结果展示如图6所示。

上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。

总之，本发明虽然例举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims (3)

1.一种面部特征点快速定位方法，其特征在于，包括如下步骤：

1)以Haar-Like特征为基础，采用训练好的级联分类器依次检测左眼和右眼，包括以下子步骤：

11)采用openCV中提供的左眼分类器获取图像中的人眼集，取最右边的人眼作为左眼检测结果；

12)利用检测到的左眼的范围半径，和右眼在左眼右方向，按半径的一定比例确定搜索右眼区域的位置和半径大小确定右眼的搜索范围；

13)采用openCV中提供的右眼分类器检测图像中的人眼集，取最左边的人眼作为右眼检测结果；

2)以左右人眼检测结果为基础，获取左右眼内眼角点的精确位置，包括以下子步骤：

21)在左右眼范围内，采用阀值法分割虹膜，得到左右虹膜中心点的坐标；

22)利用虹膜中心连线，将人脸矫正在水平线上；

23)在虹膜中心连线上，以虹膜中心距离的一定比例设定左右眼内眼角各自的矩形搜索范围；

24)利用Ostu算法分别获得左右眼角矩形搜索区域内的分割阀值；

25)采用漫水填充算法将肤色和眼睛部分分离，同时获得肤色区域点的掩模；

26)利用canny算子分别获得两个内眼角区域内的边缘，去掉肤色掩模范围内的边缘，在左眼角区域剩下的边缘中从左到右，从上到下的第一个边缘点就是左眼内眼角点，在右眼角区域剩下的边缘中从右到左，从上到下的第一个边缘点就是右眼内眼角点；

3)以内眼角点及其距离为基准，运用人眼三庭五眼几何特征，确定嘴巴和眼睛外轮廓上的关键特征点，并保存这些点作为参考特征表，作为下一帧特征点搜索的参考，包括以下子步骤：

31)计算内眼角的距离，作为人脸三庭五眼中的眼距离，利用人脸的三庭五眼结构特点，划定嘴巴所在的区域；

32)在划定的嘴巴区域内，用Ostu算法获取分割阀值，去除肤色，留下嘴巴部分；

33)从上到下，从左到右检测嘴巴区域的边界点，获得嘴巴的外轮廓；

34)在13)步骤检测到的眼睛区域内，用Ostu算法获取分割阀值，将区域分为肤色和非肤色区域，去除肤色区域，对剩下的区域进行4-邻域连通，得到实心的眼睛区域，从上到下，从左到右检测眼睛区域的边界点获得眼睛的外轮廓；

35)将两个内眼角点、嘴巴外轮廓、眼睛外轮廓和左右眼虹膜中心点的坐标，以及Haar-Like眼睛搜索半径保存在特征点结构体中，作为下一帧特征点搜索的参考；

4)以参考特征表中保存的前一帧的左眼坐标为初始位置，内眼角距离为基准，根据人脸的几何结构，按比例设定当前帧人眼搜索范围，重复步骤1)到3)，当在设定搜索范围内无法检测到左眼时，重新展开全图搜索，重复步骤1)到3)。

2.根据权利要求1所述的面部特征点快速定位方法，其特征在于，所述步骤21)包括以下子步骤：

(1)统计初始人眼区域内灰度直方图，p(s_k)＝n_k/n,k＝0,1,…L-1，其中，n表示图像的像素点总数，n_k表示第k个灰度级对应的图像像素点的个数，L表示图像像素的灰度级的个数，s_k表示第k个灰度级，p(s_k)表示第k个灰度级出现的概率；

(2)由于所得到的灰度直方图中存在多个相近峰值点，采用长度为N的滑动窗口对灰度直方图进行均值滤波操作，其中，i表示滑动窗口中灰度级的最小值，f(x)表示灰度级x的概率分布函数，由于在人眼区域虹膜部位亮度值偏低，滤波后的直方图中，左边第1个峰值处所对应的横坐标即为虹膜分割阀值T₁。

3.根据权利要求1或2所述的面部特征点快速定位方法，其特征在于，所述步骤22)具体操作如下：

设两眼虹膜中心点连线与水平方向的夹角为θ，如果|θ-π/2|＞ε，ε为一个阀值，若倾斜角度超过该阀值，认为人脸产生了倾斜，对倾斜人脸采用如下变换进行矫正：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>x</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;phi;</mi> <mo>+</mo> <mi>y</mi> <mi> </mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;phi;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mo>-</mo> <mi>x</mi> <mi> </mi> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;phi;</mi> <mo>+</mo> <mi>y</mi> <mi> </mi> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;phi;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中，φ＝-θ，(x′,y′)为点(x,y)绕中心点旋转φ后得到的点。