CN106203263A - 一种基于局部特征的脸型分类方法 - Google Patents

Abstract

针对传统脸型分类算法特征点定位不准和过度依赖轮廓曲线的问题，提出一种人脸轮廓圆形邻域局部特征表达和脸型分类模型。首先，初步定位脸型轮廓特征点，然后在特征点周围选取三重八连通圆形邻域，通过计算一级邻域、拓展邻域与中心区域间的纹理变化，生成二进制编码序列，构造脸型局部特征向量；最后设计OVO‑RBF‑SVM多分类模型，实现脸型分类。本文方法在CAS‑PEAL人脸库上进行脸型类型判别，获得了94.28％的准确率；在相同情况下，分别与基于主动形状模型和基于下颌曲线模型的脸型类型判别方法进行对比，准确率分别提高了6.64％和6.58％。本文所研究的方法在一定程度上解决了特征点定位相对不准确导致误差增加的问题。尽可能多利用图片原始信息，保证轮廓特征提取的准确率，具有较强的鲁棒性。通过实验证明了，本文方法适用于脸型分类。

Description

一种基于局部特征的脸型分类方法

技术领域

本发明属于人脸识别方法，特别涉及一种基于局部特征的脸型分类方法。

背景技术

传统的人脸轮廓分类算法过度依赖脸型轮廓的曲线特征，而忽略脸型周围的纹理特征，在提取脸型轮廓时，对图片质量要求过高，极易产生误差，导致很难构建准确的人脸轮廓曲线。为了克服特征点定位不十分准确的情况下，充分利用图片原始信息，保证人脸轮廓特征的准确率，提出采用圆形邻域局部特征表达(Round Local Feature Expression，简称RLFE)的形式描述人脸轮廓特征。

目前，脸型分类主要是基于几何模型和轮廓模型，文献[1]和文献[2]作者利用人脸轮廓的曲率特征进行分类，通过轮廓曲率之间的相互关系函数定义相似性，并将人脸分为圆脸、椭圆脸、方脸、三角脸及其他脸型五类。具有较好的识别速度，取得了87.7％的准确率。该方法定义轮廓曲线为y＝f(x)，曲率k＝|y"|/(1+y'²)^3/2，通过比较对应点的曲率判别脸型。但是下颌轮廓曲线提取较为困难，提取的曲线精度不高，所以分类结果不够可靠。

与此相比，文献[3]提出基于ASM主动形状模型的方法，原理简单，准确率较高。由先验知识，将作为训练样本的人脸分为椭圆脸、圆脸方脸和三角脸，训练不同的脸型得到不同脸型的形状模型，然后分别通过对比经典ASM模型与分类后模板模型定位的特征点来确定脸型。如模型s₀＝s_type+Δ，其中s₀，s_type分别表示经典ASM模型和模板模型定位的特征点集合，当Δ越接近零向量，说明待测脸型与模板模型越相似。但是在实际应用中，模型运算量巨大，并且不能解决ASM模型定位不准的带来误差。

参考文献：

[1](Wang Jun-Yan,Su Guang-Da,Face classification method based onmandibular contour line[J].Infrared and Laser Engineering,2004,02:159-163.)(in Chinese)

(王俊艳,苏光大.基于下颌轮廓线的人脸分类方法[J].红外与激光工程,2004,02:159-163.)(in Chinese)

[2](Ling Xu-feng,Yang Jie,Yang Yong,Face classification andrecognition based on contour line curvature feature[J].Infrared and LaserEngineering,1999,04:37-39.)(in Chinese)

(凌旭峰,杨杰,杨勇.基于轮廓线曲率特征的人脸分类及识别[J].红外与激光工程,1999,04:37-39.)

[3]Du Li-Qiang,Jia Peng,Zhou Zong-Tan,Hu De-Wen.Automatic face shapeclassification algorithm based on active shape model[J].Journal of ComputerApplications,2009,10:2710-2712+2715.

(杜立强,贾鹏,周宗潭,胡德文.基于主动形状模型的人脸脸型自动分类算法[J].计算机应用,2009,10:2710-2712+2715.)

发明内容

为了解决上述技术问题，本发明提出一种基于局部特征的脸型分类方法，其技术方案如下：

一种基于局部特征的脸型分类方法，其特征在于，基于局部特征的脸型分类是一种采用脸型轮廓特征编码的方式，再通过特征编码分类器进行脸型分类的方法，主要包含基于圆形邻域的人脸轮廓特征区域划分方法、特征邻域对齐、特征编码、基于支持向量机的多分类器设计，整体处理流程是这样的：

对于人脸轮廓特征点集P，P_i表示点集P的第i个点。构建其编码矩阵基本步骤如下：

1)初始化编码矩阵C，特征矩阵T，一级邻域表E₁和扩展邻域表E₂；

2)取出特征点集中P_i，分别计算一级邻域、扩展邻域与中心区域的强度差，将结果加入到表E₁和表E₂中；

3)将表E₁和表E₂中对应元素做异或运算，结果加入到特征矩阵T；

4)如果特征点集P不为空，取下一个点P_i+1转到2)继续执行；

5)如果特征点集P为空，对特征矩阵进行编码，编码结果加入到编码矩阵C中；

6)每两种脸型构建一个特征编码分类器；

7)将待测样本输入到特征分类器中，进行分类；

8)获得测试结果。

1RLFE人脸轮廓特征表达方法

为了克服人脸轮廓特征点存在不准确可能性，通过对人脸轮廓特征点周围的细节特征的分析，以轮廓特征点为核心进行邻域区域划分，利用面部区域特征的连贯特性，提出采用圆形邻域局部特征表达(Round Local Feature Expression，简称RLFE)的形式描述人脸轮廓特征，并对每个特征点进行特征编码，构建轮廓特征向量；以此为基础，设计多分类器，建立脸型轮廓的多分类模型。

1.1基于圆形邻域的人脸轮廓特征区域划分方法

围绕人脸轮廓初始特征点，圆形邻域可以很好地贴切人脸曲线，更准确的描述人脸轮廓，本文提出一种基于于圆形邻域的局部特征表达。以特征点(x₀,y₀)为中心由内向外划分出中心区域，一级邻域，扩展邻域，共三层圆形邻域，各区域划分遵循公式(1)和公式(2)；除中心区域外，一级邻域和扩展邻域以x轴负方向为0度角逆时针划分出八个相同大小的子邻域，依次命名为g₀,g₁,…,g₈,g₀',g₁',…,g₈'。如图1所示，中心区域：g₀，一级邻域：{g_i|i＝1,2,…,n}，扩展邻域：{g_i+g_i'|i＝1,2,…,8}。

$\left\{{\mathrm{\&alpha;}}_{g_i}\right|(i-l)\&times;\frac{\mathrm{\&pi;}}{4}<\mathrm{\&alpha;}<i\&times;\frac{\mathrm{\&pi;}}{4},i=1,2,...,8\}---\left(2\right)$

其中，(x_i,y_i)表示邻域内像素点；r为特征点到中心区域边缘半径；α_gi表示g_i区域所对应的圆心角。

1.2特征邻域对齐

为了保证图像中的正面人脸处于垂直方向，规定图像中人脸的眉心到鼻尖的方向为标准方向。根据标准方向与竖直方向的夹角，计算每个邻域的偏差角度，假设眉心点A(x₁,y₁)、鼻尖点B(x₂,y₂)，则每个区域需要旋转偏差角度β，根据偏差角β测定调正特征邻域角度，见公式(3)和公式(4)。

β＝arctan((x₁-x₂)/(y₁-y₂)) (3)

$\left\{{\mathrm{\&alpha;}}_{g_i}\right|(i-l)\&times;\frac{\mathrm{\&pi;}}{4}+\mathrm{\&beta;}<\mathrm{\&alpha;}<i\&times;\frac{\mathrm{\&pi;}}{4}+\mathrm{\&beta;},i=1,2,...,8\}---\left(4\right)$

1.3特征编码

为了便于人脸特征的分类，本发明提出根据圆形邻域的区域强度关系，构建人脸轮廓区域的特征，提取的特征抽象成编码。将每个邻域的平均灰度作为区域强度见公式(5)，通过比较中心区域与各个邻域的强度关系见公式(6)，生成相应的二进制序列；采取异或输出的方式进行编码，相同梯度邻域的强度关系相同，输出结果为1，否则结果为0。最终结果可以直观的表达出相同方向梯度上强度关系是否一致，RLFE特征表达的方法见公式(7)-公式(9)。

$Power\left(g_{ij}\right)=\frac{1}{N_j}\underset{j=1}{\overset{N_j}{\&Sigma;}}\left(p_{ij}\right)---\left(5\right)$

其中，i＝1,2,…,8，p_ij为点(x_ij,y_ij)的灰度值，j＝1,2,…,N_j。

$s\left(x\right)=\left\{\begin{array}{cc}1& Power\left(g_i\right)>Ppwer\left(g_i\right)\\ 0& Power\left(g_i\right)\&le;Power\left(g_i\right)\end{array}\right.---\left(6\right)$

一级邻域编码：

B_i＝s(Power(g_i+1)-Power(g₀)) (7)

其中i＝0,2,…,7。

扩展邻域编码：

C_i＝s(Power(g_i+1')-Power(g₀)) (8)

其中i＝0,2,…,7。

RLFE编码为：

$RLFE(x,y)=\underset{i=0}{\overset{7}{\&Sigma;}}(B_i\&CirclePlus;C_i\&times;2^i)---\left(9\right)$

每张人脸轮廓上特征点按照同位置、同顺序的方式排列，将特征点的特征编码按照该顺序级联起来，级联后的序列作为该脸的特征向量，记为：X＝(x₁,x₂,…,x_n)，x_n表示第n个特征点的特征编码。由于每个特征点都融合各个方向邻域间的梯度强度变化关系，特征向量可以准确的表达人脸轮廓，具有较强的鉴别能力。

2分类器设计

2.1基于Fisher准则的人脸分类模型设计

基于SVM分类思想与Fisher准则基本思想具有为寻找到一个最优方向，将原始数据向这个方向投影，使同类数据间距离尽可能小，异类间距离尽可能大的一致性。因此本发明用fisher准则的思想，优化RBF-SVM核参数，构建RBF-SVM分类模型。

假设为RLFE提取的两类人脸特征。这两类特征映射到高维度空间中的均值μ₁,μ₂表示为：

类间离散度的平方S_b为：

$S_b={({\mathrm{\&mu;}}_1-{\mathrm{\&mu;}}_2)}^T({\mathrm{\&mu;}}_1-{\mathrm{\&mu;}}_2)=\frac{1}{{n_1}^2}{K}_{11}+\frac{1}{{n_2}^2}{K}_{22}+\frac{1}{n_1{n}_2}{K}_{12}---\left(12\right)$

X₁和X₂的类内离散度的平方分别为：

其中：

根据Fisher准则，求解最优核参数就转化为求解最大值。

$F\left(\mathrm{\&gamma;}\right)=\frac{tr\left(S_b\right)}{tr(S_{\mathrm{\&omega;}1}+S_{\mathrm{\&omega;}2})}---\left(15\right)$

根据上述方法优化核参数γ则得到的RBF-SVM核函数分类模型：

K(x_i,x_j)＝exp(-γ||x_i,x_j||²),γ＞0 (16)

2.2OVO-RBF-SVM多分类模型

为适应多种不同的人脸类型，需要设计一个多分类模型。因此，本发明采用“ONEVS ONE“投票机制实现不同脸型的多分类模型(简称OVO-RBF-SVM)。每两种脸型之间设计一个分类器，这样k种脸型就需要设计个分类器；当有未知脸型输入时，通过分类器依次投票，胜利的一方票数加1，最后票数最多的类别即为最终输出脸型，公式(17)和公式(18)给出了基于OVO-RBF-SVM的人脸脸型分类模型。如果最多票数相同，使用这两类之间的分类器进行最终决策。

$\left\{\begin{array}{cc}{\mathrm{\&omega;}}_i={\mathrm{\&omega;}}_i+1& {\mathrm{\&sigma;}}_{ij}=0\\ {\mathrm{\&omega;}}_j={\mathrm{\&omega;}}_j+1& {\mathrm{\&sigma;}}_{ij}=1\end{array}\right.---\left(17\right)$

τ(x)＝max(ω_k) (18)

其中,σ_ij表示分类器在第i类和第j类之间的分类结果，ω_k表示第k类胜利的次数。

附图说明

图1为特征编码流程图。

图2为分类方法流程图。

图3为特征邻域示意图。

图4为调整特征邻域时，偏差角示意图。

图5为特征点定位示意图。

具体实施方式

国际上没有标准的关于脸型的人脸库，所以本发明采用CAS-PEAL人脸库10]中的1000张温和光照，无表情的正面人脸进行验证，并综合10位专家的意见，将其分为圆脸、椭圆脸、方脸和三角脸四种脸型库。采用交叉实验方法，每种脸型随机选出若干个样本，进行三次实验。

3.1邻域半径对分类准确率影响分析

由于人脸轮廓的特殊性，圆形邻域尺度选择对识别率有较大的影响，偏大的邻域不能表达邻域间强度变化特点，偏小的邻域对噪点过于敏感，易出现更大的误差，本发明在上述人脸库中对不同邻域半径的RLFE特征表达做了研究，结果如表1所示，其中dis表示相邻两个特征点间的距离。从表1中可以看出，选择过大或过小的邻域半径都会使识别率下降，当中心邻域半径为1/6*dis，一级邻域半径为1/3*dis，二级邻域半径为1/2*dis时，准确率达到最大值95％。故局部特征模型的选用上述的邻域半径。

表1选取不同邻域半径对准确率的影响

Table 1 Influence on accuracy of different neighborhood radius

3.2特征点定位对分类准确性影响分析

由于中心区域的存在，使得对特征点定位要求降低，并不需要十分精准的定位人脸轮廓，只需中心区域定位在面部轮廓即可。如图5所示，特征点A定位在人脸轮廓上时，我们认为特征点A定位准确；特征点B未定位在轮廓上，但是特征点中心区域定位在轮廓上，我们认为特征点B定位不准确。如表2、表3、表4所示。随着不准确特征点个数的上升，识别率略有下降，当初始定位点存在1/2不准确时，基本不影响识别准确率。所以本文所研究的方法基本上解决了特征点定位不准带来的识别率下降问题，在一定的程度上提高了识别***的容错性。

表2特征点全部定位在人脸轮廓上实验结果

Table 2 the experimental results of all feature points on the facecontour

表3 1/2特征点未在人脸轮廓上实验结果

Table 3 the experimental results with 1/2 feature points not on theface contour

表4 3/4特征点未在人脸轮廓上实验结果

Table 4 the experimental results with 3/4 feature points not on theface contour

3.3不同算法准确率对比分析

为了验证本发明所研究方法的有效性，与其他具有代表性的算法进行对比试验。从表5上可以看出，由于解决了特征点定位不准的问题，本发明所研究的方法在准确率相对于其他算法有较大提升，从分类的结果上来看，还是十分令人满意的。

表5各种算法准确率比较

Table 5 Comparison of the accuracy of various algorithms

Claims (4)

1.一种基于局部特征的脸型分类方法，其特征在于，基于局部特征的脸型分类是一种采用脸型轮廓特征编码的方式，再通过特征编码分类器进行脸型分类的方法，主要包含基于圆形邻域的人脸轮廓特征区域划分方法、特征邻域对齐、特征编码、基于支持向量机的多分类器设计，整体处理流程是这样的：

对于人脸轮廓特征点集P，P_i表示点集P的第i个点。构建其编码矩阵基本步骤如下：

1)初始化编码矩阵C，特征矩阵T，一级邻域表E₁和扩展邻域表E₂；

2)取出特征点集中P_i，分别计算一级邻域、扩展邻域与中心区域的强度差，将结果加入到表E₁和表E₂中；

3)将表E₁和表E₂中对应元素做异或运算，结果加入到特征矩阵T；

4)如果特征点集P不为空，取下一个点P_i+1转到2)继续执行；

5)如果特征点集P为空，对特征矩阵进行编码，编码结果加入到编码矩阵C中；

6)每两种脸型构建一个特征编码分类器；

7)将待测样本输入到特征分类器中，进行分类；

8)获得测试结果。

2.根据权利要求1所述的一种基于局部特征的脸型分类方法，其特征在于，所述基于圆形邻域的人脸轮廓特征区域划分方法如下：

围绕人脸轮廓初始特征点，圆形邻域可以很好地贴切人脸曲线，更准确的描述人脸轮廓，提出一种基于于圆形邻域的局部特征表达，以特征点(x₀，y₀)为中心由内向外划分出中心区域，一级邻域，扩展邻域，共三层圆形邻域，各区域划分遵循公式(1)和公式(2)；除中心区域外，一级邻域和扩展邻域以x轴负方向为0度角逆时针划分出八个相同大小的子邻域，依次命名为g₀，g₁，…，g₈，g₀′，g₁′…，g₈′，中心区域：g₀，一级邻域：{g_i|i＝1，2，…，n}，扩展邻域：{g_i+g_i′|i＝1，2，…，8}，

$\left\{{\mathrm{\&alpha;}}_{g_i}\right|(i-l)\&times;\frac{\mathrm{\&pi;}}{4}<\mathrm{\&alpha;}<i\&times;\frac{\mathrm{\&pi;}}{4},i=1,2,...,8\}---\left(2\right)$

其中，(x_i，y_i)表示邻域内像素点；r为特征点到中心区域边缘半径；表示g_i区域所对应的圆心角；

为了保证图像中的正面人脸处于垂直方向，规定图像中人脸的眉心到鼻尖的方向为标准方向，根据标准方向与竖直方向的夹角，计算每个邻域的偏差角度，假设眉心点A(x₁，y₁)、鼻尖点B(x₂，y₂)，则每个区域需要旋转偏差角度β，根据偏差角β测定调正特征邻域角度，见公式(3)和公式(4)，

β＝arctan((x₁-x₂)/(y₁-y₂)) (3)

$\left\{{\mathrm{\&alpha;}}_{g_i}\right|(i-l)\&times;\frac{\mathrm{\&pi;}}{4}+\mathrm{\&beta;}<\mathrm{\&alpha;}<i\&times;\frac{\mathrm{\&pi;}}{4}+\mathrm{\&beta;},i=1,2,...,8\}---\left(4\right).$

3.根据权利要求1所述的一种基于局部特征的脸型分类方法，其特征在于，所述特征编码方法如下：

为了便于人脸特征的分类，本文提出根据圆形邻域的区域强度关系，构建人脸轮廓区域的特征，提取的特征抽象成编码，将每个邻域的平均灰度作为区域强度见公式(5)，通过比较中心区域与各个邻域的强度关系见公式(6)，生成相应的二进制序列；采取异或输出的方式进行编码，相同梯度邻域的强度关系相同，输出结果为1，否则结果为0，最终结果可以直观的表达出相同方向梯度上强度关系是否一致，RLFE特征表达的方法见公式(7)-公式(9)，

$Power\left(g_{ij}\right)=\frac{1}{N_j}\underset{j=1}{\overset{N_j}{\&Sigma;}}\left(p_{ij}\right)---\left(5\right)$

其中，i＝1，2，…，8，p_ij为点(x_ij，y_ij)的灰度值，j＝1，2，…，N_j；

$s\left(x\right)=\left\{\begin{array}{cc}1& Power\left(g_i\right)>Power\left(g_i\right)\\ 0& Power\left(g_i\right)\&le;Power\left(g_i\right)\end{array}\right.---\left(6\right)$

一级邻域编码：

B_i＝s(Power(g_i+1)-Power(g₀)) (7)

其中i＝0，2，…，7；

扩展邻域编码：

C_i＝s(Power(g_i+1′)-Power(g₀)) (8)

其中i＝0，2，…，7；

RLFE编码为：

$RLFE(x,y)=\underset{i=0}{\overset{7}{\&Sigma;}}(B_i\&CirclePlus;C_i\&times;2^i)---\left(9\right)$

每张人脸轮廓上特征点按照同位置、同顺序的方式排列，将特征点的特征编码按照该顺序级联起来，级联后的序列作为该脸的特征向量，记为：X＝(x₁，x₂，…，x_n)，x_n表示第n个特征点的特征编码，由于每个特征点都融合各个方向邻域间的梯度强度变化关系，特征向量可以准确的表达人脸轮廓，具有较强的鉴别能力。

4.根据权利要求1所述的一种基于局部特征的脸型分类方法，其特征在于，所述基于支持向量机的多分类器设计如下：

基于SVM分类思想与Fisher准则基本思想具有为寻找到一个最优方向，将原始数据向这个方向投影，使同类数据间距离尽可能小，异类间距离尽可能大的一致性，因此用fisher准则的思想，优化RBF-SVM核参数，构建RBF-SVM分类模型，

假设为RLFE提取的两类人脸特征，这两类特征映射到高维度空间中的均值μ₁，μ₂表示为：

类间离散度的平方S_b为：

$S_b={({\mathrm{\&mu;}}_1-{\mathrm{\&mu;}}_2)}^T({\mathrm{\&mu;}}_1-{\mathrm{\&mu;}}_2)=\frac{1}{{n_1}^2}{K}_{11}+\frac{1}{{n_2}^2}{K}_{22}+\frac{1}{n_1{n}_2}{K}_{12}---\left(12\right)$

X₁和X₂的类内离散度的平方分别为：

其中：

根据Fisher准则，求解最优核参数就转化为求解最大值，

$F\left(\mathrm{\&gamma;}\right)=\frac{tr\left(S_b\right)}{tr(S_{\mathrm{\&omega;}1}+S_{\mathrm{\&omega;}2})}---\left(15\right)$

根据上述方法优化核参数γ则得到的RBF-SVM核函数分类模型：

K(x_i，x_j)＝exp(-γ||x_i，x_j||²)，γ＞0 (16)

为适应多种不同的人脸类型，需要设计一个多分类模型，因此，采用“ONE VS ONE”投票机制实现不同脸型的多分类模型(简称OVO-RBF-SVM)，每两种脸型之间设计一个分类器，这样k种脸型就需要设计个分类器；当有未知脸型输入时，通过分类器依次投票，胜利的一方票数加1，最后票数最多的类别即为最终输出脸型，公式(17)和公式(18)给出了基于OVO-RBF-SVM的人脸脸型分类模型，如果最多票数相同，使用这两类之间的分类器进行最终决策，

$\left\{\begin{array}{cc}{\mathrm{\&omega;}}_i={\mathrm{\&omega;}}_i+1& {\mathrm{\&sigma;}}_{ij}=0\\ {\mathrm{\&omega;}}_j={\mathrm{\&omega;}}_j+1& {\mathrm{\&sigma;}}_{ij}=1\end{array}\right.---\left(17\right)$

τ(x)＝max(ω_k) (18)

其中，σ_ij表示分类器在第i类和第j类之间的分类结果，ω_k表示第k类胜利的次数。