CN102339376A - 基于主动形状模型和k近邻算法的人脸脸型分类处理方法 - Google Patents

Abstract

本发明涉及一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，包括以下步骤：1)创建K近邻算法中的样本库；2)用户通过网络多媒体终端将待测图像上传至服务器，服务器采用ASM算法对待测图像提取人脸特征点，通过选取脸部及下颌部分的特征点来确定脸部轮廓；3)服务器对待测图像的点集按照样本归一化方法进行归一化处理，将待测图像的点集与样本点集统一到同一坐标系中；4)服务器采用基于Hausdorff距离K近邻方法对待测图像进行分类，得到分类结果；5)服务器自动将分类结果发送给网络多媒体终端，该网络多媒体终端对其进行显示。与现有技术相比，本发明具有识别率高，速度快，易于实现等优点。

Description

基于主动形状模型和K近邻算法的人脸脸型分类处理方法

技术领域

本发明涉及一种识别人脸照片的脸型类型方法，尤其是涉及一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法。

背景技术

人脸脸型分类具有一定的研究价值，可以应用到不同领域，如人脸识别，图像检索，美容模拟等。在人脸识别中，当图像数据库增大时，查询一幅图像的速度呈线性下降，人脸识别率也随之下降。因此在数据库庞大的情况下，人脸识别中识别速度慢和识别率较低的问题迫切需要解决。在识别人脸之前，可以先对数据库中的人脸图像按特征分类，将搜索范围缩小到与待识别图像特征相似的小范围内，这样查询速度和识别率都可以大大提高。在图像检索领域，比如一些交友性质的网站，用户想查找某一脸型的人物，就可以先对人物图像分类，这样可以提高检索的速度，还有一些娱乐性质的美容网站，可以根据用户的脸型等特征为用户推荐合适的发型，配饰，衣着等搭配，为人们生活带来方便。所以，对人脸进行分类具有一定的研究价值和应用前景。

模式识别中对脸型分类的研究并不多，现有的研究中，主要根据以下四种方式对脸型进行分类：(1)根据轮廓线曲率特征进行分类。凌旭峰等人采用Sobel算子提取脸部及下颌轮廓线，计算曲率线，再与标准脸型曲率线进行对比，计算得出两条曲率线之间的相似度，对脸型进行分类。(2)将脸部轮廓线与理想轮廓线进行匹配，实现分类。王俊艳等人提取下颌轮廓线，与理想的下颌轮廓线模型进行匹配，将下巴分为圆下巴，尖下巴，平下巴三种。(3)根据轮廓点集之间的距离进行分类。顾华等人通过计算不同图像的脸部及下颌的轮廓点集之间的Hausdorff距离，采用ISODATA方法自动聚类。(4)根据面型指数分布进行分类。赵薇等人采用形态面指数和颧下颌宽指数对人脸进行分类，提取出鼻根点，颏下点，左右颧点，左右下颌角点，根据这四点计算出形态面指数和颧下颌宽指数，统计两种指数分布情况，对脸型进行分类。

对于脸型不标准的人脸，依据轮廓曲率线分类的方法分类准确度低，而且在图像质量不好的情况下，Sobel算子提取轮廓的效果不会太好。而根据形态面指数和颧下颌宽指数分类的方法对特征点的定位准确有很大的依赖性，其采用的特征点固定，使用特征点数目也较少，分类方法不具有鲁棒性，而且脸型只分为两大类，应用范围有限。通过采集多个特征点，对特征点集分类是很好的脸型分类办法，但是基于ISODATA聚类的方法需要全面大量的样本训练，算法复杂，不易实现，而且顾华的方法只是对人脸图像自动聚类，没有明确地说明哪类属于哪种脸型。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种识别率高，速度快，易于实现的基于主动形状模型和K近邻算法的人脸脸型分类处理方法。

本发明的目的可以通过以下技术方案来实现：

一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，包括以下步骤：

1)创建K近邻算法中的样本库；

2)用户通过网络多媒体终端将待测图像上传至服务器，服务器采用ASM算法对待测图像提取人脸特征点，通过选取脸部及下颌部分的特征点来确定脸部轮廓；

3)服务器对待测图像的点集按照样本归一化方法进行归一化处理，将待测图像的点集与样本点集统一到同一坐标系中；

4)判断归一化是否完成，若为是，执行步骤5)，若为否，返回步骤3)；

5)服务器采用基于Hausdorff距离K近邻方法对待测图像进行分类，得到分类结果；

6)服务器自动将分类结果发送给网络多媒体终端，该网络多媒体终端对其进行显示。

所述的步骤1)创建K近邻算法中的样本库包括以下步骤：

11)对待选图像进行归一化处理；

12)根据选取规则来选取样本图像；

13)将样本数据转换成XML格式文件，并将其存储在样本数据库中。

3.根据权利要求1所述的一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，所述的步骤2)中的采用ASM算法对待测图像提取人脸特征点，通过选取脸部及下颌部分的特征点来确定脸部轮廓的具体步骤如下：

21)模型初始定位：

采用人脸检测算法来确定待测图像中是否有人脸以及人脸的位置，根据得到的初始位置并通过角度θ旋转、尺度s缩放以及位置t平移将平均形状模型[X₂]放到待测图像中，得到初始的形状

X₂′＝M(s，θ)[X₂]+t

(1)

${X_2}^{\′}=M(\mathrm{\θ},s)\left[X_2\right]+t={\left(\begin{array}{cccc}{x}_{20}& -y_{20}& 1& 0\\ y_{20}& x_{20}& 0& 1\\ x_{2(n-1)}& -y_{2(n-1)}& 1& 0\\ y_{2(n-1)}& x_{2(n-1)}& 0& 1\end{array}\right)}_{2n\×4}\left[\begin{array}{c}s\cos \mathrm{\θ}\\ s\sin \mathrm{\θ}\\ t_x\\ t_y\end{array}\right]---\left(2\right)$

其中M(θ，s)为旋转和缩放变换矩阵，[X₂]为变换前的形状向量(x10，y10，x11，y11，…，x1n，y1n)，X₂′为变换后的形状向量(x20，y20，x21，y21，…，x2n，y2n)；

22)特征点法线方向上搜索：

对每一个特征点使其沿法线方向在一定范围内进行搜索，在该范围内的每一个点计算其规格化灰度导数向量与训练得到该点的平均规格化灰度导数向量的马氏距离，从中选取距离最小的候选点作为最佳匹配点，对模型的每一个特征点都进行最佳匹配点的搜索，得到了一个新的形状向量X′；

23)用形状模型进行近似表达，由于每个特征点搜索后得到的形状无法在新的正交基下直接表示，只能得到最小误差意义上的近似表示，将X向X′作对齐运算得到仿射变换的四个参数(1+ds，dθ，dtx，dty)，进一步得到形状参数的变化值

db＝P^TPP^T(M((s(1+ds))^-1，

Ps＝(p0，p1，p2，pt-1)为一组新的标准正交基；

24)形状合理性的约束，对形状参数bi的变化范围db不在

范围内的bi将其变换到

范围内，利用最终得到的形状参数b+db计算出重构的形状；

25)重复22)～24)步骤进行循环，当两次相邻循环的形状向量的欧式距离小于等于设定的阈值时，迭代结束。

所述的归一化处理过程如下：

(1)对每张图像采用ASM算法提取人脸特征点，选取脸部及下颌部分的特征点来表示脸部轮廓；

(2)平移变换：先计算出每个轮廓的中心位置，然后将脸部轮廓平移到中心位置，计算中心位置(x_c，y_c)的公式为：

$x_c=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i---\left(4\right)$

$y_c=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i---\left(5\right)$

然后根据平移公式(6)和(7)，对每个点做平移变换，计算出新位置

$x_i^{\′}=x_i-x_c---\left(6\right)$

$y_i^{\′}=y_i-y_c---\left(7\right)$

(3)缩放变换：按规则将轮廓缩放到同一坐标系中，规则为：点集的半径为所有点到点集中心的平均距离，对点集进行平移变换后，点集中心坐标为(0，0)，故点集半径r的计算公式为

$r=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{(x_i^2+y_i^2)}---\left(8\right)$

将半径大小归一化到[0，1]范围内，根据公式(9)和(10)进行缩放，新位置为

$x_i^{\′}=x_i\×\frac{1}{r}---\left(9\right)$

$y_i^{\′}=y_i\×\frac{1}{r}---\left(10\right)$

(4)按上面的步骤，对样本点集进行平移和缩放变换后，再按下颌部分的特征点对齐，将中心移到下颌部分处，重复步骤(2)和(3)，得到归一化的结果。

所述的选取规则为：对于四种类别的所有样本，要保证类内样本之间的Hausdorff较小，类间样本的Hausdorff距离较大。

所述的四种类别为椭圆脸类、圆脸类、方脸类、三角脸类。

所述的步骤4)中的服务器采用基于Hausdorff距离K近邻方法对待测图像进行分类步骤如下：

41)计算待测图像与所有样本的Hausdorff距离；

42)对所有距离按升序排序，取前k个距离，并记录每个距离对应的样本类型编号；

43)统计k个距离度量对应的k个样本中，哪个类型所含的样本数最多，待测图像就属于哪个类型。

所述的K为5～50的自然数。

所述的网络多媒体终端包括手机、互联网。

与现有技术相比，本发明具有以下优点：

1、通过ASM算法能准确定位人脸特征点，Hausdorff距离有效地度量两个点集的相似程度，k-邻近分类算法简单，样本库容易建立，易于实现。ASM算法具有很强的鲁棒性，能有效的解决实际应用中的脸型分类问题。

2、有效的区分不同脸型的人脸，识别率高，速度快，易于实现。本发明能很好地应用到人脸识别，人脸检索等***中，对化妆专家指导，服饰搭配专家指导有作用，具有广泛的应用价值。

附图说明

图1为本发明的流程图；

图2为本发明的硬件结构示意图；

图3为本发明样本归一化前的轮廓图；

图4为本发明样本归一化后的轮廓图；

图5为本发明每个类型的类内样本平均距离曲线图；

图6为三角形类样本与其他三个类的类间平均距离曲线图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1、图2所示，本发明方法可以应用在互联网服务器端，也可应用在终端软件中。这里以终端软件中实施方式为例。下面结合附图详细说明本发明涉及到的细节问题，所描述的实施例旨在便于对本发明的了解，而对其不起任何限定作用。

本发明具体实施步骤如下：

步骤101、创建K近邻算法中的样本库；

1)对待选图像进行归一化处理。先将所有图像大小归一化为368*500，然后对每张图像进行人脸特征点提取，取出编号为8-20的特征点集，进行归一化处理，如图3、图4所示，所述的归一化处理过程如下：

(1)对每张图像采用ASM算法提取人脸特征点，选取脸部及下颌部分的特征点来表示脸部轮廓；

(2)平移变换：先计算出每个轮廓的中心位置，然后将脸部轮廓平移到中心位置，计算中心位置(x_c，y_c)的公式为：

$x_c=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i---\left(4\right)$

$y_c=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i---\left(5\right)$

然后根据平移公式(6)和(7)，对每个点做平移变换，计算出新位置

$x_i^{\′}=x_i-x_c---\left(6\right)$

$y_i^{\′}=y_i-y_c---\left(7\right)$

(3)缩放变换：按规则将轮廓缩放到同一坐标系中，规则为：点集的半径为所有点到点集中心的平均距离，对点集进行平移变换后，点集中心坐标为(0，0)，故点集半径r的计算公式为

$r=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{(x_i^2+y_i^2)}---\left(8\right)$

将半径大小归一化到[0，1]范围内，根据公式(9)和(10)进行缩放，新位置为

$x_i^{\′}=x_i\×\frac{1}{r}---\left(9\right)$

$y_i^{\′}=y_i\×\frac{1}{r}---\left(10\right)$

(4)按上面的步骤，对样本点集进行平移和缩放变换后，再按下颌部分的特征点即编号为14的特征点对齐，即与平移变换步骤一样，将中心移到编号为14的特征点处，就得到归一化的结果和未归一化的点集轮廓，可以看出，归一化效果较好。

2)选取样本图像，选取规则为：对于四个类别的所有样本，要保证类内样本之间的Hausdorff较小，类间样本的Hausdorff距离较大。对归一化后的的样本经过距离计算，再进行筛选后，最终选出56张满足要求的样本图像。图5表示每种类型内的样本之间的平均距离，图6表示表示三角形类型与其它三个类型的类间平均距离。从图中可以看出，类内的14个样本之前的平均距离较小，大多数在1.8以下，而三角形类型与其它三个类型的类间距离明显比类内距离大，大多数在1.6以上。

3)将样本数据转换成XML文件格式，便于数据的存放和读取。

步骤102：用户通过网络多媒体终端1将待测图像上传至服务器2，服务器2采用ASM算法对待测图像提取人脸特征点，通过选取脸部及下颌部分的特征点来确定脸部轮廓；本实施共提取脸部65个特征点，选取编号为8到20的特征点来表示人脸轮廓；

步骤103：对待测图像的点集按照样本归一化的方法进行归一化，将待测图像的点集与样本点集统一到同一坐标系中；

步骤104：判断归一化是否完成，若为是，执行步骤105，若为否，返回步骤103；

步骤105、106：采用本文中的方法即基于Hausdorff距离的K近邻方法进行分类，本文中的K值取14，分类过程共三部分：

1)计算待测图像与所有样本的Hausdorff距离；

2)对所有距离按升序排序，取前14个距离，并记录每个距离对应的样本类型编号；

3)判断14个距离度量对应的14个样本中，哪个类型所含的样本数最多，若椭圆脸类最多，则输出该待测图像为椭圆类；若为圆脸类最多，则输出该待测图像为圆脸类；若为方脸类最多，则输出该待测图像为方脸类；若为三角脸类最多，则输出该待测图像为三角脸类。

步骤107：服务器自动将结果发送给网络多媒体终端，该网络多媒体终端对其进行显示。

Claims (9)

1.一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，包括以下步骤：

1)创建K近邻算法中的样本库；

2)用户通过网络多媒体终端将待测图像上传至服务器，服务器采用ASM算法对待测图像提取人脸特征点，通过选取脸部及下颌部分的特征点来确定脸部轮廓；

3)服务器对待测图像的点集按照样本归一化方法进行归一化处理，将待测图像的点集与样本点集统一到同一坐标系中；

4)判断归一化是否完成，若为是，执行步骤5)，若为否，返回步骤3)；

5)服务器采用基于Hausdorff距离K近邻方法对待测图像进行分类，得到分类结果；

6)服务器自动将分类结果发送给网络多媒体终端，该网络多媒体终端对其进行显示。

2.根据权利要求1所述的一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，所述的步骤1)创建K近邻算法中的样本库包括以下步骤：

11)对待选图像进行归一化处理；

12)根据选取规则来选取样本图像；

13)将样本数据转换成XML格式文件，并将其存储在样本数据库中。

3.根据权利要求1所述的一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，所述的步骤2)中的采用ASM算法对待测图像提取人脸特征点，通过选取脸部及下颌部分的特征点来确定脸部轮廓的具体步骤如下：

21)模型初始定位：

采用人脸检测算法来确定待测图像中是否有人脸以及人脸的位置，根据得到的初始位置并通过角度θ旋转、尺度s缩放以及位置t平移将平均形状模型[X₂]放到待测图像中，得到初始的形状

X₂′＝M(s，θ)[X₂]+t

(1)

${X_2}^{\′}=M(\mathrm{\θ},s)\left[X_2\right]+t={\left(\begin{array}{cccc}{x}_{20}& -y_{20}& 1& 0\\ y_{20}& x_{20}& 0& 1\\ x_{2(n-1)}& -y_{2(n-1)}& 1& 0\\ y_{2(n-1)}& x_{2(n-1)}& 0& 1\end{array}\right)}_{2n\×4}\left[\begin{array}{c}s\cos \mathrm{\θ}\\ s\sin \mathrm{\θ}\\ t_x\\ t_y\end{array}\right]---\left(2\right)$

其中M(θ，s)为旋转和缩放变换矩阵，[X₂]为变换前的形状向量(x10，y10，x11，y11，…，x1n，y1n)，X₂′为变换后的形状向量(x20，y20，x21，y21，…，x2n，y2n)；

22)特征点法线方向上搜索：

对每一个特征点使其沿法线方向在一定范围内进行搜索，在该范围内的每一个点计算其规格化灰度导数向量与训练得到该点的平均规格化灰度导数向量的马氏距离，从中选取距离最小的候选点作为最佳匹配点，对模型的每一个特征点都进行最佳匹配点的搜索，得到了一个新的形状向量X′；

23)用形状模型进行近似表达，由于每个特征点搜索后得到的形状无法在新的正交基下直接表示，只能得到最小误差意义上的近似表示，将X向X′作对齐运算得到仿射变换的四个参数(1+ds，dθ，dtx，dty)，进一步得到形状参数的变化值

db＝P^TPP^T(M((s(1+ds))^-1，

Ps＝(p0，p1，p2，pt-1)为一组新的标准正交基；

24)形状合理性的约束，对形状参数bi的变化范围db不在

范围内的bi将其变换到

范围内，利用最终得到的形状参数b+db计算出重构的形状；

25)重复22)～24)步骤进行循环，当两次相邻循环的形状向量的欧式距离小于等于设定的阈值时，迭代结束。

4.根据权利要求1或2所述的一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，所述的归一化处理过程如下：

(1)对每张图像采用ASM算法提取人脸特征点，选取脸部及下颌部分的特征点来表示脸部轮廓；

(2)平移变换：先计算出每个轮廓的中心位置，然后将脸部轮廓平移到中心位置，计算中心位置(x_c，y_c)的公式为：

$x_c=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i---\left(4\right)$

$y_c=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i---\left(5\right)$

然后根据平移公式(6)和(7)，对每个点做平移变换，计算出新位置

$x_i^{\′}=x_i-x_c---\left(6\right)$

$y_i^{\′}=y_i-y_c---\left(7\right)$

(3)缩放变换：按规则将轮廓缩放到同一坐标系中，规则为：点集的半径为所有点到点集中心的平均距离，对点集进行平移变换后，点集中心坐标为(0，0)，故点集半径r的计算公式为

$r=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{(x_i^2+y_i^2)}---\left(8\right)$

将半径大小归一化到[0，1]范围内，根据公式(9)和(10)进行缩放，新位置为

$x_i^{\′}=x_i\×\frac{1}{r}---\left(9\right)$

$y_i^{\′}=y_i\×\frac{1}{r}---\left(10\right)$

(4)按上面的步骤，对样本点集进行平移和缩放变换后，再按下颌部分的特征点对齐，将中心移到下颌部分处，重复步骤(2)和(3)，得到归一化的结果。

5.根据权利要求2所述的一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，所述的选取规则为：对于四种类别的所有样本，要保证类内样本之间的Hausdorff较小，类间样本的Hausdorff距离较大。

6.根据权利要求6所述的一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，所述的四种类别为椭圆脸类、圆脸类、方脸类、三角脸类。

7.根据权利要求1所述的一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，所述的步骤4)中的服务器采用基于Hausdorff距离K近邻方法对待测图像进行分类步骤如下：

41)计算待测图像与所有样本的Hausdorff距离；

42)对所有距离按升序排序，取前k个距离，并记录每个距离对应的样本类型编号；

43)统计k个距离度量对应的k个样本中，哪个类型所含的样本数最多，待测图像就属于哪个类型。

8.根据权利要求7所述的一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，所述的K为5～50的自然数。

9.根据权利要求1所述的一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，其特征在于，所述的网络多媒体终端包括手机、互联网。

Images