CN102214299A - 一种基于改进的asm算法的人脸特征定位方法 - Google Patents

Abstract

一种基于改进的ASM算法的人脸特征定位方法，属于计算机视觉和图像处理技术领域。包括如下步骤：特征点的手动标定；上、下模型的统计形状和局部灰度模型的建立；上、下模型中特征点的独立搜索匹配；能量函数约束的综合模型实例生成。本发明针对传统ASM方法对人脸包含表情情况下特征定位过程遇到的困难，通过将人脸面部特征按变化相关度进行区域划分成上、下两个形状区域，独立进行统计形状模型和局部灰度模型的建模，特征匹配搜索过程通过引入一个能量函数对上、下模型生成实例的综合形状进行误差约束，最终得到准确的特征定位结果。本发明进一步提高了ASM算法对人脸面部存在表情情况下特征定位的准确性。

Description

一种基于改进的ASM算法的人脸特征定位方法

本发明属于计算机视觉和图像处理技术领域，主要涉及生物特征鉴别中的人脸识别技术，具体涉及一种基于ASM算法的人脸特征定位方法。

背景技术

近年来，随着信息技术的飞速发展，如何快速、准确地识别一个人的身份以保证信息安全和公共安全，成为一个急需解决的关键技术问题。为此，生物特征识别技术应运而生，成为当前世界信息安全领域的主流研究课题。生物特征识别技术利用人体固有的生理结构和行为特征来进行个人身份鉴定。人脸识别技术作为生物特征识别技术的一个重要分支，结合计算机视觉和图像处理相关技术，借助其唯一性、稳定性、以及易用性和用户接受度高等特性，已经成为生物特征识别方向的热门研究技术。人脸识别技术，在社区安防、网络视频监控、出入境管理检测、员工考勤以及家庭娱乐等方面应用广泛，具有巨大的经济价值和现实意义。目前，人脸识别技术已被应用于边境安全检查、银行门禁***、汽车和电子产品的用户登录管理和社区安全管理等，同时可以使人们摆脱各类银行卡、***、身份证、社区保险证的管理。随着计算机视觉技术和图像处理技术的发展，人脸识别技术越来越受到人们的重视。详见文献：A.K.Jain，A.Ross，and S.Prabhakar，“An Introduction to Biometric Recognition”IEEE Transactions on CSVT，Special Issue on Image-and Video-Based Biometrics，4-20，2003所述。

在人脸识别技术中，如何实现人脸图像特征的准确提取是人脸识别的重要一步，它的执行准确度将直接影响整个人脸识别***的识别率。在实际中，由于人脸面部往往包含一定程度的表情和姿态变化，人脸特征点提取算法的准确性和有效性还有待进一步提高。如何在包含表情变化以及姿态变化影响问题的低质量人脸图像中，快速精确地进行人脸特征点提取是我们研究的主要问题。详见文献：John G.Daugman，“High Confidence Visual Recognition of Persons by a Test of Statistical Independence，”IEEE Transaction on Pattern Analvsis and Machine Intelligence，volume15，no.11，pp.1148-1161，1993。

目前的人脸特征提取方法主要包括一下三种：基于肤色的特征定位方法，基于变换域的定位方法和基于统计学的定位方法。

(1)基于肤色的特征定位方法。首先对目标图像进行肤色区域分割，找出含有肤色的区域作为人脸的候选区域；然后对所有候选区域进行人脸模板匹配或者利用先定位眼睛进而定位人脸区域的方法实现人脸的特征提取。此种方法对光照的要求较高，准确性低，实际应 用中在光照改变的情况下定位结果往往难以预料，特别是背景颜色与人体肤色接近时，几乎就不可能提取出人脸特征。详见文献：C.N.R.Kumar and A.Bindu.An efficient skin illumination compensation model for efficient face detection.IEEE 32nd Annual Conference on Industrial Electronics，2006，3444-3449。

(2)基于变换域的定位方法。基于小波变换的人脸定位方法。它是通过一定的算子，比如Sobel、Canny算子等，提取出人脸图像中的不同频率的成分，从而搜索到人脸所在的位置。其缺点是在于背景细节的干扰，使得人脸定位结果不准确。详见文献：Jarmo Ilonen，Joni-Kristian Kamarainen.“Image Feature Localization by Multiple Hypothesis Testing of Gabor Features”IEEE Transactions on image processing，Vo1.17，No.3，2008，311-325。

(3)基于统计学的特征提取方法。基于统计学的方法将人脸的形状和纹理信息用统计的方法进行建模，然后基于得到的模型对待测人脸区域进行搜索，有针对性地对目标特征进行提取，从而能获得比较准确的效果。基于统计学的方法主要包括：基于ASM的人脸特征提取方法和基于AAM的人脸特征提取方法。经典的详见电子科技大学于2009年申请的专利《一种基于ASM算法的人脸特征定位方法》，专利申请号：200910059648.5。该专利对训练样本的标准化对齐操作进行加速，虽加快了运行速度，但是当人脸面部含有表情变化情况时，定位效果不够理想。

发明内容

本发明的任务是提供一种基于改进的ASM算法的人脸特征提取方法，它具有在人脸面部包含表情变化情况下仍能进行准确地特征提取的特点。

为了方便地描述本发明内容，首先对一些术语进行定义。

定义1：轮廓特征点。是指能够表征人脸各器官形状轮廓的具有高曲率的标定点。

定义2：样本归一化。通过平移、缩放和旋转等操作，使得所有样本的重心对齐，方向和大小尽可能相近，而保持各自的现状不变。

定义3：主成分分析(PCA)。通过对样本数据进行统计分析，将数据集从高维空间压缩到低维空间，实现数据的压缩处理。

定义4：特征值分解。一般通过奇异值分解得到，m×n阶矩阵A可以写成A＝USV′的形式，其中U为m阶正交矩阵，V为n阶正交矩阵，S＝diag(σ₁，σ₂，...，σ_r)，σ_i＞0(i＝1，...，r)，r＝rank(A)。U和V中分别是A的奇异向量组，而S是A的奇异值。AA′的正交单位特征向量组成U，特征值组成S′S，AA′的正交单位特征向量 组成V，特征值组成S′S。

本发明的技术方案如下：

一种基于改进的ASM算法的人脸特征定位方法，包括模型建立过程和匹配搜索过程；其中所述模型建立过程如图1所示，包括以下步骤：

步骤1：选取人脸库中的L张图片作为训练样本集并对其进行特征点的手工标定；

对训练样本集中的每一张图片进行特征点标定，标定工作分区域进行：第一部分包括人脸外轮廓和嘴巴，共m个特征点，得到上形状向量x_u＝(x₁，y₁，L，x_m，y_m)^T，第二部分包括眼睛、眉毛和鼻子，共n个特征点，得到下形状向量x_d＝(x₁，y₁，L，x_m，y_m)^T；训练样本集中的所有的图片的上形状向量构成上形状向量集X_u＝(x_u1，x_u2，L，x_uL)，所有图片的下形状向量构成下形状向量集X_d＝(x_d1，x_d2，L，x_dL)；其中人脸外轮廓两端的标定点有一定的限制，即要求其位置大致处于两个眼睛中心的连接线上；

步骤2：对步骤1所得上、下形状向量集X_u和X_d分别进行如下标准化对齐操作：步骤2-1：将步骤1所得上、下形状向量集X_u和X_d中的上形状向量x_u和下形状向量x_d转换成m×2或n×2的矩阵形式，即转换为 $x_{\mathrm{ui}}={\left(\begin{array}{c}{x}_1,x_2,L,x_m\\ y_1,y_2,L,y_m\end{array}\right)}^T$ 或 $x_{\mathrm{di}}={\left(\begin{array}{c}{x}_1,x_2,L,x_n\\ y_1,y_2,L,y_n\end{array}\right)}^T,$ i＝1，2，L，L；

步骤2-2：在训练样本集中任选一个训练样本的上、下形状向量作为初始的平均形状 

步骤2-3：通过平移、旋转和缩放操作，将其余每一个样本形状向量x_i与平均形状 

对齐；

其中平移因子T＝G_m-G_i，而G_m为平均形状 

的重心，G_i为形状向量x_i的重心且 

旋转矩阵R的计算通过对矩阵 

进行奇异值分解的方法得到，设分解结果为 

则R＝UV^T；缩放因子S通过求迹运算得到， 

计算出每一个样本形状向量x_i相对于平均形状 

的平移向量T、旋转矩阵R和缩放因子S后，通过对其进行相应的变换即可实现对齐操作，同时得到新的训练样本形状集。

步骤2-4：计算新的平均形状 

对比新的平均形状与原有平均形状变化点的百分比，若变化点的百分比不超过阈值T(阈值T的取值范围为[5％，10％])，则执行步骤3；若变化点的百分比超过阈值T，则返回步骤2-3；

步骤3：对步骤2进行标准化对齐操作所得新的样本形状向量进行PCA操作，建立统计形状模型；

步骤3-1：计算新的样本形状向量集中所有形状向量的均值向量 

和协方差矩阵  $\mathrm{Cov}=\frac{1}{L-1}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x}){(x_i-\stackrel{\‾}{x})}^T;$

步骤3-2：对协方差矩阵Cov进行特征值分解，得到协方差矩阵Cov的特征值λ_k和特征向量P_k；特征向量要求满足 

其中1≤k≤2m或2n；将特征值按由大到小的顺序排列，然后选取前l个特征值对应的特征向量作为统计形状模型的形状特征向量，l要求满足 

权值系数α通常取0.98或0.95；

步骤3-3：得到统计形状模型 其中P为人脸形状特征矩阵P＝(P₁，P₂，L，P_l)，a为对应的形状加权系数向量a＝(a₁，a₂，L，a_l)^T；

步骤4：建立局部灰度模型；

对第i幅样本图像的第j个标定点，在其外轮廓法线两侧，以标定点为中心，均匀地各取k个像素(如图4所示)，2≤k≤7，这样就得到了该标定点处的2k+1维的灰度分布向量，表示为：g_ij＝(g₁，g₂，L，g_(2k+1))^T；为了得到其分布变化规律，对该灰度分布向量进行差分操作，得到2k维的差分向量d_ij＝(g₂-g₁，g₃-g₂，L，g_(2k+1)-g_2k)^T＝(d₁，d₂，L，d_2k)^T；进行归一化后得到： 

对所有训练样本图像对应的该标定点处进行上述操作，通过求均值向量u_j和协方差矩阵C_j，得到第j个标定点的局部灰度模型： $u_j=\frac{1}{L}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{u}_{\mathrm{ij}},$ $C_j=\frac{1}{L-1}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}(u_{\mathrm{ij}}-u_j){(u_{\mathrm{ij}}-u_j)}^T;$

所述匹配搜索过程如图2所示，具体包含以下步骤：

步骤5：对待测人脸图片进行特征点定位：

步骤5-1：利用基于Adaboost算法的人脸检测方法定位出人脸区域，设置初始形状加权系数向量a＝(0，0，L，0)^T，得到待测人脸图片的上、下形状初始模型实例；

步骤5-2：将步骤5-1所得上、下形状初始模型实例或步骤5-4匹配搜索完成的上、下两个新的形状实例进行几何上的形状综合；

步骤5-3：通过能量函数 $F={\mathrm{\ω}}_1\underset{i=1}{\overset{m}{\mathrm{\Σ}}}D(v_{\mathrm{ui}},u_{\mathrm{ui}})+{\mathrm{\ω}}_2\underset{j=1}{\overset{n}{\mathrm{\Σ}}}D(v_{\mathrm{dj}},u_{\mathrm{dj}})$ 对综合得到的形状实例与目标人脸形状的匹配度进行度量，其中 

v_ui为上形状待测灰度向量，v_dj为下形状待测灰度向量，u_ui为上形状局部灰度模型的均值向量，u_dj为下形状局部灰度模型的均值向量，D(v_ui，u_ui)为v_ui与u_ui之间的马氏距离，D(v_di，u_di)为v_dj与u_dj之间的马氏距离；若能量函数F≤0.1或达到预设的最大循环次数，则搜索结束并输出待测人脸图片特征点定位结果；若能量函数F＞0.1或没有达到预设的最大循环次数，则执行步骤5-4；

步骤5-4：对步骤5-1所得上、下形状初始形状模型实例，借助模型建立过程所建立的对应的上、下局部灰度模型独立进行特征点的匹配搜索，如图3所示，具体步骤如下：

步骤5-4-1：以当前形状实例X中的每个特征点为中心，在其外轮廓法线方向两侧各取2～7个像素点，组成待测灰度向量组v_j(如图4所示)；

步骤5-4-2：计算局部灰度模型与待测灰度向量组中各灰度向量之间的马氏距离D＝(v_j-u_j)^TC_j(v_j-u_j)，搜索得到针对每个特征点的最佳位置，记录所有特征点位置的变化信息，得到变化向量dX；

步骤5-4-3：由于当前形状实例X是由平均形状 经形状变化和姿态变化后得到的，其中形状变化是通过改变统计形状模型中的形状加权系数向量a得到标准形状x，即 姿态变化是标准形状x经过平移T、旋转θ和缩放S操作得到X＝M(S，θ)[x]+T的，其中M(S，θ)代表旋转和缩放操作，而θ为旋转因子，S为缩放因子，T为平移因子；故存在关系：X+dX＝M(S+dS，θ+dθ)[x+dx]+T+dT，推导得到标准形状x的变化dX＝M((S+dS)^-1，-(θ+dθ))[M(S，θ)[x]+dX-dT]-x；

步骤5-4-4：由统计形状模型 

得到 

近似得到dx＝Pda， 从而得到形状加权系数向量da＝P^-1dx，再次带入统计形状模型 

得到新的标准形状 $x^{\′}=\stackrel{\‾}{x}+P(a+\mathrm{da});$

步骤5-4-5：对新的标准形状进行平移T、旋转θ和缩放S操作得到新的形状实例X′＝M(S，θ)[x′]+T；返回步骤5-4-1循环计算直到局部灰度模型与待测灰度向量组中各灰度向量之间的马氏距离D的变化值小于0.01或达到预设的最大循环次数，并转步骤5-2。

需要说明的是：

1.步骤3-1中计算新形状向量集中所有形状向量的均值向量 

时默认已经将步骤2中的形状矩阵转换为向量的形式，即进行步骤2-1的逆操作。

2.步骤5-4-1中在目标图像上采集的像素点数不应过大，避免各特征点的搜索过程交叉，导致生产的模型实例畸形。

本发明通过对传统的ASM方法进行改进，将人脸面部特征按变化相关度进行划分，独立进行统计形状模型和局部灰度模型的建模。待测人脸图像的特征点提取过程中通过引入能量函数对每次迭代中生成的上、下模型实例的综合结构进行误差约束，最终得到准确的特征提取结果。本发明充分利用了ASM算法在人脸特征提取中的优势，通过对模型建立和搜索过程进行分-总式的处理，进一步提高了ASM算法对人脸面部存在表情情况下特征定位的准确性。

附图说明

图1是建立人脸统计形状模型的流程图。

图2是特征点匹配搜索的总流程图。

图3是上、下模型中特征点搜索流程图。

图4是搜索过程中待测灰度向量的选取过程示意图。

图5是灰度向量移动搜索示意图。

具体实施方式

本发明的实现过程首先基于Matlab平台进行了算法的实现和仿真。

模型建立过程中，采用imm_face_db人脸库中的40个人的包含光照变化、表情变化和姿态变化的240张图像作为样本图像进行模型的建立。特征点标定过程中上模型包含37个标定点，下模型包含23个标定点。最终得到的上模型平均形状和特征向量均为74*1维的向量，其中特征向量需要16个；得到的下模型平均形状和特征向量均为46*1维的向量，其中特征 向量需要12个。针对每个特征标定点两侧选取5个像素值，得到的局部灰度模型为10*1维的向量。

匹配搜索过程中，设置整体循环次数和上、下模型独立进行匹配的最大循环次数均为20。待测灰度向量的选取过程在特征点两侧各采集8个点，从而得到针对每个特征点的待测向量组中包含8个向量，通过移动计算待测向量与局部灰度模型之间的马氏距离得到最佳匹配点，再通过能量函数的误差约束，最终得到整个人脸的面部特征定位信息。

Claims (3)

1.一种基于改进的ASM算法的人脸特征定位方法，包括模型建立过程和匹配搜索过程；其中所述模型建立过程包括以下步骤：

步骤1：选取人脸库中的L张图片作为训练样本集并对其进行特征点的手工标定；

对训练样本集中的每一张图片进行特征点标定，标定工作分区域进行：第一部分包括人脸外轮廓和嘴巴，共m个特征点，得到上形状向量x_u＝(x₁，y₁，L，x_m，y_m)^T，第二部分包括眼睛、眉毛和鼻子，共n个特征点，得到下形状向量x_d＝(x₁，y₁，L，x_n，y_n)^T；训练样本集中的所有的图片的上形状向量构成上形状向量集X_u＝(x_u1，x_u2，L，x_uL)，所有图片的下形状向量构成下形状向量集X_d＝(x_d1，x_d2，L，x_dL)；其中人脸外轮廓两端的标定点有一定的限制，即要求其位置大致处于两个眼睛中心的连接线上；

步骤2：对步骤1所得上、下形状向量集X_u和X_d分别进行如下标准化对齐操作：

步骤2-1：将步骤1所得上、下形状向量集X_u和X_d中的上形状向量x_u和下形状向量x_d转换成m×2或n×2的矩阵形式，即转换为 $x_{\mathrm{ui}}={\left(\begin{array}{c}{x}_1,x_2,L,x_m\\ y_1,y_2,L,y_m\end{array}\right)}^T$ 或 $x_{\mathrm{di}}={\left(\begin{array}{c}{x}_1,x_2,L,x_n\\ y_1,y_2,L,y_n\end{array}\right)}^T,$ i＝1，2，L，L；

步骤2-2：在训练样本集中任选一个训练样本的上、下形状向量作为初始的平均形状

步骤2-3：通过平移、旋转和缩放操作，将其余每一个样本形状向量x_i与平均形状

对齐；其中平移因子T＝G_m-G_i，而G_m为平均形状的重心，G_i为形状向量x_i的重心且

旋转矩阵R的计算通过对矩阵

进行奇异值分解的方法得到，设分解结果为则R＝UV^T；缩放因子S通过求迹运算得到，

计算出每一个样本形状向量x_i相对于平均形状

的平移向量T、旋转矩阵R和缩放因子S后，通过对其进行相应的变换即可实现对齐操作，同时得到新的训练样本形状集。

步骤2-4：计算新的平均形状

对比新的平均形状与原有平均形状变化点的百分比，若变化点的百分比不超过阈值T，则执行步骤3；若变化点的百分比超过阈值T，则返回步骤2-3；

步骤3：对步骤2进行标准化对齐操作所得新的样本形状向量进行PCA操作，建立统计形状模型；

步骤3-1：计算新的样本形状向量集中所有形状向量的均值向量

和协方差矩阵 $\mathrm{Cov}=\frac{1}{L-1}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}(x_i-\stackrel{\‾}{x}){(x_i-\stackrel{\‾}{x})}^T;$

步骤3-2：对协方差矩阵Cov进行特征值分解，得到协方差矩阵Cov的特征值λ_k和特征向量P_k；特征向量要求满足

其中1≤k≤2m或2n；将特征值按由大到小的顺序排列，然后选取前l个特征值对应的特征向量作为统计形状模型的形状特征向量，l要求满足权值系数α通常取0.98或0.95；

步骤3-3：得到统计形状模型

其中P为人脸形状特征矩阵P＝(P₁，P₂，L，P_l)，a为对应的形状加权系数向量a＝(a₁，a₂，L，a_l)^T；

步骤4：建立局部灰度模型；

对第i幅样本图像的第j个标定点，在其外轮廓法线两侧，以标定点为中心，均匀地各取k个像素，2≤k≤7，这样就得到了该标定点处的2k+1维的灰度分布向量，表示为：g_ij＝(g₁，g₂，L，g_(2k+1))^T；为了得到其分布变化规律，对该灰度分布向量进行差分操作，得到2k维的差分向量d_ij＝(g₂-g₁，g₃-g₂，L，g_(2k+1)-g_2k)^T＝(d₁，d₂，L，d_2k)^T；进行归一化后得到：对所有训练样本图像对应的该标定点处进行上述操作，通过求均值向量u_j和协方差矩阵C_j，  得到第j个标定点的局部灰度模型： $u_j=\frac{1}{L}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{u}_{\mathrm{ij}},$ $C_j=\frac{1}{L-1}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}(u_{\mathrm{ij}}-u_j){(u_{\mathrm{ij}}-u_j)}^T;$

所述匹配搜索过程具体包含以下步骤：

步骤5：对待测人脸图片进行特征点定位：

步骤5-1：利用基于Adaboost算法的人脸检测方法定位出人脸区域，设置初始形状加权系数向量a＝(0，0，L，0)^T，得到待测人脸图片的上、下形状初始模型实例；

步骤5-2：将步骤5-1所得上、下形状初始模型实例或步骤5-4匹配搜索完成的上、下两个新的形状实例进行几何上的形状综合；

步骤5-3：通过能量函数 $F={\mathrm{\ω}}_1\underset{i=1}{\overset{m}{\mathrm{\Σ}}}D(v_{\mathrm{ui}},u_{\mathrm{ui}})+{\mathrm{\ω}}_2\underset{j=1}{\overset{n}{\mathrm{\Σ}}}D(v_{\mathrm{dj}},u_{\mathrm{dj}})$ 对综合得到的形状实例与目标人脸形状的匹配度进行度量，其中

v_ui为上形状待测灰度向量，v_dj为下形状待测灰度向量，u_ui为上形状局部灰度模型的均值向量，u_dj为下形状局部灰度模型的均值向量，D(v_ui，u_ui)为v_ui与u_ui之间的马氏距离，D(v_di，u_di)为v_dj与u_dj之间的马氏距离；若能量函数F≤0.1或达到预设的最大循环次数，则搜索结束并输出待测人脸图片特征点定位结果；若能量函数F＞0.1或没有达到预设的最大循环次数，则执行步骤5-4；

步骤5-4：对步骤5-1所得上、下形状初始形状模型实例，借助模型建立过程所建立的对应的上、下局部灰度模型独立进行特征点的匹配搜索，具体步骤如下：

步骤5-4-1：以当前形状实例X中的每个特征点为中心，在其外轮廓法线方向两侧各取2～10个像素点，组成待测灰度向量组v_j；

步骤5-4-2：计算局部灰度模型与待测灰度向量组中各灰度向量之间的马氏距离D＝(v_j-u_j)^TC_j(v_j-u_j)，搜索得到针对每个特征点的最佳位置，记录所有特征点位置的变化信息，得到变化向量dX；

步骤5-4-3：由于当前形状实例X是由平均形状

经形状变化和姿态变化后得到的，其中形状变化是通过改变统计形状模型中的形状加权系数向量a得到标准形状x，即姿态变化是标准形状x经过平移T、旋转θ和缩放S操作得到X＝M(S，θ)[x]+T的，其中M(S，θ)代表旋转和缩放操作，而θ为旋转因子，S为缩放因子，T为平移因子；故存在关系：X+dX＝M(S+dS，θ+dθ)[x+dx]+T+dT，推导得到标准形状x的变化dX＝M((S+dS)^-1，-(θ+dθ))[M(S，θ)[x]+dX-dT]-x；

步骤5-4-4：由统计形状模型

得到近似得到dx＝Pda，从而得到形状加权系数向量da＝P^-1dx，再次带入统计形状模型

得到新的标准形状 $x^{\′}=\stackrel{\‾}{x}+P(a+\mathrm{da});$

步骤5-4-5：对新的标准形状进行平移T、旋转θ和缩放S操作得到新的形状实例X′＝M(S，θ)[x′]+T；返回步骤5-4-1循环计算直到局部灰度模型与待测灰度向量组中各灰度向量之间的马氏距离D的变化值小于0.01或达到预设的最大循环次数，并转步骤5-2。

2.根据权利要求1所述的一种基于改进的ASM算法的人脸特征定位方法，其特征在于，步骤2-4中所述阈值T的取值范围为[5％，10％]。

3.根据权利要求1所述的一种基于改进的ASM算法的人脸特征定位方法，其特征在于，步骤5-3及步骤5-4-5中所述最大循环次数为20次。

Images