CN101499132B - 一种人脸图像中特征点提取的三维变换搜索方法 - Google Patents

Abstract

本发明公开一种人脸图像中特征点提取的三维变换搜索方法，以人脸图像定位的ASM(Active Shape Models，活动形状模型)方法为基础，将当前ASM中的二维变换的形状搜索方法改为三维变换的形状搜索方法，首先，构建标准的人脸三维模型；其次，通过标准的人脸三维模型构建ASM训练集中人脸特征点的二维统计模型(基本形状)的三维坐标；最后，对已具有三维坐标的二维统计模型进行三维变换并投影到二维平面，以此去逼近搜索后的给定人脸的特征点形状，其中搜索过程采用二步变换及迭代逼近的方法；本发明更能反映人脸姿态的真实变化，因而具有更高的搜索精度；测试结果表明：本发明方法与当前的二维变换搜索方法相比更能逼近实际特征点。

Description

一种人脸图像中特征点提取的三维变换搜索方法

技术领域

本发明属于人脸识别领域，具体涉及人脸的面部器官特征点提取的方法。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，其中面部特征点提取是进行人脸识别的基础。人脸识别作为人的身份识别方式有广泛的应用前景，目前，虽有一些商业性的人脸识别***逐渐进入市场，但是，这些技术和***离实用化都有一定距离，性能和准确率有待提高。目前，人脸特征点提取普遍采用的是ASM(ActiVe Shape Models，活动形状模型)定位方法，该方法一般包括三步：(1)通过对齐训练样本集获取一个真正的形状描述；(2)捕捉已对齐形状的统计信息；(3)在图像上搜索形状实例。该方法在一般正面人脸定位中具有较好的效果，但是对于有一定角度偏转的人脸定位则效果欠佳。通过分析和实验，我们发现，这和图像的搜索方式有关：当前ASM方法，是通过对二维的图像的基本形状进行旋转、缩放和平移操作去逼近相关形状；而人脸是一个三维的物体，上述操作显然不能完全反映人脸姿态的变化，因此，在形状搜索逼近时会存在较大的差异。

发明内容

本发明的目的在于考虑上述问题而提供一种从三维的角度去搜索人脸姿态变化的方法，使用该方法能够提高人脸ASM形状搜索的准确性，进而提高整个人脸识别***的精度和效率。

本发明的技术方案是：

一种人脸图像中特征点提取的三维变换搜索方法，首先构建人脸的标准三维模型，其次以该标准三维模型为基础获取二维人脸特征点的第三维坐标，最后以三维坐标为基础进行三维变换ASM形状搜索，即包括如下步骤：

(1)构建人脸的标准三维模型，三维模型中包括人脸特征点的三维坐标(x，y，z)(其中人脸的正面为XY平面)；

(2)以三维标准模型为基础，根据ASM训练集的人脸特征点的二维统计模型(x₁，y₁，x₂，y₂，...，x_n，y_n)，按比例确定二维统计模型中每个特征点的第三维坐标(z_i)；

(3)以包含三维坐标的基本形状分别从绕Z轴、X轴、Y轴方向旋转、缩放和平移，最后将变换的结果投影到XY平面，通过投影的结果去逼近当前搜索的形状。

所述步骤(1)人脸标准三维模型采取实际测量的方法构建，首先在训练集中选择50个以上的人脸，实际测量每个特征点的三维坐标(x₁，y₁，z₁，x₂，y₂，z₂，...，x_n，y_n，z_n)，其中第三维坐标(z轴)以颈部的中心平面作为零平面开始测量，把以上数据进行归一化处理，然后求其平均值，便得到标准人脸三维模型。

所述步骤(2)按如下方法实现：

1)建立与ASM训练集的人脸特征点的二维统计模型相对应的第三维(Z方向)坐标数组SZ＝[z₁，z₂，...，z_n]，其数据来源于标准人脸三维模型的第三维坐标，并且与ASM训练集中人脸特征点一一对应；

2)在人脸标准三维模型中选取三个特征点，并记录其二维平面坐标值(x，y)，通过这三个点来进行相应的计算。所述三个特征点是选取两只眼睛的外眼角和鼻尖共三个点(P1、P2、P3)(与图2中的点13、26、41相对应)，在标准人脸三维模型中，这三点的二维平面坐标是已知的，设坐标分别为(xc1，yc1)、(xc2，yc2)、(xc3，yc3)；ASM训练集的人脸特征点的二维统计模型中对应三点坐标也是已知的，设其坐标分别为(x1，y1)、(x2，y2)、(x3，y3)。

3)通过点P1、P2求横向缩放系数C_x，通过P1与P2的中点和P3求纵向缩放系数C_y，分别如下：

$\left\{\begin{array}{c}{C}_x=\sqrt{{(x2-x1)}^2+{(y2-y1)}^2}/(\mathrm{xc}2-\mathrm{xc}1)\\ C_y=\sqrt{{(x3-\frac{x1+x2}{2})}^2+{(y3-\frac{y1+y2}{2})}^2}/(\mathrm{yc}3-\mathrm{yc}1)\end{array}\right.$

在Z方向的缩放系数取两者的平均值，即：

C_z＝(C_x+C_y)/2

通过C_z与第三维坐标数组SZ相乘就可获得二维人脸图像的第三维坐标，即Z轴坐标。

所述步骤(3)是需要寻找三个方向的旋转角度θ_x、θ_y、θ_z，缩放参数S_x、S_y、S_z，以及三个方向的偏移量T_x、T_y、T_z，为方便计算，T_z设为0，给定人脸的初始形状向量x和目标形状向量x′，两者都是三维人脸在XY平面的投影，进行几何变换M以获得x和x′的最小距离，即最小化下式：

E(θ_x，θ_y，θ_z，S_x，S_y，S_z，T_x，T_y)＝|M(x)-x′|²            (1)

采用二步变换及迭代逼近的方法使式(1)逼近最佳参数值。

所述二步变换的第一步变换是在XY平面绕Z轴旋转和平移；具体过程如下：给定两个相似形状x和x′，寻找旋转角度θ，尺度缩放s，平移量t，对x作几何变换X＝M(s，θ)[x]+t使得x′和变换后的x距离最小：

E＝(M(s，θ)[x]+t-x′)^T(M(s，θ)[x]+t-x′)                    (2)

其中： $M(s,\mathrm{\θ})\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\left[\begin{array}{c}(s\·\cos \mathrm{\θ})x_i-(s\·\sin \mathrm{\θ})y_i\\ (s\·\sin \mathrm{\θ})x_i+(s\·\cos \mathrm{\θ})y_i\end{array}\right]$

t＝(t_x，t_y，...t_x，t_y)^T

令a＝s·cosθ，b＝s·sinθ，这样有：s²＝a²+b²，θ＝tan^-1(b/a)

那么： $M(s,\mathrm{\θ})\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\left[\begin{array}{cc}a& -b\\ b& a\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]+\left(\begin{array}{c}{t}_x\\ t_y\end{array}\right)---\left(3\right)$

其中a、b、t_x、t_y就是需要计算的四个姿态参数，通过寻找这四个参数使得(2)式中E的值最小，从而使得实际的变化与计算相符合。

所述二次变换的第二步变换是分别绕Y轴和Z轴旋转，并投影到XY平面上，实现过程如下：

设(X_z，Y_z)是经过水平旋转(绕Z轴)和移位后的坐标(z坐标不变)，它首先绕Y轴旋转θ_y角度，缩放因子为S_y，横向偏移量为T_x′，则有：

$\left\{\begin{array}{c}{X}_y=X_z*S_y*\cos {\mathrm{\θ}}_y+Z*S_y*\sin {\mathrm{\θ}}_y+T_{x^{\′}}\\ Y_y=Y_z;\\ Z_y=-X_z*S_y*\sin {\mathrm{\θ}}_y+Z*S_y*\cos {\mathrm{\θ}}_y\end{array}\right.---\left(6\right)$

再绕X轴旋转θ_x角度，同时缩放因子为S_x，纵向偏移量为T_y′，则有：

$\left\{\begin{array}{c}{X}_x=X_y;\\ Y_x=Y_y*S_x*\cos {\mathrm{\θ}}_x-Z_y*S_x*\sin {\mathrm{\θ}}_x+T_{y^{\′}};\\ Z_x=Y_y*S_x*\sin {\mathrm{\θ}}_x+Z_y*S_x*\cos {\mathrm{\θ}}_x\end{array}\right.---\left(7\right)$

联立以上两式，并向XY平面投影，可得变换后的坐标：

$\left\{\begin{array}{c}{X}_e=X_x=X_z*S_y*\cos {\mathrm{\θ}}_y+Z*S_y*\sin {\mathrm{\θ}}_y+T_{x^{\′}}\\ Y_e=Y_x=Y_z*S_x\text{*cos}{\mathrm{\θ}}_x-(-X_z*S_y*\sin {\mathrm{\θ}}_y+Z*S_y*\cos {\mathrm{\θ}}_y)*S_x\text{*sin}{\mathrm{\θ}}_x+T_{y^{\′}}\end{array}\right.---\left(8\right)$

令方程(8)中，a_y＝S_y*cosθ_y，b_y＝S_y*sinθ_y，a_x＝S_x*cosθ_x，b_x＝S_x*sinθ_x，并设变换后的实际坐标为(x′，y′)，把方程(8)代入式(1)中可得：

|X_z*a_y+Z*b_y+T_x′-x′|²+|Y_z*a_x-(-X_z*b_y+Z*a_y)*b_x+T_y′-y′|²       (9)

要使(9)式最小，对其中参数求偏导，可得：

X_z*a_y+Z*b_y+T_x′-x′＝0                                          (10)

Y_z*a_x-(-X_z*b_y+Z*a_y)*b_x+T_y′-y′＝0                              (11)

通过对式(10)进行多元线性回归分析，可以求得其中的参数值a_y、b_y、T_x′；设共有n个特征点，具体过程如下：

1)求平均值

$\stackrel{\‾}{X_z}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{X}_{\mathrm{zi}}$

$\stackrel{\‾}{Z}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{Z}_i$

$\stackrel{\‾}{x^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i^{\′}$

$2)S_{11}={\mathrm{\Σ}}_{i=1}^n{(X_{\mathrm{zi}}-\stackrel{\‾}{X_z})}^2$

$S_{22}={\mathrm{\Σ}}_{i=1}^n{(Z_i-\stackrel{\‾}{Z})}^2$

$L={\mathrm{\Σ}}_{i=1}^n{(x_i^{\′}-\stackrel{\‾}{x^{\′}})}^2$

$S_{12}=S_{21}={\mathrm{\Σ}}_{i=1}^n(X_{\mathrm{zi}}-\stackrel{\‾}{X})(Z_i-Z)$

$S_{10}={\mathrm{\Σ}}_{i=1}^n(X_{\mathrm{zi}}-\stackrel{\‾}{X_z})(x_i^{\′}-\stackrel{\‾}{x^{\′}})$

$S_{20}={\mathrm{\Σ}}_{i=1}^n(Z_i-\stackrel{\‾}{Z})(x_i^{\′}-\stackrel{\‾}{x^{\′}})$

${3)a}_y=\frac{S_{10}{S}_{22}-S_{20}{S}_{12}}{S_{11}{S}_{22}-{S_{12}}^2}$

$b_y=\frac{S_{20}{S}_{11}-S_{10}{S}_{21}}{S_{11}{S}_{22}-{S_{12}}^2}$

$T_{x^{\′}}=\stackrel{\‾}{x^{\′}}-a_y\stackrel{\‾}{X_z}-b_y\stackrel{\‾}{Z}$

把a_y、b_y、T_x′的值代入式(11)，用同样的方法可以求得a_x、b_x、T_y′；把第二部分变换用M₂表示，则：

$M_2(a_y,b_y,T_{x^{\′}},a_x,b_x,T_{y^{\′}})\left[\begin{array}{c}{X}_{\mathrm{zi}}\\ Y_{\mathrm{zi}}\end{array}\right]$ 与目标点最接近。

所述迭代逼近是指特征点在XY平面绕Z轴旋转和平移后的坐标(X_z，Y_z)的中间状态是采用多次迭代逼近的方法，

设中间状态为(X_z，Y_z)，具体步骤如下：

1)初始时令(X_z，Y_z)为最终值(x′，y′)；

2)把(X_z，Y_z)代入式(1)取代其中的x′，按照当前二维的ASM变换方法求得式(3)中四个变换参数a、b、t_x、t_y；

3)把参数a、b、t_x、t_y代入式(3)，求出中间状态(X_z，Y_z)；

4)把(X_z，Y_z)进行第二部分变换(M₂)，求出参数a_y，b_y，T_x′，a_x，b_x，T_y′。

5)以(x′，y′)为基础，计算M₂的反变换，可以得出中间状态(X′_z，Y′_z)即：

$({X^{\′}}_z,{Y^{\′}}_z)=M_{2(a_y,b_y,T_{x^{\′}},a_x,b_x,T_{y^{\′}})}^{-1}(x^{\′},y^{\′})$

把(X′_z，Y′_z)代入式(1)，按照二维ASM变换方法求得式(3)中四个变换参数a、b、t_x、t_y然后转入第(3)步，进行迭代计算，迭代10次就可以得到符合精度要求的10个参数。

本发明相对于现有技术的有益效果是：本发明ASM的三维变换搜索方法与当前的二维搜索方法相比，更加真实地反映了人脸姿态的变化，因而具有更好的特征点搜索逼近效果。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明的人脸三维搜索方法的流程图；

图2为具体测试本发明时对二维人脸图像进行特征点标定的示意图；

图3为测试给定具体人脸特征点坐标后对训练集中图像数据的相对逼近度比较图；

图4为测试给定具体人脸特征点坐标后对非训练集中图像数据的相对逼近度比较图；

图5为测试实际人脸搜索时对训练集中图像数据的相对逼近度比较图；

图6为测试实际人脸搜索时对非训练集中图像数据的相对逼近度比较。

具体实施方式

本发明的人脸三维变换搜索方法的流程图如图1所示，人的头部和面部器官在形状和位置方面都具有相似性，根据这一点，可以构造一个标准的三维人脸模型；本发明正是通过这个标准模型确定人脸面部特征点的三维坐标，然后以三维坐标为基础进行三维变换的ASM形状搜索的；由于实际搜索时是二维图像，所以最后需要投影到二维平面，三维搜索变换的过程为：

第一，构建人脸的标准三维模型(x₁，y₁，z₁，x₂，y₂，z₂，...，x_n，y_n，z_n)(其中人脸的正面为XY平面)，三维模型中的特征点应包含实际二维图像中特征点(为体现标准三维模型的适应性，可以多于实际二维图像中的特征点)。

第二，在进行人脸二维图像搜索时，以三维标准模型为基础，根据ASM训练集的人脸特征点的二维统计模型(基本形状)(x₁，y₁，x₂，y₂，...，x_n，y_n，)，按比例确定二维统计模型中每个特征点的第三维坐标(zi)。

第三，在形状搜索变换时，基本形状分别从绕Z轴、X轴、Y轴方向旋转、缩放和平移，最后将变换的结果投影到XY平面，通过投影的结果去逼近当前搜索的形状。

下面主要描述三个方面的内容，一是通过人脸的标准三维模型获取二维人脸特征点的三维坐标；二是进行三维搜索时采用二步变换和迭代的方法获取10个变换参数；三是实施效果测试。

(一)人脸特征点的二维统计模型的第三维坐标获取

一般而言，人脸面部器官不仅在二维平面的相对位置上是固定的，而且第三维(面部轮廓)的高低也是基本一致的。虽然人脸面部器官的高度可能会有一定的差别，比如：人的鼻尖有高有低，但是如果以人体颈部的中心平面(三维旋转的中心)作为第三维坐标的参照面，则这种差别就非常小了，在实际搜索逼近时不影响搜索精度。人脸的标准三维模型也以特征点构成，具体以三维坐标形式表示，即：(x₁，y₁，z₁，x₂，y₂，z₂，...，x_n，y_n，z_n)；其中应包含二维人脸中所选取的所有的特征点，图2是测试时，二维图像所选取的特征点示意图，一共选取了59个特征点。人脸特征点的二维统计模型的第三维坐标的获取方法如下：

(1)建立与ASM训练集的人脸特征点的二维统计模型相对应的第三维(Z方向)坐标数组SZ＝[z₁，z₂，...，z_n]，其数据来源于标准人脸三维模型的第三维坐标，并且与ASM训练集中人脸特征点一一对应。

(2)在标准人脸三维模型中选取三个特征点，并记录其平面坐标值。实际测试时，选取的是两只眼睛的外眼角和鼻尖三个点(P1、P2、P3)(与图2中的点13、26、41相对应)。在标准人脸三维模型中，这三点的平面二维坐标是已知的，设坐标分别为(xc1，yc1)、(xc2，yc2)、(xc3，yc3)；ASM训练集的人脸特征点的二维统计模型的对应三点坐标也是已知的，设其坐标分别为(x1，y1)、(x2，y2)、(x3，y3)。

(3)通过点P1、P2求横向缩放系数C_x，通过P1与P2的中点和P3求纵向缩放系数C_y，分别如下：

$\left\{\begin{array}{c}{C}_x=\sqrt{{(x2-x1)}^2+{(y2-y1)}^2}/(\mathrm{xc}2-\mathrm{xc}1)\\ C_y=\sqrt{{(x3-\frac{x1+x2}{2})}^2+{(y3-\frac{y1+y2}{2})}^2}/(\mathrm{yc}3-\mathrm{yc}1)\end{array}\right.$

在Z方向的缩放系数取两者的平均值，即：

C_z＝(C_x+C_y)/2

通过C_z与第三维坐标数组SZ相乘就可获得二维人脸图像的第三维坐标，即Z轴坐标。

(二)三维变换搜索

给定人脸的初始形状向量x和目标形状向量x′，两者都是三维人脸在XY平面的投影。通过第一部分的操作已经实现了初始形状向量x的三维化，三维搜索变换就是三维化的x基础上进行三维变换去搜索逼近目标形状向量x′。与当前人脸图像的ASM搜索方法相比，三维ASM搜索方法需要寻找三个方向的旋转角度θ_x、θ_y、θ_z，缩放参数S_x、S_y、S_z，以及三个方向的偏移量T_x、T_y、T_z(由于最终要投影到XY平面，为方便计算，Tz可以设为0)，进行几何变换M以获得x和x′的最小距离，即最小化下式：

E(θ_x，θ_y，θ_z，S_x，S_y，S_z，T_x，T_y)＝|M(x)-x′|²    (1)

常规的最小化的方法是对上式中左边的各个参数求偏导数，然后令其为0，最后联合求解各个方程得出各个参数值。但是由于其参数众多，且参数都与某一点的(x，y)坐标相关，上述常规方法几乎不可能求出其参数值。因此，采用了二步变换和迭代的方法去逼近最佳参数值。

1)二步变换

把整个三维变换分为两部分：第一部分是在XY平面绕Z轴旋转和平移；第二部分是分别绕Y轴和Z轴旋转，并投影到XY平面上。其中：第一部分的变换与当前的ASM搜索形状过程一致，具体过程如下：给定两个相似形状x和x′，寻找旋转角度θ，尺度缩放s，平移量t，对x作几何变换X＝M(s，θ)[x]+t使得x′和变换后的x距离最小：

E＝(M(s，θ)[x]+t-x′)^T(M(s，θ)[x]+t-x′)        (2)

其中： $M(s,\mathrm{\θ})\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\left[\begin{array}{c}(s\·\cos \mathrm{\θ})x_i-(s\·\sin \mathrm{\θ})y_i\\ (s\·\sin \mathrm{\θ})x_i+(s\·\cos \mathrm{\θ})y_i\end{array}\right]$

t＝(t_x，t_y，...t_x，t_y)^T

令a＝s·cosθ，b＝s·sinθ，这样有：s²＝a²+b²，θ＝tan^-1(b/a)

那么： $M(s,\mathrm{\θ})\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\left[\begin{array}{cc}a& -b\\ b& a\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]+\left(\begin{array}{c}{t}_x\\ t_y\end{array}\right)---\left(3\right)$

其中a、b、t_x、t_y就是需要计算的四个姿态参数，通过寻找这四个参数使得式(2)中E的值最小，从而使得实际的变化与计算相符合。计算方法与当前二维的ASM变换方法相同。设有n个特征点，计算过程如下：

(1)把式(3)代入式(2)得：

$E(a,b,t_x,t_y)=|M\left(x\right)-x^{\′|2}$

$={\mathrm{\Σ}}_{i=1}^n{({\mathrm{ax}}_i-{\mathrm{by}}_i+t_x-{x^{\′}}_i)}^2+{({\mathrm{bx}}_i+{\mathrm{ay}}_i+t_y-{y^{\′}}_i)}^2---\left(4\right)$

(2)为方便描述，定义下列和值：

$S_x=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i;$ $S_y=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{y}_i$

$S_{x^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x^{\′}}_i;$ $S_{y^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{y^{\′}}_i$

$S_{\mathrm{xx}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x_i}^2;$ $S_{\mathrm{yy}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{y_i}^2$

$S_{\mathrm{xy}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i{y}_i$

$S_{{\mathrm{xx}}^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i{x^{\′}}_i;$ $S_{{\mathrm{yy}}^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{y}_i{y^{\′}}_i$

$S_{{\mathrm{xy}}^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i{y^{\′}}_i;$ $S_{{\mathrm{yx}}^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{y}_i{x^{\′}}_i$

(3)对式(4)中每个参数求偏导数，并令方程等于0可得：

$\left\{\begin{array}{c}a(S_{\mathrm{xx}}+S_{\mathrm{yy}})+t_x{S}_x+t_y{S}_y=S_{{\mathrm{xx}}^{\′}}+S_{{\mathrm{yy}}^{\′}}\\ b(S_{\mathrm{xx}}+S_{\mathrm{yy}})+t_y{S}_x-t_x{S}_y=S_{{\mathrm{xy}}^{\′}}-S_{{\mathrm{yx}}^{\′}}\\ a{S}_x-b{S}_y+t_x=S_{x^{\′}}\\ b{S}_x+a{S}_y+t_y=S_{y^{\′}}\end{array}\right.---\left(5\right)$

(4)对上面的方程组(5)联立求解，为简化计算，将初始状态x的中心移到原点，这样S_x＝S_y＝0。那么，可以求出4个参数的值：

t_x＝S_x′；t_y＝S_y′

a＝(S_xx′+S_yy′)/(S_xx+S_yy)

b＝(S_xy′-S_yx′)/(S_xx+S_yy)

第二部分变换的实现过程如下：

设(X_z，Y_z)是经过水平旋转(绕Z轴)和移位后的坐标(z坐标不变)，它首先绕Y轴旋转θ_y角度，缩放因子为S_y，横向偏移量为T_x′，则有：

$\left\{\begin{array}{c}{X}_y=X_z*S_y*\cos {\mathrm{\θ}}_y+Z*S_y*\sin {\mathrm{\θ}}_y+T_{x^{\′}}\\ Y_y=Y_z;\\ Z_y=-X_z*S_y*\sin {\mathrm{\θ}}_y+Z*S_y*\cos {\mathrm{\θ}}_y\end{array}\right.---\left(6\right)$

再绕X轴旋转θ_x角度，同时缩放因子为S_x，纵向偏移量为T_y′，则有：

$\left\{\begin{array}{c}{X}_x=X_y;\\ Y_x=Y_y*S_x*\cos {\mathrm{\θ}}_x-Z_y*S_x*\sin {\mathrm{\θ}}_x+T_{y^{\′}};\\ Z_x=Y_y*S_x*\sin {\mathrm{\θ}}_x+Z_y*S_x*\cos {\mathrm{\θ}}_x\end{array}\right.---\left(7\right)$

联立以上两式，并向XY平面投影，可得变换后的坐标：

$\left\{\begin{array}{c}{X}_e=X_x=X_z*S_y*\cos {\mathrm{\θ}}_y+Z*S_y*\sin {\mathrm{\θ}}_y+T_{x^{\′}}\\ Y_e=Y_x=Y_z*S_x\text{*cos}{\mathrm{\θ}}_x-(-X_z*S_y*\sin {\mathrm{\θ}}_y+Z*S_y*\cos {\mathrm{\θ}}_y)*S_x\text{*sin}{\mathrm{\θ}}_x+T_{y^{\′}}\end{array}\right.---\left(8\right)$

令方程(8)中，a_y＝S_y*cosθ_y，b_y＝S_y*sinθ_y，a_x＝S_x*cosθ_x，b_x＝S_x*sinθ_x，并设变换后的实际坐标为(x′，y′)，把方程(8)代入式(1)中可得：|X_z*a_y+Z*b_y+T_x′-x′|²+|Y_z*a_x-(-X_z*b_y+Z*a_y)*b_x+T_y′-y′|²        (9)

要使(9)式最小，对其中参数求偏导，可得：

X_z*a_y+Z*b_y+T_x′-x′＝0                                       (10)

Y_z*a_x-(-X_z*b_y+Z*a_y)*b_x+T_y′-y′＝0                           (11)

通过对式(10)进行多元线性回归分析，可以求得其中的参数值a_y、b_y、T_x′。设共有n个特征点，具体过程如下：

(1)求平均值

$\stackrel{\‾}{X_z}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{X}_{\mathrm{zi}}$

$\stackrel{\‾}{Z}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{Z}_i$

$\stackrel{\‾}{x^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i^{\′}$

${\left(2\right)S}_{11}={\mathrm{\Σ}}_{i=1}^n{(X_{\mathrm{zi}}-\stackrel{\‾}{X_z})}^2$

$S_{22}={\mathrm{\Σ}}_{i=1}^n{(Z_i-\stackrel{\‾}{Z})}^2$

$L={\mathrm{\Σ}}_{i=1}^n{(x_i^{\′}-\stackrel{\‾}{x^{\′}})}^2$

$S_{12}=S_{21}={\mathrm{\Σ}}_{i=1}^n(X_{\mathrm{zi}}-\stackrel{\‾}{X})(Z_i-Z)$

$S_{10}={\mathrm{\Σ}}_{i=1}^n(X_{\mathrm{zi}}-\stackrel{\‾}{X_z})(x_i^{\′}-\stackrel{\‾}{x^{\′}})$

$S_{20}={\mathrm{\Σ}}_{i=1}^n(Z_i-\stackrel{\‾}{Z})(x_i^{\′}-\stackrel{\‾}{x^{\′}})$

$\left(3\right)a_y=\frac{S_{10}{S}_{22}-S_{20}{S}_{12}}{S_{11}{S}_{22}-{S_{12}}^2}$

$b_y=\frac{S_{20}{S}_{11}-S_{10}{S}_{21}}{S_{11}{S}_{22}-{S_{12}}^2}$

$T_{x^{\′}}=\stackrel{\‾}{x^{\′}}-a_y\stackrel{\‾}{X_z}-b_y\stackrel{\‾}{Z}$

把a_y、b_y、T_x′的值代入式(11)，用同样的方法可以求得a_x、b_x、T_y′。把第二部分变换用M₂表示，则：

$M_2(a_y,b_y,T_{x^{\′}},a_x,b_x,T_{y^{\′}})\left[\begin{array}{c}{X}_{\mathrm{zi}}\\ Y_{\mathrm{zi}}\end{array}\right]$ 与目标点最接近。

2)迭代逼近

如何求出特征点在XY平面绕Z轴旋转和平移后的坐标(X_z，Y_z)是进行第二步变换的关键，由于其中中间状态是未知的，在设计时采用多次迭代逼近的方法获取实际的中间状态，并最终得到实际的变换参数。设中间状态为(X_z，Y_z)具体步骤如下：

(1)初始时令(X_z，Y_z)为最终值(x′，y′)，

(2)把(X_z，Y_z)代入式(4)，按照当前二维的ASM变换方法求得式(4)中四个变换参数a、b、t_x、t_y。

(3)把参数a、b、t_x、t_y代入式(3)求出中间状态(X_z，Y_z)

(4)把(X_z，Y_z)进行第二部分变换(M₂)，求出参数a_y，b_y，T_x′，a_x，b_x，T_y ′。

(5)以(x′，y′)为基础，计算M₂的反变换，可以得出中间状态(X′_z，Y′_z)即：

$({X^{\′}}_z,{Y^{\′}}_z)=M_{2(a_y,b_y,T_{x^{\′}},a_x,b_x,T_{y^{\′}})}^{-1}(x^{\′},y^{\′})$

(6)把(X′_z，Y′_z)代入式(4)，按照二维ASM变换方法求得式(4)中四个变换参数a、b、t_x、t_y。然后转入第(3)步，进行循环迭代计算，一般迭代10次就可以达到精度要求。

通过上述迭代方法能够最终获取图像三维变换的10个参数，即：第一次变换(在XY平面绕Z轴旋转和平移)的4个参数和第二次变换(分别绕Y轴和Z轴旋转并投影到XY平面上)的6个参数。

(三)实施效果测试

通过对采用三维ASM方法的人脸特征点提取***进行测试，在进行非训练集数据的特征点提取方面，该方法比二维的ASM方法在准确性方面有较大提高。下面进行了两种类型的测试：一是给定了具体人脸特征点坐标，然后用两种方法去逼近，测试其逼近程度；二是给定具体人脸，也分别用两种方法按同样的搜索算法去搜索特征点，然后比较搜索结果与实际特征点之间的差别。其中每种类型的测试都包含有对训练集数据和非训练集数据的测试。结果显示，对训练集数据本方法的改进程度不明显，但非训练集数据则有较大程度的提高。由于在实际应用中，绝大多数的图像数据应是属于非训练集的，所以本方法具有较高的实用价值。

在构造测试***时，选择了100幅不同姿态的人脸图像作为训练集数据，另有30幅图像作为测试数据，其中图像分辩率为125*150，对所有图像都进行手工特征点标定，如附图2所示，每个图像选取了59个特征点。为了更为准确地比较两者效果，定义了一个相对逼近度的概念。设D1为采用本发明的三维变换搜索方法逼近时计算出的特征点与实际标定点之间的平均距离，D2为采用常规的二维变换搜索逼近时计算出的特征点与实际标定点之间的平均距离，相对逼近度RN表示为：

RN＝(D2-D1)/D1*100％

显然RN为正，则表示三维逼近效果更好，为负则表示二维逼近效果好，其数值大小则表示逼近的程度。

1.测试搜索逼近具体坐标

我们在训练集中选取了12幅图像，把其坐标直接代入分别用两种方法逼近，其结果如附图3所示，从图中可以看出，在多数情况下，两者的逼近效果一致。图4则是对非训练集中图像进行直接逼近时的相对逼近度，从中可以看出，在大多数情况下，三维逼近方法能更逼近目标值。

2.测试具体人脸的搜索

在搜索具体人脸时，从训练集中选取了15幅图像进行了搜索，其结果如图5。与预期结果基本一致，两者的差异不明显。图6是对30幅非训练集中图像进行搜索匹配后的结果，从中可以看出三维变换明显优于二维，且相对逼近效果好于对具体目标的直接逼近，这是由于在逼近过程中目标可能会多次调整。

Claims (8)

1.一种人脸图像中特征点提取的三维变换搜索方法，其特征在于，首先构建人脸的标准三维模型，其次以该标准三维模型为基础获取二维人脸特征点的第三维坐标，最后以三维坐标为基础实现三维变换活动形状模型ASM形状搜索，具体包括如下步骤：

(1)构建人脸的标准三维模型，标准三维模型中包括人脸特征点的三维坐标(x，y，z)，其中人脸的正面为XY平面；

(2)以标准三维模型为基础，根据ASM训练集的人脸特征点的二维统计模型(x₁，y₁，x₂，y₂，...，x_n，y_n，)，按比例确定二维统计模型中每个特征点的第三维坐标z_i；

(3)以包含三维坐标的基本形状分别从绕Z轴、X轴、Y轴方向旋转、缩放和平移，最后将变换的结果投影到XY平面，通过投影的结果去逼近当前搜索的形状。

2.根据权利要求1所述的人脸图像中特征点提取的三维变换搜索方法，其特征在于所述步骤(1)标准三维模型采取实际测量的方法构建，首先在训练集中任意选择50个以上的人脸，实际测量每个特征点的三维坐标(x₁，y₁，z₁，x₂，y₂，z₂，...，x_n，y_n，z_n)，其中第三维坐标z轴以颈部的中心平面作为零平面开始测量，把以上数据进行归一化处理，然后求其平均值，便得到标准三维模型。

3.根据权利要求1所述的人脸图像中特征点提取的三维变换搜索方法，其特征在于所述步骤(2)按如下方法实现：

1)建立与ASM训练集的人脸特征点的二维统计模型相对应的第三维Z方向坐标数组SZ＝[z₁，z₂，...，z_n]，其数据来源于标准人脸三维模型的第三维坐标，并且与ASM训练集中人脸特征点一一对应；

2)在人脸标准三维模型中选取三个特征点，并记录其二维平面坐标值(x，y)，通过这三个点来进行相应的计算，所述三个特征点是选取两只眼睛的外眼角和鼻尖共三个点(P1、P2、P3)，在标准三维模型中，这三点的二维平面坐标是已知的，设坐标分别为(xc1，yc1)、(xc2，yc2)、(xc3，yc3)；ASM训练集的人脸特征点的二维统计模型中对应三点坐标也是已知的，设其坐标分别为(x1，y1)、(x2，y2)、(x3，y3)；

3)通过点P1、P2求横向缩放系数C_x，通过P1与P2的中点和P3求纵向缩放系数C_y，分别如下：

$\left\{\begin{array}{c}{C}_x=\sqrt{{(x2-x1)}^2+{(y2-y1)}^2}/(\mathrm{xc}2-\mathrm{xc}1)\\ C_y=\sqrt{{(x3-\frac{x1+x2}{2})}^2+{(y3-\frac{y1+y2}{2})}^2}/(\mathrm{yc}3-\mathrm{yc}1)\end{array}\right.$

在Z方向的缩放系数取两者的平均值，即：

C_z＝(C_x+C_y)/2

通过C_z与第三维坐标数组SZ相乘就可获得二维人脸图像的第三维坐标，即Z轴坐标。

4.根据权利要求1所述的人脸图像中特征点提取的三维变换搜索方法，其特征是在于所述步骤(3)是需要寻找三个方向的旋转角度θ_x、θ_y、θ_z，缩放参数S_x、S_y、S_z，以及三个方向的偏移量T_x、T_y、T_z，为方便计算，T_z设为0；给定人脸的初始形状向量x和目标形状向量x′，两者都是三维人脸在XY平面的投影，进行三维的旋转、缩放、平移及投影变换M以获得x和x′的最小距离，即最小化下式：

E(θ_x，θ_y，θ_z，S_x，S_y，S_z，T_x，T_y)＝|M(x)-x′|²    (1)

5.根据权利要求4所述的人脸图像中特征点提取的三维变换搜索方法，其特征在于采用二步变换及迭代逼近的方法使式(1)逼近最佳参数值。

6.根据权利要求5所述的人脸图像中特征点提取的三维变换搜索方法，其特征是在于所述二步变换的第一步变换是在XY平面绕Z轴旋转、缩放和平移；具体过程如下：给定人脸的初始形状向量x和目标形状向量x′，寻找旋转角度θ，尺度缩放s，平移量t，对x作几何变换X＝M(s，θ)[x]+t使得x′和变换后的x距离最小：

E＝(M(s，θ)[x]+t-x′)^T(M(s，θ)[x]+t-x′)    (2)

其中： $M(s,\mathrm{\θ})\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\left[\begin{array}{c}(s\·\cos \mathrm{\θ})x_i-(s\·\sin \mathrm{\θ})y_i\\ (s\·\sin \mathrm{\θ})x_i+(s\·\cos \mathrm{\θ})y_i\end{array}\right]$

t＝(t_x，t_y，...t_x，t_y)^T

令a＝s·cosθ，b＝s·sinθ，这样有：s²＝a²+b²，θ＝tan^-1(b/a)

那么： $M(s,\mathrm{\θ})\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]=\left[\begin{array}{cc}a& -b\\ b& a\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]+\left(\begin{array}{c}{t}_x\\ t_y\end{array}\right)---\left(3\right)$

其中a、b、t_x、t_y就是需要计算的四个姿态参数，通过寻找这四个参数使得(2)式中E的值最小，从而使得实际的变化与计算相符合；

计算过程如下：

为了描述方便，先定义下列和值：

$S_x=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i$ $S_y=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{y}_i$

$S_{x^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i^{\′}$ $S_{y^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{y}_i^{\′}$

$S_{xx}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i^2$ $S_{\mathrm{yy}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{y}_i^2$

$S_{\mathrm{xy}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i{y}_i$

$S_{{\mathrm{xx}}^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i{x}_i^{\′}$ $S_{{\mathrm{yy}}^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{y}_i{y}_i^{\′}$

$S_{{\mathrm{xy}}^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i{y}_i^{\′}$ $S_{{\mathrm{yx}}^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{y}_i{x}_i^{\′}$

把(3)式代入(1)式可得：

$E(a,b,t_x,t_y)={\mathrm{\Σ}}_{i=1}^n{({\mathrm{ax}}_i-{\mathrm{by}}_i+t_x-x_i^{\′})}^2+{({\mathrm{bx}}_i+{\mathrm{ay}}_i+t_y-y_i^{\′})}^2$

分别对上式每一个参数求偏导数，并令其值为0可得：

a(S_xx+S_yy)+t_xS_x+t_yS_y＝S_xx′+S_yy′

b(S_xx+S_yy)+t_yS_x-t_xS_y＝S_xy′-S_yx′

aS_x-bS_y+t_x＝S_x′

bS_x+aS_y+t_y＝S_y′

为了简化计算，可以先将向量x的中心平移到原点，这样有S_x＝0，S_y＝0，对前面4个方程求解可得4个参数的值：

t_x＝S_x′    t_y＝S_y′

$a=\frac{S_{{\mathrm{xx}}^{\′}}+S_{{\mathrm{yy}}^{\′}}}{S_{\mathrm{xx}}+S_{\mathrm{yy}}}$ $b=\frac{S_{{\mathrm{xy}}^{\′}}+S_{{\mathrm{yx}}^{\′}}}{S_{\mathrm{xx}}+S_{\mathrm{yy}}}$

7.根据权利要求5所述的人脸图像中特征点提取的三维变换搜索方法，其特征是在于所述二次变换的第二步变换是分别绕Y轴和Z轴旋转，并投影到XY平面上，实现过程如下：

设(X_z，Y_z，Z)是经过水平绕Z轴旋转和移位后的坐标，Z坐标不变；它首先绕Y轴旋转θ_y角度，缩放因子为S_y，横向偏移量为T_x′，则有：

$\left\{\begin{array}{c}{X}_y=X_z*S_y*\cos {\mathrm{\θ}}_y+Z*S_y*\sin {\mathrm{\θ}}_y+T_{x^{\′}}\\ Y_y=Y_z;\\ Z_y=-X_z*S_y*\sin {\mathrm{\θ}}_y+Z*S_y*\cos {\mathrm{\θ}}_y\end{array}\right.---\left(6\right)$

其中：(X_y，Y_y，Z_y)表示点(X_z，Y_z，Z)绕Y轴旋转、缩放和横向偏移后的坐标；

再绕X轴旋转θ_x角度，同时缩放因子为S_x，纵向偏移量为T_y′，则有：

$\left\{\begin{array}{c}{X}_x=X_{y;}\\ Y_x=Y_y*S_x*\cos {\mathrm{\θ}}_x-Z_y*S_x*\sin {\mathrm{\θ}}_x+T_{y^{\′}};\\ Z_x=Y_y*S_x*\sin {\mathrm{\θ}}_x+Z_y*S_x*\cos {\mathrm{\θ}}_x\end{array}\right.---\left(7\right)$

其中：(X_x，Y_x，Z_x)表示点(X_y，Y_y，Z_y)绕X轴旋转、缩放和纵向偏移后的坐标；

联立以上两式，并向XY平面投影，可得变换后的坐标：

$\left\{\begin{array}{c}{X}_e=X_x=X_z*S_y*\cos {\mathrm{\θ}}_y+Z*S_y*\sin {\mathrm{\θ}}_y+T_{x^{\′}}\\ Y_e=Y_x=Y_z*S_x*\cos {\mathrm{\θ}}_x-(-X_z*S_y*\sin {\mathrm{\θ}}_y+Z*S_y*\cos {\mathrm{\θ}}_y)*S_x*\sin {\mathrm{\θ}}_x+T_{y^{\′}}\end{array}\right.---\left(8\right)$

令方程(8)中，a_y＝S_y*cosθ_y，b_y＝S_y*sinθ_y，a_x＝S_x*cosθ_x，b_x＝S_x*sinθ_x，并设变换后的实际坐标为(x′，y′)，把方程(8)代入式(1)中可得：

|X_z*a_y+Z*b_y+T_x′-x′|²+|Y_z*a_x-(-X_z*b_y+Z*a_y)*b_x+T_y′-y′|²    (9)

要使(9)式最小，对其中参数求偏导，可得：

X_z*a_y+Z*b_y+T_x′-x′＝0                    (10)

Y_z*a_x-(-X_z*b_y+Z*a_y)*b_x+T_y′-y′＝0        (11)

通过对式(10)进行多元线性回归分析，可以求得其中的参数值a_y、b_y、T_x′；设共有n个特征点，则式(10)中X_z可表示为(X_z1，X_z2，…，X_zn)，Z表示为(Z₁，Z₂，…，Z_n)，x′表示为(x′₁，x′₂，…，x′_n)，具体过程如下：

1)求平均值

$\stackrel{\‾}{X_z}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{X}_{\mathrm{zi}}$

$\stackrel{\‾}{Z}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{Z}_i$

$\stackrel{\‾}{x^{\′}}=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{x}_i^{\′}$

2)求出

的值，并计算其1到n的和值作为下一步计算的中间值，分别用S₁₁、S₂₂、L、S₁₂、S₁₀、S₂₀表示

$S_{11}={\mathrm{\Σ}}_{i=1}^n{(X_{\mathrm{zi}}-\stackrel{\‾}{X_z})}^2$

$S_{22}={\mathrm{\Σ}}_{i=1}^n{(Z_i-\stackrel{\‾}{Z})}^2$

$L={\mathrm{\Σ}}_{i=1}^n{(x_i^{\′}-\stackrel{\‾}{x^{\′}})}^2$

$S_{12}=S_{21}={\mathrm{\Σ}}_{i=1}^n(X_{\mathrm{zi}}-\stackrel{\‾}{X})(Z_i-Z)$

$S_{10}={\mathrm{\Σ}}_{i=1}^n(X_{\mathrm{zi}}-\stackrel{\‾}{X_z})(x_i^{\′}-\stackrel{\‾}{x^{\′}})$

$S_{20}={\mathrm{\Σ}}_{i=1}^n(Z_i-\stackrel{\‾}{Z})(x_i^{\′}-\stackrel{\‾}{x^{\′}})$

3)求三个参数a_y、b_y、T_x′的值

$a_y=\frac{S_{10}{S}_{22}-S_{20}{S}_{12}}{S_{11}{S}_{22}-{S_{12}}^2}$

$b_y=\frac{S_{20}{S}_{11}-S_{10}{S}_{21}}{S_{11}{S}_{22}-{S_{12}}^2}$

$T_{x^{\′}}=\stackrel{\‾}{x^{\′}}-a_y\stackrel{\‾}{X_z}-b_y\stackrel{\‾}{Z}$

把a_y、b_y、T_x′的值代入式(11)，用同样的方法可以求得a_x、b_x、T_y′；把第二步变换用M₂表示，则：

$M_2(a_y,b_y,T_{x^{\′}},a_x,b_x,T_{y^{\′}})\left[\begin{array}{c}{X}_{\mathrm{zi}}\\ Y_{\mathrm{zi}}\end{array}\right]$ 与目标点最接近。

8.根据权利要求5所述的人脸图像中特征点提取的三维变换搜索方法，其特征是在于所述迭代逼近是指特征点在XY平面绕Z轴旋转和平移后的坐标(X_z，Y_z)的中间状态是采用多次迭代逼近的方法，

设中间状态为(X_z，Y_z)，具体步骤如下：

1)初始时令(X_z，Y_z)为最终值(x′，y′)；

2)把(X_z，Y_z)代入式(1)取代其中的x′，按照当前二维的ASM方法求得式(3)中四个变换参数a、b、t_x、t_y；

3)把参数a、b、t_x、t_y代入式(3)求出中间状态(X_z，Y_z)；

4)把(X_z，Y_z)进行第二步变换M₂，求出参数a_y，b_y，T_x′，a_x，b_x，T_y′；

5)以(x′，y′)为基础，计算M₂的反变换，可以得出中间状态(X′_z，Y′_z)即：

$({X^{\′}}_z,{Y^{\′}}_z)=M_{2(a_y,b_y,T_{x^{\′}},a_x,b_x,T_{y^{\′}})}^{-1}(x^{\′},y^{\′})$

6)把(X′_z，Y′_z)代入式(1)，按照二维ASM变换方法求得式(3)中四个变换参数a、b、t_x、t_y然后转入第(3)步，进行迭代计算，迭代10次就可以得到符合精度要求的10个参数，即第一次变换的4个参数a、b、t_x、t_y，和第二次变换的6个参数a_y，b_y，T_x′，a_x，b_x，T_y′。

Images