CN100430963C - 基于正交图像的快速个性化人脸建模方法 - Google Patents

Abstract

基于正交图像的快速个性化人脸建模方法，包括步骤：利用摄像机拍摄两幅正交人脸图像，即正面人脸图像和侧面人脸图像。对两幅图像进行归一化处理，通过对通用人脸网格模型的投影，得到和正交图像对应的两个方向的投影网格。在人脸图像和投影网格上选择对应的特征点，利用匹配算法求得二者之间的最佳匹配参数，然后对所有的投影网格进行匹配，得到匹配后的网格特征点的位置，并利用径向基函数插值算法对结果进行插值，得到精确的匹配结果。然后从两个匹配后的投影网格恢复其三维信息，得到个性化的人脸网格模型。再对该网格模型进行纹理映射，获得最终的个性化人脸模型。该模型可以用于人脸动画、人脸识别等多个领域。

Description

基于正交图像的快速个性化人脸建模方法

技术领域

本发明涉及三维数据建模技术领域，尤指一种从两幅正交人脸图像得到个性化人脸模型的方法。

背景技术

人脸建模由于它的广泛应用而引起了研究者们的关注，其中一个很重要的方向就是个性化建模，由于它的广泛应用，已经引起了人脸建模研究者越来越多的重视。

目前有很多种个性化建模的方法，从数据来源上来说，可以从三维数据中进行建模，也可以从多幅图像中进行建模，如正交图像。另外，也可以从视频中进行建模。本发明主要关注从正交图像出发进行的个性化建模过程。

从正交图像出发的个性化建模主要有两种途径，第一种是先从两幅图像中选择对应的特征点，如鼻尖、嘴角等在两幅人脸图像中都可视的特征点，然后从这些特征点恢复得到它们的三维信息。同时在通用人脸模型上标记相对应的特征点，这样就得到两组对应的三维数据集。通过特征点匹配的方法得到这两组三维数据之间的变换匹配参数，然后对通用人脸模型进行变换，得到个性化的三维人脸模型。但是这种方法的所有计算均是在三维空间进行，使得运算变得比较复杂，同时，三维空间的匹配由于人脸的非刚体性而是精确度难以得到保证。

另外一种方法是日本(NIT Human Interaction)Takaaki Akimoto等人提出的想法，即先对通用人脸模型进行正面和侧面的投影，然后选择人脸图像和投影网格上对应的特征点，然后通过对特征点的变换插值技术得到非特征点的位置坐标。再利用三维重建技术得到个性化的人脸模型，该方法直接指定人脸图像和投影网格的特征点，没有计算它们之间的匹配变换关系，同时插值算法只是针对特征点进行，导致计算结果不精确，得到的人脸模型和真人有较大的差距。

另外，微软雷蒙研究院的Liu等人则从一副正面图像出发，采用他们设计的特定的通用人脸模型进行匹配，计算二者之间的匹配参数，并把三维空间的运算降低到二维空间，简化了运算复杂度。该方法由于只采用一幅正面图像，所以得到的个性化人脸模型的角度比较单一。

发明内容

本发明基于正交图像的快速个性化人脸建模方法对前两种方法进行了改进，实现了一个快速的个性化人脸建模***。其步骤包括

利用摄像机拍摄人脸的正交图像并进行归一化处理，对通用人脸网格模型进行投影，得到正面投影网格和侧面投影网格；

选择人脸图像和投影网格的对应特征点，进行匹配，求得匹配参数；

利用匹配参数对投影网格进行匹配变换，得到变换后的投影网格，利用径向基函数的插值算法对变换后的投影网格进行插值，得到插值后的投影网格；

根据正面和侧面的投影网格结果恢复三维信息，得到个性化的网格模型；

根据正交图像，利用纹理映射技术得到个性化的三维人脸模型。

本***利用普通摄像机拍摄人脸两幅正交图像，然后根据人脸头部高度相等这一事实对两幅图像进行归一化处理，并根据特征点在人脸图像中的重要程度选择一些特征点，根据正交图像对通用人脸网格进行相应的投影得到投影后的网格，参考人脸图像中的特征点在投影网格上选择对应的特征点。根据两组特征点集计算它们之间的匹配参数。根据匹配参数对投影网格进行变换，得到个性化人脸网格，利用纹理映射技术得到个性化的人脸模型。

该***的计算比较简单，容易实现，且结果比较精确。能够直接应用到后期的人脸动画、人脸识别等各个领域。

本发明通过普通摄像机采集人脸正面图像和侧面图像，利用通用人脸模型作为先验知识，通过简单的手工交互，快速方便地得到个性化的逼真人脸模型。该方法得到的人脸模型可以广泛应用于人脸动画，可视化语音合成以及人脸识别等领域。

附图说明

图1个性化人脸建模框架示意图。

图2归一化后的摄像机拍摄的正交人脸图像。

图3通用人脸网格模型图。

图4匹配过程图。

图5匹配后的正面和侧面人脸网格模型。

图6纹理映射后的不同角度的个性化人脸模型。

具体实施方式

图1是归一化后的正交人脸图像。

首先利用普通数码摄像机拍摄两幅正交人脸图像，一张正面人脸图像，一张侧面人脸图像，两张图像之间要保证严格正交，即保证两次拍摄之间的角度为90度。

1)图像归一化和通用投影网格

对拍摄得到的照片做归一化处理，即根据相同时间内拍摄的人脸照片中的人脸高度不会发生变化这个事实进行归一化处理。

a、假设正面人脸图像中人脸的高度是FrontHeight，侧面人脸图像中人脸的高度是SideHeight。令R＝FrontHeight/SideHeight。根据R对侧面人脸图像进行伸缩变换，即可使两张正交图像的人脸图像高度保持一致。这样可以避免因为拍摄方位的不同带来的两张人脸图像之间的偏差。

b、根据正面图像和侧面图像分别对通用人脸网格模型进行投影，采用的通用人脸网格模型是IST(Institute Superior Tecnico，即葡萄牙高等技术研究中心)通用人脸模型，并在它的基础上进行了更改，定义了和汉语语言对应的可用于动画的参数，对通用人脸网格模型分别进行XY平面和YZ平面的投影，得到通用模型的两个投影网格。

对已有的通用人脸网格模型进行XY方向和YZ方向的正交投影，通用人脸网格模型有很多种选择，可以选择已有的具有良好的拓扑结构的人脸模型，如瑞士的Linkoping大学开发的Candide通用人脸模型，葡萄牙的高等技术研究中心(Institute Superior Tecnico)实验室提出的IST通用人脸模型，也可以采用三维建模软件如3Dmax，Maya，SoftImage，Polyworks等自己制作。在本实例中，我们采用的是在IST模型的基础上进行了更改，定义了和汉语语言对应的可用于动画的参数。

图2归一化后的摄像机拍摄的正交人脸图像。

图3是从不同角度观察通用人脸模型的效果。由于通用人脸模型是笛卡儿坐标下的三维空间数据结构，对其进行正交投影不会改变已有的拓扑关系，在这个前提下，假设通用人脸模型的数据结构是M(x，y，z)。对其进行XY方向的投影结果为Mf(x，y)，进行YZ方向的投影结果为Ms(y，z)。已有的数据结构在投影后仍然保持不变。得到通用模型的两个投影网格Mf，Ms。

2)求解匹配参数

a.根据人脸特征点在脸部图像中的重要程度选择脸部特征点，允许手工交互保证特征点位置的准确性，假设总共选取了n个特征点{Pif1，Pif2....Pifn}(0＜n)。具体步骤如下：

为了保证精确性，本方法采用的是手动选择特征点，当然也可以采用图像处理的方法自动选择特征点。对于正面人脸图像，考虑如下的特征点：

左眉毛；右眉毛；左侧眼睛；右侧眼睛；鼻尖；嘴部；下巴；下颚。

此外，为了匹配参数的精确，可以增加正面人脸轮廓的特征点，如额头，耳朵轮廓等。

假设对于正面人脸图像，共选择了Pif1，Pif2，Pif3....Pifk个特征点，k≥3。

对于侧面人脸图像，由于遮挡的原因，侧面人脸图像不可能和正面图像一样，所以在选取特征点上有所不同。主要选取的特征点有：

鼻尖；眼角；嘴角；额头；下颚。

另外，可以增加的特征点有，耳朵；头发轮廓等。

假设对于侧面人脸图像，共选择了Pis1，Pis2，Pis3....Pism个特征点，m≥3。

b.在投影网格上标记相同位置的特征点的信息，根据a的结果在投影网格上标记相同位置的特征点的信息，与a一样总共选取n个特征点{Pmf1，Pmf2....Pmfn}(0＜n)。具体步骤如下：

对应于人脸图像上的特征点，我们同样要在通用人脸网格的投影上选择对应的特征点，将它们作为匹配的初始点。因此，对于正面人脸投影网格，需要对应选择Pwf1，Pwf2，Pwf3....Pwfk个特征点，对于侧面人脸投影网格，需要对应选择Pws1，Pws2，Pws3....Pwsm个特征点。

c.根据初始特征点，即可求出对应的匹配参数。具体步骤如下：

对于正面人脸图像：

令s∈R为缩放系数，R是2×2的旋转矩阵，T是2×1的平移向量，则可以根据公式(1)求得s，R，T。

$\begin{array}{cc}\mathrm{Min}& E(s,R,T)=\underset{n}{\mathrm{\Σ}}(P_{\mathrm{mf}}-P_{\mathrm{if}})\end{array}----\left(1\right)$

其中，n个特征点，s，R，T和Pmf，Pif的关系如公式(2)所示

s·R·P_mf+T＝P_if                (2)

3)匹配插值运算

a、求出匹配参数s，R，T之后，即可对正面人脸投影网格进行匹配运算，即对所有的正面人脸投影网格的网格顶点按照公式2进行变换。得到变换后的投影网格模型。

b、采用径向基函数插值算法，对所有的特征点进行插值变换。得到插值后的投影网格。其中插值函数可以选择线性多项式插值函数。这样得到最终变换后的正面人脸投影网格模型。

对于侧面人脸图像，采用上述和正面人脸图像同样的方法进行变换，得到变换后的侧面人脸投影网格模型。

图4表示了进行匹配的详细过程。

4)恢复三维信息得到个性化网格模型

经过上述变换后，我们即可得到：

经由正面人脸图像变换的正面人脸投影网格模型可以得到人脸模型变换后的XY坐标信息(Xf，Yf)；经由侧面人脸图像变换的侧面人脸投影网格模型可以得到人脸模型变换后的YZ坐标信息(Ys，Zs)，则可以从中恢复得到变换后的个性化人脸模型的三维信息为：

$\left\{\begin{array}{c}X=\mathrm{Xf}\\ Y=(\mathrm{Yf}+\mathrm{Ys})/2\\ Z=\mathrm{Zs}\end{array}\right.$

据此即可以得到个性化的人脸网格模型。

图5是经过匹配后的个性化人脸网格模型。

5)纹理映射

在获得个性化的人脸网格模型之后，由于没有进行纹理映射的原因，人脸模型的真实感无法反映，因此需要进行纹理映射。

在该发明中，我们提出了一种简单的纹理映射的方案，直接使用两张正交人脸图像进行纹理映射，免除了合成纹理图像的步骤。这个方案的设想是这样的，首先，判断个性化的人脸网格模型中的每个面片的法向量和z轴之间的夹角，从直观的角度可以看见，如果夹角角度过大，则说明该面片在个性化人脸网格中的位置比较偏侧面和后面。因此，我们设定，当夹角角度大于45～60度时，选择侧面人脸图像作为纹理图像进行纹理映射。否则，采用正面人脸图像作为纹理图像进行纹理映射。这样即可得到具有真实感的个性化人脸模型。使用该方法进行纹理映射，由于不用事先合成纹理图像，不用重新计算纹理图像的纹理坐标，使得运算速度和复杂度都大大降低，而纹理映射的质量却没有得到任何降低，有效的保证了人脸模型的真实感程度。

图6是经过纹理映射后的个性化人脸模型，从中可以看到算法可以达到非常逼真的效果。

Claims (6)

1.基于正交图像的快速个性化人脸建模方法，包括步骤：

利用摄像机拍摄人脸的正交图像并进行归一化处理，对通用人脸网格模型进行投影，得到正面投影网格和侧面投影网格；

选择人脸图像和投影网格的对应特征点，进行匹配，求得匹配参数；

利用匹配参数对投影网格进行匹配变换，得到变换后的投影网格，利用径向基函数的插值算法对变换后的投影网格进行插值，得到插值后的投影网格；

根据正面和侧面的投影网格结果恢复三维信息，得到个性化的网格模型；

根据正交图像，利用纹理映射技术得到个性化的三维人脸模型。

2.按权利要求1所述的方法，其特征在于，所述的对正交图像的归一化处理方法以及投影网格方法包括步骤：

a、假设采集得到的人脸正面图像中人脸的高度是FrontHeight，侧面图像中人脸的高度是SideHeight，令R＝FrontHeight/SideHeight，因此可根据R调整缩放侧面图像，使正面图像和侧面图像中的人脸高度相同；

b、根据正面图像和侧面图像分别对通用人脸网格模型进行投影，采用的通用人脸网格模型是IST通用人脸模型，并在它的基础上进行了更改，是将汉语语言与动画的参数相对应，对通用人脸网格模型分别进行XY平面和YZ平面的投影，得到通用模型的两个投影网格。

3.按权利要求1所述的方法，其特征在于，所述的匹配参数的求解方法包括步骤：

a、根据人脸特征点在脸部图像中的重要程度选择脸部特征点，允许手工交互，即手动选择特征点以保证特征点位置的准确性，假设总共选取了n个特征点{Pif1，Pif2....Pifn}(0＜n)；

b、根据a的结果在正面和侧面投影网格上标记相同位置的特征点的信息，和a一样总共选取n个特征点{Pmf1，Pmf2....Pmfn}(0＜n)；

c、根据初始特征点，即可求出对应的匹配参数，s∈R为缩放系数，R是2×2的旋转矩阵，T是平移向量，则可以根据公式(1)求得s，R，T，

$\mathrm{MinE}(s,R,T)=\underset{n}{\mathrm{\Σ}}(P_{\mathrm{mf}}-P_{\mathrm{if}})---\left(1\right)$

其中，选取了n个特征点，s，R，T和Pmf，Pif的关系如公式(2)所示

s·R·P_mf+T＝P_if。        (2)

4.按权利要求3所述的方法，其特征在于，所述的匹配变换和插值算法方法包括步骤：

a、求出s，R，T之后，对所有的网格点施以变换，得到变换后的投影网格；

b、然后采用径向基函数插值算法，对所有的特征点进行插值变换，得到插值后的投影网格。

5.按权利要求1所述的方法，其特征在于，所述的三维信息恢复得到个性化网格模型的方法的步骤是：

从正面图像得到变换后的投影网格中得到(Xf，Yf)坐标，从侧面图像得到变换后的投影网格中得到(Ys，Zs)坐标，则人脸模型的三维信息可以表示为

$\left\{\begin{array}{c}X=\mathrm{Xf}\\ Y=(\mathrm{Yf}+\mathrm{Ys})/2\\ Z=\mathrm{Zs}\end{array}\right.$

得到个性化的人脸网格模型。

6.按权利要求1所述的方法，其特征在于，所述的纹理映射的方法的步骤是：

判断网格模型中每个面片的法向量和z轴的夹角，如果角度大于45～60度，则选择侧面图像作为纹理图像，否则选择正面图像作为纹理图像，进行纹理映射，得到逼真的个性化人脸模型。

Images