CN102592309B - 一种非线性三维人脸的建模方法 - Google Patents

Abstract

一种重建效果更好的非线性三维人脸的建模方法，包括非线性三维人脸的建模方法，包括(1)从已有人脸数据库中分别选取三维样本和二维样本，作为训练样本集，并对这些样本实施规格化操作；在训练阶段，将二维、三维训练样本集按照身份信息进行配对，使得这两组样本集中的样本按照身份信息相互对应；(2)以这两组对应样本集为基础训练各自的投影矩阵，使得不同维度的样本投影后具有最大的相关性；(3)在重建阶段，对于输入的二维人脸图像，对其进行规格化处理，在二维训练样本集的子空间进行投影，根据相关性距离选取与其相关度高的三维样本，基于这些选定的三维样本构建三维人脸形变模型，并将其与输入图像进行匹配来实现三维人脸样本重建。

Description

一种非线性三维人脸的建模方法

技术领域

本发明属于图像处理的技术领域，具体地涉及一种非线性三维人脸的建模方法。

背景技术

三维人脸重建是根据输入二维人脸图像重建其三维人脸数据的工作。由于三维人脸模型在计算机游戏、人机交互等领域有着广阔的应用前景，因此三维人脸重建已经成为是计算机图形学、计算机视觉最活跃的研究热点。自从Parke于1972年首次使用计算机方法表示人脸，人脸建模就得到了广泛的关注。经过30多年的发展，三维人脸建模方法有了长足的进步。Vetter等人1999年提出了基于形变模型的人脸建模方法，该方法第一次实验了人脸建模的完全自动化，并且可以由一幅人脸图像重建特定人的三维人脸模型。由于该模型是建立在像素级对应的三维原型人脸数据上，且模型中考虑了人脸姿态、光照等因素，因此该模型可以生成高度真实感的三维人脸。形变模型的基础是线性组合的思想，即一类对象可以用该类对象基向量的线性组合来表示。基于形变模型的建模方法是通过调节模型的组合参数实现形变模型与输入图像之间的匹配。而人脸是嵌套在高维空间当中的非线性流形。基于线性理论的重建算法必定会忽略人脸结构的细节，难以达到较好的重建效果。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种重建效果更好的非线性三维人脸的建模方法。

本发明的技术解决方案是：这种非线性三维人脸的建模方法，包括以下步骤：(1)从已有的人脸数据库中分别选取三维样本和二维样本，作为训练样本集，并对这些样本实施规格化操作；在训练阶段，将二维训练样本集与三维训练样本集按照身份信息进行配对，使得这两组样本集中的样本按照身份信息相互对应；(2)以这两组对应样本集为基础训练各自的投影矩阵，使得不同维度的样本投影后具有最大的相关性；(3)在重建阶段，对于输入的二维人脸图像，首先对其进行规格化处理，然后在二维训练样本集的子空间进行投影，根据相关性距离选取与其相关度高的三维样本，基于这些选定的三维样本构建三维人脸形变模型，并将其与输入图像进行匹配来实现三维人脸样本重建。

由于本方法基于典型相关性分析和形变模型，所以重建效果更好。

具体实施方式

这种非线性三维人脸的建模方法，包括以下步骤：(1)从已有的人脸数据库中分别选取三维样本和二维样本，作为训练样本集；在训练阶段，将二维训练样本集与三维训练样本集按照身份信息进行配对，使得这两组样本集中的样本按照身份信息相互对应；(2)以这两组对应样本集为基础训练各自的投影矩阵，使得不同维度的样本投影后具有最大的相关性；(3)在重建阶段，首先将二维训练样本集的二维样本进行规格化处理(将其按照双眼间的距离进行尺度对齐，按照鼻尖点的位置进行位移对齐，并规格化为192*192大小的样本)；对于输入的二维人脸图像，首先将其进行规格化处理，然后在规格化的二维训练样本集的子空间进行投影，根据相关性距离选取与其相关度高的三维样本，基于这些选定的三维样本构建三维人脸形变模型，并将其与输入图像进行匹配来实现三维人脸样本重建。

优选地，步骤(1)包括以下分步骤：(1.1)从已有的人脸数据库中选取三维样本集和二维样本集；(1.2)三维样本集和二维样本集按照身份信息对应；(1.3)对三维样本和二维样本进行规格化。

更进一步地，所述步骤(1.3)包括：对三维样本规格化：使用交互的方式获取三维样本瞳孔之间的位置，计算所有三维样本的瞳孔间的距离，以这些距离的平均值为标准对所有三维样本进行尺度变化，以眉心点为标准对所有三维样本进行平移对齐；对二维样本规格化：使用交互的方式获取二维样本瞳孔之间的位置，计算所有二维样本的瞳孔间的距离，以这些距离的平均值为标准对所有二维样本进行尺度变化，以眉心点为标准对所有二维样本进行平移对齐。

优选地，步骤(2)包括以下分步骤：

(2.1)计算二维样本与三维样本的均值向量；

(2.2)将所有样本减去各自对应的均值向量；

(2.3)以相关性公式为目标函数，对其求最大值优化，在目标函数最大化时求出二维样本和三维样本对应的特征向量，其中相关性公式为：

$\mathrm{\ρ}=\frac{E\left[W_x^T{\mathrm{XY}}^T{M}_y\right]}{\sqrt{E\left[W_x^T{\mathrm{XY}}^T{W}_x\right]E\left[W_y^T{\mathrm{XY}}^T{W}_y\right]}},$ 其中X代表二维样本集，Y代表三维样本集，X的投影基向量是W_x，Y的投影基向量是W_y；

(2.4)基于二者的公共维度构建各自的投影子空间，在优化目标的约束下使得投影后的向量具有最大的相关性。

在训练过程中，首先将这两组样本按照身份信息一一对应起来，这样就形成了一个耦合的训练集。在重建阶段与输入图像最相关的三维人脸样本集可以被计算出来，根据学习到的2D-3D的映射关系。令X代表二维样本，Y代表三维样本。

典型相关分析是研究两组变量之间相关关系一种统计方法，它所解决的问题是如何寻找两组对应的基向量，使得这些变量在对应基向量上的投影之间的相关性被同时最大化。本文使用该方法来建立二维图像与三维样本之间的关系，根据该公式我们可以获得二维样本与三维样本之间的近邻关系。令(X，Y)是两个对应的变量集合。其中X代表二维样本集，Y代表三维样本集。假设X的投影基向量是W_x，Y的投影基向量是W_y。X和Y在基向量W_x和W_y上的线性投影为

和

根据相关性系数的定义，我们可以得知要

和的相关性由下式计算：

$\mathrm{\ρ}=\frac{E\left[W_x^T{\mathrm{XY}}^T{M}_y\right]}{\sqrt{E\left[W_x^T{\mathrm{XY}}^T{W}_x\right]E\left[W_y^T{\mathrm{XY}}^T{W}_y\right]}}$

即：

$\mathrm{\ρ}=\frac{W_x^{T}E\left[{\mathrm{XY}}^T\right]W_y}{\sqrt{W_x^{T}E\left[{\mathrm{XY}}^T\right]W_x{W}_y^{T}E\left[{\mathrm{XY}}^T\right]W_y}}$

根据协方差公式的定义C_xx＝E[XX^T]，C_yy＝E[YY^T]，C_xy＝E[XY^T]，上式可以改写为

$\mathrm{\ρ}=\frac{w_x^T{C}_{\mathrm{xy}}{w}_y}{\sqrt{w_x^T{C}_{\mathrm{xx}}{w}_x{w}_y^T{C}_{\mathrm{yy}}{w}_y}}$

W_x和W_y的求解可以通过最大化上式得出，也就是通过求解下面的特征值问题获得。

$C_{\mathrm{xx}}^{-1}{C}_{\mathrm{xy}}{C}_{\mathrm{yy}}^{-1}{C}_{\mathrm{yx}}{W}_x={\mathrm{\ρ}}^2{W}_x$

$C_{\mathrm{yy}}^{-1}{C}_{\mathrm{yx}}{C}_{\mathrm{yy}}^{-1}{C}_{\mathrm{xy}}{W}_y={\mathrm{\ρ}}^2{W}_y$

在训练指中，首先将原始样本减去均值。

当计算与输入图像X_in最相近的三维样本时，我们计算与相关性最大的三维样本Y_C，样本计算公式为

$c=\frac{x\·y}{\left|\right|x\left|\right|\left|\right|y\left|\right|}$

被选定的三维样本与输入二维样本的相关性应大于某一阈值，该阈值通过三西格玛准则确定。

优选地，步骤(3)包括以下分步骤：

(3.1)输入二维人脸图像；

(3.2)规格化该人脸图像；

(3.3)在二维样本的子空间进行投影；

(3.4)计算步骤(3.3)的投影与三维样本投影向量的相关性；

(3.5)根据所有距离的方差确定所选三维样本的范围；

(3.6)基于所选三维样本构建形变模型；

(3.7)将构建的形变模型与输入图像进行匹配；

(3.8)使用粒子群算法进行模型优化，实现三维人脸样本重建。

输入图像的对齐：

使用手工标定的方法标记的瞳孔位置，计算瞳孔之间的距离，然后根据瞳孔距离对输入图像进行规格化处理，然后按照眉心位置进行平移对齐。

三维样本选择：

样本选择的目的是选出与输入图像相关性高的样本作为输入图像的表示空间。我们使用适应度度量二维样本与三维样本投影后的距离。

基于选定的三维人脸样本构建这些样本的子空间，使用PCA(主成分分析，Principal Component Analysis)方法计算该空间的基向量。选择满足要求的基向量作为该局部子空间的表示模型。选择表示前n个基向量的和与所有基向量和的比大于99％

三维人脸重建：就是使用该子空间的基向量对输入图像进行重构的过程。对于给定的人脸图像要进行三维建模，就是要调节基向量的组合参数，使重构后的三维人脸在相同视点的投影图像与输入人脸图像的误差最小。如果使用图像对应像素点的灰度差的平方和作为两图像的误差，则要求得模型组合参数使得下式最小：

E_I＝∑_x，y||I_input(x，y)-I_model(x，y)||²

其中I_input是给定人脸图像，I_model是三维模型人脸在某视点观察得到的人脸图像。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (4)

1.一种非线性三维人脸的建模方法，其特征在于，包括以下步骤：

（1）从已有的人脸数据库中分别选取三维样本和二维样本，作为训练样本集，并对这些样本实施规格化操作；在训练阶段，将二维训练样本集与三维训练样本集按照身份信息进行配对，使得这两组样本集中的样本按照身份信息相互对应；

（2）以这两组对应样本集为基础训练各自的投影矩阵，使得不同维度的样本投影后具有最大的相关性；

步骤（2）包括以下分步骤：

（2.1）计算二维样本与三维样本的均值向量；

（2.2）将所有样本减去各自对应的均值向量；

（2.3）以相关性公式为目标函数，对其求最大值优化，在目标函数最大化时求出二维样本和三维样本对应的特征向量，其中相关性公式为：

其中X代表二维样本集，Y代表三维样本集，X的投影基向量是W_x，Y的投影基向量是W_y；

（2.4）在优化目标的约束下使得投影后的向量具有最大的相关性；

（3）在重建阶段，对于输入的二维人脸图像，首先对其进行规格化处理，然后在二维训练样本集的子空间进行投影，根据相关性距离选取与其相关度高的三维样本，基于这些选定的三维样本构建三维人脸形变模型，并将其与输入图像进行匹配来实现三维人脸样本重建。

2.根据权利要求1所述的方法，其特征在于，步骤（1）包括以下分步骤：

（1.1）从已有的人脸数据库中选取三维样本集和二维样本集；

（1.2）三维样本集和二维样本集按照身份信息对应；

（1.3）对三维样本和二维样本进行规格化操作。

3.根据权利要求2所述的方法，其特征在于，所述步骤（1.3）包括：对三维样本规格化：使用交互的方式获取三维样本瞳孔之间的位置，计算所有三维样本的瞳孔间的距离，以这些距离的平均值为标准对所有三维样本进行尺度对齐，以眉心点为标准对所有三维样本进行平移对齐；对二维样本规格化：使用交互的方式获取二维样本瞳孔之间的位置，计算所有二维样本的瞳孔间的距离，以这些距离的平均值为标准对所有二维样本进行尺度对齐，以眉心点为标准对所有二维样本进行平移对齐。

4.根据权利要求3所述的方法，其特征在于，步骤（3）包括以下分步骤：

（3.1）输入二维人脸图像；

（3.2）规格化该人脸图像；

（3.3）在二维样本的子空间进行投影；

（3.4）计算步骤（3.3）的投影与三维样本投影向量的相关性；

（3.5）根据所有距离的方差确定所选三维样本的范围；

（3.6）基于所选三维样本构建形变模型；

（3.7）将构建的形变模型与输入图像进行匹配；

（3.8）使用粒子群算法进行模型优化，实现三维人脸样本重建。