CN101916454B - 基于网格变形和连续优化的高分辨率人脸重建方法 - Google Patents

Abstract

本发明为一种从几幅不同角度的人脸照片重建高分辨率三维人脸模型的方法，从两幅较正面的人脸图像出发，基于(包含特征点的)角点检测的立体匹配，应用基于“束调整”的从运动重建结构技术求解相机的内外参数及角点的三维坐标，对相邻角度人脸图像重复这一过程，得到所有人脸图像对应的相机参数；基于特征点对人脸图像进行分割，并根据三维特征点将人脸模板配准到实际人脸位置；通过多次求解包含保持人脸模型细节和图像一致性的非线性能量优化问题，对人脸模板进行网格变形，得到重建的高分辨率三维人脸模型；最后通过生成每幅图像对应的纹理图、权值图及全局纹理图，对重建的三维人脸模型进行纹理映射生成真实感人脸。

Description

基于网格变形和连续优化的高分辨率人脸重建方法

技术领域

本发明涉及一种人脸建模的方法，具体地说是一种基于网格变形和连续优化的从图像重建高分辨率人脸模型的方法，属于计算机图像和计算机视觉的技术领域。 

背景技术

人脸重建是三维重建的一个特殊问题，在影视娱乐、游戏等领域有着广泛重要的应用，一直受到计算机图形学、计算机视觉、计算机辅助设计等研究人员的重视。典型的人脸建模方法主要有：基于CAD软件的手工人脸建模，该方法需要熟练的设计人员较长时间的设计过程；基于昂贵的深度扫描仪或立体摄像机设备获取的密集点云重建三维人脸，该方法成本高；基于廉价的视频或相片的人脸重建，该方法需要人脸数据库并通过基于插值的参数化人脸的优化求解进行人脸重建，但成本低、易于使用。 

从低成本的相片或视频重建人脸的技术中，主要采用基于形状插值的方法。Pighin等【Pighin F，Hecker J，Lischinski D，et al.Synthesizing realistic facial expressions from photographs[C].ACM SIGGRAPH，1998：75-84】基于用户交互的方法在多幅图像中标记出足够多的特征点，并用立体视觉恢复出这些特征点的三维坐标和相机拍摄参数，然后用基于径向基函数插值的方法对一个低分辨率模型进行插值变形，最后用纹理映射方法生成具有真实感的人。所述方法自动化程度低，且得到的是低质量低分辨率的人脸模型。微软研究院的Zhang等【Zhengyou Zhang，Zicheng Liu，DennisAdler，et al.Robust and Rapid Generation of Animated Faces from Video Images：A Model-BasedModeling Approach[J].International Journal of Computer Vision，2004，58(2)，：93-119.】通过动画师设计许多人脸模型，并建立类似PCA的线性组合参数化人脸模型，然后基于从立体视觉恢复的特征点插值重建三维人脸或基于弱正交投影过程从一幅图像进行人脸重建。所述方法虽然可以自动生成人脸，但需要动画师费时建立参数化人脸，成本过高，同样该方法只能产生低质量低分辨率的人脸模型。Blanz等【Blanz V，Vetter T.A morphable model for the synthesis of 3D faces[C].ACM SIGGRAPH，，1999：187-194.】的形变模型(morphable model)方法通过对大量人脸数据库进行PCA学习建立包含形状和纹理的参数化纹理模型，并将该模型投影到一幅正面图像，通过求解投影图像和照片图像的颜色匹配优化过程重建出真实感人脸。所述方法需要费时地建立大量配准的人脸数据库，对于数据库中没有的人脸形状或纹理，难以产生较好质量的人脸模型和纹理。其他人脸重建方法中包括从正侧面图像及轮廓重建人脸的方法，所述方法得到的多是质量更低的低分辨率人脸模型，且需要更多繁琐的用户交互操作。 

现有基于图像或视频重建人脸算法存在诸多缺点如：需要手工指定很多对应点、需要一个大量三维人脸数据库、重建的人脸分辨率低、自动化程度低等缺点。 

发明内容

本发明的目的是克服现有技术中存在的不足，提供基于网格变形和连续优化技术的高分辨率人脸重建方法，其自动化程度高、得到的人脸模型分辨率高、操作简单、建模速度快。 

本方法针对现有方法的不足(低分辨率低质量模型、需要大量人脸数据库、自动化程度低等)，提出一种基于微分网格变形技术和图像连续优化技术的技术框架从几幅人脸图像中自动生成高分辨高质量真实感人脸模型的方法。不同于现有基于图像重建人脸方法，本方法不需要数据库，不需要用户标定大量特征点或轮廓点，仅需要一个高分辨的中性表情人脸三维模型作为变形模板。 

所述中性表情是指人的非喜怒哀乐的自然表情：嘴微张、眼自然睁开且不斜视。 

所述三维高分辨率人脸模型是指三维人脸网格具有足够多的三角形和顶点。高分辨率人脸模型可以从网上搜索得到，也可以对一个脸型比较中正、胖瘦适中的模特通过三维扫描仪获取数据点，然后利用曲面重建软件进行人脸重建，也可以通过对人脸数据库进行主元分析法获取中性人脸的方法获得；还可以借助人脸建模软件，如FaceGen制作三维人脸模板。对于制作的三维人脸模型可通过数字几何处理软件进行处理，以提高模型的质量，如三维人脸模型上的网格比较均匀等。该高分辨率人脸模型被用于进行变形以拟合输入图像得到最终的重建人脸三维模型，因此，也称该高分辨率人脸模型为人脸模板。 

算法按照如下步骤进行人脸的自动重建： 

1.利用摄像机对中性表情人脸进行拍摄，得到至少两张不同拍摄角度的人脸图像；并在一幅正面的人脸图像中指定眼角、嘴角、鼻尖五个特征点； 

2.对输入的每幅图像进行角点检测，建立相邻图像的角点对应关系，去除错误的角点对应关系； 

3.应用基于“束调整”的运动重建技术求得五个特征点的三维坐标、图像之间对应角点所对应的三维点坐标以及每幅图像对应的相机内外部参数； 

4.对输入的每幅图像进行人脸分割； 

5.将人脸模板刚性配准到三维特征点。 

6.基于非线性连续优化技术对模板网格模型进行迭代的光滑的网格变形，使得变形后的模板的投影与每幅图像尽可能一致。 

7.根据重建三维人脸模型建立一个柱面参数化网格，根据柱面网格，计算每幅图像的相机参数对应的纹理图像和权重图，并组合一个全局纹理图。绘制时可根据全局纹理图进行视点独立的纹理映射或基于每幅图像的纹理图及权重图以及全局纹理图进行视点依赖的纹理映射。 

步骤1所述的从不同角度拍摄人脸图像，其拍摄的相邻图像的角度在10～40°之间。其中至少有2幅图像的眼角、嘴角、鼻尖五个特征点可见。 

步骤2所述图像角点检测是指用图像角点检测算法检测图像中某些特征不同于周围像素点的那些图像像素点，可用OpenCV图像处理库的角点检测函数进行检测；根据不同图像的两个像素点之间的“规范化关联”对相邻图像之间的角点建立对应关系，用随机采样调查法(Random Sample Consensus，RANSAC)计算极几何约束关系并筛选掉那些错误的角点对应关系，其具体过程是：随机选取最小量的对应点拟合表示极几何约束关系的基础矩阵，再用基础矩阵拟合其余的对应点，根据不同随机选取确定的基础矩阵对这些对应点的拟合程度选取最佳的基础矩阵，并根据该基础矩阵筛选掉错误的角点对应关系。 

步骤3所述的基于“束调整”的运动重建技术是指在已知图像之间对应点关系的情况下，通过非线性最小二乘优化技术求解相机运动参数和这些二维图像点对应的三维点坐标的方法。其具体过程是：根据相邻两个图像的角点对应关系，求得它们之间的基础矩阵；按照Liu等的方法以五个特征点建立世界坐标系，根据包含五个特征点的两个相邻图像及其基础矩阵通过非线性最小二乘优化技术求得这五个特征点的三维坐标、相机的内部参数和两个图像对应的相机外部参数；从这两幅图像出发，基于相机内在参数、三维角点坐标及相邻图像的角点对应关系，进一步用“束调整”运动恢复技术求解其余的相机外部参数(旋转和平移)及其他未知三维角点坐标，直到求得所有图像对应的相机外部参数。 

步骤4所述的人脸分割是指将人脸从背景图像分离出来，将背景颜色换成白色和黑色，使相邻图像的背景颜色是一黑一白。其方法是根据五个特征点构造一个足够大的圆柱体或椭球体包含用步骤3恢复的三维点，将圆柱体或椭球体向各个观察方向投影，根据在人脸图像所在的投影平面上投影对这 些人脸图像进行分割，将背景设置成黑色或白色，只要保持相邻图像的背景是不同颜色即可。 

步骤5所述的将人脸模板刚性配准到三维特征点，是指将人脸模板的五个特征点(眼角、嘴角、鼻尖)与通过步骤3获得的真实人脸的五个特征点通过刚性变换，使得它们尽可能一致，即对应点之间的距离尽可能小。 

步骤6所述的“网格变形”是指对构成网格模型的每个顶点进行仿形变换以达到改变模型形状的目的，所谓的“光滑变形”是指在变形过程中要尽可能使相邻的顶点之间的仿形变换一致，以防止出现过度扭曲的变形，所述的“使得变形后的模板的投影与每幅图像尽可能一致”是指将变形后的模板模型投影到每幅图像所在的投影平面时，模型上相同的点在不同图像上的投影点应具有尽可能一致的颜色，由于拍摄角度和噪声等影响，这种一致性是通过求解一个包含光滑变形能量和图像一致性能量的能量优化问题实现的，求解过程是通过Levenberg-Marquardt(勒文博格-马奎特)迭代优化技术经过多次迭代求解得到最终的变形结果。所谓的“非线性连续优化技术”是指上述能量表示的是关于未知的变形顶点的连续函数，该能量的最小优化问题归结为关于该能量函数的微分表示的非线性方程组的求解，而求解过程是通过迭代优化技术完成的。 

步骤7所述的“建立一个柱面参数化网格”，是指确定一个包围人脸的柱面包围盒，并按横向、纵向分割该柱面，得到一个纵横交错的柱面网格，并确定网格点的柱面参数坐标 

其中h坐标表示从重建的高分辨率人脸模板的最顶部到该网格点的高度，对应于垂直于柱面轴的分割线，而 

坐标表示圆心角，对应于平行于柱面轴的圆形分割线，得到柱面网格参数 

特别地 

和 

为对应的人脸背面分割线。重建人脸模型的每个顶点投影到该柱面上最近的网格点得到该顶点的纹理坐标 

重建三维人脸模型的所有顶点的纹理坐标将作为一个纹理坐标文件保存下来，以便今后的纹理映射。 

步骤7所述的根据相机的外部观察参数获取该观察方向的纹理图是指：对每幅图像，将重建人脸模型沿相机观察方向投影平面投影，根据z-buffer消隐原理确定可见的三角形，去除与摄像机观察方向几乎平行的可见三角形，再将剩余的可见三角形向包围的柱面进行投影，确定哪些柱面网格点位于投影的有效范围内，根据这些有效的网格点在重建三维人脸模型上的投影点进一步获取该三维点在人脸图像上的二维图像点的颜色，并当作这些网格点在该观察方向上的颜色强度，而人脸模型上投影点的单位法矢量和观察方向单位矢量的点积作为网格点在该观察方向上的权值；对于非有效网格点对应的颜色自动设为黑色，权值设为0。将柱面网格展开成矩形，用网格点的颜色和权值分别构成两幅矩形图像，其中一幅表示颜色的称为该观察方向上的纹理图，另外一幅表示权值的称为该观察方向上的权值图。根据上述过程，可得到每幅图像对应的纹理图和权重图。所有图像对应的纹理图关于其权重图的加权平均构成全局纹理图，即： 

其中，M表示人脸图像的个数； 

表示第j个人脸图像的纹理图； 

表示第j个人脸图像对应纹理图的权重图； 

表示全局纹理图。 

步骤7所述的根据全局纹理图进行视点独立的纹理映射是指根据三维人脸模型的顶点获取纹理坐标 

再根据纹理坐标 

从全局纹理图 

获得相应的颜色，从而对模型进行纹理着色的过程。该过程可通过调用图形库如OpenGL的纹理映射相关函数自动完成。 

步骤7所述的视点依赖的纹理映射则是根据当前视点的观察方向，在所有输入图像对应的观察方 向中寻找最接近的观察方向，并用这些最接近的观察方向对应的纹理图及其权值图，进行加权平均得到该方向上的新的纹理图，再用此纹理图采用上述的纹理映射过程完成模型的着色。 

本发明的优点：利用高分辨人脸模型和至少两张拍摄的图像，能够生成具有高分辨率的真实感人脸模型，本发明操作简单，自动化程度高，可从图像或视频中重建高质量的三维人脸模型。 

附图说明

图1为本发明的从图像进行三维人脸重建的步骤流程图。 

图2为三维人脸模板。 

图3从一个女性的几幅仿真照片重建高分辨率三维人脸 

图4从一个男性的几幅仿真照片重建高分辨率三维人脸 

图5从一个实际人脸照片的人脸重建结果 

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。以下实例用于说明本发明，但不用来限制本发明的范围。 

本发明的核心思想是：基于保持三维人脸模型细节的网格变形技术，对高分辨率三维人脸模板进行变形，通过求解保持网格光滑变形和三维人脸模型的投影图像的颜色一致性的非线性能量优化问题，得到重建的高质量的真实感三维人脸模型。本发明用到的高分辨率三维人脸模型是一种三角网格模型，可以通过多种途径获得：1)可用三维扫描仪扫描一个人脸模特；2)通过人脸建模软件如FaceGen等设计；3)从internet或朋友处上获得，如从某个高分辨率三维人脸数据库中选取一个人脸模型或部分人脸模型的平均作为人脸模板。附图2是本发明实现中采用的高分辨率三维人脸模板。 

本文假设相机模型是针孔相机模型，设一个空间三维点P的坐标是(x，y，z)T，其齐次坐标为(x，y，z，1)T，而其对应的二维图像点p的坐标是(u，v)T，齐次坐标是(u，v，1)T，则它们之间的投影变换关系可以表示为： 

$\mathrm{\λ}\tilde{p}=\mathrm{KPM}\tilde{P}---\left(1\right)$

其中λ是放缩系数，K为相机的内在参数矩阵，P为透视投影矩阵，M为世界坐标系到相机坐标系的刚性变换矩阵，分别表示如下： 

$K=\left(\begin{array}{ccc}{f}_1& s& u_0\\ 0& f_2& v_0\\ 0& 0& 1\end{array}\right)$ $P=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right)$

其中的R，t分别是旋转和平移矩阵。而旋转矩阵可用关于三个坐标轴的旋转R_θ、R_γ、 表示。根据上述公式，三维空间点P(x，y，z)到投影图像点p(u，v)的变换可以表示为 

u＝λf^u(x，y，z，f₁，f₂，s，u₀，v₀，θ，γ，φ，t_x，t_y，t_z) 

                                                                (3) 

v＝λf^v(x，y，z，f₁，f₂，s，u₀，v₀，θ，γ，φ，t_x，t_y，t_z) 

本发明基于网格变形技术对三维人脸模板进行变形，使三维模板人脸模型与未知的实际人脸的三维模型充分逼近，即重建的三维人脸模型上的每一点在各个图像上的可见点之间在统计意义上具有一致的颜色。所述的对三维模型的变形表现为对其中每个三角形或每个顶点的变换，本发明的实现中用基于三角形的仿形变换表示对模型的变形，但具体实现并不局限于特定的变形技术，可以采用其它的曲面变形或空间变形对三维模型的顶点或三角形进行变换。 

设v_i，v′_i(i＝1...3)是某网格三角形变形前后的顶点，可以对变形前后的三角形定义第四个顶点： 

$v_4=v_1+(v_2-v_1)\×(v_3-v_1)/\sqrt{|(v_2-v_1)\×(v_3-v_1)|}$

${v_4}^{\′}={v_1}^{\′}+({v_2}^{\′}-{v_1}^{\′})\×({v_3}^{\′}-{v_1}^{\′})/\sqrt{|({v_2}^{\′}-{v_1}^{\′})\×({v_3}^{\′}-{v_1}^{\′})|}$

则变形前后三角形对应的仿形变换可以表示为Q＝V′V^-1，其中： 

V＝(v₂-v₁ v₃-v₁ v₄-v₁) 

V′＝(v′₂-v′₁ v′₃-v′₁ v′₄-v′₁) 

参考图1，示出了本发明的从几幅人脸图像重建三维人脸的主要步骤，其详细过程如下： 

步骤1：拍摄特定人的不同角度图片，相邻拍摄角度的角度差介于10～40°之间。拍摄人脸照片时，既可以单独拍摄不同角度的照片，也可以拍摄人脸的一段视频，并用视频分析软件如windows movie maker从中选取不用角度的照片。在拍摄照片或视频时，既可以相机不动，人脸进行缓慢的转动；也可以人脸不动，拍摄者围绕人脸转动。拍摄的不同角度人脸照片将按照从左到右或从右到左的顺序输入到重建算法中，其中一幅被指定为正面图像。 

步骤2：在不同图像之间进行角点检测并建立角点的对应关系。图像的角点检测可采用任意一种典型的角点算法如KLT角点检测法、SIFT角点检测法、Harris角点检测法、Kitchen-Rosenfeld角点检测法、SUSAN角点检测法等。本发明方法的实现采用了KLT角点检测法进行角点检测，参考图1是一幅人脸图像的角点检测结果。确定了每幅人脸图像的角点后，对两幅相邻图像如A和B用随机采样调查法(RandomSample Consensus，RANSAC)计算极几何约束关系并筛选掉那些错误的角点对应关系，其具体过程是： 

1)从两个图像A和B中各选取一个角点，用两个像素点之间的“规范化关联”刻画这两个角点的相似度， 

$\mathrm{Corres}(p,q)=\frac{1}{{\mathrm{\δ}}_1{\mathrm{\δ}}_2{\mathrm{\πn}}^2}\underset{j=-n}{\overset{n}{\mathrm{\Σ}}}\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}[A(u_p+i,v_p+j)-{\mathrm{\μ}}_1][B(u_q+i,v_q+j)-{\mathrm{\μ}}_2]---\left(4\right)$

其中μ₁(μ₂)和δ₁(δ₂)分别是A和B在点p(q)附近的均值和方差，而n是角点邻域半径。 

2)根据规范化关联相似度对图像A的每个角点p在图像B中选取至多3个候选的匹配点q，且Corres(p，q)的值超过用户指定的相似度阀值，同样，对于图像B的角点q也在图像A选取至多3个候选点，如果图像A的角点p和图像B的角点q互为候选点，则(p，q)就是匹配的。 

3)在图像A和图像B的角点匹配列表{(p，q)}中随机选取最小数目(如14)的匹配点对集合Q，用这个匹配角点集合Q计算表示极几何约束关系的基础矩阵，根据该基础矩阵及Q中点对关于该基础矩阵的平均拟合误差确定其他的匹配点对是否满足该极几何约束关系，满足该极几何约束关系的匹配点对的个数用于评价基础矩阵的准确程度，随机进行一定次数如20次这样的匹配验证过程，最终确定一个最准确的基础矩阵及最佳的匹配点集合。根据匹配点对集合Q求基础矩阵F是一个最小二乘拟合问题，可以调用OpenCV的cvFindFundamentalMat直接计算，而(p，q)关于F的误差定义为|p^TFq|。 

步骤3：根据正面图像及其一个相邻图像中手工指定的5个特征点(内眼角、嘴角、鼻尖)以及这两幅图像中的对应角点，通过两次优化过程，求解相机的内外参数、5个特征点及对应角点对应的三维点坐标。设E1、E2、M1、M2、N分别为内眼角、嘴角和鼻尖，E、M分别为线段E1E2、M1M2的中点，O为鼻尖N到E1、E2、M1所在平面的投影，三维人脸模板中E1E、OE、OM、M1M、ON的欧氏距离为a^T、b^T、c^T、d^T、e，E1E2、OE、OM、M1M在正面图像中投影线段的距离分别为： 

可建立一直角世界坐标系使得5个特征点E1、E2、M1、M2、N的坐标可以表示为(-a，b，0)^T、(a，b，0)^T、(-d，-c，0)^T、(d，-c，0)^T、(0，0，e)^T，其中a＝a^T，e＝e^T， 

首先对两幅相对正面图像，采用所谓的“束调整”从运动恢复结构的优化技术通过求解下列的非线性最小二乘问题确定未知参数(相机的参数、三维空间点坐标、)： 

$\underset{x_j,y_j,z_j,\mathrm{\λ},f_1,f_2,s,u_0,v_0,{\mathrm{\θ}}_i,{\mathrm{\γ}}_i,{\mathrm{\φ}}_i,t_{i,x},t_{i,y},t_{i,z}}{\min }\underset{i=i}{\overset{M}{\mathrm{\Σ}}}\{{\underset{j=1}{\overset{P}{\mathrm{\Σ}}}[(u_{i,j}-\mathrm{\λ}{f^u}_i(x_j,y_j,z_j,f_1,f_2,s,u_0,v_0,{\mathrm{\θ}}_i,{\mathrm{\γ}}_i,{\mathrm{\φ}}_i,t_{i,x},t_{i,y},t_{i,z}))}^2---\left(5\right)$

$+\underset{j=1}{\overset{P}{\mathrm{\Σ}}}\left[{(v_{i,j}-\mathrm{\λ}{f^v}_i(x_j,y_j,z_j,f_1,f_2,s,u_0,v_0,{\mathrm{\θ}}_i,{\mathrm{\γ}}_i,{\mathrm{\φ}}_i,t_{i,x},t_{i,y},t_{i,z}))}^2\right]\}$

其中，(u_i，j，v_i，j)是第j个三维特征点(x_i，y_i，z_i)在第i个图像中的投影。 

基于5个特征点的“束调整”重建三维点及相机参数思路来自于文献Zhang等【Zhengyou Zhang，Zicheng Liu，Dennis Adler，et al.Robust and Rapid Generation of Animated Faces from VideoImages：A Model-Based Modeling Approach[J].International Journal of ComputerVision，2004，58(2)，：93-119.】，但有所不同。关于“束调整”的优化技术的具体细节可以参考文献如【B.Triggs；P.McLauchlan and R.Hartley and A.Fitzgibbon(1999).″Bundle Adjustment-A ModernSynthesis″.ICCV′99：Proceedings of the International Workshop on Vision Algorithms.Springer-Verlag.pp.298-372.】。需要说明的是该非线性优化求解问题的未知变量的初始值是这样设置的：5个特征点采用上述的从图像中估算的值a、b、c、d、e来设定，而u₀，v₀分别初始化为图像长宽的一半，θ_i＝0，γ_i＝0， 

s₀＝0，λ＝1，f₁＝f₂＝1000，t_i，x＝0，t_i，y＝0， 其中a是估算的右内眼角的x坐标，而u_e则是正面图像中的右眼角的图像u坐标。 

从这两幅图像出发，基于相机内在参数、三维角点坐标及相邻图像的角点对应关系，进一步用“束调整”运动恢复技术求解其余的相机外部参数(旋转和平移)及其他未知三维角点坐标，直到求得所有图像对应的相机外部参数。具体又分为两步： 

1)从已知相机参数的图像A出发，对与其相邻的另一幅图像B，先确定哪些三维坐标已知的角点对应关系，设这些三维角点为P_j(x_j，y_j，z_j)，其在图像B中的投影点 

其在图像B中的对应角点为p_j(u_j，v_j)，图像B对应的未知相机外部参数是表示旋转变换的(θ，γ，φ)和平移变换的(t_x，t_y，t_z)，根据公式(1)， 

可以表示成未知变量(θ，γ，φ，t_x，t_y，t_z)的函数 

因此，通过求解下述能量优化的非线性最小二乘问题可以求得图像B对应的相机外部参数(θ，γ，φ，t_x，t_y，t_z)： 

$\underset{\mathrm{\θ},\mathrm{\γ},\mathrm{\φ},t_x,t_y,t_z}{\min }\underset{j=1}{\overset{K}{\mathrm{\Σ}}}\left|\right|p_j-\hat{p}(\mathrm{\θ},\mathrm{\γ},\mathrm{\φ},t_x,t_y,t_z,x_j,y_j,z_j)\left|\right|---\left(6\right)$

2)根据1)获得图像B对应的相机外部参数，进一步求解图像A和B中未知三维坐标的那些对应角点的三维坐标，此时未知三维角点在图像中的投影点可表示成未知三维角点的坐标的函数，通过求解类似(6)的下述能量优化的非线性最小二乘问题得到这些未知三维角点的坐标： 

$\underset{\left\{(x_j,y_j,z_j)\right\}}{\min }\underset{j}{\mathrm{\Σ}}\left[\right||{p^A}_j-\hat{p}({\mathrm{\θ}}^A,{\mathrm{\γ}}^A,{\mathrm{\φ}}^A,{t^A}_x,{t^A}_y,{t^A}_z,x_j,y_j,z_j)||---\left(7\right)$

$+\left|\right|{p^B}_j-\hat{p}({\mathrm{\θ}}^B,{\mathrm{\γ}}^B,{\mathrm{\φ}}^B,{t^B}_x,{t^B}_y,{t^B}_z,x_j,y_j,z_j)\left|\right|]$

因此，重复1)、2)可以逐步求得所有相机的外部参数和三维角点坐标。 

步骤4：首先根据正面图像的5个特征点位置估算包围人脸的一个椭球，椭球的三个轴平行于世界坐标系的三个坐标轴，椭球中心为(0，b/2，-e)，椭球的x、y、z轴长度分别是l、m、n，分别对应脸宽、脸高、鼻尖高度。一般可以设l＝4a，m＝0.9*(b+c)，n＝2e。将该椭球投影到每幅图像上，每幅图像的椭球投影外部区域被定义为背景区域，将按照观察角度次序排列的每幅图像的背景交替设置为黑色和白色。 

步骤5：将人脸模板配准到5个特征点。设从步骤3中基于“束调整”技术得到了人脸5个三维特征点(内眼角、嘴角、鼻尖)为E₁、E₂、M₁、M₂、N，而将人脸模板中的5个对应的三维特征点为 

E₁、E₂、M₁、M₂的中心点为O， 

的中心点为 

以O为原点建立一直角坐标系O_xyz，其中x轴方向为E₁指向E₂的方向，z轴方向为E₁、E₂、O三点平面的法向， 使得N点在该平面的正向，y轴方向由z轴方向和x轴方向根据右手螺旋确定，同样，对 可建立以 

为原点的直角坐标系 

从 

到O_xyz的坐标系变换用于将人脸模板配准到真实人脸的5个特征点的位置。 

步骤6：通过求解一个包含光滑网格变形约束和图像一致性约束的非线性能量优化问题，使三维模板人脸变形到未知的实际人脸三维模型，完成基于图像的人脸重建。 

在对人脸模板进行变形的能量表示为： 

E＝w_dE_d+w_sE_s+w_cE_c+w_IE_I                (8) 

其中E_d、E_s、E_c、E_I分别是表示保持模型细节、保证变形光滑性、三维位置约束、图像一致性约束能量，这些能量通过相应的权值w_d、w_s、w_c、w_I进行加权平均构成总的变形能量。 

所述的保持模型细节的能量E_d定义为： $E_d=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|T_i-I\left|\right|}_F^2---\left(7\right)$

其中，|| ||_F为Frobenius范数，T_i为第i个三角形的仿形变换矩阵；N为低分辨率人9模板内三角形的个数，I为单位矩阵； 

所述的光滑变形能量E_s定义为： $E_s=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j\∈\mathrm{adj}\left(i\right)}{\mathrm{\Σ}}{\left|\right|T_i-T_j\left|\right|}_F^2---\left(10\right)$

其中，j∈adj(i)表示j与i为相邻的两个数；T_i为第i个三角形的仿形变换矩阵，T_j为第j个三角形的仿形变换矩阵；|| ||_F为Frobenius范数； 

所述的特征点约束能量E_c定义为： $E_c=\underset{i=1}{\overset{Q}{\mathrm{\Σ}}}{\left|\right|y_i-p_i\left|\right|}^2---\left(11\right)$

其中，Q为人脸模板的特征点的个数；y为人脸模板需要进行特征点拟合的点，p为从人脸图像恢复的三维特征点；使得变形后的人脸模型上特征点尽可能与基于立体视觉恢复的三维特征点接近； 

所述的图像一致性约束能量E_I定义为： 

$E_I=\underset{\mathrm{Im\; age}=1}{\overset{M}{\mathrm{\Σ}}}\underset{\mathrm{Im\; age}\∈\mathrm{Badj}\left(\mathrm{Im\; age\; A}\right)}{\mathrm{\Σ}}\underset{\mathrm{Tri}\∈\mathrm{Visble}(\mathrm{Im\; ageA},\mathrm{Im\; ageB})}{\mathrm{\Σ}}\underset{P\∈\mathrm{Tri}}{\∫}{\left|\right|I_{\mathrm{Im\; ageA}}\left(P\right)-I_{\mathrm{Im\; ageB}}\left(P\right)\left|\right|}_F^2---\left(12\right)$

其中，M为摄像机从不同角度拍摄的图像总数，Im age B∈adj(ImageA)表示ImageA与ImageB为相邻拍摄角度的图像；Tri为在ImageA、ImageB中均可见的人脸模型中的三角形，P为三角形Tri上的一点； 

求解所述的能量最小问题是一个非线性问题，其中的未知量是变形后的顶点坐标构成的向量。我们采用Levenberg-Marquardt(勒文博格-马奎特)算法求解该非线性能量优化问题，总能量函数中的W_d、W_s、W_C、W_I分别是不同能量项对应的权，用于调节每个能量项对网格变形的作用。所述加权值w_d，w_s，w_c、w_I的大小，根据经验值进行选取，这些值可以一次设定，在优化求解过程中保持不变，但本发明建议可以通过多次求解不同加权系数的能量优化获得更好的求解性能和质量，例如本发明实现中先固定w_d，w_s，w_c的值，给予w_I相对较小的权值，使得图像一致性能量开始时所起的作用相对较小，然后给予较大的w_I使图像一致性能量开始时所起的作用变大，再一次求解该能量优化问题，一般只要经过2到3次的不同的w_I对应的能量优化问题求解，就可以获得满意的重建的人脸三维模型。 

所述特征点约束能量E_c也可以不定义在总能量E中，也能获得同等质量的重建人脸模型，实际上，本发明的实现中W_C接近0，因此特征点约束能量几乎不起作用。增加了特征点约束能量E_c，可使人脸模板上特征点尽可能与三维人脸图像上的特征点相一致，如果特征点足够多，可以进一步提高重建质量，因此，特征点约束能量只是用于说明本发明中的能量项不仅仅限于上述所述的能量项，可以引入更多能量项以提高重建人脸模型的质量。例如，还可以引入交互约束能量，用于指定三维模型的某个或多个顶点约束于某个或多个二维图形点或轮廓。 

步骤7：包括纹理图生成和纹理映射，纹理图生成的步骤可概括为：确定包围柱面及其参数化、确定三维模型所有顶点的纹理坐标、针对每幅图像的观察方向生成纹理图和权值图、全局纹理图的生成；而纹理映射主要根据纹理图和三维人脸模型顶点的纹理坐标通过调用图形库如OpenGL的相关纹理映射函数完成，以生成真实感人脸模型，纹理映射包括：视点独立的纹理映射和视点依赖的纹理映射。 

1)包围柱面及其参数化：包围圆柱面的轴为z轴，设三维模型所有顶点的最大、最小z坐标为z_max、z_min，而所有顶点的最大、最小x坐标为x_max、x_min，则园柱面的顶面和底面圆心分别为(0，0，1.2*z_max)、(0，0，-1.2*z_min)，圆柱面的高度H＝1.2*(z_max-z_min)，圆柱面的半径R＝1.2*max(fabs(x_max)，fabs(x_min))。柱面上任何一点表示为 

设该点相对于其所在的圆截面的圆心角(圆心角起点约定从z轴负向开始)为α，则 

为该点到顶面的距离，则 

如果对 

和h参数各等分512，可以得到512*512个网格点，将圆柱面展开成矩形，可以得到一个平面矩形网格。 

2)三维模型所有顶点的纹理坐标：对于三维人脸模型上任意一点P(x，y，z)，其在圆柱体的轴上的投影点为Q(0，0，z)，直线PQ与包围圆柱面的交点的柱面坐标为 

将两个坐标分量取整后得到整数坐标为 

称该整数坐标为该顶点的纹理坐标。 

3)针对每幅图像的观察方向生成纹理图和权值图：对每幅图像，将重建人脸模型沿相机观察方向投影平面投影，根据z-buffer消隐原理确定可见的三角形，去除与摄像机观察方向几乎平行的可见三角形，再将可见三角形向包围的柱面进行投影，确定哪些柱面网格点位于投影的有效范围内，根据这些有效的网格点在重建三维人脸模型上的投影点进一步获取该三维点在人脸图像上的二维图像点的颜色，并当作这些网格点在该观察方向上的颜色强度，而人脸模型上投影点的单位法矢量和观察方向单位矢量的点积作为网格点在该观察方向上的权值；对于非有效网格点对应的颜色自动设为黑色，权值设为0。将柱面网格展开成矩形，将网格点看成像素点，将网格点对应的颜色看成该像素点的颜色，可以得到一幅纹理图 

如果将网格点对应的权值看成该像素点的颜色，可以得到所述的权值图 

尽管该权值图并不是通常意义的图像。根据上述过程，可得到每幅图像对应的纹理图和权重图。 

4)全局纹理图的生成：所有图像对应的纹理图关于其权重图的加权平均构成全局纹理图，即： 

其中，M表示人脸图像的个数； 

表示第j个人脸图像的纹理图； 

表示第j个人脸图像对应纹理图的权重图； 

表示全局纹理图。 

5)视点独立的纹理映射：根据全局纹理图进行视点独立的纹理映射是指根据三维人脸模型的顶点获取纹理坐标 

再根据纹理坐标 

从全局纹理图 

获得相应的颜色，从而对模型进行纹理着色的过程。该过程可通过调用图形库如OpenGL的纹理映射相关函数自动完成。 

6)视点依赖的纹理映射：根据当前视点的观察方向，在所有输入图像对应的观察方向中寻找最接近的观察方向，并用这些最接近的观察方向对应的纹理图及其权值图，采用类似于(13)公式进行加权平均得到该方向上的新的纹理图，再用此纹理图进行纹理映射完成模型的着色。 

本发明的实现从仿真人脸图像和实际环境拍摄的人脸图像进行了测试，附图3、4分别是对已知三维人脸模型和纹理数据的男女人脸模型在OpenGL光照环境下进行不同角度投影获取不同角度的人脸照片，然后采用本发明实现的算法从这些照片进行人脸重建，得到了与实际三维模型非常逼近的重建人脸模型；附图5则是在实际环境下对一个人拍摄一段视频，并从中选取出6幅不同角度的照片，然后应用本发明实现算法对该人脸进行三维重建，也得到了与实际人脸比较相似的高分辨率三维人脸模型，其中图5中的最 上面一行是输入照片，中间两行的是重建的三维人脸及网格图，最下面的那行的是视点独立的纹理映射结果。从而验证了本发明的可行性。 

上述所述仅是本发明的实施方式，本发明不限于以上具体实施方式利实例。可以理解，本领域研究利技术人员在不脱离本发明的精神和构思的前提下，可以做出其他的改进利变化。 

Claims (6)

1.基于网格变形和连续优化的高分辨率人脸重建方法，其特征是，所述重建方法包括如下步骤：

(a)、利用摄像机对中性表情人脸进行拍摄，得到至少两张不同拍摄角度的人脸图像；并在一幅正面的人脸图像中指定内眼角、嘴角、鼻尖五个特征点；

(b)、对输入的每幅图像进行角点检测，建立相邻图像的角点对应关系，去除错误的角点对应关系；

(c)、应用基于“束调整”的运动重建技术求得五个特征点的三维坐标、图像之间对应角点所对应的三维点坐标以及每幅图像对应的相机内外部参数；

(d)、对输入的每幅图像进行人脸分割；

(e)、将人脸模板刚性配准到三维特征点；

(f)、基于非线性连续优化技术对高分辨率三维人脸模型进行迭代的光滑的网格变形，使得变形后的模板的投影与每幅图像尽可能一致；在已知高分辨率三维人脸模型和各个图像所对应相机参数的基础上，定义了由保持模型细节能量E_d、光滑变形能量E_s、特征点约束能量E_c、图像一致性能量E_I通过加权平均构成的变形能量，通过求解该能量最小的优化问题得到重建的高分辨率三维人脸模型所有新顶点的坐标；

(s1)、定义保持模型细节能量E_d，所述E_d为：

$E_d=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|T_i-I\left|\right|}_F^2;$

其中，||||_F为Frobenius范数，T_i为第i个三角形的仿形变换矩阵，N为人脸模板的三角形个数，I为单位矩阵；

(s2)、为保持相邻三角形变换的光滑性，定义光滑变形能量E_s，所述E_s为：

$E_s=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j\∈\mathrm{adj}\left(i\right)}{\mathrm{\Σ}}{\left|\right|T_i-T_j\left|\right|}_F^2;$

其中，j∈adj(i)表示j与i为相邻的两个三角形的下标；T_i为第i个三角形的仿形变换矩阵，T_j为第j个三角形的仿形变换矩阵，|| ||_F为Frobenius范数：

(s3)、所述的特征点约束能量E_c定义为：

其中，y为人脸模板上的特征点，Q为人脸模板上特征点的个数，p为从实际人脸图像恢复的三维特征点，特征点约束能量E_c使得变形后的人脸模型上特征点与基于立体视觉恢复的三维特征点接近；

(s4)、所述的图像一致性能量E_I定义为：

$E_I=\underset{\mathrm{Im\; age\; A}=1}{\overset{M}{\mathrm{\Σ}}}\underset{\mathrm{IM\; age\; B}\∈\mathrm{adj}\left(\mathrm{Im\; ageA}\right)}{\mathrm{\Σ}}\underset{\mathrm{Tri}\∈\mathrm{Visible}(\mathrm{Im\; ageA},\mathrm{ImageB})}{\mathrm{\Σ}}\underset{P\∈\mathrm{Tri}}{\∫}{\left|\right|I_{\mathrm{ImageA}}\left(P\right)-I_{\mathrm{ImageB}}\left(P\right)\left|\right|}_F^2;$

其中，M为摄像机从不同角度拍摄的图像总数，ImageB∈adj(ImageA)表示ImageA与ImageB为具有相邻拍摄角度的图像，Tri为在ImageA、ImageB中均可见的人脸模型中的三角形，P为三角形Tri上的一点；

(s5)、由上述保持模型细节能量、光滑变形能量、图像一致性能量及特征点约束能量，构建非线性优化的总能量E，所述总能量E为：

E＝w_dE_d+w_sE_s+w_cE_c+w_IE_I；

其中，w_d、w_s、w_c、w_I分别为保持模型细节能量E_d、光滑变形能量E_s、特征点约束能量E_c及图像一致性能量E_I相对应的加权值；

(s6)、利用Levenberg-Marquardt算法对所述总能量E进行优化，得到所述人脸模板相对应的变形网格，使人脸模板与人脸图像尽可能相匹配；

(g)、根据重建的高分辨率三维人脸模型及相应的人脸图像，得到相应的纹理图，利用所述纹理图进行视点独立或视点依赖的纹理映射，得到相应的真实感人脸。

2.根据权利要求1所述基于网格变形和连续优化的高分辨率人脸重建方法，其特征是：所述步骤(a)中，利用摄像机拍摄人脸图像时，所述摄像机拍摄相邻人脸图像的拍摄角度差为10～40°。

3.根据权利要求1所述基于网格变形和连续优化的高分辨率人脸重建方法，其特征是：所述步骤(b)中，先对每幅图像进行角点检测，再根据两个角点的规范化关联对相邻图像的角点进行粗匹配，最后相邻图像的匹配角点应用随机采样调查法(Random Sample Consensus，RANSAC)计算极几何约束关系的基础矩阵及所有匹配角点的匹配程度，选取最佳匹配的基础矩阵并由此筛选掉那些错误的角点对应关系。

4.根据权利要求1所述基于网格变形和连续优化的高分辨率人脸重建方法，其特征是：基于“束调整”的运动重建技术是指在已知图像之间对应点的情况下，通过非线性最小二乘优化技术求解相机运动参数和这些二维图像点对应的三维点坐标的方法：先根据相邻两个图像之间的对应点，求得它们之间的基础矩阵，根据包含五个特征点的两个相邻图像及其基础矩阵通过非线性最小二乘优化技术求得这五个特征点的三维坐标、相机的内部参数和两个图像对应的相机外部参数，从这两幅图像出发，基于相机内在参数、三维角点坐标及相邻图像的对应点，进一步用“束调整”运动恢复技术求解其余的相机外部参数及其他未知三维角点坐标，直到求得所有图像对应的相机外部参数。

5.根据权利要求1所述基于网格变形和连续优化的高分辨率人脸重建方法，其特征是：所述步骤(d)中对输入的每幅图像进行人脸分割的方法，根据从步骤(c)中获得的5个特征点确定一个包围实际人脸的椭球体，根据椭球体到每幅图像的投影平面的投影大致确定图像中不属于人脸区域的背景区域，并按照黑白间隔的方式将每幅图像的背景设置为黑色或白色。

6.根据权利要求1所述基于网格变形和连续优化的高分辨率人脸重建方法，其特征是：所述步骤(e)中将人脸模板刚性配准到三维特征点的方法，对人脸模板中和从图像中恢复的5个三维特征点分别建立相应的直角坐标系，并根据直角坐标的相对变换将人脸模板配准到从图像中恢复的5个三维特征点，所述的配准意思指对应特征点距离的累加和尽可能小。

Images