CN101866497A - 基于双目立体视觉的智能三维人脸重建方法及*** - Google Patents

Abstract

本发明公开了一种基于双目立体视觉的智能三维人脸重建方法及***。该方法包括：对人脸图像进行包括图像归一化、亮度归一化和图像校正的预处理操作；获取经过预处理的人脸图像中的人脸区域，并提取人脸特征点；通过投影矩阵重构对象，得到摄像机的内外参数；基于人脸特征点，将灰度互相关匹配算子扩展到颜色信息，并依据包括极线约束、人脸区域约束和人脸几何条件的信息来计算立体匹配生成的视差图；根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散列点云的三维坐标，生成三维人脸模型。通过上述步骤，本发明重建生成了更加光滑逼真的三维人脸模型。

Description

基于双目立体视觉的智能三维人脸重建方法及***

技术领域

本发明涉及双目立体视觉技术领域，尤其涉及一种基于双目立体视觉的智能三维人脸重建方法及***。

背景技术

近年来，信息和通信技术已经融入到我们生活的各个部门和所有部分，打开了一个史无前例的世界，这里人们同嵌入在敏感的响应用户存在的电子设备的进行交互，以提供用户需要的智能建筑为特征的计算机辅助的安保***正成为国内研究的趋势，需要更多复杂的服务。视觉是人类获取外界信息的最直接、最普遍的方式。视觉的最终目的是要对场景作出对观察者有意义的解释和描述，然后基于这些解释和描述并根据周围环境和观察者的意愿制定出行为规划。

计算机视觉是指用计算机实现人类的视觉功能，对客观世界的三维场景感知、识别和理解。计算机视觉是计算机科学和人工智能的一个重要分支。它的研究目的和内容有两个方面，一是用计算机实现人类视觉的部分功能；二是由此帮助理解人类视觉的机理。

双目立体匹配因其广泛的应用近几年已扩展到许多研究领域，如运动估计，目标结构的重建和最近的3D视频编码。在双目立体***中，修正立体图像对间视差的计算(或对应)是关键一步。一旦这步准确可靠，深度信息可以方便地重构，进而得到人脸的形状信息。但是视差计算并不简单，尤其对于人脸图像。由于人脸皮肤的光滑漫反射使人脸具有较低的纹理信息。结果，传统的基于灰度相关的立体匹配方法可能由于对应结果的模糊而失败。而且，这些方法的性能由于一些因素如坏光照或遮挡而退化。到目前为止，一些尝试已经用来处理立体图像对的3D人脸重建。

从传统的立体匹配方法中得到的初始结果远不同于真实表面。结果，精细化的过程是不可或缺的。然而这不仅费时而且计算上非常昂贵，且在大部分情况下无法获得满意的结果。

发明内容

本发明的目的在于提供一种基于双目立体视觉的智能三维人脸重建***及方法。

一方面，本发明公开了一种基于双目立体视觉的智能三维人脸重建方法，包括如下步骤：预处理步骤，对人脸图像进行包括图像归一化、亮度归一化和图像校正的预处理操作；人脸检测及特征点提取步骤，检测获取经过预处理操作的人脸图像中的人脸区域，并进行人脸特征点提取；摄像机标定步骤，通过投影矩阵重构对象，得到摄像机的内外参数，获得摄像机标定结果；双目立体匹配步骤，基于所述人脸特征点，将灰度互相关匹配算子扩展到颜色信息，并依据包括极线约束、人脸区域约束和人脸几何条件的信息来计算立体匹配生成的视差图；三维人脸重建步骤，根据所述摄像机标定结果和所述立体匹配生成的视差图计算人脸空间散列点云的三维坐标，生成三维人脸模型。

上述智能三维人脸重建方法，优选所述预处理步骤中，所述图像归一化处理包括：旋转步骤，对所述人脸图像进行旋转，使所述人脸图像中的两眼保持水平；中点调整步骤，调整双眼连线的中点位于图像宽度的中心，且所述中心在所述人脸图像的高度上位于固定位置；缩放变换步骤，对所述旋转后的人脸图像进行缩放变换，得到大小一致的标准图像。

上述智能三维人脸重建方法，优选所述预处理步骤中，所述亮度归一化处理包括：待测图像能量计算步骤，令I(i，j)表示第i行，第j列像素的灰度值，计算待测图像的能量

比例因子计算步骤，定义一个平均脸，求出所述平均脸的能量AveryEnergy；依据下式确定比例因子ratio：

亮度归一化步骤，依据

对待测图像中的每一个像素进行亮度归一化处理。

上述智能三维人脸重建方法，优选所述预处理步骤中，所述图像校正的处理包括：对两幅图像分别进行二维的变换；原始图像首先经过透视变换，在极点被移到了无穷远点，图像中的极线束就变成了一组平行直线后，进行相似变换，各极线和图像坐标系的横轴平行；为了减少畸变，进行错切变换，使得水平方向的图像畸变最小化。

上述智能三维人脸重建方法，优选所述预处理步骤中，所述人脸检测及特征点提取步骤中，所述人脸区域通过肤色似然确定，包括如下步骤：把彩色图像由RGB空间转换到YCbCr空间，根据二维高斯模型G(m，Λ²)将一幅彩色图像转变为灰度图像，灰度值对应于该属于皮肤区域的可能性，然后通过自适应的方法取阈值，可以将灰度图像进一步变为二值图像g_ycbcr；把彩色图像由RGB空间转换到YIQ空间，提取I分量，当像素点的I分量的值在5＜I＜80时，则为肤色点，否则不是肤色点，进行分割得到二值图像g_yiq；二值图像g_ycbcr与二值图像g_yiq作“与”操作得到图像g_skin；对二值图像g_skin作闭合运算，其结构元素为3×3的单位矩阵；设定人脸的最小区域面积为50像素，然后填充面积小于50像素的肤色区域。

上述智能三维人脸重建方法，优选所述人脸检测及特征点提取步骤中，所述人脸特征点通过主动形状模型提取包括：对睁开的眼睛或闭着的眼睛应用通用整个人脸形状模板来初始化整张脸，得到两个外眼角的近似位置；应用局部主动形状模型到嘴来估计嘴的轮廓，得到由Canny操作符获得的嘴真实边缘，若眼睛检测为开着的且嘴检测为O形嘴，选择开眼和O形嘴整个人脸模板来搜索整个人脸轮廓。

上述智能三维人脸重建方法，优选所述摄像机标定步骤中，基于平面棋盘格标记物标定摄像机的内外参数。

上述智能三维人脸重建方法，优选所述双目立体匹配步骤中，所述计算立体匹配生成的视差图通过种子像素的选取和区域生长来实现，包括：种子像素选取步骤，选择边缘特征点作为种子像素进行区域生长，当以边缘特征点作为种子像素的区域生长完成后，选择一个不属于任何已生长区域的像素点，在边缘特征点的视差约束下在一维的搜索窗中利用相关性系数公式计算匹配代价函数，选取最可靠的视差，选取该点为种子像素，并且设该点视差为区域视差，然后区域生长步骤，如果没有找到任何小于预先给定的匹配代价门限T的匹配点，对下一个相邻像素点重复这个步骤；区域生长步骤，利用种子像素的视差值，计算与种子像素相邻的像素点的匹配代价，将满足约束条件的像素包括进种子像素所在区域，否则丢弃该点；视差图生成步骤，反复执行区域生长步骤，直到没有可以再合并的像素为止，这样一个区域就生长成了，返回种子像素选取步骤找到新的种子像素后重复以上步骤，当图像中所有像素点被标记过后，视差图d(i，j)生成。

上述智能三维人脸重建方法，优选所述三维人脸重建步骤中，获取人脸空间散列点云的三维坐标后，还包括对人脸的三维点云进行三角剖分、网格细分和网格优化步骤：三角剖分步骤，对散列点进行排序，搜索X坐标最小的点，设该点为v₁，按照与v₁点的距离的平方递增的顺序排列各点，形成序列v₁，v₂，v₃，…，v_n，将v₁与v₂相连构造第一条边，在v_i序列中顺序搜索与v₁和v₂不共线的点，记作v_k，则将v_k***v₃前，其余点顺序后移，将v₁，v₂，v_k三点相连形成第一个三角形和初始网格前沿边界，接下来采用网格前沿技术，逐点向外扩展，根据最小内角最大准则形成初始的人脸三角网格；网格细分步骤，采用Loop细分方法，这是一种基于三角形控制网格的细分，该细分方法所生成的曲面是基于四次B样条曲面；网格优化步骤，用Laplacian光顺处理调整内部节点位置得到优化的三维人脸模型。

另一方面，本发明还公开了一种基于双目立体视觉的智能三维人脸重建***，包括：预处理模块、人脸检测及特征点提取模块、摄像机标定模块、双目立体匹配模块和三维人脸重建模块。其中，预处理模块用于对人脸图像进行包括图像归一化、亮度归一化和图像校正的预处理操作，包括图像归一化子模块、亮度归一化子模块和图像矫正子模块；人脸检测及特征点提取模块用于检测获取经过预处理操作的人脸图像中的人脸区域，并进行人脸特征点提取；摄像机标定模块用于通过投影矩阵重构对象，得到摄像机的内外参数，获得摄像机标定结果；双目立体匹配模块用于基于所述人脸特征点，将灰度互相关匹配算子扩展到颜色信息，并依据包括极线约束、人脸区域约束和人脸几何条件的信息来计算立体匹配生成的视差图；三维人脸重建模块用于根据所述摄像机标定结果和所述立体匹配生成的视差图计算人脸空间散列点云的三维坐标，生成三维人脸模型。

上述智能三维人脸重建***，优选所述预处理模块中，图像归一化子模块包括：旋转单元，用于对所述人脸图像进行旋转，使所述人脸图像中的两眼保持水平；中点调整单元，用于调整双眼连线的中点位于图像宽度的中心，且所述中心在所述人脸图像的高度上位于固定位置；缩放变换单元，用于对所述旋转后的人脸图像进行缩放变换，得到大小一致的标准图像。

上述智能三维人脸重建***，优选所述预处理模块中，所述亮度归一化子模块包括：待测图像能量计算单元，用于令I(i，j)表示第i行，第j列像素的灰度值，计算待测图像的能量

比例因子计算单元，用于定义一个平均脸，求出所述平均脸的能量AveryEnergy；依据下式确定比例因子ratio：

亮度归一化单元，用于依据

对待测图像中的每一个像素进行亮度归一化处理。

上述智能三维人脸重建***，优选所述预处理步骤中，所述图像矫正子模块用于：对两幅图像分别进行二维的变换；原始图像首先经过透视变换，在极点被移到了无穷远点，图像中的极线束就变成了一组平行直线后，进行相似变换，各极线和图像坐标系的横轴平行；为了减少畸变，进行错切变换，使得水平方向的图像畸变最小化。

上述智能三维人脸重建***，优选所述人脸检测及特征点提取模块中，所述人脸区域通过肤色似然确定，包括：用于把彩色图像由RGB空间转换到YCbCr空间，根据二维高斯模型G(m，Λ²)将一幅彩色图像转变为灰度图像，灰度值对应于该属于皮肤区域的可能性，然后通过自适应的方法取阈值，可以将灰度图像进一步变为二值图像g_ycbcr的单元；用于把彩色图像由RGB空间转换到YIQ空间，提取I分量，当像素点的I分量的值在5＜I＜80时，则为肤色点，否则不是肤色点，进行分割得到二值图像g_yiq的单元；用于二值图像g_ycbcr与二值图像g_yiq作“与”操作得到图像g_skin的单元，用于对二值图像g_skin作闭合运算，其结构元素为3×3的单位矩阵；设定人脸的最小区域面积为50像素，然后填充面积小于50像素的肤色区域的单元

上述智能三维人脸重建***，优选所述人脸检测及特征点提取模块中，所述人脸特征点通过主动形状模型提取，包括：用于对睁开的眼睛或闭着的眼睛应用通用整个人脸形状模板来初始化整张脸，得到两个外眼角的近似位置的单元；用于应用局部主动形状模型到嘴来估计嘴的轮廓，得到由Canny操作符获得的嘴真实边缘，若眼睛检测为开着的且嘴检测为O形嘴，选择开眼和O形嘴整个人脸模板来搜索整个人脸轮廓的单元。

上述智能三维人脸重建***，优选所述摄像机标定模块中，基于平面棋盘格标记物标定摄像机的内外参数。

上述智能三维人脸重建***，优选所述双目立体匹配模块中，所述计算立体匹配生成的视差图通过种子像素的选取和区域生长来实现，包括：种子像素选取单元，用于选择边缘特征点作为种子像素进行区域生长，当以边缘特征点作为种子像素的区域生长完成后，选择一个不属于任何已生长区域的像素点，在边缘特征点的视差约束下在一维的搜索窗中利用相关性系数公式计算匹配代价函数，选取最可靠的视差，选取该点为种子像素，并且设该点视差为区域视差，然后区域生长步骤，如果没有找到任何小于预先给定的匹配代价门限T的匹配点，对下一个相邻像素点重复这个步骤；区域生长单元，用于利用种子像素的视差值，计算与种子像素相邻的像素点的匹配代价，将满足约束条件的像素包括进种子像素所在区域，否则丢弃该点；视差图生成单元，用于反复执行区域生长步骤，直到没有可以再合并的像素为止，这样一个区域就生长成了，返回种子像素选取步骤找到新的种子像素后重复以上步骤，当图像中所有像素点被标记过后，视差图d(i，j)生成。

上述智能三维人脸重建***，优选所述三维人脸重建模块中，获取人脸空间散列点云的三维坐标后，还包括对人脸的三维点云进行三角剖分、网格细分和网格优化的单元：三角剖分单元，用于对散列点进行排序，搜索X坐标最小的点，设该点为v₁，按照与v₁点的距离的平方递增的顺序排列各点，形成序列v₁，v₂，v₃，…，v_n，将v₁与v₂相连构造第一条边，在v_i序列中顺序搜索与v₁和v₂不共线的点，记作v_k，则将v_k***v₃前，其余点顺序后移，将v₁，v₂，v_k三点相连形成第一个三角形和初始网格前沿边界，接下来采用网格前沿技术，逐点向外扩展，根据最小内角最大准则形成初始的人脸三角网格；网格细分单元，用于采用Loop细分方法，这是一种基于三角形控制网格的细分，该细分方法所生成的曲面是基于四次B样条曲面；网格优化单元，用于用Laplacian光顺处理调整内部节点位置得到优化的三维人脸模型。

相对于现有技术而言，本发明通过对人脸图像归一化处理、人脸检测及特征点提取、摄像机标定、双目立体匹配和三维人脸重建的处理，重建生成了更加光滑逼真的三维人脸模型。

附图说明

图1为本发明一种基于双目立体视觉***的智能三维人脸重建方法实施例的步骤流程图；

图2为线性模型摄像机的数学模型示意图；

图3a为双目视觉立体成像原理示意图；

图3b为双目视觉立体成像原理示意图；

图4为基于双目立体视觉的智能三维人脸重建***的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1至图3b对本发明的实施例进行说明。

下面结合附图和具体实施方式来对发明作进一步描述。

如图1所示，首先，在利用摄像机采集左、右图像获取人脸图像后，对人脸图像进行预处理，包括图像归一化、亮度归一化和图像校正，然后运用肤色似然估计找到人脸区域，并且用主动形状模型(ASM)来做人脸特征点提取，这有利于使用人脸结构的先验知识。摄像机标定时，通过投影矩阵重构对象、得到摄像机的内外参数，减少计算复杂度。然后通过将灰度互相关匹配算子扩展到颜色信息，可以对低纹理图像如人脸皮肤部分进行匹配。在匹配阶段为了减小搜索区域增加立体匹配准确度，我们在匹配算法中考虑极线约束、人脸区域约束和人脸几何条件信息来计算视差。最后，根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散列点云的三维坐标，对人脸的三维点云进行三角剖分、网格细分和光顺处理，产生光滑逼真的三维人脸模型。

下面对具体的实施过程分块进行描述；

人脸图像归一化处理：

由于基于图像似然度的人脸检测是依赖于图像灰度在空间分布上的相关性，因此需对人脸图像进行一系列预处理，以达到位置校准和灰度归一的目的。首先，进行图像旋转，使人脸的两眼连线保持水平，保证了人脸方向的一致性。其次，使人脸中双眼的连线的中点位于图像宽度的中心，且该中点在图像的高度上位于固定的位置，保证了人脸的位置的一致性。第三，对图像缩放变换，得到大小统一的校准图像。

另外由于图像不可避免地会受到不同方向的光照影响，使图像中人脸某一侧较亮或较暗，常会影响检测或识别。为了消除光照的影响而又不改变图像中各个像素的亮度的比例关系，我们运用了图像能量的概念。图像的能量定义为图像中每个像素灰度值的平方和。为了使每个待测区域的图像能量相同，可先取一个平均脸，求出其能量averyEnergy，然后除以每一待测区域的图像能量Energy²，那么，每一个待测的图像归一化的能量Energy＝Energy²*ratio具有相同的能量，也就是每一个待测图像的像素的灰度值乘以该比值的平方根，即

在立体匹配中希望能得到这样的结果：设点p₁＝(x₁，y₁，1)为左图像上的一点，则它在右图像上的对应极线方程为y＝y₁，对应点为p₂＝(x₂，y₂，1)。从中可以看出，图像需要经过校正提高了匹配的效率。

图像校正的过程，就是对两幅图像分别进行二维的变换。，即

U＝U_sU_rU_p

变换的执行顺序是从左到右。原始图像首先经过透视变换。这时，极点被移到了无穷远点，图像中的极线束就变成了一组平行直线。然后进行相似变换，这时，各极线和图像坐标系的横轴平行，即各极线保持水平。最后，为了减少畸变，进行错切变换，使得水平方向的图像畸变最小化。

基于肤色以然的人脸检测：

我们选择YCbCr颜色模型，对输入的彩色图像进行颜色空间转换。将其从相关性较高的RGB空间转换到颜色分量互不相关的YCbCr颜色空间。转换公式为：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\\ 1\end{array}\right]=\left[\begin{array}{cccc}0.2990& 0.5870& 0.1140& 0\\ -0.1687& -0.3313& -0.5000& 128\\ 0.5000& -0.4187& -0.0813& 128\\ 0& 0& 0& 0\end{array}\right]\·\left[\begin{array}{c}R\\ G\\ B\\ 1\end{array}\right]$

YIQ颜色空间来源于国家电视标准委员会(NTSC)，其中Y分量代表图像的亮度信息，I、Q两个分量则携带颜色信息，I分量代表从橙色到青色的颜色变化，而Q分量则代表从紫色到黄绿色的颜色变化。其中I分量基本涵盖了人的肤色的颜色范围，它对几类皮肤的颜色的敏感度是最高的。基于肤色似然的人脸检测主要步骤如下：

(1)把彩色图像由RGB空间转换到YCbCr空间。根据二维高斯模型G(m，Λ²)将一幅彩色图像转变为灰度图像，灰度值对应于该属于皮肤区域的可能性，然后通过自适应的方法取阈值，可以将灰度图像进一步变为二值图像g_ycbcr。

(2)把彩色图像由RGB空间转换到YIQ空间，提取I分量，当像素点的I分量的值在5＜I＜80时，则为肤色点，否则不是肤色点，进行分割得到二值图像g_yiq。

(3)二值图像g_ycbcr与二值图像g_yiq作“与”操作得到图像g_skin。

(4)对二值图像g_skin作闭合运算，其结构元素为3×3的单位矩阵，然后填充面积小于50像素的肤色区域(设定人脸的最小区域面积为50像素)。

面部特征点提取：

遮挡下的不可见点或未检测点通过使用主动外观模型(AAM)的全局形状和纹理约束估计。我们定义人脸特征点位置主要是围绕眼睛、鼻子、眉毛、嘴和人脸边缘定位。这些点提供任意人脸的通用形状信息。首先我们对睁开的眼睛(或闭着的眼睛)应用通用整个人脸形状模板来初始化整张脸，因此得到两个外眼角的近似位置。然后，我们应用局部主动形状模型(ASM)到嘴来估计嘴的轮廓得到由Canny操作符获得的嘴真实边缘。若眼睛检测为开着的且嘴检测为O形嘴，那么选择开眼和O形嘴整个人脸模板来搜索整个人脸轮廓；其它情况类似。充分利用多分辨率搜索，我们得到当ASM收敛或达到最大收敛次数时的整个人脸轮廓。总共64个特征点被自动定位在人脸上。

摄像机标定：

如图2所示，要从立体人脸图像对中提取人脸的3D信息，必须要实现摄像机的标定，即根据一组已知的条件利用摄像机模型来获取摄像机的各个内外参数。比较常用的摄像机模型是针孔透视模型。

我们采用基于平面棋盘格标记物的摄像机标定方法。为简化计算，设模板所在平面为世界坐标系的Z_w＝0平面。用ri表示R的第i列向量。那么对于模板平面上的点都有：

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 0\\ 1\end{array}\right]=A\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right]$

其中，(u，v)和(X_w，Y_w，Z_w)为空间点在图像坐标系和世界坐标系下的坐标，f_x，f_y，u₀，v₀是摄像机内部参数，旋转矩阵R和平移向量t描述摄像机与世界坐标系之间的关系，称之为摄像机的外部参数。令

H＝A[r₁ r₂ t]＝[h₁ h₂ h₃]，则上式可写为：

$s\stackrel{\‾}{m}=H\stackrel{\‾}{M}$

其中，A是摄像机内部参数，是模板上的点和它的像点之间的一个映射。若已知模板点的空间坐标和图像坐标，通过解最小二乘方程并用Levenberg-Marquarat算法进一步求精，就可以求得H矩阵，据此求摄像机的内外参数。利用Choleski分解就可以得到内参，然后利用矩阵A和H，求摄像头外参数，公式如下：

$\left\{\begin{array}{c}{r}_1=\mathrm{\λ}{A}^{-1}{h}_1,r_2=\mathrm{\λ}{A}^{-1}{h}_2,r_3=r_1\×r_2\\ t=\mathrm{\λ}{A}^{-1}{h}_3,\mathrm{\λ}=\frac{1}{\left|\right|A^{-1}{h}_1\left|\right|}=\frac{1}{\left|\right|A^{-1}{h}_2\left|\right|}\end{array}\right.$

图像畸变会对标定结果产生较大的影响。一般地，标定主要考虑径向畸变，忽略其它畸变因素。这里，我们采用Zhang的方法来处理畸变问题。

双目立体匹配：

匹配窗口的大小和相似性度量算子的选择将会直接影响匹配的精度和效率。权衡利弊，本专利折中选择5×5窗口进行特征匹配。而在相似性算子的选择上，应该在比较其效果的基础上选择合适的算子。我们选用相关性系数(互相关函数)r(d_x，d_y)作为相似性度量算子，它的计算公式如下式所示：

$r(d_x,d_y)=\left\{{\mathrm{\Σ}}_{(x,y)\∈S}\right[f_1(x,y)-{\stackrel{\‾}{f}}_1\left]\right[f_2(x+d_x,y+d_y)-{\stackrel{\‾}{f}}_2\left]\right\}/$

$\left\{{\left\{{\mathrm{\Σ}}_{(x,y)\∈S}{[f_1(x,y)-{\stackrel{\‾}{f}}_1]}^2{\mathrm{\Σ}}_{(x,y)\∈S}{[f_2(x+d_x,y+d_y)-{\stackrel{\‾}{f}}_2]}^2\right\}}^{1/2}\right\}$

其中和

是被匹配的两个区域中的所有像素灰度平均值，具有最大相关值的特征点就是匹配特征点。

我们采用的约束条件如下：

1)人脸区域约束：利用前面得到的准确人脸区域，再加上极线约束就可以在很小区域范围内进行搜索，性能上有很大的提高。

2)人脸对称性约束：比如，左图中的一点在人脸的左侧，则相应在右图中的匹配点只能在人脸的左侧，如果匹配出的点是在右侧，则一定为误匹配点，需要删掉，重新匹配，这样做也进一步减小了搜索范围。

3)最大视差约束：限定搜索范围在一定的视差值之内。

基于区域生长立体匹配算法的两个关键步骤是：

1)选择一组能正确代表所需区域的种子像素；

2)确定在生长过程中能将相邻像素包括进来的准则。

这里，我们设定将相邻像素合并到种子像素所在的区域的准则如下：对于与种子像素相邻的点，将种子像素的视差值d代入匹配代价函数，如果满足e(i，j，d)＜T，其中T为预先给定的匹配代价门限。那么就将相邻像素包括进来，这时所有合并到种子像素所在区域的像素具有相同的视差值，即整个生长区域具有相同的视差值。上述准则可以描述为：

$\left\{\begin{array}{c}d\left(i+1,j\right)=d(i,j),e(i+1,j,d(i,j))\≤T\\ d(i+1,j)=d_{\min \left\{e(i+1,j,d)\right\}},e(i+1,j,d(i,j))>T\end{array}\right.$

实际上，该算法可以理解为基于视差生长的立体匹配算法。具体算法如下：

种子像素的选取：初始化时，我们选择边缘特征点作为种子像素进行区域生长。当以边缘特征点作为种子像素的区域生长完成后，选择一个不属于任何已生长区域的像素点，在边缘特征点的视差约束下在一维的搜索窗中利用相关性系数(互相关函数)公式计算匹配代价函数，选取最可靠的视差。选取该点为种子像素，并且设该点视差为区域视差，然后执行第二步。如果没有找到任何小于预先给定的匹配代价门限T的匹配点，对下一个相邻像素点重复这个步骤。

区域的生长：利用种子像素的视差值，计算与种子像素相邻的像素点的匹配代价。如果满足上式，则将该像素包括进种子像素所在区域，否则丢弃该点。

视差图生成：反复执行第二步，直到没有可以再合并的像素为止，这样一个区域就生长成了。返回第一步找到新的种子像素后重复以上步骤。当图像中所有像素点被标记过后，则结束算法。此时，视差图d(i，j)生成。

三维人脸重建

本专利中，我们采用的双目立体视觉***由两个相同的摄像机组成，且它们坐标***的各对应轴平行，即平行光轴模型。设摄像机的焦距为f，两个光心间的距离(基线)为b，以左摄像机坐标系为世界坐标系，空间点P的世界坐标为(X，Y，Z)，在左右摄像机坐标系下的坐标分别为(x₁，y₁，z₁)和(x₂，y₂，z₂)，在左右图像平面上的坐标为(u₁，v₁)和(u₂，v₂)，其中视差d＝u₁-u₂。

由此，可计算空间点的三维坐标：

$\left\{\begin{array}{c}X=\frac{z}{f}{u}_1=\frac{u_1\·b}{d}\\ Y=\frac{z}{f}{v}_1=\frac{v_1\·b}{d}\\ Z=\frac{f\·b}{d}\end{array}\right.$

上式把三维物体的深度Z与视差d直接联系起来，而深度反映了三维空间信息。如果已知基线和焦距，确定视差d后就可以计算P点的Z坐标，进而求出P点的世界坐标X和Y。这样，我们运用上式得到了人脸立体图像对中所有匹配点的三维坐标。为了得到更加光滑的深度图，我们在计算深度Z之前使用5×5的中值滤波器对视差d进行平滑处理。

当所有匹配点的三维坐标都计算出来后，我们可以将这些离散点在三维空间中直接显示出来，但是为了得到真实感的三维人脸模型，我们有必要进行三维数据点的三角剖分。如果我们直接在三维空间中进行三角剖分，那么必须要讨论空间三个相邻点的位置问题，即以这三个点所构成的球体中不能包括其它的点。考虑到这种情况比较复杂，我们先将三维数据点一对一的投影到二维平面区域，在二维区域上进行投影点的三角化，然后通过点的对应关系基本上实现空间点的三角剖分。为了得到高质量三维人脸模型的三角形网格，我们对人脸散列数据点进行如下操作：

步骤1，三角剖分：对散列点云进行排序，搜索X坐标最小的点，设该点为v₁，按照与v₁点的距离的平方递增的顺序排列各点，形成序列v₁，v₂，v₃，…v_n。将v₁与v₂相连构造第一条边，在v_i序列中顺序搜索与v₁和v₂不共线的点，记作v_k，则将v_k***v₃前，其余点顺序后移，将v₁，v₂，v_k三点相连形成第一个三角形和初始网格前沿边界。接下来采用网格前沿技术，逐点向外扩展，根据最小内角最大准则形成初始的人脸三角网格。

步骤2，网格细分：采用Loop细分方法，这是一种基于三角形控制网格的细分，该细分方法所生成的曲面是基于四次B样条曲面。现已证明细分曲面在正则点处达到C²连续，在奇异点处达到C¹连续，具有细分规则简单、细分后光滑性好等特点。Loop细分算法是逼近型1-4***算法，基本思想是在三角形的每一边上新***一个节点后将其分成两段，原三角形的顶点将被新的节点代替，于是一个三角形单元将被四个小三角形单元代替。***点生成规则如下：

(1)若内部边有两个顶点v₀和v₁，共享此边的两个三角形为(v₀，v₁，v₂)和(v₀，v₁，v₃)，则新边点v_E为：

(2)若内部顶点v的1-邻域顶点为v_i(i＝0，1，…，n-1)，则新生成的顶点为v_V：

其中，β为邻点权值。

$\mathrm{\β}=\frac{1}{n}(\frac{5}{8}-{(\frac{3}{8}+\frac{1}{4}\cos \frac{2\mathrm{\π}}{n})}^2);n={\left|v\right|}_E.$

(3)若边界边的两个顶点为v₀和v₁，则新边点v_E为：

(4)若边界顶点v在边界上的两相邻顶点为v₀和v₁，则新生成的顶点为：

根据***点的生成规则计算出网格每一条边的边点v_E和每一个顶点的顶点v_V，将新边点和新顶点连接起来，生成一个新的三角网格，直到最后收敛于极限曲面。

步骤3网格优化：用Laplacian光顺技术调整内部节点位置得到优化的三维人脸模型。设三角形网格顶点v，v_i(i＝0，1，…，n-1)是与它邻接的n个网格顶点，则对顶点v的一阶、二阶Laplacian算子定义为：

$U\left(v\right)=\frac{1}{n}\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{v}_i-v,U^2\left(v\right)=\frac{1}{n}\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}U\left(v_i\right)-v$

我们对顶点使用迭代公式：

其中，

这里n_i和n_i，j分别是中心顶点p_i和它的第j个相邻点的入度。

另一方面，本发明还提供了一种基于双目立体视觉的智能三维人脸重建***，该***包括：

如图4所示，预处理模块40，用于对人脸图像进行包括图像归一化、亮度归一化和图像校正的预处理操作；人脸检测及特征点提取模块41，用于检测获取经过预处理操作的人脸图像中的人脸区域，并进行人脸特征点提取；摄像机标定模块42，用于通过投影矩阵重构对象，得到摄像机的内外参数，获得摄像机标定结果；双目立体匹配模块43，用于基于所述人脸特征点，将灰度互相关匹配算子扩展到颜色信息，并依据包括极线约束、人脸区域约束和人脸几何条件的信息来计算立体匹配生成的视差图；三维人脸重建模块44，用于根据所述摄像机标定结果和所述立体匹配生成的视差图计算人脸空间散列点云的三维坐标，生成三维人脸模型。

基于双目立体视觉的智能三维人脸重建***的原理与方法实施例相似，相互之间互相参照即可，在此不再赘述。

以上对本发明所提供的一种基于双目立体视觉的智能三维人脸重建方法及***进行详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种基于双目立体视觉的智能三维人脸重建方法，其特征在于，包括如下步骤：

预处理步骤，对人脸图像进行包括图像归一化、亮度归一化和图像校正的预处理操作；

人脸检测及特征点提取步骤，检测获取经过预处理操作的人脸图像中的人脸区域，并进行人脸特征点提取；

摄像机标定步骤，通过投影矩阵重构对象，得到摄像机的内外参数，获得摄像机标定结果；

双目立体匹配步骤，基于所述人脸特征点，将灰度互相关匹配算子扩展到颜色信息，并依据包括极线约束、人脸区域约束和人脸几何条件的信息来计算立体匹配生成的视差图；

三维人脸重建步骤，根据所述摄像机标定结果和所述立体匹配生成的视差图计算人脸空间散列点云的三维坐标，生成三维人脸模型。

2.根据权利要求1所述的智能三维人脸重建方法，其特征在于，所述预处理步骤中，所述图像归一化处理包括：

旋转步骤，对所述人脸图像进行旋转，使所述人脸图像中的两眼保持水平；

中点调整步骤，调整双眼连线的中点位于图像宽度的中心，且所述中心在所述人脸图像的高度上位于固定位置；

缩放变换步骤，对所述旋转后的人脸图像进行缩放变换，得到大小一致的标准图像。

3.根据权利要求2所述的智能三维人脸重建方法，其特征在于，所述预处理步骤中，所述亮度归一化处理包括：

待测图像能量计算步骤，令I(i，j)表示第i行，第j列像素的灰度值，计算待测图像的能量

比例因子计算步骤，定义一个平均脸，求出所述平均脸的能量AveryEnergy；依据下式确定比例因子ratio：

$\frac{\mathrm{AveryEnergy}}{{\mathrm{Energy}}^2}=\mathrm{ratio};$

亮度归一化步骤，依据

对待测图像中的每一个像素进行亮度归一化处理。

4.根据权利要求3所述的智能三维人脸重建方法，其特征在于，所述预处理步骤中，所述图像校正的处理包括：

对两幅图像分别进行二维的变换；原始图像首先经过透视变换，在极点被移到了无穷远点，图像中的极线束就变成了一组平行直线后，进行相似变换，各极线和图像坐标系的横轴平行；为了减少畸变，进行错切变换，使得水平方向的图像畸变最小化。

5.根据权利要求4所述的智能三维人脸重建方法，其特征在于，所述预处理步骤中，所述人脸检测及特征点提取步骤中，所述人脸区域通过肤色似然确定，包括如下步骤：

把彩色图像由RGB空间转换到YCbCr空间，根据二维高斯模型G(m，Λ²)将一幅彩色图像转变为灰度图像，灰度值对应于该属于皮肤区域的可能性，然后通过自适应的方法取阈值，可以将灰度图像进一步变为二值图像g_cbcr；

把彩色图像由RGB空间转换到YIQ空间，提取I分量，当像素点的I分量的值在5＜I＜80时，则为肤色点，否则不是肤色点，进行分割得到二值图像g_yiq；

二值图像g_ycbcr与二值图像g_yiq作“与”操作得到图像g_skin；

对二值图像g_skin作闭合运算，其结构元素为3×3的单位矩阵；设定人脸的最小区域面积为50像素，然后填充面积小于50像素的肤色区域。

6.根据权利要求5所述的智能三维人脸重建方法，其特征在于，所述人脸检测及特征点提取步骤中，所述人脸特征点通过主动形状模型提取包括：

对睁开的眼睛或闭着的眼睛应用通用整个人脸形状模板来初始化整张脸，得到两个外眼角的近似位置；

应用局部主动形状模型到嘴来估计嘴的轮廓，得到由Canny操作符获得的嘴真实边缘，若眼睛检测为开着的且嘴检测为O形嘴，选择开眼和O形嘴整个人脸模板来搜索整个人脸轮廓。

7.根据权利要求6所述的智能三维人脸重建方法，其特征在于，所述摄像机标定步骤中，基于平面棋盘格标记物标定摄像机的内外参数。

8.根据权利要求7所述的智能三维人脸重建方法，其特征在于，所述双目立体匹配步骤中，所述计算立体匹配生成的视差图通过种子像素的选取和区域生长来实现，包括：

种子像素选取步骤，选择边缘特征点作为种子像素进行区域生长，当以边缘特征点作为种子像素的区域生长完成后，选择一个不属于任何已生长区域的像素点，在边缘特征点的视差约束下在一维的搜索窗中利用相关性系数公式计算匹配代价函数，选取最可靠的视差，选取该点为种子像素，并且设该点视差为区域视差，然后区域生长步骤，如果没有找到任何小于预先给定的匹配代价门限T的匹配点，对下一个相邻像素点重复这个步骤；

区域生长步骤，利用种子像素的视差值，计算与种子像素相邻的像素点的匹配代价，将满足约束条件的像素包括进种子像素所在区域，否则丢弃该点；

视差图生成步骤，反复执行区域生长步骤，直到没有可以再合并的像素为止，这样一个区域就生长成了，返回种子像素选取步骤找到新的种子像素后重复以上步骤，当图像中所有像素点被标记过后，视差图d(i，j)生成。

9.根据权利要求8所述的智能三维人脸重建方法，其特征在于，所述三维人脸重建步骤中，获取人脸空间散列点云的三维坐标后，还包括对人脸的三维点云进行三角剖分、网格细分和网格优化步骤：

三角剖分步骤，对散列点进行排序，搜索X坐标最小的点，设该点为v₁，按照与v₁点的距离的平方递增的顺序排列各点，形成序列v₁，v₂，v₂，…，v_n，将v₁与v₂相连构造第一条边，在v_i序列中顺序搜索与v₁和v₂不共线的点，记作v_k，则将v_k***v₃前，其余点顺序后移，将v₁，v₂，v_k三点相连形成第一个三角形和初始网格前沿边界，接下来采用网格前沿技术，逐点向外扩展，根据最小内角最大准则形成初始的人脸三角网格；

网格细分步骤，采用Loop细分方法，这是一种基于三角形控制网格的细分，该细分方法所生成的曲面是基于四次B样条曲面；

网格优化步骤，用Laplacian光顺处理调整内部节点位置得到优化的三维人脸模型。

10.一种基于双目立体视觉的智能三维人脸重建***，其特征在于，包括：

预处理模块，用于对人脸图像进行包括图像归一化、亮度归一化和图像校正的预处理操作，包括图像归一化子模块、亮度归一化子模块和图像矫正子模块；

人脸检测及特征点提取模块，用于检测获取经过预处理操作的人脸图像中的人脸区域，并进行人脸特征点提取；

摄像机标定模块，用于通过投影矩阵重构对象，得到摄像机的内外参数，获得摄像机标定结果；

双目立体匹配模块，用于基于所述人脸特征点，将灰度互相关匹配算子扩展到颜色信息，并依据包括极线约束、人脸区域约束和人脸几何条件的信息来计算立体匹配生成的视差图；

三维人脸重建模块，用于根据所述摄像机标定结果和所述立体匹配生成的视差图计算人脸空间散列点云的三维坐标，生成三维人脸模型。

11.根据权利要求10所述的智能三维人脸重建***，其特征在于，所述预处理模块中，图像归一化子模块包括：

旋转单元，用于对所述人脸图像进行旋转，使所述人脸图像中的两眼保持水平；

中点调整单元，用于调整双眼连线的中点位于图像宽度的中心，且所述中心在所述人脸图像的高度上位于固定位置；

缩放变换单元，用于对所述旋转后的人脸图像进行缩放变换，得到大小一致的标准图像。

12.根据权利要求11所述的智能三维人脸重建***，其特征在于，所述预处理模块中，所述亮度归一化子模块包括：

待测图像能量计算单元，用于令I(i，j)表示第i行，第j列像素的灰度值，计算待测图像的能量

比例因子计算单元，用于定义一个平均脸，求出所述平均脸的能量AveryEnergy；依据下式确定比例因子ratio：

$\frac{\mathrm{AveryEnergy}}{\mathrm{Energ}{y}^2}=\mathrm{ratio};$

亮度归一化单元，用于依据对待测图像中的每一个像素进行亮度归一化处理。

13.根据权利要求12所述的智能三维人脸重建***，其特征在于，所述预处理步骤中，所述图像矫正子模块用于：

对两幅图像分别进行二维的变换；原始图像首先经过透视变换，在极点被移到了无穷远点，图像中的极线束就变成了一组平行直线后，进行相似变换，各极线和图像坐标系的横轴平行；为了减少畸变，进行错切变换，使得水平方向的图像畸变最小化。

14.根据权利要求13所述的智能三维人脸重建***，其特征在于，所述人脸检测及特征点提取模块中，所述人脸区域通过肤色似然确定，包括：

用于把彩色图像由RGB空间转换到YCbCr空间，根据二维高斯模型G(m，Λ²)将一幅彩色图像转变为灰度图像，灰度值对应于该属于皮肤区域的可能性，然后通过自适应的方法取阈值，可以将灰度图像进一步变为二值图像g_ycbcr的单元；

用于把彩色图像由RGB空间转换到YIQ空间，提取I分量，当像素点的I分量的值在5＜I＜80时，则为肤色点，否则不是肤色点，进行分割得到二值图像g_yiq的单元

用于二值图像g_ycbcr与二值图像g_yiq作“与”操作得到图像g_skin的单元

用于对二值图像g_skin作闭合运算，其结构元素为3×3的单位矩阵；设定人脸的最小区域面积为50像素，然后填充面积小于50像素的肤色区域的单元

15.根据权利要求14所述的智能三维人脸重建***，其特征在于，所述人脸检测及特征点提取模块中，所述人脸特征点通过主动形状模型提取，包括：

用于对睁开的眼睛或闭着的眼睛应用通用整个人脸形状模板来初始化整张脸，得到两个外眼角的近似位置的单元；

用于应用局部主动形状模型到嘴来估计嘴的轮廓，得到由Canny操作符获得的嘴真实边缘，若眼睛检测为开着的且嘴检测为O形嘴，选择开眼和O形嘴整个人脸模板来搜索整个人脸轮廓的单元。

16.根据权利要求15所述的智能三维人脸重建***，其特征在于，所述摄像机标定模块中，基于平面棋盘格标记物标定摄像机的内外参数。

17.根据权利要求16所述的智能三维人脸重建***，其特征在于，所述双目立体匹配模块中，所述计算立体匹配生成的视差图通过种子像素的选取和区域生长来实现，包括：

种子像素选取单元，用于选择边缘特征点作为种子像素进行区域生长，当以边缘特征点作为种子像素的区域生长完成后，选择一个不属于任何已生长区域的像素点，在边缘特征点的视差约束下在一维的搜索窗中利用相关性系数公式计算匹配代价函数，选取最可靠的视差，选取该点为种子像素，并且设该点视差为区域视差，然后区域生长步骤，如果没有找到任何小于预先给定的匹配代价门限T的匹配点，对下一个相邻像素点重复这个步骤；

区域生长单元，用于利用种子像素的视差值，计算与种子像素相邻的像素点的匹配代价，将满足约束条件的像素包括进种子像素所在区域，否则丢弃该点；

视差图生成单元，用于反复执行区域生长步骤，直到没有可以再合并的像素为止，这样一个区域就生长成了，返回种子像素选取步骤找到新的种子像素后重复以上步骤，当图像中所有像素点被标记过后，视差图d(i，j)生成。

18.根据权利要求17所述的智能三维人脸重建***，其特征在于，所述三维人脸重建模块中，获取人脸空间散列点云的三维坐标后，还包括对人脸的三维点云进行三角剖分、网格细分和网格优化的单元：

三角剖分单元，用于对散列点进行排序，搜索X坐标最小的点，设该点为v₁，按照与v₁点的距离的平方递增的顺序排列各点，形成序列v₁，v₂，v₃，…，v_n，将v₁与v₂相连构造第一条边，在v_i序列中顺序搜索与v₁和v₂不共线的点，记作v_k，则将v_k***v₃前，其余点顺序后移，将v₁，v₂，v_k三点相连形成第一个三角形和初始网格前沿边界，接下来采用网格前沿技术，逐点向外扩展，根据最小内角最大准则形成初始的人脸三角网格；

网格细分单元，用于采用Loop细分方法，这是一种基于三角形控制网格的细分，该细分方法所生成的曲面是基于四次B样条曲面；

网格优化单元，用于用Laplacian光顺处理调整内部节点位置得到优化的三维人脸模型。

Images