CN108257210A - 一种通过单张照片生成人脸三维模型的方法 - Google Patents

Abstract

本发明公开了一种通过单张照片生成人脸三维模型的方法，步骤S1：建立人脸照片特征库；步骤S2：获取待生成人脸的正面照图像；步骤S3：对正面照图像进行人脸特征点标定，计算待生成人脸的正面照特征向量；步骤S4：根据所述待生成人脸的正面照特征向量调整标准模型；步骤S5：结合所述待生成人脸的正面照特征向量和人脸照片特征库，预测待生成人脸的侧面参数，并依此调整步骤S4得到的标准模型；步骤S6：生成人脸二维纹理贴图；步骤S7：生成最终人脸模型。本发明通过单张正面照生成更为精确的人脸三维模型。

Description

一种通过单张照片生成人脸三维模型的方法

技术领域

本发明涉及计算机图形学领域，尤其涉及一种通过单张照片生成人脸三维模型的方法。

背景技术

现实世界中的物体都是三维的，如何从二维的平面图片中还原图形的三维立体信息，一直是计算机图形学领域的热点研究问题。在人类视觉***中，人脸是最为复杂的对象之一，富含重要的生理和心理信息。现有技术中，已公开的人脸三维建模技术有以下三种：(1)基于三维扫描仪的人脸三维建模；(2)基于多张人脸照片的人脸三维建模；(3)基于单张人脸照片的人脸三维建模。前两项技术主要存在需要硬件支持、灵活性差、增加人工操作等问题，第三项技术相对应用性更高。

但是，现有基于单张人脸照片生成人脸三维模型的方法，如发明专利CN201710511830和CN201610994793，仍有以下两个问题：(1)均使用标准三维人脸模型，但并不一定适应所有人的脸型，会从脸型上影响生成模型的真实性；(2)由于使用单张正面照生成人脸三维模型，不能获得真实的人脸侧面参数(深度信息)，也会影响到生成模型的真实性和精确性。

发明内容

有鉴于此，本发明的目的在于提供一种通过单张照片生成人脸三维模型的方法，通过单张正面照生成更为精确的人脸三维模型。

为实现上述目的，本发明提供如下技术方案：

一种通过单张照片生成人脸三维模型的方法，其特征在于，包括以下步骤：

步骤S1：建立人脸照片特征库，每一样本包括一张正面照、一张右侧面照、一张左侧面照及对应的正面照特征向量、左侧面照特征向量、右侧面照特征向量；

步骤S2：获取待生成人脸的正面照图像；

步骤S3：对正面照图像进行人脸特征点标定，计算待生成人脸的正面照特征向量；

步骤S4：根据所述待生成人脸的正面照特征向量调整标准模型；

步骤S5：结合所述待生成人脸的正面照特征向量和人脸照片特征库，预测待生成人脸的侧面参数，并依此调整步骤S4得到的标准模型；

步骤S6：生成人脸二维纹理贴图；

步骤S7：生成最终人脸模型。

进一步的，所述步骤S3中，正面照特征向量的计算方法如下：

步骤S31：标记正面照图像中的m个特征点；

步骤S32：以照片左上角为坐标原点计算出所有特征点的坐标；

步骤S33：构成m维的正面照特征向量其中为正面照图像中第i个特征点的坐标，i为自然数且i∈[1,m]。

进一步的，所述正面照图像的特征点包括左眼中心点、右眼中心点、左鼻孔外缘、右鼻孔外缘、左嘴角、右嘴角、下巴底部、右下颚角外缘、左下颚角外缘、右颧骨外缘、左颧骨外缘。

进一步的，所述步骤S4中标准模型的调整方法如下：

其中，为正面照图像中第i个特征点的横坐标，为标准模型中第i个特征点的横坐标，Φ为尺度因子，为标准模型中第i个特征点的横坐标调整值；Y_i ^正为正面照图像中第i个特征点的纵坐标，为标准模型中第i个特征点的纵坐标，ΔY_i ^正为标准模型中第i个特征点的纵坐标调整值。

进一步的，所述标准模型的调整方法还包括，

步骤S41：获取上述标准模型调整后的特征点坐标，并转换为三维坐标；

步骤S42：模型尺度变换，对特征点的三维坐标的三个分量作尺度变换；

步骤S43：模型旋转变换，利用头部旋转角构建头部旋转矩阵，乘以特征点矢量，其中，沿z轴的旋转角为:

沿y轴的旋转角为:

θ_y＝(180/π)(Δd/H)

其中，Δd为特征点到脸轮廓的不对称差，H为特征点的平均深度；

步骤S44：使用反向距离线性内插法调整非特征点。

进一步的，所述步骤S5的具体内容如下：将步骤S3中获得的待生成人脸的正面照特征向量与人脸照片特征库中每个样本的正面照特征向量做相似度度量，计算两者的相似程度；并以相似度最小的样本对应的左侧面照特征向量、右侧面照特征向量作为待生成人脸的左侧面照特征向量、右侧面照特征向量，通过步骤S4中的模型调整方法对标准模型的侧面参数进行调节。

进一步的，所述相似度度量采用皮尔森相关系数法。

进一步的，所述步骤S6的具体步骤如下：

步骤S61：三维人脸网格二维参数化，建立三维人脸网格与UV二维平面的映射关系，首先采用柱面投影方法，获得网格点G(x,y,z)的圆柱投影坐标(p,q)：

其中，0≤p≤2π，0≤q≤H，z_low为人脸网格最低点的z值，H为网格的高度；

进一步将圆柱面展开为矩形平面，该网格点对应的二维参数化空间中的点坐标(u,v)为

其中，0≤u≤1，0≤v≤1，通过以上两步，即获得三维人脸网格的二维参数化坐标空间；

步骤S62：纹理映射关系构建，采用透视投影模型建立人脸照片和三维人脸网格间的纹理映射关系；

步骤S63：生成人脸二维纹理贴图，对于三维人脸网格中网格点G(x,y,z)，由步骤S61可得二维参数化平面上的对应坐标(u,v)；同时网格点G(x,y,z)由步骤S62构建的纹理映射关系，在人脸照片中存在像素点I(r,s)与其对应，将人脸照片中的像素点I(r,s)的颜色添加至坐标(u,v)，即可生成人脸二维纹理贴图。

与现有技术相比，本发明的有益效果是：

(1)通过单张正面照片生成人脸三维模型；

(2)通过人脸关键点调整标准模型，针对不同用户获得更精确的人脸模型；

(3)基于人脸参数相似性匹配，预测人脸侧面参数(深度信息)，针对不同用户获得更精确的人脸模型。

附图说明

图1为本发明整体方法的流程图。

图2为本发明标准模型调整方法的流程图。

图3为本发明生成人脸二维纹理贴图的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种通过单张照片生成人脸三维模型的方法，其特征在于，包括以下步骤：

步骤S1：建立人脸照片特征库，每一样本包括一张正面照、一张右侧面照、一张左侧面照及对应的正面照特征向量、左侧面照特征向量、右侧面照特征向量；照片要求表情自然、无眼镜配饰、光线充足但无过度曝光，同时保证图片质量，尺寸为750像素×1000像素，精度为300dpi。于本实施例中，人脸照片特征库中包括1000个样本，其中分为两部分：(1)200个样本通过相机直接拍摄，年龄均匀分布在18-65岁间；(2)800个样本从中科院的CAS-PEAL人脸数据库中直接获得。

其中特征向量的计算方法如下：手动标记照片中的m个特征点；以照片左上角为坐标原点(0，0)计算出所有特征点的坐标；构成m维的特征向量((X₁,Y₁),(X₂,Y₂),...,(X_m,Y_m))，其中(X_i,Y_i)为图像中第i个特征点的坐标，i为自然数且i∈[1,m]。于本实施例中，正面照包括11个特征点：左眼中心点、右眼中心点、左鼻孔外缘、右鼻孔外缘、左嘴角、右嘴角、下巴底部、右下颚角外缘、左下颚角外缘、右颧骨外缘、左颧骨外缘，构成11维的正面照特征向量右侧面照和左侧面照均包括9个特征点：鼻梁点、眼睛外缘、鼻柱点、鼻尖、鼻基处、上唇外缘、下唇外缘、颏前尖点、下颌下缘点，分别构成9维的右侧面照特征向量和9维的左侧面照特征向量所有样本的照片和所有照片的特征向量构成人脸照片特征库，为后续的模型参数调整做准备。

步骤S2：获取待生成人脸的正面照图像；用户通过手机、相机、摄像头等拍摄工具获取单张待生成人脸的正面照图像，要求与样本一致，即照片要求表情自然、无眼镜配饰、光线充足但无过度曝光，同时保证图片质量，尺寸为750像素×1000像素，精度为300dpi。

步骤S3：对正面照图像进行人脸特征点标定，计算待生成人脸的正面照特征向量；具体请参照步骤S1中正面照特征向量的计算方法，获得实际的正面照特征向量

步骤S4：根据所述待生成人脸的正面照特征向量调整标准模型；具体通过实际的正面照特征点的坐标与标准模型对应特征点的坐标相比较，调整标准模型以获得更为精确的人脸模型。以正面照为例，需调整的模型参数为：

其中，为正面照图像中第i个特征点的横坐标，为标准模型中第i个特征点的横坐标，Φ为尺度因子，为标准模型中第i个特征点的横坐标调整值；Y_i ^正为正面照图像中第i个特征点的纵坐标，为标准模型中第i个特征点的纵坐标，ΔY_i ^正为标准模型中第i个特征点的纵坐标调整值。

将正面照图像中所有特征点按上述两公式计算并构成标准模型参数调整向量按此对标准模型进行调整，以获得更精确的脸部模型。本实施例采用的标准模型为FaceGen公司FaceGen Modeller软件中的csamDefault31男性标准模型和csamDefault33女性标准模型。

请参照图2，所述标准模型的调整方法还包括，

步骤S41：基于标准模型参数调整向量，获取上述标准模型调整后的特征点坐标，并转换为三维坐标；

步骤S42：模型尺度变换，对特征点的三维坐标的三个分量作尺度变换，方法为尺度因子乘以特征点矢量；

步骤S43：模型旋转变换，利用头部旋转角构建头部旋转矩阵，乘以特征点矢量，其中，沿z轴的旋转角为:

沿y轴的旋转角为:

θ_y＝(180/π)(Δd/H)

其中，Δd为特征点到脸轮廓的不对称差，H为特征点的平均深度；

步骤S44：使用反向距离线性内插法调整非特征点。首先使用欧氏距离求出每一个非特征点距离最近的若干个特征点，由这些特征点的内插值求出这个非特征点的位移矢量

其中，d_j为最近的n个特征点的位移矢量，X_j为非特征点，X_i为特征点。最后计算各非特征点的三维坐标。

步骤S5：结合所述待生成人脸的正面照特征向量和人脸照片特征库，预测待生成人脸的侧面参数，并依此调整步骤S4得到的标准模型；具体内容如下：将步骤S3中获得的待生成人脸的正面照特征向量与人脸照片特征库中每个样本的正面照特征向量做相似度度量，计算两者的相似程度；相似度度量的值越大，说明个体间相似度越大，差异越小。并以相似度最小的样本对应的左侧面照特征向量、右侧面照特征向量作为待生成人脸的左侧面照特征向量、右侧面照特征向量，通过步骤S4中的模型调整方法对标准模型的侧面参数进行调节，以获得更为精确的人脸模型。

所述的相似度度量方法采用皮尔森相关系数(Pearson CorrelationCoefficient)方法，分别对实际正面照特征向量和人脸照片特征库中每个样本的正面照特征向量基于自身总体标准化后计算空间向量的余弦夹角

其中，分子是协方差，分母是两个变量标准差的乘积，C为实际正面照特征向量，D_i为人脸照片特征库中第i个样本的正面照特征向量，E(·)代表期望值。

步骤S6：生成人脸二维纹理贴图；请参照图3，具体步骤如下：

步骤S61：三维人脸网格二维参数化，建立三维人脸网格与UV二维平面的映射关系，首先采用柱面投影方法，获得网格点G(x,y,z)的圆柱投影坐标(p,q)：

其中，0≤p≤2π，0≤q≤H，z_low为人脸网格最低点的z值，H为网格的高度；

进一步将圆柱面展开为矩形平面，该网格点对应的二维参数化空间中的点坐标(u,v)为

其中，0≤u≤1，0≤v≤1，通过以上两步，即获得三维人脸网格的二维参数化坐标空间；

步骤S62：纹理映射关系构建，采用透视投影模型建立人脸照片和三维人脸网格间的纹理映射关系；

步骤S63：生成人脸二维纹理贴图，对于三维人脸网格中网格点G(x,y,z)，由步骤S61可得二维参数化平面上的对应坐标(u,v)；同时网格点G(x,y,z)由步骤S62构建的纹理映射关系，在人脸照片中存在像素点I(r,s)与其对应，将人脸照片中的像素点I(r,s)的颜色添加至坐标(u,v)，即可生成人脸二维纹理贴图。

步骤S7：生成最终人脸模型。将步骤S6生成的人脸二维纹理贴图通过参数化关系映射到调整后标准模型的三维人脸网格上，即获得最终的带纹理的人脸模型。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.一种通过单张照片生成人脸三维模型的方法，其特征在于，包括以下步骤：

步骤S1：建立人脸照片特征库，每一样本包括一张正面照、一张右侧面照、一张左侧面照及对应的正面照特征向量、左侧面照特征向量、右侧面照特征向量；

步骤S2：获取待生成人脸的正面照图像；

步骤S3：对正面照图像进行人脸特征点标定，计算待生成人脸的正面照特征向量；

步骤S4：根据所述待生成人脸的正面照特征向量调整标准模型；

步骤S5：结合所述待生成人脸的正面照特征向量和人脸照片特征库，预测待生成人脸的侧面参数，并依此调整步骤S4得到的标准模型；

步骤S6：生成人脸二维纹理贴图；

步骤S7：生成最终人脸模型。

2.根据权利要求1所述的通过单张照片生成人脸三维模型的方法，其特征在于，所述步骤S3中，正面照特征向量的计算方法如下：

步骤S31：标记正面照图像中的m个特征点；

步骤S32：以照片左上角为坐标原点计算出所有特征点的坐标；

步骤S33：构成m维的正面照特征向量其中为正面照图像中第i个特征点的坐标，i为自然数且i∈[1,m]。

3.根据权利要求2所述的通过单张照片生成人脸三维模型的方法，其特征在于，所述正面照图像的特征点包括左眼中心点、右眼中心点、左鼻孔外缘、右鼻孔外缘、左嘴角、右嘴角、下巴底部、右下颚角外缘、左下颚角外缘、右颧骨外缘、左颧骨外缘。

4.根据权利要求1所述的通过单张照片生成人脸三维模型的方法，其特征在于，所述步骤S4中标准模型的调整方法如下：

其中，为正面照图像中第i个特征点的横坐标，为标准模型中第i个特征点的横坐标，Φ为尺度因子，为标准模型中第i个特征点的横坐标调整值；为正面照图像中第i个特征点的纵坐标，为标准模型中第i个特征点的纵坐标，为标准模型中第i个特征点的纵坐标调整值。

5.根据权利要求4所述的通过单张照片生成人脸三维模型的方法，其特征在于，所述标准模型的调整方法还包括，

步骤S41：获取上述标准模型调整后的特征点坐标，并转换为三维坐标；

步骤S42：模型尺度变换，对特征点的三维坐标的三个分量作尺度变换；

步骤S43：模型旋转变换，利用头部旋转角构建头部旋转矩阵，乘以特征点矢量，其中，沿z轴的旋转角为:

沿y轴的旋转角为:

θ_y＝(180/π)(Δd/H)

其中，Δd为特征点到脸轮廓的不对称差，H为特征点的平均深度；

步骤S44：使用反向距离线性内插法调整非特征点。

6.根据权利要求1所述的通过单张照片生成人脸三维模型的方法，其特征在于，所述步骤S5的具体内容如下：将步骤S3中获得的待生成人脸的正面照特征向量与人脸照片特征库中每个样本的正面照特征向量做相似度度量，计算两者的相似程度；并以相似度最小的样本对应的左侧面照特征向量、右侧面照特征向量作为待生成人脸的左侧面照特征向量、右侧面照特征向量，通过步骤S4中的模型调整方法对标准模型的侧面参数进行调节。

7.根据权利要求6所述的通过单张照片生成人脸三维模型的方法，其特征在于，所述相似度度量采用皮尔森相关系数法。

8.根据权利要求1所述的通过单张照片生成人脸三维模型的方法，其特征在于，所述步骤S6的具体步骤如下：

步骤S61：三维人脸网格二维参数化，建立三维人脸网格与UV二维平面的映射关系，首先采用柱面投影方法，获得网格点G(x,y,z)的圆柱投影坐标(p,q)：

其中，0≤p≤2π，0≤q≤H，z_low为人脸网格最低点的z值，H为网格的高度；

进一步将圆柱面展开为矩形平面，该网格点对应的二维参数化空间中的点坐标(u,v)为

其中，0≤u≤1，0≤v≤1，通过以上两步，即获得三维人脸网格的二维参数化坐标空间；

步骤S62：纹理映射关系构建，采用透视投影模型建立人脸照片和三维人脸网格间的纹理映射关系；

步骤S63：生成人脸二维纹理贴图，对于三维人脸网格中网格点G(x,y,z)，由步骤S61可得二维参数化平面上的对应坐标(u,v)；同时网格点G(x,y,z)由步骤S62构建的纹理映射关系，在人脸照片中存在像素点I(r,s)与其对应，将人脸照片中的像素点I(r,s)的颜色添加至坐标(u,v)，即可生成人脸二维纹理贴图。