CN115546409A - 一种三维人脸模型自动生成方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体为一种三维人脸模型自动生成方法，其特征在于，该三维人脸模型自动生成方法的具体步骤为：数据加载处理、基于计算机视觉的用户模型生成、用户模型网格重拓扑、模型网格局部形状优化、模型网格融合拼接、输出结果模型。网格生成方法依据人脸予以关键点确保2D映射准确；网格变形和平滑方法在合理变形的前提下使用户模型和标准人脸模型在3D空间更接近，使映射更准确；重拓扑模型网格局部形状优化，利用原始网格信息，修正网格畸形情况，提高模型的质量。模型网格融合拼接，采用网格变形和网格平滑方法，使得输出结果即符合设计需求，也保证模型的完整性和高质量，减少后期处理工作。

Description

一种三维人脸模型自动生成方法

技术领域

本发明涉及电机技术领域，具体为一种三维人脸模型自动生成方法。

背景技术

三维人脸模型生成是一种通过采集人脸信息，并采用图像处理方法、计算机视觉原理、三维网格处理和三维点云处理等方法计算人脸的3D信息。根据数据采集和生成原理的不同可以将三维人脸模型生成技术分为2D图像生成和3D扫描获取。2D图像生成一般是指从图像还原人脸的3D信息；3D扫描获取是指从3D扫描设备捕获人脸3D信息后再进行后处理的方式。其中2D图像生成三维人脸模型的方式适用范围广、低成本、高效率等特点，在虚拟现实、游戏、直播、电影等领域具有十分广阔的应用空间。

目前基于2D图像的三维人脸模型生成主要依靠计算机视觉方法，该类方法基于手工标注的人脸图像数据集和参数化的可变形人脸模型，训练得到一个生成模型。其中参数化的可变性人脸模型，可调整参数得到不同脸型和表情的结果。针对一张人脸图像，该生成模型生成的3D人脸模型能够投影出与人脸图像残差较小的图像，并且与参数化的可变形人脸模型具有一致的拓扑关系。参数化的可变形人脸模型中的网格顶点数量比较稠密，数据量相对较大。

通过计算机视觉方法所得3D人脸模型，其拓扑关系固定、网格顶点数量较多，对计算性能、灵活度要求较高的应用难以适用。

一方面，计算机视觉方法所得3D人脸模型能够较好的还原人脸的纹理信息和形状信息，但是其固定的拓扑关系导致其无法灵活应用到实际***当中。尤其是对3D应用，通常需要整个人体的模型或者完整的头部模型，而且需要模型设计人员指定模型的拓扑结构。所以计算机视觉方法所得的3D人脸模型不满足上述情况。另一方面，计算机视觉方法所得的3D人脸模型具有稠密的网格顶点，无论在应用***的渲染性能还是模型自身更新等方面都会影响计算性能。

发明内容

本发明的目的在于提供一种三维人脸模型自动生成方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种三维人脸模型自动生成方法，该三维人脸模型自动生成方法的具体步骤为：

数据加载处理，针对两个类型的数据，首先是加载用户人脸图像I_usr，其次是标准人脸模型；

用户人脸图像I_usr指以人脸前面部为主要部分的图像，在加载图像之后会对其进行语义关键点的检测；

标准人脸模型是指带有脸部区域或除脸部区域以外其它人体部位的3D模型，标准人脸模型脸部区域在设计时进行划分，根据标准人脸模型指定的脸部区域将人脸三维信息M_std和纹理信息I_std提取出来，然后将人脸正面区域的纹理信息投影到图像上，得到标准人脸模型投影图I_{std_prj}，然后在标准人脸模型投影图I_{std_prj}中检测语义关键点P_{key_std}；

基于计算机视觉的用户模型M_usr生成，针对单张用户图像并结合人脸图像的语义关键点P_{key_std}自动生成用户模型M_usr，该用户模型M_usr含有用户的纹理信息I_std和用户脸部形状信息；

利用语义关键点P_{key_std}和人脸边缘信息优化用户模型M_usr，人脸图像中每个语义关键点均能在用户模型M_usr中对应一个固定索引的三维顶点，这些三维顶点称为用户模型三维关键点V_key；

用户模型网格重拓扑过程，是将用户模型M_usr的拓扑结构重构成标准人脸模型的拓扑结构，该过程利用纹理信息I_std和模型三维信息，分别计算2D映射和3D映射，得到重拓扑后的用户人脸模型；

在计算映射的过程中加入边界约束，将网格顶点与映射点连线，计算连线与映射点法平面夹角、两点法向量夹角和连线长度，为这三个数值设置阈值，超出范围则认定为边界之外，不作映射；

模型网格局部形状优化过程，是对重拓扑后的用户人脸模型依据标准人脸模型网格表面几何信息对存在畸形的网格进行优化，畸形是指网格出现尖锐、***和重叠现象，对重拓扑后的标准人脸网格顶点，将该点在原始标准人脸模型网格中的相邻点，刚性配准到重拓扑后的空间，以找到当前点的修正点；

网格优化完成之后，需要对重拓扑后的用户人脸模型在纹理图像上的uv坐标进行更新，针对每个优化后的网格顶点查找用户模型M_usr中多个最近点，利用这些最近点的uv坐标插值得到新的uv坐标，并赋给重拓扑后的用户人脸模型；

模型网格融合拼接过程，是对已重拓扑部分的用户人脸模型与标准人脸模型进行融合操作，将带有用户人脸信息的重拓扑模型融入标准人脸模型，生成用户标准模型；

输出结果模型，将用户标准模型输出。

进一步地，所述标准人脸模型带有骨骼和蒙皮信息，能够模拟人体动作和表情。

进一步地，所述用户脸部形状信息包含脸部平均模型T、形状参数alpha、形状基S、表情参数beta和表情基E，用户模型M_usr三维信息的表达式为：

M_usr＝T+alpha*S+beta*E。

进一步地，所述3D映射是利用刚性配准、网格变形使用户人脸模型和标准人脸模型的表面在空间中重合度更高，从而找到映射关系以达到重拓扑的目的，配准和变形的方向是从标准人脸模型到用户人脸模型，其中刚性配准能够在不改变模型形状的前提下保证两个模型在空间中重合度最大。

进一步地，利用人脸图像的语义关键点P_{key_std}和用户模型三维关键点V_key的投影点V_{key_proj}的误差构造问题求解模型，求解最优的姿态R、形状参数alpha和表情参数beta；

上述公式中n表示参与优化的关键点数量，当用户模型M_usr初始姿态出现侧脸达到一定阈值，则被遮挡的关键点将不参与优化，所以n的数值根据用户模型M_usr初始姿态确定。

进一步地，所述2D映射是利用用户模型M_usr的投影坐标、用户人脸语义关键点P_key和标准人脸模型投影的语义关键点P_{key_std}，在二维空间上对投影坐标进行仿射变换，从而找到标准模型到用户模型M_usr的初步映射。

进一步地，所述网格变形和网格平滑均能实现网格融合，网格平滑是对接缝处局部出现尖锐凸起或凹陷的情况进行平滑操作，所述网格变形是利用已重拓扑部分的边缘点作为控制点，对未重拓扑部分的模型进行变形操作。

与现有技术相比，本发明的有益效果是：

本方案可以按照指定拓扑结构生成用户的人脸模型，可按照生产需求灵活给出正确的结果模型。用户模型生成过程中充分利用人脸图像数据，生成的模型的人脸形状更精确、纹理映射更准确。用户模型网格重拓扑过程中，充分利用2D纹理信息和3D网格信息，使得网格顶点映射更鲁棒。用户模型网格重拓扑过程中，采用网格生成方法、网格变形方法和网格平滑方法相结合。网格生成方法依据人脸予以关键点确保2D映射准确；网格变形和平滑方法在合理变形的前提下使用户模型和标准人脸模型在3D空间更接近，使映射更准确；重拓扑模型网格局部形状优化，利用原始网格信息，修正网格畸形情况，提高模型的质量。模型网格融合拼接，采用网格变形和网格平滑方法，使得输出结果即符合设计需求，也保证模型的完整性和高质量，减少后期处理工作。

附图说明

图1为本发明方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例：

请参阅图1，本发明提供一种技术方案：本案提出方法所包含过程的特征为：

a)数据加载处理，主要针对两各类型的数据。首先是加载用户人脸图像I_usr，其次是标准人脸模型。

用户人脸图像指以人脸前面部为主要部分的图像，本案在加载图像之后会对其进行语义关键点的检测。

标准人脸模型是指带有人脸部分或除人脸部分以外其它人体部位的3D模型。标准人脸模型可带有骨骼和蒙皮信息，可模拟人体动作和表情。标准人脸模型脸部区域在设计时已进行划分，本案根据标准人脸模型指定的人脸区域将人脸三维信息M_std和纹理信息I_std提取出来。然后将人脸正面区域的纹理信息投影到图像上，得到标准人脸模型投影图I_{std_prj}。然后在标准人脸模型投影图I_{std_prj}中检测人脸的语义关键点P_{key_std}。

b)基于计算机视觉的用户模型M_usr生成过程，是针对单张用户图像并结合人脸图像的语义关键点P_{key_std}自动生成用户模型M_usr，该用户模型M_usr含有用户的人脸纹理信息和用户脸部形状信息。其中形状信息包含脸部平均模型T、形状参数alpha、形状基S、表情参数beta和表情基E。用户模型三维信息的表达式为：

M_usr＝T+alpha*S+beta*E

由于直接生成的用户模型M_usr在用户人脸图像上的投影存在偏差，产生偏差主要原因是用户模型的位姿和形状。利用图像语义关键点和人脸边缘信息优化用户模型。人脸图像中每个语义关键点都可以在用户模型M_usr中对应一个固定索引的三维顶点，这些点称为用户模型三维关键点V_key。针对用户模型M_usr在用户人脸图像上投影误差问题，本案利用人脸图像语义关键点P_key和用户模型三维关键点V_key的投影点V_{key_proj}的误差构造问题求解模型，求解最优的姿态R、形状参数alpha和表情参数beta。

上述公式中n表示参与优化的关键点数量，当用户模型初始姿态出现侧脸达到一定阈值，则被遮挡的关键点将不参与优化，所以n的数值根据用户模型初始姿态确定。

c)用户模型网格重拓扑过程，是将用户模型的拓扑结构重构成标准人脸模型的拓扑结构。该过程利用人脸纹理信息和模型三维信息，分别计算2D映射和3D映射，得到重拓扑后的用户人脸模型，可单独使用3D映射。单独使用2D映射会存在错误映射。两者结合效果更好。

2D映射是利用用户模型的投影坐标、用户人脸语义关键点P_key和标准人脸模型投影语义关键点P_{key_std}，在二维空间上对投影坐标进行仿射变换，从而找到标准模型到用户模型的初步映射。这种映射方法计算量小，速度更快。

3D映射是利用刚性配准、网格变形等方法使用户人脸模型和标准人脸模型的表面在空间中重合度更高，从而找到映射关系以达到重拓扑的目的。配准和变形的方向是从标准人脸模型到用户人脸模型。其中刚性配准能够在不改变模型形状的前提下保证两个模型在空间中重合度最大。因为标准人脸模型的形状与用户模型的形状存在一定差别，若只用刚体配准来找映射，会导致五官部位出现严重的错误映射。网格变形方法是指通过改变模型的形状以拟合目标模型的形状，使两个模型曲面在空间中更贴近。但网格变形方法需要在两个模型已大致配准的情况下效果才更好，所以需要先做刚性配准，然后在进行网格变形操作。两者结合能够保证映射的稳定性。

只用2D映射能够使大部分模型顶点找到映射，但是有些被遮挡或者投影重叠密集的区域，2D映射往往是错误的，比如：鼻孔、鼻翼和嘴角等部位。3D映射同样也能够得到大部分模型顶点的映射，但是只从三维空间计算对应，会忽略了纹理信息，且计算量比较大。本案先进行2D映射，提供准确的尺度变换和刚性变换依据，然后进行3D映射，同时保证计算性能和***稳定。

本案中映射点计算方式主要为带法向量约束的空间最近点查找。法向量约束即两点法向量之间的夹角约束，夹角越大，匹配程度越低。只用空间最近点查找的方式，在顶点密集的人脸部位会出现映射错位现象。两种方法都在本案保护范围内。

由于标准人脸模型的边界和用户模型的边界很有可能不一致，本案在计算映射的过程中加入边界约束，即将网格顶点与映射点连线，计算连线与映射点法平面夹角、两点法向量夹角和连线长度，为这三个数值设置阈值，超出范围则认定为边界之外，不作映射。

d)模型网格局部形状优化过程，是对重拓扑后的用户人脸模型依据标准人脸模型网格表面几何信息对存在畸形的网格进行优化。所谓畸形是指网格出现尖锐、***和重叠等现象。本案针对重拓扑后的标准人脸网格顶点，将该点在原始标准人脸模型网格中的相邻点，刚性配准到重拓扑后的空间，以找到当前点的修正点。

网格优化完成之后，需要对重拓扑后的用户人脸模型在纹理图像上的uv坐标进行更新。本案针对每个优化后的网格顶点查找用户模型中多个最近点，利用这些最近点的uv坐标插值得到新的uv坐标，并赋给重拓扑后的用户人脸模型。

e)模型网格融合拼接过程，是对已重拓扑部分的用户人脸模型与标准人脸模型进行融合操作，将带有用户人脸信息的重拓扑模型融入标准人脸模型，生成用户标准模型。此过程首先对已重拓扑模型进行尺度变换和刚性配准到初始标准人脸模型，变换、配准方向是从已重拓扑模型到标准人脸模型，而后采用网格变形和网格平滑等操作，使最终的用户标准模型完整平滑。

其中网格变形方法是利用已重拓扑部分的边缘点作为控制点，对未重拓扑部分的模型进行变形操作，使得模型曲面在接缝处及两侧过度自然。本案中变形方法可使用基于局部刚性的变形方法(as rigid as possible)或拉普拉斯变形等多种变形方法。

网格平滑是对接缝处局部出现尖锐凸起或凹陷的情况进行平滑操作，确保融合后的人脸模型更加完整美观。

本案中，网格变形方法和网格平滑都可以实现融合功能。网格变形方法能够使得融合接缝两侧曲面过度自然，对接缝处较小的凸起凹陷作用较小。单独使用网格平滑方法，只能够解决接缝局部的平滑，但是接缝两侧曲面过度可能不自然。所以本案将两个结合以保证融合结果的整体自然和局部平滑。

f)输出结果模型，将用户标准模型输出。本案依据标准人脸模型的格式，将用户标准模型保存至用户指定的路径。

本案所提***的整个流程，即该***整体过程是一个创新。

用户模型生成过程，结合计算机视觉方法和人脸语义关键点，生成高质量的用户模型。

用户模型网格重拓扑，结合人脸纹理信息、模型网格几何信息和人脸图像中的语义关键点，利用空间变换、网格生成和网格变形等方法。2D映射和3D映射相结合，计算结果更稳定。可单独使用3D映射。单独使用2D映射不可行

模型网格局部形状优化，利用原始网格信息对重拓扑结果进行局部优化。

模型网格融合拼接，采用网格变形方法和网格平滑相结合的方法，使结果模型更完整，质量更高。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种三维人脸模型自动生成方法，其特征在于，该三维人脸模型自动生成方法的具体步骤为：

数据加载处理，针对两个类型的数据，首先是加载用户人脸图像I_usr，其次是标准人脸模型；

用户人脸图像I_usr指以人脸前面部为主要部分的图像，在加载图像之后会对其进行语义关键点的检测；

标准人脸模型是指带有脸部区域或除脸部区域以外其它人体部位的3D模型，标准人脸模型脸部区域在设计时进行划分，根据标准人脸模型指定的脸部区域将人脸三维信息M_std和纹理信息I_std提取出来，然后将人脸正面区域的纹理信息投影到图像上，得到标准人脸模型投影图I_{std_prj}，然后在标准人脸模型投影图I_{std_prj}中检测语义关键点P_{key_std}；

基于计算机视觉的用户模型M_usr生成，针对单张用户图像并结合人脸图像的语义关键点P_{key_std}自动生成用户模型M_usr，该用户模型M_usr含有用户的纹理信息I_std和用户脸部形状信息；

利用语义关键点P_{key_std}和人脸边缘信息优化用户模型M_usr，人脸图像中每个语义关键点均能在用户模型M_usr中对应一个固定索引的三维顶点，这些三维顶点称为用户模型三维关键点V_key；

用户模型网格重拓扑过程，是将用户模型M_usr的拓扑结构重构成标准人脸模型的拓扑结构，该过程利用纹理信息I_std和模型三维信息，分别计算2D映射和3D映射，得到重拓扑后的用户人脸模型；

在计算映射的过程中加入边界约束，将网格顶点与映射点连线，计算连线与映射点法平面夹角、两点法向量夹角和连线长度，为这三个数值设置阈值，超出范围则认定为边界之外，不作映射；

模型网格局部形状优化过程，是对重拓扑后的用户人脸模型依据标准人脸模型网格表面几何信息对存在畸形的网格进行优化，畸形是指网格出现尖锐、***和重叠现象，对重拓扑后的标准人脸网格顶点，将该点在原始标准人脸模型网格中的相邻点，刚性配准到重拓扑后的空间，以找到当前点的修正点；

网格优化完成之后，需要对重拓扑后的用户人脸模型在纹理图像上的uv坐标进行更新，针对每个优化后的网格顶点查找用户模型M_usr中多个最近点，利用这些最近点的uv坐标插值得到新的uv坐标，并赋给重拓扑后的用户人脸模型；

模型网格融合拼接过程，是对已重拓扑部分的用户人脸模型与标准人脸模型进行融合操作，将带有用户人脸信息的重拓扑模型融入标准人脸模型，生成用户标准模型；

输出结果模型，将用户标准模型输出。

2.根据权利要求1所述的一种三维人脸模型自动生成方法，其特征在于：所述标准人脸模型带有骨骼和蒙皮信息，能够模拟人体动作和表情。

3.根据权利要求1所述的一种三维人脸模型自动生成方法，其特征在于：所述用户脸部形状信息包含脸部平均模型T、形状参数alpha、形状基S、表情参数beta和表情基E，用户模型M_usr三维信息的表达式为：

M_usr＝T+alpha*S+beta*E。

4.根据权利要求1所述的一种三维人脸模型自动生成方法，其特征在于：所述3D映射是利用刚性配准、网格变形使用户人脸模型和标准人脸模型的表面在空间中重合度更高，从而找到映射关系以达到重拓扑的目的，配准和变形的方向是从标准人脸模型到用户人脸模型，其中刚性配准能够在不改变模型形状的前提下保证两个模型在空间中重合度最大。

5.根据权利要求1所述的一种三维人脸模型自动生成方法，其特征在于：利用人脸图像的语义关键点P_{key_std}和用户模型三维关键点V_key的投影点V_{key_proj}的误差构造问题求解模型，求解最优的姿态R、形状参数alpha和表情参数beta；

上述公式中n表示参与优化的关键点数量，当用户模型M_usr初始姿态出现侧脸达到一定阈值，则被遮挡的关键点将不参与优化，所以n的数值根据用户模型M_usr初始姿态确定。

6.根据权利要求1所述的一种三维人脸模型自动生成方法，其特征在于：所述2D映射是利用用户模型M_usr的投影坐标、用户人脸语义关键点P_key和标准人脸模型投影的语义关键点P_{key_std}，在二维空间上对投影坐标进行仿射变换，从而找到标准模型到用户模型M_usr的初步映射。

7.根据权利要求1所述的一种三维人脸模型自动生成方法，其特征在于：所述网格变形和网格平滑均能实现网格融合，网格平滑是对接缝处局部出现尖锐凸起或凹陷的情况进行平滑操作，所述网格变形是利用已重拓扑部分的边缘点作为控制点，对未重拓扑部分的模型进行变形操作。

Images