CN116912417A - 基于人脸三维重建的纹理贴图方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了一种基于人脸三维重建的纹理贴图方法、装置、设备和存储介质，涉及图像处理技术领域。所述方法包括将标准3DMM模型与三维网格模型进行配准，并对三维网格模型进行区域划分；获取目标对象的纹理图像，将纹理图像的2D人脸关键点与配准后3DMM模型的3D人脸关键点进行匹配，得到纹理图像的头部姿态信息；根据头部姿态信息是否满足预设要求，判断是否用于贴图。采用上述技术方案，利用标准3DMM模型对目标对象的三维网格模型的区域进行划分，并根据纹理图像的头部姿态信息，选择头部姿态符合预设要求的纹理图像对相应区域进行贴图处理，实现贴图的纹理更具有一致性，能够重建出视觉效果更好的人脸三维模型。

Description

基于人脸三维重建的纹理贴图方法、装置、设备和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于人脸三维重建的纹理贴图方法、装置、设备和存储介质。

背景技术

人脸三维重建是利用相机等传感器采集真实人脸的图像数据，并通过处理器对图像数据进行处理，从而得到人脸三维模型的技术。但由于人脸纹理丰富且多张人脸的图像数据中的表情、注视方向等存在区别，因此容易导致纹理贴图错位、最终生成的人脸三维模型视觉效果不美观等问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种基于人脸三维重建的纹理贴图方法、装置、设备和存储介质。

为此，第一方面，本申请提供了一种基于人脸三维重建的纹理贴图方法，包括：获取目标对象的三维网格模型及标准3DMM模型；其中，标准3DMM模型预设有第一区域和3D人脸关键点；将标准3DMM模型与三维网格模型进行配准，得到配准后3DMM模型；根据配准后3DMM模型的顶点与第一区域的位置关系，对三维网格模型进行区域划分，得到三维网格模型的第二区域；获取目标对象的纹理图像，并对纹理图像进行人脸关键点检测，得到2D人脸关键点；将2D人脸关键点与配准后3DMM模型的3D人脸关键点进行匹配，得到纹理图像的头部姿态信息；判断头部姿态信息是否满足预设要求，若是，则将纹理图像贴图至第二区域中。

本申请实施例通过标准3DMM模型对目标对象的三维网格模型的区域进行划分，并根据纹理图像的头部姿态信息，选择头部姿态符合预设要求的纹理图像对划分的区域进行贴图处理，实现贴图的纹理更具有一致性，能够重建出视觉效果更好的人脸三维模型。

在第一方面的一种可能的实现方式中，将2D人脸关键点与配准后3DMM模型的3D人脸关键点进行匹配，得到纹理图像的头部姿态信息，包括：根据2D人脸关键点在纹理相机坐标系下的第一坐标集及3D人脸关键点在世界坐标系下的第二坐标集，计算2D人脸关键点与3D人脸关键点的投影关系；根据投影关系，得到纹理图像的头部姿态信息。

本申请实施例通过将2D人脸关键点和3D人脸关键点在不同坐标系下的坐标进行转换，以得到头部姿态信息，能够有效修正纹理图像的投影像素误差。

第二方面，本申请提供了一种基于人脸三维重建的纹理贴图装置，包括：模型获取模块，用于获取目标对象的三维网格模型及预设有第一区域的标准3DMM模型；其中，标准3DMM模型预设有第一区域和3D人脸关键点；模型配准模块，用于将标准3DMM模型与三维网格模型进行配准，得到配准后3DMM模型；区域划分模块，用于根据配准后3DMM模型的顶点与第一区域的位置关系，对三维网格模型进行区域划分，得到三维网格模型的第二区域；关键点检测模块，用于获取目标对象的纹理图像，并对纹理图像进行人脸关键点检测，得到2D人脸关键点；位姿估计模块，用于将2D人脸关键点与配准后3DMM模型的3D人脸关键点进行匹配，得到纹理图像的头部姿态信息；贴图判断模块，用于判断头部姿态信息是否满足预设要求，若是，则将纹理图像贴图至第二区域中。

第三方面，本申请提供了一种人脸三维重建设备，相机、处理器，以及存储有能够被处理器执行的计算机程序的存储器；相机用于采集目标对象的3D信息数据和纹理图像，并发送给处理器；处理器用于接收3D信息数据，并根据3D信息数据生成三维网格模型；处理器还用于在执行计算机程序时实现第一方面所述方法的步骤。

第四方面，本申请提供了一种电子设备，包括处理器以及存储有计算机程序的存储器；处理器执行计算机程序时实现第一方面所述方法的步骤。

第五方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现第一方面所述方法的步骤。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的人脸三维重建设备的结构示意框图；

图2是本申请一实施例提供的基于人脸三维重建的纹理贴图方法的流程示意图；

图3是本申请一实施例提供的点云数据的示意图；

图4是本申请一实施例提供的三维网格模型的示意图；

图5（a）是本申请一实施例提供的包含有预设顶点数量的人脸网格模型的示意图；

图5（b）是本申请一实施例提供的标注有顶点编号的人脸网格模型示意图；

图5（c）是本申请一实施例提供的划分有不同区域的人脸网格模型示意图；

图6是本申请一实施例提供的3D人脸关键点和2D人脸关键点之间的对应关系的示意图；

图7是本申请一实施例提供的头部姿态信息的结构示意图；

图8是本申请一实施例提供的基于人脸三维重建的纹理贴图的结构示意框图；

图9是本申请一实施例提供的电子设备的结构示意框图。

实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本申请说明书中描述的参考“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一些实施例中”，不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。本文所使用的术语“和／或”包括一个或多个相关的所列项目的任意的和所有的组合。

人脸三维重建需要将纹理图像映射到三维网格模型上，实现对三维网格模型进行纹理贴图处理，完成建模。然而现有的纹理贴图方法，并不考虑纹理图像映射在三维网格模型上的语义是否连续，从而容易导致纹理贴图错位、最终生成的人脸三维模型视觉效果不美观等问题。

基于此，本申请利用三维可变形人脸（3DMM）模型对目标对象的三维网格模型的区域进行划分，并根据纹理图像的头部姿态信息，选择头部姿态符合预设要求的纹理图像对相应区域进行贴图处理，使得贴图的纹理更具有一致性，能够优化人脸三维模型的视觉效果。

请参见图1，图1是本申请一实施例提供的人脸三维重建设备的结构示意框图。该人脸三维重建设备包括通过总线11连接的相机12、处理器13和存储器14。其中，相机12用于采集目标对象的3D信息数据和纹理图像，处理器13用于提供计算和控制能力，存储器14中存储有可供处理器13运行的计算机程序。其中，3D信息数据能够用于表示物体几何形状，3D信息数据包括但不限于视差图像、深度图像和点云数据。需要说明的是，当处理器13为上位机、计算机、支付设备等具有计算能力的终端中的处理器时，相机12也可以通过无线方式与处理器13连接，如通过wifi或蓝牙将3D信息数据传输至处理器13。

具体地，相机12采集目标对象的3D信息数据和纹理图像，处理器13获取目标对象的3D信息数据和纹理图像，并从存储器14调用计算机程序将3D信息数据进行处理，得到三维网格模型，将纹理图像映射在三维网格模型上，构建出目标对象带有纹理信息的三维模型。其中，三维网格模型的获取方法，包括：获取目标对象的3D信息数据，将3D信息数据进行网格化处理，得到三维网格模型。

在一些实施例中，相机12可以包括纹理相机和深度相机，纹理相机可以是多光谱相机、RGB相机或红外相机等，深度相机可以是间接飞行时间（indirect Time-of-Flight，iToF）或直接飞行时间（direct Time-of-Flight，dToF）等基于光飞行时间（Time-of-Flight，ToF）的相机、双目视觉相机或结构光相机等。

在一些实施例中，当深度相机为结构光相机时，结构光相机包括投射器和采集器，投射器用于投射结构光光束，采集器用于采集目标对象反射的结构光光束得到结构光图像。对结构光图像进行匹配计算得到视差图像，通过视差图像计算每个像素对应的深度，从而获得深度图像，通过对深度图像进行坐标系转换得到点云数据，将点云数据进行网格化处理，得到三维网格模型。匹配计算、视差图像计算、坐标系转换和网格化处理的过程可以由结构光相机内的深度计算芯片进行，也可以由结构光相机外的处理器进行，在此不作限定。

在一些实施例中，当深度相机为ToF相机时，ToF相机包括光源、图像传感器和处理电路，光源用于向目标物体发射光信号，部分光信号被目标物体反射后形成回波信号入射到图像传感器，图像传感器采集回波信号后生成电信号，处理电路处理该电信号以计算光信号往返目标物体的飞行时间，从而获取目标物体的3D信息数据。在一些实施例中，ToF相机可以生成深度图像，由处理器将深度图像进行处理得到点云数据，ToF相机也可以直接生成点云数据，将点云数据发送给处理器以生成三维网格模型。

为了使得纹理图像映射在三维网格模型上更具有一致性，优化目标对象的三维模型的视觉效果，本申请实施例提供了一种基于人脸三维重建的纹理贴图方法。请参见图2，图2是本申请一实施例提供的基于人脸三维重建的纹理贴图方法，包括以下步骤：

S201、获取目标对象的三维网格模型及标准3DMM模型；其中，标准3DMM模型预设有第一区域和3D人脸关键点。

在一些实施例中，三维网格模型的获取方法，包括：获取目标对象的点云数据，将点云数据进行网格化处理，得到三维网格模型。请参见图3-4，图3是本申请一实施例提供的点云数据的示意图，目标对象的点云数据可以通过深度相机对目标对象进行扫描直接获取，也可以通过深度相机采集深度图像后进行坐标系转换间接获取。图4是本申请一实施例提供的三维网格模型的示意图，图示三维网格模型是用三角网格来近似拟合点云数据得到的，也可以使用四角网格进行近似拟合点云得到三维网格模型，在此不作限定。

在一些实施例中，标准3DMM模型的获取方法，包括：在世界坐标系中构建包含有预设顶点数量的人脸网格模型，对人脸网格模型的顶点进行标注编号和区域划分，得到标注有顶点编号并预设有第一区域的标准3DMM模型。请参见图5，图5（a）是本申请一实施例提供的包含有预设顶点数量的人脸网格模型的示意图。人脸网格模型将人脸表示为参数化的模型，用预设顶点数量建立网格以描述出模型的几何形状，通过调整各个顶点的坐标参数，可以调整模型的几何形状。图5（b）是本申请一实施例提供的标注有顶点编号的人脸网格模型示意图，可以将人脸网格模型中的每个顶点都标注编号，或将部分顶点标注编号，相同编号的顶点代表相同语义，进一步地，处理器可以根据顶点编号区分该顶点是否是人脸关键点或具体为人脸的什么关键点，图示将人脸关键点用圆圈显示。图5（c）是本申请一实施例提供的划分有不同区域的人脸网格模型示意图，可以根据顶点编号或人脸关键点划分区域或人工划分区域，预设有第一区域的标准3DMM模型，第一区域包括至少一个区域，图示划分了眼部子区域、鼻部子区域、嘴部子区域和其他子区域，每个顶点只会存在于其中一个第一区域中。

S202、将标准3DMM模型与三维网格模型进行配准，得到配准后3DMM模型。

标准3DMM模型与三维网格模型之间具有不同的顶点数和几何形状，在将两个模型进行配准时，将标准3DMM模型作为模板模型，目标对象的三维网格模型作为目标模型，对模板模型进行非刚性形变即可输出一个配准后3DMM模型，该配准后3DMM模型具有与目标模型相同的几何形状，且具有与模板模型具有相同的顶点数。此外配准后3DMM模型将继承标准3DMM模型中的顶点编号信息、区域划分信息。

在一些实施例中，将标准3DMM模型与三维网格模型进行配准，得到配准后3DMM模型，包括：调整标准3DMM模型的顶点在世界坐标系下的坐标，使得调整后模型的几何形状近似于三维网格模型，得到配准后3DMM模型。由于顶点数量不同，在误差范围内几何形状近似相同，即认为调整后模型与三维网格模型的几何形状达到相同。

S203、根据配准后3DMM模型的顶点与第一区域的位置关系，对三维网格模型进行区域划分，得到三维网格模型的第二区域。

配准后3DMM模型由标准3DMM模型形变而来，因此第一区域也将适应性发生形变，第一区域与模型顶点之间的包含关系不会因为模型形变发生改变。由于最终目的是在目标对象的三维网格模型上进行纹理贴图，因此需要在三维网格模型上划分出第二区域。

在一些实施例中，为了更准确地在三维网格模型上划分出第二区域，根据配准后3DMM模型的顶点与第一区域的位置关系，对三维网格模型进行区域划分，得到三维网格模型的第二区域，包括：从配准后3DMM模型中提取第一顶点集合；将第一顶点集合与三维网格模型的顶点进行匹配，得到与第一顶点集合构成映射关系的第二顶点集合；根据第一顶点集合与第一区域的位置关系，对第二顶点集合进行区域划分，得到三维网格模型的第二区域。

可以理解地，目标对象的三维网格模型是通过深度相机采集目标对象的点云数据（视差图像或深度图像）构建得到的，其网格拓扑密集，顶点数量众多，配准后3DMM模型相较于目标对象的三维网格模型具有更少的顶点数量，配准后3DMM模型中各顶点均可在目标对象的三维网格模型找到与之对应或与之邻近的顶点，也即本申请可以通过配准后3DMM模型中包括较少顶点的第一区域确定目标对象的三维网格中较多顶点的第二区域，不仅减少了计算量，还有利于提高区域划分精度，从而实现高效且高精度的纹理贴图。

在一些实施例中，配准后3DMM模型中编号为1、2、3的顶点位于第一区域的眼部子区域，配准后3DMM模型中编号为4、5、6的顶点位于第一区域的鼻部子区域，配准后3DMM模型中编号为7、8、9的顶点位于第一区域的嘴部子区域。因配准后3DMM模型与目标对象的三维网格模型形状相同，因此可以在目标对象的三维网格模型中确认与编号1~9的第一顶点集合构成映射关系的第二顶点集合，也即根据第一顶点集合中编号1~9的坐标位置在在目标对象的三维网格模型中寻找与之对应的顶点，从而得到第二顶点集合，以进一步基于第一顶点集合与第一区域的位置关系对第二顶点集合进行区域划分，得到第二区域的眼部子区域、第二区域的鼻部子区域和第二区域的嘴部子区域。

在一些实施例中，第一顶点集合可以为配准后3DMM模型中的所有顶点，在目标对象的三维网格模型中找寻与配准后3DMM模型中所有顶点具有映射关系的顶点构成第二顶点集合，在对第二顶点集合进行区域划分时能够减少误差，提高区域划分精度。在另一些实施例中，第一顶点集合可以为配准后3DMM模型中的部分顶点，尤其是位于第一区域边缘的顶点。选择位于第一区域边缘的顶点作为第一顶点集合，相较于选择配准后3DMM模型中的所有顶点作为第一顶点集合相比，能够大大减少数据的运行量，提高运算效率。

在一些实施例中，第一顶点集合还可以为配准后3DMM模型中第一区域内（如仅选择眼部子区域）的所有顶点，在目标对象的三维网格模型中找寻与配准后3DMM模型中第一区域内所有顶点具有映射关系的顶点构成第二顶点集合，相较于选择配准后3DMM模型中的所有顶点作为第一顶点集合获取第二顶点集合相比，能够减少数据运行量的同时，提高区域划分精度。

在一些实施例中，配准后3DMM模型中编号为1的第一顶点，位于第一区域的眼部子区域，在目标对象的三维网格模型中查找与编号为1的第一顶点构成映射关系的第二顶点，该第二顶点将被划分进第二区域的眼部子区域。

在一些实施例中，将第一顶点集合与三维网格模型的顶点进行匹配，得到与第一顶点集合构成映射关系的第二顶点集合包括：采用最近邻查找方法将配准后3DMM模型的第一顶点集合与三维网格模型的顶点进行匹配，得到与第一顶点集合构成映射关系的第二顶点集合。例如，从第一顶点集合中提取一个顶点i，采用最近邻查找方法从三维网格模型的若干个顶点中根据欧氏距离筛选出与顶点i最相近的顶点o，则顶点i和顶点o完成匹配，然后依次从第一顶点集合中提取其他顶点，然后从三维网格模型的若干个顶点中根据欧氏距离筛选出与之最相近的顶点，最终完成匹配。由于需要从三维网格模型的大量顶点筛选出构成映射关系的第二顶点集合，数据量庞大，噪声数据量多，采用最近邻查找，准确性高，对异常值和噪声有较高的容忍度。

S204、获取目标对象的纹理图像，并对纹理图像进行人脸关键点检测，得到2D人脸关键点。

其中，人脸关键点检测是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。根据关键点检测精度不同，关键点包括58点、81点、106点等。不同点数的关键点标注在人脸图像中，表达的关键点点坐标存在区别。

S205、将2D人脸关键点与配准后3DMM模型的3D人脸关键点进行匹配，得到纹理图像的头部姿态信息。

目标对象的纹理图像用于对三维网格模型进行贴图处理，考虑到现有的贴图方法，由于重建过程中姿态的误差、相机的畸变以及纹理相机与深度相机同步性等因素，容易导致纹理贴图错位、最终生成的人脸三维模型视觉效果不美观。因此对纹理图像进行检测，判断是否符合贴图要求。

在一些实施例中，配准3DMM模型的部分顶点为3D人脸关键点，且3D人脸关键点数量与2D人脸关键点数量相同。3D人脸关键点位于世界坐标系下，2D人脸关键点位于纹理相机的图像坐标系下，3D人脸关键点中的点与2D人脸关键点中的点一一对应。请参见图6，图6在配准3DMM模型中示出了5个3D人脸关键点、在纹理图像中示出了5个2D人脸关键点，并用曲线表示关键点之间的对应关系。

在一些实施例中，将2D人脸关键点与配准后3DMM模型的3D人脸关键点进行匹配，得到纹理图像的头部姿态信息，包括：根据2D人脸关键点在纹理相机的图像坐标系下的第一坐标集、3D人脸关键点在世界坐标系下的第二坐标集，计算2D人脸关键点与3D人脸关键点的投影关系，投影关系包括旋转矩阵R和平移矩阵T；根据投影关系，得到纹理图像的头部姿态信息。请参见图7，图7为头部姿态信息的示意图，纹理图像的头部姿态信息包括偏航角（Yaw）、横滚角（Roll）和俯仰角（Pitch）。

具体地，采用PnP（Pespective-n-Point）算法求解纹理图像的头部姿态信息，包括：获取2D人脸关键点在纹理相机的图像坐标系下的第一坐标集（p1、p2…pn），获取3D人脸关键点在世界坐标系下的第二坐标集（P1、P2…Pn），计算2D人脸关键点与3D人脸关键点的投影关系；根据投影关系计算2D人脸关键点相对于3D人脸关键点的位置关系，得到纹理图像的头部姿态信息。

在一些实施例中，提取2D人脸关键点中的部分关键点（如左眼外眼角、右眼外眼角、鼻尖和嘴中心）的坐标构成第一坐标集（p1、p2、p3、p4），提取2D人脸关键点中的部分关键点（和2D人脸关键点提取相同关键点，如左眼外眼角、右眼外眼角、鼻尖和嘴中心）的坐标构成第二坐标集（P1、P2、P3、P4），计算4对关键点的投影关系得到头部姿态信息。选择较少数量的关键点进行头部姿态计算，能够减少数据运行量提高运算效率，但是需要选择至少4对关键点求解旋转矩阵R和平移矩阵T，以正确求解头部姿态信息。

需要说明的是，本申请除了可以计算配准后的3DMM模型中的3D人脸关键点与纹理图像的2D人脸关键点之间的投影关系外，还可以基于配准后的3DMM模型的3D人脸关键点寻找目标对象的人脸网格模型中的3D人脸关键点，后利用PnP算法计算目标对象的人脸网格模型中的3D人脸关键点与纹理图像的2D人脸关键点之间的投影关系，计算过程与上述过程相似，此处不再赘述。

S206、判断头部姿态信息是否满足预设要求，若是，则将纹理图像贴图至第二区域中。

在一些实施例中，对目标对象的三维网格模型进行贴图，需要从人脸的多个不同角度拍摄纹理图像，并针对纹理图像的头部姿态信息，判断这张纹理图像是否能用于贴图。例如，第二区域的眼部子区域，要求用头部姿态信息满足第一姿态区间的纹理图像，第二区域的鼻部子区域包括左侧子区域和右侧子区域，分别要求用头部姿态信息满足第二姿态区间和第三姿态区间的纹理图像。其中，第一姿态区间为yaw∈[-5°，5°]、roll∈[-5°，5°]且ptich∈[-5°，5°]，第二姿态区间为yaw∈[-40°，-30°]、roll∈[-10°，10°]且ptich∈[-10°，10°]，第三姿态区间为yaw∈[30°，40°]、roll∈[-10°，10°]且ptich∈[-10°，10°]。

在一些实施例中，选择第二区域的眼部子区域和该区域对应姿态区间的纹理图像，将目标对象的三维网格模型的顶点投影到纹理图像上，绑定模型的顶点与纹理图像的像素之间的映射关系，将该区域的网格进行纹理贴图处理。

在一些实施例中，当纹理图像的头部姿态信息结果准确时，被投影的2D人脸关键点将与3D 人脸关键点几乎完美地对齐。但是当结果不准确时，可以基于当前旋转矩阵R及平移向量t将3D人脸关键点与2D人脸关键点转换位同一坐标系下，并根据3D人脸关键点与2D人脸关键点的坐标计算两者之间的均方误差，得到重投影误差，通过迭代地改变旋转矩阵R和平移向量t的值，降低重投影误差，得到更加精确的投影关系及头部姿态信息，以使得纹理图像在贴图时位姿匹配更加精准。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例中提出的基于人脸三维重建的纹理贴图方法，图8示出了本申请实施例提供的基于人脸三维重建的纹理贴图的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。如图8所示，该装置包括：

模型获取模块81，用于获取目标对象的三维网格模型及标准3DMM模型；其中，标准3DMM模型预设有第一区域和3D人脸关键点；

模型配准模块82，用于将标准3DMM模型与三维网格模型进行配准，得到配准后3DMM模型；

区域划分模块83，用于根据配准后3DMM模型的顶点与第一区域的位置关系，对三维网格模型进行区域划分，得到三维网格模型的第二区域；

关键点检测模块84，用于获取目标对象的纹理图像，并对纹理图像进行人脸关键点检测，得到2D人脸关键点；

位姿估计模块85，用于将2D人脸关键点与配准后3DMM模型的3D人脸关键点进行匹配，得到纹理图像的头部姿态信息；

贴图判断模块86，用于判断头部姿态信息是否满足预设要求，若是，则将纹理图像贴图至第二区域中。

需要说明的是，上述装置/模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

请参见图9，图9是本申请一实施例提供的电子设备的结构示意图。该实施例的电子设备包括通过总线91连接的处理器92、存储器93以及存储在所述存储器93中并可在处理器92上运行的计算机程序94，处理器92执行计算机程序94时可以实现上述基于人脸三维重建的纹理贴图方法实施例中的各个步骤。

其中，该电子设备的处理器92用于提供计算和控制能力。该电子设备的存储器93包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序94。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备可包括，但不仅限于，处理器92、存储器93。本领域技术人员可以理解，图9仅仅是电子设备的举例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如该电子设备还可以包括通过***总线连接的网络接口、显示屏和输入装置等。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人脸三维重建的纹理贴图方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

处理器92可以是中央处理单元（Central Processing Unit，CPU），该处理器92还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器93在一些实施例中可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器93在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card ,SMC），安全数字（Secure Digital ,SD）卡，闪存卡（Flash Card）等。进一步地，存储器93还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器93用于存储操作***、应用程序、引导装载程序（BootLoader）、数据以及其他程序等，例如计算机程序的程序代码等。存储器93还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将所述装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理器中，也可以是各个功能模块分立于不同处理器中，也可以两个或两个以上模块集成在一个处理器中。另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置、设备中模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccessMemory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (10)

1.一种基于人脸三维重建的纹理贴图方法，其特征在于，包括：

获取目标对象的三维网格模型及标准3DMM模型；其中，所述标准3DMM模型预设有第一区域和3D人脸关键点；

将所述标准3DMM模型与所述三维网格模型进行配准，得到配准后3DMM模型；

根据所述配准后3DMM模型的顶点与所述第一区域的位置关系，对所述三维网格模型进行区域划分，得到所述三维网格模型的第二区域；

获取所述目标对象的纹理图像，并对所述纹理图像进行人脸关键点检测，得到2D人脸关键点；

将所述2D人脸关键点与所述配准后3DMM模型的3D人脸关键点进行匹配，得到所述纹理图像的头部姿态信息；

判断所述头部姿态信息是否满足预设要求，若是，则将所述纹理图像贴图至所述第二区域中。

2.根据权利要求1所述的基于人脸三维重建的纹理贴图方法，其特征在于，所述三维网格模型的获取方法，包括：

获取所述目标对象的点云数据；

将所述点云数据进行网格化处理，得到三维网格模型。

3.根据权利要求1所述的基于人脸三维重建的纹理贴图方法，其特征在于，所述标准3DMM模型的获取方法，包括：

在世界坐标系中构建包含有预设顶点数量的人脸网格模型；

对所述人脸网格模型的顶点进行标注编号和区域划分，得到标注有顶点编号并预设有第一区域的标准3DMM模型。

4.根据权利要求1所述的基于人脸三维重建的纹理贴图方法，其特征在于，所述将所述标准3DMM模型与所述三维网格模型进行配准，得到配准后3DMM模型，包括：

调整所述标准3DMM模型的顶点在世界坐标系下的坐标，使得调整后模型与所述三维网格模型的几何形状相同，得到配准后3DMM模型。

5.根据权利要求1所述的基于人脸三维重建的纹理贴图方法，其特征在于，所述基于所述配准后3DMM模型的顶点与所述第一区域的位置关系，对所述三维网格模型进行区域划分，得到所述三维网格模型的第二区域，包括：

从所述配准后3DMM模型中提取第一顶点集合；

将所述第一顶点集合与所述三维网格模型的顶点进行匹配，得到与所述第一顶点集合构成映射关系的第二顶点集合；

根据所述第一顶点集合与所述第一区域的位置关系，对所述第二顶点集合进行区域划分，得到所述三维网格模型的第二区域。

6.根据权利要求1所述的基于人脸三维重建的纹理贴图方法，其特征在于，所述将所述2D人脸关键点与所述配准后3DMM模型的3D人脸关键点进行匹配，得到所述纹理图像的头部姿态信息，包括：

根据所述2D人脸关键点在纹理相机坐标系下的第一坐标集、所述3D人脸关键点在世界坐标系下的第二坐标集，计算所述2D人脸关键点与所述3D人脸关键点的投影关系；

根据所述投影关系，得到所述纹理图像的头部姿态信息。

7.一种基于人脸三维重建的纹理贴图装置，其特征在于，包括：

模型获取模块，用于获取目标对象的三维网格模型及标准3DMM模型；其中，所述标准3DMM模型预设有第一区域和3D人脸关键点；

模型配准模块，用于将所述标准3DMM模型与所述三维网格模型进行配准，得到配准后3DMM模型；

区域划分模块，用于根据所述配准后3DMM模型的顶点与所述第一区域的位置关系，对所述三维网格模型进行区域划分，得到所述三维网格模型的第二区域；

关键点检测模块，用于获取所述目标对象的纹理图像，并对所述纹理图像进行人脸关键点检测，得到2D人脸关键点；

位姿估计模块，用于将所述2D人脸关键点与所述配准后3DMM模型的3D人脸关键点进行匹配，得到所述纹理图像的头部姿态信息；

贴图判断模块，用于判断所述头部姿态信息是否满足预设要求，若是，则将所述纹理图像贴图至所述第二区域中。

8.一种人脸三维重建设备，其特征在于，包括相机、处理器，以及存储有能够被所述处理器执行的计算机程序的存储器；

所述相机用于采集目标对象的3D信息数据和纹理图像；

所述处理器用于接收所述3D信息数据，并根据所述3D信息数据生成三维网格模型；

所述处理器还用于在执行所述计算机程序时实现权利要求1~6中任一项所述方法的步骤。

9.一种电子设备，其特征在于，包括处理器以及存储有计算机程序的存储器；所述处理器执行所述计算机程序时实现权利要求1~6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1~6中任一项所述方法的步骤。