CN114373044A - 生成脸部三维模型的方法、装置、计算设备和存储介质 - Google Patents

Abstract

本申请提出一种生成脸部三维模型的方法、装置、计算装置和存储介质。该方法包括：获取目标图像数据，所述目标图像数据包含目标脸部的图像特征信息以及脸部关键点信息；根据所述图像特征信息生成所述目标脸部的基础三维模型；根据所述脸部关键点信息生成所述目标脸部的当前特征向量；根据所述当前特征向量与至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据；以及将所述基础三维模型的脸部纹理数据与所述基础三维模型相融合，得到所述目标脸部的三维重建模型。通过这样设置，能够准确地生成脸部三维模型的脸部纹理数据，增强三维模型的真实感。

Description

生成脸部三维模型的方法、装置、计算设备和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种生成脸部三维模型的方法、装置、计算设备和存储介质。

背景技术

通过当前的人脸三维建模技术，可以根据人脸的一张或多张照片形成脸部三维模型。随着科技发展，人们对人脸三维模型开拓出了越来越多的应用。例如，3D(3dimensions，三维)人脸试妆、试戴、美颜、AR互动等。除了根据照片，还可以根据一个或多个摄像头拍摄的用户脸部视频还原出用户的真实脸部三维模型。脸部三维模型与图片或视频中的用户表情一致，以便还原度更高。然而，在二维图片或视频的分辨率不理想的情况下，现有的处理方式生成的脸部三维模型的脸部纹理欠佳，真实感不好，这十分影响用户体验。

发明内容

有鉴于此，本申请实施例提供了一种生成脸部三维模型的方法、装置、计算设备和存储介质，采用该方法生成的脸部三维模型能够准确展示脸部的纹理细节，从而提高脸部还原的准确率。

本申请实施例的第一方面提供了一种生成脸部三维模型的方法，包括：

获取目标图像数据，所述目标图像数据包含目标脸部的图像特征信息以及脸部关键点信息；

根据所述图像特征信息生成所述目标脸部的基础三维模型；

根据所述脸部关键点信息生成所述目标脸部的当前特征向量；

获取至少一个标准三维模型，其中每个标准三维模型包括对应的标准特征向量，每个所述标准特征向量用于表征一种基础表情，并且其中每个标准三维模型包括对应的脸部纹理数据；

根据所述当前特征向量与所述至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据；以及

将所述基础三维模型的脸部纹理数据与所述基础三维模型相融合，得到所述目标脸部的三维重建模型。

本申请各实施例首先获取包含脸部图像特征信息以及脸部关键点信息的图像数据，根据脸部图像特征信息生成脸部的基础三维模型，然后根据从脸部关键点信息生成的当前特征向量与至少一个标准三维模型的标准特征向量的相关度来生成基础三维模型的脸部纹理数据，最后将脸部纹理数据与基础三维模型相融合以得到目标脸部的三维重建模型。通过根据当前特征向量与标准特征向量的相关度来生成待用于基础三维模型的脸部纹理数据，而非使用固定的脸部纹理数据，能够使得生成的脸部纹理数据更符合基础三维模型的脸部表情，从而提高脸部三维模型的真实感。

在一实施例中，所述获取至少一个标准三维模型包括：将所述基础三维模型和所述当前特征向量作为第一类函数模型的输入，得到作为第一类函数模型的输出的所述至少一个标准三维模型。

在一实施例中，第一类函数模型的训练样本为多个数据样本，每个数据样本包括一个脸部三维模型及对应的当前特征向量，每个数据样本的标引为至少一种类型的标准三维模型以及对应的标准特征向量和对应的脸部纹理数据，其中每种类型的标准三维模型表征一种基础表情。

在一实施例中，所述根据所述当前特征向量与所述至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据包括：

将所述当前特征向量分解为所述至少一个标准三维模型的标准特征向量的加权和，其中每个标准三维模型的标准特征向量具有相应的加权系数；

将所述加权系数用作相应的标准三维模型的脸部纹理数据的加权系数，并计算所述至少一个标准三维模型的脸部纹理数据的加权和，作为所述基础三维模型的脸部纹理数据。

本申请实施例的第二方面提供了一种生成脸部三维模型的装置，包括：

目标图像获取模块，用于获取目标图像数据，所述目标图像数据包含目标脸部的图像特征信息以及脸部关键点信息；

基础三维模型生成模块，用于根据所述图像特征信息生成所述目标脸部的基础三维模型；

当前特征向量生成模块，用于根据所述脸部关键点信息生成所述目标脸部的当前特征向量；

标准三维模型获取模块，用于获取至少一个标准三维模型，其中每个标准三维模型包括对应的标准特征向量，每个所述标准特征向量用于表征所述目标脸部的一种基础表情，并且其中每个标准三维模型包括对应的脸部纹理数据；

脸部纹理数据生成模块，用于根据所述当前特征向量与所述至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据；以及

融合模块，用于将所述基础三维模型的脸部纹理数据与所述基础三维模型相融合，得到所述目标脸部的三维重建模型。

本申请实施例的第三方面提供了一种计算装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例的第一方面提供的生成脸部三维模型的方法。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例的第一方面提供的生成脸部三维模型的方法。

本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行本申请实施例的第一方面所述的生成脸部三维模型的方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提出的生成脸部三维模型的方法的一个实施例的流程图；

图2是本申请实施例提出的一种图像数据采集与处理***的示意图；

图3是本申请实施例提出的若干个主要脸部关键点的示意图；

图4是本申请实施例合成的不同方位的脸部三维模型的示意图；

图5是本申请实施例提出的AR互动***的使用流程示意图；

图6是本申请实施例提出的生成脸部三维模型的装置的一个实施例的结构图；

图7是本申请实施例提出的一种计算装置的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

根据用户脸部的图像(照片或视频)生成用户脸部的三维模型在试妆、美颜、AR互动、动画制作等场景中有广泛的应用。在一些处理方式中，一般根据用户脸部图像(照片或视频)的图像特征信息生成脸部的基础三维模型，然后将从照片或视频中提取的脸部纹理数据融合到基础三维模型上得到脸部的最终三维模型。在从照片或视频中无法提取可用的脸部纹理数据的情况下，一般使用预先存储的通用脸部纹理数据。但是，当用户脸部表情不同，或者表情非常夸张时，其脸部纹理数据会存在较大差异，因此无差别地使用通用脸部纹理数据会导致形成的脸部三维模型真实感欠佳。

有鉴于此，本申请提出一种生成脸部三维模型的方法、装置、计算设备和存储介质，采用该方法生成的脸部三维模型具有更符合脸部表情的脸部纹理数据，从而提高脸部三维模型的真实感。应当理解，本申请各个方法实施例的执行主体为各种类型的计算装置，包括各种终端设备或服务器，比如手机、平板电脑、笔记本电脑、台式电脑、可穿戴设备、云端服务器等。

请参阅图1，示出了本申请实施例提出的一种生成脸部三维模型的方法，该方法包括：

101、获取目标图像数据，所述目标图像数据包含目标脸部的图像特征信息以及脸部关键点信息；

在本申请实施例中，目标脸部一般可以是用户的作出任意表情的脸部，可以使用摄像机拍摄得到目标脸部作出该表情的目标图像数据。该目标图像数据一方面包含该目标脸部的图像特征信息(例如RGB特征、灰度特征或者深度特征等)，另一方面包含该目标脸部的脸部关键点信息，例如各个指定脸部关键点(眉毛、鼻子、两眼和嘴巴、牙齿等)的位置信息。每个脸部关键点的位置信息为能够表征该脸部关键点的位置和/或形态(例如眉毛的角度、眼睛的形状、鼻翼的位置、嘴角的倾斜度、嘴巴的形状等)的一个或多个空间坐标。以眼睛这个脸部关键点来说，其位置信息可以包括眼头和眼尾的坐标、上眼睑中部的坐标、下眼睑中部的坐标等，也可以包括眼睛边界上更多点的坐标。需要说明的是，该脸部关键点信息可以通过具有脸部关键点检测功能的摄像机在拍摄图像数据时检测获得，也可以在服务器采用脸部关键点检测算法对获取的图像数据进行检测后获得。在使用摄像机拍摄得到目标图像数据之后，将该目标图像数据传输到服务器，服务器则可以基于获取到的目标图像数据执行后续的处理。

在本申请实施例的一种实现方式中，所述获取目标图像数据，可以包括：

获取由至少二个摄像机同步采集到的所述目标脸部不同方位的图像数据，并将所述目标脸部不同方位的图像数据确定为所述目标图像数据，其中，所述至少二个摄像机具有脸部关键点检测功能且设置在所述目标脸部周围的不同方位。

传统的脸部关键点检测在脸部正对着摄像机且没有任何重叠或遮掩的情况下，能够获得较好的检测精度，然而，当脸部不正对着摄像机时，单个摄像机的视野无法完整覆盖所有脸部关键点，会导致脸部关键点检测的精度明显下降。针对这个问题，本申请实施例采用至少二个摄像机同步采集目标脸部的图像数据，该至少二个摄像机具有脸部关键点检测功能，且分别设置在目标脸部周围的不同方位。例如，若采用两个摄像机，则可以一个摄像机在脸部左前侧，另一个摄像机在脸部右前侧；若采用四个摄像机，则可以一个摄像机对着脸部正面，一个摄像机对着脸部背面，一个摄像机对着脸部左侧，一个摄像机对着脸部右侧，以此类推。为了保证较高的脸部关键点检测精度，一般可以在目标对象的头部周围设置四个以上的摄像机，调整各个摄像机的拍摄范围以完整覆盖目标对象的脸部的所有拍摄角度，实现360°无死角拍摄，使得即使脸部在运动也可以拍摄到所有脸部关键点。

在一个实施例中，所述获取由至少二个摄像机同步采集到的所述目标脸部不同方位的图像数据，可以包括：

通过网络交换机接收所述目标脸部不同方位的图像数据，其中，所述至少二个摄像机将同步采集到的图像数据汇集至所述网络交换机。

各个摄像机和服务器可以通过网络交换机组网，每个摄像机都具有一个固定的IP地址，服务器也有一个IP地址，各个摄像机可以将同步采集到的图像数据汇集至该网络交换机，服务器可以通过该网络交换机获取相应的图像数据。本申请实施例对各个摄像机实现同步采集的实施方式不做限制，例如，可以设置一个采集同步设备用于控制各个摄像机同时启动拍摄，也可以在获取到各个摄像机采集到的图像数据后，按照这些图像数据中带有的时间戳进行同步处理，等等。

为便于理解本申请实施例提出的获取目标图像数据的方式，以下列举一个实际的应用场景。

如图2所示，为本申请实施例提出的一种图像数据采集与处理***的示意图，该***包括摄像机(4个或者以上数量)、采集同步设备、网络交换机、服务器、触控显示屏和音箱等设备。

在图2中，以目标对象为圆心，在圆心的前后左右均匀排布4个摄像机(可以是带有脸部关键点检测功能的网络摄像机)，每个摄像机和目标对象之间的距离可以保持在5.5米左右，摄像机的安装高度可以保持在2.8米左右，以保证最好的脸部关键点检测视角，通过调整各个摄像机的焦距等参数，使得拍摄范围能够完整覆盖目标脸部。在实际操作中，每个摄像机可以内置TOF功能模组以及实时的脸部关键点检测算法，一方面可以实时采集脸部的RGB和深度等图像特征信息，另一方面可以根据这些图像特征信息对脸部关键点(包括眉毛、鼻子、两耳、两眼、嘴巴、牙齿等)进行检测。如图3所示，为若干个主要脸部关键点的示意图。

4个摄像机可以通过网络方式与网络交换机连接，网络交换机与服务器连接，每个摄像机都具有一个固定的IP地址，服务器也具有固定的IP地址，网络交换机用于实现所有网络设备的组网以及数据交换。另外，***还接入一个采集同步设备，用于解决不同摄像机采集图像画面不同步的问题。不同的摄像机启动拍摄的时间可能会有差异，这样不同摄像机采集到的图像画面可能不是同一时刻的，这样不利于后续执行脸部关键点检测的处理，因此需要增加一个采集同步设备来控制各个摄像机同步拍摄图像。采集同步设备会通过网络交换机向所有摄像机发出时间同步指令，每个摄像机在接收到时间同步指令后，会发出反馈信息给采集同步设备，表示摄像机已准备就绪。如果采集同步设备没有收到所有摄像机返回的反馈信息，则会持续发送时间同步指令，直至接收到所有摄像机返回的反馈信息。然后，采集同步设备发送启动拍摄的控制指令至所有摄像机，控制所有摄像机实时同步采集图像数据，从而获得目标脸部不同方位的图像数据。

在实际操作中，可以预先通过三维扫描定位设备(例如激光雷达或者其它移动扫描***)将目标对象所处场地的三维点云地图构建出来，这样可以获得一个空间坐标系。通过该空间坐标系可以重建得到场地的三维空间，另外也可以用于标定各个带有TOF功能的摄像机。各个摄像机在完成标定后，采集到的目标脸部的RGB和深度等图像特征信息能够处于同一个空间坐标系下表示，检测到的脸部关键点位置信息也能够处于同一个空间坐标系下表示。

各个摄像机采集到的目标脸部的图像数据汇集至网络交换机，再传输至服务器，服务器可以基于这些图像数据实现脸部三维模型的合成以及与脸部纹理数据的融合处理。另外，合成的脸部三维模型结果可以通过与服务器连接的触控显示屏展示，服务器还可以接入音箱，用于语音输出相应的提示。

102、根据所述图像特征信息生成所述目标脸部的基础三维模型；

服务器在获取到目标图像数据之后，可以对目标图像数据中的图像特征信息进行提取，然后采用实时拼接算法将图像特征信息拼接融合成为一个实时的脸部基础三维模型。

在本申请实施例的一种实现方式中，所述根据所述图像特征信息生成所述目标脸部的基础三维模型，可以包括：

(1)从所述目标图像数据中提取颜色特征图像帧和深度特征图像帧；

(2)对所述颜色特征图像帧和所述深度特征图像帧执行图像特征提取处理，并基于提取到的图像特征合成所述目标脸部的基础三维模型。

使用内置TOF功能模组的摄像机采集目标图像数据，则可以实时获得对应的颜色特征图像帧和深度特征图像帧，服务器会对颜色特征图像帧和深度特征图像帧分别进行图像特征提取，并基于提取到的图像特征(从颜色特征图像帧中提取的颜色特征和从深度特征图像帧中提取的深度特征)合成目标脸部的基础三维模型。与单纯使用颜色特征合成脸部三维模型的方式相比，加入图像的深度特征能够有效提高三维模型合成以及脸部关键点检测的精确度。另外，目标图像数据可以包含由多个不同方位摄像机采集到的目标脸部不同方位的视频数据，服务器可以采用图像拼接算法对从不同方位图像数据提取到的图像特征进行拼接与融合，从而获得不同方位精细细节的脸部基础三维模型，如图4所示。

在本申请实施例的一种实现方式中，所述目标脸部不同方位的图像数据中的每个图像数据均包含各个脸部关键点的唯一标识以及位置信息。如上所述，每个脸部关键点的位置信息为能够表征该脸部关键点的位置和/或形态(例如眉毛的角度、眼睛的形状、鼻翼的位置、嘴角的倾斜度、嘴巴的形状等)的一个或多个空间坐标。由于拍摄角度问题，不同方位的每个图像数据可能无法包括某脸部关键点的全部位置信息，但可以根据不同方位拍摄的多个图像数据求出脸部关键点的全部位置信息，即其目标空间坐标。

通过设置多个不同方位的摄像机，每个摄像机都能拍摄获得一个方位的图像数据，每个图像数据中都包含各个脸部关键点的唯一标记以及空间坐标。这里的唯一标记用于区分各个不同的脸部关键点，例如可以使用脸部关键点的名称作为唯一标记，“头顶”、“左眼”、“鼻子”…等，也可以使用数字编号作为唯一标记，1表示头顶，2表示左眼，3表示右眼…等。需要说明的是，对于不同的图像数据，其对于同一个脸部关键点的唯一标记应当相同，以便后续准确计算各个脸部关键点的实际位置。假设有N个不同方位的摄像机，则每个脸部关键点可能具有N个/组空间坐标(对应于N个不同方位的图像数据)，由于不同摄像机的空间位置以及脸部关键点检测算法精度不同，故该N个/组空间坐标中的对应空间坐标值一般并不相同，可能是空间中一些距离较近的离散点的位置坐标，可以通过算法(例如求平均值)求取这些离散点的中心点，最终以该中心点来反映和代表检测到的脸部关键点的实际位置，该中心点的坐标即为目标空间坐标或目标空间坐标所包含的一个或多个空间坐标中的一个。

在一个实施例中，所述根据所述每个图像数据所包含的各个脸部关键点的空间坐标，计算得到每个所述脸部关键点的目标空间坐标，可以包括：

针对所述各个脸部关键点中的任意一个目标脸部关键点，计算所述目标脸部关键点在所述每个图像数据中的空间坐标的平均值，并将所述平均值确定为所述目标脸部关键点的目标空间坐标。这里是以脸部关键点的位置信息包括一个目标空间坐标值为例来说明的。如果脸部关键点的位置信息包括多个目标空间坐标值(例如对于眼睛，其位置信息可能包括眼头位置坐标、眼尾位置坐标、上下眼睑中部位置坐标)，则对于每个目标空间坐标均采用如上方式求出。

可以采用计算空间坐标平均值的方法来确定中心点坐标，例如，针对脸部关键点“头顶”，通过N个不同方位的摄像机可以获得N个图像数据，具有N个不同的空间坐标。计算该N个不同空间坐标的平均值，得到“头顶”的中心点坐标，并将该中心点坐标确定为“头顶”的目标空间坐标。以此类推，能够获得所有脸部关键点的目标空间坐标。

另外，需要说明的是，某些摄像机由于拍摄角度遮挡的问题可能无法检测到完整的所有脸部关键点，例如只能检测到5个脸部关键点(假设总共10个脸部关键点)的信息。因此，通过N个不同方位的摄像机可以获得N个图像数据，但针对某个脸部关键点可能只有N-2个空间坐标(两个摄像机检测不到该脸部关键点)，此时仍然可以计算该N-2个空间坐标的中心点坐标作为该脸部关键点的目标空间坐标。

103、根据所述脸部关键点信息生成所述目标脸部的当前特征向量。

从所述目标图像数据获得脸部关键点信息后，服务器可以通过将各个脸部关键点的脸部关键点信息向量化来得到目标脸部的当前特征向量。脸部关键点信息的向量化方法可以采用已知的各种信息向量化方法。所生成的目标脸部的当前特征向量通过脸部五官的形态、位置数据来表征目标脸部的当前脸部表情特征和/或大致样貌特征。

104、获取至少一个标准三维模型，其中每个标准三维模型包括对应的标准特征向量，每个所述标准特征向量用于表征一种基础表情，并且其中每个标准三维模型包括对应的脸部纹理数据。

在一个实施例中，所述至少一个标准三维模型可以是预先存储的一个或多个表征三维模型。例如，预先存储脸部的多个标准三维模型，每个标准三维模型具有一种基础表情(如微笑、愤怒、惊奇、大笑、悲伤、皱眉、无表情等等)。具有一种基础表情的标准三维模型还可以包括多个，每个具有不同的样貌特征，例如不同的脸型和/或五官形状。在一个示例中，可以预先采集多个用户的脸部图像数据(包括脸部关键点信息和脸部纹理数据)，其中让每个用户作出各种基础表情并分别采集。然后根据采集的脸部图像数据生成各个标准三维模型，其中通过将脸部关键点信息向量化生成标准特征向量，并将标准特征向量和对应的脸部纹理数据与该标准三维模型关联存储。在一个示例中，在挑选采集对象时，可以挑选样貌特征具有不同特点的用户。

在另一实施例中，可以根据基础三维模型和当前特征向量生成所述至少一个标准三维模型。例如，将所述基础三维模型和所述当前特征向量作为第一类函数模型的输入，得到作为第一类函数模型的输出的所述至少一个标准三维模型。其中，第一类函数模型可以包括多个函数模型，每个函数模型对应一个基础表情，将一个脸部的基础三维模型和当前特征向量输入每个函数模型可以得到该脸部的带有对应基础表情的标准三维模型、该标准三维模型的标准特征向量及脸部纹理数据。

第一类函数模型可以通过机器学习建立起来。在一个示例中，第一类函数模型的训练样本为多个数据样本，每个数据样本包括一个脸部三维模型及对应的当前特征向量，每个数据样本的标引为该脸部的带有一种基础表情的标准三维模型以及对应的标准特征向量和对应的脸部纹理数据。可以预先采集多个用户的脸部图像数据(包括脸部关键点信息和脸部纹理数据)。对于每个用户，让其作出各种基础表情并分别采集以得到脸部图像数据1，还让其作出各种任意的非基础表情并分别采集以得到脸部图像数据2，然后，根据脸部图像数据2得到训练用的数据样本，根据脸部图像数据1得到数据样本的标引。利用多个数据样本对原始模型进行训练，可以得到第一类函数模型的多个函数模型。

对于训练好的第一类函数模型的多个函数模型，分别输入目标脸部的基础三维模型和当前特征向量，可以得到目标脸部的多个标准三维模型，每个标准三维模型带有一种基础表情，包含对应的标准特征向量和脸部纹理数据。

105、根据所述当前特征向量与所述至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据。

在一个实施例中，根据所述当前特征向量与所述至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据包括：

确定所述至少一个标准三维模型中标准特征向量与所述当前特征向量的差向量的值最小的一个标准三维模型；以及

将该标准三维模型的脸部纹理数据确定为所述基础三维模型的脸部纹理数据。

在该实施例中，特征向量表征脸部的表情和/或样貌特征，通过比较当前特征向量与标准特征向量并选取二者的差向量最小的标准特征向量对应的标准三维模型，相当于选择了与目标图像数据中的目标脸部的表情和/或样貌特征具有最大相似度/相关度的标准三维模型，这样的标准三维模型的脸部纹理数据是最适于目标图像数据中的目标脸部的，从而会使得融合后的脸部三维重建模型具有更高的真实感。

在另一实施例中，根据所述当前特征向量与所述至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据包括：

将所述当前特征向量分解为所述至少一个标准三维模型的标准特征向量的加权和，其中每个标准三维模型的标准特征向量具有相应的加权系数；

将所述加权系数用作相应的标准三维模型的脸部纹理数据的加权系数，并计算所述至少一个标准三维模型的脸部纹理数据的加权和，作为所述基础三维模型的脸部纹理数据。

例如，假设基础三维模型的当前特征向量为A＝[a1，a2，a3，……，an]，其中n>1。有M-1个标准三维模型(M>1)，其标准特征向量分别如下：

B＝[b1，b2，b3，……，bn]，

C＝[c1，c2，c3，……，cn]，

……

M＝[m1，m2，m3，……，mn]。

则可以将当前特征向量为A分解为这M-1个标准特征向量的加权和：

A＝B0*B+C0*C+……+M0*M

其中B0、C0、……M0为加权系数，其也表征当前特征向量与各标准特征向量的相似度/相关度，因此也表征基础三维模型与各标准三维模型之间的相似度/相关度。因此，可以将这些加权系数应用于各标准三维模型的脸部纹理数据并将各标准三维模型的脸部纹理数据的加权和作为基础三维模型的脸部纹理数据。假设各标准三维模型的脸部纹理数据分别为B1、C1、……、M1，则基础三维模型的脸部纹理数据A1＝B0*B1+C0*C1+……+M0*M1。

在该实施例中，通过将目标脸部的基础三维模型的当前特征向量分解为各标准特征向量的加权和而得到各标准三维模型的加权系数，将这些加权系数应用于对应的脸部纹理数据并求加权和，即得到基础三维模型的脸部纹理数据。通过这种方法生成的脸部纹理数据更符合目标脸部的基础三维模型。

106、将所述基础三维模型的脸部纹理数据与所述基础三维模型相融合，得到所述目标脸部的三维重建模型。

通过102中的处理获得的目标脸部的基础三维模型虽然有了颜色、纹理特征，但当目标图像数据的清晰度、分辨率不够理想时可能其颜色、纹理特征不够清晰真实，这时，还需要在该基础三维模型上融合通过105中的处理生成的脸部纹理数据，以获得更高的真实感。另外，即使目标图像数据足够清晰，当用户希望采用重新生成的脸部纹理数据时，也可以将通过105中的处理生成的脸部纹理数据融合到基础三维模型上。可以采用纹理贴图的方式实现该融合，即将脸部纹理数据覆盖在基础三维模型的表面。当然也可以采用其他纹理上色的方式来实现上述融合。

为了更清楚地说明本申请实施例提出的生成脸部三维模型的方法，下面列举一个实际的应用场景。

本申请实施例提出的生成脸部三维模型的方法，可以应用在某AR互动***上，该***包含的各个设备可以参照图2，使用该AR互动***的流程示意图如图5所示，以下描述图5所示的各个步骤：

S501，用户作出各种头部动作和各种脸部表情，于此期间通过用户头部四周的多个TOF摄像机多方位实时采集用户的图像数据，例如视频数据，该视频数据包含用户图像的RGB特征、深度特征以及脸部关键点位置信息；

S502，多个TOF摄像机采集的视频数据汇集至网络交换机，并传输至服务器；

S503，服务器对来自不同摄像机的视频数据中的视频帧进行分解，获得几组关键的表情数据帧，每组关键的表情数据帧即是来自不同摄像机所采集的脸部图像特征的组合，这些表情数据帧的表现形式为执行几个关键表情的脸部三维模型；

S504，服务器获取视频数据的图像特征信息并识别视频数据中的脸部关键点信息，生成与关键表情帧一一对应的基础三维模型，并将通过如上所述的方式生成的纹理数据融合到基础三维模型上，从而得到脸部三维重建模型；该脸部三维重建模型对应于每组关键表情帧，即当视频中的用户作出头部动作或脸部表情时，三维重建模型也随着相应变化，从而实现与用户的互动。

综上所述，本申请实施例通过在目标对象的头部周围的多个方位设置摄像机，实时采集该目标对象的目标脸部的不同方位的图像特征信息以及脸部关键点信息，并通过图像特征提取与融合的方式，合成对应的脸部基础三维模型，实现了人脸三维模型重建。另外还基于脸部关键点信息生成适宜的脸部纹理数据并融合在基础三维模型上，使得人脸三维模型的真实感更强。

应理解，上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上面主要描述了一种生成脸部三维模型的方法，下面将对一种生成脸部三维模型的装置进行描述。

请参阅图6，本申请实施例中一种生成脸部三维模型的装置的一个实施例包括：

目标图像数据获取模块601，用于获取目标图像数据，所述目标图像数据包含目标脸部的图像特征信息以及脸部关键点信息；

基础三维模型生成模块602，用于根据所述图像特征信息生成所述目标脸部的基础三维模型；

当前特征向量生成模块603，用于根据所述脸部关键点信息生成所述目标脸部的当前特征向量；

标准三维模型获取模块604，用于获取至少一个标准三维模型，其中每个标准三维模型包括对应的标准特征向量，每个所述标准特征向量用于表征所述目标脸部的一种基础表情，并且其中每个标准三维模型包括对应的脸部纹理数据；

脸部纹理数据生成模块605，用于根据所述当前特征向量与所述至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据；以及

融合模块606，用于将所述基础三维模型的脸部纹理数据与所述基础三维模型相融合，得到所述目标脸部的三维重建模型。

在本申请实施例的一种实现方式中，标准三维模型获取模块604包括标准三维模型生成模块，用于将所述基础三维模型和所述当前特征向量作为第一类函数模型的输入，得到作为第一类函数模型的输出的所述至少一个标准三维模型。其中，第一类函数模型的训练样本为多个数据样本，每个数据样本包括一个脸部三维模型及对应的当前特征向量，每个数据样本的标引为至少一种类型的标准三维模型以及对应的标准特征向量和对应的脸部纹理数据，其中每种类型的标准三维模型表征一种基础表情。

在本申请实施例的一种实现方式中，所述脸部纹理数据生成模块605包括：

比较单元，用于确定所述至少一个标准三维模型中标准特征向量与所述当前特征向量的差向量的值最小的一个标准三维模型；以及

确定单元，用于将该标准三维模型的脸部纹理数据确定为所述基础三维模型的脸部纹理数据。

在本申请实施例的另一种实现方式中，所述脸部纹理数据生成模块605包括：

分解单元，用于将所述当前特征向量分解为所述至少一个标准三维模型的标准特征向量的加权和，其中每个标准三维模型的标准特征向量具有相应的加权系数；

生成单元，用于将所述加权系数用作相应的标准三维模型的脸部纹理数据的加权系数，并计算所述至少一个标准三维模型的脸部纹理数据的加权和，作为所述基础三维模型的脸部纹理数据。

在本申请实施例的另一种实现方式中，所述目标图像数据获取模块601通过如下方式实现目标图像数据的获取：

获取由至少二个摄像机同步采集到的所述目标脸部不同方位的图像数据，并将所述目标脸部不同方位的图像数据确定为所述目标图像数据，其中，所述至少二个摄像机具有脸部关键点检测功能且设置在所述目标脸部周围的不同方位。

在一个示例中，所述获取由至少二个摄像机同步采集到的所述目标脸部不同方位的图像数据，包括：

通过网络交换机接收所述目标脸部不同方位的图像数据，其中，所述至少二个摄像机将同步采集到的图像数据汇集至所述网络交换机。

在一个示例中，所述图像脸部关键点信息包括各个脸部关键点的唯一标识以及每个脸部关键点的目标空间坐标，其中所述目标图像数据获取模块601还包括：

目标空间坐标确定单元，用于根据所述目标脸部不同方位的图像数据中各个脸部关键点的空间坐标，计算得到每个所述脸部关键点的目标空间坐标。

在一个示例中，目标空间坐标确定单元通过如下方式实现目标空间坐标的计算：

针对所述各个脸部关键点中的任一脸部关键点，计算该脸部关键点在所述目标脸部不同方位的图像数据中的空间坐标的平均值，并将所述平均值确定为该脸部关键点的目标空间坐标。

在本申请实施例的另一种实现方式中，所述基础三维模型生成模块602包括：

提取单元，用于从所述目标图像数据中提取颜色特征图像帧和深度特征图像帧；

合成单元，用于对所述颜色特征图像帧和所述深度特征图像帧执行图像特征提取处理，并基于提取到的图像特征合成所述目标脸部的三维模型。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如图1表示的任意一种生成脸部三维模型的方法。

本申请实施例还提供一种计算机程序产品，当该计算机程序产品在终端设备上运行时，使得终端设备执行实现如图1表示的任意一种生成脸部三维模型的方法。

图7是本申请一实施例提供的计算装置的示意图，该计算装置例如可以为如上所述的服务器，也可以是其他的计算装置，例如一般的计算机、平板电脑、终端设备等。如图7所示，该实施例的计算装置7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个生成脸部三维模型的方法的实施例中的步骤，例如图1所示的步骤101至106。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块601至606的功能。

所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述计算装置7中的执行过程。

所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器71可以是所述计算装置7的内部存储单元，例如计算装置7的硬盘或内存。所述存储器71也可以是所述计算装置7的外部存储设备，例如所述计算装置7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述计算装置7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种生成脸部三维模型的方法，其特征在于，包括：

获取目标图像数据，所述目标图像数据包含目标脸部的图像特征信息以及脸部关键点信息；

根据所述图像特征信息生成所述目标脸部的基础三维模型；

根据所述脸部关键点信息生成所述目标脸部的当前特征向量；

获取至少一个标准三维模型，其中每个标准三维模型包括对应的标准特征向量，每个所述标准特征向量用于表征一种基础表情，并且其中每个标准三维模型包括对应的脸部纹理数据；

根据所述当前特征向量与所述至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据；以及

将所述基础三维模型的脸部纹理数据与所述基础三维模型相融合，得到所述目标脸部的三维重建模型。

2.如权利要求1所述的方法，其特征在于，所述根据所述当前特征向量与所述至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据包括：

确定所述至少一个标准三维模型中标准特征向量与所述当前特征向量的差向量的值最小的一个标准三维模型；以及

将该标准三维模型的脸部纹理数据确定为所述基础三维模型的脸部纹理数据。

3.如权利要求1所述的方法，其特征在于，所述获取目标图像数据，包括：

获取由至少二个摄像机同步采集到的所述目标脸部不同方位的图像数据，并将所述目标脸部不同方位的图像数据确定为所述目标图像数据，其中，所述至少二个摄像机具有脸部关键点检测功能且设置在所述目标脸部周围的不同方位。

4.如权利要求3所述的方法，其特征在于，所述获取由至少二个摄像机同步采集到的所述目标脸部不同方位的图像数据，包括：

通过网络交换机接收所述目标脸部不同方位的图像数据，其中，所述至少二个摄像机将同步采集到的图像数据汇集至所述网络交换机。

5.如权利要求3所述的方法，其特征在于，所述图像脸部关键点信息包括各个脸部关键点的唯一标识以及每个脸部关键点的目标空间坐标，其中所述方法还包括：

根据所述目标脸部不同方位的图像数据中各个脸部关键点的空间坐标，计算得到每个所述脸部关键点的目标空间坐标。

6.如权利要求5所述的方法，其特征在于，所述根据所述目标脸部不同方位的图像数据中各个脸部关键点的空间坐标，计算得到每个所述脸部关键点的目标空间坐标，包括：

针对所述各个脸部关键点中的任一脸部关键点，计算该脸部关键点在所述目标脸部不同方位的图像数据中的空间坐标的平均值，并将所述平均值确定为该脸部关键点的目标空间坐标。

7.如权利要求1所述的方法，其特征在于，所述根据所述图像特征信息生成所述目标脸部的基础三维模型，包括：

从所述目标图像数据中提取颜色特征图像帧和深度特征图像帧；

对所述颜色特征图像帧和所述深度特征图像帧执行图像特征提取处理，并基于提取到的图像特征合成所述目标脸部的三维模型。

8.一种生成脸部三维模型的装置，其特征在于，包括：

目标图像获取模块，用于获取目标图像数据，所述目标图像数据包含目标脸部的图像特征信息以及脸部关键点信息；

基础三维模型生成模块，用于根据所述图像特征信息生成所述目标脸部的基础三维模型；

当前特征向量生成模块，用于根据所述脸部关键点信息生成所述目标脸部的当前特征向量；

标准三维模型获取模块，用于获取至少一个标准三维模型，其中每个标准三维模型包括对应的标准特征向量，每个所述标准特征向量用于表征所述目标脸部的一种基础表情，并且其中每个标准三维模型包括对应的脸部纹理数据；

脸部纹理数据生成模块，用于根据所述当前特征向量与所述至少一个标准三维模型的标准特征向量的相关度，基于所述至少一个标准三维模型的脸部纹理数据生成所述基础三维模型的脸部纹理数据；以及

融合模块，用于将所述基础三维模型的脸部纹理数据与所述基础三维模型相融合，得到所述目标脸部的三维重建模型。

9.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的生成脸部三维模型的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的生成脸部三维模型的方法。

Images