CN115393532A

CN115393532A - 脸部绑定方法、装置、设备及存储介质

Info

Publication number: CN115393532A
Application number: CN202211326540.XA
Authority: CN
Inventors: 胡诗卉; 何山; 周良; 胡金水; 殷兵; 刘聪
Original assignee: iFlytek Co Ltd
Current assignee: iFlytek Co Ltd
Priority date: 2022-10-27
Filing date: 2022-10-27
Publication date: 2022-11-25
Anticipated expiration: 2042-10-27
Also published as: CN115393532B

Abstract

本申请提供了一种脸部绑定方法、装置、设备及存储介质，涉及人工智能技术领域，具体实现方案为：利用获取到的目标对象的脸部图像，在目标对象对应的三维人脸模型中确定三维人脸模型的脸部特征区域；在脸部特征区域中确定对应的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系；根据三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系，确定目标对象的三维人脸模型顶点与脸部骨骼点的绑定关系根据本申请的技术方案，能够在三维建模软件中实现三维人脸模型顶点与脸部骨骼点的自动绑定，提高脸部绑定效率，进而提升虚拟形象的生成效率。

Description

脸部绑定方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种脸部绑定方法、装置、设备及存储介质。

背景技术

虚拟形象技术是为计算机***赋予一个拟人化的数字形象，该数字形象可以自动化地进行新闻播报、节目互动以及人机对话等任务。现有的虚拟形象的生成方法，通常使用预置好的三维模型资源，用户拍摄一张自拍照，通过神经网络将用户的脸型、发型、五官等人脸部件分类，在预置的三维模型资源中找到与各人脸部件最为相似的资源进行拼接组合，形成用户的虚拟形象。为了保证虚拟形象的高精度和表现力，在三维建模软件中，模型绑定这一过程通常是由工作人员手工进行的，使得虚拟模型的生成效率低下。

发明内容

为了解决上述问题，本申请提出一种脸部绑定方法、装置、设备及存储介质，能够在三维建模软件中实现三维人脸模型顶点与脸部骨骼点的自动绑定，提高脸部绑定效率，进而提升虚拟形象的生成效率。

根据本申请实施例的第一方面，提供了一种脸部绑定方法，包括：

利用获取到的目标对象的脸部图像，在所述目标对象对应的三维人脸模型中确定所述三维人脸模型的脸部特征区域；

在所述脸部特征区域中确定对应的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系；

根据所述三维人脸模型顶点与脸部骨骼点的目标连接关系和所述三维人脸模型顶点与脸部骨骼点的目标运动关系，确定所述目标对象的三维人脸模型顶点与脸部骨骼点的绑定关系。

根据本申请实施例的第二方面，提供了一种脸部绑定装置，包括：

处理模块，用于利用获取到的目标对象的脸部图像，在所述目标对象对应的三维人脸模型中确定所述三维人脸模型的脸部特征区域；

确定模块，用于在所述脸部特征区域中确定对应的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系；

绑定模块，用于根据所述三维人脸模型顶点与脸部骨骼点的目标连接关系和所述三维人脸模型顶点与脸部骨骼点的目标运动关系，确定所述目标对象的三维人脸模型顶点与脸部骨骼点的绑定关系。

本申请第三方面提供了一种电子设备，包括：

存储器和处理器；

所述存储器与所述处理器连接，用于存储程序；

所述处理器，通过运行所述存储器中的程序，实现上述的脸部绑定方法。

本申请第四方面提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程度被处理器运行时，实现上述的脸部绑定方法。

上述申请中的一个实施例具有如下优点或有益效果：

利用获取到的目标对象的脸部图像，在目标对象对应的三维人脸模型中确定三维人脸模型的脸部特征区域，再确定脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系，并根据脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系，确定目标对象的三维人脸模型顶点与脸部骨骼点的绑定关系，从而可以根据绑定关系在三维建模软件中实现三维人脸模型顶点与脸部骨骼点的自动绑定，提高脸部绑定效率，进而提升虚拟形象的生成效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是根据本申请一实施例的脸部绑定方法的流程示意图；

图2是根据本申请一实施例的极限表情的示意图；

图3是根据本申请另一实施例的脸部绑定方法的流程示意图；

图4是根据本申请另一实施例的脸部绑定方法的流程示意图；

图5是根据本申请另一实施例的脸部绑定方法的流程示意图；

图6是根据本申请一实施例的脸部图像划分区域的示意图；

图7是根据本申请一实施例的三维人脸模型的脸部特征区域的示意图；

图8是根据本申请另一实施例的脸部绑定装置的框图；

图9是用来实现本申请实施例的脸部绑定方法的电子设备的框图。

具体实施方式

本申请实施例技术方案适用于应用在各种人机交互的场景中，例如，人车交互、VR场景、人与各种智能家电的语音交互等。采用本申请实施例技术方案，能够更加准确地生成针对不同的真人生成个性化的虚拟形象。

本申请实施例技术方案可示例性地应用于处理器、电子设备、服务器（包括云服务器）等硬件设备，或包装成软件程序被运行，当硬件设备执行本申请实施例技术方案的处理过程，或上述软件程序被运行时，可以实现根据脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和目标运动关系确定的目标对象的三维人脸模型顶点与脸部骨骼点的绑定关系，在三维建模软件中自动绑定三维人脸模型顶点与脸部骨骼点的目的。本申请实施例只对本申请技术方案的具体处理过程进行示例性介绍，并不对本申请技术方案的具体实现形式进行限定，任意的可以执行本申请技术方案处理过程的技术实现形式，都可以被本申请实施例所采用。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

示例性方法

图1是根据本申请一实施例的脸部绑定方法的流程图。在一示例性实施例中，提供了一种脸部绑定方法，包括：

S110、利用获取到的目标对象的脸部图像，在所述目标对象对应的三维人脸模型中确定所述三维人脸模型的脸部特征区域；

S120、在所述脸部特征区域中确定对应的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系；

S130、根据所述三维人脸模型顶点与脸部骨骼点的目标连接关系和所述三维人脸模型顶点与脸部骨骼点的目标运动关系，确定所述脸部特征区域中三维人脸模型顶点与脸部骨骼点的绑定关系。

在步骤S110中，示例性地，目标对象可以是人或者动物等有生命的物体。脸部图像是包含目标对象的五官的图像，其中，脸部图像可以是目标对象极限表情下的图像，极限表情指的是目标对象做出最大程度的表情，也可以是自然表情下的图像，在此不作限定。优选地，如图2所示，脸部图像是目标对象极限表情下的图像，以这些极限表情作为基准使得脸部绑定方法能够还原这些极限表情，保证脸部绑定方法对目标对象的还原度和表现力。可选地，脸部图像可以是通过摄像头拍摄的照片，还可以是视频中的任一视频帧。在本实施例中，采用相机阵列拍摄目标对象，得到目标对象的脸部图像。

示例性地，三维人脸模型是对目标对象的脸部进行三维重建形成的三维虚拟形象。可选地，可以根据相机阵列中每个相机(成像通道)从不同位置、不同视角采集图像信息，探测不同阵列相机各成像通道之间的视差，从而获取三维信息，即根据阵列相机中不同成像通道的视差分析出目标对象的三维深度信息，从而根据相机阵列采集的目标对象脸部图像，确定目标对象的三维人脸模型。

可选地，脸部特征区域可以是根据目标人物的五官进行划分的区域，也可以是自定义划分的区域，例如，将整个脸部划分为左脸和右脸两个脸部特征区域。又例如，将一整个脸部作为一个脸部特征区域。

可选地，可以在目标对象的脸部图像中确定对应的脸部特征区域，将脸部特征区域映射在目标对象对应的三维人脸模型中，从而确定三维人脸模型的脸部特征区域。

在步骤S120中，示例性地，三维人脸模型顶点（mesh）是指三维人脸模型可以看成多个小三角形或四边形组成的。以小三角形为例，每个小三角形就可以看成一个顶点。顶点越多，三维人脸模型越精细。脸部骨骼点是指脸部的关键点，在进行人脸重建时脸部的关键点的数量是特定数量，一般为68个关键点。而为了取得较高的脸部控制精度，因此，在本申请中脸部骨骼点的初始数量大于特定数量，即大于68个。具体地，可以设置脸部骨骼点的初始数量与三维人脸模型顶点的数量相同。

示例性地，三维人脸模型顶点与脸部骨骼点的目标连接关系指的是脸部特征区域中某个脸部骨骼点与至少一个三维人脸模型顶点存在连接关系，而连接关系指的是在脸部特征区域内的某个骨骼点朝任意方向运动时，存在至少一个三维人脸模型顶点跟随该骨骼点进行相应运动。三维人脸模型顶点与脸部骨骼点的目标运动关系指的是目标连接关系对应的三维人脸模型顶点跟随其对应的脸部骨骼点的运动轨迹。

可选地，在上述的脸部特征区域中，可以为每个三维人脸模型顶点设置一个对应的脸部骨骼点，并建立一一对应的连接关系，然后不断优化三维人脸模型顶点与脸部骨骼点的连接关系和运动关系，并基于三维人脸模型顶点与脸部骨骼点的连接关系和运动关系生成表情，使得生成的表情不断接近目标表情，最后确定出三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系。

在步骤S130中，三维人脸模型顶点与脸部骨骼点的绑定关系，是指由三维人脸模型顶点与脸部骨骼点的目标连接关系和目标运动关系而确定的三维人脸模型顶点与脸部骨骼点之间的绑定关联关系。例如，当明确三维人脸模型顶点与脸部骨骼点的目标连接关系和目标运动关系时，可以明确三维人脸模型中的哪些顶点的运动与哪些脸部骨骼点有关，还可以明确其关联程度，基于三维人脸模型顶点与脸部骨骼点的关联关系和关联程度，可以确定哪些三维人脸模型顶点与哪些脸部骨骼点之间存在关联关系，存在关联关系的模型顶点与脸部骨骼点，即可视为具有绑定关系。

示例性的，根据三维人脸模型顶点与脸部骨骼点的目标连接关系和目标运动关系，确定具有联动关联关系的三维人脸模型顶点与脸部骨骼点。记录三维人脸模型顶点与脸部骨骼点之间的联动关联关系，即可作为三维人脸模型顶点与脸部骨骼点的绑定关系。

可选地，可以根据不同的三维建模软件的格式对三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系进行格式转换，形成相应格式的绑定关系。需要说明的是，若目标对象的三维人脸模型包括多个脸部特征区域，则三维人脸模型顶点与脸部骨骼点的绑定关系是多个脸部特征区域内的三维人脸模型顶点与脸部骨骼点的绑定关系。若目标对象的三维人脸模型包括一个脸部特征区域，则三维人脸模型顶点与脸部骨骼点的绑定关系是这一个脸部特征区域内的三维人脸模型顶点与脸部骨骼点的绑定关系。

在本申请的技术方案中，利用获取到的目标对象的脸部图像，在目标对象对应的三维人脸模型中确定三维人脸模型的脸部特征区域，再确定脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系，并根据脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系，确定目标对象的三维人脸模型顶点与脸部骨骼点的绑定关系，从而可以根据绑定关系在三维建模软件中实现三维人脸模型顶点与脸部骨骼点的自动绑定，提高脸部绑定效率，降低工作人员的工作量，进而提升虚拟形象的生成效率。

在一种实施方式中，如图3所示，在所述脸部特征区域中确定对应的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系，步骤S120包括：

S310、对所述脸部特征区域中的三维人脸模型顶点与脸部骨骼点的连接关系和运动关系进行优化，并根据优化的运动关系确定对应的预测表情；

S320、在所述预测表情与所述脸部图像中的目标表情满足预设第一条件的情况下，将对应所述预测表情的连接关系和运动关系，确定为所述脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和目标运动关系。

示例性地，预测表情是根据三维人脸模型顶点跟随其对应的脸部骨骼点的运动轨迹形成的表情。预设第一条件可以包括预测表情与目标表情的误差小于预设阈值。上述的目标表情，是指目标对象的脸部图像中所呈现出的目标对象的面部表情。在本申请实施例中，目标对象的脸部图像可以是目标对象极限表情下的图像，而极限表情指的是目标对象做出最大程度的表情。因此，在本申请实施例中，上述的目标表情是在上述的目标对象的脸部图像中所呈现出的目标对象的极限表情。

具体地，在脸部特征区域中确定三维人脸模型顶点与脸部骨骼点的连接关系和运动关系后，根据三维人脸模型顶点跟随其对应的脸部骨骼点的运动轨迹确定预测表情，若预测表情与目标表情的误差小于预设阈值，则说明在得到该预测表情时对应的三维人脸模型顶点与脸部骨骼点的连接关系和运动关系，可以生成与目标对象贴合的虚拟形象，并且该虚拟形象能够呈现接近用户真实人脸的表情状态。因此将上述连接关系和运动关系，确定为脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和目标运动关系。若预测表情与目标表情的误差不小于预设阈值，则改变脸部特征区域中三维人脸模型顶点与脸部骨骼点的连接关系和/或运动关系，然后再基于改变后的三维人脸模型顶点与脸部骨骼点的连接关系和运动关系得到预测表情，直至预测表情与目标表情的误差小于预设阈值。

在一种实施方式中，如图4所示，所述对所述脸部特征区域中的三维人脸模型顶点与脸部骨骼点连接关系和运动关系进行优化，并根据优化的运动关系确定对应的预测表情，步骤S310包括：

S410、针对所述脸部特征区域中N个脸部骨骼点与所述脸部特征区域中M个三维人脸模型顶点，确定K组三维人脸模型顶点与脸部骨骼点的连接关系；

S420、根据所述K组三维人脸模型顶点与脸部骨骼点的连接关系确定K组三维人脸模型顶点与脸部骨骼点的运动关系；

S430、根据所述K组三维人脸模型顶点与脸部骨骼点的运动关系，确定对应的预测表情；其中，N、M、K均为正整数，K不大于N。

示例性地，脸部特征区域中的脸部骨骼点的数量可以是与三维人脸模型顶点的数量相同，也可以和三维人脸模型顶点的数量不同。可选地，可以是每个脸部骨骼点均连接有三维人脸模型顶点，即脸部特征区域中的所有脸部骨骼点控制脸部特征区域内的表情；还可以是部分脸部骨骼点连接有三维人脸模型顶点，即脸部特征区域中的部分脸部骨骼点控制脸部特征区域内的表情。可选地，K组三维人脸模型顶点与脸部骨骼点的连接关系可以是任意确定的，还可以是根据三维人脸模型顶点与脸部骨骼点的距离确定的，在此不作限定。例如，可以是在N个脸部骨骼点中任意选出K个脸部骨骼点，通过K个脸部骨骼点控制M个三维人脸模型顶点，形成K组三维人脸模型顶点与脸部骨骼点的连接关系和运动关系。可以理解的是，通过选择不同的脸部骨骼点，得到不同的K个脸部骨骼点的组合，进而按照上述处理，对应每一种K个脸部骨骼点的组合，可以分别得到相应的K组三维人脸模型顶点与脸部骨骼点的连接关系和运动关系。再通过对比每个连接关系对应的预测表情与目标表情之间的关系，不断对连接关系进行筛选，确定出优化的连接关系和运动关系。还可以是M个三维人脸模型顶点均对应一个脸部骨骼点，形成 M组三维人脸模型顶点与脸部骨骼点的连接关系和运动关系，根据运动关系生成预测表情。在预测表情与脸部图像中的目标表情不满足预设第一条件的情况下，可以根据预测表情与脸部图像之间的误差对三维人脸模型顶点与脸部骨骼点的连接关系进行优化，从而不断在N个脸部骨骼点中进行筛选得到K个脸部骨骼点，并优化K个脸部骨骼点与M个三维人脸模型顶点之间的连接关系。

在本实施例中，在确定K组三维人脸模型顶点与脸部骨骼点的连接关系后。由于需要生成的虚拟形象的表情与目标对象一致，因此，可以根据目标表情的确定脸部骨骼点运动方向和距离，脸部骨骼点带动三维人脸模型顶点运动，从而确定三维人脸模型顶点的运动轨迹（即K组三维人脸模型顶点与脸部骨骼点的运动关系）。又由于三维人脸模型包括M个三维人脸模型顶点，而三维人脸模型顶点的运动，则会引起面部表情的改变。因此，根据三维人脸模型顶点的运动轨迹，可以确定出预测表情。

在一种实施方式中，所述根据所述K组三维人脸模型顶点与脸部骨骼点的连接关系确定K组三维人脸模型顶点与脸部骨骼点的运动关系，包括：

利用所述目标表情对应的表情参数，确定所述K组三维人脸模型顶点与脸部骨骼点的连接关系对应的K组三维人脸模型顶点与脸部骨骼点的运动关系。

示例性地，表情参数用于表示形成表情时的脸部骨骼点的参数。在本实施例中，在获取目标表情后则可以确定对应的表情参数，根据表情参数可以确定出脸部处于目标表情时***区域等区域的偏移量，亦或是脸部关键点的移动距离和/或移动方向。而K组三维人脸模型顶点与脸部骨骼点的运动关系用于表示三维人脸模型顶点跟随脸部骨骼点的运动轨迹，因此，根据脸部关键点的移动距离和移动方向确定脸部骨骼点的运动方向和距离，再根据脸部骨骼点的运动方向和距离确定三维人脸模型顶点的运动轨迹。从而根据目标表情生成的运动关系生成的预测表情，可以更接近目标表情，进而可以更快速地确定出目标连接关系和目标运动关系。

在一种实施方式中，所述在所述预测表情与所述脸部图像中的目标表情满足预设第一条件的情况下，将对应该预测表情的连接关系和运动关系，确定为所述脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和目标运动关系，包括；

在所述K组三维人脸模型顶点与脸部骨骼点的运动关系对应的预测表情与所述脸部图像中的目标表情满足预设第一条件的情况下，确定与所述N个脸部骨骼点存在连接关系的三维人脸模型顶点之间的重叠关系；

在所述重叠关系满足预设第二条件的情况下，将所述K组三维人脸模型顶点与脸部骨骼点的连接关系确定为所述目标连接关系，所述K组三维人脸模型顶点与脸部骨骼点的运动关系确定为所述目标运动关系。

示例性地，与N个脸部骨骼点存在连接关系的三维人脸模型顶点之间的重叠关系指的是N个脸部骨骼点中的第i个脸部骨骼点存在连接关系的三维人脸模型顶点和第z个脸部骨骼点存在连接关系的三维人脸模型顶点之间的重叠关系。其中，i、z为小于N的正整数。

可选地，在同一个三维人脸模型顶点和多个脸部骨骼点存在连接关系的情况下，若上述多个脸部骨骼点同时运动，则三维人脸模型顶点无法同时进行不同的运动，则无法生成目标表情。因此需要控制同一个三维人脸模型顶点连接的脸部骨骼点的数量（即重叠关系），即需要重叠关系满足预设第二条件。可选地，预设第二条件可以是重叠数量小于重叠数量阈值，重叠数量阈值可以根据需要进行设置。还可以是根据重叠关系对应的三维人脸模型顶点的影响范围进行相应设置。这样，根据重叠关系作为约束条件，从而可以确定出更准确地目标连接关系，进而通过上述目标连接关系进行模型绑定，生成的虚拟形象能够接近用户真实人脸的表情状态，从而具有精度高、表现力强等优点。

进一步地，在所述脸部特征区域的三维人脸模型顶点与脸部骨骼点的目标连接关系中，每个三维人脸模型顶点均有存在连接关系的脸部骨骼点。

示例性地，目标连接关系中每个三维人脸模型顶点均有存在连接关系的脸部骨骼点，使得脸部特征区域中的每个三维人脸模型顶点都可以被控制，从而可以更好的完成各种高精度的表情。

在本实施例中，以人脸为例进行说明。对于每一个脸部特征区域，使用矩阵

表示n个脸部骨骼点到m个三维人脸模型顶点的连接关系，矩阵

中的所有元素取值为0 或1的二元取值，0或1的二元取值用于表示脸部骨骼点i和三维人脸模型顶点j是否连接，0 表示不连接，1表示连接；使用矩阵

表示n个脸部骨骼点到m个三维人脸模型顶点的运动关系，

表示三维人脸模型顶点j受脸部骨骼点i控制的运动轨迹弧长。另外的，人脸绑定中不希望同一个三维人脸模型顶点被太多的脸部骨骼点控制，因此额外定义对称矩阵

，矩阵中每个元素

表示脸部骨骼点r与脸部骨骼点s的重叠关系，该矩阵的对角线上元素为1，即每个脸部骨骼点的影响范围与它自身的影响范围是完全重合的。最后，为了保证三维人脸模型上每个顶点能够被某一个脸部骨骼点进行控制，构造约束矩阵

，A的每一行

每m个元素仅有一个1，其余元素全为0，为1的元素的位置在第j个。

由于在使用相机阵列拍摄用户表情时，用户执行一些确定的极限表情这些极限表情由确定的绑定参数

（即表情参数）表示。运动关系

是根据连接关系

和绑定参数

确定的。因此，对于所有的极限表情的三维人脸模型

，整个优化方程的公式和约束联立为：

其中，

表示在连接关系

下，运动关系

将三维人脸模型上某一表情，这一表情需要和拍摄得到的表情

的差异最小。

表示在连接关系

下，所有脸部骨骼点两两之间的影响范围的重叠关系，需要说明的是，重叠关系需要维持一个较小的值，具体可以根据实际需要进行设定。重复最小化该优化方程，解得x之后再更新矩阵

（即运动关系对应的矩阵）和矩阵

（即对称矩阵

），直到该优化方程的值小于特定阈值。可以理解的是优化方程是一个带约束的整数二次规划问题，可以使用常规的数值优化方法对优化方程进行求解。由此可见，通过数值优化的方法，对每个脸部特征区域自动计算骨骼点与三维人脸模型的目标连接关系和目标运动关系，达到自动绑定的目的，从而解放了动画师进行模型绑定的人力和工作量。同时，通过上述算法进行模型绑定，生成的虚拟形象能够接近用户真实人脸的表情状态，从而具有精度高、表现力强等优点。

在一种实施方式中，如图5所示，所述利用获取到的目标对象的脸部图像，在所述目标对象对应的三维人脸模型中确定所述三维人脸模型的脸部特征区域，步骤S110包括：

S510、对获取到的人脸图像中目标对象的脸部区域进行分割，得到至少一个特征区域；

S520、利用所述至少一个特征区域，在所述三维人脸模型中确定对应的至少一个脸部特征区域。

示例性地，如图6所示，人脸图像可以由相机阵列拍摄得到，由于人脸的复杂性，在同一张人脸中不同区域的运动模式差异较大，且不同区域之间人脸运动的相关性不高。所以可以根据人脸解析（face parsing）方法对目标对象的脸部区域进行分割，划分为多个特征区域，例如，眼睛区域、鼻子区域、***区域、脸颊区域等。同时，使用相机阵列重建出来的三维人脸模型，拓扑结构是相对确定的。如图7所示，将划分后的人脸图像映射在三维人脸模型上，得到三维人脸模型上的脸部特征区域，即眼睛区域、鼻子区域、***区域、脸颊区域等。这样，通过在二维图像上的分割，将划分后的图像映射在三维人脸模型，从而实现了三维人脸模型的区域分割，进而可以分区对三维人脸模型顶点与脸部骨骼点进行优化，降低了计算量，加快了三维人脸模型顶点与脸部骨骼点的目标连接关系和目标运动关系的确定速度。

在一种实施方式中，所述根据所述三维人脸模型顶点与脸部骨骼点的目标连接关系和所述三维人脸模型顶点与脸部骨骼点的目标运动关系，确定所述目标对象的三维人脸模型顶点与脸部骨骼点的绑定关系，包括：

根据所述至少一个脸部特征区域的三维人脸模型顶点与脸部骨骼点的目标连接关系、三维人脸模型顶点与脸部骨骼点的目标运动关系以及与所述三维人脸模型顶点有连接关系的脸部骨骼点，得到所述目标对象的特定格式的脸部绑定文件。

示例性地，脸部绑定文件是表示用于在三维建模软件中绑定模型的文件。特定格式是表示三维建模软件的通用格式，即数字内容生成软件（Digital Content Creation，DCC），例如，Maya、Blender。

在本实施例中，目标对象的脸部包括多个脸部特征区域，则需要确定每个脸部特征区域中的目标连接关系和目标运动关系，并确定所有与三维人脸模型顶点有连接关系的脸部骨骼点，将上述内容写为DCC软件的通用格式，如fbx格式，这样就可以直接将脸部绑定文件应用于现有CG动画（Computer-generated imagery）或美术流程使用，从而可以提升人脸绑定的效率。

本申请的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

示例性装置

相应的，图8是根据本申请一实施例的脸部绑定装置的结构示意图。在一示例性实施例中，提供了一种脸部绑定装置，包括：

处理模块810，用于利用获取到的目标对象的脸部图像，在所述目标对象对应的三维人脸模型中确定所述三维人脸模型的脸部特征区域；

确定模块820，用于在所述脸部特征区域中确定对应的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系；

绑定模块830，用于根据所述三维人脸模型顶点与脸部骨骼点的目标连接关系和所述三维人脸模型顶点与脸部骨骼点的目标运动关系，确定所述目标对象的三维人脸模型顶点与脸部骨骼点的绑定关系。

在一种实施方式中，确定模块820，包括：

优化模块，用于对所述脸部特征区域中的三维人脸模型顶点与脸部骨骼点连接关系和运动关系进行优化，并根据优化的运动关系确定对应的预测表情；

第一判断模块，用于在所述预测表情与所述脸部图像中的目标表情满足预设第一条件的情况下，将对应所述预测表情的连接关系和运动关系，确定为所述脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和目标运动关系。

在一种实施方式中，优化模块，包括：

建立模块，用于针对所述脸部特征区域中N个脸部骨骼点与所述脸部特征区域中M个三维人脸模型顶点，确定K组三维人脸模型顶点与脸部骨骼点的连接关系；

关系确定模块，用于根据所述K组三维人脸模型顶点与脸部骨骼点的连接关系确定K组三维人脸模型顶点与脸部骨骼点的运动关系；

预测模块，用于根据所述K组三维人脸模型顶点与脸部骨骼点的运动关系，确定对应的预测表情；其中，N、M、K均为正整数，K不大于N。

在一种实施方式中，关系确定模块包括：

在一种实施方式中，第一判断模块包括；

在一种实施方式中，在所述脸部特征区域的三维人脸模型顶点与脸部骨骼点的目标连接关系中，每个三维人脸模型顶点均有存在连接关系的脸部骨骼点。

在一种实施方式中，处理模块810，包括：

对获取到的人脸图像中目标对象的脸部区域进行分割，得到至少一个特征区域；

利用所述至少一个特征区域，在所述三维人脸模型中确定对应的至少一个脸部特征区域。

在一种实施方式中，绑定模块830，包括：

本实施例提供的脸部绑定装置，与本申请上述实施例所提供的脸部绑定方法属于同一申请构思，可执行本申请上述任意实施例所提供的脸部绑定方法，具备执行脸部绑定方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的脸部绑定方法的具体处理内容，此处不再加以赘述。

示例性电子设备

本申请另一实施例还提出一种电子设备，参见图9所示，该设备包括：

存储器900和处理器910；

其中，所述存储器900与所述处理器910连接，用于存储程序；

所述处理器910，用于通过运行所述存储器900中存储的程序，实现上述任一实施例公开的脸部绑定方法。

具体的，上述电子设备还可以包括：总线、通信接口920、输入设备930和输出设备940。

处理器910、存储器900、通信接口920、输入设备930和输出设备940通过总线相互连接。其中：

总线可包括一通路，在计算机***各个部件之间传送信息。

处理器910可以是通用处理器，例如通用中央处理器（CPU）、微处理器等，也可以是特定应用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器910可包括主处理器，还可包括基带芯片、调制解调器等。

存储器900中保存有执行本发明技术方案的程序，还可以保存有操作***和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器900可以包括只读存储器（read-only memory，ROM）、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器（random access memory，RAM）、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备930可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

输出设备940可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。

通信接口920可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网（RAN），无线局域网(WLAN)等。

处理器910执行存储器900中所存放的程序，以及调用其他设备，可用于实现本申请上述实施例所提供的任意一种脸部绑定方法的各个步骤。

示例性计算机程序产品和存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的脸部绑定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是存储介质，其上存储有计算机程序，计算机程序被处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的脸部绑定方法中的步骤。

上述的电子设备的具体工作内容，以及上述的计算机程序产品和存储介质上的计算机程序被处理器运行时的具体工作内容，均可以参见上述的方法实施例的内容，此处不再赘述。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种脸部绑定方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述在所述脸部特征区域中确定对应的三维人脸模型顶点与脸部骨骼点的目标连接关系和三维人脸模型顶点与脸部骨骼点的目标运动关系，包括：

对所述脸部特征区域中的三维人脸模型顶点与脸部骨骼点连接关系和运动关系进行优化，并根据优化的运动关系确定对应的预测表情；

在所述预测表情与所述脸部图像中的目标表情满足预设第一条件的情况下，将对应所述预测表情的连接关系和运动关系，确定为所述脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和所述目标运动关系。

3.根据权利要求2所述的方法，其特征在于，所述对所述脸部特征区域中的三维人脸模型顶点与脸部骨骼点连接关系和运动关系进行优化，并根据优化的运动关系确定对应的预测表情，包括：

针对所述脸部特征区域中N个脸部骨骼点与所述脸部特征区域中M个三维人脸模型顶点，确定K组三维人脸模型顶点与脸部骨骼点的连接关系；

根据所述K组三维人脸模型顶点与脸部骨骼点的连接关系确定K组三维人脸模型顶点与脸部骨骼点的运动关系；

根据所述K组三维人脸模型顶点与脸部骨骼点的运动关系，确定对应的预测表情；其中，N、M、K均为正整数，K不大于N。

4.根据权利要求3所述的方法，其特征在于，所述根据所述K组三维人脸模型顶点与脸部骨骼点的连接关系确定K组三维人脸模型顶点与脸部骨骼点的运动关系，包括：

5.根据权利要求2所述的方法，其特征在于，所述在所述预测表情与所述脸部图像中的目标表情满足预设第一条件的情况下，将对应该预测表情的连接关系和运动关系，确定为所述脸部特征区域中的三维人脸模型顶点与脸部骨骼点的目标连接关系和目标运动关系，包括；

6.根据权利要求1-4中任一项所述的方法，其特征在于，在所述脸部特征区域的三维人脸模型顶点与脸部骨骼点的目标连接关系中，每个三维人脸模型顶点均有存在连接关系的脸部骨骼点。

7.根据权利要求1所述的方法，其特征在于，所述利用获取到的目标对象的脸部图像，在所述目标对象对应的三维人脸模型中确定所述三维人脸模型的脸部特征区域，包括：

8.根据权利要求7所述的方法，其特征在于，所述根据所述三维人脸模型顶点与脸部骨骼点的目标连接关系和所述三维人脸模型顶点与脸部骨骼点的目标运动关系，确定所述目标对象的三维人脸模型顶点与脸部骨骼点的绑定关系，包括：

9.一种脸部绑定装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：

存储器和处理器；

所述存储器与所述处理器连接，用于存储程序；

所述处理器，通过运行所述存储器中的程序，实现如权利要求1至8中任意一项脸部绑定方法。

11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程度被处理器运行时，实现如权利要求1至8中任意一项脸部绑定方法。