CN109376698B - 人脸建模方法和装置、电子设备、存储介质、产品 - Google Patents

Abstract

本申请实施例公开了一种人脸建模方法和装置、电子设备、存储介质、产品，其中，方法包括：通过多个人脸模型和标准人脸模型，获得人脸统计模型；获取目标人脸的人脸稠密点云；基于人脸稠密点云对人脸统计模型进行变换，获得目标人脸对应的目标人脸模型，通过获得更准确的人脸统计模型得到更准确的人脸关键点，使获得的目标人脸模型效果更好。

Description

人脸建模方法和装置、电子设备、存储介质、产品

技术领域

本申请涉及计算机视觉技术，尤其是一种人脸建模方法和装置、电子设备、存储介质、产品。

背景技术

人脸建模注册是将真实采集到的人脸应用于动画、图像合成和增强等多方面的关键技术，在利用几何方法得到人脸模型后需要将五官等具有语义信息的部位映射到相同位置，才能够进行进一步的编辑和动画制作等工作。

通用的人脸注册技术需要比较平滑完整的人脸点云或者比较多的人图片、大量的迭代计算、较高分辨率的人脸原始模型，因而现有的建模方法一般建模受限于采集数据不足或者运算性能不足等情况，建模效果不够理想。

发明内容

本申请实施例提供了一种人脸建模方法和装置、电子设备、存储介质、产品。

根据本申请实施例的一个方面，提供的一种人脸建模方法，包括：

根据多个人脸模型和标准人脸模型，获得人脸统计模型，所述多个人脸模型中的人脸模型已知人脸关键点；

获取目标人脸的人脸稠密点云；

基于所述人脸稠密点云对所述人脸统计模型进行变换，获得所述目标人脸对应的目标人脸模型。

可选地，在本申请上述任一方法实施例中，所述根据多个人脸模型和标准人脸模型，获得人脸统计模型，包括：

基于所述标准人脸模型对所述多个人脸模型进行不完整人脸部分补齐，获得多个完整人脸模型；

将所述获得的完整人脸模型与所述标准人脸模型基于人脸中心线进行模型融合，获得人脸统计模型。

可选地，在本申请上述任一方法实施例中，所述将所述获得的完整人脸模型与所述标准人脸模型基于人脸中心线进行模型融合，获得人脸统计模型，包括：

获得所述完整人脸模型中的至少两个对称顶点以确定所述人脸中心线，将所述人脸中心线与所述标准人脸模型的人脸中心线重合，获得包括所述多个完整人脸模型的人脸关键点和所述标准人脸模型的人脸关键点的关键点集合；

通过主成分分析方法对所述关键点集合进行分解处理，获得所述关键点集合中的主要关键点集合和其他关键点集合；

基于所述其他关键点集合确定所述人脸统计模型。

可选地，在本申请上述任一方法实施例中，还包括：

基于所述主要关键点集合确定所述人脸统计模型中的主要关键点的偏移方差；

基于所述主要关键点的偏移方差确定所述人脸统计模型中至少一个主要关键点的偏移方向。

可选地，在本申请上述任一方法实施例中，所述基于所述主要关键点的偏移方差确定所述人脸统计模型中至少一个主要关键点的偏移方向之前，还包括：

归一化所述偏移方差。

可选地，在本申请上述任一方法实施例中，所述基于所述标准人脸模型对所述多个人脸模型进行不完整人脸部分补齐，获得多个完整人脸模型，包括：

通过获取所述标准人脸模型的延伸部分，基于所述标准人脸模型中关键点部分与延伸部分之间的关系获得延伸部分与关键点部分之间的参数关系；

基于所述参数关系在所述多个人脸模型中的人脸模型上扩展获得相应的模型延伸部分；

基于所述多个人脸模型中的人脸模型和所述模型延伸部分获得所述完整人脸模型。

可选地，在本申请上述任一方法实施例中，所述基于所述人脸稠密点云对所述人脸统计模型进行变换，获得所述目标人脸对应的目标人脸模型，包括：

利用迭代最近点算法获得所述人脸稠密点云中的点和所述人脸统计模型中的关键点之间的变换关系；

基于所述变换关系对所述人脸统计模型进行变换，获得所述目标人脸模型。

可选地，在本申请上述任一方法实施例中，所述变换关系包括至少一个关键点的偏移量；

所述基于所述变换关系对所述人脸统计模型进行变换，获得所述目标人脸模型，包括：

基于所述至少一个关键点的偏移量对所述人脸统计模型中对应的关键点在所述偏移方向上进行偏移，获得所述目标人脸模型。

可选地，在本申请上述任一方法实施例中，所述基于所述变换关系对所述人脸统计模型进行变换，获得所述目标人脸模型之前，还包括：

基于设定比例联合特征点投影坐标、人脸在稠密点云上的对应误差和人脸变形约束，优化所述变换关系。

根据本申请实施例的另一个方面，提供的一种人脸建模装置，包括：

统计模型单元，用于根据多个人脸模型和标准人脸模型，获得人脸统计模型，所述多个人脸模型中的人脸模型已知人脸关键点；

点云获取单元，用于获取目标人脸的人脸稠密点云；

目标人脸模型获取单元，用于基于所述人脸稠密点云对所述人脸统计模型进行变换，获得所述目标人脸对应的目标人脸模型。

可选地，在本申请上述任一装置实施例中，所述统计模型单元，包括：

人脸补齐模块，用于基于所述标准人脸模型对所述多个人脸模型进行不完整人脸部分补齐，获得多个完整人脸模型；

人脸融合模块，用于将所述获得的完整人脸模型与所述标准人脸模型基于人脸中心线进行模型融合，获得人脸统计模型。

可选地，在本申请上述任一装置实施例中，所述人脸融合模块，具体用于获得所述完整人脸模型中的至少两个对称顶点以确定所述人脸中心线，将所述人脸中心线与所述标准人脸模型的人脸中心线重合，获得包括所述多个完整人脸模型的人脸关键点和所述标准人脸模型的人脸关键点的关键点集合；通过主成分分析方法对所述关键点集合进行分解处理，获得所述关键点集合中的主要关键点集合和其他关键点集合；基于所述其他关键点集合确定所述人脸统计模型。

可选地，在本申请上述任一装置实施例中，所述人脸融合模块，还用于基于所述主要关键点集合确定所述人脸统计模型中的主要关键点的偏移方差；基于所述主要关键点的偏移方差确定所述人脸统计模型中至少一个主要关键点的偏移方向。

可选地，在本申请上述任一装置实施例中，所述人脸融合模块在基于所述主要关键点的偏移方差确定所述人脸统计模型中至少一个主要关键点的偏移方向之前，还用于归一化所述偏移方差。

可选地，在本申请上述任一装置实施例中，所述人脸补齐模块，具体用于通过获取所述标准人脸模型的延伸部分，基于所述标准人脸模型中关键点部分与延伸部分之间的关系获得延伸部分与关键点部分之间的参数关系；基于所述参数关系在所述多个人脸模型中的人脸模型上扩展获得相应的模型延伸部分；基于所述多个人脸模型中的人脸模型和所述模型延伸部分获得所述完整人脸模型。

可选地，在本申请上述任一装置实施例中，所述目标人脸模型获取单元，包括：

变换关系获得模块，用于利用迭代最近点算法获得所述人脸稠密点云中的点和所述人脸统计模型中的关键点之间的变换关系；

模型变换模块，用于基于所述变换关系对所述人脸统计模型进行变换，获得所述目标人脸模型。

可选地，在本申请上述任一装置实施例中，所述变换关系包括至少一个关键点的偏移量；

所述模型变换模块，具体用于基于所述至少一个关键点的偏移量对所述人脸统计模型中对应的关键点在所述偏移方向上进行偏移，获得所述目标人脸模型。

可选地，在本申请上述任一装置实施例中，所述目标人脸模型获取单元，还包括：

变换关系优化模块，用于基于设定比例联合特征点投影坐标、人脸在稠密点云上的对应误差和人脸变形约束，优化所述变换关系。

根据本申请实施例的又一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的人脸建模装置。

根据本申请实施例的还一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述人脸建模方法的操作。

根据本申请实施例的再一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述人脸建模方法的操作。

根据本申请实施例的又一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述人脸建模方法的指令。

基于本申请上述实施例提供的一种人脸建模方法和装置、电子设备、存储介质、产品，根据多个人脸模型和标准人脸模型，获得人脸统计模型；获取目标人脸的人脸稠密点云；基于人脸稠密点云对人脸统计模型进行变换，获得目标人脸对应的目标人脸模型，通过获得更准确的人脸统计模型得到更准确的人脸关键点，使获得的目标人脸模型效果更好。

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本申请实施例提供的人脸建模方法的一个流程示意图。

图2为本申请实施例提供的人脸建模装置的一个结构示意图。

图3为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本申请实施例提供的人脸建模方法的一个流程示意图。该方法可以由任意电子设备执行，例如终端设备、服务器、移动设备等等。如图1所示，该实施例方法包括：

步骤110，根据多个人脸模型和标准人脸模型，获得人脸统计模型。

其中，人脸模型已知人脸关键点。

可选地，通过将已知人脸关键点的人脸模型和标准人脸模型进行重合，基于重合结果获得人脸统计模型，该人脸统计模型不仅包括标准人脸模型的特征，还包括多个人脸模型的特征，更符合人脸的特性，并且还可以提供人脸统计模型中每个关键点可以进行偏移的方向，以保证针对每个目标人脸可获得对应的目标人脸模型。

步骤120，获取目标人脸的人脸稠密点云。

在逆向工程中通过测量仪器得到的产品外观表面的点数据集合称之为点云，通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫稠密点云。

本申请实施例不限制获取人脸稠密点云的方式，可以通过扫描或摄像等方式获得，可选地，本申请实施例中的人脸稠密点云指通过比较密集的关键点对人脸进行描述。

步骤130，基于人脸稠密点云对人脸统计模型进行变换，获得目标人脸对应的目标人脸模型。

本申请上述实施例提供的一种人脸建模方法，根据多个人脸模型和标准人脸模型，获得人脸统计模型；获取目标人脸的人脸稠密点云；基于人脸稠密点云对人脸统计模型进行变换，获得目标人脸对应的目标人脸模型，通过获得更准确的人脸统计模型得到更准确的人脸关键点，使获得的目标人脸模型效果更好。

在一个或多个可选的实施例中，步骤110包括：

基于标准人脸模型对多个人脸模型进行不完整人脸部分补齐，获得多个完整人脸模型。

本申请实施例获得的已知人脸关键点的人脸模型可能是不完整的，例如，不包括额头和耳朵部分的人脸模型，为了获得完整人脸模型，需要将这些人脸模型缺少的部分进行补齐，本申请实施例通过标准人脸模型对多个人脸模型进行补齐，也可以通过其他方式(例如，统计多个完整人脸获得平均完整人脸模型，以平均完整人脸模型对多个人脸模型进行人脸部分补齐等)实现人脸部分补齐，本申请实施例对具体不完整人脸部分补齐的方式不作限制。

将获得的完整人脸模型与标准人脸模型基于人脸中心线进行模型融合，获得人脸统计模型。

可选地，通常人脸可认为是大致对称的，本申请实施例对于多个完整人脸模型进行对称识别，获得至少一个对称顶点(不存在对称点的点)，例如：通常对称顶点包括鼻子和与鼻子在同一中轴上的至少一个点，如果以人脸关键点作为对称顶点，可以包括但不限于：眉心位置点、鼻尖位置点等等，由于两个点即可确定一条直线，基于至少两个对称顶点即可获得完整人脸模型的人脸中心线，而标准人脸模型是已知人脸中心线的，将完整人脸模型与标准人脸模型基于人脸中心线进行重合，是较为准确的重合方式，获得的人脸统计模型可在标准人脸模型的基础上体现不同人脸中每个关键点相对标准人脸模型中的对应关键点可能出现的偏差方向。

可选地，将获得的完整人脸模型与标准人脸模型基于人脸中心线进行模型融合，获得人脸统计模型，包括：

获得完整人脸模型中的至少两个对称顶点以确定人脸中心线，将人脸中心线与标准人脸模型的人脸中心线重合，获得包括多个完整人脸模型的人脸关键点和标准人脸模型的人脸关键点的关键点集合；

通过主成分分析(PCA)方法对关键点集合进行分解处理，获得关键点集合中的主要关键点集合和其他关键点集合；

基于其他关键点集合确定人脸统计模型。

主成分分析方法(principal Component Analysis，PCA)是一种使用最广泛的数据压缩算法。在PCA中，数据从原来的坐标系转换到新的坐标系，由数据本身决定。转换坐标系时，以方差最大的方向作为坐标轴方向，因为数据的最大方差给出了数据的最重要的信息。第一个新坐标轴选择的是原始数据中方差最大的方法，第二个新坐标轴选择的是与第一个新坐标轴正交且方差次大的方向。重复该过程，重复次数为原始数据的特征维数。

在本申请实施例中通过PCA分解，将人脸模型相对于标准人脸模型中方差较大的关键点确定为主要关键点集合，将其他方差较小的关键点作为其他关键点集合，可认为其他关键点集合中的关键点与标准人脸模型中的关键点重合，此时，减少了主要关键点的数量。

可选地，在基于其他关键点集合确定人脸统计模型之后，还包括：

基于主要关键点集合确定人脸统计模型中的主要关键点的偏移方差；

基于主要关键点的偏移方差确定人脸统计模型中至少一个主要关键点的偏移方向。

本申请实施例通过主要关键点集合与标准人脸模型中对应的主要关键点之间的方差可确定获得的人脸统计模型中至少一个主要关键点的位置和可以偏移的方向，本申请实施例获得的人脸统计模型不仅包括多个主要关键点，还包括至少一个主要关键点的可偏移方向。

可选地，基于主要关键点的偏移方差确定人脸统计模型中至少一个主要关键点的偏移方向之前，还包括：

归一化偏移方差。

可选地，本申请实施例中基于主要关键点确定的是偏移方向，不涉及偏移的具体偏移量，对偏移方差进行归一化可缩小偏移方差所占用的数据量。

在一个或多个可选的实施例中，基于标准人脸模型对多个人脸模型进行不完整部分补齐，获得多个完整人脸模型，包括：

通过获取标准人脸模型的延伸部分，基于多个标准人脸模型中关键点部分与延伸部分之间的关系获得延伸部分与关键点部分之间的参数关系；

基于参数关系在人脸模型上扩展获得相应的模型延伸部分；

基于人脸模型和模型延伸部分获得完整人脸模型。

可选地，由于头发、帽子等遮挡物的影响，通过人脸采集到的人脸模型有可能并不包括完整的人脸模型，例如：没有额头和/或耳朵部分等；本申请实施例中获得的人脸模型即为不完整人脸模型，为了使获得的目标人脸模型是完整人脸模型，通过本申请实施例提供的延伸方法，统计标准人脸模型中关键点部分和延伸部分的参数关系，基于参数关系对人脸模型进行延伸，获得模型延伸部分，将延伸部分加到人脸模型上，即获得包括全部人脸的完整人脸模型。

在一个或多个可选的实施例中，基于人脸稠密点云对人脸统计模型进行变换，获得目标人脸对应的目标人脸模型，包括：

利用迭代最近点算法获得人脸稠密点云中的点和人脸统计模型中的主要关键点之间的变换关系；

基于变换关系对人脸统计模型进行变换，获得目标人脸模型。

迭代最近点(Iterative Closest Point，ICP)算法是一种点集对点集配准方法，其目的在于获得两个点云之间的变换关系。在本申请实施例中，将人脸统计模型包括的多个关键点看做一个点云，通过ICP算法可实现对人脸稠密点云和人脸统计模型之间的变换关系，本申请实施例通过该变换关系对人脸统计模型进行变换，即可获得对应目标人脸的目标人脸模型。

可选地，变换关系包括至少一个关键点的偏移量；

基于变换关系对人脸统计模型进行变换，获得目标人脸模型，包括：

基于至少一个关键点的偏移量对人脸统计模型中对应的关键点在偏移方向上进行偏移，获得目标人脸模型。

ICP算法可获得两个点云之间的至少一个变换量，例如：平移变换、旋转变换等等；本申请实施例将变换关系对应每个关键点，可确定每个关键点对应两个点云的至少一个偏移量(例如：平移偏移量、旋转偏移量等)，由于上述步骤确定了人脸统计模型中至少一个关键点的偏移方向，在本实施例中可在偏移方向偏移对应的偏移量即可对人脸统计模型进行个性化调整，获得目标人脸对应的目标人脸模型。

在一个或多个可选的实施例中，基于变换关系对人脸统计模型进行变换，获得目标人脸模型之前，还包括：

基于设定比例联合特征点投影坐标、人脸在稠密点云上的对应误差和人脸变形约束，优化变换关系。

可选地，利用LM(一种非线性优化算法，LM法是一种非常高效的迭代算法，能适用于大多数的案例)优化变换关系。具体各项损失函数说明如下：

1)特征点投影坐标：卷积神经网络(CNN)检测人类在RGB图像上的2D关键点与建模后3D模型对应3D关键点通过投影方程计算得到位置之间的损失；

2)稠密点云对应：利用多帧融合技术得到完整不具有对应关系的人脸几何模型，通过最近点迭代查找方式(如，ICP)得到标准模型，计算几何模型和得到的标准模型的对应点之间的3D距离；

3)人脸变形约束：基于先验的统计模型所得到的人脸在不同变形系数上的方差确定人脸变形约束。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图2为本申请实施例提供的人脸建模装置的一个结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图2所示，该实施例的装置包括：

统计模型单元21，用于根据多个人脸模型和标准人脸模型，获得人脸统计模型。

其中，人脸模型已知人脸关键点。

点云获取单元22，用于获取目标人脸的人脸稠密点云。

目标人脸模型获取单元23，用于基于人脸稠密点云对人脸统计模型进行变换，获得目标人脸对应的目标人脸模型。

本申请上述实施例提供的一种人脸建模装置，根据多个人脸模型和标准人脸模型，获得人脸统计模型；获取目标人脸的人脸稠密点云；基于人脸稠密点云对人脸统计模型进行变换，获得目标人脸对应的目标人脸模型，通过获得更准确的人脸统计模型得到更准确的人脸关键点，使获得的目标人脸模型效果更好。

在一个或多个可选的实施例中，统计模型单元21，包括：

人脸补齐模块，用于基于标准人脸模型对多个人脸模型进行不完整人脸部分补齐，获得多个完整人脸模型；

人脸融合模块，用于将获得的完整人脸模型与标准人脸模型基于人脸中心线进行模型融合，获得人脸统计模型。

可选地，通常人脸可认为是大致对称的，本申请实施例对于多个完整人脸模型进行对称识别，获得至少一个对称顶点(不存在对称点的点)，例如：通常对称顶点包括鼻子和与鼻子在同一中轴上的至少一个点，如果以人脸关键点作为对称顶点，可以包括但不限于：眉心位置点、鼻尖位置点等等，由于两个点即可确定一条直线，基于至少两个对称顶点即可获得完整人脸模型的人脸中心线，而标准人脸模型是已知人脸中心线的，将完整人脸模型与标准人脸模型基于人脸中心线进行重合，是较为准确的重合方式，获得的人脸统计模型可在标准人脸模型的基础上体现不同人脸中每个关键点相对标准人脸模型中的对应关键点可能出现的偏差方向。

可选地，人脸融合模块，具体用于获得完整人脸模型中的至少两个对称顶点以确定人脸中心线，将人脸中心线与标准人脸模型的人脸中心线重合，获得包括多个完整人脸模型的人脸关键点和标准人脸模型的人脸关键点的关键点集合；通过主成分分析方法对关键点集合进行分解处理，获得关键点集合中的主要关键点集合和其他关键点集合；基于其他关键点集合确定人脸统计模型。

可选地，人脸融合模块，还用于基于主要关键点集合确定人脸统计模型中的主要关键点的偏移方差；基于主要关键点的偏移方差确定人脸统计模型中至少一个主要关键点的偏移方向。

可选地，人脸融合模块在基于主要关键点的偏移方差确定人脸统计模型中至少一个主要关键点的偏移方向之前，还用于归一化偏移方差。

可选地，人脸补齐模块，具体用于通过获取标准人脸模型的延伸部分，基于标准人脸模型中关键点部分与延伸部分之间的关系获得延伸部分与关键点部分之间的参数关系；基于参数关系在人脸模型上扩展获得相应的模型延伸部分；基于人脸模型和模型延伸部分获得完整人脸模型。

在一个或多个可选的实施例中，目标人脸模型获取单元23，包括：

变换关系获得模块，用于利用迭代最近点算法获得人脸稠密点云中的点和人脸统计模型中的关键点之间的变换关系；

模型变换模块，用于基于变换关系对人脸统计模型进行变换，获得目标人脸模型。

迭代最近点(Iterative Closest Point，ICP)算法是一种点集对点集配准方法，其目的在于获得两个点云之间的变换关系。在本申请实施例中，将人脸统计模型包括的多个关键点看做一个点云，通过ICP算法可实现对人脸稠密点云和人脸统计模型之间的变换关系，本申请实施例通过该变换关系对人脸统计模型进行变换，即可获得对应目标人脸的目标人脸模型。

可选地，变换关系包括至少一个关键点的偏移量；

模型变换模块，具体用于基于至少一个关键点的偏移量对人脸统计模型中对应的关键点在偏移方向上进行偏移，获得目标人脸模型。

可选地，目标人脸模型获取单元，还包括：

变换关系优化模块，用于基于设定比例联合特征点投影坐标、人脸在稠密点云上的对应误差和人脸变形约束，优化变换关系。

根据本申请实施例的又一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的人脸建模装置。

根据本申请实施例的还一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与该存储器通信以执行可执行指令从而完成上述任意一项实施例提供的人脸建模方法的操作。

根据本申请实施例的再一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，该指令被执行时执行上述任意一项实施例提供的人脸建模方法的操作。

根据本申请实施例的又一个方面，提供的一种计算机程序产品，包括计算机可读代码，当该计算机可读代码在设备上运行时，设备中的处理器执行用于实现上述任意一项实施例提供的人脸建模方法的指令。

应理解，本申请对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图3，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备300的结构示意图：如图3所示，电子设备300包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)301，和/或一个或多个图像处理器(GPU)313等，处理器可以根据存储在只读存储器(ROM)302中的可执行指令或者从存储部分308加载到随机访问存储器(RAM)303中的可执行指令而执行各种适当的动作和处理。通信部312可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。

处理器可与只读存储器302和/或随机访问存储器303中通信以执行可执行指令，通过总线304与通信部312相连、并经通信部312与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，根据多个人脸模型和标准人脸模型，获得人脸统计模型；获取目标人脸的人脸稠密点云；基于人脸稠密点云对人脸统计模型进行变换，获得目标人脸对应的目标人脸模型。

此外，在RAM 303中，还可存储有装置操作所需的各种程序和数据。CPU301、ROM302以及RAM303通过总线304彼此相连。在有RAM303的情况下，ROM302为可选模块。RAM303存储可执行指令，或在运行时向ROM302中写入可执行指令，可执行指令使中央处理单元301执行上述通信方法对应的操作。输入/输出(I/O)接口305也连接至总线304。通信部312可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

需要说明的，如图3所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图3的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU313和CPU301可分离设置或者可将GPU313集成在CPU301上，通信部可分离设置，也可集成设置在CPU301或GPU313上，等等。这些可替换的实施方式均落入本申请公开的保护范围。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，根据多个人脸模型和标准人脸模型，获得人脸统计模型；获取目标人脸的人脸稠密点云；基于人脸稠密点云对人脸统计模型进行变换，获得目标人脸对应的目标人脸模型。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的方法中限定的上述功能的操作。

可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (22)

1.一种人脸建模方法，其特征在于，包括：

根据多个人脸模型和已知的标准人脸模型的重合结果，获得人脸统计模型，所述多个人脸模型中的人脸模型已知人脸关键点；

获取目标人脸的人脸稠密点云；

利用迭代最近点算法，基于所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量对所述人脸统计模型进行变换，获得所述目标人脸对应的目标人脸模型；

其中，所述根据多个人脸模型和已知的标准人脸模型的重合结果，获得人脸统计模型，包括：

针对所述多个人脸模型中的人脸模型，响应于该人脸模型为不完整的人脸模型，基于所述标准人脸模型，补齐该不完整的人脸模型相对于所述标准人脸模型的不完整人脸部分，获得多个完整人脸模型；

将所获得的多个完整人脸模型与所述标准人脸模型基于人脸中心线进行模型融合，获得人脸统计模型，其中，所述所获得的完整人脸模型包括：所述多个人脸模型中的完整人脸模型和补齐不完整的人脸模型的不完整人脸部分获得的完整人脸模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述标准人脸模型，补齐该不完整的人脸模型的不完整人脸部分，获得多个完整人脸模型，包括：

获得所获得的多个完整人脸模型中的至少两个对称顶点以确定所述人脸中心线，将所述人脸中心线与所述标准人脸模型的人脸中心线重合，获得包括所述多个完整人脸模型的人脸关键点和所述标准人脸模型的人脸关键点的关键点集合；

通过主成分分析方法对所述关键点集合进行分解处理，获得所述关键点集合中的主要关键点集合和其他关键点集合；

针对所述其他关键点集合中的单个其他关键点，从所述标准人脸模型的人脸关键点中确定该其他关键点的对应关键点，基于该其他关键点与该其他关键点的对应关键点的偏差方向，获得人脸统计模型；其中，所述偏差方向为不同人脸中每个关键点相对标准人脸模型中的对应关键点出现的偏差方向。

3.根据权利要求2所述的方法，其特征在于，还包括：

基于所述主要关键点集合确定所述人脸统计模型中的主要关键点的偏移方差，其中，所述主要关键点的偏移方差为主要关键点相对于标准人脸模型的偏移方差；

基于所述主要关键点的偏移方差确定所述人脸统计模型中至少一个主要关键点的偏移方向。

4.根据权利要求3所述的方法，其特征在于，所述基于所述主要关键点的偏移方差确定所述人脸统计模型中至少一个主要关键点的偏移方向之前，还包括：

归一化所述偏移方差。

5.根据权利要求3-4任一所述的方法，其特征在于，所述基于所述标准人脸模型，补齐该不完整的人脸模型的不完整人脸部分，获得完整人脸模型，包括：

通过获取所述标准人脸模型的延伸部分，基于所述标准人脸模型中关键点部分与延伸部分之间的关系，获得延伸部分与关键点部分之间的参数关系，其中，所述参数关系为采用参数表征的延伸部分与关键点部分之间的关系，所述标准人脸模型的延伸部分为包含于所述标准人脸模型中并且不包含于所述多个人脸模型中的人脸模型中的部分；

基于所述参数关系在所述多个人脸模型中的人脸模型上扩展获得相应的模型延伸部分；

基于不完整人脸模型和所述模型延伸部分获得所述完整人脸模型。

6.根据权利要求3或4所述的方法，其特征在于，所述偏移量包括平移偏移量和旋转偏移量。

7.根据权利要求5所述的方法，其特征在于，所述关键点的偏移量包括关键点的平移偏移量和旋转偏移量。

8.根据权利要求1所述的方法，其特征在于，所述利用迭代最近点算法，基于所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量对所述人脸统计模型进行变换，获得所述目标人脸对应的目标人脸模型之前，还包括：

基于特征点投影坐标、人脸在稠密点云上的对应误差和人脸变形约束，按照设定比例优化所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量。

9.根据权利要求3或4所述的方法，其特征在于，所述利用迭代最近点算法，基于所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量对所述人脸统计模型进行变换，获得所述目标人脸对应的目标人脸模型之前，还包括：

基于特征点投影坐标、人脸在稠密点云上的对应误差和人脸变形约束，按照设定比例优化所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量。

10.根据权利要求6-7任一所述的方法，其特征在于，所述利用迭代最近点算法，基于所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量对所述人脸统计模型进行变换，获得所述目标人脸对应的目标人脸模型之前，还包括：

基于特征点投影坐标、人脸在稠密点云上的对应误差和人脸变形约束，按照设定比例优化所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量。

11.一种人脸建模装置，其特征在于，包括：

统计模型单元，用于根据多个人脸模型和已知的标准人脸模型的重合结果，获得人脸统计模型，所述多个人脸模型中的人脸模型已知人脸关键点；

点云获取单元，用于获取目标人脸的人脸稠密点云；

目标人脸模型获取单元，用于利用迭代最近点算法，基于所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量对所述人脸统计模型进行变换，获得所述目标人脸对应的目标人脸模型；

其中，所述统计模型单元，包括：

人脸补齐模块，用于针对所述多个人脸模型中的人脸模型，响应于该人脸模型为不完整的人脸模型，基于所述标准人脸模型，补齐该不完整的人脸模型相对于所述标准人脸模型的不完整人脸部分，获得完整人脸模型；

人脸融合模块，用于将所获得的多个完整人脸模型与所述标准人脸模型基于人脸中心线进行模型融合，获得人脸统计模型，其中，所述所获得的完整人脸模型包括：所述多个人脸模型中的完整人脸模型和补齐不完整的人脸模型的不完整人脸部分获得的完整人脸模型。

12.根据权利要求11所述的装置，其特征在于，所述人脸融合模块，具体用于获得所获得的多个完整人脸模型中的至少两个对称顶点以确定所述人脸中心线，将所述人脸中心线与所述标准人脸模型的人脸中心线重合，获得包括所述多个完整人脸模型的人脸关键点和所述标准人脸模型的人脸关键点的关键点集合；通过主成分分析方法对所述关键点集合进行分解处理，获得所述关键点集合中的主要关键点集合和其他关键点集合；针对所述其他关键点集合中的单个其他关键点，从所述标准人脸模型的人脸关键点中确定该其他关键点的对应关键点，基于该其他关键点与该其他关键点的对应关键点的偏差方向，获得人脸统计模型；其中，所述偏差方向为不同人脸中每个关键点相对标准人脸模型中的对应关键点出现的偏差方向。

13.根据权利要求12所述的装置，其特征在于，所述人脸融合模块，还用于基于所述主要关键点集合确定所述人脸统计模型中的主要关键点的偏移方差；基于所述主要关键点的偏移方差确定所述人脸统计模型中至少一个主要关键点的偏移方向，其中，所述主要关键点的偏移方差为主要关键点相对于标准人脸模型的偏移方差。

14.根据权利要求13所述的装置，其特征在于，所述人脸融合模块在基于所述主要关键点的偏移方差确定所述人脸统计模型中至少一个主要关键点的偏移方向之前，还用于归一化所述偏移方差。

15.根据权利要求13-14任一所述的装置，其特征在于，所述人脸补齐模块，具体用于通过获取所述标准人脸模型的延伸部分，基于所述标准人脸模型中关键点部分与延伸部分之间的关系获得延伸部分与关键点部分之间的参数关系，其中，所述参数关系为采用参数表征的延伸部分与关键点部分之间的关系，所述标准人脸模型的延伸部分为包含于所述标准人脸模型中并且不包含于所述多个人脸模型中的人脸模型中的部分；基于所述参数关系在所述多个人脸模型中的人脸模型上扩展获得相应的模型延伸部分；基于不完整人脸模型和所述模型延伸部分获得所述完整人脸模型。

16.根据权利要求12-13任一项所述的装置，其特征在于，所述偏移量包括平移偏移量和旋转偏移量。

17.根据权利要求11所述的装置，其特征在于，所述偏移量包括平移偏移量和旋转偏移量。

18.根据权利要求11所述的装置，其特征在于，所述目标人脸模型获取单元，还包括：

变换关系优化模块，用于基于特征点投影坐标、人脸在稠密点云上的对应误差和人脸变形约束，按照设定比例优化所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量。

19.根据权利要求13-14任一项所述的装置，其特征在于，所述目标人脸模型获取单元，还包括：

变换关系优化模块，用于基于特征点投影坐标、人脸在稠密点云上的对应误差和人脸变形约束，按照设定比例优化所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量。

20.根据权利要求11所述的装置，其特征在于，所述目标人脸模型获取单元，还包括：

变换关系优化模块，用于基于特征点投影坐标、人脸在稠密点云上的对应误差和人脸变形约束，按照设定比例优化所述人脸统计模型的关键点相对于所述人脸稠密点云的对应关键点之间的偏移量。

21.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至10任意一项所述人脸建模方法的操作。

22.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至10任意一项所述人脸建模方法的操作。

Images