CN109902616A - 基于深度学习的人脸三维特征点检测方法及*** - Google Patents

Abstract

本发明公开了一种基于深度学习的人脸三维特征点检测方法及***，其中，该方法包括：建立人脸数据集，通过人脸三维重建对人脸数据集中的人脸图片进行处理获取人脸几何；在人脸模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集；训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络；训练时采用生成对抗网络以利用鉴别网络，输入为人脸图片和三维特征点分布热度图，输出真假值表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果。该方法可以检测图片中人脸特征点的三维坐标，且人脸边缘点与人脸模型之间具有很强的联系，使得人脸重建结果更为准确。

Description

基于深度学习的人脸三维特征点检测方法及***

技术领域

本发明涉及计算机视觉和图形学技术领域，特别涉及一种基于深度学习的人脸三维特征点检测方法及***。

背景技术

深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

人脸特征点检测在人脸识别、人脸重建以及人脸跟踪中有重要的应用。在人脸重建，人脸跟踪和人脸非刚性注册中，往往需要指定特征点与人脸模型模板上顶点之间的对应关系，在应用之中，二维人脸特征点的使用有很多不便，而与人脸模型模板上对应关系不确定的人脸边缘特征点，会导致人脸重建结果不准确，给应用带来一定的困难。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度学习的人脸三维特征点检测方法。该方法仅需输入单张人脸图片，就可以输出人脸的三维特征点，并且该特征点与人脸真实几何之间具有更强的对应关系。

本发明的另一个目的在于提出一种基于深度学习的人脸三维特征点检测***。

为达到上述目的，本发明一方面提出了基于深度学习的人脸三维特征点检测方法，包括以下步骤：建立人脸数据集，通过人脸三维重建对所述人脸数据集中的人脸图片进行处理，以获取人脸几何；在人脸三维模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集；训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络；在训练时，采用生成对抗网络以利用鉴别网络，其中，输入为人脸图片和三维特征点分布热度图，输出为真或假表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果。

本发明实施例的基于深度学习的人脸三维特征点检测方法，通过利用深度学习的方法进行训练得到一个人脸三维特征点检测的网络，获得与人脸模型模板对应关系且确定的人脸边缘特征点，使得人脸重建结果更为准确，且应用十分简单。

另外，根据本发明上述实施例的基于深度学习的人脸三维特征点检测方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述特征点为三维特征点，且所述三维特征点与所述人脸三维模板存在对应关系。

进一步地，在本发明的一个实施例中，所述通过人脸三维重建对所述人脸数据集中的人脸图片进行处理为人脸边缘点检测，以得到并非所述人脸图片中显示的人脸边缘点，而是所述人脸几何上两侧的边缘点。

进一步地，在本发明的一个实施例中，还包括：在训练时，输出为真或假以构成生成对抗误差，并将所述数据集中的人脸三维特征点与生成网络的三维特征点分布热度图构建的误差项进行训练。

进一步地，在本发明的一个实施例中，所述误差项需要在所述生成对抗网络中，以用于所述神经网络的训练。

为达到上述目的，本发明另一方面提出了一种基于深度学习的人脸三维特征点检测***，包括：处理模块用于建立人脸数据集，通过人脸三维重建对所述人脸数据集中的人脸图片进行处理，以获取人脸几何，且在人脸三维模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集；预设训练模块用于训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络；生成对抗训练模块用于在训练时，采用生成对抗网络以利用鉴别网络，其中，输入为人脸图片和三维特征点分布热度图，输出为真或假表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果。

本发明实施例的基于深度学习的人脸三维特征点检测***，通过利用深度学习的方法进行训练得到一个人脸三维特征点检测的网络，获得与人脸模型模板对应关系且确定的人脸边缘特征点，使得人脸重建结果更为准确，且应用十分简单。

另外，根据本发明上述实施例的基于深度学习的人脸三维特征点检测***还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述特征点为三维特征点，且所述三维特征点与所述人脸三维模板存在对应关系。

进一步地，在本发明的一个实施例中，所述通过人脸三维重建对所述人脸数据集中的人脸图片进行处理为人脸边缘点检测，以得到并非所述人脸图片中显示的人脸边缘点，而是所述人脸几何上两侧的边缘点。

进一步地，在本发明的一个实施例中，还包括：在训练时，输出为真或假以构成生成对抗误差，并将所述数据集中的人脸三维特征点与生成网络的三维特征点分布热度图构建的误差项进行训练。

进一步地，在本发明的一个实施例中，所述误差项需要在所述生成对抗网络中，以用于所述神经网络的训练。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于深度学习的人脸三维特征点检测方法流程图；

图2为根据本发明实施例的人脸三维重建方法流程图；

图3为根据本发明实施例的人脸三维特征点检测网络训练方法流程图；

图4为根据本发明实施例的人脸三维特征点检测流程图；

图5为根据本发明实施例的基于深度学习的人脸三维特征点检测***结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于深度学习的人脸三维特征点检测方法及***，首先将参照附图描述根据本发明实施例提出的基于深度学习的人脸三维特征点检测方法。

图1是本发明一个实施例的基于深度学习的人脸三维特征点检测方法流程图。

如图1所示，该基于深度学习的人脸三维特征点检测方法包括以下步骤：

在步骤S101中，建立人脸数据集，通过人脸三维重建对人脸数据集中的人脸图片进行处理，以获取人脸几何。

其中，特征点为三维特征点，且三维特征点与人脸三维模板存在对应关系。

需要说明的是，通过人脸三维重建对人脸数据集中的人脸图片进行处理为人脸边缘点检测，以得到并非人脸图片中显示的人脸边缘点，而是人脸几何上两侧的边缘点。

在步骤S102中，在人脸三维模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集。

也就是说，通过人脸三维重建对数据集中的人脸图片进行处理，以获取人脸几何，预先在人脸几何上指定某些顶点为特征点，由此得到人脸特征点坐标。

具体来讲，如图2所示，通过人脸三维重建方法对输入的人脸图片进行处理，利用得到输入图片对人脸模型模板进行变形，得到输入图片中人脸的几何模型，在人脸模板上指定特定顶点为特征点，由此得到人脸三维特征点坐标。

在步骤S103中，训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络。

其中，预先训练深度神经网络，预训练时不适用生成对抗方法，仅有训练数据构建训练误差进行训练。

具体地，如图3所示，训练输入为人脸图片，且输出为人脸三维特征点分布热度图，每一张热度图包含三维特征点分布的概率以及对应点的深度。其中，预先训练该生成网络，其输入为人脸图片，输出为人脸三维特征点分布的热度图，以该预训练的结果作为生成对抗网络的初始化生成网络。将其输出与其输入组合作为负样本，以其输入与数据集中对应的标准输出组合作为正样本，作为鉴别网络的输入。

在步骤S104中，在训练时，采用生成对抗网络以利用鉴别网络，其中，输入为人脸图片和三维特征点分布热度图，输出为真或假表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果。

需要说明的是，在训练时，输出为真或假以构成生成对抗误差，并将数据集中的人脸三维特征点与生成网络的三维特征点分布热度图构建的误差项进行训练。其中，误差项需要在生成对抗网络中，以用于神经网络的训练。

换言之，预训练后得到的网络为生成网络构建一个鉴别网络，其输入为人脸图片以及人脸三维特征点分布的热度图，当输入为数据集中的人脸图片和三维特征点分布热度图组合时，输出应为真，否则为假，以此构建生成对抗误差，预训练时使用的，数据集中人脸三维特征点与生成网络生成的三维特征点分布热度图构建的误差项也要在生成对抗训练之中用于网络的训练。

详细来讲，如图4所示，网络训练好之后，可以使用该网络，输入一张人脸图片，即可得到该人脸图片对应的各个三维特征点的分布热度图，热度图的每一个像素包含对应的分布在该处的概率和深度信息，得到该热度分布图后，可以从中提取出概率最高的像素，结合深度信息，计算得到该特征点的位置。

根据本发明实施例提出的基于深度学习的人脸三维特征点检测方法，通过利用深度学习的方法进行训练得到一个人脸三维特征点检测的网络，获得与人脸模型模板对应关系且确定的人脸边缘特征点，使得人脸重建结果更为准确，且应用十分简单。

其次参照附图描述根据本发明实施例提出的基于深度学习的人脸三维特征点检测***。

图5是本发明一个实施例的基于深度学习的人脸三维特征点检测***结构示意图。

如图5所示，该***10包括：处理模块100、预设训练模块200和生成对抗训练模块300。

其中，处理模块100用于建立人脸数据集，通过人脸三维重建对人脸数据集中的人脸图片进行处理，以获取人脸几何，且在人脸三维模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集。

进一步地，在本发明的一个实施例中，特征点为三维特征点，且三维特征点与人脸三维模板存在对应关系，并且通过人脸三维重建对人脸数据集中的人脸图片进行处理为人脸边缘点检测，以得到并非人脸图片中显示的人脸边缘点，而是人脸几何上两侧的边缘点。

预设训练模块200用于训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络。

生成对抗训练模块300用于在训练时，采用生成对抗网络以利用鉴别网络，其中，输入为人脸图片和三维特征点分布热度图，输出为真或假表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果。

进一步地，在本发明的一个实施例中，还包括：在训练时，输出为真或假以构成生成对抗误差，并将数据集中的人脸三维特征点与生成网络的三维特征点分布热度图构建的误差项进行训练。其中，误差项需要在生成对抗网络中，以用于神经网络的训练。

需要说明的是，前述对基于深度学习的人脸三维特征点检测方法实施例的解释说明也适用于该***，此处不再赘述。

根据本发明实施例提出的基于深度学习的人脸三维特征点检测***，通过利用深度学习的方法进行训练得到一个人脸三维特征点检测的网络，获得与人脸模型模板对应关系且确定的人脸边缘特征点，使得人脸重建结果更为准确，且应用十分简单。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度学习的人脸三维特征点检测方法，其特征在于，包括以下步骤：

建立人脸数据集，通过人脸三维重建对所述人脸数据集中的人脸图片进行处理，以获取人脸几何；

在人脸三维模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集；

训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络；以及

在训练时，采用生成对抗网络以利用鉴别网络，其中，输入为人脸图片和三维特征点分布热度图，输出为真或假表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果。

2.根据权利要求1所述的基于深度学习的人脸三维特征点检测方法，其特征在于，所述特征点为三维特征点，且所述三维特征点与所述人脸三维模板存在对应关系。

3.根据权利要求1所述的基于深度学习的人脸三维特征点检测方法，其特征在于，所述通过人脸三维重建对所述人脸数据集中的人脸图片进行处理为人脸边缘点检测，以得到并非所述人脸图片中显示的人脸边缘点，而是所述人脸几何上两侧的边缘点。

4.根据权利要求1所述的基于深度学习的人脸三维特征点检测方法，其特征在于，还包括：

在训练时，输出为真或假以构成生成对抗误差，并将所述数据集中的人脸三维特征点与生成网络的三维特征点分布热度图构建的误差项进行训练。

5.根据权利要求4所述的基于深度学习的人脸三维特征点检测方法，其特征在于，所述误差项需要在所述生成对抗网络中，以用于所述神经网络的训练。

6.一种基于深度学习的人脸三维特征点检测***，其特征在于，包括：

处理模块，用于建立人脸数据集，通过人脸三维重建对所述人脸数据集中的人脸图片进行处理，以获取人脸几何，且在人脸三维模板上标定特定顶点为特征点，建立人脸图片与其对应的人脸三维特征点构成的数据集；

预设训练模块，用于训练输入为人脸图片，且输出为人脸三维特征点坐标的分布热度图的深度神经网络；以及

生成对抗训练模块，用于在训练时，采用生成对抗网络以利用鉴别网络，其中，输入为人脸图片和三维特征点分布热度图，输出为真或假表示输入的人脸图片和三维特征点分布热度图是否配套，以通过训练后的神经网络得到检测结果。

7.根据权利要求6所述的基于深度学习的人脸三维特征点检测***，其特征在于，所述特征点为三维特征点，且所述三维特征点与所述人脸三维模板存在对应关系。

8.根据权利要求6所述的基于深度学习的人脸三维特征点检测***，其特征在于，所述通过人脸三维重建对所述人脸数据集中的人脸图片进行处理为人脸边缘点检测，以得到并非所述人脸图片中显示的人脸边缘点，而是所述人脸几何上两侧的边缘点。

9.根据权利要求6所述的基于深度学习的人脸三维特征点检测***，其特征在于，还包括：

在训练时，输出为真或假以构成生成对抗误差，并将所述数据集中的人脸三维特征点与生成网络的三维特征点分布热度图构建的误差项进行训练。

10.根据权利要求9所述的基于深度学习的人脸三维特征点检测***，其特征在于，所述误差项需要在所述生成对抗网络中，以用于所述神经网络的训练。