CN112883777B - 人脸关键点模板的生成及人脸矫正方法、装置、设备、介质 - Google Patents

Abstract

本公开提供了一种人脸关键点模板的生成及人脸矫正方法、装置、设备、介质，其中，人脸关键点模板的生成方法包括：检测多张图像中的每一图像中的第一预设人脸关键点，得到第一数量的人脸关键点；基于第一数量的人脸关键点确定较小的第二数量的第二预设人脸关键点；基于每一图像对应的第二数量的第二预设人脸关键点与对应的预设第二人脸关键点模板确定每一图像对应的相似矩阵；利用每一图像对应的相似矩阵对每一图像对应的第一数量的人脸关键点进行相似变换，得到每一图像对应的矫正后的第一数量的人脸关键点；基于多张图像对应的矫正后的第一数量的人脸关键点确定第一预设人脸关键点对应的第一人脸关键点模板。本公开可以提升人脸识别的精度。

Description

人脸关键点模板的生成及人脸矫正方法、装置、设备、介质

技术领域

本公开涉及计算机视觉技术，尤其是一种人脸关键点模板的生成方法和装置、人脸矫正方法和装置、电子设备、存储介质。

背景技术

人脸识别技术是计算机视觉以及智能视频监控领域的核心技术。人脸识别作为很有市场价值的计算机视觉任务，一直是计算视觉领域研究的热门方向，近些年被广泛应用到互联网金融、安防、公安、民航、海关、门禁等多个行业。人脸识别模型是安防***、监控***、金融***等应用了人脸识别技术的***的基础模型，因此，人脸识别模型的性能决定了各应用了人脸识别技术的安防***、监控***、金融***等***性能的好坏。

对于复杂多变的应用场景，人脸的姿态也随之多变。目前主流的人脸识别方法，是将人脸图像从原始图像中裁剪下来，对人脸图像中的人脸进行矫正，使得矫正后人脸的眼睛、鼻子、嘴角这几处主要部位分别与矫正前的对应部位处于同一位置，然后利用人脸识别模型对矫正后的人脸进行识别。对人脸图像进行矫正，能增强后续人脸识别模型的姿态鲁棒性，进而提升人脸识别精度，因此，好的人脸图像矫正方法对人脸的识别精度有着至关重要的作用。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种人脸关键点模板的生成方法和装置、人脸矫正方法和装置、电子设备、存储介质。

根据本公开实施例的一个方面，提供了一种人脸关键点模板的生成方法，包括：

检测多张图像中的每一图像中的第一预设人脸关键点，得到所述每一图像对应的第一数量的人脸关键点；

基于所述第一数量的人脸关键点确定第二数量的第二预设人脸关键点；其中，所述第一数量大于所述第二数量；

基于所述每一图像对应的第二数量的第二预设人脸关键点与所述第二预设人脸关键点对应的预设第二人脸关键点模板，确定所述每一图像对应的相似矩阵；

利用所述每一图像对应的相似矩阵对所述每一图像对应的第一数量的人脸关键点进行相似变换，得到所述每一图像对应的矫正后的第一数量的人脸关键点；

基于所述多张图像对应的矫正后的第一数量的人脸关键点，确定所述第一预设人脸关键点对应的第一人脸关键点模板。

根据本公开实施例的另一个方面，提供了一种人脸矫正方法，包括：

检测待处理图像中的第一预设人脸关键点，得到第一数量的人脸关键点；

基于第一人脸关键点模板与所述第一数量的人脸关键点，确定所述待处理图像的相似矩阵；其中，所述第一人脸关键点模板基于本公开任一实施例所述的人脸关键点模板的生成方法得到；

利用所述相似矩阵对所述待处理图像中的人脸进行相似变换，得到矫正后的人脸。

根据本公开实施例的另一个方面，提供了另一种人脸矫正方法，包括：

检测待处理图像中的第三预设人脸关键点，得到第三数量的人脸关键点；

基于第三人脸关键点模板与所述第三数量的人脸关键点，确定所述待处理图像的相似矩阵；其中，所述第三人脸关键点模板基于本公开一实施例所述的人脸关键点模板的生成方法得到；

利用所述相似矩阵对所述待处理图像中的人脸进行相似变换，得到矫正后的人脸。

根据本公开实施例的又一个方面，提供了一种人脸关键点模板的生成装置，包括：

第一关键点检测模块，用于检测多张图像中的每一图像中的第一预设人脸关键点，得到所述每一图像对应的第一数量的人脸关键点；

第一确定模块，用于基于所述第一数量的人脸关键点确定第二数量的第二预设人脸关键点；其中，所述第一数量大于所述第二数量；

第二确定模块，用于基于所述每一图像对应的第二数量的第二预设人脸关键点与所述第二预设人脸关键点对应的预设第二人脸关键点模板，确定所述每一图像的相似矩阵；

第一矫正模块，用于利用所述每一图像的相似矩阵对所述每一图像对应的第一数量的人脸关键点进行相似变换，得到所述每一图像对应的矫正后的第一数量的人脸关键点；

第三确定模块，用于基于所述多张图像对应的矫正后的第一数量的人脸关键点，确定所述第一预设人脸关键点对应的第一人脸关键点模板。

根据本公开实施例的又一个方面，提供了一种人脸矫正装置，包括：

第二关键点检测模块，用于检测待处理图像中的第一预设人脸关键点，得到第一数量的人脸关键点；

第四确定模块，用于基于第一人脸关键点模板与所述第一数量的人脸关键点，确定所述待处理图像的相似矩阵；其中，所述第一人脸关键点模板基于本公开任一实施例所述的人脸关键点模板的生成方法得到；

第二矫正模块，用于利用所述相似矩阵对所述待处理图像中的人脸进行相似变换，得到矫正后的人脸。

根据本公开实施例的又一个方面，提供了另一种人脸矫正装置，包括：

第三关键点检测模块，用于检测待处理图像中的第三预设人脸关键点，得到第三数量的人脸关键点；

第五确定模块，用于基于第三人脸关键点模板与所述第三数量的人脸关键点，确定所述待处理图像的相似矩阵；其中，所述第三人脸关键点模板基于本公开一实施例所述的人脸关键点模板的生成方法得到；

第三矫正模块，用于利用所述相似矩阵对所述待处理图像中的人脸进行相似变换，得到矫正后的人脸。

根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的人脸关键点模板的生成方法或者人脸矫正方法。

根据本公开实施例的再一个方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一实施例所述的人脸关键点模板的生成方法或者人脸矫正方法。

基于本公开上述实施例提供的人脸关键点模板的生成方法和装置、电子设备、存储介质，通过检测多张图像中的每一图像中的第一预设人脸关键点，得到每一图像对应的第一数量的人脸关键点，基于第一数量的人脸关键点确定较小的第二数量的第二预设人脸关键点，然后基于每一图像对应的第二数量的第二预设人脸关键点与第二预设人脸关键点对应的预设第二人脸关键点模板，确定每一图像对应的相似矩阵，再利用每一图像对应的相似矩阵对每一图像对应的第一数量的人脸关键点进行相似变换，得到每一图像对应的矫正后的第一数量的人脸关键点，进而，基于所述多张图像对应的矫正后的第一数量的人脸关键点，确定第一预设人脸关键点对应的第一人脸关键点模板。本公开实施例实现了基于较少数量的人脸关键点模板获取较多数量的人脸关键点模板，以便于后续利用该较多数量的人脸关键点模板和较多数量的人脸关键点对人脸进行矫正，由于较多数量的人脸关键点模板对人脸关键点检测结果具有更强的鲁棒性，即使在人脸出现遮挡、姿态较大或模糊等情况导致无法检测到部分关键点或者检测到的部分关键点坐标出现偏差，使用该较多数量的人脸关键点模板，仍然可实现利用其余多个人脸关键点对人脸的矫正，可提升人脸识别的精度，从而提高人脸识别效果。

基于本公开上述实施例提供的一种人脸矫正方法和装置、电子设备、存储介质，通过检测待处理图像中的第一预设人脸关键点，得到第一数量的人脸关键点，然后基于本公开任一实施例所述人脸关键点模板的生成方法得到的第一人脸关键点模板与该第一数量的人脸关键点，确定所述待处理图像的相似矩阵，进而，利用该相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸，从而实现了基于较多数量的第一人脸关键点模板和较多数量的人脸关键点对人脸的矫正，由于较多数量的第一人脸关键点模板对人脸关键点检测结果具有更强的鲁棒性，即使在人脸出现遮挡、姿态较大或模糊等情况导致无法检测到部分关键点或者检测到的部分关键点坐标出现偏差，使用该较多数量的第一人脸关键点模板，仍然可实现利用其余多个人脸关键点对人脸的矫正，可提升人脸识别的精度，从而提高人脸识别效果。

基于本公开上述实施例提供的另一种人脸矫正方法和装置、电子设备、存储介质，通过检测待处理图像中的第三预设人脸关键点，得到第三数量的人脸关键点，然后基于本公开一实施例所述的人脸关键点模板的生成方法得到的第三人脸关键点模板与该第三数量的人脸关键点，确定待处理图像的相似矩阵，进而，利用该相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸，从而实现了基于较多数量和较高鲁棒性的第三人脸关键点模板和该较多数量的人脸关键点对人脸的矫正，由于较多数量和较高鲁棒性的第三人脸关键点模板对人脸关键点检测结果具有更强的鲁棒性和更高的容错性，即使在人脸出现遮挡、姿态较大或模糊等情况导致无法检测到部分关键点或者检测到的部分关键点坐标出现偏差，使用该较多数量和较高鲁棒性的第三人脸关键点模板，仍然可实现利用其余多个人脸关键点对人脸的矫正，并且可以减少检测误差对人脸矫正造成的影响，增强人脸矫正的鲁棒性和容错性，进一步提升人脸识别的精度，从而提高人脸识别效果。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开所适用的一个场景图。

图2是本公开一示例性实施例提供的人脸关键点模板的生成方法的流程示意图。

图3为本公开一示例性实施例提供的68个人脸关键点一个的位置示意图。

图4是本公开另一示例性实施例提供的人脸关键点模板的生成方法的流程示意图。

图5是本公开又一示例性实施例提供的人脸关键点模板的生成方法的流程示意图。

图6是本公开再一示例性实施例提供的人脸关键点模板的生成方法的流程示意图。

图7是本公开还一示例性实施例提供的人脸关键点模板的生成方法的流程示意图。

图8为本公开一示例性实施例提供的68个人脸关键点一个的检测误差统计图。

图9是本公开一示例性实施例提供的人脸矫正方法的流程示意图。

图10是本公开另一示例性实施例提供的人脸矫正方法的流程示意图。

图11是本公开又一示例性实施例提供的人脸矫正方法的流程示意图。

图12是本公开一示例性实施例提供的人脸关键点模板的生成装置的结构示意图。

图13是本公开另一示例性实施例提供的人脸关键点模板的生成装置的结构示意图。

图14是本公开一示例性实施例提供的人脸矫正装置的结构示意图。

图15是本公开另一示例性实施例提供的人脸矫正装置的结构示意图。

图16是本公开又一示例性实施例提供的人脸矫正装置的结构示意图。

图17是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/ 或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。

终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。

申请概述

现有的一种人脸矫正方法，是对人脸图像进行左眼、右眼、鼻尖以及左、右嘴角共5个人脸关键点的检测，然后利用检测到的5个人脸关键点坐标与标准人脸的5个关键点模板进行相似性变换，继而实现对人脸的旋转。

在实现本公开的过程中，本发明人通过研究发现，上述现有的人脸矫正方法至少存在以下问题：在人脸出现遮挡、姿态较大或模糊等情况下，在人脸关键点检测时容易出现部分关键点无法检测或者检测到的坐标出现偏差，只利用检测到的5个人脸关键点进行人脸矫正，则会导致得到的人脸出现歪斜等情况，继而影响人脸识别结果。

本公开实施例基于较少数量(即第二数量)的人脸关键点模板(即第二人脸关键点模板)获取较多数量(第一数量)的人脸关键点模板(即第一人脸关键点模板)，后续利用该较多数量的人脸关键点模板和较多数量的人脸关键点对人脸进行矫正，由于较多数量的人脸关键点模板对人脸关键点检测结果具有更强的鲁棒性，即使在人脸出现遮挡、姿态较大或模糊等情况导致无法检测到部分关键点或者检测到的部分关键点坐标出现偏差，使用该较多数量的人脸关键点模板，仍然可实现利用其余多个人脸关键点对人脸的矫正，可提升人脸识别的精度，从而提高人脸识别效果。

示例性***

本公开实施例可以应用于互联网金融、安防、公安、民航、海关、门禁、终端设备、应用(APP)等有人脸识别的应用场景，利用本公开实施例生成的第一人脸关键点模板对人脸进行矫正，并对矫正后的人脸进行识别，根据得到的人脸识别结果实现对用户的身份认证，在用户通过身份认证后，可以继续进行互联网金融、安防、公安、民航、海关、门禁、终端设备、APP等应用场景中的操作，例如，在互联网金融应用场景中可以进行支付操作，在门禁应用场景中可以打开门禁让用户通过，在终端设备应用场景中可以解锁终端设备以使用终端设备，在 APP应用场景中可以进入APP以进行相关操作。

图1是本公开所适用的一个场景图。如图1所示，本公开实施例应用于基于人脸识别结果的应用场景时，由图像采集模块101(例如摄像头等)采集包括人脸的待处理图像，输入本公开任一实施例的人脸矫正装置102，例如图14～15或者图16所示实施例的人脸矫正装置；人脸矫正装置102检测待处理图像中的第一预设人脸关键点，得到第一数量的人脸关键点，基于第一人脸关键点模板与第一数量的人脸关键点，确定待处理图像的相似矩阵，然后利用相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸；或者，人脸矫正装置102检测待处理图像中的第三预设人脸关键点，得到第三数量的人脸关键点，基于第三人脸关键点模板与第三数量的人脸关键点，确定待处理图像的相似矩阵，然后利用相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸；人脸识别装置103对矫正后的人脸进行识别，根据得到的人脸识别结果实现对用户的身份认证并输出认证结果；应用装置104，例如互联网金融、安防、公安、民航、海关、门禁、终端设备、APP等应用场景中的相应应用，根据人脸识别装置输出的认证结果，在用户通过身份认证后，继续进行互联网金融、安防、公安、民航、海关、门禁、终端设备、APP等应用场景中的操作。

示例性方法

图2是本公开一示例性实施例提供的人脸关键点模板的生成方法的流程示意图。本实施例可应用在电子设备上，如图2所示，包括如下步骤：

步骤201，检测多张图像中的每一图像中的第一预设人脸关键点，得到每一图像对应的第一数量的人脸关键点。

其中，所述多张图像为包括人脸的图像。为了使最后得到的人脸关键点模板可以适用于不同脸型的人脸，可选地，在其中一些实施方式中，本公开实施例中的多张图像尽可能涵盖较多脸型的人脸图像，例如可以包括100000张采集的原始图像或者对该原始图像进行预处理(例如统一尺寸缩放、清晰度调整等)之后得到的图像，本公开实施例对所述多张图像的数量、包括的人脸的脸型、图像是否经过预处理以及预处理的具体操作等，均不作限定，可以根据具体需求设置。

可选地，在具体实现中，为了使最后得到的人脸关键点模板可以适用于不同脸型的人脸，且针对不同脸型人脸的人脸矫正效果尽可能均衡，所述多张图像中，不同年龄段、不同性别的图像数量尽可能均衡。

可选地，在其中一些实施方式中，本公开实施例中的第一预设人脸关键点为预先定义的第一数量的人脸关键点，例如可以包括但不限于人脸上以下部位的关键点：脸颊关键点、眼睛关键点、嘴部关键点、鼻子关键点、眉毛关键点等。

可选地，在其中一些实施方式中，本公开实施例中的第一数量可以为大于5 的任意整数，例如，68、96等，本公开实施例对第一数量的具体取值不做限制，可以根据具体定义的第一预设人脸关键点的数量确定。

如图3所示，为本公开一示例性实施例提供的68个人脸关键点一个的位置示意图。参见图3，第一预设人脸关键点包括：脸颊关键点、眼睛关键点、嘴部关键点、鼻子关键点和眉毛关键点。其中，脸颊关键点包括：脸部轮廓关键点0～16；眉毛关键点包括：左眉毛关键点17～23和右眉毛关键点22～26；鼻子关键点包括：鼻梁关键点27～30和鼻子下沿关键点31～35；眼睛关键点包括：左眼眶关键点 36～41和右眼眶关键点42～47；嘴部关键点包括：嘴唇外轮廓关键点48～59和嘴唇内轮廓关键点60～67，其中，嘴唇外轮廓关键点48～59包括：上嘴唇外轮廓关键点49～53、左嘴角关键点48、右嘴角关键点54、下嘴唇外轮廓关键点55～59；嘴唇内轮廓关键点60～67包括：下嘴唇内轮廓关键点65～67、上下唇左侧内交界点60、上下唇右侧内交界点64、下嘴唇内轮廓关键点61～63。则该步骤201中，即分别检测多张图像中的每一图像中的上述68个人脸关键点。

可选地，在其中一些实施方式中，通过该步骤201得到的每一图像对应的第一数量的人脸关键点，可以表示为直接在每一图像上标注出的各人脸关键点，或者，输出的每一图像中各人脸关键点的检测结果，包括各人脸关键点的序号和位置坐标。

步骤202，基于第一数量的人脸关键点确定第二数量的第二预设人脸关键点。

其中，第一数量大于第二数量。

可选地，在其中一些实施方式中，本公开实施例中的第二数量可以是5，则第二数量的第二预设人脸关键点即5个人脸关键点，在具体应用中，该第二数量的第二预设人脸关键点可以采用现有人脸矫正方法中广泛采用的5个关键点模板对应的5个关键点，即左眼中心关键点、右眼中心关键点、鼻尖关键点、左嘴角关键点、右嘴角关键点共5个人脸关键点。

在一个具体应用中，假设步骤201中第一数量的人脸关键点为图3所示的68 个人脸关键点，步骤202中第二数量的第二预设人脸关键点为现有人脸矫正方法中广泛采用的5个关键点模板对应的5个关键点，则该步骤202中，分别针对每一图像，基于图3所示68个人脸关键点确定5个关键点模板对应的5个关键点，即基于步骤201得到的68个人脸关键点的检测结果(包括各人脸关键点的序号和位置坐标)确定5个关键点模板对应的5个关键点(左眼中心关键点、右眼中心关键点、鼻尖关键点、左嘴角关键点、右嘴角关键点)的坐标，例如，可以获取左眼眶关键点36～41的中心作为左眼中心关键点，可以获取右眼眶关键点 42～47的中心作为右眼中心关键点，选取鼻梁关键点中的关键点30作为鼻尖关键点，分别选取嘴唇外轮廓关键点48和54对应作为左嘴角关键点、右嘴角关键点。

步骤203，基于每一图像对应的第二数量的第二预设人脸关键点与第二预设人脸关键点对应的预设第二人脸关键点模板，确定每一图像对应的相似矩阵。

继续上述步骤201～202中的例子，基于每一图像的5个人脸关键点与5个关键点模板进行相似变换，可以得到每一图像对应的相似矩阵。

步骤204，利用每一图像对应的相似矩阵对每一图像对应的第一数量的人脸关键点进行相似变换，得到每一图像对应的矫正后的第一数量的人脸关键点。

继续上述步骤201～203中的例子，得到每一图像对应的相似矩阵后，可以分别利用每一图像对应的相似矩阵对其68个人脸关键点进行相似变换，得到每一图像人脸矫正后的人脸关键点。

其中，利用每一图像对应的相似矩阵对每一图像对应的第一数量的人脸关键点进行相似变换，是指利用每一图像对应的相似矩阵，分别对每一图像对应的68 个人脸关键点的坐标进行线性变换，从而实现对68个人脸关键点的旋转、平移以及缩放，相似变换后图像能保持二维图形的平直性和平行性，平直性即相似变换前后图形的形态不变，直线还是直线，圆弧还是圆弧，平行性即相似变换前后二维图形的相对位置关系不变。

例如，一个人脸关键点的相似变换可以用下面公式表示：

其中x、y表示相似变换前图像中一个人脸关键点的坐标，x′、y′表示相似变换后该人脸关键点的坐标，为相似矩阵。

步骤205，基于所述多张图像对应的矫正后的第一数量的人脸关键点，确定第一预设人脸关键点对应的第一人脸关键点模板。

基于本实施例，通过检测多张图像中的每一图像中的第一预设人脸关键点，得到每一图像对应的第一数量的人脸关键点，基于第一数量的人脸关键点确定较小的第二数量的第二预设人脸关键点，然后基于每一图像对应的第二数量的第二预设人脸关键点与第二预设人脸关键点对应的预设第二人脸关键点模板，确定每一图像对应的相似矩阵，再利用每一图像对应的相似矩阵对每一图像对应的第一数量的人脸关键点进行相似变换，得到每一图像对应的矫正后的第一数量的人脸关键点，进而，基于所述多张图像对应的矫正后的第一数量的人脸关键点，确定第一预设人脸关键点对应的第一人脸关键点模板。本公开实施例实现了基于较少数量的人脸关键点模板获取较多数量的人脸关键点模板，以便于后续利用该较多数量的人脸关键点模板和较多数量的人脸关键点对人脸进行矫正，由于较多数量的人脸关键点模板对人脸关键点检测结果具有更强的鲁棒性，即使在人脸出现遮挡、姿态较大或模糊等情况导致无法检测到部分关键点或者检测到的部分关键点坐标出现偏差，使用该较多数量的人脸关键点模板，仍然可实现利用其余多个人脸关键点对人脸的矫正，可提升人脸识别的精度，从而提高人脸识别效果。

图4是本公开另一示例性实施例提供的人脸关键点模板的生成方法的流程示意图。如图4所示，在上述图2所示实施例的基础上，步骤201可以包括如下步骤：

步骤2011，对所述多张图像中的每一图像进行人脸检测。

步骤2012，根据每一图像的人脸检测的结果，从每一图像中裁剪出人脸图像。

步骤2013，检测人脸图像中的第一预设人脸关键点。

基于本实施例，先对所述多张图像中的每一图像进行人脸检测，从每一图像中裁剪出人脸图像后再检测人脸图像中的第一预设人脸关键点，相对于直接从整个图像中检测第一预设人脸关键点，缩小了人脸关键点检测范围，提高了人脸关键点检测速度和准确性，从而提高了人脸关键点检测效果，有助于提高最终得到的人脸关键点模板的准确性。

图5是本公开又一示例性实施例提供的人脸关键点模板的生成方法的流程示意图。如图5所示，在上述图4所示实施例的基础上，步骤2013可以包括如下步骤：

步骤20131，检测人脸图像中的人脸姿态。

可选地，在其中一些实施方式中，人脸姿态可以通过偏航角(yaw)、俯仰角(pitch)和翻滚角(roll)来表示，即，检测出人脸图像中的偏航角(yaw)的角度值、俯仰角(pitch)的角度值和翻滚角(roll)的角度值。

步骤20132，从所述多张图像中裁剪出的人脸图像中选取人脸姿态的角度值小于预设值的人脸图像。

其中的预设值可以根据实际需求设置，例如，在其中一些实施方式中，可以设置为10°，即选取偏航角(yaw)的角度值、俯仰角(pitch)的角度值和翻滚角 (roll)的角度值均小于10°的人脸图像，其余图像不再参与本公开后续实施例的处理流程。

步骤20133，检测选取出的人脸姿态的角度值小于预设值的人脸图像中的第一预设人脸关键点。

基于本实施例，检测人脸图像中的人脸姿态，从所述多张图像中裁剪出的人脸图像中选取人脸姿态的角度值小于预设值的人脸图像，即选取人脸姿态较正的人脸图像，来检测第一预设人脸关键点，用于后续第一人脸关键的模板生成，可以使得生成的第一人脸关键的模板较为准确，以便于提高人脸矫正效果。

可选地，在其中一些实施方式中，在步骤202中，可以根据第一预设人脸关键点与第二预设人脸关键点之间的位置关系，分别基于第一数量的人脸关键点中与各第二预设人脸关键点对应的人脸关键点的位置，确定各第二预设人脸关键点的位置。

例如，第一数量的人脸关键点为图3所示的68个人脸关键点，第二数量的第二预设人脸关键点为现有人脸矫正方法中广泛采用的5个关键点模板对应的5 个关键点，则该步骤202中，可以计算左眼眶关键点36～41的位置坐标的平均值作为左眼中心关键点的位置坐标，可以计算右眼眶关键点42～47的位置坐标的平均值作为右眼中心关键点的位置坐标，以鼻梁关键点中的关键点30的位置坐标作为鼻尖关键点的位置坐标，分别以嘴唇外轮廓关键点48和54的位置坐标对应作为左嘴角关键点、右嘴角关键点的位置坐标。

基于本实施例，可以分别基于第一数量的人脸关键点中与各第二预设人脸关键点对应的人脸关键点的位置，来确定各第二预设人脸关键点的位置。

图6是本公开再一示例性实施例提供的人脸关键点模板的生成方法的流程示意图。如图6所示，在上述各图2～图5所示任一实施例的基础上，步骤205可以包括如下步骤：

步骤2051，分别以预设计算方式，对所述多张图像对应的矫正后的第一数量的人脸关键点中，与第一预设人脸关键点中各关键点对应的人脸关键点的位置进行计算，得到计算结果。

可选地，在其中一些实施方式中，所述计算方式例如可以包括但不限于以下任意一种：算术平均、几何平均、中值等数值估计方法。

步骤2052，基于所述计算结果，确定第一人脸关键点模板。

继续上述图2～图3中的例子，得到所述多张图像矫正后的68个人脸关键点后，可以分别针对每个关键点的位置计算平均值，即分别计算所述多张图像中人脸关键点k的位置计算平均值，其中，k＝0，2，…，67，分别以各人脸关键点k 的平均值确定的位置作为第一人脸关键点模板中该人脸关键点k的位置，即得到 68个人脸关键点模板。或者，也可以分别针对每个关键点的位置计算中值，即分别计算所述多张图像中人脸关键点k的位置计算中值，其中，k＝0，2，…，67，分别以各人脸关键点k的中值确定的位置作为第一人脸关键点模板中该人脸关键点k的位置，即得到68个人脸关键点模板。

基于本实施例，通过分别确定多张图像对应的矫正后的第一数量的人脸关键点中，与第一预设人脸关键点中各关键点对应的人脸关键点的位置的平均值，便可以得到确定第一人脸关键点模板。

图7是本公开还一示例性实施例提供的人脸关键点模板的生成方法的流程示意图。如图7所示，在上述各图2～图6所示任一实施例的基础上，在步骤205 之后，还可以包括：

步骤206，确定第一人脸关键点模板中第三数量的第三预设人脸关键点。

步骤207，基于第三数量的第三预设人脸关键点，确定第三人脸关键点模板。

其中，第三数量大于所述第二数量、且小于所述第一数量。

例如，继续上述实施例中的例子，假设第一数量为68，第二数量为5，则第三数量可以为大于5且小于68的任意整数，例如第三数量可以为41。

在实现本公开所述发明的过程中，本发明人通过研究发现，基于上述实施例中68个人脸关键点的检测结果并不是一直准确的，在出现难例、人脸姿态大角度的情况下会出现偏差，因此可能影响最终得到的第一人脸关键点模板的准确性。而人脸各个部位关键点出现偏差的概率以及偏差的大小并不相同，通过实验发现，人脸各个部位关键点的检测误差从小到大依次为眼睛关键点、嘴部关键点、鼻子关键点、眉毛关键点、脸颊关键点，如图8所示，为本公开一示例性实施例提供的68个人脸关键点一个的检测误差统计图。

基于本公开实施例，从第一人脸关键点模板中选取检测误差相对较小的第三数量的第三预设人脸关键点，例如眼睛关键点36～47、嘴部关键点48～67、鼻子关键点27～35，来得到第三人脸关键点模板，即41个人脸关键点模板，作为最终的人脸矫正模板，可以减小检测误差对人脸矫正造成的影响，增强人脸矫正的鲁棒性。

图9是本公开一示例性实施例提供的人脸矫正方法的流程示意图。本实施例可应用在电子设备上，如图9所示，包括如下步骤：

步骤301，检测待处理图像中的第一预设人脸关键点，得到第一数量的人脸关键点。

可选地，在其中一些实施方式中，本公开实施例中的第一预设人脸关键点为预先定义的第一数量的人脸关键点，例如可以包括但不限于人脸上以下部位的关键点：脸颊关键点、眼睛关键点、嘴部关键点、鼻子关键点、眉毛关键点等，例如可以为图3所示的68个人脸关键点。

步骤302，基于第一人脸关键点模板与上述第一数量的人脸关键点，确定待处理图像的相似矩阵。

其中，第一人脸关键点模板可以基于本公开上述任一实施例所述的人脸关键点模板的生成方法得到。本公开实施例提供的人脸矫正方法中，与本公开上述任一实施例所述的人脸关键点模板的生成方法相关部分的内容，可以参见本公开上述实施例的记载，此处不再赘述。

步骤303，利用相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸。

基于本实施例，通过检测待处理图像中的第一预设人脸关键点，得到第一数量的人脸关键点，然后基于本公开任一实施例所述人脸关键点模板的生成方法得到的第一人脸关键点模板与该第一数量的人脸关键点，确定所述待处理图像的相似矩阵，进而，利用该相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸，从而实现了基于较多数量的第一人脸关键点模板和较多数量的人脸关键点对人脸的矫正，由于较多数量的第一人脸关键点模板对人脸关键点检测结果具有更强的鲁棒性，即使在人脸出现遮挡、姿态较大或模糊等情况导致无法检测到部分关键点或者检测到的部分关键点坐标出现偏差，使用该较多数量的第一人脸关键点模板，仍然可实现利用其余多个人脸关键点对人脸的矫正，可提升人脸识别的精度，从而提高人脸识别效果。

图10是本公开另一示例性实施例提供的人脸矫正方法的流程示意图。如图 10所示，在上述图9所示实施例的基础上，步骤302可以包括如下步骤：

步骤3021，从第一数量的人脸关键点中选取与第三人脸关键点模板对应的第三数量的人脸关键点。

其中，第三人脸关键点模板可以基于图7所示实施例人脸关键点模板的生成方法得到。本公开实施例提供的人脸矫正方法中，与上述图7实施例所述的人脸关键点模板的生成方法相关部分的内容，可以参见本公开上述图7所示实施例的记载，此处不再赘述。

步骤3022，基于所述第三人脸关键点模板与所述第三数量的人脸关键点，确定所述待处理图像的相似矩阵。

图11是本公开又一示例性实施例提供的人脸矫正方法的流程示意图。本实施例可应用在电子设备上，如图11所示，包括如下步骤：

步骤401，检测待处理图像中的第三预设人脸关键点，得到第三数量的人脸关键点。

可选地，在其中一些实施方式中，本公开实施例中的第三预设人脸关键点为预先定义的第三数量的人脸关键点，例如可以包括但不限于人脸上以下部位的关键点：眼睛关键点、嘴部关键点、鼻子关键点等，例如可以为基于图7确定的41 个人脸关键点模板对应的41个人脸关键点。

步骤402，基于第三人脸关键点模板与所述第三数量的人脸关键点，确定待处理图像的相似矩阵。

其中，第三人脸关键点模板基于图7所示实施例人脸关键点模板的生成方法得到。本公开实施例提供的人脸矫正方法中，与上述图7实施例所述的人脸关键点模板的生成方法相关部分的内容，可以参见本公开上述图7所示实施例的记载，此处不再赘述。

步骤403，利用所述相似矩阵对所述待处理图像中的人脸进行相似变换，得到矫正后的人脸。

基于本实施例，通过检测待处理图像中的第三预设人脸关键点，得到第三数量的人脸关键点，然后基于本公开一实施例所述的人脸关键点模板的生成方法得到的第三人脸关键点模板与该第三数量的人脸关键点，确定待处理图像的相似矩阵，进而，利用该相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸，从而实现了基于较多数量和较高鲁棒性的第三人脸关键点模板和该较多数量的人脸关键点对人脸的矫正，由于较多数量和较高鲁棒性的第三人脸关键点模板对人脸关键点检测结果具有更强的鲁棒性和更高的容错性，即使在人脸出现遮挡、姿态较大或模糊等情况导致无法检测到部分关键点或者检测到的部分关键点坐标出现偏差，使用该较多数量和较高鲁棒性的第三人脸关键点模板，仍然可实现利用其余多个人脸关键点对人脸的矫正，并且可以减少检测误差对人脸矫正造成的影响，增强人脸矫正的鲁棒性和容错性，进一步提升人脸识别的精度，从而提高人脸识别效果。

本公开上述任一实施例提供的人脸关键点模板的生成方法和人脸矫正方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开上述任一实施例提供的人脸关键点模板的生成方法和人脸矫正方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开任一实施例提及的人脸关键点模板的生成方法和人脸矫正方法。下文不再赘述。

示例性装置

图12是本公开一示例性实施例提供的人脸关键点模板的生成装置的结构示意图。该人脸关键点模板的生成装置可以设置于终端设备、服务器等电子设备中，执行本公开上述任一实施例的人脸关键点模板的生成方法。如图12所示，该人脸关键点模板的生成装置包括：第一关键点检测模块501、第一确定模块502、第二确定模块503、第一矫正模块504和第三确定模块505。其中：

第一关键点检测模块501，用于检测多张图像中的每一图像中的第一预设人脸关键点，得到每一图像对应的第一数量的人脸关键点。

第一确定模块502，用于基于第一关键点检测模块501检测得到的第一数量的人脸关键点确定第二数量的第二预设人脸关键点。其中，第一数量大于第二数量。

第二确定模块503，用于基于第一确定模块502确定的每一图像对应的第二数量的第二预设人脸关键点与该第二预设人脸关键点对应的预设第二人脸关键点模板，确定每一图像的相似矩阵。

第一矫正模块504，用于利用第二确定模块503确定的每一图像的相似矩阵对第一关键点检测模块501检测得到的该每一图像对应的第一数量的人脸关键点进行相似变换，得到每一图像对应的矫正后的第一数量的人脸关键点。

第三确定模块505，用于基于第一矫正模块504得到的所述多张图像对应的矫正后的第一数量的人脸关键点，确定第一预设人脸关键点对应的第一人脸关键点模板。

基于本实施例，通过检测多张图像中的每一图像中的第一预设人脸关键点，得到每一图像对应的第一数量的人脸关键点，基于第一数量的人脸关键点确定较小的第二数量的第二预设人脸关键点，然后基于每一图像对应的第二数量的第二预设人脸关键点与第二预设人脸关键点对应的预设第二人脸关键点模板，确定每一图像对应的相似矩阵，再利用每一图像对应的相似矩阵对每一图像对应的第一数量的人脸关键点进行相似变换，得到每一图像对应的矫正后的第一数量的人脸关键点，进而，基于所述多张图像对应的矫正后的第一数量的人脸关键点，确定第一预设人脸关键点对应的第一人脸关键点模板。本公开实施例实现了基于较少数量的人脸关键点模板获取较多数量的人脸关键点模板，以便于后续利用该较多数量的人脸关键点模板和较多数量的人脸关键点对人脸进行矫正，由于较多数量的人脸关键点模板对人脸关键点检测结果具有更强的鲁棒性，即使在人脸出现遮挡、姿态较大或模糊等情况导致无法检测到部分关键点或者检测到的部分关键点坐标出现偏差，使用该较多数量的人脸关键点模板，仍然可实现利用其余多个人脸关键点对人脸的矫正，可提升人脸识别的精度，从而提高人脸识别效果。

图13是本公开另一示例性实施例提供的人脸关键点模板的生成装置的结构示意图。如图13所示，在图12所示实施例的基础上，在其中一些实施方式中，第一关键点检测模块501可以包括：人脸检测单元5011，用于对每一图像进行人脸检测；裁剪单元5012，用于根据人脸检测单元5011得到的每一图像的人脸检测的结果，从每一图像中裁剪出人脸图像；关键点检测单元5013，用于检测裁剪单元5012裁剪出的人脸图像中的第一预设人脸关键点。

可选地，在其中一些实施方式中，关键点检测单元5013具体用于：检测人脸图像中的人脸姿态；从所述多张图像中裁剪出的人脸图像中选取人脸姿态的角度值小于预设值的人脸图像；检测选取出的人脸姿态的角度值小于预设值的人脸图像中的第一预设人脸关键点。

可选地，在其中一些实施方式中，第一确定模块502具体用于：根据第一预设人脸关键点与第二预设人脸关键点之间的位置关系，分别基于第一数量的人脸关键点中与各第二预设人脸关键点对应的人脸关键点的位置，确定各第二预设人脸关键点的位置。

可选地，再参见图13，在其中一些实施方式中，第三确定模块505可以包括：第一确定单元5051，用于分别以预设计算方式，对所述多张图像对应的矫正后的第一数量的人脸关键点中，与第一预设人脸关键点中各关键点对应的人脸关键点的位置进行计算，得到计算结果；第二确定单元5052，用于基于第一确定单元 5051得到的计算结果，确定第一人脸关键点模板。

可选地，再参见图13，在上述实施例的人脸关键点模板的生成装置中，还可以包括：第六确定模块506和第七确定模块507。其中：

第六确定模块506，用于确定第三确定模块505确定的第一人脸关键点模板中第三数量的第三预设人脸关键点。

第七确定模块507，用于基于第六确定模块506确定的第三数量的第三预设人脸关键点，确定第三人脸关键点模板。其中，第三数量大于第二数量、且小于第一数量。

图14是本公开一示例性实施例提供的人脸矫正装置的结构示意图。该人脸矫正装置可以设置于终端设备、服务器等电子设备中，执行本公开上述任一实施例的人脸矫正方法。如图14所示，该人脸矫正装置包括：第二关键点检测模块 601、第四确定模块602和第二矫正模块603。其中：

第二关键点检测模块601，用于检测待处理图像中的第一预设人脸关键点，得到第一数量的人脸关键点。

第四确定模块602，用于基于第一人脸关键点模板与所述第一数量的人脸关键点，确定待处理图像的相似矩阵。其中，第一人脸关键点模板可以基于本公开上述任一实施例人脸关键点模板的生成方法得到。

第二矫正模块603，用于利用第四确定模块602确定的相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸。

基于本公开上述实施例提供的人脸矫正装置，通过检测待处理图像中的第一预设人脸关键点，得到第一数量的人脸关键点，然后基于本公开任一实施例所述人脸关键点模板的生成方法得到的第一人脸关键点模板与该第一数量的人脸关键点，确定所述待处理图像的相似矩阵，进而，利用该相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸，从而实现了基于较多数量的第一人脸关键点模板和较多数量的人脸关键点对人脸的矫正，由于较多数量的第一人脸关键点模板对人脸关键点检测结果具有更强的鲁棒性，即使在人脸出现遮挡、姿态较大或模糊等情况导致无法检测到部分关键点或者检测到的部分关键点坐标出现偏差，使用该较多数量的第一人脸关键点模板，仍然可实现利用其余多个人脸关键点对人脸的矫正，可提升人脸识别的精度，从而提高人脸识别效果。

图15是本公开另一示例性实施例提供的人脸矫正装置的结构示意图。如图 15所示，在图14所示实施例的基础上，在其中一些实施方式中，第四确定模块 602可以包括：选取单元6021和第三确定单元6022。其中：

选取单元6021，用于从第一数量的人脸关键点中选取与第三人脸关键点模板对应的第三数量的人脸关键点。其中，第三人脸关键点模板基于图7所示实施例人脸关键点模板的生成方法得到。

第三确定单元6022，用于基于第三人脸关键点模板与第三数量的人脸关键点，确定待处理图像的相似矩阵。

图16是本公开又一示例性实施例提供的人脸矫正装置的结构示意图。该人脸矫正装置可以设置于终端设备、服务器等电子设备中，执行本公开上述图10 或图11所示实施例的人脸矫正方法。如图16所示，该人脸矫正装置包括：第三关键点检测模块701、第五确定模块702和第三矫正模块703。其中：

第三关键点检测模块701，用于第三关键点检测模块，用于检测待处理图像中的第三预设人脸关键点，得到第三数量的人脸关键点。

第五确定模块702，用于基于第三人脸关键点模板与第三关键点检测模块701 得到的第三数量的人脸关键点，确定待处理图像的相似矩阵。其中，第三人脸关键点模板基于图7所示实施例人脸关键点模板的生成方法得到。

第三矫正模块703，用于利用第五确定模块702确定的相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸。

基于本公开上述实施例提供的人脸矫正装置，通过检测待处理图像中的第三预设人脸关键点，得到第三数量的人脸关键点，然后基于本公开一实施例所述的人脸关键点模板的生成方法得到的第三人脸关键点模板与该第三数量的人脸关键点，确定待处理图像的相似矩阵，进而，利用该相似矩阵对待处理图像中的人脸进行相似变换，得到矫正后的人脸，从而实现了基于较多数量和较高鲁棒性的第三人脸关键点模板和该较多数量的人脸关键点对人脸的矫正，由于较多数量和较高鲁棒性的第三人脸关键点模板对人脸关键点检测结果具有更强的鲁棒性和更高的容错性，即使在人脸出现遮挡、姿态较大或模糊等情况导致无法检测到部分关键点或者检测到的部分关键点坐标出现偏差，使用该较多数量和较高鲁棒性的第三人脸关键点模板，仍然可实现利用其余多个人脸关键点对人脸的矫正，并且可以减少检测误差对人脸矫正造成的影响，增强人脸矫正的鲁棒性和容错性，进一步提升人脸识别的精度，从而提高人脸识别效果。

示例性电子设备

下面，参考图17来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图17图示了根据本公开实施例的电子设备的框图。

如图17所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器 (cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的人脸关键点模板的生成方法、人脸矫正方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图17中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的人脸关键点模板的生成方法、人脸矫正方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的人脸关键点模板的生成方法、人脸矫正方法中的步骤。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种人脸关键点模板的生成方法，包括：

检测多张图像中的每一图像中的第一预设人脸关键点，得到所述每一图像对应的第一数量的人脸关键点；

基于所述第一数量的人脸关键点确定第二数量的第二预设人脸关键点；其中，所述第一数量大于所述第二数量；

基于所述每一图像对应的第二数量的第二预设人脸关键点与所述第二预设人脸关键点对应的预设第二人脸关键点模板，确定所述每一图像对应的相似矩阵；

利用所述每一图像对应的相似矩阵对所述每一图像对应的第一数量的人脸关键点进行相似变换，得到所述每一图像对应的矫正后的第一数量的人脸关键点；

基于所述多张图像对应的矫正后的第一数量的人脸关键点，确定所述第一预设人脸关键点对应的第一人脸关键点模板，所述第一人脸关键点模板用于结合待处理图像中的人脸的第一数量的人脸关键点对所述待处理图像中的人脸进行矫正。

2.根据权利要求1所述的方法，其中，所述检测多张图像中的每一图像中的第一预设人脸关键点，包括：

对所述每一图像进行人脸检测；

根据所述每一图像的人脸检测的结果，从所述每一图像中裁剪出人脸图像；

检测所述人脸图像中的第一预设人脸关键点。

3.根据权利要求2所述的方法，其中，所述检测所述人脸图像中的第一预设人脸关键点，包括：

检测所述人脸图像中的人脸姿态；

从所述多张图像中裁剪出的人脸图像中选取人脸姿态的角度值小于预设值的人脸图像；

检测选取出的人脸姿态的角度值小于预设值的人脸图像中的第一预设人脸关键点。

4.一种人脸矫正方法，包括：

检测待处理图像中的第一预设人脸关键点，得到第一数量的人脸关键点；

基于第一人脸关键点模板与所述第一数量的人脸关键点，确定所述待处理图像的相似矩阵；其中，所述第一人脸关键点模板基于权利要求1-3任一所述的人脸关键点模板的生成方法得到；

利用所述相似矩阵对所述待处理图像中的人脸进行相似变换，得到矫正后的人脸。

5.一种人脸矫正方法，包括：

检测待处理图像中的第三预设人脸关键点，得到第三数量的人脸关键点；

基于第三人脸关键点模板与所述第三数量的人脸关键点，确定所述待处理图像的相似矩阵；其中，所述第三人脸关键点模板基于如下方式得到：确定第一人脸关键点模板中第三数量的第三预设人脸关键点，所述第三数量大于所述第二数量、且小于所述第一数量，所述第一人脸关键点模板基于权利要求1-3任一所述的人脸关键点模板的生成方法得到；基于所述第三数量的第三预设人脸关键点，确定第三人脸关键点模板；

利用所述相似矩阵对所述待处理图像中的人脸进行相似变换，得到矫正后的人脸。

6.一种人脸关键点模板的生成装置，包括：

第一关键点检测模块，用于检测多张图像中的每一图像中的第一预设人脸关键点，得到所述每一图像对应的第一数量的人脸关键点；

第一确定模块，用于基于所述第一数量的人脸关键点确定第二数量的第二预设人脸关键点；其中，所述第一数量大于所述第二数量；

第二确定模块，用于基于所述每一图像对应的第二数量的第二预设人脸关键点与所述第二预设人脸关键点对应的预设第二人脸关键点模板，确定所述每一图像的相似矩阵；

第一矫正模块，用于利用所述每一图像的相似矩阵对所述每一图像对应的第一数量的人脸关键点进行相似变换，得到所述每一图像对应的矫正后的第一数量的人脸关键点；

第三确定模块，用于基于所述多张图像对应的矫正后的第一数量的人脸关键点，确定所述第一预设人脸关键点对应的第一人脸关键点模板，所述第一人脸关键点模板用于结合待处理图像中的人脸的第一数量的人脸关键点对所述待处理图像中的人脸进行矫正。

7.一种人脸矫正装置，包括：

第二关键点检测模块，用于检测待处理图像中的第一预设人脸关键点，得到第一数量的人脸关键点；

第四确定模块，用于基于第一人脸关键点模板与所述第一数量的人脸关键点，确定所述待处理图像的相似矩阵；其中，所述第一人脸关键点模板基于权利要求1-3任一所述的人脸关键点模板的生成方法得到；

第二矫正模块，用于利用所述相似矩阵对所述待处理图像中的人脸进行相似变换，得到矫正后的人脸。

8.一种人脸矫正装置，包括：

第三关键点检测模块，用于检测待处理图像中的第三预设人脸关键点，得到第三数量的人脸关键点；

第五确定模块，用于基于第三人脸关键点模板与所述第三数量的人脸关键点，确定所述待处理图像的相似矩阵；其中，所述第三人脸关键点模板基于如下方式得到：确定第一人脸关键点模板中第三数量的第三预设人脸关键点，所述第三数量大于所述第二数量、且小于所述第一数量，所述第一人脸关键点模板基于权利要求1-3任一所述的人脸关键点模板的生成方法得到；基于所述第三数量的第三预设人脸关键点，确定第三人脸关键点模板；

第三矫正模块，用于利用所述相似矩阵对所述待处理图像中的人脸进行相似变换，得到矫正后的人脸。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-5任一所述的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-5任一所述的方法。