CN109961055A - 人脸关键点检测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了人脸关键点检测方法、装置、设备及存储介质。该方法包括：获取当前待测帧的人脸原始图像，并获取当前待测帧的人脸原始图像中人脸的姿态纠正信息；根据姿态纠正信息对人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；采用关键点检测网络模型，对人脸纠正图像进行人脸关键点检测，获得纠正关键点；根据姿态纠正信息对纠正关键点进行逆向姿态纠正，以获得人脸原始图像的目标人脸关键点。利用该方法，与现有检测方法相比，能够在不增加关键点检测网络模型规模的情况下保证对特殊人脸图像进行关键点检测时的检测精度，同时避免了关键点检测的检测时间的增大，进而达到了兼具实时性和准确性的检测效果。

Description

人脸关键点检测方法、装置、设备及存储介质

技术领域

本发明实施例涉及图像识别技术领域，尤其涉及人脸关键点检测方法、装置、设备及存储介质。

背景技术

在计算机视觉领域，人脸关键点检测一直受到学术界和工业界的广泛关注，其主要功能是准确地定位出人脸上的关键点(比如眼睛、鼻子、嘴角、脸部轮廓点等)，为后续的人脸图像处理(如人脸对齐、人脸识别)做准备，目前，人脸关键点检测已在生物信息验证、监控安防、视频直播等应用场景中均起到较重要的作用。

现有多采用神经网络模型来实现人脸关键点检测，为保证检测结果的精度常采用较大规模的神经网络模型，但因关键点检测执行终端的计算资源为达到实时处理的效果，通常又会对神经网络模型的大小进行限制，由此便导致了执行终端对包含大角度、大姿态(45度仰头，45度低头，歪头至90度等情况)人脸的图像进行人脸关键点检测的效果不佳。

为提高包含大角度、大姿态人脸的关键点检测效果，通常采用的方法是对加入更多大角度、大姿态的人脸训练样本对当前采用的神经网络模型进行训练，但在实际操作中，这种大角度大姿态的人脸训练样本并不容易获取，且在限制网络规模的前提下，样本复杂性的增加往往会导致神经网络模型在对正常人脸图像检测时的精度下降，此外，若为保证检测精度增大网络规模，则又会增加图像帧的检测时间，无法保证检测的实时性要求。

发明内容

有鉴于此，本发明实施例提供了人脸关键点检测方法、装置、设备及存储介质，以优化现有人脸关键点的检测方法，保证实时性的同时提高人脸关键点的检测精度。

第一方面，本发明实施例提供了一种人脸关键点检测方法，包括：

获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；

根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；

采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；

根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。

进一步地，所述获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息，包括：

获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息，作为所述当前待测帧的人脸原始图像中人脸的姿态纠正信息。

进一步地，获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息包括：

获取从所述前一帧的人脸原始图像中检测到的人脸关键点；根据所述人脸关键点，确定所述前一帧中人脸原始图像的人脸姿态信息。

进一步地，所述根据所述人脸关键点，确定所述前一帧中人脸原始图像帧的人脸姿态信息，包括：

归一化所述人脸关键点，获得所述人脸关键点对应的归一化坐标；

将所述归一化坐标作为输入数据，输入人脸朝向网络模型，输出获得所述前一帧中人脸原始图像的人脸姿态信息。

进一步地，所述姿态纠正信息包括：人脸姿态角及相应的角度值；所述人脸姿态角包括：俯仰角、偏航角以及滚转角。

进一步地，所述根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像，包括：

将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像。

进一步地，将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像，包括：

根据所述姿态纠正信息，确定所述人脸原始图像中人脸到标准朝向的旋转角度；将所述人脸原始图像中的人脸通过所述旋转角度旋转至标准朝向，形成朝向纠正后的人脸纠正图像。

进一步地，所述根据所述姿态纠正信息，确定所述人脸原始图像中人脸到标准朝向的旋转角度，包括：

获取预先设置的所述姿态纠正信息中各人脸姿态角的旋转先后顺序；从预设旋转公式关联表中确定所述旋转先后顺序对应的旋转角度计算公式；将各所述人脸姿态角的角度值代入所述旋转角度计算公式，获得所述人脸图像中人脸到标准朝向的旋转角度。

进一步地，所述将所述人脸原始图像中人脸通过所述旋转角度旋转至标准朝向，获得朝向纠正后的人脸纠正图像，包括：

识别所述人脸原始图像中的人脸，确定包含所述人脸的矩形区域；以所述人脸原始图像所在坐标系的纵轴为参照轴，将所述矩形区域中各像素点相对所述参照轴旋转所述旋转角度；获得具备所述标准朝向的矩形区域，形成朝向纠正后的人脸纠正图像。

进一步地，根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点包括：

根据所述姿态纠正信息确定的旋转角度，对所述纠正关键点进行逆向旋转，以获得所述人脸原始图像的目标人脸关键点。

进一步地，所述当前待测帧从预先捕获的短视频中获取，或者从实时捕获的直播视频中获取；检测到的目标人脸关键点用于所对应人脸原始图像中人脸的视觉特效设置。

第二方面，本发明实施例提供一种人脸关键点检测装置，包括：

信息获取模块，用于获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；

图像纠正模块，用于根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；

关键点确定模块，用于采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；

关键点纠正模块，用于根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。

第三方面，本发明实施例提供了一种计算机设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面实施例提供的人脸关键点检测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例提供的人脸关键点检测方法。

本发明实施例提供的人脸关键点检测方法、装置、设备及存储介质，本实施例上述技术方案，能够在进行关键点检测前先通过获取的姿态纠正信息对人脸原始图像进行姿态矫正，从而采用已有关键点检测网络模型对矫正后人脸纠正图像进行关键点检测，由此根据获得的检测结果就能够逆向获得原始图像的人脸关键点。与现有检测方法相比，本实施例增加了人脸姿态矫正的技术实现，从而能够在不增加关键点检测网络模型规模的情况下保证对特殊人脸图像(如大角度、大姿态)进行关键点检测时的检测精度，同时避免了关键点检测的检测时间的增大，进而达到了兼具实时性和准确性的检测效果。

附图说明

图1a给出了本发明实施例一提供的一种人脸关键点检测方法的流程示意图；

图1b给出了本发明实施例一中人脸原始图像的示例图；

图1c给出了本发明实施例一中纠正人脸原始图像后所形成人脸纠正图像的示例图；

图1d给出了本发明实施例一中纠正关键点的实现示意图；

图1e给出了本发明实施例一中从人脸纠正图像中检测到的纠正关键点的示例图；

图1f给出了本发明实施例一中逆向调整纠正关键点后所形成目标人脸关键点的示例图；

图2a给出了本发明实施例二提供的一种人脸关键点检测方法的流程示意图；

图2b给出了基于本实施例二所检测目标人脸关键点进行特效贴纸设置的效果展示图图；

图2c给出了本发明实施例二中人脸关键点检测的实现框图；

图3给出了本发明实施例三提供的一种人脸关键点检测装置的结构方框示意图；

图4给出了本发明实施例四提供的一种计算机设备的硬件结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅给出了与本发明相关的部分而非全部结构或组成。

实施例一

图1a给出了本发明实施例一提供的一种人脸关键点检测方法的流程示意图，该方法适用于对人脸图像进行人脸关键点检测的情况，该方法可以由人脸关键点检测装置执行，其中，该装置可由软件和/或硬件实现，并一般作为集成在计算机设备上，具体可作为插件集成在具备人机交互的应用软件中。

需要说明的是，本实施例所提供人脸关键点检测方法的执行主体可以是数据信息交互中作为请求终端的计算机设备，所述计算机设备可以包括：移动终端、平板电脑以及台式电脑等。此外，本实施例具体可以对包含人物图像的视频帧进行人脸关键点检测。

如图1a所示，本发明实施例一提供的一种人脸关键点检测方法，具体包括如下操作：

S101、获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息。

在本实施例中，所述当前待测帧具体可指当前待进行人脸关键点检测的图像帧，示例性地，根据本实施例所提供方法的适用场景，所述当前待测帧可以为从处于播放状态短视频中获取的视频帧，其中所述短视频可以是预先捕获录制形成的视频；所述当前待测帧也可为从实时捕获的直播视频中获取的视频帧。

需要说明的是，因本实施例主要用于实现人脸关键点的检测，因此可预先设定所获取的当前待测帧中应当存在人脸图像。本实施例可以将当前待测帧中包含的人脸图像记为人脸原始图像，所述人脸原始图像具体可看做进行人脸关键点检测的检测对象。

在本实施例中，当前待测帧的人脸原始图像中人脸可能处于非正向的特殊姿态情况，如歪头、偏转以及俯仰等，为准确高效实现对特殊姿态人脸的关键点检测，本实施例考虑在进行关键点检测前先对人脸的姿态进行纠正。所述姿态纠正信息具体可理解为对人脸原始图像中人脸的姿态进行纠正所需的纠正信息。所述姿态纠正信息可以是姿态纠正的像素坐标偏移信息，还可以是人脸在三维空间中具备的姿态信息，也可以是已进行关键点检测的历史帧中的人脸在三维空间中具备的姿态信息。

本实施例中，可以通过分析确定当前待测帧的人脸原始图像中人脸在三维空间中的人脸姿态信息，将获得的当前待测帧中人脸的姿态信息作为该姿态纠正信息；还可以通过确定前一帧的人脸原始图像中人脸在三维空间中的人脸姿态信息，来将该前一帧中人脸姿态信息关联作为该姿态纠正信息；也可以通过分析确定构成当前待测帧中人脸原始图像的各像素点的像素坐标偏移信息，将像素坐标偏移信息作为该姿态纠正信息。

可以知道的是，本实施例优选将人脸在三维空间中的人脸姿态信息确定为姿态纠正信息。具体地，所述人脸姿态信息可看作人脸在世界空间坐标系下相对人脸所属空间坐标系时，从俯仰、偏航以及滚转等方面所呈现出的角度信息。由此，本实施例将人脸姿态信息作为姿态纠正信息时，所述姿态纠正信息可优选包括：人脸姿态角及相应的角度值；所述人脸姿态角包括：俯仰角、偏航角以及滚转角。

S102、根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像。

在本实施例中，对人脸姿态进行纠正可看作对人脸在当前待测帧中所显示位置的矫正调整。具体地，在获取姿态纠正信息后，就可基于姿态纠正信息包含的具体值来进行相应的纠正操作。

示例性地，当姿态纠正信息为像素坐标偏移信息时，本步骤可以获得像素坐标偏移信息中像素点对应的坐标偏移值，然后直接对当前待测帧的人脸原始图像中各像素点的坐标进行所述坐标偏移值的偏移调整，从而将像素点坐标调整后形成的图像记为人脸纠正图像。

示例性地，当姿态纠正信息为人脸姿态信息时，本步骤可以获得人脸姿态信息中人脸姿态角及其相应角度值，然后获取标准朝向时人脸姿态角的标准角度信息，之后基于各人脸姿态角的角度值及标准角度信息，可以获得人脸原始图像纠正调整为标准朝向时的旋转角度，最终可将人脸原始图像中的像素点进行所述旋转角度的旋转，从而获得旋转后的人脸纠正图像。

在本实施例中，图1b给出了本发明实施例一中人脸原始图像的示例图；图1c给出了本发明实施例一中纠正人脸原始图像后所形成人脸纠正图像的示例图；如图1b所示，可以看出图中所呈现人脸原始图像100的人脸姿态以屏幕视角为向右歪头，如图1c所示，可以看出对图1b中人脸原始图像100基于本步骤进行人脸姿态纠正后形成了以正向姿态呈现的人脸纠正图像101。

S103、采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点。

在本实施例中，所述关键点检测网络模型具体可为一个预先训练的规模适中的深度卷积神经网络模型，所述纠正关键点具体可理解为从人脸纠正图像中检测到的人脸关键点。其中，本步骤可以将人脸纠正图像作为输入数据，输入该关键点检测网络模型，然后获得关键点检测网络模型输出的纠正关键点。

示例性地，图1d给出了本发明实施例一中确定纠正关键点的实现示意图，如图1d所示，本步骤可以先经过步骤11中的描述对人脸纠正图像10进行预处理，获得设定长宽的待输入图像，然后输入训练后形成的深度卷积神经网络模型12，最终获得输出的以坐标形式表示的纠正关键点。

S104、根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。

在本实施例中，所述逆向姿态纠正具体可相当于将从人脸纠正图像中检测到的纠正关键点逆向还原到人脸原始图像中。根据上述S102的表述，可知通过姿态纠正信息纠正获得了人脸纠正图像，本步骤则再次根据姿态纠正信息对纠正关键点进行逆向姿态纠正，以此获得到纠正关键点在人脸原始图像中对应的目标人脸关键点。

示例性地，当姿态纠正信息为像素坐标偏移信息时，本步骤同样可以获得像素坐标偏移信息中像素点对应的坐标偏移值，之后直接对获得的纠正检测点进行所述坐标偏移值的逆向偏移，逆向偏移后获得的坐标值就可用来表示人脸原始图像中的目标人脸关键点。

示例性地，当姿态纠正信息为人脸姿态信息时，本步骤可以获得实现上述S102时确定出的旋转角度，然后对纠正检测点基于设定参照轴进行所述旋转角度的逆向旋转，同样，逆向旋转后的对应的坐标值也可用来标识人脸原始图像中的目标人脸关键点。

接上述S102的示例图，图1e给出了本发明实施例一中从人脸纠正图像中检测到的纠正关键点的示例图，图1f给出了本发明实施例一中逆向调整纠正关键点后所形成目标人脸关键点的示例图。如图1e所示，可以看出，人脸纠正图像中包含了检测到的纠正关键点(图中未呈现出全部纠正关键点)，检测出的纠正关键点清晰标示了正向姿态下的人脸轮廓；又如图1f所示，可以看出，人脸原始图像中包含了对各纠正关键点逆向调整后形成的目标人脸关键点(图中未呈现出全部目标人脸关键点)，确定的目标人脸关键点清晰标示了向右歪头状态下的人脸轮廓。

本发明实施例一提供的人脸关键点检测方法，能够在进行关键点检测前先通过获取的姿态纠正信息对人脸原始图像进行姿态矫正，从而采用已有关键点检测网络模型对矫正后人脸纠正图像进行关键点检测，由此根据获得的检测结果就能够逆向获得原始图像的人脸关键点。与现有检测方法相比，本实施例增加了人脸姿态矫正的技术实现，从而能够在不增加关键点检测网络模型规模的情况下保证对特殊人脸图像(如大角度、大姿态)进行关键点检测时的检测精度，同时避免了关键点检测的检测时间的增大，进而达到了兼具实时性和准确性的检测效果。

实施例二

图2a给出了本发明实施例二提供的一种人脸关键点检测方法的流程示意图，本实施例在上述实施例基础上进行优化，在本实施例中，将获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息，进一步优化为：获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息，作为所述当前待测帧的人脸原始图像中人脸的姿态纠正信息。

同时，本实施例将根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像，具体优化为：将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像。

此外，本实施例进一步将根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点，具体化为：根据所述姿态纠正信息确定的旋转角度，对所述纠正关键点进行逆向旋转，以获得所述人脸原始图像的目标人脸关键点。

如图2a所示，本发明实施例二提供的一种人脸关键点检测方法，具体包括如下操作：

S201、获取当前待测帧的人脸原始图像。

示例性地，本步骤中的当前待测帧可以从预先捕获的短视频中获取，也可以从实时捕获的直播视频中获取，且所获取的当前待测帧中包含了人脸图像。

S202、获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息，作为所述当前待测帧的人脸原始图像中人脸的姿态纠正信息。

在本实施例中，考虑到所获取当前待测帧的人脸原始图像中人脸与前一帧中的同一张人脸其展示姿态存在关联性，本步骤优选将当前待测帧的前一帧中人脸原始图像的人脸姿态信息作为所述姿态纠正信息，其中，所述人脸姿态信息具体可理解为人脸原始图像中人脸在三维空间下姿态呈现信息，所述人脸姿态信息具体可以是人脸在三维空间下相对世界坐标系(右手坐标系)呈现的人脸姿态角，所述人脸姿态角可以包括：俯仰角、偏航角以及滚转角。

具体地，所述前一帧中人脸原始图像的人脸姿态信息，可以将该帧的人脸原始图像作为姿态网络模型的输入来确定，本步骤由此可获取姿态网络模型输出的对应前一帧中人脸原始图像的各人脸姿态角及其相应角度值，并将其作为姿态纠正信息；此外，所述前一帧中人脸原始图像的人脸姿态信息，也可将从该帧人脸原始图像中检测出的人脸关键帧作为姿态检测网络模型的输入来确定，本步骤同样可获取姿态网络模型输出的对应前一帧中人脸原始图像的各人脸姿态角及其相应角度值作为姿态纠正信息。

需要说明的是，如果当前待测帧的人脸原始图像中的人脸为首次出现的情况(即该人脸不存在与前一帧人脸原始图像)，则可直接获取预设的标准纠正信息作为人脸原始图像中人脸的姿态纠正信息。示例性地，本实施例优先设定所述标准纠正信息为人脸以标准朝向呈现时在三维空间坐标下相对世界坐标系呈现的人脸姿态角，如，可设定此时各人脸姿态角的角度值为0。

此外，可以理解的是，上述标准纠正信息作为姿态纠正信息时，同样可以执行下述S203至S205的操作，该种情况下，获得的人脸纠正图像仍为人脸原始图像，而基于人脸纠正图像确定出的纠正关键点实则可直接看作人脸原始图像的目标人脸关键点。

S203、将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像。

在本实施例中，所述图像对齐模型具体可理解为一个对包含人脸的图像基于相关的姿态纠正信息进行人脸姿态纠正的模型。基于所述图像对齐模型进行人脸姿态纠正后，可以获得相对人脸原始图像的人脸纠正图像。

对于图像对齐模型，其实现人脸姿态纠正的过程可描述为：首先从输入的姿态纠正信息中分析确定出人脸姿态纠正时所需的旋转角度，然后从输入的人脸原始图像中确定待纠正区域，最终，对人脸原始图像中待纠正区域的像素点进行上述旋转角度的旋转，从而在旋转后形成可输出的人脸纠正图像。

需要说明的是，本步骤基于图像对齐模型实现的人脸姿态纠正，具体相当于基于旋转角度对图像进行了一个旋转，该步骤形成人脸纠正图像的时间消耗在整个人脸关键点检测的处理时间中几乎可以忽略不计。

S204、采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点。

示例性地，关键点检测网络模型为预先训练的3通道卷积神经网络模型，可以先将人脸纠正图像预处理成3*70*70的人脸图像，然后将该人脸图像作为卷积神经网络模型的输入数据，最终获得输出的106个纠正关键点的坐标值。

一般地，所述关键点检测网络模型的规模可设置任意大小，本实施例考虑到作为执行主体的计算机设备上计算资源以及处理速度的要求和限制，其需要能保证正常姿态的人脸关键点检测精度的前提下使得规模最小化。

S205、根据所述姿态纠正信息确定的旋转角度，对所述纠正关键点进行逆向旋转，以获得所述人脸原始图像的目标人脸关键点。

在本实施例中，上述S203将人脸原始图像和姿态纠正信息作为图像对齐模型的输入数据，图像对齐模型输出人脸纠正图像的同时，还可以输出形成人脸纠正图像所需的旋转角度，所述旋转角度具体可基于姿态纠正信息确定。

示例性地，该确定操作可以是先获得姿态纠正信息中的人脸姿态角，以及预先设置的纠正后图像应当具有的标准朝向，然后通过人脸姿态角角度值就可确定出人脸从三维空间下投影到二维平面且以标准朝向呈现时所对应的旋转角度。本步骤可以获取图像纠正模型输出的旋转角度，然后对上述S204确定的各纠正关键点进行所述旋转角度的逆向旋转，最终，逆向旋转后确定的各坐标值相当于人脸原始图像中各目标人脸关键点的坐标值。

需要说明的是，所述目标人脸关键点具体可用于对当前待测帧的人脸原始图像中人脸进行视觉特效设置。示例性的，所述视觉特效设置可以包括：在人脸上设置特效贴纸以及换脸特效设置等。对于在人脸上设置特效贴纸，如在眼睛下面设置大哭的特效贴纸，又如在嘴巴下面设置长长的胡须等；对于换脸特效设置，如从人脸中抠出眼睛、嘴巴、鼻子等并将其置换到用户选定人脸上，或置换到应用默认置换人脸上。

图2b给出了基于本实施例二所检测目标人脸关键点进行特效贴纸设置的效果展示图。如图2b所示，基于本实施例检测出的各目标人脸关键点，能够准确定位到人脸在人脸原始图像中的具***置，进一步，基于目标人脸关键点的坐标值，可以确定出两只眼睛的所在位置，由此，当用户预先选取设置哭的视觉特效时，相关特效功能就可在定位出的眼睛下面以大哭特效贴纸的形式呈现出哭的特效。

本发明实施例二提供的一种人脸关键点检测方法，具体化了人脸原始图像中人脸的姿态纠正信息的获取过程，同时，具体化了人脸纠正图像的获得方式，此外，还具体化了目标人脸关键点的获得方式。本实施例的技术方案，主要通过从前一帧的人脸原始图像中获取相应的人脸姿态信息来作为当前待测帧对应的姿态纠正信息，该方式考虑了前一帧与当前帧中人脸图像的关联性，保证了姿态纠正信息的准确度，从而避免了现有对特殊人脸图像样本获取及样本训练的繁琐操作，同时，本实施例考虑通过图像对齐模型获得人脸纠正图像，之后在采用现有检测模型获得纠正关键点并逆向旋转获得目标人脸关键点，降低了人脸图像关键点检测的整体消耗时间，进而达到了兼具实时性和准确性的检测效果。

在本实施例二的一个可选实施例中，对于获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息，还可进一步具体化为：获取从所述前一帧的人脸原始图像中检测到的人脸关键点；根据所述人脸关键点，确定所述前一帧中人脸原始图像的人脸姿态信息。

可以理解的是，基于本实施例提供的上述人脸关键点检测方法，同样可以检测出前一帧中人脸原始图像的人脸关键点，本步骤可直接获取到前一帧对应的各人脸关键点，并基于各人脸关键点，通过人脸朝向网络模型，即可获得前一帧中人脸原始图像的人脸姿态信息。

优选地，所述根据所述人脸关键点，确定所述前一帧中人脸原始图像的人脸姿态信息，包括：归一化所述人脸关键点，获得所述人脸关键点对应的归一化坐标；将所述归一化坐标作为输入数据，输入人脸朝向网络模型，输出获得所述前一帧中人脸原始图像的人脸姿态信息。

在本实施例中，对人脸关键点归一化的目的在于提高人脸姿态信息确定的准确度。同时，所述人脸朝向网络模型可以是一个由全连接与激活层组成的全连接网络，可以包含三层全连接和一个激活层，基于该人脸朝向网络模型，假设人脸关键点的数量为106个坐标值，将106个坐标值输入该人脸朝向网络模型后，可以输出三个人脸姿态角的角度值，三个人脸姿态角具体包括偏航角、俯仰角以及滚转角，本实施例最终将上述三个人脸姿态角及其相应角度值作为当前待测帧的人脸原始图像中人脸的姿态纠正信息。

示例性地，上述归一化所述人脸关键点，获得所述人脸关键点对应的归一化坐标的过程可以包括：从所述前一帧的人脸原始图像中确定包含人脸的外接矩形；将所述外接矩形的左上角顶点确定为设定坐标系的原点；将所述外接矩形的长宽在所述设定坐标系下放缩至长度为1，获得放缩后各人脸关键点的归一化坐标。

可以知道的是，本实施例中采用人脸朝向网络模型进行人脸姿态信息确定时，其输入数据仅为一定量的数值，其输入规模比上述关键点检测网络模型所需输入数据的输入规模要小很多，因此，本部分确定姿态纠正信息的时间消耗在整个人脸关键点检测的处理时间中同样可以忽略不计。

基于上述表述，可知本实施例的对于一个图像帧中人脸的人脸关键点检测具体相当于依次基于人脸朝向网络模型、图像对齐模型以及关键点检测网络模型来实现，因人脸朝向网络模型和图像对齐模型处理时间几乎可以忽略不计，而关键点检测网络模型的网络规模进行了最小化限制，与现有解决方法相比，本实施例可以有效保证本实施例人脸关键点检测的实时性。

在本实施例二的一个可选实施例中，对于将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像，也可进一步具体化为：根据所述姿态纠正信息，确定所述人脸原始图像中人脸到标准朝向的旋转角度；将所述人脸原始图像中的人脸通过所述旋转角度旋转至标准朝向，形成朝向纠正后的人脸纠正图像。

在本实施例中，所述标准朝向具体可设定为：呈现在二维平面图像中的人脸，其还原到三维空间下所对应滚转角的角度值为0。本实施例上述步骤的执行目的在于通过姿态纠正信息确定一个旋转角度，基于该旋转角度对原始图像中人脸对应的像素坐标进行旋转形成人脸纠正图像，能够保证人脸纠正图像中的人脸还原到三维空间后，其所对应滚转角的角度值为0。

通过上述描述，可知旋转角度为一个二维平面的参数值，基于三维形式的姿态纠正信息确定一个适用二维的参数值时，需要考虑将三维姿态纠正信息各人脸姿态角转换到二维下，且可认为旋转角度的获取与转换时对应的投影旋转矩阵有关，考虑各人脸姿态角转换先后顺序对投影旋转矩阵的影响，因此本实施例首先可以基于姿态纠正信息中各人脸姿态角转换到二维时的旋转先后顺序，然后确定一个对应该旋转先后顺序的旋转角度计算公式，最终可根据姿态纠正信息中各人脸姿态角的角度值及旋转角度计算公式获得一个旋转角度。

进一步地，根据所述姿态纠正信息，确定所述人脸原始图像中人脸到标准朝向的旋转角度，其具体实现过程可以包括：获取预先设置的所述姿态纠正信息中各人脸姿态角的旋转先后顺序；从预设旋转公式关联表中确定所述旋转先后顺序对应的旋转角度计算公式；将各所述人脸姿态角的角度值代入所述旋转角度计算公式，获得所述人脸图像中人脸到标准朝向的旋转角度。

在本实施例中，旋转角度的旋转角度计算公式主要基于三维姿态纠正信息各人脸姿态角转换到二维下时所需的投影转换矩阵推导获得，而投影转换矩阵的确定与各人脸姿态角的旋转先后顺序有关，示例性地，假设各人脸姿态角分别表示为绕人脸自身空间坐标系y’轴旋转的俯仰角pitch、绕人脸自身空间坐标系z’轴旋转的偏航角yaw以及绕人脸自身空间坐标系x’轴旋转的滚转角roll，且pitch、yaw和roll的角度值分别为p,t和r，以各人脸姿态角的旋转先后顺序为yaw→pitch→roll为例，其对应的投影旋转矩阵可表示为：

此时，可基于上述旋转矩阵以及标准朝向时设定的滚转角为0，就可推导出相应的旋转角度计算公式，该旋转角度计算公式可表示为：

x＝arctan((cos(r)sin(p)sin(t)–sin(r)cos(t))/cos(r)cos(p))。

可以知道的是，本实施例可预先设置各人脸姿态角以不同旋转先后顺序转换时对应的旋转角度计算公式，然后根据需要选定相应的旋转角度计算公式，最终将各人脸姿态角的角度值代入旋转角度计算公式，就可获得当前的旋转角度。

进一步地，将所述人脸原始图像中人脸通过所述旋转角度旋转至标准朝向，获得朝向纠正后的人脸纠正图像，其具体实现过程可以包括：识别所述人脸原始图像中的人脸，确定包含所述人脸的矩形区域；以所述人脸原始图像所在坐标系的纵轴为参照轴，将所述矩形区域中各像素点相对所述参照轴旋转所述旋转角度；获得具备所述标准朝向的矩形区域，形成朝向纠正后的人脸纠正图像。

在本实施例中，可以考虑对人脸原始图像中人脸所在区域进行像素点坐标的角度旋转，本实施例可基于现有的人脸模糊识别方法，识别出人脸原始图像中包含人脸的矩形区域，然后对矩形区域中各像素点相对参照轴进行旋转角度的旋转，然后基于旋转后的像素点坐标形成人脸纠正图像。

基于上述描述，可知假设人脸原始图像中人脸存在歪头这样的特殊姿态，则朝向纠正后的人脸纠正图像中人脸的头部则以所在坐标系的纵轴的状态呈现。

示例性地，图2c给出了本发明实施例二中人脸关键点检测的实现框图。如图2c所示，可认为第2帧人脸图片22为当前待测帧，第1帧人脸图片21为当前待测帧的前一帧，图2c中将第1帧人脸图片21的人脸关键点作为已知信息，首先第1帧人脸图片21的人脸关键点作为输入数据，输入至人脸朝向网络模型23，人脸朝向网络模型23则输出第1帧人脸图片21中人脸的三个人脸姿态角pitch、yaw和roll的角度值；然后，三个人脸姿态角pitch、yaw和roll的角度值可作为第2帧人脸图片22的姿态纠正信息，并作为输入数据输入至图像对齐模型24，图像对齐模型24则输出第2帧人脸图片22对应的人脸纠正图片25和旋转角度x；之后，人脸纠正图片25可作为输入数据输入至关键点检测网络模型26，关键点检测网络模型26，则输出人脸纠正图片25的106个纠正关键点；最终，106个纠正关键点可以通过已确定的旋转角度x进行逆向旋转，逆向旋转后获得106个第2帧人脸图片22的目标人脸关键点。

上述描述可依次循环，如，第2帧人脸图片22的目标人脸关键点又可重新用于下一帧(第3帧人脸图片)的关键点检测。

实施例三

图3给出了本发明实施例三提供的一种人脸关键点检测装置的结构方框示意图，该装置适用于对人脸图像进行人脸关键点检测的情况，该装置可由软件和/或硬件实现，并一般集成在计算机设备上，如图3所示，该装置包括：信息获取模块31、图像纠正模块32、关键点确定模块33以及关键点纠正模块34。

其中，信息获取模块31，用于获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；

图像纠正模块32，用于根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；

关键点确定模块33，用于采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；

关键点纠正模块34，用于根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。

本发明实施例三提供的一种人脸关键点检查装置，能够在进行关键点检测前先通过获取的姿态纠正信息对人脸原始图像进行姿态矫正，从而采用已有关键点检测网络模型对矫正后人脸纠正图像进行关键点检测，由此根据获得的检测结果就能够逆向获得原始图像的人脸关键点。与现有检测方法相比，本实施例增加了人脸姿态矫正的技术实现，从而能够在不增加关键点检测网络模型规模的情况下保证对特殊人脸图像(如大角度、大姿态)进行关键点检测时的检测精度，同时避免了关键点检测的检测时间的增大，进而达到了兼具实时性和准确性的检测效果。

进一步地，信息获取模块31，包括：

图像获取单元，用于获取当前待测帧的人脸原始图像；

纠正信息获取单元，用于获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息，作为所述当前待测帧的人脸原始图像中人脸的姿态纠正信息。

进一步地，纠正信息获取单元包括：

历史信息获取子单元，用于获取从所述前一帧的人脸原始图像中检测到的人脸关键点；

姿态信息确定子单元，用于根据所述人脸关键点，确定所述前一帧中人脸原始图像的人脸姿态信息。

进一步地，所述姿态信息确定子单元，具体用于：归一化所述人脸关键点，获得所述人脸关键点对应的归一化坐标；将所述归一化坐标作为输入数据，输入人脸朝向网络模型，输出获得所述前一帧中人脸原始图像的人脸姿态信息。

进一步地，所述姿态纠正信息包括：人脸姿态角及相应的角度值；所述人脸姿态角包括：俯仰角、偏航角以及滚转角。

进一步地，图像纠正模块32，包括：

人脸纠正单元，用于将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像

进一步地，人脸纠正单元，包括：

角度确定子单元，用于根据所述姿态纠正信息，确定所述人脸原始图像中人脸到标准朝向的旋转角度；

图像旋转子单元，用于将所述人脸原始图像中的人脸通过所述旋转角度旋转至标准朝向，形成朝向纠正后的人脸纠正图像。

进一步地，角度确定子单元，具体用于：获取预先设置的所述姿态纠正信息中各人脸姿态角的旋转先后顺序；从预设旋转公式关联表中确定所述旋转先后顺序对应的旋转角度计算公式；将各所述人脸姿态角的角度值代入所述旋转角度计算公式，获得所述人脸图像中人脸到标准朝向的旋转角度。

进一步地，图像旋转子单元，具体用于：识别所述人脸原始图像中的人脸，确定包含所述人脸的矩形区域；以所述人脸原始图像所在坐标系的纵轴为参照轴，将所述矩形区域中各像素点相对所述参照轴旋转所述旋转角度；获得具备所述标准朝向的矩形区域，形成朝向纠正后的人脸纠正图像。

进一步地，关键点纠正模块34，具体用于：

根据所述姿态纠正信息确定的旋转角度，对所述纠正关键点进行逆向旋转，以获得所述人脸原始图像的目标人脸关键点。

进一步地，所述当前待测帧从预先捕获的短视频中获取，或者从实时捕获的直播视频中获取；

检测到的目标人脸关键点用于所对应人脸原始图像中人脸的视觉特效设置。

实施例四

图4给出了本发明实施例四提供的一种计算机设备的硬件结构示意图，具体地，该计算机设备包括：处理器和存储装置。存储装置中存储有至少一条指令，且指令由所述处理器执行，使得所述计算机设备执行如上述方法实施例所述的人脸关键点检测方法。

参照图4，该计算机设备具体可以包括：处理器40、存储装置41、显示屏42、输入装置43、输出装置44以及通信装置45。该计算机设备中处理器40的数量可以是一个或者多个，图4中以一个处理器40为例。该计算机设备中存储装置41的数量可以是一个或者多个，图4中以一个存储装置41为例。该计算机设备的处理器40、存储装置41、显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储装置41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例对应的程序指令/模块(例如，上述实施例所提供人脸关键点检测装置中的信息获取模块31、图像纠正模块32、关键点确定模块33以及关键点纠正模块34等)。存储装置41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储装置41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。可选的，当显示屏42为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏42的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器40或者其他计算机设备。

通信装置45，用于与其他计算机设备建立通信连接，其可以是有线通信装置和/或无线通信装置。

输入装置43可用于接收输入的数字或者字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取视频数据中音频的拾音计算机设备。输出装置44可以包括显示屏等视频计算机设备以及扬声器等音频计算机设备。需要说明的是，输入装置43和输出装置44的具体组成可以根据实际情况设定。

处理器40通过运行存储在存储装置41中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的人脸关键点检测方法。

具体的，实施例中，处理器40执行存储装置41中存储的一个或多个程序时，具体实现如下操作：获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。

本发明实施例还提供一种计算机可读存储介质，所述存储介质中的程序由计算机设备的处理器执行时，使得计算机设备能够执行如上述实施例所述的人脸关键点检测方法。示例性的，上述实施例所述的人脸关键点检测方法包括：获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。

需要说明的是，对于装置、计算机设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的人脸关键点检测方法。

值得注意的是，上述人脸关键点检测装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种人脸关键点检测方法，其特征在于，包括：

获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；

根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；

采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；

根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。

2.根据权利要求1所述的方法，其特征在于，所述获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息，包括：

获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息，作为所述当前待测帧的人脸原始图像中人脸的姿态纠正信息。

3.根据权利要求2所述的方法，其特征在于，获取所述当前待测帧的前一帧中人脸原始图像的人脸姿态信息包括：

获取从所述前一帧的人脸原始图像中检测到的人脸关键点；

根据所述人脸关键点，确定所述前一帧中人脸原始图像的人脸姿态信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述人脸关键点，确定所述前一帧中人脸原始图像帧的人脸姿态信息，包括：

归一化所述人脸关键点，获得所述人脸关键点对应的归一化坐标；

将所述归一化坐标作为输入数据，输入人脸朝向网络模型，输出获得所述前一帧中人脸原始图像的人脸姿态信息。

5.根据权利要求1所述的方法，其特征在于，所述姿态纠正信息包括：人脸姿态角及相应的角度值；所述人脸姿态角包括：俯仰角、偏航角以及滚转角。

6.根据权利要求1-5任一所述的方法，其特征在于，所述根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像，包括：

将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像。

7.根据权利要求6所述的方法，其特征在于，将所述人脸原始图像及所述姿态纠正信息作为输入数据，输入图像对齐模型，以输出纠正后的人脸纠正图像，包括：

根据所述姿态纠正信息，确定所述人脸原始图像中人脸到标准朝向的旋转角度；

将所述人脸原始图像中的人脸通过所述旋转角度旋转至标准朝向，形成朝向纠正后的人脸纠正图像。

8.根据权利要求7所述的方法，其特征在于，所述根据所述姿态纠正信息，确定所述人脸原始图像中人脸到标准朝向的旋转角度，包括：

获取预先设置的所述姿态纠正信息中各人脸姿态角的旋转先后顺序；

从预设旋转公式关联表中确定所述旋转先后顺序对应的旋转角度计算公式；

将各所述人脸姿态角的角度值代入所述旋转角度计算公式，获得所述人脸图像中人脸到标准朝向的旋转角度。

9.根据权利要求7所述的方法，其特征在于，所述将所述人脸原始图像中人脸通过所述旋转角度旋转至标准朝向，获得朝向纠正后的人脸纠正图像，包括：

识别所述人脸原始图像中的人脸，确定包含所述人脸的矩形区域；

以所述人脸原始图像所在坐标系的纵轴为参照轴，将所述矩形区域中各像素点相对所述参照轴旋转所述旋转角度；

获得具备所述标准朝向的矩形区域，形成朝向纠正后的人脸纠正图像。

10.根据权利要求1所述的方法，其特征在于，根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点包括：

根据所述姿态纠正信息确定的旋转角度，对所述纠正关键点进行逆向旋转，以获得所述人脸原始图像的目标人脸关键点。

11.根据权利要求1所述的方法，其特征在于：

所述当前待测帧从预先捕获的短视频中获取，或者从实时捕获的直播视频中获取；

检测到的目标人脸关键点用于所对应人脸原始图像中人脸的视觉特效设置。

12.一种人脸关键点检测装置，其特征在于，包括：

信息获取模块，用于获取当前待测帧的人脸原始图像，并获取所述当前待测帧的人脸原始图像中人脸的姿态纠正信息；

图像纠正模块，用于根据所述姿态纠正信息对所述人脸原始图像中的人脸姿态进行纠正，获得人脸纠正图像；

关键点确定模块，用于采用关键点检测网络模型，对所述人脸纠正图像进行人脸关键点检测，获得纠正关键点；

关键点纠正模块，用于根据所述姿态纠正信息对所述纠正关键点进行逆向姿态纠正，以获得所述人脸原始图像的目标人脸关键点。

13.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11任一项所述的人脸关键点检测方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11任一项所述的人脸关键点检测方法。