CN107358155A - 一种鬼脸动作检测方法和装置及活体识别方法和*** - Google Patents

Abstract

本发明公开了一种鬼脸动作检测方法，包括：从待测人脸视频中抽取若干视频帧；获取抽取的每一所述视频帧的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；通过所述人脸区域位置、所述眼部的若干关键点位置和所述嘴部的若干关键点位置分别计算人脸区域面积、眼部面积和嘴部面积；通过计算每一抽取的所述视频帧的所述眼部面积和所述嘴部面积之和占所述人脸区域面积的比值获取衡量分数；基于所述衡量分数判断所述待测人脸视频的鬼脸动作的情况。相应的，本发明还公开了一种鬼脸动作检测装置。本发明计算简单,且效率高。

Description

一种鬼脸动作检测方法和装置及活体识别方法和***

技术领域

本发明涉及人脸识别领域，尤其涉及一种鬼脸动作检测方法和装置及活体识别方法和***。

背景技术

随着人脸识别技术的发展，越来越多的场景需要用到人脸检测去快速的识别一个人的身份。但是有不法份子会利用图片或者视频代替真人去进行人脸识别，这样整个人脸识别***的安全性就得不到保证。而人脸活体识别可以检测出当前待测人脸是活体人脸而非照片或者视频中的人脸，从而保证了人脸识别***的安全性。在进行人脸识别时，可以通过对待测人脸的鬼脸动作的检测有助于识别人脸是否为活体。为实现在人体识别时，能实现高效简单地识别人脸是否活体，因而需要一种高效简单的鬼脸动作检测技术方案。

发明内容

本发明实施例的目的是提供一种鬼脸动作检测方法和装置，计算简单，效率高。

为实现上述目的，本发明实施例提供了一种鬼脸动作检测方法，包括步骤：

从待测人脸视频中抽取若干视频帧；

获取从所述待测人脸视频中抽取的每一所述视频帧的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；

通过所述人脸区域位置、所述眼部的若干关键点位置和所述嘴部的若干关键点位置分别计算人脸区域面积、眼部面积和嘴部面积；

通过计算每一抽取的所述视频帧的所述眼部面积和所述嘴部面积之和占所述人脸区域面积的比值获取衡量分数；

基于每一抽取的所述视频帧的所述衡量分数判断所述待测人脸视频的鬼脸动作的情况。

与现有技术相比，本发明实施例公开的一种鬼脸动作检测装置，然后获取抽取的每一视频帧中待测人脸的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；接着，获取人脸区域面积、眼部面积和嘴部面积；并以眼部面积和嘴部面积之和占人脸区域面积的比值获取衡量分数，最后，基于每一抽取的视频帧的衡量分数判断待测人脸视频是否有鬼脸动作；该方案基于获取人脸区域位置、眼嘴的关键点位置来分别计算人脸区域、眼部和嘴部的面积，计算过程简单高效，并根据人脸区域、眼部和嘴部的面积获取的衡量分数来判断鬼脸动作，能够准确得到检测结果且计算量小，效率高；且任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，设备硬件要求简单。

进一步的，所述基于每一抽取的所述视频帧的所述衡量分数判断所述待测人脸视频的鬼脸动作的情况包括：

判断每一抽取的所述视频帧的所述衡量分数是否在预设衡量分数范围之内，若是，则对应的所述视频帧的待测人脸为正常状态，若否，则对应的所述视频帧的待测人脸为鬼脸状态；

当抽取若干所述视频帧中同时包括的待测人脸为正常状态的视频帧和待测人脸为鬼脸状态的视频帧，则判定所述待测人脸的待测人脸有鬼脸动作。

进一步的，所述获取从所述待测人脸视频中抽取的每一所述视频帧的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置包括：

对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点位置检测，获取所述人脸区域位置和待测人脸的若干关键点位置；

从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取所述眼部的若干关键点位置和所述嘴部的若干关键点位置。

进一步的，所述通过所述人脸区域位置、所述眼部的若干关键点位置和所述嘴部的若干关键点位置分别计算人脸区域面积、眼部面积和嘴部面积包括：

通过所述人脸区域位置获取人脸长度和人脸宽度，通过计算所述人脸长度乘以所述人脸宽度的积获取所述人脸区域面积；

通过所述眼部的若干关键点位置获取左眼长度和左眼宽度，及右眼长度和右眼宽度，通过计算所述左眼长度乘以所述左眼宽度获取所述左眼面积，通过计算所述右眼长度乘以所述右眼宽度获取所述右眼面积；通过计算所述左眼面积和所述右眼面积之和获取所述眼部面积；

通过所述嘴部的若干关键点位置获取嘴部长度和嘴部宽度，通过计算所述嘴部长度乘以所述嘴部宽度的积获取所述嘴部面积。

相应的，本发明实施例还提供一种鬼脸动作检测装置，包括：

视频帧抽取单元，用于从待测人脸视频中抽取若干视频帧；

关键点位置获取单元，用于获取从所述待测人脸视频中抽取的每一所述视频帧的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；

面积获取单元，用于通过所述人脸区域位置、所述眼部的若干关键点位置和所述嘴部的若干关键点位置分别计算人脸区域面积、眼部面积和嘴部面积；

衡量分数获取单元，用于通过计算每一抽取的所述视频帧的所述眼部面积和所述嘴部面积之和占所述人脸区域面积的比值获取衡量分数；

鬼脸动作判断单元，用于基于每一抽取的所述视频帧的所述衡量分数判断所述待测人脸视频的鬼脸动作的情况。

与现有技术相比，本发明实施例公开的一种鬼脸动作检测装置，通过视频帧抽取单元从待测人脸视频中获取若干视频帧，然后通过关键点位置获取单元获取抽取的每一视频帧中待测人脸的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；接着，通过面积获取单元获取人脸区域面积、眼部面积和嘴部面积；并通过衡量分数获取单元计算眼部面积和嘴部面积之和占人脸区域面积的比值获取衡量分数，最后，通过鬼脸动作判断单元基于抽取的每一视频帧的衡量分数判断待测人脸视频是否有鬼脸动作。该方案计算过程简单高效，任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，设备硬件要求简单。

进一步的，所述鬼脸动作判断单元包括：

鬼脸状态判断模块，用于判断每一抽取的所述视频帧的所述衡量分数是否在预设衡量分数范围之内，若是，则对应的所述视频帧的待测人脸为正常状态，若否，则对应的所述视频帧的待测人脸为鬼脸状态；

鬼脸动作判断模块，用于当抽取若干所述视频帧中同时包括的待测人脸为正常状态的视频帧和待测人脸为鬼脸状态的视频帧，则判断所述待测人脸的待测人脸有鬼脸动作。

进一步的，所述关键点位置获取单元包括：

人脸关键点位置检测模块，用于对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点位置检测，获取所述人脸区域位置和待测人脸的若干关键点位置；

眼嘴关键点位置获取模块，用于从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取所述眼部的若干关键点位置和所述嘴部的若干关键点位置。

进一步的，所述面积获取单元包括：

人脸区域面积获取模块，用于通过所述人脸区域位置获取人脸长度和人脸宽度，通过计算所述人脸长度乘以所述人脸宽度的积获取所述人脸区域面积；

眼部面积获取模块，用于通过所述眼部的若干关键点位置获取左眼长度和左眼宽度，及右眼长度和右眼宽度，通过计算所述左眼长度乘以所述左眼宽度获取所述左眼面积，通过计算所述右眼长度乘以所述右眼宽度获取所述右眼面积；通过计算所述左眼面积和所述右眼面积之和获取所述眼部面积；

嘴部面积获取模块，用于通过所述嘴部的若干关键点位置获取嘴部长度和嘴部宽度，通过计算所述嘴部长度乘以所述嘴部宽度的积获取所述嘴部面积。

相应的，本发明还提供一种活体识别方法，包括步骤：

检测待测人脸视频中的待测人脸的鬼脸动作的情况和其它至少一个部位运动的情况，其中，采用本发明提供的一种鬼脸动作检测方法检测待测人脸视频中的待测人脸的鬼脸动作的情况；

基于部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值；

计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，每一所述部位运动已预设相应的权值；

判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。

与现有技术相比，本发明实施例公开的一种活体识别方法，采用本发明公开的鬼脸动作检测方法检测待测人脸视频的待测人脸的鬼脸动作的情况，以及通过检测待测人脸的其他部位的运动情况，获取对应的部位运动的运动分值，对部位运动分值进行加权后求和作为活体识别分值，利用活体识别分值作为所述待测人脸是否为活体的判断标准的技术方案；其中，鬼脸动作检测方法计算过程简单高效，设备硬件要求简单；采用检测鬼脸动作和其他至少一个部位运动解决了现有技术中算法单一，安全性不高的问题，可扩展性强，且基于人脸部位运动的检测可以通过二维图像实现，对硬件要求不高；另外，采用对不同部位运动加权再进行分数融合，活体识别准确度高，本活体识别方法准确率高、硬件要求低和安全性高。

本发明还提供一种活体识别***，包括：

至少2个人脸部位运动检测装置，每一所述人脸部位运动检测装置用于检测待测人脸对应的部位运动，其中一人脸部位运动检测装置为本发明提供的一种鬼脸动作检测装置；

部位运动分值获取装置，用于基于每一所述部位运动的检测情况获取所述待测人脸的每一部位运动对应的运动分值；

活体识别分值计算装置，用于计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，所述活体识别分值计算装置已预设与每一所述部位运动相对应的权值；

活体判断装置，用于判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。

与现有技术相比，本发明实施例公开的一种活体识别***通过至少2个人脸部位运动检测装置获取所述待测人脸上的至少两个部位的运动分值，其中，一人脸部位运动检测装置采用本发明的鬼脸作检测装置；通过活体识别分值计算装置对部位运动分值进行加权后求和作为活体识别分值，通过活体判断装置利用活体识别分值作为所述待测人脸是否为活体的判断标准的技术方案；鬼脸动作检测装置计算简单高效，设备硬件要求简单；采用检测至少2个种部位运动装置检测至少两种部位的运动情况解决了现有技术中算法单一，安全性不高的问题，可扩展性强，且基于人脸部位运动的检测可以通过二维图像实现，对硬件要求不高，另外，通过活体识别分值计算装置对不同部位运动加权再进行分数融合，活体识别准确度高，获得了活体识别准确率高、硬件要求低和安全性高的有益效果。

附图说明

图1是本发明实施例1提供的一种鬼脸动作检测方法的流程示意图；

图2是本发明实施例1提供的一种鬼脸动作检测方法提供的实施例的步骤S15的流程示意图；

图3是本发明实施例1提供的一种鬼脸动作检测方法的步骤S12的流程示意图；

图4是待测人脸的68个关键点的模型示意图；

图5是本发明实施例1提供的一种鬼脸动作检测方法的步骤S13的流程示意图；

图6是本发明实施例2提供的一种鬼脸动作检测装置的结构示意图；

图7是本发明实施例3提供的一种活体识别方法的流程示意图；

图8是本发明实施例3提供的一种活体识别方法的步骤S24流程示意图；

图9是本发明实施例4提供的一种活体识别***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例1提供的一种鬼脸动作检测方法，参见图1，图1是本实施例的流程示意图，包括步骤：

S11、从待测人脸视频中抽取若干视频帧；

S12、获取从待测人脸视频中抽取的每一视频帧的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；

S13、通过人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置分别计算人脸区域面积、眼部面积和嘴部面积；

S14、通过计算每一抽取的视频帧的眼部面积和嘴部面积之和占人脸区域面积的比值获取衡量分数；

S15、基于每一抽取的视频帧的衡量分数判断待测人脸视频的鬼脸动作的情况。

通常，鬼脸为人脸的故意做出来的滑稽的面部表情，最明显的表现为眼部和嘴部发生一定程度的扭曲形变。基于该现象，本实施例对鬼脸的定义标准为：当待测人脸的眼部面积和嘴部面积之和占人脸区域面积的比值不在预设衡量分数范围之内，则判定该人脸状态为鬼脸状态。本发明提供的其它实施例均可参照上述对鬼脸的定义标准的说明，不再赘述。

所以，参见图2，图2是步骤S15具体的流程示意图，步骤S15包括：

S151、判断每一抽取的视频帧的衡量分数是否在预设衡量分数范围之内，若是，则对应的视频帧的待测人脸为正常状态，若否，则对应的视频帧的待测人脸为鬼脸状态；

S152、当抽取若干视频帧中同时包括的待测人脸为正常状态的视频帧和待测人脸为鬼脸状态的视频帧，则判定待测人脸的待测人脸有鬼脸动作。

本实施例根据预设衡量分数范围来判断对应的抽取的视频帧是否为鬼脸状态，当抽取若干视频帧中同时包括的待测人脸为正常状态的视频帧和待测人脸为鬼脸状态的视频帧，说明待测人脸视频中的待测人脸做既有正常状态也有鬼脸状态，即待测人脸做出鬼脸动作。

在步骤S11中的从待测人脸视频中抽取若干视频帧，优选采用从待测人脸视频中获取连续帧的视频帧，或者，优选采用从待测人脸视频中按照一定的时间频率对应抽取视频帧。

参见图3，图,3是步骤S12具体的流程示意图，步骤S12具体包括：

S121、对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点位置检测，获取人脸区域位置和待测人脸的若干关键点位置；

dlib库指的是一个使用C++技术编写的跨平台的通用库；

参见图4，图4是待测人脸的68个关键点的模型示意图；步骤S121中获取的若干人脸关键点位置即为图4中关键点1～关键点68所示的关键点位置；另外，通过对抽取的每一视频帧做人脸检测，可以获取人脸区域位置；在本实施例中，优选人脸区域为表示人脸的矩形框区域，对应的，当获取图4中示例的H、I、J和K四个点的位置即可确定人脸的矩形框区域，即获取人脸区域位置。

S122、从每一抽取的视频帧的待测人脸的若干关键点位置中获取眼部的若干关键点位置和嘴部的若干关键点位置。

图4中，步骤S122获取的眼部的若干关键点位置即为图4中关键点37～关键点48这12个关键点所示的关键点位置，其中，关键点37～关键点42这6个关键点所示的关键点位置表示左眼，关键点43～关键点48这6个关键点所示的关键点位置表示右眼；获取的嘴部的若干关键点位置即为图4中关键点49～关键点68这20个关键点所示的关键点位置。

参见图5，图5是步骤S13的流程示意图，步骤S13具体包括：

S131、通过人脸区域位置获取人脸长度和人脸宽度，通过计算人脸长度乘以人脸宽度的积获取人脸区域面积。

对应步骤S121优选获取人脸区域位置为确定人脸的矩形框区域，并获取了确定矩形框区域的四个顶点位置，即图4示例的H、I、J和K四个点的位置；那么，步骤S131中优选通过线段HK长度表示人脸长度，线段HI表示人脸宽度，对应计算人脸矩形框HIJK的面积来获取人脸区域面积。

S132、通过眼部的若干关键点位置获取左眼长度和左眼宽度，及右眼长度和右眼宽度，通过计算左眼长度乘以左眼宽度获取左眼面积，通过计算右眼长度乘以右眼宽度获取右眼面积；通过计算左眼面积和右眼面积之和获取眼部面积；

S133、通过嘴部的若干关键点位置获取嘴部长度和嘴部宽度，通过计算嘴部长度乘以嘴部宽度的积获取嘴部面积；

参见图4，步骤S132和S133中，定义表示左眼的关键点37～关键点42这6个关键点中的x坐标的最大值减去x坐标的最小值即为左眼长度，右眼6个关键点的y坐标的最大值减去y坐标的最小值即为左眼宽度；同理可获得右眼长度和右眼宽度；定义表示嘴部的关键点49～关键点68这20个关键点所示的关键点中的x坐标的最大值减去x坐标的最小值即为嘴部长度，表示嘴部的20个关键点的y坐标的最大值减去y坐标的最小值即为嘴部宽度。此处，默认在抽取的每一视频帧中建立水平方向为x轴，竖直方向为y轴的xy坐标轴体系，从抽取的每一视频帧中获取的待测人脸的关键点位置即为关键点坐标。

本实施例计算眼部和嘴部的面积时，优选通过计算长度乘以宽度来获取对应部位的面积，如嘴部长度乘以嘴部宽度得到嘴部面积的实施例方式；能够简单高效地得到计算结果来用于获取衡量分数进而进行鬼脸状态的判断，计算量小，效率高。而同理，本实施例在计算人脸区域面积的时候，若当获取的人脸区域位置为确定人脸的非矩形框区域，也可以采用从确定人脸的非矩形框区域上的若干坐标点中的x坐标的最大值减去x坐标的最小值即为人脸长度，以及y坐标的最大值减去y坐标的最小值即为人脸宽度，也在本实施例的保护范围内。

具体实施时，本实施例从待测人脸视频中获取若干视频帧，然后获取抽取的每一视频帧中待测人脸的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；接着，获取人脸区域面积、眼部面积和嘴部面积；并以眼部面积和嘴部面积之和占人脸区域面积的比值获取衡量分数，最后，判定衡量分数在预设范围的视频帧的待测人脸为正常状态，判断衡量分数不在预设范围的视频帧的待测人脸为鬼脸状态；当抽取的若干视频帧同时包括正常状态的视频帧和鬼脸状态的视频帧，则判定待测人脸视频有鬼脸动作。

与现有技术相比，本实施例对抽取的视频帧进行人脸检测和人脸关键点检测，并基于各部位关键点位置计算人脸区域面积、眼部面积和嘴部面积，获取眼部面积和嘴部面积之和所占人脸区域面积比值的来判断鬼脸；计算简单高效，任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。

本发明实施例2提供的一种鬼脸动作检测装置提供的实施例，参见图6，图6本实施例的结构示意图；本实施例具体包括：

视频帧抽取单元11，用于从待测人脸视频中抽取若干视频帧；

关键点位置获取单元12，获取从待测人脸视频中抽取的每一视频帧的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；

面积获取单元13，用于获取从待测人脸视频中抽取的每一视频帧的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；

衡量分数获取单元14，用于通过人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置分别计算人脸区域面积、眼部面积和嘴部面积；

鬼脸动作判断单元15，用于基于每一抽取的视频帧的衡量分数判断待测人脸视频的鬼脸动作的情况。

鬼脸动作判断单元15具体包括以下模块：

鬼脸状态判断模块151，用于判断每一抽取的视频帧的衡量分数是否在预设衡量分数范围之内，若是，则对应的视频帧的待测人脸为正常状态，若否，则对应的视频帧的待测人脸为鬼脸状态；

鬼脸动作判断模块152，用于当抽取若干视频帧中同时包括的待测人脸为正常状态的视频帧和待测人脸为鬼脸状态的视频帧，则判定待测人脸的待测人脸有鬼脸动作。

通过视频帧抽取单元11从待测人脸视频中抽取若干视频帧时，优选为从待测人脸视频中获取连续帧的视频帧，或者，优选为从待测人脸视频中按照一定的时间频率对应抽取视频帧。

关键点位置获取单元12具体包括：

人脸关键点检测模块121，用于对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测，获取人脸区域位置和待测人脸的若干关键点位置；

参见图4，通过人脸关键点检测模块121获取的若干人脸关键点位置即为图4中关键点1～关键点68所示的关键点位置；另外，通过对抽取的每一视频帧做人脸检测，可以获取人脸区域位置；在本实施例中，优选人脸区域为表示人脸的矩形框区域，对应的，当获取图4中示例的H、I、J和K四个点的位置即可确定人脸的矩形框区域，即获取人脸区域位置。

眼嘴关键点位置获取模块122，用于从每一抽取的视频帧的待测人脸的若干关键点位置中获取眼部的若干关键点位置和嘴部的若干关键点位置。

图4中，通过眼嘴关键点位置获取模块122获取的眼部的若干关键点位置即为图4中关键点37～关键点48这12个关键点所示的关键点位置，其中，关键点37～关键点42这6个关键点所示的关键点位置表示左眼，关键点43～关键点48这6个关键点所示的关键点位置表示右眼；获取的嘴部的若干关键点位置即为图4中关键点49～关键点68这20个关键点所示的关键点位置。

具体的，面积获取单元13包括以下模块：

人脸区域面积获取模块131，用于通过人脸区域位置获取人脸长度和人脸宽度，通过计算人脸长度乘以人脸宽度的积获取人脸区域面积；

对应通过人脸关键点检测模块优选获取人脸区域位置为确定人脸的矩形框区域，并获取了确定矩形框区域的四个顶点位置，即图4示例的H、I、J和K四个点的位置；那么，人脸区域面积获取模块131优选通过线段HK长度表示人脸长度，线段HI表示人脸宽度，来对应计算人脸矩形框HIJK的面积来获取人脸区域面积。

眼部面积获取模块132，用于通过眼部的若干关键点位置获取左眼长度和左眼宽度，及右眼长度和右眼宽度，通过计算左眼长度乘以左眼宽度获取左眼面积，通过计算右眼长度乘以右眼宽度获取右眼面积；通过计算左眼面积和右眼面积之和获取眼部面积；

嘴部面积获取模块133，用于通过嘴部的若干关键点位置获取嘴部长度和嘴部宽度，通过计算嘴部长度乘以嘴部宽度的积获取嘴部面积。

参见图4，眼部面积获取模块132，具体用于定义表示左眼的关键点37～关键点42这6个关键点中的x坐标的最大值减去x坐标的最小值即为左眼长度，右眼6个关键点的y坐标的最大值减去y坐标的最小值即为左眼宽度；同理可获得右眼长度和右眼宽度；嘴部面积获取模块133，具体用于定义表示嘴部的关键点49～关键点68这20个关键点所示的关键点中的x坐标的最大值减去x坐标的最小值即为嘴部长度，表示嘴部20个关键点的y坐标的最大值减去y坐标的最小值即为嘴部宽度。此处，默认在抽取的每一视频帧中建立水平方向为x轴，竖直方向为y轴的xy坐标轴体系，从抽取的每一视频帧中获取的待测人脸的关键点位置即为关键点坐标。

本实施例面积获取单元13用于计算眼部和嘴部的面积时，优选通过计算长度乘以宽度来获取对应部位的面积，如嘴部长度乘以嘴部宽度得到嘴部面积的实施例方式；能够简单高效地得到计算结果来用于获取衡量分数进而进行鬼脸状态的判断，计算量小，效率高。而同理，本实施例面积获取单元13用于计算人脸区域面积时，若当获取的人脸区域位置为确定人脸的非矩形框区域，通过确定人脸的非矩形框区域上的若干坐标点中的x坐标的最大值减去x坐标的最小值为人脸长度，以及y坐标的最大值减去y坐标的最小值为人脸宽度，也在本实施例的保护范围内。

具体实施时，本实施例通过视频帧抽取单元11从待测人脸视频中获取若干视频帧，然后通过关键点位置获取单元12获取抽取的每一视频帧中待测人脸的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；接着，通过面积获取单元13获取人脸区域面积、眼部面积和嘴部面积；并通过衡量分数获取单元14计算眼部面积和嘴部面积之和占人脸区域面积的比值获取衡量分数，最后，通过鬼脸动作判断单元15判定衡量分数在预设范围的视频帧的待测人脸为正常状态，判定衡量分数不在预设范围的视频帧的待测人脸为鬼脸状态；当抽取的若干视频帧同时包括正常状态的视频帧和鬼脸状态的视频帧，则判定待测人脸视频有鬼脸动作。

与现有技术相比，本实施例计算简单高效，任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。

本发明实施例3提供的一种活体识别方法，参见图7，图7是本实施例的流程示意图，其中，本实施例具体包括步骤：

S21、检测待测人脸视频中的待测人脸的鬼脸动作的情况和其它至少一个部位运动的情况，其中，采用本发明实施例1提供的一种鬼脸动作检测方法检测待测人脸视频中的待测人脸的鬼脸动作的情况；检测鬼脸动作的具体过程可以参见本发明一种鬼脸动作检测方法提供的实施例，此处不做赘述；

S22、基于部位运动的情况获取待测人脸的每一部位运动对应的运动分值；

S23、计算每一部位运动对应的运动分值加权后的总和，并将计算得到的总和作为活体识别分值；其中，每一部位运动已预设相应的权值；

S24、判定活体识别分值不小于预设阈值的待测人脸为活体。

本实施例步骤S21中的检测待测人脸的其它至少一个部位运动为嘴部运动、眼部运动、头部运动、眉毛运动和额头运动中的至少一种；通常来说，嘴部运动包括嘴部是否张闭，眼部运动包括眼睛是否有睁闭动作，头部运动包括头部是否转动，眉毛运动包括眉毛是否抖动，额头运动包括额头是否有皱纹变化；其中，嘴部运动、眼部运动和头部运动运动程度比较明显，有利于进行检测，可以优选选择检测嘴部运动、眼部运动和头部运动中的至少一种。

示例，步骤S21中检测待测人脸的其它至少一个部位运动具体包括：检测待测人脸的人脸视频每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位关键点位置，通过抽取的每一视频帧的部位关键点位置的变化程度来确定部位运动的情况；或者，检测待测人脸每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位灰度值特征，通过抽取的每一视频帧的部位的灰度值的变化程度来确定部位运动的情况。上述实施方法仅为检测其它至少一个部位运动的示例；基于本实施例的活体识别方法的原理基础上，通过其它具体的实施方式实现对另外至少一部位运动的运动检测，也在本实施例的保护范围之内。

本实施例的步骤S23中设定每一部位运动相对应的权值的优选实施方式为根据每一部位运动的明显度设定。例如，当步骤S21检测待测人脸视频中的待测人脸的部位运动为鬼脸动作、嘴部运动和头部运动；通常，嘴部运动比较明显，故权重最大，头部运动模拟精度最低，故权重最小，而鬼脸动作为包括对眼部和嘴部的综合考虑，对应设置部位运动的权重策略为：嘴部运动>鬼脸动作>头部运动。

或，步骤S23中设定每一部位运动相对应的权值的另一优选实施方式为根据不同应用场景自动进行部位运动的权值调整而设定的，具体做法：在某一种场景下，收集待测人脸的各种部位运动的正常输入视频作为正样本，攻击视频作为负样本，取(正样本通过数+负样本拒绝数)/(正样本总数+负样本总数)作为该部位运动的准确率，然后把每一部位运动的准确率按照从大到小的顺序进行排序，每一部位运动的权重也按照此顺序从大到小，重新调整每一部位运动的权重。重新调整后的权重用以计算活体识别分值，该识别结果可以自适应不同场景下的部位运动检测的准确率，增加本实施例的活体识别结果的准确率。

上述两种设定每一部位运动相对应的权值的任一种优选实施方式均在本实施例的保护范围内。

具体地，参见图8，图8是步骤S24的流程示意图，包括步骤：

S241、通过活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度；

S242、当活体识别置信度不小于预设值时，确定活体识别分值不小于预设阈值；

S243、判定活体识别分值不小于预设阈值的待测人脸为活体。

具体地，在步骤S241中，活体识别总分即为本实施例对待测人脸进行识别后能获得的最大值，待测人脸的活体识别置信度通过下述公式计算：

f＝(s/s_max)*100％

其中，s_max表示活体识别总分，f表示活体识别置信度，且0<f<1；

用e表示预设值，当f≥e,即活体识别置信度不小于预设值时，则确定活体识别分值不小于预设阈值，判定活体识别分值不小于预设阈值的待测人脸为活体；当f<e,即活体识别置信度小于预设值时，则确定活体识别分值小于预设阈值，判定活体识别分值小于预设阈值的待测人脸为非活体。

利用活体识别分值所获得的活体识别置信度，还可以进一步扩展，用于本实施例建立分级制度进行活体判断和活体分级，以获得丰富的活体识别结果。

步骤S22基于部位运动的情况获取待测人脸的每一部位运动对应的运动分值包括：

基于鬼脸动作的运动情况获取对应的运动分值：当步骤S21中的检测待测人脸的运动情况为待测人脸有鬼脸动作，则获取的鬼脸动作的运动分值为1分；否则获取的鬼脸动作的运动分值为0分。

类似的，基于其它至少一个部位运动的运动情况获取对应的运动分值：当步骤S21中的检测待测人脸的对应运动情况为待测人脸的对应部位有运动，则获取的对应部位运动的运动分值为1分；否则获取的运动分值为0分。

除了通过有无运动的判断获取对应的运动分值，若在步骤S21中所获取的部位运动的运动情况为部位运动的运动程度，还可以根据其运动程度在分值区间中获取对应的运动分值，如设定分数分为10级，取值在0到1之间。

具体实施时，先从待测人脸视频中抽取若干视频帧，并对所抽取的每一视频帧检测部位运动从而获得对应的部位的运动情况，其中检测一部位运动为检测待测人脸是否有鬼脸动作：先对抽取的视频帧进行人脸检测和获取待测人脸的68点关键点，从而获取人脸区域位置、待测人脸的嘴部关键点位置和眼部关键点位置，基于各部位位置计算获取人脸区域面积、眼部面积和嘴部面积，并根据抽取的每一视频帧的眼部面积和嘴部面积之和占人脸区域面积的比值来判断待测人脸是否有鬼脸动作；根据每一部位运动的情况获取对应的运动分值，具体为该部位有运动，则获取的运动分值为1分，否则获取的运动分值为0分；接着计算上述得到每一部位运动分值进行加权后的总和，该总和表示活体识别分值；最后用该活体识别分值占活体识别总分的比值计算活体识别置信度，其中，当活体识别置信度不小于预设值时，确定活体识别分值不小于预设阈值，从而判定待测人脸为活体；否则，判定待测人脸为非活体。

本实施例可运用于多种设备端，此处以运用于移动手机端的实施场景为例进行说明：在手机端活体识别时，随机出现一种活体动作要求顺序，例如为要求待测人脸分别进行头部左转、鬼脸动作和张嘴的活体动作；此时若预设的部位运动的权重为张嘴对应的嘴部运动的权重w1＝3，鬼脸动作对应的权重w2＝2，头部左转对应的头部运动的权重w3＝1；计算活体识别总分，即活体识别最高分s_max为3*1+2*1+1*1＝6分。假设检测出张嘴得分为1分，鬼脸动作得分为1分，头部左转得分为0分，活体识别分值s为每一部位运动加权后的总和，代入上述部位运动的运动分值，计算活体识别分值s＝3*1+2*1+1*0＝5分；最后，计算活体识别置信度f＝s/s_max＝5/6＝83.33％。若设定此时设定值e为80％，则判定该待测人脸为活体，且活体置信度为83.33％。

本实施例解决了现有技术中算法单一，安全性不高的问题，可扩展性强；对于待测人脸的鬼脸动作的检测方法计算简单高效，对设备的硬件要求不高；另外，在本实施例中采用对多个部位运动的检测来进行活体识别，并对不同部位运动加权再进行分数融合，活体识别准确度高，且有利于提高安全性。

本发明实施例4提供的一种活体识别***，参见图9，图9为本实施例的结构示意图，本实施例包括：

至少2个人脸部位运动检测装置1，每一人脸部位运动检测装置用于检测待测人脸对应的部位运动的情况；图9中的人脸部位运动检测装置1a和人脸部位运动检测装置1b表示检测两不同部位运动的两人脸部位运动检测装置1；其中一人脸部位运动检测装置1为本发明实施例2提供的一种鬼脸动作检测装置，可参见实施例2，此处不做赘述。

需要说明的是，图9仅以包括2个人脸部位运动检测装置1为示例，在实际运用中，本实施例还可以包括2个以上的人脸部位运动检测装置1。

部位运动分值获取装置2，用于基于每一部位运动的检测情况获取待测人脸的每一部位运动对应的运动分值；

活体识别分值计算装置3，用于计算每一人脸部位运动检测装置所获取的运动分值加权后的总和，并将计算得到的总和作为活体识别分值；其中，活体识别分值计算装置已预设与每一部位运动相对应的权值；

活体判断装置4，用于判定活体识别分值不小于预设阈值的待测人脸为活体。

其中，除鬼脸动作检测装置1外的至少一部位运动检测单元1对应检测的至少一部位运动包括嘴部运动、眼部运动、头部运动、眉毛运动和额头运动中的至少一种。嘴部运动包括嘴部是否张闭，或，嘴部运动包括人脸是否有微笑动作，即嘴角的移动程度超过预设标准；眼部运动包括眼睛是否有睁闭动作，头部运动包括头部是否转动，眉毛运动包括眉毛是否抖动，额头运动包括额头是否有皱纹变化；其中，嘴部运动、眼部运动和头部运动运动程度比较明显，有利于进行检测，优选选择检测嘴部运动、眼部运动和头部运动中的至少一种。

示例，另外至少一人脸部位运动检测装置1具体用于检测待测人脸的人脸视频每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位关键点位置，通过抽取的每一视频帧的部位关键点位置的变化程度来确定部位运动的情况；或者，人脸部位运动检测装置1还可以具体用于检测待测人脸每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位灰度值特征，通过抽取的每一视频帧的部位的灰度值的变化程度来确定部位运动的情况，该实施方式通常适用于人脸部位运动检测装置1检测的部位运动为眼部运动或额头运动。上述实施方法仅为另外至少一人脸部位运动检测装置1检测部位运动的示例，当人脸部位运动检测装置1通过其他实施方式实现对另外至少一部位运动的运动检测，也在本实施例的保护范围之内。

部位运动分值获取装置2具体用于基于嘴部运动的运动情况获取对应的运动分值：待测人脸的运动情况为待测人脸有鬼脸动作，则获取的鬼脸动作的运动分值为1分；否则获取的鬼脸动作的运动分值为0分。部位运动分值获取装置2具体还用于基于其它至少一个部位运动的运动情况获取对应的运动分值：当待测人脸的对应的部位运动情况为有运动，则获取的对应部位运动的运动分值为1分；否则获取的运动分值为0分。

除上述部位运动分值获取装置2用于基于每一部位运动的是否有运动的情况而直接获得一个是否有运动的运动分值的实施方式,当通过人脸部位运动检测装置1中获取的部位运动的运动情况包括部位运动的运动程度，还可以通过部位运动分值获取装置2基于运动程度而获取一个在0到1之间的运动分值，如设定运动分值分为10级，取值在0到1之间，该替代实施方式不仅能表示是否有运动，还能体现运动的程度。

活体识别分值计算装置3中与每一部位运动相对应的权值为根据每一部位运动的明显度设定；如检测的部位运动为鬼脸动作、嘴部运动和头部运动；通常，嘴部运动比较明显，故权重最大，头部运动模拟精度最低，故权重最小，而鬼脸动作为包括对眼部和嘴部的综合考虑，对应设置部位运动的权重策略为：嘴部运动>鬼脸动作>头部运动。

或，活体识别分值计算装置3中与每一部位运动相对应的权值为根据不同应用场景自动进行部位运动的权值调整而设定的，具体做法：在某一种场景下，收集待测人脸的各种部位运动的正常输入视频作为正样本，攻击视频作为负样本，取(正样本通过数+负样本拒绝数)/(正样本总数+负样本总数)作为该部位运动的准确率，然后把每一部位运动的准确率按照从大到小的顺序进行排序，每一部位运动的权重也按照此顺序从大到小，重新调整每一部位运动的权重。

上述两种设定每一部位运动相对应的权值的任一种优选实施方式均在本实施例的保护范围内。

活体判断装置4包括：

活体识别置信度计算单元41，用于通过活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度；

其中，活体识别总分即为通过活体识别分值计算装置3获取的所有人脸部位运动检测装置1的运动分值加权后的总和的最大值，活体识别总分用s_max表示；f表示活体识别置信度，且0<f<1；活体识别置信度计算单元41通过下述公式计算待测人脸的活体识别置信度：

f＝(s/s_max)*100％

活体判断单元42，用于当活体识别置信度不小于预设值时，确定活体识别分值不小于预设阈值，判定活体识别分值不小于预设阈值的待测人脸为活体。

其中，用e表示预设值，通过活体判断单元42判断：当f≥e,即活体识别置信度不小于预设值时，则确定活体识别分值不小于预设阈值，判定活体识别分值不小于预设阈值的待测人脸为活体；当f<e,即活体识别置信度小于预设值时，则确定活体识别分值小于预设阈值，判定活体识别分值小于预设阈值的待测人脸为非活体。

通过活体识别置信度计算单元41所获得的活体识别置信度，还可以进一步扩展，用于本实施例活体识别***建立分级制度进行活体判断和活体分级，以获得丰富的活体识别结果。

具体实施时，首先，通过每一人脸部位运动检测装置1获取对应的部位运动的运动情况，其中，一人脸部位运动检测装置1为本发明一种鬼脸动作检测装置的实施例；并通过部位运动分值获取装置2基于部位运动的运动情况获取对应的运动分值；然后，通过活体识别分值计算装置3对获取的每一部位运动的运动分值进行加权后求和作为活体识别分值，最后，通过活体判断装置4的活体识别置信度计算单元41利用活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度，并通过活体判断单元42判定当计算所得的活体识别置信度不小于预设阈值的待测人脸为活体。

本实施例采用检测至少2个人脸部位运动检测装置解决了现有技术中算法单一，安全性不高的问题，可扩展性强，且鬼脸动作检测装置对硬件要求不高；另外，通过活体识别分值计算装置对不同部位运动加权再进行分数融合，活体识别准确度高，获得了活体识别准确率高、硬件要求低和安全性高的有益效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种鬼脸动作检测方法，其特征在于，所述鬼脸动作检测方法包括步骤：

从待测人脸视频中抽取若干视频帧；

获取从所述待测人脸视频中抽取的每一所述视频帧的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；

通过所述人脸区域位置、所述眼部的若干关键点位置和所述嘴部的若干关键点位置分别计算人脸区域面积、眼部面积和嘴部面积；

通过计算每一抽取的所述视频帧的所述眼部面积和所述嘴部面积之和占所述人脸区域面积的比值获取衡量分数；

基于每一抽取的所述视频帧的所述衡量分数判断所述待测人脸视频的鬼脸动作的情况。

2.如权利要求1所述的一种鬼脸动作检测方法，其特征在于，所述基于每一抽取的所述视频帧的所述衡量分数判断所述待测人脸视频的鬼脸动作的情况包括：

判断每一抽取的所述视频帧的所述衡量分数是否在预设衡量分数范围之内，若是，则对应的所述视频帧的待测人脸为正常状态，若否，则对应的所述视频帧的待测人脸为鬼脸状态；

当抽取若干所述视频帧中同时包括的待测人脸为正常状态的视频帧和待测人脸为鬼脸状态的视频帧，则判定所述待测人脸的待测人脸有鬼脸动作。

3.如权利要求2所述的一种鬼脸动作检测方法，其特征在于，所述获取从所述待测人脸视频中抽取的每一所述视频帧的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置包括：

对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点位置检测，获取所述人脸区域位置和待测人脸的若干关键点位置；

从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取所述眼部的若干关键点位置和所述嘴部的若干关键点位置。

4.如权利要求3所述的一种鬼脸动作检测方法，其特征在于，所述通过所述人脸区域位置、所述眼部的若干关键点位置和所述嘴部的若干关键点位置分别计算人脸区域面积、眼部面积和嘴部面积包括：

通过所述人脸区域位置获取人脸长度和人脸宽度，通过计算所述人脸长度乘以所述人脸宽度的积获取所述人脸区域面积；

通过所述眼部的若干关键点位置获取左眼长度和左眼宽度，及右眼长度和右眼宽度，通过计算所述左眼长度乘以所述左眼宽度获取所述左眼面积，通过计算所述右眼长度乘以所述右眼宽度获取所述右眼面积；通过计算所述左眼面积和所述右眼面积之和获取所述眼部面积；

通过所述嘴部的若干关键点位置获取嘴部长度和嘴部宽度，通过计算所述嘴部长度乘以所述嘴部宽度的积获取所述嘴部面积。

5.一种鬼脸动作检测装置，其特征在于，包括：

视频帧抽取单元，用于从待测人脸视频中抽取若干视频帧；

关键点位置获取单元，用于获取从所述待测人脸视频中抽取的每一所述视频帧的人脸区域位置、眼部的若干关键点位置和嘴部的若干关键点位置；

面积获取单元，用于通过所述人脸区域位置、所述眼部的若干关键点位置和所述嘴部的若干关键点位置分别计算人脸区域面积、眼部面积和嘴部面积；

衡量分数获取单元，用于通过计算每一抽取的所述视频帧的所述眼部面积和所述嘴部面积之和占所述人脸区域面积的比值获取衡量分数；

鬼脸动作判断单元，用于基于每一抽取的所述视频帧的所述衡量分数判断所述待测人脸视频的鬼脸动作的情况。

6.如权利要求5所述的一种鬼脸动作检测装置，其特征在于，所述鬼脸动作判断单元包括：

鬼脸状态判断模块，用于判断每一抽取的所述视频帧的所述衡量分数是否在预设衡量分数范围之内，若是，则对应的所述视频帧的待测人脸为正常状态，若否，则对应的所述视频帧的待测人脸为鬼脸状态；

鬼脸动作判断模块，用于当抽取若干所述视频帧中同时包括的待测人脸为正常状态的视频帧和待测人脸为鬼脸状态的视频帧，则判定所述待测人脸的待测人脸有鬼脸动作。

7.如权利要求6所述的一种鬼脸动作检测装置，其特征在于，所述关键点位置获取单元包括：

人脸关键点位置检测模块，用于对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点位置检测，获取所述人脸区域位置和待测人脸的若干关键点位置；

眼嘴关键点位置获取模块，用于从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取所述眼部的若干关键点位置和所述嘴部的若干关键点位置。

8.如权利要求7所述的一种鬼脸动作检测装置，其特征在于，所述面积获取单元包括：

人脸区域面积获取模块，用于通过所述人脸区域位置获取人脸长度和人脸宽度，通过计算所述人脸长度乘以所述人脸宽度的积获取所述人脸区域面积；

眼部面积获取模块，用于通过所述眼部的若干关键点位置获取左眼长度和左眼宽度，及右眼长度和右眼宽度，通过计算所述左眼长度乘以所述左眼宽度获取所述左眼面积，通过计算所述右眼长度乘以所述右眼宽度获取所述右眼面积；通过计算所述左眼面积和所述右眼面积之和获取所述眼部面积；

嘴部面积获取模块，用于通过所述嘴部的若干关键点位置获取嘴部长度和嘴部宽度，通过计算所述嘴部长度乘以所述嘴部宽度的积获取所述嘴部面积。

9.一种活体识别方法，其特征在于，所述活体识别方法包括步骤：

检测待测人脸视频中的待测人脸的鬼脸动作的情况和其它至少一个部位运动的情况，其中，采用如权利要求1～4任一项所述的鬼脸动作检测方法检测待测人脸视频中的待测人脸的鬼脸动作的情况；

基于部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值；

计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，每一所述部位运动已预设相应的权值；

判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。

10.一种活体识别***，其特征在于，所述活体识别***包括：

至少2个人脸部位运动检测装置，每一所述人脸部位运动检测装置用于检测待测人脸对应的部位运动的情况，其中一人脸部位运动检测装置为如权利要求5～8任一项所述的一种鬼脸动作检测装置；

部位运动分值获取装置，用于基于每一所述部位运动的检测情况获取所述待测人脸的每一部位运动对应的运动分值；

活体识别分值计算装置，用于计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，所述活体识别分值计算装置已预设与每一所述部位运动相对应的权值；

活体判断装置，用于判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。