CN106997452B - 活体验证方法及装置 - Google Patents

Abstract

本发明提供了一种活体验证方法及装置，其中，该方法包括：采用获取待验证的人脸视频；提取该待验证的人脸视频中的多帧人脸眼部图像；对多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值；对多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值；至少根据第一睁闭眼特征值和第一遮挡眼特征值验证该待验证的人脸视频对应的人脸是否为真人活体人脸。通过本发明解决了相关技术中通过检查眨眼运动进行活体验证的过程中，无法排除在眼部形成局部运动来模拟眨眼的伪装眨眼运动，导致活体验证结果不正确的问题，从而消除了伪造眨眼情况对活体验证结果的影响。

Description

活体验证方法及装置

技术领域

本发明涉及生物识别领域，具体涉及一种活体验证方法及装置。

背景技术

人脸识别技术已趋于成熟。但在大多数应用中，除了要对人脸进行识别外，还需要对人脸进行活体验证，以防止非法用户凭借纸质照片或电子屏显照片等欺骗过关。

已有的活体验证方法，有很多是基于检测眨眼运动来进行活体验证的。但是，这些方法往往只是设计了如何检测到眨眼的运动(例如：CN101216887A、CN103400122A)，却没有考虑如何抵抗通过在眼部造成局部运动来模拟眨眼的欺骗方式。另外，基于光流的活体验证方法(例如：CN101908140A)，通过检测活体人脸图像中的光流变化，判断待测人脸是否是活体人脸。但光流的计算消耗大，而且这种方法也不能对抗通过在眼部造成局部运动来模拟眨眼的欺骗方式。

针对相关技术中，通过检查眨眼运动进行活体验证的过程中，无法排除在眼部形成局部运动来模拟眨眼的伪装眨眼运动，从而导致活体验证结果不正确的现象，还未提出有效的解决方案。

发明内容

因此，本发明要解决的技术问题在于克服相关技术中的通过检查眨眼运动进行活体验证的过程中，无法排除在眼部形成局部运动来模拟眨眼的伪装眨眼运动，从而导致活体验证结果不正确的现象，从而提供一种活体验证方法及装置。

根据本发明的一个方面，提供了一种活体验证方法，包括：获取待验证的人脸视频；提取所述待验证的人脸视频中的多帧人脸眼部图像；对所述多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值；对所述多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值；至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

可选地，所述至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸包括：在所述第一睁闭眼特征值指示所述待验证的人脸视频有眨眼动作，并且所述第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象的情况下，则确定所述待验证的人脸视频对应的人脸为真人活体人脸。

可选地，对所述多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值包括：将所述多帧人脸眼部图像输入睁闭眼分类的深度神经网络，得到所述第一睁闭眼特征值；其中，所述睁闭眼分类的深度神经网络用于判断所述多帧人脸眼部图像是否有睁眼或者闭眼的现象。

可选地，对所述多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值包括：将所述多帧人脸眼部图像输入遮挡眼分类的深度神经网络，得到所述第一遮挡眼特征值；其中，所述遮挡眼分类的深度神经网络用于判断所述多帧人脸眼部图像是真人人眼图像还是被遮挡的伪装人眼图像。

可选地，至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸包括：将所述第一睁闭眼特征值和所述第一遮挡眼特征值输入视频级的眨眼分类器，验证所述待验证的人脸视频对应的人脸是否为真人活体人脸；其中，所述视频级的眨眼分类器用于验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

可选地，将所述多帧人脸眼部图像输入睁闭眼分类的深度神经网络之前，训练所述睁闭眼分类的深度神经网络，其中，训练所述睁闭眼分类的深度神经网络包括：使用多张睁眼的眼部图像和多张闭眼的眼部图像训练所述睁闭眼分类的深度神经网络。

可选地，将所述多帧人脸眼部图像输入遮挡眼分类的深度神经网络之前，训练所述遮挡眼分类的深度神经网络，其中，训练所述遮挡眼分类的深度神经网络包括：使用多张真人人脸的眼部图像和多张伪装活体人脸的眼部图像训练所述遮挡眼分类的深度神经网络；其中，所述伪装活体人脸的眼部图像为通过遮挡活体人脸的眼部来模拟眨眼动作的伪装活体人脸图像。

可选地，将所述第一睁闭眼特征值和所述第一遮挡眼特征值输入视频级的眨眼分类器之前，训练所述视频级的眨眼分类器，其中，训练所述视频级的眨眼分类器包括：获取包括真人正常眨眼的视频正样例和不包括真人正常眨眼的视频负样例；通过所述睁闭眼分类的深度神经网络从所述视频正样例和所述视频负样例中提取视频中的多帧图像的第二睁闭眼特征值，并通过所述遮挡眼分类的深度神经网络从所述视频正样例和所述视频负样例中提取视频中的多帧图像的第二遮挡眼特征值；使用所述第二睁闭眼的特征值和所述第二遮挡眼的特征值训练所述视频级的眨眼分类器。

可选地，所述提取所述待验证的人脸视频中的多帧人脸眼部图像包括：使用滑动窗口从所述待验证的人脸视频中获取短视频；提取所述短视频中的所述多帧人脸眼部图像。

可选地，所述方法还包括：计算所述待验证的人脸视频中人脸图像的运动速度值；所述至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸，包括：根据所述第一睁闭眼特征值、所述第一遮挡眼特征值以及所述人脸图像的运动速度值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

可选地，所述根据所述第一睁闭眼特征值、所述第一遮挡眼特征值以及所述人脸图像的运动速度值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸包括：在所述第一睁闭眼特征值指示所述待验证的人脸视频有眨眼动作、所述第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象，并且所述人脸图像的运动速度值小于预定阈值的情况下，则确定所述待验证的人脸视频对应的人脸为真人活体人脸。

可选地，计算所述待验证的人脸视频中人脸图像的运动速度值包括：获取所述待验证的人脸视频中的相邻两帧人脸图像的人脸关键特征点的坐标信息；根据所述人脸关键特征点的坐标信息计算所述待验证的人脸视频中人脸图像的运动速度值。

根据本发明的另一个方面，还提供了一种活体验证装置，包括：获取模块，用于获取待验证的人脸视频；提取模块，用于提取所述待验证的人脸视频中的多帧人脸眼部图像；第一特征值获取模块，用于对所述多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值；第二特征值获取模块，用于对所述多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值；验证模块，用于至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

可选地，所述验证模块具体用于在所述第一睁闭眼特征值指示所述待验证的人脸视频有眨眼动作，并且所述第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象的情况下，则确定所述待验证的人脸视频对应的人脸为真人活体人脸。

可选地，所述第一特征值获取模块具体用于将所述多帧人脸眼部图像输入睁闭眼分类的深度神经网络，得到所述第一睁闭眼特征值；其中，所述睁闭眼分类的深度神经网络用于判断所述多帧人脸眼部图像是否有睁眼或者闭眼的现象。

可选地，所述第二特征值获取模块具体用于将所述多帧人脸眼部图像输入遮挡眼分类的深度神经网络，得到第一遮挡眼特征值；其中，所述遮挡眼分类的深度神经网络用于判断所述多帧人脸眼部图像是真人人眼图像还是被遮挡的伪装人眼图像。

可选地，所述验证模块具体用于将所述第一睁闭眼特征值和所述第一遮挡眼特征值输入视频级的眨眼分类器，根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸；其中，所述视频级的眨眼分类器用于验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

可选地，所述装置还包括：第一训练模块，用于使用多张睁眼的眼部图像和多张闭眼的眼部图像训练所述睁闭眼分类的深度神经网络。

可选地，所述装置还包括：第二训练模块，用于使用多张真人人脸的眼部图像和多张伪装活体人脸的眼部图像训练所述遮挡眼分类的深度神经网络；其中，所述伪装活体人脸的眼部图像为通过遮挡活体人脸的眼部来模拟眨眼动作的伪装活体人脸图像。

可选地，所述装置还包括：第三训练模块，用于将所述第一睁闭眼特征值和所述第一遮挡眼特征值输入视频级的眨眼分类器之前，训练所述视频级的眨眼分类器，其中，所述第三训练模块包括：第一获取单元，用于获取包括真人正常眨眼的视频正样例和不包括真人正常眨眼的视频负样例；第一提取单元，用于通过所述睁闭眼分类的深度神经网络从所述视频正样例和所述视频负样例中提取视频中的多帧图像的第二睁闭眼的特征值，并通过所述遮挡眼分类的深度神经网络从所述视频正样例和所述视频负样例中提取视频中的多帧图像的第二遮挡眼的特征值；训练单元，用于使用所述第二睁闭眼的特征值和所述第二遮挡眼的特征值训练所述视频级的眨眼分类器。

可选地，所述提取模块包括：第二获取单元，用于使用滑动窗口从所述待验证的人脸视频中获取短视频；第二提取单元，用于提取所述短视频中的所述多帧人脸眼部图像。

可选地，所述装置还包括：计算模块，用于计算所述待验证的人脸视频中人脸图像的运动速度值；所述验证模块具体用于根据所述第一睁闭眼特征值、所述第一遮挡眼特征值以及所述人脸图像的运动速度值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

可选地，所述验证模块具体用于在所述第一睁闭眼特征值指示所述待验证的人脸视频有眨眼动作、所述第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象，并且所述人脸图像的运动速度值小于预定阈值的情况下，则确定所述待验证的人脸视频对应的人脸为真人活体人脸。

可选地，所述计算模块包括：第三获取单元，用于获取所述待验证的人脸视频中的相邻两帧人脸图像的人脸关键特征点的坐标信息；计算单元，用于根据所述人脸关键特征点的坐标信息计算所述待验证的人脸视频中人脸图像的运动速度值。

根据本发明的再一个方面，还提供了一种活体验证***，包括：摄像装置，用于捕捉待验证的人脸视频；处理器，与所述摄像装置连接，用于接收所述待验证的人脸视频并执行以下步骤：提取所述待验证的人脸视频中的多帧人脸眼部图像；对所述多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值；对所述多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值；至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

通过本发明，采用获取待验证的人脸视频；提取该待验证的人脸视频中的多帧人脸眼部图像；对多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值；对多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值；至少根据第一睁闭眼特征值和第一遮挡眼特征值验证该待验证的人脸视频对应的人脸是否为真人活体人脸。解决了相关技术中，通过检查眨眼运动进行活体验证的过程中，无法排除在眼部形成局部运动来模拟眨眼的伪装眨眼运动，导致活体验证结果不正确的问题，从而消除了伪造眨眼情况对活体验证结果的影响。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的活体验证方法的流程图；

图2为本发明实施例1的训练睁闭眼分类的深度神经网络的流程图；

图3为本发明实施例1的训练遮挡眼分类的深度神经网络的流程图；

图4为本发明实施例1的训练视频级的眨眼分类器的流程图；

图5为本实施例使用所训练的视频级的眨眼分类器对待验证人脸视频进行活体验证的流程图；

图6为本发明实施例2的活体验证装置的结构框图；

图7为本发明实施例2的活体验证装置中第三训练模块的结构框图；

图8为本发明实施例2的活体验证装置中第二提取模块的结构框图；

图9为本发明实施例2的活体验证装置的优选实施方式的结构框图；

图10为本发明实施例2的活体验证装置中的计算模块的结构框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例1

在本实施例中提供了一种活体验证方法，图1为本发明实施例1的活体验证方法的流程图，如图1所示，该流程包括如下步骤：

步骤S11：获取待验证的人脸视频。

步骤S12：提取待验证的人脸视频中的多帧人脸眼部图像。

步骤S13：对多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值。

步骤S14：对多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值。

步骤S15：至少根据第一睁闭眼特征值和第一遮挡眼特征值验证待验证的人脸视频对应的人脸是否为真人活体人脸。

通过上述步骤，在检测待验证的人脸视频对应的人脸是否为活体人脸的过程中，提取到第一睁闭眼特征值和第一遮挡眼特征值这两个因素共同对活体进行验证。相比于相关技术中，仅通过检测眨眼运动这一个因素对活体进行验证，上述步骤解决了相关技术中，通过检查眨眼运动进行活体验证的过程中，无法排除在眼部形成局部运动来模拟眨眼的伪装眨眼运动，导致活体验证结果不正确的问题，从而消除了伪造眨眼情况对活体验证结果的影响。

由于眨眼动作较快如果帧率较低，结果会变差。因此，在一个可选实施例中，不建议隔几帧提取一帧。上述多帧人脸眼部图像为提取待验证的人脸视频中的每一帧人脸眼部图像。其中，第一睁闭眼特征值用于判断多帧人脸眼部图像是否有睁眼或者闭眼的现象；第一遮挡眼特征值用于判断多帧人脸眼部图像是真人人眼图像还是被遮挡的伪装人眼图像。

上述步骤S13涉及到获取第一睁闭眼特征值，在一个可选实施例中，通过睁闭眼分类的深度神经网络得到第一睁闭眼特征值，具体地，将多帧人脸眼部图像输入睁闭眼分类的深度神经网络，得到第一睁闭眼特征值；其中，睁闭眼分类的深度神经网络用于判断该多帧人脸眼部图像是否有睁眼或者闭眼的现象。

上述步骤S13涉及到将多帧人脸眼部图像输入睁闭眼分类的深度神经网络，得到第一睁闭眼特征值，将多帧人脸眼部图像输入睁闭眼分类的深度神经网络，得到第一睁闭眼特征值之前，需要训练睁闭眼分类的深度神经网络。需要说明的是，可以通过多种方式对睁闭眼分类的深度神经网络进行训练，下面对此进行举例说明。在一个可选实施例中，采集多张睁眼的人脸图像和多张闭眼的人脸图像，提取所有采集的人脸图像中的眼部图像，将眼部图像分为睁眼的眼部图像和闭眼的眼部图像，使用睁眼的眼部图像和闭眼的眼部图像训练睁闭眼分类的深度神经网络，从而使得睁闭眼分类的深度神经网络可以对输入的待验证的人脸视频是否有眨眼动作进行判断。

作为一种优选实施方式，在步骤S13之前，还包括对睁闭眼分类的深度神经网络进行训练，具体地，如图2所示，该流程包括如下步骤：

步骤S21：分别采集海量的不同人、不同光照条件下的睁眼和闭眼的人脸照片。

步骤S22：提取所有照片中的眼部图像。

步骤S23：设计合适的深度神经网络模型(例如，可以参考文章Gradient-BasedLearning Applied to Document Recognition中的网络结构)，把所有的睁眼的眼部图像作为类别A，把所有的闭眼的眼部图像作为类别B，这些类别A和类别B的眼部图像作为所设计的深度神经网络模型的输入，训练睁闭眼分类的深度神经网络，使得该深度神经网络能够很好地分辨睁眼还是闭眼。

上述步骤S14涉及到得到第一遮挡眼特征值，在一个可选实施例中，通过遮挡眼分类的深度神经网络，得到该第一遮挡眼特征值，具体地，将该多帧人脸眼部图像输入遮挡眼分类的深度神经网络，得到该第一遮挡眼特征值；其中，该遮挡眼分类的深度神经网络用于判断该多帧人脸眼部图像是真人人眼图像还是被遮挡的伪装人眼图像。

上述步骤S14涉及到将多帧人脸眼部图像输入遮挡眼分类的深度神经网络，得到第一遮挡眼特征值，将多帧人脸眼部图像输入遮挡眼分类的深度神经网络，得到第一遮挡眼特征值之前，需要训练遮挡眼分类的深度神经网络，需要说明的是，可以通过多种方式对遮挡眼分类的深度神经网络进行训练，下面对此进行举例说明。在一个可选实施例中，采集多张包含睁闭眼动作的真人人脸图像和多张包含通过遮挡伪装活体人脸的眼部来模拟眨眼动作的伪装活体人脸图像，提取所有采集的人脸图像中的眼部图像，将眼部图像分为真人人脸眼部图像和伪装活体人脸的眼部图像，使用真人人脸的眼部图像和伪装活体人脸的眼部图像训练遮挡眼分类的深度神经网络，从而使得遮挡眼分类的深度神经网络可以对输入的待验证的人脸视频是否有遮挡眼部图像的动作进行判断。

由于当眼睛部位发生遮挡时，会导致睁闭眼分类器准确率下降，所以不法分子可能通过遮挡手段欺骗***(例如手指在照片的眼睛部位按照眨眼频率晃动)，导致***误认为是真人眨眼。为了防止这种欺骗手段，提出了加入遮挡分类器来抵抗这种情况。作为一种优选实施方式，在步骤S14之前，还包括对遮挡眼分类的深度神经网络进行训练，具体地，如图3所示，该流程包括如下步骤：

步骤S31：使用纸质人脸照片或是电子屏显人脸照片伪装活体人脸。使用不同的方式模拟眨眼动作，这些方式包括但不限于用手指在人脸照片的眼部来回移动模拟眨眼等。

步骤S32：提取所有照片中的眼部图像。

步骤S33：设计合适的深度神经网络模型(例如，可以参考文章Gradient-BasedLearning Applied to Document Recognition中的网络结构)，把所有真人人脸的眼部图像作为类别C，把所有伪装活体人脸的眼部图像作为类别D，这些类别C和类别D的眼部图像作为所设计的深度神经网络模型的输入，训练遮挡眼分类的深度神经网络模型，使得该模型能够很好地分辨真人人眼和被(部分)遮挡的伪装人眼。

上述步骤S15涉及到获取活体验证结果，在一个可选实施例中，将第一睁闭眼特征值和第一遮挡眼特征值输入视频级的眨眼分类器，至少根据第一睁闭眼特征值和第一遮挡眼特征值验证待验证的人脸视频对应的人脸是否为真人活体人脸；其中，视频级的眨眼分类器用于验证该待验证的人脸视频对应的人脸是否为真人活体人脸。

上述步骤S15涉及到如何至少根据第一睁闭眼特征值和第一遮挡眼特征值验证待验证的人脸视频对应的人脸是否为真人活体人脸，在一个可选实施例中，在第一睁闭眼特征值指示待验证的人脸视频有眨眼动作，并且第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象的情况下，则确定待验证的人脸视频对应的人脸为真人活体人脸，验证通过。也就是说，在第一睁闭眼特征值指示待验证的人脸视频有眨眼动作的情况下，还不能确定该眨眼动作就是真人的眨眼动作，有可能是在眼部造成局部运动来模拟眨眼的欺骗动作，为了判断眨眼动作究竟是真人眨眼动作还是模拟的眨眼动作，需要第一遮挡眼特征值进行辅助判断，如果第一遮挡眼特征值指示多帧人脸眼部图像有遮挡现象，则说明眨眼动作是模拟的眨眼动作，如果第一遮挡眼特征值指示多帧人脸眼部图像均没有遮挡现象，则说明眨眼动作是真人眨眼动作，活体验证通过。从而排除了将模拟的眨眼动作误判为真人眨眼动作，影响活体验证的结果。

上述步骤S15中还涉及到对视频级的眨眼分类器进行训练，需要说明的是，可以通过多种方式对视频级的眨眼分类器进行训练，下面对此进行举例说明。在一个可选实施例中，获取包括真人正常眨眼的视频正样例和不包括真人正常眨眼的视频负样例，通过睁闭眼分类的深度神经网络从视频正样例和视频负样例中提取多帧图像的第二睁闭眼的特征值，并通过遮挡眼分类的深度神经网络从视频正样例和该视频负样例中提取每一帧图像的第二遮挡眼的特征值；使用第二睁闭眼的特征值和第二遮挡眼的特征值训练视频级的眨眼分类器。从而训练后的视频级的眨眼分类器可以对输入的待验证人脸视频对应的人脸是否为真人人脸进行判断。

作为一种优选实施方式，在对视频级的眨眼分类器进行训练的过程中，如图4所示，其具体步骤包括：

步骤S41：生成海量的真人正常眨眼的短视频正样例，该段短视频正样例包含n帧连续人脸图像，在该段短视频中有一个真人正常眨眼的动作。

步骤S42：生成海量的非眨眼的短视频负样例，该段短视频负样例包含n帧连续人脸图像，但在该段短视频中没有真人正常眨眼的动作，例如，在该段短视频中眼睛一直睁着，或在该段短视频中眼睛一直闭着，或在该段短视频中通过用手指在照片中的人眼前来回移动伪造的眨眼等等。

步骤S43:提取视频中每一帧的人脸眼部的睁闭眼特征，其具体步骤包括：提取视频中每一帧的人脸眼部，将眼部图像输入到步骤S2中所训练的睁闭眼分类的深度神经网络模型，得到睁闭眼的特征分数值。

步骤S44:提取视频中每一帧的人脸眼部的遮挡眼特征，其具体步骤包括：提取视频中每一帧的人脸眼部，将眼部图像输入到步骤S2中所训练的遮挡眼分类的深度神经网络模型，得到遮挡眼的特征分数值。

为了使得活体验证的结果更加准确，除了将第一睁闭眼特征值和第一遮挡眼特征值作为判断依据外，在一个可选实施例中，还将待验证的人脸视频中人脸图像的运动速度值也作为判断依据，也就是说，本实施例的活体验证方法还包括计算待验证的人脸视频中每一帧人脸图像相对前一帧的人脸图像的运动速度值，将第一睁闭眼特征值、第一遮挡眼特征值和人脸图像的运动速度值输入至该视频级的眨眼分类器，验证待验证的人脸视频对应的人脸是否为真人活体人脸。

作为一种优选实施方式，步骤S45具体包括以下子步骤：

步骤S45.1：使用人脸跟踪和人脸关键特征点对齐方法，得到视频中前后两帧人脸图像的人脸关键特征点的坐标信息。

步骤S45.2：根据步骤S45.1中前后两帧人脸图像关键特征点的坐标信息，计算前后两帧人脸图像中人脸的相对运动大小分数值。

上述步骤涉及到计算待验证的人脸视频中人脸图像的运动速度值，需要说明的是，计算人脸图像的运动速度值的方法可以有多种，下面对此进行举例说明。在一个可选实施例中，获取待验证的人脸视频中的相邻两帧人脸图像的人脸关键特征点的坐标信息，根据人脸关键特征点的坐标信息计算待验证的人脸视频中人脸图像的运动速度值。

步骤S46：对每段正样例和负样例短视频的每一帧，分别重复步骤S43-S45，计算每帧人脸图像的睁闭眼特征分数值、遮挡眼特征分数值和相对运动大小分数值，将这些分数值拼在一起，作为该段短视频的总的特征，维度为3n。

在将第一睁闭眼特征值、第一遮挡眼特征值和人脸图像的运动速度作为判断活体验证的依据的情况下，在一个可选实施例中，在第一睁闭眼特征值指示该待验证的人脸视频有眨眼动作、第一遮挡眼特征值指示每一帧人脸眼部图像均无遮挡现象，并且人脸图像的运动速度值小于预定阈值的情况下，则确定待验证的人脸视频对应的人脸为活体人脸，验证通过。

步骤S47：对步骤S41和步骤S42中的所有正负样例短视频按照步骤S46计算其特征，可以使用常用的分类器训练视频级的眨眼分类器，常用的分类器如线性分类器、支持向量机、随机森林等。

本实施例提出了一种基于眨眼检测的活体验证的方法。其具体步骤包括训练睁闭眼分类的深度神经网络模型，训练遮挡眼分类的深度神经网络模型；使用所训练的睁闭眼分类模型提取睁闭眼特征，使用所训练的遮挡眼分类模型提取遮挡眼特征，以及提取人脸运动的速度特征；对是否眨眼的正负样例分别提取第一睁闭眼特征值和第一遮挡眼特征值两类或第一睁闭眼特征值、第一遮挡眼特征值和人脸图像的运动速度值三类特征，训练视频级的眨眼分类器；使用所训练的视频级的眨眼分类器对待验证人脸视频进行活体验证。

本实施例所提供的活体验证方法，将眼部图像作为输入，搭建多层深度卷积神经网络，所述多层深度卷积神经网络通过卷积层、降采样层、非线性层依次连接，最后一层是一个f维的全连接层，睁闭眼的状态作为输出层；利用训练集中的眼部图像和睁闭眼状态，对所搭建的深度卷积神经网络进行训练，所述训练基于反向传播算法，在训练数据上利用随机梯度下降更新模型参数。

总而言之，本实施例的活体验证方法需要具备两方面的功能：“检测真人眨眼”和“防止假人欺骗”，为此本实施例的活体验证方法设计了视频级的眨眼分类器，综合使用睁闭眼、遮挡眼、速度等三个方面的特征。从而实现既能够有效检测帧真人的眨眼，又能防止不法分子使用照片等手段欺骗***。

当根据睁闭眼分类器判断出明显的眨眼动作，且遮挡眼分类器的分类结果是真人人眼，且速度分类器判断没有大的速度时，这种情况下才是真正有效的眨眼。

待验证的人脸视频可能占用空间较大，在一个可选实施例中，提取待验证的人脸视频中的每一帧人脸眼部图像包括：使用滑动窗口从待验证的人脸视频中获取短视频，提取短视频中的每一帧人脸眼部图像。如果在其中任何一个短视频中检测到真人眨眼的动作，则说明待验证的人脸视频对应的人脸为真人人脸，验证通过；如果所包含的短视频中均未检测到真人眨眼的动作，则说明待验证的人脸视频对应的人脸不是真人人脸。

图5为本实施例使用所训练的视频级的眨眼分类器对待验证人脸视频进行活体验证的流程图，如图5所示，该流程包括如下步骤：

步骤S51：对于待验证的人脸视频，使用长度为n的滑动窗口，每次对窗口内的n帧组成的短视频。

步骤S52：对短视频按照步骤S43-46计算其特征。

步骤S53：然后使用步骤S47中训练得到的眨眼视频级分类器对所计算的特征进行分类，从而判断该滑动窗口内的短视频是否是有眨眼动作。

步骤S54：对于待验证的人脸视频，滑动窗口不断移动，如果有滑动窗口内的短视频在步骤S53中被判定为有眨眼动作，则该段视频活体验证通过；否则，该段视频活体验证不通过。

实施例2

本实施例提供一种活体验证装置，如图6所示，包括：获取模块62，用于获取待验证的人脸视频；提取模块64，用于提取该待验证的人脸视频中的多帧人脸眼部图像；第一特征值获取模块66，用于对该多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值；第二特征值获取模块68，用于对多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值；验证模块70，用于至少根据第一睁闭眼特征值和该第一遮挡眼特征值验证该待验证的人脸视频对应的人脸是否为真人活体人脸。

通过上述装置解决了相关技术中，通过检查眨眼运动进行活体验证的过程中，无法排除在眼部形成局部运动来模拟眨眼的伪装眨眼运动，导致活体验证结果不正确的问题，从而消除了伪造眨眼情况对活体验证结果的影响。

可选地，验证模块70具体用于在第一睁闭眼特征值指示所述待验证的人脸视频有眨眼动作，并且第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象的情况下，则确定待验证的人脸视频对应的人脸为真人活体人脸。

可选地，第一特征值获取模块66具体用于将多帧人脸眼部图像输入睁闭眼分类的深度神经网络，得到第一睁闭眼特征值；其中，睁闭眼分类的深度神经网络用于判断多帧人脸眼部图像是否有睁眼或者闭眼的现象。

可选地，第二特征值获取模块68具体用于将多帧人脸眼部图像输入遮挡眼分类的深度神经网络，得到第一遮挡眼特征值；其中，遮挡眼分类的深度神经网络用于判断多帧人脸眼部图像是真人人眼图像还是被遮挡的伪装人眼图像。

可选地，验证模块70具体用于将第一睁闭眼特征值和第一遮挡眼特征值输入视频级的眨眼分类器，根据第一睁闭眼特征值和第一遮挡眼特征值验证待验证的人脸视频对应的人脸是否为真人活体人脸；其中，视频级的眨眼分类器用于验证待验证的人脸视频对应的人脸是否为真人活体人脸。

可选地，装置还包括：第一训练模块72，用于使用多张睁眼的眼部图像和多张闭眼的眼部图像训练该睁闭眼分类的深度神经网络。

可选地，该装置还包括：第二训练模块74，用于使用多张真人人脸的眼部图像和多张伪装活体人脸的眼部图像训练该遮挡眼分类的深度神经网络；其中，该伪装活体人脸的眼部图像为通过遮挡活体人脸的眼部来模拟眨眼动作的伪装活体人脸图像。

可选地，该装置还包括：第三训练模块76，用于将第一睁闭眼特征值和该第一遮挡眼特征值输入视频级的眨眼分类器之前，训练该视频级的眨眼分类器，如图7所示，第三训练模块76包括：第一获取单元762，用于获取包括真人正常眨眼的视频正样例和不包括真人正常眨眼的视频负样例；第一提取单元764，用于通过睁闭眼分类的深度神经网络从视频正样例和视频负样例中提取视频中的多帧图像的第二睁闭眼的特征值，并通过该遮挡眼分类的深度神经网络从该视频正样例和该视频负样例中提取视频中的多帧图像的第二遮挡眼的特征值；训练单元766，用于使用第二睁闭眼的特征值和该第二遮挡眼的特征值训练该视频级的眨眼分类器。

如图8所示，提取模块64还包括：第二获取单元822，用于使用滑动窗口从待验证的人脸视频中获取短视频；第二提取单元824，用于提取短视频中的该多帧人脸眼部图像。

如图9所示，该装置还包括：计算模块92，用于计算待验证的人脸视频中人脸图像的运动速度值；验证模块70具体用于将第一睁闭眼特征值、第一遮挡眼特征值和人脸图像的运动速度值输入至该视频级的眨眼分类器，验证待验证的人脸视频对应的人脸是否为真人活体人脸。

可选地，验证模块70还用于在该第一睁闭眼特征值指示该待验证的人脸视频有眨眼动作、该第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象，并且该人脸图像的运动速度值小于预定阈值的情况下，则确定该待验证的人脸视频对应的人脸为真人活体人脸，验证通过。

如图10所示，计算模块92包括：第三获取单元922，用于获取待验证的人脸视频中的相邻两帧人脸图像的人脸关键特征点的坐标信息；计算单元924，用于根据人脸关键特征点的坐标信息计算待验证的人脸视频中人脸图像的运动速度值。

实施例3

本实施例提供了一种活体验证***，包括：还提供了一种活体验证***，包括：摄像装置，用于捕捉待验证的人脸视频；处理器，与摄像装置连接，用于接收待验证的人脸视频并执行以下步骤：提取待验证的人脸视频中的多帧人脸眼部图像；对多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值；对多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值；至少根据该第一睁闭眼特征值和该第一遮挡眼特征值验证该待验证的人脸视频对应的人脸是否为真人活体人脸。

综上所述，本发明实施例提出了一种鲁棒高效的基于眨眼判断活体验证方法，使用了深度神经网络模型，不但训练了高效的判断睁闭眼的分类器，还训练了能够有效判断是否通过伪造的方式使用纸质照片或电子屏显照片中的人眼来模拟眨眼的情况。同时，还加入了人脸运动的全局信息，训练了基于短视频的视频级眨眼判断模块，使得活体验证鲁棒而高效。本发明既适合主动式的活体验证(用户按照提示，做出眨眼动作)，也适合被动式(静默式)的活体验证(用户无感，只要在使用过程中检测到用户有眨眼动作，便活体验证通过)。采用深度神经网络模型训练睁闭眼和遮挡眼分类器，分别对是睁眼还是闭眼、眼部是否有遮挡有很好的分类效果。除睁闭眼特征外，还加入了遮挡眼特征和速度特征，对于有效抵抗各种形式的伪造眨眼情况有显著的效果。深度神经网络模型占用空间小，整个算法流程运算量开销小，能够在通用的移动智能终端上流程运行，且眨眼检测效果好。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (23)

1.一种活体验证方法，其特征在于，包括：

获取待验证的人脸视频；

提取所述待验证的人脸视频中的多帧人脸眼部图像；

对所述多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值，所述第一睁闭眼特征值用于判断所述多帧人脸眼部图像是否出现眨眼动作；

对所述多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值，所述第一遮挡眼特征值用于判断所述多帧人脸眼部图像是否存在遮挡，所述多帧人脸眼部图像是否存在遮挡包括：所述多帧人脸眼部图像是真人人眼图像还是被遮挡的伪装人眼图像；

至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸；

其中，在所述第一睁闭眼特征值指示所述待验证的人脸视频有眨眼动作，并且所述第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象的情况下，确定所述待验证的人脸视频对应的人脸为真人活体人脸。

2.根据权利要求1所述的方法，其特征在于，对所述多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值包括：

将所述多帧人脸眼部图像输入睁闭眼分类的深度神经网络，得到所述第一睁闭眼特征值；其中，所述睁闭眼分类的深度神经网络用于判断所述多帧人脸眼部图像是否有睁眼或者闭眼的现象。

3.根据权利要求1所述的方法，其特征在于，对所述多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值包括：

将所述多帧人脸眼部图像输入遮挡眼分类的深度神经网络，得到所述第一遮挡眼特征值；其中，所述遮挡眼分类的深度神经网络用于判断所述多帧人脸眼部图像是真人人眼图像还是被遮挡的伪装人眼图像。

4.根据权利要求1所述的方法，其特征在于，至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸包括：

将所述第一睁闭眼特征值和所述第一遮挡眼特征值输入视频级的眨眼分类器，验证所述待验证的人脸视频对应的人脸是否为真人活体人脸；其中，所述视频级的眨眼分类器用于验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

5.根据权利要求2所述的方法，其特征在于，将所述多帧人脸眼部图像输入睁闭眼分类的深度神经网络之前，训练所述睁闭眼分类的深度神经网络，其中，训练所述睁闭眼分类的深度神经网络包括：

使用多张睁眼的眼部图像和多张闭眼的眼部图像训练所述睁闭眼分类的深度神经网络。

6.根据权利要求3所述的方法，其特征在于，将所述多帧人脸眼部图像输入遮挡眼分类的深度神经网络之前，训练所述遮挡眼分类的深度神经网络，其中，训练所述遮挡眼分类的深度神经网络包括：

使用多张真人人脸的眼部图像和多张伪装活体人脸的眼部图像训练所述遮挡眼分类的深度神经网络；其中，所述伪装活体人脸的眼部图像为通过遮挡活体人脸的眼部来模拟眨眼动作的伪装活体人脸图像。

7.根据权利要求4所述的方法，其特征在于，将所述第一睁闭眼特征值和所述第一遮挡眼特征值输入视频级的眨眼分类器之前，训练所述视频级的眨眼分类器，其中，训练所述视频级的眨眼分类器包括：

获取包括真人正常眨眼的视频正样例和不包括真人正常眨眼的视频负样例；

通过所述睁闭眼分类的深度神经网络从所述视频正样例和所述视频负样例中提取视频中的多帧图像的第二睁闭眼特征值，并通过所述遮挡眼分类的深度神经网络从所述视频正样例和所述视频负样例中提取视频中的多帧图像的第二遮挡眼特征值；

使用所述第二睁闭眼的特征值和所述第二遮挡眼的特征值训练所述视频级的眨眼分类器。

8.根据权利要求1所述的方法，其特征在于，所述提取所述待验证的人脸视频中的多帧人脸眼部图像包括：

使用滑动窗口从所述待验证的人脸视频中获取短视频；

提取所述短视频中的所述多帧人脸眼部图像。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

计算所述待验证的人脸视频中人脸图像的运动速度值；

所述至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸，包括：

根据所述第一睁闭眼特征值、所述第一遮挡眼特征值以及所述人脸图像的运动速度值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

10.根据权利要求9所述的方法，其特征在于，所述根据所述第一睁闭眼特征值、所述第一遮挡眼特征值以及所述人脸图像的运动速度值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸包括：

在所述第一睁闭眼特征值指示所述待验证的人脸视频有眨眼动作、所述第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象，并且所述人脸图像的运动速度值小于预定阈值的情况下，则确定所述待验证的人脸视频对应的人脸为真人活体人脸。

11.根据权利要求9或10所述的方法，其特征在于，计算所述待验证的人脸视频中人脸图像的运动速度值包括：

获取所述待验证的人脸视频中的相邻两帧人脸图像的人脸关键特征点的坐标信息；

根据所述人脸关键特征点的坐标信息计算所述待验证的人脸视频中人脸图像的运动速度值。

12.一种活体验证装置，其特征在于，包括：

获取模块，用于获取待验证的人脸视频；

提取模块，用于提取所述待验证的人脸视频中的多帧人脸眼部图像；

第一特征值获取模块，用于对所述多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值，所述第一睁闭眼特征值用于判断所述多帧人脸眼部图像是否出现眨眼动作；

第二特征值获取模块，用于对所述多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值，所述第一遮挡眼特征值用于判断所述多帧人脸眼部图像是否存在遮挡，所述多帧人脸眼部图像是否存在遮挡包括：所述多帧人脸眼部图像是真人人眼图像还是被遮挡的伪装人眼图像；

验证模块，用于至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸；

其中，在所述第一睁闭眼特征值指示所述待验证的人脸视频有眨眼动作，并且所述第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象的情况下，所述验证模块确定所述待验证的人脸视频对应的人脸为真人活体人脸。

13.根据权利要求12所述的装置，其特征在于，所述第一特征值获取模块具体用于将所述多帧人脸眼部图像输入睁闭眼分类的深度神经网络，得到所述第一睁闭眼特征值；其中，所述睁闭眼分类的深度神经网络用于判断所述多帧人脸眼部图像是否有睁眼或者闭眼的现象。

14.根据权利要求12所述的装置，其特征在于，所述第二特征值获取模块具体用于将所述多帧人脸眼部图像输入遮挡眼分类的深度神经网络，得到第一遮挡眼特征值；其中，所述遮挡眼分类的深度神经网络用于判断所述多帧人脸眼部图像是真人人眼图像还是被遮挡的伪装人眼图像。

15.根据权利要求12所述的装置，其特征在于，所述验证模块具体用于将所述第一睁闭眼特征值和所述第一遮挡眼特征值输入视频级的眨眼分类器，根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸；其中，所述视频级的眨眼分类器用于验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

16.根据权利要求13所述的装置，其特征在于，所述装置还包括：

第一训练模块，用于使用多张睁眼的眼部图像和多张闭眼的眼部图像训练所述睁闭眼分类的深度神经网络。

17.根据权利要求14所述的装置，其特征在于，所述装置还包括：

第二训练模块，用于使用多张真人人脸的眼部图像和多张伪装活体人脸的眼部图像训练所述遮挡眼分类的深度神经网络；其中，所述伪装活体人脸的眼部图像为通过遮挡活体人脸的眼部来模拟眨眼动作的伪装活体人脸图像。

18.根据权利要求15所述的装置，其特征在于，所述装置还包括：

第三训练模块，用于将所述第一睁闭眼特征值和所述第一遮挡眼特征值输入视频级的眨眼分类器之前，训练所述视频级的眨眼分类器，其中，所述第三训练模块包括：

第一获取单元，用于获取包括真人正常眨眼的视频正样例和不包括真人正常眨眼的视频负样例；

第一提取单元，用于通过所述睁闭眼分类的深度神经网络从所述视频正样例和所述视频负样例中提取视频中的多帧图像的第二睁闭眼的特征值，并通过所述遮挡眼分类的深度神经网络从所述视频正样例和所述视频负样例中提取视频中的多帧图像的第二遮挡眼的特征值；

训练单元，用于使用所述第二睁闭眼的特征值和所述第二遮挡眼的特征值训练所述视频级的眨眼分类器。

19.根据权利要求12所述的装置，其特征在于，所述提取模块包括：

第二获取单元，用于使用滑动窗口从所述待验证的人脸视频中获取短视频；

第二提取单元，用于提取所述短视频中的所述多帧人脸眼部图像。

20.根据权利要求12所述的装置，其特征在于，所述装置还包括：

计算模块，用于计算所述待验证的人脸视频中人脸图像的运动速度值；

所述验证模块具体用于根据所述第一睁闭眼特征值、所述第一遮挡眼特征值以及所述人脸图像的运动速度值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸。

21.根据权利要求20所述的装置，其特征在于，所述验证模块具体用于在所述第一睁闭眼特征值指示所述待验证的人脸视频有眨眼动作、所述第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象，并且所述人脸图像的运动速度值小于预定阈值的情况下，则确定所述待验证的人脸视频对应的人脸为真人活体人脸。

22.根据权利要求20或21所述的装置，其特征在于，所述计算模块包括：

第三获取单元，用于获取所述待验证的人脸视频中的相邻两帧人脸图像的人脸关键特征点的坐标信息；

计算单元，用于根据所述人脸关键特征点的坐标信息计算所述待验证的人脸视频中人脸图像的运动速度值。

23.一种活体验证***，其特征在于，包括：

摄像装置，用于捕捉待验证的人脸视频；

处理器，与所述摄像装置连接，用于接收所述待验证的人脸视频并执行以下步骤：

提取所述待验证的人脸视频中的多帧人脸眼部图像；

对所述多帧人脸眼部图像进行睁闭眼判断，得到第一睁闭眼特征值，所述第一睁闭眼特征值用于判断所述多帧人脸眼部图像是否出现眨眼动作；

对所述多帧人脸眼部图像进行遮挡眼判断，得到第一遮挡眼特征值，所述第一遮挡眼特征值用于判断所述多帧人脸眼部图像是否存在遮挡，所述多帧人脸眼部图像是否存在遮挡包括：所述多帧人脸眼部图像是真人人眼图像还是被遮挡的伪装人眼图像；

至少根据所述第一睁闭眼特征值和所述第一遮挡眼特征值验证所述待验证的人脸视频对应的人脸是否为真人活体人脸；

其中，在所述第一睁闭眼特征值指示所述待验证的人脸视频有眨眼动作，并且所述第一遮挡眼特征值指示多帧人脸眼部图像均无遮挡现象的情况下，确定所述待验证的人脸视频对应的人脸为真人活体人脸。

Images