CN109635770A - 活体检测方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种活体检测方法、装置、存储介质及电子设备，其中，可以首先通过配置的单目摄像头拍摄得到待检测人脸的二维彩色图像，然后将拍摄得到的二维彩色图像输入到预先训练的深度估计模型进行深度估计，得到对应二维彩色图像的深度图像，最后将之前得到的二维彩色图像及其对应的深度图像输入预先训练的活体检测模型进行活体检测，得到检测结果。由此，使得电子设备无需借助额外配置的深度摄像头，而是使用普遍配置的单目摄像头即可实现活体检测，降低了电子设备实现活体检测的硬件成本。

Description

活体检测方法、装置、存储介质及电子设备

技术领域

本申请涉及人脸识别技术领域，具体涉及一种活体检测方法、装置、存储介质及电子设备。

背景技术

目前，电子设备利用相关人脸识别技术，不仅能够区分用户个体，还能够对用户进行活体检测，比如，电子设备通过配置的结构光摄像头或者飞行时间摄像头等深度摄像头获取用户人脸(如拍摄的用户人脸图像)的RGB-D图像，可以判断用户人脸是否为活体人脸。然而，相关技术的实现需要电子设备配备额外的深度摄像头，增加了电子设备实现活体检测的成本。

发明内容

本申请实施例提供了一种活体检测方法、装置、存储介质及电子设备，能够降低电子设备实现活体检测的硬件成本。

第一方面，本申请实施例提供了一种活体检测方法，应用于电子设备，所述电子设备包括单目摄像头，所述活体检测方法包括：

通过所述单目摄像头对待检测人脸进行拍摄，得到所述待检测人脸的二维彩色图像；

将所述二维彩色图像输入预先训练的深度估计模型，得到对应所述二维彩色图像的深度图像；

将所述二维彩色图像和所述深度图像输入预先训练的活体检测模型，得到检测结果。

第二方面，本申请实施例提供了一种活体检测装置，应用于电子设备，所述电子设备包括单目摄像头，所述活体检测装置包括：

彩色图像获取模块，用于通过所述单目摄像头对待检测人脸进行拍摄，得到所述待检测人脸的二维彩色图像；

深度图像获取模块，用于将所述二维彩色图像输入预先训练的深度估计模型，得到对应所述二维彩色图像的深度图像；

活体人脸检测模块，将所述二维彩色图像和所述深度图像输入预先训练的活体检测模型，得到检测结果。

第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请实施例提供的活体检测方法中的步骤。

第四方面，本申请实施例提供了一种电子设备，包括处理器、存储器和单目摄像头，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请实施例提供的活体检测方法中的步骤。

本申请实施例中，电子设备可以首先通过配置的单目摄像头拍摄得到待检测人脸的二维彩色图像，然后将拍摄得到的二维彩色图像输入到预先训练的深度估计模型进行深度估计，得到对应二维彩色图像的深度图像，最后将之前得到的二维彩色图像及其对应的深度图像输入预先训练的活体检测模型进行活体检测，得到检测结果。由此，使得电子设备无需借助额外配置的深度摄像头，而是使用普遍配置的单目摄像头即可实现活体检测，降低了电子设备实现活体检测的硬件成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的活体检测方法的一流程示意图。

图2是本申请实施例中电子设备通过活体检测模型进行活体检测的示意图。

图3是本申请实施例提供的活体检测方法的另一流程示意图。

图4是本申请实施例中构建训练样本集的示意图。

图5是本申请实施例提供的活体检测装置的一结构示意图。

图6是本申请实施例提供的电子设备的一结构示意图。

图7是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

目前，人脸识别技术广泛的用于电子设备的解锁以及安全支付等，但是利用非活体人脸图像、非活体人脸视频、人脸面具或者人头模型等可以容易的冒充他人，对用户造成损失。为解决人脸识别技术中的这种缺陷，相关技术中提出了基于结构光摄像头或者飞行时间摄像头等深度摄像头的活体检测技术，然而其实现需要电子设备配备额外的深度摄像头，增加了电子设备实现活体检测的成本。为此，本申请实施例首先提供一种活体检测方法，该活体检测方法基于电子设备普遍配置的单目摄像头实现活体检测，不会增加电子设备的硬件成本。其中，该活体检测方法的执行主体可以是本申请实施例提供的活体检测装置，或者集成了该活体检测装置的电子设备，该活体检测装置可以采用硬件或者软件的方式实现，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。

请参照图1，图1为本申请实施例提供的活体检测方法的流程示意图。如图1所示，本申请实施例提供的活体检测方法的流程可以如下：

在101中，通过单目摄像头对待检测人脸进行拍摄，得到待检测人脸的二维彩色图像。

本申请实施例中，电子设备可以在接收到基于人脸识别的解锁操作或者基于人脸识别的支付操作等需要采用人脸识别进行用户身份检测的操作时，通过配置的单目摄像头对待检测人脸进行拍摄，由于单目摄像头只对二维的颜色信息敏感，将拍摄得到待检测人脸的二维彩色图像。

应当说明的是，目前，电子设备通常配置有两个单目摄像头，分别为前置单目摄像头(也即是俗称的前置摄像头)和后置单目摄像头(也即是俗称的后置摄像头)，且后置单目摄像头的成像能力高于前置单目摄像头的成像能力，这样，电子设备在通过单目摄像头对待检测人脸进行拍摄时，可以默认通过前置单目摄像头来执行拍摄操作，以对待检测人脸进行拍摄；也可以默认通过后置单目摄像头来执行拍摄操作，以对待检测人脸进行拍摄；还可以根据实时的姿态信息，来预测前置单目摄像头和后置单目摄像头中朝向待检测人脸的单目摄像头，从而自动通过前置单目摄像头和后置单目摄像头中朝向待检测人脸的单目摄像头来执行拍摄操作，以对待检测人脸进行拍摄。

比如，电子设备当前采用的解锁方式为“人脸解锁”，则当电子设备接收到人脸解锁的触发操作时，默认通过前置单目摄像头对待检测人脸进行拍摄，由此得到待检测人脸的二维彩色图像。

又比如，电子设备当前采用的支付方式为“刷脸支付”，则当电子设备接收到刷脸支付的触发操作时，默认通过前置单目摄像头对待检测人脸进行拍摄，由此得到待检测人脸的二维彩色图像。

在102中，将拍摄得到的二维彩色图像输入预先训练的深度估计模型进行深度估计，得到对应二维彩色图像的深度图像。

应当说明的是，在本申请实施例，预先训练有用于深度估计的深度估计模型，其中，该睡眠预测模型可以存储在电子设备本地，也可以存储在远端的服务器中。这样，电子设备在通过单目摄像头获取到待检测人脸的二维彩色图像后，从本地调用预先训练的深度估计模型或者从远端的服务器调用预先训练的深度估计模型，并将待检测人脸的二维彩色图像输入到预先训练的深度估计模型，通过该深度估计模型对二维彩色图像进行深度估计，得到对应二维彩色图像的深度图像。

应当说明的是，估计得到深度图像的分辨率与二维彩色图像的分辨率相同，深度图像中各像素点的像素值用于描述其在二维彩色图像中对应的像素点到前述单目摄像头(即拍摄得到二维彩色图像的单目摄像头)的距离。

比如，电子设备在通过前置单目摄像头拍摄得到待检测人脸的二维彩色图像之后，调用本地存储的、预先训练的深度估计模型，通过该深度估计模型对二维彩色图像进行深度估计，得到对应二维彩色图像的深度图像。

在103中，将二维彩色图像及其对应的深度图像输入预先训练的活体检测模型进行活体检测，得到检测结果。

应当说明的是，在本申请实施例中，除了预先训练有用于深度估计的深度估计模型之外，还预先训练有用于活体检测的活体检测模型，其中，该活体检测模型可以存储在电子设备本地，也可以存储在远端的服务器中。这样，电子设备在将通过单目摄像头拍摄得到的二维彩色图像输入到预先训练的深度估计模型，并得到对应二维彩色图像的深度图像之后，从本地调用预先训练的活体检测模型或者从远端的服务器调用预先训练的活体检测模型，并将之前获取到的二维彩色图像及其对应的深度图像输入到预先训练的活体检测模型，通过该活体检测模型基于输入的二维彩色图像及其对应的深度图像对待检测人脸进行活体检测，得到待检测人脸为活体人脸的检测结果，或者得到待检测人脸为非活体人脸的检测结果。

比如，请参照图2，电子设备在通过前置单目摄像头拍摄得到待检测人脸的二维彩色图像之后，调用本地存储的、预先训练的深度估计模型，通过该深度估计模型对二维彩色图像进行深度估计，得到对应二维彩色图像的深度图像，然后，调用本地存储的、预先训练的活体检测模型，并将之前得到二维彩色图像及其对应的深度图像输入到活体检测模型进行活体检测，得到检测结果，其中，若得到待检测人脸为活体人脸的检测结果，则说明待检测人脸为具有生命体征的人的真实人脸，若得到待检测人脸为非活体人脸的检测结果，则说明待检测人脸不为具有生命体征的人的真实人脸，可能是预先拍摄得到人脸图像或者人脸视频等。

由上可知，本申请实施例中的电子设备，可以首先通过配置的单目摄像头拍摄得到待检测人脸的二维彩色图像，然后将拍摄得到的二维彩色图像输入到预先训练的深度估计模型进行深度估计，得到对应二维彩色图像的深度图像，最后将之前得到的二维彩色图像及其对应的深度图像输入预先训练的活体检测模型进行活体检测，得到检测结果。由此，使得电子设备无需借助额外配置的深度摄像头，而是使用普遍配置的单目摄像头即可实现活体检测，降低了电子设备实现活体检测的硬件成本。

请参照图3，图3为本申请实施例提供的活体检测方法的另一种流程示意图。该活体检测方法可以应用于电子设备，该活体检测方法的流程可以包括：

在201中，电子设备采用机器学习算法训练得到深度估计模型和活体检测模型，其中，活体检测模型为卷积神经网络模型。

本申请实施例中，电子设备预先采用机器学习算法训练得到深度估计模型和活体检测模型。应当说明的是，电子设备在训练得到的深度估计模型和活体检测模型之后，可以将深度估计模型和活体检测模型存储在电子设备本地，也可以将深度估计模型和活体检测模型存储在远端的服务器，还可以将深度估计模型和活体检测模型中的一个存储在电子设备本地、将另一个存储在远端的服务器。

其中，机器学习算法可以包括：决策树模型、逻辑回归模型、贝叶斯模型、神经网络模型、聚类模型等等。

机器学习算法的算法类型可以根据各种情况划分，比如，可以基于学习方式可以将机器学习算法划分成：监督式学习算法、非监控式学习算法、半监督式学习算法、强化学习算法等等。

在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件***中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1、2、3、4”等。监督式学习的常见应用场景如分类问题和回归问题。常见算法有逻辑回归(LogisticRegression)和反向传递神经网络(Back Propagation Neural Network)。

在非监督式学习中，数据并不被特别标识，模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means算法等。

半监督式学习算法，在此学习方式下，输入数据被部分标识，这种学习模型可以用来进行类型识别，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。如图论推理算法(Graph Inference)或者拉普拉斯支持向量机(Laplacian SVM)等。

强化学习算法，在这种学习模式下，输入数据作为对模型的反馈，不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式，在强化学习下，输入数据直接反馈到模型，模型必须对此立刻作出调整。常见的应用场景包括动态***以及机器人控制等。常见算法包括Q-Learning以及时间差学习(Temporal difference learning)。

此外，还可以基于根据算法的功能和形式的类似性将机器学习算法划分成：

回归算法，常见的回归算法包括：最小二乘法(Ordinary Least Square)，逻辑回归(Logistic Regression)，逐步式回归(Stepwise Regression)，多元自适应回归样条(Multivariate Adaptive Regression Splines)以及本地散点平滑估计(LocallyEstimated Scatterplot Smoothing)。

基于实例的算法，包括k-Nearest Neighbor(KNN),学习矢量量化(LearningVector Quantization，LVQ)，以及自组织映射算法(Self-Organizing Map，SOM)。

正则化方法，常见的算法包括：Ridge Regression，Least Absolute Shrinkageand Selection Operator(LASSO)，以及弹性网络(Elastic Net)。

决策树算法，常见的算法包括：分类及回归树(Classification And RegressionTree，CART)，ID3(Iterative Dichotomiser 3)，C4.5，Chi-squared AutomaticInteraction Detection(CHAID),Decision Stump,随机森林(Random Forest)，多元自适应回归样条(MARS)以及梯度推进机(Gradient Boosting Machine，GBM)。

贝叶斯方法算法，包括：朴素贝叶斯算法，平均单依赖估计(Averaged One-Dependence Estimators，AODE)，以及Bayesian Belief Network(BBN)。

比如，本申请实施例中采用卷积神经网络来训练活体检测模型，也即是活体检测模型为卷积神经网络模型，其中，该卷积神经网络模型包括卷积层、池化层、全连接层以及分类器。

在202中，电子设备通过单目摄像头对待检测人脸进行拍摄，得到待检测人脸的二维彩色图像。

本申请实施例中，电子设备可以在接收到基于人脸识别的解锁操作或者基于人脸识别的支付操作等需要采用人脸识别进行用户身份检测的操作时，通过配置的单目摄像头对待检测人脸进行拍摄，由于单目摄像头只对二维的颜色信息敏感，将拍摄得到待检测人脸的二维彩色图像。

应当说明的是，目前，电子设备通常配置有两个单目摄像头，分别为前置单目摄像头(也即是俗称的前置摄像头)和后置单目摄像头(也即是俗称的后置摄像头)，且后置单目摄像头的成像能力高于前置单目摄像头的成像能力，这样，电子设备在通过单目摄像头对待检测人脸进行拍摄时，可以默认通过前置单目摄像头来执行拍摄操作，以对待检测人脸进行拍摄；也可以默认通过后置单目摄像头来执行拍摄操作，以对待检测人脸进行拍摄；还可以根据实时的姿态信息，来预测前置单目摄像头和后置单目摄像头中朝向待检测人脸的单目摄像头，从而自动通过前置单目摄像头和后置单目摄像头中朝向待检测人脸的单目摄像头来执行拍摄操作，以对待检测人脸进行拍摄。

比如，电子设备当前采用的解锁方式为“人脸解锁”，则当电子设备接收到人脸解锁的触发操作时，默认通过前置单目摄像头对待检测人脸进行拍摄，由此得到待检测人脸的二维彩色图像。

又比如，电子设备当前采用的支付方式为“刷脸支付”，则当电子设备接收到刷脸支付的触发操作时，默认通过前置单目摄像头对待检测人脸进行拍摄，由此得到待检测人脸的二维彩色图像。

在203中，电子设备将拍摄得到的二维彩色图像输入预先训练的深度估计模型进行深度估计，得到对应二维彩色图像的深度图像。

其中，电子设备在通过单目摄像头获取到待检测人脸的二维彩色图像后，从本地调用预先训练的深度估计模型或者从远端的服务器调用预先训练的深度估计模型，并将待检测人脸的二维彩色图像输入到预先训练的深度估计模型，通过该深度估计模型对二维彩色图像进行深度估计，得到对应二维彩色图像的深度图像。

应当说明的是，估计得到深度图像的分辨率与二维彩色图像的分辨率相同，深度图像中各像素点的像素值用于描述其在二维彩色图像中对应的像素点到前述单目摄像头(即拍摄得到二维彩色图像的单目摄像头)的距离。

比如，电子设备在通过前置单目摄像头拍摄得到待检测人脸的二维彩色图像之后，调用本地存储的、预先训练的深度估计模型，通过该深度估计模型对二维彩色图像进行深度估计，得到对应二维彩色图像的深度图像。

在204中，电子设备将前述二维彩色图像及其对应的深度图像输入卷积神经网络模型的卷积层进行特征提取，得到前述二维彩色图像和前述深度图像的联合全局特征。

本申请实施例中，电子设备在将通过单目摄像头拍摄得到的二维彩色图像输入到预先训练的深度估计模型，并得到对应二维彩色图像的深度图像之后，从本地调用预先训练的活体检测模型或者从远端的服务器调用预先训练的活体检测模型，利用该活体检测模型也即是之前训练的卷积神经网络模型实现活体检测。

首先，电子设备将前述二维彩色图像及其对应的深度图像输入卷积神经网络模型的卷积层进行特征提取(特征提取也即是将原始的图像数据映射到隐层特征空间，由此来得到对应的全局特征)，得到二维彩色图像的全局特征和深度图像的全局特征。之后，在卷积层对二维彩色图像的全局特征和深度图像的全局特征进行特征联合，得到前述二维彩色图像和前述深度图像的联合全局特征。

在205中，电子设备将得到联合全局特征输入卷积神经网络模型的池化层进行特征降维，得到降维后的联合全局特征。

本申请实施例中，为了减少计算量，提升活体检测的效率，由卷积层输出的前述二维彩色图像和前述深度图像的联合全局特征将被输入卷积神经网络模型的池化层进行下采样，也即是保留联合全局特征中的显著特征，实现对联合全局特征的特征降维。其中，下采样可以通过最大池化或者均值池化等方式实现。

比如，假设卷积层输出的为20*20的联合全局特征，经过池化层对该联合全局特征进行特征降维，得到10*10的降维后的联合全局特征。

在206中，电子设备将降维后的联合全局特征输入卷积神经网络模型的全连接层进行分类处理，得到待检测人脸为活体人脸的检测结果，或者得到待检测人脸为非活体人脸的检测结果。

其中，全连接层用于实现分类器的功能，其每一个结点都与池化层的所有输出结点相连，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定，比如，可以将全连接层的神经元数量设置为4096个，等等。

本申请实施例中，池化层所输出的降维后的联合全局特征将被输入到全连接层进行分类处理，得到待检测人脸为活体人脸的检测结果，或者得到待检测人脸为非活体人脸的检测结果。

在一实施方式中，在将前述二维彩色图像及其对应的深度图像输入卷积神经网络模型的卷积层进行特征提取，得到前述二维彩色图像和前述深度图像的联合全局特征时，可以执行：

(1)电子设备对前述二维彩色图像进行预处理，得到前述二维彩色图像中的人脸区域图像；

(2)电子设备对前述深度图像进行预处理，得到前述深度图像中的人脸区域图像；

(3)电子设备将前述二维彩色图像中的人脸区域图像和前述深度图像中的人脸区域图像输入前述卷积层进行特征提取，得到前述二维彩色图像和前述深度图像的联合全局特征。

为进一步提升活体检测的效率，电子设备在将前述二维彩色图像及其对应的深度图像输入卷积神经网络模型的卷积层进行特征提取时，并不是将原始的前述二维彩色图像和原始的前述深度图像输入到卷积神经网络的卷积层进行特征提取，而是先分别对前述二维彩色图像和前述深度图像进行预处理，得到前述二维彩色图像中的人脸区域图像以及前述深度图像中的人脸区域图像。

其中，电子设备在对前述二维彩色图像和前述深度图像进行预处理时，可以采用椭圆形模板、圆形模板或者矩形模板等方式分别从前述二维彩色图像和前述深度图像中提取人脸区域图像，由此得到前述二维彩色图像中的人脸区域图像和前述深度图像中的人脸区域图像。

在一实施方式中，在采用机器学习算法训练得到活体检测模型时，可以执行：

(1)电子设备通过单目摄像头对多个不同活体人脸进行拍摄，得到多个二维彩色活体人脸样本图像，并获取各二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像；

(2)电子设备通过单目摄像头对多个不同非活体人脸进行拍摄，得到多个二维彩色非活体人脸样本图像，并获取各二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像；

(3)电子设备将各二维彩色活体人脸样本图像及其对应的第一深度图像作为正样本、将各二维彩色非活体人脸样本图像及其对应的第二深度图像作为负样本，构建训练样本集；

(4)电子设备采用卷积神经网络对训练样本集进行模型训练，得到卷积神经网络模型，作为活体检测模型。

其中，一方面，电子设备可以通过其配置的单目摄像头对不同肤色、不同性别以及不同年龄段的用户的人脸(即活体人脸)进行拍摄，得到多个二维彩色活体人脸样本图像，此外，电子设备还获取各二维彩色非活体人脸样本图像对应的深度图像，得到多个第一深度图像。

比如，电子设备还可以外接深度摄像头，在通过单目摄像头对任一活体人脸进行拍摄时，同步通过外接的深度摄像头进行拍摄，这样，电子设备将通过单目摄像头拍摄得到该活体人脸的二维彩色活体人脸样本图像，通过外接的深度摄像头拍摄得到该活体人脸的深度图像，然后将拍摄得到的深度图像和二维彩色活体人脸样本图像进行对齐，将对齐后的深度图像记为二维彩色活体人脸样本图像的第一深度图像。

另一方面，电子设备还可以通过其配置的单目摄像头对不同人脸图像、人脸视频、人脸面具以及人头模型等非活体人脸进行拍摄，得到多个二维彩色非活体人脸样本图像，此外，电子设备还获取各二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像。

比如，电子设备还可以外接深度摄像头，在通过单目摄像头对任一非活体人脸进行拍摄时，同步通过外接的深度摄像头进行拍摄，这样，电子设备将通过单目摄像头拍摄得到该非活体人脸的二维彩色非活体人脸样本图像，通过外接的深度摄像头拍摄得到该非活体人脸的深度图像，然后将拍摄得到的深度图像和二维彩色非活体人脸样本图像进行对齐，将对齐后的深度图像记为二维彩色非活体人脸样本图像的第二深度图像。

电子设备在获取到的多个二维彩色活体人脸样本图像及其对应的第一深度图像，以及获取到多个二维彩色非活体人脸样本图像及其对应的第二深度图像之后，将各二维彩色活体人脸样本图像及其对应的第一深度图像作为正样本、将各二维彩色非活体人脸样本图像及其对应的第二深度图像作为负样本，构建训练样本集，如图4所示。

电子设备在完成训练样本集的构建之后，采用卷积神经网络对构建的训练样本集进行模型训练，得到卷积神经网络模型，作为用于活体检测的活体检测模型。

应当说明的是，在采用卷积神经网络对构建的训练样本集进行模型训练时，可以采用监督学习方法，也可以采用非监督学习方法，具体可由本领域普通技术人员根据实际需要进行选取。

在一实施方式中，在采用卷积神经网络对训练样本集进行模型训练，得到卷积神经网络模型，作为活体检测模型之前，还包括：

电子设备按照预设的样本扩充策略对训练样本集进行样本扩充处理。

本申请实施例中，通过对训练样本集进行样本扩充能够增加样本的多样性，使得训练得到的卷积神经网络模型具有更强的鲁棒性。其中，样本扩充策略可以设置为对训练样本集中的正样本/负样本进行小幅度的旋转、缩放、反转中的一种或多种。

比如，对于训练样本集中的由一个二维彩色活体人脸样本图像及其对应的第一深度图像组成的正样本，可以对其中的二维彩色活体人脸样本图像及其对应的第一深度图像进行相同幅度的旋转，得到旋转后的二维彩色活体人脸样本图像以及旋转后的第一深度图像，由旋转后的二维彩色活体人脸样本图像和旋转后的第一深度图像组成一个新的正样本。

在一实施方式中，在获取各二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像时，可以执行：

(1)电子设备接收标定的各二维彩色活体人脸样本图像中各像素点到单目摄像头的距离；

(2)电子设备根据各二维彩色活体人脸样本图像中各像素点到单目摄像头的距离，生成各二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像。

其中，对于电子设备通过单目摄像头所拍摄得到的任一二维彩色活体人脸样本图像，可以手工标定该二维彩色活体人脸样本图像中各像素点到单目摄像头的距离，并由电子设备根据接收到标定的该二维彩色活体人脸样本图像中各像素点到单目摄像头的距离，生成该二维彩色活体人脸样本图像对应的深度图像，记为第一深度图像。

由此，电子设备可以接收标定的各二维彩色活体人脸样本图像中各像素点到单目摄像头的距离，并根据各二维彩色活体人脸样本图像中各像素点到单目摄像头的距离，生成各二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像。

在一实施方式中，在获取各二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像时，可以执行：

电子设备接收标定的各二维彩色非活体人脸样本图像中各像素点到单目摄像头的距离；

电子设备根据各二维彩色非活体人脸样本图像中各像素点到单目摄像头的距离，生成各二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像。

在一实施方式中，在采用机器学习算法训练得到深度估计模型时，可以执行：

电子设备将各二维彩色活体人脸样本图像和各二维彩色非活体人脸样本图像作为训练输入、将各二维彩色活体人脸样本图像对应的第一深度图像和各二维彩色非活体人脸样本图像对应的第二深度图像作为目标输出，进行有监督模型训练，得到深度估计模型。

应当说明的是，在本申请实施例中，电子设备除了利用获取的多个二维彩色活体人脸样本图像及其对应的多个第一深度图像、以及多个二维彩色非活体人脸样本图像及其对应的多个第二深度图像训练来训练活体检测模型之外，还可以利用获取的多个二维彩色活体人脸样本图像及其对应的多个第一深度图像、以及多个二维彩色非活体人脸样本图像及其对应的多个第二深度图像，来训练得到深度估计模型。其中，电子设备可以直接将各二维彩色活体人脸样本图像和各二维彩色非活体人脸样本图像作为训练输入、将各二维彩色活体人脸样本图像对应的第一深度图像和各二维彩色非活体人脸样本图像对应的第二深度图像作为目标输出，进行有监督模型训练，得到深度估计模型。

比如，对于任一二维彩色活体人脸样本图像，电子设备将该二维彩色活体人脸样本图像作为训练输入，将该二维彩色活体人脸样本图像的第一深度图像作为对应的目标输出；同样的，对于任一二维彩色非活体人脸样本图像，电子设备将该二维彩色非活体人脸样本图像作为训练输入，将该二维彩色非活体人脸样本图像作为对应的目标输出。

本申请实施例还提供一种活体检测装置。请参照图5，图5为本申请实施例提供的活体检测装置的结构示意图。其中该活体检测装置应用于电子设备，该电子设备包括单目摄像头，该活体检测装置包括彩色图像获取模块501、深度图像获取模块502以及活体人脸检测模块503，如下：

彩色图像获取模块501，用于通过单目摄像头对待检测人脸进行拍摄，得到待检测人脸的二维彩色图像；

深度图像获取模块502，用于将拍摄得到的二维彩色图像输入预先训练的深度估计模型进行深度估计，得到对应二维彩色图像的深度图像；

活体人脸检测模块503，用于将二维彩色图像及其对应的深度图像输入预先训练的活体检测模型进行活体检测，得到检测结果。

在一实施方式中，活体检测模型为卷积神经网络模型，包括依次连接的卷积层、池化层和全连接层，在将二维彩色图像及其对应的深度图像输入预先训练的活体检测模型进行活体检测，得到检测结果时，活体人脸检测模块503可以用于：

将前述二维彩色图像及其对应的深度图像输入卷积层进行特征提取，得到前述二维彩色图像和前述深度图像的联合全局特征；

将得到联合全局特征输入池化层进行特征降维，得到降维后的联合全局特征；

将降维后的联合全局特征输入全连接层进行分类处理，得到待检测人脸为活体人脸的检测结果，或者得到待检测人脸为非活体人脸的检测结果。

在一实施方式中，在将前述二维彩色图像及其对应的深度图像输入卷积层进行特征提取，得到前述二维彩色图像和前述深度图像的联合全局特征时，活体人脸检测模块503可以用于：

对前述二维彩色图像进行预处理，得到前述二维彩色图像中的人脸区域图像；

对前述深度图像进行预处理，得到前述深度图像中的人脸区域图像；

将前述二维彩色图像中的人脸区域图像和前述深度图像中的人脸区域图像输入前述卷积层进行特征提取，得到前述二维彩色图像和前述深度图像的联合全局特征。

在一实施方式中，活体检测装置还包括模型训练模块，用于：

在通过单目摄像头对待检测人脸进行拍摄，得到待检测人脸的二维彩色图像之前，通过单目摄像头对多个不同活体人脸进行拍摄，得到多个二维彩色活体人脸样本图像，并获取各二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像；

通过单目摄像头对多个不同非活体人脸进行拍摄，得到多个二维彩色非活体人脸样本图像，并获取各二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像；

将各二维彩色活体人脸样本图像及其对应的第一深度图像作为正样本、将各二维彩色非活体人脸样本图像及其对应的第二深度图像作为负样本，构建训练样本集；

采用卷积神经网络对训练样本集进行模型训练，得到卷积神经网络模型，作为活体检测模型。

在一实施方式中，在采用卷积神经网络对训练样本集进行模型训练之前，模型训练模块：

按照预设的样本扩充策略对训练样本集进行样本扩充处理。

在一实施方式中，在获取各二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像时，模型训练模块可以用于：

接收标定的各二维彩色活体人脸样本图像中各像素点到单目摄像头的距离；

根据各二维彩色活体人脸样本图像中各像素点到单目摄像头的距离，生成各二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像。

在一实施方式中，在获取各二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像时，模型训练模块可以用于：

接收标定的各二维彩色非活体人脸样本图像中各像素点到单目摄像头的距离；

根据各二维彩色非活体人脸样本图像中各像素点到单目摄像头的距离，生成各二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像。

在一实施方式中，模型训练模块还可以用于：

将各二维彩色活体人脸样本图像和各二维彩色非活体人脸样本图像作为训练输入、将各二维彩色活体人脸样本图像对应的第一深度图像和各二维彩色非活体人脸样本图像对应的第二深度图像作为目标输出，进行有监督模型训练，得到深度估计模型。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在计算机上执行时，使得计算机执行如本实施例提供的活体检测方法中的步骤，或者使得计算机执行如本实施例提供的模型训练方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM，)或者随机存取器(Random AccessMemory，RAM)等。

本申请实施例还提供一种电子设备，包括存储器，处理器，处理器通过调用存储器中存储的计算机程序，执行本实施例提供的活体检测方法中的步骤，或者执行如本实施例提供的模型训练方法中的步骤。

在一实施例中，还提供一种电子设备。请参照图6，电子设备包括处理器701、存储器702以及单目摄像头703。其中，处理器701与存储器702和单目摄像头703电性连接。

处理器701是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器702内的计算机程序，以及调用存储在存储器702内的数据，执行电子设备的各种功能并处理数据。

存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。

单目摄像头703可以包括具有一个或多个透镜和图像传感器的照相机，能够捕捉外接的图像数据。

在本申请实施例中，电子设备中的处理器701会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器702中，并由处理器701运行存储在存储器702中的计算机程序，从而实现各种功能，如下：

通过单目摄像头703对待检测人脸进行拍摄，得到待检测人脸的二维彩色图像；

将拍摄得到的二维彩色图像输入预先训练的深度估计模型进行深度估计，得到对应二维彩色图像的深度图像；

将二维彩色图像及其对应的深度图像输入预先训练的活体检测模型进行活体检测，得到检测结果。

请参照图7，图7为本申请实施例提供的电子设备的另一结构示意图，与图6所示电子设备的区别在于，电子设备还包括输入单元704和输出单元705等组件。

其中，输入单元704可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。

输出单元705可用于显示由用户输入的信息或提供给用户的信息，如屏幕。

在本申请实施例中，电子设备中的处理器701会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器702中，并由处理器701运行存储在存储器702中的计算机程序，从而实现各种功能，如下：

通过单目摄像头703对待检测人脸进行拍摄，得到待检测人脸的二维彩色图像；

将拍摄得到的二维彩色图像输入预先训练的深度估计模型进行深度估计，得到对应二维彩色图像的深度图像；

将二维彩色图像及其对应的深度图像输入预先训练的活体检测模型进行活体检测，得到检测结果。

在一实施方式中，活体检测模型为卷积神经网络模型，包括依次连接的卷积层、池化层和全连接层，在将二维彩色图像及其对应的深度图像输入预先训练的活体检测模型进行活体检测，得到检测结果时，处理器701可以执行：

将前述二维彩色图像及其对应的深度图像输入卷积层进行特征提取，得到前述二维彩色图像和前述深度图像的联合全局特征；

将得到联合全局特征输入池化层进行特征降维，得到降维后的联合全局特征；

将降维后的联合全局特征输入全连接层进行分类处理，得到待检测人脸为活体人脸的检测结果，或者得到待检测人脸为非活体人脸的检测结果。

在一实施方式中，在将前述二维彩色图像及其对应的深度图像输入卷积层进行特征提取，得到前述二维彩色图像和前述深度图像的联合全局特征时，处理器701可以执行：

对前述二维彩色图像进行预处理，得到前述二维彩色图像中的人脸区域图像；

对前述深度图像进行预处理，得到前述深度图像中的人脸区域图像；

将前述二维彩色图像中的人脸区域图像和前述深度图像中的人脸区域图像输入前述卷积层进行特征提取，得到前述二维彩色图像和前述深度图像的联合全局特征。

在一实施方式中，在通过单目摄像头703703对待检测人脸进行拍摄，得到待检测人脸的二维彩色图像之前，处理器701可以执行：

在通过单目摄像头703对待检测人脸进行拍摄，得到待检测人脸的二维彩色图像之前，通过单目摄像头703对多个不同活体人脸进行拍摄，得到多个二维彩色活体人脸样本图像，并获取各二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像；

通过单目摄像头703对多个不同非活体人脸进行拍摄，得到多个二维彩色非活体人脸样本图像，并获取各二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像；

将各二维彩色活体人脸样本图像及其对应的第一深度图像作为正样本、将各二维彩色非活体人脸样本图像及其对应的第二深度图像作为负样本，构建训练样本集；

采用卷积神经网络对训练样本集进行模型训练，得到卷积神经网络模型，作为活体检测模型。

在一实施方式中，在采用卷积神经网络对训练样本集进行模型训练之前，处理器701可以执行：

按照预设的样本扩充策略对训练样本集进行样本扩充处理。

在一实施方式中，在获取各二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像时，处理器701可以执行：

接收标定的各二维彩色活体人脸样本图像中各像素点到单目摄像头703的距离；

根据各二维彩色活体人脸样本图像中各像素点到单目摄像头703的距离，生成各二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像。

在一实施方式中，在获取各二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像时，处理器701可以执行：

接收标定的各二维彩色非活体人脸样本图像中各像素点到单目摄像头703的距离；

根据各二维彩色非活体人脸样本图像中各像素点到单目摄像头703的距离，生成各二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像。

在一实施方式中，处理器701还可以执行：

将各二维彩色活体人脸样本图像和各二维彩色非活体人脸样本图像作为训练输入、将各二维彩色活体人脸样本图像对应的第一深度图像和各二维彩色非活体人脸样本图像对应的第二深度图像作为目标输出，进行有监督模型训练，得到深度估计模型。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

需要说明的是，对本申请实施例的活体检测方法而言，本领域普通测试人员可以理解实现本申请实施例的活体检测方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如活体检测方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

对本申请实施例的活体检测装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种活体检测方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种活体检测方法，应用于电子设备，所述电子设备包括单目摄像头，其特征在于，包括：

通过所述单目摄像头对待检测人脸进行拍摄，得到所述待检测人脸的二维彩色图像；

将所述二维彩色图像输入预先训练的深度估计模型进行深度估计，得到对应所述二维彩色图像的深度图像；

将所述二维彩色图像和所述深度图像输入预先训练的活体检测模型进行活体检测，得到检测结果。

2.根据权利要求1所述的活体检测方法，其特征在于，所述活体检测模型为卷积神经网络模型，包括依次连接的卷积层、池化层和全连接层，所述将所述二维彩色图像和所述深度图像输入预先训练的活体检测模型，得到检测结果，包括：

将所述二维彩色图像和所述深度图像输入所述卷积层进行特征提取，得到所述二维彩色图像和所述深度图像的联合全局特征；

将所述联合全局特征输入所述池化层进行特征降维，得到降维后的联合全局特征；

将所述降维后的联合全局特征输入所述全连接层中进行分类处理，得到所述待检测人脸为活体人脸的检测结果，或者得到所述待检测人脸为非活体人脸的检测结果。

3.根据权利要求2所述的活体检测方法，其特征在于，所述将所述二维彩色图像和所述深度图像输入所述卷积层进行特征提取，得到所述二维彩色图像和所述深度图像的联合全局特征，包括：

对所述二维彩色图像进行预处理，得到所述二维彩色图像中的人脸区域图像；

对所述深度图像进行预处理，得到所述深度图像中的人脸区域图像；

将所述二维彩色图像中的人脸区域图像和所述深度图像中的人脸区域图像输入所述卷积层进行特征提取，得到所述二维彩色图像和所述深度图像的联合全局特征。

4.根据权利要求2所述的活体检测方法，其特征在于，所述通过所述单目摄像头对待检测人脸进行拍摄，得到所述待检测人脸的二维彩色图像之前，还包括：

通过所述单目摄像头对多个不同活体人脸进行拍摄，得到多个二维彩色活体人脸样本图像，并获取各所述二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像；

通过所述单目摄像头对多个不同非活体人脸进行拍摄，得到多个二维彩色非活体人脸样本图像，并获取各所述二维彩色非活体人脸样本图像对应的深度图像，得到多个第二深度图像；

将各所述二维彩色活体人脸样本图像及其对应的第一深度图像作为正样本、将各所述二维彩色非活体人脸样本图像及其对应的第二深度图像作为负样本，构建训练样本集；

采用卷积神经网络对所述训练样本集进行模型训练，得到所述卷积神经网络模型。

5.根据权利要求4所述的活体检测方法，其特征在于，所述采用卷积神经网络对所述训练样本集进行模型训练，得到所述卷积神经网络模型之前，还包括：

按照预设的样本扩充策略对所述训练样本集进行样本扩充处理。

6.根据权利要求4所述的活体检测方法，其特征在于，所述获取各所述二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像，包括：

接收标定的各所述二维彩色活体人脸样本图像中各像素点到所述单目摄像头的距离；

根据各所述二维彩色活体人脸样本图像中各像素点到所述单目摄像头的距离，生成各所述二维彩色活体人脸样本图像对应的深度图像，得到多个第一深度图像。

7.根据权利要求4所述的活体检测方法，所述活体检测方法还包括：

将各所述二维彩色活体人脸样本图像和各所述二维彩色非活体人脸样本图像作为训练输入、将各所述二维彩色活体人脸样本图像对应的第一深度图像和各所述二维彩色非活体人脸样本图像对应的第二深度图像作为目标输出，进行有监督模型训练，得到所述深度估计模型。

8.一种活体检测装置，应用于电子设备，其特征在于，包括：

彩色图像获取模块，用于通过所述单目摄像头对待检测人脸进行拍摄，得到所述待检测人脸的二维彩色图像；

深度图像获取模块，用于将所述二维彩色图像输入预先训练的深度估计模型，得到对应所述二维彩色图像的深度图像；

活体人脸检测模块，用于将所述二维彩色图像和所述深度图像输入预先训练的活体检测模型，得到检测结果。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的活体检测方法。

10.一种电子设备，包括处理器、存储器和单目摄像头，所述存储器储存有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的活体检测方法。