CN109711243B - 一种基于深度学习的静态三维人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的静态三维人脸活体检测方法，该方法包括：通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；当在所述彩色图像中检测到人脸时，根据所述彩色图像和所述深度图像，通过第一卷积神经网络和第二卷积神经网络获得所述人脸对应的特征向量；根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体。本发明仅采用两个摄像头，结合彩色图像和深度图像的特点，结合深度学习及机器学习等技术，大大提高了人脸活体检测的速度、通过率及防伪率，且成本低，精度高。

Description

一种基于深度学习的静态三维人脸活体检测方法

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于深度学习的静态三维人脸活体检测方法。

背景技术

随着人脸识别技术的不断发展，很多产品开始使用人脸识别技术验证用户身份，如银行ATM机、无人售货店甚至家用门锁。然而一般的人脸识别技术无法对用户是否为活体进行有效检测，因此恶意者可以通过打印他人照片或者使用手机拍摄他人视频来冒充合法用户，骗过人脸识别***，实现其恶意目的。因此人脸活体检测技术应运而生。

当前，相关技术中提供了一种人脸活体检测技术，该技术使用两个摄像头拍摄的图像获取3D人脸特征点，并训练得到3D人脸检测分类器。之后从第三个摄像头拍摄的图像中提取出人脸区域和人眼区域，使用卷积神经网络作为人眼检测模型，通过结合三个摄像头的数据进行活体判断。

上述相关技术中使用两个摄像头的数据获取3D人脸特征点，耗时较长，无法达到实时检测的目的，同时依赖于人眼检测算法的精度，无法保证效率和精确性。而且需要三个摄像头，同时要考虑三个摄像头的视角和图像对齐问题，运算量大，成本高。

发明内容

为解决以上问题，本发明提供一种基于深度学习的静态三维人脸活体检测方法、装置、设备及计算机可读存储介质，仅采用两个摄像头，结合彩色图像和深度图像的特点，结合深度学习及机器学习等技术，大大提高了人脸活体检测的速度、通过率及防伪率，且成本低，精度高。本发明通过以下几个方面来解决以上问题。

第一方面，本发明实施例提供了一种基于深度学习的静态三维人脸活体检测方法，所述方法包括：

通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；

当在所述彩色图像中检测到人脸时，根据所述彩色图像和所述深度图像，通过第一卷积神经网络和第二卷积神经网络获得所述人脸对应的特征向量；

根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体。

结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实现方式，其中，所述根据所述彩色图像和所述深度图像，通过第一卷积神经网络和第二卷积神经网络获得所述人脸对应的特征向量，包括：

对所述彩色图像进行人脸裁剪及归一化处理，得到彩色人脸图像；

对所述深度图像进行人脸裁剪及归一化处理，得到深度人脸图像；

通过第一卷积神经网络分别对所述彩色人脸图像和所述深度人脸图像进行特征提取，得到第一彩色向量和第一深度向量；

通过第二卷积神经网络分布对所述彩色人脸图像和所述深度人脸图像进行特征提取，得到第二彩色向量和第二深度向量；

对所述第一彩色向量、所述第二彩色向量、所述第一深度向量和所述第二深度向量进行拼接，得到所述人脸对应的特征向量。

结合第一方面的第一种可能的实现方式，本发明实施例提供了上述第一方面的第二种可能的实现方式，其中，所述对所述深度图像进行人脸裁剪及归一化处理，得到深度人脸图像，包括：

从所述彩色图像中获取预设数目个人脸关键点位置；

从所述深度图像中分别获取每个所述人脸关键点位置对应的关键点深度值；

根据每个所述关键点深度值对所述深度图像中的人脸区域进行归一化处理，得到深度人脸图像。

结合第一方面的第二种可能的实现方式，本发明实施例提供了上述第一方面的第三种可能的实现方式，其中，所述从所述深度图像中分别获取每个所述人脸关键点位置对应的关键点深度值，包括：

判断所述深度图像中所述人脸关键点位置处的深度值是否为0；

如果否，获取所述深度值作为所述人脸关键点位置对应的关键点深度值；

如果是，获取所述人脸关键点位置的四个相邻点的深度值，根据所述四个相邻点的深度值进行插值，得到所述人脸关键点位置对应的关键点深度值。

结合第一方面的第二种可能的实现方式，本发明实施例提供了上述第一方面的第四种可能的实现方式，其中，所述根据每个所述关键点深度值对所述深度图像中的人脸区域进行归一化处理，得到深度人脸图像，包括：

从所述深度图像中裁剪出人脸区域图像；

确定每个所述关键点深度值中的最大深度值及最小深度值；

从所述人脸区域图像中，确定出深度值大于所述最大深度值的第一像素点，以及深度值小于所述最小深度值的第二像素点；

将所述第一像素点的深度值修改为所述最大深度值，以及将所述第二像素点的深度值修改为所述最小深度值；

将所述人脸区域图像中每个像素点的深度值减去所述最大深度值后再除以所述最大深度值与所述最小深度值之间的差值，得到深度人脸图像。

结合第一方面的第一种可能的实现方式，本发明实施例提供了上述第一方面的第五种可能的实现方式，其中，所述对所述第一彩色向量、所述第二彩色向量、所述第一深度向量和所述第二深度向量进行拼接，得到所述人脸对应的特征向量，包括：

计算所述第一彩色向量与所述第一深度向量之间的第一差值绝对值，计算所述第二彩色向量与所述第二深度向量之间的第二差值绝对值；

将所述第一彩色向量、所述第一深度向量、所述第一差值绝对值、所述第二彩色向量、所述第二深度向量及所述第二差值绝对值拼接为第一拼接向量；

将所述第一拼接向量均分为两部分，计算所述两部分之间的第三差值绝对值；

将所述第一拼接向量和所述第三差值绝对值拼接为所述人脸对应的特征向量。

结合第一方面，本发明实施例提供了上述第一方面的第六种可能的实现方式，其中，所述根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体之前，还包括：

通过所述彩色摄像头及所述深度摄像头拍摄活体样本，获取活体特征；

通过所述彩色摄像头及所述深度摄像头拍摄非活体样本。获取非活体特征；

根据所述活体特征和所述非活体特征训练活体检测分类器。

第二方面，本发明实施例提供了一种基于深度学习的静态三维人脸活体检测装置，所述装置包括：

拍摄模块，用于通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；

向量获得模块，用于当在所述彩色图像中检测到人脸时，根据所述彩色图像和所述深度图像，通过第一卷积神经网络和第二卷积神经网络获得所述人脸对应的特征向量；

判断模块，用于根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体。

第三方面，本发明实施例提供了一种基于深度学习的静态三维人脸活体检测设备，包括

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述第一方面或第一方面各种可能的实现方式所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面或第一方面各种可能的实现方式所述的方法。

在本发明实施例中，通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；当在所述彩色图像中检测到人脸时，根据所述彩色图像和所述深度图像，通过第一卷积神经网络和第二卷积神经网络获得所述人脸对应的特征向量；根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体。本发明仅采用两个摄像头，结合彩色图像和深度图像的特点，结合深度学习及机器学习等技术，大大提高了人脸活体检测的速度、通过率及防伪率，且成本低，精度高。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例1所提供的一种基于深度学习的静态三维人脸活体检测方法的流程示意图；

图2示出了本发明实施例1所提供的另一种基于深度学习的静态三维人脸活体检测方法的流程示意图；

图3示出了本发明实施例1所提供的第一卷积神经网络的结构示意图；

图4示出了本发明实施例1所提供的第二卷积神经网络的结构示意图；

图5示出了本发明实施例1所提供的特征向量的拼接示意图；

图6示出了本发明实施例1所提供的又一种基于深度学习的静态三维人脸活体检测方法的流程示意图；

图7示出了本发明实施例2所提供的一种基于深度学习的静态三维人脸活体检测装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例1

参见图1，本发明实施例提供一种基于深度学习的静态三维人脸活体检测方法，该方法具体包括以下步骤：

步骤101：通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像。

本发明实施例只采用两个摄像头，一个彩色摄像头，一个深度摄像头。应用本发明实施例提供的人脸活体检测的产品，如银行ATM机或家用门锁等，只需配备这两个摄像头即可。通过彩色摄像头和深度摄像头对监控区域内的景象进行拍摄，分别得到监控区域对应的彩色图像和深度图像。

拍摄得到彩色图像和深度图像后，首先对彩色图像和深度图像进行位置配准，以确保同一物体在彩色图像和深度图像中所处的位置相同。因为彩色图像和深度图像是监控区域内同一时刻的图像，因此对彩色图像和深度图像进行位置配准，确保两种图像中相同物体处于相同位置，能够提高后续基于彩色图像和深度图像活体检测处理的精确度，减小运算误差。

当获得彩色图像和深度图像，并将彩色图像和深度图像进行位置配准之后，通过人脸检测器对彩色图像进行人脸检测，如果在彩色图像中检测到人脸，则开始执行步骤102。如果在彩色图像中未检测到人脸，则本步骤继续通过彩色摄像头和深度摄像头对监控区域进行监控拍摄，直到在彩色摄像头拍摄的彩色图像中检测到人脸时执行步骤102。

步骤102：当在彩色图像中检测到人脸时，根据彩色图像和深度图像，通过第一卷积神经网络和第二卷积神经网络获得人脸对应的特征向量。

如图2所示，当在彩色图像中检测到人脸时，通过如下步骤1021-1025的操作获得人脸对应的特征向量，包括：

步骤1021：当在彩色图像中检测到人脸时，对彩色图像进行人脸裁剪及归一化处理，得到彩色人脸图像。

当在彩色图像中检测到人脸时，对彩色图像中的人脸区域进行裁剪，并对裁剪得到的人脸区域进行归一化处理，得到彩色人脸图像。本发明实施例中将得到的彩色人脸图像的尺寸设置为预定大小，如将彩色人脸图像的大小设置为96x96。

步骤1022：对深度图像进行人脸裁剪及归一化处理，得到深度人脸图像。

本步骤具体通过如下A1-A3的操作来得到深度人脸图像，具体包括：

A1：从彩色图像中获取预设数目个人脸关键点位置。

人脸关键点可以为鼻尖、双眼、两个嘴角或两个眉毛等。上述预设数目可以为3或5等，选取的人脸关键点越多，则后续活体检测的精度越高，但选取的人脸关键点越多运算量相应越大。本发明实施例中以预设数目为5，人脸关键点为鼻尖、双眼及两个嘴角为例进行说明。即当检测到彩色图像中包含人脸时，从彩色图像中获取人脸的鼻尖、双眼及两个嘴角共5个人脸关键点位置。人脸关键点位置即鼻尖、双眼及两个嘴角这些人脸关键点在彩色图像中的坐标。

A2：从深度图像中分别获取每个人脸关键点位置对应的关键点深度值。

由于在步骤101中对彩色图像和深度图像进行了位置配准，因此同一人脸关键点在彩色图像和在深度图像中的位置相同。根据从彩色图像中获取到的每个人脸关键点位置，从深度图像中获取每个人脸关键点位置处的关键点深度值。

具体地，对于每个人脸关键点位置，判断深度图像中人脸关键点位置处的深度值是否为0。如果不为0，获取该人脸关键点位置处的深度值作为该人脸关键点位置对应的关键点深度值。如果为0，获取该人脸关键点位置的四个相邻点的深度值，根据这四个相邻点的深度值进行插值，得到该人脸关键点位置对应的关键点深度值。

在根据四个相邻点的深度值进行插值之前，分别判断四个相邻点的深度值是否为0，若四个相邻点的深度值均不为0，则对这四个相邻点的深度值进行插值得到该人脸关键点位置对应的关键点深度值。若存在深度值为0的相邻点，则迭代使用上述方式对深度值为0的相邻点进行插值填充，直至所有相邻点的深度值均不为0后，再通过四个相邻点的深度值进行插值得到该人脸关键点位置对应的关键点深度值。上述插值所使用的插值算法可以为Newton插值法。

对于每个人脸关键点位置，都按照上述方式分别从深度图像中获取对应的关键点深度值。

A3：根据每个关键点深度值对深度图像中的人脸区域进行归一化处理，得到深度人脸图像。

具体地，从深度图像中裁剪出人脸区域图像。确定每个关键点深度值中的最大深度值及最小深度值。从人脸区域图像中，确定出深度值大于最大深度值的第一像素点，以及深度值小于最小深度值的第二像素点。将所有第一像素点的深度值均修改为上述最大深度值，以及将所有第二像素点的深度值均修改为最小深度值。完成上述修改操作后，将当前的人脸区域图像中每个像素点的深度值减去上述最大深度值后再除以最大深度值与最小深度值之间的差值，得到深度人脸图像。

在本发明实施例中，确定出每个关键点深度值中的最大深度值和最小深度值后，计算最大深度值和最小深度值之间的差值，判断该差值是否小于第一阈值，以及判断该差值是否大于第二阈值，若判断出该差值小于第一阈值，或者判断出该差值大于第二阈值，则直接判定彩色图像中的人脸为非活体，后续返回步骤101继续通过彩色摄像头及深度摄像头对监区域进行监控拍摄。若判断出该差值大于或等于第一阈值且小于或等于第二阈值，则无法直接判定该人脸是否为活体，后续按照上述方式对深度图像进行归一化处理，得到深度人脸图像，以利用深度人脸图像进行后续的人脸活体检测操作。

上述第一阈值为大量样本数据处理得到的关键点深度值中最大深度值与最小深度值之间的差值的最小极限值，第二阈值为大量样本数据处理得到的关键点深度值中最大深度值与最小深度值之间的差值的最大极限值。大量样本数据为大量的人脸图像数据。

本发明实施例中将得到的深度人脸图像的尺寸设置为预定大小，且设置深度人脸图像的尺寸与上述步骤1021得到的彩色人脸图像的尺寸相同，如将深度人脸图像的大小也设置为96x96。

步骤1023：通过第一卷积神经网络分别对彩色人脸图像和深度人脸图像进行特征提取，得到第一彩色向量和第一深度向量。

如图3所示，第一卷积神经网络包括C1、C2、C3、C4、C5和C6六个卷积层和S1、S2两个全连接层。其中，卷积层C1的输出层能够输出32张特征图，每张特征图的大小为48x48。卷积层C2的输出层能够输出64张特征图，每张特征图的大小为24x24。卷积层C3的输出层能够输出64张特征图，每张特征图的大小为16x16。卷积层C4的输出层能够输出128张特征图，每张特征图的大小为8x8。卷积层C5的输出层能够输出256张特征图，每张特征图的大小为4x4。卷积层C6的输出层能够输出256张特征图，每张特征图的大小为2x2。全连接层S1具有256个节点，全连接层S2具有128个节点。其中，图3中符号@为分隔符，@前面的内容表示卷积层输出的特征图的大小，@后面的内容表示卷积层输出的特征图的数目。

本发明实施例中，将第一卷积神经网络的最后一个全连接层的输出作为第一卷积神经网络的处理结果，即将全连接层S2的输出作为处理结果，能够得到维度为128的向量。实际应用中也可使用与第一卷积神经网络结构类似的其他卷积神经网络。

将彩色人脸图像输入第一卷积神经网络中，第一卷积神经网络对彩色人脸图像进行特征提取处理，得到128维的第一彩色向量。将深度人脸图像输入第一卷积神经网络中，第一卷积神经网络对深度人脸图像进行特征提取处理，得到128维的第一深度向量。

步骤1024：通过第二卷积神经网络分别对彩色人脸图像和深度人脸图像进行特征提取，得到第二彩色向量和第二深度向量。

如图4所示，第二卷积神经网络包括D1、D2、D3、D4和D5五个卷积层。其中，卷积层D1的输出层能够输出32张特征图，每张特征图的大小为46x46。卷积层D2的输出层能够输出64张特征图，每张特征图的大小为21x21。卷积层D3的输出层能够输出64张特征图，每张特征图的大小为8x8。卷积层D4的输出层能够输出128张特征图，每张特征图的大小为3x3。卷积层D5的输出层能够输出256张特征图，每张特征图的大小为1x1。其中，图4中符号@为分隔符，@前面的内容表示卷积层输出的特征图的大小，@后面的内容表示卷积层输出的特征图的数目。

本发明实施例中，将第二卷积神经网络的第5个卷积层的输出作为第二卷积神经网络的处理结果，即将卷积层D5的输出作为处理结果，能够得到维度为256的向量。实际应用中也可使用与第二卷积神经网络结构类似的其他卷积神经网络。

将彩色人脸图像输入第二卷积神经网络中，第二卷积神经网络对彩色人脸图像进行特征提取处理，得到256维的第二彩色向量。将深度人脸图像输入第二卷积神经网络中，第二卷积神经网络对深度人脸图像进行特征提取处理，得到256维的第二深度向量。

步骤1025：对第一彩色向量、第二彩色向量、第一深度向量和第二深度向量进行拼接，得到人脸对应的特征向量。

具体地，计算第一彩色向量与第一深度向量之间的第一差值绝对值，计算第二彩色向量与第二深度向量之间的第二差值绝对值。其中，第一彩色向量与第一深度向量都是128维的向量，第一差值绝对值是将第一彩色向量与第一深度向量各个相同维度上的数据相减并取绝对值得到的。第二彩色向量与第二深度向量都是256维的向量，第二差值绝对值是将第二彩色向量与第二深度向量各个相同维度上的数据相减并取绝对值得到的。

将第一彩色向量、第一深度向量、第一差值绝对值、第二彩色向量、第二深度向量及第二差值绝对值拼接为第一拼接向量；将第一拼接向量均分为两部分，计算两部分之间的第三差值绝对值；将第一拼接向量和第三差值绝对值拼接为人脸对应的特征向量。

如图5所示，用f1_vis表示第一彩色向量，用f1_depth表示第一深度向量，计算得到的第一差值绝对值为Abs(f1_vis-f1_depth)。用f2_vis表示第二彩色向量，用f2_depth表示第二深度向量，计算得到的第二差值绝对值为Abs(f2_vis-f2_depth)。如图5所示，将第一彩色向量f1_vis、第一深度向量f1_depth、第一差值绝对值Abs(f1_vis-f1_depth)、第二彩色向量f2_vis、第二深度向量f2_depth、第二差值绝对值Abs(f2_vis-f2_depth)依次拼接在一起得到第一拼接向量，将第一拼接向量均分为两部分，如图5中的f1和f2两部分，f1和f2的维度相同，将f1和f2各个相同维度上的数据相减并取绝对值得到第三差值绝对值Abs(f1-f2)，将第一拼接向量与第三差值绝对值Abs(f1-f2)拼接在一起，得到人脸对应的特征向量f，人脸对应的特征向量f的维度为1728维。即人脸对应的特征向量是由第一彩色向量f1_vis、第一深度向量f1_depth、第一差值绝对值Abs(f1_vis-f1_depth)、第二彩色向量f2_vis、第二深度向量f2_depth、第二差值绝对值Abs(f2_vis-f2_depth)及第三差值绝对值Abs(f1-f2)依次拼接而成。

步骤103：根据人脸对应的特征向量，通过预先训练的活体检测分类器判断人脸是否为活体。

通过上述步骤102获取到人脸对应的特征向量后，将该人脸对应的特征向量输入预先训练的活体检测分类器SVM(Support Vector Machine，支持向量机)中，活体检测分类器SVM输出的检测结果即可指示该人脸是活体，还是非活体。

在本发明实施例中，在应用本发明实施例提供的人脸活体检测方法进行活体检测之前，首先通过如下操作训练用于人脸活体检测的活体检测分类器SVM，具体包括：

通过彩色摄像头及深度摄像头拍摄活体样本，获取活体特征；通过彩色摄像头及深度摄像头拍摄非活体样本。获取非活体特征；根据活体特征和非活体特征训练活体检测分类器。

其中，活体样本为大量活体用户，非活体样本为大量人的照片或视频等。通过彩色摄像头和深度摄像头同时拍摄每个活体样本的图像，以及通过彩色摄像头和深度摄像头同时拍摄非活体样本的图像。根据拍摄的每个活体样本的图像，通过上述步骤102的操作分别获得每个活体样本对应的活体特征。以及根据拍摄的每个非活体样本的图像，通过上述步骤102的操作分别获得每个非活体样本对应的非活体特征。将得到的大量的活体特征和非活体特征输入SVM中进行训练学习，得到用于人脸活体检测的活体检测分类器SVM。

训练得到上述活体检测分类器SVM后，通过测试样本对该活体检测分类器SVM进行测试，测试样本中包括彩色摄像头及深度摄像头拍摄的一定数量活体用户的图像，以及彩色摄像头及深度摄像头拍摄的一定数量包含人脸的照片或视频等的图像，对于每个测试样本都按照上述步骤102的操作分别获得每个测试样本对应的特征向量，然后将每个测试样本对应的特征向量输入训练得到的活体检测分类器SVM中，得到每个测试样本对应的判定结果。根据每个测试样本对应的判定结果能够确定出活体检测分类器SVM的判定准确率，若判断准确率低于预设值，则扩大活体样本及非活体样本的数量，按照上述方式进一步训练活体检测分类器SVM。

当训练的活体检测分类器SVM的判定准确率高于上述预设值时，将该活体检测分类器SVM投入实际应用，按照上述步骤101-103的操作进行人脸活体检测及判定。如图6所示，首先通过彩色摄像头及深度摄像头获取彩色图像及深度图像，然后对彩色图像进行人脸检测，判断是否检测到人脸，如果否返回继续通过彩色摄像头及深度摄像头获取彩色图像及深度图像。如果是，从彩色图像中获取预设数目个人脸关键点位置，获取人脸关键点位置对应的关键点深度值并填充缺失的深度值，然后确定关键点深度值中的最大深度值和最小深度值，计算最大深度值和最小深度值之间的差值，判断该差值是否大于等于第一阈值且小于等于第二阈值，如果否，则返回继续通过彩色摄像头及深度摄像头获取彩色图像及深度图像。如果是，则对深度图像进行人脸裁剪及归一化处理得到深度人脸图像，以及对彩色图像进行人脸裁剪及归一化处理得到彩色人脸图像，之后利用第一卷积神经网络和第二卷积神经网络分别对彩色人脸图像和深度人脸图像进行特征提取得到四个向量，将这四个向量拼接为特征向量，将该特征向量输入预先训练的活体检测分类器SVM中进行活体判定。

在本发明实施例中，彩色摄像头可直接用红外摄像头替换，上述操作步骤中的彩色图像可直接替换为红外图像。本发明实施例结合彩色图像(红外图像)和深度图像的特点，结合了特定规则、深度学***台RK3288上活体检测平均时间为200毫秒，在windows平台下活体检测平均时间不到100ms，具有良好的用户体验。且本方案更加实用，仅使用两个摄像头，深度信息、可见光或红外信息均可以直接通过已有深度摄像头产品获取，成本低，同时无需调整多摄像头视角。

在本发明实施例中，通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；当在所述彩色图像中检测到人脸时，根据所述彩色图像和所述深度图像，通过第一卷积神经网络和第二卷积神经网络获得所述人脸对应的特征向量；根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体。本发明仅采用两个摄像头，结合彩色图像和深度图像的特点，结合深度学习及机器学习等技术，大大提高了人脸活体检测的速度、通过率及防伪率，且成本低，精度高。

实施例2

参见图7，本发明实施例提供了一种基于深度学习的静态三维人脸活体检测装置，该装置用于执行上述实施例1所提供的基于深度学习的静态三维人脸活体检测方法，该装置包括：

拍摄模块20，用于通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；

向量获得模块21，用于当在彩色图像中检测到人脸时，根据彩色图像和深度图像，通过第一卷积神经网络和第二卷积神经网络获得人脸对应的特征向量；

判断模块22，用于根据人脸对应的特征向量，通过预先训练的活体检测分类器判断人脸是否为活体。

上述向量获得模块21包括：

彩色图像归一化单元，用于对所述彩色图像进行人脸裁剪及归一化处理，得到彩色人脸图像；

深度图像归一化单元，用于对所述深度图像进行人脸裁剪及归一化处理，得到深度人脸图像；

特征提取单元，用于通过第一卷积神经网络分别对所述彩色人脸图像和所述深度人脸图像进行特征提取，得到第一彩色向量和第一深度向量；通过第二卷积神经网络分布对所述彩色人脸图像和所述深度人脸图像进行特征提取，得到第二彩色向量和第二深度向量；

拼接单元，用于对所述第一彩色向量、所述第二彩色向量、所述第一深度向量和所述第二深度向量进行拼接，得到所述人脸对应的特征向量。

上述深度图像归一化单元包括：

获取子单元，用于从所述彩色图像中获取预设数目个人脸关键点位置；从所述深度图像中分别获取每个所述人脸关键点位置对应的关键点深度值；

归一化子单元，用于根据每个所述关键点深度值对所述深度图像中的人脸区域进行归一化处理，得到深度人脸图像。

上述获取子单元，具体用于判断所述深度图像中所述人脸关键点位置处的深度值是否为0；如果否，获取所述深度值作为所述人脸关键点位置对应的关键点深度值；如果是，获取所述人脸关键点位置的四个相邻点的深度值，根据所述四个相邻点的深度值进行插值，得到所述人脸关键点位置对应的关键点深度值。

上述归一化子单元，用于从所述深度图像中裁剪出人脸区域图像；确定每个所述关键点深度值中的最大深度值及最小深度值；从所述人脸区域图像中，确定出深度值大于所述最大深度值的第一像素点，以及深度值小于所述最小深度值的第二像素点；将所述第一像素点的深度值修改为所述最大深度值，以及将所述第二像素点的深度值修改为所述最小深度值；将所述人脸区域图像中每个像素点的深度值减去所述最大深度值后再除以所述最大深度值与所述最小深度值之间的差值，得到深度人脸图像。

拼接单元，用于计算所述第一彩色向量与所述第一深度向量之间的第一差值绝对值，计算所述第二彩色向量与所述第二深度向量之间的第二差值绝对值；将所述第一彩色向量、所述第一深度向量、所述第一差值绝对值、所述第二彩色向量、所述第二深度向量及所述第二差值绝对值拼接为第一拼接向量；将所述第一拼接向量均分为两部分，计算所述两部分之间的第三差值绝对值；将所述第一拼接向量和所述第三差值绝对值拼接为所述人脸对应的特征向量。

在本发明实施例中，该装置还包括：

分类器训练模块，用于通过所述彩色摄像头及所述深度摄像头拍摄活体样本，获取活体特征；通过所述彩色摄像头及所述深度摄像头拍摄非活体样本。获取非活体特征；根据所述活体特征和所述非活体特征训练活体检测分类器。

在本发明实施例中，通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；当在所述彩色图像中检测到人脸时，根据所述彩色图像和所述深度图像，通过第一卷积神经网络和第二卷积神经网络获得所述人脸对应的特征向量；根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体。本发明仅采用两个摄像头，结合彩色图像和深度图像的特点，结合深度学习及机器学习等技术，大大提高了人脸活体检测的速度、通过率及防伪率，且成本低，精度高。

实施例3

本发明实施例提供一种基于深度学习的静态三维人脸活体检测设备，该设备包括一个或多个处理器，以及存储装置；存储装置用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器加载并执行时，实现上述实施例1所提供的基于深度学习的静态三维人脸活体检测方法。

在本发明实施例中，通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；当在所述彩色图像中检测到人脸时，根据所述彩色图像和所述深度图像，通过第一卷积神经网络和第二卷积神经网络获得所述人脸对应的特征向量；根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体。本发明仅采用两个摄像头，结合彩色图像和深度图像的特点，结合深度学习及机器学习等技术，大大提高了人脸活体检测的速度、通过率及防伪率，且成本低，精度高。

实施例4

本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器加载并执行时实现上述实施例1所提供的基于深度学习的静态三维人脸活体检测方法。

在本发明实施例中，通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；当在所述彩色图像中检测到人脸时，根据所述彩色图像和所述深度图像，通过第一卷积神经网络和第二卷积神经网络获得所述人脸对应的特征向量；根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体。本发明仅采用两个摄像头，结合彩色图像和深度图像的特点，结合深度学习及机器学习等技术，大大提高了人脸活体检测的速度、通过率及防伪率，且成本低，精度高。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于深度学习的静态三维人脸活体检测方法，其特征在于，所述方法包括：

通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；

当在所述彩色图像中检测到人脸时，对所述彩色图像进行人脸裁剪及归一化处理，得到彩色人脸图像；对所述深度图像进行人脸裁剪及归一化处理，得到深度人脸图像；通过第一卷积神经网络分别对所述彩色人脸图像和所述深度人脸图像进行特征提取，得到第一彩色向量和第一深度向量；通过第二卷积神经网络分别对所述彩色人脸图像和所述深度人脸图像进行特征提取，得到第二彩色向量和第二深度向量；计算所述第一彩色向量与所述第一深度向量之间的第一差值绝对值，计算所述第二彩色向量与所述第二深度向量之间的第二差值绝对值；将所述第一彩色向量、所述第一深度向量、所述第一差值绝对值、所述第二彩色向量、所述第二深度向量及所述第二差值绝对值拼接为第一拼接向量；将所述第一拼接向量均分为两部分，计算所述两部分之间的第三差值绝对值；将所述第一拼接向量和所述第三差值绝对值拼接为所述人脸对应的特征向量；

根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体。

2.根据权利要求1所述的方法，其特征在于，所述对所述深度图像进行人脸裁剪及归一化处理，得到深度人脸图像，包括：

从所述彩色图像中获取预设数目个人脸关键点位置；

从所述深度图像中分别获取每个所述人脸关键点位置对应的关键点深度值；

根据每个所述关键点深度值对所述深度图像中的人脸区域进行归一化处理，得到深度人脸图像。

3.根据权利要求2所述的方法，其特征在于，所述从所述深度图像中分别获取每个所述人脸关键点位置对应的关键点深度值，包括：

判断所述深度图像中所述人脸关键点位置处的深度值是否为0；

如果否，获取所述深度值作为所述人脸关键点位置对应的关键点深度值；

如果是，获取所述人脸关键点位置的四个相邻点的深度值，根据所述四个相邻点的深度值进行插值，得到所述人脸关键点位置对应的关键点深度值。

4.根据权利要求2所述的方法，其特征在于，所述根据每个所述关键点深度值对所述深度图像中的人脸区域进行归一化处理，得到深度人脸图像，包括：

从所述深度图像中裁剪出人脸区域图像；

确定每个所述关键点深度值中的最大深度值及最小深度值；

从所述人脸区域图像中，确定出深度值大于所述最大深度值的第一像素点，以及深度值小于所述最小深度值的第二像素点；

将所述第一像素点的深度值修改为所述最大深度值，以及将所述第二像素点的深度值修改为所述最小深度值；

将所述人脸区域图像中每个像素点的深度值减去所述最大深度值后再除以所述最大深度值与所述最小深度值之间的差值，得到深度人脸图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体之前，还包括：

通过所述彩色摄像头及所述深度摄像头拍摄活体样本，获取活体特征；

通过所述彩色摄像头及所述深度摄像头拍摄非活体样本，获取非活体特征；

根据所述活体特征和所述非活体特征训练活体检测分类器。

6.一种基于深度学习的静态三维人脸活体检测装置，其特征在于，所述装置包括：

拍摄模块，用于通过彩色摄像头拍摄彩色图像，通过深度摄像头拍摄深度图像；

向量获得模块，用于当在所述彩色图像中检测到人脸时，对所述彩色图像进行人脸裁剪及归一化处理，得到彩色人脸图像；对所述深度图像进行人脸裁剪及归一化处理，得到深度人脸图像；通过第一卷积神经网络分别对所述彩色人脸图像和所述深度人脸图像进行特征提取，得到第一彩色向量和第一深度向量；通过第二卷积神经网络分别对所述彩色人脸图像和所述深度人脸图像进行特征提取，得到第二彩色向量和第二深度向量；计算所述第一彩色向量与所述第一深度向量之间的第一差值绝对值，计算所述第二彩色向量与所述第二深度向量之间的第二差值绝对值；将所述第一彩色向量、所述第一深度向量、所述第一差值绝对值、所述第二彩色向量、所述第二深度向量及所述第二差值绝对值拼接为第一拼接向量；将所述第一拼接向量均分为两部分，计算所述两部分之间的第三差值绝对值；将所述第一拼接向量和所述第三差值绝对值拼接为所述人脸对应的特征向量；

判断模块，用于根据所述人脸对应的特征向量，通过预先训练的活体检测分类器判断所述人脸是否为活体。

7.一种基于深度学习的静态三维人脸活体检测设备，其特征在于，包括

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images