CN110516616A - 一种基于大规模rgb以及近红外数据集的双重认证人脸防伪方法 - Google Patents

Abstract

本发明涉及一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，包括一重判定和二重判定，若一重判定为真，则进行第二重判定，具体为：一重判定：1.1、训练数据集的采集和预处理；1.2、使用局部二进制模式的运算符提取RGB图像的纹理特征；1.3、将提取的纹理特征输入分类器进行一重防伪判定；二重判定：2.1、近红外数据集全局特征的提取；2.2、将提取的局部纹理特征和全局特征输入改进的卷积网络进行特征融合；2.3、将融合的特征输入改进的CNN网络进行分类来判定人脸的真伪。该方法无用户交互性要求，无需高端复杂的附加设备，双重认证的加持更使其真正达到了人脸检测的检测需求。

Description

一种基于大规模RGB以及近红外数据集的双重认证人脸防伪 方法

技术领域

本发明涉及人脸识别防伪技术领域，具体涉及一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法。

背景技术

科技的飞速发展，人工智能大时代的来临，人脸识别以其快速性，有效性和用户友好性被成功应用于金融、安防、教育等各个行业。人脸识别是通过对采集到的图像中的人脸进行识别，从而验证其身份的有效性。但对于所采集到的人脸图像是来自摄像头前的真人或是伪造的假脸却无法识别。因此，***极易受到攻击。随着社交媒体网站的***式增长和相机分辨率的提高，很容易获得合法用户的脸部图像或视频信息来对***实施直接攻击，从而伪装成合法用户进行非法进入，这给***的安全性带来极大威胁。因此，一个完备的人脸识别***必须既要具备精确的识别功能，同时还要免于被欺骗和攻击。人脸防伪技术作为人脸识别的安全防护，通过排除一切以期通过伪造人脸来获得准入权的可能来保证识别***稳定安全的运行。

人脸识别***数据采集端通常会面临三种常见的攻击方式：合法用户的打印照片攻击、视频重播攻击和3D面具攻击。针对各攻击方式的特点，研究者们提出了不同的人脸活体检测方法，其主要思路是通过手工特征或CNN特征刻画真假人脸之间的面部纹理特征、运动特征、光谱特性、生理特性和3D几何等特征，进而将这些差异特性作为特征输入分类器进行真假人脸二分类判断。为了使得防御算法更加鲁棒，通常会同时利用手工特征和CNN特征进行描述，并且融合纹理、运动等多种差异特性。但基于纹理分析的方法需要高分辨率的输入图像以及较好的采集质量以便获得更精准的纹理细节；相比于仅靠纹理来进行防御，动态线索对于打印攻击以及静态视频重放攻击具有一定的效用，但由于需要用户的高度配合以完成验证，用户体验不佳且欺骗成本低；在可见光下基于纹理、运动信息的活体检测方法对照明较为敏感，易受其影响，基于多光谱的活体检测方法是依据皮肤和其他材质在光谱反射率上的差异来判定真假人脸，对光照不敏感，可抵抗多种攻击，但此类方法对于采集条件较严格，设备要求较高；基于多特征融合的活体检测方法往往可以在机理上形成互补，提高检测率，性能较单个方法检测时有显著提高，但同时可能面临着平均处理时间较长，对硬件要求较高的问题。

如上所述，研究者们提出了大量的人脸活体检测技术方法，这些在一定程度上都能够减少人脸识别***被非合法用户侵入的可能性，但这些方法或是需要测试者的高度主观配合来完成检测，或是需要额外高成本复杂设备的补给，不能满足人脸活体检测中所需的低成本、高稳定性的检测需求。

发明内容

本发明的目的是为解决上述技术问题的不足，提供一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，该方法无用户交互性要求，无需高端复杂的附加设备，双重认证的加持更使其真正达到了人脸检测的检测需求。

本发明为解决上述技术问题的不足，所采用的技术方案是：一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，包括一重判定和二重判定，若一重判定为真，则进行第二重判定，具体为：

一重判定：

1.1、训练数据集的采集和预处理；

1.2、使用局部二进制模式的运算符提取RGB图像的纹理特征；

1.3、将提取的纹理特征输入分类器进行一重防伪判定；

二重判定：

2.1、提取近红外数据集的全局特征；

2.2、将提取的局部纹理特征和全局特征输入改进的卷积网络进行特征融合；

2.3、将融合的特征输入改进的CNN网络进行分类来判定人脸的真伪。

作为本发明一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法的进一步优化：所述步骤1.1中数据采集的具体方法为：使用RealSense深度摄像头装置来采集大量的活体和非活体视频RGB与近红外数据。

作为本发明一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法的进一步优化：所述步骤1.1中数据预处理的具体方法为：对RGB和近红外数据进行标注，得到其坐标值。标注内容具体包括人脸框和人脸5个关键点即左眼、右眼、鼻尖、左嘴角、右嘴角。

作为本发明一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法的进一步优化：所述步骤1.2的具体方法为：

1)、对图像进行分块处理；

2)、对分块后的各个区域分别进行LBP-TOP特征提取。

作为本发明一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法的进一步优化：所述步骤2)的具体方法为：

1)、采用等价模式LBP进行特征值提取；

等价模式LBP特征值计算：

其中，P表示领域像素的个数；R是领域的半径；i_c是灰度值；i_p是相邻像素的灰度值；s是符号函数；

2)、计算每个区域的直方图并进行归一化处理；

3)、连接每个区域的统计直方图合成一个特征向量。

作为本发明一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法的进一步优化：所述步骤2.2的具体方法为：

1)、采用改进的网络结构对特征进行加权；

2)、将加权后的局部特征和全局特征进行融合。

作为本发明一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法的进一步优化：所述改进的网络结构包括＂Squeeze-and-Excitation＂网络块，＂Squeeze-and-Excitation＂由Squeeze部分和Excitation部分构成。

作为本发明一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法的进一步优化：所述Squeeze部分具体为将特征图聚合获得维度为WxH的特征图，经过池化操作将各个特征图的全局感受野的空间信息置入到特征图中，而后面的网络层就能够根据这个特征图获得全局感受野的信息，利用下面公式将空间上所有点的信息都平均为一个值；

其中，由上一步卷积得到的全局特征输出就是U，或者称为C个大小为H×W的featuremap，U_C表示U中第C个张量，下标c表示channel。

作为本发明一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法的进一步优化：所述Excitation部分具体为：先降低特征维度，然后经过Relu激活后再通过一个全连接层升回到原来的维度,然后通过sigmoid获得0-1之间归一化的权重，将输出的权重看做是经过特征选择后的每个特征通道的重要性，通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，得到加权后的特征；

F_ex(z，W)＝σ(w₂δ(w₁z))

其中，Squeeze得到的结果是z，这里先用w₁乘以z，就是一个全连接层操作，w₁的维度是C/r*C，这里r为缩放比例，z的维度是1×1×C，w₁z的结果就是1×1×C/r；然后再经过一个Relu层，输出的维度不变,然后再和w₂相乘，和w₂相乘也是一个全连接层的过程，w₂的维度是C*C/r，因此输出的维度就是1×1×C最后再经过sigmoid函数，得到用来刻画张量U中c个featuremap的权重s。

作为本发明一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法的进一步优化：特征融合不仅涵盖近红外数据的全局特征，还包括RGB数据的纹理特征。

有益效果本发明的方法基于RGB以及近红外数据集构建了一个大数据量、多模态数据集，采用LBP-TOP纹理描述符以及卷积网络和改进的网络模块，可实现双重认证人脸防伪，本发明的人脸防伪方法无用户交互性要求，无需高端复杂的附加设备，双重认证的加持更使其真正达到了人脸检测的低成本，高时效性检测需求。

附图说明

图1为本发明实施例的双重认证人脸防伪方法的流程图：

图2为本发明实施例的双重认证人脸防伪方法中近红外数据集全局特征提取所用卷积网络的结构图；

图3为本发明实施例的双重认证人脸防伪方法中改进的卷积网络包含新增模块＂Squeeze-and-Excitation＂(虚线框内)的结构图。

具体实施方式

以下结合具体实施方式进一步对本发明的技术方案进行阐述。

一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，包括以下步骤一重防伪判断包括：

1.1、训练数据集的采集和预处理；

1)、数据采集：使用RealSense深度摄像头装置来采集大量的活体和非活体视频RGB与近红外数据。其中非活体数据的采集过程主要是对打印的高清人脸照片和拍摄的人脸视频进行翻拍，每段视频拍摄设定为连续的1000帧图片，并生成其标签，真假人脸分别设置为0和1；

2)、数据预处理：主要使用MTCNN工具对数据进行标注，为了使MTCNN能够更精准的标注近红外人脸的5个关键点和人脸框，得到其坐标值，我们对10000张近红外图片进行了关键点和人脸框的手工标注。然后将其作为训练集对MTCNN网络进行了训练，得到可对近红外数据进行标注的模型。最后根据检测到的人脸框和关键点对图像进行仿射变换，使人脸图像对齐处于同一位置。

2.2、使用局部二进制模式的运算符提取RGB图像的纹理特征；

LBP-TOP是LBP从二维空间到三维空间的扩展，LBP描述符常被用来表述真假人脸间的纹理差异来达到检测攻击的目的，主要用于单帧图片。而LBP-TOP则是从视频以及图像序列出发，还考虑到了时间特征，给出了重要的动态纹理信息，提取XY、YT、XT三个正交平面的纹理信息，其中T是时间轴(帧序列)；

1)、先对图像进行分块处理，将检测窗口划分为4*4小区域；

2)、对这些区域分别进行LBP-TOP特征提取；由于LBP-TOP是高维特征，在三个正交平面提取LBP时采用等价模式LBP即uniform code编码(当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳边时，该LBP所对应的二进制就被称为一个等价模式类)进行降维，每个区域从原来的256维降到实际应用中的59维。

等价模式LBP特征值计算：

其中，P表示领域像素的个数；R是领域的半径；i_c是灰度值；i_p是相邻像素的灰度值；s是符号函数；

3)、计算每个区域的直方图，即每个数字出现的频率；然后对该直方图进行归一化处理(统计出直方图每个区间内相同的数目，除以直方图像素总数进行归一化)；

4)、将得到的每个区域的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP-TOP纹理特征向量。

步骤3：将提取的纹理特征输入分类器进行一重防伪判定；

将训练集归一化的特征向量送入支撑向量机SVM分类器，通过参数调试来优化分类器性能，训练出数据模型；

通过之前基于LBP-TOP纹理特征描述符的判定，我们对真假人脸有了初步的判定，当判定为假脸时，将其归为假的一类；当判定为真时，进行二重判定，步骤如下：

2.1、近红外数据集全局特征的提取；

将裁剪的面部区域调整为112×112的大小，并使用随机浮动，旋转，调整大小，裁剪和颜色失真来进行数据增强。将预处理后的近红外图像输入卷积网络进行全局特征的提取，经过2,000次迭代训练，初始学习率为0.1，每1000次迭代后学习率减少10倍。使用随机梯度下降SGD算法进行优化，卷积网络结构如图2所示。

此处将resnet18作为主要网络架构，卷积部分使用3个block，每个block包括卷积层、BatchNorm层、avg-pooling层、Dropout层、全连接层等结构。它通过3*3卷积的堆叠来实现信息的提取，得到全局特征。

步骤2：将提取的局部纹理特征和全局特征输入改进的卷积网络进行特征融合；

如图3所示，此处的卷积网络中添加了新的网络结构单元，称之为＂Squeeze-and-Excitation＂网络块(虚线框内)。它主要由Squeeze部分和Excitation部分构成，能够让网络从全局信息出发通过强化重要的特征来提升准确率。图中的前半部分是传统的卷积结构，新增加的部分是卷积网络输出后的部分。对输出先做一个GAP(GlobalAveragePooling)即Squeeze过程，然后将输出的数据再经过两级全连接即Excitation过程，输出得到加权后的特征。这种结构使网络从全局信息出发来选择性的放大有价值的特征并且抑制无用的特征，从而让提取的特征指向性更强。细节部分如下：

Squeeze部分：

由于每个卷积核都是以一个局部感受野的方式进行卷积因此输出的各个数据单元不能利用数据单元以外的纹理信息。为了使这一问题得到解决，将一个通道特征图中的整个图中位置的信息相融合，使得评估更准确。这个过程通过全局平均池化层来实现，将特征图聚合获得维度为WxH的特征图，经过池化操作将各个特征图的全局感受野的空间信息置入到特征图中，而后面的网络层就能够根据这个特征图获得全局感受野的信息。用求平均的方法(公式1)，将空间上所有点的信息都平均成了一个值。

其中，由上一步卷积得到的全局特征输出就是U，或者称为C个大小为H×W的featuremap，U_C表示U中第C个张量，下标c表示channel。

Excitation部分：

由两个全连接层组成去建模通道间的相关性，并输出和输入特征同样数目的权重。首先将特征维度降低到输入的1/16(实验表明使用16作为压缩比例较合适)，然后经过Relu激活后再通过一个全连接层升回到原来的维度。这样比直接用一个全连接层的好处在于它具有更多的非线性，可以更好的拟合通道间复杂的相关性；此外还极大的减少了参数量和计算量。然后通过sigmoid获得0-1之间归一化的权重，将输出的权重看做是经过特征选择后的每个特征通道的重要性，通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，得到加权后的特征。

F_ex(z，W)＝σ(w₂δ(w₁z))

其中，Squeeze得到的结果是z，这里先用w₁乘以z，就是一个全连接层操作，w₁的维度是C/r*C，这里r为缩放比例，z的维度是1×1×C，w₁z的结果就是1×1×C/r；然后再经过一个Relu层，输出的维度不变,然后再和w₂相乘，和w₂相乘也是一个全连接层的过程，w₂的维度是C*C/r，因此输出的维度就是1×1×C最后再经过sigmoid函数，得到用来刻画张量U中c个feature map的权重s。

步骤3：将融合的特征输入改进的CNN网络进行分类来判定人脸的真伪。

将重加权的特征与之前的LBP-TOP特征串联进行特征融合，通过卷积层从融合的特征块中学习更多的区别特征。再经过GAP与两个全连接层操作获取各种模态特征的权重，进行最后的分类，得到判定结果。

由此，通过双重防伪认证实现了人脸活体检测，达到区分真假人脸的作用。综上所述，本实施例公开了一种基于大规模近红外数据集的双重认证人脸防伪方法。该方法能够在无用户交互性、无需高端复杂的附加设备下提高人脸防伪检测识别准确率。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，其特征在于：包括一重判定和二重判定，若一重判定为真，则进行第二重判定，具体为：

一重判定：

1.1、训练数据集的采集和预处理；

1.2、使用局部二进制模式的运算符提取RGB图像的纹理特征；

1.3、将提取的纹理特征输入分类器进行一重防伪判定；

二重判定：

2.1、提取近红外数据集的全局特征；

2.2、将提取的局部纹理特征和全局特征输入改进的卷积网络进行特征融合；

2.3、将融合的特征输入改进的CNN网络进行分类来判定人脸的真伪。

2.如权利要求1所述一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，其特征在于：所述步骤1.1中数据采集的具体方法为：使用RealSense深度摄像头装置来采集大量的活体和非活体视频RGB与近红外数据。

3.如权利要求1所述一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，其特征在于：所述步骤1.1中数据预处理的具体方法为：对RGB和近红外数据进行标注，得到其坐标值。标注内容具体包括人脸框和人脸5个关键点即左眼、右眼、鼻尖、左嘴角、右嘴角。

4.如权利要求1所述一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，其特征在于：所述步骤1.2的具体方法为：

1)、对图像进行分块处理；

2)、对分块后的各个区域分别进行LBP-TOP特征提取。

5.如权利要求4所述一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，其特征在于：所述步骤2)的具体方法为：

1)、采用等价模式LBP进行特征值提取；

等价模式LBP特征值计算：

其中，P表示领域像素的个数；R是领域的半径；i_c是灰度值；i_p是相邻像素的灰度值；s是符号函数；

2)、计算每个区域的直方图并进行归一化处理；

3)、连接每个区域的统计直方图合成一个特征向量。

6.如权利要求1所述一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，其特征在于：所述步骤2.2的具体方法为：

1)、采用改进的网络结构对特征进行加权；

2)、将加权后的局部特征和全局特征进行融合。

7.如权利要求1所述一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，其特征在于：所述改进的网络结构包括＂Squeeze-and-Excitation＂网络块，＂Squeeze-and-Excitation＂由Squeeze部分和Excitation部分构成。

8.如权利要求7所述一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，其特征在于：所述Squeeze部分具体为将特征图聚合获得维度为WxH的特征图，经过池化操作将各个特征图的全局感受野的空间信息置入到特征图中，而后面的网络层就能够根据这个特征图获得全局感受野的信息，利用下面公式将空间上所有点的信息都平均为一个值；

其中，由上一步卷积得到的全局特征输出就是U，或者称为C个大小为H×W的featuremap，U_C表示U中第C个张量，下标c表示channel。

9.如权利要求7所述一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，其特征在于：所述Excitation部分具体为：先降低特征维度，然后经过Relu激活后再通过一个全连接层升回到原来的维度,然后通过sigmoid获得0-1之间归一化的权重，将输出的权重看做是经过特征选择后的每个特征通道的重要性，通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，得到加权后的特征；

F_ex(z，W)＝σ(w₂δ(w₁z))

其中，Squeeze得到的结果是z，这里先用w₁乘以z，就是一个全连接层操作，w₁的维度是C/r*C，这里r为缩放比例，z的维度是1×1×C，w₁z的结果就是1×1×C/r；然后再经过一个Relu层，输出的维度不变,然后再和w₂相乘，和w₂相乘也是一个全连接层的过程，w₂的维度是C*C/r，因此输出的维度就是1×1×C最后再经过sigmoid函数，得到用来刻画张量U中c个feature map的权重s。

10.如权利要求6所述一种基于大规模RGB以及近红外数据集的双重认证人脸防伪方法，其特征在于：特征融合不仅涵盖近红外数据的全局特征，还包括RGB数据的纹理特征。