CN108009531B - 一种多策略防欺诈的人脸识别方法 - Google Patents

Abstract

本发明公开一种多策略防欺诈的人脸识别方法，包括：步骤1、人脸检测过程中，检测眼睛瞳孔位置是否存在近红外设备产生的亮瞳，检测人脸区域位置人脸肤色灰度区间内，方差是否符合阈值，判断是否为欺诈行为攻击；步骤2、根据人脸识别过程的动态性，在人脸识别的验证过程，基于Candide‑3模型3D人脸重建进行微表情的检测，比较相邻3帧间的人脸特征与3D模型的相似度，设置合理阈值规避过于近似的人脸。

Description

一种多策略防欺诈的人脸识别方法

技术领域

本发明属于生物特征识别领域，尤其涉及一种多策略防欺诈的人脸识别方法。

背景技术

目前人脸识别技术得到广泛应用，人脸识别技术主要目标是能识别人脸图像的身份，然而人脸识别过程面临多重欺诈手段，于是辨别所输入人脸的真伪成为人脸识别技术中一个迫切需要解决的问题。人脸识别技术主要面临着三种欺诈手段：合法用户的人脸图片、合法用户的人脸视频、合法用户的3D模型。传统的活体检测方式往往针对单一欺诈手段，伪造攻击很容易抓住短板进行攻击。或者采用用户配合进行动作验证的方式，这种方式用户体验差，抵抗能力一般。只有使用多层次的策略才能够有效应对复杂多面的欺骗攻击。

发明内容

本发明针对现有技术中存在的不足之处，提出一种多策略防欺诈的人脸识别方法,有效防止照片、电子设备图像及视频的欺骗攻击，充分利用“木桶原理”考虑欺诈行为的多样性，采取多层次的策略，同时考虑人脸识别过程的实时性。

具体而言，是综合考虑人脸识别流程中的多个环节面临的多种欺诈手段，在人脸注册，人脸检测，人脸识别的流程里，在用户不需要动作验证的情况下，防止普通用户使用合法用户的人脸照片，或者使用电子设备播放图片和视频进行欺诈行为。因为使用近红外摄像头作为视频流采集设备，利用近红外摄像头的特性不仅可以规避电子屏幕的欺诈攻击，使用红外灯在瞳孔产生的亮瞳效应也是有效的避免人脸照片的欺诈攻击手段，而且使用近红外摄像头可以在无照明、低可见度环境下正常工作。在人脸注册环节，使用基于残差的卷积神经网络Resnet模型提取人脸特征128维向量保存到人脸特征库。在人脸检测环节在可近红外图像下，采用亮瞳效应和肤色模型双通道设计。在人脸识别阶段充分利用欺诈攻击时的特征单一性、动态性从而对欺诈的人脸识别进行拦截。

本发明采用如下技术方案：

步骤一：对获取人脸图像进行人脸检测，在近红外图像人脸检测过程中，使用GBDT算法进行人脸关键点检测，对人脸眼睛进行粗定位，再对瞳孔进行精定位，检测是否存在近红外摄像头照明结构产生的亮瞳效应；同时对近红外图像中人脸区域肤色直方图统计，判断是否符合真实人脸；

步骤二：在人脸识别过程中，使用基于残差的卷积神经Resnet模型，提取三帧内人脸特征，计算欧式空间距离，规避过于接近的人脸，满足条件加入人脸特征队列；使用检测时的人脸关键点，基于Candide-3模型进行3D人脸重建，提取三帧内人脸3D模型,计算R方拟合优度判定系数，检测是否有微表情的变化，满足条件后将人脸识别的特征队列中的特征与人脸注册的人脸库进行欧式距离比对，以完成人脸识别。

本发明的人脸识别方法，适用于严格的人脸身份认证，可以防止用户在身份验证过程中，使用合法用户的人脸照片或者合法用户视频资料欺诈认证。根据“木桶原理”，针对不同的欺诈手段，本发明使用不同的方式或多种策略。为了避免电子设备图像欺诈攻击本发明采用近红外图像采集视频流的方式。近红外摄像头可以适应不同光照环境，同时近红外摄像头可以屏蔽电子设备屏幕成像；是本***中重要的防欺诈策略之一。

所述步骤一中根据梯度提高学习的回归树方法进行人脸关键点的检测，对眼睛位置进行定位，之后通过霍夫曼圆检测瞳孔定位，对瞳孔区域灰度二值化计算，计数白色斑点的像素数，通过大小阈值设为2到10像素，衡量是否检测近红外摄像头照明结构产生的亮瞳效应，防止合法的人脸照片欺诈行为。同时，对脸部区域图像进行肤色模型灰度直方图模型匹配，在灰度值区间75至95内进行方差运算，若小于18判断为欺诈行为。防止使用特殊处理的合法用户图片欺诈攻击。

所述步骤二中，针对人脸识别过程的动态性在进行注册时使用基于残差的卷积神经网络Resnet模型提取人脸特征128维向量，分别注册近红外人脸图像与可见光人脸图像，建立近红外人脸库与可见光人脸库用于识别检索；在进行人脸识别过程中，使用基于残差的卷积神经网络Resnet模型，提取三帧内人脸特征，计算欧式空间距离，阈值范围为0.8至0.98，此范围内为相似度正常情况，满足条件将特征加入人脸识别的特征队列。根据人脸检测过程中进行的人脸关键点检测，基于Candide-3模型进行人脸3D模型重建，提取三帧内人脸3D模型参数,计算R方拟合优度判定系数，阈值范围为0.8至0.98检测是否有微表情的变化。最后将人脸识别的特征队列中的特征与人脸注册的人脸库进行比对，计算欧式距离，设置阈值为大于0.6，满足条件匹配成功。

因此，本发明具有如下优点：能够站在实际使用的角度上综合考虑用户体验与用户身份认证的安全性，在身份验证的过程中，用户不需要进行动作表情配合，在用户非接触的情况下进行身份的防欺诈认证，并且能够有效防止人脸身份认证的整个流程面临的多种身份欺诈行为，所使用的硬件设备具有成本低，具有不受光照影响的特点，保证本发明可以在全天候，复杂环境使用。

附图说明

图1为本发明提出的方法的整体流程图。

具体实施方式

下面通过实施例，对本发明的技术方案作进一步具体的说明。

本发明提供一种多策略防欺诈的人脸识别方法，适用于近红外(NIR)摄像头视频采集平台。根据“木桶原理”的思想，本发明在人脸识别的每个环节中使用多层次的防欺诈手段可以提高***的安全性能，整体框架如图1所示，针对不同的欺诈认证行为采取措施，在用户非动作配合情况下，快速进行认证。

如图1所示，本发明提供一种多策略防欺诈的人脸识别方法，包括以下步骤：

步骤一：利用近红外摄像头采集图像进行多张人脸注册

人脸注册可以保证人脸识别的真实性；注册多张人脸图片可以较少漏检率，增加人脸识别的准确性；采用近红外人脸图像注册可以从源头上减少人脸识别面临的欺诈行为。

本发明利用近红外的成像特点：近红外摄像头可以使本***适应不同光照环境，同时近红外摄像头可以利用NIR近红外光的光谱特性有效防止电子设备的欺诈图像攻击，这是第一个活体检测通道。

用户可以在无照明、低可见度环境下快速的通过验证。从近红外视频流中的图像通过滑动窗口的检测窗口，使用基于Hog特征的人脸检测算法检测人脸，HOG特征检测算法是将近红外图像的YUV通道图像转换为灰度图，再通过Gamma平方根标准化校正(如公式一所示其中γ＝0.5)将图像整体亮度进行提高或者降低，从而实现颜色空间归一化；

Y(x，y)＝I(x，y)^γ

公式一

其中，(x,y)表示像素在图像中坐标值,I(x,y)表示原图像灰度平方差求和，Y(x,y)表示得到处理后的图像

然后对经过颜色空间归一化后的图像，在水平和垂直方向进行梯度及梯度方向计算，

梯度算子如公式二所示:

G_x(x，y)＝I(x+1，y)-I(x-1，y)

G_y(x，y)＝I(x，y+1)-I(x，y-1)

公式二

其中，(x,y)表示像素在图像中坐标值。G(x,y)表示求得图像的灰度梯度，下标代表方向，

将图像划分为多个单元进行梯度方向直方图统计并进行特征向量归一化，得出的Hog特征向量使用SVM分类器进行判断是否存在人脸。

步骤二：将检测到的人脸图片分别送入亮瞳检测通道与肤色匹配检测通道，这是第二个活体检测通道。

在亮瞳检测过程中，检测的是图像是否存在近红外摄像头照明结构产生的亮瞳效应。根据梯度提高学习的回归树方法进行眼睛区域定位，梯度提高学习的回归树方法用的最速下降法去求解损失函数的最优解,其中用CART决策树去拟合负梯度,用牛顿法求步长。对眼睛区域图像进行区域二值化处理，计算瞳孔中白色斑点的大小，大小阈值设为2到10像素，从而检测是否存在近红外摄像头照明结构产生的亮瞳效应，防止合法的人脸照片欺诈行为。

肤色匹配检测是根据近红外图像中人脸区域肤色直方图统计，计算域内(灰度值区间(75,95))方差是否小于18判别是否存在合法的人脸照片欺诈，根据亮瞳效应与肤色模型双通道设计，有效防止特殊处理的合法人脸欺诈。

步骤三：当人脸图像不能同时满足两通道条件时，流程终止，进入下一帧图像的检测流程，反之，使用ResNet模型提取身份特征，本发明采用的ResNet架构模型主要包含残差模块与度量学习模块输入图像尺寸归一化为长宽为150像素，残差模块使用大量的运算经济型、尺寸为3*3卷积核与1*1卷积核，由于ResNet采用残差模块的模块设计即增加一个identitymapping(恒等映射)，将原始所需要学的函数H(x)转换成F(x)+x，可以有效解决梯度消散问题，通过步长为2的卷积与池化层处理，图像被提取为1*1*256的特征表示，全连接到长度为128的全连接层，使用三元组损失函数进行度量学习，损失函数如公式三(其中f(x)函数为三元组中的每个元素的特征表达，+表示[]内的值大于零的时候，取该值为损失，小于零的时候，损失为零)所示：

其中，f(x)函数为三元组中的每个元素的特征表达，+表示[]内的值大于零的时候，取该值为损失，小于零的时候，损失为零,上标p代表相同人特征，n表示非相同人特征。

编码长度设置为128位，用128维特征向量来抽象的表示人脸图像的特征值。将模型提取到的人脸特征加入设计的人脸特征队列。

针对人脸识别过程的动态性特征，即验证过程中人脸角度会有所变化，产生微表情的改变。采用动态验证的方式为第三个活体检测通道。人脸特征队列设置长度为3，通过计算两个128维向量欧式距离衡量人脸特征的相似度，如公式四所示：

其中，d表示欧式距离，x表示人脸特征向量。

设置阈值为小于0.98大于0.8规避欺诈过程中人脸相似度过高的问题，满足条件将特征加入人脸识别的特征队列。如果队列中的人脸特征相似度高于0.98则判定为遭到欺诈性人脸认证，清空当前的特征队列并且结束流程，进行对近红外视频流下一帧图像的操作流程。

同时，利用人脸检测过程中检测到的关键点进行基于Candide-3模型的人脸3D形状重建。Candide模型是一种参数化的模型，应用该模型进行3D人脸绘制只需要很少的计算时间，从而广泛应用于视频传输以及视频动画当中。Candide-3是Candide模型的第3个版本，它由113个顶点与168个面组成。通过对该模型113个顶点的坐标连接便可绘制出该模型。人脸3D模型重建第一步为初始化Candide-3标准模型,将Candide-3模型在三维坐标空间中的X、Y、Z三轴上的极值记录为minX、maxX、minY、maxY、minZ、maxZ，作为初始纹理映射坐标的依据。任何载入人脸图像进行坐标映射，(0，0)对应到空间坐标系的(minX，minY，0)，材质坐标(0，1)映射到(minX，maxY，0)，(1，0)映射到(maxX，minY，0)，(1，1)映射到(maxX，maxY，0)。

通过对关键点的坐标进行微调，将Candide3的模型中每一个点P(x，y，z)，对其向XY平面做投影，分别与输入人脸图像的所对应的关键点对应，从而生成人脸的3D模型。通过计算队列内3D模型的判定系数R方(如公式五所示)衡量是否存在微表情变化。

其中，x,y,z表示为人脸3D模型中的坐标，带有上标的x,y,z为用来比对的人脸3D模型坐标。

如果R方在区间0.8至0.98内，则将近红外视频流中提取的特征队列中的特征与人脸注册的近红外人脸库特征进行比对，设置阈值为大于0.6，计算欧式距离，满足条件匹配成功。可见光视频流同时采集人脸图像进行人脸特征提取，提取的特征与人脸注册的可见光人脸库特征进行比对，设置阈值为大于0.6，计算欧式距离，满足条件匹配成功。完成整个识别流程需要在近红外人脸库和可见光人脸库同时通过。若是可视光摄像头成像不佳情况下，可以使用近红外单通道验证。

本发明中不仅在采集图像的源头进行防欺诈设计，而且在人脸检测与动态识别过程中分别采用双通道的活体检测策略，构成多层次的防欺诈人脸识别***，可以有效的提高***的安全性，防止来源于图片图像与电子设备图像的欺诈攻击。在神经网络设计上，充分考虑运算经济性，充分发挥近红外(NIR)摄像头的优势，光照适应性强，达到良好的交互性与降低***运行成本的目的。

本发明在南京航空航天大学的活体检测数据集基础上，添加数据进行了实验认证。测试数据包括来自20位用户的多视角、多种欺诈手段负样本图像共83张，其具体组成如表10所示。测试数据正样本包括10位用户125次通过测试。实验结果为：照片的活体检测的正确率达到了96.38％，电子屏幕欺诈攻击时活体检测正确率达到100％，人脸识别的总体正确率达到97.60％。

本发明可以以其他的具体形式实现，而不脱离其精神和本质特征。例如，特定实施例中所描述的方法可以被修改，而***体系结构并不脱离本发明的基本精神。因此，当前的实施例在所有方面都被看作是示例性的而非限定性的，本发明的范围由所附权利要求而非上述描述定义，并且，落入权利要求的含义和等同物的范围内的全部改变从而都被包括在本发明的范围之中。

Claims (1)

1.一种多策略防欺诈的人脸识别方法，其特征在于，包括以下步骤：

步骤一：对获取人脸图像进行人脸检测，将检测到的人脸图片分别送入亮瞳检测通道与肤色匹配检测通道，在近红外图像人脸检测过程中，使用GBDT算法进行人脸关键点检测，对人脸眼睛进行粗定位，再对瞳孔进行精定位，检测是否存在近红外摄像头照明结构产生的亮瞳效应；同时对近红外图像中人脸区域肤色直方图统计，判断是否符合真实人脸，当人脸图像不能同时满足两通道条件时，流程终止，进入下一帧图像的检测流程；

步骤二：在人脸识别过程中，使用基于残差的卷积神经Resnet模型，提取三帧内人脸特征，计算欧式空间距离，规避过于接近的人脸，满足条件加入人脸特征队列；使用检测时的人脸关键点，基于Candide-3模型进行3D人脸重建，提取三帧内人脸3D模型,计算R方拟合优度判定系数，检测是否有微表情的变化，满足条件后将人脸识别的特征队列中的特征与人脸注册的人脸库进行欧式距离比对，以完成人脸识别；

所述步骤一中，根据梯度提高学习的回归树方法进行人脸关键点的检测，对眼睛位置进行定位，之后通过霍夫曼圆检测瞳孔定位，对瞳孔区域灰度二值化计算，计数白色斑点的像素数，通过大小阈值设为2到10像素，衡量是否检测近红外摄像头照明结构产生的亮瞳效应，若白色斑点像素数不在2到10的区间，则判断为欺诈行为；同时对脸部区域图像进行肤色模型灰度直方图模型匹配，在灰度值区间75至95内进行方差运算，若小于18判断为欺诈行为；

所述步骤二中，针对人脸识别过程的动态性在进行注册时使用基于残差的卷积神经网络Resnet模型提取人脸特征，用128维特征向量来抽象表示人脸图像的特征值，分别注册近红外人脸图像与可见光人脸图像，建立近红外人脸库与可见光人脸库用于识别检索；该网络中的度量学习模块采用三元组损失函数，如公式三所示：

其中f(x)函数为三元组中的每个元素的特征表达，+表示[]内的值大于零的时候，取该值为损失，小于零的时候，损失为零,上标p代表相同人特征，n表示非相同人特征；

在进行人脸识别过程中，使用基于残差的卷积神经网络Resnet模型，提取三帧内人脸特征，计算欧式空间距离，阈值范围为0.8至0.98，此范围内为相似度正常情况，满足条件将特征加入人脸识别的特征队列，否则清空当前的特征队列并且结束流程，进行对近红外视频流下一帧图像的操作流程；根据人脸检测过程中进行的人脸关键点检测，基于Candide-3模型进行人脸3D模型重建，提取三帧内人脸3D模型参数,计算R方拟合优度判定系数，如公式五所示：

其中，x,y,z表示为人脸3D模型中的坐标，带有上标的x,y,z为用来比对的人脸3D模型坐标；

设置R²阈值范围为0.8至0.98，检测是否有微表情的变化；如果R²在0.8到0.98范围内，将人脸识别的特征队列中的特征与人脸注册的人脸库进行比对，计算欧式距离，设置阈值为大于0.6，满足条件匹配成功。

Images