CN111967319B - 基于红外和可见光的活体检测方法、装置、设备和存储介质 - Google Patents
基于红外和可见光的活体检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111967319B CN111967319B CN202010673553.9A CN202010673553A CN111967319B CN 111967319 B CN111967319 B CN 111967319B CN 202010673553 A CN202010673553 A CN 202010673553A CN 111967319 B CN111967319 B CN 111967319B
- Authority
- CN
- China
- Prior art keywords
- face
- detected
- detection
- living body
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 193
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 28
- 238000012216 screening Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 24
- 238000013145 classification model Methods 0.000 claims description 20
- 238000003708 edge detection Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000003331 infrared imaging Methods 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 description 20
- 210000003128 head Anatomy 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于红外和可见光的活体检测方法，包括：获取待检测用户的待检测人脸图片；对待检测人脸图片进行预处理；对连续获取的若干张进行完预处理后的待检测人脸图片进行人脸动作检测；其中，人脸动作检测包括眼睛动作检测、嘴巴动作检测和头部动作检测中的至少一种；根据人脸动作检测的结果判断若干张待检测人脸图片中是否有预设数量的所述待检测人脸图片满足预设的活体检测条件；若是，判断待检测用户为活体；若否，判断待检测用户为非活体。本发明还公开了一种基于红外和可见光的活体检测装置、设备和一种计算机可读存储介质。采用本发明实施例，能够提高活体检测的准确率同时降低安全隐患，且无需用户动作配合，人性化程度高。
Description
技术领域
本发明涉及人脸识别领域，尤其涉及一种基于红外和可见光的活体检测方法、装置、设备和存储介质。
背景技术
随着人脸识别技术的广泛应用，人脸照片、人脸视频、三维面具等假体人脸攻击方式层出不穷，人脸活体检测越来越受到工业界以及学术界的关注。人脸活体检测也逐渐成为人脸识别***中不可或缺的环节。现有的活体人脸检测算法通常在性能上表现出准确率不足以满足需求的特点，很大原因是信息采集源是可见光摄像头，其算法容易受到环境和光照的影响，使得算法的泛化性不好；比如基于光流检测的方式，适用于用户的运动场景，对于单张人脸图片检测效果较差，导致活体检测准确率低。另外，现有的活体人脸检测算法在很大程度上能够被某些视频合成软件通过合成符合机器指令的人脸视频所破解，存在着不安全的隐患。
发明内容
本发明实施例的目的是提供一种基于红外和可见光的活体检测方法、装置、设备和存储介质，能够提高活体检测的准确率同时降低安全隐患，且无需用户动作配合，人性化程度高。
为实现上述目的，本发明实施例提供了一种基于红外和可见光的活体检测方法，包括：
获取待检测用户的待检测人脸图片；
对所述待检测人脸图片进行预处理；
对连续获取的若干张进行完预处理后的所述待检测人脸图片进行人脸动作检测；其中，所述人脸动作检测包括眼睛动作检测、嘴巴动作检测和头部动作检测中的至少一种；
根据人脸动作检测的结果判断若干张所述待检测人脸图片中是否有预设数量的所述待检测人脸图片满足预设的活体检测条件；
若是，判断所述待检测用户为活体；若否，判断所述待检测用户为非活体；
所述对所述待检测人脸图片进行预处理，包括：将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选；对进行完初步筛选后的待检测人脸图片进行边缘检测；将进行完边缘检测的待检测人脸图片输入到预设的人脸关键点定位模型中，以输出携带有人脸关键点特征的待检测人脸图片；将携带有人脸关键点特征的待检测人脸图片输入到预设的最终分类模型中，以对携带有人脸关键点特征的待检测人脸图片进行最终筛选。
作为上述方案的改进，所述初始定位模型包括红外定位模型和可见光定位模型；则，所述将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选，包括：
将所述待检测人脸图片依次输入到所述红外定位模型和预设的初始分类模型中，以对所述待检测人脸图片进行一次筛选；
对所述待检测人脸图片进行完一次筛选后，将所述待检测人脸图片依次输入到所述可见光定位模型和预设的置信度过滤模型中，以对所述待检测人脸图片进行二次筛选。
作为上述方案的改进，所述输出携带有人脸关键点特征的待检测人脸图片后，在将携带有人脸关键点特征的待检测人脸图片输入到预设的最终分类模型中前，还包括：
对携带有人脸关键点特征的待检测人脸图片进行质量检测，以输出符合预设质量检测标准的待检测人脸图片；
利用相似变换矩阵对进行完质量检测的所述携带有人脸关键点特征的待检测人脸图片进行人脸矫正。
作为上述方案的改进，当所述人脸动作检测为眼睛动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，一部分所述待检测人脸图片中的待检测用户处于睁眼状态，另一部分所述待检测人脸图片中的待检测用户处于闭眼状态。
作为上述方案的改进，当所述人脸动作检测为嘴巴动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，所述待检测用户的嘴巴张开超过预设阈值。
作为上述方案的改进，当所述人脸动作检测为头部动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，所述待检测用户的头部转向角度在预设角度范围内。
本发明实施例还提供了一种基于红外和可见光的活体检测装置，包括：
待检测人脸图片获取模块，用于获取待检测用户的待检测人脸图片；
预处理模块，用于对所述待检测人脸图片进行预处理；
人脸动作检测模块，对连续获取的若干张进行完预处理后的所述待检测人脸图片进行人脸动作检测；其中，所述人脸动作检测包括眼睛动作检测、嘴巴动作检测和头部动作检测中的至少一种；
活体判断模块，用于判断若干张所述待检测人脸图片中是否有预设数量的所述待检测人脸图片满足预设的活体检测条件；若是，判断所述待检测用户为活体；若否，判断所述待检测用户为非活体；
所述对所述待检测人脸图片进行预处理，包括：将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选；对进行完初步筛选后的待检测人脸图片进行边缘检测；将进行完边缘检测的待检测人脸图片输入到预设的人脸关键点定位模型中，以输出携带有人脸关键点特征的待检测人脸图片；将携带有人脸关键点特征的待检测人脸图片输入到预设的最终分类模型中，以对携带有人脸关键点特征的待检测人脸图片进行最终筛选。
为实现上述目的，本发明实施例还提供一种基于红外和可见光的活体检测设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的基于红外和可见光的活体检测方法。
为实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一实施例所述的基于红外和可见光的活体检测方法。
与现有技术相比，本发明实施例公开的基于红外和可见光的活体检测方法、装置、设备和存储介质，通过获取待检测用户的待检测人脸图片，并对待检测人脸图片进行预处理，以及对连续获取的若干张进行完预处理后的待检测人脸图片进行人脸动作检测，从而根据人脸动作检测的结果判断若干张待检测人脸图片中是否满足预设的活体检测条件。由于在对用户进行活体检测的过程中，考虑了用户在对准摄像头的过程中，因长时间保持一个姿势会使其自身的眼睛、嘴巴或者头部发生轻微变化，因此，***会自动捕捉这些人脸动作，依据检测到的人脸动作变化来确认当前用户是否活体，充分考虑了用户的使用体验，无需用户动作配合，人性化程度高，还能够提高活体检测的准确率同时降低安全隐患。
附图说明
图1是本发明实施例提供的一种基于红外和可见光的活体检测方法的流程图；
图2是本发明实施例提供的另一种基于红外和可见光的活体检测方法的流程图；
图3是本发明实施例提供的一种基于红外和可见光的活体检测装置的结构示意图；
图4是本发明实施例提供的一种基于红外和可见光的活体检测设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的一种基于红外和可见光的活体检测方法的流程图；所述基于红外和可见光的活体检测方法包括：
S1、获取待检测用户的待检测人脸图片；
S2、对所述待检测人脸图片进行预处理；
S3、对连续获取的若干张进行完预处理后的所述待检测人脸图片进行人脸动作检测；
S4、根据人脸动作检测的结果判断若干张所述待检测人脸图片中是否有预设数量的所述待检测人脸图片满足预设的活体检测条件；
S5、若是，判断所述待检测用户为活体；若否，判断所述待检测用户为非活体。
值得说明的是，本发明实施例所述的基于红外和可见光的活体检测方法可以由人脸识别装置中的处理器执行实现，所述处理器是人脸识别装置的前端设备，集成了数据处理和数据通信等多项功能，具有强大的业务调度功能和数据处理能力。
在训练模型的过程中，选择合适的双目摄像头，在正常状态下采集用户各种角度和姿态的训练集样本，训练集样本包括近红外摄像头下拍摄的真实人脸图片视频，近红外拍摄的伪造人脸图片视频，可见光拍摄的伪造人脸图片视频，可见光摄像头下拍摄的真实人脸图片视频等。其中伪造的人脸图片种类包括：手机拍照图片攻击案管场景下的嵌入式设备；打印人脸信息攻击的案管场景下嵌入式设备；手机视频播放攻击案管场景下的嵌入式设备；3D打印的人脸图片下攻击嵌入式设备等四类攻击照片和正常人脸下嵌入式设备拍摄的红外和可见光图片。
将所有红外和可见光图片分类，视频也进行切帧分类。第一类主要用于RGB&&YUV真人假体检测分类，分类主要用到可见光下拍摄的正常人脸图片和伪活体攻击图片，攻击图片主要包括嵌入式设备拍摄的手机图片攻击，嵌入式设备拍摄的人脸打印图片攻击，嵌入式设备拍摄的视频播放攻击图片，以及3D打印人脸攻击的图片；正常活体图片为正样本，异常攻击伪造人脸图片为负样本。第二类红外和可见光双摄下拍摄的正常人脸图片和伪攻击图片，此类图片主要用来做人脸判断，判断双摄下拍摄的图片是否活体。
具体地，在步骤S1中，获取待检测用户的待检测人脸图片，所述待检测人脸图片可以为所述人脸识别装置的摄像头采集的图片或对视频进行分帧后的图片。
具体地，在步骤S2中，所述对所述待检测人脸图片进行预处理，包括步骤S21～S24：
S21、将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选；
S22、对进行完初步筛选后的待检测人脸图片进行边缘检测；
S23、将进行完边缘检测的待检测人脸图片输入到预设的人脸关键点定位模型中，以输出携带有人脸关键点特征的待检测人脸图片；
S24、将携带有人脸关键点特征的待检测人脸图片输入到预设的最终分类模型中，以对携带有人脸关键点特征的待检测人脸图片进行最终筛选。
具体地，在步骤S21中，所述初始定位模型包括红外定位模型和可见光定位模型；则，所述将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选，包括S211～S212：
S211、将所述待检测人脸图片依次输入到所述红外定位模型和预设的初始分类模型中，以对所述待检测人脸图片进行一次筛选。
根据红外光采集视频和手机照片都将成像成一个黑白的光斑，所以能区分活体与假体。预先训练红外摄像头下的红外定位模型和初始分类模型，所述红外定位模型采用Mobilenet_SSD作为主干网络，通过优化网络结构来提升定位速度和准确率；所述初始分类模型采用Resnet18作为主干网络，交叉熵作为分类损失函数。将所有采集的红外人脸经过所述红外定位模型检测人脸，之后再经过所述初始分类模型分类，判断待检测人脸图片是否假体。
S212、对所述待检测人脸图片进行完一次筛选后，将所述待检测人脸图片依次输入到所述可见光定位模型和预设的置信度过滤模型中，以对所述待检测人脸图片进行二次筛选。
将步骤S211分出的非假体图片采用libfacedetection(人脸检测库)进行可见光RGB人脸定位，所述可见光定位模型可以达到150fps,能满足活体检测对实时性要求。并利用采集的人脸图像预先训练一个MTCNN的Onet网络作为置信度过滤模型，将所述可见光定位模型输出的人脸结果通过Onet模型，降低人脸定位的误检率。
具体地，在步骤S22中，对进行完初步筛选后的待检测人脸图片进行边缘检测。主要原理是打印照片在红外成像下假体边缘纹理比正常颜色格式纹理少且灰度图边缘不明显。主要用到拉普拉斯检测算子和canny检测算子进行人脸的进一步检测判断，判断是否为合格人脸区域，也可以过滤掉非正常人脸，减少后续活体误判。
传统图像处理的方法，直接检测图像的边缘部位，根据方差大小确定人脸区域，因为方差越大，图像色彩越丰富，方差越小，表示图像越不明显；基于以上传统图像处理的方法，活体检测中打印照片在红外成像下假体边缘纹理比正常颜色格式纹理少且灰度图边缘不明显，所以可以采用边缘检测的方法判断打印图片的真人跟假体。边缘检测在实际的操作中，需要对图片进行预处理操作(检测出人脸区域、设置相同大小的图片、图片灰度化等等)只有这样才不会受到图像大小以及除去人脸以外的因素的影响。
示例性的，本发明实施例中对待检测人脸图片进行人脸边缘检测的基本流程包括：首先对图像进行预处理，减少相关参数的影响，并且转化为灰度图；再使用梯度算子(比如3x3的CANNY、拉普拉斯算子)，并计算像素点之间的均值或者均方差，最后得到图像的人脸边缘信息。将方差当做边缘检测的阈值，如果某图片方差低于预先定义的阈值，那么该图片就可以被认为是假体的。
具体地，在步骤S23中，将进行完边缘检测的待检测人脸图片输入到预设的人脸关键点定位模型中，以输出携带有人脸关键点特征的待检测人脸图片。预先采用mobilenet_v2训练68个人脸关键点定位模型，用来定位可见光下人脸关键点，所述人脸关键点定位模型使用mobilenet_v2作为关键点的主干网络,使用深度可分离卷积作为特征提取模块，根据五官区域和轮廓区域分配不同的权重。
值得说明的是，在输出携带有人脸关键点特征的待检测人脸图片后，还包括S231～S232：
S231、对携带有人脸关键点特征的待检测人脸图片进行质量检测，以输出符合预设质量检测标准的待检测人脸图片。因经过S23定位五官关键点之后的人脸区域存在大角度、模糊、遮挡和不完整人脸的问题，这些问题影响活体判断，所以开发人脸优选模型，主要从清晰度、光照明亮程度、人脸大小和姿态以及遮挡物等方面，给出整体的评分，之后再根据优选算法分析出来的评分标准。
示例性的，人脸优选的流程是先从视频流或者图片流中获取一张照片，对这张照片用人脸关键点检测方法，比如Mtcnn/Moblenet等，检测出人脸五官等五个关键点的坐标，并标示出人脸框大小。将此人脸检测的输出信息送到人脸优选模型中，人脸优选模型主要是从图像质量方面做评估，给出整体的评分，之后再由人脸活体检测模块根据优选算法分析出来的评分标准，来选择这个图片适不适合做人脸活体检测，假如分数较低的照片直接过滤掉，不做活体判断，以此来提高人脸活体检测的准确率。
S232、利用相似变换矩阵对进行完质量检测的所述携带有人脸关键点特征的待检测人脸图片进行人脸矫正。将经过步骤S231人脸筛选之后的合格人脸利用五官等五个关键点位置，计算两点之间的相似变换矩阵，利用相似变换矩阵进行人脸矫正，并获取对齐之后的人脸。
具体地，在步骤S24中，将携带有人脸关键点特征的待检测人脸图片输入到预设的最终分类模型中，以对携带有人脸关键点特征的待检测人脸图片进行最终筛选。
示例性的，预先训练一个采用的Mobilenet_v1作为主干网络的最终分类模型，主要进一步区分打印图片和拍照的假体攻击图片。所述最终分类模型采用Mobielent_v1裁剪量化之后的网络，以此加快分类速度。训练好所述最终分类模型可利用此模型提可见光下人脸分类结果。
具体地，在步骤S3中，对连续获取的若干张进行完预处理后的所述待检测人脸图片进行人脸动作检测；其中，所述人脸动作检测包括眼睛动作检测、嘴巴动作检测和头部动作检测中的至少一种。
具体地，在步骤S4～S5中，根据人脸动作检测的结果判断若干张所述待检测人脸图片中是否有预设数量的所述待检测人脸图片满足预设的活体检测条件。当有预设数量的所述待检测人脸图片满足活体检测条件时，判断所述待检测用户为活体；当没有预设数量的所述待检测人脸图片满足活体检测条件时，判断所述待检测用户为非活体。
在第一种可选的实施方式中，当所述人脸动作检测为眼睛动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，一部分所述待检测人脸图片中的待检测用户处于睁眼状态，另一部分所述待检测人脸图片中的待检测用户处于闭眼状态。
示例性的，统计连续十帧图片之间眼睛的状态，记录下连续十次的统计数值，判断方法是根据单帧计算的关键点计算双眼瞳孔距离上下眼皮之间的距离比例，假如连续十帧中有连续6帧以上是睁/闭眼状态，则判定所述待检测用户为活体，反之则判定所述待检测用户为非活体。
在第二种可选的实施方式中，当所述人脸动作检测为嘴巴动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，所述待检测用户的嘴巴张开超过预设阈值。
示例性的，统计连续十帧图片之间的嘴巴闭合状态，记录下连续十次的统计数据，判断方法是根据单帧计算的关键点计算嘴巴中心点距离上下嘴角之间的比例，假如连续十帧有连续6帧以上是嘴巴张开超过预设阈值，则判定所述待检测用户为活体，反之则判定所述待检测用户为非活体。
在第三种可选的实施方式中，当所述人脸动作检测为头部动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，所述待检测用户的头部转向角度在预设角度范围内。
示例性的，统计连续十帧图片之间头部转向角度，记录下连续十次的统计数据，采取欧拉角结合阈值判断，假如连续6帧在预设角度范围(正负60度)内，则判定所述待检测用户为活体，反之则判定所述待检测用户为非活体。
进一步地，上述步骤S1～S4的具体工作过程可参考图2。
与现有技术相比，本发明实施例公开的基于红外和可见光的活体检测方法，通过获取待检测用户的待检测人脸图片，并对待检测人脸图片进行预处理，以及对连续获取的若干张进行完预处理后的待检测人脸图片进行人脸动作检测，从而根据人脸动作检测的结果判断若干张待检测人脸图片中是否满足预设的活体检测条件。由于在对用户进行活体检测的过程中，考虑了用户在对准摄像头的过程中，因长时间保持一个姿势会使其自身的眼睛、嘴巴或者头部发生轻微变化，因此，***会自动捕捉这些人脸动作，依据检测到的人脸动作变化来确认当前用户是否活体，充分考虑了用户的使用体验，无需用户动作配合，人性化程度高，还能够提高活体检测的准确率同时降低安全隐患。
参见图3，图3是本发明实施例提供的一种基于红外和可见光的活体检测装置10的结构示意图；所述基于红外和可见光的活体检测装置10包括：
待检测人脸图片获取模块11，用于获取待检测用户的待检测人脸图片；
预处理模块12，用于对所述待检测人脸图片进行预处理；
人脸动作检测模块13，对连续获取的若干张进行完预处理后的所述待检测人脸图片进行人脸动作检测；其中，所述人脸动作检测包括眼睛动作检测、嘴巴动作检测和头部动作检测中的至少一种；
活体判断模块14，用于判断若干张所述待检测人脸图片中是否有预设数量的所述待检测人脸图片满足预设的活体检测条件；若是，判断所述待检测用户为活体；若否，判断所述待检测用户为非活体。
可选地，所述预处理模块12用于：
将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选；
对进行完初步筛选后的待检测人脸图片进行边缘检测；
将进行完边缘检测的待检测人脸图片输入到预设的人脸关键点定位模型中，以输出携带有人脸关键点特征的待检测人脸图片；
将携带有人脸关键点特征的待检测人脸图片输入到预设的最终分类模型中，以对携带有人脸关键点特征的待检测人脸图片进行最终筛选。
可选地，所述初始定位模型包括红外定位模型和可见光定位模型；则，所述将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选，包括：
将所述待检测人脸图片依次输入到所述红外定位模型和预设的初始分类模型中，以对所述待检测人脸图片进行一次筛选；
对所述待检测人脸图片进行完一次筛选后，将所述待检测人脸图片依次输入到所述可见光定位模型和预设的置信度过滤模型中，以对所述待检测人脸图片进行二次筛选。
可选地，所述预处理模块12还用于：
对携带有人脸关键点特征的待检测人脸图片进行质量检测，以输出符合预设质量检测标准的待检测人脸图片；
利用相似变换矩阵对进行完质量检测的所述携带有人脸关键点特征的待检测人脸图片进行人脸矫正。
可选的，当所述人脸动作检测为眼睛动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，一部分所述待检测人脸图片中的待检测用户处于睁眼状态，另一部分所述待检测人脸图片中的待检测用户处于闭眼状态。
可选的，当所述人脸动作检测为嘴巴动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，所述待检测用户的嘴巴张开超过预设阈值。
可选的，当所述人脸动作检测为头部动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，所述待检测用户的头部转向角度在预设角度范围内。
值得说明的是，本发明实施例所述的基于红外和可见光的活体检测装置10中各个模块的具体工作过程可参考所述活体检测方法的工作过程，在此不再赘述。
与现有技术相比，本发明实施例公开的基于红外和可见光的活体检测装置10，通过获取待检测用户的待检测人脸图片，并对待检测人脸图片进行预处理，以及对连续获取的若干张进行完预处理后的待检测人脸图片进行人脸动作检测，从而根据人脸动作检测的结果判断若干张待检测人脸图片中是否满足预设的活体检测条件。由于在对用户进行活体检测的过程中，考虑了用户在对准摄像头的过程中，因长时间保持一个姿势会使其自身的眼睛、嘴巴或者头部发生轻微变化，因此，***会自动捕捉这些人脸动作，依据检测到的人脸动作变化来确认当前用户是否活体，充分考虑了用户的使用体验，无需用户动作配合，人性化程度高，还能够提高活体检测的准确率同时降低安全隐患。
参见图4，图4是本发明实施例提供的一种基于红外和可见光的基于红外和可见光的活体检测设备20的结构示意图。基于红外和可见光的活体检测设备20包括：处理器21、存储器22以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如行驶控制程序。所述处理器21执行所述计算机程序时实现上述基于红外和可见光的活体检测方法实施例中的步骤，例如图1所示的步骤S1～S5。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能，例如待检测人脸图片获取模块11。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于红外和可见光的活体检测设备20中的执行过程。例如，所述计算机程序可以被分割成待检测人脸图片获取模块11、预处理模块12、人脸动作检测模块13和活体判断模块14，各模块具体功能如下：
待检测人脸图片获取模块11，用于获取待检测用户的待检测人脸图片；
预处理模块12，用于对所述待检测人脸图片进行预处理；
人脸动作检测模块13，对连续获取的若干张进行完预处理后的所述待检测人脸图片进行人脸动作检测；其中，所述人脸动作检测包括眼睛动作检测、嘴巴动作检测和头部动作检测中的至少一种；
活体判断模块14，用于判断若干张所述待检测人脸图片中是否有预设数量的所述待检测人脸图片满足预设的活体检测条件；若是，判断所述待检测用户为活体；若否，判断所述待检测用户为非活体。
具体的各个模块的工作过程可参考上述实施例所述的基于红外和可见光的活体检测装置10的工作过程，在此不再赘述。
所述基于红外和可见光的活体检测设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于红外和可见光的活体检测设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是图像增强设备的示例，并不构成对基于红外和可见光的活体检测设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于红外和可见光的活体检测设备20还可以包括输入输出设备、网络接入设备、总线等。
所称处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述基于红外和可见光的活体检测设备20的控制中心，利用各种接口和线路连接整个基于红外和可见光的活体检测设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述基于红外和可见光的活体检测设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述基于红外和可见光的活体检测设备20集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (8)
1.一种基于红外和可见光的活体检测方法，其特征在于，包括：
获取待检测用户的待检测人脸图片；
对所述待检测人脸图片进行预处理；
对连续获取的若干张进行完预处理后的所述待检测人脸图片进行人脸动作检测；其中，所述人脸动作检测包括眼睛动作检测、嘴巴动作检测和头部动作检测中的至少一种；
根据人脸动作检测的结果判断若干张所述待检测人脸图片中是否有预设数量的所述待检测人脸图片满足预设的活体检测条件；
若是，判断所述待检测用户为活体；
若否，判断所述待检测用户为非活体；
所述对所述待检测人脸图片进行预处理，包括：将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选；对进行完初步筛选后的待检测人脸图片进行边缘检测；将进行完边缘检测的待检测人脸图片输入到预设的人脸关键点定位模型中，以输出携带有人脸关键点特征的待检测人脸图片；将携带有人脸关键点特征的待检测人脸图片输入到预设的最终分类模型中，以对携带有人脸关键点特征的待检测人脸图片进行最终筛选；
其中，所述初始定位模型包括红外定位模型和可见光定位模型；则，所述将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选，包括：将所述待检测人脸图片依次输入到所述红外定位模型和预设的初始分类模型中，以对所述待检测人脸图片进行一次筛选；对所述待检测人脸图片进行完一次筛选后，将所述待检测人脸图片依次输入到所述可见光定位模型和预设的置信度过滤模型中，以对所述待检测人脸图片进行二次筛选；
其中，所述对进行完初步筛选后的待检测人脸图片进行边缘检测，其依据是打印照片在红外成像下假体边缘纹理比正常颜色格式纹理少且灰度图边缘不明显；主要用到拉普拉斯检测算子和canny检测算子进行人脸的进一步检测判断，判断是否为合格人脸区域，并过滤掉非正常人脸，减少后续活体误判。
2.如权利要求1所述的基于红外和可见光的活体检测方法，其特征在于，所述输出携带有人脸关键点特征的待检测人脸图片后，在将携带有人脸关键点特征的待检测人脸图片输入到预设的最终分类模型中前，还包括：
对携带有人脸关键点特征的待检测人脸图片进行质量检测，以输出符合预设质量检测标准的待检测人脸图片；
利用相似变换矩阵对进行完质量检测的所述携带有人脸关键点特征的待检测人脸图片进行人脸矫正。
3.如权利要求1所述的基于红外和可见光的活体检测方法，其特征在于，当所述人脸动作检测为眼睛动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，一部分所述待检测人脸图片中的待检测用户处于睁眼状态，另一部分所述待检测人脸图片中的待检测用户处于闭眼状态。
4.如权利要求1所述的基于红外和可见光的活体检测方法，其特征在于，当所述人脸动作检测为嘴巴动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，所述待检测用户的嘴巴张开超过预设阈值。
5.如权利要求1所述的基于红外和可见光的活体检测方法，其特征在于，当所述人脸动作检测为头部动作检测时，所述活体检测条件为：所述预设数量的所述待检测人脸图片中，所述待检测用户的头部转向角度在预设角度范围内。
6.一种基于红外和可见光的活体检测装置，其特征在于，包括：
待检测人脸图片获取模块，用于获取待检测用户的待检测人脸图片；
预处理模块，用于对所述待检测人脸图片进行预处理；
人脸动作检测模块，对连续获取的若干张进行完预处理后的所述待检测人脸图片进行人脸动作检测；其中，所述人脸动作检测包括眼睛动作检测、嘴巴动作检测和头部动作检测中的至少一种；
活体判断模块，用于判断若干张所述待检测人脸图片中是否有预设数量的所述待检测人脸图片满足预设的活体检测条件；若是，判断所述待检测用户为活体；若否，判断所述待检测用户为非活体；
所述对所述待检测人脸图片进行预处理，包括：将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选；对进行完初步筛选后的待检测人脸图片进行边缘检测；将进行完边缘检测的待检测人脸图片输入到预设的人脸关键点定位模型中，以输出携带有人脸关键点特征的待检测人脸图片；将携带有人脸关键点特征的待检测人脸图片输入到预设的最终分类模型中，以对携带有人脸关键点特征的待检测人脸图片进行最终筛选；
其中，所述初始定位模型包括红外定位模型和可见光定位模型；则，所述将所述待检测人脸图片依次输入到预设的初始定位模型中，以对所述待检测人脸图片进行初步筛选，包括：将所述待检测人脸图片依次输入到所述红外定位模型和预设的初始分类模型中，以对所述待检测人脸图片进行一次筛选；对所述待检测人脸图片进行完一次筛选后，将所述待检测人脸图片依次输入到所述可见光定位模型和预设的置信度过滤模型中，以对所述待检测人脸图片进行二次筛选；
其中，所述对进行完初步筛选后的待检测人脸图片进行边缘检测，其依据是打印照片在红外成像下假体边缘纹理比正常颜色格式纹理少且灰度图边缘不明显；主要用到拉普拉斯检测算子和canny检测算子进行人脸的进一步检测判断，判断是否为合格人脸区域，并过滤掉非正常人脸，减少后续活体误判。
7.一种基于红外和可见光的活体检测设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的基于红外和可见光的活体检测方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5中任意一项所述的基于红外和可见光的活体检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010673553.9A CN111967319B (zh) | 2020-07-14 | 2020-07-14 | 基于红外和可见光的活体检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010673553.9A CN111967319B (zh) | 2020-07-14 | 2020-07-14 | 基于红外和可见光的活体检测方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111967319A CN111967319A (zh) | 2020-11-20 |
| CN111967319B true CN111967319B (zh) | 2024-04-12 |
Family
ID=73362222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010673553.9A Active CN111967319B (zh) | 2020-07-14 | 2020-07-14 | 基于红外和可见光的活体检测方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967319B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699857A (zh) * | 2021-03-24 | 2021-04-23 | 北京远鉴信息技术有限公司 | 基于人脸姿态的活体验证方法、装置及电子设备 |
| CN113095180B (zh) * | 2021-03-31 | 2024-06-11 | 上海商汤智能科技有限公司 | 活体检测方法及装置、设备、计算机存储介质 |
| CN113011385A (zh) * | 2021-04-13 | 2021-06-22 | 深圳市赛为智能股份有限公司 | 人脸静默活体检测方法、装置、计算机设备及存储介质 |
| CN116259091B (zh) * | 2023-01-18 | 2023-11-10 | 北京飞腾时光信息科技有限公司 | 一种静默活体检测的方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106874861A (zh) * | 2017-01-22 | 2017-06-20 | 北京飞搜科技有限公司 | 一种人脸矫正方法及*** |
| CN106909882A (zh) * | 2017-01-16 | 2017-06-30 | 广东工业大学 | 一种应用于保安机器人的人脸识别***及方法 |
| CN107862299A (zh) * | 2017-11-28 | 2018-03-30 | 电子科技大学 | 一种基于近红外与可见光双目摄像头的活体人脸检测方法 |
| CN109740472A (zh) * | 2018-12-25 | 2019-05-10 | 武汉纺织大学 | 一种防闭眼的拍照方法 |
| CN110032970A (zh) * | 2019-04-11 | 2019-07-19 | 深圳市华付信息技术有限公司 | 高准确率的活体检测方法、装置、计算机设备及存储介质 |
| CN111079688A (zh) * | 2019-12-27 | 2020-04-28 | 中国电子科技集团公司第十五研究所 | 一种人脸识别中的基于红外图像的活体检测的方法 |
| CN111126366A (zh) * | 2020-04-01 | 2020-05-08 | 湖南极点智能科技有限公司 | 一种活体人脸的判别方法、装置、设备及存储介质 |
-
2020
- 2020-07-14 CN CN202010673553.9A patent/CN111967319B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909882A (zh) * | 2017-01-16 | 2017-06-30 | 广东工业大学 | 一种应用于保安机器人的人脸识别***及方法 |
| CN106874861A (zh) * | 2017-01-22 | 2017-06-20 | 北京飞搜科技有限公司 | 一种人脸矫正方法及*** |
| CN107862299A (zh) * | 2017-11-28 | 2018-03-30 | 电子科技大学 | 一种基于近红外与可见光双目摄像头的活体人脸检测方法 |
| CN109740472A (zh) * | 2018-12-25 | 2019-05-10 | 武汉纺织大学 | 一种防闭眼的拍照方法 |
| CN110032970A (zh) * | 2019-04-11 | 2019-07-19 | 深圳市华付信息技术有限公司 | 高准确率的活体检测方法、装置、计算机设备及存储介质 |
| CN111079688A (zh) * | 2019-12-27 | 2020-04-28 | 中国电子科技集团公司第十五研究所 | 一种人脸识别中的基于红外图像的活体检测的方法 |
| CN111126366A (zh) * | 2020-04-01 | 2020-05-08 | 湖南极点智能科技有限公司 | 一种活体人脸的判别方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111967319A (zh) | 2020-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111967319B (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
| EP3611915B1 (en) | Method and apparatus for image processing | |
| Matern et al. | Exploiting visual artifacts to expose deepfakes and face manipulations | |
| CN108229369B (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
| EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN110084135B (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
| CN109697416B (zh) | 一种视频数据处理方法和相关装置 | |
| CN109657554B (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| CN109284738B (zh) | 不规则人脸矫正方法和*** | |
| CN108717524B (zh) | 一种基于双摄手机和人工智能***的手势识别*** | |
| CN108537749B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| KR101303877B1 (ko) | 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치 | |
| CN108198130B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| CN109190456B (zh) | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 | |
| CN110543848B (zh) | 一种基于三维卷积神经网络的驾驶员动作识别方法及装置 | |
| CN111652082A (zh) | 人脸活体检测方法和装置 | |
| CN112069887A (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
| Kim et al. | Exposing fake faces through deep neural networks combining content and trace feature extractors | |
| CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
| CN111860316A (zh) | 一种驾驶行为的识别方法、装置及存储介质 | |
| CN113781421A (zh) | 基于水下的目标识别方法、装置及*** | |
| CN112434647A (zh) | 一种人脸活体检测方法 | |
| CN110738607A (zh) | 基于人工智能拍摄驾驶证的方法、装置、设备及存储介质 | |
| CN110610131A (zh) | 人脸运动单元的检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |