CN108985134B - 基于双目摄像机的人脸活体检测及刷脸交易方法及*** - Google Patents

基于双目摄像机的人脸活体检测及刷脸交易方法及*** Download PDF

Info

Publication number
CN108985134B
CN108985134B CN201710404541.4A CN201710404541A CN108985134B CN 108985134 B CN108985134 B CN 108985134B CN 201710404541 A CN201710404541 A CN 201710404541A CN 108985134 B CN108985134 B CN 108985134B
Authority
CN
China
Prior art keywords
face
binocular camera
layer
living body
body detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710404541.4A
Other languages
English (en)
Other versions
CN108985134A (zh
Inventor
周曦
焦宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zhongke Yuncong Technology Co ltd
Original Assignee
Chongqing Zhongke Yuncong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhongke Yuncong Technology Co ltd filed Critical Chongqing Zhongke Yuncong Technology Co ltd
Priority to CN201710404541.4A priority Critical patent/CN108985134B/zh
Publication of CN108985134A publication Critical patent/CN108985134A/zh
Application granted granted Critical
Publication of CN108985134B publication Critical patent/CN108985134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于双目摄像机的人脸活体检测方法及***，该方法包括：步骤1，利用双目摄像机采集对象在可见光与红外光下分别对应的视频图像；步骤2，分别对视频图像进行预处理得到去噪图像；步骤3，分别对去噪图像进行人脸检测，获取人脸区域；步骤4，提取两种光线下人脸区域中各自对应的人脸关键点；步骤5，根据人脸关键点对齐校正人脸区域的人脸；步骤6，利用深度神经网络提取红外光下校正的人脸区域的深度特征，根据深度特征检测真实人脸与伪造人脸，其中，深度神经网络为FASDNet。本发明还提供一种包括上述活体检测的刷脸交易方法及***。本发明无需用户主动配合，提高了用户体验度；同时，扩展了活体检测的适用范围。

Description

基于双目摄像机的人脸活体检测及刷脸交易方法及***
技术领域
本发明属于人脸识别技术领域，还涉及电子支付验证方式，特别是涉及一种基于双目摄像机的人脸活体检测及刷脸交易方法及***。
背景技术
生物识别技术是基于个人的身体或行为属性确定个人身份的技术，目前，人脸识别由于其直接性、友好性和便捷性在生物识别领域被广泛地应用。而近年来，活体检测技术和人脸识别技术不断被运用于银行各业务渠道和业务场景，常见的业务场景如刷脸登陆、解锁、办卡，并逐渐扩展和创新用于自助终端的取款与付款上。但是，人脸识别***也存在着极大安全风险，比如：非法份子利用一张包含面部信息的打印图片、电子照片、视频回放、3D面具等方法对人脸识别***实施欺骗攻击。因此，人脸活体检测技术逐渐受到学术界和工业界的重视，其目的就是区分真实和伪造人脸。
然而，现有的活体人脸识别技术，主要有两种方式实现：第一，基于特征学习的方法：由于同一设备采集的真实人脸和伪造人脸相比存在纹理细节的细微差异，表面形状的差异、以及局部高光差异等不同。这类方法对真实人脸(正样本)和伪造人脸(负样本)分别进行特征提取，通过设计分类器进行模型训练，从而实现真假人脸的辨别。这类算法的缺点：同类样本的类内差别可能会很大，对分类器分类性能有影响；选取的特征为手工设计，不同的角度、表情、环境，对活体检测的性能均有不同程度的影响，且很难找到一种适用范围广的特征对不同的场景均有较好的效果。
第二，基于人机交互的方法：被检测者需按***要求作出相应动作，如点头、眨眼等，通过分析人脸的动作模式来区分真假人脸。该类方式的缺点，对用户要求过高，使得用户体验不佳，且认证时间较长。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于双目摄像机的人脸活体检测及刷脸交易方法及***，用于解决现有技术中依靠人脸取、付款时，无法又快又好的验证对象的人脸为活体的问题。
为实现上述目的及其他相关目的，本发明提供一种基于双目摄像机的人脸活体检测方法，包括：
步骤1，利用双目摄像机采集对象在可见光与红外光下分别对应的视频图像；
步骤2，分别对所述视频图像进行预处理得到去噪图像；
步骤3，分别对所述去噪图像进行人脸检测，获取人脸区域；
步骤4，提取两种光线下所述人脸区域中各自对应的人脸关键点；
步骤5，根据人脸关键点对齐校正所述人脸区域的人脸；
步骤6，利用深度神经网络提取红外光下所述校正的人脸区域的深度特征，根据所述深度特征检测真实人脸与伪造人脸，其中，所述深度神经网络为FASDNet。
本发明的另一目的在于提供一种基于双目摄像机的刷脸交易方法，包括上述基于双目摄像机的人脸活体检测方法，以及当检测到对象为真实人脸且对所述真实人脸进行比对，人脸比对成功后按输入请求对绑定银行账户进行交易。
本发明的另一目的在于提供一种基于双目摄像机的人脸活体检测***，包括：
采集模块，利用双目摄像机采集对象在可见光与红外光下分别对应的视频图像；
预处理模块，用于分别对所述视频图像进行预处理得到去噪图像；
人脸定位模块，用于分别对所述去噪图像进行人脸检测，获取人脸区域；
特征提取模块，用于提取两种光线下所述人脸区域中各自对应的人脸关键点；
校正模块，用于根据人脸关键点对齐校正所述人脸区域的人脸；
活体检测模块，利用深度神经网络提取红外光下所述校正的人脸区域的深度特征，根据所述深度特征检测真实人脸与伪造人脸，其中，所述深度神经网络为FASDNet。
本发明还有一目的在于提供一种基于双目摄像机的刷脸交易***，包括上述基于双目摄像机的人脸活体检测***，以及交易模块，用于当检测到对象为真实人脸且对所述真实人脸进行比对，人脸比对成功后按输入请求对绑定银行账户进行交易。
如上所述，本发明的基于双目摄像机的人脸活体检测及刷脸交易方法及***，具有以下有益效果：
本发明通过使用双目摄像机采集对象的视频图像，预处理视频图像获取到人脸区域，提取所述人脸区域中的人脸关键点，根据人脸关键点对齐校正所述人脸区域的人脸，利用FASDNet深度神经网络提取深度特征检测对象是否为真实人脸。相对其它检测与交易方式，本发明无需用户主动配合，提高了用户体验度；同时，扩展了活体检测的适用范围，可对视频回放、2D打印的黑白和彩色照片、电子照片、3D面具等伪造人脸进行检测；通过FASDNet深度神经网络进活体行检测提高了网络的深度与宽度，也提高了检测的准确率，可又快又好的验证对象的人脸是否为活体。
附图说明
图1显示为本发明提供的一种基于双目摄像机的人脸活体检测方法流程图；
图2显示为本发明提供的一种基于双目摄像机的人脸活体检测方法的一实施例流程图；
图3显示为本发明提供的一种基于双目摄像机的人脸活体检测中深度神经网络FASDNet网络结构图；
图4显示为本发明提供的一种基于双目摄像机的人脸活体检测中InceptionBlock的结构示意图；
图5显示为本发明提供的一种基于双目摄像机的刷脸交易方法流程图；
图6显示为本发明提供的一种基于双目摄像机的人脸活体检测***结构框图；
图7显示为本发明提供的一种基于双目摄像机的人脸活体检测***的一实施例结构框图；
图8显示为本发明提供的一种基于双目摄像机的刷脸交易***结构框图。
元件标号说明：
1 采集模块
2 预处理模块
3 人脸定位模块
4 特征提取模块
5 校正模块
6 活体检测模块
7 匹配模块
8 交易模块
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，为本发明提供的一种基于双目摄像机的人脸活体检测方法流程图，包括：
步骤1，利用双目摄像机采集对象在可见光与红外光下分别对应的视频图像；
其中，可见光下，采集待识别对象的可见光成像，红外光下，采集待识别对象的红外光成像；在同一时间对各自成像的视频图像进行分帧采样，得到对应的视频图像(样本图像)；
步骤2，分别对所述视频图像进行预处理得到去噪图像；
其中，预处理包括图像灰度化、图像滤波去噪、图像增强、图像边缘化等处理方式，使得得到去噪图像更清晰准确；
步骤3，分别对所述去噪图像进行人脸检测，获取人脸区域；
其中，可采用OpenCV中Haar分类器进行人脸检测，再使用分水岭算法进行人脸分割，得到人脸区域；
或者，基于adaboost的人脸检测算法，检测到人脸之后将人脸区域裁剪出来，并将所有人脸图像归一化，如，32*32像素；
步骤4，提取两种光线下所述人脸区域中各自对应的人脸关键点；
其中，采用人脸关键点检测算法(SDK)定位人脸区域中的各个关键点，包括：眉毛、眼睛、鼻子、嘴巴，脸部轮廓等，并能实现动态跟踪。可以在各种表情、姿态、遮挡模糊状态下，对人脸进行精准定位；
步骤5，根据人脸关键点对齐校正所述人脸区域的人脸；
其中，人脸关键点的位置用来做人脸的对齐校正，即把人脸通过缩放、旋转、拉伸等图像变化变到一个比较标准的大小位置，这样待识别的人脸区域会更加规整，便于后续进行匹配；
步骤6，利用深度神经网络提取红外光下所述校正的人脸区域的深度特征，根据所述深度特征检测真实人脸与伪造人脸，其中，所述深度神经网络为FASDNet。
其中，调用训练好的深度神经网络提取红外光下所述校正的人脸区域的深度特征(特征向量)，即计算该幅图像的概率分布，将该概率分布值作为分类结果，根据概率值是否大于预设概率值判断该待测对象的人脸是否为真实人脸。
如果测试视频图像中每幅图像，则取该段视频图像中样本人脸的概率最大值为分类结果。
另外，可见光下的人脸可与红外光下的人脸相互匹配，通过可见光的人脸图像中肤色特征可作为人脸识别或活体检测的参考。
在本实施例中，通过使用双目摄像机采集对象的视频图像，预处理视频图像获取到人脸区域，提取所述人脸区域中的人脸关键点，根据人脸关键点对齐校正所述人脸区域的人脸，利用FASDNet深度神经网络提取深度特征检测对象是否为真实人脸。相对其它检测与交易方式，本发明无需用户主动配合，提高了用户体验度；同时，扩展了活体检测的适用范围，可对视频回放、2D打印的黑白和彩色照片、电子照片、3D面具等伪造人脸进行检测；通过FASDNet深度神经网络进活体行检测提高了网络的深度与宽度，也提高了检测的准确率，可又快又好的验证对象的人脸是否为活体。
请参阅图2，为本发明提供的一种基于双目摄像机的人脸活体检测方法的一实施例流程图，包括：
步骤1，利用双目摄像机采集对象在可见光与红外光下分别对应的视频图像；
步骤2，分别对所述视频图像进行预处理得到去噪图像；
步骤3，分别对所述去噪图像进行人脸检测，获取人脸区域；
步骤4，提取两种光线下所述人脸区域中各自对应的人脸关键点；
步骤5，以所述人脸关键点为基础，利用计算机视觉的射影几何方法对去噪图像的人脸进行匹配，得到两种光线下的图像中人脸的对应位置；
步骤6，当检测到对象的人脸在对应位置无法匹配成功时，则不对该对象进行活体检测，返回步骤1。
在本实施例中，得到人脸关键点，根据计算机视觉的射影几何方法在数据库中匹配两种光线下(可见光与红外光)的人脸，如果数据库中未匹配到与该人脸，则表示不存在该对象的相关信息，无需对该对象的人脸进行活体检测，通过设置多种流程检测待测对象的人脸是否为活体，一方面可简化流程，可分步确定待测对象的人脸图像是否为活体，另一方面，在提升效率的同时，也减少数据处理量。
同理，在步骤3中，还包括：
当可见光与红外光分别对应的去噪图像中任意一张未检测到人脸区域，则判定该对象为伪造人脸，返回步骤1。
其中，图3显示为本发明提供的一种基于双目摄像机的人脸活体检测中深度神经网络FASDNet网络结构图；
FASDNet是一个卷积神经网络，包括数据输入层、3个Base Block、10个InceptionBlock、1个FC(Fully Connected)层和1个Softmax层；其中，数据输入层的图片大小为128x128；每个Base Block由卷积(Convolution)层、BN(Batch Normalization)层、ReLU(Rectified Linear Unit)层和MaxPooling层组成；Inception Block通过改进GoogleNet的Inception Module得到，每个Inception Block中由卷积层、BN层、ReLU层、MaxPooling和连接(Concat)层组成。
图4显示为本发明提供的一种基于双目摄像机的人脸活体检测中InceptionBlock的结构示意图；
从组成方式来看，Base Block与Inception Block是有区别的，Base Block只有一条主线，没有分支；而10个Inception Block中每个Inception Block由3条分支组成，再由连接(Concat)层将这三个分支的输出连接为一个输出。它的主要优点就是在显著增加网络的深度和宽度，同时，参数计算的复杂度不会不受控制的放大。在每条支路的卷积过程中，采用不同大小的卷积核，意味着不同大小的感受野，最后的拼接意味着不同尺度特征的融合，使得网络的性能得到进一步的提升。在参数量可控的情况下，可又快又好的验证对象的人脸是否为活体。
深度神经网络FASDNet在设计之后，需要对网络进行训练，训练之前需要把数据库中图像转换呈深度神经网络可读的文件类型，在本实施例中，训练FASDNet模型时，采用监督学习的方式，对大量视频图像中图1流程中步骤1至步骤5的人脸图像进行处理，且包含真实人脸与伪造人脸标注信息的数据进行训练。所述区分真实人脸和伪造人脸任务的损失函数为softmax：
L＝-(1-g)·log(1-p0)-g·log(p1)
式中，如果该人脸为真实人脸，则设置g＝0；如果该人脸为伪造人脸，则设置g＝1；P0为从所述任务深度学习网络FASDNet中计算得到的真实人脸的概率，P1为从所述任务深度学习网络FASDNet中计算得到的伪造人脸的概率，LOSS(L)为损失函数的损失值。通过上述公式对真实人脸与伪造人脸进行训练，得到深度神经网络FASDNet。
请参阅图5，为本发明提供的一种基于双目摄像机的刷脸交易方法流程图，包括上述基于双目摄像机的人脸活体检测方法，即在图1方法流程的基础上，还包括：当检测到对象为真实人脸且对所述真实人脸进行比对，人脸比对成功后按输入请求对绑定银行账户进行交易。
在本实施例中，用户的银行账户与人脸进行绑定，在用户在自助终端上进行取钱、支付款等交易过程中，无需携带银行卡等账号卡，直接使用人脸支付的交易方式。其中，在用户进行人脸识别登录与验证过程中，需要对用户(待检测对象)提供的人脸图像进行活体检测，以防止使用视频回放、2D打印的黑白和彩色照片、电子照片、3D面具等伪造人脸进行欺骗行径，避免出现用户的银行账户被盗用的情况，保证了用户在使用人脸支付的必定是其本人才能够通过验证。即人脸比对成功后，用户按照其在自助终端或其它设备输入的交易信息，完成用户的交易。
另外，在本实施例中，为了进一步增加交易的安全性能，也可以结合其它生物特征如：指纹、虹膜，综合各个生物特征统一识别，识别确认后，完成用户的交易。
请参阅图5，为本发明提供的一种基于双目摄像机的人脸活体检测***结构框图，包括：
采集模块1，利用双目摄像机采集对象在可见光与红外光下分别对应的视频图像；
预处理模块2，用于分别对所述视频图像进行预处理得到去噪图像；
人脸定位模块3，用于分别对所述去噪图像进行人脸检测，获取人脸区域；
特征提取模块4，用于提取两种光线下所述人脸区域中各自对应的人脸关键点；
校正模块5，用于根据人脸关键点对齐校正所述人脸区域的人脸；
活体检测模块6，利用深度神经网络提取红外光下所述校正的人脸区域的深度特征，根据所述深度特征检测真实人脸与伪造人脸，其中，所述深度神经网络为FASDNet。
在本实施例中，无需用户主动配合，提高了用户体验度；同时，扩展了活体检测的适用范围，可对视频回放、2D打印的黑白和彩色照片、电子照片、3D面具等伪造人脸进行检测；通过FASDNet深度神经网络进活体行检测提高了检测性能，可又快又好的验证对象的人脸是否为活体。
请参阅图7，为本发明提供的一种基于双目摄像机的人脸活体检测***的一实施例结构框图，包括：
采集模块1，利用双目摄像机采集对象在可见光与红外光下分别对应的视频图像；
预处理模块2，用于分别对所述视频图像进行预处理得到去噪图像；
人脸定位模块3，用于分别对所述去噪图像进行人脸检测，获取人脸区域；
特征提取模块4，用于提取两种光线下所述人脸区域中各自对应的人脸关键点；
匹配模块7，用于以所述人脸关键点为基础，利用计算机视觉的射影几何方法对去噪图像的人脸进行匹配，得到两种光线下的图像中人脸的对应位置；当检测到对象的人脸在对应位置无法匹配成功时，则不对该对象进行活体检测。
在本实施例中，通过设置匹配模块7也能检测待测对象的人脸是否为活体，一方面可简化流程，可分步确定待测对象的人脸图像是否为活体；另一方面，在提升效率的同时，也减少数据处理量。
请参阅图8，为本发明提供的一种基于双目摄像机的刷脸交易***结构框图，包括上述基于双目摄像机的人脸活体检测***，以及交易模块8，用于当检测到对象为真实人脸且对所述真实人脸进行比对，人脸比对成功后按输入请求对绑定银行账户进行交易。
在本实施例中，通过上述方式无需携带银行卡等账号卡，直接使用人脸支付的交易方式，不仅方便用户使用，同时，也避免用户在使用银行卡被盗用账户与密码，也在一定程度上提高了交易支付的安全性能。
综上所述，本发明通过使用双目摄像机采集对象的视频图像，预处理视频图像获取到人脸区域，提取所述人脸区域中的人脸关键点，根据人脸关键点对齐校正所述人脸区域的人脸，利用FASDNet深度神经网络提取深度特征检测对象是否为真实人脸。相对其它检测与交易方式，本发明无需用户主动配合，提高了用户体验度；同时，扩展了活体检测的适用范围，可对视频回放、2D打印的黑白和彩色照片、电子照片、3D面具等伪造人脸进行检测；通过FASDNet深度神经网络进活体行检测提高了网络的深度与宽度，也提高了检测的准确率，可又快又好的验证对象的人脸是否为活体。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于双目摄像机的人脸活体检测方法，其特征在于，包括：
步骤1，利用双目摄像机采集对象在可见光与红外光下分别对应的视频图像；
步骤2，分别对所述视频图像进行预处理得到去噪图像；
步骤3，分别对所述去噪图像进行人脸检测，获取人脸区域；
步骤4，提取两种光线下所述人脸区域中各自对应的人脸关键点，其中，可见光下的人脸与红外光下的人脸相互匹配，通过可见光的人脸图像中肤色特征作为人脸识别或活体检测的参考；
步骤5，根据人脸关键点对齐校正所述人脸区域的人脸；
步骤6，采用如下损失函数训练真实人脸和伪造人脸，得到FASDNet深度神经网络；L＝-(1-g)·log(1-p0)-g·log(p1)，式中，L为损失函数损失值，P0、P1分别为从所述FASDNet中计算得到的真实人脸概率和伪造人脸概率，g为真实人脸和伪造人脸分别对应的取值为0和1；利用FASDNet深度神经网络提取红外光下所述校正的人脸区域的深度特征，根据所述深度特征检测真实人脸与伪造人脸，其中，所述FASDNet深度神经网络包括：3个串行连接的Base Block和10个并行连接的Inception Block；其中，每个Base Block由卷积(Convolution)层、BN(Batch Normalization)层、ReLU(Rectified Linear Unit)层和MaxPooling层组成；Inception Block通过改进GoogleNet的Inception Module得到，每个Inception Block中由卷积层、BN层、ReLU层、MaxPooling和连接(Concat)层组成，每个Inception Block由3条分支组成，再由连接(Concat)层将这三个分支的输出连接为一个输出。
2.根据权利要求1所述的基于双目摄像机的人脸活体检测方法，其特征在于，所述步骤3，分别对所述去噪图像进行人脸检测，获取人脸区域的步骤，还包括：
当可见光与红外光分别对应的去噪图像中任意一张未检测到人脸区域，则判定该对象是伪造人脸，返回步骤1。
3.根据权利要求1所述的基于双目摄像机的人脸活体检测方法，其特征在于，所述步骤5，根据人脸关键点对齐校正所述人脸区域的人脸的步骤之前，还包括：
以所述人脸关键点为基础，利用计算机视觉的射影几何方法对去噪图像的人脸进行匹配，得到两种光线下的图像中人脸的对应位置；当检测到对象的人脸在对应位置无法匹配成功时，则不对该对象进行活体检测，返回步骤1。
4.一种基于双目摄像机的刷脸交易方法，其特征在于，包括采用权利要求1至3中任意一项所述的基于双目摄像机的人脸活体检测方法，以及当检测到对象为真实人脸且对所述真实人脸进行比对，人脸比对成功后按输入请求对绑定银行账户进行交易。
5.一种基于双目摄像机的人脸活体检测***，其特征在于，包括：
采集模块，利用双目摄像机采集对象在可见光与红外光下分别对应的视频图像；
预处理模块，用于分别对所述视频图像进行预处理得到去噪图像；
人脸定位模块，用于分别对所述去噪图像进行人脸检测，获取人脸区域；
特征提取模块，用于提取两种光线下所述人脸区域中各自对应的人脸关键点，其中，可见光下的人脸与红外光下的人脸相互匹配，通过可见光的人脸图像中肤色特征作为人脸识别或活体检测的参考；
校正模块，用于根据人脸关键点对齐校正所述人脸区域的人脸；
活体检测模块，采用如下损失函数训练真实人脸和伪造人脸，得到FASDNet深度神经网络；L＝-(1-g)·log(1-p0)-g·log(p1)，式中，L为损失函数损失值，P0、P1分别为从所述FASDNet中计算得到的真实人脸概率和伪造人脸概率，g为真实人脸和伪造人脸分别对应的取值为0和1；利用FASDNet深度神经网络提取红外光下所述校正的人脸区域的深度特征，根据所述深度特征检测真实人脸与伪造人脸，其中，所述FASDNet深度神经网络包括：3个串行连接的Base Block和10个并行连接的Inception Block；其中，每个Base Block由卷积(Convolution)层、BN(Batch Normalization)层、ReLU(Rectified Linear Unit)层和MaxPooling层组成；Inception Block通过改进GoogleNet的Inception Module得到，每个Inception Block中由卷积层、BN层、ReLU层、MaxPooling和连接(Concat)层组成，每个Inception Block由3条分支组成，再由连接(Concat)层将这三个分支的输出连接为一个输出。
6.根据权利要求5所述的基于双目摄像机的人脸活体检测***，其特征在于，所述人脸定位模块，还包括：
当可见光与红外光分别对应的去噪图像中任意一张未检测到人脸区域，则判定该对象是伪造人脸。
7.根据权利要求6所述的基于双目摄像机的人脸活体检测***，其特征在于，还包括：匹配模块，用于以所述人脸关键点为基础，利用计算机视觉的射影几何方法对去噪图像的人脸进行匹配，得到两种光线下的图像中人脸的对应位置；当检测到对象的人脸在对应位置无法匹配成功时，则不对该对象进行活体检测。
8.一种基于双目摄像机的刷脸交易***，其特征在于，包括采用权利要求5至7中任意一项所述的基于双目摄像机的人脸活体检测***，及交易模块，用于当检测到对象为真实人脸且对所述真实人脸进行比对，人脸比对成功后按输入请求对绑定银行账户进行交易。
CN201710404541.4A 2017-06-01 2017-06-01 基于双目摄像机的人脸活体检测及刷脸交易方法及*** Active CN108985134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710404541.4A CN108985134B (zh) 2017-06-01 2017-06-01 基于双目摄像机的人脸活体检测及刷脸交易方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710404541.4A CN108985134B (zh) 2017-06-01 2017-06-01 基于双目摄像机的人脸活体检测及刷脸交易方法及***

Publications (2)

Publication Number Publication Date
CN108985134A CN108985134A (zh) 2018-12-11
CN108985134B true CN108985134B (zh) 2021-04-16

Family

ID=64501605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710404541.4A Active CN108985134B (zh) 2017-06-01 2017-06-01 基于双目摄像机的人脸活体检测及刷脸交易方法及***

Country Status (1)

Country Link
CN (1) CN108985134B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522877A (zh) * 2018-12-14 2019-03-26 睿云联(厦门)网络通讯技术有限公司 一种基于安卓设备的离线多人脸识别方法以及计算机设备
CN111488756B (zh) 2019-01-25 2023-10-03 杭州海康威视数字技术股份有限公司 基于面部识别的活体检测的方法、电子设备和存储介质
CN109858439A (zh) * 2019-01-30 2019-06-07 北京华捷艾米科技有限公司 一种基于人脸的活体检测方法及装置
CN109886190A (zh) * 2019-02-20 2019-06-14 哈尔滨工程大学 一种基于深度学习的人脸表情和姿态双模态融合表情识别方法
CN111652019B (zh) * 2019-04-16 2023-06-20 上海铼锶信息技术有限公司 一种人脸活体检测方法及装置
CN110321793A (zh) * 2019-05-23 2019-10-11 平安科技（深圳）有限公司 支票取现方法、装置、设备及计算机可读存储介质
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN110472545B (zh) * 2019-08-06 2022-09-23 中北大学 基于知识迁移学习的航拍电力部件图像的分类方法
CN110619656B (zh) * 2019-09-05 2022-12-02 杭州宇泛智能科技有限公司 基于双目摄像头的人脸检测跟踪方法、装置及电子设备
CN111209855B (zh) * 2020-01-06 2022-03-01 电子科技大学 一种基于轮廓强化的双通道密集卷积神经网络的人脸图像鉴伪方法
CN111582238B (zh) * 2020-05-28 2021-04-02 上海依图网络科技有限公司 一种应用于人脸遮挡场景的活体检测方法及装置
CN111968163B (zh) * 2020-08-14 2023-10-10 济南博观智能科技有限公司 一种热电堆阵列测温方法及装置
CN112132046A (zh) * 2020-09-24 2020-12-25 天津锋物科技有限公司 一种静态活体检测方法及***
CN112052830B (zh) * 2020-09-25 2022-12-20 北京百度网讯科技有限公司 人脸检测的方法、装置和计算机存储介质
CN112257561B (zh) * 2020-10-20 2021-07-30 广州云从凯风科技有限公司 一种人脸活体检测方法、装置、机器可读介质及设备
CN113158991B (zh) * 2021-05-21 2021-12-24 南通大学 一种嵌入式智能人脸检测与跟踪***
CN113221786A (zh) * 2021-05-21 2021-08-06 深圳市商汤科技有限公司 数据分类方法及装置、电子设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
WO2010001310A1 (en) * 2008-07-02 2010-01-07 C-True Ltd. Face recognition system and method
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
CN101877055A (zh) * 2009-12-07 2010-11-03 北京中星微电子有限公司 一种关键特征点定位的方法和装置
CN101964056B (zh) * 2010-10-26 2012-06-27 徐勇 一种具有活体检测功能的双模态人脸认证方法和***
CN102708383B (zh) * 2012-05-21 2014-11-26 广州像素数据技术开发有限公司 一种多模态比对功能的活体人脸检测***与方法
CN103400108B (zh) * 2013-07-10 2017-07-14 小米科技有限责任公司 人脸识别方法、装置和移动终端
US10037082B2 (en) * 2013-09-17 2018-07-31 Paypal, Inc. Physical interaction dependent transactions
CN104361493B (zh) * 2014-11-07 2018-12-11 深兰科技（上海）有限公司 一种基于生物特征的电子支付方法
CN105023005B (zh) * 2015-08-05 2018-12-07 王丽婷 人脸识别装置及其识别方法
CN105809447A (zh) * 2016-03-30 2016-07-27 ***股份有限公司 基于人脸识别和hce的支付认证方法及认证***
CN105975908A (zh) * 2016-04-26 2016-09-28 汉柏科技有限公司 人脸识别方法及装置
CN105956572A (zh) * 2016-05-15 2016-09-21 北京工业大学 一种基于卷积神经网络的活体人脸检测方法
CN106372629B (zh) * 2016-11-08 2020-02-07 汉王科技股份有限公司 一种活体检测方法和装置
CN106599829A (zh) * 2016-12-09 2017-04-26 杭州宇泛智能科技有限公司 基于主动近红外光的人脸防伪算法

Also Published As

Publication number Publication date
CN108985134A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108985134B (zh) 基于双目摄像机的人脸活体检测及刷脸交易方法及***
Wang et al. A thermal hand vein pattern verification system
CN110008813B (zh) 基于活体检测技术的人脸识别方法和***
CN105956578A (zh) 一种基于身份证件信息的人脸验证方法
US10922399B2 (en) Authentication verification using soft biometric traits
CN111462379A (zh) 一种含掌静脉和人脸识别的门禁管理方法、***及介质
CN111783629A (zh) 一种面向对抗样本攻击的人脸活体检测方法及装置
CN110599187A (zh) 一种基于人脸识别的支付方法、装置、计算机设备和存储介质
CN109308436B (zh) 一种基于主动红外视频的活体人脸识别方法
US20220277311A1 (en) A transaction processing system and a transaction method based on facial recognition
CN111460435A (zh) 一种用户注册方法、验证方法和注册装置
Sapkale et al. A finger vein recognition system
CN107025435A (zh) 一种人脸识别处理方法和***
CN108875472B (zh) 图像采集装置及基于该图像采集装置的人脸身份验证方法
SulaimanAlshebli et al. The cyber security biometric authentication based on liveness face-iris images and deep learning classifier
CN111428670A (zh) 人脸检测方法、装置、存储介质及设备
Sehgal Palm recognition using LBP and SVM
JP2010009377A (ja) 照合システム、照合方法、プログラム及び記録媒体
Kumari et al. A novel approach for secure multimodal biometric system using multiple biometric traits
CN111291586A (zh) 活体检测方法、装置、电子设备及计算机可读存储介质
Saravanan Enhancement of Palmprint using Median Filter for Biometrics Application
Avazpour et al. Optimization of Human Recognition from the Iris Images using the Haar Wavelet.
KR20090093214A (ko) 동적 마스크 및 비등방성 평활화를 이용한 안경 검출
Brindha et al. Performance Analysis of Fused Eye Vein and Finger Vein Multimodal Biometric System
Heenaye et al. A study of dorsal vein pattern for biometric security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 401122 5 stories, Block 106, West Jinkai Avenue, Yubei District, Chongqing

Applicant after: Chongqing Zhongke Yuncong Technology Co., Ltd.

Address before: 401122 Central Sixth Floor of Mercury Science and Technology Building B, Central Section of Huangshan Avenue, Northern New District of Chongqing

Applicant before: CHONGQING ZHONGKE YUNCONG TECHNOLOGY CO., LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant