CN111539311B - 基于ir和rgb双摄的活体判别方法、装置及*** - Google Patents

基于ir和rgb双摄的活体判别方法、装置及*** Download PDF

Info

Publication number
CN111539311B
CN111539311B CN202010316897.4A CN202010316897A CN111539311B CN 111539311 B CN111539311 B CN 111539311B CN 202010316897 A CN202010316897 A CN 202010316897A CN 111539311 B CN111539311 B CN 111539311B
Authority
CN
China
Prior art keywords
living body
face image
rgb
camera
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010316897.4A
Other languages
English (en)
Other versions
CN111539311A (zh
Inventor
陈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kaike Intelligent Technology Co ltd
Original Assignee
Shanghai Kaike Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kaike Intelligent Technology Co ltd filed Critical Shanghai Kaike Intelligent Technology Co ltd
Priority to CN202010316897.4A priority Critical patent/CN111539311B/zh
Publication of CN111539311A publication Critical patent/CN111539311A/zh
Application granted granted Critical
Publication of CN111539311B publication Critical patent/CN111539311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于IR和RGB双摄的活体判别方法、装置及***，方法包括：通过双目模组获取待检测的视频流，对其进行人脸检测，以得到RGB人脸图像和第一IR人脸图像；将第一IR人脸图像输入卷积神经网络进行活体判别，以得到第一活体判别结果和第二IR人脸图像；将RGB人脸图像和第二IR人脸图像输入双生网络进行活体判别，以得到第二活体判别结果。本发明实施例充分使用了IR材质成像不同信息和双目视差信息，按照递进的方式进行人脸活体判决，提高了活体判决的准确率。

Description

基于IR和RGB双摄的活体判别方法、装置及***
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于IR和RGB双摄的活体判别方法、装置及***。
背景技术
现有的的活体判别方法，主要有以下三种：
(1)仅使用红外成像对屏幕播放、相纸、彩色高清打印纸等不同材质的反射红外光线做活体判决，该活体判决简单但容易误检和漏检；
(2)采用红外图像人脸眼睛区域成像差异，将眼睛区域图进行训练得到活体判别网络。该方法对红外成像质量要求较高，不利于低成本使用。
(3)根据红外光在脸上特征点的反射光线强度是否在范围内判决，该方法对光源亮度，距离等精度依赖高，容易受到影响导致结果不稳定。
发明内容
针对上述技术缺陷，本发明实施例提供了一种基于IR和RGB双摄的活体判别方法、装置及***。
为实现上述目的，第一方面，本发明实施例提供了一种基于IR和RGB双摄的活体判别方法，包括：
通过双目模组获取待检测的视频流，所述双目模组包括RGB相机和IR相机；
对所述待检测的视频流进行人脸检测，以得到RGB人脸图像和第一IR人脸图像；
对所述第一IR人脸图像输入卷积神经网络进行活体判别，以得到第一活体判别结果和第二IR人脸图像；
将所述RGB人脸图像和第二IR人脸图像输入双生网络进行活体判别，以得到第二活体判别结果。
作为本申请的一种具体实施方式，得到第一活体判别结果和第一目标IR人脸图像具体包括：
将所述第一IR人脸图像输入所述卷积神经网络进行活体判别，以得到活体概率；
若所述活体概率大于预设值，则将所述活体概率对应的所述第一IR人脸图像确定为第一活体判别结果；
若所述活体概率小于预设值，则将所述活体概率对应的所述第一IR人脸图像确定为所述第二IR人脸图像。
作为本申请的一种具体实施方式，得到第二活体判别结果具体包括：
将所述RGB人脸图像和第二IR人脸图像输入所述双生网络，由所述双生网络对所述RGB人脸图像和第二IR人脸图像进行特征提取，对所提取的特征进行做差处理后进行全连接分类，以得到所述第二活体判别结果，并对全连接分类后得到的非活体进行spoof告警。
作为本申请的一种优选实施方式，得到RGB人脸图像和第一IR人脸图像之后，所述方法还包括：
通过所述RGB相机和IR相机构成的双目对极关系计算人脸尺寸，并将所述人脸尺寸与预设的合理人脸尺寸范围进行比较，若所述人脸尺寸未落入所述合理人脸尺寸范围内，则舍弃所述RGB人脸图像和第一IR人脸图像，并进行spoof告警。
作为本申请的一种优选实施方式，通过双目模组获取待检测的视频流之前，所述方法还包括：
通过所述IR相机采集多张真人活体图片和打印攻击与面具攻击图片作为第一训练样本，并基于所述第一训练样本得到所述卷积神经网络；
通过所述RGB相机和IR相机采集多张真人活体图片和打印攻击与面具攻击图片作为第二训练样本，并基于所述第二训练样本得到所述双生网络。
作为本申请的一种优选实施方式，得到第二活体判别结果之后，所述方法还包括：
将所述第一活体判别结果和第二活体判别结果发送至外部设备进行显示。
第二方面，本发明实施例提供了一种基于IR和RGB双摄的活体判别装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第三方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第四方面，本发明实施例还提供了一种基于IR和RGB双摄的活体判别***，包括双目模组、红外补光灯、活体判别装置及外部设备，所述双目模组包括RGB相机和IR相机，所述红外补光灯用于对所述IR相机进行补光。其中，所述双目模组用于采集待检测的视频流，所述活体判别装置分别与所述双目模组和外部设备通信，所述活体判别装置如上述第二方面所述。
实施本发明实施例，先对待检测的视频流进行人脸检测，以得到RGB人脸图像与第一IR人脸图像；再将第一IR人脸图像输入卷积神经网络进行活体判别，以得到第一活体判别结果和第二IR人脸图像(即为卷积神经网络未判决为活体的部分)；最后将RGB人脸图像和第二目标IR人脸图像输入双生网络进行活体判别，以得到第二活体判别结果；即本发明实施例充分使用了IR材质成像不同信息和双目视差信息，按照递进的方式进行人脸活体判决，提高了活体判决的准确率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明第一实施例提供的基于IR和RGB双摄的活体判别方法的流程示意图；
图2为本发明实施例使用的双目模组示意图；
图3为双目活体判别第一阶段示意图；
图4为双目活体判别第二阶段示意图；
图5为双目识别第三阶段示意图；
图6为本发明实施例提供的基于IR和RGB双摄的活体判别***的结构示意图；
图7为图6所示活体判别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的发明构思是：提出一种通过组合使用IR和RGB双摄图，由浅入深使用IR对屏幕和相纸攻击的成像显著不同、双目测距测量人脸尺寸排除尺寸不合理的人脸攻击、IR对活体和其他材质人脸及其周围成像差异用卷积神经网络做分类、双目匹配的IR和RGB人脸通过双生卷积神经网络提取特征差异进行活体判决。
基于上述发明构思，请参考图1，本发明第一实施例提供了一种基于IR和RGB的活体判别方法，包括：
S101，采集样本图像，并基于该样本图像训练卷积神经网络及双生网络。
在进行活体判别之前，需要训练卷积神经网络及双生网络。采集样本图像时，本实施例中采用如图2所示的双目模组。如图2所示，本发明实施例所使用的双目模组包括RGB相机、IR相机、红外补光灯、显示或功能区域。RGB相机和IR相机用于采集视频流或者样本图像，红外补光灯用于对RGB相机和IR相机进行补光，显示或功能区域用于对识别出的活体结果进行显示。
具体地，在训练卷积神经网络时，仅通过IR相机采集多张真人活体的图片作为训练样本进行训练，例如5000张以上，或者采集高清彩色打印，黑白打印攻击的人脸图片5000张作为训练样本进行训练。本实施例中，训练得到的卷积神经网络为224X224输入的MobileNetV2网络。
具体地，在训练双生网络时，同时通过RGB相机和IR相机采集多张真人活体的图片作为训练样本进行训练。在本实施例中，训练得到的双生网络的骨干部分为MobileNetV2网络。
S102，通过双目模组获取待检测的视频流。
S103，对待检测的视频流进行人脸检测，以得到RGB人脸图像和第一IR人脸图像。
S104，将所述第一IR人脸图像输入卷积神经网络进行活体判别，以得到第一活体判别结果和第二IR人脸图像。
具体地，步骤S104包括：
(1)将第一IR人脸图像输入卷积神经网络进行活体判别，以得到活体概率；
(2)若活体概率大于预设值，则将活体概率对应的第一IR人脸图像确定为第一活体判别结果；
(3)若活体概率小于预设值，则将活体概率对应的第一IR人脸图像确定为第二IR人脸图像。
需要说明的是，步骤S104是对符合尺寸判决要求的IR人脸送入卷积神经网络进行活体判决，将活体概率大于预设值的确定为活体，对于活体概率小于预设值的，则进行spoof告警，并将其确定为第二IR图像，以便进行下一步活体判别。
S105，将RGB人脸图像和第二IR人脸图像输入双生网络进行活体判别，以得到第二活体判别结果。
需要说明的是，将步骤S104中无法判决的IR人脸和前述检测得到的RGB人脸输入双生网络，由双生网络对RGB人脸图像和第二IR人脸图像进行特征提取，对所提取的特征进行做差处理后进行全连接分类，以得到第二活体判别结果，并对全连接分类后得到的非活体进行spoof告警。
S106，将第一活体判别结果和第二活体判别结果发送至外部设备进行显示。
具体地，将步骤S104和S105得到的活体判别结果显示于图2所示的显示或功能区域。
需要说明的是，步骤S103中得到的RGB人脸和IR人脸除了送入步骤S104和S105进行活体识别外，还将进行尺寸判决。具体为：通过所述RGB相机和IR相机构成的双目对极关系计算人脸尺寸，并将所述人脸尺寸与预设的合理人脸尺寸范围进行比较，若所述人脸尺寸未落入所述合理人脸尺寸范围内，则舍弃所述RGB人脸图像和第一IR人脸图像，并进行spoof告警，如图3所示。
其中，相机的校准采用张正友棋盘格的方式，人脸尺寸采用如下方式计算：
设视差为d，焦距为f，基线长度b，那么深度：
z＝f*b/d
测量的精度delta_z，有
delta_z＝f*b/d0-f*b/d1
对于一个相机，d的值需要由像素和像元尺寸决定；
d＝d_pixel*pixel_size
计算出Z之后，根据相似三角形可以根据人脸的像素个数计算人脸的尺寸。
进一步地，请参考图3至图5，本发明实施例中的活体判别部分是按照递进的方式进行的，主要包括三个阶段：
第一阶段：如图3所示，对RGB相机和IR进行矫正后开始进行人脸检测，RGB相机会进行人脸检测、评分等操作而得到RGB人脸，IR相机会进行人脸检测、亮度对比度检测等操作而得到IR人脸；若RGB相机检测出人脸，IR相机未检测出人脸，则进行spoof告警；对于检测出的RGB人脸和IR人脸，图3中还会进行匹配操作，若不匹配，则进行spoof告警；此外，还会通过所述RGB相机和IR相机构成的双目对极关系计算人脸尺寸，和预设合理人脸尺寸范围比较，不满足范围的舍弃，并进行spoof告警。。
需要说明的是，第一阶段主要是利用近红外成像对手机、Pad，电脑等屏幕显示都属于可见光的特性，排除这类电子设备屏幕攻击。还利用近红外光线下光滑相纸无法显示内容的特性，排除光滑相纸人脸攻击。对于对近红外光线具有良好漫反射的纸张打印的人脸图，结合RGB里的人脸图，计算视差从而得到距离信息和人脸尺寸信息，排除人脸尺寸不合理的攻击。
其中，相机的校准采用张正友棋盘格的方式，人脸尺寸采用如下方式计算：
设视差为d，焦距为f，基线长度b，那么深度：
z＝f*b/d
测量的精度delta_z，有
delta_z＝f*b/d0-f*b/d1
对于一个相机，d的值需要由像素和像元尺寸决定；
d＝d_pixel*pixel_size
计算出Z之后，根据相似三角形可以根据人脸的像素个数计算人脸的尺寸。
第二阶段：如图4所示，对于图3中没有排除掉的IR人脸，送入CNN网络进行判决是否是活体。
需要说明的是，这里的IR活体判别网络采用224X224输入的MobileNetV2网络，IR人脸根据landmark先做对齐，送入IR活体判别网络，对于活体概率大于thd0的，判断其为活体，对于活体概率小于thd1的，则进行spoof告警。
第三阶段：如图5所示，对于仍然无法判决的人脸，RGB人脸根据landmark先做对齐，送入CNN双生网络_A，IR人脸根据landmark先做对齐，送入CNN双生网络_B，再进行特征做差，并经过全连接分类得到活体概率，对于活体概率大于thd0的，判断其为活体，对于活体概率小于thd1的，则进行spoof告警。
这里的RGB/IR人脸活体判决双生网络，骨干使用MobileNetV2网络，权值共享，双生网络提取的特征做差后经过全连接分类为活体和非活体。
与现有技术相比，本发明实施例主要具有以下优点：
(1)充分使用了IR材质成像不同信息和双目视差信息，按照递进的方式进行人脸活体判决，提高了活体判决的准确率。
(2)本发明对红外成像质量要求不高，对红外补光灯也没特殊要求，方便批量生产低成本部署。
(3)创造性利用IR补光等对不同距离的反射强度不同，可以学习到打印在纸张上的人脸与活体人脸本身对IR反射不同的以及活体人脸和背景的深度差与打印纸张上人脸和背景的深度差的不同，提高活体判别率。
(4)创造性构造双生网络对IR和RGB图进行特征提取端到端训练，有利于学到活体人脸和平面人脸的视差不同信息，有利于学到人脸和人脸附近其他材质对IR和RGB的反射不同的信息。
进一步地，本发明实施例还解决了使用单一IR图像做活体判别结果不够鲁棒的问题，解决了现有技术对IR光源或者IR成像质量要求较高不易于低成本部署的问题，解决了现有技术没有充分利用RGB和IR对同一个人成像的3D成像差异和材质反射差异问题，提高了活体算法的鲁棒性。
基于相同的发明构思，本发明实施例提供一种基于IR和RGB双摄的活体判别***。如图6所示，该***包括活体判别装置100、双目模组200、红外补光灯300及外部设备400，所述双目模组200包括RGB相机和IR相机，所述红外补光灯300用于对所述IR相机进行补光，双目模组200用于采集待检测的视频流，所述活体判别装置100分别与所述双目模组200和外部设备通信400，所示外部设备400用于显示活体判别装置100所得到的活体判别结果。
如图7所示，该活体判别装置100可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述基于IR和RGB双摄的活体判别方法实施例部分的方法。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明第一实施例提供的基于IR和RGB双摄的活体判别方法的实施例中所描述的实现方式，在此不再赘述。
进一步地，对应于第一实施例的基于IR和RGB双摄的活体判别方法和活体判别装置，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述第一实施例的基于IR和RGB双摄的活体判别方法。
所述计算机可读存储介质可以是前述实施例所述的活体判别装置的内部存储单元，例如***的硬盘或内存。所述计算机可读存储介质也可以是所述***的外部存储设备，例如所述***上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述***的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述***所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于IR和RGB双摄的活体判别方法，其特征在于，包括：
通过双目模组获取待检测的视频流，所述双目模组包括RGB相机、IR相机、红外补光灯、显示或功能区域；RGB相机和IR相机用于采集视频流或者样本图像，红外补光灯用于对RGB相机和IR相机进行补光，显示或功能区域用于对识别出的活体判别结果进行显示；
对所述待检测的视频流进行人脸检测，以得到RGB人脸图像和第一IR人脸图像；
通过所述RGB相机和IR相机构成的双目对极关系计算人脸尺寸，并将所述人脸尺寸与预设的合理人脸尺寸范围进行比较，若所述人脸尺寸未落入所述合理人脸尺寸范围内，则舍弃所述RGB人脸图像和第一IR人脸图像，并进行spoof告警；
将所述第一IR人脸图像输入卷积神经网络进行活体判别，以得到第一活体判别结果和第二IR人脸图像；
将所述RGB人脸图像和第二IR人脸图像输入双生网络进行活体判别，以得到第二活体判别结果；
将所述RGB人脸图像和第二IR人脸图像输入所述双生网络，由所述双生网络对所述RGB人脸图像和第二IR人脸图像进行特征提取，对所提取的特征进行做差处理后进行全连接分类，以得到所述第二活体判别结果，并对全连接分类后得到的非活体进行spoof告警；
其中，得到第一活体判别结果和第二IR人脸图像具体为：将所述第一IR人脸图像输入所述卷积神经网络进行活体判别，以得到活体概率；
若所述活体概率大于预设值，则将所述活体概率对应的所述第一IR人脸图像确定为第一活体判别结果；
若所述活体概率小于预设值，则将所述活体概率对应的所述第一IR人脸图像确定为所述第二IR人脸图像。
2.如权利要求1所述的方法，其特征在于，通过双目模组获取待检测的视频流之前，所述方法还包括：
通过所述IR相机采集多张真人活体图片和打印攻击与面具攻击图片作为第一训练样本，并基于所述第一训练样本得到所述卷积神经网络；
通过所述RGB相机和IR相机采集多张真人活体图片和打印攻击与面具攻击图片作为第二训练样本，并基于所述第二训练样本得到所述双生网络。
3.如权利要求2所述的方法，其特征在于，得到第二活体判别结果之后，所述方法还包括：
将所述第一活体判别结果和第二活体判别结果发送至外部设备进行显示。
4.一种基于IR和RGB双摄的活体判别装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求3所述的方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求3所述的方法。
6.一种基于IR和RGB双摄的活体判别***，包括双目模组、红外补光灯、活体判别装置及外部设备，所述双目模组包括RGB相机和IR相机，所述红外补光灯用于对所述IR相机进行补光，其特征在于，所述双目模组用于采集待检测的视频流，所述活体判别装置分别与所述双目模组和外部设备通信，所述活体判别装置如权利要求4所述。
CN202010316897.4A 2020-04-21 2020-04-21 基于ir和rgb双摄的活体判别方法、装置及*** Active CN111539311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010316897.4A CN111539311B (zh) 2020-04-21 2020-04-21 基于ir和rgb双摄的活体判别方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010316897.4A CN111539311B (zh) 2020-04-21 2020-04-21 基于ir和rgb双摄的活体判别方法、装置及***

Publications (2)

Publication Number Publication Date
CN111539311A CN111539311A (zh) 2020-08-14
CN111539311B true CN111539311B (zh) 2024-03-01

Family

ID=71975221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010316897.4A Active CN111539311B (zh) 2020-04-21 2020-04-21 基于ir和rgb双摄的活体判别方法、装置及***

Country Status (1)

Country Link
CN (1) CN111539311B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347904B (zh) * 2020-11-04 2023-08-01 杭州锐颖科技有限公司 基于双目深度和图片结构的活体检测方法、装置及介质
CN112464741B (zh) * 2020-11-05 2021-11-26 马上消费金融股份有限公司 人脸分类方法、模型训练方法、电子设备及存储介质
CN113221830B (zh) * 2021-05-31 2023-09-01 平安科技（深圳）有限公司 一种超分活体识别方法、***、终端及存储介质
CN113255586B (zh) * 2021-06-23 2024-03-15 中国平安人寿保险股份有限公司 基于rgb图像和ir图像对齐的人脸防作弊方法及相关设备
CN115623291A (zh) * 2022-08-12 2023-01-17 深圳市新良田科技股份有限公司 双目摄像头模组、业务***和人脸验证方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590430A (zh) * 2017-07-26 2018-01-16 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质
CN108764071A (zh) * 2018-05-11 2018-11-06 四川大学 一种基于红外和可见光图像的真实人脸检测方法及装置
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN110516616A (zh) * 2019-08-29 2019-11-29 河南中原大数据研究院有限公司 一种基于大规模rgb以及近红外数据集的双重认证人脸防伪方法
CN110852134A (zh) * 2018-07-27 2020-02-28 北京市商汤科技开发有限公司 活体检测方法、装置及***、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590430A (zh) * 2017-07-26 2018-01-16 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质
CN108764071A (zh) * 2018-05-11 2018-11-06 四川大学 一种基于红外和可见光图像的真实人脸检测方法及装置
CN110852134A (zh) * 2018-07-27 2020-02-28 北京市商汤科技开发有限公司 活体检测方法、装置及***、电子设备和存储介质
CN109711243A (zh) * 2018-11-01 2019-05-03 长沙小钴科技有限公司 一种基于深度学习的静态三维人脸活体检测方法
CN110516616A (zh) * 2019-08-29 2019-11-29 河南中原大数据研究院有限公司 一种基于大规模rgb以及近红外数据集的双重认证人脸防伪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
an identity authentication method combining liveness detection and face recognition;shuhua liu et al.;《MDPI》;20191031;第1-10页 *
基于微调策略的多线索融合人脸活体检测;胡斐;文畅;谢凯;贺建飚;;计算机工程;20180627(第05期);第262-266页 *

Also Published As

Publication number Publication date
CN111539311A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111539311B (zh) 基于ir和rgb双摄的活体判别方法、装置及***
CN105279372B (zh) 一种确定建筑物高度的方法和装置
CN108764071A (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
CN107481186B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111079576A (zh) 活体检测方法、装置、设备及存储介质
CN111368601B (zh) 活体检测方法和装置、电子设备和计算机可读存储介质
US6370262B1 (en) Information processing apparatus and remote apparatus for object, using distance measuring apparatus
CN109656033B (zh) 一种区分液晶显示屏灰尘和缺陷的方法及装置
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111837158A (zh) 图像处理方法、装置、拍摄装置和可移动平台
CN113673584A (zh) 一种图像检测方法及相关装置
JP2008529189A (ja) 偏光データを用いるリアルタイム画像検出
CN113822942B (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN111325107A (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN111127358B (zh) 图像处理方法、装置及存储介质
CN111383254A (zh) 一种深度信息获取方法、***及终端设备
US9536162B2 (en) Method for detecting an invisible mark on a card
CN115423804B (zh) 影像标定方法及装置、影像处理方法
CN111885371A (zh) 图像遮挡检测方法、装置、电子设备和计算机可读介质
CN116380918A (zh) 缺陷检测方法、装置及设备
EP3683716A1 (en) Monitoring method, apparatus and system, electronic device, and computer readable storage medium
KR100827133B1 (ko) 이동 통신 단말기에서 3차원 입체 영상을 판별하기 위한방법 및 장치
KR20150009842A (ko) 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant