CN112597466A - 用户认证方法和*** - Google Patents

用户认证方法和*** Download PDF

Info

Publication number
CN112597466A
CN112597466A CN202011403435.2A CN202011403435A CN112597466A CN 112597466 A CN112597466 A CN 112597466A CN 202011403435 A CN202011403435 A CN 202011403435A CN 112597466 A CN112597466 A CN 112597466A
Authority
CN
China
Prior art keywords
user
extracted
image
feature
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011403435.2A
Other languages
English (en)
Inventor
徐炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Labs Singapore Pte Ltd
Original Assignee
Alipay Labs Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Labs Singapore Pte Ltd filed Critical Alipay Labs Singapore Pte Ltd
Publication of CN112597466A publication Critical patent/CN112597466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供了一种用户认证方法和***。该方法包括：使用经训练的卷积神经网络提取与用户的第一眼瞳图像相关联的第一特征；使用所述经训练的卷积神经网络提取与所述用户的第二眼瞳图像相关联的第二特征，其中，所述用户的所述第二眼瞳图像是在白光投射到所述用户的人脸时拍摄的；基于所述提取的第一特征和所述提取的第二特征来生成相似度得分；以及在所述相似度得分指示所述提取的第一特征与所述提取的第二特征之间存在差异的情况下，所述用户通过认证。

Description

用户认证方法和***
技术领域
本文一般性地而非唯一地涉及用户认证方法及用户认证***。
背景技术
“电子化了解你的客户(eKYC)”是企业实体或服务提供商为了验证其客户的身份以防止身份欺诈而执行的数字尽职调查处理。
在典型的eKYC处理中，要求客户拍摄其人脸的照片(即“自拍照”)。实施人脸反欺骗方法，以防止攻击者使用照片、高分辨率屏幕截图、2D/3D面具或其他替代品来代替人的活脸的错误的人脸验证。
当前的人脸反欺骗方法在检测照片、屏幕截图或2D面具欺骗人脸时可能是有效的。但是，当前的人脸反欺骗方法在检测3D面具欺骗人脸时可能无效。
因此，存在改进可以检测欺骗人脸的方式的需求。
发明内容
实施例试图提供一种用户认证方法，该方法涉及基于闪光的人脸反欺骗方法以检测照片、屏幕截图、2D和3D面具欺骗人脸。在活脸的情况下，当闪光投射到眼瞳区域时，预期在眼瞳区域周围中和/或周围看到白点。但是，对于照片、屏幕截图、2D或3D面具欺骗人脸，预期在眼瞳区域中和/或周围不会看到白点。
根据一个实施例，提供了一种用户认证方法，包括：使用经训练的卷积神经网络(CNN)提取与用户的第一眼瞳图像相关联的第一特征；使用所述经训练的CNN提取与所述用户的第二眼瞳图像相关联的第二特征，其中，所述用户的所述第二眼瞳图像是在白光投射到所述用户的人脸时拍摄的；基于所述提取的第一特征和所述提取的第二特征来生成相似度得分；以及在所述相似度得分指示所述提取的第一特征与所述提取的第二特征之间存在差异的情况下，所述用户通过认证。
根据另一实施例，提供了一种用户认证***，包括：提取设备，被配置为：使用经训练的卷积神经网络(CNN)提取与用户的第一眼瞳图像相关联的第一特征，以及使用所述经训练的CNN提取与所述用户的第二眼瞳图像相关联的第二特征，其中，所述用户的所述第二眼瞳图像是在白光投射到所述用户的人脸时拍摄的；得分生成设备，被配置为基于所述提取的第一特征和所述提取的第二特征来生成相似度得分；以及认证设备，被配置为在所述相似度得分指示所述提取的第一特征与所述提取的第二特征之间存在差异的情况下，所述用户通过认证。
附图说明
实施例仅以举例的方式提供，并且通过以下结合附图阅读的书面描述，本领域普通技术人员将更好地理解实施例，并且这些实施例将易于理解，其中：
图1是示出根据实施例的用户认证方法的示例的流程图。
图2a示出了没有闪光投射到眼部上的情况下的眼瞳区域图像；图2b、图2c和图2d示出了闪光投射到眼部上的情况下的(活脸的)眼瞳区域图像的示例。
图3示出了适用于执行用户认证方法的至少一些步骤的计算机***的示意图。
图4是示出根据实施例的用户认证***的示例的示意图。
具体实施方式
将仅以举例的方式参照附图描述了实施例。附图中相同的附图标记和字符表示相同的元件或等同物。
以下描述的某些部分是根据对计算机存储器内数据的操作的算法以及功能或符号表示来显式或隐式呈现的。这些算法描述以及功能或符号表示是数据处理领域技术人员用来最有效地向本领域其他技术人员传达其工作实质的手段。这里，算法通常被认为是导致所需结果的一系列自洽的步骤。这些步骤是需要对诸如能够存储、传输、组合、比较和以其他方式操纵的电信号、磁信号或光信号之类的物理量进行物理操纵的步骤。
除非另有特别说明，并且从下文中可以明显看出，否则将理解，在整个本文中，利用诸如“接收”、“扫描”、“计算”、“确定”、“代替”、“生成”、“初始化”、“输出”等的术语，指的是计算机***或类似电子设备的动作和处理，所述计算机***或类似电子设备将计算机***内的以物理量表示的数据操纵和转换为计算机***或其他信息存储、传输或显示设备内的类似以物理量表示的其他数据。
本文还公开了用于执行所述方法的操作的装置。这样的装置可以被专门地构造用于所需的目的，或者可以包括计算机或由存储在计算机中的计算机程序选择性地激活或重新配置的其他设备。本文提出的算法和显示与任何特定计算机或其他装置没有固有的关联。根据本文的教导，各种机器可以与程序一起使用。可选地，用于执行所需方法步骤的更专用的装置的构造可能是合适的。适合于执行本文描述的各种方法/处理的计算机的结构将从下面的描述中显现。
另外，本文还隐含地公开了一种计算机程序，因为对于本领域技术人员而言清楚的是，本文所述方法的各个步骤可以通过计算机代码来实现。计算机程序不旨在限于任何特定的编程语言及其实现。应当理解，各种编程语言及其代码可以用于实现本文所包含的本公开的教导。而且，计算机程序不旨在限于任何特定的控制流。在不脱离本发明的精神或范围的情况下，计算机程序还有许多其他变体，其可以使用不同的控制流。
此外，计算机程序的一个或多个步骤可以并行而不是顺序地执行。这样的计算机程序可以存储在任何计算机可读介质上。计算机可读介质可以包括诸如磁盘或光盘的存储设备、存储芯片、或适合于与计算机接口的其他存储设备。计算机可读介质还可以包括诸如在互联网***中例示的硬连线介质，或者诸如在GSM移动电话***中例示的无线介质，以及诸如蓝牙、ZigBee、Wi-Fi的其他无线***。当在这样的计算机上加载并执行该计算机程序时，该计算机程序有效地产生了实现优选方法的步骤的装置。
“电子化了解你的客户(eKYC)”是企业实体或服务提供商为了验证其客户的身份以防止身份欺诈而执行的数字尽职调查处理。认证可以被认为是欺诈检测的一种形式，其中，在欺诈行为被实施之前，要验证用户的合法性并可以检测到潜在的欺诈者。有效的认证可以增强***的数据安全性，从而保护数字数据免受未经授权的用户的侵害。
本文中描述的技术产生一种或多种技术效果。特别地，通过计算用户的第一眼瞳图像与用户的第二眼瞳图像(其中，用户的第二眼瞳图像是在白光投射到用户的人脸上时拍摄的)之间的相似度/差异，用户认证方法和***可降低对eKYC处理的攻击成功率，并且对于识别使用3D面具的攻击可能特别有效。如果用户的第一眼瞳图像和用户的第二眼瞳图像被确定为相似或相同，则可以识别出对eKYC处理的攻击。
此外，用户认证方法和***可以通过基于提取的与用户的人脸图像相关联的补充特征来计算置信度得分，从而在检测攻击时提供更高的准确度(其中，用户的一个或多个人脸图像是在将一个或多个非白光投射到用户人脸上时拍摄的)。
实施例试图提供一种用户认证方法，该方法涉及基于闪光的人脸反欺骗方法，以检测照片、屏幕截图、2D和3D面具欺骗人脸。在活脸的情况下，当闪光投射到眼瞳区域上时，预期在眼瞳区域中和/或周围看到白点。但是，在照片、屏幕截图、2D或3D面具欺骗人脸的情况下，预期在瞳孔区域中和/或周围不会看到白点。
图像拍摄设备(例如RGB相机)用于在没有任何闪光投射到用户人脸的情况下拍摄用户的人脸图像。RGB相机配备有CMOS传感器，通过该传感器可以获取用户人脸的图像(或攻击者展示的用于认证的任何图像，例如照片、高分辨率屏幕截图、2D/3D打印面具等)。裁剪出拍摄的用户人脸图像的眼部区域，以便关注于眼瞳区域。收集裁剪出的眼瞳区域图像(标记为“A”)。在图像“A”中，没有闪光投射到用户人脸/眼部上。
通过首先提取包括眼点在内的人脸点，可以裁剪出眼部区域。吴悦(Yue Wu)等人于2018年5月15日发表的“人脸特征点检测：文献调查(Facial Landmark Detection:aLiterature Survey)”，公开了提取人脸点的技术。此后，基于眼点裁剪出眼部区域/眼瞳区域。例如，通过获得最左眼点、最右眼点、最上眼点和最下眼点，可以裁剪包含一只眼睛的矩形区域。眼瞳区域可以以类似方式裁剪。
图像拍摄设备用于在将闪光投射到用户人脸时拍摄用户的人脸图像。裁剪出拍摄的用户人脸图像的眼部区域，以便更关注于眼瞳区域。收集对应的眼瞳区域图像(标记为“B”)。
预期在图像B的眼瞳区域(利用闪光)中清楚地看到白点。另一方面，预期在图像A的眼瞳区域(不利用闪光)中不会看到白点。
对于每个眼瞳区域图像A和B，使用卷积神经(CNN)网络(N1)来提取特征。CNN网络N1可以使用大的瞳孔区域图像来训练，无论是否有闪光投射到眼部上。在一个实施方式中，采用resnet18作为网络结构来训练特征提取器。
基于从眼瞳区域图像A和B提取的特征来计算相似度得分S1。在一个实施方式中，为了计算两个特征向量的相似度，采用了余弦相似度方法。余弦相似度衡量一个内积空间的两个向量之间的相似度。它是通过两个向量之间的角度的余弦值来测量的，并确定两个向量是否指向大致相同的方向。可用于计算余弦相似度的公式如下。
Figure BDA0002817764340000061
其中，Ai和Bi分别是向量A和B的分量。
如果相似度得分S1大于预定阈值(T1)，则意味着两个图像A和B相似。换句话说，该结果指示图像B为欺骗图像(例如，图像B为3D面具或屏幕截图的图像)，因为在眼瞳区域中未观察到白点。另一方面，如果得分S1小于预定阈值(T1)，则意味着两个图像A和B是不同的。换句话说，预期在图像B的眼瞳区域中观察到白点。
在实施方式中，为了使欺诈检测更鲁棒且准确度更高，执行附加步骤，这些步骤包括将一系列彩色光投射到用户人脸以获得具有不同颜色(例如但不限于红色、蓝色、黄色、绿色)的多帧。彩色光投射到整个人脸上，并且具有不同颜色的多帧代表整个人脸，而不仅仅只是眼瞳区域(即，眼瞳区域图像A和B)。
对于具有不同颜色的多帧，使用CNN网络(N2)提取特征。可以利用在活脸和欺骗人脸上具有不同颜色的大规模多帧训练CNN网络N2。在一个实施方式中，采用resnet18作为网络结构来训练二元分类器N2。
基于从具有不同颜色的多帧提取的特征来计算置信度得分S2。
可以将相似度得分S1和置信度得分S2融合以获得最终认证结果。决策函数可以定义为：如果S1<T1或S2>T2，则结果为欺骗人脸，否则结果为活脸。可以基于验证数据集来计算预定阈值T1和T2。
总之，认证方法可以分为两个阶段。第一“闪光”阶段涉及基于从眼瞳区域图像A提取的特征(没有闪光投射到用户的眼瞳区域)和眼瞳区域图像B提取的特征(闪光投射到用户的眼瞳区域)获得相似度得分S1。第二“颜色序列”阶段涉及基于从具有投射到用户人脸上的不同颜色的多帧提取的特征来获得置信度得分S2。
颜色序列阶段可以有效地检测大多数欺骗攻击，例如高分辨率照片/屏幕截图和2D纸质面具。但是，对于3D面具，由于3D面具的表面或材质可能与人脸非常相似，因此颜色序列阶段可能无法正常工作。在闪光(非常亮的白光)投射到人眼，尤其是眼瞳区域上时的“闪光”阶段期间，可以从两个帧(即，利用/不利用闪光)中观察到明显的差异，但是如果使用3D面具进行欺骗则可能找不到差异。这是因为人类的眼瞳区域和3D面具的材质不同。为了使欺诈检测更鲁棒并涵盖更多类型的攻击，将相似度得分S1和置信度得分S2融合在一起以做出最终决策。
图1是示出根据实施例的用户认证方法的示例的流程图100。在步骤102，训练的卷积神经网络(CNN)提取与用户的第一眼瞳图像相关联的一个或多个第一特征。在步骤104，同一训练的CNN提取与用户的第二眼瞳图像相关联的一个或多个第二特征。用户的第二眼瞳图像是在白光(闪光)投射到用户人脸时拍摄的。另一方面，在没有白光(闪光)投射到用户人脸的情况下拍摄用户的第一眼瞳图像。
可以使用以下训练CNN：包括投射有白光的眼瞳的眼瞳图像的大数据集，以及包括没有投射白光的眼瞳的眼瞳图像的大数据集。CNN可以采用resnet18网络结构。
白色闪光的光源可以是集成了相机的智能电话的内置闪光灯。智能电话的相机可用于拍摄用户的第一眼瞳图像(即，内置闪光灯未激活)和用户的第二眼瞳图像(即，内置闪光灯被激活时)。
特别地，该方法可以包括使用(智能电话的相机)的图像传感器拍摄用户的包括第一眼瞳图像的第一人脸图像的步骤。之后，眼部检测方法应用于用户的第一人脸图像以生成第一眼部检测框。用户的第一人脸图像在第一眼部检测框内的区域对应于第一眼瞳图像。类似地，该方法可以包括使用图像传感器拍摄用户的包括第二眼瞳图像的第二人脸图像的步骤。之后，将眼部检测方法应用于用户的第二人脸图像以生成第二眼部检测框。用户的第二人脸图像在第二眼部检测框内的区域对应于第二眼瞳图像。
在步骤106，基于提取的第一特征和提取的第二特征来生成相似度得分。
在步骤108，在相似度得分指示提取的第一特征与提取的第二特征之间存在差异的情况下，用户通过认证。
在照片、屏幕截图、2D或3D面具欺骗人脸的情况下，当闪光投射到眼瞳区域上时，在眼瞳区域中和/或周围看不到白点。
另一方面，在活脸的情况下，当闪光投射到眼瞳区域上时，在眼瞳区域中和/或周围可以看到白点。图2a示出了在没有闪光投射到眼部的情况下的眼瞳区域图像202的示例。为了进行比较，图2b、2c和2d示出了闪光投射到眼部上的情况下的(活脸的)眼瞳区域图像的示例。在图2b中，在眼瞳区域中可以看到白点(dot/spot)204。在图2c中，在眼瞳区域中可以看到两个白点206。在图2d中，可以在眼瞳区域周围看到白点208。取决于闪光的数量和闪光相对于眼瞳的角度，白点可能出现在眼瞳区域中和/或周围的不同位置。
当闪光投射到眼部上时活脸的眼瞳区域中和/或周围存在白点是由于闪光从视神经发出/反射。当闪光以一定角度进入眼部时就会发生这种情况，从而导致白眼效应。这也称为“光盘反射”或“白反射”。
除了白眼效应，当闪光投射到眼部上时在活脸的眼瞳区域中和/或周围可能会出现红点(dot(s)/spot(s))。这被称为红眼效应，其中，闪光发生得太快使瞳孔无法闭合，因此许多闪光通过瞳孔进入眼部，从眼后部(这里有大量的血液)反射并通过瞳孔反射出去。相机记录该反射光。
白眼效应或红眼效应导致用户的第一眼瞳图像与用户的第二眼瞳图像之间存在差异。因此，提取的第一特征和提取的第二特征存在差异。如果相似度得分(在步骤106处确定)指示提取的第一特征与提取的第二特征之间存在差异，则用户可以通过认证。
在实施方式中，为了使欺诈检测更鲁棒且准确度更高，该方法还可以包括以下步骤。首先，将训练的补充卷积神经网络(CNN)用于提取与用户的补充人脸图像相关联的一个或多个补充特征。用户的补充人脸图像是在非白光投射到用户的人脸上时拍摄的。之后，基于提取的补充特征生成置信度得分。
在一个实施方式中，使用经训练的CNN的softmax函数来预测置信度得分。softmax函数用于基于神经网络的分类器的最后一层。softmax函数用于将网络的非归一化输出映射到预测输出类上的概率分布。补充CNN是在大规模人脸图像序列上训练的，其中，人脸图像是活脸图像和欺骗人脸图像。在认证阶段期间，基于在非白光投射到用户人脸时拍摄的人脸图像，根据具有softmax函数的训练的CNN生成置信度得分。
为了使欺诈检测更鲁棒且准确度更高，在(i)相似度得分指示提取的第一特征与提取的第二特征之间存在差异，或者(ii)置信度得分大于预定置信度阈值的情况下，用户通过认证。
补充CNN与上面步骤102中描述的CNN不同。补充CNN可以使用人脸图像的大数据集进行训练，该数据集包括通过投射非白光捕获的活脸图像和欺骗人脸图像。补充CNN可以采用resnet18网络结构。
为了使欺诈检测更鲁棒且准确度更高，可以在多个非白光按顺序投射到用户的人脸时(例如蓝光，然后红光，之后黄光等)拍摄用户的多个补充人脸图像。非白光的光源可以是智能电话的显示屏。智能电话显示屏可被配置为先显示蓝色屏幕，然后显示红色屏幕，再显示黄色屏幕等。显示每种颜色时，(智能电话的相机的)图像传感器可用于拍摄用户的人脸图像。换句话说，如果三种不同非白光被显示并且因此被投射到用户的人脸上，则用户的三个不同的人脸图像被拍摄。
该方法还包括使用经训练的补充CNN来提取与用户的多个补充人脸图像相关联的多个补充特征。此后，基于提取的多个补充特征来生成置信度得分。
相似度得分大于预定相似度阈值表示提取的第一特征与提取的第二特征之间存在差异。相似度阈值和置信度阈值可以基于验证数据集分别确定。验证数据集包括活脸图像和欺骗人脸图像，并且可以根据验证数据和预测结果的标签来计算接收器工作特性(ROC)曲线。在一个实施方式中，根据ROC曲线，将FAR(错误接受率)等于0.01或0.001时设置为阈值。
图3示出了适用于执行用户认证方法的至少一些步骤的计算机***的示意图。
以下仅以举例的方式提供对计算***/计算设备300的描述，而不旨在进行限制。
如图3所示，示例性计算设备300包括用于执行软件例程的处理器304。尽管为了清楚起见示出了单个处理器，但是计算设备300还可以包括多处理器***。处理器304连接到通信基础设施306，以与计算设备300的其他组件进行通信。通信基础设施306可以包括例如通信总线、交叉开关或网络。
计算设备300还包括诸如随机存取存储器(RAM)之类的主存储器308和辅助存储器310。辅助存储器310可以包括例如硬盘驱动器312和/或可移动存储驱动器314，可移动存储驱动器314可以包括磁带驱动器、光盘驱动器等。可移动存储驱动器314以众所周知的方式对可移动存储单元318进行读取和/或写入。可移动存储单元318可以包括由可移动存储驱动器314读取和写入的磁带、光盘等。如相关领域技术人员将理解的那样，可移动存储单元318包括其中存储有计算机可执行程序代码指令和/或数据的计算机可读存储介质。
在可选实施例中，辅助存储器310可以附加地或可选地包括用于允许将计算机程序或其他指令加载到计算设备300中的其他类似设备。这样的设备可以包括例如可移动存储单元322和接口320。可移动存储单元322和接口320的示例包括可移动存储芯片(例如EPROM或PROM)和相关联的插槽，以及允许软件和数据从可移动存储单元322传输到计算机***300的其他可移动存储单元322和接口320，接口320。
计算设备300还包括至少一个通信接口324。通信接口324允许软件和数据经由通信路径326在计算设备300和外部设备之间传送。在各种实施例中，通信接口324允许在计算设备300和诸如公共数据或私有数据通信网络之类的数据通信网络之间传输数据。通信接口324可以用于在不同的计算设备300之间交换数据，这些计算设备300形成互连的计算机网络的一部分。通信接口324的示例可以包括调制解调器、网络接口(诸如以太网卡)、通信端口、具有相关电路的天线等。通信接口324可以是有线的或者可以是无线的。经由通信接口324传送的软件和数据的形式为信号，该信号可以是能够被通信接口324接收的电、电磁、光或其他信号。这些信号通过通信路径326提供给通信接口。
可选地，计算设备300还包括：显示器接口302，其执行用于将图像呈现到相关联的显示器330的操作；以及音频接口432，其执行用于经由相关联的扬声器334播放音频内容的操作。
如本文所使用的，术语“计算机程序产品”可以部分地指代可移动存储单元318、可移动存储单元322、安装在硬盘驱动器312中的硬盘、或承载通过通信路径326(无线链路或电缆)至通信接口324的软件的载波。计算机可读存储介质是指将记录的指令和/或数据提供给计算设备300以执行和/或处理的任何非暂时性有形存储介质。这种存储介质的示例包括软盘、磁带、CD-ROM、DVD、蓝光(Blu-rayTM)光盘、硬盘驱动器、ROM或集成电路、USB存储器、磁光盘或诸如PCMCIA卡之类的计算机可读卡，无论这些设备是在计算设备300的内部还是外部。也可以参与向计算设备300提供软件、应用程序、指令和/或数据的暂时性或非有形计算机可读传输介质的示例包括无线电或红外传输信道及至另一计算机或联网设备的网络连接，以及包括电子邮件传输和网站等上记录的信息的互联网或以太网等。
计算机程序(也称为计算机程序代码)存储在主存储器308和/或辅助存储器310中。也可以经由通信接口324接收计算机程序。此类计算机程序在被执行时使计算设备300能够执行本文所讨论的实施例的一个或多个特征。在各种实施例中，计算机程序在被执行时使处理器304能够执行上述实施例的特征。因此，此类计算机程序表示计算机***300的控制器。
软件存储在计算机程序产品中，并可以使用可移动存储驱动器314、硬盘驱动器312或接口320加载到计算设备300中。可选地，可以通过通信路径326将计算机程序产品下载到计算机***300。该软件在由处理器304执行时使计算设备300执行本文描述的实施例的功能。
应该理解，图3的实施例仅以举例的方式给出。因此，在一些实施例中，可以省略计算设备300的一个或多个特征。而且，在一些实施例中，计算设备300的一个或多个特征可以被组合在一起。另外，在一些实施例中，计算设备300的一个或多个特征可以被分成一个或多个组成部分。
图4是示出根据实施例的用户认证***400的示例的示意图。用户认证***包括提取设备402、得分生成设备404和认证设备406。提取设备402使用经训练的卷积神经网络(CNN)提取与用户的第一眼瞳图像相关联的一个或多个第一特征。提取设备402还使用经训练的CNN提取与用户的第二眼瞳图像相关联的一个或多个第二特征。用户的第二眼瞳图像是在白光投射到用户人脸时拍摄的。
得分生成设备404基于提取的第一特征和提取的第二特征来生成相似度得分。认证设备406在相似度得分指示提取的第一特征与提取的第二特征之间存在差异的情况下，使用户通过认证。
提取设备402还可以使用经训练的补充卷积神经网络(CNN)提取与用户的补充人脸图像相关联的一个或多个补充特征。用户的补充人脸图像是在将非白光投射到用户人脸时拍摄的。得分生成设备404可以基于提取的补充特征来生成置信度得分。认证设备406在以下情况下使用户通过认证：(i)相似度得分指示提取的第一特征与提取的第二特征之间存在差异，或者(ii)置信度得分大于预定置信度阈值。
***400还可以包括图像传感器408，用于拍摄用户的第一人脸图像(包含第一眼瞳图像)并将眼部检测方法应用于用户的第一人脸图像以生成第一眼部检测框。用户的第一人脸图像在第一眼部检测框内的区域对应于第一眼瞳图像。图像传感器408还拍摄用户的第二人脸图像(包含第二眼瞳图像)，并将眼部检测方法应用于用户的第二人脸图像以生成第二眼部检测框。用户的第二人脸图像在第二眼部检测框内的区域对应于第二眼瞳图像。
可以使用包括投射有白光的眼瞳的眼瞳图像的大数据集来训练CNN。可以使用包括通过投射非白光捕获的活脸图像和欺骗人脸图像的人脸图像的大数据集来训练补充CNN。CNN和补充CNN都可以采用resnet18网络结构。
可以在多个非白光顺序投射到用户人脸上时拍摄用户的多个补充人脸图像。提取设备402可以使用经训练的补充CNN来提取与用户的多个补充人脸图像相关联的多个补充特征，得分生成设备可以基于多个提取的补充特征来生成置信度得分。
相似度得分大于预定相似度阈值表示提取的第一特征与提取的第二特征之间存在差异。相似度阈值和置信度阈值是基于验证数据集分别确定的。
本文结合***、设备和计算机程序组件使用术语“被配置为”。对于被配置为执行特定操作或动作的一个或多个计算机的***，意味着***已经在其上安装了在操作中促使该***执行所述操作或动作的软件、固件、硬件或它们的组合。对于被配置为执行特定操作或动作的一个或多个计算机程序，意味着一个或多个程序包括当被数据处理装置执行时促使该装置执行所述操作或动作的指令。对于被配置为执行特定操作或动作的专用逻辑电路，意味着该电路具有执行所述操作或动作的电子逻辑。
本领域技术人员将理解，在不脱离如广泛描述的本发明的精神或范围的情况下，可以对本文特定实施例所示的本发明进行多种变化和/或修改。因此，所述实施例在所有方面都应被认为是说明性的而非限制性的。

Claims (14)

1.一种用户认证方法，包括：
使用经训练的卷积神经网络提取与用户的第一眼瞳图像相关联的第一特征；
使用所述经训练的卷积神经网络提取与所述用户的第二眼瞳图像相关联的第二特征，其中，所述用户的所述第二眼瞳图像是在白光投射到所述用户的人脸时拍摄的；
基于所述提取的第一特征和所述提取的第二特征来生成相似度得分；以及
在所述相似度得分指示所述提取的第一特征与所述提取的第二特征之间存在差异的情况下，所述用户通过认证。
2.根据权利要求1所述的方法，还包括：
使用经训练的补充卷积神经网络提取与所述用户的补充人脸图像相关联的补充特征，其中，所述用户的所述补充人脸图像是在将非白光投射到所述用户的人脸时拍摄的；
基于所述提取的补充特征来生成置信度得分；以及
在以下情况下所述用户通过认证：(i)所述相似度得分指示所述提取的第一特征与所述提取的第二特征之间存在差异，或者(ii)所述置信度得分大于预定置信度阈值。
3.根据权利要求1或2所述的方法，还包括：
使用图像传感器拍摄所述用户的包含所述第一眼瞳图像的第一人脸图像；
将眼部检测方法应用于所述用户的所述第一人脸图像以生成第一眼部检测框，其中，所述用户的所述第一人脸图像在所述第一眼部检测框内的区域对应于所述第一眼瞳图像；
使用所述图像传感器拍摄所述用户的包含所述第二眼瞳图像的第二人脸图像；以及
将所述眼部检测方法应用于所述用户的所述第二人脸图像以生成第二眼部检测框，其中，所述用户的所述第二人脸图像在所述第二眼部检测框内的区域对应于所述第二眼瞳图像。
4.根据前述权利要求中任一项所述的方法，其中，
所述卷积神经网络是使用眼瞳图像的大数据集来训练的，所述眼瞳图像包括投射有所述白光的眼瞳；并且
所述卷积神经网络采用resnet18网络结构。
5.根据权利要求2所述的方法，其中，
所述补充卷积神经网络是使用人脸图像的大数据集来训练的，所述人脸图像包括通过投射所述非白光捕获的活脸图像和欺骗人脸图像，并且
所述补充卷积神经网络采用resnet18网络结构。
6.根据权利要求2所述的方法，其中，在多个非白光顺序投射到所述用户的人脸上时拍摄所述用户的多个补充人脸图像，并且所述方法还包括：
使用所述经训练的补充卷积神经网络来提取与所述用户的所述多个补充人脸图像相关联的多个补充特征；以及
基于所述提取的多个补充特征生成所述置信度得分。
7.根据前述权利要求中任一项所述的方法，其中，
所述相似度得分大于预定相似度阈值表示所述提取的第一特征与所述提取的第二特征之间存在差异，并且
所述相似度阈值和所述置信度阈值是基于验证数据集分别确定的。
8.一种用户认证***，包括：
提取设备，被配置为：
使用经训练的卷积神经网络提取与用户的第一眼瞳图像相关联的第一特征；
使用所述经训练的卷积神经网络提取与所述用户的第二眼瞳图像相关联的第二特征，其中，所述用户的所述第二眼瞳图像是在白光投射到所述用户的人脸时拍摄的；
得分生成设备，被配置为基于所述提取的第一特征和所述提取的第二特征来生成相似度得分；以及
认证设备，被配置为在所述相似度得分指示所述提取的第一特征与所述提取的第二特征之间存在差异的情况下，使所述用户通过认证。
9.根据权利要求8所述的***，其中，
所述提取设备进一步被配置为：
使用经训练的补充卷积神经网络提取与所述用户的补充人脸图像相关联的补充特征，其中，所述用户的所述补充人脸图像是在将非白光投射到所述用户的人脸时拍摄的；
基于所述提取的补充特征来生成置信度得分；以及
在以下情况下使所述用户通过认证：(i)所述相似度得分指示所述提取的第一特征与所述提取的第二特征之间存在差异，或者(ii)所述置信度得分大于预定置信度阈值。
10.根据权利要求8或9所述的***，还包括图像传感器，被配置为：
拍摄所述用户的包含所述第一眼瞳图像的第一人脸图像；
将眼部检测方法应用于所述用户的所述第一人脸图像以生成第一眼部检测框，其中，所述用户的所述第一人脸图像在所述第一眼部检测框内的区域对应于所述第一眼瞳图像；
使用所述图像传感器拍摄所述用户的包含所述第二眼瞳图像的第二人脸图像；以及
将所述眼部检测方法应用于所述用户的所述第二人脸图像以生成第二眼部检测框，其中，所述用户的所述第二人脸图像在所述第二眼部检测框内的区域对应于所述第二眼瞳图像。
11.根据权利要求8至10中任一项所述的***，其中，所述卷积神经网络是使用眼瞳图像的大数据集来训练的，所述眼瞳图像包括投射有所述白光的眼瞳，并且所述卷积神经网络采用resnet18网络结构。
12.根据权利要求9所述的***，其中，所述补充卷积神经网络是使用人脸图像的大数据集来训练的，所述人脸图像包括通过投射所述非白光捕获的活脸图像和欺骗人脸图像，并且所述补充卷积神经网络采用resnet18网络结构。
13.根据权利要求9所述的***，其中，在多个非白光顺序投射到所述用户的人脸上时拍摄所述用户的多个补充人脸图像，并且
所述提取设备进一步被配置为使用所述经训练的补充卷积神经网络来提取与所述用户的所述多个补充人脸图像相关联的多个补充特征；以及
所述得分生成设备进一步被配置为基于所述提取的多个补充特征生成所述置信度得分。
14.根据权利要求8至13中任一项所述的***，其中，所述相似度得分大于预定相似度阈值，表示所述提取的第一特征与所述提取的第二特征之间存在差异，并且其中，所述相似度阈值和所述置信所述相似度得分大于预定相似度阈值表示所述提取的第一特征与所述提取的第二特征之间存在差异，并且所述相似度阈值和所述置信度阈值是基于验证数据集分别确定的。
CN202011403435.2A 2020-04-30 2020-12-04 用户认证方法和*** Pending CN112597466A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10202003994R 2020-04-30
SG10202003994RA SG10202003994RA (en) 2020-04-30 2020-04-30 A User Authentication Method And System

Publications (1)

Publication Number Publication Date
CN112597466A true CN112597466A (zh) 2021-04-02

Family

ID=72643816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011403435.2A Pending CN112597466A (zh) 2020-04-30 2020-12-04 用户认证方法和***

Country Status (2)

Country Link
CN (1) CN112597466A (zh)
SG (1) SG10202003994RA (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292290A (zh) * 2017-07-17 2017-10-24 广东欧珀移动通信有限公司 人脸活体识别方法及相关产品
CN108009531A (zh) * 2017-12-28 2018-05-08 北京工业大学 一种多策略防欺诈的人脸识别方法
CN108345818A (zh) * 2017-01-23 2018-07-31 北京中科奥森数据科技有限公司 一种人脸活体检测方法及装置
CN110969077A (zh) * 2019-09-16 2020-04-07 成都恒道智融信息技术有限公司 一种基于颜色变化的活体检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345818A (zh) * 2017-01-23 2018-07-31 北京中科奥森数据科技有限公司 一种人脸活体检测方法及装置
CN107292290A (zh) * 2017-07-17 2017-10-24 广东欧珀移动通信有限公司 人脸活体识别方法及相关产品
CN108009531A (zh) * 2017-12-28 2018-05-08 北京工业大学 一种多策略防欺诈的人脸识别方法
CN110969077A (zh) * 2019-09-16 2020-04-07 成都恒道智融信息技术有限公司 一种基于颜色变化的活体检测方法

Also Published As

Publication number Publication date
SG10202003994RA (en) 2020-09-29

Similar Documents

Publication Publication Date Title
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
US12014571B2 (en) Method and apparatus with liveness verification
US8908977B2 (en) System and method for comparing images
KR102655949B1 (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
US20180034852A1 (en) Anti-spoofing system and methods useful in conjunction therewith
CN110443016B (zh) 信息防泄露方法、电子装置及存储介质
CN108280418A (zh) 脸部图像的欺骗识别方法及装置
US20150186708A1 (en) Biometric identification system
KR102079952B1 (ko) 얼굴 인식 출입 방법 및 장치
KR101724971B1 (ko) 광각 카메라를 이용한 얼굴 인식 시스템 및 그를 이용한 얼굴 인식 방법
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
US20230222842A1 (en) Improved face liveness detection using background/foreground motion analysis
JP2020518879A (ja) 検出システム、検出装置およびその方法
EP4343689A1 (en) Body part authentication system and authentication method
Ebihara et al. Specular-and diffuse-reflection-based face spoofing detection for mobile devices
JP7264308B2 (ja) 二次元顔画像の２つ以上の入力に基づいて三次元顔モデルを適応的に構築するためのシステムおよび方法
KR102380426B1 (ko) 얼굴 인증 방법 및 장치
WO2018179723A1 (ja) 顔認証処理装置、顔認証処理方法及び顔認証処理システム
WO2018133584A1 (zh) 一种身份验证方法及装置
CN112597466A (zh) 用户认证方法和***
CN112613345A (zh) 用户认证方法和***
CN112597810A (zh) 身份证明文件认证方法和***
CN114202677A (zh) 认证车辆内部中的乘员的方法和***
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination