CN118202347A - 具有监测和/或控制的相机循环的面部识别和/或认证*** - Google Patents

具有监测和/或控制的相机循环的面部识别和/或认证*** Download PDF

Info

Publication number
CN118202347A
CN118202347A CN202280074224.XA CN202280074224A CN118202347A CN 118202347 A CN118202347 A CN 118202347A CN 202280074224 A CN202280074224 A CN 202280074224A CN 118202347 A CN118202347 A CN 118202347A
Authority
CN
China
Prior art keywords
user
video feed
camera
authentication
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280074224.XA
Other languages
English (en)
Inventor
K·A·塔西
J·罗斯
H·赫丁格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Facial Technology Co ltd
Original Assignee
Facial Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facial Technology Co ltd filed Critical Facial Technology Co ltd
Publication of CN118202347A publication Critical patent/CN118202347A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种用于在认证会话期间检测视频馈送注入的方法,包括发起认证会话,该认证会话利用来自相机的视频馈送,计算设备的相机部分用于在认证会话期间捕获用户的视频。接下来,激活相机以获得视频馈送,监测所请求的视频馈送,并接收视频馈送。检测激活相机与接收视频馈送之间的时间延迟。将该时间延迟与预期延迟或预期延迟范围进行比较,并且如果该时间延迟与预期延迟或预期延迟范围不匹配,则终止认证会话。可选地提供该时间延迟与预期延迟、预期延迟范围或两者不匹配的通知。该方法发生的次数可以重复随机次数。

Description

具有监测和/或控制的相机循环的面部识别和/或认证***
技术领域
所公开的实施例涉及生物特征(biometric)安全。更具体地,所公开的实施例涉及认证***。
背景
随着可用于访问若干用户账户的个人电子设备的增长,以及身份盗窃和其他安全问题的威胁的增加,越来越需要经由电子设备安全地访问用户账户的方式。因此,账户持有者通常需要具有满足各种标准的较长密码,诸如使用大写字母和小写字母、数字和其他符号的混合。对于较小的电子设备,诸如智能电话、智能手表、“物联网”(“IoT”)设备等,每次期望访问账户时尝试将这样的长密码键入到设备中可能变得麻烦。在一些情况下,用户甚至可能由于他们在其设备上的不便而决定停用这种繁琐的安全措施。因此,这样的设备的用户可能更喜欢对他们的用户账户的安全访问的其他方法。
另一种这样的方法可以是使用生物特征。例如,电子设备可以具有光学读取器,该光学读取器可以扫描用户的指纹以确定请求访问设备或账户的人被授权。然而,这样的指纹***对于在廉价的电子设备上使用而言通常是非常大且昂贵的,并且通常被认为是不可靠且不安全的。
此外,面部识别通常是已知的,并且可以在各种背景下使用。二维面部识别通常用于在社交网络上或在照片编辑软件中的图像中标记人。然而,面部识别软件尚未单独广泛地实现以安全地认证试图获得对账户的访问的用户,因为它不被认为是足够安全的。例如,二维面部识别被认为是不安全的,因为可以拍摄或记录面部图像,并且然后所得到的示出用户图像的打印或视频显示可以用于欺骗***。因此,需要可靠、成本有效且方便的方法来认证尝试登录到例如用户账户的用户。
发明内容
已经鉴于上述内容开发了所公开的实施例,并且本发明的各方面可以包括一种用于经由用户的计算设备在认证***中注册和认证用户的方法。用户的设备包括相机,并且在一些情况下,包括至少一个移动检测传感器,诸如加速度计、磁力计和陀螺仪,或者相机用于该功能。
公开了一种用于在认证会话期间检测视频馈送注入的方法,包括发起认证会话,该认证会话利用来自用于在认证会话期间捕获用户的视频的计算设备的相机的视频馈送。激活所述相机以获得视频馈送,监测视频馈送,以及接收所接收的视频馈送。检测激活相机和接收所接收的视频馈送之间的时间延迟,并将时间延迟与预期延迟或预期延迟范围进行比较。如果所述时间延迟与预期延迟或预期延迟范围不匹配,则终止所述认证会话,提供所述时间延迟到预期延迟或预期延迟范围、或两者的通知。
在一个实施例中,如果时间延迟与预期延迟或预期延迟范围不匹配,则将视频馈送指定为视频注入。来自相机的视频馈送可以是用户面部的视频馈送。该方法还可以包括关闭相机,激活相机,监测视频馈送以确定在相机关闭时是否检测到视频馈送,并且如果在相机关闭时检测到视频馈送,则终止认证会话,提供时间延迟到预期延迟或预期延迟范围、或两者的通知。在一个实施例中,该方法还包括随机改变关闭相机和打开相机之间的持续时间,并验证在相机关闭的随机时间期间未接收到视频馈送。在一种配置中,计算设备是智能电话。预期的是,预期延迟是相机在激活时输出视频馈送所花费的时间量。上述方法可以循环一次或多次,使得以下步骤被执行两次或更多次:激活相机以获得视频馈送,监测所请求的视频馈送,接收视频馈送;检测从请求到接收所述视频馈送的时间延迟;以及将所述时间延迟与预期延迟或预期延迟范围进行比较。
还公开了一种用于检测视频注入而不是来自物理相机的实际视频输出的方法,包括利用第一请求来请求来自物理相机的视频馈送,接收响应于第一请求的视频馈送,以及关闭相机一时间量。然后,该方法在相机关闭该时间量时监测视频馈送,然后在该时间量之后用第二请求从物理相机请求视频馈送。确定在所述相机关闭的所述时间量期间是否接收到视频馈送。响应于在所述相机关闭的所述时间量期间接收到视频馈送,发送视频注入检测的通知。可以将通知发送给用户、认证应用或第三方实体。
预期时间量包括预定时间量或随机时间量。该方法还可以包括确定在利用第一请求来请求来自物理相机的视频馈送和接收视频馈送之间的持续时间。然后,将利用第一请求来请求来自物理相机的视频馈送和接收视频馈送之间的持续时间与预期延迟进行比较。此后,如果所述持续时间与所述预期延迟不匹配,则可选地提供视频注入的通知。
在一种配置中,预期延迟是物理相机在接收到对视频馈送的请求时输出视频馈送所花费的时间量。该方法还可以包括在一时间段内接收响应于第一请求的视频馈送,并且确定在关闭相机之前接收视频馈送的时间段。然后,将接收视频馈送的时间段与物理相机开启的时间段进行比较。响应于接收所述视频馈送的所述时间段不同于所述相机开启的所述时间段,发送视频注入检测的通知。
该方法还可以进一步包括将相机关闭一时间量,并且在相机关闭该时间量时监测视频馈送。然后在所述时间量之后利用第二请求来请求来自物理相机的视频馈送,并且确定在所述相机关闭的所述时间量期间是否接收到视频馈送。响应于在所述相机关闭的所述时间量期间接收到视频馈送,发送视频注入检测的通知。
本文还公开了一种用于在认证会话期间检测视频注入的***。该***包括计算设备,该计算设备具有相机、屏幕、处理器和配置有可由处理器执行的非暂时性机器可读代码的存储器。机器可读代码被配置为利用第一请求从物理相机请求视频馈送,并且接收响应于第一请求的视频馈送。检测或确定从所述相机请求所述视频馈送与接收所述视频馈送之间的时间差,并且然后将所述时间差与和相机激活时间相关联的预期时间差窗口或范围进行比较。如果所述时间差在所述预期时间差范围之外,则停止所述认证会话。此后,关闭所述相机一时间量,并且在所述相机关闭该时间量时监测视频馈送。如果在所述相机关闭时接收到视频馈送,则停止所述认证会话。此后,在所述时间量之后,利用第二请求来请求来自物理相机的视频馈送。
在一个实施例中,时间量包括随每个认证会话改变的随机时间量。预期的是,预期延迟是物理相机在接收到对视频馈送的请求时输出视频馈送所花费的时间量。机器可读代码还可以被配置为响应于第一请求在一时间段内接收视频馈送,并且确定在关闭相机之前接收视频馈送的时间段。然后将接收到视频馈送的时间段与物理相机开启的时间段进行比较。响应于接收所述视频馈送的所述时间段与所述相机开启的所述时间段不同,发送视频注入检测的通知。
机器可读代码还可以被配置为在随机时间量期间关闭相机,并在相机关闭随机时间量期间监测视频馈送。然后,在所述时间量之后用第二请求从物理相机请求视频馈送,并且确定在相机关闭的随机时间量期间是否接收到视频馈送。响应于在所述相机关闭的所述随机时间量期间接收到视频馈送,发送视频注入检测的通知。
在检查以下附图和详细描述后,本发明的其他***、方法、特征和优点对于本领域技术人员将是或将变得显而易见。所有这样的附加***、方法、特征和优点旨在被包括在本说明书内、在本发明的范围内,并且由所附权利要求保护。
附图说明
附图中的组件不一定按比例绘制,而是将重点放在说明本发明的原理上。在附图中,相同的附图标记在不同的视图中表示相应的部分。
图1示出了根据一个示例性实施例的面部识别认证***的使用的示例环境。
图2示出了移动设备的示例实施例。
图3示出了作为移动设备和服务器的一部分的示例性软件模块。
图4示出了根据一个实施例的用于执行面部识别认证的方法。
图5示出了根据一个示例性实施例的用于在面部识别认证***中注册用户的方法。
图6A和图6B示出了根据一个示例性实施例的移动设备围绕用户面部的移动的示例。
图7A和图7B示出了根据一个示例性实施例的移动设备围绕用户面部的移动的示例。
图8示出了根据一个示例性实施例的在面部识别认证***中提供认证信息的方法。
图9示出了根据一个示例性实施例的在面部识别认证***中验证认证凭证的方法。
图10示出了示出面部识别认证***中的图形和数字反馈的示例性显示。
图11A、图11B和图11C示出了对应于面部识别认证***中的前置相机位置的示例性视频反馈显示。
图12示出了面部识别认证***的示例性视频显示反馈,其中显示器侧面上的边缘像素被水平拉伸。
图13A和图13B示出了示例性屏幕显示,其中面部对准指示符被示出为椭圆形,以在用户将移动设备移动得更靠近或远离他们的面部时用作引导。
图14示出了利用像素速度分析检测来验证用户的活性或三维性的方法。
图15示出了示出具有成像区域的图形代码输入接口的示例性移动设备显示。
图16图示了示出具有成像区域的数字和图形代码输入接口的示例移动设备显示器。
图17示出了检测来自虚拟相机或其他源的注入的相机馈送的示例方法。
图18A和图18B示出了替代的操作方法。
图19示出了包括作为相机馈送请求开/关循环的一部分来控制相机馈送关闭请求持续时间的示例操作方法。
图20示出了视频注入检测的替代实施例。
具体实施方式
下面将描述用于提供安全和方便的面部识别认证的***和方法。该***和方法可以在不需要额外昂贵的生物特征读取器或***的情况下实现,同时提供比常规面部识别***增强的安全性。
人脸识别认证环境
图1示出了使用本文描述的面部识别认证***的示例环境。这只是一种可能的使用环境和***。预期的是,在阅读下面结合附图提供的说明书之后,本领域普通技术人员可以得出不同的使用环境和配置。
在该环境中,用户108可以具有移动设备112,其可以用于经由认证***访问用户账户中的一个或多个。用户108可以具有移动设备112,其可以捕获用户108的图片,诸如用户面部的图像。用户可以使用移动设备112上或连接到移动设备112的相机114来捕获他或她自己的一个或多个图像或视频。移动设备112可以包括能够捕获图像(静止图像或视频图像)并且通过网络执行图像处理或通信的任何类型的移动设备。
在该实施例中,用户108可以携带并保持移动设备112以捕获图像。用户还可以佩戴或持有任何数量的其他设备。例如,用户可以佩戴手表130,手表130包含设置在手表上的一个或多个相机134或生物传感器。相机134可以被配置为从可见光以及红外光创建图像。相机134可以附加地或替代地采用图像增强、主动照明或热视觉来获得黑暗环境中的图像。
当指向用户108时,相机134可以捕获用户面部的图像。相机134可以是模块的一部分,该模块可以包括诸如经由NFC或其他格式与移动设备112通信或者通过有线或无线链路154直接与网络116通信的通信能力。手表130可以在其面上包括屏幕以允许用户查看信息。如果相机模块134与移动设备112通信,则移动设备134可以将通信中继到网络116。移动设备134可以被配置有多于一个的前置相机114以提供3D或立体视图,或者获得跨不同光谱范围(诸如近红外和可见光)的图像。
移动设备112被配置为通过网络116与远程服务器120无线通信。服务器120可以与一个或多个数据库124通信。网络116可以是能够向和从移动设备进行通信的任何类型的网络,包括但不限于LAN、WAN、PAN或互联网。移动设备112可以经由有线或无线连接(诸如经由以太网、Wi-Fi、NFC等)与网络通信。服务器120可以包括能够与移动设备112通信的任何类型的计算设备。服务器120和移动设备112配置有处理器和存储器,并且被配置为执行存储在存储器中的机器可读代码或机器指令。
如图所示,存储在移动设备或远程位置上的数据库124可以包含用户108的面部生物特征信息和认证信息,以基于从移动设备112或手表134接收的一个或多个图像或生物特征信息来识别用户108以允许访问相关联的用户数据。数据可以是例如与用户账户相关的信息或允许访问单独的账户信息服务器120B的指令。术语生物特征数据可以包括关于(失真或未失真的)面部特征和路径参数的生物特征信息以及其他信息。路径参数的示例可以包括移动设备的加速度和速度、移动设备在图像捕获期间的角度、移动设备到用户的距离、相对于用户的面部位置的路径方向、或者与移动设备或用户面部相对于相机的移动相关联的任何其他类型的参数。还可以包括其他数据,诸如GPS数据、设备标识信息等。
在该实施例中,服务器120处理来自移动设备112或用户108的识别请求。在一种配置中,由移动设备112使用面部检测捕获的图像包括在移动设备相对于用户面部的移动期间用户面部108的一个或多个图像,诸如以从用户面部向前和向后或任何其他运动方向上的左右或水平弧或线、垂直弧或线的移动。在另一种配置中,移动设备112从所获得的图像计算生物特征信息,并将生物特征信息发送到服务器120。在又一实施例中,移动设备112将生物特征信息与移动设备112上存储的生物特征信息进行比较,并将得自该比较的认证结果发送到服务器120。
包括(一个或多个)图像、生物特征信息或两者的数据通过网络116发送到服务器120。使用图像处理和图像识别算法,服务器120处理人的生物特征信息,例如面部数据,并将生物特征信息与存储在数据库124中的生物特征数据进行比较,以确定匹配的可能性。在其他实施例中,图像处理和比较在移动设备112上完成,并且发送到服务器的数据指示比较的结果。在另外的实施例中,在移动设备112上进行图像处理和比较而不访问服务器,例如,以获得对移动设备112本身的访问。
通过使用面部识别处理,可以建立准确的身份匹配。基于该因素以及可选地基于一个或多个其他因素,可以准许访问,或者可以拒绝未授权的用户。面部识别处理在本领域中是已知的(或者是已建立的过程),并且因此,在本文中不对其进行详细描述。
还示出了具有相关联的第二数据库124B的第二服务器120B,以及具有相关联的第三数据库124C的第三服务器120C。可以提供第二和第三数据库以包含在服务器120和数据库124上不可用的附加信息。例如,可以仅基于由服务器120执行的用户108的认证来访问附加服务器中的一个。
在移动设备112上执行的是一个或多个软件应用。该软件在本文中被定义为识别应用(ID App)。ID App可以配置有面部检测和面部识别中的任一个或两个以及监测路径参数和/或生物特征数据的一个或多个软件模块。如本文所使用的面部检测是指检测图像中的面部的过程。如本文所使用的面部识别是指可以使用算法分析面部、映射其面部特征并将其转换为生物特征数据(诸如数字数据)的过程。可以将生物特征数据与从一个或多个不同图像导出的生物特征数据进行相似性或不相似性比较。如果在生物特征数据中发现高百分比的相似性,则可以认为图像中所示的个体是匹配的。
在最终目标是将用户的面部与存储在数据库124中的身份或图像匹配以认证用户的情况下,ID App可以首先处理由相机114、134捕获的图像以识别和定位图像中的面部。如图1所示,可以存在面部108。认证可以用于登录在线账户或用于许多其他访问控制功能。
然后可以裁剪、切割和存储包含检测到的面部的照片的部分,以供一个或多个面部识别算法处理。通过首先检测图像中的面部并仅裁剪该面部的部分,面部识别算法不需要处理整个图像。此外,在面部识别处理远离移动设备112(诸如在服务器120处)发生的实施例中,需要通过网络向远程位置发送少得多的图像数据。预期可以将整个图像、裁剪的面部或仅生物特征数据发送到远程服务器120以进行处理。
面部检测软件可以从各种角度检测面部。然而,面部识别算法在光线充足的情况下直接在图像上最准确。在一个实施例中,首先处理捕获的用于面部识别的最高质量面部图像,然后处理较低质量、或除了直接朝向面部的不同角度的面部图像。该处理可以发生在移动设备上或远程服务器处,该远程服务器可以访问图像数据或面部识别数据的大型数据库。
面部检测优选地发生在移动设备上,并且由移动设备软件(诸如ID App)执行。这减少了在没有找到面部的情况下发送到服务器进行处理的图像(数据)的数量或大小,并且最小化必须通过网络发送的数据的总量。这减少了带宽需求并且降低了网络速度要求。
在另一优选实施例中,面部检测、面部识别和生物特征比较都发生在移动设备上。然而,预期面部识别处理可在移动设备、远程服务器或两者上发生。
图2示出了移动设备的示例实施例。这仅仅是一种可能的移动设备配置,并且因此预期本领域普通技术人员可以不同地配置移动设备。移动设备200可以包括能够如下所述执行的任何类型的移动通信设备。移动设备可以包括PDA、蜂窝电话、智能电话、平板PC、无线电子板、IoT设备、“可穿戴”电子设备或任何其他计算设备。
在该示例实施例中,移动设备200配置有外壳204,外壳204被配置为保护和容纳下面描述的组件。在外壳204内是处理器208以及第一总线212A和第二总线212B(统称为212)。处理器208通过总线212与移动设备200的其它组件通信。处理器208可以包括能够如本文所述执行的任何类型的处理器或控制器。处理器208可以包括通用处理器、ASIC、ARM、DSP、控制器或任何其他类型的处理设备。处理器208和移动设备200的其他元件从电池220或其他电源接收电力。电接口224提供一个或多个电端口以与移动设备电连接,诸如与第二电子设备、计算机、医疗设备或电源/充电设备电连接。接口224可以包括任何类型的电接口或连接器格式。
一个或多个存储器210是移动设备200的一部分,用于存储在处理器208上执行的机器可读代码并且用于存储数据,诸如图像数据、音频数据、用户数据、医疗数据、定位数据、加速度计数据或任何其他类型的数据。存储器210可以包括RAM、ROM、闪存、光存储器或微驱动器存储器。如本文所述的机器可读代码是非暂时性的。
作为该实施例的一部分,处理器208连接到用户接口216。用户接口216可以包括被配置为接受用户输入以控制移动设备的任何***或设备。用户接口216可以包括以下中的一个或多个:键盘、滚珠、按钮、轮、指针键、触摸板和触摸屏。还提供了触摸屏控制器230,其通过总线212接口并连接到显示器228。
显示器包括被配置为向用户显示视觉信息的任何类型的显示屏。屏幕可以包括LED、LCD、薄膜晶体管屏幕、OEL CSTN(彩色超扭曲向列)、TFT(薄膜晶体管)、TFD(薄膜二极管)、OLED(有机发光二极管)、AMOLED显示器(有源矩阵有机发光二极管)、电容式触摸屏、电阻式触摸屏或这些技术的任何组合。显示器228从处理器208接收信号,并且这些信号由显示器转换成文本和图像,如本领域中所理解的。显示器228还可以包括与处理器208对接的显示处理器(未示出)或控制器。触摸屏控制器230可以包括被配置为从覆盖在显示器228上的触摸屏接收信号的模块。
此外,该示例性移动设备的一部分是扬声器234和麦克风238。扬声器234和麦克风238可以由处理器208控制。麦克风238被配置为基于处理器208控制来接收音频信号并将音频信号转换为电信号。同样地,处理器208可以激活扬声器234以生成音频信号。这些装置如本领域中所理解的那样操作,并且因此在本文中不详细描述。
第一无线收发器240和第二无线收发器244也连接到总线212中的一个或多个,第一无线收发器240和第二无线收发器244中的每一个连接到相应的天线248、252。第一和第二收发器240、244被配置为从远程发送器接收传入信号,并对信号执行模拟前端处理以生成模拟基带信号。传入信号可以通过转换成数字格式(例如通过模数转换器)来进一步处理,以供处理器208进行后续处理。同样,第一和第二收发器240、244被配置为从处理器208或移动设备208的另一组件接收传出信号,并将这些信号从基带上变频到RF频率,以通过相应的天线248、252传输。尽管示出为具有第一无线收发器240和第二无线收发器244,但是可以设想,移动设备200可以仅具有一个这样的***或两个或更多个收发器。例如,一些设备具有三频带或四频带能力,或者具有NFC或其他通信能力。
预期移动设备以及因此第一无线收发器240和第二无线收发器244可以被配置为根据任何目前存在的或未来开发的无线标准进行操作,所述无线标准包括但不限于蓝牙、WI-FI(诸如IEEE 802.11a、b、g、n)、无线LAN、WMAN、宽带固定接入、WiMAX、任何蜂窝技术(包括CDMA、GSM、EDGE、3G、4G、5G、TDMA、AMPS、FRS、GMRS)、民用频带无线电、VHF、AM、FM和无线USB。
此外,移动设备的一部分是连接到第二总线212B的一个或多个***,其也与处理器208对接。这些设备包括具有相关联的天线262的全球定位***(GPS)模块260。GPS模块260可以接收和处理来自卫星或其他应答器的信号,以生成关于GPS模块260的定位、行进方向和速度的定位数据。GPS在本领域中通常是理解的,因此在本文中不再详细描述。陀螺仪264连接到总线212B以产生并提供关于移动设备204的定向的定向数据。提供磁力计268以向移动设备204提供方向信息。加速度计272连接到总线212B以提供关于移动设备所经历的冲击或力的信息或数据。在一个配置中,加速度计272和陀螺仪264生成并向处理器208提供数据以指示移动设备的移动路径和定向。
提供一个或多个相机(静止相机、视频相机或两者)276以捕获图像数据,用于存储在存储器210中和/或用于通过无线或有线链路的可能传输或用于稍后观看。一个或多个相机276可以被配置为使用可见光和/或近红外光来检测图像。相机276还可以被配置为利用图像增强、主动照明或热视觉来获得黑暗环境中的图像。处理器208可以处理图像数据以执行图像识别,诸如在面部检测、物品检测、面部识别、物品识别或条/盒代码读取的情况下。
提供闪光器和/或手电筒280,诸如LED灯,并且其是处理器可控制的。闪光器或手电筒280可以用作闪光灯或传统手电筒。闪光器或手电筒280还可以被配置为发射近红外光。功率管理模块284与电池220对接或监测电池220以管理功率消耗、控制电池充电、并向可能需要不同功率要求的各种设备提供供电电压。
图3示出了作为移动设备和服务器的一部分的示例性软件模块。可以提供其他软件模块以提供下面描述的功能。对于本文描述的功能,提供了存在被配置为执行功能的匹配软件(非暂时性机器可读代码、机器可执行指令或代码)。软件将被存储在存储器上并且可由处理器执行。
在该示例确认中,移动设备304包括接收模块320和发送模块322。这些软件模块被配置为接收数据并将数据发送到远程设备,例如相机、眼镜、服务器、蜂窝塔或WIFI***,例如路由器或接入点。
此外,移动设备304的一部分是定位检测模块324,定位检测模块324被配置为诸如利用三角测量或GPS来确定移动设备的定位。提供账户设置模块326以建立、存储和允许用户调整账户设置。还提供登录模块328以允许用户例如利用密码保护登录到移动设备304。提供面部检测模块308以执行面部检测算法,而面部识别模块321包括识别用户的面部或面部特征的软件代码,诸如以创建表示用户唯一的一个或多个面部特征(面部生物特征信息)的数值。
信息显示模块314控制向移动设备的用户显示信息。显示可以发生在移动设备或手表的屏幕上。用户输入/输出模块316被配置为从用户接受数据并向用户显示数据。本地接口318被配置为与其他本地设备对接,诸如使用或其他短程通信,或者使用到连接的相机、电池、数据存储元件的连接器的有线链路。移动设备304中示出的所有软件(具有相关联的硬件)操作以提供本文描述的功能。
图3中还示出了服务器软件模块350。这些模块远离移动设备定位,并且可以位于任何服务器或远程处理元件上。如本领域所理解的,网络和网络数据使用分布式处理方法,其中多个服务器和数据库一起操作以提供统一的服务器。因此,可以设想,服务器框350中所示的模块可以不全部位于相同的服务器或相同的物理位置处。
如图3所示,服务器350包括接收模块352和发送模块354。这些软件模块被配置为接收数据并将数据发送到远程设备,例如相机、手表、眼镜、服务器、蜂窝塔或WIFI***,例如路由器或接入点。
信息显示模块356控制服务器350处的信息显示。用户输入/输出模块358控制与本地接口模块360连接的用户接口。还位于***的服务器侧的是面部识别模块366,其被配置为处理来自移动设备的图像数据。面部识别模块366可以处理图像数据以生成面部数据(生物特征信息),并且执行与其他面部数据相关的比较功能,以作为标识确定的一部分确定面部匹配。
数据库接口368使得能够与包含由服务器模块使用的信息的一个或多个数据库进行通信。定位检测模块370可以利用来自移动设备304的定位数据进行处理并提高准确度。同样地,账户设置模块372控制用户账户并且可以与移动设备304的账户设置模块326对接。提供辅助服务器接口374以与一个或多个其他服务器对接和通信。
提供一个或多个数据库或数据库接口以促进与数据库的通信和数据库的搜索。在该示例实施例中,***包括包含一个或多个人的图像或图像数据的图像数据库。该数据库接口362可以用于访问图像数据用户,作为身份匹配过程的一部分。此外,该实施例的一部分是个人数据数据库接口376和隐私设置数据模块364。这两个模块376、364操作以建立个人的隐私设置并访问可以包含隐私设置的数据库。
认证***
现在将结合图4描述可在上述环境和***中操作的具有路径参数的认证***。图4示出了根据本发明的一个实施例的用于利用路径参数执行面部识别认证的方法。如下面将更详细描述的,***利用上面定义的移动设备112和服务器120的特征来生成安全且方便的登录***作为认证***的一个示例。这减少了用户必须在移动设备的小屏幕上键入复杂密码的负担,通过诸如密钥记录或屏幕截图捕获的手段来防止欺诈,并且通过组合在用户被认证之前必须满足的若干路径参数和/或设备参数来增加安全性。
在步骤410中,***将用户注册在面部识别认证***中。在一个实施例中,认证服务器(诸如服务器120(图1))可以被配置为认证用户以允许经由移动设备112访问用户的账户(诸如银行或其他账户)。认证服务器120可以被包括作为提供用户账户的机构或实体的服务器(以下称为“账户服务器”)的一部分,或者认证服务器可以单独提供。例如,在图1所示的环境中,服务器120B和120C可以表示账户服务器。在其他实施例中,账户服务器和认证服务器是相同的一个。在一个实施例中,认证服务器120可以向用户提供认证应用以安装在移动设备112上。
将参考图5描述根据一个实施例的注册过程。在该实施例中,在步骤510中,用户经由移动设备112在移动设备112和账户服务器120B之间建立连接。仅作为一个示例,用户可以与诸如银行的金融机构的服务器建立连接,或者该连接可以稍后在认证之后的过程中发生。然后,在步骤512中,用户提供典型的登录信息以认证用户,诸如金融账户的用户名和密码。在步骤514中,用户接下来可以在移动设备112处接收提示以在面部识别认证***中注册。然后,用户经由用户接口指示他或她想要响应于该提示来建立认证***。
接下来,在步骤516中,移动设备112可以向认证服务器120发送设备信息。设备信息可以包括唯一地标识用户的移动设备的设备标识符以及其他信息。这样的信息可以包括设备制造商、型号、序列号和移动网络信息。在步骤518中,当认证服务器120与账户服务器120B合并时,认证服务器120将设备信息与用户的账户信息相关联并存储。当认证服务器120与账户服务器120B分离时,账户服务器120B可以生成与账户信息相关的唯一标识符并将唯一标识符发送到认证服务器120。认证服务器120可以将设备信息和唯一标识符彼此相关联,并且可以将信息存储在数据库124中。
接下来,在步骤510中,提示用户使用移动设备112上的相机114提供他或她的面部的多个图像(以下称为“注册图像”)。当用户握持移动设备并将移动设备移动到相对于他或她的头部和面部的不同位置时,拍摄用户面部的注册图像。因此,用户面部的注册图像是从许多不同的角度或位置拍摄的。此外,在步骤522中,监测并记录移动设备的路径参数以供将来比较。在图6A-图7B中示出了用户可以如何握持移动设备并拍摄她的面部的多个图像的一些非限制性示例。
在图6A和图6B中,用户将移动设备112保持在他或她的面部的一侧上,并且在围绕他或她的面部水平的弧形路径中移动移动设备112,直到移动设备112在她或她的面部的另一侧上。在图7A和图7B中,用户将移动设备112保持远离他或她的面部,然后使移动设备112向前更靠近他或她的面部。当然,除了图6A-图7B中所示的那些之外,可以使用任何数量的其他路径。另外,用户可以在相机保持固定的同时移动他或她的头部。用户还可以保持相机稳定并相对于相机移动他们的头部。因此,该方法可以利用膝上型计算机或台式计算机上或任何其他设备上的网络摄像头来实现,诸如其中相机安装在类似静止定位或对象上的IoT设备。
可以如下获得注册图像。用户握持并定向具有相机114的移动设备112,使得相机114被定位以对用户的面部成像。例如,用户可以使用具有显示屏的移动设备112上的前置相机114,并且可以在显示屏上确认他或她的面部处于要由相机114成像的位置。
一旦用户已经定向了设备,设备就可以开始获得用户的注册图像。在一个实施例中,用户可以按下设备112上的按钮,诸如触摸屏上的按钮或设备上的其他按钮,以发起注册图像的获得。然后,当设备从如上所述的多个角度或位置对用户的面部进行成像时,用户将移动设备移动到相对于他或她的头部的不同位置。当使用上述前置相机时,用户可以通过查看显示屏上的成像来连续地确认他或她的面部正在被成像。用户可以再次按下按钮以指示成像完成。可替代地,用户可以在成像期间按住按钮,然后释放按钮以指示成像完成。
如上文所描述,移动设备112可包含面部检测。在该实施例中,在步骤524中,移动设备可以在每个注册图像中检测用户的面部,裁剪图像以仅包括用户的面部,并且经由网络将图像发送到认证服务器120。在步骤526中,在接收到注册图像时,认证服务器120对图像执行面部识别以确定用户的生物特征信息(“注册生物特征”)。然后,在步骤528中,认证服务器120可以将注册生物特征与设备信息和唯一标识符(或账户信息)相关联,并将生物特征信息存储在数据库124中。为了增加安全性,在步骤530中,移动设备112和认证服务器120可以被配置为在获得用户的注册生物特征之后删除注册图像。
在另一实施例中,移动设备112可以在不执行面部检测的情况下将图像发送到认证服务器120。然后,认证服务器120可以执行面部检测、面部识别和生物特征信息处理。在另一实施例中,移动设备112可以被配置为执行面部检测、面部识别和生物识别处理,然后将由处理产生的结果或数据发送到认证服务器120以与唯一标识符或用户账户相关联。这防止敏感的个人数据(图像)离开用户的设备。在又一实施例中,移动设备112可以执行上述步骤中的每一个,并且移动设备112可以存储注册信息而不向服务器发送注册生物特征或图像中的任何一个。
在一个实施例中,移动设备的陀螺仪、磁力计和加速度计被配置为在用户围绕他或她的头部移动移动设备以获得注册图像时生成和存储数据(路径参数)。移动设备可在步骤532中处理此数据以确定移动设备在用户对他或她的面部成像时移动的路径或弧线(“注册移动”)。通过使用来自加速度计、磁力计和陀螺仪的数据,***可以检查用户何时准备好开始扫描他/她自己以及确定扫描路径。因此,数据用于确定何时开始和停止扫描间隔。数据可以另外包括在扫描期间经过的时间。该时间可以从用户按下按钮以开始和停止成像起来测量,或者可以从在成像时按钮被按下的持续时间开始测量,或者在更多移动或完成扫掠期间测量。
移动设备112的注册移动(其是在图像捕获期间定义移动设备的移动的数据)可以被发送到认证服务器120。认证服务器120关联并存储注册移动、注册生物特征、设备信息和唯一标识符或账户信息。替代地,由陀螺仪、磁力计和加速度计生成的数据可以被发送到服务器120,并且服务器120可以处理数据以确定注册移动。在另一实施例中,注册移动可以存储在移动设备112上,使得所有注册信息都保持在移动设备112上。
因此,在上述实施例中,注册信息因此可以包括设备信息、注册生物特征和注册移动(基于移动设备112的移动)。
返回到图4,一旦注册完成,认证服务器120可以稍后从尝试向***认证的用户接收凭证,如步骤420所示。例如,用户可以尝试登录到用户账户。当用户尝试登录时,代替提供诸如用户名和密码的典型账户凭证或除此之外,当移动设备112被握持在手中并且以与在注册期间所做的相同的方式(诸如图6A-图6B所示)移动到相对于头部的不同位置时,用户可以再次拍摄他或她的面部的多个图像或视频(“认证图像”)。以这种方式,用户可以从许多不同的角度和/或位置提供必要的图像(术语图像包括视频,因为视频是一系列图像),并且可以在获得图像(“认证移动”)的同时提供设备的路径参数,以确认用户的身份以及该个体的活性和真实性,以确保它不是视频、屏幕截图或这个人的其他表示。
在图8中概述的一个实施例中,在将移动设备112移动到相对于用户头部的不同位置时,用户经由移动设备112在步骤810中获得若干认证图像。在步骤812中使用面部检测,移动设备112在每个认证图像中检测用户的面部、裁剪图像、并将图像发送到认证服务器120。在另一实施例中,移动设备112将图像发送到服务器124,并且服务器124执行面部检测。在步骤814中,认证路由120可以对认证图像执行面部识别以获得生物特征信息(“认证生物特征”)。在另一实施例中,移动设备112执行面部识别以获得认证生物特征并将认证生物特征发送到服务器120。
在步骤816中,移动设备112将标识设备的设备信息发送到服务器120,且将路径参数(例如陀螺仪、磁力计及加速度计信息)发送到服务器120,所述路径参数界定移动设备在成像期间所采取的路径以及在成像期间所经过的时间(“认证移动”)。因此,由认证服务器120接收的用于登录面部识别***的凭证可以包括设备信息、认证图像或认证生物特征、以及认证移动(路径参数)。
返回到图4,在步骤430中,认证服务器120验证从移动设备112接收的凭证与在注册期间获得的信息充分对应。例如,如图9中的步骤910所示,通过使用算法来处理面部的特性和在不同图像之间照射面部的光,认证服务器120可以确定认证图像中的面部是三维的,即,不是打印图片或视频屏幕上的表示。在移动设备120仅将认证生物特征120发送到服务器的情况下,服务器120可通过比较不同图像的生物特征结果来验证所成像的用户的真实性或三维方面。
在步骤920中,认证服务器120然后可以将登录凭证与从注册过程存储的信息进行比较。在步骤920中,服务器120将在登录过程期间获得的设备的标识与在注册期间存储的设备的标识进行比较。在步骤930中,可以将认证生物特征与注册生物特征进行比较,以确定它们是否与注册生物特征充分对应。在步骤940中,可以将认证移动与注册移动进行比较,以确定其是否与注册移动充分对应。
在一些实施例中,注册信息的副本可以存储在移动设备112上,并且移动设备112可以验证在移动设备112上接收的凭证与注册信息充分对应。这将允许用户除了保护托管在远程设备(诸如认证服务器120)上的用户账户之外还保护移动设备112本身上的文档、文件或应用程序,即使当到认证服务器120的连接可能暂时不可用时,诸如当用户不能访问互联网时。此外,这将允许用户保护对移动设备112本身的访问。或者注册信息可以存储在服务器上。
因此,在步骤950中,如果认证服务器120或移动设备112确定注册信息与接收到的凭证充分对应,则服务器或移动设备可以验证尝试登录的用户的标识与账户持有者对应。这避免了用户必须使用移动设备的小屏幕手动键入复杂密码的繁琐过程。许多密码现在需要大写、非文本字母、小写和数字。
在登录尝试中确定注册信息与认证信息充分对应所需的对应性级别可以预先设置。例如,对应性级别可以是注册生物特征与认证生物特征之间的99.9%匹配率、以及注册移动与认证移动之间的90%匹配率。基于所建立的阈值,所需的对应性级别可以是静态的或弹性的。
例如,所需的对应性级别可以基于来自移动设备112的GPS信息。在一个实施例中,当移动设备的GPS信息与用户的家的定位或(一个或多个)其他授权定位相对应时,认证服务器120可以需要99.9%的匹配率作为对应性级别。相反,如果GPS信息显示设备在远离用户家中的外国,则认证服务器可以需要99.99%的匹配率作为对应性级别,或者可以完全拒绝。因此,预存储的认证数据(注册信息)与当前接收的认证数据(认证信息)之间所需的匹配是弹性的,因为路径参数或图像之间所需的百分比匹配可以根据各种因素(诸如一天中的时间、定位、登录尝试的频率、日期或任何其他因素)而改变。
所需的对应性级别可以另外取决于时间。例如,如果基于来自移动设备112的GPS信息在远离第一认证定位的定位中在第一认证尝试之后不久进行第二认证尝试,那么可将对应水平阈值设定为较高。例如,用户不能在1小时内从西雅图旅行到纽约。同样,基于用户的使用模式,在午夜到早晨三点的登录尝试对于一些用户来说可能是欺诈迹象。
注册信息和认证信息之间的对应性级别可以是复合注册信息和认证信息的各种参数的结果。例如,当认证信息中的按钮保持时间在注册信息的按钮保持时间的5%内时,按钮保持时间的对应性可以构成整体匹配的20%。类似地,当认证信息的运动路径轨迹在注册信息的10%内时,运动路径轨迹可以构成整体匹配的20%。与注册信息相比,认证信息中的其他参数匹配率(诸如面部大小和面部识别匹配)可以构成总体对应性级别的剩余10%和50%。以这种方式,可以调整总体对应性级别(例如,所有参数的总和大于75%),或者可以调整各个参数的匹配率。例如,在第二次尝试登录时,可以增加一个参数的阈值匹配率,或者可以增加所有参数的总体对应性级别。还可以基于被认证的账户或其他不同的期望安全级别来调整阈值匹配率。
返回到图4,在步骤440中,认证服务器120可以基于步骤430中的验证来准许或拒绝访问。例如,如果认证服务器120验证凭证与注册信息匹配,则服务器120可以认证用户以允许访问用户的账户。在认证服务器120与账户服务器120B(诸如银行的服务器)分开的情况下,认证服务器120可以将唯一标识符连同已经验证了与唯一标识符相关联的用户的身份的指示一起发送到账户服务器。然后,账户服务器120B可以授权用户的移动设备112从账户服务器120B发送和接收数据。当然,所有这些都可以仅在账户服务器120B处或在移动设备112本身上发生。
可替代地,如果由用户提供的凭证未被验证,则认证服务器可以发送指示登录尝试失败的消息以显示在移动设备112的屏幕上。然后,认证服务器120可以允许用户再次尝试经由面部识别登录***来登录,或者认证服务器120可以要求用户输入典型的账户凭证,诸如用户名和密码。
在一个实施例中,服务器120可以在需要用户名和密码之前允许三次连续失败的登录尝试。如果在尝试之一中,满足所需的对应性级别,则可以验证用户,并且可以授权访问。根据一个实施例,认证服务器120可以保留来自每个连续认证尝试的信息,并组合来自多次认证尝试的数据,以实现尝试认证的人的更准确的面部生物特征信息。另外,可以在每次连续的认证尝试时增加对应性级别。此外,通过对来自若干登录尝试的路径数据(认证移动)和/或图像数据(认证图像/生物特征)求平均,完善和改进登录数据(注册信息)。
因此,上述认证***允许向远程服务器120或在移动设备112本身上进行认证。这可以如上所述通过以下方式来实现:移动设备112捕获认证凭证,并且认证服务器120与注册信息相比较地处理和分析凭证(云处理和分析);移动设备112捕获认证凭证并处理凭证,并且认证服务器120与注册信息相比较地分析凭证(移动设备处理、云分析);或者移动设备112捕获认证凭证,并且与注册信息相比较地处理和分析凭证(移动设备处理和分析)。
实施例的优点和特征
上述***提供了几个优点。作为一个优点,面部识别认证***提供了安全登录。例如,如果在登录尝试期间,移动设备的相机成像一数字屏幕,其显示人在电话不移动时旋转其头部,则加速度计、磁力计和陀螺仪数据将不会检测到任何运动。因此,注册移动和认证移动将不对应,并且登录尝试将被拒绝。
另外,因为多个图像被用作注册图像和认证图像,所以直方图或其他照片操纵技术可以用于确定数字屏幕是否代替图像中的人脸而提供。例如,***可以检查光频率、捕获图像的变化、或图像中的条带,其将指示生成图像的电子显示器、背光、照明的可疑变化,或者通过比较图像来对图像进行其他分析,以确定实际的活用户确实是活着的、在场的,并请求授权登录。
作为又一个优点,如上所述,不仅注册生物特征必须充分对应于认证生物特征,而且注册移动必须匹配认证移动,并且设备信息必须匹配注册设备信息。例如,可以将应用下载到具有数码相机的移动设备。应用可以是登录应用,或者可以是来自金融机构或用户具有账户的其他实体的应用。然后,用户可以使用典型的登录凭证(诸如网站用户名和密码)登录到应用。此外,用户可以具有来自登录另一设备的设备代码,或者可以使用相机来扫描QR码或其他这样的代码以将设备与他们的用户账户配对。
然后,用户握持移动设备以将移动电话移动到相对于他或她的头部的不同位置,同时在相机移动时保持他或她的面部对相机可见。当移动设备被移动时,相机拍摄面部的注册图像。在成像期间,使用加速度计、磁力计和陀螺仪来测量当前用户的移动设备移动的速度和角度,以生成注册移动。已经示出了在整个过程中对面部的进一步连续成像和检测以防止欺诈。这是因为无法通过将图像旋转进和旋转出相机前面来进行欺诈尝试。
例如,用户可以开始从右到左或从左到右的移动,如图6A和图6B所示。如图7A和图7B所示,运动也可以在前后方向上。可以利用任何其他移动,诸如从中心开始,然后向右,然后返回到中心。垂直和对角线移动也可以用于进一步增加注册移动的复杂性。当用户随后尝试登录时,除了生物特征数据和设备信息匹配之外,用户必须重复在认证移动中的运动模式以匹配注册移动。因此,大大增强了***的安全性。
因此,该***提供了用于认证具有移动设备的用户的增强的安全性。如上所述,***可以以任何数量的组合使用以下中的至少任何一个或多个来安全地认证用户:物理设备验证、移动网络验证、面部识别(包括图像中面部的大小)、在移动期间在每个帧中检测到的面部、加速度计信息、陀螺仪信息、磁力计信息、每平方英寸的像素、每像素的颜色比特、图像类型、用户输入的代码或模式以及GPS信息。
作为另一个优点,面部识别登录***为用户提供了一种利用移动设备登录账户的方便方式。例如,一旦注册,每次用户希望访问账户时,用户不需要在小型移动设备上输入用户名和密码。相反,用户仅需要对他或她自己进行成像同时利用移动设备模仿注册移动。这对于较小的移动设备(诸如移动电话、智能手表等)是特别有利的。它还节省了时间,消除了丢失或遗忘密码,防止其他人在输入密码时偷看密码,并减少了由键入引起的错误。
该***还可以被配置为允许用户安全地登录到多个设备,或者允许用户安全地共享设备。在一个实施例中,注册信息可以存储在认证服务器上(或“云”上),因此不仅仅与用户的原始设备相关联。这允许用户使用任何数量的合适设备来向认证服务器进行认证。以这种方式,用户可以使用朋友的电话(第三方设备)或其他设备通过在任何设备上执行认证操作来访问他或她的信息,诸如账户信息、地址簿信息、电子邮件或其他消息传递等。
例如,用户可以在朋友的电话上提供电子邮件地址、用户名代码或类似的标识符,使得认证服务器将登录信息与用户账户的注册信息进行比较。这将向认证服务器指示要使用哪个认证简档,但是其本身不允许访问用户的数据、账户或任务。一旦从朋友的电话登出,就终止对朋友电话上的用户信息的访问。这提供了允许用户使用任何设备安全地访问账户或其他认证可访问信息或任务的益处,而不必将用户的密码键入到可能记录或复制用户的密码的第三方设备中。在某种意义上,用户即是密码,使得用户的面部特征和存储的面部数据是存储的密码,并且通过将用户的面部提供给相机,用户提供了密码。
这样的***也可以在不将用户的注册信息存储在远程服务器上而是在用户的设备上维护注册信息的情况下实现。例如,当用户请求登录到第三方设备时,认证服务器可以向用户的设备发送认证请求。然后,用户可以使用上述***通过向用户的设备提供认证图像和认证移动来认证动作。然后,用户的设备基于存储在用户的设备上的注册信息来认证用户。该数据可以存储在应用或其他安全定位中并且被高度加密。用户的设备向认证服务器提供认证是否成功的验证,于是认证服务器在第三方设备上认证用户。
通过基于云的认证,单个用户还可以在认证的设备之间安全地传送数据。在一个实施例中,用户可以拥有诸如移动电话的第一设备,并且经由认证***在第一设备上被认证。然后,用户可以获取新设备,诸如新电话、平板计算机或其他设备。使用基于云的认证***,用户可以在新设备上进行认证并将数据从第一设备传送到新设备。数据的传送可以经由互联网、本地网络连接、蓝牙连接、有线连接或近场通信来完成。认证过程还可以是在电话丢失或被盗之后重新发送或恢复***的安全检查的一部分。因此,认证***可以用于激活或认证新设备,其中认证被用于验证新设备的用户。
类似地,***可以促进多个人对单个共享设备的安全访问,以控制设备上的内容或其他特征。在许多情况下,可以查看、复制、猜测或以其他方式检测密码,特别是当多个用户共享设备时。用户可以是例如家庭成员,包括父母和孩子、同事或其他关系,诸如学生。认证***可以允许每个家庭成员基于他或她自己的与用户账户相关联的唯一注册信息来登录。
设备可以限制某个用户的账户(诸如孩子的用户账户)中的一个或多个访问某些内容或特征,同时允许其他人(诸如父母的账户)访问内容和特征。通过使用用于共享设备的认证***,诸如孩子的用户不能利用密码来尝试并获得对受限制内容的访问,因为如上所述,认证***需要父母在场进行认证。因此,具有不同特权的用户之间的设备共享被进一步保护和增强。同样,在教室设置中,单个设备可以在多个人之间安全地共享以用于测试、研究和等级报告。
改编和修改
在不脱离本发明的范围的情况下,可以对上述***和方法进行许多修改。例如,图像可以由设备上的面部识别算法处理,并且还可以被转换为设备上的生物特征数据,然后将其与先前创建的授权用户的生物特征数据进行比较。可替代地,来自设备的图像可以通过有线或无线网络发送,其中在单独的服务器上运行的面部识别算法可以处理图像、创建生物特征数据并将该数据与分配给该设备的先前存储的数据进行比较。
单个用户的多个配置文件
此外,照片注册过程可以针对用户进行多次以创建多个用户简档。例如,用户可以在具有和不具有眼镜的情况下、具有和不具有其他可穿戴设备的情况下、在不同的照明条件下、戴帽子的情况下、具有不同的发型的情况下、具有或不具有面部或耳朵珠宝的情况下、或者做出不同且独特的面部表情(诸如闭眼、眨眼或伸出舌头)来注册简档,以建立每个用户简档的另一个独特性水平。由用户做出的这种“面部”在用户的社交媒体页面上不可用,因此在欺诈尝试期间不能用于复制、操纵和使用。每组注册图像、注册生物特征或两者可以与单独的注册移动一起保存。在一个实施例中,当移动设备完成路径时,捕获至少三个图像。预期可以捕获任何数量的图像。
链接注册信息
还预期注册过程可以链接到电子邮件地址、电话号码或其他标识符。例如,用户可以用电子邮件地址注册,完成如上所述的一个或多个注册,并且经由相同的电子邮件地址确认注册。然后,电子邮件地址可以进一步增强***的安全性。例如,如果用户经由认证***未成功地尝试登录预定次数,例如三次,则认证***锁定账户并向电子邮件地址发送电子邮件,通知用户未成功的登录尝试。电子邮件还可以包括登录失败的人的一个或多个图片以及来自登录尝试的GPS或其他数据。然后,用户可以确认这是否是有效的登录尝试并重置***,或者用户可以将登录尝试报告为欺诈性的。如果存在报告的欺诈性登录,或者如果存在太多锁定,则***可以删除与电子邮件地址相关联的账户以保护用户的安全性。因此,未来的欺诈尝试是不可能的。
反馈计量表
为了进一步促进成像,移动设备可以包括各种反馈计量表,诸如如图10所示的移动计量表或准确度计量表。在一个实施例中,移动设备1012可以显示移动计量表1024,移动计量表1024指示当用户将移动设备1012移动到相对于他/她的头部的不同位置时移动设备1012进行的移动量。例如,移动计量表1024可以表示为从屏幕的一侧滑动的线。以这种方式,注册过程可能需要特定阈值的设备移动以向多维认证***注册用户。例如,***可以要求移动设备1012以弧形或直线移动并且旋转至少45度以创建注册信息。在另一示例中,***可能需要设备所经历的加速度超过阈值量。移动计量表还可以帮助用户学习如何使用认证***对他/她自己进行成像。
移动设备1012还可以显示准确度计量表1026或认证帧的任何其他视觉表示,以帮助用户使用认证***认证他/她自己并学习改进认证。准确度计量表1026可以向用户示出在认证过程期间获得的预定数量的图像的匹配率(图形、字母或数字)。准确度计量表可以以各种方式在显示器上表示,包括数字百分比、颜色表示、图形等。还可以利用表示的组合。
例如,如图10所示,在准确度计量表上表示在认证期间拍摄的预定数量的图像的匹配率。在图10所示的实施例中,每个图像可以由图中的列表示,并且可以针对每列中的每个图像示出准确度。例如,具有较长条形的列表示较高准确度,并且具有较低条形的列表示较低准确度。除了图像的匹配率之外,还可以显示路径参数的匹配率。随着时间的推移,用户可以改善。
在另一实施例中,每个图像可以在表格中表示为对应于匹配率的颜色。深绿色可以表示非常高的匹配率,浅绿色可以表示良好的匹配率,黄色可以表示令人满意的匹配率,红色可以表示中等匹配率,并且灰色可以表示差的匹配率。也可以使用其他颜色方案。
所使用的条或颜色的高度可以对应于预定的匹配率。例如,全条或深绿色可以是大于99.9%的匹配率,四分之三条或浅绿色可以是90%和99.9%之间的匹配率,半条或黄色可以是50-90%的匹配率,红色可以是20%-50%的匹配率,并且单行到四分之一条或灰色可以是0-20%的匹配率。也可以使用饼形图、线形图或任何其他类型的表示或任何其他数字或图形显示。可以呈现总分数或每个图像的分数。
准确度计量表还可以包括指示总体匹配分数的消息1028。例如,准确度计量表可以指示平均总体匹配分数或实现99.9%匹配率的图像的数量,并向用户显示消息。利用如上所述的移动计量表1024和准确度计量表1026,由于计量表1024、1026呈现的反馈,用户可以快速学习使用认证***。
游戏化和奖励
移动计量表1024和准确度计量表1026还可以被配置为将游戏特征、方面或技术结合到认证***中,以鼓励用户尝试并获得可能的最佳匹配(诸如高数字分数或高百分比的帧),从而增加用户利用认证***的技能。这也建立了该技术的用户采用率。
例如,用户可以与自己竞争以模仿或改进过去的认证得分,以鼓励或训练用户获得高得分。还可以结合认证计量表的进一步修改,例如与其他人共享准确度匹配结果的能力,以证明使用***的技术或与其他人竞争。在其他情况下,用户可以接收针对高准确度分数的奖励,诸如礼物或优惠券。虽然这可能略微增加成本,但欺诈损失的减少将远远超过额外成本。
进一步的游戏技术可以结合到认证***中,以鼓励用户采取将防止未授权或欺诈性认证的动作。在一个实施例中,认证***可以奖励参与欺诈防止活动的用户。一种这样的活动是利用本文描述的面部识别认证***。例如,基于上述准确度计量表,***可以奖励在特定匹配率以上向***成功认证的用户。***可以基于成功认证或基于预定数量的成功认证来奖励积分、现金或其他奖品。在利用奖励积分的情况下,可以将积分兑现为预定奖品。
其他游戏特征可以涉及使用认证特征获得预定体验量的用户的奖励级别。例如,不同的奖励级别可以基于用户成功认证100次、500次、1000次等。因为欺诈损失的每个实例可能是显著的并且可能损坏企业或组织的商誉,所以防止欺诈的益处是显著的。
在一个实施例中,可以通知用户他或她已经达到各种能力级别,诸如在实现100次成功认证时的“银级别”、用于实现500次成功认证的“金级别”或用于实现1000次成功认证的“铂级别”。高于给定匹配率的每次认证所奖励的积分的设定数量可以基于用户的经验级别而增加。当然,如上所述的级别的名称和每个级别的认证数量仅是示例性的,并且可以根据需要变化。
在一个实施例中,当在网站处交易业务时,认证仅计入奖励级别,而在其他实施例中,可以进行重复尝试,所有这些尝试都计入奖励。另一个特征可以包含排行榜,其中可以向用户通知用户排名,该用户排名将他或她的使用认证***的熟练度或意愿与其他用户进行比较。
认证***的成功使用通过降低针对欺诈活动的成本和防止欺诈活动的成本而使利用该***的公司和组织受益。这些成本节省可以用于为认证***的上述游戏特征提供资金。
还可以结合对应于认证***并有助于减少欺诈的其他活动,以允许用户赢得积分或接收奖品。这样的活动可以包括用户创建使用一定数量的字符和字符组合的足够长且强的密码。这鼓励和奖励用户设置不易受到损害的密码。其他示例可以包括奖励用户花费时间来执行除了初始认证之外的验证步骤,诸如认证的移动电话或电子邮件验证、回答一个或多个个人问题、或当前已知或以后开发的其他二次验证。这对用户承担增加的时间和不便进行奖励,以降低公司或组织的欺诈风险。
作为另一示例,如果认证服务用于登录到提供会员程序的网站或应用程序,则奖励或礼物可以由会员佣金对在这些网站上进行的购买进行补贴。例如,如果商业(产品或服务)网站利用本文公开的方法和装置来避免欺诈并从而增加利润,则用户使用认证服务进行的每次购买的百分比将被提供给认证服务。通过减少欺诈,消费者购买变得更加可能,并且额外的用户将愿意输入财务和个人信息。会员链接、代码或推荐源或标识符可以用于取信认证***将消费者引导到商业(产品或服务)网站。
多账户登录
还可以设想,认证***可以被配置为允许用户利用单个认证来访问许多不同的网站。因为认证过程和结果对于用户是唯一的,所以用户可以首先指定用户选择登录哪些参与网站,然后在选择登录哪一个或多个网站之后,用户执行本文描述的认证。如果安全认证成功,则用户登录到所选择的网站。以这种方式,认证过程是对多个不同网站的通用访问控制,并且防止用户必须记住多个不同的用户名和密码,同时还减少了每个用户的欺诈和密码开销。
自动启动/停止成像
还可以设想,该***可以被配置为使相机在电话上运行。当电话移动时,移动设备将捕获图像帧和路径参数数据(使用相机、陀螺仪、磁力计和加速度计),但是仅在设备上处理成生物特征数据,或者如果在其中检测到面部,则将帧向上发送到服务器。在其他实施例中,没有图像数据或帧被发送到服务器,而是在用户的移动设备(诸如电话)上执行分析。在该实施例中,在移动设备上执行的应用可以触发软件应用以在电话移动时开始保存帧,然后如果电话继续在正确的路径(例如,半圆)中移动并且***检测到帧中的面部,则移动设备将开始向服务器发送图像、图像的一部分或生物特征数据以进行处理。当***感测到运动时,它可以以特定间隔触发图像的捕获。然后,应用可以处理帧以确定图像是否包含面部。如果图像确实包括面部,则应用将其裁剪出来,然后验证移动设备的运动路径是否类似于在注册期间使用的那个。如果运动路径足够相似,则应用可以一次一个地将帧发送到服务器以如上所述进行扫描或处理。
条带化和边缘检测
当使用显示屏(诸如LED、LCD或其他屏幕)进行欺诈性尝试时,***可以基于屏幕的预期属性来检测欺诈性登录尝试。在一个实施例中,认证***将对由数字屏幕产生的条带化进行检查。当检测到条带化时,***可以识别登录时的欺诈性尝试。在另一实施例中,***将运行对数字屏幕的边缘检测的检查。当移动设备在登录尝试期间被移动以获得认证移动时,***检查捕获的图像以寻找屏幕的边缘以识别欺诈性登录尝试。***还可以检查由屏幕产生的其他图像伪影,诸如眩光检测。可以利用任何现在已知或以后开发的用于条带化和屏幕边缘检测的算法。在检测到欺诈时,将阻止认证和对网站的访问或阻止交易或账户访问。
其他属性估计
认证***还可以对注册图像进行分析以估计性别、近似年龄和种族中的至少一个。在替代实施例中,用户可以手动输入他们的性别、近似年龄和种族中的一个或多个,或者可以从已知准确的现有记录中获取或获得该信息。然后,认证***还可以将用户的估计的性别、年龄和种族存储为注册凭证或用户数据。因此,当用户稍后尝试向***认证时,***将比较从认证图像获得的导出的性别、年龄和种族(使用生物特征分析来基于处理确定这样的数据或其估计)与存储的性别、年龄和种族,以确定是否认证用户。例如,如果性别、年龄和种族的导出数据与所存储的注册凭证匹配,则认证成功,或者认证的这个方面成功。
认证***可以基于认证过程期间的单个图像或基于多个图像来进行性别、年龄和种族估计。例如,认证***可以使用多个图像中具有用户面部的最佳视角的图像进行分析。在其他实施例中,当不同的图像揭示用于分析的最佳数据时,不同的图像可以用于年龄、性别和种族的每次分析。认证还可以估计多个图像中的性别、年龄和种族,并对结果求平均以获得性别、年龄和种族的总体分数。
作为获得性别、年龄和种族作为注册信息的替代方案,可以在重复使用认证***的过程中设置估计的性别、年龄和种族估计作为认证凭证。例如,如果在先前使用生物特征和移动信息的成功认证中,认证***总是估计用户的年龄在40和50之间,则认证可以为该用户设置凭证,要求稍后的登录信息包括估计在40和50之间的面部的图像。可替代地,性别、年龄和种族估计可以被实现为有助于整体认证得分的许多因素之一,以确定是否认证用户。
例如,如果认证过程具有1.9男性评级的+或-0.2的性别估计,则如果实际结果不落入该范围内,则***可以拒绝用户的访问。同样,如果在先前的认证尝试或注册期间用户的年龄范围总是落在40-50岁之间,并且认证尝试落在该范围之外,则***可以拒绝访问或使用该结果作为拒绝访问的复合因素。
在另一实施例中,当使用能够获得EKG签名的手镯或手表时,在登录时可能需要某个EKG签名。EKG签名还可以与面部识别旋转配对,以提供用于关键安全和识别应用的多阶段登录。此外,凭证还可以包括GPS信息,其中仅在注册期间定义的某些地理位置内允许登录。在一种配置中,记录并记录移动设备的GPS坐标以用于登录尝试或实际登录。这是关于用户定位的附加信息。例如,如果GPS坐标在以欺诈著称的外国,则该尝试可能是欺诈性的,但是如果GPS坐标指示尝试或登录是在用户的房屋中进行的,则欺诈不太可能。此外,一些应用可能仅允许用户在指定定位(诸如安全政府设施或医院)时登录。
注册信息还可以包括距离信息。因为运动弧(速度、角度、持续时间……)对于每个用户是唯一的,所以设备上的面部检测软件可以处理图像并确定设备是否离对象太近或太远。或者换句话说,注册信息可以考虑图像中面部的大小。因此,潜在注册信息还可基于用户的手臂的长度、头部和面部大小以及用户的特定移动设备中的相机的光学器件而变化。用户还可以位于固定的计算机或相机处,诸如膝上型计算机、台式计算机或atm。然后,用户可以向前和向后、左右或上下(或组合)移动面部以创建图像。因此,该操作方法不限于移动设备。在一个实施例中,相机位于汽车中,诸如在镜子中,并且人移动他们的头部或面部以进行认证。
渐进认证访问
在一个实施例中,***被设置为限制用户在首次注册和认证时可以做什么。然后,在进一步认证之后或在预定时间段和认证次数之后,可以授予附加能力。例如,在前3个月的前20次认证期间,可以允许最多$100的交易。这建立了与用户的非反对交易相关的已知认证数据的数据库。然后,在接下来的20次认证期间,可以建立$3000的交易限制。这限制了当认证数据有限并且用户对***来说是新的时在欺诈事件中的总损失。例如,如果未授权用户能够欺诈性地注册在认证***中。
用于成像的视频显示
当用户使用前置相机对他/她自己成像时,用户可以通过查看显示器上的图像来确认他/她的面部正在被成像,如上所述。显示器上示出的图像可以被配置为在面积上小于整个显示器,并且可以被定位在显示器的上部部分中朝向设备的顶部。当用户的图像仅在用户的显示屏幕的顶部部分中示出时,用户的眼睛倾向于更紧密地看前置相机。当用户的眼睛向上跟踪时,可以提高面部识别的准确性。此外,逐帧跟踪眼睛的移动可以允许***验证图像是活人的,而不是来自人的照片或视频记录。
显示器上示出的图像也可以被定位成与用户设备上的相机定位相对应,如图11A-11C所示。现今可用的移动设备可包含安置于许多不同位置处的前置相机。例如,一个移动设备1112a、1112b可具有前置相机1114a、1114b,其安置于显示器上方且朝向一侧或另一侧偏离中心,如图11A及11B中所展示。因此,显示器上示出的用户的反馈图像1116a、1116b可以被定位成与相机1114a、1114b的定位相对应,如图所示。在图11A中,其中相机1114a在显示器上方并且偏心在中心左侧的位置处,则图像1116a可以在显示器的左上角示出。在图11B中,其中相机1114b在显示器上方并且偏心在中心右侧的位置处,则图像1116b可以在显示器的右上角示出。如图11C中所示,移动设备1112c可具有安置在显示器正上方居中的相机1114c。在那里,图像1116c可以在显示器的上部居中显示。以这种方式,用户的眼睛被引导为尽可能靠近相机和/或尽可能靠近相机跟踪,从而帮助眼睛跟踪和移动验证。当用户移动移动设备时,用户还能够在屏幕上更好地看到反馈图像以及其他反馈或信息。
可以进一步修改用户在显示器上观看的图像,使得侧面显示器上的边缘像素被水平拉伸,如图12所示。也就是说,右侧和左侧上的预定区域1206、1208被扭曲以分别朝向屏幕的右边缘和左边缘拉伸。这允许在显示器上显示所显示图像的较大垂直部分。同时,这训练用户通过将他或她的面部保持在屏幕的中心来正确地使用***,因为如果他或她的面部偏离中心并且面部的一部分进入扭曲区域之一,则他或她的面部将在屏幕上扭曲。
弱光环境中的认证
为了便于成像,移动设备上的屏幕可以另外显示有白色背景,并且可以增加屏幕的亮度以在黑暗环境中照亮用户的面部。例如,显示器的一部分可以为用户提供视频反馈以确保他或她正在对他或她自己成像,而显示器的剩余部分被配置为显示亮白色。参考图11C中所示的示例,这可以通过在显示器的中心上示出视频反馈1116c来完成,其中周围区域被显示为视频反馈1116c周围的亮白色条。在非常黑暗的情况下,可以使用移动设备背面上的LED闪光灯和后置相机。可替代地,相机可以被配置为使用红外光或其他夜视技术来创建图像。
当红外成像被用作热成像时,进一步的安全性增强是可能的。特别地,可以分析热成像以指示所获得的图像是来自实际用户还是来自屏幕或其他设备的欺诈性图像。当人在红外热成像相机前面时,检测到的热辐射应该是相当椭圆形的,指定人的头部。相反,从屏幕辐射的热量通常是矩形的。此外,可以将在实际人脸中检测到的热地图案以及图像中的热地图案的移动与人脸的预期热地图案进行比较,以区分来自使用屏幕的欺诈性授权尝试的图像。
检测来自所述移动设备的输出
移动设备上的显示器或其他光源可以进一步用于提供附加的安全措施。在上述认证过程期间,来自显示器或其他光源的光被投影到用户的面部和眼睛上。然后,该投影光可以在成像期间由移动设备的相机检测到。例如,在皮肤上检测到的色调或从用户眼睛的角膜反射的光可以由移动电话上的相机成像。因此,可以利用随机光图案、颜色和设计来提供进一步的安全性并确保是活人正在试图认证,而不仅仅是欺诈者正在成像的人的图像或视频。
作为一个示例,当用户开始认证时,认证服务器可以生成指令并将其发送到用户的设备用来以随机间隔显示随机颜色序列。认证服务器存储随机生成的序列,以供稍后与从移动设备接收的认证信息进行比较。在认证成像期间,由设备显示的颜色被投影到用户的面部上,并且从用户的眼睛(眼睛的角膜)、或接收和反射来自屏幕的光的任何其他表面反射。用户的移动设备上的相机检测从用户的皮肤或眼睛(或其他表面)反射的颜色,并生成颜色数据,其指示基于屏幕投影检测到的颜色。该数据可以返回到认证服务器,以确定发送到移动设备的颜色序列或图案是否与由用户设备的屏幕投影的已知序列或图案匹配。基于认证服务器处的该比较,认证成功或被拒绝。与指令中的随机颜色序列的比较可以替代地仅在用户设备处发生,以确定活的用户正在被认证。
作为另一示例,当用户开始认证时,认证服务器可以向用户的设备发送指令以显示随机生成的图案,然后将该随机生成的图案存储在认证服务器上。该图案可以包括图形、文本、线或条、闪光图案、颜色、QR码等。在认证成像期间显示随机生成的图案,并且图案从用户的眼睛(角膜)反射。用户设备的相机检测从用户眼睛反射的图案,并处理所显示图案的反射镜像图像。经处理的图案(诸如被转换为数值)被发送到认证服务器,并与随机生成并存储在认证服务器上的图案进行比较,以验证由屏幕显示并在从用户面部反射之后成像的图案是否建立了图案匹配。
如果发生匹配,则这建立或增加了装置正在对活人进行成像的可能性。如果图案不匹配,或者不满足匹配阈值水平,则认证过程可能失败(访问被拒绝)或者账户访问或交易量可能受到限制。注意,该示例也可以并入在具有网络摄像头的台式计算机上,其不包含上述注册移动和认证移动。此外,该示例不仅可以与面部识别结合,而且还可以用作虹膜识别或任何其他类型的眼睛血管识别、或对用户唯一的任何面部特征的附加安全层。
当在台式计算机上实现上述示例时,还可以利用眼睛跟踪来进一步证明活用户的存在。例如,屏幕可以示出以用户用他或她的眼睛观看的随机模式移动的球或其他随机对象或符号。相机可以检测该实时移动以验证用户是活的,而不是图片或显示器,并且验证眼睛或头部移动对应于并匹配屏幕上的对象或单词(这是认证***已知的)的预期移动。眼睛跟踪还可以通过建立锚点来完成,诸如经由在屏幕上的定位处的鼠标点击(假设用户正在查看鼠标点击发生的定位),然后估计用户正在相对于锚位置查看屏幕的位置。
在移动设备或静止设备上注册期间,在屏幕上使用移动对象也可能是有益的。例如,在捕获注册图像的同时,设备可以显示围绕屏幕移动的移动数字对象(诸如圆圈或(一个或多个)单词),使得用户被鼓励用他或她的头部和眼睛跟随它。该移动可以是用户不自主的,或者设备可以被配置为指示用户跟随对象。这导致头部和/或眼睛的移动,从而在用户的头部和面部与设备相机的定向上产生小的变化,从而提供更完整的注册信息。利用更完整的注册信息,***可以更好地确保用户稍后将以高速率被认证,即使在将来的认证尝试期间以略微不同的角度也是如此。
直观的用户培训和通过“缩放”增强的安全性
在一个实施例中,***被配置为帮助用户容易地学习向***进行认证。如图13A所示,一旦如前所述开始注册或认证,***就使用户的移动设备1310在屏幕1315上显示小椭圆1320,同时移动设备1310对用户成像。显示在屏幕1315上的指令1325指示用户握持移动设备1310,使得他或她的面部或头部出现在椭圆1320内。因为椭圆1320较小,所以用户需要将移动设备1310保持远离他或她的身体,诸如通过在保持移动设备1310的同时拉直他或她的手臂。最大手臂长度和面部尺寸对于用户是唯一的。在其他实施例中,手臂可以不完全伸直,以便在空间不可用时(例如在汽车中或在拥挤的位置中)适应操作。注意,虽然小椭圆1320被示出为在显示器中居中,但是它可以位于屏幕1315上的任何位置。
接下来,如图13B所示,***使用户的移动设备1310在显示器1315上显示较大的椭圆1330。显示器1315还可以示出指导用户“放大”他或她的面部以用他或她的面部填充椭圆1330的相应指令1335。用户通过使移动设备1310在与用户的面部大致直线上更靠近他或她的面部(诸如图7A和图7B所示)直到用户的面部填充椭圆1330或超过椭圆来这样做。在其他实施例中,大椭圆1330可以简单地是用户使移动设备1310更靠近用户面部的提示。
因此,该***提供并教导用户一种简单的方法来提供注册和认证图像以及如上所述的注册和认证移动。***还可以通过改变屏幕1315上的小椭圆1320的位置、以及通过改变所显示的椭圆的顺序和大小来教导改变注册和认证移动。例如,用户可以通过移动移动设备来放大一半,然后缩小,然后一直放大。该***可以被配置为监测相机的缩放功能(当配备时)未在使用中,这通常需要用户触摸屏幕。
在一个实施例中,可以省略注册移动,并且可以基于屏幕上的提示将认证移动与预期移动进行比较。例如,设备或认证服务器生成一系列不同大小的椭圆,用户必须通过移动握在用户手中的移动设备来将他或她的面部放置在该椭圆内。以这种方式,认证移动在每次登录期间可以是不同的,这取决于屏幕上示出的椭圆的顺序、大小和放置。
当如图所示使用“放大”移动时,***还可以包含其他安全特征。图13A和13B。放大特征通常来自将设备移动得更靠近或更远离用户,但是也可以设想相机缩放功能。当在对象和相机之间的相对近的距离处拍摄图像时,通过所谓的透视失真使图像失真。一些文本可能将这种失真称为鱼眼型失真,但透视失真是更准确的技术术语。此外,被配置为广角透镜的透镜可能导致图像中的桶形失真(透镜失真的类型)。还存在其它类型的透镜失真。可以针对不同设备的不同类型的透镜跟踪这些失真。用户执行“放大”移动以使他们的面部适合屏幕显示的提示所经历的失真程度可以变化,并且取决于相机镜头中使用的光学器件的类型、失真类型和其他因素。
当人对靠近透镜的他或她的面部成像时,失真在人的面部的图像上变得更加明显。该效果导致人的面部的相对维度看起来与在人的面部更远离透镜的情况下进行成像时不同。例如,与在一定距离处拍摄图像时相比,当在紧密接近处拍摄图像时,人的鼻子可能看起来相对于人的面部更宽和更高。与当人在远离透镜的距离处成像时面部特征和相机之间的相对均等距离相比,相对维度的差异是由当人靠近透镜成像时各种面部特征和相机之间的距离的相对较大差异引起的。
已经发现这种差异在许多面部识别算法中是显著的。也就是说,面部识别算法可能不会导致在非常接近处成像的活人的图像与在较远距离处成像的同一个人的图像之间的高匹配可能性。相反,如果由相机在非常接近和较远距离两者处对人的二维照片进行成像,则透镜与二维图像的面部特征之间的相对距离(长度)不会如此显著地改变。因此,面部识别算法将二维照片识别为当其在非常接近和更远离透镜的距离处成像时的高匹配可能性。
基于相机与用户的面部特征之间的角度,该效果还改变用户的移动设备的相机可以查看用户的哪些部分。例如,当更远地成像时,相机可以在用户的耳朵在图像中可见的情况下对用户的面部成像。然而,当用户设备移动靠近用户的面部时,由相机捕获的图像不再包括用户的耳朵。这是因为用户面部的其他面部特征(诸如用户的脸颊/颧骨)现在阻挡了从相机到用户耳朵的视线。相反,当二维图片由相机成像时,无论相机靠近二维图片还是远离二维图片,二维图片的相同面部特征都将始终对相机可见。因此,可以通过检测用户面部的哪个部分或其他特征存在于图像中的变化来进一步验证用户面部的三维或活性。
如上所述的这种效果可以用于增加认证***的安全性。例如,在注册期间,除了通过移动的其他位置之外,注册图像可以由用户在离透镜的近距离和远距离两者处提供。稍后,在认证期间,可以在距透镜的近距离和远距离两者处获得认证图像,以确定它们是否与从注册图像获得的注册信息匹配。此外,因为当实际的三维人存在时预期有透视失真,所以面部特征的维度的相对变化的不存在警告***认证的欺诈性尝试。这种效果不能容易地用二维图片(打印照片或屏幕)重新创建,并且因此,该步骤可以用作安全测试以防止二维图片(代替3D面部)被用于认证。
换句话说,使用在用户的面部上“放大”和“缩小”的这种移动,可以为同一个人创建两个或更多个生物特征简档。人的多个简档中的一个简档可以远离相机被成像,并且多个简档中的一个简档可以用于为此人更靠近相机被成像。为了使***认证此人,认证图像和生物特征必须匹配注册图像和生物特征中的两个或更多个简档。
此外,***可以通过比较在近距离和远距离处获得的图像的背景来检测与人的欺诈性照片相比真实人的存在。当移动设备1310被握持使得人的面部适配在椭圆1320内时,背景中几乎直接在人后面的对象可以是可见的。然而,当移动设备1310被握持使得人的面部适配在较大椭圆1330内时,人的面部阻挡相机看到几乎直接在人后面的相同对象的能力。因此,***可以比较在近距离和远距离处获得的图像的背景,以确定真人是否正在尝试向***进行认证。
当然,在附图中。如图13A和图13B所示,除了椭圆形1320和1330之外的形状或引导件可以用于引导用户将移动设备1310握持在距他或她的面部适当的距离处。例如,移动设备1310可示出完整或部分正方形或矩形框架。此外,***可以改变框架的尺寸和位置,诸如椭圆1320、1330,以增加进一步的安全性。例如,***可能需要中等尺寸的框架、小框架,然后是大框架。作为另一示例,***可能需要在第一定位和第二定位处的小框架,然后需要大框架。这可以随机地完成,以教导不同的用户不同的注册和认证移动,或者增加认证***的安全性。
呈现给用户的框架大小的数量也可以基于本文描述的其他安全特征的结果针对单个用户而变化。例如,如果移动设备的GPS坐标显示设备处于意外定位处,则可能需要不同距离处的更多框架来进行认证。可以在屏幕上呈现一个或多个指示器(诸如灯、单词或符号)以对用户可见,以将用户引导到移动设备应该距用户的期望距离。
在图13A和图13B中,***可以基于用于注册和认证的移动设备并且基于已知和可信的注册数据来预测图像的预期透视失真。另外或作为替代方案,可利用给定模型的移动电话相机的已知规范来预测人的面部特征在距透镜不同距离处的预期失真。因此,认证可以是设备相关的。此外,不是在距相机的每个可能距离处都需要来自用户的注册信息。
例如,如上所述,可以在距用户至少两个距离处获得注册图像和生物特征。在认证期间,除了对应于注册图像和生物特征的近距离和远距离的图像之外,还捕获多个中间图像。基于根据设备行进的距离的这些中间图像的预期失真模式,***可以验证图像失真的变化以正确的速率发生,即使仅获得两个注册简档。
这些图像的捕获可以是静止图像或视频,使得从在从远离用户的第一位置和靠近用户的第二位置的移动期间拍摄的视频中提取帧或图像。因此,预期操作可以在缩放运动期间捕获许多帧,并且基于来自加速度计、磁力计等的数据确保失真以针对头部大小和移动设备距离的移动的正确速率发生。
随着时间的推移,基于累积数据或在设计阶段期间计算的数据,***将具有指示如果电话朝向用户的面部移动一定距离,则失真效应应落入最终失真水平或初始失真水平的已知百分比内的数据。因此,为了愚弄或欺骗本文公开的认证***,欺诈尝试不仅需要使欺诈性二维图片图像失真,而且还需要切割背景,然后制作面部、失真和背景的视频,其递增地并以正确的速度进行所有这些,同时不具有来自视频屏幕的任何条带或任何可见的屏幕边缘,这是非常不可能的。
许多当前已知的面部检测和面部识别算法被配置为仅在图像内寻找面部,其中所描绘的头部小于图像的维度。如果用户的前额、耳朵或下巴在帧中不可见,则面部的其余部分将不会被检测到。因此,为了确保面部检测和识别算法在放大图像(图13B)中检测和识别用户的面部,***可以在紧邻拍摄的图像周围添加大的缓冲区。这创建了更大的整体图像,并且允许当前的面部检测和识别算法检测和识别面部,即使在原始图像中用户的面部较大的情况下。在一个实施例中,面部检测可以被配置为检测面部的部分,诸如眼睛、鼻子和嘴,并且基于这些特征中的一个或多个存在来推断整个面部存在。
当使用由图13A和13B描述的过程产生的注册和认证移动时,也可以增强上述眼睛跟踪安全特征。例如,当指示用户使移动设备1310更靠近他或她的面部以填充椭圆1330时,可以在屏幕上显示QR码、随机形状、条形码、颜色、文本、数字或任何其他视觉指示符。在该近距离处,所显示的指示符从用户的眼睛或面部的反射可以更容易地由相机成像。此外,还可以在近距离处更容易地获得用于确定被成像的人的“活性”的眼睛移动、眨眼等。
在一个实施例中,认证需要至少一次眨眼来证明活性。在另一实施例中,可以对眨眼进行计数,并且可以在认证期间随时间对眨眼的数量进行平均。这允许认证中的附加因素是在运动期间观察到的眨眼的数量。如果观察到用户在运动期间眨眼的模式,则***可以在未来的认证尝试期间验证用户在运动期间的预期时间和设备定位处眨眼。在一些情况下,***可以提示用户眨眼、眨一只眼、微笑等,并监测捕获的图像以验证用户已经在预定时间内执行了提示动作。可以向用户给出一系列提示动作以执行(例如,眨眼,眨右眼,然后微笑)。在一个示例中,如果所提示的动作不按顺序执行或者不在该时间段内执行,则***可以防止认证(锁定用户),因为这可能指示正在使用欺诈性记录来代替活的用户。
在其他实施例中,椭圆或框架的尺寸或位置可以改变为除了图13A、图13B所示的尺寸或位置之外的尺寸或位置,使得用户必须定位和/或倾斜电话以将他或她的面部放置在椭圆内。这建立了另一种确保用户活度的方法。椭圆可以开始变小并变大,或者开始变大并变小。该形状可以是除椭圆形之外的形状,诸如正方形、三角形、矩形或任何其他形状。代替形状或除了形状之外,可以示出指示用户将电话移动得更靠近或更远离用户的面部的文本。
在一个示例性方法中,移动设备位于距用户第一距离处,并且捕获第一图像以进行处理。该距离可以线性地远离用户,并且在该实施例中不在弧形或轨迹中。这可以通过用户用手或通过移动设备在可移动设备或轨道***上移动移动设备来发生。或者,如果在固定***中,则可以调整透镜***以相对于框架尺寸改变用户面部的尺寸。可替代地,用户可以保持静止,可以使用多个相机,或者相机可以在用户不移动的情况下移动。一旦发生某种形式的移动(来自设备、相机、透镜或用户)以将相机建立在第二距离处,就捕获第二图像以进行处理。从第一位置到第二位置的移动可以直接朝向用户。处理发生在两个图像上。
该处理可以包括计算以验证两个图像之间的差异或从两个图像获得的生物特征的差异,其指示真人正在被成像。可以进行处理以将第一认证图像与第一注册图像(对应于第一距离)进行比较以确定是否存在匹配,然后将第二认证图像与第二注册图像(对应于第二距离)进行比较以确定是否存在匹配。如果发生匹配,则认证可以继续进行。
这些方法的变型也是可能的,其中***需要在第一距离处匹配,但是在第二距离处匹配失败,从而指示第二图像不是二维图片的图像。导致匹配或匹配失败的处理可以是任何类型的图像或面部识别处理算法。与本文描述的其他处理一样,处理可以发生在移动设备、一个或多个远程服务器或这些设备的任何组合上。
本文描述的所有处理可以仅在移动设备上、仅在远程服务器上或在其组合上发生。生物特征数据可以存储在移动设备或服务器上,或者可以出于安全目的在两者之间拆分。例如,可以在移动设备上处理图像,但是与云中或远程服务器处的注册数据进行比较。可替代地,可以将图像发送到云(远程服务器)以进行处理和比较。
用于深度检测的像素相对速度
所述***可进一步并入使用本文中通常称为像素速度分析的操作来确定由设备获得的验证信息是否包含活的三维人的图像及/或生物特征信息。像素速度分析跟踪视觉场景中的对象、表面和边缘的表观运动的模式。例如,像素速度分析跟踪由相机和至少两帧中的场景之间的相对运动引起的连续图像中的特征的表观运动。
在一个实例中,当相机与场景之间存在相对移动时,场景内更靠近相机的对象将看起来以与更远离相机的对象不同的速率移动。该移动或像素速度反映在表示图片中的对象的像素值的变化中,因为当相机移动时对象改变它们在图片中的定位。
例如,背景元素可以在图像中的像素阵列中表示,诸如墙壁上的时钟或风景中的远处的树。前景元素也可以在像素阵列中表示为正被成像的人的面部或面部特征。随着相机与前景元素和背景元素之间的相对距离改变,表示前景元素和背景元素的像素将改变它们在像素阵列内的位置。当相机移动时,不同的像素将表示或捕获特定元素。重要的是,相机与前景元素之间以及相机与背景元素之间的距离差异导致前景元素和背景元素的像素的变化率(像素速度)不同。
在一些情况下,可以比较前景对象的不同特征以获得像素速度的相对变化。在这种情况下,可以比较不同面部特征(例如鼻子或脸颊)的像素速度。真实三维人的不同面部特征的像素速度将基于其在图像帧上的定位和距相机的相对距离而不同。例如,当相机移动得更靠近或更远离用户面部时,表示用户鼻子的像素可能移动非常少,而表示面部外部的特征的像素将移动到更大的程度。
在一些情况下,随着相机移动得更靠近用户,一些背景元素将被用户的面部遮挡,并且因此某些元素将被遮挡。如果用户的二维图像(诸如在欺诈或欺骗尝试中)而不是活的三维用户被成像,则不会发生这种情况。
可以在以递增时间拍摄的帧中捕获和比较不同的移动速率。通过检测图像的前景和背景中的对象的不同移动速率或速度(随时间的变化率或基于相机位置的变化率),可以确定与在欺诈性授权尝试中使用的二维图片相比,图像是活的三维图像。
例如,与前景中的物品(靠近相机)相比,背景中的物品(远离相机)可以以不同的速率(每单位时间或每帧阵列中的像素位置的数量)移动。通过检测在连续图像中表示的像素阵列的不同变化率,可以确定图像内的对象是三维的。相反,如果在欺骗***的尝试中使用二维打印图片,则打印图片的图像中的所有像素以相同的速率移动。这是因为二维打印图片上显示的所有特征位于距相机基本上相同的距离处。
具体地,与背景中的项目相比,前景中的项目以更高的速率移动(像素阵列中的移动)。如果设备的相机正在对用户的面部成像,则前景将是用户的面部,并且背景将是用户后面的场景,诸如墙壁、建筑物、树或用户面部后面的其他物品。通过检测前景中的物品的像素定位与形成背景中的物品的图像的像素阵列中的像素定位相比的变化率,确定场景是三维场景。
此外,像素速度分析还包括边缘检测。也就是说,三维图像中的某些识别的特征在一些帧中可以是可见的,但是在其他帧中可以是不可见的。这通常发生在图像前景中的对象的边缘周围。例如,当用户在将相机从远离他或她的面部的距离移动到更靠近他或她的面部的距离的同时对他或她的面部进行成像时,图像背景中的对象将随着用户的面部占据帧中越来越多的空间而消失。像素速度分析被配置为识别面部边缘周围的背景中的对象,并检查随着面部变大,对象移动以消失在面部后面,或者随着相机移动得更近,随着面部在图像中放大,检测到的面部移位或覆盖特征。这将不会在二维图片的情况下发生。
可以通过观察面部本身内的像素定位的速率来进行进一步的比较。例如,如果前景上的像素与背景上的像素相比以不同速率改变,或使背景像素移位,那么可将人识别或表征为三维的。例如,如果随着相机移动得更靠近面部,示出鼻子的像素使图像中的上唇和内面颊上的像素移位,并且示出面颊的像素使图像中的表示耳朵的像素移位,并且示出下巴的像素使图像中的表示颈部的像素移位,则可以将被成像的人识别为真实的三维人。此外,所识别的特征本身的移动或速度基于它们在帧中的定位和它们与相机的距离而改变。因此,面部的外侧上的特征展现出与朝向面部的中心的特征不同的像素速度。类似地,由于距相机的相对距离不同,诸如眼睛和脸颊的特征与鼻子相比表现出不同的像素速度。
为了执行该比较,必须捕获两个或更多个图像。例如,在距用户第一距离处拍摄第一图像,然后在距用户第二距离处拍摄第二图像,以此类推。在第一图像和第二图像中的一个或多个元素(项目)的像素位置之间进行比较,并且可以与由加速度计和陀螺仪确定的设备的运动相关联。
针对图像中的各种识别特征检测到的像素速度可以被映射以形成像素速度的“热”地图或其他类型的映射。在对面部进行成像的该示例中,将检测到的像素速度映射到每个检测到的面部特征。对于具有高像素速度的特征,地图可以示出“热”区域,例如面部边缘上的特征,例如下巴或颧骨。对于具有低像素速度的区域,诸如像鼻子的图像中心处的特征,地图可以示出“冷”区域。通过分析该热地图或变化率地图,可以确定图像是二维图片的图像还是三维环境中的活人的图像。
当设备和相机从一个位置移动到另一个位置时,像素速度分析可以有利地用于上述认证***中。例如,当认证的人移动设备以使他或她的面部适配在如图13A和图13B所示的小椭圆和大椭圆内时,***可以在两个或更多个图像中进行像素速度分析。
参考图14描述该过程的示例。当设备或服务器接收到第一图像时,在步骤1402中,对图像执行特征识别以检测图像内的预定对象。在这种情况下,面部或特征检测用于确认用户面部和/或用户面部上的面部特征(诸如用户的鼻子、眼睛、颧骨、下巴等)的存在。
接下来,在步骤1404中,***分析一个或多个后续帧中的像素放置,以确定表示检测到的特征的像素是否与位于场景的前景或背景中的特征相对应。
在一个实施例中,当用户移动设备以将他或她的面部适配在椭圆内时,诸如图13A和图13B中所示的那些椭圆,用户的面部被识别为图像的前景或椭圆1320、1330内的特征。示出人的房间或环境的面部周围的区域被识别为图像的背景或区域1315内的特征。另外,面部特征可以被验证为以帧中相对不同的距离和位置的特性表现。例如,鼻子、嘴和下巴可以被认为是前景特征,而脸颊、耳朵和下巴线可以被认为是背景特征。
在步骤1406中,通过连续图像跟踪各种特征,以获得表征特征的流动或移动的二维向量。在该示例中,当用户移动设备以使他/她的面部适配在图13A和13B的示例性屏幕显示中所示的椭圆形内时,引起特征的移动。这种移动可以包括鼻子使上唇和内面颊上的像素移位,然后面颊使表示耳朵的像素移位,以及下巴使表示颈部的像素移位。
然后,当设备移动得更靠近用户的面部时,设备(执行存储在存储器中的机器可读代码的处理器)比较图像帧(由像素阵列形成)。跟踪表示图像中的对象的像素以确定由前景和背景中的像素表示的对象的速度特性。通过比较由设备拍摄的连续图像,***基于像素数据或二维像素速度向量来检测物品位置的这些变化。当活的三维用户正在认证时,前景特征(面部)和背景特征的速度特性与被成像的二维欺骗物的速度特性相比显著不同。也就是说,当用户移动设备以将他/她的面部填充在图13A和13B所示的椭圆形中时,与二维欺骗物相比,活的三维人的面部特征的速度特性是不同的。
因此,在步骤1408中,***检查前景特征的二维向量是否与活的三维人的预期值匹配。由像素定位或值定义的图像中的物品的预期值或预期变化率可以基于随时间的测试,诸如物品的预期定位、预期位移、预期变化率、或甚至将指示三维性的变化率的预期差异(与人的2D照片或视频屏幕相反)。在该示例中,测试可以设置耳朵、颧骨、鼻子等的移动或速度的预期值。当二维向量与预期值匹配时,该方法进行到步骤1410以增加图像是活的三维人的可能性。如果二维向量与预期值不匹配(或与使用二维欺骗物时预期的值匹配),则该方法降低图像是活的三维人的可能性,如步骤1412所示。
当对活的三维人进行成像时,连续图像之间的像素的二维向量或位移在图像的前景和背景中是不同的。因此,在步骤1414中,***还分析背景对象的二维向量以确定这些向量是否匹配期望值。在步骤1410或1412中再次更新图像是活的三维人的可能性。
如上所述,表示某些背景对象的一些像素可以完全出现或消失。例如,当用户将设备从手臂的长度移动到更靠近他或她的面部时,用户面部的像素、边缘和/或特征将具有比背景中的特征(诸如墙壁上的相框、时钟等)更高的移动速率。另外,当用户将设备移动得更靠近他或她的面部时,当设备离用户最远时在用户的面部上或周围可见的一些像素将不再可见。人的面部周围的像素可以被定义为面部晕圈,并且这些像素(面部晕圈)中的物品将不再被相机捕获在图像中,这是由于人的面部占据更多的图像并且由于相机更靠近人的面部的移动而“扩大”。如上所述,该检查可以被称为边缘检测。在步骤1416中,***验证前景图像边缘周围的背景图像是否与期望值匹配。该***还确保表示前景对象(诸如面部)的边缘的像素替换前景对象的边缘附近的背景对象的像素。基于步骤1416中的边缘检测的结果,在步骤1410和1412中调整图像是活的三维用户的可能性。因此,通过跟踪这些像素和位移,***可以验证像素速度分析是否与具有前景和背景的三维对象一致。
在步骤1418中,基于上述各种检查来验证被成像和认证的用户的活性或三维性。尝试认证的用户是活人的确定是作为认证的一部分必须满足的一个元素。因此,可以更可靠地防止使用该人的屏幕或照片欺诈访问账户或设备的尝试。这防止了用二维图像(诸如人的打印图片、数字投影或数字屏幕图像)愚弄认证***的尝试。
还可使用针对活性或三维性的像素速度分析来实现进一步增强。当用户使设备(相机)更靠近用户的面部时,面部特征将由于各种特征与相机之间的大的相对距离、以及当相机更靠近面部时特征在相机的视场中的放置而不同地失真。这种效果可以被称为透视失真。当这种失真开始发生时,表示面部中心的特征(诸如鼻子)的帧中心中的像素将在帧中具有最少量的失真,而表示面部的外部部分(诸如脸颊、下巴和前额)的像素将示出最大的相对像素移动(多于帧中心处的像素)和最高的加速度。因此,也可以通过比较面部本身上的特征来示出三维性。这是因为在非常接近设备处,更靠近设备的面部特征可以被认为是前景特征,并且更远离设备的面部特征是背景特征。例如,表示鼻子的像素将显示出比表示颧骨的像素更少的帧之间的移动,因为当设备保持在眼睛水平时鼻子与相机的相对距离更短。
像素速度分析还可用于跟踪在欺诈性认证事件期间非常难以重新创建的活性特性。例如,当聚焦在对象上时,人眼永远不会完全静止。当眼睛扫描物体、四处移动以定位对象的感兴趣部分并产生对应于场景的精神三维“地图”时,总是存在眼睛的快速无意识移动。这些移动被称为扫视(saccade)并且是无意识的。扫视持续20ms-200ms并且充当眼睛注视的机制。因此,可以通过眼睛跨帧的扫视运动来生成基于眼睛基于像素值的移动的二维速度向量。这些向量的存在、眼睛抖动的赫兹和帧之间的像素移动的加速度可以与经验证的会话的测量结果进行比较,并且可以用于增加相机前面的用户不是无生命欺骗物(诸如照片、蜡像雕塑或玩偶)的置信度。
在另一示例中,当明亮的光被呈现给人眼时,瞳孔将收缩以减轻光到视网膜的路径。诸如智能电话之类的典型移动设备上的相机通常以足够高的分辨率操作,使得当在进入眼睛的光量增加的一系列帧上进行比较时,诸如当用户将设备和屏幕移动得更靠近他或她的面部时,或者当移动设备的面向前方的闪光灯被激活时,二维速度向量将跟踪瞳孔收缩。
可以通过像素速度分析检测到的另一个特征是从用户的眼睛反射。当瞳孔收缩时,眼睛的表面反射更大量的撞击它的光,从而提供发光对象的更亮的反射。在具有照明屏幕的设备移动得更靠近用户的面部的情况下,设备屏幕的反射的尺寸和亮度将增加,而瞳孔的尺寸收缩。可以在一致的运动路径中观察和记录这些二维向量,然后基于观察到或不存在预期二维向量来提供对视频帧会话的活性评估。
面部识别算法使用面部上的标志点来测量面部特征之间的距离和角度。这创建了个体的独特外观和对应的独特生物特征数据。在一些实施例中,像素速度分析不仅可以用于验证人的三维性,而且还可以用作附加或替代的面部识别算法。
在这种情况下,当用户提供注册图像同时将相机移入和移出以适配如图13A和13B所示的椭圆时,设备可以识别整个用户面部的特征的二维向量。形成的这些二维向量是由当相机被靠近用户面部时由于用户面部的三维特性而发生的面部特征的失真和移动引起的。跟踪二维向量并将二维向量映射到用户面部的每个特征导致使用二维相机创建用户面部的唯一“热”地图。“热”地图指示“热点”,其中较大的二维向量示出某些面部特征的增加的像素速度,与其中较小的二维向量示出其他面部特征的小像素速度的“冷”区域相反。
已经发现,当用户将具有相机的设备移入和移出以适配如图13A和13B所示的椭圆时,这样的地图对于每个用户是唯一的。因此,除了验证被成像的人的三维性之外,由设备移动或头部移动产生的与面部特征相对应的像素移动的二维向量的地图本身可以用作生物特征数据。也就是说,不仅可以将各种面部特征的二维向量与期望值进行比较以确定用户面部的三维性,而且当用户相对于用户面部移动设备和相机时创建的各种面部特征的二维向量本身基于用户的独特面部对于每个用户也是独特的。因此,基于向认证***注册的用户的三维面部特征来捕获唯一的热地图,其可以与用户相关联作为用于认证的生物特征信息。
使用先前认证和存储的用户面部的热地图,***因此可以利用像素速度分析来分析新的认证图像,以不仅确定人的活性或三维性,而且还认证人的身份。这些检查可以同时发生。也就是说,***比较从认证图像获得的热地图,以基于人的独特的三维面部特征确定其是否与在注册期间获得的热地图匹配。还检查由像素速度分析生成的二维向量,以确保它们与三维人相对应,而不是与二维欺骗物相对应。如果由设备相机捕获的图像被确定为不表示活的用户或与认证信息不匹配,则预期认证将失败并且访问将被拒绝。
像素速度分析可以允许使用具有静止二维相机的认证***,例如在膝上型计算机、ATM、汽车仪表板或台式计算机上。也就是说,利用由像素速度分析提供的活性检测,可以省略由设备的加速度计、磁力计和陀螺仪提供的移动信息,这些信息在诸如ATM机的静止设备中是缺少的。这可以通过用户相对于静止相机移动他或她的头部来完成。用户的移动可以来自正常的、可观察到的人类移动,或者可以是有意请求的用户动作,诸如指示用户将他/她的面部适配到屏幕上改变尺寸的椭圆形中,使得用户倾斜以填充较大的椭圆形。可替代地,指令可以是语音指令。这提供了从静止的二维相机验证用户的三维性的能力。可以使用面部识别算法来验证个体的身份,同时当与来自类似运动场景的先前捕获的数据相比时,可以通过像素速度分析来提供附加的身份确认、活性和三维检测。
触摸屏增强功能
附加的附加安全修改可以包括关于用户手指的信息。具有触摸屏的许多移动设备可以检测用户在屏幕上的触摸的定位和近似大小。因此,***可以测量用户手指或拇指的近似尺寸。除了手指的大小之外,还可以检测手指的定向角度或者是使用右手还是左手的手指或拇指。
在一个实施例中,用户通过触摸用户设备的触摸屏来选择要打开的账户、开始注册成像或开始认证成像。因此,认证***可以检测用户在认证期间的触摸是否与先前存储的注册信息相对应,该注册信息包括用户的手指或拇指的大小、施加到屏幕的压力量以及用户是右手还是左手。这为认证***添加了额外的安全层。
此外,认证***可以要求用户通过以一种或多种预定方式触摸指纹读取器或触摸屏来发起认证。在一个实施例中,如图15所示,触摸屏1410可以被划分成预定区域1420。例如,在移动设备的触摸屏1410上可以存在九个相等的圆形、正方形或其他形状的区域1420。在注册期间,用户选择屏幕1410的区域1420中的一个来触摸以发起认证。在认证期间,如果预选区域1420未被触摸以开始认证或在整个认证过程期间预选区域1420未被触摸,则认证被拒绝。这仅仅是一种可能的设计可能性,并且可以设想其他设计选项。
触摸屏上的区域1420可以由网格可视地表示,或者可以根本不在触摸屏1410上显示。如图16所示,除了区域1420之外或代替区域1420,按钮1520可以显示在触摸屏1510上。这里,用户可以通过以预定图案按压按钮1520中的一个或多个来发起认证。用户还可以经由预定的滑动图案发起认证。用户要触摸的位置可以随着每次认证尝试而改变,并且可以通过来自认证服务器的任何指令(诸如代码、数字、字母、颜色、验证码或其他指示符)传达给用户。
语音参数
还预期用户可以通过在第一次使用***时在注册过程期间记录他们的图像的同时说出短语来记录他们的语音。然后,为了认证,当还移动移动设备以捕获他们的面部的图像时,用户还必须说出短语。因此,一个附加路径参数可以是用户的说出的语音,并且使用语音识别作为认证过程的另一层或元素。
图像质量保证
认证***还可以处理从移动设备接收的图像以确定图像是否具有足够的质量。例如,***可以检查图像是否存在由图像失焦或由相机透镜被指纹、油等遮挡而引起的模糊。***可以警告用户图像的质量不足(或太亮或太暗),并引导用户调整焦点、曝光或其他参数,或清洁相机的透镜。
自动聚焦
当移动设备相机配备有自动聚焦特征时,认证***还可以利用此特征。例如,当对实际的三维人进行成像时,***检查以确保图像的锐度在相机执行自动聚焦时始终改变。在另一实施例中,***可以控制自动聚焦,使得相机聚焦在第一位置或距离上,以检查包含面部的图像的一部分的锐度(对焦)。然后,***控制相机聚焦在未检测到面部存在的第二位置或距离处,并检查图像的一部分的锐度(焦点对准)。如果真实环境中的三维人正在被成像,则预期聚焦设置在第一位置和第二位置处应该不同,这表明真实的人当前正在被成像。然而,如果面部看起来变大但是两个位置的焦点相同,则这指示二维视频屏幕正在被成像,指示欺诈性登录尝试。
***还可以控制设备的自动聚焦以检查图像中的不同特定特征的不同焦点。例如,当从前方对人的面部成像时,人的耳朵预期具有与人的鼻尖不同的焦点(更远)。
登录尝试的图像
认证服务器还可以被配置为将认证图像存储预定的时间长度。图像可以提供附加的安全益处作为人试图登录到用户账户的证据。例如,***可以存储预定数量的先前登录尝试,诸如二十次登录尝试,或者存储来自预定时间段的登录尝试的图像,诸如在过去的七天或几周期间。任何欺诈或尝试的欺诈将导致尝试登录的人的图片被存储或发送到账户服务器的认证服务器。
仅仅知道照片将被拍摄和发送是对任何潜在不诚实的人的重要威慑,因为他们知道他们的照片将被拍摄和存储,并且这是对用户的安全性的保证。同样,任何尝试和失败的尝试都可以被存储照片和谁正在尝试访问账户的指示符。还可以设想,可以将电子邮件或文本消息连同尝试失败登录的人的图片一起发送给授权用户,以便他们知道谁正在尝试访问他们的账户。这建立了账户的第一安全性,因为具有照片或图像的用户也由认证服务器拥有。
自适应匹配阈值
此外,注册信息与认证用户的认证信息之间的对应性的级别或百分比可以随时间改变。换句话说,***可以包括自适应阈值。
在用户定期使用上述认证***之后,用户将通过相对于他或她的头部在预定路径中移动移动设备多次来登录***。因此,可以预期,由于用户将使用认证***获得体验,并且用户将逐渐进入舒适且标准化的运动路径。相反,用户的初始注册移动可能是最尴尬和笨拙的移动,因为用户对认证***几乎没有经验。
为了使认证***对于用户更方便而不失去安全性,自适应阈值***允许注册移动进行适配,使得用户不被锁定到作为注册移动的笨拙和笨拙的初始移动中。为了促进这一点,在每次成功授权时,存储成功授权移动,并且将运动路径添加到可接受运动路径的列表中。可接受运动路径的列表可以限于预定数量的路径。当新的成功授权完成并且可接受运动路径的列表已满时,较旧的注册运动路径被删除并且最新的注册运动路径被存储在其位置中。可替代地,可以删除与存储在列表上的其他运动路径最不相似的运动路径。因此,通过存储最相似或最新的运动路径,注册移动可以随着时间缓慢地适应,因为用户熟悉***并且进入舒适的运动路径以进行认证。
另外,其他注册信息可以以与用户信息类似的方式自适应地改变。例如,成功的认证照片或生物特征信息可以被存储为注册信息的一部分,并且旧的注册信息可以随时间被丢弃。以这种方式,当用户经历老化、面部毛发生长、不同的化妆风格、新眼镜或其他细微的面部改变时,即使在很长一时间段内,认证***也可以方便用户。
确定在运动路径、生物特征信息或两者中随时间允许多少变化可以由需要认证的实体设置,以满足该实体的安全要求。初始注册之后的扫描的时间或数目可用于修改自适应阈值。例如,在注册之后的前几天期间,阈值可以较低,而安全威胁较低并且路径中的差异可能较高。在几次认证或几天之后,阈值可以增加。还可以基于运动路径或生物特征信息的趋势数据来设置阈值。例如,阈值可以在数据趋势的方向上更宽松,同时针对趋势对数据具有更严格的容限。
时间方面也可以与定位信息一起添加。例如,如果用户在他的家附近进行并认证交易,并且然后一小时后在外国尝试另一交易,则交易可以被拒绝。或者如果先前认证定位和下一认证定位之间的距离在登录或认证尝试之间的时间量内不可能旅行或者不太可能已经旅行,则可以拒绝。例如,如果用户在丹佛进行认证,但一小时后在纽约、俄罗斯或非洲进行尝试,则第一次或第二次尝试是欺诈性的,因为用户可能无法在1小时内在这些定位之间旅行。
此外,如果在离第一交易更合理的时间和距离处尝试下一个交易,则可以提高对应性级别阈值以提供增加的安全性,而不自动拒绝交易。同样地,可以使用高度计,使得如果由移动设备确定的高度不同于用户被报告所在的城市的高度,则这可以指示欺诈尝试。因此,来自移动设备的高度或气压读数可以用于验证定位,并且可以与GPS数据、IP地址或路由器定位数据或用户被识别的定位交叉参考。
人脸匹配算法的改进
通常,可能需要更新新的面部识别(面部匹配)算法或应用的其他特征以确保认证***的安全性。当实施新算法时,需要获得对应于新算法的新注册信息。然而,不希望每次更新应用时都要求已经用***认证的用户再次注册。如果例如用户登录到支付***以在商店进行购买,并且应用程序提示用户输入密码和/或重新注册而不是允许用户按照计划快速完成交易,则这将使用户不便和沮丧。
因此,在一个实施例中,***执行生物特征“移交”以基于应用或软件更新利用新的面部识别算法来更新注册信息。例如,当用新的面部识别算法更新软件或应用时,应用保留先前的面部识别算法。在下一次登录尝试期间,使用捕获的图像以及使用较旧的面部识别算法的任何和所有活性检查来认证用户。如果此人被认证,则图像被授权由新的面部识别算法使用以利用新的生物特征算法生成新的注册信息。新的注册生物特征信息被认为是可信的,因为它基于使用现有生物特征算法的成功登录尝试。该过程可以进行一定次数(用旧算法登录,用新算法创建注册信息),直到创建关于新面部识别算法的足够的生物特征简档。一旦创建了新简档,就删除基于旧面部识别算法的先前生物特征简档。以这种方式,当用新的面部识别算法或其他特征更新应用时,用户不必重新注册。
随机图象失真
为了向面部识别认证***提供附加的安全层,***可以利用随机图像失真。例如,用户可以在注册到***中时被分配随机失真算法。失真算法可以包括对图像的这样的失真:使人的面部加宽或变窄预定量、在用户的面部上的预定位置处添加或叠加预定形状。作为其一个示例,失真可以是叠加在用户左眼上方100个像素处的圆。
利用来自用户的图像上的唯一分配的失真,该用户的生物特征数据对于用户使用的账户或设备将是唯一的。也就是说,存储在认证服务器或移动设备上的注册生物特征不仅将反映用户的面部特征,而且还将反映唯一分配的图像失真。因此,即使在不同设备上或经由不同账户使用人的准确、欺诈性表示,由于独特失真的不同或不存在,所提供的认证生物特征也不会充分对应。因此,可以增强整体安全性。
安全层
注意,上述实施例、修改和增强中的每一个可以根据需要以任何组合进行组合,以创建用于认证的多个安全层。例如,面部匹配或面部识别可以与运动检测或路径检测组合,或者可以独立于这些特征操作以用于认证。此外,当组合多于一个上述增强或修改时,认证***可以被配置为不提供关于哪个层认证失败的任何反馈或指示。
例如,当用于发起认证的预定触摸图案与认证移动和面部认证组合时,***不指示触摸图案是否不正确,或者认证移动或认证图像是否未能对应于注册信息。相反,无论发生什么故障,***都提供相同的认证拒绝。当组合任何数量的上述安全特征时,就是这种情况。以这种方式,欺诈者难以检测必须校正欺诈凭证的哪个方面,从而进一步增强***的安全性。
所有上述特征可以结合在一起,或者可以仅使用一些特征而省略其他特征。例如,当设备提示用户移动设备使得用户将他或她的头部放置在第一小框架(诸如椭圆形)内然后放置到第二大框架(诸如在图7A、图7B、图13A和图13B中)时,***可以被配置为使得不需要对第一框架中的图像(远距离捕获的帧)执行面部识别。通过在第一框架和第二框架之间的某个点处以及在第二框架处贯穿成像执行面部识别来维持***的安全性。当还与另一安全层集成时,例如在屏幕上的移动对象之后检查眼睛跟踪或从用户眼睛读取QR码或随机形状的反射时,这可能尤其如此。在另一实施例中,当使用两个或更多个相机创建三维立体图像时,可以不在第一远框架处执行面部识别,而是可以仅在设备移动之后在更近框架处验证人的活性。在其他实施例中,可使用其他安全层,并且可省略运动参数。这样的组合对于较大的或静止的设备(诸如游戏膝上型计算机、个人台式计算机、静止信息站等)可能是有益的。
示例应用
同样,尽管在本文中被描述为金融账户认证,但是使用路径参数和图像数据的认证可以在允许访问之前需要验证用户身份的任何环境中实现,诸如自动访问、房间访问、计算机访问、网站或数据访问、电话使用、计算机使用、包裹接收、活动访问、票务、法庭访问、机场安全、零售交易、IoT访问或任何其他类型的情况。
例如,将描述其中上述认证***用于安全地进行零售交易的实施例。在该实施例中,如上所述,用户向移动设备上的认证服务器或认证应用注册,并且已经生成了包括注册图像和/或生物特征的注册信息以及注册移动。在该示例中,用户使用***、智能卡或使用具有NFC能力的智能电话在零售机构处发起或尝试完成交易。
用户通过刷***、智能卡或使用具有NFC功能的智能手机上的应用程序来开始交易以支付商品或服务。零售机构然后将向金融机构的相关网络(“网关”)授权卡或账户。例如,零售机构通过诸如由VISA或美国运通运营的网关来确定账户是否可用并且是否具有足够的可用资金。
然后,网关将与授权服务器通信,以通过验证用户的身份来授权交易。例如,网关可以向认证服务器发送授权请求,并且认证服务器然后向用户的移动设备发送通知(诸如推送通知)以请求用户认证交易。
在例如通过移动设备上的振动、嘟嘟声或其它声音从验证服务器接收到通知之后,用户接着可向移动设备认证他或她的身份。认证服务器还可以向用户发送关于交易的信息以供用户验证。例如,认证服务器可以发送使移动设备显示商家、商家定位和交易的购买总额的信息。
接下来,如前所述,用户可以握持移动设备,并且当用户将移动设备移动到相对于用户头部的不同位置时获得多个认证图像。在移动移动设备以获得认证图像的同时,移动电话还经由陀螺仪、磁力计和加速度计跟踪移动设备的路径参数(认证移动)以获得设备的认证移动。然后,移动设备可以将设备信息、认证图像和认证移动发送到认证服务器。在其它实施例中,移动设备可处理图像以获得生物特征数据且将生物特征数据发送到服务器。在其他实施例中,移动设备可以处理图像、获得认证信息、将认证信息与存储在移动设备上的注册信息进行比较,并将比较的通过/失败结果发送到认证服务器。
然后,认证服务器可以认证用户的身份,并且如果设备信息、认证图像和/或生物特征以及认证移动与注册设备信息、注册图像和/或生物特征以及注册移动相对应,则确认用户希望授权在他或她的账户上的交易。然后,认证服务器向网关发送授权消息。一旦网关接收到授权的确认,网关就与零售机构通信以允许零售交易。
当利用上述***和方法授权零售交易时,可以获得若干优点。因为用户的身份验证和交易的确认是通过认证***和移动设备完成的,所以不再需要用户提供他或她的***或签名,或者将pin号输入零售商的销售点***。此外,零售机构不需要检查用户的照片标识。上述方法和***还具有以下优点:其提供安全交易,该安全交易可以与在场地上不具有相机(诸如安全相机)的移动和在线交易一起工作。
在上述安全零售交易中,用户经由网关和认证服务器从零售机构获得他或她的移动设备上的应付款总额。然而,在一个实施例中,移动电话可以使用相机作为条形码、QR码或类似的扫描仪来识别物品和正在购买的物品的价格。然后,移动设备可以合计应付金额并充当收银台以完成与零售机构的交易。
在另一实施例中,应用的用户可能想要匿名地支付个人或商家。在这种情况下,用户将指定要支付到应用中的金额,并且应用将创建唯一的标识交易编号。然后可以向第二用户显示该编号,因此第二用户可以在单独设备上的应用上键入识别交易编号。唯一识别交易编号也可以经由NFC、蓝牙、QR码或其他合适的方法从用户发送到第二用户。第二用户还可以键入金额并请求支付。
在接收到支付请求和唯一识别交易编号时,认证服务器可以向第一用户的移动设备发送通知以认证交易。然后,用户将使用上述面部识别认证***来验证他或她的身份。用户可以替代地或附加地使用其他生物特征数据(诸如指纹或视网膜扫描、基于路径的运动和成像)来验证他或她的身份,或者用户可以输入密码。在认证时,用户的设备将向用户的支付提供商发送请求以请求并授权向第二用户支付。以这种方式,支付可以安全地完成,而交易中的用户是匿名的。
根据一个实施例,作为安全的附加措施,来自移动设备的GPS信息也可以被发送到认证服务器以认证和允许零售交易。例如,可以将来自移动设备的GPS坐标与零售店的坐标进行比较,以确认用户实际上存在于零售店中。以这种方式,窃取***并试图从远处(与零售定位相比)使用该卡的罪犯不能完成交易,因为用户的电话不在零售机构的定位。IP地址也可以用于确定定位。
如上文所解释,还可基于移动设备的GPS的坐标来调整注册信息与用以认证用户的认证信息之间的对应性的级别或百分比。例如,如果移动设备的零售店和GPS坐标靠近用户的家,则可以将对应性级别设置在较低阈值,诸如99%匹配率。可替代地,例如,如果该定位离用户的家非常远,并且在外国,则可以将对应性级别设置为更高的阈值,诸如99.999%的匹配率。
还公开了一种用于检测和/或控制相机状态的方法和***,以检测规避(bypass)尝试中的不正确或不期望的相机行为和/或相机馈送特性,或者控制相机以将辅助视频馈送注入处理器、或不是来自与计算设备相关联或连接到计算设备的物理相机的任何类型的视频馈送。换句话说,所公开的方法和装置验证相机的视频馈送来自来自物理相机的实时收集的数据,而不是经由合成创建的视频帧实时伪造的预先记录的视频。视频注入是欺骗***认为它正在使用或接收来自相机的视频馈送的行为,但是它实际上被馈送预先记录的视频帧。这也可以称为相机规避。如果应用程序正在检查相机属性,则黑客必须使他们的软件模仿该设备中真实物理相机的确切特性。如本文所公开的,这可以是捕获分辨率、型号#、麦克风名称,并且当然它应该花费适当的时间来启动。
参考图2,计算机设备包括相机。配备有相机276的计算设备可以是移动设备,诸如平板电脑或智能电话、具有网络摄像头的台式或膝上型计算机、或具有相机和可选的网络通信能力的任何其他类型的计算设备。作为用户认证或验证过程的一部分,诸如本文所述或任何其他类型或方式的过程(以下称为认证),处理器执行软件代码(机器可执行指令)以进行认证会话。作为认证会话的一部分,软件代码激活相机并对***在激活之后返回视频馈送(以下称为视频馈送)的一个或多个视频帧所花费的时间进行计时。
与诸如虚拟相机软件之类的视频注入欺诈尝试相比,物理相机花费更长的时间来使视频馈送开始流式传输图像。商业上可获得的虚拟相机软件通常将立即开始递送视频帧,并且暴露出相机没有物理地启动。它发生得太快而不可能是物理相机。
不正确地欺骗或愚弄认证会话的一些尝试涉及拦截从相机到处理器或其他处理元件的视频馈送,从而注入与由用于认证的计算设备的相机实际捕获的数据不同的数据。处理器可以包括CPU(中央处理单元)或GPU(图形处理单元)或与相机接口的任何其他元件。假相机馈送由应用程序选择,并且视频注入软件向处理软件提供注入的虚拟图像/视频馈送,以使其看起来好像真实的人,或与实际在相机前面或与设备一起存在的人不同的声称的人正在由相机成像。因此,代替计算设备中的实际物理相机捕获相机前面的实际人的视频/图像馈送,注入的(预先记录的)视频流被提供给处理器用于认证会话。这可以被称为注入虚拟相机馈送来代替实际物理相机输出。这提供了可能的安全风险。
为了克服现有技术***中的该缺点并克服认证会话和***中的该潜在弱点,公开了一种方法和装置,其为该欺诈性认证尝试提供对抗安全性。通常,当***检测到来自与计算设备相关联的相机的实际视频馈送之外的视频馈送时,监测和分析计算设备的相机操作以检测和防止认证。
以下方法可以在捕获图像的计算设备上或在诸如服务器的远程位置处执行。该过程可以通过由处理器执行机器可读代码以执行下面公开的步骤来发生。机器可读代码可以以非暂时性状态存储在存储器中并且由处理器从存储器读取。计算设备的处理器或其他元件可以向相机发送激活控制信号,监测和检测来自相机的视频输出。相机输出可以是来自相机的一个或多个图像或视频馈送(数据流)。术语图像和视频流通常是相同的事物,使得多个连续图像形成视频流。
图17示出了检测来自虚拟相机或其他源的注入的相机馈送的示例方法。这只是一种可能的操作方法,并且在阅读本公开之后可以推导出其他操作方法。
在步骤1708处,发起会话,并且作为会话1708发起的一部分,将相机视频馈送请求信号发送到操作***或浏览器以获得相机的视频馈送(被理解为意指视频或图像)。在该实施例中,相机馈送请求信号从认证应用发送到浏览器或操作***,但是在其他实施例中,它可以是相机激活信号或相机开/关信号。
在正常情况下,相机不正在向设备的处理器发送视频馈送,因此如果视频馈送立即可用于认证应用,则这将是虚拟视频馈送被注入以代替实际相机流、或者相机已经开启的指示符。从计算设备获得相机视频馈送是已知的动作,因此不再详细描述。另外,在相机***中,在对相机馈送的请求与处理器或请求应用实际接收视频馈送之间存在短时间延迟。在一个实施例中,可以分析相机的类型以确定特定相机型号的预期延迟。无论如何,所有相机在请求视频馈送与相机物理地输出视频馈送之间具有一些延迟。这种延迟可能是由于电荷在CCD上累积、从CCD读取数据以及将捕获的数据组装成视频流输出所花费的时间。在步骤1712处,***在步骤1708中的请求之后监测视频流的接收。在请求软件应用处监测视频馈送的接收,以确定视频流是在请求视频馈送时立即提供还是同时提供,或者在视频流对认证(软件)应用可用之前是否存在预期的延迟。
通过在相机馈送请求时检测视频馈送,可以检测虚拟相机(注入的视频馈送)的使用。注入的视频馈送通常将在与从物理相机输出的延迟所预期的时间不同的时间处可用。虚拟相机软件的使用是在认证会话期间尝试欺骗或犯下欺诈的标志或指示符。在接收到视频馈送请求信号时,计算设备的相机在其输出任何视频或图像帧(以下称为馈送)之前将具有短延迟。相机视频馈送请求与实际从相机接收相机馈送之间的延迟可以在200至500毫秒的时间范围内,但是将随相机而变化并且可以在该范围之外。延迟量可以因相机而异,并且还可以基于所使用的相机技术的类型,但是当物理相机尚未通电时,在访问相机馈送的请求与视频流或图像的输出之间总是存在一些延迟。通过监测、检测或控制相机馈送请求、激活或开/关过程,可以检测注入虚拟相机馈送以欺骗认证会话的尝试。
在判定步骤1716处,如果相机视频馈送在相机视频馈送请求或相机激活时立即或同时可用,或者如果在相机或特定相机应该预期的预期时间间隔之外接收到相机馈送,则操作前进到1720。如上所述,一旦请求视频馈送,计算设备相机在其输出视频馈送或图像之前具有短暂停或时间段。因此,如果在步骤1716处确定相机馈送立即可用,或者在预期之外的时间段或预期时间间隔内可用,则这是尝试向处理器或请求软件应用注入虚拟视频馈送的迹象。在步骤1720,响应于检测到欺骗尝试而终止会话。
可替代地,如果在步骤1716处相机视频馈送不是立即可用的,或者如果相机视频馈送延迟了预期的时间间隔(由于数字相机操作的性质)并且因此在允许的时间帧(窗口)内被接收,则确定或假设在视频馈送请求和提供视频馈送的物理相机之间发生了预期的延迟量,并且认证会话可以继续,因为相机馈送没有显示来自虚拟相机馈送的迹象。在步骤1724处,因为发生了接收视频馈送的预期时间间隔,所以应用软件继续进行认证会话。
预期在所有实施例中,可以随时间监测相机的时间延迟以创建典型或平均基线延迟值,并且可以将该基线量与视频馈送请求和接收到视频馈送之间的时间进行比较。在其他实施例中,时间延迟对于不同类型的相机是已知的。建立基线为实际相机和安装相机的***提供了延迟量。
在图18A中公开了另一种操作方法。在该实施例中,公开了在相机馈送的一个或更多个相机馈送请求/终止循环之后监测相机操作的示例方法。预期基于以下公开内容,该方法的其他变型是可能的。在该实施例中,步骤1808、1812、1816、1820通常类似于上面针对图17示出和描述的步骤,因此不再描述。
前进到步骤1824,在认证应用的相机视频馈送请求与视频馈送的接收之间发生预期延迟(时间间隔)之后,然后应用生成停止接收视频馈送达X时间段的请求。
然后,在步骤1828处,请求应用或其他软件模块将向浏览器或操作***发送控制信号(请求),以在X时间段内终止视频馈送的接收。结果,应用不再接收视频馈送或终止访问,这将导致认证软件应用失去对相机视频馈送的访问或接收。该时间段可以保持任何时间段,在图18A中称为X时间段。该时间段X可以是随机生成的时间段或者由认证软件应用预先确定。该关闭时段持续时间是认证应用已知的,并且用于如下所述的未来比较中。
在可选步骤1830处,发生决策步骤以确定是否检测到诸如视频注入的视频馈送,并且如果是,则可以在步骤1831处终止会话。
在步骤1832处,认证应用请求相机视频馈送,并且将该请求发送到浏览器、设备操作***或相机,其中跟踪请求被发送与认证应用实际接收到视频馈送之间的时间。与此同时,认证应用监测视频馈送的接收。该相机馈送访问延迟应导致与认证应用的任何先前相机馈送请求大致相同的时间延迟。如果这比先前的访问请求或预期的时间间隔快超过预定时间量或不同于预期的时间间隔(其可能因相机而异),则这是虚拟相机软件可能是视频馈送的源的指示符。
例如,计算相机关闭的时间段加上任何开启延迟,并将其与视频馈送未被提供给认证应用(或未被认证应用请求)的实际时间进行比较。这两个时间段应该匹配。如果在步骤1836不是这种情况,则可能发生视频注入,这是欺诈的迹象,这将使操作前进到步骤1840,其中可以终止会话并且向用户、其他软件应用、请求认证的实体或认证应用发送可能的欺诈的通知。
如果在步骤1836处,响应于相机馈送访问请求信号,相机馈送在预期窗口内可用,则操作前进到步骤1844。在步骤1844处,预期时间段延迟发生在相机馈送可用之前,这是由于在请求视频信号时与基于决策步骤1836处的确定在认证应用处接收到实际视频馈送之间的固有相机延迟
在该操作方法中,在步骤1846处,该过程重复一次或多次,诸如N次,其中N是任何整数,以及在对视频馈送的请求与视频馈送的实际接收之间的实际时间间隔或延迟。将该实际时间间隔或延迟与预期时间间隔或延迟进行比较。N的值可以随每个认证会话改变,使得该过程可以发生或重复一次或多次以进一步减少成功欺诈的机会。通过将相机馈送访问请求循环N次使得试图用注入的视频流欺骗认证会话的人更难以模仿相机馈送请求的开/关循环。如果N是随每个会话改变的随机数(或其他值),则准确地预测次数。此外,改变相机在每个循环期间关闭(和/或在每个循环期间开启)的时间段,诸如以随机的持续时间,进一步使任何视频注入尝试复杂化。进一步设想,相机开启的持续时间也可以在每个循环改变,诸如具有随机持续时间或预定持续时间,以进一步阻止执行视频注入的任何尝试。
在步骤1848处,确定循环是否已经发生预期次数,诸如N次。如果相机馈送访问请求/终止(或开/关)循环期间的相机馈送延迟没有以预期的延迟和所需的次数发生,则操作前进到步骤1852,并且会话由于可能的欺诈或欺骗尝试发生而终止,并且可以提供通知。使相机视频馈送请求循环特定次数使得试图用注入的视频流欺骗认证会话的人更困难,这也必须模仿相机视频馈送的完全相同数量的相机视频馈送请求循环。可替代地,如果在步骤1848处相机视频馈送请求循环过程已经导致预期数量的视频馈送请求循环,则操作前进到步骤1856并且会话继续。会话可以是任何类型的认证或用户验证过程,诸如但不限于用户面部的三维检测、面部识别、年龄估计、活性确定、定位估计或利用可能试图被视频馈送欺骗的相机视频馈送的任何其他类型的操作。
可以设想,可以以多种不同的方式确定或选择定义相机视频馈送请求循环的次数的值N。例如,对于每个认证会话,值N可以是相同的。另外,可以通过循环通过不同N个值的列表来确定值N。还预期值N可以由随机数生成器或生成随机数的其他方法生成。N的值可以被限制,以便不会过度延迟具有大量相机视频馈送请求循环的认证过程。通过针对每个不同的认证会话改变N的值,欺诈者明显更难以预期他们的虚拟相机软件必须模仿的延迟,以便使用虚拟相机或任何其他类型的相机馈送注入成功地欺骗会话。这样做将要求欺诈者不止在虚拟视频馈送中构建相机激活和视频馈送的接收之间的适当相机延迟,而且还在适当的时间未请求相机馈送请求,并且在预期的时间间隔过去之前不再次请求视频馈送。类似地,如果相机开启时间在每个循环期间也改变,则这也将必须是已知的并且被准确地模仿以维持何时应当接收所请求的视频馈送的预期定时。此外,试图欺骗认证会话的人还必须知道或猜测相机馈送请求被循环的次数(N次),并且该次数可以在会话之间随机改变。
图19示出了包括作为相机馈送请求开/关循环的一部分来控制相机馈送关闭请求持续时间的示例操作方法。图19的方面与图18A和18B共享共同元素,并且因此不再描述重叠的方面。参考图19,步骤1904、1908、1912、1916和1920与图18A中的初始步骤相同或相似,并且不再描述。在步骤1924处,建立值X,并且应用软件终止相机馈送的接收,诸如通过向操作***发送信号以维持相机视频(或图像)馈送的接收。值X可以是任何数字,并且用于控制视频馈送被认证应用请求或开启多长时间。值X可以在认证会话之间改变和/或可以在认证会话内的每个视频馈送访问请求循环之间改变。在一个实施例中,X的值基于存储在存储器或查找表中的值来固定。在一个实施例中,X的值基于一组存储值而变化。在一个实施例中,X的值由随机数生成器或用于随机(或半随机)数生成的其他手段生成的随机数确定。用于生成值X的其他可能的手段包括基于利用各种可变数据的算法,诸如但不限于一天中的时间、用户的认证会话、日期、用户的个人信息、随机数据或任何其他值中的一个或多个或其组合。由于值X的随机且经常变化的性质,人们将难以预测X的值。在步骤1928处,应用在接收视频馈送时等待X时间段。在该时间段期间,应当将视频帧提供给认证应用。
然后,在判定步骤1936处,监测相机馈送请求以验证其已经被接收X时间,这是相机应该开启并向应用软件提供视频馈送的预期持续时间。
如果未检测到视频馈送,则操作前进到步骤1940,并且会话可以停止并且可以发送通知。或者,认证会话可以前进到步骤1950并继续。
图20示出了视频注入检测的替代实施例,其将检测操作循环固定或随机次数。这只是视频注入检测的一个可能的实施例。预期来自本文公开的任何实施例的特征可以与任何其他一个或多个特征组合,作为现有实施例的新实施例或变型的一部分。在该实施例中,图17的相机延迟检测重复预定或随机次数,以降低成功视频注入的可能性。在步骤2000处,***发起认证会话。在步骤2004处,认证应用向操作***或浏览器发送相机视频馈送请求(或在替代实施例中为相机激活信号)以获得视频馈送。记录发送该请求的时间或启动定时器。在步骤2008处,认证应用监测视频流,直到接收到视频流。记录对视频流或相机激活的请求与实际接收到视频流之间的时间。
在判定步骤2012处,确定视频馈送在预期时间间隔之外是否可用。预期时间间隔是预期视频馈送给出相机类型和其他设备/软件参数的预期时间间隔。如本文所讨论的,在请求视频馈送(并因此激活相机)与视频馈送的实际接收之间存在固有延迟。可以将接收视频馈送所花费的实际时间与相机输出视频馈送应该花费的预期时间进行比较,并且基于该定时比较,可以确定在认证应用处接收的视频馈送实际上是来自相机还是视频注入。如果在物理相机将输出视频馈送的预期时间或窗口之前或之后接收到视频注入,则这是所接收的视频馈送来自视频注入的指示。
如果在判定步骤2012在预期窗口之外接收到视频馈送,诸如太快或太晚,则操作前进到步骤2016,并且会话将终止。可替代地,如果在判定步骤2012处确定在预期时间间隔内接收到视频馈送,则操作前进到步骤2020。在步骤2020处,因为发生了预期延迟,并且记录发生了预期延迟并且操作已经循环。接下来,在步骤2024处,操作重复步骤2008至2020多达Y次,其中Y是任何整数并且Y可以是随机数或预定数。其中Y是随每次认证会话而改变的随机数,使用视频注入的任何尝试的欺诈尝试将不知道该过程将重复多少次,从而使得难以知道在欺诈尝试期间执行视频请求和监测循环多少次。
在判定步骤2028处,确定该过程是否已经重复Y次。如果不是,则操作前进到步骤2032。在步骤2032处,应用软件结束视频流的接收,并且操作返回到步骤2004并且操作重复直到其已经发生Y次。如果在步骤2028处,过程已经重复Y次,则操作前进到步骤2036并且认证会话继续进行。
预期每种方法的各种元件和特征可以以任何方式组合以达到其他组合,从而形成更安全的认证***,即使在复杂的虚拟相机馈送注入的情况下,该认证***也更难以欺骗。
还公开了可以在上述任何方法或步骤的一个或多个相机馈送请求循环期间或独立于上述任何方法来改变所请求的相机分辨率。为了进一步防止欺诈,可以针对不同的相机分辨率监测和记录相机馈送访问请求信号与相机馈送的实际输出之间的延迟。
如上所述,在每个循环期间,当***在视频馈送请求和视频馈送终止之间循环时,***可以调整或改变(诸如随机地)馈送未被请求或接收到馈送的持续时间。这对每个循环改变视频注入尝试必须匹配的时间,以欺骗***。例如,在循环中存在不请求视频馈送的时间段(随机改变),该时间段被添加到相机的启动时间。将这两个时间加在一起以形成预期的时间间隔。
此外,循环重复的次数可以从认证会话到认证会话进行调整。例如,每个认证会话可以运行5个循环,或者可以从会话到会话随机调整循环的数量。还可以设想,如果在请求之后接收视频馈送的实际时间在预期时间间隔之外,则可以添加附加循环。例如,在一个可能的实施例中,软件被设置为运行2至5个之间的随机数量的循环(参见图17至图20),并且如果这些循环中的任何一个产生在预期时间间隔之外(太快或太晚)的用于接收视频馈送的实际时间间隔,则循环数量可以增加固定或随机数量的附加循环以进一步检测视频注入,例如通过在2至5个循环之间添加另一个随机数量的循环。所有这些值都是示例性的,并且可以在实际实施方式上变化。
还公开了认证应用软件可以被配置为要求独占使用或接收视频馈送。因此,如果应用检测到另一应用正在接收相机馈送,则应用软件可以要求其他应用停止使用视频馈送并且关闭相机。可以向用户提供通知以关闭另一应用。通过停止相机的其他使用,相机将可能被关闭,并且因此,当认证应用请求相机视频馈送时,相机必须首先被开启和激活,这建立了本文描述的延迟。如果相机已经开启,诸如由另一应用使用,则视频馈送可能太快地被提供给认证应用,因此错误地表现为视频注入。换句话说,在视频馈送的请求与视频馈送的实际接收之间将不存在预期延迟。
还可以设想,认证应用可以随时间监测相机激活延迟,以从实际监测创建基线延迟时间。然后,可以在认证会话期间的比较中使用该基线激活延迟,以捕捉很少发生的视频注入尝试。基线可以在训练会话期间、在应用安装时或基于随时间的平均值来设置。替代地,不同相机类型的激活延迟可存储在存储器中以供将来使用。
该提出的方法具有若干益处。这可以是检测虚拟相机的欺骗尝试的另一种方式,虚拟相机不会响应于动态地提供给相机的控制信号请求而改变其分辨率,该控制信号请求改变相机馈送的分辨率。例如,在一种操作方法中,软件可以生成控制信号以请求输出可用的相机分辨率,并且此后,可以监测相机输出以验证所请求的相机馈送分辨率即将到来。如果正在发生欺骗尝试,则相机馈送输出分辨率将与预期分辨率不匹配,除非注入的虚拟相机馈送也能够在完全相同的时间将其输出分辨率改变为完全相同的分辨率。
另外,通过改变分辨率变化的一个或多个方面,可以使调整分辨率的过程甚至更难以复制。例如,分辨率改变的定时或改变到哪个分辨率可以是随机的或基于从预定义顺序改变的列表中选择的一些不可预测的因素或这些因素的某种组合。例如,***可以随机选择要使用的特定分辨率,然后循环通过不同的分辨率改变一次或多次,使得欺骗尝试不可能。同样,每个分辨率变化之间的定时可以被控制和监测、随机化或基于一些其他因素。预期本文公开的任何方法与这些提出的方法组合以进一步保护认证会话。
还公开了监测可以针对来自认证应用的相机馈送请求到计算设备经由相机馈送递送第一视频帧时之间的正确且预期的延迟量而发生,以获得存在的视频输出馈送的特定视频分辨率。在测试之后,已经确定设备(或软件)接收到相机馈送请求信号时与相机输出视频馈送时之间的延迟将基于相机的输出分辨率而改变。在较高分辨率下,馈送请求信号(或开/关或激活信号)到接收到实际相机输出馈送时之间的延迟大于较低分辨率下的延迟。使用该信息,建议监测和确定认证应用的相机馈送访问请求与实际相机馈送输出定时之间的延迟,并将经历的延迟与针对该设备类型上的特定分辨率的预期延迟进行比较。如果延迟时段与特定相机馈送分辨率所预期的延迟时段不匹配,则这是欺诈或欺骗尝试的迹象。该过程可以通过随着相机开/关的每次循环而改变分辨率来重复若干次,以进一步禁止任何欺骗尝试。
如上所述,可以将许多附加特征添加到该操作方法中,例如随机改变分辨率,然后监测随机选择的分辨率的预期延迟。这使得欺骗***更加困难。另外,在一些实施例中,可以进行基本检查以验证与高分辨率相机输出相关联的延迟大于与低分辨率相机输出相关联的延迟。还可以设想,可以针对每个相机分辨率测试和记录激活信号之后相机输出中的实际延迟量。接着,可在每一会话期间将此记录的延迟数据与实际延迟数据进行比较,以验证实际延迟的量匹配或在每一先前测试的预期延迟范围内。
在本文讨论的各种实施例中,启用了另一特征,其允许重复访问相机馈送而无需对认证应用的相机馈送访问请求的连续的用户交互同意,这将限制相机馈送访问请求循环的随机定时和随机数量的使用,因为欺诈者在每次相机馈送请求被接受时都将被警告,并且可以在接受每个相机馈送访问请求之前准备虚拟相机。作为上述方法的一部分,多次请求相机馈送或以不同变化的循环请求相机馈送,提出永久设置认证应用的相机馈送访问请求,以允许持续访问而无需附加的用户交互,例如点击屏幕按钮以手动允许用户访问。该设置可以在操作***设置、web浏览器软件或任何其他所需的软件中,以维持对认证应用进程的相机访问授权。在一个实施例中,机器可执行代码由处理器建立和执行,以确保准许认证应用继续的相机馈送访问,从而准许认证软件对相机进行重复的相机馈送访问循环的控制。
虽然已经描述了本发明的各种实施例,但是对于本领域普通技术人员来说显而易见的是,在本发明的范围内的更多实施例和实现方式是可能的。另外,本文描述的各种特征、元件和实施例可以以任何组合或布置来要求保护或组合。

Claims (20)

1.一种用于在认证会话期间检测视频馈送注入的方法,包括:
发起认证会话,所述认证会话利用来自用于在所述认证会话期间捕获用户的视频的计算设备的相机的视频馈送;
请求视频馈送;
监测所述视频馈送的接收;
接收所接收的视频馈送;
检测请求所述视频馈送与接收所接收的视频馈送之间的时间间隔;
将所述时间间隔与预期时间间隔进行比较;
如果所述时间间隔与预期时间间隔不匹配,则终止所述认证会话。
2.根据权利要求1所述的方法,其中,如果所述时间间隔与预期时间间隔不匹配,则将所述视频馈送指定为视频注入。
3.根据权利要求1所述的方法,其中,所述视频馈送是所述用户的面部的视频馈送。
4.根据权利要求1所述的方法,还包括:
在一时间段内终止对所述视频馈送的所述请求;
在所述时间段之后,重新请求所述视频馈送;
检测终止对所述视频馈送的所述请求与重新请求所述视频馈送之间的第二时间间隔;
将所述第二时间间隔与第二预期时间间隔进行比较;以及
如果所述第二时间间隔与所述第二预期时间间隔不匹配,则终止所述认证会话。
5.根据权利要求4所述的方法,还包括随机改变时间段。
6.根据权利要求1所述的方法,其中,所述计算设备是智能电话,并且对视频馈送的所述请求被发送到所述智能电话的所述操作***。
7.根据权利要求1所述的方法,其中,所述预期延迟是相机在激活时输出视频馈送所花费的时间量。
8.根据权利要求1所述的方法,其中,执行以下步骤两次或更多次:
请求视频馈送;
监测所述视频馈送的接收;
接收所接收的视频馈送;
检测请求所述视频馈送与接收所接收的视频馈送之间的时间间隔;
将所述时间间隔与预期时间间隔进行比较;
如果所述时间间隔与预期时间间隔不匹配,则终止所述认证会话。
9.一种用于检测视频注入而不是从物理相机输出的实际视频的方法,包括:
利用第一请求来请求来自物理相机的视频馈送;
接收响应于所述第一请求的所接收的视频馈送;
在一时间段内终止对视频馈送的所述请求;
在所述时间段之后,利用第二请求来请求来自所述物理相机的视频馈送;
接收第二接收的视频馈送;
确定终止对所述视频馈送的所述请求与接收所述第二接收的视频馈送之间的时间间隔;
将所述时间间隔与预期时间间隔进行比较,所述预期时间间隔包括预期相机延迟和对视频馈送的请求被终止的时间段;
响应于所述比较确定所述时间间隔不同于所述预期时间间隔,发送视频注入检测的通知。
10.根据权利要求9所述的方法,其中,所述时间量包括随机时间量。
11.根据权利要求9所述的方法,其中,所述第一请求被发送到操作***或浏览器。
12.根据权利要求11所述的方法,其中,所述预期相机延迟是所述物理相机在接收到对视频馈送的所述请求时输出视频馈送所花费的时间量。
13.根据权利要求9所述的方法,还包括:
在一时间段内接收响应于所述第一请求的所述视频馈送;
确定在终止所述视频馈送之前接收所述视频馈送的时间段;
将接收所述视频馈送的所述时间段与所述物理相机开启的时间段进行比较;
响应于接收所述视频馈送的所述时间段与所述相机开启的所述时间段不同,发送视频注入检测的通知。
14.根据权利要求9所述的方法,还包括重复权利要求1的步骤随机次数。
15.一种用于在认证会话期间检测视频注入的***,包括:
计算设备,所述计算设备具有相机、屏幕、处理器和存储器,所述存储器配置有可由所述处理器执行的非暂时性机器可读代码,所述机器可读代码被配置为:
利用第一请求从物理相机请求视频馈送;
接收响应于所述第一请求的所述视频馈送;
检测请求所述视频馈送与接收所述视频馈送之间的所述时间间隔;
将所述时间间隔与表示相机激活时间的预期时间间隔进行比较;
如果所述时间间隔在所述预期时间间隔之外,则停止所述认证会话;
重复请求、接收、检测和比较随机次数的步骤。
16.根据权利要求15所述的***,其中,所述机器可读代码还被配置为在一时间量内终止对所述视频馈送的接收,并将所述时间量添加到所述预期时间间隔以创建第二预期时间间隔;
将所述时间间隔与所述第二预期时间间隔进行比较;以及
如果所述时间间隔在所述第二预期时间间隔之外,则停止所述认证会话。
17.根据权利要求16所述的***,其中,所述时间量是随每个认证会话改变的随机时间量。
18.根据权利要求15所述的***,其中,所述相机激活时间是所述物理相机在接收到对视频馈送的所述请求时输出视频馈送所花费的时间量。
19.根据权利要求15所述的***,其中,所述机器可读代码还被配置为:
在一时间段内接收响应于所述第一请求的所述视频馈送;
确定在关闭所述相机之前接收所述视频馈送的时间段;
将接收所述视频馈送的所述时间段与请求所述视频馈送的时间段进行比较;
响应于接收所述视频馈送的所述时间段与请求所述视频馈送的所述时间段不同,发送视频注入检测的通知。
20.根据权利要求15所述的***,其中,所述机器可读代码还被配置为响应于所述时间间隔与所述预期时间间隔不同而增加请求、接收、检测和比较的步骤发生的次数,而不是终止所述认证会话。
CN202280074224.XA 2021-09-07 2022-09-07 具有监测和/或控制的相机循环的面部识别和/或认证*** Pending CN118202347A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163241511P 2021-09-07 2021-09-07
US63/241,511 2021-09-07
PCT/US2022/042806 WO2023039003A1 (en) 2021-09-07 2022-09-07 Facial recognition and/or authentication system with monitored and/or controlled camera cycling

Publications (1)

Publication Number Publication Date
CN118202347A true CN118202347A (zh) 2024-06-14

Family

ID=85385796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280074224.XA Pending CN118202347A (zh) 2021-09-07 2022-09-07 具有监测和/或控制的相机循环的面部识别和/或认证***

Country Status (7)

Country Link
US (1) US20230073410A1 (zh)
EP (1) EP4399626A1 (zh)
KR (1) KR20240110558A (zh)
CN (1) CN118202347A (zh)
AU (1) AU2022343101A1 (zh)
CA (1) CA3230929A1 (zh)
WO (1) WO2023039003A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9081947B2 (en) * 2011-12-27 2015-07-14 Intel Corporation Turing test based user authentication and user presence verification system, device, and method
US9202105B1 (en) * 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
US9405967B2 (en) * 2014-09-03 2016-08-02 Samet Privacy Llc Image processing apparatus for facial recognition
US9396537B2 (en) * 2014-09-09 2016-07-19 EyeVerify, Inc. Systems and methods for liveness analysis
KR102495796B1 (ko) * 2018-02-23 2023-02-06 삼성전자주식회사 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치

Also Published As

Publication number Publication date
WO2023039003A1 (en) 2023-03-16
US20230073410A1 (en) 2023-03-09
WO2023039003A8 (en) 2024-05-02
AU2022343101A1 (en) 2024-04-04
EP4399626A1 (en) 2024-07-17
KR20240110558A (ko) 2024-07-15
CA3230929A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
US11874910B2 (en) Facial recognition authentication system including path parameters
KR102441716B1 (ko) 경로 파라미터들을 포함하는 안면 인식 인증 시스템
US11991173B2 (en) Method and apparatus for creation and use of digital identification
US20230073410A1 (en) Facial recognition and/or authentication system with monitored and/or controlled camera cycling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination