CN111868736B - 带有倾斜接收光学元件的显示模块下的指纹传感器 - Google Patents

带有倾斜接收光学元件的显示模块下的指纹传感器 Download PDF

Info

Publication number
CN111868736B
CN111868736B CN201980006406.1A CN201980006406A CN111868736B CN 111868736 B CN111868736 B CN 111868736B CN 201980006406 A CN201980006406 A CN 201980006406A CN 111868736 B CN111868736 B CN 111868736B
Authority
CN
China
Prior art keywords
light
leds
pixels
frame
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980006406.1A
Other languages
English (en)
Other versions
CN111868736A (zh
Inventor
何毅
皮波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/427,269 external-priority patent/US11210491B2/en
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Publication of CN111868736A publication Critical patent/CN111868736A/zh
Application granted granted Critical
Publication of CN111868736B publication Critical patent/CN111868736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/15Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components having potential barriers, specially adapted for light emission
    • H01L27/153Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components having potential barriers, specially adapted for light emission in a repetitive configuration, e.g. LED bars
    • H01L27/156Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components having potential barriers, specially adapted for light emission in a repetitive configuration, e.g. LED bars two-dimensional arrays
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Inorganic Chemistry (AREA)
  • Sustainable Development (AREA)
  • Image Input (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

光学指纹感应模块被配置为布置在包括LED阵列的显示屏下方。光学指纹感应模块包括:光耦合器(5023),其布置在显示屏的下方;光准直器阵列(5017),其耦合至所述光耦合器(5023);光电检测器阵列;电子电路,其耦合至所述光电检测器阵列;以及处理器。所述处理器被配置为使所述电子电路捕获第一帧,同时开启所述显示屏中的第一多个LED并关闭第二多个LED,并使所述电子电路捕获第二帧,同时关闭所述第一多个LED并开启所述第二多个LED。所述处理器还被配置为通过结合所述第一帧和所述第二帧来构造第一指纹图像和第二指纹图像。

Description

带有倾斜接收光学元件的显示模块下的指纹传感器
技术领域
该专利文献涉及电子设备或***以及更大的***中的指纹感应,所述电子设备或***包括便携式设备,例如移动设备或可穿戴设备。
背景技术
各种传感器可以在电子设备或***中实现,以提供某些所需的功能。越来越需要确保对计算机以及计算机控制的设备或***的访问,在计算机和计算机控制的设备或***中,仅识别授权用户并将其与非授权用户区分开。
例如,移动电话、数码相机、平板电脑、笔记本电脑和其他便携式电子设备在个人、商业和政府部门的使用中越来越受欢迎。供个人使用的便携式电子设备可配备一种或多种安全机制,以保护用户的隐私。
再举一个示例,可以确保组织或企业的计算机或计算机控制的设备或***,这样,仅允许授权人员访问以保护组织或企业的设备或***的信息或使用。
存储在便携式设备和计算机控制的数据库、设备或***中的信息可能具有某些应加以确保的特征。例如,存储的信息可能是个人性质的,如个人联系人或电话簿、个人照片、个人健康信息或其他个人信息,或组织或企业专有使用的机密信息,如企业财务信息、员工资料、商业秘密和其他专有信息。如果对电子设备或***的访问的安全性受到威胁,则未经授权以获得访问的其他人可能会访问这些数据,造成个人隐私的丧失或者有价值的保密信息的丧失。除了信息安全之外,确保对计算机和计算机控制的设备或***的访问也允许保护由计算机或计算机处理器控制的设备或***的使用,例如计算机控制的汽车和其他***,如ATM。
可以通过不同方式(例如使用用户密码)来实现对例如移动设备或***(例如电子数据库和计算机控制的***)之类的设备的安全访问。然而,密码可能很容易被传播或获得,而密码的这种性质会降低安全级别。此外,用户需要记住密码才能使用有密码保护的电子设备或***,如果用户忘记了密码,则该用户需要执行特定的密码恢复过程来获得身份验证或以其他方式重新获得对设备的访问。不幸的是,在不同的情况下,这样的密码恢复过程可能会给用户带来负担,并具有各种实际的限制和不便。
可以利用个人指纹识别来实现用户身份认证,以增强数据安全性,同时减轻与密码相关联的某些不希望的影响。
电子设备或***,包括便携式或移动计算设备,可能采用用户身份验证机制来保护个人或其他机密数据,并防止未经授权的访问。在电子设备或***上的用户身份验证可以通过一种或多种形式的生物标识符来进行,该用户身份验证可以单独使用,也可以作为常规密码验证方法的补充。生物标识符的一种形式是人的指纹图案。作为认证过程的一部分,指纹传感器可以内置到电子设备或***中来读取用户的指纹图案,这样,设备或***只能由授权用户通过认证授权用户的指纹图案来解锁。
发明内容
根据一些实施例,光学指纹感应模块被设置在显示屏下方。所述显示屏包括盖板玻璃和设置在所述盖板玻璃下的发光二极管(LED)阵列。光学指纹感应模块包括设置在显示屏指纹感应部分下方的光耦合器和设置在光耦合器下方的光准直器阵列。每个光准直器阵列的光轴相对于显示屏的法线形成倾斜角度。倾斜角大于0度,小于90度。光学指纹感应模块还包括与光准直器阵列耦合的光电检测器器阵列。所述光电检测器阵列包括像素阵列。每个像素被配置为检测通过所述光准直器阵列中的一个或多个相应的光准直器透射的光。光学指纹感应模块还包括:电子电路,其耦合到光电检测器阵列用于捕获由光电检测器阵列检测到的光强度形成的指纹帧;以及处理器,其耦合到电子电路和LED阵列。为了响应用于检测放置在显示屏的指纹感应部分附近的手指指纹的触发器,处理器被配置用来控制LED阵列,以便在第一帧中,在显示屏的指纹感应部分中的第一多个LED被开启,指纹感应部分中的第二多个LED被关闭,并且在第二帧中,第一多个LED被关闭,同时第二多个LED被开启。处理器还被配置为使电子电路捕获第一帧和第二帧。第一帧包括第一多个像素和第二多个像素,其中所述第一多个像素包括由所述第一多个LED发出并从盖板玻璃的顶面反射出的光。第二帧包括第一多个像素和第二多个像素,其中所述第二多个像素包括由所述第二多个LED发出并从盖板玻璃的顶面反射出的光。处理器还被配置为通过结合第一帧和第二帧来构造第一指纹图像和第二指纹图像。第一指纹图像包括第一帧中的第一多个像素和第二帧中的第二多个像素。第二指纹图像包括第一帧中的第二多个像素和第二帧中的第一多个像素。
根据一些实施例,一种使用设置在显示屏下方的光学指纹感应模块的指纹感应的方法。所述显示屏包括盖板玻璃和设置在所述盖板玻璃下方的LED阵列。所述方法包括提供光学指纹感应模块。光学指纹感应模块包括设置在显示屏的指纹感应部分下方的光耦合器和设置在光耦合器下方的光准直器阵列。每个光准直器阵列的光轴相对于显示屏的法线形成倾斜角度。倾斜角大于0度,小于90度。光学指纹感应模块还包括与光准直器阵列耦合的光电检测器器阵列,所述光电检测器阵列包括像素阵列。每个像素被配置为检测通过所述光准直器阵列中的一个或多个相应的光准直器透射的光。所述光学指纹感应模块还包括电子电路,其耦合到所述光电检测器阵列,用于捕获由所述光电检测器阵列检测到的光强度所形成的指纹帧。所述方法还包括使用所述光电检测器阵列和所述电子电路捕获第一帧,同时在所述显示屏的所述指纹感应部分中开启第一多个LED并关闭第二多个LED。所述第一帧包括第一多个像素和第二多个像素,其中,所述第一多个像素包括由所述第一多个LED发出并从所述盖板玻璃的顶面反射出的光。所述方法还包括使用光电检测器阵列和电子电路捕获第二帧,同时关闭所述第一多个LED并开启所述第二多个LED。所述第二帧包括所述第一多个像素和所述第二多个像素,其中,所述第二多个像素包括由所述第二多个LED发出并从所述盖板玻璃的所述顶面反射出的光。所述方法还包括通过结合所述第一帧和所述第二帧来构造第一指纹图像和第二指纹图像。所述第一指纹图像包括所述第一帧中的所述第一多个像素和所述第二帧中的所述第二多个像素。所述第二指纹图像包括所述第一帧中的所述第二多个像素和所述第二帧中的所述第一多个像素。
附图说明
图1示出了根据一些实施例的具有指纹感应模块的***示例的框图,该指纹感应模块可以被实现为包括光学指纹传感器。
图2A和图2B示出了根据一些实施例的电子设备的一个示例实现方式,所述电子设备具有触摸感应显示屏组件和位于触摸感应显示屏组件下方的光学指纹传感器模块。
图2C和图2D示出了根据一些实施例的实现图2A和图2B所示的光学指纹传感器模块的设备的示例。
图3示出了根据一些实施例的适于实现光学指纹感应模块的OLED显示器和触摸感应组件的一个示例。
图4A和图4B示出了根据一些实施例的位于显示屏组件下方的用于实现图2A和图2B中所示设计的光学指纹传感器模块的一种实现方式的示例。
图5A和图5B示出了根据一些实施例,在两种不同的光学条件下,从顶部感应表面上的感应区的返回的光的信号的生成,以促进对屏下方光学指纹传感器模块的操作的理解。
图6A至图6B、图7和图8A至图8C示出了根据一些实施例的用于光学指纹感应的光准直器设计,适于实现屏下的光学指纹传感器模块。
图9、图10A、图10B、图11A和图11B示出了根据一些实施例的使用屏下光学指纹传感器模块进行指纹感应的各种设计的示例,该模块具有光准直器或针孔阵列,用于将携带指纹信息的信号光导向光学指纹传感器阵列。
图12示出了根据一些实施例的具有倾斜的光准直器的示例性光学指纹感应模块的截面图。
图13A至图13C示出了根据一些实施例的使用具有倾斜的光准直器的光学指纹感应模块进行指纹感应的方法。
图14A至图14B示出了根据一些实施例的使用具有倾斜的光准直器的光学指纹感应模块进行指纹感应的方法。
图15A和图15B示出了根据一些实施例的位于显示屏下方的光学指纹感应模块。
图16示出了根据一些实施例的使用设置在显示屏下方的光学指纹感应模块进行指纹感应的示例性方法1600的流程图。
图17和图18示出了根据一些实施例的具有光准直器的屏下光学指纹传感器模块的示例。
图19示出了根据一些实施例的光准直器阵列的示例,该光准直器阵列通过光学滤光来减少到达屏下光学指纹传感器模块中的光电检测器阵列的背景光。
图20A、图20B、图21和图22示出了根据一些实施例的用于OLED显示屏下方的光学感应的光准直器设计的示例。
图23、图24和图25示出了根据一些实施例的在设计光学指纹传感器模块时基于针孔相机效应的改进的光学成像分辨率。
图26A和图26B示出了根据一些实施例的在具有光偏转或衍射装置或层的OLED显示器面板下的光学指纹传感器的示例。
具体实现方式
电子设备或***可以配备指纹认证机制,以提高访问设备的安全性。这样的电子设备或***可以包括便携式或移动计算设备(例如,智能手机、平板电脑、腕戴式设备和其他可穿戴或便携式设备)、较大的电子设备或***(例如便携式或台式计算机、ATM、各种电子***的各种终端、商业或政府用途的数据库或信息***、机动运输***,包括汽车、轮船、火车、飞机等)。
指纹感应在移动应用程序和其他使用或需要安全访问的应用程序中非常有用。例如,指纹感应可用于提供安全访问移动设备和安全金融交易(包括在线购买在内)。期望包括适合于移动设备和其他应用的鲁棒且可靠的指纹感应。在移动设备、便携式设备或可穿戴设备中,考虑到这些设备空间有限,期望指纹传感器减少或消除指纹检测的足迹。特别是考虑到对给定设备上最大显示区域的需求。
用于显示图像的显示屏所产生的光可以通过显示屏的顶面,以便用户查看。手指可以接触到顶面,因此与顶面的光相互作用,使在触摸表面区域反射或散射的光携带手指的空间图像信息并返回到顶面下方的显示面板。在触摸感应显示设备中,顶面是与用户的触摸感应界面。并且用于显示图像的光与用户手指或手之间的这种交互不断发生,但是这种返回到显示面板的携带信息的光在很大程度上被浪费掉了,而且并没有在大多数触摸感应设备中使用。在具有触摸感应显示器和指纹感应功能的各种移动或便携式设备中,指纹传感器往往是一个与显示屏分开的单独的设备,要么与显示屏设置在同一表面上,位于显示屏区域之外,例如颇受欢迎的苹果iphone和最近推出的三星Galaxy智能手机,或者放在智能手机的背面,例如华为、联想、小米或谷歌的智能手机的一些新机型,以避免占用宝贵的空间,以便在正面放置大显示屏。这些指纹传感器是与显示屏分开的,因此需要紧凑布置,以节省用于显示和其他功能的空间,同时仍然提供可靠的、快速的指纹感应,且其空间图像分辨率高于一定的可接受水平。然而,在许多指纹传感器中,紧凑和小的需求和在捕获指纹图案时提供高空间图像分辨率的需求是相互冲突的,因为基于各种合适的指纹感应技术(例如,电容式触摸感应或光学成像)在捕获指纹图案时的高空间图像分辨率要求具有大量感应像素的大传感器区域。
本文公开的光学指纹传感器技术使用从用于指纹感应和其他感应操作的设备显示组件顶面返回的用于在显示屏上显示图像的光。所返回的光携带与顶面(如手指)接触的物体的信息,捕获和检测该返回的光是实现位于显示屏下方的特定光学指纹传感器模块的设计考虑的一部分。因为触摸屏组件的顶面用作指纹感应区域,该触摸区域的光学图像应由光学指纹传感器模块内的光学成像传感器阵列捕获,该阵列对原始指纹具有高图像保真度,用于鲁棒指纹感应。光学指纹传感器模块可以通过适当地配置光学元件来捕获和检测所返回的光,从而实现所需的光学成像。
所公开的技术可以被实现以提供设备、***和技术,这些设备、***和技术可执行人类指纹的光学感应和身份验证,以便验证对锁定的计算机控制的设备(如配备了指纹检测模块的移动设备或计算机控制的***)的访问尝试。所公开的技术可用于安全访问各种电子设备和***,包括便携式或移动计算设备(例如笔记本电脑、平板电脑、智能手机和游戏设备)以及其他电子设备或***(例如电子数据库、汽车、银行ATM等)。
此处公开的光学指纹传感器技术可以被实现以检测用于在显示屏上显示图像的部分光,其中,显示屏的这部分光可以是散射光、反射光或一些杂散光。例如,在公开的用于OLED显示屏的、或用于具有发光显示像素(不使用背光)的另一个显示屏的光学指纹传感器技术的一些实现方式中,当遇到例如用户手指或手掌之类的物体或用户指针设备(如触控笔)时,在OLED显示屏顶面或附近的OLED显示屏产生的图像光可以作为返回的光反射或散射回OLED显示屏。利用所公开的光学指纹传感器技术,可以捕获这种返回的光,来执行一个或多个光学感应操作。由于用作光学感应的光来自OLED显示屏自身的OLED像素,基于所公开的光学指纹传感器技术的光学指纹传感器模块,在一些实现方式中可以专门设计集成到OLED显示屏上,设计方法是在不受干扰的情况下,维持OLED显示屏的显示操作和功能,同时提供光学感应操作和功能,以增强电子设备的整体功能、设备集成和用户体验,例如智能手机或其他移动/可穿戴设备或其他形式的电子设备或***。
例如,一种基于所公开的光学指纹传感器技术的光学指纹传感器模块可以与具有发光显示像素的显示屏耦合,而无需使用背光(例如,OLED显示屏)来感应人的指纹,方法是使用上述从OLED显示屏产生的光而返回的光。在操作中,与OLED显示屏直接接触或接近OLED显示屏的人的手指可以产生返回到OLED显示屏的返回的光,同时携带由OLED显示屏输出的光所照亮的部分手指的信息。这些信息可能包括,例如,手指被照亮部分的脊和谷的空间图形和位置。相应地,光学指纹传感器模块可以被集成,用于捕获至少一部分这样的返回的光,通过光学成像和光学检测操作来检测手指被照亮部分的脊和谷的空间图形和位置。然后,可以对检测到的手指的被照亮部分的脊和谷的空间图形和位置进行处理,以构建指纹图案并执行指纹识别,例如,与存储的授权用户指纹图案进行比较,以确定检测到的指纹是否匹配,这是用户身份验证和设备访问过程的一部分。通过使用所公开的光学指纹传感器技术,这种基于光学感应的指纹检测使用OLED显示屏作为光学感应平台,并且可以用来取代现有的电容指纹传感器或其他指纹传感器,这些传感器基本上是作为“附加”组件的独立传感器,而不使用来自显示器的光,也不使用手机、平板电脑和其他电子设备的显示屏进行指纹感应。
所公开的光学指纹传感器技术可以通过以下方式来实现,即通过在发出的光与手指触摸到的顶部触摸表面的区域相互作用后,使用用于执行指纹感应或其他光学感应功能的从OLED显示屏的显示像素发出的这种光来使用一个具有发光显示像素的显示屏(如OLED显示屏)作为光学感应平台。所公开的光学指纹传感器技术与OLED显示屏之间的这种密切关系为使用基于所公开的光学指纹传感器技术的光学指纹传感器模块提供了独特的机会,以提供(1)额外的光学感应功能,以及(2)与OLED显示屏的触摸感应方面有关的有用操作或控制特性。
值得注意的是,在一些实现方式中,基于所公开的光学指纹传感器技术的光学指纹传感器模块可以耦合到OLED显示屏的背面,而不需要在OLED显示屏的显示面侧上指定区域,该区域在一些电子设备(例如外部表面积有限的智能手机、平板电脑或可穿戴设备)中会占据宝贵的设备表面空间。这种光学指纹传感器模块可以放置在与显示屏区域垂直重叠的OLED显示屏下,从用户的角度来看,光学指纹传感器模块隐藏在显示屏区域的后面。另外,由于这种光学指纹传感器模块的光学感应是通过检测OLED显示屏发出的并从显示区域的顶面返回的光,因此所公开的光学指纹传感器模块不需要与显示屏区域分开的特殊感应端口或感应区域。因此,不同于其他设计中的指纹传感器,包括,例如,苹果的iPhone/iPad设备或三星Galaxy智能手机机型,其中,指纹传感器位于显示屏同一表面的特定指纹传感器区域或端口(如home按键),但位于显示屏区域外的指定非显示区域,基于所公开的光学指纹传感器技术的光学指纹传感器模块可以通过使用独特的光学感应设计将从手指返回的光路由到光学指纹传感器,通过提供适当的光学成像机制来实现高分辨率的光学成像感应,从而实现在OLED显示屏上的一个位置进行指纹感应。在这方面,所公开的光学指纹传感器技术可以实现为通过使用相同的顶部触摸感应表面来提供一个独特的屏上指纹感应配置,所述相同的顶部触摸感应表面显示图像并提供触摸感应操作,而不需要在显示屏区域外具有单独的指纹感应区域或端口。
对于指纹检测之外的附加光学感应功能,光学感应可用于其它参数的测量。例如,所公开的光学传感器技术可以测量一个人的手掌图案,只要在整个OLED显示屏上有大面积的触摸区域(相比之下,一些指定的指纹传感器,如苹果iPhone/iPad设备的home键上的指纹传感器,有一个相当小的指定的屏下指纹感应区域,其感应区域的大小有很大的限制,可能不适合感应大的图案)。
如前所述,一种基于所公开的光学指纹传感器技术的光学指纹传感器模块可以耦合到OLED显示屏的背面,而不需要在OLED显示屏的表面侧上创建指定区域,OLED显示屏将占据一些电子设备(例如智能手机、平板电脑或可穿戴设备)的宝贵的设备表面空间(realestate)。所公开技术的这方面可用于在设备设计和产品集成或制造方面提供某些优势或好处。
在一些实现方式中,基于所公开的光学指纹传感器技术的光学指纹传感器模块可以配置成为一个非侵入性模块,该模块可以很容易地集成到具有发光显示像素的显示屏(例如OLED显示屏)上,而不需要更改OLED显示屏的设计,从而提供所需的光学感应功能(如指纹感应)。在这方面,由于光学指纹传感器模块的性质,基于所公开的光学指纹传感器技术的光学指纹传感器模块可以独立于特定OLED显示屏设计的设计。这样的光学指纹传感器模块的光学感应是通过检测由OLED显示屏发出并从显示区域的顶面返回的光,所公开的光学指纹传感器模块作为屏下光学指纹传感器模块耦合至OLED显示屏的背面,用于接收来自显示区域的顶面的返回的光,因此不需要与显示屏区域分开的特殊感应端口或感应区域。因此,这种屏下的光学指纹传感器模块可以与OLED显示屏结合使用,以在OLED显示屏上提供光学指纹感应和其他传感器功能,而无须使用特别设计的OLED显示屏,其具有专门为提供这种光学感应而设计的硬件。所公开的光学指纹传感器技术的这一方面使智能手机、平板电脑或其他电子设备中的大量OLED显示屏具有所公开的光学指纹传感器技术的光学感应增强功能。
例如,现有的手机组装设计不像某些苹果iphone或三星Galaxy机型那样提供单独的指纹传感器,这样一种现有的手机组件设计可以在不改变触摸感应-显示屏组件的情况下,集成本文所公开的屏下的光学指纹传感器模块,以提高额外的屏上指纹感应功能。因为所公开的光学感应不需要单独的指定感应区域或端口,例如,某些苹果iphone或三星Galaxy手机在显示屏区域外有前置指纹传感器,或一些智能手机在背面有指定的后置指纹传感器,如华为、小米、谷歌或联想的一些机型,本文所公开的屏上指纹感应集成不需要对现有的手机组件设计或同时具有触摸感应层和显示层的触摸感应显示模块进行实质性的改变。基于本文所公开的光学感应技术,设备外部不需要外部感应端口和外部硬件按键用于添加所公开的用于指纹感应的光学指纹传感器模块。所添加的光学指纹传感器模块和相关电路位于电话机壳内部的显示屏下方,指纹感应可方便地在触摸屏的同一触摸感应表面上执行。
另一个示例,由于用于指纹感应的光学指纹传感器模块的上述性质,集成这种光学指纹传感器模块的智能手机可以通过改进设计、功能和集成机制进行更新,而不会影响OLED显示屏的设计或制造或对其造成负担,从而为设备制造和产品周期的改进/升级提供所需的灵活性,同时为使用OLED显示屏的智能手机、平板电脑或其他电子设备维持新版本的光学感应功能。具体而言,触摸感应层或OLED显示器层可以使用公开的屏下光学指纹传感器模块,在下一个产品版本中更新,而无需对指纹感应特性进行任何重大的硬件更改。此外,通过使用新版本的屏下光学指纹传感器模块,可以将通过此类光学指纹传感器模块改进的用于指纹感应或其他光学感应功能的屏上光学感应添加到新产品版本中,而无需对手机组装设计进行重大修改,包括增加额外的光学感应功能。
所公开的光学指纹传感器技术的上述特性及其他特性可实现为具有改进的指纹感应和其他感应功能的新一代电子设备,尤其是对于具有显示屏的智能手机、平板电脑和其他电子设备,该显示屏具有发光显示像素(不使用背光),例如OLED显示屏,以提供各种触摸感应操作和功能,并增强此类设备的用户体验。
在所公开的技术特征的实现方式中,可提供附加的感应功能或感应模块,如生物医学传感器,如可穿戴设备(如腕带设备或手表)中的心跳传感器。一般来说,可以在电子设备或***中提供不同的传感器以实现不同的感应操作和功能。
图1示出了具有指纹感应模块180的***180示例的框图,该指纹感应模块180包括指纹传感器181,该指纹传感器181可以被实施为包括光学指纹传感器,该光学指纹传感器基于如本文中所公开的指纹的光学感应。***180包括指纹传感器控制电路184和数字处理器186,数字处理器186可以包括一个或多个处理器,用于处理指纹图案并确定所输入的指纹图案是否属于授权用户中的一个用户。指纹感应***180使用指纹传感器181获取指纹,并将获取的指纹与存储的指纹进行比较,以启用或禁用由指纹感应***180保护的设备或***188中的功能。在操作中,设备188的访问由指纹处理处理器186根据捕获的用户指纹是否来自授权用户来控制。如图所示,指纹传感器181可以包括多个指纹传感器像素,如像素182A-182E,这些像素共同表示指纹的至少一部分。例如,指纹感应***180可以作为***188在ATM处实现,以确定请求访问资金或其他交易的客户的指纹。基于从指纹传感器181获得的客户指纹与一个或多个存储的指纹的比较,指纹感应***180经肯定识别后,可使ATM***188准许所请求的对用户帐户的访问,或经否定识别后,可拒绝访问。另一个示例,设备或***188可以是智能手机或便携设备,指纹感应***180是集成到设备188的模块。再一个示例,设备或***188可以是设施或家庭的大门或安全入口,所述设施或家庭使用指纹传感器181准许或拒绝访问。又例如,该设备或***188可以是一辆汽车或其他车辆,它使用指纹传感器181连接到发动机的启动,并识别一个人是否被授权操作汽车或车辆。
作为一个特定的示例,图2A和图2B示出了电子设备200的一个示例实现方式,所述电子设备200具有触摸感应显示屏组件和位于触摸感应显示屏组件下方的光学指纹传感器模块。在该特定示例中,该显示技术可以通过OLED显示屏或具有发光显示像素的另一显示屏实现,而无需使用背光。电子设备200可以是便携式设备(例如智能电话或平板电脑),并且可以是如图1所示的设备188。
图2A示出了设备200的正面,其可能类似于一些现有智能手机或平板电脑的一些特征。设备屏幕位于设备200的正面,占据正面空间的全部、大部分或重要部分。在设备屏幕上提供指纹感应功能,例如,在设备屏幕上接收手指的一个或多个感应区域。作为一个示例,图2A示出了设备屏幕中用于手指触摸的指纹感应区域,该指纹感应区域可以被照亮为明显可识别区或区域,用于用户放置用于指纹感应的手指。这样的指纹感应区可以用作像设备屏幕的其余部分一样用于显示图像。如图所示,在各种实现方式中,设备200的设备外壳可以具有侧面,这些侧面支持在当今市场上的各种智能手机中常见的侧面控制按键。而且,一个或多个可选传感器可以设置在设备屏幕外的设备200的正面,如图2A中设备外壳的左上角的一个示例所示。
图2B示出了与本文中公开的光学指纹感应有关的设备200中的模块的结构构造的示例。图2B中所示的设备屏幕组件包括,例如,顶部有触摸感应层的触摸感应屏幕模块,以及位于触摸感应屏幕模块下方的具有显示层的显示屏模块。光学指纹传感器模块与显示屏组件模块耦合并位于其下方,以接收和捕获从触摸屏模块的顶面返回的光,并将返回的光引导并成像到光学感应像素或光电检测器的光学指纹传感器阵列上,这些传感器阵列将返回的光中的光学图像转换为像素信号进行进一步处理。光学指纹传感器模块下方是设备电子结构,该设备电子结构包括用于设备200中的光学指纹传感器模块和其他部件的某些电子电路。所述设备电子可设置在所述设备外壳内,并且可包括位于所述光学指纹传感器模块下的部件,如图2B所示。
在实现方式中,设备屏幕组件的顶面可以是光学透明层的表面,用作用户触摸感应表面,以提供多种功能,例如(1)显示输出表面,携带显示图像的光通过该输出表面到达观看者的眼睛;(2)触摸感应界面,以通过触摸感应屏模块接收用户的触摸,进行触摸感应操作;以及(3)光学界面,其用于屏上的指纹感应(可能还用于一个或多个其他光学感应功能)。这种光学透明层可以是刚性层,如玻璃或晶体层或柔性层。
显示屏具有发光显示像素(不使用背光)的一个示例是一个OLED显示器,它具有一个独立的发射像素的阵列,以及一种薄膜晶体管(TFT)结构或基板,所述薄膜晶体管(TFT)结构或基板可以包括小孔阵列,并且可以是光学透明的,并且可以是用于保护OLED像素的覆盖基板。参照图2B,本示例中的光学指纹传感器模块置于OLED显示器面板下,用于捕获来自顶部触摸感应表面的返回的光,并在用户手指接触顶面的感应区域时获取指纹图案的高分辨率图像。在其他实现方式中,公开的用于指纹感应的屏下光学指纹传感器模块可以在没有触摸感应特性的设备上实现。此外,合适的显示面板可以在不同于OLED显示器的各种屏幕设计中。
图2C和图2D示出了实现图2A和图2B中的光学指纹传感器模块的设备的示例。图2C示出了包括屏下光学指纹传感器模块的设备的一部分的截面图。图2D示出了,在左边的,设备正面视图,其中的触摸感应显示器指示显示屏较下部分上的指纹感应区域;以及在右边的,位于设备显示屏组件下的包括光学指纹传感器模块的设备的部分的透视图。图2D还示出了具有电路元件的柔性带的布局的示例。
在图2A、图2B、图2C和图2D的设计示例中,光学指纹传感器的设计不同于其他一些采用与显示屏分离的指纹传感器结构的指纹传感器的设计,所述显示屏与移动设备表面上的指纹传感器(例如,在一些手机设计中,顶部玻璃盖开口处的按键状结构)之间存在物理分界。在此处图示的设计中,用于检测指纹感应和其他光学信号的光学指纹传感器位于顶盖板玻璃或层下方(如图2C),从而所述盖板玻璃的顶面作为所述移动设备的顶面,作为横跨所述显示屏层和所述光学检测器传感器的连续且均匀的玻璃面,所述显示屏层和所述光学检测器传感器垂直堆积且垂直重叠。这种将光学指纹感应与触敏显示屏集成在一个通用且均匀的表面下的设计提供以下优点,包括改进的设备集成度、增强的设备封装、增强的设备对外部元件、故障和磨损的抵抗力,以及在设备的整个使用过程中增强的用户体验。
在图2A、图2B、图2C和图2D中,各种OLED显示器设计和触摸感应设计可用于光学指纹传感器模块上方的设备屏幕组件。图3示出了OLED显示器和触摸感应组件的一个示例,即于2015年11月19日公开的、公开号为US2015/0331508A1、专利申请名为“集成的硅-OLED显示器和触摸传感器面板”的苹果公司的一项美国专利申请的图7B,其作为本专利文件的公开内容的一部分通过引用并入。OLED可以实现多种类型或配置,包括但不限于无源-基体OLED(PMOLED)、有源-基体OLED(AMOLED)、透明OLED、阴极-普通OLED、阳极-普通OLED、白色OLED(WOLED)和RGB-OLED。不同类型的OLED可能具有不同的用途、配置和优点。在一个集成了硅OLED显示器和触摸传感器面板的***示例中,该***可以包括硅基板、晶体管阵列、一个或多个金属化层、一个或多个通孔、OLED堆栈、滤色器、触摸屏传感器,以及其他组件和电路。其他元件和电路可以包括静电放电设备、遮光罩、开关矩阵、一个或多个光电二极管、近红外检测器和近红外滤色器。集成的硅OLED显示器和触摸传感器面板可以进一步配置为近场成像、光学辅助触摸和指纹检测。在一些示例中,可以将多个触摸传感器和/或显示像素分组到集群中,并且可以将集群耦合到切换矩阵中,以动态更改触摸和/或显示粒度。在图3和其他实现方式的OLED示例中,触摸传感器和触摸感应电路可以包括例如触摸信号线,如驱动线和感应线、接地区域以及其他电路。减少集成触摸屏尺寸的一种方法是包括多功能电路元件,这些元件可以形成显示电路的一部分,被设计作为显示***的电路,在显示器上生成图像。多功能电路元件还可以形成触摸感应***的触摸感应电路的一部分,该触摸感应***可以感应显示器上或附近的一个或多个触摸。多功能电路元件可以是例如LCD的显示像素中的电容器,它可以配置为用作显示***中的显示电路的存储电容器/电极、公共电极、导线/路径等,并且还可以配置为用作触摸感应电路的电路元件。图3中的OLED显示器示例可以实现为OLED显示器包括多点触摸功能,而不需要单独的多点触摸面板或覆盖OLED显示器的单独层。OLED显示器、显示器电路、触摸传感器和触摸电路可以在硅基板上形成。通过在硅基板上装配集成的OLED显示器和触摸传感器面板,可以实现极高的每英寸像素(PPI)。与图3不同的OLED和触摸感应结构的其他布置也是可能的。例如,触摸感应层可以是位于OLED显示器组件顶部的一个组件。
参照图2A和图2B,所示的用于屏上指纹感应的屏下光学指纹传感器模块可以以多种配置来实现。
在一种实现方式中,基于上述设计的设备可以被构造为包括提供触摸感应操作的设备屏幕,并包括显示面板结构,该显示面板结构具有发光显示像素,每个发光像素可操作以发出光,从而形成显示图像;在设备屏幕上形成的顶部透明层,作为用户触摸的界面,用于触摸感应操作,并从显示结构传输光以将图像显示给用户;以及位于显示面板结构下方的光学指纹传感器模块,以接收由显示结构的至少一部分发光显示像素发出并从顶部透明层返回的光,以检测指纹。
该设备可以进一步配置各种特性。
例如,可以在设备中包括设备电子控制模块,以便在检测到的指纹与授权用户的指纹匹配时,授予用户对设备的访问权。此外,所述光学指纹传感器模块除了检测指纹外,还被配置为通过光学感应来检测与指纹不同的生物特征参数,以指示与检测到的指纹相关的顶部透明层上的触摸是否来自活人,并且设备电子控制模块被配置为在以下两种情况下授予用户对设备的访问权限:(1)如果检测到的指纹与授权用户的指纹匹配,并且(2)如果检测到的生物特征参数指示检测到的指纹来自活人。生物参数可以包括例如手指是否包括人的血流或心跳。
例如,该设备可以包括耦合到显示面板结构的设备电子控制模块,以向发光显示像素供电并通过该显示面板结构控制图像显示,并且,在指纹感应操作中,设备电子控制模块的作用是在一帧中关闭发光显示像素,且在下一帧中开启发光显示像素,使得光学指纹传感器阵列捕获两个有和没有发光显示像素照亮的指纹图像以降低指纹感应的背景亮度。
另一个示例,设备电子控制模块可以耦合至显示面板结构,以向发光显示像素供电,并在睡眠模式下关闭发光显示像素的电源,当光学指纹传感器模块在顶部透明层的指定指纹感应区域检测到人的皮肤的存在时,设备电子控制模块可配置为将显示面板结构从睡眠模式中唤醒。更具体地,在一些实现方式中,当显示面板结构处于睡眠模式时,设备电子控制模块可配置为操作一个或多个选定的发光显示像素间歇发光,同时关闭对其他发光显示像素的电源,以将间断发射的光引导至顶部透明层的指定指纹感应区域,用于监测人的皮肤是否与指定的指纹感应区域接触,以便将设备从睡眠模式中唤醒。此外,显示面板结构可设计为除发光显示像素外还包括一个或多个LED灯,并且当显示面板结构处于睡眠模式时,所述设备电子控制模块可配置为操作一个或多个LED灯间歇发光,同时关闭发光显示像素的电源,以将间断发射的光引导至顶部透明层的指定指纹感应区域,用于监测人的皮肤是否与指定的指纹感应区域接触,以便将设备从睡眠模式中唤醒。
另一示例,该设备可以包括与光学指纹传感器模块耦合的设备电子控制模块,以接收从感应手指触摸获得的多个检测到的指纹的信息,并且该设备电子控制模块用于测量多个检测到的指纹的变化,并确定导致所测量的变化的触摸力。例如,变化可能包括由于触摸力导致的指纹图像的变化、由于触摸力导致的触摸区域的变化或指纹脊线间距的变化。
另一示例,顶部的透明层可以包括一个指定的指纹感应区域,供用户用手指触摸以进行指纹感应,并且显示面板结构下的光学指纹传感器模块可以包括与显示面板基板接触的透明块,以接收从显示面板结构发出并从顶部透明层返回的光,接收光的光学指纹传感器阵列,以及光学成像模块,所述光学成像模块将透明块中接收的光成像到光学指纹传感器阵列上。光学指纹传感器模块可以相对于指定的指纹感应区域进行定位,并且可以结构化,以当与人的皮肤接触时,通过在顶部透明层的顶面的全内反射选择性地接收返回的光,而在没有与人的皮肤接触的情况下,不接收来自指定的指纹感应区域的返回的光。
又一示例,所述光学指纹传感器模块可构造为包括:光楔,其位于显示面板结构下方,以修改显示面板结构底面上的全反射条件,该显示面板结构与光楔相连接,以允许通过底面将光从显示面板结构中取出;光学指纹传感器阵列,其接收从显示面板结构中提取的来自光楔的光;光学成像模块,其位于光楔和光学指纹传感器阵列之间,以将来自所述光楔的光成像到所述光学指纹传感器阵列上。
下文提供了用于屏上指纹感应的屏下光学指纹传感器模块的具体示例。
图4A和图4B示出了显示屏下的光学指纹传感器模块的一个实现方式的示例,用于实现图2A和图2B中的设计。图4A至图4B中的设备包括一个具有顶部透明层431的显示组件423,其形成于设备屏幕组件423之上用作界面,用于被用户触摸以进行触摸感应操作,并用于传输来自显示器结构的光以将图像显示给用户。在一些实现方式中,该顶部透明层431可以是盖板玻璃或晶体材料。该设备屏幕组件423可包括顶部透明层431下的OLED显示器模块433。除其他外,OLED显示器模块433还包括OLED层,OLED层包括发出光以显示图像的OLED像素阵列。OLED层具有电极和布线结构,它们在光学上充当孔和光散射物体的阵列。OLED层中的孔阵列允许来自顶部透明层431的光通过OLED层传输到OLED层下的光学指纹传感器模块,并且OLED层引起的光散射影响了用于指纹感应的屏下光学指纹传感器模块的光学检测。在OLED显示器面板下可设置设备电路模块435,以控制设备的操作并执行用户操作设备的功能。
本特定实现方式示例中的光学指纹传感器模块置于OLED显示器模块433下。可以控制指纹照亮区域613中的OLED像素发光,以照亮设备屏幕区域内的顶部透明层431上的指纹感应区域615,用于用户将手指置于其中进行指纹识别。如图所示,将手指445置于发光的指纹感应区域615中,作为指纹感应的有效感应区域。由指纹照亮区域613中的OLED像素照亮的区域615中的一部分反射光或散射光被引导至OLED显示器模块433下方的光学指纹传感器模块中,并且,光学指纹传感器模块内的光电检测器感应阵列接收该光并捕获所接收的光携带的指纹图案信息。
在使用OLED显示器面板内的指纹照亮区域613中的OLED像素以提供照亮光以进行光学指纹感应的设计中,在指纹照亮区域613内的OLED像素可以被控制以一个相对较低的周期间歇性地开启,以减少用于光学感应操作的光功率。例如,当OLED面板中的其余OLED像素被关闭(例如,在睡眠模式中)时,指纹照亮区域613中的OLED像素可以被间歇性地开启以发出照亮光,用于光学感应操作,包括执行光学指纹感应和唤醒OLED面板。在一些实现方式中,指纹感应操作可以通过两步过程来实现:首先,以闪烁模式开启OLED显示器面板内的指纹照亮区域613中的一些OLED像素,而无需开启指纹照亮区域613中的其他OLED像素,以使用闪烁光来感应手指是否触摸了感应区域615,一旦检测到区域615的触摸,指纹照亮区域613中的OLED像素就会被开启,以激活光学感应模块进行指纹感应。而且,在激活光学感应模块以执行指纹感应时,指纹照亮区域613中的OLED像素可以在一个亮度级别下操作,以提高指纹感应的光学检测性能,例如,在一个比显示图像时的其亮度级别更高的亮度级别。
在图4B的示例中,屏下光学指纹传感器模块包括:透明块701,透明块701耦合到显示面板,以接收从设备组件顶面返回的光,该返回的光最初由指纹感应区域613中的OLED像素发出;光学成像块702,其执行光学成像和成像捕获。在到达盖板顶面(例如用户手指所接触的感应区域615处的盖板顶面)后,来自指纹照亮区域613的OLED像素的光从盖板顶面反射或散射回去。当感应区域615中的盖板顶面近距离接触指纹脊线时,由于手指的皮肤或组织在那个位置的接触,指纹脊线下的光反射与指纹谷下另一位置的光反射不同,那里没有手指的皮肤或组织。在盖板顶面上的触摸手指区域内的脊和谷的位置的光反射条件的这种差异形成了一种图像,它表示手指接触部分的脊和谷的图像或空间分布。反射光被引导回OLED像素,并在通过OLED显示器模块433的小孔后,到达与光学指纹传感器模块的低折射率光学透明块701的界面。所述低折射率光学透明块701被构造为具有小于所述OLED显示器面板折射率的折射率,从而可以将返回的光从OLED显示器面板中提取到光学透明块701中。一旦在光学透明块701内接收到返回的光,这样接收的光作为成像感应块702的一部分进入光学成像单元,并且被成像到块702内的光电检测器感应阵列或光学感应阵列上。指纹脊和谷之间的光反射差异形成了指纹图像的对比度。如图4B所示的是控制电路704(例如微控制器或MCU),它与成像感应块702和其它电路(例如主电路板上的设备主处理器705)耦合。
在此特定示例中,这样的光学光路设计,即光线进入在基板和空气界面之间的顶面上的总反射角内的盖板顶面,将被块702中的成像光学器件和成像传感器阵列最有效地收集起来。在这个设计中,指纹脊/谷区域的图像表现出最大的对比度。这样的成像***可能具有不希望出现的光学畸变,从而对指纹感应产生不利影响。因此,基于沿在光学指纹传感器阵列的返回的光的光路的光学畸变轮廓,可以在处理块702中的光学指纹传感器阵列的输出信号的过程中,在成像重建期间,通过畸变校正对所获得的图像进行进一步校正。通过在整个感应区域的X方向线和Y方向线上,一次扫描一个线像素的测试图像图案,在每个光电检测器像素处捕获的图像可以生成畸变校正系数。该校正过程还可以使用来自以下的图像,即每次调整一个单独的像素,以及扫描整个光电检测器阵列的图像区域。该校正系数只需在传感器的组装之后生成一次。
来自环境的背景光(例如太阳光或室内光)可以通过OLED面板顶面,通过OLED显示器组件433中的TFT基板孔进入图像传感器。这种背景光可以在手指的感兴趣的图像中创建背景基线,这是不可取的。可以使用不同的方法来降低此基线强度。一个示例是以特定频率F开启和关闭指纹照亮区域613中的OLED像素,图像传感器将像素驱动脉冲与图像传感器帧进行相位同步,从而相应获得相同频率的接收图像。在此操作下,只有一个图像相位具有从像素发出的光。通过减去偶数帧和奇数帧,可以获得主要由从调制后的OLED像素在指纹照亮区域613发出的光组成的图像。基于此设计,每个显示扫描帧都会生成一帧指纹信号。如果通过在一帧开启指纹照亮区域613中的OLED像素并在另一帧内将其关闭,减去两个连续的信号帧,可以将环境背景光的影响降至最低或基本消除。在实现方式中,指纹感应帧速率可以是显示帧速率的一半。
一部分来自于指纹照亮区域613中的OLED像素的光也可以穿过盖板顶面并进入手指组织。这部分光功率分散在各处,并且该散射光的一部分可能会通过OLED面板基板上的小孔,最终被光学指纹传感器模块中的成像传感器阵列收集。这种散射光的光强度取决于手指的皮肤颜色和手指组织中的血液浓度,由该散射光在手指上携带的信息对于指纹感应很有用,并且可以作为指纹感应操作的一部分进行检测。例如,通过整合用户手指图像区域的强度,可以观察到取决于用户心跳相位的血药浓度的增加/减少。此特征(signature)可用于确定用户的心跳速率,以确定用户的手指是否为活手指,或确定提供了具有伪造指纹图案的欺骗设备。
参考图3中的OLED显示器示例,OLED显示器通常具有不同颜色的像素,例如,相邻的红色、绿色和蓝色像素形成一种颜色的OLED像素。通过控制每个颜色像素内的像素的颜色,开启并记录相应的测量强度,可以确定用户的肤色。作为一个示例,当用户注册手指以进行指纹认证操作时,光学指纹传感器还可以测量手指在A、B颜色处的散射光强度,即强度Ia、Ib。当用户的手指被放在感应区域以测量指纹时,可以记录下Ia/Ib的比值,并与后续测量进行比较。这种方法可以帮助拒绝可能与用户肤色不匹配的欺骗设备。
在一些实现方式中,为了在OLED显示器面板未开启时使用上述光学指纹传感器模块提供指纹感应操作,一个或多个指定用于提供指纹感应照亮的额外LED光源703可以被放置在透明块701的一侧,如图4B所示。该指定的LED光703可由同一电子设备704(例如MCU)控制,用于控制块702中的图像传感器阵列。指定的LED光703可以以低占空比短时间地被脉冲,间歇发光,并且为图像感应提供脉冲光。可以操作图像传感器阵列,以相同的脉冲占空比监视从OLED面板覆盖基板反射出的光图案。如果有人用手指触摸屏幕上的感应区域615,在702块的成像感应阵列上捕获的图像可用于检测触摸事件。可操作连接到块702中的图像传感器阵列的控制电子或MCU,以确定该触摸是否是通过人的手指触摸。如果确认这是人的手指触摸事件,MCU 704可以***作以唤醒智能手机***、开启OLED显示器面板(或至少关闭指纹照亮区域613中的OLED像素以进行光学指纹感应)并使用普通模式获取完整的指纹图像。块702中的图像传感器阵列将获取到的指纹图像发送到智能手机主处理器705,操作该智能手机主处理器705,可以将捕获到的指纹图像与注册的指纹数据库进行匹配。如果匹配,智能手机将解锁手机并开始正常操作。如果捕获的图像不匹配,智能手机将向用户反馈身份验证失败。用户可重试,或输入密码。
在图4B的示例中,屏下光学指纹传感器模块使用光学透明块701和具有光电检测器感应阵列的成像感应块702,以将与显示屏顶面接触的触摸手指的指纹图案光学成像到光电检测器感应阵列上。从感应区615到块702中的光电检测器阵列的光学成像轴或检测轴625在图4B中示出。在光电检测器感应阵列之前,光学透明块701和成像感应块702的前端形成体成像模块(bulk imaging module),以实现光学指纹感应的适当成像。由于这种成像过程中的光学畸变,可以使用畸变校正,如上所述,以实现所需的成像操作。
在图4A至图4B中的屏下光学指纹传感器模块的光学感应和本文公开的其他设计中,从顶部透明层431上的感应区615到屏下光学指纹传感器模块的光学信号包括不同的光组件。图5A和图5B示出了在两种不同的光学条件下的从感应区615返回的光的信号生成,以便于理解屏下光学指纹传感器模块的操作。
图5A示出了在通过顶部透明层431透射之后,OLED显示器模块433的OLED发出的光如何产生不同的返回的光信号,其包括将指纹图案信息携带到屏下光学指纹传感器模块的光信号。示出了在两个不同位置处的两个OLED像素71和73发出OLED输出光束80和82,该输出光束被引导到顶部透明层431,而在顶部透明层431的界面处没有经历全反射。手指60与顶部透明层431上的感应区域615接触。如图所示,在通过顶部透明层431透射之后,OLED光束80到达与顶部透明层431接触的指脊,以在手指组织中产生光束183,以及另一束光束181返回到OLED显示器模块433。在通过顶部透明层431透射之后,OLED光束82到达位于顶部透明层431上方的指谷,以产生从与顶部透明层431的界面返回至OLED显示器模块433的反射的光束185,进入手指组织的第二光束189以及由指谷反射的第三光束187。
在图5A的示例中,假设在550nm处,手指皮肤的等效折射率约为1.44,而顶部透明层431的盖板玻璃折射率约为1.51。在这些假设下,在手指皮肤脊位置61处开启显示OLED像素71以产生光束80。指脊盖板玻璃界面将部分光束80作为反射光181反射到OLED显示器模块433下方的底层524。反射率很低,只有0.1%左右。大部分的光束80变成了透射到手指组织60中的光束183,导致光183的散射,以产生到OLED显示器模块433和底层524的返回的散射光191。来自OLED像素73的透射光束189在手指组织中的散射也有助于返回的散射光191
来自显示器OLED组73的光束82位于手指皮肤谷位置63,盖板玻璃表面将约3.5%的入射光82功率(光185)反射到底层524,指谷表面将约3.3%的入射光功率(光187)反射到底层524。总反射率约为6.8%。大部分的光189透射到手指组织60中。人体组织中的透射光189中的部分光功率被组织散射,有助于散射光191到达并进入底层524。
因此,来自各种界面的或来自触摸手指的指谷表面和指脊表面的光反射是不同的,并且,反射比差携带指纹图谱信息,其可以被测量来提取与顶部透明层431接触且被OLED光照亮的部分指纹图案。
图5B示出了在与顶部透明层431的界面处的全反射条件下,来自OLED显示器模块433的OLED发出的光如何产生不同的返回的光信号,其包括将指纹图案信息携带到屏下光学指纹传感器模块的光信号。假设盖板玻璃431和OLED显示器模块433粘在一起,中间没有任何空气间隙,这样,由OLED像素73发出的与盖板玻璃431成大入射角的OLED光束将在盖板玻璃空气界面完全反射。当显示OLED像素73开启时,可将发散光束分为三组:(1)中心光束82,其与盖板玻璃431成小入射角,而没有全反射,(2)高对比度光束201、202、211、212,当没有任何触摸到盖板玻璃表面时,其在盖板玻璃431完全反射,且当手指接触到盖板玻璃431时,其可以耦合到手指组织中,以及(3)逃逸光束,其具有非常大的入射角,在盖板玻璃431完全反射,甚至是在手指组织接触的位置。
对于中心光束82,盖板玻璃表面对光束185的反射约为0.1%至3.5%,所述光束185透射至底层524中,手指皮肤对光束187的反射约为0.1%至3.3%,所述光束187也透射至底层524中。反射差异取决于光束82是否与手指皮肤的脊61或谷63接触。其余的光束189被耦合到手指组织60中。
对于高对比度光束201和202,如果没有任何触摸到盖板玻璃表面,则盖板玻璃表面对光束205和光束206的反射率分别接近100%。当手指皮肤脊接触到盖板玻璃表面时,在光束201和202的位置,大部分光功率通过光束203和光束204耦合到手指组织60中。
对于高对比度光束211和212,如果没有任何触摸到盖板玻璃表面,则盖板玻璃表面对光束213和光束214的反射率分别接近100%。当手指接触到盖板玻璃表面,并且手指皮肤的谷恰好在光束211和光束212的位置时,没有光功率耦合到手指组织60。
与图5A中的情况类似,耦合到手指组织60的光束将经历被手指组织的随机散射,以形成低对比度的光191。
因此,在高对比度光束照亮的区域中,手指皮肤的脊和谷会引起不同的光学反射,并且反射差异图案携带指纹图案信息。可以通过比较该差异来实现高对比度指纹信号。
根据图2A和图2B的设计,所公开的屏下光学感应技术可以采用各种配置进行光学指纹捕获。
在本文公开的用于指纹感应的屏下光学指纹传感器模块技术的各种实现方式中,在屏下光学指纹传感器模块中的对手指被照亮的触摸部分进行的到光学指纹传感器阵列的光学成像可以通过在光学照亮下对来自手指触摸部分的返回的光进行成像来实现,而无需使用像镜头这样的成像模块。没有成像模块的光学指纹感应所面临的一个技术挑战是如何控制返回的光的扩散,所述返回的光可以在空间上扰乱来自光学指纹传感器阵列的手指触摸部分上不同位置的返回的光,这样,当这种返回的光到达光学指纹传感器阵列时,可能会丢失不同位置的空间信息。这一挑战可以通过使用光准直器或针孔阵列来替代屏下光学指纹传感器模块中的光学成像模块从而通过光学感应来检测指纹来解决。用于实现这种光学指纹发送的设备可以包括设备屏幕,所述设备屏幕提供触摸感应操作并包括具有发光显示像素的显示面板结构,每个像素可操作以发光从而形成显示图像的一部分;顶部透明层,其形成在设备屏幕上方,用作界面,以供用户触摸以进行触摸感应操作且将来自显示结构的光透射以向用户显示图像;光学指纹传感器模块,其位于显示面板结构下方,以接收由显示结构的至少一部分发光显示像素发出并从顶部透明层返回的光,以检测指纹,所述光学指纹传感器模块包括接收返回的光的光学指纹传感器阵列和位于光返回至光学指纹传感器阵列的路径上的光准直器或针孔阵列。光准直器阵列用于收集来自显示面板结构的返回的光,并从顶部透明层中不同位置分离光,同时将收集的返回的光导向至光学指纹传感器阵列。
通过使用准直器的成像依赖于在不同位置使用不同的准直器,以将来自指纹不同区域的光在空间上分离到光学检测器阵列中的不同光学检测器。准直器中的每一个准直器的厚度或长度可以被设计为控制每个准直器的光学视场的狭窄的场,例如,来自被照亮的手指上只有一小块区域的光被每个准直器捕获,并被投射到所述光学检测器阵列中相邻的几个光学检测器上。作为示例,准直器中的每一个准直器的厚度或长度可以被设计得很大,例如几百微米,这样,每个准直器的光学视场可以允许准直器将成像光传送到光学检测器阵列上的一小块区域,例如,光学检测器阵列中的一个光学检测器或几个相邻的光学检测器(例如,在某些情况下,光学检测器阵列的每一侧上的几十微米的区域)。
以下章节,通过使用在混合感应像素中光学指纹感应中的光准直器的示例来解释说明如何将光准直器或针孔阵列用于屏下光学指纹感应,其中每个混合感应像素具有用于捕获指纹信息的电容传感器和用于捕获指纹信息的光学指纹传感器。
图6A和图6B示出了在同一感应像素内结合了电容感应和光学感应的混合感应像素设计的两个示例。
图6A示出了指纹传感器设备2100的示例,除了用于在捕获指纹信息时的传感器像素阵列的每个传感器像素的光学指纹传感器之外,该指纹传感器设备2100还包括电容传感器。通过结合电容传感器和光学指纹传感器,利用光学指纹传感器获得的指纹图像可以更好地解析通过电容传感器获得的3D指纹结构。为便于说明,图6A所示的结构表示传感器像素阵列中的一个传感器像素,每个传感器像素包括在同一像素内彼此相邻布置的光学指纹传感器2102和电容传感器2114。
光学指纹传感器2102包括光电检测器2108和设置在光电检测器2108上方的准直器2106,以使从手指2102至光电检测器2108的反射光2124变窄或聚焦。可以在准直器2106周围设置一个或多个光源,例如LED(未示出)来发出光,所述光源从手指反射出,作为反射的光2124,并被引导或聚焦至相应的光电检测器2108,以捕获手指2102的指纹图像的一部分。准直器2106可以使用光纤束或一个或多个带有孔或开口的金属层来实现。光学检测器阵列上方的多个光准直器的这种使用可以用作无透镜光学设计,用于捕获具有所需空间分辨率的指纹图像,从而实现可靠的光学指纹感应。图6A示出了使用具有孔或开口2112的一个或多个金属层2110来实现的准直器2106。在图6A中的顶部结构或层2104与光电检测器2108之间的层中的准直器2106包括由光纤或在一层或多层(如硅或金属)中的孔或开口形成的多个单独的光准直器,所述单独的光准直器中的每一个在沿每个光准直器的纵向方向上或在小角度范围内接收光线2124,其可以被每个开口或孔的顶部开口以及如图所示的管状结构捕获,这样,从每个光准直器的纵向以大角度入射的光线被每个准直器阻挡,无法到达光准直器另一端的光学光电二极管。
在每个感应像素的电容感应部分中,电容传感器2114包括一个电容传感器板2116,该电容传感器板电磁耦合到手指的一部分,该手指在感应像素附近或与之接触以进行电容感应。更具体地说,当手指2102与可选盖板2104或与实现指纹传感器设备2100的移动设备上的盖板接触或基本在附近时,电容传感器板2116和手指2102作为一个或多个电容元件2122的两个板相互作用。电容传感器板2116的数量可以基于电容传感器2114的设计而变化。电容传感器板2116可以使用一个或多个金属层来实现。所述电容传感器板2116与所述电容传感器电路2120通信耦合,这样,电容传感器电路2120可以处理来自电容传感器板2116的信号,从而获取表示3D指纹结构的数据。可以在电容传感器板2116和电容传感器电路之间设置路由或屏蔽材料,以电屏蔽金属板2116。电容传感器电路2120可以通信耦合到电容传感器板2116和光电检测器2108,以处理来自电容传感器板2116的信号和来自光电检测器2108的信号。在图6A中,每个混合感应像素内的电容传感器和光学指纹传感器彼此相邻且彼此错开,而在空间上不重叠。
在实现方式中,图6A中混合传感器设计中的光学感应特性(例如光准直器设计)可用于屏下光学指纹传感器模块。因此,图6A中具有光准直器特性的光学感应可以在移动设备中实现,或者电子设备能够通过光学感应来检测指纹,以包括显示屏结构;在显示屏结构上方形成的顶部透明层作为界面,用于被用户触摸,并用于将来自显示屏结构的光透射以向用户显示图像;光学指纹传感器模块,其位于显示屏结构的下方,以接收从顶部透明层返回的光以检测指纹。光学指纹传感器模块包括:光电检测器的光学指纹传感器阵列,所述光电检测器接收返回的光和光准直器阵列,以通过显示屏结构从顶部透明层收集返回的光,并从顶部透明层中不同位置分离出光,同时将收集的返回的光通过光准直器引导至光学指纹传感器阵列的光电检测器。
图6B示出了指纹传感器设备2130的另一示例。指纹传感器设备2130在结构上以空间重叠的结构将光学指纹传感器和电容传感器集成在传感器像素阵列中的每个混合传感器像素中,以减少每个混合感应像素的足迹。该指纹传感器设备2130包括半导体基板2131,例如硅。在基板2131上,设置多个感应元件或感应像素2139。每个感应元件或感应像素2139包括有源电子电路区域2132,其包括用于处理传感器信号的CMOS开关、放大器、电阻器和电容器。每个感应像素或感应元件2139包括布置或嵌入在有源电子电路区域2132中的光电检测器2133。用于电容感应的电容传感器的电容传感器板或顶部电极2134放置在光电检测器2133上方,并在传感器板2134上包括孔或开口2138,还用作光的准直器,以将光引导至光电检测器2133上。设置填充有导电材料的通孔2135,用于将顶部电极2134电连接到有源电路元件2132。通过利用光电检测器2133调节顶部电极2134的开口或孔,以及距离,可以调节光电检测器(例如,光电二极管)2133的聚光角度2137。指纹传感器设备2130上有保护盖2136,该保护盖包括蓝宝石、玻璃等硬材料。光电检测器2133的光采集角2137可以用来保持由光电二极管阵列采集的图像的空间分辨率。将光源2140(如LED)置于盖下,置于指纹传感器设备2130的一侧,以发出光,光线从手指反射至光电检测器2133,以捕获指纹图像。当手指触摸或基本靠近保护盖时,手指和感应顶部电极2134组合形成人体与感应顶部电极2134之间的电容耦合(如电容器2142)。包括光学传感器和电容传感器的指纹传感器设备2130可以获取指纹的光反射图像和电容耦合图像两者的图像。感应顶部电极2134起到双重作用:1)用于电容感应,以及2)作为准直器(通过在感应顶部电极2134上制造一个或多个孔)将来自手指的反射光引导、变窄或聚焦到光电检测器2133。重复使用感应顶部电极2134消除了对额外的金属层或光纤束的需求,并因此减少了每个像素的大小,从而降低了指纹传感器设备2130的总体大小。
在图6B中,光学感应设计使用在顶层2136和光电检测器2133的底部阵列之间形成的孔或开口2138作为光准直器,用于只选取特定角度2137内的光线,以保持由光电检测器阵列中的光电检测器2133收集的图像的空间分辨率,如图所示。与图6A中的光纤或其他管状光准直器相似,在顶层2136和光电检测器2133的底部阵列之间形成的孔或开口2138构成光准直器,用于通过显示屏结构收集从顶部透明层返回的光,并从顶部透明层的不同位置分离光,同时将收集的返回光通过光准直器引导至光电检测器2133。
图7是示例性混合指纹传感器设备2200的俯视图,所述混合指纹传感器设备2200在每个混合感应像素中都结合了光学指纹传感器和电容传感器。指纹传感器设备2200被实现为CMOS硅芯片2221,所述CMOS硅芯片2221包括混合(结合光学指纹传感器和电容传感器)感应元件或像素2222的阵列。或者,图11A至图11B中的布局也可以用于本文中公开的所有光学感应设计,其中开口或孔2223表示图6A或图6B中的光准直器。感应元件的大小或尺寸可以在例如25μm至250μm的范围内。混合传感器设备2200可以包括支持电路的阵列,其包括在侧面区域2224中的放大器、ADC和缓冲存储器。此外,该混合传感器设备2200可以包括用于引线键合或凸点键合2225的区域。混合传感器元件2222的顶层2226可以包括用于电容感应的金属电极。可以在每个顶部金属电极23上制造一个或多个开口或孔2223,以在结构上用作准直器,用于在垂直方向上引导光以照射在顶部电极下方的光电检测器上。因此,顶层2226结构可以起到光学感应和电容感应的双重目作用。可以提供传感器设备处理器以处理来自混合感应像素的像素输出信号,用于提取指纹信息。
除了共享与准直器相同的电容感应结构和在垂直方向上的聚焦光结构外,传感器信号检测电路的一个实例可以在光学传感器和电容传感器之间共享,以检测来自光电检测器和电容传感器板的传感器信号。
图8A示出了示例性混合指纹感应元件或像素2300的电路图,其具有指纹电容感应功能和指纹光学感应功能两者。示例性传感器像素2300包括传感器信号检测电路2316,用于在从基于电容感应的感应顶部电极(例如,顶部金属层)2308和基于光学感应的光电检测器(例如,光电二极管)2314检测或获取传感器信号之间选择性地切换,从而获得从手指的来自光电检测器2314的反射光学图像和来自电容传感器电极2308的电容耦合图像两者。在一些实现方式中,来自每个混合感应像素中的两个感应机制的两个图像可以由传感器信号检测电路进行串行处理。在示出的示例中,开关2310和开关2312都具有第一端子,两个第一端子分别电耦合到感应顶部电极2308和光电检测器2314;以及第二端子,两个第二端子耦合到传感器信号检测电路2316的公共输入端子,用于向传感器信号检测电路2316提供来自光电检测器2314的相应光电检测器信号和来自感应顶部电极2308的相应电容感应信号。当开关2310断开(CAP_EN=0)且开关2312接通(Optical_en=1)时,传感器信号检测电路2316获取光学检测器信号,该光学检测器信号表示在特定混合感应像素处接收到的扫描指纹的光学图像。传感器信号检测电路2316可以获取电容感应信号,当开关2310的CAP_EN=1且Optical_en=0时,该电容感应信号表示扫描指纹的电容图像。在获取光学图像和电容图像两者之后,可以在下游电路中分别处理或组合处理这两个图像,以识别指纹特性。
通过上述混合感应像素的两种成像形式,可以以不同方式利用这两种类型的图像来提高指纹识别的性能。该增强的指纹识别可以通过传感器设备处理器(例如传感器设备处理器2321)来实现,用于处理来自混合感应像素的像素输出信号,以提取指纹信息。例如,电容图像可以在指纹特性的脊和谷的深度上提供3D图像。光学图像可以提供关于指纹特性的高分辨率2D信息来补充3D电容图像。具有较高空间分辨率的光学2D图像可用于恢复电容感应图像分辨率,因为这两个图像信息都位于指纹的相同脊上。在一些实现方式中,与光学感应方法相比,电容感应方法对指纹谷的识别更敏感、更准确,利用电容感应方法获取的图像的空间分辨率可以基于盖厚度而降低。电容感应的这一方面可以通过光学感应来补充。在操作中,对于所有传感器位置,传感器响应可以是固定的,并且,电容传感器的点扩展功能可以是固定的。高分辨率光学感应可以用作分辨率恢复方法,并且可以应用于电容感应图像以增强3D图像。来自光学感应的部分高分辨率图像可有助于恢复方法。因此,基于高分辨率的2D图像,通过插值或恢复,可以增强3D电容图像,以提供更多关于谷和脊的信息。
增强的3D图像可以提供改进的指纹识别和匹配。在另一个示例中,每次执行指纹识别或匹配时,光学图像和电容图像可以存储在一起以提供两次比较。使用两种类型的图像进行比较增强了指纹感应***的准确性和安全性。
可以使用许多不同的电路设计以各种方式来实现传感器信号检测电路2316。在一个示例中,积分器感应电路2318可以用于存储电荷,所述电荷是由脊谷触摸或基本靠近移动设备盖的指纹传感器设备的盖而产生的。积分器电路2318的存在增强了信噪比(SNR)。积分器感应电路包括运算放大器2322,以放大传感器信号,例如由示例性传感器像素2300的感应顶部电极2308或光电检测器2314检测的电容相关信号或光学相关信号(例如,电压信号)。包括导电材料(例如多种金属中的一种)的感应顶部电极2308通过开关2310电连接到放大器2322的负极或逆变端子2328。感应顶部电极2108和手指2302的局部表面用作电容器Cf 2302的相对板。电容器Cf 2302的电容会根据手指的局部表面与感应顶部电极2308之间的距离‘d’、电容器Cf 2302的两个板之间的距离而变化。电容器Cf 2302的电容与电容器Cf2302的两个板之间的距离‘d’成反比。当感应顶部电极2308与手指的脊相对时,电容器Cf2302的电容大于与手指的谷相对时的电容。
此外,可以在示例性传感器像素2300中的不同导电元件之间形成各种寄生电容器或其他电容器。例如,在感应顶部电极2308和设备接地端子2305之间可以形成寄生电容器CP2304。设备接地与地紧密耦合。可以在放大器2322的输出导体与放大器2322的负极或逆变端子2328之间形成另一个电容器Cr 2324,并用作放大器2322的反馈电容器。此外,可以在放大器2322的输出端与放大器2322的负极或逆变端子2328之间耦合一个开关2326,以重置积分器电路2318。
放大器2322的正端子电连接到激励信号Vref。激励信号Vref可以直接提供到每个传感器像素中的专用放大器的正端子。通过将激励信号Vref直接提供给放大器2322的正端子,示例性传感器像素2100成为有源传感器像素。此外,将激励信号Vref直接提供给放大器2322的正端子,就不需要包括所有传感器像素公用的激励电极,这样就从传感器芯片半导体结构中减少了导电(例如金属)层。在一些实现方式中,可以基于传感器像素的设计来实现可选的激励电极2306以增强SNR。此外,通过将激励信号Vref 2330直接提供给放大器2322,激励信号Vref 2322没有直接作用于手指,以避免潜在的刺激或对手指的伤害。此外,当直接将激励信号作用于手指的激励电极未使用时,指纹传感器设备的所有组件可以集成到单个封装设备中,并且整个指纹传感器设备可以设置在保护盖板玻璃下方。通过将整个指纹传感器设备放置在保护盖板玻璃下面,指纹传感器设备可以受到保护,不受手指和其他可能损坏指纹传感器的外部因素的影响。
在图8A中,传感器像素2300中的传感器信号检测电路2316(例如,放大器2322的Vpo)的输出信号(光学的和电容的)电耦合至开关2320,以选择性地将输出信号Vpo从传感器像素2300输出至包括滤波器的信号处理电路。开关2320可以使用晶体管或其他开关机制来实现,并且电耦合到控制器以控制开关2320的切换。通过控制开关2320、2310和2312,传感器像素阵列中的传感器像素可以在获取光学信号和获取电容信号之间选择性地切换。在一个实现方式中,可以为阵列中传感器像素的每一排、每一行或每一列获取光学信号或电容信号,然后切换为获取该排、行或列的其他类型的信号。获取光学信号和电容信号之间的切换可以逐排进行。在另一实现方式中,可以为阵列中的所有传感器像素或元件获取一种类型的信号(电容的或光学的),然后切换成为所有传感器像素或元件获取其他类型的信号。因此,对于整个阵列,可能会发生不同信号类型的获取之间的切换。可以实现两种传感器信号获取之间的切换的其他变化。
图8B示出了另一示例性混合指纹感应元件或像素2340的电路图。关于具有相同附图标记的组件,混合指纹感应元件或像素2340与混合指纹感应元件或像素2300基本相同。对于具有相同附图标记的通用组件的描述,请参考图8A的描述。
混合指纹感应元件或像素2340将感应顶部电极2308实现为包括孔或开口2342,用作准直器,以将反射的光2344聚焦或变窄至光电检测器2314(例如,光电二极管)。光电检测器2314可以定位或布置在准直器下方,所述准直器使用感应顶部电极2308来实现,以捕获由准直器2308聚焦的反射的光2344。
在一些实现方式中,光传感器和电容传感器可以包括单独的传感器信号检测电路实例,以并行检测来自光电检测器和电容传感器板的传感器信号。
图8C示出了示例性混合指纹感应元件或像素2350的电路图,其用于对来自光电检测器和电容传感器板的传感器信号进行并行检测。相对于具有相同附图标记的组件,混合指纹感应元件或像素2350与混合指纹感应元件或像素2340基本相同。对于具有相同附图标记的通用组件的描述,请参考图8A的描述。
为了并行从电容板和光电检测器执行传感器信号检测,混合指纹感应元件或像素2350包括单独的传感器信号检测电路2316和2317,传感器信号检测电路2316和2317分别与感应顶部电极2308和光电检测器2324通信耦合。传感器信号检测电路2317可以被实现为与传感器信号检测电路2316基本相似。在一些实现方式中,开关2310和2312可以被设置为具有第一端子和第二端子,所述第一端子分别与感应顶部电极2308和光电检测器2314电耦合,而所述第二端子与相应的传感器信号检测电路2316和2317耦合,从而分别从光电检测器2314向传感器信号检测电路2316和2317提供光学检测器信号,从感应顶部电极2308向传感器信号检测电路2316和2317提供电容感应信号。当开关2310和2312一起导通和断开时,传感器信号检测电路2316和2317可以并联的从电容板2308和光电检测器2314执行传感器信号检测。当开关2310和2312彼此异相地导通和断开时,传感器信号检测电路2316和2317可以串行的从电容板2308和光电检测器2314执行传感器信号检测。此外,传感器设备处理器2321可以通过开关2320A和2320B直接或间接地与传感器信号检测电路2316和2317通信耦合,以并行或串行的方式处理来自电容板2308和光电检测器2314的检测到的传感器信号。
在所公开技术的另一方面,根据图6A、图6B、图7、图8A和图8B描述的光学指纹传感器可以通过测量反射的光的强度随时间的变化来测量人的心跳,反射的光的强度随时间而变化,这是由于心跳和心脏的泵动作导致手指血流变化而引起的。该信息包括在接收到的光中,该接收的光被手指反射、散射或扩散,并由光学检测器信号携带。因此,光学指纹传感器可以起到多种作用,包括获取指纹的光学图像并测量人的心跳。在实现方式中,传感器设备处理器用于处理一个或多个光学检测器信号以提取心跳信息。该传感器设备处理器可以与这样的传感器设备处理器相同,即,处理来自光学感应像素或来自混合感应像素的像素输出信号以提取指纹信息的传感器设备处理器。
图9、图10A至图10B和图11A至图11B示出了使用屏下光学指纹传感器模块进行指纹感应的各种设计的示例,该屏下光学指纹传感器模块使用光学准直器或针孔阵列,用于将携带指纹信息的信号光引导至光学指纹传感器阵列。此类光准直器或针孔位于显示屏和屏下光学指纹传感器模块中的光学指纹传感器阵列之间,用于耦合来自显示面板的所需的返回的光,同时在光学指纹传感器阵列进行光学检测时滤除背景光。这样的光准直器或针孔的实现方式可以简化光学指纹传感器阵列进行的光学检测的光学设计,例如,不使用复杂的光学成像设计。另外,这样的光准直器或针孔的实现方式可以简化整个光学布局与光学指纹传感器阵列的光学对准,并且可以提高光学指纹传感器阵列进行的光学检测的可靠性和性能。此外,这种光准直器或针孔可以大大简化制造过程,并降低屏下光学指纹传感器模块的整体成本。
图9示出了屏下光学指纹传感器模块,所述屏下光学指纹传感器模块包括光准直器的光准直器阵列2001,光准直器放置在光电检测器阵列2002的顶部,用于将携带指纹信息的信号光引导至位于光电检测器阵列2002上的不同光电检测器中。电路模块2003耦合到光电检测器阵列2002,用于操作光电检测器阵列2002并接收来自光电检测器阵列2002上的光电检测器的输出信号。OLED显示器模块433包括小的透光孔82D,例如,OLED显示器模块的TFT层中的孔,使来自顶部透明层431的顶面的光穿过OLED显示器模块433到达屏下光学指纹传感器模块。准直器阵列2001可以使用各种设计的准直器,例如,基于波导的图像发射器、光纤阵列(有芯或无芯)、微透镜阵列、针孔阵列等。阵列2001中的准直器的设计为限制采样图像的数值孔径。准直器阵列2001的每个像素可以被视为光学检测针。光电二极管阵列2002可以是CMOS传感器阵列、CCD传感器阵列、光电二极管阵列或其他感光阵列。
在操作中,OLED像素照亮盖板玻璃431。从盖板玻璃431反射的光被OLED显示器模块433中的TFT结构的孔衍射。准直器阵列2001对衍射光的有用部分进行采样,并选择适合每个准直器的小数值孔径的光的一部分,以透射到光电二极管阵列2002,从而形成感应区域的图像。
图10A至图10B示出了图9中的光学指纹传感器模块的操作。OLED显示器模块433中的照亮区域613中的OLED像素将光束82P照射到与盖板玻璃431上的感应区域615接触的手指。手指和盖板玻璃431反射光束82R。TFT基板上的小孔使光束82R衍射,以形成光束82D。准直器阵列2001中合适的准直器单元从光束82D中选择光82S,并将其引导至光电检测器阵列2002的合适的光电检测器元件中。在一些OLED显示器中,一部分光可以直接照射到传感器模块,并可以通过校准消除。
图11A至图11B示出了图9以及图10A至图10B中的设计的示例性实现方式。该示例中的光准直器阵列2001包括光准直器阵列903和光吸收材料905,该光吸收材料905填充在光准直器903之间以吸收光,从而减少不同光准直器之间的串扰。准直器阵列2001的每个准直器903可以是沿着垂直于显示面板的方向延伸或伸长的通道,并使光以低损耗沿其轴透射。准直器阵列2001被设计为减少不同光准直器之间的光学串扰,并在光学感应中保持所需的空间分辨率。在一些实现方式中,一个光准直器可以仅对应于光电检测器阵列2002中的一个光电检测器。在其他实现方式中,一个光准直器可以对应于光电检测器阵列2002中的两个或多个光电检测器。如图11B所示,在一些设计中,每个准直器单元的轴可以垂直于显示屏表面,并且可能相对于显示表面倾斜。在操作中,只有沿着准直器轴传播的光才能携带图像信息。例如,适当的入射光82P被反射,以形成光82R。然后,光82R被TFT的小孔衍射,并扩展为光82D。光部分82S被透射到光电二极管阵列2002中。远离轴的光部分82E被填充材料吸收。盖板玻璃表面431的反射(reflectance)携带指纹信息。其他OLED像素发出光901,光901相对于准直器单元轴成一定角度,因此可能被阻挡。一部分反射的光(例如901E)透射到相应的光准直器中,以到达光电检测器阵列2002。
光准直器阵列可以使用不同的技术制作,包括,例如,通过平面基板蚀刻孔、形成光波导阵列、形成与滤光器匹配的微透镜阵列、使用无芯光纤束、或者在透明片上印刷准直器。这种准直器阵列的期望特性包括:(1)沿轴传播的光分量与沿轴传播的分量之间有足够的透射对比度,这样,准直器确保在光电检测器阵列处进行的指纹图案光学感应所需的空间分辨率;(2)允许的透射数值孔径足够小,以实现光学感应所需的高空间分辨率。
可采用多种光准直器阵列设计。在光准直器阵列中,每个光准直器被构造成通过沿着或接近光准直器的轴的方向透射光来执行空间滤波,同时阻挡其他方向的光,并被构造成具有小的光学透射数值孔径,以通过光准直器阵列实现高空间分辨率。小的光学透射数值孔径也减少了进入光学指纹传感器阵列的背景光的数量。准直器元件的孔径和间距(pitch)(即,两个附近的准直器元件之间的距离)可以被设计成达到光学指纹感应所需的空间分辨率。
图12示出了根据一些实施例的具有倾斜的光准直器的示例性光学指纹感应模块的截面图。光学指纹感应模块设置在显示屏的指纹感应部分的下方。显示屏包括盖板玻璃5031、设置在盖板玻璃5031下方的触摸传感器层5032,以及设置在触摸传感器层5032下方的OLED阵列模块5033。OLED阵列模块5033包括提供显示光的多个OLED 5034。保护层5037设置在OLED阵列模块5033的下方。光学指纹感应模块包括光准直器阵列5017、光电检测器阵列和耦合到光准直器阵列5017的电子电路5021。光准直器阵列5017可以是任何类型的;例如,它可以包括针孔阵列、微透镜阵列、微透镜阵列加上相应的针孔阵列等。光准直器5017的光轴可以相对于显示屏的法线倾斜。
光学指纹感应模块还可以包括光耦合器5023,其设置在显示屏的保护层5037的下方以及光准直器阵列5017的上方。光耦合器5023可以被配置为将携带指纹信息的光线折射到适当的方向,使其可以被光准直器5017透射,供所述光电检测器阵列5021检测。例如,由OLED发出的光线5062可以入射在盖板玻璃5031的顶面上,入射角为α。被盖板玻璃5031的顶面反射的光线5064可以入射在光耦合器5023上,入射角为α。被光耦合器5023折射的光线5066可以以入射角β进行传播。如果入射角β基本上与光准直器5017的倾斜角度匹配,则折射光线5066可以通过光准直器5017透射,以被光电检测器阵列5021检测。
图13A至图13C示出了根据一些实施例的使用具有倾斜的光准直器的光学指纹感应模块进行指纹感应的方法。如图13B所示的OLED层5034的平面图所示,可以控制显示屏的指纹感应部分中的OLED,以形成照亮图案。例如,图案可以包括被开启的OLED的列5047(由白色条纹表示,在本文中称为导通列(on-columns)),交替被关闭的OLED的列5045(由阴影条纹表示,在本文中称为断开列(off-columns))。每一列的LED 5045或5047在基本上垂直于每个光准直器的方位面的方向上延伸(例如,光准直器的方位面是图13A中的纸的平面,并且,每一列的LED 5045或5047在基本上垂直于纸的平面的方向上延伸。)。根据一些实施例,如图13B所示,可以将断开列5045和断开列5047布置为具有一定周期的周期性阵列。
图13A示出了由OLED发出的光线的一些示例性光线路径。实线箭头5052示出了如果导通这些OLED,则断开列中的OLED将发出的光线的光线路径。虚线箭头5054示出了由导通列中的OLED发出的光线的光线路径。如图所示,由OLED以一定入射角发出的光线5052和5054可以被盖板玻璃5031的顶面反射,随后通过光准直器5017透射,以由光电检测器阵列5021检测。
如图13A所示,通过在OLED层5034中适当选择一个开关模式周期,在被盖板玻璃5031的顶面反射之后,发源自断开列中的OLED的光线5052可以穿过阴影条纹。光电检测器阵列5021上的相应位置用“A”表示。因此,在光电检测器阵列5021上的“A”位置处检测到的任何光都可以来自被附近的OLED照亮的目标(例如,手指)。该图像在本文中称为A图像。当检测到的光穿过OLED层5034的断开列时,A图像对OLED层5034的微结构的影响可以忽略不计或影响很小,并且不包括由OLED发出并从盖板玻璃5031的顶面反射出的光。
如图13A所示,通过与OLED层5034中的开关模式相同的周期,在被盖板玻璃5031的顶面反射之后,发源自导通列中的OLED的光线5054可以穿过导通列。光电检测器阵列5021上的相应位置用“B”表示,并且该图像在本文中被称为B图像。当检测到的光穿过OLED层5034的导通列时,B图像可以包括OLED层5034的微结构信息。B图像还可包括由OLED发出并从盖板玻璃5031的顶面反射出的光。
在一个帧中,A图像和B图像被一起捕获,但是帧中的A图像和B图像中的每一个都不包括目标的完整图像。根据一些实施例,可以将OLED层5034的照亮图案从一帧扫描到下一帧,并且捕获多个帧。可以从多个帧重建目标的完整A图像和/或目标的完整B图像。例如,在一帧中,可以控制OLED层5034中的OLED具有图13B中所示的照亮图案;在下一帧中,可以控制OLED层5034中的OLED具有图13C所示的照亮图案,其中,在图13B所示的帧中开启的OLED的那些列被关闭,而在图13B所示的帧中关闭的OLED的那些列被开启。因此,通过结合两个帧中的“A”像素,可以获得完整的A图像。类似地,通过结合两个帧中的“B”像素,可以获得完整的B图像。
图14A至图14B示出了根据一些实施例的使用带有倾斜光准直器的光学指纹传感模块的指纹感应方法。类似于图13A至图13C所示的方法,如图14B所示,可以控制显示屏的指纹感应部分中的OLED以形成照亮图案。在此,选择了OLED层5034中的开关模式的周期,这样,在被盖板玻璃5031的顶面反射后,发源自断开列中的OLED的光线5052可以穿过导通列。光电检测器阵列5021上的相应位置用“D”表示。因此,在光电检测器阵列5021上的“D”位置处检测到的任何光都可以来自被附近的OLED照亮的目标。该图像在本文中称为D图像。当检测到的光穿过OLED层5034的导通列时,D图像可以包括OLED层5034的微结构的信息。但是D图像可能不包括由OLED发出并从盖板玻璃5031的顶面反射出的光。
如图14A所示,通过与OLED层5034中的开关模式相同的周期,在盖板玻璃5031的顶面反射之后,来源自导通列中的OLED的光线5054可以穿过断开列。光电检测器阵列5021上的相应位置用“C”表示,并且该图像在本文中被称为C图像。当检测到的光穿过OLED层5034的断开列时,C图像对OLED层5034的微观结构的影响可以忽略不计或影响很小。但是,C图像可以包括由OLED发出并从盖板玻璃5031的顶面反射出的光。
与图13A至图13C所示的方法类似,在一帧中,虽然C图像和D图像被一起捕获,但是帧中的C图像和D图像中的每一个都不包括目标的完整图像。根据一些实施例,可以将OLED层5034的照亮图案从一帧扫描到下一帧,并且捕获多个帧。可以从多个帧重建目标的完整C图像和/或目标的完整D图像。
图15A和图15B示出了根据一些实施例的位于显示屏下方的光学指纹感应模块。光学指纹感应模块包括光准直器阵列5017、光电检测器阵列和耦合到光准直器阵列5017的电子电路5021,类似于图12所示的光学指纹感应模块。光准直器5017的轴可以相对于显示屏的法线倾斜。
光学指纹传感器还可以包括棱镜光耦合器5051,其布置在显示屏的保护层5037的下方以及光准直器阵列5017的上方。图15B示出了棱镜光耦合器5051的局部截面图。棱镜光耦合器5051包括基本平坦的顶面5055和包括斜面5053的阵列的底面。顶面5055耦合到显示屏的底面。每个斜面5053可以与相应的一列光准直器5017(每列光准直器5017在垂直于图15B的页面的方向上延伸)耦合。每个斜面5053可以相对于显示屏的法线形成倾斜角θ。
根据一些实施例,可以选择光耦合器5051的折射率和倾斜角θ,这样,在经过光耦合器5051的顶面5055的折射和倾斜面5053的折射后,从盖板玻璃5031顶面反射出的光线5064基本上沿着光准直器5017的轴传播。因此,折射光线5066可以由光准直器5017透射,并且由光电检测器阵列5021检测。如果在没有棱镜光耦合器5051的情况下将光准直器5017置于空气中,则由OLED发出并入射到盖板玻璃5031的顶面上的光线5062的入射角α可以被限制在一个相对较小的值,以便使折射光线沿着光准直器5017的轴传播。
图16示出了根据一些实施例的使用设置在显示屏下方的光学指纹感应模块进行指纹感应的示例性方法1600的流程图。显示屏包括盖板玻璃和布置在盖板玻璃下方的发光二极管(LED)阵列。
步骤1602中提供了光学指纹感应模块。所述光学指纹感应模块可以包括设置在显示屏的指纹感应部分下方的光耦合器和设置在光耦合器下方的光准直器阵列。光准直器阵列中的每一个的光轴相对于显示屏的法线形成倾斜角度。倾斜角度大于0度且小于90度。光学指纹感应模块还可以包括耦合到光准直器阵列的光电检测器阵列。光电检测器阵列包括像素阵列。每个像素被配置用于检测通过所述光准直器阵列中的一个或多个相应的光准直器透射的光。光学指纹感应模块还可以包括耦合至光电检测器阵列的电子电路,用于捕获由光电检测器阵列检测到的光强度形成的指纹帧。
在步骤1604中,使用光电检测器阵列和电子电路捕获第一帧,同时在显示屏的指纹感应部分中开启第一多个LED并关闭第二多个LED。第一帧包括第一多个像素和第二多个像素。所述第一多个像素包括由所述第一多个LED发出并从所述盖板玻璃的顶面反射出的光。
在步骤1606中,使用光电检测器阵列和电子电路捕获第二帧,同时关闭第一多个LED并开启第二多个LED。第二帧包括第一多个像素和第二多个像素。第二多个像素包括由第二多个LED发出并从盖板玻璃的顶面反射出的光。
在1608中,通过结合第一帧和第二帧来构造第一指纹图像和第二指纹图像。第一指纹图像包括第一帧中的第一多个像素和第二帧中的第二多个像素。第二指纹图像包括第一帧中的第二多个像素和第二帧中的第一多个像素。
应当理解,图16所示的特定步骤提供了根据一些实施例的指纹感应的特定方法。其他步骤顺序也可以根据替代实施例执行。例如,本发明的替代实施例可以以不同的顺序执行上述步骤。此外,图16所示的各个步骤可以包括多个子步骤,这些子步骤可以按照适合于各个步骤的各种顺序来执行。而且,取决于特定应用,可以添加或删除附加步骤。本领域普通技术人员将识别出很多变化、修改和替代。
图17显示了准直器设计的示例,通过在CMOS结构中的两个不同金属层中使用对齐的孔,准直器设计成为CMOS结构的一部分。阵列中的每个准直器是沿着垂直于显示面板的方向的细长通道。
图18显示了OLED显示器结构下的光学指纹传感器模块的示例,OLED显示器结构在捕获指纹信息时为每个光学指纹传感器像素合并了光学指纹传感器阵列和集成的准直器阵列。如图所示,光学指纹传感器阵列包括光电检测器阵列,并且,准直器阵列布置在光电检测器阵列上方,以便在通孔之间包括光学透明通孔作为光准直器和光学不透明金属结构。OLED显示器像素发出光以照亮手指的触摸部分,从手指反射出的光被引导通过准直器阵列到达光电检测器阵列,该光电检测器阵列捕获了手指的指纹图像的一部分。可以使用一个或多个具有孔或开口的金属层来实现准直器阵列,所述孔或开口通过CMOS工艺集成。
屏下光学指纹传感器模块中的这种光准直器可以被构造为提供直接的点对点成像。例如,光准直器阵列的尺寸和单个准直器的尺寸可以设计成分别与光电检测器阵列的尺寸和单个光电检测器的尺寸严格匹配,以便在光准直器和光电检测器之间实现一对一成像。由光学指纹传感器模块接收的光所携带的整个图像可以由光电检测器阵列同时在单独的光电检测器上捕获,而无需进行拼接。
光准直器阵列的空间滤波操作可以有利地减少进入光学指纹传感器模块中的光电检测器阵列的背景光的量。此外,可以在光学指纹传感器模块中设置一个或多个滤光器,用于过滤掉背景光并减少光电检测器阵列的背景光的量,以改善对由于OLED像素发出的光的照亮而从指纹感应区域返回的光进行的光学感应。例如,一个或多个滤光器可以被配置为例如带通滤波器,以允许透射OLED像素发出的光,同时阻挡其他光分量,例如阳光下的IR光。当在室外使用设备时,这种滤光可以有效减少由阳光引起的背景光。所述一个或多个滤光器可以被实现为,例如形成在沿着到光学指纹传感器模块中的光电检测器阵列的光路的一个或多个界面上的滤光器涂层,或者一个或多个分立的滤光器。
图19显示了具有光学滤波的光准直器阵列的示例,用于减少到达屏下方光学指纹传感器模块中的光电检测器阵列的背景光。该示例使用光波导阵列作为光准直器,并且将一个或多个滤光膜耦合到光波导阵列,以减少不希望的背景光到达与光波导阵列耦合的光电检测器阵列,例如,来自太阳光的红外光,同时,在用于照亮手指的探测光的预定光谱带中透射所需的光。光波导可以包括具有或不具有外部波导包层的波导芯。光波导还可以由具有不同纤维的无芯纤维束形成,其中每个单元准直器是一块没有纤维芯结构的纤维。当将无芯纤维制成束时,纤维之间的填充材料可以包括光吸收材料,以增加对未被无芯纤维引导的杂散光的吸收。最终的准直器可以与多层子准直器阵列组装在一起。
以下各部分提供了各种光准直器设计及其制造方法的示例。
图20A和图20B示出了通过蚀刻制造准直器的示例。在图20A中,用于形成准直器阵列中的光准直器的合适材料层在支撑基板上形成,或由支撑基板支撑,所述支撑基板是光学透明的。蚀刻掩模在该层上形成,并且具有用于蚀刻下层以形成光准直器的图案。支撑基板可以与准直器阵列结合,并且可以由包括例如氧化硅的各种光学透明材料形成。
图20B示出了光准直器阵列的示例,所述光准直器阵列是通过层间连接器材料将多层子准直器阵列叠加而组装的,所述层间连接器材料可以是粘合剂、玻璃或合适的光学透明材料。在一些实现方式中,子准直器阵列的不同层在没有层间连接器材料的情况下彼此堆叠。这种堆叠允许沿着准直器轴制造具有期望的长度或深度的光准直器,以实现所需的光学数值孔径。准直器的孔在几何上限制了视角。透射数值孔径取决于准直器和孔径的厚度。在某些应用中,孔可以用光学透明材料填充,在某些设计中,孔可以是空的。
在实现方式中,支撑基板可以涂覆一层或多层滤光膜,用于减少或消除背景光,例如阳光中的红外光,同时在用来照亮手指的探测光的预定光谱带中透射所需的光。
图21示出了与微透镜阵列耦合的光学空间滤波器的阵列,其中,每个微透镜相对于光学空间滤波器的相应通孔定位,这样,每个单元准直器都包括一个微透镜和一个微空间滤波器,例如微孔。每个微透镜的结构和定位使接收到的光聚焦到相应的微空间滤波器,而不需要对接收到的光进行成像。微孔限制了有效接收数值孔径。空间滤波器可以印在光学透明的基板上,或也可以蚀刻在硅片上。微透镜阵列可以通过MEMS加工或化学加工进行刻蚀。该微透镜也可由梯度折射率材料制成,例如,将一块梯度折射率玻璃纤维切割成四分之一的长度(a quarter pitch of length)。微透镜的焦距和空间滤光孔的直径可以用来控制每个单元的发射数值孔径。与其他设计一样,准直器板可以涂上滤膜,以减少或消除传感器中未使用的光带,如来自阳光的IR光。
图22显示了具有内置光准直的集成CMOS光电检测阵列传感器的示例。准直器是通过在不同的金属层(704)和氧化物层(702,703)中梳理一系列对齐的孔(705)来构建的,氧化物层(702,703)在金属层之间交错,以提供分离。这些孔可以与光学指纹传感器阵列中的感光元件(701)对准。光学指纹成像器是通过集成的CMOS光电检测阵列传感器实现的,所述集成的CMOS光电检测阵列传感器在OLED显示器模块(710)和盖板玻璃下方具有内置的光准直。触摸到盖板玻璃的传感器窗口区域的用户手指的指纹可以通过对从指纹谷和脊反射出的光进行检测来成像,该光从窗口区域的OLED显示器像素发出。因为光在脊区被指纹组织吸收,而来自指纹谷区的光经比较较强,所以来自指纹脊区域的光会减少。指纹的脊和谷之间的光水平的这种差异在光学指纹传感器阵列处产生指纹图案。
在以上基于准直器的光学指纹传感器模块设计中,沿准直器的每个准直器的厚度或长度可以设计得大一些,以便将成像光传送到光电检测器阵列上的一小块区域,或者可以设计得小一些,以将成像光传送到光学检测器阵列上的一大块区域。当沿着准直器阵列中的准直器的每个准直器的厚度或长度减小到某个点(例如几十微米)时,每个准直器的光学视场可以相对大一些,以覆盖光学检测器阵列上的一批相邻光学检测器,例如面积为1mm到1mm的区域。在一些设备设计中,通过使用针孔阵列(每个针孔具有足够大的光学视场)可以实现光学指纹感应,以覆盖光学检测器阵列中的一批相邻光学检测器,从而在感应指纹时在光学检测器阵列上实现高图像分辨率。与准直器设计相比,针孔阵列可以具有更薄的尺寸和更少的针孔,从而在没有成像透镜的情况下实现所需的高成像分辨率。此外,与通过光准直器成像不同,针孔阵列成像使用每个针孔作为针孔相机来捕获图像,并且,基于针孔相机操作的图像重建过程与使用光准直器阵列的图像重建过程不同:每个针孔建立一个子图像区域,将通过针孔阵列中不同针孔的子图像区域拼接在一起,以构成整个图像。带有针孔阵列的光学指纹传感器模块的图像分辨率与检测器阵列的敏感元件尺寸有关,因此可以通过调节检测器尺寸来调节或优化感应分辨率。
基于各种半导体图案化技术或工艺或其他制造方法,针孔阵列可以相对简单地来制造,并且成本相对较低。针孔阵列还可以提供空间滤波操作,以有利地减少进入光学指纹传感器模块中的光电检测器阵列的背景光的量。与设计带有光准直器的光学指纹传感器模块类似,可以在具有针孔阵列的光学指纹传感器模块中设置一个或多个滤光器,用于过滤掉背景光并减少在光电检测器阵列的背景光的量,以改善对由于OLED像素发出的光的照亮而从指纹感应区域返回的光进行的光学感应。例如,一个或多个滤光器可以被配置为例如带通滤波器,以便透射OLED像素发出的光,同时阻挡其他光分量,例如阳光下的IR光。当在室外使用设备时,这种光学过滤可以有效减少由阳光引起的背景光。所述一个或多个滤光器可以被实现为,例如形成在沿着到光学指纹传感器模块中的光电检测器阵列的光路的一个或多个界面上的滤光器涂层,或者一个或多个分立的滤光器。
在基于光准直器的光学指纹传感器模块中,光学指纹传感器阵列的光学成像分辨率可以通过配置光准直器来提高,所述光准直器的配置是以提供针孔相机效果的方式进行的。图23示出了这种设计的示例。
在图23中,这种光准直器阵列中的准直器单元618将光从相应的检测区域单元引导至光电检测器阵列621。准直器单元的孔径形成小视场(FOV)618b。如果光电检测器阵列621中的检测器没有捕获每个单元FOV中的细节,则成像分辨率由每个准直器单元的FOV决定。为了提高检测分辨率,需要减小每个准直器单元的FOV。然而,当光电检测器阵列621中的每个光电检测器与相应的准直器618之间存在间隙618a时,准直器单元的小孔用作针孔。这种针孔相机效果为FOV的每个单元图像提供了更高的成像分辨率。当单元FOV中有多个检测器元件时,如***物621a所示,可以识别单元FOV中的图像细节。这意味着检测分辨率得到了提高。在实现方式中,可以以各种方式提供这种间隙,包括,例如在准直器618和光学指纹传感器阵列621之间添加滤光膜618a。
借助针孔摄像头效果,可以优化准直器板的填充因子。例如,为了检测尺寸为10mm×10mm的区域,如果每个单元FOV覆盖面积为1mm×1mm的区域,则可以使用10×10的准直器阵列。如果检测器在每个单元FOV中都能获得20×20的清晰度图像,则总检测分辨率为200×200,或50微米,或500psi。该方法适用于所有类型的准直器方法。
图24显示了使用针孔相机效果来提高光学成像分辨率的另一个示例。在该示例中,光学指纹传感器模块包括以下几层:隔离物917、针孔阵列617、保护材料919、光电检测器阵列621和电路板623。物体的光学距离取决于从感应表面到针孔平面的总体材料厚度,包括显示模块433厚度的光学厚度、隔离物917的厚度、任何过滤器涂层的厚度、任何气隙的厚度以及任何胶合材料的厚度。图像的光学距离取决于从针孔平面到光电检测器阵列的总体材料厚度,包括保护材料厚度、任何过滤器涂层厚度、任何气隙的厚度、任何胶合材料厚度。图像放大率是通过将图像光学距离与物体光学距离进行相比较来决定的。可以通过设置适当的放大率来优化检测模式。例如,可以将放大率设置为小于1,例如设置为0.7或0.5等。在一些设备设计中,间隔物和针孔阵列层可以组合成单个组件。在其他设计中,针孔阵列和保护层可以组合为单个组件,以便预先定义每个针孔的中心坐标。
图25显示了基于针孔相机效果的光学成像示例。在物体一侧,OLED显示器面板上的整个检测区域921被划分为多个子检测区域923。针孔阵列920用于成像检测区921。针孔阵列920中的每个针孔单元负责小视场(FOV)925。每个小FOV 925覆盖子检测区923。如图25所示,一个针孔的每个小FOV可以与其相邻针孔的小FOV重叠。在图像一侧,光学指纹传感器阵列中的每个子检测区域923捕获图像933。如图25所示,针孔的每个小FOV 925都有一个对应的图像区域935。可以优化该***的放大率,以便分别区分每个子检测区域的图像。换句话说,小的FOV的图像彼此不重叠。在该检测模式下,每个针孔的中心坐标是预先定义的,并且每个OLED显示器像素的图像点坐标可以被预先校准。由于每个像素只有一个对应的图像位置,因此可以同时点亮检测区域中的所有显示像素。由于针孔相机的图像是反向的,因此信号处理可以根据校准表恢复整个图像。
在上述光准直器的示例中,用于将光从显示屏顶部的手指引导到用于指纹感应的光学指纹传感器阵列的光准直器的方向可以垂直于OLED显示屏的顶部触摸表面,以收集从手指返回的探测光以进行指纹感应,其中大部分为垂直于顶部触摸表面的光方向。实际上,当触摸的手指干燥时,通过感应这种主要垂直于顶部触摸表面的返回探测光,光学指纹传感器阵列中检测到的图像中的图像对比度低于从返回的探测光获得的同一图像,该图像相对于顶部触摸表面的垂直方向成一定角度。这在一定程度上是因为对成角度的的返回的光的光学感应在空间上滤除了来自顶部触摸表面的强的返回的光,该强的返回的光大部分垂直于顶部触摸表面。考虑到从顶部触摸表面返回的探测光的光学感应的这一方面,光准直器可以被定向,使得每个准直器单元的轴可以相对于顶部触摸表面倾斜,如图11B的示例所示。
但是,在制造中,制造倾斜的准直器更复杂且成本更高。使用图9和图10B中所示的垂直光准直器,同时通过选择性地检测从顶部触摸表面的成角度的返回的光,仍可在光学传感中获得更高的对比度的一种方法是,在垂直光准直器和在进入垂直光准直器之前从顶部触摸表面返回的光之间提供光学偏转或衍射装置或层。在一些实现方式中,该光学偏转或衍射装置或层可以设置在OLED显示器面板和垂直光准直器之间,用于仅选择以一定的倾斜角度进入垂直光准直器的探测光,以通过垂直光准直器另一端的光学检测器阵列进行光学检测,同时阻止或减少从垂直于顶部触摸表面的顶部触摸表面返回的探测光进入光准直器的量。该光学偏转或衍射装置或层可以以各种形式实现,包括例如棱镜阵列、具有衍射图案的光学层或位于光准直器和显示面板之间的其他设备,用于选择从显示面板返回的成角度的探测光,以进入光准直器,同时减少垂直于显示面板并进入光准直器的返回的探测光的量。
图26A和图26B示出了具有光学偏转或衍射装置或层的OLED显示器面板下方的光学指纹传感器的示例。
如图26A所示,准直器阵列中的每个准直器2001可以是沿着垂直于或与之成直角的显示表面的轴的延伸通道。视角适配器光学层2210用于调节从显示面板返回的探测光的视角,并且位于光准直器2001和显示面板之间,以选择从显示面板返回的成角度的进入光准直器2001的探测光,同时减少垂直于显示面板并进入光准直器2001的返回的探测光的量。
图26B示出了视角适配器光学层3210和主要探针光路径的更多细节。例如,视角适配器光学层3210可被实现为衍射图案层,例如棱镜结构3210a。只有从手指返回的以适当的入射角离开显示面板的探测光82a和82b可以弯曲通过准直器2001。相比之下,垂直于显示屏的返回的探测光被视角适配器光学层2210引导离开与显示面板垂直的原始方向,从而成为入射到光准直器2001的轴外光。这样就减少了垂直于显示面板并且可以进入光准直器2001的返回的探测光的量。
当适当地调节视角时,来自指纹谷的不同位置63a和63b的接收光携带指纹信息。例如,在相同的照亮下,由于观察角度和指尖皮肤的指纹轮廓,光82a可能比光82b更强。换句话说,检测可以看到一定程度的指纹阴影。当手指干燥时,这种布置改进了检测。
基于本文中公开的光学感应的便携式设备(例如移动电话或其他设备或***)可以被配置为提供额外的操作特性。
例如,通过操作在感应区域613下方的选定的OLED显示器像素,可以控制OLED显示器面板,以提供局部闪光模式,从而照亮指纹感应区域613。可以在OLED显示器面板下方的光学指纹传感器模块中提供此功能,例如,基于光学成像设计的图4A和图4B,或经由光准直器阵列基于光学成像的图10A和图10B。在获取指纹图像的事件中,可随时开启位于窗口区域613的OLED显示器像素,以为指纹的光学感应提供高强度照亮,并且,与感应区域613下方的OLED像素的开启同步,同时开启光电检测传感器阵列621以捕获指纹图像。开启这些OLED像素的时间可能相对较短,但是在OLED显示器面板上显示图像时,可以将发射强度设置为高于正常的发射。为此,这种用于光学指纹感应的模式是一种闪光模式,使光电检测器传感器阵列621能够检测到更大数量的光,从而提高图像感应性能。
又例如,光学指纹传感器模块可以设计成满足OLED显示器面板顶部感应表面的全内反射条件,以实现闪光灯唤醒功能,其中视区613中的一部分OLED像素被开启,以闪烁同时关闭其他OLED像素,使其处于睡眠模式,以在不使用设备时节省电量。响应于视区613中的OLED像素的闪烁,操作光学指纹传感器阵列621中的相应光电传感器接收和检测光信号。当手指在此闪光唤醒模式期间触摸感应区域613时,手指使返回的光被完全反射以产生强大的返回的探测光,在光学指纹传感器阵列上检测到返回的探测光,并且可以使用检测到的光在睡眠模式下唤醒设备。除了在视区613中使用部分OLED像素外,可以在光学指纹传感器模块附近提供一个或多个额外光源,以在视区613处提供闪光模式照亮,用作闪光唤醒功能。当非手指物体触摸OLED显示器面板上方的顶面上的视区613时,由于其他材料很少具有手指皮肤属性,因此可能不会发生全内反射条件。因此,即使非手指的物体触摸感应区域613,触摸位置缺少全内反射也可能导致没有足够的返回的探测光到达光学指纹传感器阵列以触发闪光唤醒操作。
以上公开的用于感应光学指纹的光学指纹传感器可以用于捕获指纹的高质量图像,以便区分在不同时间捕获的捕获指纹的微小变化。值得注意的是,当人在设备上按压手指时,由于按压力的变化,与显示屏上方的顶部触摸表面的接触可能发生变化。当手指触摸盖板玻璃上的感应区域时,触摸力的变化可能会在光学指纹传感器阵列上引起一些可检测到的变化:(1)指纹变形;(2)接触面积的变化;(3)指纹脊加宽;以及(4)受压部位的血流动力的变化。这些变化可以被光学捕获,并且可以被用来计算触摸力的相应变化。触摸力感应为指纹感应增加了更多功能。
尽管本专利文件包括许多细节,然而这些不应解释为对任何发明或可能要求保护的范围的限制,而应解释为对特定发明的特定实施例可能特有的特征的描述。在本专利文件中单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反,在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来实现。此外,尽管上面可能将特征描述为以某些组合起作用,甚至最初是这样所要求保护的,然而在某些情况下,可从组合中删除所要求保护的组合中的一个或多个特征,并且可以将所要求保护的组合用于子组合或子组合的变型。
类似地,虽然在图中以特定顺序描述了操作,然而这不应被理解为要求按照显示的特定顺序或序列执行这些操作,或者要求执行所有示出的操作,以实现理想的结果。此外,不应该将该专利文件中描述的实施例中的各种***组件的分离理解为要求在所有实施例中进行该分离。
仅描述了一些实现方式和示例,而其他实现方式,增强和变体可以基于本专利文件中描述和说明的内容来进行。

Claims (20)

1.光学指纹感应模块,其布置在显示屏下方,所述显示屏包括盖板玻璃和发光二极管LED阵列,所述发光二极管LED阵列布置在所述盖板玻璃下方,所述光学指纹感应模块包括:
光耦合器,其布置在所述显示屏的指纹感应部分的下方;
光准直器阵列,其布置在所述光耦合器下方,所述光准直器阵列中的每一个的光轴相对于所述显示屏的法线形成倾斜角度,所述倾斜角度大于0度且小于90度;
光电检测器阵列,其耦合到所述光准直器阵列,所述光电检测器阵列包括像素阵列,每个像素配置成检测通过所述光准直器阵列中的一个或多个相应的光准直器透射的光;
电子电路,其耦合到所述光电检测器阵列,用于捕获由所述光电检测器阵列检测到的光强度所形成的指纹帧;以及
处理器,其耦合到所述电子电路和所述LED阵列,为了响应于用于检测放置在所述显示屏的所述指纹感应部分附近的手指的指纹的触发器,所述处理器被配置用来:
控制所述LED阵列,使:
在第一帧中,所述显示屏的所述指纹感应部分中的第一多个LED被开启,同时所述指纹感应部分中的第二多个LED被关闭;并且
在第二帧中,所述第一多个LED被关闭,同时所述第二多个LED被开启;
使所述电子电路捕获所述第一帧和所述第二帧,其中:
所述第一帧包括第一多个像素和第二多个像素,所述第一帧中的所述第一多个像素包括由所述第一多个LED发出并从所述盖板玻璃的顶面反射出的光,所述第一帧中的所述第二多个像素不包括由所述第一多个LED发出的光;以及
所述第二帧包括所述第一多个像素和所述第二多个像素,所述第二帧中的所述第二多个像素包括由所述第二多个LED发出并从所述盖板玻璃的所述顶面反射出的光,所述第二帧中的所述第一多个像素不包括由所述第二多个LED发出的光;
通过结合所述第一帧和所述第二帧来构造第一指纹图像和第二指纹图像,其中:
所述第一指纹图像包括所述第一帧中的所述第一多个像素和所述第二帧中的所述第二多个像素,其中所述第一帧中的所述第一多个像素包括由所述第一多个LED发出的光,并且所述第二帧中的所述第二多个像素包括由所述第二多个LED发出的光;以及
所述第二指纹图像包括所述第一帧中的所述第二多个像素和所述第二帧中的所述第一多个像素,其中所述第一帧中的所述第二多个像素和所述第二帧中的所述第一多个像素不包括由所述第一多个LED发出的光和由所述第二多个LED发出的光。
2.根据权利要求1所述的光学指纹感应模块,其中,所述第一多个LED形成一个或多个第一列LED,同时所述第二多个LED形成一个或多个第二列LED并与所述一个或多个第一列LED交替,每个第一列和每个第二列沿着垂直于每个光准直器的方位面的方向延伸。
3.根据权利要求2所述的光学指纹感应模块,其中,所述一个或多个第一列LED包括多个第一列LED,所述多个第一列LED被布置成具有周期的第一列周期性阵列,并且,所述一个或多个第二列LED包括多个第二列LED,所述多个第二列LED被布置成具有周期的第二列周期性阵列。
4.根据权利要求3所述的光学指纹感应模块,其中,所述周期是根据所述光准直器的倾斜角度进行选择的,使:
由包括在所述第一帧的所述第一多个像素中的所述第一多个LED发出的光,在从所述盖板玻璃的所述顶面反射出之后,通过其中布置有所述第一多个LED的所述显示屏的部分来透射;并且
由包括在所述第二帧的所述第二多个像素中的所述第二多个LED发出的光,在从所述盖板玻璃的所述顶面反射出之后,通过其中布置有所述第二多个LED的所述显示屏的部分来透射。
5.根据权利要求4所述的光学指纹感应模块,其中:
由所述第一帧中的所述第二多个像素检测到的光没有通过其中布置有所述第一多个LED的所述显示屏的部分;并且
由所述第二帧中的所述第一多个像素检测到的光没有通过其中布置有所述第二多个LED的所述显示屏的部分。
6.根据权利要求3所述的光学指纹感应模块,其中,所述周期是根据所述光准直器的倾斜角度进行选择的,使:
由包括在所述第一帧的所述第一多个像素中的所述第一多个LED发出的光,在从所述盖板玻璃的所述顶面反射出之后,通过其中布置有所述第二多个LED的所述显示屏的部分来透射;并且
由包括在所述第二帧的所述第二多个像素中的所述第二多个LED发出的光,在从所述盖板玻璃的所述顶面反射出之后,通过其中布置有所述第一多个LED的所述显示屏的部分来透射。
7.根据权利要求6所述的光学指纹感应模块,其中:
由所述第一帧中的所述第二多个像素检测到的光通过其中布置有所述第一多个LED的所述显示屏的部分;并且
由所述第二帧中的所述第一多个像素检测到的光通过其中布置有所述第一多个LED的所述显示屏的部分。
8.根据权利要求2所述的光学指纹感应模块,其中,所述光准直器阵列被布置为多列光准直器,并且其中,所述光耦合器包括:
第一平面,其耦合至所述显示屏的底面;以及
第二表面,其包括多个斜面,所述多个斜面中的每个斜面耦合至所述光准直器阵列的相应的光准直器列。
9.根据权利要求8所述的光学指纹感应模块,其中,每个斜面相对于所述显示屏的法线都具有斜角,所述斜角是根据所述光准直器的倾斜角度选择的,这样,以所需的入射角入射到所述光耦合器上的光通过所述光准直器来透射,以被所述光电检测器阵列检测到。
10.根据权利要求1所述的光学指纹感应模块,其中,所述光准直器的倾斜角度小于45度。
11.一种使用布置在显示屏下方的光学指纹感应模块进行指纹感应的方法,所述显示屏包括盖板玻璃和布置在所述盖板玻璃下方的发光二极管LED阵列,所述方法包括:
提供所述光学指纹感应模块,所述光学指纹感应模块包括:
光耦合器,其布置在所述显示屏的指纹感应部分的下方;
光准直器阵列,其布置在所述光耦合器下方,所述光准直器阵列中的每一个的光轴相对于所述显示屏的法线形成倾斜角度,所述倾斜角度大于0度且小于90度;
光电检测器阵列,其耦合到所述光准直器阵列,所述光电检测器阵列包括像素阵列,每个像素配置成检测通过所述光准直器阵列中的一个或多个相应的光准直器透射的光;以及
电子电路,其耦合到所述光电检测器阵列,用于捕获由所述光电检测器阵列检测到的光强度所形成的指纹帧;
使用所述光电检测器阵列和所述电子电路捕获第一帧,同时在所述显示屏的所述指纹感应部分中开启第一多个LED并关闭第二多个LED,其中,所述第一帧包括第一多个像素和第二多个像素,所述第一帧中的所述第一多个像素包括由所述第一多个LED发出并从所述盖板玻璃的顶面反射出的光,所述第一帧中的所述第二多个像素不包括由所述第一多个LED发出的光;
使用所述光电检测器阵列和所述电子电路捕获第二帧,同时关闭所述第一多个LED并开启所述第二多个LED,其中,所述第二帧包括所述第一多个像素和所述第二多个像素,所述第二帧中的所述第二多个像素包括由所述第二多个LED发出并从所述盖板玻璃的所述顶面反射出的光,所述第二帧中的所述第一多个像素不包括由所述第二多个LED发出的光;以及
通过结合所述第一帧和所述第二帧,构建第一指纹图像和第二指纹图像,其中:
所述第一指纹图像包括所述第一帧中的所述第一多个像素和所述第二帧中的所述第二多个像素,其中所述第一帧中的所述第一多个像素包括由所述第一多个LED发出的光,并且所述第二帧中的所述第二多个像素包括由所述第二多个LED发出的光;并且
所述第二指纹图像包括所述第一帧中的所述第二多个像素和所述第二帧中的所述第一多个像素,其中所述第一帧中的所述第二多个像素和所述第二帧中的所述第一多个像素不包括由所述第一多个LED发出的光和由所述第二多个LED发出的光。
12.根据权利要求11所述的方法,其中,所述第一多个LED形成一个或多个第一列LED,同时所述第二多个LED形成一个或多个第二列LED并与所述一个或多个第一列LED交替,每个第一列和每个第二列沿着垂直于每个光准直器的方位面的方向延伸。
13.根据权利要求12所述的方法,其中,所述一个或多个第一列LED包括多个第一列LED,所述多个第一列LED被布置成具有周期的第一列周期性阵列,并且,所述一个或多个第二列LED包括多个第二列LED,所述多个第二列LED被布置成具有周期的第二列周期性阵列。
14.根据权利要求13所述的方法,其中,所述周期是根据所述光准直器的倾斜角度进行选择的,使:
由包括在所述第一帧的所述第一多个像素中的所述第一多个LED发出的光,在从所述盖板玻璃的所述顶面反射出之后,通过其中布置有所述第一多个LED的所述显示屏的部分来透射;并且
由包括在所述第二帧的所述第二多个像素中的所述第二多个LED发出的光,在从所述盖板玻璃的所述顶面反射出之后,通过其中布置有所述第二多个LED的所述显示屏的部分来透射。
15.根据权利要求14所述的方法,其中:
由所述第一帧中的所述第二多个像素检测到的光没有通过其中布置有所述第一多个LED的所述显示屏的部分;并且
由所述第二帧中的所述第一多个像素检测到的光没有通过其中布置有所述第二多个LED的所述显示屏的部分。
16.根据权利要求13所述的方法,其中,所述周期是根据所述光准直器的倾斜角度进行选择的,使:
由包括在所述第一帧的所述第一多个像素中的所述第一多个LED发出的光,在从所述盖板玻璃的所述顶面反射出之后,通过其中布置有所述第二多个LED的所述显示屏的部分来透射;并且
由包括在所述第二帧的所述第二多个像素中的所述第二多个LED发出的光,在从所述盖板玻璃的所述顶面反射出之后,通过其中布置有所述第一多个LED的所述显示屏的部分来透射。
17.根据权利要求16所述的方法,其中:
由所述第一帧中的所述第二多个像素检测到的光通过其中布置有所述第一多个LED的所述显示屏的部分;并且
由所述第二帧中的所述第一多个像素检测到的光通过其中布置有所述第一多个LED的所述显示屏的部分。
18.根据权利要求12所述的方法,其中,所述光准直器阵列被布置为多列光准直器,并且其中,所述光耦合器包括:
第一平面,其耦合至所述显示屏的底面;以及
第二表面,其包括多个斜面,所述多个斜面中的每个斜面耦合至所述光准直器阵列的相应的光准直器列。
19.根据权利要求18所述的方法,其中,每个斜面相对于所述显示屏的法线都具有斜角,所述斜角是根据所述光准直器的倾斜角度选择的,这样,以所需的入射角入射到所述光耦合器上的光通过所述光准直器来透射,以被所述光电检测器阵列检测到。
20.根据权利要求11所述的方法,其中,所述光准直器的倾斜角度小于45度。
CN201980006406.1A 2019-05-30 2019-10-10 带有倾斜接收光学元件的显示模块下的指纹传感器 Active CN111868736B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/427,269 2019-05-30
US16/427,269 US11210491B2 (en) 2019-05-30 2019-05-30 Fingerprint sensor under a display module with tilted receiving optics
PCT/CN2019/110471 WO2020237964A1 (en) 2019-05-30 2019-10-10 Fingerprint sensor under a display module with tilted receiving optics

Publications (2)

Publication Number Publication Date
CN111868736A CN111868736A (zh) 2020-10-30
CN111868736B true CN111868736B (zh) 2024-01-05

Family

ID=72970919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980006406.1A Active CN111868736B (zh) 2019-05-30 2019-10-10 带有倾斜接收光学元件的显示模块下的指纹传感器

Country Status (1)

Country Link
CN (1) CN111868736B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107580709A (zh) * 2015-06-18 2018-01-12 深圳市汇顶科技股份有限公司 具有光学感应能力的多功能指纹传感器
CN109154869A (zh) * 2016-06-07 2019-01-04 深圳市汇顶科技股份有限公司 用于屏上指纹感应的屏下光学传感器模块的光学准直器
CN109791599A (zh) * 2016-09-17 2019-05-21 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107580709A (zh) * 2015-06-18 2018-01-12 深圳市汇顶科技股份有限公司 具有光学感应能力的多功能指纹传感器
CN109154869A (zh) * 2016-06-07 2019-01-04 深圳市汇顶科技股份有限公司 用于屏上指纹感应的屏下光学传感器模块的光学准直器
CN109791599A (zh) * 2016-09-17 2019-05-21 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块

Also Published As

Publication number Publication date
CN111868736A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN210091189U (zh) 光学传感器装置和电子设备
US11048903B2 (en) Under-LCD screen optical sensor module for on-screen fingerprint sensing
US10410037B2 (en) Under-screen optical sensor module for on-screen fingerprint sensing implementing imaging lens, extra illumination or optical collimator array
US11017068B2 (en) Optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
EP3465399B1 (en) Optical collimators for under-screen optical sensor module for on-screen fingerprint sensing
EP3461292B1 (en) Anti-spoofing sensing for rejecting fake fingerprint patterns in under-screen optical sensor module for on-screen fingerprint sensing
EP3254235B1 (en) Under-screen optical sensor module for on-screen fingerprint sensing
CN109196525B (zh) 在用于屏上指纹感测的屏下光学传感器模块中拒绝假指纹图案的反欺骗感测
US10410036B2 (en) Under-screen optical sensor module for on-screen fingerprint sensing
CN110520863B (zh) 光学传感器模块、检测指纹的电子设备和方法
CN109791599B (zh) 用于屏幕上指纹感应的屏幕下光学传感器模块
US11210491B2 (en) Fingerprint sensor under a display module with tilted receiving optics
CN109791325B (zh) 具有***任务栏显示区的设备和用于屏上指纹感测的lcd屏下光学传感器模块
WO2018127101A1 (en) Improving optical sensing performance of under-screen optical sensor module for on-screen fingerprint sensing
CN111868736B (zh) 带有倾斜接收光学元件的显示模块下的指纹传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant