CN114402255A - 相机的光源 - Google Patents

相机的光源 Download PDF

Info

Publication number
CN114402255A
CN114402255A CN202080058546.6A CN202080058546A CN114402255A CN 114402255 A CN114402255 A CN 114402255A CN 202080058546 A CN202080058546 A CN 202080058546A CN 114402255 A CN114402255 A CN 114402255A
Authority
CN
China
Prior art keywords
light
camera
camera assembly
display
nir
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080058546.6A
Other languages
English (en)
Inventor
博涅夫 B·伊娃诺夫
M·米恩科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synaptics Inc
Original Assignee
Synaptics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synaptics Inc filed Critical Synaptics Inc
Publication of CN114402255A publication Critical patent/CN114402255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

一种设备包括第一相机，其中该第一相机包括一个或多个光传感器，一个或多个光传感器被配置为检测在第一方向上穿过第一表面的可见光。该设备还包括光源，该光源被配置为发射在与第一方向相反的第二方向上通过第一表面的红外（IR）光。该设备还包括被配置为检测IR光的反射的第二相机。

Description

相机的光源
技术领域
本实施例总体上涉及相机的光源。
背景技术
诸如智能电话、平板电脑、膝上型电脑和其他计算***之类的一些电子设备包括相机和显示器。相机通常设置在设备的提供环境的无障碍视图的区域内。因此，当集成在与显示器相同的表面上时，相机可以设置成相邻于显示器，设置在显示器周围的大的不美观的黑色边界内，或者设置在凹口或切口内。
发明内容
提供本发明内容是为了以简化的形式介绍下面在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。
本公开的主题的一个创新方面可以在包括第一相机的设备中实现，其中第一相机包括被配置为检测在第一方向上穿过第一表面的可见光的一个或多个光传感器。该设备还可以包括光源，该光源被配置为发射在与第一方向相反的第二方向上通过第一表面的红外（IR）光。该设备还可以包括被配置为检测IR光的反射的第二相机。
本公开的主题的另一创新方面可以在相机组件中实现。相机组件可以包括透镜和一个或多个光传感器，该一个或多个光传感器被配置为检测在第一方向上穿过透镜的可见光。相机组件还可以包括光源，该光源被配置为发射在与第一方向相反的第二方向上通过透镜的光。
本公开的主题的另一创新方面可以在相机组件中实现。相机组件可以包括一个或多个光传感器，其被配置为检测在第一方向上穿过相机组件的第一表面的可见光或IR光。相机组件还可以包括光源，该光源被配置为发射在与第一方向相反的第二方向上通过第一表面的光。相机组件还可以包括光导，该光导被配置为将光朝向第一表面转向（steer），其中第一表面包括光导的至少一部分。
附图说明
本实施例通过示例的方式示出，并且不旨在受附图中的图的限制。
图1示出了根据一些实施例的示例电子***。
图2示出了根据一些实施例的示例相机组件。
图3A示出了根据一些实施例的示例相机组件。
图3B示出了根据一些实施例的示例相机组件。
图3C示出了根据一些实施例的示例相机组件。
图3D示出了根据一些实施例的示例相机组件。
图3E示出了根据一些实施例的示例相机组件。
图3F示出了根据一些实施例的示例相机组件。
图3G示出了根据一些实施例的示例相机组件。
图4A-4K示出了根据一些实施例的示例电子***。
图5示出了根据一些实施例的示例电子***的横截面。
图6示出了根据一些实施例的示例电子***的横截面。
图7示出了根据一些实施例的示例电子***的横截面。
图8示出了根据一些实施例的示例电子***的横截面。
图9示出了根据一些实施例的由设置在显示器下方的相机捕获的示例图像。
图10示出了根据一些实施例的示例图像处理***的框图。
图11A示出了过滤之前的示例图像。
图11B示出了过滤之后的示例图像。
具体实施方式
在以下描述中，阐述了许多具体细节，诸如具体部件、电路和过程的示例，以提供对本公开的透彻理解。如本文中所使用的术语“耦合”意指直接连接到或通过一个或多个中间部件或电路连接。此外，在以下描述中并且出于解释的目的，阐述了具体命名法以提供对本公开的各方面的透彻理解。然而，对于本领域技术人员将显而易见的是，可以不需要这些具体细节来实践示例实施例。在其他实例中，以框图形式示出了公知的电路和设备，以避免使本公开模糊不清。以下详细描述的一些部分是根据对计算机存储器内的数据位的操作的过程、逻辑块、处理和其他符号表示来呈现的。电路元件或软件块之间的互连可以被示出为总线或单个信号线。总线中的每个可以替代地是单个信号线，并且单个信号线中的每个可以替代地是总线，并且单个线或总线可以表示用于部件之间的通信的无数物理或逻辑机制中的任何一个或多个。
除非另有明确说明，否则从以下讨论中显而易见的是，应当理解，在整个本申请中，利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“导出”等术语的讨论是指计算机***或类似电子计算设备的动作和过程，其将表示为计算机***的寄存器和存储器内的物理（电子）量的数据操纵和转换成类似地表示为计算机***的存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
本文中描述的技术可以以硬件、软件、固件或其任何组合来实现，除非特别描述为以具体方式实现。被描述为模块或部件的任何特征也可以在集成逻辑设备中一起实现，或者单独地实现为分立但可互操作的逻辑设备。如果以软件实现，那么技术可至少部分地由包括指令的非暂时性计算机可读存储介质实现，该指令在被执行时执行上文中所描述的方法中的一个或多个。非暂时性计算机可读存储介质可以形成计算机程序产品的一部分，该计算机程序产品可以包括封装材料。
非暂时性处理器可读存储介质可以包括随机存取存储器（RAM）（诸如同步动态随机存取存储器（SDRAM））、只读存储器（ROM）、非易失性随机存取存储器（NVRAM）、电可擦除可编程只读存储器（EEPROM）、闪存、其他已知的存储介质等。另外地或替代地，该技术可至少部分地由处理器可读通信介质实现，该处理器可读通信介质携载或传达呈指令或数据结构形式的代码且可由计算机或其它处理器存取、读取、和/或执行。
结合本文中公开的实施例描述的各种说明性逻辑块、模块、电路和指令可以由一个或多个处理器执行。如本文中所使用的术语“处理器”可以指代能够执行存储在存储器中的一个或多个软件程序的脚本或指令的任何通用处理器、常规处理器、控制器、微控制器、和/或状态机。
图1示出了根据一些实施例的示例电子***100。电子***100可以包括显示器106以及相机102和104。
显示器106可以包括多孔显示器，诸如有机发光二极管（OLED）显示器或微型发光二极管（微型LED）显示器，其包含显示像素和/或显示子像素之间的孔或间隙。
相机102和104中的每个可以包括有源像素传感器或光传感器的阵列（例如，光电二极管、互补金属氧化物半导体（CMOS）图像传感器阵列、电荷耦合器件（CCD）阵列、和/或能够检测可见光谱、IR光谱（例如，NIR或短波IR）或紫外（UV）光谱中的光的波长的任何其他传感器）。在一些实施例中，相机102和104两者可以被配置为检测NIR光。在其他实施例中，两个相机102和104中的一个可以被配置为检测可见光（例如，光的红色、绿色和蓝色（RGB）颜色分量）（“RGB相机”），并且另一个相机可以被配置为检测NIR光。此外，在一些实施例中，相机102和104中的每个可以被配置为支持深度感测。例如，相机102和104中的每个可以被配置为捕获相机的视场（FOV）中的对象或场景的图像，可以组合该图像，并且可以从组合的图像中提取关于对象或场景的深度信息。深度感测的分辨率可以取决于相机102和104之间的分离（separation）距离。换句话说，分离距离越大，可以从由相机102和104捕获的图像导出的深度信息的量越大。
在一些实施例中，相机102和104中的一个或两者可以设置在显示器106后面。例如，当相机102设置在显示器106后面时，相机的FOV可能被显示器106的像素和/或子像素部分地阻挡。因此，当光穿过显示器106时，一些光可能被像素和/或子像素遮挡，而剩余的光可以被相机102检测到。相机102可以将剩余的光捕获在图像中，但是图像可能包含由于遮挡引起的噪声、失真或干扰。在一些实施例中，神经网络模型可以用于滤除该噪声或干扰，使得图像适合于深度感测和/或其他图像处理。除了其他优点之外，将相机102设置在显示器106后面还可以消除对显示器106的边框中的不美观的黑色边界、切口或凹口的需要。继而，可以增强电子***100的屏幕与主体比率，并且电子***100可以支持无边框显示器。
在一些实施例中，显示器下相机可能需要光源以便捕获对象或场景的图像。本公开的方面提供了相机组件（图1中未示出），其被配置为发射用于相机（诸如显示器下相机或相机组件内的相机）的光。如下面进一步描述的，相机组件可以包括透镜、相机和光源。此外，相机组件可以被设置为相邻于显示器106。在一些实施例中，相机组件还可以包括反射器，该反射器被配置为将从光源发射的光反射通过透镜。在其他实施例中，相机组件还可以包括光导，所述光导被配置为将由光源发射的光转向通过相机组件的第一表面。
图2示出了根据一些实施例的示例相机组件200。相机组件200可以包括光源210、反射器216、透镜212、相机214、滤光器218、接近传感器254和壳体208。
光源210设置在壳体208内部，在透镜212的侧面。光源210可以包括LED、竖直腔面发射激光器（VCSEL）、激光二极管、或能够发射IR光谱（包括但不限于NIR或短波红外（SWIR））中的光的波长的其他光源。
反射器216被配置为将由光源210发射的IR光反射远离相机214，并且将来自透镜212的可见光透射到相机214。在一些实施例中，反射器216可以包括反射平面、分色反射器、和/或分色镜。在其他实施例中，反射器216可以包括分束器。
透镜212是被配置为透射可见光和/或IR光的光学透镜或透镜组件。更具体地，透镜212可以被配置为在向内（或第一）方向上将可见光222从相机组件200外部透射到相机214。在一些方面中，透镜212可以被配置为将可见光222聚焦到相机214上。透镜212还可以被配置为透射由光源210发射并由反射器216反射的IR光220。如图2中所示，IR光220可以在与可见光222的方向相反的方向上或者在向外（或第二）方向上远离相机组件200行进。
相机214可以包括有源像素传感器或光传感器的阵列（例如，光电二极管、CMOS图像传感器阵列、CCD阵列、和/或能够检测可见光谱、IR光谱或UV光谱中的光波长的任何其他传感器）。在一些实施例中，相机214可以是RGB相机。此外，相机214可以被配置为在光源210发射IR光220的同时检测可见光222。此外，相机214可以被配置为执行宽范围成像，其中对象或场景在近处或远处成像。
滤光器218设置在相机214和透镜212之间。滤光器218可以包括IR截止滤光器。滤光器218可以被配置为反射和/或阻挡IR光波长（例如，中IR波长、NIR或SWIR），使得IR光不干扰相机214。
接近传感器254设置在壳体208内部，接近光源210。接近传感器254可以包括有源像素传感器或光传感器的阵列（例如，光电二极管、CMOS图像传感器阵列、CCD阵列、和/或能够检测可见光谱、IR光谱、或UV光谱中的光波长的任何其他传感器）。此外，接近传感器254可以被配置为检测由光源210发射的IR光220的反射。
壳体208可以包括围绕透镜212并且包围光源210、反射器216、滤光器218和相机214的结构。如图2中所示，第一表面258由壳体208的顶部、透镜212的顶部、和透镜212的侧面的一部分形成。此外，长度L1是壳体208的长度，如从壳体208的顶部（在第一表面258处）到壳体208的底部（在相机214附近）测量的那样。在一些实施例中，最小化壳体208的长度L1可能是有利的。
在一些实施例中，在操作期间，光源210可以发射IR（例如，NIR或SWIR）光220，其反射离开反射器216并且在远离相机组件200的向外（或第二）方向上穿过透镜212。IR光220可以照亮相机组件200和相机214前面的场景。场景中的对象可以将IR光220的至少一部分朝向相机组件200和设置在相机组件200附近的显示器反射回来。反射的IR光220中的一些可被显示器中的像素和/或子像素遮挡，而反射的IR光220的其余部分穿过显示像素和/或显示子像素之间的孔。穿过孔的反射的IR光220可以由被配置为检测反射的IR光220的相机（“IR相机”）检测到。IR相机中的每个可以将检测到的IR光220捕获在图像中，并且捕获的图像可以适合于深度感测。
在其他实施例中，在操作期间，光源210可以发射IR（例如，NIR或SWIR）光220，其反射离开反射器216并且在远离相机组件200的向外方向上穿过透镜212。IR光220可以照亮相机组件200和相机214前面的场景。场景中的对象可以将IR光220的至少一部分朝向相机组件200反射回来。反射的IR光220可以穿过透镜212，反射离开反射器216，并且被接近传感器254检测到。因此，相机组件200可以能够发射和感测IR光，以便例如检测用户的存在。
图3A示出了根据一些实施例的示例相机组件300A。相机组件300A可以包括光源310、光导324、壳体308、透镜312、滤光器318和相机314。
光源310可以耦合到光导324并且被配置为发射IR光320。光源310可以包括LED、VCSEL、激光二极管、或能够发射可见光谱和/或IR光谱（包括但不限于NIR或SWIR）中的光波长的其他光源。
光导324可以被配置为将由光源310发射的IR光320转向向外（或第二）方向、自相机组件300A离开。在一些实施例中，光导324可以包括透明材料，诸如透明聚碳酸酯。此外，光导324可以被配置为反射光。例如，在一些实施例中，光导324可以被配置为反射光，其中光导324的内表面（其可以包括壳体308的外表面）具有大于壳体308的内表面的折射率的折射率。作为另一示例，光导324可以被配置为反射光，其中光导324的内表面（其可以包括壳体308的外表面）包括反射表面，而壳体308的内表面包括暗表面或能够吸收可见光或IR（例如，NIR和/或SWIR）光的表面。在一些实施例中，光导324可以包括（一个或多个）光纤，并且在其他实施例中，光导324可以包括反射镜和/或反射器。此外，光导324可以耦合（例如，借助于模制（molding））到壳体308。
透镜312是光学透镜或透镜组件，其被配置为在向内（或第一）方向上将可见光322从相机组件300A外部透射到相机314。在一些方面中，透镜312可以被配置为将可见光322聚焦到相机314上。在一些实施例中，透镜312可以包括丙烯酸。
相机314可以包括有源像素传感器或光传感器的阵列（例如，光电二极管、CMOS图像传感器阵列、CCD阵列、和/或能够检测可见光谱、IR光谱（例如，NIR或SWIR）、或UV光谱中的光波长的任何其他传感器）。在一些实施例中，相机314可以包括RGB相机。此外，相机314可以被配置为在光源310发射IR光320时检测可见光322。此外，相机314可以被配置为执行宽范围成像，其中对象或场景在近处或远处成像。
滤光器318设置在相机314和透镜312之间。滤光器318可以包括IR截止滤光器。滤光器318可以被配置为反射和/或阻挡IR光波长（例如，中IR波长、NIR或SWIR光），使得IR光不干扰相机314。
壳体308围绕透镜312并且包围滤光器318和相机314。如上所述，壳体308的内表面（例如，面向相机314的壁）可以包括暗表面或被配置为吸收可见光或IR（例如，NIR和/或SWIR）光的表面。如图3A中所示，第一表面358由壳体308的顶部、透镜312的顶部、和光导324的侧面形成。此外，长度L1是壳体308的长度，如从壳体308的顶部（在第一表面358处）到壳体308的底部（在相机314附近）测量的那样。在一些实施例中，最小化壳体308的长度L1可能是有利的。
在操作期间，光源310可以发射IR（例如，NIR或SWIR）光320，其被转向通过光导324和第一表面358。IR光320可以照亮相机组件300A和相机314前面的场景。场景中的对象可以将IR光320的至少一部分朝向相机组件300A和设置在相机组件300A附近的显示器反射回来。反射的IR光中的一些可以穿过显示器的像素和/或子像素之间的孔，并且被设置在显示器后面的IR相机检测到。IR相机中的每个可以将检测到的IR光捕获在图像中，并且捕获的图像可以适合于深度感测。
参考图3A，在一些实施例中，光源310可以被配置为发射IR（例如，NIR或SWIR）光320，并且相机314可以被配置为检测IR光320和/或可见光322。此外，在一些实施例中，光源310可以被配置为在相机314检测IR光320和/或可见光322的同时发射IR光320。例如，在成像期间，光源310可以发射IR光320，该IR光320通过光导324和第一表面358被引导到相机组件300A的前面。IR光320中的一些可以反射离开相机组件300A前面的对象或特征，并且穿过透镜312到达相机314。因此，相机组件300A可以能够发射和感测IR光以用于成像。
在其他实施例中，光源310可以被配置为发射可见光。在成像期间，光源310可以发射可见光，该可见光通过光导324和第一表面358被引导到相机组件300A的前面。可见光中的一些可以反射离开相机组件300A前面的对象或特征，然后穿过透镜312到达相机314。因此，相机组件300A可以能够发射和感测可见光以用于成像。
图3B示出了根据一些实施例的示例相机组件300B。相机组件300B可以是上面参考图3A描述的相机组件300A的实施例。如图3B中所示，相机组件300B包括两个光源310，但是在一些实施例中，相机组件300B可以包括多于两个光源。每个光源310可以耦合到光导324。此外，光源310中的每个可以包括LED、VCSEL、激光二极管或能够发射IR光谱（包括但不限于NIR或SWIR）中的光的波长的其他光源。在操作期间，光源310中的每个可以发射IR光320，该IR光320通过光导324朝向相机组件300B的前面行进。如上面参考图2和3A所述，IR（例如，NIR或SWIR）光320可以反射离开相机组件300B前面的对象或特征，并且由显示器下IR相机检测以用于深度感测和图像处理。
图3C示出了根据一些实施例的示例相机组件300C。相机组件300C可以是上面参考图3A和3B描述的相机组件300A和/或300B的实施例。如图3C中所示，相机组件300C包括相机314，相机314可以能够检测可见光谱或IR光谱（例如，NIR或SWIR）中的光的波长。此外，相机组件300C包括光源310，光源310可以能够发射可见光谱和/或IR光谱（例如，NIR或SWIR）中的光波长。
如图3C中所示，相机组件300C还包括光导324。光导324包括漫射表面326，漫射表面326可以被配置为漫射、扩散或散射由光源310发射的光（例如，可见光、NIR或SWIR）320。漫射表面326可以包括第一表面358的一部分，其形成围绕壳体308的环。此外，漫射表面326可以包括光导324的一部分。例如，漫射表面326可以借助于模制与光导324集成。在一些实施例中，漫射表面326可以包括具有一定粗糙度的衍射光栅。更具体地，衍射光栅可以包括大量纤细凹槽、狭缝或脊。在一些实施例中，凹槽、狭缝和/或脊可以随机定位，或者它们可以以平行或均匀的方式定位以形成图案。因此，漫射表面326可以被配置为提供光320的均匀照明轮廓或定制照明图案。
图3D示出了根据一些实施例的示例相机组件300D。相机组件300D可以是上面参考图3A、图3B和图3C描述的相机组件300A、300B和/或300C的实施例。如图3D中所示，光导324包括透镜和/或微透镜328（“微透镜328”）。在一些实施例中，多个微透镜328可以集成（例如，模制）在形成围绕壳体308的环的第一表面358的一部分上。微透镜328可以被配置为漫射和/或衍射由光源310发射的IR光320。
图3E示出了根据一些实施例的示例相机组件300E。相机组件300E可以是上面参考图3A-3D描述的相机组件300A、300B、300C和/或300D的实施例。如图3E中所示，光导324包括设置在壳体308的任一侧上的两个微透镜330。在一些实施例中，多于两个微透镜330可以沿着形成围绕壳体308的环的光导324的表面设置在壳体308的任一侧上。微透镜330可以被配置为漫射和/或衍射由光源310发射的光。
图3F示出了根据一些实施例的示例相机组件300F。相机组件300F可以是上面参考图3A-3E描述的相机组件300A、300B、300C、300D和/或300E的实施例。在一些实施例中，相机组件300F可以包括环境光传感器352。环境光传感器352可以被配置为检测相机组件300F前面的环境光的量。在感测期间，相机组件300F前面的环境光350可以通过光导324被引导到环境光传感器352。因此，相机组件300F可以能够测量环境光，以便例如调节耦合到相机组件300F的显示屏的亮度。
图3G示出了根据一些实施例的示例相机组件300G。相机组件300G可以是上面参考图3A-3F描述的相机组件300A、300B、300C、300D、300E和/或300F的实施例。
如图3G中所示，相机组件300G包括光导324，其可以被配置为反射光。在一些实施例中，光导324可以被配置为反射光，其中光导324的内表面具有大于壳体308的内表面的折射率的折射率。此外，在一些实施例中，光导324可以被配置为反射光，其中光导324的内表面包括反射表面，而壳体308的内表面包括暗表面或能够吸收可见光或IR（例如，NIR和/或SWIR）光的表面。
在一些实施例中，相机组件300G可以包括接近传感器354。接近传感器354可以被配置为检测由光源310发射的IR（例如，NIR或SWIR）光320。在感测期间，光源310可以发射IR光320，其可以通过光导324被引导到相机组件300G的前面（为了简单起见未示出发射的IR光320）。IR光320中的一些可以反射离开相机组件300G前面的对象或特征，并且通过光导324行进返回到接近传感器354。因此，相机组件300G可以能够发射和感测IR光，以便例如检测用户的存在。
图4A-4K示出了根据一些实施例的示例电子***400A-400K。电子***400A-400K中的每个包括相机组件432、相机402和/或404、以及显示器406。相机组件432可以是图2和图3A-3G中的相机组件200和/或300A-300G的实施例。相机402和404中的每个可以是图1的相机102和/或104的实施例。此外，相机402和404中的每个可以设置在显示器406下方，并且被配置为捕获图像以用于深度感测。
如图4A中所示，相机组件432设置在电子***400A的拐角附近，并且相机402和404沿着长轴朝向电子***400A的端部设置。
在操作期间，IR（例如，NIR或SWIR）光可以由相机组件432的光源发射以照亮相机组件432前面的场景。场景中的对象可以将IR光的至少一部分朝向相机组件432和显示器406反射回来。反射的IR光中的一些可以穿过显示器406的像素和/或子像素之间的孔，并且被设置在显示器406后面的IR相机402和404检测到。相机402和404中的每个可以将检测到的IR光捕获在图像中，并且捕获的图像可以适合于深度感测。
在图4B中，相机组件432设置在电子***400B的拐角附近，并且相机402和404沿长轴设置在电子***400B的中间区域附近。如上面参考图1所讨论的，两个相机之间的分离距离影响深度感测的分辨率。换句话说，相机之间的距离越大，可以从由相机捕获的图像导出的深度信息的量越大。相比于图4A，图4B的相机402和404分开较小的距离。因此，图4A的相机402和404可以支持比图4B的相机402和404高的深度感测分辨率。
图4C示出了设置在电子***400C的拐角附近的相机组件432，以及沿着短轴朝向电子***400C的中间区域设置的相机402和404。图4D示出了设置在电子***400D的拐角附近的相机组件432，以及沿短轴设置在电子***400D的上部中的相机402和404。
图4E示出了设置在电子***400E的一个端部附近的相机组件432。相机402和404沿着长轴设置，与相机组件432对准。在图4F中，相机组件432设置在电子***400F的一个端部附近。相机402和404沿着长轴设置，与相机组件432对准。相比于图4E，图4F的相机402和404分开较小的距离。因此，图4E的相机402和404可以支持比图F的相机402和404高的深度感测的分辨率。
图4G示出了设置在电子***400G的一个端部附近的相机组件432。相机402和404沿着短轴朝向电子***400G的中间区域设置。
图4H示出了设置在电子***400H的一个端部附近的相机组件432和设置在电子***400H的相对端部附近的相机402。在一些实施例中，相机组件432和相机402两者都可以被配置为捕获用于深度感测的图像。
图4I示出了设置在电子***400I的一个端部附近的相机组件432和设置在电子***400I的中间区域附近的相机402。在一些实施例中，相机组件432和相机402两者都可以被配置为捕获用于深度感测的图像。
图4J示出了设置在电子设备400J的一个拐角附近的相机组件432和设置在电子设备400J的端部附近的相机402。在一些实施例中，相机组件432和相机402两者都可以被配置为捕获用于深度感测的图像。
图4K示出了设置在电子***400K的一个拐角附近的相机组件432和设置在电子***400K的中间区域附近的相机402。在一些实施例中，相机组件432和相机402两者都可以被配置为捕获用于深度感测的图像。
图5示出了根据一些实施例的示例电子***500的横截面。电子***500可以是图1和图4A-4G中的电子***100和/或400A-400G的实施例。如图5中所示，电子***500包括相机组件532、显示层506和模块540。相机组件532可以是图2和图4A-4G的相机组件200和/或432的实施例。模块540包括相机502和504，相机502和504中的每个可以是图1和图4A-4G的相机102、104、402和/或404的实施例。
相机组件532包括光源510、反射器516、透镜512、相机514、滤光器518和壳体508。此外，长度L1是壳体508的长度，如从壳体508的顶部（在第一表面558处）到壳体508的底部（在相机514附近）测量的那样。在一些实施例中，最小化壳体508的长度L1可能是有利的。此外，虽然长度L1看起来短于长度L2（其跨越显示层506和模块540的长度），但是L1可以是短于、等于或长于长度L2的几乎任何长度。另外，虽然相机组件532被示出为相邻于显示层506和模块540，但是在实际实现方式中，部件（未示出）可以将相机组件532与显示层506和模块540分开。
显示层506可以包括多孔显示器（诸如OLED显示器或微型LED显示器）的多个层。如图5中所示，显示层506可包括显示表面536和发射层538。在一些实施例中，发射层538可包括多个显示像素和/或显示子像素，其中在每个显示像素和/或显示子像素之间具有孔、间隙或空的空间。
模块540设置在显示层506下方，并且可以包括相机502和504以及对应的透镜542。相机502和504可以包括被配置用于宽范围成像的IR CMOS传感器，其中对象或场景在近处或远处成像。相机502和504还可以被配置为快速感测诸如手指、手和头部之类的对象。此外，相机502和504中的每个可以被配置为捕获用于深度感测的图像。深度感测的分辨率可以取决于相机502和504之间的分离距离D。换句话说，距离D越大，可以从由相机502和504捕获的图像导出的深度信息的量越大。
在操作期间，光源510可以发射IR（例如，NIR或SWIR）光520，其反射离开反射器516并穿过透镜512。IR光520可以照亮相机组件532以及相机502和504前面的场景。场景中的对象可以将IR光520的至少一部分朝向显示层506反射回来，例如，作为反射的光520（R）（1）和520（R）（2）。反射的光520（R）（1）和520（R）（2）中的一些可能被发射层538中的显示像素和/或显示子像素遮挡，而反射的光520（R）（1）和520（R）（2）的其余部分穿过显示像素和/或显示子像素之间的孔。穿过孔和透镜542的反射的光520（R）（1）和520（R）（2）可以分别由相机502和504检测。相机502和504中的每个可以将它们各自的反射的IR光捕获为单独的图像，并且这些图像可以被组合以用于深度感测。
图6示出了根据一些实施例的示例电子***600的横截面。电子***600可以是图4H-4K中的电子***400H-400K中的任何的实施例。如图6中所示，电子***600包括相机组件632、显示层606和模块640。相机组件632可以是图2、4A-4K和5的相机组件200、432和/或532的实施例。显示层606可以是图5中的显示层506的实施例。如图6中所示，模块640包括相机604，相机604可以是图1和图4A-4K以及图5的相机102、104、402、404、502和/或504的实施例。
在操作期间，光源610可以发射IR（例如，NIR或SWIR）光620，其反射离开反射器616并穿过透镜612。IR光620可以照亮相机组件632和相机604前面的场景。场景中的对象可以将IR光620的至少一部分朝向显示层606反射回来，例如，作为反射的光620（R）。反射的光620（R）中的一些可以穿过显示层606和透镜642，由相机604检测，并且被捕获为图像。在一些实施例中，基本上在光源610发射IR光620的同时，相机614可以检测反射离开场景中的对象的可见光622（例如，来自太阳或另一光源），并且将可见光622捕获在图像中。由相机614和604捕获的图像可以被组合以用于深度感测。
图7示出了根据一些实施例的示例电子***700的横截面。电子***700可以是图1和图4A-4G中的电子***100和/或400A-400G的实施例。如图7中所示，电子***700包括相机组件732、显示层706和模块740。相机组件732可以是图3A-3G中的相机组件300A和/或相机组件300B-300G中的任何的实施例。显示层706可以是图5和图6中的显示层506和/或606的实施例。此外，模块740可以是图5的模块540的实施例。
相机组件732包括光源710、光导724、透镜712、相机714、滤光器718和壳体708。在一些实施例中，相机组件732还可以包括附加光源、漫射表面、微透镜、环境传感器和/或接近传感器，如图3B-3G中所示。
长度L1是壳体708的长度，如从壳体708的顶部（在第一表面758处）到壳体708的底部（在相机714附近）测量的那样。在一些实施例中，最小化壳体708的长度L1可能是有利的。此外，虽然长度L1看起来短于长度L2（其跨越显示层706和模块740的长度），但是L1可以是短于、等于或长于长度L2的几乎任何长度。另外，虽然相机组件732被示出为与显示层706和模块740相邻，但是在实际实现方式中，部件（未示出）可以将相机组件732与显示层706和模块740分开。
在操作期间，光源710可以发射IR（例如，NIR或SWIR）光720，其被转向通过光导724和第一表面758。IR光720可以照亮相机702、704和714前面的场景。场景中的对象可以将IR光720的至少一部分朝向显示层706反射回来，例如，作为反射的IR光720（R）（1）和720（R）（2）。反射的IR光720（R）（1）和720（R）（2）中的一些可以穿过显示层706和透镜742，并且分别由相机702和704检测。相机702和704中的每个可以将它们各自的IR光捕获为单独的图像，并且这些图像可以被组合以用于深度感测。
图8示出了根据一些实施例的示例电子***800的横截面。电子***800可以是图4H-4K中的电子***400H-400K中的任何的实施例。如图8中所示，电子***800包括相机组件832、显示层806和模块840。相机组件832可以是图3A-3G中的相机组件300A和/或相机组件300B-300G中的任何的实施例。显示层806可以是图5-7中的显示层506、606和/或706的实施例。此外，模块840包括相机804，相机804可以是图1、图4A-4K和图5-7中的相机102、104、402、404、502、504、604、702和/或704的实施例。在一些实施例中，相机804可以被配置为检测IR（例如，NIR或SWIR）光，并且滤光器818可以被配置为屏蔽相机804免受可见光。
在操作期间，光源810可以发射IR（例如，NIR或SWIR）光820，其被转向通过光导824和第一表面858。IR光820可以照亮相机804和814前面的场景。场景中的对象可以将IR光820的至少一部分朝向相机组件800和显示层806反射回来，例如，作为反射的IR光820（R）（1）和820（R）（2）。反射的IR光820（R）（1）中的一些可以穿过显示层806和透镜842，由相机804检测，并且被捕获为图像。此外，反射光820（R）（2）中的一些可以穿过透镜812和滤光器818到达相机814，相机814可以将反射光820（R）（2）捕获在图像中。由相机804和814捕获的图像中的每个可以被组合以用于深度感测。
在一些实施例中，相机814可以被配置为检测可见光，并且滤光器818可以被配置为屏蔽相机814免受IR光。在操作期间，光源810可以发射IR（例如，NIR或SWIR）光820，其被转向通过光导824和第一表面858。IR光820可以照亮相机804和814前面的场景。场景中的对象可以将IR光820（R）（1）的至少一部分朝向显示层806反射回来，例如，作为反射的光820（R）（1）。反射的光820（R）（1）中的一些可以穿过显示层806和透镜842，由相机804检测，并且被捕获为图像。在一些实施例中，基本上在光源810发射IR光820的同时，相机814可以检测反射离开场景中的对象的可见光822（例如，来自太阳或另一光源），并且将可见光822捕获在图像中。由相机814和804捕获的图像中的每个可以被组合以用于深度感测。
图9示出了根据一些实施例的由设置在显示器下方的相机捕获的示例图像900。图像900可以由设置在多孔显示器后面或下面的相机捕获，诸如例如，图1、图4A-4K和图5-8的相机102、104、402、404、502、504、604、702、704或804。如图9中所示，图像900包括暗线和亮点的网格——或“纱门效应（screen door effect）”。暗线对应于显示像素和/或显示子像素的图案，并且由阻挡一些光穿过显示器的显示像素和/或显示子像素产生。相比之下，较亮的点对应于显示像素和/或显示子像素之间的间隙或孔。亮点由穿过显示器中的孔或间隙到达下面的相机的光产生。
在一些实施例中，由显示器下相机捕获的图像可以包括网格或纱门效应，其看起来好像显示器下相机通过多层纱门（或纱门的堆叠）同时成像，其中每个纱门层具有不同的间距（即，孔尺寸或密度）。在这样的实施例中，光可以穿过纱门层的显示像素和/或显示子像素之间的孔或间隙。此外，每个光点水平地和竖直地扩散到不同的位置（即，如点扩散函数）中，并且每个IR光点以类似的方式跨图像扩散，这可能导致显著的失真。
如图9中所示，图像900的部分被显示器的像素和/或子像素模糊化（obfuscated）。换句话说，显示像素和/或显示子像素可以减少可用于感测的光量，并且有效地阻挡显示器下相机的FOV。因此，在一些实施例中，可以对捕获的图像进行过滤或校准，以便消除纱门效应、失真或其他伪影。
图10示出了根据一些实施例的图像处理***1000的框图。图像处理***1000包括设备接口1010、处理器1020和存储器1030。出于本文中讨论的目的，处理器1020被示出为耦合到设备接口1010和存储器1030。对于实际的实施例，设备接口1010、处理器1020和/或存储器1030可以使用一个或多个总线（为了简单起见未示出）连接在一起。在一些实施例中，图像处理***1000可以是图1、图4A-4K和图5-8的电子***100、400A-400K和/或500-800的专用集成电路（ASIC）或其他集成电路（IC）。
设备接口1010可以向输入设备发射信号和从输入设备接收信号，输入设备包括但不限于一个或多个相机、相机组件和/或显示器。在一些实施例中，设备接口1010可以包括显示接口1012。显示接口1012可以用于与显示器通信和/或向图像处理***1000的用户提供视觉接口。在一些实施例中，设备接口1010还可以包括RGB相机接口1014和IR相机接口1016和1018。每个相机接口1014、1016和1018可以用于与不同的相机通信。举例来说，RGB相机接口1014可将激活信号发射到相机514或714且从相机514或714接收传感器信息以捕获对象或场景的图像。此外，IR相机接口1016和1018中的每个可以向例如相机502、504、702或704发射激活信号并从其接收传感器信息，以捕获对象和/或场景的IR图像。
存储器1030可以包括图像缓冲器1032以存储经由相机接口1014、1016和/或1018接收的图像。存储器1030还可以包括非暂时性计算机可读介质（例如，一个或多个非易失性存储器元件，诸如EPROM、EEPROM、闪存、硬盘驱动器等），其可以存储至少以下SW模块：
·图像过滤SW模块1034，用于对经由IR相机接口1016和/或1018（或与显示器下的相机通信的其他接口）接收的图像进行过滤，图像过滤SW模块1034还包括：
o 用于从经由IR相机接口1016和/或1018接收的图像中过滤、减少或消除噪声的神经网络模型1035；以及
·深度图SW模块（或深度图生成器）1036，用于组合经由（i）IR相机接口1016和1018两者或（ii）RGB相机接口1014和IR相机接口1016或1018接收的图像，并且使用例如立体视觉从图像中提取深度信息。
每个软件模块包括当由处理器1020执行时使图像处理***1000执行对应功能的指令。
例如，处理器1020可以执行图像过滤SW模块1034以对经由IR相机接口1016和/或1018接收的图像进行过滤。在执行图像过滤SW模块1034时，处理器1020可以使用神经网络模型1035来从经由IR相机接口1016和/或1018接收的图像中过滤、减少或消除噪声（诸如纱门效应）。处理器1020可进一步执行深度图SW模块1036以确定经过滤的图像中的对象或特征的深度信息。例如，深度图生成器可以使用立体视觉来组合经过滤的图像并从组合的、经过滤的图像中提取深度信息。深度图生成器可至少部分地基于所提取深度信息进一步生成对象或特征的深度图。此外，处理器1020还可以至少部分地基于深度信息来认证图像中的主体、对象或特征。
如上面关于图9和图10所描述的，由显示器下相机捕获的图像可以包括纱门效应或其他噪声、失真或干扰。本公开的各方面认识到，纱门效应发生在光（例如，反射的IR、NIR或SWIR光）穿过显示器，并且一些光被显示器的像素和/或子像素遮挡，而其余光穿过像素和/或子像素之间的孔并由显示器下相机捕获在图像中的情况下。为了促进深度感测或其他应用，图像过滤器可以使用神经网络模型来从图像中滤除纱门效应。
图11A示出了在过滤之前由显示器下相机捕获的示例图像1110。参考图10，示例图像1110可以从显示器下IR相机发射到例如IR相机接口1016。然后，IR相机接口1016可以将示例图像1110发射到图像缓冲器1032以用于存储。如图11A中所示，示例图像1110被纱门效应模糊化。为了支持深度感测或其他应用，图像过滤SW模块1034可以对示例图像1110进行过滤以去除失真。
图11B示出了过滤之后的示例图像1120。示例图像1120可以是图11A中所示的示例图像1110的经过滤的版本。参考图10，图像缓冲器1032可以将示例图像1110发射到图像过滤SW模块1034。图像过滤SW模块1034可以使用神经网络模型1035来从示例图像1110中滤除纱门效应。如图11B中所示，经过滤的图像1120更清楚地示出人，且可适用于深度感测或其它应用。
在一些实施例中，神经网络模型1035可以包括CNN，该CNN经训练以从捕获的图像中滤除纱门效应或其他噪声。换句话说，CNN可经训练以从对象或场景的模糊图像推断对象或场景的原始或干净图像。在一些实施例中，可以通过接收和处理对象或场景的至少一个原始图像以及对象或场景的至少一个模糊图像来训练CNN。在一些实施例中，代替CNN或除了CNN之外，可以使用反向点扩散函数变换来对图像进行过滤。因此，图像过滤SW模块1034可以使用神经网络模型1035和/或反向点扩散函数变换来对来自显示器下IR相机的图像进行过滤。
一些捕获的图像（例如，模糊或经过滤的图像）和图像内容（例如，深度信息、深度图或认证的人、对象或场景）可以存储在图1、图4A-4K和图5-8的电子***100、400A-400K和/或500-800上的安全存储库中（例如，在可信环境中）。安全储存库可以与电子***的其余部分虚拟地和/或物理地划分开，使得仅驻留在可信环境内的应用和/或硬件可以访问存储在安全储存库中的数据。在一些方面中，安全储存库可以至少部分地形成在存储器1030内。因此，某些捕获的图像和图像内容可以存储在存储器1030的安全存储库内（例如，在图像缓冲器1032内）。
在一些实施例中，神经网络模型1035可以至少部分地驻留在图1、图4A-4K和图5-8的电子***100、400A-400K和/或500-800中的可信环境内。将神经网络模型1035放置在可信环境内使得神经网络模型1035能够对受保护的捕获图像和图像内容执行机器学习（例如，利用CNN）。
本领域技术人员将理解，信息和信号可以使用各种不同的技术和技艺中的任何一种来表示。例如，可以通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示可以贯穿以上描述引用的数据、指令、命令、信息、信号、比特、符号和码片。
此外，本领域技术人员将理解，结合本文中所公开的各方面描述的各种说明性逻辑块、模块、电路和算法步骤可被实现为电子硬件、计算机软件、或两者的组合。为了清楚地说明硬件与软件的此可互换性，上文已大体上在其功能性方面描述了各种说明性部件、块、模块、电路、和步骤。这种功能性是实现为硬件还是软件取决于特定应用及施加在整个***上的设计约束。所属领域的技术人员可针对每个特定应用以不同方式实现所描述的功能性，但这样的实现方式决策不应被解释为导致脱离本发明的范围。
结合本文中所公开的方面所描述的方法、序列或算法可直接体现在硬件中、由处理器执行的软件模块中、或两者的组合中。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其他形式的存储介质中。示例存储介质耦合到处理器，使得处理器可以从存储介质读取信息和向存储介质写入信息。在替代方案中，存储介质可以集成到处理器。
在前述说明书中，已经参考实施例的具体示例描述了实施例。然而，将明显的是，在不脱离如所附权利要求中阐述的本公开的更宽范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (24)

1.一种设备，包括：
第一相机，所述第一相机包括一个或多个光传感器，所述一个或多个光传感器被配置为检测在第一方向上穿过第一表面的可见光；
光源，所述光源被配置为发射在与所述第一方向相反的第二方向上通过所述第一表面的红外（IR）光；以及
第二相机，所述第二相机被配置为检测所述IR光的反射。
2.根据权利要求1所述的设备，还包括：
显示器，其中所述第二相机被设置在所述显示器后面并且被配置为检测穿过所述显示器的所述IR光的所述反射。
3.根据权利要求1所述的设备，其中所述第一表面包括透镜，所述透镜被配置为将所述可见光聚焦到所述一个或多个光传感器上。
4.根据权利要求1所述的设备，还包括：
分色反射器，所述分色反射器被配置成将所述可见光透射到所述一个或多个光传感器，同时将所述IR光反射远离所述一个或多个光传感器。
5.根据权利要求1所述的设备，还包括：
光导，所述光导被配置为将所述IR光朝向所述第一表面转向，其中所述第一表面包括所述光导的至少一部分。
6.根据权利要求5所述的设备，其中所述光导的所述部分包括漫射表面，所述漫射表面被配置为漫射从所述第一表面发射的所述IR光。
7.根据权利要求5所述的设备，其中所述光导的所述部分包括多个微透镜，所述多个微透镜被配置为漫射从所述第一表面发射的所述IR光。
8.根据权利要求5所述的设备，其中所述光导还被配置为将从所述第一表面发射的环境光转向到环境光传感器。
9.根据权利要求5所述的设备，其中所述光导还被配置为将从所述第一表面发射的所述IR光的反射转向到接近传感器。
10.根据权利要求2所述的设备，还包括：
深度图生成器，所述深度图生成器被配置为至少部分地基于检测到的所述IR光的反射来生成关于所述第二相机的视场中的一个或多个对象的深度信息。
11.根据权利要求10所述的设备，其中所述深度信息基于所述检测到的所述IR光的反射和检测到的可见光。
12.根据权利要求10所述的设备，还包括：
第三相机，所述第三相机被配置为检测由所述光源发射的所述IR光的反射，其中所述深度信息基于由所述第二相机和所述第三相机中的每个检测到的所述IR光的所述反射。
13.根据权利要求12所述的设备，其中所述第三相机被布置在所述显示器后面。
14.一种相机组件，包括：
透镜；
一个或多个光传感器，所述一个或多个光传感器被配置为检测在第一方向上穿过所述透镜的可见光；以及
光源，所述光源被配置为发射在与所述第一方向相反的第二方向上通过所述透镜的光。
15.根据权利要求14所述的相机组件，其中所述透镜被配置为将所述可见光聚焦到所述一个或多个光传感器上。
16.根据权利要求14所述的相机组件，其中由所述光源发射的所述光包括近红外（NIR）光。
17.根据权利要求16所述的相机组件，还包括：
反射平面，所述反射平面被配置为将所述可见光透射到所述一个或多个光传感器，同时将所述NIR光反射通过所述透镜。
18.根据权利要求16所述的相机组件，还包括：
分色反射器，所述分色反射器被配置成将所述可见光透射到所述一个或多个光传感器，同时将所述NIR光反射远离所述一个或多个光传感器。
19.根据权利要求16所述的相机组件，还包括：
接近传感器，所述接近传感器被配置成检测由所述光源发射的所述NIR光的反射。
20.一种相机组件，包括：
一个或多个光传感器，所述一个或多个光传感器被配置为检测在第一方向上穿过所述相机组件的第一表面的可见光或红外（IR）光；
光源，所述光源被配置为发射在与所述第一方向相反的第二方向上通过所述第一表面的光；以及
光导，所述光导被配置为将所述光朝向所述第一表面转向，其中所述第一表面包括所述光导的至少一部分。
21.根据权利要求20所述的相机组件，其中由所述光源发射的所述光包括近红外（NIR）光，并且其中所述光导的所述部分被配置为漫射从所述第一表面发射的所述NIR光。
22.根据权利要求20所述的相机组件，其中由所述光源发射的所述光包括所述可见光，并且其中所述光导的所述部分被配置为漫射从所述第一表面发射的所述可见光。
23.根据权利要求20所述的相机组件，其中由所述光源发射的所述光包括近红外（NIR）光，并且其中所述光导的所述部分包括漫射器或多个微透镜，所述漫射器或所述多个微透镜被配置为漫射从所述第一表面发射的所述NIR光。
24.根据权利要求20所述的相机组件，其中由所述光源发射的所述光包括所述可见光，并且其中所述光导的所述部分包括漫射器或多个微透镜，所述漫射器或所述多个微透镜被配置为漫射从所述第一表面发射的所述可见光。
CN202080058546.6A 2019-08-19 2020-06-02 相机的光源 Pending CN114402255A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/544488 2019-08-19
US16/544,488 US11153513B2 (en) 2019-08-19 2019-08-19 Light source for camera
PCT/US2020/035761 WO2021034369A1 (en) 2019-08-19 2020-06-02 Light source for camera

Publications (1)

Publication Number Publication Date
CN114402255A true CN114402255A (zh) 2022-04-26

Family

ID=74645456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080058546.6A Pending CN114402255A (zh) 2019-08-19 2020-06-02 相机的光源

Country Status (5)

Country Link
US (1) US11153513B2 (zh)
JP (1) JP2022545334A (zh)
KR (1) KR20220047638A (zh)
CN (1) CN114402255A (zh)
WO (1) WO2021034369A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110661972B (zh) * 2019-09-27 2021-02-23 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质
KR20220017649A (ko) * 2020-08-05 2022-02-14 삼성전자주식회사 이미지 센서를 포함하는 전자 장치
US11825182B2 (en) * 2020-10-12 2023-11-21 Waymo Llc Camera module with IR LEDs for uniform illumination
KR20220078283A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160117860A1 (en) * 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
WO2018049201A1 (en) * 2016-09-09 2018-03-15 Google Llc Three-dimensional telepresence system
CN107888726A (zh) * 2017-11-22 2018-04-06 广东欧珀移动通信有限公司 显示屏组件及电子设备
CN109407758A (zh) * 2018-09-28 2019-03-01 深圳阜时科技有限公司 一种设备
CN209167945U (zh) * 2018-09-28 2019-07-26 深圳阜时科技有限公司 一种设备

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07246184A (ja) 1994-03-09 1995-09-26 Fuji Photo Optical Co Ltd 面順次式撮像装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
US7239909B2 (en) 2000-01-19 2007-07-03 Luminetx Technologies Corp. Imaging system using diffuse infrared light
WO2004096014A2 (en) 2003-04-28 2004-11-11 University Of Rochester Metrics to predict subjective impact of eye's wave aberration
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
EP2703871A3 (en) * 2005-05-25 2014-09-03 Massachusetts Institute Of Technology Multifocal scanning microscopy systems and methods
WO2007138543A2 (en) 2006-05-25 2007-12-06 Udayan Kanade Display with gaps for capturing images
US7714923B2 (en) 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
JP5296218B2 (ja) 2009-09-28 2013-09-25 株式会社東芝 立体映像表示方法及び立体映像表示装置
WO2011047214A2 (en) 2009-10-14 2011-04-21 Optimum Technologies, Inc. Portable retinal camera and image acquisition method
JP5186614B2 (ja) 2010-03-24 2013-04-17 富士フイルム株式会社 画像処理装置および画像処理方法
US9091903B2 (en) 2010-07-29 2015-07-28 Logitech Europe S.A. Optimized movable IR filter in cameras
US20120032875A1 (en) * 2010-08-05 2012-02-09 Microvision, Inc. Scanned Image Projection System Employing Beam Folding Apparatus
KR101680762B1 (ko) 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
KR101632311B1 (ko) 2010-12-30 2016-06-22 삼성전자주식회사 패널 형태의 면 카메라, 이를 적용한 광 터치스크린 및 디스플레이 장치
KR20120080845A (ko) 2011-01-10 2012-07-18 삼성전자주식회사 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치
WO2012103554A2 (en) 2011-01-28 2012-08-02 Windy Place, Inc. Lighting and power devices and modules
US8780170B2 (en) 2011-03-31 2014-07-15 Smart Technologies Ulc Video conferencing display device
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US9182935B2 (en) 2011-09-27 2015-11-10 Z124 Secondary single screen mode activation through menu option
US8937646B1 (en) 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US10116919B2 (en) 2012-11-14 2018-10-30 Thomson Licensing Method and arrangement for estimating at least one cross-channel colour mapping model from an set of tuples of corresponding colours relative to at least two images
WO2015081325A1 (en) 2013-11-27 2015-06-04 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
US9154697B2 (en) 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
US9921688B2 (en) 2014-03-04 2018-03-20 Qualcomm Incorporated Large area interactive display screen
US9454699B2 (en) 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
CN105093541A (zh) 2014-05-22 2015-11-25 华为技术有限公司 显示装置
CN105094307A (zh) 2014-05-23 2015-11-25 宇龙计算机通信科技(深圳)有限公司 一种具有前置摄像头的移动设备
US9638511B2 (en) 2014-08-08 2017-05-02 The Board Of Trustees Of The University Of Illinois Smart phone attachment for 3-D optical coherence tomography imaging
US9377623B2 (en) 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
KR102309411B1 (ko) 2014-10-27 2021-10-06 엘지전자 주식회사 휴대 전자기기
US9791924B2 (en) * 2014-12-23 2017-10-17 Mediatek Inc. Eye tracking with mobile device in a head-mounted display
US10148918B1 (en) 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
US10043282B2 (en) 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10805589B2 (en) 2015-04-19 2020-10-13 Fotonation Limited Multi-baseline camera array system architectures for depth augmentation in VR/AR applications
CN107004130B (zh) * 2015-06-18 2020-08-28 深圳市汇顶科技股份有限公司 用于屏幕上指纹感应的屏幕下光学传感器模块
US10237473B2 (en) 2015-09-04 2019-03-19 Apple Inc. Depth map calculation in a stereo camera system
EP3353631A1 (en) 2015-09-24 2018-08-01 Tobii AB Eye-tracking enabled wearable devices
US10523855B2 (en) 2015-09-24 2019-12-31 Intel Corporation Infrared and visible light dual sensor imaging system
US10152121B2 (en) 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
US10268884B2 (en) * 2016-01-29 2019-04-23 Synaptics Incorporated Optical fingerprint sensor under a display
US10217439B2 (en) 2016-02-04 2019-02-26 Apple Inc. Electronic device with ambient light sensor system
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
WO2017161520A1 (zh) 2016-03-23 2017-09-28 徐鹤菲 支持近红外光与可见光成像的复合成像***和移动终端
US10311560B2 (en) 2016-09-07 2019-06-04 Huazhong University Of Science And Technology Method and system for estimating blur kernel size
US20180157908A1 (en) 2016-12-01 2018-06-07 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze
US10120442B2 (en) 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
US10958841B2 (en) 2017-01-06 2021-03-23 Intel Corporation Integrated image sensor and display pixel
KR20180082698A (ko) 2017-01-10 2018-07-19 삼성디스플레이 주식회사 표시 장치 및 그의 구동 방법
US10872272B2 (en) 2017-04-13 2020-12-22 L'oreal System and method using machine learning for iris tracking, measurement, and simulation
US10567630B2 (en) 2017-05-12 2020-02-18 Microsoft Technology Licensing, Llc Image capture using a hinged device with multiple cameras
JP2018195985A (ja) 2017-05-17 2018-12-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
WO2019006749A1 (zh) 2017-07-07 2019-01-10 华为技术有限公司 一种具有摄像头的终端和拍摄方法
JP7178403B2 (ja) 2017-09-01 2022-11-25 マジック リープ， インコーポレイテッド ロバストなバイオメトリックアプリケーションのための詳細な眼形状モデル
US10609355B2 (en) 2017-10-27 2020-03-31 Motorola Mobility Llc Dynamically adjusting sampling of a real-time depth map
US10911656B2 (en) 2017-11-21 2021-02-02 Microsoft Technology Licensing, Llc Optical isolation systems for displays
US11514325B2 (en) 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network
US10636340B2 (en) 2018-04-16 2020-04-28 Facebook Technologies, Llc Display with gaze-adaptive resolution enhancement
US10776672B2 (en) 2018-04-25 2020-09-15 Avigilon Corporation Sensor fusion for monitoring an object-of-interest in a region
US10491885B1 (en) 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
US10606349B1 (en) 2018-06-22 2020-03-31 Facebook Technologies, Llc Infrared transparent backlight device for eye tracking applications
CN109188711B (zh) 2018-09-17 2020-11-03 深圳奥比中光科技有限公司 屏下光学***、衍射光学元件的设计方法及电子设备
US11589031B2 (en) * 2018-09-26 2023-02-21 Google Llc Active stereo depth prediction based on coarse matching
US11301665B2 (en) * 2019-02-20 2022-04-12 Novatek Microelectronics Corp. Fingerprint and proximity sensing apparatus and sensing process thereof
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160117860A1 (en) * 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
WO2018049201A1 (en) * 2016-09-09 2018-03-15 Google Llc Three-dimensional telepresence system
CN107888726A (zh) * 2017-11-22 2018-04-06 广东欧珀移动通信有限公司 显示屏组件及电子设备
CN109407758A (zh) * 2018-09-28 2019-03-01 深圳阜时科技有限公司 一种设备
CN209167945U (zh) * 2018-09-28 2019-07-26 深圳阜时科技有限公司 一种设备

Also Published As

Publication number Publication date
JP2022545334A (ja) 2022-10-27
KR20220047638A (ko) 2022-04-18
US20210058568A1 (en) 2021-02-25
US11153513B2 (en) 2021-10-19
WO2021034369A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
US11516374B2 (en) Under-display image sensor
CN114402255A (zh) 相机的光源
US11575843B2 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
JP6994678B2 (ja) 撮像システム
US9177190B1 (en) Fingerprint sensor module
WO2021017014A1 (zh) 指纹识别和防伪的方法、装置和电子设备
US20140028861A1 (en) Object detection and tracking
US20080062149A1 (en) Optical coordinate input device comprising few elements
US9429781B2 (en) Filter for selective transmission of visible rays and infrared rays using an electrical signal
US11076080B2 (en) Under-display image sensor for eye tracking
WO2020155092A1 (en) Apparatus integrated with display panel for tof 3d spatial positioning
CN110268418A (zh) 指纹检测的方法、装置和电子设备
EP4066152A1 (en) Depth measurement through display
CN111523440A (zh) 屏下光学指纹识别装置
CN110291530B (zh) 用于指纹识别的方法、指纹识别装置和终端设备
CN110214328B (zh) 指纹识别的方法、装置和电子设备
EP4276682A1 (en) Biometric acquisition and recognition system and method, and terminal device
KR101460686B1 (ko) 홀로그램 처리기능을 가지는 스캔 장치 및 스캔 방법
US11831858B2 (en) Passive three-dimensional image sensing based on referential image blurring
JP2018136859A (ja) 生体情報取得システム
KR20220049599A (ko) 관통 디스플레이 분광기로 구성된 방출형 디스플레이

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination