CN112653854A - 具有带有用于高动态范围的子曝光的单光子雪崩二极管的成像设备 - Google Patents

具有带有用于高动态范围的子曝光的单光子雪崩二极管的成像设备 Download PDF

Info

Publication number
CN112653854A
CN112653854A CN202010963928.5A CN202010963928A CN112653854A CN 112653854 A CN112653854 A CN 112653854A CN 202010963928 A CN202010963928 A CN 202010963928A CN 112653854 A CN112653854 A CN 112653854A
Authority
CN
China
Prior art keywords
spad
single photon
sub
exposure
photon avalanche
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010963928.5A
Other languages
English (en)
Inventor
S·涅基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Components Industries LLC
Original Assignee
Semiconductor Components Industries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Components Industries LLC filed Critical Semiconductor Components Industries LLC
Publication of CN112653854A publication Critical patent/CN112653854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J11/00Measuring the characteristics of individual optical pulses or of optical pulse trains
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Light Receiving Elements (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明题为“具有带有用于高动态范围的子曝光的单光子雪崩二极管的成像设备”。本发明公开了一种成像设备,该成像设备可包括单光子雪崩二极管(SPAD)。为了改善该SPAD的灵敏度和信噪比,可增加光子检测效率(PDE)。然而,增加的光子检测效率可导致降低的饱和速率并且低于期望的动态范围。为了增大该动态范围,基于SPAD的半导体器件可用多个子曝光操作。在第一子曝光期间,可将过偏置电压设置为第一电压电平,使得该SPAD具有第一光子检测效率。在第二子曝光期间,可将过偏置电压设置为第二电压电平,使得该SPAD具有不同于该第一光子检测效率的第二光子检测效率。然后可将来自该第一子曝光和该第二子曝光的图像数据组合成单个高动态范围深度图。

Description

具有带有用于高动态范围的子曝光的单光子雪崩二极管的成 像设备
技术领域
本发明整体涉及成像***,并且更具体地,涉及包括用于单光子检测的单光子雪崩二极管(SPAD)的成像***。
背景技术
现代电子设备(诸如蜂窝电话、相机和计算机)常常使用数字图像传感器。图像传感器(有时称为成像器)可由二维图像感测像素的阵列形成。每个像素通常包括光敏元件诸如光电二极管,这些光敏元件接收入射光子(入射光)并把光子转变为电信号。每个像素还可包括将光重叠并聚焦到光敏元件上的微透镜。
常规图像传感器可以多种方式受到有限功能的影响。例如,一些常规图像传感器可能无法确定从图像传感器到正在成像的物体的距离。常规图像传感器也可具有低于期望的图像质量和分辨率。
为了提高对入射光的灵敏度,有时可在成像***中使用单光子雪崩二极管(SPAD)。单光子雪崩二极管可能够进行单光子检测。然而,单光子雪崩二极管可具有低于期望的动态范围。
本文所述的实施方案就是在这种背景下出现的。
附图说明
图1为根据一个实施方案的示出示例性单光子雪崩二极管像素的电路图。
图2为根据一个实施方案的示例性硅光电倍增器的图示。
图3为根据一个实施方案的具有快速输出端子的示例性硅光电倍增器的示意图。
图4为包括微小区阵列的示例性硅光电倍增器的图示。
图5为根据实施方案的包括基于SPAD的半导体器件的示例性成像***的示意图。
图6为示出根据实施方案的作为光子检测效率的饱和速率的函数的曲线图。
图7为根据实施方案的对于在低环境光条件下操作的基于SPAD的半导体器件的作为距离的函数的检测概率的曲线图。
图8为根据实施方案的对于在高环境光条件下操作的基于SPAD的半导体器件的作为距离的函数的检测概率的曲线图。
图9为示出根据实施方案的作为光子检测效率的函数的过偏置量的曲线图,示出了光子检测效率如何随着过偏置的增加而增加。
图10为示出根据实施方案的用于以不同的子曝光来操作基于SPAD的半导体器件以产生高动态范围深度图的示例性步骤的流程图。
图11为示出根据实施方案的基于SPAD的半导体器件如何可在第一子曝光期间产生第一部分深度图以及如何可在第二子曝光期间产生第二部分深度图的示意图。
图12为根据实施方案的作为用于具有带有不同光子检测效率的多个子曝光的基于SPAD的半导体器件的距离的函数的检测概率的曲线图。
具体实施方式
本发明的实施方案涉及包括单光子雪崩二极管(SPAD)的成像***。
一些成像***包括图像传感器,该图像传感器通过将撞击光子转换成在传感器阵列内的像素光电二极管中积聚的(收集的)电子或空穴来感测光。在完成积聚周期之后,收集到的电荷被转换成电压,该电压被提供给传感器的输出端子。在互补金属氧化物半导体(CMOS)图像传感器中,电荷到电压的转换直接在像素本身中完成,并且模拟像素电压通过各种像素寻址和扫描方案被转移到输出端子。模拟像素电压也可随后在片上被转换成数字等同物,并且在数字域中以各种方式进行处理。
另一方面,在单光子雪崩二极管(SPAD)器件(诸如结合图1至图4所述的器件)中,光子检测原理是不同的。光感测二极管偏置在高于其击穿点,并且当入射光子生成电子或空穴时,该载流子会通过正在生成的附加的载流子启动雪崩击穿。雪崩倍增可产生电流信号,该电流信号能够通过与SPAD相关联的读出电路被容易地检测。能够通过将二极管偏置降低于其击穿点来停止(或淬灭)雪崩过程。因此,每个SPAD可包括用于停止雪崩的被动和/或主动淬灭电路。
可以通过两种方法来使用此概念。首先,可只是对到达的光子进行计数(例如,在低光度应用中)。其次,SPAD像素可用于测量从同步光源到场景对象点再返回到传感器的光子飞行时间(ToF),该光子飞行时间可用于获得场景的三维图像。
图1是示例性SPAD器件202的电路图。如图1所示,SPAD器件202包括与淬灭电路206串联耦接在第一电源电压端子210(例如,接地电源电压端子)和第二电源电压端子208(例如,正电源电压端子)之间的SPAD 204。具体地讲,SPAD器件202包括具有连接到电源电压端子210的阳极端子和直接连接到淬灭电路206的阴极端子的SPAD 204。包括与淬灭电阻器206串联连接的SPAD 204的SPAD器件202有时统称为光触发单元或“微小区”。在SPAD器件202的操作期间,电源电压端子208和210可用于将SPAD 204偏置到高于击穿电压的电压(例如,将偏置电压Vbias施加到端子208)。击穿电压是能够施加到SPAD 204的不会导致二极管中的泄漏电流呈指数级增加的最大反向电压。当SPAD 204以这种方式反向偏置在击穿电压之上时,单光子的吸收可通过碰撞电离触发短时间但是相对较大的雪崩电流。
淬灭电路206(有时称为淬灭元件206)可用于将SPAD 204的偏置电压降低到低于击穿电压的水平。将SPAD 204的偏置电压降低到低于击穿电压将停止雪崩过程和对应的雪崩电流。有多种方法来形成淬灭电路206。淬灭电路206可以是被动淬灭电路或主动淬灭电路。一旦雪崩启动,被动淬灭电路无需外部控制或监测即可自动淬灭雪崩电流。例如,图1示出了使用电阻器部件来形成淬灭电路206的示例。这是被动淬灭电路的一个示例。
被动淬灭电路的这个示例仅仅是示例性的。主动淬灭电路也可用在SPAD器件202中。主动淬灭电路可减少SPAD器件202复位所花费的时间。这可允许SPAD器件202以比使用被动淬灭电路时更快的速率检测入射光,从而改善SPAD器件的动态范围。主动淬灭电路可调节SPAD淬灭电阻。例如,在检测到光子之前,将淬灭电阻设置为较高的值,然后一旦检测到光子并且雪崩淬灭,就将淬灭电阻最小化以减少恢复时间。
SPAD器件202还可包括读出电路212。有多种方式形成读出电路212以从SPAD器件202获得信息。读出电路212可包括对到达的光子进行计数的脉冲计数电路。另选地或除此之外,读出电路212可包括用于测量光子飞行时间(ToF)的飞行时间电路。光子飞行时间信息可用于执行深度感测。在一个示例中,光子可由模拟计数器计算以形成作为对应像素电压的光强度信号。也可以通过将光子飞行时间转换为电压来获得ToF信号。包括在读出电路212中的模拟脉冲计数电路的示例仅是示例性的。如果需要,读出电路212可包括数字脉冲计数电路。如果需要,读出电路212还可包括放大电路。
图1中读出电路212耦接到二极管204和淬灭电路206之间的节点的示例仅是示例性的。读出电路212可耦接到端子208或SPAD器件的任何所需部分。在一些情况下,淬灭电路206可被认为与读出电路212成一整体。
因为SPAD器件可检测单个入射光子,所以SPAD器件可有效地成像具有低光水平的场景。每个SPAD可检测在给定时间段内接收的光子的数量(例如,使用包括计数电路的读出电路)。然而,如上所述,每当接收到光子并且开始雪崩电流时,必须在准备好检测另一个光子之前对SPAD器件进行淬灭和复位。当入射光水平增加时,复位时间变得限制于SPAD器件的动态范围(例如,一旦入射光水平超过给定水平,则在复位时立即触发SPAD器件)。
可将多个SPAD器件分组在一起以帮助增加动态范围。图2是SPAD器件202的示例性组220的电路图。SPAD器件的组或阵列有时可被称为硅光电倍增器(SiPM)。如图2所示,硅光电倍增器220可包括在第一电源电压端子208和第二电源电压端子210之间并联耦接的多个SPAD器件。图2示出了并联耦接的N个SPAD器件202(例如,SPAD器件202-1,SPAD器件202-2,SPAD器件202-3,SPAD器件202-4,......,SPAD器件202-N)。在给定的硅光电倍增器220中可包括多于两个的SPAD器件,多于十个的SPAD器件,多于一百个的SPAD器件,多于一千个的SPAD器件等。
每个SPAD器件202在本文中有时可被称为SPAD像素202。尽管未在图2中明确示出,用于硅光电倍增器220的读出电路可测量来自硅光电倍增器中全部SPAD像素的组合输出电流。以此方式配置,可增加包括SPAD像素的成像***的动态范围。当接收到入射光子时,不保证每个SPAD像素具有触发的雪崩电流。SPAD像素可具有在接收到入射光子时触发雪崩电流的相关联概率。存在在光子到达二极管时产生电子的第一概率,然后是电子触发雪崩电流的第二概率。光子触发雪崩电流的总概率可称为SPAD的光子检测效率(PDE)。因此,在硅光电倍增器中将多个SPAD像素分组在一起允许更准确地测量传入的入射光。例如,如果单个SPAD像素的PDE为50%并且在某个时间段内接收到一个光子,则不会检测到光子的可能性为50%。利用图2的硅光电倍增器220,四个SPAD像素中的两个可能将检测光子,从而改善所提供的时间段的图像数据。
图2的示例仅是示例性的,其中所述多个SPAD像素202共享硅光电倍增器220中的公共输出。就包括具有用于所有SPAD像素的公共输出的硅光电倍增器的成像***而言,成像***在成像场景时可能不具有任何分辨率(例如,硅光电倍增器可仅检测单个点处的光子通量)。可能有利的是使用SPAD像素在阵列上获得图像数据,以允许成像场景的更高分辨率的再现。在诸如这些情况下,单成像***中的SPAD像素可具有逐个像素读出能力。另选地,可在成像***中包括硅光电倍增器的阵列(每个硅光电倍增器包括多于一个的SPAD像素)。来自每个像素或来自每个硅光电倍增器的输出可用于生成成像场景的图像数据。该阵列可能够在线阵列(例如,具有单行多列或单列多行的阵列)或具有多于十个、多于一百个或多于一千个的行和/或列的阵列中进行独立检测(无论是在硅光电倍增器中使用单个SPAD像素还是多个SPAD像素)。
如上所述,虽然SPAD像素有多个可能的用例,但是用于检测入射光的基础技术是相同的。使用SPAD像素的器件的所有上述示例统称为基于SPAD的半导体器件。包括具有共同输出的多个SPAD像素的硅光电倍增器可被称为基于SPAD的半导体器件。具有逐个像素读出能力的SPAD像素阵列可被称为基于SPAD的半导体器件。具有逐个硅光电倍增器读出能力的硅光电倍增器阵列可被称为基于SPAD的半导体器件。
图3示出了硅光电倍增器30。如图3所示,SiPM 30具有电容耦接到每个阴极端子31的第三端子35,以便提供来自SPAD 33的雪崩信号的快速读出。当SPAD 33发射电流脉冲时,在阴极31处产生的电压变化的一部分将经由互电容耦接到第三(“快速”)输出端子35中。使用第三端子35进行读出避免了由于与偏置淬灭电阻器的顶部端子的偏置电路相关联的相对较大的RC时间常数而导致的受损瞬态性能。
本领域的技术人员应当理解,硅光电倍增器包括如图4所示的主总线44和次总线45。次总线45可直接连接到每个单独的微小区25。然后将次总线45耦接到主总线44,所述主总线连接到与端子37和35相关联的接合焊盘。通常,次总线45在微小区25的列之间竖直延伸,而主总线44邻近微小区25的外行水平地延伸。
图5示出了具有基于SPAD的半导体器件的成像***10。成像***10可以是电子设备,诸如数字相机、计算机、蜂窝电话、医疗设备或其它电子设备。成像***10可以是车辆上的成像***(有时称为车载成像***)。成像***可用于LIDAR应用。成像***10有时可被称为基于SPAD的成像***。
成像***10可包括一个或多个基于SPAD的半导体器件14(有时称为半导体器件14、器件14、基于SPAD的图像传感器14或图像传感器14)。一个或多个透镜28可任选地覆盖每个半导体器件14。在操作期间,透镜28(有时称为光学器件28)可将光聚焦到基于SPAD的半导体器件14上。基于SPAD的半导体器件14可包括将光转换成数字数据的SPAD像素。基于SPAD的半导体器件可具有任意数量的SPAD像素(例如,数百、数千、数百万或更多)。在一些基于SPAD的半导体器件中,每个SPAD像素可由相应的滤色器元件和/或微透镜覆盖。
基于SPAD的半导体器件14可包括诸如控制电路50的电路。用于基于SPAD的半导体器件的控制电路可形成在芯片上(例如,在与SPAD器件相同的半导体衬底上)或芯片外(例如,在与SPAD器件不同的半导体衬底上)。控制电路可控制基于SPAD的半导体器件的操作。例如,控制电路可操作基于SPAD的半导体器件内的主动淬灭电路,可控制提供给每个SPAD的偏置电压供应端子208的偏置电压,可控制/监测耦接到SPAD器件的读出电路等。
基于SPAD的半导体器件14可任选地包括附加电路,诸如逻辑门、数字计数器、时间数字转换器、偏置电路(例如,源极跟随器负载电路)、采样和保持电路、相关双采样(CDS)电路、放大器电路、模拟-数字(ADC)转换器电路、数据输出电路、存储器(例如,缓冲电路)、地址电路等。上述电路中的任何电路都可被认为是图5的控制电路50的一部分。
可将来自基于SPAD的半导体器件14的图像数据提供给图像处理电路16。图像处理电路16可用于执行图像处理功能,诸如自动聚焦功能、深度感测、数据格式化、调整白平衡和曝光、实现视频图像稳定、脸部检测等。例如,在自动聚焦操作期间,图像处理电路16可处理由SPAD像素采集的数据,以确定将感兴趣的对象聚焦所需的透镜移动(例如,透镜28的移动)的幅度和方向。图像处理电路16可以处理由SPAD像素采集的数据,以确定场景的深度图。在一些情况下,控制电路50中的一些或全部可与图像处理电路16整体地形成。
成像***10可为用户提供许多高级功能。例如,在计算机或高级移动电话中,可为用户提供运行用户应用的能力。为了实现这些功能,成像***可包括输入输出设备22,诸如小键盘、按钮、输入输出端口、操纵杆和显示器。附加的存储和处理电路,诸如易失性和非易失性存储器(例如,随机存取存储器、闪存存储器、硬盘驱动器、固态驱动器等)、微处理器、微控制器、数字信号处理器、专用集成电路和/或其它处理电路,也可包括在成像***中。
输入输出设备22可包括与基于SPAD的半导体器件结合工作的输出设备。例如,发光部件52可包括在成像***中以发射光(例如,红外线或任何其他期望类型的光)。发光部件52可为激光器、发光二极管或任何其他期望类型的发光部件。半导体器件14可测量从对象的光反射,以在LIDAR(光检测和测距)方案中测量到对象的距离。用于控制基于SPAD的半导体器件的操作的控制电路50也可任选地用于控制发光部件52的操作。图像处理电路16可在处理来自基于SPAD的半导体器件的数据时使用来自发光部件的光脉冲的已知时间(或已知图案)。
通常,可期望SPAD器件具有高光子检测效率(PDE)。光子触发雪崩电流的总概率可称为SPAD的光子检测效率(PDE)。可期望SPAD具有更高的PDE,因为这会提高SPAD的灵敏度和性能。但是,高PDE也可能限制SPAD的动态范围。由于高PDE提供的高灵敏度,具有高PDE的SPAD可具有较低的最大输入光子速率(等于1/(PDEx恢复时间))。因此,高PDE在高光条件下导致饱和和低信噪比(SNR)。
图6是示出作为光子检测效率的函数的饱和速率的曲线图。如图所示,当光子检测效率最小时,饱和速率(有时称为饱和水平)最大。随着光子检测效率的提高,饱和速率降低。
图7和图8示出了环境光条件对基于SPAD的半导体器件的影响。图7是对于在低光条件下操作的基于SPAD的半导体器件(例如,硅光电倍增管)的检测概率与距离的曲线图。图8是对于在高光条件下操作的基于SPAD的半导体器件(例如,硅光电倍增管)的检测概率与距离的曲线图。距离概率可以指基于SPAD的半导体器件14与发光部件52组合使用以测量到对象的距离的应用(例如,LIDAR应用)。在LIDAR应用中,半导体器件14可测量从对象的光反射以测量到对象的距离。检测概率是指半导体器件14正确地测量到成像对象的距离的概率。随着对象向远处移动,正确测量到对象的距离可能更加困难。
如图7所示,在低光条件下,在近距离处的检测概率可从大约100%开始。随着距离增加,检测概率可保持在大约100%,直到距离D1。如曲线图所示,在距离D1处,检测概率开始(随距离增加)降低。距离D-1可在100和200米之间,大于100米,大于50米等。图7简述的基于SPAD的半导体器件可具有相对较高光子检测效率(PDE)。因此,在低光条件下,对于相对长距离,检测概率大约为100%。然而,基于SPAD的半导体器件的性能可在高环境光条件下受到限制。如结合图6所讨论的,由于高光子检测效率,基于SPAD的半导体器件具有低的饱和速率。
如图8所示,在高环境光条件下,检测概率可以以小于100%的水平开始。检测概率也可从距离D-2开始的其峰值下降。图8中的距离D2可小于图7中的距离D1。由于高光水平导致基于SPAD的半导体器件饱和,因此环境光可能难以与发光部件52发出的光区分开。因此,在高光条件下,检测概率降低。
因此,在高光条件下,期望降低光子检测效率以增加在基于SPAD的半导体器件中SPAD器件的饱和水平。为了在宽范围的环境光条件下优化基于SPAD的半导体器件的性能,可使用高动态范围曝光方案来操作基于SPAD的半导体。当基于SPAD的半导体器件仅使用一种类型的曝光时,将在高光水平性能和低光水平性能之间进行权衡。例如,如果使用低光子检测效率,则基于SPAD的半导体器件可具有改善的高光水平性能,但是总体检测范围较低。如果使用高光子检测效率,则基于SPAD的半导体器件在低环境光条件下可能具有很大的有效检测范围,但在高环境光条件下可能表现不佳。
为了利用低PDE和高PDE两者的优点,基于SPAD的半导体器件可使用两个子曝光,一个具有低PDE,并且一个具有高PDE。来自两个子曝光的图像数据可被图像处理电路用来产生单个高动态范围深度图。
基于SPAD的半导体器件因此可在操作期间在低PDE和高PDE之间动态切换。为了实现对PDE的此控制,可对SPAD器件的过偏置电压进行调制。过偏置电压可指偏置电压(例如,图1中的端子208处的偏置电压)超过SPAD的击穿电压的量。击穿电压是能够施加到SPAD的不会导致二极管中的泄漏电流呈指数级增加的最大反向电压。偏置电压超过击穿电压越多(例如,过偏置电压或过偏置量越大),SPAD变得越灵敏。
图9是示出光子检测效率如何随着过偏置的增加而增加的曲线图。如图9的曲线图所示,增加过偏置量可导致PDE的增加。图9的线性轮廓仅是示例性的。
在低电平和高电平之间改变过偏置电压可允许SPAD器件在低光子检测效率和高光子检测效率之间改变。诸如控制电路50的控制电路可在不同的子曝光之间改变提供给端子208的偏置电压。
图10是示出用于操作具有不同子曝光的基于SPAD的半导体器件以产生高动态范围深度图的示例性步骤的流程图。首先,在步骤302处,控制电路50可将偏置电压(例如,端子208处的Vbias)设置为第一电平。换句话说,控制电路50可向端子208提供第一偏置电压。第一偏置电压可以是具有对应低光子检测效率的低偏置电压。接下来,在步骤304处,当偏置电压处于第一电平时,基于SPAD的半导体器件可具有第一子曝光。对于发光部件52的全部脉冲的一半(例如,N/2,其中N是脉冲的总数),可发生第一子曝光。基于来自第一子曝光的来自基于SPAD的半导体器件的数据,可在步骤306处产生第一部分深度图。
在步骤308处,控制电路50可将偏置电压(例如,端子208处的Vbias)设置为第二电平。换句话说,控制电路50可向端子208提供第二偏置电压。第二偏置电压可高于第一偏置电压。SPAD可具有对应较高光子检测效率。在步骤310处,当偏置电压处于第二电平时,基于SPAD的半导体器件可具有第二子曝光。对于发光部件52的全部脉冲的一半(例如,N/2),可发生第二子曝光。基于来自第二子曝光的来自基于SPAD的半导体器件的数据,可在步骤312处产生第二部分深度图。
最终,在步骤314处,可将第一部分深度图和第二部分深度图组合以形成单个高动态范围(HDR)深度图。因为第一部分深度图是使用低PDE产生的,所以由于与低PDE相关联的低饱和点,第一部分深度图对于高光条件可能是最佳的。由于第二部分深度图是使用高PDE产生的,所以由于与高PDE相关联的灵敏度提高,第二部分深度图对于低光条件可能是最佳的。成像处理电路16可通过从每个部分深度图中选择最有用的数据来组合部分深度图。所得的HDR深度图可在宽范围的距离和环境光条件下获得准确的结果。
在图10中描述的在高PDE子曝光之前发生低PDE子曝光仅是示例性的。通常,子曝光可以以任何期望的顺序发生(例如,高PDE子曝光可以在低PDE子曝光之前)。另外,仅两个子曝光的示例仅是示例性的。在一些实施方案中,可对每个曝光执行三个(具有三个相应的过偏置电压和对应的PDE)或更多个子曝光。
另外,应该理解,具有相同持续时间(例如,光脉冲的一半)的每个子曝光的示例仅是示例性的。在一些情况下,一个子曝光可比另一子曝光具有更长的持续时间。例如,对于光脉冲的三分之一,可发生第一子曝光,而对于光脉冲的三分之二,可发生第二子曝光。在每个曝光期间可使用任何期望的子曝光持续时间。对于每个曝光,子曝光持续时间可保持恒定,或者子曝光持续时间可在不同的曝光之间改变。
图11是示出基于SPAD的半导体器件14如何可在第一子曝光期间产生第一部分深度图(例如,第一图像数据)和如何可在第二子曝光期间产生第二部分深度图(例如,第二图像数据)的示意图。在基于SPAD的半导体器件中的SPAD器件具有低光子检测效率时,可产生第一部分深度图。因此,第一部分深度图将具有高饱和速率和最佳的高光性能。在基于SPAD的半导体器件中的SPAD器件具有高光子检测效率时,可产生第二部分深度图。因此,第二部分深度图将具有高灵敏度和最佳的低光性能。
图像处理电路16可从基于SPAD的半导体器件接收第一部分深度图和第二部分深度图,并且可产生单个HDR深度图。HDR深度图可与基于SPAD的半导体器件的单个曝光相关联。可执行后续曝光以产生附加HDR深度图,从而允许随时间跟踪场景中的对象。
图像处理电路16可使用任何期望的技术来产生HDR深度图。在一个示例性示例中,HDR深度图可以是第一部分深度图和第二部分深度图的叠加。图像处理电路可包括用于存储随后用于形成HDR深度图的图像数据的存储器。
图12是对于具有带有不同光子检测效率的多个子曝光的基于SPAD的半导体器件(例如,硅光电倍增管)的检测概率与距离的曲线图。图12的曲线图示出了在高光条件期间基于SPAD的半导体器件的性能。轮廓402示出了在高光条件期间具有高光子检测效率的基于单曝光SPAD的半导体器件的检测概率(类似于图8所示)。如图所示,在没有多个子曝光高动态范围方案的情况下,检测概率开始低于100%并迅速降低。
相反,轮廓404示出具有带有不同光子检测效率的多个子曝光的基于SPAD的半导体器件的检测概率。如轮廓404所示,在低距离处,检测概率可以以大约100%开始。随着距离增加,检测概率可保持在大约100%,直到距离D3。如曲线图所示,在距离D3处,检测概率开始(随距离增加)降低。距离D-3可在100至200米之间,大于100米,大于150米等。
因此,即使在高光条件下,高动态范围子曝光方案也允许高检测概率。由于由具有不同光子检测效率的不同子曝光提供的高动态范围,所以无论环境光水平如何,检测概率轮廓404可以是相似的。
根据实施方案,一种成像***可包括:半导体器件,该半导体器件包括多个单光子雪崩二极管;发光部件,该发光部件被配置为发射多个光脉冲;以及控制电路,该控制电路被配置为:在第一子曝光期间将该多个单光子雪崩二极管的偏置电压设置为第一电压电平;在该第一子曝光期间,将该多个单光子雪崩二极管曝光于该多个光脉冲的第一子集;在第二子曝光期间将该多个单光子雪崩二极管的偏置电压设置为第二电压电平,其中该第二电压电平不同于该第一电压电平;以及在该第二子曝光期间,将该多个单光子雪崩二极管曝光于该多个光脉冲的第二子集。
根据另一实施方案,半导体器件可被配置为在第一子曝光期间产生第一部分深度图并且在第二子曝光期间产生第二部分深度图。
根据另一实施方案,成像***还可包括图像处理电路,该图像处理电路被配置为基于第一部分深度图和第二部分深度图产生深度图。
根据另一实施方案,成像***还可包括图像处理电路,该图像处理电路被配置为基于来自第一子曝光和第二子曝光的数据来产生高动态范围深度图。
根据另一个实施方案,多个光脉冲的第一子集可包括多个光脉冲的第一半部,并且多个光脉冲的第二子集可包括多个光脉冲的第二半部。
根据另一实施方案,发光部件可包括激光器。
根据另一实施方案,多个单光子雪崩二极管中的每一个单光子雪崩二极管可包括耦接到第一电压供应端子的阳极、阴极以及耦接在阴极和第二电压供应端子之间的淬灭电路。
根据另一实施方案,每个单光子雪崩二极管的第二电压供应端子可接收偏置电压。
根据另一实施方案,第二电压电平可高于第一电压电平,当偏置电压处于第一电压电平时,多个单光子雪崩二极管中的每一个单光子雪崩二极管可具有第一光子检测效率,当偏置电压处于第二电压电平时,多个单光子雪崩二极管中的每一个单光子雪崩二极管可具有第二光子检测效率,并且第二光子检测效率可大于第一光子检测效率。
根据实施方案,一种用于操作包括单光子雪崩二极管的半导体器件的方法可包括:将单光子雪崩二极管的偏置电压设置为第一电压电平;在偏置电压处于第一电压电平时,针对给定曝光使用单光子雪崩二极管产生数据;将单光子雪崩二极管的偏置电压设置为不同于第一电压电平的第二电压电平;以及当偏置电压处于第二电压电平时,针对给定曝光使用单光子雪崩二极管产生附加数据。
根据另一实施方案,该方法还可包括使用数据和附加数据来形成用于给定曝光的单个高动态范围深度图。
根据另一实施方案,数据可以是第一部分深度图的一部分,附加数据可以是第二部分深度图的一部分,并且该方法还可包括将第一部分深度图和第二部分深度图组合成单个深度图。
根据另一实施方案,将第一部分深度图和第二部分深度图组合成单个深度图可包括将第一部分深度图和第二部分深度图组合成单个高动态范围深度图。
根据另一实施方案,该方法还可包括:当偏置电压处于第一电压电平时,针对来自发光部件的第一数量的光脉冲,使单光子雪崩二极管曝光;以及当偏置电压处于第二电压电平时,针对来自发光部件的第一数量的光脉冲,使单光子雪崩二极管曝光。
根据另一实施方案,第二电压电平可高于第一电压电平,当偏置电压处于第一电压电平时,单光子雪崩二极管可具有第一光子检测效率,当偏置电压处于第二电压电平时,单光子雪崩二极管可具有第二光子检测效率,并且第二光子检测效率可大于第一光子检测效率。
根据另一实施方案,单光子雪崩二极管可包括耦接到第一电压供应端子的阳极、阴极以及耦接在阴极和第二电压供应端子之间的淬灭电路,将单光子雪崩二极管的偏置电压设置为第一电压电平可包括以第一电压电平向第二电压供应端子提供偏置电压,并且将单光子雪崩二极管的偏置电压设置为第二电压电平可包括以第二电压电平向第二电压供应端子提供偏置电压。
根据实施方案,半导体器件可包括多个单光子雪崩二极管,其中多个单光子雪崩二极管中的每一个单光子雪崩二极管具有相关联的光子检测效率;以及控制电路,该控制电路被配置为:针对第一子曝光将多个单光子雪崩二极管的光子检测效率设置为第一水平;以及针对第二子曝光将多个单光子雪崩二极管的光子检测效率设置为不同于第一水平的第二水平。
根据另一实施方案,单光子雪崩二极管中的每一个单光子雪崩二极管可包括接收过偏置电压的端子。
根据另一实施方案,控制电路可以被配置为以第一电压电平提供过偏置电压,以将多个单光子雪崩二极管的光子检测效率设置为第一水平,并且控制电路可以被配置为以第二电压电平提供过偏置电压,以将多个单光子雪崩二极管的光子检测效率设置为第二水平。
根据另一实施方案,半导体器件可被配置为在第一子曝光期间产生第一部分深度图,半导体器件可被配置为在第二子曝光期间产生第二部分深度图,并且第一部分深度图和第二部分深度图可被配置为被组合成单个高动态范围深度图。
前述内容仅仅是对本发明原理的示例性说明,并且本领域技术人员可以进行多种修改。上述实施方案可单个实施或以任意组合方式实施。

Claims (10)

1.一种成像***,包括:
半导体器件,所述半导体器件包括多个单光子雪崩二极管;
发光部件,所述发光部件被配置为发射多个光脉冲;和
控制电路,所述控制电路被配置为:
在第一子曝光期间将所述多个单光子雪崩二极管的偏置电压设置为第一电压电平;
在所述第一子曝光期间,将所述多个单光子雪崩二极管曝光于所述多个光脉冲的第一子集;
在第二子曝光期间将所述多个单光子雪崩二极管的所述偏置电压设置为第二电压电平,其中所述第二电压电平不同于所述第一电压电平;以及
在所述第二子曝光期间,将所述多个单光子雪崩二极管曝光于所述多个光脉冲的第二子集。
2.根据权利要求1所述的成像***,其中所述半导体器件被配置为在所述第一子曝光期间产生第一部分深度图并且在所述第二子曝光期间产生第二部分深度图,所述成像***还包括:
图像处理电路,所述图像处理电路被配置为基于所述第一部分深度图和所述第二部分深度图产生深度图。
3.根据权利要求1所述的成像***,还包括:
图像处理电路,所述图像处理电路被配置为基于来自所述第一子曝光和所述第二子曝光的数据产生高动态范围深度图。
4.根据权利要求1所述的成像***,其中所述多个光脉冲的所述第一子集包括所述多个光脉冲的第一半部,并且其中所述多个光脉冲的所述第二子集包括所述多个光脉冲的第二半部。
5.根据权利要求1所述的成像***,其中所述发光部件包括激光器。
6.根据权利要求1所述的成像***,其中所述多个单光子雪崩二极管中的每一个单光子雪崩二极管包括耦接到第一电压供应端子的阳极、阴极以及耦接在所述阴极和第二电压供应端子之间的淬灭电路,并且其中每个单光子雪崩二极管的所述第二电压供应端子接收所述偏置电压。
7.根据权利要求1所述的成像***,其中所述第二电压电平高于所述第一电压电平,其中当所述偏置电压处于所述第一电压电平时,所述多个单光子雪崩二极管中的每一个单光子雪崩二极管具有第一光子检测效率,其中当所述偏置电压处于所述第二电压电平时,所述多个单光子雪崩二极管中的每一个单光子雪崩二极管具有第二光子检测效率,并且其中所述第二光子检测效率大于所述第一光子检测效率。
8.一种操作包括单光子雪崩二极管的半导体器件的方法,包括:
将所述单光子雪崩二极管的偏置电压设置为第一电压电平;
在所述偏置电压处于所述第一电压电平时,针对给定曝光使用所述单光子雪崩二极管产生数据;
将所述单光子雪崩二极管的所述偏置电压设置为不同于所述第一电压电平的第二电压电平;以及
当所述偏置电压处于所述第二电压电平时,针对所述给定曝光使用所述单光子雪崩二极管产生附加数据。
9.一种半导体器件,包括:
多个单光子雪崩二极管,其中所述多个单光子雪崩二极管中的每一个单光子雪崩二极管具有相关联的光子检测效率;和
控制电路,所述控制电路被配置为:
针对第一子曝光将所述多个单光子雪崩二极管的所述光子检测效率设置为第一水平;以及
针对第二子曝光将所述多个单光子雪崩二极管的所述光子检测效率设置为不同于所述第一水平的第二水平。
10.根据权利要求9所述的半导体器件,其中所述单光子雪崩二极管中的每一个单光子雪崩二极管包括接收过偏置电压的端子,其中所述控制电路被配置为以第一电压电平提供所述过偏置电压,以将所述多个单光子雪崩二极管的所述光子检测效率设置为所述第一水平,并且其中所述控制电路被配置为以第二电压电平提供所述过偏置电压,以将所述多个单光子雪崩二极管的所述光子检测效率设置为所述第二水平。
CN202010963928.5A 2019-09-25 2020-09-15 具有带有用于高动态范围的子曝光的单光子雪崩二极管的成像设备 Pending CN112653854A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962905787P 2019-09-25 2019-09-25
US62/905,787 2019-09-25
US16/670,740 US11159738B2 (en) 2019-09-25 2019-10-31 Imaging devices with single-photon avalanche diodes having sub-exposures for high dynamic range
US16/670,740 2019-10-31

Publications (1)

Publication Number Publication Date
CN112653854A true CN112653854A (zh) 2021-04-13

Family

ID=74882271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010963928.5A Pending CN112653854A (zh) 2019-09-25 2020-09-15 具有带有用于高动态范围的子曝光的单光子雪崩二极管的成像设备

Country Status (2)

Country Link
US (2) US11159738B2 (zh)
CN (1) CN112653854A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113933811A (zh) * 2021-11-22 2022-01-14 上海禾赛科技有限公司 激光雷达的探测方法、激光雷达以及计算机存储介质
WO2024131914A1 (en) * 2022-12-21 2024-06-27 Hesai Technology Co., Ltd. Method for dynamically adjusting single-photon detector and idar

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6932223B2 (ja) * 2019-06-10 2021-09-08 シャープ株式会社 光検出装置、及び電子機器
US11159738B2 (en) * 2019-09-25 2021-10-26 Semiconductor Components Industries, Llc Imaging devices with single-photon avalanche diodes having sub-exposures for high dynamic range
JP2022015925A (ja) * 2020-07-10 2022-01-21 キヤノン株式会社 光電変換装置及びその駆動方法
US11985433B2 (en) * 2020-11-30 2024-05-14 Microsoft Technology Licensing, Llc SPAD array for intensity image sensing on head-mounted displays
US11431918B1 (en) * 2021-02-22 2022-08-30 Microsoft Technology Licensing, Llc High dynamic range image capture using single photon avalanche diodes

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010073136A2 (en) 2008-12-22 2010-07-01 Koninklijke Philips Electronics N.V. High dynamic range light sensor
FR2992067A1 (fr) * 2012-06-13 2013-12-20 St Microelectronics Grenoble 2 Procede et dispositif d'ajustement de la tension de polarisation d'une photodiode spad
US20170289515A1 (en) 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems
KR102496509B1 (ko) * 2016-09-20 2023-02-07 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US10852399B2 (en) * 2018-03-30 2020-12-01 Tower Semiconductor Ltd. Active quenching for single-photon avalanche diode using one- shot circuit
US11579263B2 (en) * 2018-11-29 2023-02-14 Taiwan Semiconductor Manufacturing Co., Ltd. Method and apparatus for a hybrid time-of-flight sensor with high dynamic range
US11159738B2 (en) * 2019-09-25 2021-10-26 Semiconductor Components Industries, Llc Imaging devices with single-photon avalanche diodes having sub-exposures for high dynamic range

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113933811A (zh) * 2021-11-22 2022-01-14 上海禾赛科技有限公司 激光雷达的探测方法、激光雷达以及计算机存储介质
WO2024131914A1 (en) * 2022-12-21 2024-06-27 Hesai Technology Co., Ltd. Method for dynamically adjusting single-photon detector and idar

Also Published As

Publication number Publication date
US20220006942A1 (en) 2022-01-06
US11159738B2 (en) 2021-10-26
US20210092275A1 (en) 2021-03-25
US11943542B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
US11943542B2 (en) Imaging devices with single-photon avalanche diodes having sub-exposures for high dynamic range
US20210223398A1 (en) Imaging systems with single-photon avalanche diodes and ambient light level detection
US11764314B2 (en) Scattering structures for single-photon avalanche diodes
US11221253B2 (en) System with a SPAD-based semiconductor device having dark pixels for monitoring sensor parameters
US11289524B2 (en) Microlenses for semiconductor device with single-photon avalanche diode pixels
US11428826B2 (en) Silicon photomultipliers with split microcells
CN112117288B (zh) 硅光电倍增器的温度和不均匀补偿电路
US20240105753A1 (en) Semiconductor devices with single-photon avalanche diodes and light spreading lenses
US12034023B2 (en) Microlens structures for semiconductor device with single-photon avalanche diode pixels
US20240105748A1 (en) Semiconductor packages with an array of single-photon avalanche diodes split between multiple semiconductor dice
US20230253513A1 (en) Semiconductor Devices with Single-Photon Avalanche Diodes and Light Scattering Structures
CN212693089U (zh) 半导体器件及硅光电倍增器
US11646335B2 (en) Semiconductor devices with single-photon avalanche diodes and rectangular microlenses
US10784302B1 (en) Semiconductor device with single-photon avalanche diode pixels and a light attenuating layer
CN211404506U (zh) 半导体器件
US12027633B2 (en) Scattering structures for single-photon avalanche diodes
CN117995854A (zh) 具有单光子雪崩二极管像素的半导体器件的改善的密封件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination