CN111433631B - 成像装置和方法 - Google Patents

成像装置和方法 Download PDF

Info

Publication number
CN111433631B
CN111433631B CN201880077708.3A CN201880077708A CN111433631B CN 111433631 B CN111433631 B CN 111433631B CN 201880077708 A CN201880077708 A CN 201880077708A CN 111433631 B CN111433631 B CN 111433631B
Authority
CN
China
Prior art keywords
phase
exposure
tap
electronic device
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880077708.3A
Other languages
English (en)
Other versions
CN111433631A (zh
Inventor
阿尔珀·埃尔坎
米希尔·蒂默曼斯
沃德·范·德·腾佩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN111433631A publication Critical patent/CN111433631A/zh
Application granted granted Critical
Publication of CN111433631B publication Critical patent/CN111433631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种电子装置，包括电路，该电路被配置为在多相曝光中在相关联的相位存储器中累积具有相同相位数据的多个子曝光。

Description

成像装置和方法
技术领域
本公开总体上涉及电子装置领域，尤其涉及成像装置和用于成像装置的方法。
背景技术
在当前的飞行时间(ToF)成像***中，依次获取计算深度图像所需的相关数据(correlation data)。通常需要4帧的数量来计算深度图像。调制器通常是2抽头电光调制器，使得该***可以被描述为“2抽头/4帧”***。
“2抽头/4帧”像素架构的主要优点是利用所有光生电子，而不是诸如在1抽头像素中那样倾倒一半的电子，在1抽头像素中，倾倒的电子表示相反的采样信号。在“2抽头/4帧”像素架构中，采样持续时间被设置为调制周期的一半：在前半部分，所有电子漂移到一个输出端，而在后半部分，所有电子传输到相反的输出端。即，同时获取样本。然而，仍然需要进行两次连续曝光。这意味着，如果场景中的物体相对于捕捉4个帧所需的时间快速移动，则“2抽头/4帧”实现会产生运动伪影。当相机本身移动时(例如，当安装在车辆或无人机上时)，情况会变得更糟。
例如，解决移动相机问题的先前实现提出具有4个抽头的调制器，其中，期望这些抽头在单次曝光中并行获取不同的相关数据。然而，由于抽头在QE(不同的物理检测器)和带宽(不同的抽头驱动器)方面不匹配，所以“4抽头/1帧”***的单曝光深度成像与标准的“2抽头/4帧”***具有相似的质量是不可实现的。
目前，至少需要3次曝光/帧读取来构建深度帧。这给***带来了带宽和内存需求，并限制了在非常动态的环境中的可用性，例如，快速移动的传感器或场景、波动的环境光等。
发明内容
根据第一方面，本公开提供了一种电子装置，包括电路，电路被配置为在多相曝光中在相关联的相位存储器中累积具有相同相位数据的多个子曝光。
根据另一方面，本公开提供了一种方法，包括在多相曝光中在相关联的相位存储器中累积具有相同相位数据的多个子曝光。
在从属权利要求、以下描述和附图中阐述了进一步的方面。
附图说明
通过参考附图的示例来解释实施方式，其中：
图1示出了N相TOF像素的帧结构；
图2示出了包括复位周期和曝光周期的帧时序图；
图3示出了具有共享相位存储器的N相TOF像素的电路的功能结构；
图4示出了具有共享相位存储器的圆形双抽头拓扑；
图5的a至e示出了I-Ib曝光阶段、存储阶段和读出阶段；
图6的a至e示出了Q-Qb曝光阶段、存储阶段和读出阶段；
图7的a至e示出了Ib-I曝光阶段、存储阶段和读出阶段；
图8的a至e示出了Qb-Q曝光阶段、存储阶段和读出阶段；
图9示出了具有加权位置的圆形双抽头拓扑；
图10示出了具有独立存储器的N相TOF像素的电路的功能结构；
图11示出了双抽头CAPD像素结构的架构；
图12示出了具有公共电路的双抽头CAPD像素结构的架构；
图13示出了具有公共浮动扩散部的N相TOF像素的电路的功能结构；
图14示出了具有共享浮动扩散部的N相TOF像素的电路的功能结构；
图15示出了具有共享浮动扩散部和公共读出浮动扩散部的N相TOF像素的电路的功能结构；以及
图16提供了电路的另一实施方式的时序图，该电路被配置为在多相曝光中在相关联的相位存储器中累积具有相同相位数据的多个子曝光。
具体实施方式
在下面更详细描述的实施方式提供了一种电子装置，包括电路，电路被配置为在多相曝光中在相关联的相位存储器中累积具有相同相位数据的多个子曝光(sub-exposure，辅助曝光)。
电子装置可以例如是图像传感器，例如，相移飞行时间(TOF)相机深度成像***的图像传感器。电子装置可以例如设置在图像传感器的每个像素中。
电路可以包括任何电子元件、半导体元件、开关、放大器、晶体管、处理元件等。
TOF相机使用光脉冲捕捉场景。打开照明达一小段时间(曝光)，照亮场景的所得光脉冲被视场中的物体反射。TOF相机的工作原理是测量例如反射的红外(IR)光的相位延迟。相位数据可以是反射的信号与参考信号(通常是照明信号)的互相关的结果。相位数据可以例如包括4个相关相位，例如，相位I(0°)、相位Q(90°)、相位Ib(180°)和相位Qb(270°)，其中，相位Q/Qb相对于相位I/Ib分别呈现90°的相位滞后，并且可以被描述为(相对地)正交；因此，相位I/Ib没有异相，即，同相。
每个子曝光可以与一个或多个特定相位相关联，例如，相位I、Q、Qb、Ib。后续子曝光可能具有不同于先前子曝光的相位。提供深度图像的一组子曝光可以例如包括四个子曝光。例如，在双抽头TOF电路中，可以预见4个子曝光，例如，I-Ib、Q-Qb、Ib-I和Qb-Q，其中，在第一子曝光中，第一抽头接收相位I，第二抽头接收相位Ib，在第二子曝光中，第一抽头接收相位Q，第二抽头接收相位Qb，在第三子曝光中，第一抽头接收相位Ib，第二抽头接收相位I，在第四子曝光中，第一抽头接收相位Qb，第二抽头接收相位Q。
TOF相机的单个像素通常包括一个或多个光敏元件(例如，光电二极管)。光敏元件将入射光转换成电流。连接到光电二极管的开关(例如，传输门)可以将电流引导到一个或多个存储元件(例如，电容器)，这些存储元件用作累积和/或存储电荷的累积元件。
根据实施方式，多相曝光包括多个子曝光。多相曝光可以是连续照亮场景并连续检测从场景反射的光的曝光。例如，多相曝光不会被读出阶段中断。多相曝光期间累积的信号可能由多个相位组成。子曝光可以分配一组对应于相应相位的混合调制信号和一个光信号。在多相曝光中获取多个相位，可以获得“单次曝光”深度图像。
这些实施方式公开了一种N相ToF像素，其中，N表示可以存储在该像素中的相位数(“或相关性”)。根据该实施方式，可以更自由地选择时序。此外，根据实施方式，可以减少运动伪影。实施方式可以使用快速读出来通过过采样增加深度帧的Qsat。
相位存储器可以存储累积的电荷。相位存储器可以是用作累积电荷的累积元件的任何存储元件(例如，电容器)。例如，电容器可以是在电场中存储电能的无源双端电气部件。电容可以在距离足够近时存在于电路的任意两个电导体之间。电容器可以特别设计成通过考虑紧密间隔的导体的尺寸、形状和位置以及中间介电材料来提供和增强电容效应。根据一些实施方式，浮动扩散部(floating diffusion)也用作相位存储器。
根据实施方式，电路可以被配置为在多相曝光中，在相关联的相位存储器中累积具有相同相位数据的多个子曝光。具体地，电路可以被配置为通过在相应的相位存储器中累积来自具有相同相位的子曝光的电荷，来累积具有相同相位数据的子曝光。该电路可以例如被配置为与来自先前子曝光的具有相同相位的相位数据一起累积相位数据。例如，电路可以将来自特定子曝光的特定相位(例如，I相位)的电荷以及来自先前子曝光的相同相位(也是I相位)的电荷进行累积。
该电路可以被配置为在帧结束时读出累积相位。通常在数据帧中读出由成像传感器获得的成像数据。帧可以由帧结构来定义。例如，帧可以定义多相曝光，该多相曝光分为多个子曝光和一个读出阶段。根据实施方式，在帧的末尾读出相应相位存储器中存储的相位数据，例如，I、Q、Qb、Ib，而不是在每次子曝光后读出数据。
根据实施方式，相位存储器可以被多个抽头共享和重用。例如，电子装置可以包括2个抽头，每个抽头在子曝光期间接收相应的相位数据。在2个抽头的每一个处获取的相位数据可以具有例如180°的相移，例如，I-Ib、Q-Qb、Ib-I和Qb-Q。共享相位存储器可以累积来自不同抽头的相位数据。
根据实施方式，由抽头获取的相位数据可以遵循相同的高频路径。遵循相同的高频路径可能导致使用相同的像素和相同的抽头，与相同的抽头驱动器和相同的失配相关联。这些实施方式描述了一种保持偏置倾向的操作通用，同时实现伪并行相关数据获取的方式。
根据实施方式，每个抽头可以包括电光调制器抽头和相位单元，其中，每个相位单元包括传输门、相位存储器和读出门；并且该电路可以还包括读出单元，其中，该读出单元包括浮动扩散部和读出晶体管。
电光调制器可以是一种光学装置，其中，显示电光效应的信号控制元件用于调制光束。可以对光束的相位、频率、振幅或偏振进行调制。通过使用激光控制的调制器可以实现扩展到千兆赫范围的调制带宽。
晶体管可以是用于放大或切换电信号和电功率的半导体器件，例如，BJT、JFET、IGFET(MOSFET)。
传输门类似于中继器(relay)，该中继器可以双向导通，也可以被几乎任何电位的控制信号阻断。
浮动扩散部(也称为“感测节点”)例如在光栅像素传感器中存储用于读出的电荷。例如，它可以是与所有其他节点电隔离的图像传感器的有源硅(扩散)区域中的区域。例如，它可以是例如通过p-n结与其他节点隔离的准中性区域。
该电路可以包括第一抽头和第二抽头，其中，每个抽头可以包括相应的混频器、相应的光电检测器和相应的累积位置。更进一步，该电路可以包括传输门、共享相位存储器、读出门、浮动扩散部和放大器。
电子混频器可以是将两个或两个以上电信号或电子信号组合成一个或两个复合输出信号的装置。
光电检测器可以是光或其他电磁能量的传感器。光电检测器具有可以将光子转换成电流的p-n结。
该电路可以被配置为通过循环旋转阶段数据来在共享相位存储器中累积相位数据。循环旋转阶段数据可以例如包括将电荷从一个相位存储器移动到另一存储器，或者传送到累积位置。循环旋转阶段数据可以例如通过控制传输门来实现，使得电荷从一个相位存储器移动到另一相位存储器。
根据实施方式，每个子曝光可以包括曝光阶段、存储阶段和旋转阶段。
曝光阶段可以是这样一个阶段，其中，在抽头的累积位置收集相位数据。
存储阶段可以是这样一个阶段，其中，从累积位置接收的相位数据传送到相应的相位存储器，并且其中，累积具有相同相位的相位数据。
旋转阶段可以是这样一个阶段，其中，相位数据从一个相位存储/累积位置移动到另一相位存储/累积位置。旋转阶段可以累积具有相同相位的相位数据。
该电路还可以包括用于检测相位存储器的饱和的加权位置。相位数据可以例如通过传输晶体管从相位存储器传输到加权位置，并且可以提供检测门，用于检测相位存储器的饱和。
根据另一实施方式，相位存储器可以是浮动扩散部。例如，相位数据可以从抽头传输到浮动扩散部。即，在多相曝光中，可以在浮动扩散部中发生具有相同相位数据的多个子曝光的累积。
如果相位存储器是浮动扩散部，则电路可以包括读出单元，其中，读出单元可以包括公共浮动扩散部和读出晶体管。抽头的浮动扩散部可以与到公共读出浮动扩散部(FD)的开关多路复用，以避免读出晶体管失配。
根据另一实施方式，抽头可以包括用于累积相位数据的共享浮动扩散部。共享浮动扩散部可以累积多个抽头的相位数据。
如果抽头包括共享浮动扩散部，则电路可以包括读出单元，其中，读出单元包括公共浮动扩散部和读出晶体管。
实施方式还公开了一种方法，该方法包括在多相曝光中，在相关联的相位存储器中累积具有相同相位数据的多个子曝光。该方法可以包括上面关于电子装置的操作描述的任何过程。
图1示出了在多相曝光中获取多个相关数据的示例性帧结构。帧包括单个多相曝光。x轴表示时间，y轴表示获取相位。单个多相曝光被分成多个子曝光TX1、TX2、TX3、TX4。在图1中，示出了三组子曝光TX1、TX2、TX3、TX4。图1中的点表示除了三组子曝光TX1、TX2、TX3、TX4之外，还可以有其他数量。每组子曝光TX1、TX2、TX3、TX4分配一组对应于相应相位φ0、φ1、φ2、φ3的混合调制信号和一个光信号。最终的相关信息累积并存储在相关联的相位存储器中(参见图4中的PM1、PM2、PM3、PM4)。在该实施方式中，对于诸如传输(TX)操作的慢速操作，每个相位存储器可以具有0.1到1MHz的频率，或者对于诸如电流辅助光子解调器(CAPD)操作的快速操作，每个相位存储器可以具有20-100MHz的频率。不是像在传统操作方法中那样在每次曝光后读出数据，在每次子曝光中以相同相位获得的数据存储在抽头的相应相位存储器中。相位存储器可以读出(图1中的“读取”)，并在帧的末尾处理成深度图。因此，可以减少总读出时间。
子曝光彼此跟随的速度将决定解决方案的运动鲁棒性。调制器和/或照明器的相位调制得越快，***的运动鲁棒性就越强。
对于通过抽头获得的所有数据，可以遵循相同的HF(高频)路径。换言之，使用相同的像素，使用与相同的抽头驱动器相关联的相同的抽头，具有相同的失配。
图2示出了示例性的时序图，其示出了在多相曝光之前提供复位周期。在复位期间，所有相位存储器都复位。
[具有共享相位存储器的N相TOF像素]
图3示意性地示出了用于N相TOF像素的电路301的功能结构的实施方式。电路301包括多个抽头302(此处是M个抽头)和读出单元305。每个抽头302包括电光调制器抽头303和每个相位的相位单元304(有N个相位，但是在图3中只示出了一个相位)。相位单元304具有传输门(transfer gate)TXN、相位存储器和读出门(readout gate)RXN。电光调制器抽头303调制由M抽头调制器306接收的电磁波，并基于调制的电磁波产生电荷。每个抽头经由传输门TXN将收集的电荷传输到相位存储器。为了读出存储的电荷，电荷通过读出门RXN传送到读出单元305，读出单元305包括浮动扩散部(FD)和读出晶体管，例如，金属氧化物半导体场效应晶体管(MOS)。
图4示意性地示出了示例性的圆形双抽头拓扑，其中，在抽头之间共享和重用相位存储器。圆形双抽头拓扑401包括抽头A和抽头B，对于每个抽头包括相应的混频器混频1、混频2、相应的光电检测器PD1、PD2以及相应的累积位置AC1、AC2。圆形双抽头拓扑401还包括8个传输门TX1、TX2、TX3、TX4、TX5、TX6、TX7、TX8、4个共享相位存储器PM1、PM2、PM3、PM4、读出门RX、浮动扩散部FD和放大器。每个混频器混频1、混频2调制电磁波，并将调制信号传输到相应的光电检测器PD1、PD2。光电检测器PD1、PD2将电磁波转换成电荷。然后电荷通过传输门TX1、TX5传输到相应的累积位置AC1、AC2。通过激活和去激活传输门TX1、TX2、TX3、TX4、TX5、TX6、TX7、TX8，可以将电荷传送到期望的相位存储器PM1、PM2、PM3、PM4或累积位置AC1、AC2。下面将更详细地解释这个操作(图5的a至e、图6的a至e、图7的a至e、图8的a至e)。提供读出门RX，以将电荷从相位存储器PM2传送到浮动扩散部FD，以读出电荷。为了放大该信号，另外提供了像素放大器。
如图4所示，共享存储器的圆形双抽头拓扑401以4个相关相位(图1中的φ0、φ1、φ2、φ3)操作，此处是相位I(0°)、相位Q(90°)、相位Ib(180°)和相位Qb(270°)，用于累积数据。信号Q/Qb相对于信号I/Ib分别呈现90°的相位滞后，并且被描述为(相对地)正交；因此，使用了标签Q和Qb。信号I/Ib不是异相，即，同相。
在每次子曝光中累积具有相同相位的相位数据的一种可能性是收集具有相同相位的电荷，并为下一次子曝光循环旋转电荷顺序。每个子曝光包括曝光阶段、存储阶段和旋转阶段。
图5的a至e至图8的a至e表示为获得深度图像而提供的示例性4个子曝光。这4个子曝光包括I-Ib曝光(图5的a)、Q-Qb曝光(图6的a)、Ib-I曝光(图7的a)和Qb-Q曝光(图8的a)。
图5的a至e示出了如以上关于图4所描述的共享相同相位存储器的双抽头拓扑的示例性操作的I-Ib曝光。用破折号标记的传输门处于激活模式(“打开”)。
图5的a描述了I-Ib曝光阶段。此处假设相位存储器PM1、PM2、PM3和PM4被来自先前子曝光的电荷占据。因此，第一相位存储器PM1被相位为I的电荷占据，第二相位存储器PM2被相位为Qb的电荷占据，第三相位存储器PM3被相位为Ib的电荷占据，第四相位存储器PM4被相位为Q的电荷占据。在照明相位为180°的I-Ib曝光阶段中，抽头A接收相位为I的电荷，抽头B接收相位为Ib的电荷。激活位于累积位置AC1、AC2和光电检测器PD1、PD2之间的传输门TX1、TX5。因此，在I-Ib曝光阶段，通过光电检测器PD1、PD2获得的电荷传送到累积位置AC1、AC2。
图5的b示出了存储阶段，其中，在I-Ib曝光阶段中获得的相位I和Ib的电荷从累积位置AC1、AC2传送到相应的相位存储器PM1和PM3。激活传输门TX2和传输门TX6。因此，在第一累积位置AC1的相位为I的累积电荷传送到并存储在第一相位存储器PM1，而在第二累积位置AC2的相位为Ib的累积电荷传送到并存储在第三相位存储器PM3。因此，从抽头A接收的相位I的电荷与先前子曝光的相位I的电荷一起累积在相位存储器PM1中，并且从抽头B接收的电荷与来自先前子曝光的相位Ib的电荷一起累积。
图5的c、d、e示出了第一旋转阶段。旋转阶段顺时针旋转电荷，以便为下一次曝光和存储阶段将电荷分配给相应的相位存储器。
图5的c示出了旋转阶段的第一步骤。在旋转阶段的第一步骤中，激活传输门TX8和传输门TX4。第二和第四相位存储器PM2、PM4将在先前子曝光中获得的存储电荷分别清空到累积位置AC1和AC2。
图5的d示出了旋转阶段的第二步骤。激活位于相位存储器PM1和相位存储器PM2之间的传输门TX3和位于相位存储器PM3和相位存储器PM4之间的传输门TX7。因此，在存储步骤中获得的电荷I、Ib从相位存储器PM1传送到相位存储器PM2，并且从相位存储器PM3传送到相位存储器PM4。
图5的e示出了旋转阶段的第三步骤。激活传输门TX2和传输门TX6。因此，第一累积位置AC1处的电荷Q和第二累积位置AC2处的电荷Qb分别传送到相位存储器PM1和相位存储器PM3。
图6的a至e示出了操作的第二次曝光阶段。
图6的a描述了Q-Qb曝光阶段。此处要注意的是，相位存储器PM1、PM2、PM3、PM4中的累积电荷组I、Ib、Q、Qb的顺序与图5中描述的顺序不同，即电荷组的顺序顺时针移动。在照明相位为90°的Q-Qb曝光阶段中，抽头A接收相位Q的电荷，抽头B接收相位Qb的电荷。激活位于累积位置AC1、AC2和光电检测器PD1、PD2之间的传输门TX1、TX5。因此，在Q-Qb曝光阶段，通过光电检测器PD1、PD2获得的电荷传送到累积位置AC1、AC2。
图6的b示出了一个存储阶段，其中，在Q-Qb曝光阶段中获得的相位Q和Qb的电荷从累积位置AC1、AC2传送到相应的相位存储器PM1和PM3。激活传输门TX2和传输门TX6。因此，在第一累积位置AC1获得的相位Q的电荷，累积在由图5中描述的旋转产生的相位Q的电荷中，并且相应的在第二累积位置AC2获得的电荷与相位Qb的电荷累积在一起。
图6的c、d、e示出了第二旋转阶段。旋转阶段顺时针旋转电荷组，以便为下一次曝光和存储阶段将电荷组分配给相应的相位存储器。
图6的c示出了旋转阶段的第一步骤。在旋转阶段的第一步骤中，激活传输门TX8和传输门TX4。相位存储器PM2、PM4将先前子曝光中获得的存储电荷分别清空到累积位置AC1和AC2。
图6的d示出了旋转阶段的第二步骤。激活位于第一相位存储器PM1和第二相位存储器PM2之间的传输门TX3和位于相位存储器PM3和相位存储器PM4之间的传输门TX7。因此，在存储步骤中获得的电荷Q和Qb分别从相位存储器PM1传送到相位存储器PM2，并且从相位存储器PM3传送到相位存储器PM4。
图6的e示出了旋转阶段的第三步骤。激活传输门TX2和传输门TX6。因此，第一累积位置AC1处的电荷Ib和第二累积位置AC2处的电荷I分别传送到相位存储器PM1和到相位存储器PM3。
图7的a至e示出了如上面关于图4所描述的共享相同相位存储器的双抽头拓扑的示例性操作的Ib-I曝光。
图8的a至e示出了如上面关于图4所描述的共享相同相位存储器的双抽头拓扑的示例性操作的Qb-Q曝光。
图7的a至e和图8的a至e中描述的操作遵循与图5的a至e和图6的a至e相同的路线，因此可以省略描述。传输门TX1、TX2、TX3、TX4、TX5、TX6、TX7、TX8的顺序激活与上述操作相同。每个相位的不同之处在于，曝光信号和相位数据的顺序不同。此外，要注意的是，在Ib-I相位，抽头A接收相位数据Ib，并将相位数据累积到第一相位存储器PM1。因此，抽头A的接收的相位数据另外累积在相位存储器PM1中，在相位存储器PM1中，已经存在通过抽头B从先前子曝光获得的相位数据。为了读出阶段数据，抽头A和抽头B具有不同的相位，优选地具有180°的相移。这一原理也适用于其他辅助曝光阶段，这也可以在辅助曝光阶段Qb-Q中观察到(图8的a至e)。
通过以循环方式共享抽头抽头A、抽头B的相位存储器并旋转电荷，相似相位的电荷累积在每个相应的电荷组I、Ib、Q、Qb中。
在这个过程之后，对于每个像素，一组相位测量值可用于计算深度信息。当通过每个抽头或甚至每个像素的唯一浮动扩散部(FD)读出阶段信息时，相位测量值保持一致，并且在该FD和读出中的偏移不是问题，因为在深度计算中移除这些参数。也移除调制器本身的失配，因为每个抽头都获得了一组一致的数据。
[具有共享相位存储器和加权位置的N相TOF像素]
图9示意性地示出了另一示例性的圆形双抽头拓扑，其中，在抽头之间共享和重用相位存储器。该实施方式对应于图4的实施方式。圆形双抽头拓扑901还在图4所示的圆形双抽头拓扑401中添加了加权位置W、加权位置传输晶体管WX和检测门Qg。设置具有检测门的加权位置W，用于检测相位存储器PM1的饱和。
[具有作为相位存储器的浮动扩散部的N相TOF像素]
图10示意性地示出了具有独立相位存储器的N相TOF像素的抽头的功能结构的另一实施方式。与具有共享存储器不同，相位数据(例如，I、Ib、Q、Qb)从每个抽头传送到相应的浮动扩散部FDN(N是相位的数量)。因此，每个相位的信息累积在单独的浮动扩散部FDN中。这种结构极大地简化了像素结构，然而，在设计时必须注意使不同浮动扩散部FDN之间的任何失配最小化。抽头1001包括电光调制器抽头1002和每个相位的相位单元1003(图3中仅示出了一个相位)。相位单元1003具有传输门TXn、浮动扩散部(FD)和读出晶体管，例如，金属氧化物半导体场效应晶体管(MOS)。电光调制器抽头1002调制由M抽头调制器1004接收的电磁波，并基于调制的电磁波产生电荷。
根据获得的相位或相关性，使用不同的存储器来累积电荷。
下面描述了一个示例操作，其中，有两个抽头(M＝2)、四个相位(N＝4)(图1中的φ0、φ1、φ2、φ3)，此处是相位I(0°)、相位Q(90°)、相位Ib(180°)和相位Qb(270°)，因此每个抽头有4个相位存储器。
假设需要4个子曝光来获得深度图像：I-Ib相位、Q-Qb相位、Ib-I相位和Qb-Q相位。
在I-Ib曝光阶段，抽头A接收相位数据I，抽头B接收相位数据Ib，因此I-Ib曝光具有180°的照明相位(illumination phase)。由抽头A收集的相位I的电荷存储在相位存储器IA中，并且由抽头B接收的相位Ib的电荷存储在相位存储器IbB中。
在Q-Qb曝光阶段，抽头A接收相位数据Q，抽头B接收相位数据Qb，因此Q-Qb曝光具有90°的照明相位。由抽头A收集的相位Q的电荷存储在相位存储器QA中，并且由抽头B接收的相位Qb的电荷存储在相位存储器QbB中。
在Ib-I曝光阶段，抽头A接收相位数据Ib，抽头B接收相位数据I，因此Ib-I曝光具有180°的照明相位。由抽头A收集的相位Ib的电荷存储在相位存储器IbA中，并且由抽头B接收的相位I的电荷存储在相位存储器IB中。
在Qb-Q曝光阶段，抽头A接收相位数据Qb，抽头B接收相位数据Q，因此Qb-Q曝光具有90°的照明相位。由抽头A收集的相位Qb的电荷存储在相位存储器QbA中，并且由抽头B接收的相位Q的电荷存储在相位存储器QB中。
作为示例，图11示出了在半导体中实现的双抽头CAPD像素结构1101的架构。像素结构包括2个抽头(即抽头A、抽头B)、电路、p型源极和n型阱。这些电路控制抽头来累积相位数据或读出阶段数据。每个抽头具有混频器混频B、混频A、光电检测器PD和每个抽头的4个浮动扩散部，即用于抽头A的FD0A、FD1A、FD2A和FD3A以及用于抽头B的FD0B、FD1B、FD2B和FD3B。抽头之间的距离可以是5μm，优选地是7.5μm，并且抽头的高度可以是15μm。2个抽头CAPD像素结构的总长度可以是15μm。
作为示例，图12示出了作为图11的上述双抽头CAPD像素结构1101的变型的双抽头CAPD像素结构1201的另一架构。除了在抽头之间共享电路，该结构与上述图11的像素结构相同。
[具有公共浮动扩散部的N相TOF像素]
图13示意性地示出了具有公共浮动扩散部的N相TOF像素的电路1301的功能结构的实施方式。
电路1301包括电光调制器1303、M个抽头1302和读出单元1304。每个抽头1302包括N个传输门TXN(N：相位数)、N个浮动扩散部FDN和N个开关SWN。电光调制器抽头调制电磁波，并基于调制的电磁波产生电荷，该调制的电磁波通过传输门TXN传输到浮动扩散部FDN。浮动扩散部FDN存储电荷。此外，包括公共读出浮动扩散部FD和读出晶体管MOS的读出单元1304获得抽头的电荷，以读出存储的电荷。浮动扩散部FDN与到公共读出浮动扩散部FD的开关SWN多路复用，以避免读出晶体管失配。
[具有共享浮动扩散部的N相TOF像素]
图14示意性地示出了具有共享浮动扩散部的N相TOF像素的电路1401的功能结构的另一实施方式。为了进一步简化像素，代替使用电荷传送和从抽头到存储位置的传输门，可以使用调制器，其中，浮动扩散部FD正在收集电荷。然后浮动扩散部FD的小电容可以多路复用到不同的存储浮动扩散部FDN，以创建N相存储功能。电路1401包括具有M个抽头的电光调制器1403。每个抽头1402包括共享浮动扩散部FD、开关SWN和每个相位的读出单元1404。对于每个相位N，每个读出单元1404包括浮动扩散部FDN和读出晶体管MOS。
[具有共享浮动扩散部和公共读出浮动扩散部的N相TOF像素]
图15示意性地示出了作为图14的变型的具有共享浮动扩散部和公共读出浮动扩散部的N相TOF像素的电路1501的功能结构的另一实施方式。浮动扩散部FDN在到公共读出FD的读出时多路复用，以避免读出路径上的失配。电路1501包括用于M个抽头的电光调制器1503、M个抽头1502和公共读出单元1504。每个抽头1502包括共享浮动扩散部FD，并且对于每个相位包括第一开关SWN、存储浮动扩散部FDN和第二开关SWN。公共读出单元1504被设置用于读出信号，并且包括公共浮动扩散部FD和读出晶体管MOS。提供公共读出浮动扩散部FD，以避免读出晶体管失配。
[具有独立存储器的N相TOF像素]
图16提供了与电路相关的另一实施方式的时序图，该电路被配置为在多相曝光中在相关联的相位存储器中累积具有相同相位数据的多个子曝光。在图16的“曝光”部分中，示出了对应于多相曝光的一段时间。在图16的“子曝光”部分中，示出了多相曝光包括多个子曝光0、1/2、1/4、3/4，这些子曝光相继出现并重复。子曝光0、1/2、1/4和3/4分别对应于相位I、Ib、Q以及Qb。根据该实施方式的电路包括两个抽头抽头_A、抽头_B，每个抽头包括光电检测器PD_A、PD_B。图16的“抽头_A、抽头_B”部分示出了在每个子曝光的每个抽头处产生的相应信号的相位。根据该实施方式的电路包括抽头_A的4个相位存储器FDA_I、FDA_Ib、FDA_Q和FDA_Qb以及抽头_B的4个相位存储器FDB_I、FDB_Ib、FDB_Q和FDB_Qb。每个相位存储器分配给特定相位。图16的“抽头_A的4相存储器；抽头_B的4相存储器”部分，示出了存储在相应相位存储器中的电荷相位。
应当认识到，实施方式描述了具有方法步骤的示例性排序的方法。然而，仅出于说明的目的给出方法步骤的特定顺序，不应被解释为具有约束力。例如，图5至图8的e的辅助曝光阶段的顺序通常可以互换。例如，可以交换图6中的子曝光Q-Qb相位和图7中的子曝光Ib-I。方法步骤顺序的其他变化对技术人员来说可能是显而易见的。
如果没有另外声明，本说明书中描述的和所附权利要求中要求保护的所有单元和实体可以被实现为集成电路逻辑，例如，在芯片上。
就至少部分地使用软件控制的数据处理设备来实现上述公开的实施方式而言，应当理解，提供这种软件控制的计算机程序和提供这种计算机程序的传输、存储或其他介质被设想为本公开的方面。
注意，也可以如下所述配置本技术。
(1)一种电子装置，包括电路，电路被配置为在多相曝光中在相关联的相位存储器(PM1、PM2、PM3、PM4)中累积具有相同相位数据(I、Q、Qb、Ib)的多个子曝光(TX1、TX2、TX3、TX4)。
(2)根据(1)的电子装置，其中，电路被配置为与来自先前子曝光(TX1、TX2、TX3、TX4)的具有相同相位的相位数据(I、Q、Qb、Ib)一起累积相位数据(I、Q、Qb、Ib)。
(3)根据(1)或(2)的电子装置，其中，电路被配置为通过在相应的相位存储器(PM1、PM2、PM3、PM4)中累积电荷，来累积具有相同相位数据(I、Q、Qb、Ib)的子曝光(TX1、TX2、TX3、TX4)。
(4)根据(1)至(3)中任一项的电子装置，其中，电路被配置为在帧结束时读出累积的相位数据(I、Q、Qb、Ib)。
(5)根据(1)至(4)中任一项的电子装置，其中，相位存储器(PM1、PM2、PM3、PM4)是共享相位存储器。
(6)根据(1)至(5)中任一项的电子装置，其中，每个子曝光(TX1、TX2、TX3、TX4)包括曝光阶段、存储阶段和旋转阶段。
(7)根据(5)或(6)的电子装置，其中，电路被配置为通过循环旋转相位数据(I、Q、Qb、Ib)，来将相位数据(I、Q、Qb、Ib)累积在共享相位存储器(PM1、PM2、PM3、PM4)中。
(8)根据(1)至(7)中任一项的电子装置，其中，由抽头获取的相位数据(I、Q、Qb、Ib)遵循相同的高频路径。
(9)根据(1)至(8)中任一项的电子装置，其中，每个抽头(抽头A、抽头B)包括电光调制器抽头(303)和相位单元(304)，其中，每个相位单元(304)包括传输门(TXN)、相位存储器和读出门(RXN)；并且电路还包括读出单元(305)，其中，读出单元(305)包括浮动扩散部和读出晶体管。
(10)根据(1)至(9)中任一项的电子装置，其中，电路包括第一抽头(抽头A)和第二抽头(抽头B)，其中，每个抽头包括相应的混频器(混频1、混频2)、相应的光电检测器(PD1、PD2)和相应的累积位置(AC1、AC2)，并且其中，电路还包括传输门(TX1、TX2、TX3、TX4、TX5、TX6、TX7、TX8)、共享相位存储器(PM1、PM2、PM3、PM4)、读出门(RX)、浮动扩散部(FD)和放大器(RX)。
(11)根据(1)至(10)中任一项的电子装置，其中，电路还包括用于检测相位存储器(PM1)的饱和的加权位置(W)。
(12)根据(1)至(11)中任一项的电子装置，其中，相位存储器(PM1、PM2、PM3、PM4)是浮动扩散部。
(13)根据(12)的电子装置，其中，电路还包括读出单元(1304；1504)，其中，读出单元(1304；1504)包括公共浮动扩散部(FD)和读出晶体管(MOS)。
(14)根据(1)至(12)中任一项的电子装置，电路包括一个或多个抽头，其中，抽头(1402)包括用于累积相位数据(I、Q、Qb、Ib)的共享浮动扩散部(FDN)。
(15)根据(14)的电子装置，其中，电路还包括读出单元(1504)，其中，读出单元(1504)包括公共浮动扩散部(FD)和读出晶体管(MOS)。
(16)一种方法，包括在多相曝光中在相关联的相位存储器(PM1、PM2、PM3、PM4)中累积具有相同相位数据(I、Q、Qb、Ib)的多个子曝光(TX1、TX2、TX3、TX4)。

Claims (16)

1.一种电子装置，包括电路，所述电路被配置为在多相曝光中在相关联的相位存储器中累积来自第一子曝光的第一相位数据和来自第二子曝光的具有相同相位的第二相位数据。
2.根据权利要求1所述的电子装置，其中，所述第二子曝光是先前子曝光。
3.根据权利要求1所述的电子装置，其中，所述电路被配置为通过在相应的相位存储器中累积电荷，来累积具有相同相位数据的子曝光。
4.根据权利要求1所述的电子装置，其中，所述电路被配置为在帧结束时读出累积的相位数据。
5.根据权利要求1所述的电子装置，其中，所述相位存储器是共享相位存储器。
6.根据权利要求5所述的电子装置，其中，每个子曝光包括曝光阶段、存储阶段和旋转阶段。
7.根据权利要求5所述的电子装置，其中，所述电路被配置为通过循环地旋转所述相位数据，来将所述第一相位数据和所述第二相位数据累积在所述共享相位存储器中。
8.根据权利要求5所述的电子装置，其中，由抽头获取的所述相位数据遵循相同的高频路径。
9.根据权利要求8所述的电子装置，其中，每个抽头包括电光调制器抽头和相位单元，其中，每个相位单元包括传输门、相位存储器和读出门；并且所述电路还包括读出单元，其中，所述读出单元包括浮动扩散部和读出晶体管。
10.根据权利要求5所述的电子装置，其中，所述电路包括第一抽头和第二抽头，其中，每个抽头包括相应的混频器、相应的光电检测器和相应的累积位置，并且其中，所述电路还包括传输门、共享相位存储器、读出门、浮动扩散部和放大器。
11.根据权利要求1所述的电子装置，其中，所述电路还包括用于检测所述相位存储器的饱和的加权位置。
12.根据权利要求1所述的电子装置，其中，所述相位存储器是浮动扩散部。
13.根据权利要求12所述的电子装置，其中，所述电路还包括读出单元，其中，所述读出单元包括公共浮动扩散部和读出晶体管。
14.根据权利要求1所述的电子装置，所述电路包括一个或多个抽头，其中，所述抽头包括用于累积相位数据的共享浮动扩散部。
15.根据权利要求14所述的电子装置，其中，所述电路还包括读出单元，其中，所述读出单元包括公共浮动扩散部和读出晶体管。
16.一种用于电子装置的方法，包括在多相曝光中在相关联的相位存储器中累积来自第一子曝光的第一相位数据和来自第二子曝光的具有相同相位的第二相位数据。
CN201880077708.3A 2017-12-29 2018-12-21 成像装置和方法 Active CN111433631B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17211206.2 2017-12-29
EP17211206 2017-12-29
PCT/EP2018/086736 WO2019129740A1 (en) 2017-12-29 2018-12-21 Imaging device and method

Publications (2)

Publication Number Publication Date
CN111433631A CN111433631A (zh) 2020-07-17
CN111433631B true CN111433631B (zh) 2023-11-03

Family

ID=60954812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880077708.3A Active CN111433631B (zh) 2017-12-29 2018-12-21 成像装置和方法

Country Status (5)

Country Link
US (1) US11726207B2 (zh)
EP (1) EP3732507A1 (zh)
KR (1) KR102459755B1 (zh)
CN (1) CN111433631B (zh)
WO (1) WO2019129740A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220158109A (ko) 2021-05-20 2022-11-30 삼성전자주식회사 깊이 센서 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096813A (ja) * 2002-08-29 2004-03-25 Canon Inc ムービングコイル型多相リニアモータおよびその駆動方法、多相リニアモータおよびその駆動方法、駆動装置、ならびにこれらを備えた露光装置
US9332200B1 (en) * 2014-12-05 2016-05-03 Qualcomm Incorporated Pixel readout architecture for full well capacity extension

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580296B1 (en) 2000-09-22 2003-06-17 Rn2R, L.L.C. Low power differential conductance-based logic gate and method of operation thereof
US6580496B2 (en) 2000-11-09 2003-06-17 Canesta, Inc. Systems for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US6515740B2 (en) 2000-11-09 2003-02-04 Canesta, Inc. Methods for CMOS-compatible three-dimensional image sensing using quantum efficiency modulation
US20060061770A1 (en) * 2004-09-22 2006-03-23 The Regents Of The University Of California Heterodyning time resolution boosting method and system
US7283213B2 (en) * 2005-02-08 2007-10-16 Canesta, Inc. Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
ATE464578T1 (de) 2005-08-08 2010-04-15 Mesa Imaging Ag Verfahren und vorrichtung für redundante abstandsmessung und für das aufheben von phasenversatz
US20080106625A1 (en) * 2006-11-07 2008-05-08 Border John N Multi image storage on sensor
US8213049B2 (en) * 2007-08-02 2012-07-03 Canon Kabushiki Kaisha Image forming apparatus
EP2594959B1 (en) 2011-11-17 2017-01-04 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
US9325920B2 (en) 2012-01-10 2016-04-26 Softkinetics Sensors Nv Processing of time-of-flight signals
EP2618180B1 (de) 2012-01-23 2014-03-19 Espros Photonics AG Sensorvorrichtung, Herstellungsverfahren und Detektionsvorrichtung
US20140049767A1 (en) * 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems
KR102061699B1 (ko) * 2013-06-19 2020-01-02 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
US9702976B2 (en) 2014-10-27 2017-07-11 Microsoft Technology Licensing, Llc Time of flight camera
US9749565B2 (en) 2015-05-18 2017-08-29 Analog Devices, Inc. Interline charge-coupled devices
KR102372088B1 (ko) 2015-10-29 2022-03-08 삼성전자주식회사 영상 획득 장치 및 영상 획득 방법
CN108234892A (zh) * 2016-12-15 2018-06-29 松下知识产权经营株式会社 摄像装置及摄像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096813A (ja) * 2002-08-29 2004-03-25 Canon Inc ムービングコイル型多相リニアモータおよびその駆動方法、多相リニアモータおよびその駆動方法、駆動装置、ならびにこれらを備えた露光装置
US9332200B1 (en) * 2014-12-05 2016-05-03 Qualcomm Incorporated Pixel readout architecture for full well capacity extension

Also Published As

Publication number Publication date
CN111433631A (zh) 2020-07-17
WO2019129740A1 (en) 2019-07-04
EP3732507A1 (en) 2020-11-04
US20210157005A1 (en) 2021-05-27
KR102459755B1 (ko) 2022-10-28
KR20200089310A (ko) 2020-07-24
US11726207B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
CN110121661B (zh) 飞行时间成像像素中的读出电压不确定度补偿
CN110115028B (zh) 具有共享转移栅极的全局快门像素结构
WO2009111556A1 (en) Drift field demodulation pixel with pinned photo diode
KR20150053673A (ko) 깊이 센서의 픽셀 및 이를 포함하는 이미지 처리 시스템
US9848148B1 (en) Methods and apparatus for a multiple storage pixel imaging system
EP1458087B1 (en) Electrical circuit, apparatus and method for the demodulation of an intensity-modulated signal
US20110114821A1 (en) 3D CCD-Style Imaging Sensor with Rolling Readout
US11647972B2 (en) Ultra-fast scanning x-ray imaging device
CN111433631B (zh) 成像装置和方法
US20230137801A1 (en) Readout architecture for indirect time-of-flight sensing
CN115942136A (zh) 像素阵列和图像传感器
CN111684791B (zh) 像素结构、具有像素结构的图像传感器装置和***、以及操作该像素结构的方法
WO2018029372A1 (en) A demodulator with a carrier generating pinned photodiode
US11520020B2 (en) Electronic device and method
TWI837107B (zh) 像素結構、具像素結構之影像感測器裝置和系統、及操作該像素結構之方法
US11985437B2 (en) Readout architectures for binned indirect time-of-flight sensors
JPH10281868A (ja) 時間相関検出型イメージセンサおよび画像解析方法
KR101629287B1 (ko) 넓은 동적 범위를 갖는 이미지센싱장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant