CN106559622A - 具有闪烁抑制和高动态范围的成像*** - Google Patents

具有闪烁抑制和高动态范围的成像*** Download PDF

Info

Publication number
CN106559622A
CN106559622A CN201610594903.6A CN201610594903A CN106559622A CN 106559622 A CN106559622 A CN 106559622A CN 201610594903 A CN201610594903 A CN 201610594903A CN 106559622 A CN106559622 A CN 106559622A
Authority
CN
China
Prior art keywords
electric charge
exposure
storage region
during
photodiode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610594903.6A
Other languages
English (en)
Other versions
CN106559622B (zh
Inventor
S·巴纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Components Industries LLC
Original Assignee
Semiconductor Components Industries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Components Industries LLC filed Critical Semiconductor Components Industries LLC
Publication of CN106559622A publication Critical patent/CN106559622A/zh
Application granted granted Critical
Publication of CN106559622B publication Critical patent/CN106559622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本公开涉及具有闪烁抑制和高动态范围的成像***。本发明公开了一种图像像素，所述图像像素可包括快门元件，所述快门元件可工作于对应光电二极管累积电荷的打开状态和电荷从所述光电二极管排出的闭合状态。在图像帧的第一部分期间，所述图像像素可工作于闪烁抑制模式中，其中使用了非连续的曝光周期。在所述图像帧的第二部分期间，所述图像像素可工作于高动态范围模式中，其中用变化长度的曝光获得图像。为了节约存储器需求，可直到所述高动态范围模式的第一曝光结束时才对来自所述闪烁抑制模式的所述信号进行采样。

Description

具有闪烁抑制和高动态范围的成像***
技术领域
本发明整体涉及成像***，并且更具体地讲涉及具有动态快门功能的成像***。
背景技术
现代电子设备，例如蜂窝电话、相机和计算机，常常使用数字图像传感器。成像器(即图像传感器)常常包括图像感测像素的二维阵列。每个像素通常包括光传感器，诸如光电二极管，所述光传感器接收入射光子(入射光)并把光子转变为电信号。
在常规成像***中，图像伪影可能由移动物体、移动或抖动相机、闪烁光照以及图像帧中具有变化照明的物体引起。此类伪影可包括例如物体的缺失部分、边缘颜色伪影和物体失真。具有变化照明的物体的例子包括发光二极管(LED)交通标志(其可每秒闪烁几百次)以及现代汽车的LED刹车灯或车头灯。
虽然电子卷帘快门和全局快门模式产生具有不同伪影的图像，但此类伪影的根本原因对于这两种操作模式是共同的。通常，图像传感器以相对于正被拍摄的场景异步的方式采集光。这意味着图像帧的各部分可能不会在帧持续时间的一部分内曝光。在积聚时间比所使用的帧时间短得多时，对于亮场景尤其是这种情况。当场景包括移动或快速变化的物体时，图像帧中不完全暴露于动态场景的区可导致物体失真、幻影效应和颜色伪影。当相机在图像拍摄操作期间移动或抖动时，可观察到类似效应。
常规成像***还可能具有带有与低动态范围相关的伪影的图像。具有较亮部分和较暗部分的场景可在常规图像传感器中产生伪影，因为图像的各部分可能曝光过度或曝光不足。
因此希望能够提供高动态范围(HDR)成像***，以便在与移动物体、移动或抖动相机、闪烁照明及具有变化照明的物体相关的伪影最少的情况下拍摄图像。
附图说明
图1是根据本发明的实施方案的示例性成像***的示意图，所述成像***可包括图像传感器，所述图像传感器具有带有动态操作的电子快门的图像像素。
图2是根据本发明的实施方案的图像像素的示意图，所述图像像素可用于支持动态快门操作模式。
图3是根据本发明的实施方案的时序图，示出了在图像拍摄期间示例性图像像素的相关信号行为，并且示出了可如何执行动态快门操作。
图4是根据本发明的实施方案的时序图，示出了动态快门的示例性快门信号图案，诸如均一快门信号图案、随机快门信号图案和同步脉冲串快门信号图案。
图5是根据本发明的实施方案的时序图，示出了用于闪烁抑制(FM)的动态快门操作可如何与高动态范围(HDR)模式组合。
具体实施方式
电子设备中的图像传感器，诸如数码相机、计算机、蜂窝电话和其他电子设备中的图像传感器，用于聚集传入的图像光以拍摄图像。图像传感器可包括成像像素的阵列。图像传感器中的像素可包括光敏元件，诸如光电二极管，用于把传入的图像光转换为图像信号。图像传感器可具有任何数量(如，数百或数千或更多)的像素。典型的图像传感器可例如具有数十万或数百万像素(如，百万像素)。图像传感器可包括控制电路，诸如用于操作成像像素的电路，以及用于读出光敏元件生成的电荷对应的图像信号的读出电路。
像素阵列中的每个图像像素可包括用于控制光敏元件何时获取电荷的快门元件。例如，当像素的快门元件“打开”时，光电流可累积于光敏元件上。当像素的快门元件“闭合”时，光电流可从像素排出并被丢弃。
可通过在成像帧的整个持续时间内打开和闭合多次，从而动态地操作快门元件。动态快门操作的每个周期可包括打开快门时的时间段和闭合快门时的时间段。在每个周期结束时，可将在周期期间已在光敏元件上获取的电荷从光敏元件转移到像素存储器元件。通过重复该序列多次，像素存储器元件上累积的电荷可代表被拍摄的整个场景而没有明显未曝光的时间“盲”点。
图1是示例性成像***的示意图，所述成像***使用具有动态操作的快门元件的图像像素。图1的成像***10可为便携式电子设备，诸如相机、蜂窝电话、摄像机或拍摄数字图像数据的其他成像设备。相机模块12可用于将入射光转换成数字图像数据。相机模块12可包括一个或多个镜头14以及一个或多个对应的图像传感器16。图像传感器16可为具有图像像素30的阵列的图像传感器集成电路管芯。图像像素30可各自包括用于控制何时在图像像素上获取电荷的快门元件。
在图像拍摄操作期间，镜头14可将来自场景的光聚焦于图像传感器16中的图像像素阵列上。图像传感器16可将对应的数字图像数据提供给控制电路，诸如存储和处理电路18。
电路18可包括一个或多个集成电路(如，图像处理电路、微处理器、存储设备诸如随机存取存储器和非易失性存储器等)，并且可使用与相机模块12分开和/或形成相机模块12的一部分的部件(如，形成包括图像传感器16的集成电路或者与图像传感器16相关的模块12内集成电路的一部分的电路)来实现。还可使用处理电路18进一步处理和/或存储已被相机模块12捕获的图像数据。如果需要，已处理图像数据可使用耦接至处理电路18的有线和/或无线通信路径提供给外部设备(如，计算机或其他设备)。处理电路18可用于控制图像传感器16的操作。
图2是示例性图像像素30的电路图。如图2所示，像素30包括光敏元件，诸如光电二极管20。可在正电源端子22处提供正电源电压Vaa。可在第二电源端子24处提供第二电源电压Vab。入射光可在穿过滤色器结构之后由光电二极管20收集。光电二极管20响应于接收入射的光子而生成电荷(如电子)。由光电二极管20收集的电荷量取决于入射光的强度和曝光持续时间(或积聚时间)。
在拍摄图像之前，可使复位控制信号RST生效。使信号RST生效会使复位晶体管26导通，并将电荷存储节点28(有时称为浮动扩散区FD)复位为Vaa。然后复位控制信号RST可被解除生效，使复位晶体管26截止。
像素30可包括快门门，诸如快门门32。快门门32可具有栅极端子，所述栅极端子受快门控制信号SG控制。使快门控制信号SG生效使快门门32导通，并(例如，通过经快门门32将Vab连接到光电二极管20)将光电二极管20复位为电源电压Vab。当信号SG被解除生效时，可允许光电二极管20累积光生电荷。
由于在信号SG被解除生效时(即，在SG较低时)允许电荷累积于光电二极管20上，所以晶体管32的截止状态可对应于像素30的打开电子快门。相似地，由于在信号SG生效时(即，在SG高时)光电二极管20被复位为电源电压Vab，所以晶体管32的导通状态可对应于于像素30的闭合电子快门。一般来讲，“打开”电子快门在本文可用来指允许光电二极管20累积电荷的状态(即，晶体管32被解除生效的状态)，而“闭合”电子快门在本文可用来指光电二极管20被复位为电源电压Vab的状态(即，晶体管32生效的状态)。
像素30可包括转移门(晶体管)38。转移门38可具有栅极端子，所述栅极端子受转移控制信号TX控制。转移信号TX可为脉动式的，以将电荷从光电二极管20转移到电荷存储区28。浮动扩散区28可以是掺杂半导体区域(例如，通过离子注入、杂质扩散或其他掺杂工艺在硅衬底中掺杂的区域)。
如果需要，像素30可具有用于暂时存储从光电二极管20转移的电荷的附加存储区域。例如，中间存储器节点诸如扩散二极管和中间转移门或任何其他合适的像素内存储器配置可位于转移晶体管38与源极跟随器晶体管40之间。图2的配置仅仅是示例性的。
像素30可包括读出电路，诸如电荷读出电路15。电荷读出电路15可包括行选择晶体管42和源极跟随器晶体管40。晶体管42可具有栅极，所述栅极受行选择信号RS控制。当信号RS生效时，晶体管42导通，对应的信号Vout(例如，大小与浮动扩散节点28处的电荷量成比例的输出信号)被传递到输出路径44。
快门门32在帧捕捉期间可以是动态脉动的。动态快门操作的每个周期可包括打开快门32时(即，在SG低时)的时间段和闭合快门32时(即，在SG高时)的时间段。当闭合快门32时，电荷从像素30排出并被丢弃。当打开快门32时，在光电二极管20上采集电荷。在每个周期结束时，转移门TX可受到脉冲作用，以将在周期期间已累积于光电二极管20上的电荷转移到电荷存储区28。
在典型图像像素阵列配置中，存在多行和多列像素30。列读出路径(诸如输出线46)可与每列像素30相关联(例如，一列中的每个图像像素30都可通过相关联的行选择晶体管42连接到输出线46)。可使信号RS生效以将来自所选图像像素的信号Vout读出到列读出路径46上。可将图像数据Vout馈送给处理电路18，以便进一步处理。图2所示电路仅用于举例说明。如果需要，像素30可包括其他像素电路。
像素30包括由快门门32形成的电子快门的图2的配置仅仅是示例性的。如果需要，像素30可设置有其他合适类型的快门元件，诸如机械快门元件或电光快门元件。例如，每个像素30可设置有液晶电光快门(LCEOS)。可将控制信号施加到每个LCEOS，以确定LCEOS何时是透明的(即，何时打开快门)以及LCEOS何时是不透明的(即，何时闭合快门)。又如，像素30可包括由机械快门结构(诸如基于微机电***(MEMS)的快门结构)形成的快门元件。像素30设置有电子快门元件的配置仅仅是示例性的，并且有时在本文作为例子描述。
图3是时序图，示出了可如何在像素30中执行动态快门操作。如图3所示，快门控制信号SG可在图像帧期间多次脉动。当信号SG低时，快门32被打开并且允许电荷累积于光电二极管20上。当SG高时，快门32被闭合。“快门周期”在本文可用来指包括SG高的一个闭合周期和SG低的一个打开周期的周期。
在每个打开周期结束时，信号TX脉动以将在打开周期期间累积的电荷转移到浮动扩散节点28。每个打开周期可具有任何所需的持续时间。每个周期的电荷采集时间topen被定义为SG脉冲的下降沿与后续TX脉冲的下降沿之间的时间。给定图像帧中的电荷采集时间不必具有相同的持续时间topen。图像帧捕捉期间的像素30的总电荷采集时间T(有时称为总像素曝光时间T)可被定义为帧采集时间期间的所有topen的总和。
可在每个快门周期结束时，使用短TX脉冲将电荷从光电二极管20转移到浮动扩散节点28。在读出时间期间，可将浮动扩散节点28上的累积电荷转换为对应的像素信号Vout。在某些实施方案中，中间转移节点可包括于转移晶体管38与源极跟随器晶体管40之间的像素30中。在这些实施方案中，可使用相关双采样(CDS)技术将电荷转换为对应的像素信号Vout。例如，每个快门周期结束时的短TX脉冲可将电荷从光电二极管20转移到中间转移节点。一旦需要采样时，就可使浮动扩散区28复位并对浮动区28处的电荷进行采样。然后可将来自中间转移节点的电荷转移到浮动扩散区28，并且可再次对浮动扩散区28处的电荷进行采样。这样，复位噪声将被考虑在内。
由于topen远远短于图像帧的长度，多个快门周期可符合帧长度的一部分或符合整个帧长度而不影响像素曝光时序(即，同时保持所需的总像素曝光时间T)。
通过将图像帧期间的总曝光时间T分解成较短的非连续积聚周期，由移动物体、闪烁照明及具有变化照明的物体引起的图像伪影可被最小化而不影响像素曝光时间(即，同时保持所需的总曝光时间T)。
快门脉冲的时序可具有任何合适的图案。图4是时序图，示出了用于操作像素30的快门32的快门信号方案的不同例子。在快门方案1中，信号SG以均一(均匀)间隔脉动。在快门方案2中，信号SG以随机间隔脉动。在快门方案3中，信号SG以均一脉冲串的方式脉动，其中每个脉冲串包括均一间隔的多个脉冲。如果需要，可使用其他快门方案。例如，信号SG可以随机脉冲串的方式脉动，其中每个脉冲串包括多个脉冲并且其中脉冲串以随机间隔发生。图4中所示的方案仅仅是示例性的。
在某些应用中，还可能希望图像传感器16具有高动态范围(HDR)。在高动态范围图像中，图像传感器可将以不同曝光时间拍摄的图像合并成单张图像，以避免曝光过度或曝光不足。
图5示出了时序图，该时序图示出了用于闪烁抑制(FM)的动态快门操作可如何与高动态范围(HDR)模式组合。图5示出了在tFRAME(从t0至t5)内发生的单个帧。每个帧可开始于专用于闪烁抑制的时间段(tFM)。在图5中，tFM被示出为在t0与t1之间发生。如结合图2-4所述，可操作像素30的快门32以将总曝光时间分解成tFM期间较短的非连续积聚周期。图5中tFM期间的快门方案纯粹为示例性的。如果需要，可使用图4的快门方案1，可使用图4的快门方案2，可使用图4的快门方案3，或可使用另一种所需的快门方案。图5中的信号SG可以tFM期间的均匀间隔、随机间隔、或随机间隔与均匀间隔的组合而脉动。
在tFM完成后，可使用像素获得高动态范围图像。可在t1处打开快门，以开始从t1持续到t2的第一HDR曝光时间(tHDR1)。在第一HDR曝光时间后，可开始从t2持续到t3的第二HDR曝光时间(tHDR2)。最后，在第二HDR曝光时间后，可开始从t3持续到t4的第三HDR曝光时间(tHDR3)。
tFRAME的子集可具有任何所需的持续时间。例如，tFRAME可为大约33.3毫秒(这对应于传感器以30帧/秒操作)。所述帧的第一部分可专用于闪烁抑制。例如，tFM可为大约10毫秒。其余时间(23.3毫秒)可在各HDR曝光时间之间划分。例如，tHDR1可为大约21.9毫秒，tHDR2可为大约1.4毫秒，并且tHDR3可为大约0.1毫秒。第一曝光时间tHDR1可长于tHDR2和tHDR3，并且第二曝光时间tHDR2可长于tHDR3。第一曝光时间tHDR1可为tHDR2的十倍、tHDR2的十六倍、或tHDR2的十倍以上。第一曝光时间tHDR1可为tHDR3的一百倍、tHDR3的两百五十六倍、或tHDR3的一百倍以上。第二曝光时间tHDR2可为tHDR3的十倍、tHDR3的十六倍、或tHDR3的十倍以上。一般来讲，tHDR1、tHDR2和tHDR3可具有任何所需的持续时间。
如此前所述，可在每个快门周期结束时，使用短TX脉冲将在快门的每个打开周期期间累积的电荷从光电二极管20转移到浮动扩散节点28。在tFM结束时，浮动扩散节点28可能已从tFM累积整个曝光时间T的电荷。在某些实施方案中，可在tFM结束后(例如，在t1处)立即对该电荷进行采样。一旦采样完，就可由电荷读出电路15将浮动扩散节点28上的累积电荷转换为对应的像素信号Vout。然而，在对电荷采样后，必须存储Vout值。在t1处对电荷采样可能需要存储从t1至t5的Vout。这可能需要大量存储器，从而可增加图像传感器的成本和尺寸。
为了使图像传感器16所需的存储器量最小化，可直到tHDR1结束时(例如，接近t2或在大部分tHDR1已逝去后)才对tFM期间累积的电荷进行采样。在tHDR1结束时，采样保持信号SHS可生效，以对具有从tFM累积的电荷的像素信号进行采样(生效52)。在使采样保持信号SHS生效后，复位信号RST可在生效54处生效，以将浮动扩散节点28处的电荷复位为电源电压Vaa。然后可在生效56处使采样保持复位信号SHR生效，从而对复位信号进行采样。在电荷转移之前和之后对浮动扩散处的电荷进行采样，可称为相关双采样(CDS)。CDS可用于消除与复位浮动扩散区28相关的噪声。在对复位信号采样后，转移控制信号TX可在生效58处生效。然后将在tHDR1期间已累积于光电二极管20上的电荷转移到浮动扩散节点28。
生效52、54、56和58可快速接连地发生。例如，生效54可在生效52后立即发生，生效56可在生效54后立即发生，并且生效58可在生效56后立即发生。然而，该例子仅仅是例示性的。在某些实施方案中，每个生效之间可存在短时间段(例如，小于3毫秒、小于1毫秒、小于0.1毫秒、小于0.01毫秒等)。每个生效之间的时间段可有所差别或可为均匀的。每个生效之间可不存在间隙(例如，前一生效一结束就开始每个后续生效)。
在将tHDR1期间累积的电荷转移到浮动扩散后，可开始第二HDR曝光周期tHDR2。第二HDR曝光可从t2持续到t3。在t2处，可通过在生效60处使采样保持信号SHS生效，从而对从tHDR1累积于浮动扩散节点处的电荷进行采样。接下来，复位信号RST可在生效62处生效，以将浮动扩散节点28处的电荷复位为电源电压Vaa。然后可在生效64处使采样保持复位信号SHR生效，从而对复位信号进行采样。然后转移控制信号TX可在生效66处生效，以将在tHDR2期间已累积于光电二极管20上的电荷转移到浮动扩散节点28。
在某些实施方案中，生效60可在生效58后立即发生。在其他实施方案中，生效58与60之间存在短时间段(例如，大于0.01毫秒、小于0.01毫秒、大于0.1毫秒、大于1毫秒、大于5毫秒等)。
生效62、64和66可快速接连地发生。例如，生效64可在生效62后立即发生，并且生效66可在生效64后立即发生。然而，该例子仅仅是例示性的。在某些实施方案中，每个生效之间可存在短时间段(例如，小于3毫秒、小于1毫秒、小于0.1毫秒、小于0.01毫秒等)。每个生效之间的时间段可有所差别或可为均匀的。每个生效之间可不存在间隙(例如，前一生效一结束就开始每个后续生效)。
在将tHDR2期间累积的电荷转移到浮动扩散后，可开始第三HDR曝光周期tHDR3。第三HDR曝光可从t3持续到t4。在t3处，可通过使采样保持信号SHS生效(生效68)，从而对从tHDR2累积于浮动扩散节点处的电荷进行采样。随后，复位信号RST可在生效70处生效，以将浮动扩散节点28处的电荷复位为电源电压Vaa。然后可在生效72处使采样保持复位信号SHR生效，从而对复位信号进行采样。然后转移控制信号TX可在生效74处生效，以将在tHDR3期间已累积于光电二极管20上的电荷转移到浮动扩散节点28。
在某些实施方案中，生效68可在生效66后立即发生。在其他实施方案中，生效66与68之间存在短时间段(例如，大于0.01毫秒、小于0.01毫秒、大于0.1毫秒、大于1毫秒、大于5毫秒等)。
生效70、72和74可快速接连地发生。例如，生效72可在生效70后立即发生，并且生效74可在生效72后立即发生。然而，该例子仅仅是例示性的。在某些实施方案中，每个生效之间可存在短时间段(例如，小于3毫秒、小于1毫秒、小于0.1毫秒、小于0.01毫秒等)。每个生效之间的时间段可有所差别或可为均匀的。每个生效之间可不存在间隙(例如，前一生效一结束就开始每个后续生效)。
在t4处，可通过使采样保持信号SHS生效(生效76)，从而对从tHDR3累积于浮动扩散节点处的电荷进行采样。在t4与帧结束(t5)之间，快门控制信号SG和复位信号RST可生效(分别为生效78和80)，以确保在帧结束和后续的帧开始时，光电二极管20和浮动扩散28清除了所有电荷。
在某些实施方案中，生效76可在生效74后立即发生。在其他实施方案中，生效76与74之间存在短时间段(例如，大于0.01毫秒、小于0.01毫秒、大于0.1毫秒、大于1毫秒、大于5毫秒等)。
图5中所示的时序可允许在最小存储器需求的情况下，在单个图像帧中拍摄具有闪烁抑制的HDR图像。
在本发明的各种实施方案中，像素可包括光电二极管、电荷存储区以及耦接在电荷存储区与输出线之间的电荷读出电路。用于在图像帧期间捕捉图像像素的图像数据的方法可包括用光电二极管在第一时间段内以闪烁抑制模式累积电荷量。电荷量可存储在电荷存储区中。该方法还可包括用光电二极管在第一时间段之后的第二时间段内以高动态范围模式累积附加电荷量。第二时间段可包括第一高动态范围曝光以及第一高动态范围曝光之后的第二高动态范围曝光。该方法还可包括在第一高动态范围曝光结束时，使用电荷读出电路向输出线提供与电荷存储区上的电荷量对应的第一信号。
图像像素还可包括电源端子、耦接在电源端子与光电二极管之间的第一晶体管、以及耦接在光电二极管与电荷存储区之间的第二晶体管。在第一时间段内以闪烁抑制模式累积电荷量可包括用光电二极管在曝光时间内累积电荷量。曝光时间可为非连续的，并且可包括多个积聚周期，这些积聚周期均短于曝光时间。闪烁抑制模式还可包括在每个积聚周期之前使用第一晶体管使光电二极管复位，以及在每个积聚周期结束时使用第二晶体管将一部分电荷量从光电二极管转移到电荷存储区。
在每个积聚周期结束时将该部分电荷量从光电二极管转移到电荷存储区可包括将在积聚周期期间累积于光电二极管上的所有收集的电荷转移到电荷存储区。闪烁抑制模式还可包括在各积聚周期之间使第一晶体管生效。当第一晶体管生效时，电荷可从光电二极管排出。闪烁抑制模式还可包括在各积聚周期期间对第一晶体管解除生效。当第一晶体管被解除生效时，电荷可累积于光电二极管上。
用于在图像帧期间用图像像素捕捉图像数据的方法还可包括在使用电荷读出电路向输出线提供与电荷存储区上的电荷量对应的第一信号后，用复位晶体管使电荷存储区处的电荷量复位；在用复位晶体管使电荷存储区处的电荷量复位后，向输出线提供与电荷存储区上的电荷量对应的第二信号；在向输出线提供与电荷存储区上的电荷量对应的第二信号后，用转移晶体管将在第一高动态范围曝光期间累积的电荷量转移到电荷存储区；以及在将第一高动态范围曝光期间累积的电荷量转移到电荷存储区后，向输出线提供与在第一高动态范围曝光期间累积的电荷量对应的第三信号。第一高动态范围曝光可为第二高动态范围曝光的十倍以上。
在本发明的各种实施方案中，图像像素可包括光电二极管、快门元件、电荷存储区、耦接在电荷存储区与光电二极管之间的转移晶体管、以及耦接在电荷存储区与输出线之间的电荷读出电路。快门元件可工作于光电二极管累积电荷的打开状态以及电荷从光电二极管排出的闭合状态。
一种用于在图像帧期间捕捉图像像素的图像数据的方法可包括在第一时间段期间的第一曝光周期过程中累积电荷。第一曝光周期可为非连续的，并且包括多个积聚周期。快门元件可在每个积聚周期期间处于打开状态，并且在各积聚周期之间处于闭合状态。可用转移晶体管将第一曝光周期期间累积的电荷转移到电荷存储区。在第一时间段结束时，可将快门元件置于打开状态。在第一时间段之后的第二时间段期间，可在第二曝光周期过程中累积电荷。在大部分第二时间段已逝去后，可向输出线提供与在第一曝光周期期间累积的电荷对应的第一信号。
前述内容仅是对本发明原理的示例性说明，因此本领域技术人员可以在不脱离本发明的精神和范围的前提下进行多种修改。

Claims (20)

1.一种用于在图像帧期间捕捉图像像素的图像数据的方法，其中所述图像像素包括光电二极管、电荷存储区、以及耦接在所述电荷存储区与输出线之间的电荷读出电路，所述方法包括：
用所述光电二极管，在第一时间段内以闪烁抑制模式累积电荷量，其中所述电荷量存储在所述电荷存储区中；
用所述光电二极管，在所述第一时间段之后的第二时间段内以高动态范围模式累积附加电荷量，其中所述第二时间段包括第一高动态范围曝光以及在所述第一高动态范围曝光之后的第二高动态范围曝光；以及
在第一高动态范围曝光结束时，使用所述电荷读出电路向所述输出线提供与所述电荷存储区上的所述电荷量对应的第一信号。
2.根据权利要求1所述的方法，其中所述图像像素还包括电源端子、耦接在所述电源端子与所述光电二极管之间的第一晶体管、以及耦接在所述光电二极管与所述电荷存储区之间的第二晶体管，并且其中在所述第一时间段内以所述闪烁抑制模式累积所述电荷量包括：
用所述光电二极管，在曝光时间内累积所述电荷量，其中所述曝光时间为非连续的，并且包括多个积聚周期，所述多个积聚周期均短于所述曝光时间；
在每个积聚周期之前，使用所述第一晶体管使所述光电二极管复位；以及
在每个积聚周期结束时，使用所述第二晶体管将所述电荷量的一部分从所述光电二极管转移到所述电荷存储区。
3.根据权利要求2所述的方法，其中在每个积聚周期结束时将所述电荷量的所述部分从所述光电二极管转移到所述电荷存储区包括将在所述积聚周期期间累积于所述光电二极管上的所有收集的电荷转移到所述电荷存储区。
4.根据权利要求2所述的方法，还包括：
在所述积聚周期之间使所述第一晶体管生效，其中当所述第一晶体管生效时，电荷从所述光电二极管排出。
5.根据权利要求4所述的方法，还包括：
在所述积聚周期期间对所述第一晶体管解除生效，其中当所述第一晶体管被解除生效时，电荷累积于所述光电二极管上。
6.根据权利要求1所述的方法，还包括：
在使用所述电荷读出电路向所述输出线提供与所述电荷存储区上的所述电荷量对应的所述第一信号后，用复位晶体管使所述电荷存储区处的所述电荷量复位。
7.根据权利要求6所述的方法，还包括：
在用所述复位晶体管使所述电荷存储区处的所述电荷量复位后，向所述输出线提供与所述电荷存储区上的所述电荷量对应的第二信号。
8.根据权利要求7所述的方法，还包括：
在向所述输出线提供与所述电荷存储区上的所述电荷量对应的所述第二信号后，用转移晶体管将在所述第一高动态范围曝光期间累积的电荷量转移到所述电荷存储区。
9.根据权利要求8所述的方法，还包括：
在将所述第一高动态范围曝光期间累积的所述电荷量转移到所述电荷存储区后，向所述输出线提供与在所述第一高动态范围曝光期间累积的所述电荷量对应的第三信号。
10.根据权利要求1所述的方法，其中所述第一高动态范围曝光长于所述第二高动态范围曝光。
11.根据权利要求10所述的方法，其中所述第一高动态范围曝光为所述第二高动态范围曝光的十倍以上。
12.一种用于在图像帧期间捕捉图像像素的图像数据的方法，其中所述图像像素包括光电二极管、快门元件、电荷存储区、耦接在所述电荷存储区与所述光电二极管之间的转移晶体管、以及耦接在所述电荷存储区与输出线之间的电荷读出电路，并且其中所述快门元件可工作于所述光电二极管累积电荷的打开状态以及电荷从所述光电二极管排出的闭合状态中，所述方法包括：
在第一时间段期间，在第一曝光周期过程中累积电荷，其中所述第一曝光周期为非连续的，并且包括多个积聚周期，其中所述快门元件在每个积聚周期期间处于所述打开状态，而在所述积聚周期之间处于所述闭合状态，并且其中用所述转移晶体管将在所述第一曝光周期期间累积的所述电荷转移到所述电荷存储区；
在所述第一时间段结束时，将所述快门元件置于所述打开状态；
在所述第一时间段之后的第二时间段期间，在第二曝光周期过程中累积电荷；以及
在大部分所述第二时间段已逝去后，向所述输出线提供与在所述第一曝光周期期间累积的所述电荷对应的第一信号。
13.根据权利要求12所述的方法，其中所述图像像素包括复位晶体管，所述方法还包括：
在向所述输出线提供与在所述第一曝光周期期间累积的所述电荷对应的所述第一信号后，用所述复位晶体管使所述电荷存储区复位。
14.根据权利要求13所述的方法，还包括：
在用所述复位晶体管使所述电荷存储区复位后，向所述输出线提供与复位水平的电荷对应的第二信号。
15.根据权利要求14所述的方法，还包括：
在向所述输出线提供与所述复位水平的电荷对应的所述第二信号后，将在所述第二曝光周期期间累积的所述电荷转移到所述电荷存储区。
16.根据权利要求15所述的方法，还包括：
在将所述第二曝光周期期间累积的所述电荷转移到所述电荷存储区后，向所述输出线提供与在所述第二曝光周期期间累积的所述电荷对应的第三信号。
17.根据权利要求16所述的方法，其中将在所述第二曝光周期期间累积的电荷转移到所述电荷存储区包括在所述第二时间段期间将在所述第二曝光周期期间累积的电荷转移到所述电荷存储区，并且其中向所述输出线提供与在所述第二曝光周期期间累积的所述电荷对应的所述第三信号包括在所述第二时间段之后的第三时间段期间向所述输出线提供与在所述第二曝光周期期间累积的所述电荷对应的所述第三信号。
18.根据权利要求17所述的方法，还包括：
在所述第三时间段期间，在第三曝光周期过程中累积电荷，其中所述第三曝光周期短于所述第二曝光周期。
19.一种用于在图像帧期间捕捉图像像素的图像数据的方法，其中所述图像像素包括光电二极管以及耦接到输出线的电荷读出电路，所述方法包括：
用所述光电二极管，在第一时间段内以闪烁抑制模式累积第一电荷量；
用所述光电二极管，在高动态范围模式的第一高动态范围曝光中累积第二电荷量，其中所述第一高动态范围曝光在所述第一时间段之后；
用所述光电二极管，在所述高动态范围模式的第二高动态范围曝光中累积第三电荷量，其中所述第二高动态范围曝光在所述第一高动态范围曝光之后；以及
在所述第一高动态范围曝光结束时，用所述电荷读出电路，向所述输出线提供与所述第一电荷量对应的第一信号。
20.根据权利要求19所述的方法，还包括：
在所述第二高动态范围曝光期间，用所述电荷读出电路，向所述输出线提供与所述第二电荷量对应的第二信号。
CN201610594903.6A 2015-09-30 2016-07-26 具有闪烁抑制和高动态范围的成像*** Active CN106559622B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/870,578 US9686488B2 (en) 2015-09-30 2015-09-30 Imaging systems with flicker mitigation and high dynamic range
US14/870,578 2015-09-30

Publications (2)

Publication Number Publication Date
CN106559622A true CN106559622A (zh) 2017-04-05
CN106559622B CN106559622B (zh) 2020-09-04

Family

ID=57083161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610594903.6A Active CN106559622B (zh) 2015-09-30 2016-07-26 具有闪烁抑制和高动态范围的成像***

Country Status (3)

Country Link
US (2) US9686488B2 (zh)
EP (1) EP3151546B1 (zh)
CN (1) CN106559622B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557583A (zh) * 2018-05-30 2019-12-10 半导体元件工业有限责任公司 图像传感器、操作图像传感器的方法及成像***
CN110933337A (zh) * 2018-09-19 2020-03-27 三星电子株式会社 具有led闪烁减轻和减少运动模糊的hdr图像传感器
CN111263035A (zh) * 2018-11-30 2020-06-09 豪威科技股份有限公司 拍摄高动态范围图像的***、方法与照相机
CN115334260A (zh) * 2022-08-17 2022-11-11 深圳市元视芯智能科技有限公司 图像传感器以及像素级曝光控制方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10072974B2 (en) * 2016-06-06 2018-09-11 Semiconductor Components Industries, Llc Image sensors with LED flicker mitigaton global shutter pixles
US9942492B2 (en) 2016-06-16 2018-04-10 Semiconductor Components Industries, Llc Image sensors having high dynamic range functionalities
US10469775B2 (en) * 2017-03-31 2019-11-05 Semiconductor Components Industries, Llc High dynamic range storage gate pixel circuitry
KR102414024B1 (ko) * 2017-04-04 2022-06-29 에스케이하이닉스 주식회사 광학필터를 구비하는 이미지 센서 및 그 동작방법
US11039082B2 (en) * 2018-11-27 2021-06-15 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium
KR20200121060A (ko) 2019-04-15 2020-10-23 삼성전자주식회사 이미지 센서
WO2021166333A1 (ja) * 2020-02-20 2021-08-26 富士フイルム株式会社 撮像装置、制御装置、撮像装置の動作方法、及びプログラム
US11223779B2 (en) 2020-06-12 2022-01-11 Novatek Microelectronics Corp. Image sensing device and operating method thereof
KR20220121712A (ko) * 2021-02-25 2022-09-01 캐논 가부시끼가이샤 피사체의 주기적인 광량변화에 의한 플리커를 검출 가능한 촬상 장치, 플리커 검출 방법 및 비일시적 컴퓨터 판독 가능한 기억매체
EP4294002A1 (en) 2022-06-17 2023-12-20 Prophesee SA Anti-flicker filter mitigation for an event-based sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888487A (zh) * 2010-06-02 2010-11-17 中国科学院深圳先进技术研究院 高动态范围视频成像***和图像生成方法
CN102098444A (zh) * 2009-12-10 2011-06-15 三星电子株式会社 使用电子快门的多步曝光方法及使用该方法的照相装置
US20150009375A1 (en) * 2013-07-08 2015-01-08 Aptina Imaging Corporation Imaging systems with dynamic shutter operation
CN104853108A (zh) * 2014-02-18 2015-08-19 索尼公司 信息处理设备、信息处理方法、信息处理***以及成像设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3106720B2 (ja) * 1992-09-16 2000-11-06 株式会社ニコン カメラの測光制御装置
DE10301518B4 (de) * 2003-01-17 2005-11-24 Dräger Safety AG & Co. KGaA Prüfgerät für ein Atemschutzprodukt
JP2013219708A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6042737B2 (ja) * 2013-01-31 2016-12-14 オリンパス株式会社 固体撮像装置および撮像装置
JP6242129B2 (ja) * 2013-09-11 2017-12-06 キヤノン株式会社 撮像装置、その制御方法、及び制御プログラム
JP6230370B2 (ja) * 2013-10-25 2017-11-15 オリンパス株式会社 信号読み出し回路および信号読み出し回路の制御方法
JP6362091B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
CN106664380B (zh) * 2014-07-04 2020-03-13 夏普株式会社 固体摄像元件与电子信息设备
US9912886B2 (en) * 2014-12-17 2018-03-06 Canon Kabushiki Kaisha Image capturing apparatus and driving method of image sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098444A (zh) * 2009-12-10 2011-06-15 三星电子株式会社 使用电子快门的多步曝光方法及使用该方法的照相装置
CN101888487A (zh) * 2010-06-02 2010-11-17 中国科学院深圳先进技术研究院 高动态范围视频成像***和图像生成方法
US20150009375A1 (en) * 2013-07-08 2015-01-08 Aptina Imaging Corporation Imaging systems with dynamic shutter operation
CN104853108A (zh) * 2014-02-18 2015-08-19 索尼公司 信息处理设备、信息处理方法、信息处理***以及成像设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557583A (zh) * 2018-05-30 2019-12-10 半导体元件工业有限责任公司 图像传感器、操作图像传感器的方法及成像***
CN110557583B (zh) * 2018-05-30 2023-12-22 半导体元件工业有限责任公司 图像传感器、操作图像传感器的方法及成像***
CN110933337A (zh) * 2018-09-19 2020-03-27 三星电子株式会社 具有led闪烁减轻和减少运动模糊的hdr图像传感器
CN110933337B (zh) * 2018-09-19 2024-04-23 三星电子株式会社 具有led闪烁减轻和减少运动模糊的hdr图像传感器
CN111263035A (zh) * 2018-11-30 2020-06-09 豪威科技股份有限公司 拍摄高动态范围图像的***、方法与照相机
CN111263035B (zh) * 2018-11-30 2022-08-16 豪威科技股份有限公司 拍摄高动态范围图像的***、方法与照相机
CN115334260A (zh) * 2022-08-17 2022-11-11 深圳市元视芯智能科技有限公司 图像传感器以及像素级曝光控制方法
CN115334260B (zh) * 2022-08-17 2024-02-27 深圳市元视芯智能科技有限公司 图像传感器以及像素级曝光控制方法

Also Published As

Publication number Publication date
US10244191B2 (en) 2019-03-26
US20170257580A1 (en) 2017-09-07
EP3151546B1 (en) 2018-11-28
US9686488B2 (en) 2017-06-20
EP3151546A1 (en) 2017-04-05
CN106559622B (zh) 2020-09-04
US20170094203A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
CN106559622A (zh) 具有闪烁抑制和高动态范围的成像***
US9344647B2 (en) Imaging systems with dynamic shutter operation
CN207184624U (zh) 图像传感器像素单元和成像***
CN209488695U (zh) 图像传感器像素
US9293500B2 (en) Exposure control for image sensors
CN103685999A (zh) 固态图像传感器、用于固态图像传感器的控制方法以及电子装置
KR20090086074A (ko) 이미지 센서 및 카메라
KR100278189B1 (ko) 고체 상태 촬상 장치
CN101715644A (zh) 具有高速数字帧转移及帧处理的成像器
KR101321778B1 (ko) 촬상장치 및 이미지 센서
CN101278549A (zh) 多次曝光光学成像设备
CA3138215C (en) Method and system for extending image dynamic range using per-pixel coding of pixel parameters
JP2010213251A (ja) 固体撮像装置及びその駆動方法、並びに撮像装置
CN205810813U (zh) 成像像素和具有多个成像像素的图像传感器
US8169519B1 (en) System and method for reducing motion blur using CCD charge shifting
JP2000138868A (ja) 撮像装置及びその制御方法
JP6362099B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN107104114A (zh) 利用相关双采样的对数像素
JPWO2020054162A1 (ja) 撮像装置および撮像方法
JP4089676B2 (ja) 撮像装置
JP2005223798A (ja) 固体撮像装置
JP2006115191A (ja) 撮像装置、シェーディング補正装置、シェーディング補正方法
JP2011009837A (ja) 固体撮像装置およびデジタルカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant