CN104115211B - 高动态范围成像*** - Google Patents

Abstract

提供一种被配置为捕获图像的成像***，该成像***包括一个被配置为捕获至少一张高动态范围图像的高动态范围成像器，以及电路***，其中在一行时间间隔内安排任务以允许在选择性复位任务和像素读出任务之间共享用于相关双采样的电路，以及其中在一行时间间隔内安排任务以允许在选择性复位任务和像素读出任务之间共享比较电路，同时还提供至少一个可选择积分期，而该积分期可调整并设为实质上少于一行时间间隔。

Description

高动态范围成像***

相关应用的交叉引用

本申请要求名为“高动态范围成像***”的第61/598,512号美国临时专利申请的优先权，该申请由Jon H.Bechtel等人于2012年2月14日提交，其完整披露信息以引用方式并入本文。

发明领域

本发明大体上涉及一种成像***，特别是一种高动态范围成像***。

发明背景

高动态范围成像器(包括CMOS和CCD版本)被用于各种环境。

发明摘要

根据本发明的一个方面，配置为捕获高动态范围图像的高动态范围成像***包括具有像素阵列的图像传感器，以及与像素阵列中的每个像素进行电子通讯的电路***，而该电路***具有列并行信号处理电路，其中列并行信号处理电路被配置为处理像素阵列的一个像素的模拟像素值，并决定何时有选择地为像素启动一个新积分期。

根据本发明的另一个方面，配置为捕获高动态范围图像的高动态范围成像***包括具有像素阵列的图像传感器，以及与所述像素阵列中的每个像素进行电子通讯的电路***，其中，电路***被配置为从实质上像素阵列的每个像素的一组可用积分期中单独选择一个积分期，其中，电路***被进一步配置为未选择最长的可用积分期时，有条件地复位像素阵列中的像素，其中，所述电路***被进一步配置为实质上按顺序读出像素阵列中的像素，其中，电路***被进一步配置为在读出的消隐期间执行有条件复位。

根据本发明的另一个方面，配置为捕获图像的成像***包括配置为捕获至少一张高动态范围图像的高动态范围成像器，以及配置为在一行时间间隔内安排任务的电路***，以允许在选择性复位任务和像素读出任务之间共享用于相关双采样的电路，同时还提供至少一个可选择积分期，而该积分期可以调整并设为实质上少于一行时间间隔。

通过参考以下技术规格、权利要求和附图，本领域的技术人员可以进一步了解和领会本发明的这些和其他特点、优点和目的。

图纸简述

通过详细说明并参考随附图纸，可以更全面地了解本发明，其中：

图1为根据本发明一实施例的高动态范围成像装置的图表；

图2为根据本发明一实施例的高动态范围成像装置的图表；

图3为根据本发明一实施例阐明涉及目标行的任务的图表，其中，位置在滚动快门序列范围内，用于在目标行的像素上执行复位和选择性复位操作，以选择用于在目标行中被读出的每个像素的积分期；

图4为根据本发明一实施例阐明涉及目标行的任务的图表，其中，当目标行被读出以便在新积分期(当读取目标行时在时间间隔内执行的任务中启动)的顶点启动多数在其他行读出的积分期时，在滚动快门时间步调信号的行时间间隔内执行复位和选择性复位操作；和

图5为根据本发明一实施例而针对成像装置的每个有效列提供的列逻辑图表。

详细说明

本图示说明的实施例主要存在于涉及高动态范围成像器的方法步骤和装置元件组合中。因此，装置元件和方法步骤在图纸上以惯用符号表示(如适用)，本文的说明意在帮助本领域的技术人员理解，而某些细节对其而言显而易见，故仅显示与理解本发明实施例有关的特定细节，以免多余细节干扰披露。此外，说明和图纸中的类似数字符号表示类似元素。

在本文中，关系词语(如第一和第二、顶部和底部)及类似词语仅用于将一个实体或行动与另一个实体或行动区别开来，未必要求或暗示此等实体或行动之间具有任何实际相关关系或次序。“包含”、“包含着”等词或其任何其他变体旨在涵盖非排他性的纳入，因此包含一系列元素的工艺、方法、物品或装置不仅包括这些元素，还可以包括未明示或该工艺、方法、物品或装置所固有的其他元素。元素后接“包含……一个”无更多限制，并不排除包含元素的工艺、方法、物品或装置中存在其他相同元素。

本文所述高动态范围成像器基于4T像素结构，利用可选择积分期，及基于滚动快门序列的任务排序。4T像素结构的关键优势在于，读出节点与像素结构分离，在后者收集集成光致电荷，从而获取一个像素读数，在积分期结束时，读出节点被复位，读取复位电压的参考读数，像素电荷被栅控至读出节点，读取信号读数，最后从信号读数中减去参考读数。这是名副其实的“相关”双采样，因为参考读数是使用实际上用于对进行中的读出复位获取的，因此除读出链中的其他偏置消除外，kTC相关复位噪声也被消除。对于3T结构，真正相关的复位是为读取像素启动积分所执行的复位。由于难以通过积分期保存该值，在3T像素结构下的惯用做法是读取像素值，复位像素，然后读取下一个“非相关”复位值作为参考读数，将其从“非相关”双采样操作的像素读数中减去。这不会消除kTC复位噪声，但仍会消除其他偏置。一些人仍然将此称为相关双采样，但本文将使用带括号的“相关”双采样和“非相关”双采样表示的界定更为严格的术语。

用于选择性复位的电路与先前为基于3T和4T的设计所披露的电路相似，因此名为“高动态范围成像装置”的第8,289,430号美国专利、名为“成像装置”的第2010/0187407 A1号美国专利申请及名为“成像装置”的第8,144,223号美国专利藉提述而被完整纳入，其中一些详情在此不再重复。名为“成像装置”的第8,144,223号美国专利所述的电荷溢出检测技术是4T设计的首选。对于4T设计，执行选择性复位的方法是，通过选择性操作个别像素的传输栅，选择性地将电荷从为复位所选像素的电荷收集点转移到读出节点，同时像素的读出节点维持复位状态，完成像素复位以开始一个新积分期。对于一行内的所有像素或这些像素的任何子集，可以复位浮置扩散，同时无需复位传输栅未切换为导电状态以启用复位的像素。对于3T设计，完成选择性复位的首选方法是，通过选择性操作个别像素的复位晶体管，直接将像素上的电荷复位到其复位水平，开始一个新积分期。

本设计的设计基础，即现有设计中包括的配置，利用滚动快门读出序列提供一致的行处理时间间隔，读取和数字化图像中一行的像素值。利用规律性重复的行处理时间间隔，来设计成像器读出流程的运行架构。读出流程包括的任务有：启动和有条件地复位个别像素的积分期，以启动较短的可选择积分期，最终读取和数字化像素值。在一项现有设计中，允许访问采样模拟像素值进行数字化，从而重叠选择性复位操作。此外，安排行处理时间间隔内的选择性复位操作，可以对可选择积分期进行微调，以将每个可选择积分期调整为或十分接近最长的积分期除以整因子的结果，更理想的情况是整因子进一步限定为十分接近2的整数幂。在本设计的一典型实施例中，装置使用八个可选择积分期，三个最短期间每个的持续时间短于行处理时间间隔。按照高标准对基于典型现有设计的成像装置进行构建和执行。

本发明可以继续利用可选择积分期，及基于滚动快门序列的任务排序，并继续准备至少一个可选择积分期，其持续时间远小于一行时间间隔。在一行时间间隔内的任务时序安排，可以使用于选择性复位任务的相关双采样及像素读出任务的电路共享，还提供至少一个可选择积分期，而该积分期可以调整，一般持续时间设为远低于行时间间隔(例如8微秒或40微秒行时间的1/5)。在设计中，每个可选择积分期的持续时间可重复，若要准确确定每个积分期的持续时间，可以利用成像器滚动快门重复率，启动积分期相对于读取行的行偏置，结合行时间间隔内积分期的复位及读出任务的相对位置。此外，每个积分期的持续时间可以调整到近似理想值，但是在一个宽泛的分段行时间设置范围内安排选择性的复位，其灵活性却是受到制约的，因此成像器的设置并不总是可以允许所得到的像素读数达到理想的精度。在采用现有技术的成像器上，这种精度是用数字化像素值与一个指数的乘积表示的，该指数是一个整数幂，基于读数所用的积分期而定。对非理想积分期次数和每列增益电路的增益变化的补偿可以与成像器分开提供，以抵销该限制，由此选择性地基于所选的积分期提供比例调整因子，从而基于所用的积分期提供所需的数值像素读数。该校正可以与基于偏置校正电路和/或放大器增益的其他措施相结合，后者用于从特定列的像素获取的特定读数，和/或对将取自特定列的像素读数数字化的模数转换器增益进行校正。当多于一个模数转换器用于采用多个模数转换器的各种成像器配置时，该功能尤为有用。采用多个模数转换器的设计中，既有使用两个A/D的设计，又有成像器内每列像素使用一个A/D的设计。在一种配置中，用于从像素读数中减去偏置的双采样电路也可以影响列增益，同时可在每列像素中提供可有条件选择的固定增益放大器，以使各增益的补偿调整可以基于其对于特定像素读数的使用。此外，提供同时结束的可选择积分期的现有设计一般在连续的积分期之间提供两个或四个比率，限制动态范围改善，或者促使需要使用更多积分期，从而增加从大量选项中选择和启动积分期的处理时间或速度要求。识别为各像素所选的积分期的内存要求也有提高。

图1是包含本发明功能的高动态范围成像装置的简图。像素阵列107可以是几乎任何大小。例如，使用800行乘1280列像素。成像器可以利用相对传统的4T像素改良设计构建一个模式，使每个像素的积分期可以独立启动。对成像器的尺寸没有固有限制，发明适用于像素数比800x1280成像器尺寸更小或大得多的多种成像器尺寸。对于启动可选择积分期的任务及读取像素行、处理像素数据及启动模拟像素值的数字化的任务，可共享和实质上无干扰地访问成像器行和列电路，而现已可以选择共享列资源，因此位置高于阵列的列电路可访问大阵列上半部分的像素，位置低于阵列的列电路可访问下半部分的像素，或位置高于阵列的列电路可访问一组交替列，而位置低于阵列的列电路可访问其他列。根据一实施例，像素基于4T设计，带有结合相关双采样的像素读出。成像器可以利用相对传统的4T像素改良设计构建一个模式，在此模式中，行和列信号同时发出可使像素传输栅切换为导电状态，由此可选择所选行的像素子集用于传输栅操作。选择性传输栅操作包括将所选传输栅设置为受控的中间电压，创建检测较高像素电荷水平的导电阈值。当相对于传输栅阈值设置，电荷水平足够高时，大量电荷流至浮置扩散区，在此被检出作为信号，促使像素复位，启动较短的积分期。这里的传输栅使能用于启动选择性复位为电荷溢出提供选择性采样的测试，所以电荷不会从未被有条件复位的像素流出。

在图1的简图中，成像器控制和通信单元105可以包括接收和寄存成像器指令，并可预示成像器指令，及在两个或多个成像器指令集之间切换，从而可对成像器指令设置无缝地做出改变，而设置可在不同的指令集间来回切换。简图中并未标示指令输入、像素数据输出及电源连接，许多内部控制连接也未显示。行选择电路106将行控制信号104路由到所选行，并将其他行的控制信号维持在默认的非活动状态。对于4T设计，这些信号用于选择读出的一行像素，控制复位信号复位浮置扩散和信号，为行/列“与”功能提供行使能，以及控制将传输栅选择性切换为导电状态的传输栅阈值，调整传输栅的导电阈值。3T设计与此类似，有一点除外：复位在于像素本身，“与”功能可用于选择性切换复位晶体管，而非将传输栅晶体管变为导电状态。像素102是阵列中的代表像素，小块101代表可以与一根晶体管配套提供的“与”功能，详见名为“成像装置”的第2010/0187407 A1号美国专利申请。使用列传输栅使能信号138，而不是作为3T设计中的列复位使能信号。使用列读出信号103将读出信号从相应列的所选行的像素栅控至列电路块108中各自的列相关电路。列电路块108包括从相关双采样109的像素信号中减去一个零基准的电路，而电路可选择性地包括增益。还包括额外的增益级111，带锁存器116的比较功能115，信号选择和门电路120，列逻辑控制电路121，其作用是控制列传输栅使能信号138(用于像素读出和(有条件或无条件)启动积分期)，以及控制内存输入来监测和记录当前选择的积分期的索引。列积分期识别索引内存126包括一个位置，在此存储关联列的各像素当前活动的积分期的索引指示。栅控积分期识别索引锁存器127，用于存储处于所选行和列中像素的积分期识别索引。当它被列读出选择电路131所选择，用于读出时，它将被栅控至积分期识别索引总线130A进行读出。相关双采样电路109可以包括一对采样电容器，一个用于参考值采样，另一个用于读数采样，每个均借由所选行的像素的列读出信号103进行通信。像素读取模式控制电路113对比较输入设定阈值水平，设置放大输出电压的最大值，对信号118设置读出模式选择逻辑信号，以配置信号选择和门电路120。在输出电压内时，被放大器111放大后，在放大114后选择模拟像素信号，而在来自比较器115的锁存比较值117显示放大的像素信号超过信号117生效的比较水平显示的可接受输出电压时，在放大110前选择模拟像素信号。当列读出选择信号129生效后，信号选择和门电路120将把所选的待模拟像素值，通过模拟信号总线119A，栅控至模数转换器电路123A，并把比较指示栅控至积分期和增益指示寄存器128，作为增益指示信号124A。读出模式选择逻辑信号118，也被路由到列逻辑控制电路121，以根据操作的读出模式配置该电路，让传输栅操作选择信号对所有的传输栅选择列信号生效，从而使行中的所有传输栅能被各自的传输栅行命令所控制，以读出所选行中的所有像素。行选择电路106对行地址总线125添加所选行指示，以处理所选行中像素的积分期识别索引，而关联列及列逻辑控制电路121通过内存地址和控制总线122用信号通知列积分期识别标签存储器126，在积分期识别标签锁存器127中寄存像素的积分期识别索引。列读出选择信号129上的信号使积分期识别索引通过积分期识别索引总线130A被栅控至积分期和增益指示寄存器128。读出的范围指示是应用于像素信号的所选增益及为读数所选的积分期的综合指示。使用三个比特位，而2个最高有效位设为等于积分期识别索引，最低有效位设为等于未使用有条件可选增益的指示。将0积分期识别索引分配到最长的可选积分期，将1分配到下一个较短的可选积分期等，将最高的索引分配到最短的可选积分期。将1分配到未使用可选增益的比较指示。在图1中，两个模数转换器电路123A和123配有路由到模数转换器电路123A的偶数列，如图所示，通过信号选择和门电路120与模拟信号总线119A的连接，而后者连接至模数转换器电路123A。奇数列通过模拟信号总线119到模数转换器电路123完成连接。同步单元137为同步增益与各像素的所选积分期提供缓冲，而各像素具有像素的数字化像素值。同步单元137为成对接收的像素值提供同步化，最好是为像素输出提供逐像素序列化的数据流。

图2与图1相似，有一点除外：图2经过修改，使用每列模数转换器232，代替图1中整个阵列共享的一对模数转换器123和123 A。成像器的大多数功能与图1中的对应项十分相似，并使用图2中相同的参考编号。其他方面相似，但图1中的1xy在图2中被改为2xy，表明与图1中对应项的相似之中又存在显著变化。已对变化较大的块分配新编号。成像器控制和通信单元205经过改良，可适应引入的总线和定时变化，提供每列模数转换器232，而该转换器接收为读出选择的模拟像素值219并将其数字化。由于按列提供模拟路径219而无需多路复用，因而信号选择和门电路220相比图1中的对应单元已经过改良，从而可实现无需门电路传输所选的模拟像素值219，同时由于提供每列模数转换器通常是为了利用大部分行读取时间执行转换，因此上述经过改良的信号选择和门电路可能会对定时造成干扰。列读出选择电路231被配置为按顺序选择每列，而非选择偶数/奇数列对。栅控模数值缓冲电路被提供用于缓冲值，直至值通过数字像素值总线241逐列传输到校准修正单元237。当列读出选择信号229生效时，所选增益的指示通过增益指示总线224栅控，像素的所选积分期的指示通过积分期识别索引总线230栅控。增益指示总线224、积分期和增益指示寄存器228以及积分期定时修正因子234、双采样修正因子235及增益电路修正因子236发挥与图1中对应部分所示功能相同的像素校准修正功能，但经过修改，目的是使数字化像素值及增益和积分期选择的指示与每列模数转换器结构同步。

如与图3和图4有关的解释一般，成像器按滚动快门序列读出，以便用等于或大于成像器待读行数的时间期限序列除以行时钟，得到成像器帧曝光时间，行读出可以结构化，以使开始积分、读取行中的模拟值及开始将模拟值转换为读出的数字形式等成像器复位操作与行时钟步调一致。由于正常情况下行时间序列内分配的每行几乎都有待读的像素，因此操作或任务的执行，包括可选择积分期的启动和有条件启动、行并行读出、像素值的模拟处理以及待读出像素值的模数转换的启动，需嵌套到一个序列中，而总持续时间少于或相当于一个行时间增量。所选列地址总线139将所选列的指示从列读出选择电路131传输到校准修正单元137，以从特定列中选择用于处理像素值的装置的校准值。校准修正单元137在外部执行时，校准修正单元137提供的直接链接可被像素计数取代，以确定像素在行中的位置。像素的位置一般可从行消隐信号无效后获得的像素计数得知。这一计数可提供校准数据阵列的索引。修正像素值在修正像素值输出端140提供。

至于有条件复位，模式控制电路113使读出模式选择信号118失效，信号选择和门电路120的输出端被禁用或忽略，而列逻辑控制电路121切换为控制用于启动一个新积分期的列电路。

随着成像器性能的快速完善，成像器的像素计数已提高，成像器重复帧的重复率保持不变或上升，又因为有更多行可以缩短每行时间，每行又有更多的像素可以缩短分配到每个像素的更短行时间，因此处理每行像素需要分配的时间缩短，而分配到每个像素的时间则更短。同时，在低光照下获取优质图像的能力已取得稳步进展，这在很大程度上归功于成像器的读出噪声降低。成像器的读出技术已转向使用常见的像素读出元件对阵列中的每个像素进行高速采样。不过，模拟噪声水平通常与增益带宽积的平方根成比例增加，因此在用于检测更低光照水平的更低电压下用更灵敏的成像器读取更多像素产生了许多问题，因此现今的趋势是朝着更多并行信号处理发展，尤其是列并行信号处理。高动态范围成像器的若干现有设计已经提供执行有条件复位的每列逻辑，并且一项设计使用八个可选择积分期，每个积分期依次缩短，比下一个更长的可选择积分期短四分之一。在此现有设计中，一旦在针对每列提供的一对采样保持电容器中完成对行中的像素值的读出采样，双采样和放大即依次在共用电路中以高采样频率执行。

提供四个可选择积分期，每个可选择积分期依次缩短，正常情况下比下一个更长的可选择积分期短16倍。四比一增益的有条件选择针对正在读取的行中的每个像素提供，范围内的放大像素值被选择进行数字化，同时提供选择选项的指示。选择性复位在不与相关双采样、放大信号的选择或已读像素值的数字化启动等任何读出操作重叠的时段内执行。列向信号和参考值采样电容器、双采样电路以及用于放大像素值以针对有条件选择提供放大值的放大器及比较电路随后用于像素读出和更短积分期的有条件启动。四个积分期被选择用于读出每个像素值的积分期，其中一个被判定为针对每个像素采用二位而非三位存储，具有可用存储单元布局的二位存储单元十分紧凑，足以与提供紧凑布局的像素宽度对齐。由于读出期间取得的附加位可以针对使用或未使用有条件选择增益提供指示，因此不需要针对像素阵列提供此指示的内存。

4个可选择积分期，每个积分期正常情况下比下一个更长的可选择积分期短16倍，可提供三个可选择增益步长，每个步长大约为16∶1。四比一放大的可选择信号提供另一个可选择增益步长，即4∶1，10位模数转换器提供大约为1024∶1的分辨率，因此，示例中成像器的可用增量数字分辨率超过16000000∶1。装置提供相关双采样电路、比较电路以及像素的每列有放大器的可选择增益电路。这些元件被共享用于像素读出和选择性启动行中每个像素的积分期

图5为针对成像装置的每个有效列提供的列逻辑简图。列包含每行的一个像素，图5的简图描绘了列的一个代表像素506。跨越简图宽度的信号线延伸至相邻的列，可以连接至成像器的所有列电路。单行传输栅操作使能和阈值控制信号501、行读取使能信号511以及行浮置扩散复位信号512针对像素的每行提供，被启用后可针对单独选择的行执行任务。这些信号分别连接至每列中的一个像素。单列传输栅操作使能信号503和列读出信号510针对像素的每列提供，分别连接至专用的列电路，以便所有列电路一并提供被行选择电路选择的行中的像素的并行存取。因此，被选择的像素行就能进行并行存取和处理。图5中列举的示例被配置为使用两个模数转换器，一个用于偶数列，一个用于奇数列，如图1所示。模拟像素输出总线521A连接至每个其他列，包括图5所示的列，信号选择和门电路517选择已选增益的信号，并在列选择信号526生效时将其栅控至模拟像素输出总线521A。所选增益的指示被栅控至所选像素增益指示总线519A，所选积分期的指示在列选择信号526生效时被栅控至所选积分期总线524A。带后缀A的信号被连接至偶数列的列电路，通过无连接偶数列电路的对应信号总线521、519及524被连接至奇数列电路。通过偶数和奇数列组的重复信号总线，列选择信号526可在偶数/奇数对列电路之间共享，从而同时传输像素对的像素模拟值、增益及积分期指示。随后，列地址指示537可参考列对，列地址译码器536可充当偶数/奇数列对。

图5的示例中的电路基于4T像素结构，该结构规定将传输栅电位水平设为使其能够在像素电荷超出对应阈值水平时有效传导的中间水平。此阈值主要通过将行传输栅操作使能和阈值控制信号501上的有效电压调整为使电荷在像素电荷处于应复位的水平时从光敏像素电荷积累区505流动至浮置扩散和复位晶体管508的水平设置。设置后，如果像素电荷收集区的电荷符合或超过对应传导阈值水平，大量电荷将流动至浮置扩散，少量电荷将流动至别处，或没有电荷流动。图5的电路被配置为使用此排列提供值符合或超过阈值水平并将在选择性复位操作对之执行复位的所选像素的电荷溢流检测状态。如正在执行有条件复位的像素未出现大量电荷溢流，进行中的先前所选积分期继续，由于在这种情况下，像素没有流失电荷或流失少量电荷，因此电荷溢流检测测试对最终读数的影响甚微。名为“成像装置”的第8,144,223号美国专利的专利申请，描述针对启动一个新积分期的选择性复位应用电荷溢流检测。名为“高动态范围成像装置”的第8,289,430号美国专利的列电路和名为“成像装置”的第2010/0187407 A1号美国专利申请，提供的信息可供本领域的技术人员据以调整图5的电路，以将其应用到3T像素设计上。像素506中程序块504执行的提供基于行/列的像素选择的逻辑“与”功能的配置，可以根据名为“成像装置”的第2010/0187407 A1号美国专利申请配置。在像素结构506中，像素506的虚线框表示行与列连接路径的空间，实线框502表示包含“与”功能504、光敏像素电荷积累区505(使用背照像素结构时，光收集区可覆盖大部分像素区)、传输栅509、浮置扩散和复位晶体管508，以及跟踪放大器及行选择晶体管507的有效像素结构。

相关双采样电路513、放大器514、比较器516、比较结果触发器518、信号选择和门电路517接收控制总线522发出的控制信号，控制总线522发出控制和定时信号确定这些电路的操作顺序。模拟信号处理电路513、514及516包括自动零点偏置校正。复位后，相关双采样电路513首先接收浮置扩散水平的读数，然后在电荷通过传输栅操作传输至浮置扩散后接收信号读数，再从信号读数减去参考读数。放大器514提供四比一的增益，在有信号提供必需稳定时间时持续运行相当长一段时间。比较器516将放大器514发出的放大像素信号与比较阈值信号515进行比较，比较结果被锁存或记录到比较结果触发器(或锁存器)518中。通过指示像素响应水平低于比较阈值信号515显示在范围内时，信号选择和门电路517根据比较结果触发器518发出的缓冲比较信号从放大器514中选择放大像素值，在其他情况下则从相关双采样电路513中选择非放大信号。地址译码器536译出列地址指示537的指令，在图5所示的列被寻址时使列选择信号526生效。选择信号526可用于偶数/奇数列对。列选择信号526的生效使信号选择和门电路517将所选像素信号栅控至模拟像素输出总线521A，并将用于像素值的增益指示栅控至所选像素增益指示总线519A。当锁存器积分期指示信号523生效时，被选择读取像素值的积分期指示保存在栅控积分期锁存器525中，当列选择信号526生效时，所选积分期的指示被栅控至所选积分期总线524A。

列传输栅操作使能信号503是列传输栅选择触发器528的输出，生效后可在行传输栅操作使能和阈值控制信号501也生效时操作列中像素的传输栅，传输栅输入信号即恢复，以使列中所有像素的传输栅保持非传导状态，传输栅的列传输栅操作使能信号503生效，而行传输栅操作使能和阈值控制信号501处于未生效状态。这些包括未选择的行的列的所有像素，在行传输栅操作使能和阈值控制信号501未生效时，也可以包括选择的行。传输栅列使能逻辑电路527包含一个输出端，该输出端可用作列传输栅选择触发器528的“D”输出端。传输栅选择触发器复位信号520的生效使传输栅选择触发器528复位。列传输栅使能时钟531生效，将传输栅列使能逻辑电路527的输出记录到列传输栅选择触发器528中。列传输栅操作使能信号通过使列传输栅使能时钟531生效进行有条件的设置，设置的传输栅列使能信号530同时生效。这用于无条件复位操作及像素读取操作。当电荷溢流检测使能信号529生效，而设置后的传输栅列使能信号530未生效时，列传输栅选择触发器528就会被设定(只有当它已经设定，才会被计时)，且比较结果触发器518所生成的比较输出会生效，以指示发生了电荷溢流。当电荷溢流检测使能信号529及设置后的传输栅列使能信号530均未生效，而下一个更长的积分期的索引在积分期识别总线532上生效时，列传输栅选择触发器528就会被设定，只有当像素的当前所选积分期与像素的下一个更长的可选择积分期的索引相符时，它才会被计时。这就等同于说像素被有条件或无条件复位，以开始下一个更长的积分期。因此在设置中，复位或读取操作的所选行的行地址在行地址总线535上生效，作为存储器534的存储器地址，以针对通过行选择从像素列中选择的像素选择积分期识别索引。

对于行的可选择积分期的有条件启动，针对下一个更长的可选择积分期设置的积分期识别索引会在积分期识别索引总线532上生效，且当前所选行的地址会在行地址总线535上生效，因此，列存储器534会输出像素506的当前有效积分期识别索引，传输栅列使能逻辑电路527随即将像素的识别索引与比当前检验的积分期更长的下一个积分期的索引进行比较。如果它们相等，下一个更短积分期的有条件启动的有条件测试即可在此列的列传输栅操作使能信号503生效后开始。否则，像素和任何剩余的有条件积分期启动就会避开测试，直至像素被读取为止。列传输栅操作使能信号503首先用于将传输栅设为电荷溢流阈值。随后电荷溢流检测使能信号529会生效，只有当比较结果触发器518所生成的缓冲比较值生效以指示检出电荷溢流时，列传输栅操作使能信号503才会保持在设定状态。参考以引用方式并入本文的名为“成像装置”的第8,144,223号美国专利，了解更详细的说明。

在正确复位像素以启动一个可选择积分期的操作过程中，列传输栅操作使能信号503会生效，至于高动态范围功能的运用，只要一个可选择积分期(包括最长的可选择积分期)被启动，当前所选积分期的识别索引就会被写入内存。在复位以开始一个新的可选择积分期的期间或紧接复位之后，列传输栅操作使能信号503的生效表明一个新的积分期正在被启动。为了记录新启动的积分期的识别索引，新启动的积分期的索引在积分期识别索引总线532上生效，且存储器写栅控533也生效，因此，只有当列传输栅操作使能信号503生效时，新积分期识别索引才会被写入。

可能使用基于4T像素的设计，但发明也可以基于3T设计来实现。使用以引用方式纳入本文的名为“高动态范围成像装置”的第8,289,430号美国专利及同样以引用方式纳入本文的名为“成像装置”的第2010/0187407 A1号美国专利申请，本领域的技术人员可修改图5的设计，以适应基于3T像素的设计。按照该设计，通过采用名为“成像装置”的第2010/0187407 A1号美国专利申请所述的复位晶体管配置，用复位使能信号代替列传输栅操作使能信号503。非相关双采样代替相关双采样。在使用非破坏性读取方式采集有条件复位的像素值时不执行复位，以便为非相关双采样提供一个非相关值。此外，放大器514可能使较适合有条件复位的像素值饱和。这些问题都可以通过采用接近有条件复位阈值的值来缓解，因为双采样是作为比较参考而非作为复位值。复位值用来读出非相关双采样。比较阈值可结合供双采样参考所用的值使用，以确定结果比较阈值，同时又避免放大器饱和。

本发明的实施例特征包括共享一个或多个列并行信号处理器电路，读出模拟像素值并决定何时选择性地为一个像素启用更短的新积分期。共享元件包括执行相关双采样的电路、放大像素信号电平的电路和比较像素有关信号电平的电路。第二个特征是使用基于滚动快门序列的图像采集方法，当中各图像像素的可选积分期的范围从多个行时间，到实质上小于滚动快门步调信号的一个行时间的积分期不等。图3和4阐明有条件积分期选择任务的组织和划分、模拟行读出和基于所读行的像素值处理的列并行模拟。

图3和(4)阐明嵌套成滚动快门步调信号中的一个行时间段的时间段303、(404)、304、(405)和305(406)。应当知道的是，和这些时间段的布置对应的滚动快门步调信号的相位是可以更改的，从而使每张图中的三个时间段都处于滚动快门步调信号的两个连续的行时间间隔部分。本领域的技术人员可能了解，对行地址做出适当调整在功能上可能等同于操作。因为一个包括这些功能等同案例的说明过于复杂，图示将仅限简单案例，以理解本发明也包括改变时间段对应的滚动快门步调信号相位的功能等同实施例。

图3和4各阐明具有800行(0行到799行)像素、每行1280个像素的成像器。在滚动快门步调信号帧之间添加两个额外的消隐行，如此一来滚动快门步调信号通过0行直达801行，然后回到0行。使用模运算按以下方式计算行位置：对于任何结果小于零的，用结果加上滚动快门步调信号行数(802)；对于任何结果大于801的，用结果减去滚动快门步调信号行数(802)。图3和图4均阐明目标行(行地址799)的有关任务。图3和图4不同之处主要在于，图3阐明滚动快门序列内的位置，将在该位置上对目标行(行地址799)的像素执行复位和选择性复位操作，以选择目标行(行地址799)读出的各像素所用的积分期；而图4阐明当目标行(行地址799)被读出以便在新积分期(当读取目标行时在时间间隔内执行的任务中启动)的顶点启动多数在其他行读出的积分期时，在滚动快门时间步调信号的行时间间隔内执行复位和选择性复位操作。

图4的范例通过以下方式阐明，即运用模运算在有条件启动的积分期内增加行时间数，以将当前读出的行地址修改成在有条件启动的积分期结束时读取的行地址。该结果地址用于选择应用一项任务的行，以有条件的启动该行内像素的积分期。这个范例被成像器控制电路用来选择有条件地启动积分期的像素行。

实质上小于一行时间的一个或多个积分期在他们被读取的目标行中被提前启动，因此会从目标行地址调整到行地址零。可通过像素复位来启动最长的积分期，该操作可作为行的上一个读出的像素读取操作的一部分来执行，或作为单独的无条件执行的复位302或414来安排。在图3中，所有其他复位选定的行是采用模运算，用目标行地址减去积分期内行时间数得到；而图4中，所有其他复位选定的行是采用模运算，用目标行地址加上积分期内行时间数得到。指定零行偏置时，不会影响行偏置的计算或不改变可能被选择路过的计算结果。图4参考了成像器在目标行(行地址799)被读出的滚动快门行时间间隔内访问的行，以便适当访问像素行，该像素行上将执行特定的积分期启动任务以确定持续时间正确的可选择积分期。

采用模运算在各行时间间隔结束时递增行地址，如此一来包括消隐行地址在内的所有行地址，在滚动快门序列的成像器帧读出周期中均生效，因为不同可选择积分期的启动或有条件启动可能继续在这些行时间间隔内执行。任何时间处理一个非活动像素行，如消隐行或其他非活动像素行，或是为了读出，或是为执行启动或有条件启动一个积分期的任务之一。而任务或被抑制，或以其实施不会损害成像器操作的方式执行。

图3和4示例了使用4个积分期的成像器的任务安排，每个积分期的持续时间名义上为下个较长积分期的1/16，最长积分期为32768微秒(识别索引0)，所需的下一个较短积分期为2048微秒(识别索引1)，所需的下一个较短积分期是128微秒(识别索引2)，所需的最短积分期为8微秒(识别索引3)。帧周期为32768微秒时，滚动快门行时间为40.86微秒(32768微秒/802)，实质上给最长积分期(识别索引0)提供了全部帧周期，并允许可作为目标行上一个行读取部分来执行的复位被用来启动这个积分期。所需的下一个较短积分期(识别索引1)为50.12个行时间，因此于403处启动、在403处的行之前读取50个行时间，给积分期提供了50个行时间。因有条件复位的列从行读取处偏置而增加的积分时间小于额外时间的0.12个行时间，但是积分期1的持续时间接近所需时间。所需的下一个较短积分期(识别索引2)为3.13个行时间，因此于402处启动，在402处的行之前读取3个行时间启动该积分期，给积分期提供了3个行时间。因有条件复位的列从行读取处偏置而增加的积分时间略小于额外时间的0.13个行时间，因此积分期1的持续时间大致接近所需时间。所需的下一个较短和最短可选择积分期(识别索引3)是0.136个行时间，因此把其放置在目标行的312或413处，会将积分期限制在一个零碎的行时间，该时间介于释放像素复位来启动312或413处的积分期和读出315、415间隔内的值之间。

因有条件复位的列从行读取处偏置而增加的积分时间可通过下述方式调整，即设定多个有条件启动一个积分期的任务、读取行任务及开始最长积分期的非必要任务的位置，以便灵活地设置精度合理的最短积分期、设置复位任务排序间隔303和404内的复位任务的顺序和相对间距、以及设置行读取任务排序间隔304和405的行时间内的位置。复位任务间隔303和404、行读取任务排序间隔和列并行组件共享的间隔406的时长无需填满转动快门行时间间隔，足以执行必要任务即可。平行列电路***的共享不得产生冲突。这通常要求积分期的启动不得部分重合，或介于行读取和列并行模拟处理读出值之间，后者利用了为读出期像素值模拟处理和积分期启动所共享电路共享的电路。此外，小于半个行周期的最短积分期的选择性启动，不仅要放置在行读取前，更要放置在行读取前的一个已知时间增量中。

图3和4中，采用1800个时钟周期(0到1799)来划分行时间。子行定时时钟的频率可就便利选择，并通常以某种方式与一行中像素的数量相关。

如示例演示，采用一些成像器配置，成像器积分期的设置可相对接近所需值，以能够符合要求的使乘数(2的整数幂)，进而为选定的积分期调整像素读数。可以基于所选积分期提供零碎调整因子，以提供最终像素读数。必要时，这也可由成像器单独完成。

成像器***的示例特征可能包括但不限于，结合使用基于4T的像素结构和基于像素光致电荷积累点的溢出电荷检测选取更短积分期的方法。

为每列提供成对的采样电容器，以暂时储存及可选择地电平移动所选行像素的读出和参考值读数。这些采样电容器被共享，用于为选择性复位操作和像素读出检测电荷溢出。

列专用的相关双采样电路被共享，用于选择性积分期启动和像素读出。双采样电路包括自动偏置校正。

三个基本上不重叠的任务启动时间间隔按该顺序被设置为间隔一、间隔二和间隔三，并以与滚动快门步调信号同步的重复方式使用。离散选择行像素的积分期将在第一个任务启动时间间隔内有条件地启动。为所述行处理时间间隔内的读出指定的一列像素的模拟值将被采样，用于第二个任务启动时间间隔内的读出。在第三个任务启动时间间隔内，采样模拟像素值的数字化将启动。

像素和图像帧的可选择积分期包括跨越多个行时间的积分期，且至少包括一个远小于一行时间的积分期。出于解释的目的而非限制，积分期可小于一行时间的约二分之一或约五分之一。

每列具有增益级，可在将每列的像素值数字化之前放大像素值，而每一列的放大值将有条件地被选用于该列的A/D读出，有关是否使用该放大值的指示将纳入读出值部分。该信号可被放大，且后续电路可有条件地选择放大或非放大信号，以提高信号的信噪比。在这种方式下，放大器的稳定时间可增加，以减少或防止外来噪声。放大器电路可以包括自动偏置校正。

每列增益级被共享，以放大用于在较短积分期的有条件启动的电荷溢出信号；且每列增益级将被有条件地选择，用于在将像素读出数字化之前放大该值。

比较电路被共享，用于为新积分期的有条件启动指示电荷溢出，并指示是否需绕过(即不使用)有条件地被应用的每列增益级。比较电路包括自动偏置校正。

提供可指示可选择积分期的相对持续时间(或指示使用可选择期的给定光量像素的相对灵敏度)的积分期特定校准值，用于计算给定可选择积分期的像素曝光水平。

在相关或非相关采样计算电路中使用硬件装置专用的每列增益指示，以补偿个别像素所用采样电路的增益变动。

在被有条件纳入的列增益级中使用硬件装置专用的每列增益指示，以补偿使用中的增益级电路的个别增益。

使用两个或以上(可以包括每列)模数转换器，并提供一个用于指示模数转换器的装置专用校准的值计数，用于补偿所用的个别模数转换器的校准变动。

包括使用扩展表来纳入校准数据，以处理9、10、11或12所列单独项目的任意组合。

根据一实施例，一种高动态范围成像***可被配置为捕获高动态范围图像，所述成像***包括一个具有像素阵列的图像传感器。该成像***还可以包括与像素阵列中的每个像素进行电子通讯的电路***。该电路***可以包括列并行信号处理电路(例如，列专用信号的列并行信号处理电路)，其中列并行信号处理电路被配置为对像素阵列中第一个像素的模拟像素值进行处理或采样，并决定何时有选择地为第一个像素启动一个新积分期。通常情况下，高动态范围成像***被配置为具有4倍增益级，以增加模数转换前的像素电压，从而提高信噪比。

根据一实施例，列并行信号处理电路可被配置为处理一个像素的模拟像素值，包括但不限于采样、评估、作出决定、输出一个控制信号等等，或上述各项的组合。

如本文所述的高动态范围成像***也可以包括有选择地启动一个新积分期，包括有选择地启动一个较短的积分期。

如本文所述的高动态范围成像***还可以包括一个含比较电路的列并行处理电路。

如本文所述的高动态范围成像***，其中列并行处理电路比较电路与被分别配置用于选择性复位和读出采样的电路***分享功能。

如本文所述的高动态范围成像***，其中列并行信号处理电路将信号发送至一个或多个模数转换器。

如本文所述的高动态范围成像***，其中电路***进一步被配置为采用一个或多个模拟读数，并将多个模拟读数中的一个数字化。通常情况下，电路***被配置为最多读取四个模拟读数，并将其中一个读数数字化。

该高动态范围成像***进一步包括被配置为应用校正方程的电路***，以补偿至少一个偏置、增益偏差、ADC偏差、至少一个像素、列与其他电路之间的误差源，以及至少一个像素、列与其他电路之间的偏差源。

如本文所述的高动态范围成像***，其中电路***进一步包括存储器，其中每个像素的分配内存包括一个或多个比特，用于存储代表所选积分的数据。如本文所述的高动态范围成像***，其中电路***进一步被配置为在读出端生成一个或多个比特，代表有条件可选择增益。通常情况下，一个或多个比特不储存在存储器中，将被用于提高输出值的精确度。

如本文所述的高动态范围成像***，其中电路***可通过在数字化之前有条件地选择一个适当的增益放大来实现更高的精确度，所述增益放大用于根据所选的增益量生成一个或多个比特信息。

如本文所述的高动态范围成像***，其中电路***被配置为在消隐期间实质上执行有条件复位。

如本文所述的高动态范围成像***，其中像素阵列中的每个像素实质上在一个帧周期内会从多个可用的积分期中单独选择一个。

如本文所述的高动态范围成像***，其中多个可用积分期包括四个积分期，每个顺序积分期的比率约为16∶1。

如本文中所述的高动态范围成像***，其中电路***进一步被配置为在一行时间间隔内安排任务，以允许在选择性复位任务和像素读出任务之间共享用于相关双采样的电路，同时还提供至少一个可选择积分期，而该积分期可调整并设为实质上小于一行时间间隔。

如本文所述的高动态范围成像***，其中多个可用积分期的最长积分期大于一行时间，而多个可用积分期的最短积分期小于一行时间。

如本文所述的高动态范围成像***，其中多个可用积分期的最短积分期小于一行时间的约二分之一。

根据一实施例，一种高动态范围成像***可被配置为捕获高动态范围图像，该成像***包括一个具有像素阵列的图像传感器。所述高动态范围成像***也可以包括与像素阵列中的每个像素进行电子通讯的电路***，其中，所述电路***被配置为为实质上像素阵列中的每个像素从可用积分期中单独选择一个积分期，其中，电路***进一步被配置为在未选择最长的可用积分期时有条件地复位像素阵列中的像素，其中，电路***进一步被配置为实质上按顺序读出像素阵列中的像素，其中，电路***进一步被配置为在读出的消隐期间执行有条件复位。因此，在数字化期间将不会对信号采样，而在不启用复位期间则可以对信号采样，且将在既不采样也未发生复位时对所述像素进行数字化。通常情况下，消隐期间为水平消隐期间。或者，可使用垂直消隐期间。与水平消隐期间相比，在行读出期间对信号进行数字化时，水平消隐的时间段可以增加。

如本文所述的高动态范围成像***，其中多个可用积分期包含四个积分期，每个顺序积分期的比率均为16∶1。

如本文所述的高动态范围成像***，其中多个可用积分期的最长积分期由多个行时间组成，而多个可用积分期的最短积分期小于一行时间。

如本文所述的高动态范围成像***，其中多个可用积分期的最短积分期小于一行时间的约五分之一。

如本文所述的高动态范围成像***，其中电路***由列并行信号处理电路组成，该列并行信号处理电路被配置为对像素阵列中第一个像素的模拟像素值进行采样，并决定何时有选择地为第一个像素启动一个新积分期。

一种被配置为捕获图像的成像***，包括被配置为捕获至少一张高动态范围图像的高动态范围成像器，该高动态范围成像器包含电路***，以及一个可通讯地连接至所述高动态范围成像器的处理装置，其中任务在一行时间间隔内被安排，以允许在选择性复位任务和像素读出任务之间共享用于相关双采样的电路，同时还提供至少一个可选择积分期，而该积分期可调整并设为实质上小于一行时间间隔。

根据一实施例，电路***可以是模拟电路、处理器/数字电路(例如，串行处理器、FPGA等)或上述项的组合。附加或可选地，该电路***可安装在成像器芯片上、远离成像器芯片或上述项的组合。

应了解的是，本文所述的发明实施例可包含一个或多个常规处理器和用于控制一个或多个处理器的独特已存储程序指令，从而结合特定的非处理器电路来执行本文所述的高动态范围成像***的某些、大部分或全部功能。非处理器电路可以包括但不限于信号驱动器、时钟电路、电源电路和/或用户输入装置。因此，这些功能可被解释为运用或构建分类***时所用方法的步骤。或者，部分或所有功能可由一台并无已存储程序指令的状态机执行，或在一个或多个应用专用集成电路(ASIC)中执行，其中每个功能或某些功能的特定组合将作为定制逻辑执行。当然，可使用两种方法的组合。至此，本文已述明用于这些功能的方法和方式。此外，在诸如时间限制、当前技术和经济考量等因素的驱动下，尽管技术人员可能会投入大量努力并尝试诸多设计选择，但在本文所公开的概念和原理的指引下，预计他们仍能以最少的试验生成相关软件指令和程序以及IC。

上述说明被视作唯一的优选实施例。本领域的技术人员及本发明的发明人或使用者可修改本发明。因此，应理解的是，图纸中所示及上文所述的实施例仅作说明目的，并不限制本发明范围，本发明范围依据专利法原则(包括等同原则)由下述的权利要求界定。

Claims (16)

1.一种被配置为捕获高动态范围图像的高动态范围成像***，该成像***包括：

一个图像传感器，包括：

一个像素阵列；

与所述像素阵列中的每个像素进行电子通讯的电路***，该电路***包括：

一个列并行信号处理电路，其中所述列并行信号处理电路被配置为处理所述像素阵列的一个像素的模拟像素值，并决定何时有选择地为所述像素经由有条件复位启动多个可选择积分期中的一个较短的积分期，

其中该电路***被配置为在消隐期间实质上执行所述有条件复位。

2.一种被配置为捕获高动态范围图像的高动态范围成像***，该成像***包括：

一个图像传感器，包括：

一个像素阵列；和

与所述像素阵列中的每个像素进行电子通讯的电路***；

其中所述电路***被配置为，为实质上像素阵列中的每个像素从多个可用积分期中单独选择一个积分期，

其中所述电路***进一步被配置为，有条件地复位所述像素阵列中的一个像素由此选择多个可用积分期中的一个较短的积分期，

其中所述电路***进一步被配置为，实质上按顺序读出所述像素阵列中的像素，

其中所述电路***进一步被配置为，在该读出的消隐期间执行所述有条件复位。

3.如权利要求1所述的高动态范围成像***，其中所述列并行信号处理电路包括一个比较电路，该比较电路被配置为与被分别配置用于选择性复位和读出采样的电路***分享功能。

4.如权利要求1所述的高动态范围成像***，其中列并行信号处理电路将信号发送至一个或多个模数转换器。

5.如权利要求1或2所述的高动态范围成像***，其中所述电路***进一步被配置为采用一个或多个模拟读数，并仅将多个模拟读数中的一个数字化。

6.如权利要求1或2所述的高动态范围成像***，进一步包括被配置为应用校正方程的电路***，以补偿偏置、增益偏差、ADC偏差中的至少一个。

7.如权利要求2所述的高动态范围成像***，其中所述电路***进一步包括存储器，其中每个像素的分配内存包括一个或多个用于存储代表该所选积分期的数据的比特。

8.如权利要求1或2所述的高动态范围成像***，其中所述电路***在代表有条件可选择增益的读出端生成一个或多个比特，上述一个或多个比特不进入内存，而是为输出值提供更高的精确度。

9.如权利要求1或2所述的高动态范围成像***，其中像素阵列中的每个像素实质上在一个帧周期内会从多个可用的积分期中单独选择一个。

10.如权利要求1或2所述的高动态范围成像***，其中该电路***进一步被配置为在一行时间间隔内安排任务，以允许在选择性复位任务和像素读出任务之间共享用于相关双采样的电路，同时还提供至少一个可选择积分期，而该积分期可调整并设为实质上小于一行时间间隔。

11.如权利要求10所述的高动态范围成像***，其中多个可用积分期的最长积分期大于一行时间，而多个可用积分期的最短积分期小于一行时间。

12.如权利要求10所述的高动态范围成像***，其中多个可用积分期的最短积分期小于一行时间的约二分之一。

13.如权利要求2所述的高动态范围成像***，其中该电路***包括列并行信号处理电路，所述列并行信号处理电路被配置为处理所述像素阵列的一个像素的模拟像素值，并决定何时有选择地为所述像素启动一个新积分期。

14.如权利要求1或13所述的高动态范围成像***，其中被配置为处理所述模拟像素值的该列并行信号处理电路包括采样、评估、作出决定和输出一个控制信号中的至少一个。

15.如权利要求1或2所述的高动态范围成像***，其中该电路***进一步被配置为在进行数字化之前有条件地选择一个增益放大，所述增益放大用于根据所选的增益量生成一个或多个比特信息。

16.如权利要求2所述的高动态范围成像***，其中所述多个可用积分期包含四个积分期，每个顺序积分期的比率为16∶1。