CN101888492B - 用于具有多重数据读出机制的影像感测器的处理器 - Google Patents

Abstract

一种可在单一曝光处理中执行多重读出处理以强化影像数据的动态范围的机制。读出处理电路的架构包含有至少一模拟数字转换器。该模拟数字转换器将由一影像感测器输出的模拟数据转换成一数字数据，并允许子帧读出处理以藉此增进该影像感测器的一动态范围。此外，本发明还公开可执行部分数字化(非全部位)处理的方法及其相关影像阵列。

Description

用于具有多重数据读出机制的影像感测器的处理器

技术领域

本发明与影像感测器有关，尤指可提供具有较佳动态范围的影像***的方法以及其相关装置，其中这些影像***是具有内建有模拟数字转换器的处理器。 

背景技术

数字相机逐步取代了传统的底片相机。一般而言，数字相机内具有至少一影像感测器以将入射(incident)光转换成电荷，其中影像感测器是由以侦测器(detector)组成的阵列所构成，而在阵列中的各个侦测器依据入射光的强度来各自产生一电子信号。 

在数字相机的技术领域中，互补金属氧化物半导体(Complementarymetal-oxide-semiconductor，CMOS)影像感测器为一种被广泛使用的感测器。对于一互补金属氧化物半导体影像感测器而言，经由光侦测器(photodetector)得到的信号会以行读出线(column read line)的方式，每次读出一列，而在每一数据读出流程当中，像素与像素之间并不会有电荷传递的情况发生。由于互补金属氧化物半导体影像感测器相容于一般的互补金属氧化物半导体制程，这使得在设计上可在配置有感测器阵列的同一基底(substrate)上加设额外的信号处理电路。 

普遍来说，传统的互补金属氧化物半导体影像感测器可具有一主动像素感测器(active-pixel sensor，APS)，而所谓像素是指在影像感测器中用以随着不同入射光强度来产生不同强度的输出信号的元件。影像感测器中的每个像素用以对信号进行侦测、储存以及采样。 

然而，传统的影像感测器存在一些令人诟病的缺陷，比方说，对传统的互补金属氧化物半导体影像感测器而言，其动态范围并不佳；而所谓的动态范围意指一影像感测器对于一单一影像中所能捕捉到的最大光强度与噪声基准(noise floor)间的范围。动态范围可以下列等式表示： 

$\mathrm{DR}=\frac{\mathrm{HL}}{\mathrm{LL}}---\left(1\right)$

在前述等式(1)中，HL表示最大的未饱和光通量(optical flux)，而LL则表示最低的可测得知光通量(也即噪声基准)。 

请参阅图1，图1所示为现有影像感测器的一像素阵列中五个不同的像素P1-P5其分别在不同光线强度下的转换曲线的示意图。如图1所示，像素阵列以一帧积分时间(frame integration time)t₀的一全积分时间(fullintegration time)来感测一影像，其中P_n表示一像素n，而I_n表示像素n所感测到的光线强度。而像素P₁-P₅所分别对应到的光线强度I₁-I₅彼此并不相同，且可以下列算式(2)来加以表示： 

I₅＞I₄＞I₃＞I₂＞I₁                               (2) 

积分时间表示影像感测器内的像素搜集光致(photo-generated)电荷的时间长度。如图1所示，若像素P₁-P₅都在一全积分时间t₀之后进行读出处理，则此时除了像素P₁输出一非饱和的输出V_o1之外，其余的像素P₂-P₅都将输出相同强度的饱和输出值Vsat，而此时像素P₁-P₅所输出的电压强度可表示如下： 

V_out1＝V_o1                                       (3) 

V_out2＝V_out3＝V_out4＝V_out5＝V_sat                 (4) 

由前述说明中可知，在这样的读出处理中，像素P₂-P₅所读出的值皆为无实质意义的饱和输出值。为避免前述的饱和状况，当影像感测器的像素读出处理为非毁坏性(non-destructive)处理时，可采用一多重读出处理的机制来增进感测影像的动态范围。 

如图1所示，相较于前述的单一读出处理，像素P₂-P₅在时间 

以及 

时进行读出处理，以借助于此一多重读出处理来得到相对应的非饱和性输出。此外，若前述多重读出处理所对应到的读出电压在一较长的积分时间下仍处于非饱和状态，则此时信号将可得到一更佳的信噪比(signal-to-noise ratio，SNR)。 

如图1所示，五个像素P₁-P₅的读出电压值在前述范例之下可列表如下： 

积分时间t₀    像素P₁    读出电压V_o1

积分时间 

    像素P₂    读出电压V_o2

积分时间 

    像素P₃    读出电压V_o3

积分时间 

    像素P₄    读出电压V_o4

积分时间 

    像素P₅    读出电压V_sat

由于像素的完整读出电压与入射光成线性关系，因此像素的最终输出电压将可表示为： 

P₁    V_o1

P₂    2V_o2

P₃    4V_o3

P₄    8V_o4

P₅    8V_sat

在前述的多重读出处理机制中，所对应的饱和度可被提升到八倍之多，也就是说，在噪声基准不变的情况下，相对应的动态范围将可提升为八倍之多。换言之，若多重读出处理的最小积分时间为帧积分时间的1/m，则表示动态范围可因此而增进了m倍。 

请同时参照图1来看图2，图2所示为现有技术为了增进动态范围而具有多重读出机制的像素的处理示意图。如图所示，传统的处理机制有一个致命的缺陷，也就是说，在这样的机制之下，每个具有动态范围强化功能的像素都需要一个相对应的存储器，而且这样的影像感测器还需具有优异的能力来判别每个动态范围强化的像素的每个输出电压值是否已达饱和，如此一来，这些具有多重读出机制以强化动态范围的影像感测器不仅庞杂且所费不赀。 

而另一种实现影像感测器的方法为在像素阶段(pixel level)即对信号进行数字化的处理。请参阅图3，图3所示为现有技术的像素阵列及其内的像素结构的方块示意图。对大多数的应用而言，像素301的使用实在有限，这是因为仅有一部份的动态范围可被使用。如图3的附图(A)所示，像素阵列300包含有多个像素301。请参考图3的附图(B)，像素301包含有 一侦测装置302(其包含有一光感测器以及一缓冲器等等)、一模拟数字转换器303以及一处理装置304，而处理装置304内可包含有一处理逻辑(processing logic)以及一存储器等等。同样地，前述的影像感测器暨像素也非常复杂而且昂贵。尤有甚者，由于像素301的结构非常复杂，这使得像素尺寸也随之扩大而将导致固定图样噪声(fixed-pattern noise，FPN)将更为严重，而前述的固定图样噪声是指与像素阵列中的(像素)实际位置相关的噪声。 

因此，亟需提供一种新的影像感测器及其相关方法以在增进动态范围的同时顾及整体的电路复杂度以及硬件成本。 

发明内容

因此本发明的一设计目的即在于考虑整体电路复杂度以及生产成本的前提下提供具有较佳动态范围的装置。本发明提供一装置其借助于在一曝光处理下进行多重读出处理以有效提升影像感测器的动态范围，其中本发明的读出处理电路包含有一模拟数字转换器。此外，本发明还公开了可使用部分的位数来进行部分数字化的装置以减低所需的数据处理量而因此更进一步提升了读出速率，减少所需的功率消耗，并同时减少了所需使用的存储器面积。 

根据本发明的一实施例，其公开一种具有多重读出处理功能的处理器。该处理器包含有一模拟数字转换器，用以将由该影像感测器输出的一模拟数据转换成一数字数据，其容许在一曝光处理(exposure)中执行多个子帧读出(sub-frame readout)以增进该影像感测器的一动态范围；其中该模拟数字转换器对该模拟数据进行部分数字化(partially digitizing)处理以产生该模拟数据。 

根据本发明的另一实施例，其公开一种影像***。本发明的影像***包含有一影像感测器以及至少一行处理器。影像感测器用以感测一光线以产生一模拟数据。该至少一行处理器(column processor)耦接至该影像感测器，该行处理器具有一多重数据读出机制(multiple data readout scheme)，其中该行处理器包含有：一行(column level)模拟数字转换器，用以将由该影像感测器输出的该模拟数据转换成一数字数据，并容许在一曝光处理 (exposure)中执行多个子帧读出(sub-frame readout)以增进该影像感测器的一动态范围；其中该模拟数字转换器对该模拟数据进行部分数字化(partially digitizing)处理以产生该模拟数据。 

借助于本发明所提供的实施例(其包含有本发明的发明内容所公开的一些电路与其内部电路元件的电路图)，先前技术所遭遇的问题可顺利解决或避免且可获得技术上的好处。 

附图说明

图1所示为现有影像感测器的一像素阵列中五个不同的像素其分别在不同光线强度下的转换曲线的示意图。 

图2所示为现有技术为了增进动态范围而具有多重读出机制的像素的处理示意图。 

图3所示为现有像素阵列以及其内的像素结构的方块示意图。 

图4所示为本发明的一实施例的数字相机***的方块示意图。 

图5所示为根据本发明的一实施例而具有多个行处理器的一数字相机***(影像***)的方块示意图。 

图6为图5所示的行处理器的方块示意图。 

图7所示为本发明的一实施例中信噪比与入射光之间的关系示意图。 

图8所示为本发明的一实施例中具有多重读出机制的行处理器的读出序列示意图。 

图9所示为本发明的一实施例中数据量与相对应的部分数字化读出处理的关系表。 

【主要元件符号说明】 

300、510               像素阵列 

301、511               像素 

302                    侦测装置 

303、404、630          模拟数字转换器 

304                    处理电路 

400、500               数字相机*** 

402                    影像撷取单元 

403                    影像感测器 

405                    影像处理单元 

406                    压缩单元 

407                    决定电路 

501                    像素存储器 

502_1～502_4           行处理器 

505_1～505_5           多工器 

610                    相关双采样单元 

620                    增益放大器 

具体实施方式

在本专利说明书及所附权利要求当中使用了某些词汇来指称特定的元件。所属领域技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及所附权利要求并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及所附权利要求当中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或通过其他装置或连接手段间接地电气连接至该第二装置。 

为使读者对本发明的实施例具有更具体而全面的了解，在后续的说明之中，将对一数字相机***的一般架构和处理稍做说明。而本发明优选实施例的特定架构和处理将会参考数字相机***的一般架构来加以详述。 

请参阅第图4，图4所示为根据本发明的一实施例的一数字相机***400的方块示意图。在本实施例中，数字相机***(影像***)400包含有(但不限定于)：一影像撷取单元402、一影像处理单元405以及一压缩单元406，这里的影像撷取单元402包含有至少一影像感测器403以接收入射光。影像撷取单元402内的影像感测器403撷取出多个分别对应于每个影像的初步像素感测值(raw pixel values)，而这些模拟形式的初步像素感 测值表示为DATA_A，稍后这些模拟像素感测值便经由位于影像处理单元405内的模拟数字转换器404而转成相对应的数字数据DATA_D。本实施例中的影像处理单元405包含有一模拟数字转换器404以及一决定电路407。影像处理单元405依据所接收的模拟数据(初步像素感测值)DATA_A而动态地执行子采样(sub-sampling)处理及/或部分数字化(partialdigitalization)处理，以产生相对应的数字数据DATA_D。 

接下来，数字数据DATA_D在数字化之后会送至影像处理单元405内的其他电路进行处理，并在之后传送至压缩单元406以进行其他的数据处理流程。 

比方说，影像处理单元405会决定对应到各次读出处理的数字数据DATA_D是否饱和，并使用决定电路407来在多重读出处理中的多个读出时间中选择一恰当的读出时间来得到输出数据。在一特定实施例中，压缩单元406可使用一处理器或以特定的专用集成电路(application-specificintegrated circuit，ASIC)来加以实施，以压缩由影像处理单元405所输出的数字数据DATA_D。由压缩单元406所输出的压缩后数据DATA_C稍后将传送至一处理***(未显示)以供检视及/或进行其他的处理。由于压缩单元406的结构及其处理细节实为本领域技术人员所熟知，故在此便省略而不赘述。 

然而，前述说明仅为对于本发明所对应的数字影像***提供一全面的概略性了解之用，如本领域技术人员所知，也可在数字相机***内另设置存储器以供影像数据的储存之用。此外，在本发明的另一实施例中，也可将图4中的数字相机***整合在一单一芯片或一嵌入式微处理器之中。前述这些相关的设计变化均隶属于本发明的保护范畴之中。 

请参阅图5，图5所示为根据本发明的一实施例的具有多个行处理器(column processor)的一数字相机***500的方块示意图。数字相机***(影像***)500包含有(但不限定于)：一像素阵列510、多个多工器(MUX)505_1、505_2、505_3以及505_4、多个行处理器502_1、502_2、502_3以及502_4，其中每个行处理器内分别具有至少一模拟数字转换器以及一决定电路；此外，数字相机***(影像***)500还具有一像素存储器501。请注意到，在图示中仅绘出四个行处理器以及四个多工器以作范例说明之 用，并不为本发明的限制条件之一，也就是说，影像***500的行处理器以及多工器的数目可随设计需求来加以选择。而在本实施例中，像素存储器501(如一存储器组(memory bank))设置于像素阵列510的每个像素511之外。在本实施例中，像素511中并不具有模拟数字转换器及/或存储器。 

如前所述，每个行处理器502中包含有一模拟数字转换器以及一决定电路，且经由相对应的多工器进行切换，单一行处理器可被多个像素行(pixel column)共享(如图5所示)。如此一来，将可更进一步地降低整体的芯片面积以及生产成本。然而，前述的叙述仅为说明之用，并不为本发明的限制条件之一，比方说，多工器505可为选择性(optional)的元件，经由恰当的设计调整以降低行处理器的尺寸之后，像素阵列500的每一行也可有一相对应的行处理器。前述相关设计变化均隶属于本发明的保护范畴之中。 

请一并参照图5与图6，图6为图5所示的行处理器502_1的一实施例的方块示意图。由于图5中的每个行处理器502_1-502_4彼此的架构相同，故在此仅以行处理器502_1的架构来说明。行处理器502_1包含(但不限定于)一相关双采样(correlated-doubled sampling，CDS)单元610、一增益放大器(gain amplifier)620以及一模拟数字转换器(ADC)630。如图6所示，经由多工器505_1所处理的像素输出DATA_P传送至相关双采样单元610，而后传送至增益放大器620进行处理。除此之外，经由增益放大器620输出的信号会传送至模拟数字转换器630以产生数字数据DATA_D，此一数字数据DATA_D稍后会被送至像素存储器501(见图5)。也就是说，本发明的行处理器502可提供相关双采样功能或还可具有额外的决定电路，以控制子采样处理及/或根据所处理的数据来调整模拟数字转换器630的解析度。这样一来，所得到的数字数据不仅具有较佳的动态范围，还可拥有较小的数据量以进一步地降低成本并增进读出速率。 

图7所示为根据本发明的一实施例的信噪比与入射光之间的关系示意图。在一典型的影像***中，当入射光的强度增加时，将使得相对应的信噪比也随之增加，如图7的曲线CV1所示。一般而言，最大信噪比(maximumSNR)为信号品质的重要参考指标之一，然而，在某些实际情况下，信噪 比在达到一定的数值/程度之后就不再有实际上的指标意义，在这些情况中，放弃这些多余的信噪比来进一步地提升信号的动态范围，可提升整体的影像品质，而本发明的经由多重读出处理以提升动态范围的装置即符合此一精神。 

图7中的特性曲线CV2即表示在量子效率(quantum efficiency，QE)＝50％、读出噪声为40个电子以及采用10位的数字化之下所得到的信噪比。既然在一影像中，较亮的光点会比较暗的光点拥有更高的信噪比，且经由本发明的子帧读出处理可提升对于这些较亮光点的动态范围，这些相对的读出处理将可使用较少的位数来进行数字化处理。倘若在一实施例中，全数字化处理所对应到的位数为10位，则特性曲线CV3在这里则表示当次帧读出处理仅采用部分数字化处理(如采用5位来进行数字化)。而这里，特性曲线CV3的信噪比将下降至34分贝，也即采用部分数字化处理将使得信噪比由全数字化的特性曲线CV2的41分贝下降了7分贝。然而，进行部分数字化处理的特性曲线CV3的信噪比仍在可接受的范围内，而此时对于进行子帧读出处理的输出数据进行部分数字化处理，将可大幅地减轻输出信号的数据量。如此一来，当像素输出DATA_P对应到较亮的入射光线时，比方说其亮度高于一临界值时，则行处理器可同时采用子帧读出处理以及部分数字化处理，以在提供较佳动态范围的同时减少所需的数据量。而在前述实施例中，对应于特性曲线CV3的子帧读出处理的数据量仅有对应于特性曲线CV2的数据量的一半，且对应于特性曲线CV3的所需存储器容量也为对应于特性曲线CV2的所需存储器容量的一半。再者，这还隐含了对应于特性曲线CV3的所需读取时间也可同样被减半。 

请参阅图8，图8所示为根据本发明的一实施例的具有多重读出机制的行处理器的读出序列示意图。在本实施例中，一像素阵列具有L x M个像素，而其中每个像素读出n次。举例来说，第一列的像素1即进行n次读出处理，在本实施例中，最后的读出处理优选地为一全数字化读出(比方说其进行了10位的数字化处理)，而其他子帧读出处理可能只进行部分数字化处理(比方说5位的数字化处理或其他小于10位的部分数字化处理)。请参阅图9，图9所示为本发明的一实施例中数据量与相对应的部分数字化读出处理的关系表。 

如图9所示，假设状况1代表现有不进行部分数字化处理时数字数据的数据量；状况2则表示在本发明的一实施例中，相较于全数字化的10位解析度，采取8位解析度的部分数字化读出处理后所得到的数据量；而状况3则代表了选择6位解析度的部分数字化读出处理时所得到的数据量。处理器控制决定电路依据所接收的数据，而选择性地调整模拟数字转换器的解析度，故处理器因此可依据对应到接收数据的入射光线的强度来调整模拟数字转换器的解析度(也即选择性地执行部分数字化处理)；如此一来，经由处理器所输出的数字数据将可具有最佳的动态范围和较少的数据量。在图9所示的范例中，当处理器采用了8位解析度来进行部分数字化处理时，则数据量将为传统所需数据量的80％。然而请注意到，部分积分时间的比例(如其为全积分时间的1/2、1/4、1/8)仅为说明之用而不为本发明的限制条件之一。此外，处理器中模拟数字转换器所调整的解析度也不为本发明的限制条件之一。比方说，假设模拟数字转换器的最高解析度为20位，则处理器可根据入射光线的强度来调整进行部分数字化处理时所对应到的解析度，例如对应到部分数字化处理时的模拟数字转换器的解析度可根据决定电路的控制而落在1位到19位之中。前述的相关设计变化均隶属于本发明的保护范畴之中。 

以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的等同变化与变型，都应属本发明的涵盖范围。 

Claims (13)

1.一种用于影像感测器的具有多重数据读出机制的处理器，其包含有：

一模拟数字转换器，用以将由该影像感测器所产生的一模拟数据转换成一数字数据，并允许在一曝光处理中执行多个子帧读出以增进该影像感测器的一动态范围；

其中该模拟数字转换器对该模拟数据进行部分数字化处理以产生该数字数据，所述部分数字化处理是使用部分的位数而非全部位数来进行的。

2.如权利要求1所述的处理器，其中该模拟数字转换器为一行模拟数字转换器。

3.如权利要求1所述的处理器，其中，在每一子帧读出时，该模拟数字转换器将由该影像感测器所产生的一模拟信号转换为一数字信号。

4.如权利要求3所述的处理器，其中分别对应到不同子帧读出的多个数字信号的相对应位数并不相同。

5.如权利要求4所述的处理器，其中该多个数字信号的相对应位数基于一入射光的强度来决定。

6.如权利要求1所述的处理器，其中当一入射光较明亮时，该多个子帧读出处理会被致能。

7.如权利要求1所述的处理器，其中该模拟数字转换器在一入射光较明亮时会执行该部分数字化处理。

8.一种影像***，其包含有：

一影像感测器，用以感测一光线以产生一模拟数据；以及

至少一行处理器，耦接至该影像感测器且具有一多重数据读出机制，其中该行处理器包含有：

一行模拟数字转换器，用以将由该影像感测器所产生的该模拟数据转换成一数字数据，并允许在一曝光处理中执行多个子帧读出以增进该影像感测器的一动态范围；其中该模拟数字转换器对该模拟数据进行部分数字化处理以产生该数字数据，所述部分数字化处理是使用部分的位数而非全部位数来进行的。

9.如权利要求8所述的影像***，其中在每一子帧读出时，该模拟数字转换器将由该影像感测器所产生的一模拟信号转换为一数字信号。

10.如权利要求9所述的影像***，其中对应不同子帧读出的多个数字信号的相对应位数并不相同。

11.如权利要求10所述的影像***，其中该多个数字信号的相对应位数基于一入射光的强度来决定。

12.如权利要求8所述的影像***，其中当一入射光较明亮时，该多个子帧读出处理会被致能。

13.如权利要求8所述的影像***，其中该模拟数字转换器在一入射光较明亮时会执行该部分数字化处理。

Images