具体实施方式
遍及本说明书和权利要求书,以下术语采用本文中明确相关联的含义,除非上下文另有清楚指示。“一”和“所述”的含义包含复数参考,“在……中”的含义包含“在……中”和“在……上”。术语“经连接”意指经连接的物品之间的直接电连接,或意指经由一个或一个以上被动或主动中间装置的间接连接。术语“电路”意指连接在一起以提供所要功能的单个组件或多个组件,无论是主动组件或是被动组件。术语“信号”意指至少一个电流、电压或数据信号。
另外,例如“在……上”、“在……上方”、“顶部”、“底部”的方向性术语参考所描述的图式的定向来加以使用。因为本发明的实施例的组件可以许多不同定向来定位,因此方向性术语仅用于说明目的而决非限制。
参看图式,相同数字遍及诸图指示相同部分。
图1是根据本发明的实施例中的图像捕捉装置的简化框图。图像捕捉装置100在图l中实施为数码相机。所属领域的技术人员应了解,数码相机仅为可利用并入有本发明的图像传感器的图像捕捉装置的一个实施例。其它类型的图像捕捉装置(例如,手机相机、扫描器和数字视频摄录机)可用于本发明。
在数码相机100中,来自主题场景的光102输入到成像台104。成像台104可包含常规元件,例如透镜、中性密度滤光片、光圈和快门。光102通过成像台104聚焦以在图像传感器106上形成图像。图像传感器106通过将入射光转换成电信号而捕捉一个或一个以上图像。数码相机100进一步包含处理器108、存储器110、显示器112和一个或一个以上额外输入/输出(I/O)元件114。尽管在图l的实施例中图示为单独元件,但成像台104可与图像传感器106集成且可能与数码相机100的一个或一个以上额外元件集成以形成相机模块。举例来说,在根据本发明的实施例中,处理器或存储器可与图像传感器106集成在相机模块中。
处理器108可实施(例如)为微处理器、中央处理单元(CPU)、专用集成电路(ASIC)、数字信号处理器(DSP),或其它处理装置,或多个此些装置的组合。成像台104和图像传感器106的各种元件可通过从处理器108供应的时序信号或其它信号来控制。
存储器110可经配置为任何类型的存储器,例如随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、基于磁盘的存储器、可移除存储器,或其它类型的存储元件,按照任一组合形式来配置。通过图像传感器106捕捉的给定图像可通过处理器108存储在存储器110中且呈现在显示器112上。显示器112通常为主动式矩阵彩色液晶显示器(LCD),但可使用其它类型的显示器。额外I/O元件114可包含(例如)各种屏幕上的控制件、按钮或其它用户接口、网络接口,或存储卡接口。
应了解,图l中所图示的数码相机可包括所属领域的技术人员已知的类型的额外或替代元件。本文中未具体图示或描述的元件可从此项技术中已知的元件中选择。如先前所注明,本发明可实施于各种图像捕捉装置中。此外,本文中所描述的实施例的某些方面可至少部分以通过图像捕捉装置的一个或一个以上处理元件执行的软件的形式来实施。如所属领域的技术人员将了解,给定提供于本文中的教示,此类软件可以直接方式来实施。
现参看图2,图示根据本发明的实施例中的图像传感器106的俯视图的框图。图像传感器106包含具有感光像素202和暗参考像素204的像素阵列200。感光像素202和暗参考像素204通常在像素阵列200内布置成行和列。
感光像素202为响应于入射光而收集光生电荷载流子的像素。暗参考像素204可经构造为具有不透明层或光屏蔽件206的感光像素,所述不透明层或光屏蔽件206位于暗参考像素204上方以使得所述像素不会接收入射光。或者,在根据本发明的实施例中,暗参考像素204可在无光检测器的情况下加以建构。
暗参考像素204用来测量当图像传感器未被照亮(零光条件)时在图像传感器106中产生的电荷的量。这些暗信号用来减少所捕捉的图像中的噪声的量。在本发明的实施例中,像素阵列200中的每一列的列偏移校正基于从暗参考像素204读出的暗信号来产生。所述列偏移校用来减少或消除图像传感器中的列固定图案噪声。
图像传感器106进一步包含列解码器208、行解码器210、数字逻辑212、列输出电路214和模拟前端电路216。像素阵列200中的每一列感光像素202和暗参考像素204电连接到列输出电路214。
数字逻辑212包含存储器218、控制寄存器220、定标电路222和时序产生器224。在根据本发明的实施例中,存储器218存储列偏移校正,控制寄存器220存储在捕捉图像时使用的增益电平,且定标电路222用以响应于增益电平的检测到的改变而定标列偏移校正。时序产生器224产生从像素阵列200读出信号所需的信号。
在根据本发明的实施例中,将图像传感器106实施为x-y可寻址图像传感器,例如互补金属氧化物半导体(CMOS)图像传感器。因此,将列解码器208、行解码器210、数字逻辑212、列输出电路214和模拟前端电路216实施为操作性地连接到像素阵列200的标准CMOS电子电路。
与像素阵列200的取样和读出以及对应图像数据的处理相关联的功能性可至少部分以存储在存储器110(见图l)中且通过处理器108执行的软件的形式来实施。取样和读出电路的部分可布置在图像传感器106外部,或与像素阵列200整体地形成在(例如)与光检测器和像素阵列的其它元件共有的集成电路上。所属领域的技术人员应了解,其它***电路配置或结构可实施在根据本发明的其它实施例中。
为简单起见,图2描绘七行和七列像素,其中有五行感光像素202和两行暗参考像素204。所属领域的技术人员应了解,图像传感器具有可以任何配置来布置的数百万到数千万的像素。仅举例来说,多行暗参考像素可位于像素阵列200的顶部和底部处。或者,感光像素可限制在子阵列中,其中多行和多列暗参考像素环绕所述子阵列。另一示范性实施例将暗参考像素分散在像素阵列内,以使得暗参考像素与感光像素混杂。
图3是图2中所图示的模拟前端电路216的框图。在根据本发明的实施例中,模拟前端电路216从每一像素接收一对差分模拟信号。一个模拟信号标识为RESET,且另一信号标识为SIGNAL。模拟前端电路216放大并调节RESET和SIGNAL模拟信号,且将所述模拟信号转换成数字信号。
模拟前端电路216包含模/数转换器(ADC)300和模拟信号处理器(ASP)302。在根据本发明的实施例中,ASP 302包含两个串接的可变增益放大器304、306。根据本发明的其它实施例可包含一个或一个以上可变增益放大器。在根据本发明的实施例中,在本发明中,检测可变增益放大器304、306的增益的改变并使用其产生经定标的列偏移校正。
现参看图4,其图示根据本发明的实施例中的用于产生列偏移校正的第一方法的流程图。最初,在给定增益电平下从每一列像素中的给定数目的暗参考像素读出暗信号(框400)。在根据本发明的实施例中,所述增益电平可以是增益设置或经测量的增益。
在根据本发明的实施例中,读出的暗参考像素的数目可变化。在一个实施例中,从每一列中的大量暗参考像素读出暗信号。大量暗信号可导致较精确的初始列偏移校正。
此外,给定的增益电平可以是任何所要增益电平。在根据本发明的一个实施例中,增益电平是高的。较高的增益电平可产生较精确的初始列偏移校正。
框400可在图像传感器的操作期间的任何时间加以执行。在根据本发明的一个实施例中,框400是在图像传感器开启时首先加以执行。此情形允许使用是启动序列的部分的空白帧来获得暗信号。
接下来,如框402中所图示,分析来自每一列的暗信号以确定是否存在任何异常暗信号。在根据本发明的实施例中,异常暗信号是从异常地暗或亮的暗参考像素获得的信号。仅举例来说,数字逻辑212(图2)分析所述暗信号以确定其中是否有任何异常暗信号。稍后参看图7A-7B来描述一种用于检测和补偿异常暗信号的方法。在根据本发明的实施例中,如果所述暗信号中的任何暗信号是异常暗信号,那么丢弃或补偿所述异常暗信号。
接着确定像素阵列中的每一列的初始列偏移校正,且将所述初始列偏移校正存储在存储器中(框404和406)。在根据本发明的一个实施例中,对从一列读出的暗信号一起求平均值以产生平均暗信号值,且所述平均暗信号值用作初始列偏移校正。根据本发明的其它实施例可以不同方式确定所述初始偏移校正。仅举例来说,暗信号可输入到无限脉冲响应(IIR)滤波器中以确定所述初始列偏移校正。
接着在框408处做出关于是否已起始图像捕捉的确定。在根据本发明的实施例中,增益电平是在图像捕捉过程起始时通过图像捕捉装置来确定。所述增益电平可通过自动曝光算法、通过用户选择,或通过某些其它方法来确定。在根据本发明的实施例中,所述增益电平传输到图像传感器且存储在控制寄存器220(图2)中。
接着在框410处做出关于是否将以不同于框400和框404处所使用的增益电平的增益位率来捕捉图像的确定。在根据本发明的实施例中,数字逻辑212检测增益电平的改变。如果增益电平尚未改变,那么所述方法返回到框408。如果图像将以不同的增益电平来捕捉,那么所述过程在框412处继续,在框412处响应于所述不同的增益电平来定标初始列偏移校正。在根据本发明的一个实施例中,所述初始列偏移校正是通过新增益设置与先前增益设置的比率来定标。在根据本发明的另一实施例中,所述初始列偏移校正是通过当前测量的增益与先前测量的增益的比率来定标。
接着将所述经定标的偏移校正存储在存储器中,如框414中所图示。所述方法返回到框408。在根据本发明的实施例中,每当图像以不同的增益电平来捕捉时,框412和414便重复。
当检测到增益电平的改变时,图4的方法更新列偏移校正。列偏移校正通过定标初始列偏移校正来更新。此方法有利地避免在确定列偏移校正时重复地读出暗信号,借此减少计算像素阵列中的每一列的列偏移校正所需的帧开销(例如,时间)。
根据本发明的实施例不限于图4中所图示的框和框的次序。根据本发明的其它实施例可执行额外步骤,不执行所述框中的一些步骤,或同时地执行所述步骤中的一些步骤。仅举例来说,检测异常暗信号和补偿此些异常暗信号(框402)可与读出暗信号(框400)同时执行。或者,在根据本发明的其它实施例中,框402或框414并不必须加以执行。
图5是用于使用根据图4中所图示的方法产生的列偏移校正的方法的流程图。最初,做出关于是否将从像素阵列读出图像或图像的帧的确定(框500)。如果是,那么从读出自每一列的图像信号减去适当的列偏移校正(框502)。当图像或图像的帧是在增益电平无改变的情况下得以捕捉时,适当的列偏移校正为初始列偏移校正或先前定标的初始列偏移。或者,当图像或图像的帧是以不同于与初始列偏移校正相关联的增益电平的增益电平来捕捉时,适当的列偏移校正为当前定标的列偏移校正。
在根据本发明的一个实施例中,响应于增益电平的改变而定标初始列偏移校正(图4中的框412)可与从图像信号减去适当的偏移校正(图5中的框502)同时进行。即,在需要时,适当的偏移校正可在帧或图像的读出期间在运作中确定和定标(如果由于增益改变而必需),以便在每一图像信号被读出时提供对每一图像信号的偏移校正。此情形避免对存储经定标的偏移校正的存储器的需要。
现参看图6A-6B,图示根据本发明的实施例中的用于产生和使用列偏移校正的第二方法的流程图。最初,在给定增益电平下从每一列像素中的给定数目的暗参考像素读出暗信号(框600)。在根据本发明的实施例中,所述增益位率可为增益设置或经测量的增益。
在根据本发明的实施例中,读出的暗参考像素的数目可变化。在根据本发明的一个或一个以上实施例中,从每一列中的少许暗参考像素读出暗信号。举例来说,在根据本发明的一个实施例中,从每一列中的三十六个暗参考像素读出暗信号。在根据本发明的另一实施例中,从每一列中的八个暗参考像素读出暗信号。
给定的增益电平可以是任何所要的增益电平。在根据本发明的一个实施例中,增益电平是高的。较高的增益电平可导致较精确的初始列偏移计算。
框600可在图像传感器的操作期间的任何时间加以执行。在根据本发明的一个实施例中,框600是在图像传感器开启时首先加以执行。此情形允许作为启动序列的部分的空白帧用于获得暗信号。
接下来,如框602中所图示,分析来自每一列的暗信号以确定是否存在任何异常暗信号。如早先所讨论,在根据本发明的实施例中,异常暗信号是从异常地暗或亮的暗参考像素获得的信号。稍后参看图7A-7B来描述一种用于检测和补偿异常暗信号的方法。在根据本发明的实施例中,如果所述暗信号中的任何暗信号是异常暗信号,那么使用补偿暗信号或丢弃所述异常暗信号。
接着确定像素阵列中的每一列的列偏移校正,如框604中所图示。在根据本发明的一个实施例中,对从每一列读出的暗信号一起求平均值以产生列平均暗信号值,且将所述列平均暗信号值用作列偏移校正。将所述列偏移校正存储在存储器中(框606)。
接着做出关于是否已起始图像捕捉的确定(框608)。如先前所描述,在根据本发明的实施例中,在图像捕捉过程起始时通过图像捕捉装置来确定增益电平。所述增益电平可通过自动曝光算法、通过用户选择,或通过某其它方法来确定。在根据本发明的实施例中,所述增益电平传输到图像传感器且存储在控制寄存器220(图2)中。
接着在框610处做出关于是否以与不同于框606处或框618处存储在存储器中(以最近发生者为准)的列偏移校正相关联的增益电平的增益电平来捕捉图像的确定。在根据本发明的实施例中,数字逻辑212检测增益电平的改变。
当并未以不同增益电平来捕捉图像时,所述过程在框612处继续,在框612处从暗参考像素读出给定数目的暗信号。在根据本发明的实施例中,每当从暗参考像素读出暗信号,从所述像素阵列读出的给定数目的暗参考像素可动态地改变。因此,一个读取操作可对八个暗参考像素进行读出以确定列偏移校正,且另一读取操作可对十个暗参考像素进行读出。仅举例来说,从像素阵列读出的暗信号的数目可基于暗参考像素中的噪声、基于对列偏移校正的统计测量、基于所述像素是针对在增益电平改变之后的首次更新而进行读取还是所述暗参考像素是针对后续的更新而进行读取。
接下来,在读取给定数目的暗像素之后,分析来自每一列的暗信号以确定是否存在任何异常暗信号(框614)。稍后参看图7A-7B来描述一种用于补偿异常暗信号的方法。接着更新先前的列偏移以产生经更新的列偏移,如框616中所图示。将经更新的列偏移校正存储在存储器中(框618)。
在根据本发明的一个实施例中,列偏移校正使用新读出的暗信号和先前计算出的列偏移校正来重新计算。仅举例来说,每当从像素阵列读出给定数目的暗信号时,每一列的平均暗信号电平经重新计算。重新计算出的列偏移校正用作经更新的列偏移校正。根据本发明的其它实施例可以不同方式产生经更新的列偏移校正。仅举例来说,在根据本发明的其它实施例中,经更新的列偏移可使用加权平均或IIR滤波器来产生。
接着从读出自与每一经更新的列偏移校正相关联的列的图像信号减去所述经更新的列偏移校正(框620)。从所述图像信号减去经更新的列偏移校正补偿了列固定图案噪声。所述方法接着返回到框608。
再次参考框610,当在捕捉图像时使用不同增益电平时,所述过程进行到框624。在框624处,定标列偏移校正或经更新的列偏移校正以产生经定标的列偏移校正。定标的量是基于增益电平的检测到的改变。举例来说,在根据本发明的一个实施例中,所述列偏移校正或经更新的列偏移校正通过新增益设置与先前增益设置的比率来定标。在根据本发明的另一实施例中,所述列偏移校正或经更新的列偏移校正通过当前测量的增益与先前测量的增益的比率来定标。
接着将经定标的列偏移校正存储在存储器中(框626)。在执行框626之后,所述过程进行到框612,且执行框612到620。在执行框620之后,所述方法返回到框608。
根据本发明的实施例不限于图6A-6B中所图示的框和框的次序。根据本发明的其它实施例可执行额外步骤,不执行所述框中的一些步骤,或同时地执行所述步骤中的一些步骤。仅举例来说,检测异常暗信号和补偿此些异常暗信号(框602或614)可与读出暗信号(分别为框600或612)同时执行。或者,在根据本发明的其它实施例中,框602、框606、框614、框618或框626并不必须加以执行。
请注意,除了图2中所说明的结构之外,本发明的实施例还可用于不同图像传感器结构中。仅举例来说,每当从图像传感器读出一行像素时,图像传感器便可切换哪几列像素连接到哪些列输出电路。大体上,进行此操作以在某程度上打碎列固定图案噪声的柱形或条纹性质。本发明的实施例可仅基于列电路来确定和应用列偏移校正,甚至在列输出电路从一个像素列切换到另一像素列时仍如此。本发明的实施例可仅基于像素列来确定和应用列偏移校正。或者,本发明的实施例可确定列偏移校正,并将其应用到像素列与列输出电路的每一组合。
类似地,图像传感器可具有多个列电路,每一列电路服务两列或两列以上的像素,借此需要多个取样和读取周期来读取每一行像素。本发明的实施例将列偏移校正应用到每一列电路,或每一像素列,或应用到像素列与列输出电路的每一组合。进一步举例来说,多个列输出电路可用于每一列像素。此情况可为在一组列电路正被读出而另一组列电路正对准备读出的图像信号取样时所出现的情况。此外,即使像素列与列输出电路之间不存在一对一的对应,但本发明仍适用且不受限。
图7A-7B描绘在根据本发明的实施例中用于在产生列偏移校正时检测异常暗信号且补偿异常暗信号的方法的流程图。最初,确定像素阵列中的所有列的全局偏移窗(框700)。所述全局偏移窗识别像素阵列中的所有列的可接受暗信号的范围。在根据本发明的实施例中,可接受暗信号的范围包含中央暗信号、最大暗信号和最小暗信号。
在根据本发明的一个实施例中,所述中央暗信号、所述最小暗信号和所述最大暗信号可基于预期的暗信号。或者,在根据本发明的另一实施例中,所述中央暗信号、所述最小暗信号和所述最大暗信号可基于所测量的暗信号。且在根据本发明的另一实施例中,所述中央暗信号、所述最小暗信号和所述最大暗信号可基于先前确定的中央暗信号、最小暗信号和最大暗信号。根据本发明的其它实施例可以不同方式确定像素阵列中的所有列的可接受暗信号的范围。
接下来,如框702中所图示,从每一列像素中的给定数目的暗参考像素读出暗信号,且分析所述暗信号以确定所述暗信号是否在全局偏移窗内。接着在框704处做出关于来自每一列的一个或一个以上暗信号是否在全局偏移窗外部的确定。如果是,那么在全局偏移窗外部的暗信号为异常暗信号。补偿所述异常暗信号,以使得用以确定最初列偏移(图4中的框404)或列偏移(图6A中的框604)的所有暗信号均处于全局偏移窗内(框706)。
在根据本发明的一个实施例中,异常暗信号通过减去每一异常暗信号的先前暗信号、选定暗信号或估计暗信号来补偿。在根据本发明的另一实施例中,异常暗信号通过减去每一异常暗信号的平均暗信号值来补偿。在根据本发明的又一实施例中,中值或模式暗信号用来代替每一异常暗信号。或者,在根据本发明的另一实施例中,每一异常暗信号可被丢弃,且列偏移校正以较少暗信号来确定。根据本发明的其它实施例可使用与本文中所描述的技术不同的技术来补偿异常暗信号。
接着使用在全局偏移窗内的暗信号来确定适当的列偏移校正(框708)。举例来说,在框708处确定初始列偏移校正(在图4中的框404)或列偏移校正(图6A中的框604)。且在根据本发明的实施例中,取决于从暗参考像素读出的暗信号的数目,经更新的列偏移校正(图6B中的框618)还可使用在全局偏移窗内的信号来确定。
接下来,在框710处,做出关于是否已对给定数目的暗参考像素进行读出的确定。在根据本发明的一个实施例中,暗参考像素的给定数目是基于经定标的列偏移或经更新的列偏移的置信度。或者,暗参考像素的给定数目系基于参考图6中的框612所描述的因素。
如果尚未达到暗参考像素的给定数目,那么继续使用全局偏移窗来确定异常暗信号。当已对给定数目的暗参考像素进行读出时,所述方法在框712处继续,在框712处确定像素阵列中的每一列的局部偏移窗。在根据本发明的实施例中,局部偏移窗识别像素阵列中的一列的可接受暗信号的范围。在根据本发明的实施例中,局部偏移窗的可接受暗信号的范围是基于从此列读出的暗信号。仅举例来说,所述局部偏移窗可基于此列的平均暗信号值。
接着从每一列像素中的给定数目的暗参考像素读出暗信号,且分析所述暗信号以确定所述暗信号是否在相应局部偏移窗内(框714)。在框716处做出关于来自每一列的一个或一个以上暗信号是否在与此列相关联的局部偏移窗外部的确定。如果是,那么在局部偏移窗外部的暗信号为异常暗信号。在根据本发明的实施例中,补偿所述异常暗信号,以使得用以确定列偏移校正(图4中的框404和图6A中的框604)或经更新的列偏移校正(图6A中的框618)的所有暗信号在其相应局部偏移窗内(框718)。异常暗信号可通过使用结合框706所描述的技术来补偿。
接着使用在局部偏移窗内的暗信号来确定适当的列偏移校正(框720)。在根据本发明的一个实施例中,在框720处确定列偏移校正(图6A中的框604)或经更新的列偏移校正(图6B中的框618)。接下来,在框722处,做出关于是否将更新一个或一个以上局部偏移窗的确定。如果否,那么所述方法返回到框714。
当将更新一个或一个以上局部偏移窗时,产生一个或一个以上经更新的局部偏移窗,如框724中所图示。在根据本发明的实施例中,所述局部偏移窗通过分析从一列读出的暗信号且将其与局部偏移窗中所包含的可接受暗信号的范围进行比较来更新。可接受暗信号的范围基于从所述列读出的暗信号的电平来调整。在根据本发明的一个或一个以上实施例中,可接受暗信号的范围可增加、减小、最小和最大暗信号改变,或这些各者的组合可用以更新局部偏移窗。
在框726处可将经更新的局部偏移窗存储在存储器中。所述方法接着返回到框714。
根据本发明的实施例不限于图7A-7B中所图示的框和框的次序。根据本发明的其它实施例可执行额外步骤,不执行所述框中的一些步骤,或同时地执行所述步骤中的一些步骤。仅举例来说,在根据本发明的其它实施例中,框726并不必须加以执行。
现参看图8,图示根据本发明的实施例中的用以描绘局部偏移窗的从每一列读出的暗信号的示范性图。从像素阵列中的每一列(C0、C1、……、CN)读出多个暗信号800。局部偏移窗802、804、806、808、810是针对所述列(C0、C1、……、CN)而确定。每一局部偏移窗界定其相应列的可接受暗信号的范围。列C0的局部偏移窗802针对此列具有最大暗信号812和最小暗信号814。列C1的局部偏移窗804针对此列具有最大暗信号816和最小暗信号818。类似地,列C2、CN-1和CN的局部偏移窗806、808、810针对这些列分别具有最大暗信号820、822、824和最小暗信号826、828、830。
如图8中所图示,所述列中的一些具有异常暗信号。列C0具有一个异常暗信号832。列C2和列CN-1分别具有两个异常暗信号834、836和838、840。列C1和列CN不具有任何异常暗信号。异常暗信号832、834、836、838、840可使用早先结合图7A-7B所描述的技术来补偿。
局部偏移窗802、804、806、808、810可使用本文中所描述的技术来调整。局部偏移窗通过调整可接受暗信号的范围来更新。举例来说,在根据本发明的一个或一个以上实施例中,所述范围可增加、减小、最小和最大暗信号改变,或这些各者的组合可用以更新局部偏移窗。
零件列表
100图像捕捉装置
102光
104成像台
106图像传感器
108处理器
110存储器
112显示器
114其它输入/输出装置
200像素阵列
202感光像素
204暗参考像素
206不透明层或光屏蔽件
208列解码器
210行解码器
212数字逻辑
214列输出电路
216模拟前端电路
218存储器
220控制寄存器
222定标电路
224时序产生器
300模/数转换器
302模拟信号处理器
304可变增益放大器
306可变增益放大器
800暗信号
802局部偏移窗
804局部偏移窗
806局部偏移窗
808局部偏移窗
810局部偏移窗
812最大暗信号
814最小暗信号
816最大暗信号
818最小暗信号
820最大暗信号
822最大暗信号
824最大暗信号
826最小暗信号
828最小暗信号
830最小暗信号
832异常暗信号
834异常暗信号
836异常暗信号
838异常暗信号
840异常暗信号