CN115696073A - 成像装置 - Google Patents
成像装置 Download PDFInfo
- Publication number
- CN115696073A CN115696073A CN202210638445.7A CN202210638445A CN115696073A CN 115696073 A CN115696073 A CN 115696073A CN 202210638445 A CN202210638445 A CN 202210638445A CN 115696073 A CN115696073 A CN 115696073A
- Authority
- CN
- China
- Prior art keywords
- pixel
- pixels
- ratio
- transmittance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 claims abstract description 116
- 230000035945 sensitivity Effects 0.000 claims abstract description 84
- 238000004364 calculation method Methods 0.000 claims abstract description 59
- 238000003384 imaging method Methods 0.000 claims abstract description 57
- 238000002834 transmittance Methods 0.000 claims description 211
- 238000006243 chemical reaction Methods 0.000 claims description 155
- 238000009792 diffusion process Methods 0.000 claims description 47
- 238000007667 floating Methods 0.000 claims description 47
- 229920006395 saturated elastomer Polymers 0.000 claims description 42
- 230000005540 biological transmission Effects 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 18
- 230000000903 blocking effect Effects 0.000 claims description 16
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 48
- 238000000034 method Methods 0.000 description 41
- 238000005516 engineering process Methods 0.000 description 34
- 230000001276 controlling effect Effects 0.000 description 19
- 239000003990 capacitor Substances 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 239000000758 substrate Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 239000003795 chemical substances by application Substances 0.000 description 10
- 239000012535 impurity Substances 0.000 description 8
- 230000002596 correlated effect Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 101000584583 Homo sapiens Receptor activity-modifying protein 1 Proteins 0.000 description 3
- 101000584590 Homo sapiens Receptor activity-modifying protein 2 Proteins 0.000 description 3
- 101000618467 Hypocrea jecorina (strain ATCC 56765 / BCRC 32924 / NRRL 11460 / Rut C-30) Endo-1,4-beta-xylanase 2 Proteins 0.000 description 3
- 102100030697 Receptor activity-modifying protein 1 Human genes 0.000 description 3
- 102100030696 Receptor activity-modifying protein 2 Human genes 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
一种成像装置可包括:图像感测装置,其包括多个像素,各个像素被构造为检测来自场景的入射光以生成与入射光的强度对应的像素信号并且生成与像素信号对应的图像数据,其中,图像感测装置响应于控制信号而操作以执行成像操作;亮度获取单元,其被配置为获取与所述多个像素当中的与图像感测装置所捕获的场景的图像的目标区域关联的第一像素对应的图像数据;可控项目获取单元,其被配置为获取指示各个像素对光的灵敏度的一个或更多个灵敏度项目作为可控项目;以及设定值计算单元,其被配置为通过基于目标区域的图像数据和可控项目为可控项目计算设定值来生成对图像感测装置的控制信号。
Description
技术领域
本专利文献中公开的技术和实现方式总体上涉及一种用于生成高动态范围(HDR)图像的图像感测装置。
背景技术
图像感测装置是通过使用对光做出反应的感光半导体材料将光转换为电信号来捕获光学图像的装置。随着汽车、医疗、计算机和通信行业的发展,在诸如智能电话、数字相机、游戏机、IoT(物联网)、机器人、安全相机和医疗微型相机的各种领域中对高性能图像感测装置的需求不断增加。
图像感测装置可大致分为CCD(电荷耦合器件)图像感测装置和CMOS(互补金属氧化物半导体)图像感测装置。与CMOS图像感测装置相比,CCD图像感测装置提供更好的图像质量,但是它们往往消耗更多的功率并且更大。与CCD图像感测装置相比,CMOS图像感测装置的尺寸更小并且消耗更少的功率。此外,使用CMOS制造技术来制造CMOS传感器,因此感光元件和其它信号处理电路可被集成到单个芯片中,从而允许以更低的成本生产小型化图像感测装置。出于这些原因,正在为包括移动装置的许多应用开发CMOS图像感测装置。
发明内容
所公开的技术的各种实施方式涉及一种使用最优方法来生成高动态范围(HDR)图像的成像装置。
根据所公开的技术的实施方式,一种成像装置可包括:图像感测装置,其包括多个像素,各个像素被构造为检测来自场景的入射光以生成与入射光的强度对应的像素信号并且生成与像素信号对应的图像数据,其中,图像感测装置响应于控制信号而操作以执行成像操作;亮度获取单元,其被配置为获取与所述多个像素当中的与图像感测装置所捕获的场景的图像的目标区域关联的第一像素对应的图像数据;可控项目获取单元,其被配置为获取指示各个像素对光的灵敏度的一个或更多个灵敏度项目作为可控项目;以及设定值计算单元,其被配置为通过基于目标区域的图像数据和可控项目计算可控项目的设定值来生成对图像感测装置的控制信号。
根据所公开的技术的另一实施方式,一种成像装置可包括:图像感测装置,其包括多个像素,所述多个像素被构造为检测入射光以生成与入射光的强度对应的像素信号并且生成与像素信号对应的图像数据;高动态范围(HDR)控制器,其被配置为通过基于图像数据为作为可控项目的曝光量、曝光时间、转换增益和模拟增益中的至少一个计算设定值来生成控制信号;以及图像信号处理器,其被联接以从高动态范围(HDR)控制器接收控制信号并且被配置为合成通过响应于所接收的控制信号调节所述多个像素中的每一个的灵敏度而生成的具有不同灵敏度的图像数据并且基于图像数据来生成高动态范围(HDR)图像。
将理解,所公开的技术的以上一般描述和以下详细描述二者是例示性和说明性的,并且旨在提供对要求保护的本公开的进一步说明。
附图说明
图1是示出基于所公开的技术的一些实现方式的拍摄装置的示例的框图。
图2是示出基于所公开的技术的一些实现方式实现的根据高灵敏度像素和低灵敏度像素的亮度而变化的响应的示例的曲线图。
图3是示出基于所公开的技术的一些实现方式的图1所示的图像感测装置和高动态范围(HDR)控制器的示例的框图。
图4是示出基于所公开的技术的一些实现方式的图3所示的像素阵列中所包括的像素的示例的电路图。
图5是示出基于透光率的差异来调节像素的灵敏度的示例的图。
图6是示出基于曝光时间的差异来调节各个像素的灵敏度的示例方法的时序图。
图7是示出基于转换增益的差异来调节各个像素的灵敏度的示例方法的时序图。
图8是示出基于模拟增益的差异来调节各个像素的灵敏度的示例方法的曲线图。
图9是示出基于所公开的技术的一些实现方式的由拍摄装置形成HDR图像的示例方法的流程图。
图10是示出基于所公开的技术的一些实现方式的图9所示的示例操作S30的流程图。
具体实施方式
本专利文献提供了用于生成高动态范围(HDR)图像的拍摄或成像装置的实现方式和示例,其可用于基本上解决一个或更多个技术或工程问题并减轻一些其它成像装置中遇到的限制或缺点。所公开的技术的一些实现方式涉及使用从各种方法当中选择的最优方法来生成高动态范围(HDR)图像的拍摄或成像装置。在本专利文献的上下文中,结合生成HDR图像的方法使用的词语“最优”用于指示为成像装置提供更好性能的方法。从这个意义上,词语“最优”可以或可以不传达成像装置可实现的最佳可能性能。所公开的技术在一些实施方式中可被实现为确定与要捕获的目标对象关联的亮度和可控项目并且通过将硬件特性(例如,响应特性)反映到控制成像装置的灵敏度的处理中来控制可控项目,从而在使噪声最小化的同时生成具有最大动态范围的高动态范围(HDR)图像。
现在将详细参考所公开的技术的实施方式,其示例示出于附图中。只要可能,贯穿附图将使用相同的标号来表示相同或相似的部分。尽管本公开易于各种修改和替代形式,但在附图中通过示例的方式示出其特定实施方式。然而,本公开不应被解释为限于本文所阐述的实施方式。
以下,将参照附图描述各种实施方式。然而,应该理解,所公开的技术不限于特定实施方式,而是包括实施方式的各种修改、等同物和/或替代。所公开的技术的实施方式可提供能够通过所公开的技术直接或间接识别的各种效果。
图1是示出基于所公开的技术的一些实现方式的拍摄或成像装置1的示例的框图。图2是示出基于所公开的技术的一些实现方式实现的根据高灵敏度像素和低灵敏度像素的亮度而变化的响应的示例的曲线图。在本专利文献中,词语“灵敏度”可用于指示图像传感器对光的灵敏度。因此,高灵敏度像素比低灵敏度像素对光更敏感。
参照图1,成像装置1可包括可拍摄静止或运动画面的任何机械或电子装置,例如用于拍摄静止图像的数字静止相机或用于拍摄运动画面的数字视频相机。成像装置的示例可包括数字单镜反光(DSLR)相机、无反光镜相机或智能电话等。成像装置1可包括镜头和图像拾取元件以捕获(或拍摄)目标对象的光并创建目标对象的图像。
成像装置1可包括镜头10、光圈20、镜头驱动器30、光圈驱动器40、图像感测装置100和图像信号处理器200。
镜头10可包括相对于光轴对准的光学透镜或透镜组件。镜头10可设置在图像感测装置100的前方以使得光线可被聚焦到图像感测装置100上的点。镜头10的位置可由镜头驱动器30调节。例如,镜头10可通过镜头驱动器30沿着光轴移动。
光圈20可设置在图像感测装置100的前方。光圈驱动器40可通过调节光圈20的打开或关闭的程度来控制到达图像感测装置100的光量。图1仅通过示例的方式将光圈20示出为设置在镜头10和图像感测装置100之间以接收已透过镜头10的光线。在其它实现方式中,光圈20可设置在镜头10中所包括的透镜之间,或者可设置在镜头10的前端。
已透过镜头10和光圈20的光线到达图像感测装置100的光接收表面,从而在图像感测装置100上形成要捕获的目标对象的图像。
镜头驱动器30可响应于从图像信号处理器200接收的控制信号(CS)而调节镜头10的位置。镜头驱动器30可通过调节镜头10的位置来执行诸如自动聚焦、推近和拉远、聚焦的各种操作。
光圈驱动器40可通过响应于从图像信号处理器200接收的控制信号(CS)控制光圈20的打开/关闭来调节曝光程度。这样,光圈驱动器40可调节到达图像感测装置100的光线量。
图像感测装置100可以是用于将入射光转换为电信号的互补金属氧化物半导体图像传感器(CIS)。图像感测装置100可通过图像信号处理器200调节曝光时间、转换增益、模拟增益等。图像感测装置100可基于像素将入射光转换为电信号,从而生成图像数据(IDATA)。图像感测装置100可包括对光具有不同灵敏度的多个像素。在一些实现方式中,灵敏度可指响应于入射光的强度的增加,图像数据(IDATA)的值的增加(或响应的增加)。即,随着灵敏度增加,与入射光的强度对应的图像数据(IDATA)的值的增加量也增加。随着灵敏度减小,与入射光的强度对应的图像数据(IDATA)的值的增加量也减小。灵敏度可基于透光率、转换增益、曝光时间、模拟增益等来确定。稍后将参照图3描述图像感测装置100的详细结构和操作。
图像信号处理器200可处理从图像感测装置100接收的图像数据(IDATA),并且可根据图像数据或外部输入信号的处理结果来控制成像装置1的构成元件。图像信号处理器200可减小图像数据(IDATA)中的噪声,并且可在图像数据(IDATA)中执行用于图像质量改进的各种类型的图像信号处理(例如,伽马校正、滤色器阵列插值、颜色矩阵、颜色校正、颜色增强等)。另外,图像信号处理器200可压缩通过图像信号处理创建的图像数据(IDATA)并且使用压缩的图像数据来创建图像文件。另选地,图像信号处理器200可从图像文件恢复图像数据(IDATA)。在这种情况下,用于压缩这种图像数据(IDATA)的格式可以是可逆格式或不可逆格式。这些压缩格式的示例包括用于静止图像的联合图像专家组(JPEG)格式和JPEG2000格式。运动画面可通过根据运动图像专家组(MPEG)标准压缩多个帧来进行压缩。例如,图像文件可根据可交换图像文件格式(Exif)标准来创建。
另外,图像信号处理器200可通过合成使用具有不同灵敏度的图像感测像素生成的至少两个图像来生成HDR图像。用于生成HDR图像的配置可被定义为与HDR控制器300不同的图像合成单元。例如,图像感测装置100可输出通过对光具有相对低的灵敏度的低灵敏度像素生成的低灵敏度图像以及通过对光具有相对高的灵敏度的高灵敏度像素生成的高灵敏度图像。图像信号处理器200可将低灵敏度图像和高灵敏度图像组合以生成HDR图像。尽管上面讨论的示例使用低灵敏度图像和高灵敏度图像来生成HDR图像,但所公开的技术在一些实施方式中可被实现为使用具有N个不同灵敏度的N个图像,其中N是大于或等于2的整数。在一个示例中,图像感测处理器200可使用具有N个不同灵敏度的图像数据(IDATA)来生成HDR图像。
由图像信号处理器200生成的HDR图像可响应于用户请求或以自主方式存储在成像装置1的内部存储器或外部存储器中以将所存储的HDR图像显示在显示装置上。
另外,图像信号处理器200可执行不清晰去除处理、模糊去除处理、边缘强调处理、图像分析处理、图像识别处理、图像效果处理等。
另外,图像信号处理器200可执行显示图像信号处理以便于显示。例如,图像信号处理器200可执行亮度级别调节、颜色校正、对比度调节、轮廓强调调节、画面分割处理、字符图像生成和图像合成处理等。
根据(1)通过实时输入的图像数据(IDATA)自动生成的控制信息,或者(2)用户手动输入的控制信息,图像信号处理器200可控制镜头驱动器30、光圈驱动器40和图像感测装置100。
在一些具体实现方式中,图像信号处理器200可包括HDR控制器300。在其它实现方式中,HDR控制器300也可独立于图像信号处理器200来实现。例如,HDR控制器300可被包括在图像感测装置100中。
HDR控制器300可控制光圈驱动器40和图像感测装置100中的至少一个以使得图像感测装置100的像素可具有最优动态范围。
图2示出作为入射在高灵敏度像素和低灵敏度像素上的光强度的函数的响应。随着入射光的强度增加,高灵敏度像素的响应表现出相对大的增加量,并且随着入射光的强度增加,低灵敏度像素的响应表现出相对小的增加量。高灵敏度像素的响应和低灵敏度像素的响应根据施加到对应像素的入射光的亮度或强度而变化。这里,响应可指对应像素的图像数据(IDATA)或图像数据(IDATA)的值。
响应可具有信噪比(SNR)限制(由SNR限制表示)和饱和级别(由饱和表示)。
在图2中,信噪比(SNR)阈值水平是指可满足预定的基准SNR的阈值。小于SNR阈值水平的响应可被当作不满足基准SNR的无效响应,大于SNR阈值水平的响应可被当作满足基准SNR的有效响应。基准SNR可考虑图像感测装置100的特性来通过实验确定。
饱和级别是指指示入射光的强度的最大水平。饱和级别可基于以下来确定:用于将入射光的强度转换为光电荷的像素的能力(例如,光电转换元件的电容);用于将光电荷转换为模拟信号的能力(例如,浮置扩散(FD)区域的电容);以及用于将模拟信号转换为数字信号的能力(例如,ADC的输入范围)。随着入射光的强度增加,响应可与入射光的强度成比例增加,直至响应达到饱和级别。在响应达到饱和级别之后,尽管入射光的强度增加,响应也不会增加。例如,在响应达到饱和级别之后,响应保持在与饱和值相同的值,不会增加至饱和级别以上。
各个像素的有效响应可指在满足基准SNR的同时可指示入射光的强度的响应。与像素的有效响应对应的入射光的强度的范围可被称为像素的动态范围。即,像素的动态范围可指各个像素具有有效响应的入射光的强度范围。
响应于入射光的强度的增加的高灵敏度像素的响应相对大。因此,图2中的高灵敏度像素的响应曲线图具有相对大的斜率直至响应达到饱和级别,并且在响应达到饱和级别之后,不管入射光的强度的增加,均具有与饱和级别对应的固定水平。
响应于入射光的强度的增加的低灵敏度像素的响应相对小。因此,图2中的低灵敏度像素的响应曲线图具有相对小的斜率直至响应达到饱和级别,并且在响应达到饱和级别之后,不管入射光的强度的增加,均具有与饱和级别对应的固定水平。
如图2所示,高灵敏度像素动态范围的最小值(DR_H)可小于低灵敏度像素动态范围的最小值(DR_L),高灵敏度像素动态范围的最大值(DR_H)可小于低灵敏度像素动态范围的最大值(DR_L)。因此,在入射光的强度相对小的低亮度范围内,高灵敏度像素可更适合于检测入射光的强度。在入射光的强度相对大的高亮度范围内,低灵敏度像素可更适合于检测入射光的强度。
高动态范围(HDR)可使用适合于低亮度范围的高灵敏度像素的响应和适合于高亮度范围的低灵敏度像素的响应二者来实现。换言之,与仅使用高灵敏度像素和低灵敏度像素之一相比,使用高灵敏度像素和低灵敏度像素二者可允许整个像素阵列具有与从高灵敏度像素动态范围的最小值至低灵敏度像素动态范围的最大值的特定范围对应的高动态范围(HDR)。为此,高灵敏度像素动态范围的至少一部分和低灵敏度像素动态范围的至少一部分可彼此交叠。
在一些实现方式中,与高动态范围(HDR)对应的高动态范围(HDR)图像可使用高灵敏度像素(HPX)和低灵敏度像素(LPX)来通过使用以下方法合成:通过计算(例如,求和)HPX响应和LPX响应来合成HDR图像的方法;和/或在低亮度级别下基于HPX响应形成图像并且在高亮度级别下基于LPX响应形成图像的方法。
如图2所示,当调节各个像素的灵敏度(即,响应的斜率)时,可调节对应像素的动态范围。像素的灵敏度可基于一个或更多个灵敏度项目来确定。这里,灵敏度项目包括以下中的至少一个:曝光量;透光率;曝光时间;转换增益;以及模拟增益,它们指示像素灵敏度。因此,HDR控制器300可通过调节上面讨论的灵敏度项目当中的可控项目来调节各个像素的动态范围。可控项目可包括可由HDR控制器300控制的灵敏度项目。
随着动态范围变宽,优点在于可获得与具有宽亮度范围的入射光对应的有效响应。然而,动态范围变宽可导致曝光时间和各个像素捕获入射光的时间点的过度变化,从而导致各个像素在不同的时间点捕获入射光。结果,快速移动对象(例如,高速移动的目标对象)的运动伪影可增加。如果在拍摄非常亮的场景的同时动态范围不必要地扩展至低亮度范围,则高灵敏度像素的响应可能饱和,从而使整个图像质量变差。
因此,HDR控制器300可基于场景的特性和可控项目的特性来控制光圈驱动器40和图像感测装置100中的至少一个,以使得图像感测装置100的像素可具有最优动态范围。在本专利文献的上下文中,结合动态范围使用的词语“最优”用于指示为成像装置提供更好性能的动态范围。
图3是示出基于所公开的技术的一些实现方式的图1所示的图像感测装置和高动态范围(HDR)控制器300的示例的框图。
参照图3,图像感测装置100可包括像素阵列110、行驱动器120、相关双采样器(CDS)130、模数转换器(ADC)140、输出缓冲器150、列驱动器160和定时控制器170。仅通过示例的方式讨论图1所示的图像感测装置100的组件,本专利文献涵盖众多其它改变、替换、变化、更改和修改。
像素阵列110可包括按行和列布置的多个单位成像像素。在一个示例中,多个单位成像像素可按照包括行和列的二维像素阵列布置。在另一示例中,多个单位成像像素可按照三维像素阵列布置。多个单位像素可基于单位像素或像素组将光学信号转换为电信号,其中像素组中的单位像素共享至少特定内部电路。像素阵列110可从行驱动器120接收包括行选择信号、像素重置信号和传输信号的驱动信号。在接收到驱动信号时,像素阵列110中的对应成像像素可被启用以执行与行选择信号、像素重置信号和传输信号对应的操作。
行驱动器120可基于由诸如定时控制器170的控制器电路提供的命令和控制信号来启用像素阵列110以对对应行中的成像像素执行特定操作。在一些实现方式中,行驱动器120可选择布置在像素阵列110的一行或更多行中的一个或更多个成像像素。行驱动器120可生成行选择信号以选择多行当中的一行或更多行。行解码器120可依次使能用于重置与至少一个所选行对应的成像像素的像素重置信号以及用于与所述至少一个所选行对应的像素的传输信号。因此,作为由所选行的各个成像像素生成的模拟信号,基准信号和图像信号可被依次传送至CDS 130。基准信号可以是当成像像素的感测节点(例如,浮置扩散节点)被重置时提供给CDS 130的电信号,图像信号可以是当成像像素所生成的光电荷在感测节点中累积时提供给CDS 130的电信号。指示各个像素的独特重置噪声的基准信号和指示入射光的强度的图像信号可根据需要统称为像素信号。
CMOS图像传感器可使用相关双采样(CDS)以通过对像素信号采样两次以去除这两个样本之间的差异来去除像素的不期望的偏移值(称为固定图案噪声)。在一个示例中,相关双采样(CDS)可通过比较由入射光生成的光电荷在感测节点中累积之前和之后获得的像素输出电压来去除像素的不期望的偏移值,以使得可仅测量基于入射光的像素输出电压。在所公开的技术的一些实施方式中,CDS 130可依次采样并保持从像素阵列110提供给多条列线中的每一条的基准信号和图像信号的电压电平。即,CDS 130可采样并保持与像素阵列110的各列对应的基准信号和图像信号的电压电平。
在一些实现方式中,CDS 130可基于来自定时控制器170的控制信号将各列的基准信号和图像信号作为相关双采样信号传送至ADC 140。
ADC 140用于将模拟CDS信号转换为数字信号。在一些实现方式中,ADC 140可将由CDS 130针对各列生成的相关双采样信号转换为数字信号,并且输出数字信号。
ADC 140可包括多个列计数器。像素阵列110的各列联接到列计数器,并且可通过使用列计数器将从各列接收的相关双采样信号转换为数字信号来生成图像数据。在所公开的技术的另一实施方式中,ADC 140可包括全局计数器以使用从全局计数器提供的全局代码来将与列对应的相关双采样信号转换为数字信号。
输出缓冲器150可暂时保持从ADC 140提供的基于列的图像数据以输出图像数据。在一个示例中,从ADC 140提供给输出缓冲器150的图像数据可基于定时控制器170的控制信号而被暂时存储在输出缓冲器150中。输出缓冲器150可提供接口以补偿图像感测装置100与其它装置之间的数据速率差异或传输速率差异。
列驱动器160可在从定时控制器170接收到控制信号时选择输出缓冲器的列,并且依次输出暂时存储在输出缓冲器150的所选列中的图像数据。在一些实现方式中,在从定时控制器170接收到地址信号时,列驱动器160可基于地址信号生成列选择信号并选择输出缓冲器150的列,从而从输出缓冲器150的所选列输出图像数据作为输出信号。
定时控制器170可控制行驱动器120、ADC 140、输出缓冲器150和列驱动器160的操作。
定时控制器170可向行驱动器120、CDS 130、ADC 140、输出缓冲器150和列驱动器160提供图像感测装置100的各个组件的操作所需的时钟信号、用于定时控制的控制信号以及用于选择行或列的地址信号。在所公开的技术的实施方式中,定时控制器170可包括逻辑控制电路、锁相环(PLL)电路、定时控制电路、通信接口电路等。
定时控制器170可控制包括在像素阵列110中的各个像素的灵敏度。各个像素的灵敏度可由透光率、曝光时间、转换增益和模拟增益确定。这里,透光率可指到达像素内将光转换为光电荷的装置(即,稍后描述的光电转换元件)的光强度相对于入射在像素上的光强度的比率。曝光时间可指将入射在像素上的光转换为光电荷所需的时间。转换增益可指通过转换光电荷而获得的像素信号(即,电压)与像素所生成的光电荷量的比率。模拟增益可指通过转换像素信号而获得的数字值(即,图像数据)与从像素输出的像素信号的电平的比率。透光率越高,像素灵敏度越高。曝光时间越短,像素灵敏度越高。转换增益越高,像素灵敏度越高。另外,模拟增益越高,像素灵敏度越高。相反,透光率越低,像素灵敏度越低。曝光时间越长,像素灵敏度越低。转换增益越低,像素灵敏度越低。另外,模拟增益越低,像素灵敏度越低。
透光率可具有为各个像素预定的固定值。曝光时间、转换增益和模拟增益可以是可控项目。为了控制各个像素的曝光时间或转换增益,定时控制器170可控制行驱动器以用于向像素阵列110供应控制信号。为了控制各个像素的模拟增益,定时控制器170可控制被配置为执行模数转换(ADC)的ADC 40。
在一些实施方式中所公开的技术可被实现为控制曝光时间、转换增益和模拟增益并且通过定时控制器170来控制各个像素的灵敏度,如下面将参照图6讨论的。
HDR控制器300可包括亮度获取单元310、可控项目获取单元320和设定值计算单元330。
亮度获取单元310可基于由图像感测装置100生成的图像数据(IDATA)来获取与所捕获的场景图像当中的目标区域关联的亮度信息。在这种情况下,所捕获的场景可由与图像感测装置100所拍摄的帧对应的图像数据(IDATA)表示。即,场景可以是整个像素阵列110在与帧对应的预定时段期间捕获的图像,属于与场景图像的至少一部分对应的目标区域的像素可被定义为目标像素。目标区域可指由用户(例如,特定主体)指定为场景图像中所包括的区域的区域,可指场景图像当中具有高亮度的图像数据(IDATA)集中的区域(即,最亮区域),或者可指与整个场景图像对应的区域。此外,亮度可指图像数据(IDATA)的值。在一些其它实现方式中,亮度获取单元310还可使用单独的装置(例如,光度传感器、其它相机装置等)来获取目标区域的亮度。
可控项目获取单元320可获取曝光量、曝光时间、转换增益和模拟增益当中的可控项目。这里,曝光量可以是在光圈驱动器40的控制下根据光圈20的打开程度确定的值。曝光量、曝光时间、转换增益和模拟增益中的每一个可以是预定的固定值或可控值。例如,在夜间拍摄模式下,***(例如,应用处理器)可将曝光量固定或设定为最大曝光量。在另一示例中,在分配给每一帧的时间非常短的高速拍摄模式或视频模式下,***可将曝光时间限制为小于或等于预定时间,或者可将曝光时间固定为恒定时间。为了减小图像感测装置100的控制和图像处理所需的功耗,***可限制转换增益和模拟增益中的至少一个的控制。
设定值计算单元330可基于从亮度获取单元310接收的目标区域亮度以及从可控项目获取单元320接收的可控项目来计算各个可控项目的设定值,并且可生成指示所计算的设定值的控制信号(CS)。这里,设定值可指用于控制可控项目(例如,曝光量、曝光时间、转换增益和模拟增益)的信息。
稍后将参照图10描述设定值计算单元330的详细操作。
图4是示出基于所公开的技术的一些实现方式的图3所示的像素阵列110中所包括的像素的示例的电路图。
参照图4,像素(PX)可以是包括在像素阵列110中的多个像素中的任一个。尽管为了描述方便,图4仅示出一个像素(PX),但是应该注意,其它像素也可具有与像素(PX)的结构相似或相同的结构并执行与像素(PX)的操作相似或相同的操作。
像素(PX)可包括光电转换元件(PD)、传输晶体管(TX)、重置晶体管(RX)、浮置扩散区域(FD)、转换增益(CG)晶体管(CX)、第一电容器C1和第二电容器C2、源极跟随器晶体管(SF)和选择晶体管(SX)。尽管通过示例的方式图4示出像素(PX)仅包括一个光电转换元件(PD),但是应该注意,像素(PX)也可以是包括多个光电转换元件的共享像素。在这种情况下,多个传输晶体管可分别被设置为与光电转换元件对应。
各个光电转换元件(PD)可生成和累积与入射光的强度对应的光电荷。例如,各个光电转换元件(PD)可被实现为光电二极管、光电晶体管、光门、钉扎光电二极管或其组合。
如果光电转换元件(PD)被实现为光电二极管,则光电转换元件(PD)可以是在包括第一导电杂质(例如,P型杂质)的基板中掺杂有第二导电杂质(例如,N型杂质)的区域。
传输晶体管(TX)可联接在光电转换元件(PD)和浮置扩散区域(FD)之间。传输晶体管(TX)可响应于传输控制信号(TG)而导通或截止。如果传输晶体管(TX)导通,则累积在对应光电转换元件(PD)中的光电荷可被传输至浮置扩散区域(FD)。
重置晶体管(RX)可设置在浮置扩散区域(FD)和电源电压(VDD)之间,并且浮置扩散区域(FD)的电压可响应于重置控制信号(RG)而被重置为电源电压(VDD)。
浮置扩散区域(FD)可累积从传输晶体管(TX)接收的光电荷。浮置扩散区域(FD)可联接到与接地端子连接的第一电容器(C1)。例如,浮置扩散区域(FD)可以是在包括第一导电杂质的基板(例如,P型基板)中掺杂有第二导电杂质(例如,N型杂质)的区域。在这种情况下,基板和杂质掺杂区域可被建模为充当结电容器的第一电容器(C1)。
CG晶体管(CX)可联接在浮置扩散区域(FD)和第二电容器(C2)之间,并且可响应于CG控制信号(CG)而选择性地将第二电容器(C2)连接到浮置扩散区域(FD)。第二电容器(C2)可包括金属绝缘体金属(MIM)电容器、金属绝缘体多晶硅(MIP)电容器、金属氧化物半导体(MOS)电容器和结电容器中的至少一个。当CG晶体管(CX)截止时,浮置扩散区域(FD)可具有与第一电容器(C1)的电容对应的静电电容。当CG晶体管(CX)导通时,浮置扩散区域(FD)可具有与第一电容器(C1)的电容和第二电容器(C2)的电容之和对应的静电电容。即,CG晶体管(CX)可控制浮置扩散区域(FD)的电容。
尽管为了描述方便,图4仅示出一个CG晶体管(CX),但是应该注意,也可使用多个CG晶体管。在这种情况下,浮置扩散区域(FD)的电容可变化。
源极跟随器晶体管(SF)可联接在电源电压(VDD)和选择晶体管(SX)之间,可放大接收到在光电转换元件(PD)中累积的光电荷的浮置扩散区域(FD)的电位或电压的改变,并且可将放大的结果传输至选择晶体管(SX)。
选择晶体管(SX)可联接在源极跟随器晶体管(SF)和输出信号线之间,并且可通过选择控制信号(SEL)而导通,以使得选择晶体管(SX)可输出从源极跟随器晶体管(SF)接收的电信号作为像素信号(PS)。
图5是示出基于透光率的差异来调节各个像素的灵敏度的方法的示例的概念图。
参照图5,高透光率像素(HPX)具有相对高的透光率,低透光率像素(LPX)具有相对低的透光率。换言之,三个高透光率像素(HPX)和仅一个低透光率像素(LPX)可布置成(2×2)矩阵(例如,单位矩阵)。高透光率像素(HPX)和低透光率像素(LPX)中的每一个可具有与图4的电路图对应的结构。在一些实现方式中,高透光率像素(HPX)和低透光率像素(LPX)中的每一个可包括光电转换元件和传输晶体管,光电转换元件和传输晶体管以外的剩余构成元件可被实现为由四个像素共享的共享像素结构。
在一些实现方式中,高透光率像素(HPX)和低透光率像素(LPX)可以是感测相同颜色(例如,红色、蓝色或绿色)的光的像素。在这种情况下,像素阵列可基于(2×2)矩阵形成四拜耳(Bayer)图案结构。
参照图5的横截面图,沿着线A-A’截取的高透光率像素(HPX)和低透光率像素(LPX)可包括基板510、至少一个光电转换元件520、至少一个滤光器530、至少一个微透镜540和至少一个光阻挡结构550。
例如,基板510可以是P型或N型块状基板,可以是通过在P型块状基板上生长P型或N型外延层而形成的基板,或者可以是通过在N型块状基板上生长P型或N型外延层而形成的基板。
光电转换元件520可形成在基板510中,并且可对应于图4所示的光电转换元件(PD)。即,光电转换元件520可生成和累积与已透过微透镜540和滤光器530的入射光的强度对应的光电荷。
滤光器530可选择性地透射具有要透射的波长带的光(例如,红光、绿光、蓝光、品红光、黄光、青光、红外(IR)光)。在这种情况下,波长带可指要由对应滤光器选择性地透射的光的波长带。例如,各个滤光器530可包括与特定颜色对应的有色感光材料,或者可包括交替地布置的薄膜层。包括在像素阵列110中的滤光器可被布置成与布置在包括多行和多列的矩阵阵列中的像素对应,从而形成滤光器阵列。
各个微透镜540可形成在各个滤光器530上方,并且可增加入射光的聚光能力,从而导致光电转换元件520的光接收(Rx)效率的增加。
光阻挡结构550可设置在基板510的一个表面与滤光器530之间,以使得已透过低透光率像素(LPX)中的滤光器530的至少一部分入射光被光阻挡结构阻挡,而不会被传输到光电转换元件520。光阻挡结构550可包括具有高光反射率的材料(例如,银或铝)和具有高光吸收率的材料(例如,钨)中的至少一种。
低透光率像素(LPX)的总面积可被定义为未设置光阻挡结构550的区域的阻挡面积与设置有光阻挡结构550的区域的开放面积之和。低透光率像素(LPX)的透光率可根据阻挡面积和开放面积之比来确定。
不包括光阻挡结构550的高透光率像素(HPX)可具有比包括光阻挡结构550的低透光率像素(LPX)更高的透光率。
即,当具有相同强度的入射光入射在高透光率像素(HPX)和低透光率像素(LPX)上时,传输至低透光率像素(LPX)的光电转换元件520的光的强度可小于传输至高透光率像素(HPX)的光电转换元件520的光的强度。
另外,传输至低透光率像素(LPX)的光电转换元件520的光的强度可响应于入射光的强度增加而以相对低的斜率增加。传输至高透光率像素(HPX)的光电转换元件520的光的强度可响应于入射光的强度增加而以相对高的斜率增加。
由于传输至低透光率像素(LPX)的光电转换元件520的光的强度和传输至高透光率像素(HPX)的光电转换元件520的光的强度中的每一个被转换为像素信号,所以低透光率像素(LPX)的响应可与图2所示的低灵敏度像素的响应类似,高透光率像素(HPX)的响应可与图2所示的高灵敏度像素的响应类似。
尽管图5所示的光阻挡结构550设置在低透光率像素(LPX)的边缘处,但其它实现方式也是可能的。例如,光阻挡结构550可设置在低透光率像素(LPX)的任何位置,并且在光阻挡结构550被部分地阻挡的情况下,光阻挡结构550也可设置在低透光率像素(LPX)的整个区域中。
基于所公开的技术的一些实现方式的图像感测装置100可通过将低灵敏度像素和高灵敏度像素仅实现在一个像素阵列110内来仅使用一个图像生成HDR图像。
图6是示出基于曝光时间的差异来调节各个像素的灵敏度的方法的示例的时序图。
参照图6,为了描述方便,假设具有相对长的曝光时间的至少一个长曝光像素和具有相对短的曝光时间的至少一个短曝光像素一起设置在像素阵列110的一行中。像素阵列110可由行驱动器120基于行启用,以使得长曝光像素和短曝光像素可接收相同的重置信号(RG)和相同的行选择信号(SEL)。然而,为了允许长曝光像素和短曝光像素具有不同的曝光时间,长曝光像素和短曝光像素可接收诸如第一传输信号(TG_L)和第二传输信号(TG_S)的不同传输信号。尽管图中未示出,长曝光像素和短曝光像素可具有相同的CG信号(CG)或不同的CG信号(CG)。
重置信号(RG)、行选择信号(SEL)、第一传输信号(TG_L)和第二传输信号(TG_S)中的每一个可具有逻辑低电平(L)和逻辑高电平(H)。被配置为接收具有逻辑低电平(L)的信号的晶体管可截止,被配置为接收具有逻辑高电平(H)的信号的晶体管可导通。
长曝光像素和短曝光像素中的每一个的操作时段(即,用于操作的时间段)可包括重置时段(RS)、曝光时段和读出时段(RD)。在其它实现方式中,操作时段还可包括在重置时段(RS)之后用于生成基准信号的读出时段(RD)。
重置时段(RS)可以是对应像素中保持未用的光电荷被去除并且浮置扩散区域(FD)被重置为电源电压(VDD)的时间段。在重置时段(RS)中,重置信号(RG)、行选择信号(SEL)、第一传输信号(TG_L)和第二传输信号(TG_S)中的每一个可具有逻辑高电平(H)。
曝光时段EX1可以是长曝光像素的光电转换元件(PD)生成并累积与入射光的强度对应的光电荷,然后累积的光电荷被传输至浮置扩散区域(FD)的时间段。曝光时段EX2可以是短曝光像素的光电转换元件(PD)生成并累积与入射光的强度对应的光电荷,然后累积的光电荷被传输至浮置扩散区域(FD)的时间段。
在重置时段(RS)之后,长曝光像素的光电转换元件(PD)可生成并累积与入射光的强度对应的光电荷。在第一传输信号(TG_L)从逻辑高电平(H)转变为逻辑低电平(L)之前,长曝光像素的传输晶体管可将光电荷从长曝光像素的光电转换元件(PD)传输至长曝光像素的浮置扩散区域(FD)。换言之,长曝光像素可在浮置扩散区域(FD)中累积在第一曝光时段(EX1)期间生成的光电荷。
在重置时段(RS)之后,短曝光像素的光电转换元件(PD)可生成并累积与入射光的强度对应的光电荷。在第二传输信号(TG_S)从逻辑高电平(H)转变为逻辑低电平(L)之前,短曝光像素的传输晶体管可将光电荷从短曝光像素的光电转换元件(PD)传输至短曝光像素的浮置扩散区域(FD)。换言之,短曝光像素可在浮置扩散区域(FD)中累积在第二曝光时段(EX2)期间生成的光电荷。曝光时段EX1和EX2中的每一个可指在各个像素中生成并累积光电荷的时间段,并且施加到各个像素的传输信号可确定曝光时段的长度。
读出时段(RD)可指长曝光像素和短曝光像素中的每一个生成与浮置扩散区域(FD)中累积的光电荷对应的电信号,然后输出电信号作为像素信号(PS)的时间段。
第一传输信号(TG_L)从逻辑高电平(H)转变为逻辑低电平(L)的时间点可比第二传输信号(TG_S)从逻辑高电平(H)转变为逻辑低电平(L)的时间点晚。因此,第一曝光时段(EX1)可比第二曝光时段(EX2)长。
换言之,当具有相同强度的入射光入射在长曝光像素和短曝光像素上时,短曝光像素的浮置扩散区域(FD)中累积的光电荷量可小于长曝光像素的浮置扩散区域(FD)中累积的光电荷量。
另外,短曝光像素的浮置扩散区域(FD)中累积的光电荷量可响应于入射光的强度增加而以相对低的斜率增加。长曝光像素的浮置扩散区域(FD)中累积的光电荷量可响应于入射光的强度增加而以相对高的斜率增加。
由于短曝光像素的浮置扩散区域(FD)中累积的光电荷量和长曝光像素的浮置扩散区域(FD)中累积的光电荷量中的每一个被转换为像素信号,所以短曝光像素的响应可遵循图2所示的低灵敏度像素的响应,长曝光像素的响应可遵循图2所示的高灵敏度像素的响应。
基于所公开的技术的另一实施方式的图像感测装置100可通过将低灵敏度像素和高灵敏度像素仅实现在一个像素阵列110内来仅使用一个图像生成HDR图像。
图7是示出基于转换增益的差异来调节各个像素的灵敏度的方法的示例的时序图。
参照图7,为了描述方便和更好理解所公开的技术,假设具有相对高的转换增益的至少一个高转换增益(CG)像素和具有相对低的转换增益的至少一个低CG像素一起设置在像素阵列110的一行中。像素阵列110可由行驱动器120基于行启用,以使得高CG像素和低CG像素可接收相同的重置信号(RG)和相同的行选择信号(SEL)。为了描述方便,假设图7所示的高CG像素和低CG像素接收相同的传输信号(TG),但是高CG像素和低CG像素也可如图6所示接收不同的传输信号TG_L和TG_S。为了允许高CG像素和低CG像素具有不同的转换增益,高CG像素可接收第一CG信号(CG_H),低CG像素可接收第二CG信号(CG_L)。
高CG像素和低CG像素中的每一个的操作时段(即,用于操作的时间段)可包括重置时段(RS)、曝光时段和读出时段(RD)。重置时段(RS)、曝光时段和读出时段(RD)中的每一个中的操作与图6的那些基本上相同,因此为了描述方便,本文中将省略其冗余描述。
在重置时段(RS)、曝光时段和读出时段(RD)期间,高CG像素可接收保持在逻辑低电平(L)的第一CG信号(CG_H),低CG像素可接收保持在逻辑高电平(H)的第二CG信号(CG_L)。因此,高CG像素的浮置扩散区域(FD)的电容可对应于第一电容器(C1)的电容,低CG像素的浮置扩散区域(FD)的电容可对应于第一电容器(C1)的电容和第二电容器(C2)的电容之和。
在读出时段(RD)中,浮置扩散区域(FD)中累积的光电荷可生成浮置扩散区域(FD)的电压变化,并且浮置扩散区域(FD)的这种电压变化可被源极跟随器晶体管(SF)转换为电信号。在这种情况下,浮置扩散区域(FD)中的电压变化程度可由浮置扩散区域(FD)的电容确定。与相同量的光电荷关联,随着浮置扩散区域(FD)的电容减小,浮置扩散区域(FD)的电压变化可增大,随着浮置扩散区域(FD)的电容增大,浮置扩散区域(FD)的电压变化可减小。
即,当高CG像素的浮置扩散区域(FD)和低CG像素的浮置扩散区域(FD)中累积相同量的光电荷时,由高CG像素生成的像素信号的大小可大于由低CG像素生成的像素信号的大小。
另外,低CG像素的像素信号的大小可响应于光电荷量的增加而以相对低的斜率增加,高CG像素的像素信号的大小可响应于光电荷量的增加而以相对高的斜率增加。
另外,低CG像素的像素信号的大小和高CG像素的像素信号的大小中的每一个可被转换为图像数据(IDATA),以使得低CG像素的响应可遵循图2所示的低灵敏度像素的响应,高CG像素的响应可遵循图2所示的高灵敏度像素的响应。
基于所公开的技术的另一实施方式的图像感测装置100可仅在一个像素阵列110内同时实现低灵敏度像素和高灵敏度像素,因此可仅使用一个图像形成(或生成)HDR图像。
图8是示出基于模拟增益的差异来调节各个像素的灵敏度的方法的示例的曲线图。
参照图8,ADC 140可被实现为斜坡比较型ADC。在一些实现方式中,斜坡比较型ADC可包括用于将随时间下降的斜坡信号与模拟像素信号进行比较的比较器以及用于执行计数直至斜坡信号与模拟像素信号匹配的计数器。另外,可为属于像素阵列110的同一列的像素所连接至的各条列线独立地提供ADC 140。各个ADC 140可使用相同或不同的斜坡信号来执行模数转换(ADC)。
在图8所示的曲线图中,X轴可表示时间,Y轴可表示电压。图8中描绘了第一斜坡信号RAMP1和第二斜坡信号RAMP2。第一斜坡信号RAMP1和第二斜坡信号RAMP2中的每一个可保持在恒定电压直至到达第一时间点(t1),然后可在第一时间点(t1)的逝去之后线性减小。
第一斜坡信号(RAMP1)的斜率可小于第二斜坡信号(RAMP2)的斜率。第一斜坡信号(RAMP1)的斜率和第二斜坡信号(RAMP2)的斜率可通过控制被配置为在定时控制器170的控制下生成这些斜坡信号的斜坡电路中所包括的可变电阻器的电阻值来调节,但不限于此。
从第一时间点(t1)(第一斜坡信号RAMP1和第二斜坡信号RAMP2中的每一个开始线性减小)至从第一时间点(t1)开始的预定时间之后的第二时间点(t2)的时间段可被定义为可计数范围。可计数范围可指ADC 140的计数器可执行计数的最大时间段。可计数范围可响应于计数器每单位时间的最大计数次数来确定,并且可表示ADC 140的输出范围。
ADC 140的输入范围可指可有效地转换为属于ADC 140的预定输出范围(例如,0-1023的数字数(DN))的图像数据(IDATA)的像素信号的电压范围。
当第一斜坡信号(RAMP1)被输入至比较器时,在由ADC 140的输出范围确定的可计数时间或范围内可有效地转换为像素数据的像素信号的电压范围可对应于第一输入范围(IR1)。在图8的示例中,当第一斜坡信号(RAMP1)和像素信号(PS)被输入至比较器时,计数器从第一时间点(t1)开始计数,并且连续地执行计数直至到达像素信号(PS)达到等于或高于第一斜坡信号(RAMP1)的值的第三时间点(t3),以使得可输出累积计数值作为图像数据。像素信号(PS)可以是属于第一输入范围(IR1)的信号,并且可被有效地转换为图像数据。在这种情况下,将像素信号(PS)有效地转换为图像数据的操作可表示像素信号(PS)被转换为指示像素信号(PS)的电压的图像数据。如果像素信号(PS)在第二时间点(t2)具有小于第一斜坡信号(RAMP1)的电压,则像素信号(PS)无法被有效地转换为像素数据。
当第二斜坡信号(RAMP2)被输入至比较器时,由ADC 140的输出范围确定的可计数时间内可被有效地转换为像素数据的像素信号的电压范围可对应于第二输入范围(IR2)。在图8的示例中,当第二斜坡信号(RAMP2)和像素信号(PS)被输入至比较器时,计数器从第一时间点(t1)开始计数,并且连续地执行计数直至到达像素信号(PS)达到等于或高于第二斜坡信号(RAMP2)的值的第四时间点(t4),以使得可输出累积计数值作为图像数据。
连接至使用第一斜坡信号(RAMP1)执行ADC的ADC 140的一个像素以下将被称为高AG像素,连接至使用第二斜坡信号(RAMP2)执行ADC的ADC 140的一个像素以下将被称为低AG像素。
换言之,对于具有相同电压的像素信号(PS),从连接至高AG像素的ADC 140输出的图像数据可高于从连接至低AG像素的ADC 140输出的图像数据。
另外,从连接至低AG像素的ADC 140输出的图像数据可响应于像素信号的增加而以相对低的斜率增加(例如,像素信号的增加可指示像素信号的绝对值的增加),从连接至高AG像素的ADC 140输出的图像数据可响应于像素信号的增加而以相对高的斜率增加。
因此,低AG像素的响应可遵循图2所示的低灵敏度像素的响应,高AG像素的响应可遵循图2所示的高灵敏度像素的响应。
基于所公开的技术的另一实施方式的图像感测装置100可通过将低灵敏度像素和高灵敏度像素仅实现在一个像素阵列110内来仅使用一个图像生成HDR图像。
图5至图8中描述的响应于透光率的差异、曝光时间的差异、转换增益的差异和模拟增益的差异而调节各个像素的灵敏度的各种实施方式可根据需要彼此组合。例如,具有相对低的透光率的低透光率像素(LPX)的CG晶体管(CG)可导通以减小响应的斜率,或者低透光率像素(LPX)的CG晶体管(CG)可截止以增大响应的斜率。另外,各个像素的灵敏度可使用从透光率、曝光时间、转换增益和模拟增益中选择的至少两个来调节。
尽管为了描述方便,图5至图8中描述的透光率、曝光时间、转换增益和模拟增益中的每一个被描述为仅具有两种类型的像素(例如,高透光率像素HPX和低透光率像素LPX),但应该注意,图5至图8中描述的透光率、曝光时间、转换增益和模拟增益中的每一个可具有三种或更多种类型(例如,高透光率像素(HPX)、低透光率像素(LPX)和中透光率像素)。
图9是示出由基于所公开的技术的一些实现方式的成像装置形成HDR图像的方法的示例的流程图。图10是示出基于所公开的技术的一些实现方式的图9所示的操作S30的示例的流程图。
参照图9,亮度获取单元310可基于由图像感测装置100生成的图像数据(IDATA)获得场景图像当中的目标区域的亮度(S10)。
可控项目获取单元320可获得灵敏度项目(例如,曝光量、透光率、曝光时间、转换增益和模拟增益)当中的至少一个可控项目(S20)。这里,尽管透光率项目属于灵敏度项目,在硬件中各个像素的透光率不可避免地为固定的,以使得可控项目获取单元320不会将透光率项目视为可控项目。
响应于从亮度获取单元310接收的目标区域的亮度和从可控项目获取单元320接收的可控项目,设定值计算单元330可计算各个可控项目的设定值,并且可生成指示所计算的设定值的控制信号(CS)(S30)。
设定值计算单元330可计算各个可控项目的设定值,使得图像感测装置100的各个像素具有最优动态范围。这里,最优动态范围可指在尽可能宽的同时可使噪声最小化的动态范围。
为了使动态范围最大化,除非光电转换元件(PD)中饱和,否则由光电转换元件(PD)生成的光电荷量应该增大至最大光电荷量,并且除非ADC 140中饱和,否则应该以最大增益(例如,转换增益和模拟增益)创建图像数据。
在这种情况下,光电转换元件(PD)内的饱和可表示光电荷量已增加至超过指示可由光电转换元件(PD)最大地生成和累积的光电荷量的满阱容量(FWC)。另外,ADC 140内的饱和可表示生成与ADC 140的输出范围的上限对应的图像数据。
用于增加由光电转换元件(PD)生成的光电荷量的方法可被实现为通过光圈驱动器40增加光圈20的打开程度以使得曝光量可增加的方法,或者可被实现为允许行驱动器120增加传输信号具有逻辑高电平的时间段以使得曝光时间可增加的方法。
用于增加生成图像数据所需的增益的方法可被实现为通过行驱动器120使CG晶体管导通以使得转换增益可增加的方法,或者可被实现为通过定时控制器170减小斜坡信号的斜率以使得模拟增益可增加的方法。
设定值计算单元330可基于从亮度获取单元310接收的目标区域的图像数据来确定包括在目标区域中的各个像素是否已饱和。各个像素的饱和可概念上包括光电转换元件(PD)中的饱和以及ADC 140中的饱和。在一些实现方式中,假设当各个像素的图像数据对应于ADC 140的输出范围的上限时,这意味着对应像素已饱和。
另外,设定值计算单元330可通过可控项目的控制来确定各个像素是否可饱和。为此,设定值计算单元330可预先存储指示响应于将各个可控项目(例如,透光率、曝光时间、转换增益和模拟增益)控制为特定设定值而改变对应像素的响应的响应特性。这些响应特性可通过在改变各个可控项目的设定值的同时测量各个像素的响应来通过实验确定。例如,基于目标区域的高透光率像素的当前图像数据和目标区域的高透光率像素的响应特性,设定值计算单元330可确定在各个可控项目(例如,透光率、曝光时间、转换增益和/或模拟增益)的设定值被控制以使高透光率像素的灵敏度最大化的情况下高透光率像素是否可饱和。如果高透光率像素无法饱和,则这意味着当前亮度非常低。结果,尽管曝光时间像短曝光像素一样非常短,但是无法获得动态范围扩展的效果,从而使信噪比(SNR)劣化。因此,设定值计算单元330可从可控项目排除曝光时间,并且可将曝光时间强制设定为最长曝光时间。
在所公开的技术的另一实施方式中,当高透光率像素(HPX)的当前图像数据的平均值(即,平均亮度)或最大值(即,最大亮度)低于预定值(例如,用于夜间拍摄模式或运动图像拍摄模式等)时,设定值计算单元330可确定存在亮度非常低的环境,可从可控项目排除曝光时间,并且可将曝光时间设定为充当唯一值的最长时间。
通过控制透光率来调节各个像素的灵敏度的方法可在空间上调节入射在像素上的光量,以使得即使在高透光率像素(HPX)饱和的高亮度下低透光率像素(LPX)也不会饱和,从而导致出现有效响应。结果,通过控制透光率来调节各个像素的灵敏度的上述方法可通过增加基本满阱容量(FWC)来显著扩展各个像素的动态范围。然而,透光率可在制造图像感测装置100的工艺中预先固定并且无法动态地控制透光率,以使得透光率可被认为是不可控项目。
通过控制曝光时间来调节各个像素的灵敏度的方法可暂时调节入射在像素上的光量,以使得即使在长曝光像素饱和的高亮度下低曝光像素也不饱和,从而导致出现有效响应。结果,通过控制曝光时间来调节各个像素的灵敏度的上述方法可通过增加基本满阱容量(FWC)来显著扩展各个像素的动态范围。然而,当曝光时间被过度调节时,捕获入射在各个像素上的光的时间点显著改变。结果,要捕获的快速移动对象的运动伪影增加,从而导致图像质量下降。
通过控制转换增益来调节各个像素的灵敏度的方法可控制将像素所生成的光电荷转换为像素信号(即,电压)的转换增益,并且即使在所生成的光电荷量被认为不足的低亮度下也可响应于恒定增益获得放大的电压,从而防止出现噪声。然而,由于即使在针对光电转换元件(PD)饱和的像素控制转换增益时也无法获得有效响应,所以在扩展像素的动态范围方面存在限制。
通过控制模拟增益来调节各个像素的灵敏度的方法可控制将像素信号转换为图像数据(例如,数字值)的增益,并且即使在所生成的光电荷量被认为不足的低亮度下也可响应于恒定增益而获得放大的图像数据,从而防止出现噪声。然而,由于即使在针对光电转换元件(PD)饱和的像素控制模拟增益时也无法获得有效响应,所以在扩展像素的动态范围方面存在限制。另外,当模拟增益增加时,如图8所示,与可被ADC 140有效地转换为图像数据的像素信号的电压范围对应的输入范围不可避免地减小,以使得可能出现动态范围反而根据亮度而减小的副作用。
成像装置1可基于可用于调节各个像素的灵敏度的可控项目的特性来扩展图像数据的动态范围。在实施方式中,成像装置1可按照透光率、使用转换增益的灵敏度控制、使用曝光时间的灵敏度控制和使用模拟增益的灵敏度控制的顺序依次调节各个像素的灵敏度,以使得成像装置1可通过这种灵敏度控制来扩展动态范围。上面所讨论的灵敏度控制的顺序或优先级可基于动态范围扩展和副作用来确定。在另一实施方式中,也可根据需要改变上述灵敏度控制优先级。另外,成像装置1可计算各个可控项目的设定值,以使得在控制各个像素的灵敏度时可使入射在各个像素上的光强度最大化。
在一些实现方式中,各个可控项目的设定值可由设定值计算单元330计算,如下面将参照图10讨论的。为了描述方便,假设转换增益和模拟增益可始终被控制,并且曝光量和曝光时间中的每一个是可控或不可控的。即,可控项目获取单元320可获取曝光量和曝光时间当中的任何可控项目。
还假设低透光率像素和高透光率像素的布置和结构与图5所示相同。即,为了描述方便和更好地理解所公开的技术,假设单个单位矩阵包括一个低透光率像素和三个高透光率像素。
设定值计算单元330可确定曝光量是否为可控项目(S300)。
如果曝光量是不可控项目(否,S300),则设定值计算单元330可确定曝光时间是否为可控项目(是,S310)。
如果曝光时间是可控项目(是,S310),则设定值计算单元330可执行第一设定控制(S320)。这里,第一设定控制(S320)可指在曝光量是不可控项目并且曝光时间、转换增益和模拟增益中的每一个是可控项目的情况下控制可控项目的方法。
具体地,设定值计算单元330可通过控制高透光率像素的转换增益和低透光率像素的转换增益来确定是否可从目标区域获得所请求的动态范围。在这种情况下,所请求的动态范围可指适合于拍摄目标区域的动态范围。
在一些实现方式中,当通过高透光率像素和低透光率像素中的每一个的转换增益的控制,目标区域中各自具有预定值或更小的响应的高透光率像素的比率小于第一比率时,并且当目标区域中各自饱和的低透光率像素的比率等于或小于第二比率时,设定值计算单元330可确定是否可从目标区域获得所请求的动态范围。相反,不管高透光率像素和低透光率像素中的每一个的转换增益的控制如何,当目标区域中各自具有预定值或更小的响应的高透光率像素的比率等于或高于第一比率时,并且当目标区域中各自饱和的低透光率像素的比率高于第二比率时,设定值计算单元330可确定无法从目标区域获得所请求的动态范围。这里,第一比率可指目标区域内的各自具有预定值或更小的高透光率像素的数量与高透光率像素的总数之比。第二比率可指目标区域中各自饱和的低透光率像素的数量与目标区域中的低透光率像素的总数之比。第一比率和第二比率可响应于所请求的动态范围通过实验预先确定。例如,预定值可指图2中描述的高灵敏度像素的动态范围(DR_H)的下限。另外,第一条件是目标区域中各自具有预定值的高透光率像素的比率小于第一比率,第二条件是目标区域中各自饱和的低透光率像素的比率等于或小于第二比率。
在另一实施方式中,设定值计算单元330可接收关于是否可从图像信号处理器200的另一结构(例如,用于合成HDR图像的结构)获得所请求的动态范围的信息。
在第一设定控制中,如果假设通过高透光率像素和低透光率像素中的每一个的转换增益的控制可从目标区域获得所请求的动态范围,则设定值计算单元330可为高透光率像素和低透光率像素中的每一个设定或确定最长曝光时间和最优模拟增益。这里,当目标区域中各自具有预定值的高透光率像素的比率小于第一比率时,并且当目标区域中各自饱和的低透光率像素的比率等于或小于第二比率时,最长曝光时间可被设定为最大曝光时间。另外,最低模拟增益可以是可由ADC 140设定或确定的最小模拟增益。随着模拟增益减小,ADC 140的输入范围可增加,以使得可防止动态范围意外受限。
如果通过高透光率像素和低透光率像素中的每一个的转换增益的控制无法从目标区域获得所请求的动态范围,则设定值计算单元330可通过控制曝光时间来扩展动态范围。可从图6看出,长曝光像素的第一曝光时段(EX1)的长度以下将被称为第一曝光时间,短曝光像素的第二曝光时段(EX2)的长度以下将被称为第二曝光时间。
设定值计算单元330可确定第一曝光时间,使得目标区域中各自具有预定值或更小的高透光率像素的比率小于第一比率。另外,设定值计算单元330可确定第二曝光时间,使得目标区域中各自饱和的低透光率像素的比率等于或小于第二比率。然而,可使第一曝光时间和第二曝光时间之间的时间差最小化以减小运动伪影。为了通过使用其间的差异最小的第一曝光时间和第二曝光时间使低透光率像素和高透光率像素之间的灵敏度的差异最大化来使动态范围最大化,可在低透光率像素中配置第二曝光时间,并且可在高透光率像素中配置第一曝光时间。
可从图7看出,高CG像素的转换增益以下将被称为第一转换增益,低CG像素的转换增益以下将被称为第二转换增益。此外,如图8中描绘的,高AG像素的模拟增益以下将被称为第一模拟增益,低AG像素的模拟增益以下将被称为第二模拟增益。为了描述方便,假设第二模拟增益等于上述最低模拟增益。
设定值计算单元330可为低透光率像素设定或确定第二转换增益、第二曝光时间和第二模拟增益。在这种情况下,为低透光率像素配置第二转换增益和第二曝光时间的原因是为了扩展各个低透光率像素的动态范围。为低透光率像素配置第二模拟增益的原因是为了防止限制动态范围。
对于高透光率像素,设定值计算单元330可设定包括第一转换增益的多个转换增益、包括第一曝光时间的多个曝光时间和第二模拟增益。即,多个转换增益可包括第一转换增益,多个曝光时间可包括第一曝光时间,以使得可扩展高透光率像素的动态范围,并且为高透光率像素配置第二模拟增益的原因是为了防止限制动态范围。另外,用于高透光率像素的多个转换增益和多个曝光时间彼此组合并且组合结果被设定或配置用于高透光率像素,以使得高透光率像素可具有各种动态范围。当如上所述合成具有各种动态范围的高透光率像素时,仅具有优异SNR的图像数据被合成以生成HDR图像,从而导致图像质量改进。作为单位矩阵的示例,设定值计算单元330可仅为一个高透光率像素设定第一转换增益和第一曝光时间,可为另一高透光率像素设定第二转换增益和第二曝光时间,并且可为上述两个高透光率像素以外的剩余高透光率像素设定第二转换增益和第一曝光时间。
如果曝光时间是不可控项目(否,S310),则设定值计算单元330可确定目标区域中饱和的低透光率像素的比率是否超过第二比率(S330)。
如果目标区域中饱和的低透光率像素的比率超过第二比率(是,S330),则设定值计算单元330可执行第二设定控制(S340)。在这种情况下,第二设定控制可指在曝光量和曝光时间是不可控项目,转换增益和模拟增益是可控项目,并且目标区域中饱和的低透光率像素的比率超过第二比率的条件下控制可控项目的方法。上述条件可指甚至与预定比率或更高比率对应的低透光率像素饱和的相对高亮度条件。
设定值计算单元330可为低透光率像素和高透光率像素以预定图案设定第一转换增益或第二转换增益。设定值计算单元330可为具有第一转换增益的各个像素设定或配置第一模拟增益。设定值计算单元330可为具有第二转换增益的各个像素设定或配置第二模拟增益。结果,可使用转换增益和模拟增益实现尽可能大的灵敏度差异。然而,当具有第一转换增益的像素被设定为具有第一模拟增益时,存在动态范围反而受限的可能性。在另一实施方式中,设定值计算单元330可为具有第一转换增益的像素设定第二模拟增益,或者可根据需要为具有第一转换增益的像素选择性地设定第一模拟增益或第二模拟增益。
如果目标区域中饱和的低透光率像素的比率等于或小于第二比率(否,S330),则设定值计算单元330可确定目标区域中各自具有小于预定值的响应的高透光率像素的比率是否小于第一比率(S350)。
如果目标区域中各自具有预定值或更小的响应的高透光率像素的比率小于第一比率(是,S350),则设定值计算单元330可执行第三设定控制(S360)。在这种情况下,第三设定控制可指在曝光量和曝光时间是不可控项目,转换增益和模拟增益是可控项目,目标区域中饱和的低透光率像素的比率等于或小于第二比率,并且目标区域中各自具有预定值或更小的高透光率像素的比率小于第一比率的条件下控制可控项目的方法。上述条件可指目标区域中饱和的低透光率像素的比率等于或小于第二比率并且各自具有预定值或更小的响应的高透光率像素的比率小于第一比率的适当亮度条件。
当为低透光率像素设定第一转换增益时,设定值计算单元330可确定目标区域中饱和的低透光率像素的比率是否可保持在第二比率或更小。如果饱和的低透光率像素可保持在第二比率或更小,则设定值计算单元330可为低透光率像素设定第一转换增益。如果饱和的低透光率像素的比率超过第二比率,则设定值计算单元330可为低透光率像素设定第二转换增益。
另一方面,设定值计算单元330可为高透光率像素以预定图案设定第一转换增益或第二转换增益。在这种情况下,预定图案可为与低透光率像素属于同一行的高透光率像素设定与低透光率像素的转换增益相同的转换增益,并且可为属于与低透光率像素不同的另一行的高透光率像素设定与低透光率像素的转换增益不同的另一转换增益,但不限于此。
在如上所述为各个低透光率像素设定转换增益并且为各个高透光率像素设定转换增益的条件下,设定值计算单元330可在目标区域中饱和的低透光率像素的比率等于或小于第二比率并且各自具有预定值或更小的响应的高透光率像素的比率小于第一比率的范围内为低透光率像素和高透光率像素中的每一个设定最大模拟增益。结果,可获得尽可能大的动态范围并且还可防止出现噪声。
如果目标区域中各自具有预定值或更小的响应的高透光率像素的比率等于或高于第一比率(否,S350),则设定值计算单元330可执行第四设定控制(S370)。在这种情况下,第四设定控制可指在曝光量和曝光时间是不可控项目,转换增益和模拟增益是可控项目,目标区域中饱和的低透光率像素的比率等于或小于第二比率,并且目标区域中各自具有预定值或更小的高透光率像素的比率等于或高于第一比率的条件下控制可控项目的方法。上述条件可指各自具有预定值或更小的响应的高透光率像素的比率等于或高于第一比率的相对低亮度条件。
设定值计算单元330可为低透光率像素设定第一转换增益。
另一方面,设定值计算单元330可为高透光率像素以预定图案设定第一转换增益或第二转换增益。在这种情况下,当各个高透光率像素被设定为第一转换增益并且各自具有预定值或更小的响应的高透光率像素的比率等于或高于第一比率时,设定值计算单元330可为高透光率像素设定第一转换增益而非预定图案。这是因为不管为高透光率像素设定的第二转换增益如何,无法预期扩展动态范围。
在如上所述为低透光率像素设定转换增益并且为高透光率像素设定转换增益的状态下,设定值计算单元330可在保持在目标区域中饱和的低透光率像素的比率等于或小于第二比率的特定条件的同时为低透光率像素和高透光率像素设定尽可能高的模拟增益。结果,可获得尽可能大的动态范围并且还可防止出现噪声。
如果曝光量是可控项目(是,S300),则设定值计算单元330可设定曝光量,使得光圈20可在目标区域中饱和的低透光率像素的比率等于或小于第二比率的范围内最大地打开(S380)。
在曝光量被固定为特定设定值的状态下,设定值计算单元330可确定曝光时间是否为可控项目(S390)。
如果曝光时间是可控项目(是,S390),则设定值计算单元330可执行第一设定控制(S320)。执行第一设定控制的原因在于,在曝光量固定并且不可控的条件下,曝光时间被认为是可控项目。
如果曝光时间是不可控项目(否,S390),则设定值计算单元330可执行第三设定控制(S360)。执行第三设定控制的原因如下。在曝光量固定且不可控并且曝光时间是可控项目的状态下,光圈20可被设定为在目标区域中饱和的低透光率像素的比率等于或小于第二比率的范围内最大地打开,以使得目标区域中各自具有预定值或更小的响应的高透光率像素的比率小于第一比率的可能性高。结果,设定值计算单元330可执行第三设定控制(S360)。
返回参照图9,设定值计算单元330可向光圈驱动器40和图像感测装置100发送指示各个可控项目的设定值的控制信号(CS)。光圈驱动器40可控制光圈20的打开程度,使得光圈驱动器40具有与控制信号(CS)对应的曝光量。另外,图像感测装置100的定时控制器170可控制行驱动器120和ADC 140,使得各个像素具有与控制信号(CS)对应的曝光时间、转换增益和模拟增益。
在控制信号(CS)的控制完成的状态下,图像感测装置100可捕获场景的图像以形成图像数据(IDATA),并且可将图像数据(IDATA)发送至图像信号处理器200。图像信号处理器200可合成具有不同灵敏度的至少两个图像,因此可使用图像合成的结果形成HDR图像(S40)。图像数据(IDATA)的灵敏度类型可通过透光率、曝光时间、转换增益和模拟增益的组合以各种方式确定。例如,包括在像素阵列110中的像素可具有五种灵敏度中的任一种,并且具有不同灵敏度的两个像素中的每一个可根据两个像素之间的灵敏度的大小关系与低灵敏度像素或高灵敏度像素对应。
基于所公开的技术的一些实施方式实现的成像装置1可确定要捕获的主体的亮度和一个或更多个可控项目以通过在控制灵敏度时反映硬件特性(例如,响应特性)来控制可控项目,从而在使噪声最小化的同时生成具有最大动态范围的HDR图像。
在各种实现方式中,基于所公开的技术的一些实现方式的成像装置可确定要捕获(或拍摄)的目标对象的亮度和可控项目并且通过将硬件特性(例如,响应特性)反映到控制成像装置的灵敏度的过程中,在使噪声最小化的同时生成具有最大动态范围的高动态范围(HDR)图像来控制可控项目。
尽管已描述了多个例示性实施方式,但应该理解,基于在本专利文献中描述和/或示出的内容可以想到对所公开的实施方式和其它实施方式的修改和增强。
相关申请的交叉引用
本专利文献要求2021年7月22日提交的韩国专利申请No.10-2021-0096596的优先权和权益,其公开整体作为本专利文献的公开的一部分通过引用并入本文。
Claims (20)
1.一种成像装置,该成像装置包括:
图像感测装置,该图像感测装置包括多个像素,各个像素检测来自场景的入射光以生成与所述入射光的强度对应的像素信号并且生成与所述像素信号对应的图像数据,其中,所述图像感测装置响应于控制信号而操作以执行成像操作;
亮度获取单元,该亮度获取单元获取与所述多个像素当中的与所述图像感测装置所捕获的所述场景的图像的目标区域关联的第一像素对应的所述图像数据;
可控项目获取单元,该可控项目获取单元获取指示各个像素对光的灵敏度的一个或更多个灵敏度项目作为可控项目;以及
设定值计算单元,该设定值计算单元通过基于所述目标区域的所述图像数据和所述可控项目计算所述可控项目的设定值来生成对所述图像感测装置的所述控制信号。
2.根据权利要求1所述的成像装置,该成像装置还包括:
图像合成单元,该图像合成单元合成通过响应于所述控制信号调节所述多个像素中的每一个的灵敏度而生成的具有不同灵敏度的图像数据;并且生成所述图像感测装置所捕获的所述场景的高动态范围HDR图像。
3.根据权利要求1所述的成像装置,其中,
所述一个或更多个灵敏度项目包括曝光量、透光率、曝光时间、转换增益和模拟增益中的至少一个。
4.根据权利要求3所述的成像装置,该成像装置还包括:
光圈驱动器,该光圈驱动器调节设置在所述图像感测装置的前方的光圈的打开或关闭程度,
其中,通过调节所述光圈的打开或关闭程度来控制所述曝光量。
5.根据权利要求3所述的成像装置,该成像装置还包括:
行驱动器,该行驱动器生成用于将响应于所述入射光的强度而在所述多个像素中的每一个中生成的光电荷传输至浮置扩散区域的传输信号,
其中,通过调节所述传输信号具有预定电平的时间段来控制所述曝光时间。
6.根据权利要求3所述的成像装置,该成像装置还包括:
行驱动器,该行驱动器生成用于控制累积光电荷的浮置扩散区域的电容的转换增益信号,
其中,通过调节所述转换增益信号的电压电平来控制所述转换增益。
7.根据权利要求3所述的成像装置,该成像装置还包括:
模数转换器,该模数转换器响应于将所述多个像素中的每一个的所述像素信号与斜坡信号进行比较而生成所述图像数据,
其中,通过调节所述斜坡信号的斜率来控制所述模拟增益。
8.根据权利要求3所述的成像装置,其中,
所述多个像素包括至少一个高透光率像素和至少一个低透光率像素,其中,所述高透光率像素的透光率高于所述低透光率像素的透光率,
其中,所述低透光率像素包括用于阻挡所述入射光的至少一部分的光阻挡结构。
9.根据权利要求8所述的成像装置,其中,
所述设定值计算单元通过控制所述可控项目来确定各个所述第一像素是否饱和。
10.根据权利要求9所述的成像装置,其中,
当包括在所述第一像素中的所述高透光率像素未饱和时,所述设定值计算单元将所述曝光时间设定为固定值。
11.根据权利要求8所述的成像装置,其中,
当包括在所述第一像素中的所述高透光率像素的图像数据的平均值小于预定值时,所述设定值计算单元将所述曝光时间设定为固定值。
12.根据权利要求8所述的成像装置,其中,所述可控项目包括所述曝光时间、所述转换增益和所述模拟增益,并且所述曝光量是不可控项目,
其中,所述设定值计算单元为所述高透光率像素设定包括第一转换增益的多个转换增益,为所述高透光率像素设定包括第一曝光时间的多个曝光时间,并且为所述高透光率像素设定第二模拟增益,并且
其中,所述设定值计算单元为所述低透光率像素设定第二转换增益、第二曝光时间和第二模拟增益,
其中,
所述第一转换增益大于所述第二转换增益;
所述第一曝光时间比所述第二曝光时间长;并且
所述第二模拟增益小于第一模拟增益。
13.根据权利要求12所述的成像装置,其中,所述设定值计算单元:
确定所述第一曝光时间,使得所述目标区域中各自具有预定值或更小的响应的所述高透光率像素的比率小于第一比率;并且
确定所述第二曝光时间,使得所述目标区域中饱和的所述低透光率像素的比率小于或等于第二比率。
14.根据权利要求13所述的成像装置,其中,
在所述至少一个可控项目包括所述转换增益和所述模拟增益,并且所述曝光量和所述曝光时间是不可控项目的情况下,当所述目标区域中饱和的所述低透光率像素的比率高于所述第二比率时,
所述设定值计算单元为所述低透光率像素和所述高透光率像素以预定图案设定所述第一转换增益或所述第二转换增益,
其中,所述设定值计算单元为设定为所述第一转换增益的像素设定所述第一模拟增益,并且为设定为所述第二转换增益的像素设定所述第二模拟增益。
15.根据权利要求13所述的成像装置,其中,
在所述至少一个可控项目包括所述转换增益和所述模拟增益,并且所述曝光量和所述曝光时间是不可控项目的情况下,当所述目标区域中饱和的所述低透光率像素的比率等于或小于所述第二比率,并且所述目标区域中各自具有预定值或更小的响应的所述高透光率像素的比率小于所述第一比率时,
所述设定值计算单元在为所述低透光率像素设定所述第一转换增益的状态下确定所述目标区域中饱和的所述低透光率像素的比率是否维持在所述第二比率或更小,根据确定的结果为所述低透光率像素设定所述第一转换增益或所述第二转换增益,并且为所述高透光率像素以预定图案设定所述第一转换增益或所述第二转换增益;并且
所述设定值计算单元在维持指示所述目标区域中饱和的所述低透光率像素的比率等于或小于所述第二比率并且所述目标区域中各自具有所述预定值或更小的响应的所述高透光率像素的比率小于所述第一比率的条件的预定范围内为所述低透光率像素和所述高透光率像素设定最大模拟增益。
16.根据权利要求13所述的成像装置,其中,
在所述至少一个可控项目包括所述转换增益和所述模拟增益,并且所述曝光量和所述曝光时间是不可控项目的情况下,当所述目标区域中饱和的所述低透光率像素的比率等于或小于所述第二比率,并且所述目标区域中各自具有预定值或更小的响应的所述高透光率像素的比率等于或高于所述第一比率时,
所述设定值计算单元为所述低透光率像素设定所述第一转换增益,并且为所述高透光率像素以预定图案设定所述第一转换增益或所述第二转换增益;并且
所述设定值计算单元在维持指示所述目标区域中饱和的所述低透光率像素的比率等于或小于所述第二比率的条件的预定范围内为所述低透光率像素和所述高透光率像素设定最大模拟增益。
17.根据权利要求13所述的成像装置,其中,所述可控项目包括所述曝光量,其中,所述设定值计算单元设定所述曝光量,使得光圈在所述目标区域中饱和的所述低透光率像素的比率等于或小于所述第二比率的预定范围内最大地打开。
18.根据权利要求3所述的成像装置,其中,
所述设定值计算单元计算所述设定值以使得按照所述透光率、所述转换增益、所述曝光时间和所述模拟增益的顺序调节各个所述像素的灵敏度。
19.一种成像装置,该成像装置包括:
图像感测装置,该图像感测装置包括多个像素,所述多个像素检测入射光以生成与所述入射光的强度对应的像素信号并且生成与所述像素信号对应的图像数据;
高动态范围HDR控制器,该HDR控制器通过基于所述图像数据为作为可控项目的曝光量、曝光时间、转换增益和模拟增益中的至少一个计算设定值来生成控制信号;以及
图像信号处理器,该图像信号处理器被联接以从所述高动态范围HDR控制器接收所述控制信号,并且该图像信号处理器合成通过响应于所接收的控制信号调节所述多个像素中的每一个的灵敏度而生成的具有不同灵敏度的图像数据并且基于所述图像数据来生成高动态范围HDR图像。
20.根据权利要求19所述的成像装置,该成像装置还包括:
行驱动器,该行驱动器生成用于将响应于所述入射光的强度而在所述多个像素中的每一个中生成的光电荷传输至浮置扩散区域的传输信号,
其中,通过调节所述传输信号具有预定电平的时间段来控制所述曝光时间。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0096596 | 2021-07-22 | ||
KR1020210096596A KR20230015161A (ko) | 2021-07-22 | 2021-07-22 | 촬영 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115696073A true CN115696073A (zh) | 2023-02-03 |
Family
ID=84976260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210638445.7A Pending CN115696073A (zh) | 2021-07-22 | 2022-06-08 | 成像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11943543B2 (zh) |
JP (1) | JP2023016776A (zh) |
KR (1) | KR20230015161A (zh) |
CN (1) | CN115696073A (zh) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4398389B2 (ja) * | 2005-02-03 | 2010-01-13 | 富士フイルム株式会社 | 撮影装置 |
US9172889B2 (en) | 2012-02-09 | 2015-10-27 | Semiconductor Components Industries, Llc | Imaging systems and methods for generating auto-exposed high-dynamic-range images |
TWI620445B (zh) * | 2013-03-25 | 2018-04-01 | Sony Corp | 攝像元件及電子機器 |
JP2015033107A (ja) * | 2013-08-07 | 2015-02-16 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、電子機器 |
JP6095519B2 (ja) * | 2013-08-09 | 2017-03-15 | 三菱電機株式会社 | 撮像装置 |
US10171750B2 (en) * | 2014-07-25 | 2019-01-01 | Sony Corporation | Solid-state image sensor, imaging control method, signal processing method, and electronic apparatus |
US9843746B2 (en) | 2016-05-03 | 2017-12-12 | Altasens, Inc. | Image sensor combining high dynamic range techniques |
JP6765860B2 (ja) * | 2016-06-01 | 2020-10-07 | キヤノン株式会社 | 撮像素子、撮像装置、および撮像信号処理方法 |
JP7150979B2 (ja) * | 2018-09-07 | 2022-10-11 | ドルビー ラボラトリーズ ライセンシング コーポレイション | エントロピー分散に基づくイメージセンサの自動露出 |
US11765481B2 (en) * | 2019-11-13 | 2023-09-19 | Sony Semiconductor Solutions Corporation | Imaging element, photodetector element, and electronic equipment with a threshold that is randomly varied for an analog-to-digital converter |
JP2023014831A (ja) * | 2021-07-19 | 2023-01-31 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
-
2021
- 2021-07-22 KR KR1020210096596A patent/KR20230015161A/ko active Search and Examination
-
2022
- 2022-06-08 CN CN202210638445.7A patent/CN115696073A/zh active Pending
- 2022-06-14 US US17/839,807 patent/US11943543B2/en active Active
- 2022-07-21 JP JP2022116539A patent/JP2023016776A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230021729A1 (en) | 2023-01-26 |
KR20230015161A (ko) | 2023-01-31 |
JP2023016776A (ja) | 2023-02-02 |
US11943543B2 (en) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8587681B2 (en) | Extended depth of field for image sensor | |
US7978240B2 (en) | Enhancing image quality imaging unit and image sensor | |
US7884871B2 (en) | Images with high speed digital frame transfer and frame processing | |
JP5045791B2 (ja) | 撮像装置及び撮像方法 | |
US20130135486A1 (en) | High dynamic range imaging with multi-storage pixels | |
KR101843667B1 (ko) | 다수의 이미지 감지 엘리먼트들로 이미지들을 캡쳐하는 시스템 및 방법 | |
US11533446B2 (en) | Image sensor and photographing apparatus including the same | |
US11553144B2 (en) | Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program | |
US9007505B2 (en) | Image sensor with transfer transistors whose on periods are controlled by timing signals based on transistor transfer efficiencies | |
US11729531B2 (en) | Image sensor using multiple transfer, and operating method of the image sensor | |
US11943543B2 (en) | Imaging device | |
Abdallah et al. | A general overview of solid state imaging sensors types | |
US20240031694A1 (en) | Image sensing device and imaging device including the same | |
US20230124606A1 (en) | Imaging device | |
US11825203B2 (en) | Image sensing system capable of compensating a difference in photosensitivity for color filters corresponding to different colors | |
JP2018093301A (ja) | 撮像素子及び撮像素子の制御方法 | |
JP2006115191A (ja) | 撮像装置、シェーディング補正装置、シェーディング補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |