CN106341579A - 读出图像像素阵列的方法及高动态范围(hdr)成像*** - Google Patents

读出图像像素阵列的方法及高动态范围(hdr)成像*** Download PDF

Info

Publication number
CN106341579A
CN106341579A CN201610344343.9A CN201610344343A CN106341579A CN 106341579 A CN106341579 A CN 106341579A CN 201610344343 A CN201610344343 A CN 201610344343A CN 106341579 A CN106341579 A CN 106341579A
Authority
CN
China
Prior art keywords
subframe
image
memory
hdr
exposure cycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610344343.9A
Other languages
English (en)
Other versions
CN106341579B (zh
Inventor
沈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN106341579A publication Critical patent/CN106341579A/zh
Application granted granted Critical
Publication of CN106341579B publication Critical patent/CN106341579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种读出图像像素阵列的方法及高动态范围HDR成像***。用于高动态范围HDR成像的***及方法包含：分别在第一、第二及第三读出时间将第一、第二及第三子帧写入到存储器，所述第一、第二及第三子帧由图像像素阵列的相同第一子阵列所产生。在所述第三读出时间之后，所述第一、第二及第三子帧被发送到图像信号处理器。也在所述第三读出时间之后，第四子帧被发送到图像传感器。所述第四子帧由所述图像像素阵列的所述相同第一子阵列所产生。通过将所述第四子帧从模/数转换器发送到所述图像信号处理器而不将其写入到所述存储器，所述第四子帧绕过所述存储器。

Description

读出图像像素阵列的方法及高动态范围(HDR)成像***
技术领域
本发明大体上涉及图像传感器，且特定来说，涉及捕获高动态范围图像的图像传感器。
背景技术
标准图像传感器具有约60dB到70dB的有限动态范围。然而，现实世界的照明度动态范围要大得多。自然场景通常跨越90dB及以上的范围。为了同时捕获强光及阴影，高动态范围(“HDR”)技术已用于图像传感器以增加经捕获的动态范围。一种用于HDR成像的方法为使用图像像素阵列起始具有不同曝光周期的多个曝光。使用不同曝光/积分时间或不同灵敏度，一个图像传感器可起始2个、3个、4个或更多不同曝光以产生HDR图像。然而，捕获多个曝光对在可接受时间帧中读出多个曝光造成挑战，尤其是在视频录制背景中。因此，需要改进读出架构及技术以提高读出处理量。
发明内容
本发明的一个实施例涉及一种读出捕获具有多个曝光周期的高动态范围(HDR)图像的图像像素的阵列的方法，所述方法包括：分别在第一、第二及第三读出时间将第一、第二及第三子帧写入到存储器，所述第一、第二及第三子帧由所述图像像素阵列的相同第一子阵列所产生，其中所述第三读出时间在所述第二读出时间之后，且所述第二读出时间在所述第一读出时间之后，且其中所述第一子帧针对第一曝光周期而经曝光，所述第二子帧针对短于所述第一曝光周期的第二曝光周期而经曝光，且所述第三子帧针对短于所述第二曝光周期的第三曝光周期而经曝光；在所述第三读出时间之后的第一写入时间将所述第一、第二及第三子帧发送到图像信号处理器；以及在所述第三读出时间之后的第二写入时间将第四子帧发送到所述图像信号处理器，所述第四子帧由所述图像像素阵列的所述相同第一子阵列所产生、针对短于所述第三曝光周期的第四曝光周期而经曝光，其中通过将所述第四子帧从模/数转换器发送到所述图像信号处理器而不将其写入到所述存储器，所述第四子帧绕过所述存储器。
本发明的另一实施例涉及一种高动态范围(HDR)成像***，其包括：图像像素阵列；控制电路，其耦合到所述图像像素阵列以起始具有不同曝光周期的图像捕获；图像信号处理器(ISP)；模/数转换器模块，其经耦合以从所述图像像素阵列读出模拟图像信号；及存储器，其经耦合以接收代表所述模拟图像信号的数字图像信号，其中所述HDR成像***包含非暂时性机器可存取媒体，其经配置以：分别在第一、第二及第三读出时间将第一、第二及第三子帧写入到存储器，所述第一、第二及第三子帧由所述图像像素阵列的相同第一子阵列产生，其中所述第三读出时间在所述第二读出时间之后，且所述第二读出时间在所述第一读出时间之后，且其中所述第一子帧针对第一曝光周期而经曝光，所述第二子帧针对短于所述第一曝光周期的第二曝光周期而经曝光，且所述第三子帧针对短于所述第二曝光周期的第三曝光周期而经曝光；在所述第三读出时间之后的第一写入时间将所述第一、第二及第三子帧发送到所述ISP；以及在所述第三读出时间之后的第二写入时间将第四子帧发送到所述ISP，所述第四子帧由所述图像像素阵列的所述相同第一子阵列所产生、针对短于所述第三曝光周期的第四曝光周期而经曝光，其中通过将所述第四子帧从所述模/数转换器模块发送到所述ISP而不将其写入到所述存储器，所述第四子帧绕过所述存储器。
附图说明
参考以下图式描述本发明的非限制性及非穷尽实施例，其中相似参考数字贯穿各种视图指代相似部分，除非另有说明。
图1说明根据本发明的实施例的包含读出电路的实例高动态范围(HDR)成像***的示意框图。
图2说明包含根据本发明的实施例的像素阵列、用于读出所述像素阵列的实例读出电路及图像信号处理器的示意框图。
图3说明根据本发明的实施例的展示图像像素阵列的子阵列的不同曝光的实例时序图。
图4说明根据本发明的实施例的展示将子帧写入到存储器的时序图。
具体实施方式
本文描述用于高动态范围(HDR)成像的***及方法的实施例。在以下描述中，阐述众多特定细节以提供对所述实施例的透彻理解。然而，所属领域的技术人员将认识到，能够在不具有一或多个特定细节的情况下或使用其它方法、组件、材料等等实践本文所描述的技术。在其它情况下，未详细展示或描述众所周知的结构、材料或操作以避免混淆某些方面。
贯穿本说明书的对“一个实施例”或“一实施例”的参考意指结合所述实施例所描述的特定特征、结构或特性包含于本发明的至少一个实施例中。因此，贯穿本说明书的各种地方的短语“在一个实施例中”或“在一实施例中”的出现未必皆是指同一实施例。此外，特定特征、结构或特性能够以任何合适方式组合于一或多个实施例中。
图1说明根据本发明的实施例的包含像素阵列102、读出电路104、控制电路108、图像信号处理器(“ISP”)106及移动行业处理器接口(“MIPI”)116的实例高动态范围(HDR)成像***100的示意框图。像素阵列102为可为互补金属氧化物半导体(“CMOS”)像素阵列的图像传感器像素110的阵列。如在所描绘的实例中所展示，像素阵列102耦合到控制电路108及读出电路104。控制电路108耦合到像素阵列102以控制像素阵列102的操作特性以便捕获由通过像素阵列102接收的图像光所产生的数字图像。举例来说，控制电路108可产生用于控制图像获取的快门信号或多个快门信号。控制电路108还耦合到读出电路104使得控制电路108可协调像素阵列102的图像获取与读出像素阵列102。
控制电路108可包含处理器、现场可编程门阵列(“FPGA”)或其它逻辑。控制电路108可包含存储器以存储设置及指令以起始HDR图像捕获。控制电路108可致使像素阵列102起始滚动快门图像捕获。
在一个实例中，像素阵列102为像素110(例如，像素P1、P2、……、Pn)的二维阵列。如所说明，每一像素110布置成行(例如，行R1到Ry)及列(例如，列C1到Cx)以获取人员、位置、对象等等的图像数据，其能够在随后用于呈现所述人员、位置、对象等等的图像。如所属领域中已知，每一像素110可利用3晶体管(“3T”)或4晶体管(“4T”)配置。在一个实例中，在每一像素110已获取其图像数据或图像电荷之后，所述图像数据由读出电路104通过位线112(其可为列线)读出而作为模拟图像信号。
读出电路104经耦合以从像素阵列102接收模拟图像信号且将数字图像信号输出到ISP 106进行进一步图像处理。当成像***100待包含于移动装置中时，成像***100任选地包含MIPI 116。
图2说明根据本发明的实施例包含像素阵列202、用于读出所述像素阵列的实例读出电路及图像信号处理器106的示意框图。像素阵列202为像素阵列102的一个可能的实例。在所说明的实施例中，像素阵列202为1920列乘1080行的图像传感器像素。在一个实施例中，像素阵列202包括d列乘e行的图像传感器像素，其中d及e为整数。在图2中，像素阵列202包含八个子阵列SA1到SA8。ADC模块235经耦合以将由像素阵列202中的每一图像像素所产生的模拟图像信号转换为代表每一相应模拟图像信号的数字图像信号。整个子阵列的读出将被称为“子帧”。在所说明的实施例中，每一帧由对应于八个子阵列SA1到SA8的八个子帧组成。
在图2中，八个ADC子模块经说明为ADC1到ADC8。每一子模块专用于读出特定子阵列。举例来说，子模块ADC1耦合到读出子阵列SA1，子模块ADC2耦合到读出子阵列SA2，以此类推。每一ADC子模块可包含多个ADC转换器。在所说明的实施例中，每一子阵列包含240个列且每一ADC子模块可包含240个ADC电路，使得在ADC电路与子阵列的列之间存在一对一的关联。在一个实施例中，每一子阵列240包含r个列且每一ADC子模块包含s个ADC电路，其中r及s为整数。在一个实施例中，r等于s；在其它实施例中，r及s为不同的整数。控制电路108经耦合以控制针对每一ADC子模块的ADC转换。换句话说，控制电路108可个别地起始针对特定ADC子模块(但不针对另一ADC子模块)的ADC转换。在一个实施例中，ADC模块235为12位ADC。在不同的实施例中，ADC模块235为14位ADC。
存储器模块250经耦合以从ADC模块235接收数字图像信号。在一个实施例中，存储器模块250包含动态随机存取存储器(DRAM)。在一个实施例中，存储器模块250为仅包含足够存储器以读出像素阵列202的一个帧的单帧缓冲器。举例来说，在所说明的实施例中，存储器模块250存储2,073,600个数字字，其足以存储来自像素阵列202中的2,073,600个像素的数字图像信号。在一个实施例中，存储器模块250存储d x e个数字字。在一个实施例中，数字字可为16位以存储来自14位ADC的数字信号。存储子帧所需的存储器的量将被称为“分段”。存储器模块250包含对应于整数p个子阵列的整数q个存储器分段，其中整数p与q是相同的。在图2中，存储器模块250包含对应于八个子阵列SA1到SA8的八个存储器分段。
存储器模块250的每一分段可从任何ADC子模块接收子帧。控制电路108可控制将子帧写入到存储器模块250的不同存储器分段。此外，如将论述，ISP 106可从任何ADC子模块接收子帧。在子帧绕过存储器模块250的情况中，切换网络或多路复用器(未说明)可促进将子帧从ADC模块235转移到存储器模块250，且将子帧从ADC模块235转移到ISP 106。切换网络或多路复用器可由控制电路108控制。ADC模块235、存储器250及任何切换网络或多路复用器可包含于读出电路104中。
图3说明根据本发明的实施例的展示图像像素阵列的子阵列的不同曝光的实例时序图。特定来说，图3展示在第一子阵列(SA1)处开始且朝向最后子阵列(SA8)移动的滚动快门的时序。第一曝光周期在L1处起始且经曝光直到在LR处读出为止。在一个实施例中，第一曝光周期为16ms且被视为长曝光周期。如所展示，长曝光周期的滚动快门继续通过SA2，且稍后接着通过SA3，且接着继续通过SA4、SA5、SA6及SA7且在SA8处结束(未说明)。在第一滚动快门曝光周期之后，由控制电路108起始的第二滚动快门曝光周期在M1处开始且经曝光直到在MR处读出为止。在一个实施例中，第二曝光周期为4ms且被视为中曝光周期。在第二滚动快门曝光周期之后，由控制电路108起始的第三滚动快门曝光周期在S1处开始且经曝光直到在SR处读出为止。在一个实施例中，第三曝光周期为1ms且被视为短曝光周期。在第三滚动快门曝光周期之后，由控制电路108起始的第四滚动快门曝光周期在UI处开始且经曝光直到在UR处读出为止。在一个实施例中，第四曝光周期为0.25ms且被视为超短曝光周期。
在一个实施例中，第一曝光的长度是第四曝光周期的至少五十倍，且第二曝光周期的长度是第三曝光周期的至少三倍。具有显著不同的曝光周期在HDR成像中一般是有利的。
在操作中，长、中、短及超短滚动快门曝光周期跨越像素阵列202从SA1起始通过SA8。这些不同的曝光周期给出图像数据以产生HDR图像。在图3中，读出(TR)之间的时间均匀间隔。在一个实施例中，TR为4ms。如图3中所说明，长、中、短及超短滚动快门曝光的起始不均匀间隔。
图4说明根据本发明的实施例的展示将子帧写入到存储器模块250的时序图。在第一读出时间t1，将来自针对第一曝光周期而经曝光的第一子阵列(SA1)的子帧L1写入到存储器模块250的第一分段。控制电路选择子模块ADC1(但非子模块ADC2到ADC8)以将SA1的模拟图像信号转换为针对第一读出时间t1的数字图像信号。
在第二读出时间t2，将来自针对第一曝光周期而经曝光的第二子阵列(SA2)的子帧L2写入到存储器模块250的第二分段。也在第二读出时间t2，将来自针对第二曝光周期而经曝光的第一子阵列(SA1)的子帧M1写入到存储器模块250的第七分段。控制电路108选择子模块ADC1及ADC2(但非子模块ADC3到ADC8)以将SA1及SA2的模拟图像信号转换为针对第二读出时间t2的数字图像信号。
在第三读出时间t3，将来自针对第一曝光周期而经曝光的第三子阵列(SA3)的子帧L3写入到存储器模块250的第三分段。也在时间t3，将来自针对第二曝光周期而经曝光的第二子阵列(SA2)的子帧M2写入到存储器模块250的第八分段。来自针对第三曝光周期而经曝光的第一子阵列(SA1)的子帧S1也被写入到存储器模块250的第六分段。注意，图3也说明时间读出时间t1、t2及t3。控制电路选择子模块ADC1、ADC2及ADC3(但非子模块ADC4到ADC8)以将SA1、SA2及SA3的模拟图像信号转换为针对第三读出时间t3的数字图像信号。
在第一写入时间t4，将子帧L1、子帧M1及子帧S1从存储器250发送到ISP 106，如由存储器模块250右侧上的箭头所说明。在第三读出时间t3之后的第二写入时间，将第四子帧U1发送到ISP 106，如由加括号的U1右侧上的箭头所指示。通过将第四子帧U1从ADC模块235发送到ISP 106而不将其被写入到存储器250，第四子帧U1绕过存储器250。控制电路108选择子模块ADC1以将SA1的模拟图像信号转换为数字图像信号，所述数字图像信号可作为第四子帧被发送到ISP 106。ISP 106经耦合以从ADC模块235的ADC子模块接收子帧，且切换网络或多路复用器可促进所述子帧在适当时间绕过存储器250。第四子帧U1由针对第四曝光周期而曝光的第一子阵列(SA1)所产生。
使第四子帧绕过存储器模块250减少产生HDR图像所需的缓冲存储器。在一个实施例中，第二写入时间在第一写入时间之后，且第一、第二、第三及第四子帧由ISP 106按所述顺序循序接收。因此，ISP 106能够按顺序接收具有不同曝光周期的相同子阵列(例如，SA1)的四个不同子帧。ISP接着能够将HDR算法应用于四个子帧以产生HDR子帧。一旦来自所有子阵列的子帧都被接收，将产生全HDR帧。
参考时间t5，将子帧M3、L4及S2写入到存储器模块250，如由指向存储器250左边的箭头所指示。在时间t6，将子帧L2、S2及M2从存储器250发送到ISP 106，如由指向存储器模块250右边的箭头所指示。子帧U2在时间t5之后也被发送到ISP 106(绕过存储器250)，如由加括号的U2右侧上的箭头所指示。
参考时间t7，将子帧M4、L5及S3写入到存储器模块250，如由指向存储器250左边的箭头所指示。在时间t8，将子帧L3、S3及M3从存储器250发送到ISP 106，如由指向存储器模块250右边的箭头所指示。子帧U3在时间t7之后也被发送到ISP 106(绕过存储器250)，如由加括号的U3右侧上的箭头所指示。
在时间t7之后，存储器的每一分段含有子帧。然而，由于来自每一子阵列的超短子帧能够绕过被写入到存储器，因此一次仅需要存储器的八个分段(一个总帧)，同时仍能够将被读出的所有子帧馈送到ISP 106。在先前方法中，将一个全帧缓冲器用于每一曝光周期。换句话说，如果HDR图像并入四个曝光周期，那么相当于四个帧的缓冲存储器用以存储不同曝光周期的四个帧。然而，在所揭示的方法中，当最终捕获不同曝光的四个帧时仅使用了相当于一个帧的缓冲存储器。当与一个接一个串行读出每一帧相比较时，除了减少帧缓冲存储器之外，所揭示的实施例还可减少不同曝光帧的读出时间。
图4继续说明存储器250在每一读出时间t9、t11、t13、t15及t17期间接收三个子帧，及ISP 106在时间t10、t12、t14、t16及t18接收四个子帧以完成具有四个不同相应曝光周期的四个总帧的读出。ISP 106接着能够使用所属领域中已知的一或多个HDR算法将这四个总帧处理成一个HDR图像。此特征的一个潜在优点是：当ISP 106从SA1接收四个不同曝光子帧时，ISP 106可极早地开始在其最早接收的数据中应用HDR算法。因此，与在早期不接收所有不同曝光的先前方法相比较，ISP 106可更快地产生最终HDR图像。在ISP 106产生HDR图像之后，可将HDR图像发送到MIPI 116。在t15，将来自下一个连续帧的子帧L1加载到存储器模块250中。在时间t17，将子帧L2加载到存储器模块250中。
在一个实施例中，HDR成像***100可实施在堆叠芯片架构中，其中像素阵列102包含于接合到包含存储器模块250及ISP 106的第二半导体层的第一半导体层中。
上文所解释的过程是在计算机软件及硬件方面进行描述。所描述的技术可构成在有形的或非暂时性机器(例如，计算机)可读存储媒体内体现的机器可执行指令，所述指令在由机器执行时将致使所述机器执行所描述的操作。此外，所述过程可在硬件内体现，例如，专用集成电路(“ASIC”)或其它硬件。
有形的非暂时性机器可读存储媒体包含提供(即，存储)呈机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一或多个处理器的集合的任何装置等等)可存取的形式的信息的任何机构。举例来说，机器可读存储媒体包含可记录/不可记录媒体(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置等等)。
不希望本发明的所说明的实施例的以上描述(包含摘要中所描述的内容)为穷尽性或将本发明限于所揭示的具体形式。尽管本文出于说明性目的而描述了本发明的特定实施例及针对本发明的实例，但所属领域的技术人员将认识到，本发明范围内的各种修改是可能的。
依据以上详细描述可对本发明做出这些修改。所附权利要求书中使用的术语不应解释为将本发明限于本说明书中所揭示的特定实施例。而是，本发明的范围完全由所附权利要求书确定，将根据权利要求解释的既定原则解释所附权利要求书。

Claims (20)

1.一种读出捕获具有多个曝光周期的高动态范围HDR图像的图像像素的阵列的方法，所述方法包括：
分别在第一、第二及第三读出时间将第一、第二及第三子帧写入到存储器，所述第一、第二及第三子帧由所述图像像素阵列的相同第一子阵列所产生，其中所述第三读出时间在所述第二读出时间之后，且所述第二读出时间在所述第一读出时间之后，且其中所述第一子帧针对第一曝光周期而经曝光，所述第二子帧针对短于所述第一曝光周期的第二曝光周期而经曝光，且所述第三子帧针对短于所述第二曝光周期的第三曝光周期而经曝光；
在所述第三读出时间之后的第一写入时间将所述第一、第二及第三子帧发送到图像信号处理器；以及
在所述第三读出时间之后的第二写入时间将第四子帧发送到所述图像信号处理器，所述第四子帧由所述图像像素阵列的所述相同第一子阵列所产生、针对短于所述第三曝光周期的第四曝光周期而经曝光，其中通过将所述第四子帧从模/数转换器发送到所述图像信号处理器而不将其写入到所述存储器，所述第四子帧绕过所述存储器。
2.根据权利要求1所述的方法，其中所述第二写入时间在所述第一写入时间之后。
3.根据权利要求2所述的方法，其中由所述图像信号处理器按所述第一、第二、第三及第四子帧的顺序循序接收所述第一、第二、第三及第四子帧。
4.根据权利要求1所述的方法，其中所述存储器为包含等于所述图像像素阵列中的整数m个像素的整数n个存储器位置的单帧缓冲器。
5.根据权利要求4所述的方法，其中所述图像像素阵列包含整数p个子阵列，且其中所述存储器包含存储代表由每一相应子阵列所产生的模拟图像信号的数字图像信号的整数q个分段，所述整数p及所述整数q是相同的。
6.根据权利要求1所述的方法，其中所述存储器一次仅可存储八个子帧，且其中所述图像像素阵列包含八个子阵列。
7.根据权利要求1所述的方法，其中所述第一、第二及第三读出时间被均匀间隔开。
8.根据权利要求1所述的方法，其中所述第一曝光周期的长度是所述第四曝光周期的至少五十倍。
9.根据权利要求8所述的方法，其中所述第二曝光周期的长度是所述第三曝光周期的至少三倍。
10.根据权利要求1所述的方法，其进一步包括：
使用所述图像信号处理器将HDR算法应用于所述第一、第二、第三及第四子帧以产生所述HDR图像的HDR子帧。
11.根据权利要求10所述的方法，其进一步包括：
将所述HDR图像从所述图像信号处理器发送到移动行业处理器接口MIPI。
12.根据权利要求1所述的方法，其中使用第一、第二、第三及第四滚动快门在图像像素的所述第一子阵列处开始且朝向所述图像像素阵列的图像像素的最后子阵列移动来捕获所述第一、第二、第三及第四子帧，所述第一、第二、第三及第四滚动快门分别具有所述第一、第二、第三及第四曝光周期。
13.根据权利要求12所述的方法，其中所述第一、第二、第三及第四滚动快门的起始被不均匀间隔开。
14.根据权利要求1所述的方法，其中所述图像像素阵列包含于堆叠芯片图像传感器中，所述堆叠芯片图像传感器包含第一半导体层及第二半导体层，所述第一半导体层包含所述图像像素阵列且所述第二半导体层包含所述存储器及所述图像信号处理器，其中所述第一半导体层及所述第二半导体层被接合在一起。
15.一种高动态范围HDR成像***，其包括：
图像像素阵列；
控制电路，其耦合到所述图像像素阵列以起始具有不同曝光周期的图像捕获；
图像信号处理器ISP；
模/数转换器模块，其经耦合以从所述图像像素阵列读出模拟图像信号；及
存储器，其经耦合以接收代表所述模拟图像信号的数字图像信号，其中所述HDR成像***包含非暂时性机器可存取媒体，其经配置以：
分别在第一、第二及第三读出时间将第一、第二及第三子帧写入到存储器，所述第一、第二及第三子帧由所述图像像素阵列的相同第一子阵列产生，其中所述第三读出时间在所述第二读出时间之后，且所述第二读出时间在所述第一读出时间之后，且其中所述第一子帧针对第一曝光周期而经曝光，所述第二子帧针对短于所述第一曝光周期的第二曝光周期而经曝光，且所述第三子帧针对短于所述第二曝光周期的第三曝光周期而经曝光；
在所述第三读出时间之后的第一写入时间将所述第一、第二及第三子帧发送到所述ISP；以及
在所述第三读出时间之后的第二写入时间将第四子帧发送到所述ISP，所述第四子帧由所述图像像素阵列的所述相同第一子阵列所产生、针对短于所述第三曝光周期的第四曝光周期而经曝光，其中通过将所述第四子帧从所述模/数转换器模块发送到所述ISP而不将其写入到所述存储器，所述第四子帧绕过所述存储器。
16.根据权利要求15所述的HDR成像***，其中所述第二写入时间在所述第一写入时间之后。
17.根据权利要求16所述的HDR成像***，其中由所述ISP按所述第一、第二、第三及第四子帧的顺序循序接收所述第一、第二、第三及第四子帧。
18.根据权利要求15所述的HDR成像***，其中所述存储器为包含等于所述图像像素阵列中的整数m个像素的整数n个存储器位置的单帧缓冲器。
19.根据权利要求18所述的HDR成像***，其中所述图像像素阵列包含整数p个子阵列，且其中所述存储器包含存储代表由每一相应子阵列所产生的所述模拟图像信号的所述数字图像信号的整数q个分段，所述整数p及所述整数q是相同的。
20.根据权利要求15所述的HDR成像***，其中所述图像像素阵列包含于堆叠芯片图像传感器中，所述堆叠芯片图像传感器包含第一半导体层及第二半导体层，所述第一半导体层包含所述图像像素阵列且所述第二半导体层包含所述存储器及所述ISP，其中所述第一半导体层及所述第二半导体层被接合在一起。
CN201610344343.9A 2015-07-02 2016-05-23 读出图像像素阵列的方法及高动态范围(hdr)成像*** Active CN106341579B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/791,018 US9654699B2 (en) 2015-07-02 2015-07-02 High dynamic range imaging with reduced frame buffer
US14/791,018 2015-07-02

Publications (2)

Publication Number Publication Date
CN106341579A true CN106341579A (zh) 2017-01-18
CN106341579B CN106341579B (zh) 2019-07-23

Family

ID=57683071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610344343.9A Active CN106341579B (zh) 2015-07-02 2016-05-23 读出图像像素阵列的方法及高动态范围(hdr)成像***

Country Status (3)

Country Link
US (1) US9654699B2 (zh)
CN (1) CN106341579B (zh)
TW (1) TWI577188B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696700A (zh) * 2017-03-31 2018-10-23 半导体元件工业有限责任公司 图像传感器、用于操作图像传感器的方法及电子设备
CN109089031A (zh) * 2018-09-21 2018-12-25 中国科学院长春光学精密机械与物理研究所 Cmos探测器不同帧频相同积分时间下输出一致的方法
CN110677603A (zh) * 2019-09-16 2020-01-10 上海集成电路研发中心有限公司 一种用于单帧分段曝光的图像传感器
CN110708481A (zh) * 2019-09-16 2020-01-17 上海集成电路研发中心有限公司 一种基于差异复位的去除固定模式噪声方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743025B2 (en) * 2015-12-30 2017-08-22 Omnivision Technologies, Inc. Method and system of implementing an uneven timing gap between each image capture in an image sensor
KR102664014B1 (ko) * 2016-12-23 2024-05-09 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법
JP7064322B2 (ja) * 2017-12-06 2022-05-10 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像素子
JP7143012B2 (ja) * 2018-11-19 2022-09-28 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオエンコーダおよび符号化方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232559A (zh) * 2007-01-22 2008-07-30 全视科技有限公司 具有图像模糊减少机制的图像传感器
CN101394487A (zh) * 2008-10-27 2009-03-25 华为技术有限公司 一种合成图像的方法与***
CN101877768A (zh) * 2009-04-30 2010-11-03 索尼公司 固态成像装置及其驱动方法以及成像设备
CN101919238A (zh) * 2007-10-26 2010-12-15 豪威科技有限公司 用于色彩内插法的、具有简化存储器的高动态范围的图像传感器
US20120188392A1 (en) * 2011-01-25 2012-07-26 Scott Smith Imaging system with multiple sensors for producing high-dynamic-range images
US20120218426A1 (en) * 2011-02-24 2012-08-30 Sony Corporation Image processing apparatus and image processing method and program
US20130057754A1 (en) * 2011-09-06 2013-03-07 Yoshinao Shimada Image pickup apparatus
US20130076937A1 (en) * 2011-09-26 2013-03-28 Canon Kabushiki Kaisha Image processing apparatus and method thereof, and image capture apparatus
CN103069453A (zh) * 2010-07-05 2013-04-24 苹果公司 操作设备以捕捉高动态范围图像
CN104301635A (zh) * 2009-04-01 2015-01-21 美商豪威科技股份有限公司 在产生数字图像时曝光像素组
CN104702854A (zh) * 2013-12-04 2015-06-10 全视技术有限公司 图像数据的聚合高动态范围的成像***及相关方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9137455B1 (en) 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
KR102146854B1 (ko) * 2013-12-30 2020-08-21 삼성전자주식회사 촬영 장치 및 이의 제어 방법
US20150296158A1 (en) * 2014-04-10 2015-10-15 Forza Silicon Corporation Reconfigurable CMOS Image Sensor
EP2991354A1 (en) 2014-08-27 2016-03-02 Thomson Licensing Method and apparatus for improving the prediction of a block of the enhancement layer

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232559A (zh) * 2007-01-22 2008-07-30 全视科技有限公司 具有图像模糊减少机制的图像传感器
CN101919238A (zh) * 2007-10-26 2010-12-15 豪威科技有限公司 用于色彩内插法的、具有简化存储器的高动态范围的图像传感器
CN101394487A (zh) * 2008-10-27 2009-03-25 华为技术有限公司 一种合成图像的方法与***
CN104301635A (zh) * 2009-04-01 2015-01-21 美商豪威科技股份有限公司 在产生数字图像时曝光像素组
CN101877768A (zh) * 2009-04-30 2010-11-03 索尼公司 固态成像装置及其驱动方法以及成像设备
CN103069453A (zh) * 2010-07-05 2013-04-24 苹果公司 操作设备以捕捉高动态范围图像
US20120188392A1 (en) * 2011-01-25 2012-07-26 Scott Smith Imaging system with multiple sensors for producing high-dynamic-range images
US20120218426A1 (en) * 2011-02-24 2012-08-30 Sony Corporation Image processing apparatus and image processing method and program
US20130057754A1 (en) * 2011-09-06 2013-03-07 Yoshinao Shimada Image pickup apparatus
US20130076937A1 (en) * 2011-09-26 2013-03-28 Canon Kabushiki Kaisha Image processing apparatus and method thereof, and image capture apparatus
CN104702854A (zh) * 2013-12-04 2015-06-10 全视技术有限公司 图像数据的聚合高动态范围的成像***及相关方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696700A (zh) * 2017-03-31 2018-10-23 半导体元件工业有限责任公司 图像传感器、用于操作图像传感器的方法及电子设备
CN109089031A (zh) * 2018-09-21 2018-12-25 中国科学院长春光学精密机械与物理研究所 Cmos探测器不同帧频相同积分时间下输出一致的方法
CN109089031B (zh) * 2018-09-21 2020-04-10 中国科学院长春光学精密机械与物理研究所 Cmos探测器不同帧频相同积分时间下输出一致的方法
CN110677603A (zh) * 2019-09-16 2020-01-10 上海集成电路研发中心有限公司 一种用于单帧分段曝光的图像传感器
CN110708481A (zh) * 2019-09-16 2020-01-17 上海集成电路研发中心有限公司 一种基于差异复位的去除固定模式噪声方法
CN110677603B (zh) * 2019-09-16 2021-09-14 上海集成电路研发中心有限公司 一种用于单帧分段曝光的图像传感器和数据采集方法

Also Published As

Publication number Publication date
CN106341579B (zh) 2019-07-23
US20170006207A1 (en) 2017-01-05
TWI577188B (zh) 2017-04-01
TW201707433A (zh) 2017-02-16
US9654699B2 (en) 2017-05-16

Similar Documents

Publication Publication Date Title
CN106341579B (zh) 读出图像像素阵列的方法及高动态范围(hdr)成像***
US11363230B2 (en) Image sensor module and image sensor device including the same
JP2010087802A (ja) 固体撮像装置の駆動方法
US8817139B2 (en) Image pickup device and signal transmitting device
TW201410020A (zh) 用於減少互補式金屬氧化物半導體影像感測器之類比影像資料中之雜訊之方法及裝置
EP3171590B1 (en) X-ray imaging system and method using a solid-state imaging device
JP2011124917A (ja) 撮像装置
JP4485371B2 (ja) 固体撮像装置
US9001250B2 (en) Method and apparatus for reading image data from an image sensor
US9591170B2 (en) Image processing apparatus, and control method and program of image processing apparatus
JP5400428B2 (ja) 撮像装置、撮像素子およびその駆動方法
JP2017183870A (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
JP6574653B2 (ja) 撮像装置及び撮像システム
US20150070569A1 (en) Enhanced Dynamic Range Image Processing
EP2822268B1 (en) Scanning circuit, photoelectric conversion apparatus, and image pickup system
JP2014099714A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US12047685B2 (en) Imaging apparatus and control method therefor
JP2014064211A (ja) 撮像素子及び撮像装置
US20230119596A1 (en) Imaging apparatus and control method therefor
US20240205555A1 (en) Quasi-global shutter for image sensors
JP2004228871A (ja) 画像処理装置、画像処理方法及び固体撮像装置
JP2000299821A (ja) 固体撮像装置
JP2007267431A (ja) 固体撮像装置及びその駆動方法
JP2010093630A (ja) 撮像装置及び撮像装置の制御方法
JP2006217658A (ja) 固体撮像装置及びその駆動方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1229100

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant