CN108293098B - 固态成像器件、成像装置和电子设备 - Google Patents

固态成像器件、成像装置和电子设备 Download PDF

Info

Publication number
CN108293098B
CN108293098B CN201680063615.6A CN201680063615A CN108293098B CN 108293098 B CN108293098 B CN 108293098B CN 201680063615 A CN201680063615 A CN 201680063615A CN 108293098 B CN108293098 B CN 108293098B
Authority
CN
China
Prior art keywords
exposure
pixel
image
unit
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680063615.6A
Other languages
English (en)
Other versions
CN108293098A (zh
Inventor
中村成希
大槻盛一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN108293098A publication Critical patent/CN108293098A/zh
Application granted granted Critical
Publication of CN108293098B publication Critical patent/CN108293098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

根据本发明的固态成像器件设置有：像素阵列单元，其中，包含光电转换元件的单位像素被布置为矩阵形式，单位像素被分成多个像素组；和时序控制器，该时序控制器针对多个像素组中的各组独立地设定曝光开始时刻和曝光结束时刻，使得对于多个像素组中的至少一个像素组来说，在单个垂直同步时段内发生多次曝光。

Description

固态成像器件、成像装置和电子设备
技术领域
本发明涉及固态成像器件、成像装置和电子设备。
背景技术
作为固态成像器件，例如，已知电荷耦合器件(CCD：charge coupled device)图像传感器(CCD型固态成像器件)和互补金属氧化物半导体(CMOS：complementary metaloxide semiconductor)图像传感器(CMOS型固态成像器件)。固态成像器件累积以入射光的量为依据的电荷，并且进行光电转换，以输出与累积的电荷对应的电信号。然而，因为电荷累积量存在上限水平，所以如果在一定的曝光时间内，接收到的光量等于或大于上限水平，那么累积的电荷量达到饱和水平。因此，不能表达出等于或高于饱和水平的色调，且出现所谓的光晕。
通过在短时间内释放快门，使得累积的电荷量不饱和，能够避免光晕。然而，在对混合有亮区域和暗区域的高动态范围(HDR：high dynamic range)的场景进行成像的情况下，不能充足地累积对于暗区域的电荷。因此，暗区域处于所谓的变黑状态，其中，SN比(S/N)低且图像质量劣化。
作为高动态范围的场景的成像技术，已知这样的方法：使用不同的曝光时间连续地拍摄多幅图像，并且将这些图像进行合成以扩展动态范围。然而，在该方法中，因为将在彼此分开的成像时刻进行成像而获得的多幅图像进行合成，所以存在这样的问题：如果被摄体(subject)在成像时刻之间移动，那么容易创建多重图像；或存在这样的问题：随着成像图像的数量的增加，获得合成图像的帧速率降低。
然而，作为连续地拍摄多幅图像，并且将该多幅图像进行合成以产生高动态范围的图像的替代，存在这样的技术：通过在进行控制使得各像素的曝光时间分别不同的同时对图像进行成像，在一次成像的多次曝光的条件下，获得多幅图像(例如，专利文献1和2)。根据该技术，能够在不饱和(不存在光晕)且不造成变黑的条件下对高动态范围的场景进行成像。
引用列表
专利文献
专利文献1：特开第2002-118789号日本专利申请
专利文献2：第2006/049098号国际公开
发明内容
本发明要解决的技术问题
然而，在专利文献1和2所述的相关技术中，通过空间分辨率的分割数量来确定待实现的曝光数量。因此，存在这样的问题：在通过多次曝光对高动态范围的场景进行成像的情况下，空间分辨率容易劣化。
因此，本发明的目的是提出一种能够不使空间分辨率劣化地对高动态范围的场景进行成像的固态成像器件，包含该固态成像器件的成像装置，和包含该成像装置的电子设备。
技术问题的解决方案
根据本发明的要实现上述目的的固态成像器件包括：像素阵列单元，其中，包含光电转换元件的单位像素被布置为矩阵形式，各单位像素被分成多个像素组；和时序控制器，该时序控制器相对于多个像素组中的各组独立地设定曝光开始时刻和曝光结束时刻，使得多个像素组中的至少一个像素组在单个垂直同步时段内被多次曝光。
根据本发明的要实现上述目的的成像装置是包括具有上述构造的固态成像器件的成像装置。此外，根据本发明的要实现上述目的的电子设备是包括具有上述构造的固态成像器件的电子设备。在具有上述构造的固态成像器件、成像装置或电子设备中，通过在单个垂直同步时段内进行多次曝光，当对高动态范围的场景进行成像时，能够将通过多次曝光获得的多幅曝光图像之间的曝光时间比设定为彼此接近。
本发明的有益效果
根据本发明，因为通过在一个垂直同步时段内进行多次曝光，能够将曝光图像之间的曝光时间比设定为彼此接近，所以可以不降低空间分辨率地拍摄高动态范围的场景。
此外，效果不限于上述的，且效果可以是本文所述的任何效果。此外，本文所述的效果仅是示例性的，且本发明的效果不限于此。此外，可以存在额外的效果。
附图说明
图1是根据本发明的作为示例性固态成像器件的CMOS图像传感器的示意性构造的***构造图。
图2是单位像素的示例性电路构造的电路图。
图3A是像素分组的第一示例图，图3B是像素分组的第二示例图。
图4是根据本实施例的在时序控制器的控制下执行的曝光序列的示例(曝光序列1)。
图5是本实施例的情况下的像素组A的像素值数据的读取序列图。
图6是这样的CMOS图像传感器的构造的示意图：单个像素列布置有多个A/D转换器，该多个A/D转换器被并列使用。
图7是根据本实施例的与曝光序列中的单个垂直同步时段(单个显示帧)对应的部分的示图。
图8是这样的示图：提取且图示了像素阵列单元中的某两个像素列，以及与像素列对应的列信号线和A/D转换器。
图9是在读取时刻t＝0时的列信号线和A/D转换器之间的连接状态的示图。
图10是在读取时刻t＝1时的列信号线和A/D转换器之间的连接状态的示图。
图11是在读取时刻t＝2时的列信号线和A/D转换器之间的连接状态的示图。
图12是在读取时刻t＝0时的被读取为曝光图像的行编号的示图。
图13是在读取时刻t＝1时的被读取为曝光图像的行编号的示图。
图14是在读取时刻t＝2时的被读取为曝光图像的行编号的示图。
图15A是在应用于具有层压结构的CMOS图像传感器的情况下的单位像素和A/D转换器之间的对应关系的示图，图15B是单个像素组中的像素与对应的A/D转换器之间的电连接的示图。
图16是根据本发明的成像装置的示例性构造的框图。
图17是根据第一实施例的图像处理器的示例性构造的框图。
图18是根据第一实施例的由图像处理器执行的图像处理的流程图。
图19是将来自像素组A的HDR图像数据和来自像素组B的输出数据进行合成的图像处理的流程图。
图20是根据本实施例的曝光序列的另一个示例(曝光序列2)。
图21是根据第二实施例的图像处理器的示例性构造的框图。
图22是根据第二实施例的由图像处理器执行的这样的处理的示例性流程的流程图：根据针对各像素位置的移动被摄体的估计结果来确定两幅图像的合成比，并且将这两幅图像进行合成。
图23是根据第三实施例的图像处理器的示例性构造的框图。
图24是在第四实施例的情况下的曝光序列。
图25是根据本发明的电子设备的示意性构造的***构造图。
具体实施方式
下面将参照附图详细说明本发明的实施例。本发明的技术不限于这些实施例，且实施例中的各种值等仅是示例性的。在下面的说明中，使用相同的附图标记来标注相同的元件或具有相同功能的元件，并且省略重复的说明。注意，将以下面的顺序作出说明。
1.根据本发明的固态成像器件、成像装置和电子设备的整体说明
2.根据本发明的固态成像器件(CMOS图像传感器的示例)
2-1.***构造
2-2.单位像素的电路构造
2-3.单位像素的分组
2-4.单个垂直同步时段内的多次曝光
2-5.曝光序列的示例
2-6.单个像素列布置有多个A/D转换器的示例
2-7.变型例
3.根据本发明的成像装置
3-1.***构造
3-2.图像处理器的构造
3-2-1.第一实施例(同步处理的示例)
3-2-2.第二实施例(各像素组的顺序HDR合成的示例)
3-2-3.第三实施例(像素组之间的顺序HDR合成的示例)
3-2-4.第四实施例(应对由于闪烁现象而造成的黑障(Blackout)的措施的示例)
4.根据本发明的电子设备
<根据本发明的固态成像器件、成像装置和电子设备的整体说明>
在根据本发明的固态成像器件、成像装置和电子设备中，时序控制器能够具有这样的构造：相对于多个像素组中的各组独立地设定曝光开始时刻和曝光结束时刻，使得对于多次曝光中的至少两次曝光，稍后开始曝光的曝光图像中的被最先读取的行中的单位像素的曝光结束时刻早于先前开始曝光的曝光图像中的作为最后读取行的行中的单位像素的曝光结束时刻。
在包括上述优选构造的根据本发明的固态成像器件、成像装置和电子设备中，时序控制器能够具有这样的构造：对于曝光结束在时域上重叠的多幅曝光图像，进行控制，来以时间分割的方式每行地输出各图像数据。此外，能够包括图像处理器，其在多个像素组的各曝光图像的图像数据的基础上产生高动态范围的图像。
此外，在包括上述优选构造的根据本发明的固态成像器件、成像装置和电子设备中，图像处理器能够具有这样的构造：其曝光顺序在单个垂直同步时段内不是最后的这一曝光图像的各行的像素值数据保存在存储单元中。此外，能够包括行序列转换单元，其根据在单个垂直同步时段内被最后曝光的曝光图像的各行的像素值数据的输出时刻从存储单元读取同一行的像素值数据，并且将所述多幅曝光图像的行对齐地进行数据输出。此外，图像处理器能够具有包括第一图像合成单元的构造，第一图像合成单元将从所述行序列转换单元将行对齐并进行输出的多个曝光像素的像素值数据，在多个曝光像素之间进行合成并输出该数据。
可选地，在包括上述优选构造的根据本发明的固态成像器件、成像装置和电子设备中，图像处理器能够具有这样的构造：单个垂直同步时段内被最先曝光的曝光图像的像素值数据保存在存储单元中。此外，对于其曝光顺序在单个垂直同步时段内不是第一个的曝光图像，能够使用这样的构造：参考以像素为单位已经保存在存储单元中的与曝光图像的像素位置和周边像素位置对应的像素值数据来计算合成像素值，并且将合成像素值保存在存储单元中。此外，能够包括第二图像合成单元，当对于单个垂直同步时段内最后曝光的曝光图像，已经完成像素值数据的合成时，第二图像合成单元输出最终合成结果。
此外，在包括上述优选构造的根据本发明的固态成像器件、成像装置和电子设备中，第二图像合成单元能够具有这样的构造：对于各像素组，单个垂直同步时段内最先曝光的曝光图像的像素值数据保存在存储单元。此外，对于其曝光顺序在单个垂直同步时段内不是第一个的曝光图像，能够使用这样的构造：参考以像素为单位已经保存在存储单元中的与曝光图像的像素位置和周边像素位置对应的像素值数据来计算合成像素值，并且将合成像素值保存在存储单元中。此外，图像处理器能够具有包括像素组间合成单元的构造，像素组间合成单元参考各像素组的最终合成结果来计算像素组之间的合成值，该最终合成结果是由第二图像合成单元将单个垂直同步时段内最后曝光的曝光图像进行合成而获得的。
可选地，在包括上述优选构造的根据本发明的固态成像器件、成像装置和电子设备中，图像处理器能够具有这样的构造：在所有像素组的曝光图像中，单个垂直同步时段内最先曝光的曝光图像的像素值数据保存在存储单元中。此外，对于其曝光顺序在单个垂直同步时段内不是第一个的曝光图像，能够使用这样的构造：参考以像素为单位已经保存在存储单元中的与曝光图像的像素位置和周边像素位置对应的像素值数据来计算合成像素值，并且将合成像素值保存在存储单元中。此外，能够包括第三图像合成单元，当对于单个垂直同步时段内最后曝光的曝光图像，已经完成像素值数据的合成时，第三图像合成单元输出最终合成结果。
此外，在包括上述优选构造的根据本发明的固态成像器件、成像装置和电子设备中，图像处理器能够具有包括像素值插补单元的构造，像素值插补单元在针对各像素组读取的像素值的基础上将像素值插补至所有像素位置。此时，第三图像合成单元能够具有这样的构造：在所有像素组的所有曝光图像中，单个垂直同步时段内最先曝光的曝光图像的像素值数据在像素值插补单元的输出的基础上保存在存储单元中。此外，对于其曝光顺序在单个垂直同步时段内不是第一个的曝光图像，能够使用这样的构造：参考以像素为单位已经保存在存储单元中的与曝光图像的像素位置和周边像素位置对应的像素值数据来计算合成像素值，并且将合成像素值保存在存储单元中。
此外，在包括上述优选构造的根据本发明的固态成像器件、成像装置和电子设备中，图像处理器能够具有包括移动被摄体确定单元和合成比确定单元的构造，移动被摄体确定单元确定在各像素位置处被摄体是否移动，合成比确定单元在移动被摄体确定单元的确定结果的基础上确定当计算合成像素值时的合成比。此时，移动被摄体确定单元能够具有这样的构造：参考曝光图像的像素值和存储单元中的像素值，估计在各像素位置处被摄体是否移动。
此外，在包括上述优选构造的根据本发明的固态成像器件、成像装置和电子设备中，图像处理器能够具有包括合成比历史存储单元的构造，合成比历史存储单元存储由合成比确定单元确定的合成比的历史。此时，合成比确定单元能够具有这样的构造：参考存储在合成比历史存储单元中的合成比的历史来确定合成比。此外，合成比确定单元能够具有这样的构造：参考各曝光图像的曝光时间来确定合成比，且此外，参考各曝光图像的像素值水平来确定合成比。
此外，在包括上述优选构造的根据本发明的固态成像器件、成像装置和电子设备中，能够包括A/D转换器，A/D转换器对以像素列为单位从像素阵列单元的各单位像素输出的模拟像素信号进行数字化。
此外，在包括上述优选构造的根据本发明的成像装置中，时序控制器能够具有这样的构造：在拍摄发光物体的情况下，考虑到发光物体的闪烁周期来设定通过多次曝光而成像的多幅曝光图像的各曝光开始时间和各曝光时间长度。
<根据本发明的固态成像器件>
首先，将说明根据本发明的固态成像器件的示意性构造。这里，将CMOS图像传感器说明为根据本发明的固态成像器件的示例。
[***构造]
图1是根据本发明的CMOS图像传感器的示意性构造的***构造图。如图1所示，CMOS图像传感器10具有像素阵列单元11及其附近的驱动***和信号处理***。在本示例中，例如，行扫描单元12、列处理单元13、列扫描单元14、水平输出线15和时序控制器16设置为附近的驱动***和信号处理***。驱动***和信号处理***集成在集成有像素阵列单元11的同一半导体基板(芯片)30上。
在上述的***构造中，例如在从外部输入的垂直同步信号VD、水平同步信号HD、主时钟MCK等的基础上，时序控制器16产生时钟信号、控制信号等，该时钟信号、控制信号等将作为行扫描单元12、列处理单元13、列扫描单元14等的操作的参考。时序控制器16产生的时钟信号、控制信号等施加于行扫描单元12、列处理单元13、列扫描单元14等，以作为这些单元的驱动信号。
像素阵列单元11具有这样的构造：包含光电转换元件(其产生且累积以接收的光量为依据的光电荷)的单位像素20(其在下文可以简称为“像素”)沿着行方向和列方向来布置，即，以矩阵(矩阵形式)来二维地布置。这里，行方向表示像素行中的像素的布置方向，列方向表示像素列中的像素的布置方向。
在像素阵列单元11中，在包括m行n列的像素布置中，行控制线31(31_1至31_m)沿着行方向每像素行地布置，且列信号线32(32_1至32_n)沿着列方向每像素列地布置。当信号从单位像素20被读取时，行控制线31传输用来进行控制的控制信号。在图1中，行控制线31被图示为单根配线。然而，行控制线31的数量不限于一根。行控制线31_1至31_m的各端分别连接至行扫描单元12的与各行对应的输出端。
行扫描单元12包括移位寄存器、地址解码器等，并且所有同时地或逐行地等驱动像素阵列单元11的像素20。未图示行扫描单元12的具体构造。然而，行扫描单元12通常包括两种扫描***，即读取扫描***和扫除扫描***。读取扫描***逐行地选择和扫描像素阵列单元11的单位像素20，以从单位像素20读取信号。从单位像素20读取的信号是模拟信号。相对于由读取扫描***进行读取扫描的读取行，扫除扫描***在比读取扫描早快门速度的时间来对像素进行扫除和扫描。
通过扫除扫描***进行扫除扫描，扫除了读取行的单位像素20的光电转换元件中的不必要的电荷。因此，光电转换元件复位。然后，通过扫除扫描***扫除(复位)了不必要的电荷，进行所谓的电子快门操作。这里，电子快门操作是这样的操作：扔掉光电转换元件的光电荷，并且新开始曝光(开始累积光电荷)。
通过读取扫描***的读取操作读取的信号对应于紧接在本次读取操作之前的读取操作或电子快门操作之后接收的光量。因此，从紧接在前的读取操作的信号读取时刻或电子快门操作的扫除时刻至本次读取操作的信号读取时刻的时段是单位像素20中的光电荷的曝光时段。在曝光时段内，紧接在前的读取操作的信号读取时刻或电子快门操作的扫除时刻是曝光开始时刻，且本次读取操作的信号读取时刻是曝光结束时刻。
例如，列处理单元13是包括模拟/数字(A/D)转换器40(40_1至40_n)的信号处理单元，且各A/D转换器40设置用于像素阵列单元11的各像素列，即各A/D转换器与各列信号线32(32_1至32_n)设置成一一对应关系。各A/D转换器40(40_1至40_n)对从像素阵列单元11的各单位像素20以像素列为单位输出的模拟像素信号进行数字化。
例如，A/D转换器40能够包括比较器和计数器。比较器使用参考信号(其电压值随着时间流逝而以阶梯方式变化，即所谓的斜坡状波形)作为参考输入且使用以像素列为单位从像素阵列单元11的各单位像素20输出的模拟像素信号作为比较输入，并且比较器将参考输入和比较输入互相比较。通过与预定的时钟同步地，在从比较器进行比较操作的开始至比较操作的结束的时段上进行计数操作，计数器将模拟像素信号转换成数字数据。
这里，通过使用上下计数器作为具有上述构造的A/D转换器40中的计数器，能够执行单位像素20复位操作时的去噪处理，具体地，通过相关双采样(CDS：Correlated DoubleSampling)进行的去噪处理。例如，从单位像素20中，以时间序列的方式顺序地读取复位分量和信号分量。复位分量对应于当单位像素20复位时的像素信号。信号分量对应于通过单位像素20进行光电转换而获得的像素信号。
在首先读取复位分量的方法中，复位时产生的随机噪声由电荷检测单元26(参照图2)保存。因此，在通过添加信号电荷而读取的信号分量中，保存有与复位分量中的噪声量一样多的噪声量。因此，例如，通过往下计数复位分量且往上计数信号分量，上下计数器能够执行从信号分量中减去复位分量的CDS处理。
列扫描单元14包括移位寄存器、地址解码器等，并且控制列处理单元13中的A/D转换器40_1至40_n的列地址和列扫描。在列扫描单元14的控制下，被各A/D转换器40_1至40_nA/D转换的数字数据顺序地读取至水平输出线15，然后，该数字数据作为成像数据从输出端子33输出至芯片(半导体基板)30的外部。
[单位像素的电路构造]
图2是单位像素20的示例性电路构造的电路图。如图2所示，根据本示例的单位像素20例如包括作为光电转换元件的光电二极管(PD)21。除了光电二极管21以外，例如，单位像素20还包括传输晶体管22、复位晶体管23、放大晶体管24和选择晶体管25。
这里，例如，N型MOSFET用作四个晶体管，即传输晶体管22、复位晶体管23、放大晶体管24和选择晶体管25。然而，这里例示的四个晶体管22至25的导电类型的组合仅是示例，且它们的组合不限于此。
作为上述的行控制线31(31_1至31_m)，相对于同一像素行中的各单位像素20共同地布置有多条控制线311至313。多条控制线311至313以像素行为单位连接至行扫描单元12的与各像素行对应的输出端。行扫描单元12将传输信号TRG、复位信号RST和选择信号SEL适当地输出至多条控制线311至313。
光电二极管21的阳极电极连接至低电势侧的电源(例如，地)。光电二极管21将接收到的光转换成光电荷(这里，光电子)，并且累积该光电荷，该光电荷具有对应于接收到的光量的电荷量。光电二极管21的阴极电极经由传输晶体管22电连接至放大晶体管24的栅极电极。电连接至放大晶体管24的栅极电极的区域是用于将电荷转换成电压的电荷检测单元26。电荷检测单元26在下文被称为浮动扩散/浮动扩散区域/杂质扩散区域(FD：diffusingregion)单元26。
传输晶体管22连接在光电二极管21的阴极电极与FD单元26之间。高电平(例如，Vdd电平)有效的传输信号TRG经由控制线311从行扫描单元12施加到传输晶体管22的栅极电极。传输晶体管22响应于传输信号TRG且处于导通状态，使得传输信号TRG被光电二极管21光电转换，且累积的光电荷被传输至FD单元26。
复位晶体管23的漏极电极连接至具有电压Vdd的电源线34，且源极电极连接至FD单元26。高电平有效的复位信号RST经由控制线312从行扫描单元12施加到复位晶体管23的栅极电极。复位晶体管23响应于复位信号RST且处于导通状态，并且通过将FD单元26的电荷丢弃至电源线34来复位FD单元26。
放大晶体管24的栅极电极连接至FD单元26，且漏极电极连接至电源线34。放大晶体管24是源极跟随器的输入单元，该源极跟随器是对通过光电二极管21进行的光电转换而获得的信号进行读取的读取电路。即，放大晶体管24的源极电极经由选择晶体管25连接至列信号线32，以便构造电流源35和源极跟随器，该电流源35连接至列信号线32的一端。
例如，选择晶体管25的漏极电极连接至放大晶体管24的源极电极，且源极电极连接至列信号线32。高电平有效的选择信号SEL经由控制线313从行扫描单元12施加到选择晶体管25的栅极电极。选择晶体管25响应于选择信号SEL且处于导通状态，以便使单位像素20的状态转变成选择状态且将从放大晶体管24输出的信号传输至列信号线32。
选择晶体管25能够采用连接在电源线34与放大晶体管24的漏极电极之间的电路构造。此外，在本示例中，作为单位像素20的像素电路，例示了4Tr构造，即包括四个晶体管(Tr)的构造，即传输晶体管22、复位晶体管23、放大晶体管24和选择晶体管25。然而，像素电路不限于此。例如，能够使用省略选择晶体管25且放大晶体管24具有选择晶体管25的功能的3Tr构造，且能够根据需要增加晶体管的数量。
[单位像素的分组]
在具有上述构造的单位像素20以矩阵形式布置的CMOS图像传感器10中，在本实施例中，单位像素20被分成多个像素组，以便在不饱和(不存在光晕)且不造成变黑的条件下对高动态范围的场景进行成像。这里，作为示例，像素阵列单元11的各像素20被分成两个(两种类型)像素组A和B。设定像素组的方法是任意的。图3A图示了像素分组的第一示例，图3B图示了像素分组的第二示例。在图3A和图3B中，假设像素20中具有同一字符(A或B)的像素20形成同一像素组。
在图3A所示的第一示例的像素分组中，像素组A和像素组B以两行为单位交替布置。在图3B所示的第二示例的像素分组中，按照红(R)、绿(G)、蓝(B)拜耳(Bayer)阵列，彼此垂直且水平相邻的四个像素被整体分组为一单位，且RGB各向同性地分布至像素组A和B中。即，在第一示例的像素分组和第二示例的像素分组中，像素被分组为使得像素组A中的像素的数量等于像素组B中的像素的数量。
在像素组A和像素组B混合在同一像素行中的第二示例的像素分组的情况下，对应于像素组A和像素组B设置有两条行控制线31。当信号从单位像素20被读取时，行控制线31传输用来进行控制的控制信号。
[单个垂直同步时段内的多次曝光]
如上所述，在像素阵列单元11的像素20被分成多个像素组(在本示例中，两种类型的像素组A和B)的CMOS图像传感器10中，在本实施例中，时序控制器16(参照图1)如下地进行控制。即，时序控制器16针对多个像素组中的各组独立地设定曝光开始时刻和曝光结束时刻，使得多个像素组中的至少一个像素组在单个垂直同步时段内被多次曝光。
单个垂直同步时段是单个显示帧时段。此外，在图2所示的像素电路中，曝光开始时刻是这样的时刻：通过FD单元26将光电二极管21的光电荷丢弃(复位)，并且新开始曝光。曝光结束时刻是这样的时刻：结束因传输晶体管22的状态变化成导通状态而触发的曝光，将被光电二极管21光电转换的光电荷传输至FD单元26，并且经由放大晶体管24将光电荷作为像素信号读取至列信号线32(信号读取时刻)。
[曝光序列的示例]
将参照图4说明在时序控制器16的控制下执行的根据本实施例的曝光序列的示例(下文被称为“曝光序列1”)。图4是在时序控制器16的控制下执行的根据本实施例的曝光序列的示例(曝光序列1)的图。
在曝光序列1中，在时序控制器16的控制下，像素组A在单个垂直同步时段内被三次曝光，且像素组B在单个垂直同步时段内被一次曝光。从较早曝光开始时刻起针对像素组A进行的三次曝光被称为曝光A_a、曝光A_b和曝光A_c，针对像素组B进行的一次曝光被称为曝光B。
曝光A_a至A_c均是通过卷帘快门方法进行的曝光，且从较小线编号(行编号)起顺序地进行曝光开始(RESET)、曝光结束和信号读取(READ)。此时，在曝光A_a完成读取最后的线(行)之前，曝光A_b和曝光A_c的最先行的曝光结束和信号读取开始。即，三个曝光A_a、A_b和A_c的曝光结束时刻被设定为彼此接近，使得曝光结束时刻在时域上彼此重叠。
当在重叠的时段内读取多幅曝光图像时，以时间分割的方式输出各曝光时间内的曝光图像的像素值数据。图5示出了曝光序列1的情况下的像素组A的像素值数据的读取序列。在图5中，标记a0、a1、a2，…，b0、b1、b2，…，c0、c1和c2，…分别表示从曝光A_a、A_b和A_c的各曝光图像读取的各行的像素值数据，且下标数字对应于线编号。首先，顺序地读取曝光A_a的曝光图像的行a0、a1、a2…的像素值数据。跟随曝光A_a的曝光图像的读取行a3，以时间分割的方式读取曝光A_b的曝光图像的最先读取行b0的像素值数据。类似于曝光A_a和曝光A_b的曝光图像各者的像素值数据的读取，以时间分割的方式读取曝光A_c的曝光图像的像素值数据。
通过上述的曝光序列1，可以进行四种类型的曝光，其包括针对像素组A以很小的时间间隔进行的三次曝光和针对像素组B进行的长时间曝光。
如上所述，根据本发明的CMOS图像传感器10，被分组的像素组中的至少单个像素组在单个垂直同步时段内被多次曝光，且曝光序列在空间上被并列设定，使得曝光图像之间的曝光时间比能够被设定为彼此接近。因此，多幅曝光图像之间的曝光时间比能够被设定为彼此接近。因此，能够对高动态范围的场景进行成像，而不劣化空间分辨率。因此，能够在不饱和(不存在光晕)且不造成变黑的条件下对高动态范围的场景进行成像。
此外，因为属于像素组A的像素的数量是像素的总数量的1/2，所以优选的是，用于实现曝光序列1所需的A/D转换器40的数量是单个垂直同步时段内一次读取所有像素的常规读取方法中的两倍。即，在像素组A中，因为所有像素的一半在空间上被三次曝光，所有像素的一半被三倍地驱动(＝1/2×3)，且在像素组B中，因为所有像素的一半在空间上被一次曝光，所有像素的一半被一倍地驱动(＝1/2×1)。因此，在曝光序列1的情况下，需要A/D转换器40的数量是单个垂直同步时段内一次读取所有像素的常规读取方法中的两倍(＝1/2×3+1/2×1)。
此外，设置与单个垂直同步时段内一次读取所有像素的常规读取方法中一样多的A/D转换器40，且在A/D转换时，以比常规速度高的速度驱动A/D转换器。通过该方法，能够在单个垂直同步时段内读取多幅曝光图像。即，因为像素组A被三次曝光且像素组B被一次曝光，所以通过以常规读取时的速度的两倍(＝1/2×3+1/2×1)的速度驱动A/D转换器40，能够进行期望的四种类型的曝光。
顺便提及地，在于单个垂直同步时段内针对所有像素均匀地进行四次曝光的情况下，所有像素被A/D转换。因此，需要驱动数量是上述情况中的四倍的A/D转换器40，或以上述情况中的四倍的速度驱动A/D转换器40。鉴于此，根据曝光序列1，在降低***的构造成本的同时，能够获得四幅曝光图像。此外，根据本发明的技术，因为当对高动态范围的场景进行成像时，能够将A/D转换器40的数量的增加抑制至最小，所以能够降低整个CMOS图像传感器10中的A/D转换器40的功耗。
如上所述，通过以时间分割的方式读取时域上重叠的时段内的多幅曝光图像(时间分割读取)，设置比常规读取多的A/D转换器40，且分散地使用A/D转换器40，能够在单个垂直同步时段内读取多幅曝光图像。注意，在这种情况下，单个像素列布置有多个A/D转换器40。然而，构造不限于此。即，作为另一个示例，通过以时间分割的方式读取时域上重叠的时段内的多幅曝光图像，设置与常规读取时一样多的A/D转换器40，且以高的速度驱动A/D转换器40，能够在单个垂直同步时段内读取多幅曝光图像。
[单个像素列布置有多个A/D转换器的示例]
这里，将说明这样的CMOS图像传感器10：通过为单个像素列布置多个A/D转换器40且并列地使用这些A/D转换器40，在多个像素组中进行多次曝光。这里，如上所述，将在这样的情况下说明示例：对于像素阵列单元11的单位像素20，设定两种类型的像素组A和B，并且像素组A在单个垂直同步时段内被三次曝光。此外，像素按照图3A所示的第一示例来分组。
图6是这样的CMOS图像传感器10的构造的示意图：单个像素列布置有多个A/D转换器40，多个A/D转换器40被并列使用。这里，例示这样的构造：包括A/D转换器40的列处理单元13(13A和13B)布置在像素阵列单元11的上方和下方。以两个像素的宽度来形成针对各像素列布置的四条列信号线32，且总共布置有四个A/D转换器40。两个A/D转换器40布置在像素阵列单元11的上侧，且另外两个A/D转换器40布置在下侧。
A/D转换器40包括比较器41和计数器42。比较器41使用具有斜坡状波形的参考信号作为参考输入且使用从像素阵列单元11的各单位像素20输出的模拟像素信号作为比较输入，将参考输入和比较输入互相比较。待作为比较器41的参考输入的参考信号由包括D/A转换器等的参考信号产生单元50产生。通过与预定的时钟同步地，在从比较器41开始比较操作至结束比较操作的时段上进行计数操作，计数器42将模拟像素信号转换成数字数据(像素值数据)。
尽管图6未图示，但是单独设置的连接开关60(参照图8)连接与两个像素列对应地设置的四条列信号线32和总共的四个A/D转换器40，即，设置在像素阵列单元11的上侧的两个A/D转换器40，和设置在下侧的另外两个。连接开关60能够在寄存器设定值的基础上任意地改变四条列信号线32和四个A/D转换器40之间的连接关系。此外，假设：像素阵列单元11的像素20以四行×两列为单位共享与列信号线32的连接。
在图6中，图示了分别由矩形围绕的四行两列单位像素20的组。该组表示共享与两个像素列对应地设置的四条列信号线32的连接的单元。行扫描单元12包括地址解码器12A和像素驱动时序驱动电路12B。地址解码器12A在从时序控制器16施加的地址信号的基础上操作。像素驱动时序驱动电路12B在从时序控制器16施加的驱动时序信号的基础上操作，并且在从地址解码器12A施加的控制信号的基础上传输用于将快门时刻供给至各像素20的信号和用于供给读取时刻的信号。
图7是与曝光序列1(参照图4)的单个垂直同步时段(单个显示帧)对应的部分的示图。以下，将说明如何使用用于实现图7所示的曝光序列所需的A/D转换器40。
在图8中，提取且图示了像素阵列单元11中的两个像素列，以及与该两个像素列对应的列信号线32(VSL0，VSL1，VSL2和VSL3)和A/D转换器40(ADC0，ADC1，ADC2和ADC3)。在图8中，两个行被一起分组为行L，且行L使用附图标记(L0，L1，…)来标注。此外，假设：没有阴影的行(L0，L2，…)对应于像素组A，且有阴影的行(L1，L3，…)对应于像素组B。
为了便于说明，在图8中，将四个A/D转换器40(ADC0、ADC1、ADC2和ADC3)统一图示在像素阵列单元11的上侧。这里，A/D转换器ADC0读取曝光A_a的像素值，A/D转换器ADC1读取曝光A_b的像素值，A/D转换器ADC2读取曝光A_c的像素值，且A/D转换器ADC3读取曝光B的像素值。如图8所示，用于连接列信号线32和A/D转换器40的连接开关60设置在列信号线32(VSL0，VSL1，VSL2和VSL3)和A/D转换器40(ADC0，ADC1，ADC2和ADC3)之间。
在本示例中，在对行的像素值进行读取的过程中，通过顺序地切换连接开关60的连接来实现期望的曝光序列。为了便于说明，假设直至将由所有曝光得到的1L(两个行)的像素值读取完所需的时间是1，读取时刻被称为t＝0，1，2…。
在表1，图示了当顺序地读取行的像素值时，连接开关60的连接的变化过程。在VSL_SW_ADC0的行中，说明了各时刻连接至ADC0的列信号线32的编号。这同样适用于VSL_SW_ADC1、VSL_SW_ADC2和VSL_SW_ADC3。
[表1]
读取时刻 t＝0 t＝1 t＝2 t＝3 t＝4
VSL_SW_ADC<sub>0</sub> VSL<sub>2</sub> VSL<sub>3</sub> VSL<sub>0</sub> VSL<sub>1</sub> VSL<sub>2</sub>
VSL_SW_ADC<sub>1</sub> VSL<sub>3</sub> VSL<sub>0</sub> VSL<sub>1</sub> VSL<sub>2</sub> VSL<sub>3</sub>
VSL_SW_ADC<sub>2</sub> VSL<sub>1</sub> VSL<sub>2</sub> VSL<sub>3</sub> VSL<sub>0</sub> VSL<sub>1</sub>
VSL_SW_ADC<sub>3</sub> VSL<sub>0</sub> VSL<sub>1</sub> VSL<sub>2</sub> VSL<sub>3</sub> VSL<sub>0</sub>
图9至图11示出列信号线32(VSL0，VSL1，VSL2和VSL3)和A/D转换器40(ADC0，ADC1，ADC2和ADC3)之间的连接状态，该连接状态根据连接开关60在读取时刻t＝0、1和2时的连接的变化而变化。在表2中，示出各读取时刻的被读取像素值的行的行编号。在各读取时刻，读取信号由像素驱动时序驱动电路12B(参照图6)相对于四个行L产生。
[表2]
Figure GDA0001645303700000171
Figure GDA0001645303700000181
这里，作为示例，将检查读取时刻t＝0时的像素值的读取过程。根据表2，读取时刻t＝0时被读取的行是L12、L6、L2和L1。在上述的行中，属于像素组B的行L1连接至列信号线VSL0，且列信号线VSL0在读取时刻t＝0时连接至A/D转换器ADC3。因此，行L1的像素值被读取为曝光B的像素值(图9)。
同样，在读取时刻t＝0，行L12经由列信号线VSL2连接至A/D转换器ADC0，行L6经由列信号线VSL3连接至A/D转换器ADC1，且行L2经由列信号线VSL1连接至A/D转换器ADC2。因此，像素值被分别读取为曝光A_a、曝光A_b和曝光A_c。
在随后的读取时刻t＝1，行L14、L8、L4和L3被读取。在上述的行中，属于像素组B的行L3经由列信号线VSL1连接至A/D转换器ADC3。因此，行L3的像素值被读取为曝光B的像素值(图10)。同样，行L14经由列信号线VSL3连接至A/D转换器ADC0，行L8经由列信号线VSL0连接至A/D转换器ADC1，且行L4经由列信号线VSL2连接至A/D转换器ADC2。因此，像素值被分别读取为曝光A_a、曝光A_b和曝光A_c。
在读取时刻t＝2以及后续的读取时刻，通过如表1所示地操作连接开关60，能够进行从A/D转换器40(ADC0，ADC1，ADC2和ADC3)读取曝光A_a、曝光A_b、曝光A_c和曝光B的像素值的操作(图11)。
在图12至图14中，图示了在读取时刻t＝0、1和2时被分别读取为曝光图像的行的编号。根据图12至图14，能够发现：如图7的曝光时序图所示地进行读取像素值的操作。
如上所述，通过同时读取时域上重叠的时段内的多幅曝光图像(同时读取)，设置比常规读取多的A/D转换器40，且分散地使用A/D转换器40，能够在单个垂直同步时段内读取多幅曝光图像。
在本示例中，具体地说明共享列信号线32的像素单位，列信号线32的数量，并列设置的A/D转换器40的数量等。然而，不必以此方式设定数量。例如，优选的是，用于共享列信号线32的像素的单位是两行两列的像素或单个像素。此外，像素20和列信号线32之间的连接不限于本示例中所述的连接，且可以使用这样的构造：像素行连接至适当的A/D转换器40，以实现期望的曝光序列。
此外，在本示例中，各A/D转换器40读取的像素值数据对应于各曝光数据。然而，不必需要这样。例如，通过在读取像素值的整个过程中固定连接开关60的连接且适当地执行处理(诸如从A/D转换器40读取数据后适当地切换像素值数据等)，能够实现等同于本示例的曝光数据读取。
[变型例]
在上述的实施例中，例示了具有图1所示的平面结构的CMOS图像传感器10。然而，可以使用具有层压结构的CMOS图像传感器。这里，如图1所示，“平面结构”是这样的结构：像素阵列单元11的周边电路部分(即用于驱动像素阵列单元11的各像素20的驱动单元)和包含A/D转换器40等的信号处理单元布置在布置有像素阵列单元11的半导体基板30上。
此外，“层压结构”是像素阵列单元11和周边电路部分别安装在半导体基板30_1和30_2上的结构，且半导体基板30_1和30_2如图15A所示地层压。在采用层压结构的情况下，能够使用这样的构造：像素阵列单元11这侧的半导体基板30_1中的单位像素20被划分成具有预定尺寸的区域，被划分成的各组被称为像素组27，且A/D转换器40针对各像素组27布置在半导体基板30_2上。在这种情况下，单个A/D转换器40由像素组27中的在垂直方向和水平方向上彼此相邻的多个单位像素20共享。如图15B所示，单个像素组27中的像素20经由信号线34连接至对应的A/D转换器40。在图15B中，图示了像素组27包括垂直方向上的四个像素×水平方向上的四个像素的情况。
此外，作为用于获取CMOS图像传感器10的入射光的像素结构，当将布置有配线层的这一面假设为正面时，可以使用从正面获取入射光的正面照射型像素结构，且可以使用从背面(布置有配线层的这一面的反面)获取入射光的背面照射型像素结构。
此外，在上述的实施例中，已经将CMOS图像传感器作为根据本发明的固态成像器件的示例进行说明。然而，本发明的应用不限于应用于CMOS图像传感器。即，根据本发明的用于将单位像素20分组且在单个垂直同步时段内将多个像素组中的至少单个像素组多次曝光的技术能够同样适用于CCD图像传感器。
<根据本发明的成像装置>
根据上述实施例的CMOS图像传感器10能够用作成像装置的成像单元，该成像装置诸如是数码照相机、摄影机、监控摄像机和车载相机。优选地，尤其将根据本实施例的CMOS图像传感器10用于诸如监控摄像机和车载相机等成像装置，以便在不饱和且不造成变黑的条件下对高动态范围的场景进行成像。
[***构造]
图16是根据本发明的成像装置的示例性构造的框图。如图16所示，根据本发明的成像装置100包括光学透镜101、成像单元102、图像处理器103、相机信号处理单元104、控制器105和时序控制器106。
在图16中，光学透镜101将来自被摄体(未示出)的图像光(入射光)聚焦在成像单元102的成像面上。作为成像单元102，使用CMOS图像传感器10。在CMOS图像传感器10中，单位像素被分成多个像素组。
如上所述，在CMOS图像传感器10中，相对于多个像素组中的各者独立地设定曝光开始时刻和曝光结束时刻，使得多个像素组中的至少单个像素组在单个垂直同步时段内被多次曝光。因此，例如，在曝光序列1的情况下，CMOS图像传感器10输出像素组A的三次曝光(即曝光A_a、曝光A_b和曝光A_c)的曝光图像的图像数据，和针对像素组B进行一次曝光B的曝光图像的图像数据。
在上述的示例中，时序控制器16设置在CMOS图像传感器10的半导体基板(芯片)30上。然而，时序控制器16可以设置在半导体基板30的外部。在图16的示例性构造中，图示了时序控制器16设置在半导体基板30的外部的情况。即，图16的时序控制器106对应于图1的时序控制器16，并且对于曝光结束时刻在时域上彼此重叠的多幅曝光图像，时序控制器进行控制，从而以时间分割的方式每行地输出图像数据。
图像处理器103是HDR图像产生单元，该单元用于在从CMOS图像传感器10输出的曝光A_a、曝光A_b和曝光A_c的各曝光图像的图像数据和曝光B的曝光图像的图像数据的基础上产生高动态范围的图像(下文被称为“HDR图像”)。后面将详细说明图像处理器103。相机信号处理单元104执行常规相机的诸如白平衡调整和伽马校正等信号处理，并且产生输出图像(HDR图像)。
控制器105例如包括中央处理单元(CPU)，控制器105根据存储在存储器(未示出)中的程序将控制信号输出至图像处理器103、相机信号处理单元104和时序控制器106，并且控制各种处理。
如上所述，在CMOS图像传感器10中，相对于多个像素组中的各者独立地设定曝光开始时刻和曝光结束时刻，使得多个像素组中的至少单个像素组在单个垂直同步时段内被多次曝光。因此，在图像处理器103中，例如，在从CMOS图像传感器10输出的对像素组A进行三次曝光A_a、曝光A_b和曝光A_c的曝光图像的图像数据和对像素组B进行一次曝光B的曝光图像的图像数据的基础上，产生高动态范围的图像。
通过该结构，当拍摄高动态范围的场景时，能够在单个垂直同步时段内将多个曝光设定为使曝光图像之间的曝光时间比彼此接近。因此，能够实现以下成像装置：利用该成像装置几乎不发生关于各曝光图像的HDR合成处理的伪影，例如，空间分辨率的劣化和由曝光图像之间的S/N的差造成的噪声水平差。
顺便提及地，能够考虑使用设定大的曝光时间比来拍摄高动态范围的方法。然而，对于该方法，因为曝光时间彼此分开，所以移动体区域中各图像的模糊程度(移动体模糊)变化很大，且难以执行合成处理。此外，如果曝光图像的曝光时间是分开的，那么在大部分的亮度区域中，具有对一定量的入射光有效的像素值的像素相位减少，且分辨率容易劣化。
另一方面，在成像装置100中，通过在单个垂直同步时段内进行多次曝光且在空间上并列地设定曝光序列，对于高动态范围的场景，能够将曝光图像的曝光时间设定为彼此接近。因此，几乎不发生分辨率的劣化。即，根据本成像装置100，可以在拍摄高动态范围的场景的同时，抑制分辨率的劣化。
在本构造例中，作为示例已经说明将用于产生HDR图像的图像处理器103(参照图16)设置在作为成像单元102的CMOS图像传感器10的外部的情况。然而，图像处理器103能够设置在CMOS图像传感器10中。在这种情况下，CMOS图像传感器10是具有图像处理器103功能的固态成像器件。此外，在CMOS图像传感器10具有如图15A所示的层压结构的情况下，因为图像处理器103能够安装在布置有A/D转换器40的半导体基板30_2上，所以优点在于图像处理器103能够不增加芯片尺寸地设置在内部。
以下，将说明图像处理器103在预定的曝光序列下执行图像处理的具体实施例。对于各实施例，图像处理器103的构造是不同的。根据第一和第四实施例的图像处理器103在曝光序列1下执行图像处理，且根据第二和第三实施例的图像处理器103在将在后面说明的曝光序列2下执行图像处理。
(第一实施例)
图17是根据第一实施例的图像处理器103A的示例性构造的框图。如图17所示，根据第一实施例的图像处理器103A包括行序列转换单元1031、存储单元1032和作为第一图像合成单元的HDR合成单元1033。
行序列转换单元1031每行地将同一像素组中的曝光顺序在单个垂直同步时段内不是最后一个的曝光图像的像素值数据保存在存储单元1032中。然后，行序列转换单元1031每行地根据单个垂直同步时段内被最后曝光的曝光图像的像素值数据的输出时刻从存储单元1032读取同一行的像素值数据。通过行序列转换单元1031进行的处理，当将行对齐时，输出多个曝光像素的像素值数据。
作为第一图像合成单元的HDR合成单元1033，通过将从行序列转换单元1031将行对齐行并进行输出的多个曝光像素的像素值数据在多个曝光像素之间进行合成，来产生HDR图像数据。
接着，将参照图18说明由根据具有上述构造的第一实施例的图像处理器103A执行的图像处理。图18是根据第一实施例的由图像处理器103A执行的图像处理的流程图。
在单位像素20例如被分成两种类型的像素组A和B的CMOS图像传感器10中，像素组A在单个垂直同步时段内被三次曝光，且像素组B在单个垂直同步时段内被一次曝光(参照图4的曝光序列1)。此外，以时间分割的方式从CMOS图像传感器10读取像素组A中的三种类型曝光图像的像素值数据。
具体地，首先，顺序地读取曝光A_a的曝光图像的行a0、a1、a2…的像素值数据。跟随A_a的曝光图像的读取行a3，以时间分割的方式读取曝光A_b的曝光图像的最先读取行b0的像素值数据。类似于曝光A_a和曝光A_b的曝光图像中各者的像素值数据的读取，以时间分割的方式读取曝光A_c的曝光图像的像素值数据。
从CMOS图像传感器10读取的像素值数据供给至行序列转换单元1031。行序列转换单元1031将从CMOS图像传感器10读取的曝光A_a的曝光图像的各行的像素值数据和曝光A_b的曝光图像的各行的像素值数据暂时存储在存储单元1032中。然后，在读取曝光A_c的曝光图像的各行的像素值数据时，行序列转换单元1031读取与存储在存储单元1032中的曝光A_a的曝光图像和曝光A_b的曝光图像对应的行的像素值数据。HDR合成单元1033通过形成三种类型的曝光图像的像素值数据来产生高动态范围(HDR)的图像数据(HDR图像数据)。
在图18中，图示了在从CMOS图像传感器10读取曝光A_a、曝光A_b和曝光A_c的各曝光像素的各行的像素值数据后的处理的流程。在这种情况下，如图18所示，按照从CMOS图像传感器10读取的顺序，将行的像素值数据存储在存储单元1032中。例如，像素图像数据的顺序是a0，a1，a2，a3，b0，a4，b1，a5，b2···。其后，从CMOS图像传感器10读取曝光A_c的曝光图像的最先行的像素值数据c0，且在读取时刻从存储单元1032读取对应行的像素值数据a0和b0，并且输出合成结果A0。
即，通过在存储单元1032中的存储和从存储单元1032的读取，由此进行同步处理，可以吸收由曝光A_a、曝光A_b和曝光A_c的曝光时间差造成的曝光图像的读取行之间的时间滞差。通过该处理，可以合成对应曝光图像的同一行中的像素值数据，并且产生HDR数据A0，A1，A2…。
这里，存储单元1032的必要存储容量是与直至作为曝光A_c的最先被读取的行的像素值数据c0的读取时被读取的行一样多的行的数据量。这是因为，优选的是，在像素值数据c0后的时刻读取的曝光A_a和曝光A_b的曝光图像的数据被重写至存储单元1032的已经被读取曝光A_a和曝光A_b的曝光图像的数据的存储区域。
此外，如图19所示，可以进一步合成来自像素组A的HDR图像数据A0、A1、A2…和来自像素组B的输出数据B0、B1、B2…，并且将合成结果输出为HDR图像数据C0、C1、C2…。
如上所述，在第一实施例中，在行序列转换单元1031中，执行这样的同步处理：将曝光顺序在单个垂直同步时段内不是最后的曝光图像的各行的像素值数据保存在存储单元1032中，并且根据最后曝光图像的各行的像素值数据的输出时刻从存储单元1032读取同一行的像素值数据。通过该处理，能够大幅减小在单个垂直同步时段内进行多次曝光所需的用于等待(用于同步)的存储单元1032的存储容量。这同样适用于下面的实施例。
(第二实施例)
根据第一实施例的图像处理是在曝光序列1的情况下的图像处理，在曝光序列1中，像素组A在单个垂直同步时段内被三次曝光，且像素组B在单个垂直同步时段内被一次曝光(参照图4)。另一方面，如图20所示，根据第二实施例的图像处理是在这样的曝光序列(下文被称为“曝光序列2”)的情况下的图像处理：在单个垂直同步时段内均多次(例如，三次)曝光像素组A和B。
图20是根据本实施例的曝光序列的另一个示例(曝光序列2)的图。在曝光序列2中，当假设像素组A和像素组B的曝光图像是A_a、A_b、A_c、B_a、B_b和B_c时，以B_a、A_a、B_b、A_b、B_c和A_c的顺序将曝光时间交替设定为短和长。
图21是根据第二实施例的图像处理器103B的示例性构造的框图。如图21所示，根据第二实施例的图像处理器103B包括作为第二图像合成单元的顺序HDR合成单元1034，该顺序HDR合成单元1034代替第一实施例中的行序列转换单元1031和HDR合成单元1033。
顺序HDR合成单元1034将同一像素组中的在单个垂直同步时段内被最先曝光的曝光图像的像素值数据保存在存储单元1032中。此外，对于单个垂直同步时段内曝光顺序不是最先的曝光图像，顺序HDR合成单元1034参考像素值数据来计算合成值，该像素值数据以像素为单位素已经保存在存储单元1032中并与曝光图像的像素位置和周边像素位置对应，并且顺序HDR合成单元将该合成值保存在存储单元1032中。然后，当对于单个垂直同步时段内被最后曝光的曝光图像，已经完成像素值数据的合成时，顺序HDR合成单元1034输出合成结果。
在图20的下部，图示了这样的处理的流程：对于图像中的最先行，通过顺序HDR合成单元1034顺序地合成被交替地进行曝光A和曝光B的六幅曝光图像，并且输出最终结果。对于六幅图像的曝光时间之间的间隔，类似于第一实施例，通过使用存储单元1032执行同步处理。
除了存储单元1032和顺序HDR合成单元1034以外，根据第二实施例的图像处理器103B还包括组间HDR合成单元1035、移动被摄体确定单元1036、合成比确定单元1037和合成比历史存储单元1038。
组间HDR合成单元1035相对于通过顺序HDR合成单元1034合成单个垂直同步时段内被最后曝光的曝光图像而获得的各像素组的最终合成结果来计算像素组之间的合成值，并且将合成值输出为HDR图像数据。
移动被摄体确定单元1036在各像素位置处确定(估计)被摄体是否移动，即，被摄体是否是移动被摄体。更具体地，移动被摄体确定单元1036参考曝光图像的像素值和存储单元1032中的像素值来在各像素位置处确定被摄体是否移动，并且输出确定结果。
在移动被摄体确定单元1036的确定结果的基础上，合成比确定单元1037确定当计算合成像素值时的合成比，即，顺序HDR合成单元1034和组间HDR合成单元1035中的合成比。合成比历史存储单元1038存储顺序HDR合成单元1034的合成比的在先历史(即，合成比确定单元1037确定的合成比的历史)，并且输出该历史。
当在移动被摄体确定单元1036的估计结果的基础上确定合成比时，合成比确定单元1037参考从合成比历史存储单元1038输出的合成比历史来确定合成比。此外，合成比确定单元1037参考各曝光图像的曝光时间来确定合成比。能够从时序控制器16(参照图1)获得关于各曝光图像的曝光时间的信息。此外，合成比确定单元1037参考各曝光图像的像素值水平来确定合成比。
这里，将参照图22的流程图说明这样的处理的流程的示例：通过移动被摄体确定单元1036来估计在各像素位置处被摄体是否移动，通过合成比确定单元1037来根据估计结果确定两幅图像之间的合成比，并且将两幅图像合成。在被包括于控制器105(参照图16)中的CPU的控制下执行上述一系列处理。此外，在图22中，图像M和图像N分别表示待被顺序地合成的两幅图像。
CPU选择图像M和图像N中的目标位置(步骤S11)，产生图像M中的目标位置周围的5×5像素的平均值aveM(步骤S12)，且顺序地产生图像N中的目标位置周围的5×5像素的平均值aveN(步骤S13)。接着，CPU计算平均值aveM和平均值aveN之间的差值绝对值d(步骤S14)。
接着，CPU根据差值绝对值d和确定阈值之间的大小关系来确定合成比α(步骤S15)。具体地，在步骤S15中，在两幅图像M和N之间的差值绝对值d大于确定阈值的情况下，确定像素位置是移动体区域，且执行设定合成比α的处理，使得使用具有较短曝光时间的图像。
接着，CPU使用步骤S15中设定的合成比α来合成图像M和图像N中的目标位置处的像素值(步骤S16)，并且顺序地确定是否选择了两幅图像M和N中的所有像素位置，即是否已经完成了对两幅图像M和N的所有像素位置处的上述处理(步骤S17)。
然后，如果还未完成所有像素位置处的处理(S17中为否)，那么CPU返回到步骤S11，并且重复一系列处理。此外，如果已经完成处理(S17中为是)，那么CPU输出合成结果(步骤S18)。对于一次顺序HDR合成，完成了确定两幅图像M和N之间的合成比α且使用该合成比α合成该两幅图像M和N的一系列处理。
如上所述，在第二实施例中，顺序HDR合成单元1034针对每个像素组从同一像素组中的具有相同的行编号的曝光图像顺序地执行HDR合成处理。然后，从顺序HDR合成单元1034输出单个垂直同步时段内获得的最终HDR合成结果。此外，组间HDR合成单元1035执行这样的处理：计算像素组之间的合成值，并且将结果输出为HDR图像数据。
(第三实施例)
图23是根据第三实施例的图像处理器的示例性构造的框图。如图23所示，根据第三实施例的图像处理器103C包括作为第三图像合成单元的顺序HDR合成单元1039，该顺序HDR合成单元1039代替第二实施例中的顺序HDR合成单元1034。根据第三实施例的图像处理器103C还包括像素值插补单元1040，且其他部件与根据第二实施例的图像处理器103B的部件相同。
在所有像素组的曝光图像中，顺序HDR合成单元1039将单个垂直同步时段内被最先曝光的曝光图像的像素值数据保存在1032中。此外，对于曝光顺序在单个垂直同步时段内不是第一个的曝光图像，参考以像素为单位已经保存在存储单元1032中的与曝光图像的像素位置和周边像素位置对应的像素值数据来计算合成像素值，并且将合成像素值保存在存储单元1032中。然后，当对于单个垂直同步时段内被最后曝光的曝光图像，已经完成像素值数据的合成时，顺序HDR合成单元1039输出最终合成结果。
这里，在不同的空间相位中对像素组A和像素组B进行采样。因此，在顺序HDR合成单元1039的在先阶段中，像素值插补单元1040在将像素值插补至所有像素位置后执行合成处理。像素值插补单元1040在每像素组地从CMOS图像传感器10读取的像素值的基础上将像素值插补至所有像素位置。
此时，当顺序HDR合成单元1039接收来自像素值插补单元1040的输出且接收的输出表示所有像素组的所有曝光图像中的在单个垂直同步时段内被最先曝光的图像时，顺序HDR合成单元1039将像素值数据保存在存储单元1032中。此外，当图像为曝光顺序在单个垂直同步时段内的不是第一个的曝光图像时，顺序HDR合成单元1039进行这样的操作：参考以像素为单位已经保存在存储单元1032中的与曝光图像的像素位置和周边像素位置对应的像素值数据来计算合成值，并且将该值保存在存储单元1032中。
如上所述，在第三实施例中，顺序HDR合成单元1039使用存储单元1032顺序地执行像素组之间的HDR合成处理。此外，像素值插补单元1040执行将从像素组读取的像素值插补至所有像素位置处理。
(第四实施例)
顺便提及地，在使用发光二极管(LED)作为光源的交通灯和使用荧光灯作为光源的光指示牌等中，在由于交流(AC)电源的波动而造成光源闪光的情况下，能够看到取决于闪光时段和相机的帧速率之间的关系而关闭或闪烁的发光交通灯和指示牌。该现象被称为闪烁现象。在闪烁现象下，能够看见，发光物体消失(所谓的黑障)或闪烁。该现象特别造成用于识别的车载相机等中的问题。
提供第四实施例用以解决由闪烁现象造成的缺点，并且第四实施例是防止看到发光物体消失或闪烁这一现象的曝光驱动。图24图示了第四实施例的情况下的曝光序列。
如图24所示，在根据实施例4的曝光序列中，例如，假设：像素组A在单个垂直同步时段内被五次曝光，像素组B在单个垂直同步时段内被一次曝光。以从较早的曝光开始时刻的顺序，将像素组A中的五次曝光称为曝光A_a、曝光A_b、曝光A_c、曝光A_d和曝光A_e。
对于像素组A中的通过五次曝光A_a、曝光A_b、曝光A_c、曝光A_d和曝光A_e获得的五幅曝光图像，将曝光顺序在单个垂直同步时段内是第i个的图像的被最先读取的行的曝光开始时间称为Si[sec]，将曝光时段称为ti[sec]，且将闪烁光源的闪烁周期称为T[sec]。这里，当假设在不饱和地对包括发光物体的被摄体场景进行成像的情况下的曝光时间的上限是tmax[sec]时，所有曝光时段ti满足ti<tmax。
假设：各曝光时段ti被设定成能够通过像素组A的五幅曝光图像和像素组B的一幅曝光图像来实现期望的动态范围。此时，考虑设定各曝光图像的曝光时刻，以便在光源点亮的时段内对图像进行成像。
当假设由闪动闪烁周期进行归一化获得的曝光开始时间是归一化曝光开始时间xSi[sec]时，满足xSi＝Si–floor(Si/T)·T。注意，floor()是地板(floor)函数。这里，要考虑各曝光图像的曝光时段对应于闪烁周期中的哪个相位。当闪烁周期中的第i个图像的曝光时段的范围由集合Mi表示时，满足下面的方程式。
if(ti>T) Mi＝{p|0<p≤T}
else if(xSi+ti>T) Mi＝{p|0<p≤xSi+ti-T or xSi≤p≤T}
else Mi＝{p|xSi<p≤xSi+ti}。
这里，标记p是表示被包括在集合Mi中的时间的元素。
当将集合的总和假设为Mall＝M1∪M2∪…∪MN时，如果在使Mall的值范围最大化的曝光开始时间Si的基础上设定各曝光时刻，则可以实现能够容易拍摄闪烁灯光时段的曝光。
如上所述，在第四实施例中，在拍摄诸如使用LED作为光源的交通灯等以高频闪光的发光物体的情况下，在设定多幅曝光图像中的各者的曝光开始时间和曝光时间长度时要考虑到发光物体的闪烁周期。通过该处理，因为能够在不错过发光物体的发光时刻的情况下确定曝光序列，所以能够在容易地拍摄发光时刻的同时，对使用现有方法成像时图像中有闪光或关闭的光源物体进行成像。
<根据本发明的电子设备>
根据上述实施例的CMOS图像传感器10能够用于成像装置，诸如数码照相机、摄影机、监控摄像机和车载相机。此外，CMOS图像传感器10能够作为成像单元用于通常具有成像功能的电子设备，诸如手机和智能手机等。
图25是根据本发明的电子设备的示意性构造的***构造图。如图25所示，根据本发明的电子设备200包括光学***201(其包括透镜组等)、成像单元202、DSP电路203(其作为相机信号处理单元)、帧存储器204、显示装置205、记录装置206、操作***207、电源***208等。此外，DSP电路203、帧存储器204、显示装置205、记录装置206、操作***207和电源***208经由总线209互相连接。
光学***201通过获取来自被摄体的入射光(图像光)将图像形成在成像单元202的成像面上。成像单元202以像素为单位将通过光学***201聚焦在成像面上的入射光的量转换成电信号，并且将该电信号输出为像素信号。根据上述实施例的CMOS图像传感器10能够用作成像单元202。
这里，在CMOS图像传感器10包含上述的图像处理器103(参照图16)的情况下，DSP电路203执行通常的相机信号处理，诸如白平衡处理、去马赛克处理和伽马校正处理等。在CMOS图像传感器10不包含图像处理器103的情况下，DSP电路203执行图像处理器103的在通常的相机信号处理前的处理。
帧存储器204适当地用于存储由DSP电路203进行的信号处理的过程中的数据。显示装置205包括诸如液晶显示器或有机电致发光(EL)显示器等面板型显示器，并且显示由成像单元202进行成像获得的动态图像或静态图像。记录装置206将由成像单元202进行成像获得的动态图像或静态图像记录在诸如便携式半导体存储器、光盘和硬盘驱动(HDD)等记录介质中。
操作***207在用户的操作下发出针对电子设备200的各种功能的操作指令。电源***208将待作为DSP电路203、帧存储器204、显示装置205、记录装置206和操作***207的工作电源的各种电源适当地供给至这些器件。
在上述的根据本发明的电子设备200中，通过将CMOS图像传感器10或成像装置100用作成像单元202，能够在不劣化空间分辨率的情况下对高动态范围的场景进行成像。
注意，本发明能够采用下面的构造。
[1]一种固态成像器件，其包括：
像素阵列单元，其中，包含光电转换元件的单位像素被布置为矩阵形式，各单位像素被分成多个像素组；和
时序控制器，其相对于多个像素组中的各组独立地设定曝光开始时刻和曝光结束时刻，使得多个像素组中的至少一个像素组在单个垂直同步时段内被多次曝光。
[2]根据[1]所述的固态成像器件，其中，
时序控制器相对于多个像素组中的各组独立地设定曝光开始时刻和曝光结束时刻，使得对于多次曝光中的至少两次曝光，稍后开始曝光的曝光图像中的被最先读取的行中的单位像素的曝光结束时刻早于先前开始曝光的曝光图像中的作为最后读取行的行中的单位像素的曝光结束时刻。
[3]根据[2]所述的固态成像器件，其中，
对于曝光结束在时域上重叠的多幅曝光图像，时序控制器进行控制从而以时间分割的方式每行地输出各图像数据。
[4]根据[1]至[3]中任一项所述的固态成像器件，还包括：
图像处理器，图像处理器在多个像素组的各曝光图像的图像数据的基础上产生高动态范围的图像。
[5]根据[4]所述的固态成像器件，其中，
图像处理器包括行序列转换单元，行序列转换单元将单个垂直同步时段内不是被最后曝光的曝光图像的各行的像素值数据保存在存储单元中，行序列转换单元根据单个垂直同步时段内被最后曝光的曝光图像的各行的像素值数据的输出时刻从存储单元读取同一行的像素值数据，并且行序列转换单元将所述多幅曝光图像的行对齐并进行输出。
[6]根据[5]所述的固态成像器件，其中，
图像处理器包括第一图像合成单元，第一图像合成单元将从行序列转换单元将行对齐并进行输出的多个曝光像素的像素值数据，在多个曝光像素之间进行合成并输出合成的数据。
[7]根据[4]所述的固态成像器件，其中，
图像处理器包括第二图像合成单元，第二图像合成单元将单个垂直同步时段内的最先曝光的曝光图像的像素值数据保存在存储单元中，第二图像合成单元参考以像素为单位已经保存在存储单元中的与图像自身的像素位置和周边像素位置对应的像素值数据来计算曝光顺序在单个垂直同步时段内不是第一个的曝光图像的合成像素值，并将计算出的值保存在存储单元中，并且当已经完成单个垂直同步时段内的最后曝光的曝光图像的像素值数据的合成时，第二图像合成单元输出最终合成结果。
[8]根据[7]所述的固态成像器件，其中，
在各像素组中，第二图像合成单元将单个垂直同步时段内的最先曝光的曝光图像的像素值数据保存在存储单元中，并且第二图像合成单元参考以像素为单位已经保存在存储单元中的与图像自身的像素位置和周边像素位置对应的像素值数据来计算曝光顺序在单个垂直同步时段内不是第一个的曝光图像的合成像素值，并将计算出的值保存在存储单元中。
[9]根据[7]或[8]所述的固态成像器件，其中，
图像处理器包括像素组间合成单元，像素组间合成单元参考各像素组的最终合成结果来计算像素组之间的合成值，该最终合成结果是由第二图像合成单元将单个垂直同步时段内的最后曝光的曝光图像进行合成而获得的。
[10]根据[7]所述的固态成像器件，其中，
图像处理器包括第三图像合成单元，在所有像素组的曝光图像中，第三图像合成单元将在单个垂直同步时段内最先曝光的曝光图像的像素值数据保存在存储单元中，第三图像合成单元参考以像素为单位已经保存在存储单元中的与图像自身的像素位置和周边像素位置对应的像素值数据来计算曝光顺序在单个垂直同步时段内不是第一个的曝光图像的合成像素值，并将计算出的值保存在存储单元中，并且当已经完成单个垂直同步时段内的最后曝光的曝光图像的像素值数据的合成时，第三图像合成单元输出最终合成结果。
[11]根据[10]所述的固态成像器件，其中，
图像处理器包括像素值插补单元，像素值插补单元在针对各像素组读取的像素值的基础上将像素值插补至所有像素位置，且
第三图像合成单元在像素值插补单元的输出的基础上将所有像素组的所有曝光图像中的在单个垂直同步时段内最先曝光的曝光图像的像素值数据保存在存储单元中，第三图像合成单元参考以像素为单位已经保存在存储单元中的与图像自身的像素位置和周边像素位置对应的像素值数据来计算曝光顺序在单个垂直同步时段内不是第一个的曝光图像的合成像素值，并且第三图像合成单元将计算出的合成像素值保存在存储单元中。
[12]根据[7]至[10]中任一项所述的固态成像器件，其中，
图像处理器包括：
移动被摄体确定单元，移动被摄体确定单元确定在各像素位置处被摄体是否移动；和
合成比确定单元，合成比确定单元在移动被摄体确定单元的确定结果的基础上确定在计算合成像素值时的合成比。
[13]根据[12]所述的固态成像器件，其中，
移动被摄体确定单元通过参考曝光图像的像素值和存储单元中的像素值来估计在各像素位置处被摄体是否移动。
[14]根据[12]或[13]所述的固态成像器件，其中，
图像处理器包括合成比历史存储单元，合成比历史存储单元存储由合成比确定单元确定的合成比的历史，且
合成比确定单元参考存储在合成比历史存储单元中的合成比的历史来确定合成比。
[15]根据[12]至[14]中任一项所述的固态成像器件，其中，
合成比确定单元参考各曝光图像的曝光时间来确定合成比。
[16]根据[12]至[15]中任一项所述的固态成像器件，其中，
合成比确定单元参考各曝光图像的像素值水平来确定合成比。
[17]根据[1]至[16]中任一项所述的固态成像器件，还包括：
A/D转换器，A/D转换器对以像素列为单位从像素阵列单元的各单位像素输出的模拟像素信号进行数字化。
[18]一种成像装置，其包括：
固态成像器件，固态成像器件包括：
像素阵列单元，在像素阵列单元中，包含光电转换元件的单位像素被布置为矩阵形式，各单位像素被分成多个像素组；和
时序控制器，时序控制器相对于多个像素组中的各组独立地设定曝光开始时刻和曝光结束时刻，使得多个像素组中的至少一个像素组在单个垂直同步时段内被多次曝光。
[19]根据[18]所述的成像装置，其中，
在拍摄发光物体的情况下，时序控制器考虑发光物体的闪烁周期来设定通过多次曝光而获得的多幅曝光图像中的各者的曝光开始时间和曝光时间长度。
[20]一种电子设备，其包括：
固态成像器件，固态成像器件包括：
像素阵列单元，在像素阵列单元中，包含光电转换元件的单位像素被布置为矩阵形式，各单位像素被分成多个像素组；和
时序控制器，时序控制器相对于多个像素组中的各组独立地设定曝光开始时刻和曝光结束时刻，使得多个像素组中的至少一个像素组在单个垂直同步时段内被多次曝光。
附图标记列表
10 CMOS图像传感器
11 像素阵列单元
12 行扫描单元
13 列处理单元
14 列扫描单元
15 水平输出线
16 时序控制器
20 单位像素
21 光电二极管(PD)
22 传输晶体管
23 复位晶体管
24 放大晶体管
25 选择晶体管
26 FD单元(电荷检测单元)
30 半导体基板
31(31_1至31_m) 行控制线
32(32_1至32_n) 列信号线
40(40_1至40_n) A/D转换器
100 成像装置
101 光学透镜
102 成像单元
103、103A、103B、103C 图像处理器
104 相机信号处理单元
105 控制器
1031 行序列转换单元
1032 存储单元
1033 HDR合成单元(第一图像合成单元)
1034 顺序HDR合成单元(第二图像合成单元)
1035 组间HDR合成单元
1036 移动被摄体确定单元
1037 合成比确定单元
1038 合成比历史存储单元
1039 顺序HDR合成单元(第三图像合成单元)
1040 像素值插补单元
200 电子设备

Claims (19)

1.一种固态成像器件，其包括：
像素阵列单元，在所述像素阵列单元中，包含光电转换元件的单位像素被布置为矩阵形式，各单位像素被分成多个像素组；和
时序控制器，所述时序控制器相对于所述多个像素组中的各组独立地设定曝光开始时刻和曝光结束时刻，使得所述多个像素组中的至少一个像素组在单个垂直同步时段内被多次曝光，
其中，在拍摄发光物体的情况下，所述时序控制器考虑所述发光物体的闪烁周期来设定通过多次曝光而获得的多幅曝光图像中的各者的曝光开始时间和曝光时间长度。
2.根据权利要求1所述的固态成像器件，其中，
所述时序控制器相对于所述多个像素组中的各组独立地设定所述曝光开始时刻和所述曝光结束时刻，使得对于所述多次曝光中的至少两次曝光，稍后开始曝光的曝光图像中的被最先读取的行中的单位像素的曝光结束时刻早于先前开始曝光的曝光图像中的作为最后读取行的行中的单位像素的曝光结束时刻。
3.根据权利要求2所述的固态成像器件，其中，
对于曝光结束在时域上重叠的多幅曝光图像，所述时序控制器进行控制从而以时间分割的方式每行地输出各图像数据。
4.根据权利要求1所述的固态成像器件，还包括：
图像处理器，所述图像处理器被构造为在所述多个像素组的各曝光图像的图像数据的基础上产生高动态范围的图像。
5.根据权利要求4所述的固态成像器件，其中，
所述图像处理器包括行序列转换单元，所述行序列转换单元将所述单个垂直同步时段内不是被最后曝光的曝光图像的各行的像素值数据保存在存储单元中，所述行序列转换单元根据所述单个垂直同步时段内被最后曝光的曝光图像的各行的像素值数据的输出时刻从所述存储单元读取同一行的像素值数据，并且所述行序列转换单元将所述多幅曝光图像的行对齐并进行输出。
6.根据权利要求5所述的固态成像器件，其中，
所述图像处理器包括第一图像合成单元，所述第一图像合成单元将从所述行序列转换单元将行对齐并进行输出的多个曝光像素的像素值数据，在多个曝光像素之间进行合成并输出合成的数据。
7.根据权利要求4所述的固态成像器件，其中，
所述图像处理器包括第二图像合成单元，所述第二图像合成单元将所述单个垂直同步时段内的最先曝光的曝光图像的像素值数据保存在存储单元中，所述第二图像合成单元参考以像素为单位已经保存在所述存储单元中的与所述图像自身的像素位置和周边像素位置对应的像素值数据来计算曝光顺序在所述单个垂直同步时段内不是第一个的曝光图像的合成像素值，并将计算出的值保存在所述存储单元中，并且当已经完成所述单个垂直同步时段内的最后曝光的曝光图像的像素值数据的合成时，所述第二图像合成单元输出最终合成结果。
8.根据权利要求7所述的固态成像器件，其中，
在各像素组中，所述第二图像合成单元将所述单个垂直同步时段内的最先曝光的曝光图像的像素值数据保存在所述存储单元中，并且所述第二图像合成单元参考以像素为单位已经保存在所述存储单元中的与所述图像自身的像素位置和周边像素位置对应的像素值数据来计算曝光顺序在所述单个垂直同步时段内不是第一个的曝光图像的合成像素值，并将计算出的值保存在所述存储单元中。
9.根据权利要求7所述的固态成像器件，其中，
所述图像处理器包括像素组间合成单元，所述像素组间合成单元参考各像素组的最终合成结果来计算所述像素组之间的合成值，所述最终合成结果是通过所述第二图像合成单元将所述单个垂直同步时段内的最后曝光的曝光图像进行合成而获得的。
10.根据权利要求7所述的固态成像器件，其中，
所述图像处理器包括第三图像合成单元，在所有像素组的曝光图像中，所述第三图像合成单元将在所述单个垂直同步时段内最先曝光的曝光图像的像素值数据保存在所述存储单元中，所述第三图像合成单元参考以像素为单位已经保存在所述存储单元中的与所述图像自身的像素位置和周边像素位置对应的像素值数据来计算曝光顺序在所述单个垂直同步时段内不是第一个的曝光图像的合成像素值，并将计算出的值保存在所述存储单元中，并且当已经完成所述单个垂直同步时段内的最后曝光的曝光图像的像素值数据的合成时，所述第三图像合成单元输出最终合成结果。
11.根据权利要求10所述的固态成像器件，其中，
所述图像处理器包括像素值插补单元，所述像素值插补单元在针对各像素组读取的像素值的基础上将像素值插补至所有像素位置，且
所述第三图像合成单元在所述像素值插补单元的输出的基础上将所有像素组的所有曝光图像中的在所述单个垂直同步时段内最先曝光的曝光图像的像素值数据保存在所述存储单元中，所述第三图像合成单元参考以像素为单位已经保存在所述存储单元中的与所述图像自身的像素位置和周边像素位置对应的像素值数据来计算曝光顺序在所述单个垂直同步时段内不是第一个的曝光图像的合成像素值，并且所述第三图像合成单元将计算出的合成像素值保存在所述存储单元中。
12.根据权利要求7所述的固态成像器件，其中，
所述图像处理器包括：
移动被摄体确定单元，所述移动被摄体确定单元确定在各像素位置处被摄体是否移动；和
合成比确定单元，所述合成比确定单元在所述移动被摄体确定单元的确定结果的基础上确定在计算所述合成像素值时的合成比。
13.根据权利要求12所述的固态成像器件，其中，
所述移动被摄体确定单元通过参考所述曝光图像的像素值和所述存储单元中的像素值来估计在各像素位置处所述被摄体是否移动。
14.根据权利要求12所述的固态成像器件，其中，
所述图像处理器包括合成比历史存储单元，所述合成比历史存储单元存储所述合成比确定单元确定的合成比的历史，且
所述合成比确定单元参考存储在所述合成比历史存储单元中的合成比的历史来确定合成比。
15.根据权利要求12所述的固态成像器件，其中，
所述合成比确定单元参考各曝光图像的曝光时间来确定所述合成比。
16.根据权利要求12所述的固态成像器件，其中，
所述合成比确定单元参考各曝光图像的像素值水平来确定所述合成比。
17.根据权利要求1-16中任一项所述的固态成像器件，还包括：
A/D转换器，所述A/D转换器被构造为对以像素列为单位从所述像素阵列单元的各单位像素输出的模拟像素信号进行数字化。
18.一种成像装置，其包括根据权利要求1-17中任一项所述的固态成像器件。
19.一种电子设备，其包括根据权利要求1-17中任一项所述的固态成像器件。
CN201680063615.6A 2015-11-05 2016-09-20 固态成像器件、成像装置和电子设备 Active CN108293098B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-217243 2015-11-05
JP2015217243 2015-11-05
PCT/JP2016/077665 WO2017077775A1 (ja) 2015-11-05 2016-09-20 固体撮像素子、撮像装置、及び、電子機器

Publications (2)

Publication Number Publication Date
CN108293098A CN108293098A (zh) 2018-07-17
CN108293098B true CN108293098B (zh) 2021-01-19

Family

ID=58661813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680063615.6A Active CN108293098B (zh) 2015-11-05 2016-09-20 固态成像器件、成像装置和电子设备

Country Status (4)

Country Link
US (1) US10541259B2 (zh)
JP (1) JPWO2017077775A1 (zh)
CN (1) CN108293098B (zh)
WO (1) WO2017077775A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117034A1 (ja) * 2015-01-20 2016-07-28 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP6604297B2 (ja) * 2016-10-03 2019-11-13 株式会社デンソー 撮影装置
JP2019015697A (ja) * 2017-07-11 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び移動体装置
JP7157529B2 (ja) 2017-12-25 2022-10-20 キヤノン株式会社 撮像装置、撮像システム、および撮像装置の駆動方法
CN111193882A (zh) * 2018-11-15 2020-05-22 格科微电子（上海）有限公司 单帧高动态范围图像传感器的实现方法
KR20210002966A (ko) * 2019-07-01 2021-01-11 삼성전자주식회사 이미지 센서 및 그것의 구동 방법
CN112543261A (zh) * 2020-12-08 2021-03-23 浙江大华技术股份有限公司 一种图像质量提升方法、装置以及计算机可读存储介质
CN114363524B (zh) * 2022-01-24 2022-09-20 北京显芯科技有限公司 背光控制方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668125A (zh) * 2008-09-03 2010-03-10 索尼株式会社 成像装置、固态成像器件、图像处理装置、方法和程序
JP2011244309A (ja) * 2010-05-20 2011-12-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
CN103125112A (zh) * 2010-09-27 2013-05-29 富士胶片株式会社 成像设备以及成像方法
CN103181160A (zh) * 2010-07-28 2013-06-26 富士胶片株式会社 成像设备和成像方法
JP2014154982A (ja) * 2013-02-06 2014-08-25 Canon Inc 撮像装置およびその制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4482781B2 (ja) 2000-10-06 2010-06-16 ソニー株式会社 撮像装置および方法
CN101057493B (zh) 2004-11-02 2011-05-25 松下电器产业株式会社 图像传感器
JP2007124174A (ja) * 2005-10-27 2007-05-17 Fujifilm Corp 固体撮像装置および固体撮像素子の駆動制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668125A (zh) * 2008-09-03 2010-03-10 索尼株式会社 成像装置、固态成像器件、图像处理装置、方法和程序
JP2011244309A (ja) * 2010-05-20 2011-12-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
CN103181160A (zh) * 2010-07-28 2013-06-26 富士胶片株式会社 成像设备和成像方法
CN103125112A (zh) * 2010-09-27 2013-05-29 富士胶片株式会社 成像设备以及成像方法
JP2014154982A (ja) * 2013-02-06 2014-08-25 Canon Inc 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JPWO2017077775A1 (ja) 2018-08-23
US20180323225A1 (en) 2018-11-08
CN108293098A (zh) 2018-07-17
WO2017077775A1 (ja) 2017-05-11
US10541259B2 (en) 2020-01-21

Similar Documents

Publication Publication Date Title
CN108293098B (zh) 固态成像器件、成像装置和电子设备
US11146752B2 (en) Solid-state imaging apparatus, driving method of the solid-state imaging apparatus, and electronic equipment
US10498984B2 (en) Solid-state image pickup device, method of driving the same, and electronic apparatus
US9912886B2 (en) Image capturing apparatus and driving method of image sensor
US9942482B2 (en) Image sensor with transfer gate control signal lines
US10110827B2 (en) Imaging apparatus, signal processing method, and program
US10362246B2 (en) Solid-state image pickup device, method of driving the same, and electronic apparatus
CN106847845B (zh) 摄像设备、摄像***和摄像设备的驱动方法
US9674469B2 (en) Solid-state imaging device, method of driving the same, and electronic apparatus
US7821547B2 (en) Image sensing apparatus that use sensors capable of carrying out XY addressing type scanning and driving control method
JP5645505B2 (ja) 撮像装置及びその制御方法
US20090190020A1 (en) Imager apparatus, driving method, and camera
KR20110014089A (ko) 고체 촬상 장치, 고체 촬상 장치의 아날로그-디지털 변환 방법 및 전자기기
TW200948057A (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
JP2008131407A (ja) 固体撮像素子およびそれを用いた撮像装置
US8947565B2 (en) Solid-state image capture element and image capture device comprising said solid-state image capture element, and image capture control method and image capture control program
WO2019208412A1 (ja) 撮像装置及び撮像装置の駆動方法
JPWO2019146316A1 (ja) 撮像装置及び電子機器
CN115209068A (zh) 固态摄像装置、固态摄像装置的驱动方法、以及电子设备
US20150036033A1 (en) Solid-state imaging device
US20160205335A1 (en) Solid-state imaging device
US20240006430A1 (en) Multiresolution imager for night vision
JP2007020224A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant