CN102984464A

CN102984464A - 摄像装置

Info

Publication number: CN102984464A
Application number: CN2012102422808A
Authority: CN
Inventors: 岛田义尚; 羽田和宽; 池田诚
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Corp
Priority date: 2011-09-06
Filing date: 2012-07-12
Publication date: 2013-03-20
Anticipated expiration: 2032-07-12
Also published as: JP2013055610A; JP5784426B2; CN102984464B; US8866961B2; US20130057754A1

Abstract

本发明提供一种摄像装置，其不需要高级的图像处理，能够取得用于得到位置偏差小的高动态范围图像的图像数据。作为解决手段，该摄像装置具有：2维状地排列有多个像素的像素部（21）；确定曝光量以控制成使像素部（21）连续性质地多次曝光的曝光量控制部；能存储输出图像的多个帧的像素部（21）的像素信号的存储器部（22）；读出像素部（21）的像素信号并存储于存储器部（22）中的垂直扫描电路（24）；以及读出存储于存储器部（22）中的像素信号的列处理部（23），垂直扫描电路（24）依次读出多次曝光涉及的各像素信号并存储于存储器部（22）中。

Description

摄像装置

技术领域

本发明涉及摄像装置，更具体而言涉及能够取得用于得到高动态范围图像的图像数据的摄像装置。

背景技术

已知通过合成曝光时间不同的多个图像（例如短秒时和长秒时的2个图像），从而取得超过仅利用1个图像能取得的动态范围的动态范围的图像（高动态范围图像）的技术。

参照图26～图28说明这种技术的一例。图26是表示现有的摄像部的构成的一例的图，图27是表示现有的摄像部的一个像素的构成的电路图，图28是表示使用以往的摄像部逐帧交替取得长时间曝光图像和短时间曝光图像时的情形的时序图。

图26所示的现有的摄像部91具有：2维状（例如按行方向和列方向）排列有多个像素的像素部92；以行为单位从该像素部92读出像素值，使用CDS部进行相关2重采样或使用增益部进行放大的读出部93；以行为单位从该读出部93读出像素值并转换为数字信号的数字处理部94。

如图27所示，在像素部92中构成的像素具有作为光电转换部的PD（光电二极管）和在读出电荷时暂时保持该光电转换部PD的信号的作为信号蓄积部的FD（浮动扩散）。

在光电转换部PD与信号蓄积部FD之间串联连接有用于将光电转换部PD的信号传送给信号蓄积部FD的传送晶体管TX。

TrA是作为放大部发挥作用的放大用晶体管，与电压源Vdd和电流源构成源输出放大器（source follow amplifier）。信号蓄积部FD的信号被放大晶体管TrA放大，经由被施加了选择脉冲的选择晶体管后被输出给垂直传送线。

FDRST是用于复位信号蓄积部FD和放大晶体管TrA的输入部的FD复位晶体管。另外，使FD复位晶体管FDRST和传送晶体管TX同时导通，从而能够同时进行光电转换部PD的复位。

图28表示使用这种构成的摄像部，逐帧交替取得长时间曝光图像和短时间曝光图像时的情形。

例如，在某帧进行长曝光时间TexpL的曝光数据的读出。曝光是滚动快门方式，在读出定时之前复位PD以成为长曝光时间。此后在垂直同步信号VD的上升沿以行为单位依次进行来自像素部92的数据读出。在与该以行为单位的读出同时，以行为单位依次完成曝光。由此从摄像部91取得长时间曝光涉及的数据输出L。

在接下来的帧中，进行短曝光时间TexpS的曝光数据的读出。在垂直同步信号VD的上升沿定时以行为单位依次进行来自像素部92的数据读出，从摄像部91取得短时间曝光涉及的数据输出S。

通过重复进行如上处理，从而能够逐帧交替取得长时间曝光图像和短时间曝光图像。于是，通过对在第1帧取得的长时间曝光图像与在第2帧取得的短时间曝光图像进行高动态范围合成，从而生成1帧的高动态范围图像。同样地，通过对在第3帧取得的长时间曝光图像与在第4帧取得的短时间曝光图像进行高动态范围合成，从而生成下1个帧的高动态范围图像。以往就是如上来取得为摄像帧率的一半的帧率的高动态范围图像。

然而在这种现有技术中，为了取得不同曝光时间的图像，需要重复多次曝光时机不同的摄影。因此在被摄体为移动体的情况下，在以不同时机曝光的图像中的运动被摄体产生位置偏差，若将产生了位置偏差的图像彼此合成起来，则会在合成结果的图像中发生画质变差。

作为用于对应该问题的技术，例如在日本特开2011-4353号公报中描述了在曝光时间不同的图像之间指定共同区域，求出共同区域一致的位置偏差校正量，来进行图像处理的图像处理装置。

然而在上述日本特开2011-4353号公报所述的技术中，为了进行位置偏差校正，需要仿射（affine）变换或块匹配等高级图像处理技术，因而需要在独立于照相机的计算机中进行处理，或者使照相机具备足够的处理功能，会导致摄像装置的价格变高和大型化。

另外，在上述现有技术中，例如在合成2张图像时，为了取得1张合成图像需要读出2张图像。因此若欲在动态图像中取得高动态范围图像，则存在帧率降低（例如在将2张合成的情况下，帧率会减半）的课题。

发明内容

本发明就是鉴于上述情况而完成的，其目的在于提供一种能够在不需要高级的图像处理的情况下，取得用于得到位置偏差小的高动态范围图像的图像数据的摄像装置。

本发明的一个方面涉及的摄像装置进行曝光以取得图像信号，其具有：像素部，其2维状地排列有产生与曝光量相应的信号电荷的多个像素；曝光量控制部，其确定上述像素部的曝光量；存储器部，其能够存储输出图像的多个帧的来自上述像素部的像素信号；像素读出控制部，其读出上述像素部的像素信号，并存储于上述存储器部中；以及存储器读出控制部，其读出存储于上述存储器部中的像素信号，上述曝光量控制部控制为使上述像素部进行连续性质的多次曝光，上述像素读出控制部依次读出上述连续性质的多次曝光涉及的各像素信号并存储于上述存储器部中。

通过一并参见附图进行的后述说明能够进一步明确理解本发明上述及另外的目的、特征、优势。

附图说明

图1是表示本发明的参考例的摄像装置的构成的框图。

图2是表示上述参考例的摄像部的构成的图。

图3是表示上述参考例中1个像素涉及的像素部、存储器部和列处理部的构成的电路图。

图4是表示上述参考例中用于取得高动态范围图像的摄像部的基本摄像动作的图。

图5是表示上述参考例中像素部的第1行和第2行的动作的时序图。

图6是表示上述参考例中像素部的第1行的像素的晶体管等的信号变化的情形的时序图。

图7是表示在本发明的第1实施方式中，1个像素涉及的像素部、存储器部和列处理部的构成的电路图。

图8是表示在上述第1实施方式中，用于取得高动态范围图像的摄像部的摄像动作的图。

图9是表示在上述第1实施方式中，从像素部向存储器部传送第1曝光图像数据和第2曝光图像数据的情形的图。

图10是表示在上述第1实施方式中，像素部的第1行和第2行的动作的时序图。

图11是表示本发明的第2实施方式中，1个像素涉及的像素部、存储器部和列处理部的构成的电路图。

图12是表示上述第2实施方式中，用于取得高动态范围图像的摄像部的摄像动作的图。

图13是表示上述第2实施方式中，从像素部向存储器部传送第1～第3曝光图像数据的情形的图。

图14是表示上述第2实施方式中，从列处理部向存储器部传送经过了平均运算的曝光图像数据的情形的图。

图15是表示在上述第2实施方式中，像素部的第1行和第2行的动作的时序图。

图16是表示在上述第2实施方式中，像素部的第1行的像素的晶体管等的信号变化的情形的时序图。

图17是表示在本发明的第3实施方式中，1个像素涉及的像素部、存储器部和列处理部的构成的电路图。

图18是表示在上述第3实施方式中，用于取得高动态范围图像的摄像部的摄像动作的图。

图19是表示在上述第3实施方式中，长曝光时间时光电转换部的电荷蓄积量相对于入射光强度的线图。

图20是表示在上述第3实施方式中，短曝光时间时光电转换部的电荷蓄积量相对于入射光强度的线图。

图21是表示在上述第3实施方式中，将光电转换部的饱和电平设为预定的阈值电平，在列处理部中将长时间曝光图像与短时间曝光图像进行简易HDR合成时的输出电平的线图。

图22是表示在上述第3实施方式中，将光电转换部的饱和电平设为预定的阈值电平，在列处理部中将长时间曝光图像与短时间曝光图像更简单地进行简易HDR合成时的输出电平的线图。

图23是表示在上述第3实施方式中，在列处理部中将长时间曝光图像与短时间曝光图像单纯进行相加来进行简易HDR合成时的输出电平的线图。

图24是表示在上述第3实施方式中，像素部的第1行和第2行的动作的时序图。

图25是表示在上述第3实施方式中，像素部的第1行的像素的晶体管等的信号变化的情形的时序图。

图26是表示现有的摄像部的构成的一例的图。

图27是表示现有的摄像部的一个像素的构成的电路图。

图28是表示现有的摄像部逐帧交替取得长时间曝光图像和短时间曝光图像时的情形的时序图。

具体实施方式

首先参照图1至图6，以与本发明实施方式关联的摄像元件的基本构成作为参考例进行说明。其中，图1是表示摄像装置的构成的框图。

如图1所示，该摄像装置具有镜头1、摄像部2、HDR（High Dynamic Range：高动态范围）数字合成部3、AF评价值运算部4、显示部5、抖动检测部7、抖动校正部8、曝光控制部9、对焦控制部10、照相机操作部11、照相机控制部12。并且虽然图1还描述了存储卡6，然而由于该存储卡6构成为可在摄像装置上拆装，因而可以不是摄像装置固有的构成。

镜头1用于使被摄体的光学像成像于摄像部2所包含的摄像元件2a的摄像区域中。该镜头1具有调节焦点位置进行对焦的对焦镜头和控制通过的光束的范围的光圈，在本例中还具备抖动校正功能。

摄像部2具有对由镜头1成像的被摄体的光学像进行光电转换并作为图像信号输出的摄像元件（摄像传感器）2a、对从该摄像元件2a输出的图像信号实施模拟信号处理，然后转换为数字信号的信号处理电路等。并且在本例中，摄像元件2a构成为能够在垂直于镜头1的摄影光轴的表面内移动，具备抖动校正功能。

HDR数字合成部3根据从摄像部2输出的曝光量不同的多张图像或在摄像部2内进行简易HDR合成得到的图像，生成高动态范围图像。

AF评价值运算部4根据从摄像部2输出的图像信号计算AF评价值并输出给照相机控制部12。即，该摄像装置构成为例如通过对比度AF进行自动对焦。

显示部5用于显示由HDR数字合成部3合成的高动态范围图像。即，该显示部5进行高动态范围实时取景（LV）显示和高动态范围静态图像显示。显示部5还显示该摄像装置涉及的各种信息等。

存储卡6是用于保存由HDR数字合成部3合成的高动态范围图像的记录介质。

抖动检测部7构成为具有加速度传感器等，检测该摄像装置的抖动并输出给照相机控制部12。

抖动校正部8用于根据照相机控制部12的控制，使镜头1和摄像元件2a之中的至少一方移动以抵消检测出的抖动，减轻在成像于摄像元件2a的摄像区域上的光学被摄体像中产生的抖动的影响。

曝光控制部9是根据由照相机控制部12确定的快门速度（曝光时间），基于该照相机控制部12的控制，控制摄像元件2a的元件快门（该元件快门中包含全局快门，即总括地复位摄像元件2a的所有像素以开始摄影用的曝光，在经过了预定的曝光时间后总括地传送所有像素的图像信号并结束曝光的快门），取得曝光时间不同的多张图像的摄像控制部。进而，曝光控制部9还根据由照相机控制部12确定的光圈值，进行镜头1中所包含的光圈的控制等。其中，快门速度和光圈值是由照相机控制部12使用根据从摄像部2输出的图像信号计算出的测光数据和由照相机操作部11设定的灵敏度等，例如根据沿着APEX***的程序线图等确定的。因此，曝光控制部9和照相机控制部12作为确定摄像部2的后述的像素部21的曝光量，控制成使该像素部21连续多次曝光的曝光量控制部发挥作用。曝光控制部9还将摄像元件2a的驱动信息输出给照相机控制部12。

对焦控制部10为了调节焦点而驱动镜头1。即，对焦控制部10根据从AF评价值运算部4接受了AF评价值的照相机控制部12的控制，驱动镜头1中所包含的对焦镜头，使得成像于摄像元件2a上的被摄体像达到对焦状态。对焦控制部10还将镜头位置等镜头驱动信息输出给照相机控制部12。

照相机操作部11是用于进行对该摄像装置的各种操作输入的操作部。该照相机操作部11包含用于接通/断开摄像装置的电源的电源开关、用于指示输入静态图像摄影、动态图像摄影等的释放按钮、用于设定静态图像摄影模式和动态图像摄影模式、实时取景模式、高动态范围摄影模式等的模式按钮等操作部件。

照相机控制部12根据来自对焦控制部10的镜头驱动信息和来自AF评价值运算部4的AF评价值、来自抖动检测部7的抖动信息、来自照相机操作部11的操作输入等，控制包含HDR数字合成部3、存储卡6、抖动校正部8、曝光控制部9、对焦控制部10等在内的该摄像装置整体。

接着图2是表示摄像部2的构成的图。

摄像部2具有具备多个像素31的像素部21、存储器部22、列处理部23、垂直扫描电路24、水平读出电路25、控制电路26、水平信号线27、输出放大器28。并且摄像部2的摄像元件2a至少具有像素部21，其他电路要素既可以位于摄像元件2a内，也可以在摄像元件2a外。另外，图2所示的各电路要素的配置位置不一定与实际的配置位置一致。

像素部21是2维状（矩阵状）（图2的例子中为10行×12列）地排列有产生与曝光量相应的信号电荷的多个像素31的摄像区域。

存储器部22用于暂时蓄积排列于像素部21中的各像素部31的信号电荷，例如构成为具有与排列于像素部21中的各像素31数量相同且排列相同的存储器。例如，通常动态图像的输出像素数少于静态图像（通常为静态图像的像素数的几分之一左右），因而该存储器部22对于动态图像能够存储多个帧的来自上述像素部的像素信号。存储器部22还可以构成为能够存储多个帧的静态图像的像素信号。后述的实施方式以该构成作为前提。

垂直扫描电路24例如由移位寄存器构成，例如以行为单位对排列于像素部21中的各像素31进行驱动控制，或对所有像素同时（全局动作）进行驱动控制。因此，垂直扫描电路24（或者还有控制电路26）成为读出像素部21的像素信号并存储于存储器部22中的像素读出控制部。该垂直扫描电路24进行依次读出连续多次曝光涉及的各像素信号并存储于存储器部22中的控制。在垂直扫描电路24的驱动控制中，包括像素31的复位动作、蓄积动作、从像素部21向存储器部22的信号读出动作等的控制。为了进行该驱动控制，垂直扫描电路24经由对每行设置的控制信号线32向各像素31输出控制信号，按照每行独立控制像素31。例如，垂直扫描电路24对像素部21的所有像素31进行驱动控制，将所有像素31的像素信号一起传送给存储器部22的存储器。

进而，垂直扫描电路24例如以行为单位对排列于存储器部22中的存储器进行驱动控制。该驱动控制包含以行为单位从排列于存储器部22中的存储器中将像素信号读出到列处理部23的控制等。

列处理部23对经由每列的垂直信号线33从存储器部22的各存储器输出的像素信号或者在由垂直扫描电路24（或者还有控制电路26）读出像素部21的像素信号存储于存储器部22中时对像素信号进行例如噪声除去和放大、后述的各种运算等信号处理。该列处理部23还是像素读出控制部。

水平读出电路25例如由移位寄存器构成，选择读出像素信号的像素列，依次选择与所选择的像素列有关的列处理部23，从列处理部23依次将像素信号输出到水平信号线27，从而读出像素信号。

列处理部23、垂直扫描电路24和水平读出电路25（或者还有控制电路26）构成读出存储于存储器部22中的像素信号的存储器读出控制部。

输出放大器28对输出给水平信号线27的像素信号进行放大等信号处理，将像素信号输出到外部。

控制电路26根据曝光控制部9的控制，生成作为上述列处理部23、垂直扫描电路24、水平读出电路25等的动作基准的时钟信号和控制信号等并输出，控制这些列处理部23、垂直扫描电路24、水平读出电路25等。

图3是表示1个像素涉及的像素部21、存储器部22和列处理部23的构成的电路图。

像素部21的像素31具有作为光电转换部的PD（光电二极管）和在读出电荷时暂时保持该光电转换部PD的信号的作为信号蓄积部的FD（浮动扩散）。其中，光电转换部PD生成（产生）与入射光对应的信号电荷，保持/蓄积所生成（产生）的信号电荷。另外，信号蓄积部FD是暂时保持/蓄积从光电转换部PD传送的信号电荷的电容。该光电转换部PD的一端和信号蓄积部FD的一端分别接地。

在光电转换部PD的另一端与信号蓄积部FD的另一端之间串联连接有用于将蓄积于光电转换部PD中的信号电荷传送给信号蓄积部FD的传送晶体管TX。即，传送晶体管TX的漏极端子与光电转换部PD的另一端连接，源极端子与信号蓄积部FD的另一端连接。另外，作为传送晶体管TX的输入部的栅极端子与垂直扫描电路24连接，从垂直扫描电路24提供传送脉冲，控制传送晶体管TX的导通/截止。

TrA是作为放大部发挥作用的放大用晶体管，对输入到栅极端子且基于蓄积于信号蓄积部FD中的信号电荷的信号进行放大并从源极端子输出。该放大晶体管TrA的漏极端子与电压Vdd连接。另外，作为放大晶体管TrA的输入部的栅极端子与传送晶体管TX的源极端子连接。进而，放大晶体管TrA的源极端子与电流源连接。放大晶体管TrA与电压源Vdd和电流源一起构成源输出放大器。

FDRST是用于复位信号蓄积部FD和放大晶体管TrA的输入部的FD复位晶体管。该FD复位晶体管FDRST的漏极端子与电压源Vdd连接，FD复位晶体管FDRST的源极端子与传送晶体管TX的源极端子连接。另外，作为FD复位晶体管FDRST的输入部的栅极端子与垂直扫描电路24连接，从垂直扫描电路24提供FD复位脉冲，控制FD复位晶体管的导通/截止。在这种构成中，通过同时使FD复位晶体管FDRST与传送晶体管TX导通，从而还能够与信号蓄积部FD的复位同时进行光电转换部PD的复位。

通过这种构成，光电转换部PD的信号在暂时蓄积于信号蓄积部FD中之后，被放大晶体管TrA放大，输出到存储器部22侧。

存储器部22具有电容器C1、开关SW1-1、开关SW2-1、作为模拟存储器的存储器m1、晶体管TrB-1、开关SW3-1。

电容器C1的一端与放大晶体管TrA的源极端子连接。该电容器C1是对从放大晶体管TrA输出的放大信号的电压电平进行钳位（固定）的电容。电容器C1的另一端与由晶体管构成的开关SW1-1的漏极端子连接。

开关SW1-1是对电容器C1的另一端的电压电平进行采样保持，并保持、蓄积于存储器m1中的晶体管。该开关SW1-1的栅极端子与垂直扫描电路24连接，从垂直扫描电路24提供采样脉冲，控制开关SW1-1的导通/截止。

开关SW2-1是用于复位存储器m1的晶体管，其源极端子与开关SW1-1的源极端子连接，漏极端子与参照电压Vref连接。该开关SW2-1的栅极端子与垂直扫描电路24连接，从垂直扫描电路24提供钳位&存储器复位脉冲，控制开关SW2-1的导通/截止。

存储器m1一端接地，另一端与开关SW1-1的源极端子连接，用于保持/蓄积由开关SW1-1所采样并保持的模拟信号。该存储器m1构成为容量大于信号蓄积部FD的容量。

晶体管TrB-1是作为放大部发挥作用的放大用晶体管，根据蓄积于存储器m1中的信号电荷将输入到栅极端子的信号放大，从源极端子输出。该晶体管TrB-1的漏极端子与电压源Vdd连接。而作为晶体管TrB-1的输入部的栅极端子与开关SW1-1的源极端子连接。进而，晶体管TrB-1的源极端子经由开关SW3-1与电流源连接。晶体管TrB-1与电压源Vdd和电流源一起构成源输出放大器。

开关SW3-1是用于进行将模拟的存储器m1的信号输出给垂直信号线33的选择的晶体管。而所选择的信号经由垂直信号线33被传送给列处理部23。该开关SW3-1的漏极端子与晶体管TrB-1的源极端子连接，源极端子与电流源连接。另外，开关SW3-1的栅极端子与垂直扫描电路24连接，从垂直扫描电路24提供选择脉冲，控制开关SW3-1的导通/截止。

基于这种构成，来自像素部21的信号暂时蓄积于存储器m1中，此后被晶体管TrB-1放大，输出到列处理部23侧。

列处理部23具有开关SW5、电容器C2、开关SW6、电容器C3、开关SW8。

开关SW5由晶体管构成，其漏极端子与开关SW3-1的源极端子连接，而源极端子与电容器C2的一端连接。该开关SW5的栅极端子与控制电路26连接，由从控制电路26提供的脉冲控制导通/截止。

电容器C2的另一端与开关SW6的源极端子、电容器C3的另一端、开关SW8的漏极端子连接。该电容器C2是对从晶体管TrB-1输出且经由开关SW3-1和开关SW5输入的放大信号的电压电平进行钳位（固定）的电容。

开关SW6是用于复位电容器C3的晶体管，其漏极端子与参照电压Vref连接。该开关SW6的栅极端子与控制电路26连接，由从控制电路26提供的脉冲控制导通/截止。

电容器C3的一端接地，另一端与开关SW6的源极端子连接，保持/蓄积基于电容器C2的电压电平的模拟信号。

开关SW8是用于进行读出电容器C3的信号并经由水平信号线27传送给输出放大器28的选择的晶体管。该开关SW8的漏极端子与开关SW6的源极端子连接，源极端子与水平信号线27连接。另外，开关SW8的栅极端子与水平读出电路25连接，由从水平读出电路25提供的脉冲控制导通/截止。

如上，在列处理部23中选择的列的像素信号被后级的输出放大器28放大并输出。

摄像部2在输出放大器28的后级还设有未图示的A/D转换部，来自摄像部2的信号在数字化后被输出到HDR数字合成部3。

并且，关于上述各晶体管，还可以使极性相反，与上述内容相反地设置源极端子和漏极端子，以下举例说明输入侧为漏极端子、输出侧为源极端子的情况的例子。而且在以下内容中，适当省略开关由晶体管构成的明确描述。

图4是表示用于取得高动态范围图像的摄像部2的基本摄像动作的图，图5是表示像素部21的第1行和第2行的动作的时序图，图6是表示像素部21的第1行的像素的晶体管等的信号变化的情形的时序图。并且图4中作为一个例子示出了取得曝光时间不同的2种图像的情况。

首先，照相机控制部12根据测光结果预先设定长时间和短时间这2种作为曝光时间Texp。

然后曝光控制部9在距离垂直同步信号VD的上升定时起例如回溯了长时间曝光时间的时刻，同时进行摄像元件2a的所有像素的光电转换部PD的复位（即全局快门方式）。如上所述，该光电转换部PD的复位是通过使FD复位晶体管FDRST和传送晶体管TX同时导通来进行的（参见图5和图6）。而FD复位晶体管FDRST和传送晶体管TX变为截止的时刻就是曝光开始时刻。在该复位动作后，信号蓄积部FD的电位也复位为电压源Vdd，来自放大晶体管TrA的放大后的输出降低了TrA的Vfh的量（Vdd-Vth）（参见图6）。

此后，在垂直同步信号VD的上升定时之前的时刻，使FD复位晶体管FDRST导通，将信号蓄积部FD复位，同时使开关SW2-1导通，从而将存储器m1复位为图6所示的参照电压Vref。此时再同时导通开关SW1-1，从而将电容器C1的另一端的电位复位为参照电压Vref，并且开关SW1-1开始电容器C1的另一端的电位的采样保持。

此后，使FD复位晶体管FDRST截止，从而结束信号蓄积部FD的复位。关于该信号蓄积部FD的复位，为了进一步降低泄漏电流导致的噪声，优选尽量在曝光期间将要结束前进行。

接着，通过使开关SW2-1截止，结束存储器m1的复位。在该时刻，电容器C1对从放大晶体管TrA输出的放大信号（信号蓄积部FD的复位后的放大信号）进行钳位。

此后，通过使传送晶体管TX导通，使蓄积于所有像素的光电转换部PD中的信号电荷经由传送晶体管TX被传送给信号蓄积部FD，蓄积于信号蓄积部FD。由此，信号蓄积部FD的端子波形、放大晶体管TrA的输出波形、存储器m1的另一端的电位如图6所示发生变化。

接着，在垂直同步信号VD的上升定时，通过使所有像素的传送晶体管TX截止，从而使所有像素的曝光（信号电荷的蓄积）一并（同时）结束。

与该传送晶体管TX的截止同时使开关SW1-1截止，从而结束电容器C1的另一端的电位的采样保持。这样，蓄积于像素部21的所有像素中的信号被采样保持于存储器m1中。

此后，曝光控制部9经由列处理部23以行伟单位依次读出在存储器m1中采样保持的图像信号。即，首先使第1行的开关SW3-1、开关SW5和开关SW6导通，从而电容器C3被复位为参照电压Vref，而且电容器C2的另一端的电位也被复位为参照电压Vref，还开始采样保持。

接着，使开关SW6截止并使开关SW2-1导通，从而使蓄积于存储器m1中的信号被复位，其结果经由通过TrB-1所构成的源随器（source follow）电路被输出到垂直信号线33。通过该开关操作，使得蓄积于存储器m1中的信号作为正方向的变化量被输出到垂直信号线33，传递给电容器C3。

此后，使开关SW2-1、开关SW3-1和开关SW5截止，从而存储器m1的信号被采样保持于电容器C3中。

然后在被施加水平传送脉冲时，蓄积于电容器C3中的信号经由开关SW8被输出到水平信号线27。

输出到水平信号线27的信号被输出放大器28放大之后转换为数字信号，从摄像部2输出到HDR数字合成部3。

与蓄积于存储器m1中的图像信号的第1行相当的信号如上述被依次输出到水平信号线而转换为数字信号。在经由水平信号线读出了所有的信号电荷后，同样地读出第2行的像素信号。通过对所有行重复进行该读出，从而能够将所有像素的信号电荷作为数字信号读出。

将上述处理按照每个垂直同步期间交替重复进行长时间曝光和短时间曝光，从而向HDR数字合成部3交替输入用于合成高动态范围图像所需的长时间曝光图像和短时间曝光图像。

接着参照附图说明本发明的实施方式。

[第1实施方式]

图7至图10表示本发明的第1实施方式，图7是表示1个像素涉及的像素部21、存储器部22和列处理部23的构成的电路图。

首先，本实施方式的摄像装置的基本构成与上述图1所示的相同。而本实施方式的摄像部2的基本构成也与上述图2所示的相同。

而且，本实施方式的摄像部2的像素部21和列处理部23的构成与图3所示的构成相同，而不同之处在于存储器部22中设置了第1存储器部MEM1和第2存储器部MEM2的构成。

即，存储器部22在电容器C1的后级并列排列了第1存储器部MEM1和第2存储器部MEM2，第1存储器部MEM1和第2存储器部MEM2的输出端都与开关SW5的漏极端子连接。

其中，第1存储器部MEM1构成为具有开关SW1-1、开关SW2-1、晶体管TrB-1、开关SW3-1、存储器m1。

同样地，第2存储器部MEM2构成为具有开关SW1-2、开关SW2-2、晶体管TrB-2、开关SW3-2、存储器m2。

这些第1存储器部MEM1和第2存储器部MEM2的结构与图3的存储器部22中的相应构成的结构相同。

图8是表示用于取得高动态范围图像的摄像部2的摄像动作的图，图9是表示从像素部21向存储器部22传送第1曝光图像数据和第2曝光图像数据的情形的图，图10是表示像素部21的第1行和第2行的动作的时序图。

并且，像素部21的第1行的像素的晶体管等的信号变化的情形与图6所示大致相同。

在本实施方式中，将1个垂直同步期间内的1个曝光时间分割为彼此不同的连续性质的2个曝光时间，即第1曝光时间Texp1（例如长曝光时间）和第2曝光时间Texp2（例如短曝光时间）分别进行读出，例如将前者模拟传送（MTrans1）给存储器部22的第1存储器部MEM1，此后将后者模拟传送（MTrans2）给存储器部22的第2存储器部MEM2。

其中，在将第1曝光时间Texp1蓄积的电荷传送给第1存储器部MEM1时，开关SW1-1导通，并且开关SW1-2截止。另外，在将第2曝光时间Texp2蓄积的电荷传送给第2存储器部MEM2时，开关SW1-1截止，并且开关SW1-2导通。对于向存储器m1和m2的信号传送方法与在参考例的说明中进行的信号传送方法相同。

并且，取代“连续的2个曝光时间”而叙述为“连续性质的2个曝光时间”的理由在于，如图10所示，在第1曝光时间Texp1与第2曝光时间Texp2之间FD复位晶体管FDRST导通，因而曝光时间中断了该脉冲期间（以下亦同）。因此“连续性质的”还可以称作“除去脉冲期间程度的时间而连续”。

然后与垂直同步信号VD同步地以行为单位依次读出存储于第1存储器部MEM1中的长时间曝光数据，与下一个垂直同步信号VD同步地以行为单位依次读出存储于第2存储器部MEM2中的短时间曝光数据。

并且在图8所示的例子中，先进行长时间曝光，之后进行短时间曝光，也可以采取相反的顺序。同样地，先读出长时间曝光图像，后读出短时间曝光图像，也可以采取相反的顺序，还可以使得曝光顺序与读出顺序不同。

在上述参考例的读出方式中，是根据在2个垂直同步期间内进行曝光的2次曝光图像进行HDR合成的，因此在被摄体在2个垂直同步期间内发生了移动或其间产生了手抖等引起的抖动的情况下，即使每次曝光通过适当的快门速度设定而取得不存在被摄体抖动（其中包含因手抖导致的抖动）的正常的图像，HDR合成后的图像也将成为受到抖动影响的恶化图像。然而根据第1实施方式的构成，若选择使得在将第1曝光时间Texp1与第2曝光时间Texp2相加得到的时间（即比1个垂直同步期间短的时间）内被摄体抖动变得足够小的快门速度，或者进一步通过该较短的时间、有效的手抖校正等效应抑制手抖等抖动要因，则合成得到的高动态范围图像的画质不会变差，因而能容易取得更高画质的图像。另外，即便产生了被摄体抖动导致的画质变差，与上述参考例的情况相比也能大幅抑制画质变差。

如上，通过在存储器部22内设置想要合成的曝光时间不同的图像的张数的数量的存储器部，从而能够取得接近同一曝光时刻的连续性质的曝光时间的多个图像。

[第2实施方式]

图11至图16表示本发明的第2实施方式，图11是表示1个像素涉及的像素部21、存储器部22和列处理部23A的构成的电路图。

在该第2实施方式中，对于与上述第1实施方式相同的部分赋予相同标号并省略说明，主要仅说明不同之处。

首先，本实施方式的摄像装置的基本构成与上述图1所示的相同。另外，本实施方式的摄像部2的基本构成除去列处理部23A的标号部分之外都与上述图2所示相同。

而且本实施方式的摄像部2的像素部21的构成与图3所示构成相同，而不同之处在于在存储器部22中设置了第1存储器部MEM1、第2存储器部MEM2、第3存储器部MEM3，而且列处理部23A还具备平均运算功能和加法运算功能（由于存在附加功能，因而标号由23变更为23A，而列处理部依旧为像素读出控制部）。

即，存储器部22在电容器C1的后级并列排列了第1存储器部MEM1、第2存储器部MEM2、第3存储器部MEM3，第1存储器部MEM1、第2存储器部MEM2、第3存储器部MEM3的输出端都与每列的垂直信号线33连接。每列的垂直信号线33中，列电路23A在后述的开关SW5-1的漏极端子、开关SW5-2的漏极端子、开关SW5-3的漏极端子中连接。

同样，第2存储器部MEM2构成为具有开关SW1-2、开关SW2-2、晶体管TrB-2、开关SW3-2、存储器m2。

而第3存储器部MEM3构成为具有开关SW1-3、开关SW2-3、晶体管TrB-3、开关SW3-3、存储器m3。

这些第1存储器部MEM1、第2存储器部MEM2、第3存储器部MEM3的结构与图3的存储器部22中的相应的构成的结构相同。

另外，存储器部22的电容器C1的一端与列处理部23A的电容器C3的一端连接，在该连接路径上的存储器部22内设有开关SW3-4。该开关SW3-4的栅极端子与垂直扫描电路24连接，从垂直扫描电路24提供脉冲而控制开关SW3-4的导通/截止。

另外，列处理部23A内以经由垂直信号线33与各行的第1存储器部MEM1、第2存储器部MEM2、第3存储器部MEM3的各输出端连接的方式，并联连接有开关SW5-1、开关SW5-2、开关SW5-3。进而，在这些开关SW5-1、开关SW5-2、开关SW5-3上分别串联连接有电容器C2-1、电容器C2-2、电容器C2-3的一端，电容器C2-1、电容器C2-2、电容器C2-3的另一端与运算放大器OP的反转输入端连接。其中，电容器C2-1、电容器C2-2、电容器C2-3的电容相同。

运算放大器OP的非反转输入端与参照电压Vref连接。

运算放大器OP的输出端与反转输入端还经由并列配设的开关SW6、开关SW7-1和电容器C4-1、开关SW7-2和电容器C4-2连接起来。

其中，开关SW7-1和电容器C4-1在对第1存储器部MEM1、第2存储器部MEM2、第3存储器部MEM3的各输出进行平均运算时使用，电容器C4-1的电容为电容器C2-1的电容的3倍，还是电容器C2-2和电容器C2-3的各电容的3倍。该平均运算的结果被存储于电容器C3，并且经由开关SW3-4存储于第1存储器部MEM1、第2存储器部MEM2、或第3存储器部MEM3中的任一个中。

另外，开关SW7-2和电容器C4-2用于读出存储于第1存储器部MEM1、第2存储器部MEM2或第3存储器部MEM3中的任一个中的平均运算的结果，进行3倍运算（更通常的情况为放大为曝光次数倍），从而结果取得相当于加法运算的结果。电容器C4-2的电容是电容器C2-1的电容的1/3倍，也是电容器C2-2和电容器C2-3的各电容的1/3倍。

而运算放大器OP的输出端与电容器C3的一端和开关SW8的漏极端子连接。

而且上述开关SW5-1、开关SW5-2、开关SW5-3、开关SW6、开关SW7-1、开关SW7-2的栅极端子与控制电路26连接，从控制电路26提供脉冲来控制它们的导通/截止。开关SW8的栅极端子与水平读出电路25连接，从水平读出电路25提供脉冲来控制其导通/截止。

接着，图12是表示用于取得高动态范围图像的摄像部2的摄像动作的图，图13是表示从像素部21向存储器部22传送第1～第3曝光图像数据的情形的图，图14是表示从列处理部23A向存储器部22传送经过了平均运算的曝光图像数据的情形的图，图15是表示像素部21的第1行和第2行的动作的时序图，图16是表示像素部21的第1行的像素的晶体管等的信号变化的情形的时序图。

在本实施方式中，将1个垂直同步期间内的1个曝光时间分割为连续性质的多个（图示的例子中为3个）曝光时间分别进行读出，此时曝光时间的分割例如为均等分割（即成为彼此相等的曝光时间）。而分割为3等分的情况下，将通过第1分割曝光取得的数据（Texp1）例如模拟传送给存储器部22的第1存储器部MEM1（MTrans1），将通过第2分割曝光取得的数据（Texp2）例如模拟传送给第2存储器部MEM2（MTrans2），将通过第3分割曝光取得的数据（Texp3）例如模拟传送给第3存储器部MEM3（MTrans3）（参见图13）。

其中，在将第1曝光时间Texp1蓄积的电荷传送给第1存储器部MEM1时，开关SW1-1导通，并且开关SW1-2和开关SW1-3截止（参见图15）。另外，在将第2曝光时间Texp2蓄积的电荷传送给第2存储器部MEM2时，开关SW1-2导通，并且开关SW1-1和开关SW1-3截止。进而，在将第3曝光时间Texp3蓄积的电荷传送给第3存储器部MEM3时，开关SW1-3导通，并且开关SW1-1和开关SW1-2截止。

接着，在进行平均运算的情况下，首先进行复位动作。

即，在导通了开关7-1的状态下，使开关SW6导通，从而将电容器C3、电容器C4-1复位。通过该复位动作使得电容器C3被复位为Vref电平，电容器C4-1的两端电位差为0。而在维持使开关SW6导通的状态下，使开关SW3-1和开关SW5-1导通，从而将电容器C2-1复位。同样地，在维持使开关SW6导通的状态下，使开关SW3-2和开关SW5-2导通，从而将电容器C2-2复位，通过使开关SW3-3和开关SW5-3导通，从而将电容器C2-3复位。通过该复位动作，电容器C2-1、电容器C2-2、电容器C2-3分别对反映了蓄积于存储器m1、存储器m2、存储器m3中的信号的状态进行钳位。

接着，使开关SW2-1、开关SW3-1和开关SW5-1导通，从而使运算放大器OP的输出电位如图16所示发生变化。当从上述的复位状态起进行了通过使开关SW2-1导通而将蓄积于存储器m1中的信号复位为Vref电平的操作时，蓄积于存储器m1中的信号作为正方向的变化量输出到垂直信号线33。其上升量被由运算放大器OP和电容器C4-1构成的电路变为1/3（电容器C2-1与电容器C4-1的电容比）倍，从Vref电平向负方向变化，在运算放大器输出中显现。

接着，在将开关SW7-1维持为导通状态的情况下，使开关SW2-1、开关SW3-1和开关SW5-1截止，然后使开关SW2-2、开关SW3-2和开关SW5-2导通，从而运算放大器OP的输出电位如图16所示进一步发生变化。通过该操作，运算放大器的输出使蓄积于存储器m2中的信号量向负方向变化1/3倍的量，在运算放大器的输出中显现。

进而，在将开关SW7-1维持为导通状态的情况下，使开关SW2-2、开关SW3-2和开关SW5-2截止，然后使开关SW2-3、开关SW3-3和开关SW5-3导通，从而运算放大器OP的输出电位如图16所示进一步发生变化。通过该操作，运算放大器OP的输出作为使蓄积于存储器m3中的信号量向负方向变化了1/3倍的量后的输出而显现出来。最终，使存储器m1、存储器m2、存储器m3的信号量分别为1/3倍且从Vref向负侧变化后的信号电平在运算放大器OP的输出中显现。这即相当于平均值计算。此后使开关SW2-3、开关SW3-3和开关SW5-3截止。

另一方面，通过使开关SW3-4导通，从而来自运算放大器OP的平均值被模拟传送（图14的MTransAve）到存储器部22，例如通过使开关SW1-1导通，使开关SW1-2和开关SW1-3截止，从而来自运算放大器OP的平均值被存储于存储器m1。

接着，进行蓄积于电容器C3中的平均值的读出，按照每行经由水平信号线27和输出放大器28读出平均值。向第1存储器部MEM1、第2存储器部MEM2、第3存储器部MEM3传送了图像信号后的平均值处理是在垂直同步信号VD的上升定时开始的。

对所有行读出了平均值之后，在下一个垂直同步信号VD的上升定时开始相加值的读出。

于是首先与上述同样地，在使开关7-2导通的状态下，使开关SW6导通，从而复位电容器C3、电容器C4-2。通过该复位动作使得电容器C3被复位为Vref电平，电容器C4-2的两端电位差为0。而在维持开关SW6导通的状态下，使开关SW3-1和开关SW5-1导通，从而复位电容器C2-1。此后使开关SW6截止，结束复位动作。通过该复位动作，电容器C2-1对反映了存储器m1的信号的状态进行钳位。

接着，在维持开关SW7-2导通的状态下，使开关SW2-1、开关SW3-1和开关SW5-1导通，从而运算放大器OP的输出成为平均值的3倍的值，即成为相加值。该相加值被蓄积于电容器C3中，按照每行经由水平信号线27和输出放大器28被读出来。

并且在本实施方式中，先运算平均值，此后进行3倍运算，取得相加值，其原因在于通过3倍运算可能会超过能够在摄像元件内处理的信号电平的上限。通常能够在摄像元件内处理的信号电平的上限为略微大于PD能够处理的信号电平的程度。即，在先计算出相加值的情况下，有时会达到传感器能够处理的信号电平的上限，即使按照其结果计算出平均值（除以3即可）还是不能取得正确的平均值。因此通过先运算平均值，能够取得可靠性更高的结果。

另外，在上述中，根据进行平均运算的结果取得了相加值，如果即使电路变得复杂也没关系，则能够分别独立地设置平均运算电路和相加运算电路来同时进行处理。

进而，进行了多次相加处理后，通常噪声会重叠。在本实施方式的摄像部2中噪声的重叠占据支配性地位的是从存储器部22起重叠的噪声。平均运算等运算动作导致的噪声的产生会导致进一步的噪声恶化。然而通常情况下对低灵敏度时的画质带来影响的噪声是依赖于在PD内产生的信号电荷的散粒噪声（Shot noise），电路性的噪声不会带来支配性的影响。即，在较低灵敏度时，来自光电转换部PD的多次数据传送和将该数据相加所导致的噪声的重叠（即画质的恶化）不会成为导致问题的电平。利用该优点，在蓄积时间较长，易于产生像抖动的低灵敏度时使用本实施方式的读出方法，能够实现对运动被摄体而言良好的HDR合成。

根据这样的第2实施方式，对用于进行HDR合成的信号电平不同的多个图像进行摄像时，不会成为相隔多个垂直同步期间的曝光图像，这样就能取得与上述第1实施方式相同的效果。

另外，在上述第1实施方式的构成中，虽说是连续性质地拍摄长时间曝光图像和短时间曝光图像，然而由于正确地来说曝光时刻是不同的时刻，因而例如当被摄体动作较快时进行动态范围放大合成所取得的图像会变得不自然。

对此，根据该第2实施方式，信号电平不同的多种图像，在上述例子中为与短时间曝光图像相应的信号电平的平均值图像和与长时间曝光图像相应的信号电平的相加值图像成为同一曝光时刻的图像，因而能够使进行动态范围放大合成所取得的图像成为更自然的图像。尤其在动态图像摄影中由于重视张的连续性，因而将快门速度设为符合帧率的长度（结果产生了抖动的）的方法大多给人一种顺畅且自然的印象，能够通过本实施方式取得综合性良好的动态图像。

[第3实施方式]

图17至图25表示本发明的第3实施方式，图17是表示1个像素涉及的像素部21、存储器部22和列处理部23A的构成的电路图。

在该第3实施方式中，对于与上述第1、2实施方式相同的部分标注相同标号并省略说明，仅主要说明不同之处。

首先，本实施方式的摄像装置的基本构成与上述图1所示的相同。另外，本实施方式的摄像部2的基本构成除了列处理部23A的标号部分之外都与上述图2所示相同。

而本实施方式的摄像部2的像素部21和存储器部22的构成与图7所示构成相同，而不同之处在于列处理部23A具备基于比较运算和相加运算的HDR合成功能（由于具备附加功能因而标号从23变更为23A）。

即，在列处理部23A内，以经由垂直信号线33与第1存储器部MEM1和第2存储器部MEM2的各输出端相连接的方式，并联连接有开关SW5-1、开关SW5-2、开关SW5-3。

其中的开关SW5-1经由开关SW9-1与电容器C2-1的一端连接，开关SW5-2经由开关SW9-2与电容器C2-2的一端连接。

另外，开关SW5-3与电容器C2-4的一端连接。该电容器C2-4的另一端经由开关SW6-2接地，并且与比较器CP的反转输入端和电容器C5的一端连接。电容器C5的另一端接地。

比较器CP的非反转输入端与预定的判定阈值电平Vth连接。而比较器CP的输出端与开关SW7-1的漏极端子和开关SW7-2的漏极端子连接。

开关SW7-2的源极端子经由电阻R3接地。开关SW7-1的源极端子经由开关SW10-1与上述开关SW9-1的栅极端子连接。开关SW10-1的栅极端子经由电阻R4与Vdd连接。而开关SW9-1的栅极端子经由电阻R1也与电压源Vdd连接。

另外，开关SW7-2的源极端子经由开关SW10-2与上述开关SW9-2的栅极端子连接。而开关SW9-2的栅极端子经由电阻R2也与电压源Vdd连接。

进而，开关SW7-2的源极端子与开关SW9-3的栅极端子连接。该开关SW9-3的漏极端子与上述预定的判定阈值电平Vth连接，源极端子与电容器C2-3连接。而开关SW9-3经由开关SW5-4接地。

处于彼此并联的位置的电容器C2-1、电容器C2-2、电容器C2-3的另一端分别与运算放大器OP的反转输入端连接。其中，电容器C2-1、电容器C2-2、电容器C2-3的电容相同。

运算放大器OP的非反转输入端与参照电压Vref连接。

运算放大器OP的输出端与反转输入端经由彼此并列配设的开关SW6-1和电容器C4连接起来。

其中，运算放大器OP、开关SW6-1和电容器C4用于进行相加运算。电容器C4的电容与电容器C2-1的电容相同，也与电容器C2-2和电容器C2-3的电容相同。

另外，运算放大器OP的输出端与电容器C3的一端和开关SW8的漏极端子连接。

而且上述开关SW5-1、开关SW5-2、开关SW5-3、开关SW5-4、开关SW6-1、开关SW6-2、开关SW7-1、开关SW7-2的栅极端子与控制电路26连接，从控制电路26提供脉冲而控制它们的导通/截止。开关SW8的栅极端子与水平读出电路25连接，从水平读出电路25提供脉冲而控制其导通/截止。

图18是表示用于取得高动态范围图像的摄像部2的摄像动作的图。

如图18所示，在本实施方式中，将1个垂直同步期间内的1个曝光时间分割为彼此不同的连续性质的2个曝光时间，即第1曝光时间Texp1（例如长曝光时间）和第2曝光时间Texp2（例如短曝光时间）分别进行读出，按照上述图9所示的处理，例如将前者模拟传送（MTrans2）给存储器部22的第2存储器部MEM2，此后将后者模拟传送（MTrans1）给存储器部22的第1存储器部MEM1，这与上述第1实施方式大致相同（其中，为了与后述的图24和图25的时序图匹配，将长时间曝光图像传送给第2存储器部MEM2，将短时间曝光图像传送给第1存储器部MEM1，然而当然也可以将长时间曝光图像传送给第1存储器部MEM1，将短时间曝光图像传送给第2存储器部MEM2）。

而且在此后的列处理部23A中，与垂直同步信号VD的上升定时同步地将存储于存储器部22的第2存储器部MEM2中的长时间曝光图像与存储于第1存储器部MEM1中的短时间曝光图像进行简易HDR合成，并从摄像部2输出。因此在本实施方式的构成中，在每个垂直同步期间输出1张高动态范围图像，而与上述第1、2实施方式不同，帧率不会降低。在列处理部23A中实施的简易HDR合成结果从摄像元件被输出后，被照相机的HDR数字合成部3进行适当处理后成为最终的HDR合成图像。

参见图19至图23说明列处理部23A中的简易HDR合成的概要。其中，图19是表示长曝光时间时的光电转换部PD的电荷蓄积量对入射光强度的线图，图20是表示短曝光时间时的光电转换部PD的电荷蓄积量对入射光强度的线图，图21是表示将光电转换部PD的饱和电平作为预定的阈值电平，在列处理部中对长时间曝光图像和短时间曝光图像进行简易HDR合成时的输出电平的线图，图22是表示将光电转换部PD的饱和电平作为预定的阈值电平，在列处理部中对长时间曝光图像和短时间曝光图像更简易地进行简易HDR合成时的输出电平的线图，图23是表示通过在列处理部中将长时间曝光图像和短时间曝光图像单纯相加来进行简易HDR合成时的输出电平的线图。

在长曝光时间时，如图19的曲线f1所示，相对于入射光强度的光电转换部PD的电荷蓄积量在较弱的入射光强度时达到饱和电平Lsat。而在短曝光时间时，如图20的曲线f2所示，若未达到比长曝光时间时强的入射光强度，则相对于入射光强度的光电转换部PD的电荷蓄积量不会达到饱和电平Lsat。因此，曲线f1的斜率大于曲线f2的斜率（并且，曲线f1和曲线f2不一定为1次函数，这里比较的是近似于1次函数时的斜率）。

而且，对于入射光强度较弱的范围，长时间曝光图像能较好地表现灰度，而对于入射光强度较强的范围，如果不是短时间曝光图像则无法表现灰度。于是，图21表示将光电转换部PD的饱和电平Lsat（其中实际上选择的是略低于完全的饱和电平的电平（例如完全饱和电平的90%或85%的值等））作为预定的阈值电平，按照对未达到饱和电平Lsat的范围使用曲线f1，对饱和电平Lsat以上的范围成为曲线f2的输出的方式来进行简易HDR合成的例子。为了将饱和电平Lsat以上的输出的范围作为曲线f2的输出，如图21所示保证连续性并从摄像元件输出，需要满足f2+Lsat×（1-α），其中α=短曝光时间/长曝光时间。

图22和图23表示更简易的简易HDR合成的例子。

图22将饱和电平Lsat以上的输出的范围作为曲线f2的输出，而此时若单纯通过f2+Lsat这样的处理来生成（成为电路的单纯化（后述））则会丧失连续性。即使从摄像元件进行这种输出也充分能够在照相机的HDR数字合成部3中适当地进行HDR合成。其原因在于，将Last作为阈值，其以下的输出为长秒时蓄积输出，大于该阈值的输出为短秒时输出，明确地进行了区分。

另外，在长时间曝光时，如图19的曲线f1所示，作为相对于入射光强度的光电转换部PD的电荷蓄积量，在达到了饱和电平Lsat之后，接受入射光而产生的电荷会泄漏到基板侧，因而止步于饱和电平Lsat附近的电平。

于是在该图23所示的例子中，在列处理部23A中对长时间曝光图像与短时间曝光图像进行单纯相加，从而进行简易HDR合成。在短曝光时间与长曝光时间之比较小的情况下（例如1/4、1/8、1/16等的情况），即使长时间曝光图像达到饱和电平，短时间曝光图像的电平也止步于较低的电平。因此在长时间曝光图像达到饱和电平以下的电平时，（f1+f2）的相加结果较为近似于f1。在长时间曝光图像达到饱和电平以上的电平时，（f1+f2）为近似于（f1+Lsat）的值，因而能取得接近图21的简易HDR合成结果的值。因此在短曝光时间与长曝光时间之比较小的情况下，使用该图23所示的单纯相加的方法也能取得较为良好的简易HDR合成结果。

这种图21、图22和图23所述的简易HDR合成是在列处理部23A中进行的。而无论为了进行哪个简易HDR合成，都需要使摄像元件所处理的信号电平的最大值增大至PD（光电二极管）倍以上。

接着图24是表示像素部21的第1行和第2行的动作的时序图，图25是表示像素部21的第1行的像素的晶体管等的信号变化的情形的时序图。其中，图17所示的构成和图24、图25所示的处理对应于上述图21所示的简易HDR合成。并且，到图22的对应是通过使图17的Vth’等于Vth的简易电路来达成的。另外，到图23的对应可通过长曝光时间的数据与短曝光时间的数据的加法即可实现，因而能通过与第2实施方式所示的平均处理的电路类似的电路来达成（平均处理指的是加权相加处理）。

首先进行长时间曝光和短时间曝光，到从像素部21向存储器部22传送为止的动作都与上述第1实施方式相同。

即，在从存储器部22读出图像数据时，使开关SW6-1导通，并且使开关SW3-1和开关SW5-1导通。由此电容器C4被复位。还由于此时开关SW7-1和开关SW7-2截止，因而开关SW9-1处于导通状态，凭借该开关动作，电容器C2-1的一端通过OP放大器的动作被复位为Vref电平，并且电容器C2-1对从放大晶体管TrB-1输出的放大信号（保持于存储器m1中的信号的放大信号）进行钳位。

接着，在维持开关SW6-1导通的状态下，使开关SW3-1和开关SW5-1截止，使开关SW6-2导通。

进而，在维持开关SW6-1和开关SW6-2导通的状态下，使开关SW3-2、开关SW5-2、开关SW5-3和开关SW5-4导通。此时开关SW7-1和开关SW7-2仍为截止，因而开关SW9-2处于导通状态，凭借该开关动作，电容器C2-2的一端通过运算放大器的动作被复位为Vref电平，并且电容器C2-2对从放大晶体管TrB-2输出的放大信号（保持于存储器m2中的信号的放大信号）进行钳位。同样地，电容器C2-3的一端通过运算放大器的动作被复位为Vref电平，并且电容器C2-3通过SW5-4的开关动作对接地电位进行钳位。进而，凭借开关SW6-2的开关动作使得电容器C2-4的一端和电容器C5被复位为接低电平，而且电容器C2-4对从放大晶体管TrB-2输出的放大信号（保持于存储器m2中的信号的放大信号）进行钳位。

此后，维持开关SW6-1和开关SW6-2导通的状态，使开关SW3-2、开关SW5-2、开关SW5-3和开关SW5-4截止。

然后使开关SW6-1和开关SW6-2截止。

接着使开关SW7-1和开关SW7-2导通。

然后维持开关SW7-1和开关SW7-2导通的状态，使开关SW2-2、开关SW3-2、开关SW5-3导通。凭借该开关动作，保持于存储器m2中的信号被复位为Vref电平，在电容器C2-4的与比较器CP的连接端显现出变化量为保持于存储器m2中的信号量的正方向的变化。该电压被保持于电容器C5中。比较器CP将进行了Vth电平与保持于存储器m2中的信号电平的比较的结果作为比较器CP输出而输出。当确定了该比较器CP输出后，开关SW9-1、开关SW9-2的导通/截止状态也被确定，还确定了开关SW9-3的导通/截止。此时若开关SW9-3导通，则电容器C2-3的与开关SW9-3的连接端侧显现Vth’电平，Vth’电平被输出到运算放大器输出。

进而，维持开关SW7-1和开关SW7-2、开关SW2-2、开关SW3-2、开关SW5-3导通的状态，使开关SW5-2导通。凭借该开关动作，若比较器CP的比较结果为开关SW9-2导通，则在电容器C2-2的与开关SW9-2的连接侧显现出变化量为保持于存储器m2中的信号量的正方向的变化，存储器m2（保持长秒时图像信号）的信号量被输出到运算放大器OP（在开关SW9-2导通那样的比较器CP输出时开关SW9-3截止。即，到该定时为止比较器CP的输出都是确定的，确定了是将存储器m2的输出还是将Vth’输出给运算放大器。例如Vth≥存储器m2时运算放大器OP输出存储器m2电平）。

此后，首先使开关SW5-2截止，接着使开关SW2-2、开关SW3-2、开关SW5-3截止。

接着使开关SW2-1、开关SW3-1、开关SW5-1导通。凭借该开关动作，若比较器CP的比较结果为开关SW9-1导通，则在电容器C2-1的开关SW9-1连接侧显现出变化量为保持于存储器m1中的信号量的正方向的变化，将存储器m1（保持短秒时图像信号）的信号量与已输出到运算放大器的Vth’电平进行相加运算后输出（在开关SW9-1导通这样的比较器CP输出时开关SW9-3导通，向运算放大器OP输出Vth’电平。此时，Vth＜存储器m2）。在经过预定时间后使这些开关SW2-1、开关SW3-1、开关SW5-1截止，此后使开关SW7-1、开关SW7-2截止。

如下说明凭借该动作，从存储器部22读出长时间曝光图像和短时间曝光图像进行简易HDR合成时的作用的概要。

首先读出存储于第2存储器部MEM2中的长时间曝光图像，比较器CP将其与对应于光电转换部PD的饱和电平Lsat的预定的判定阈值电平Vth进行比较。

其中，在比较器CP判定为长时间曝光图像的信号值低于预定的判定阈值电平Vth的情况下，比较器CP的输出为低电平，其发挥作用使得开关SW9-1截止，开关SW9-2导通，开关SW9-3截止。由此，从运算放大器OP仅输出长时间曝光图像的信号值（经由电容器C2-2输入到运算放大器OP的信号值）。

另一方面，在比较器CP判定为长时间曝光图像的信号值在预定的判定阈值电平Vth以上的情况下，比较器CP的输出成为高电平，其发挥作用使得开关SW9-1导通，开关SW9-2截止，开关SW9-3导通。由此，从运算放大器OP输出对短时间曝光图像的信号值（经由电容器C2-1输入到运算放大器的信号值）加上预定的判定阈值电平Vth（经由电容器C2-3输入到运算放大器的信号值）而得到的值。

如上，在图17所示的电路构成中，进行如图24和图25所示的动作，由列处理部23A进行图21所示的简易HDR合成。

从摄像部2输出进行了简易HDR合成的高动态范围图像，由照相机内的HDR数字合成部3进一步进行适当且详细的合成处理，从而生成最终的HDR合成图像。

另外，上述中是将长时间曝光图像和短时间曝光图像合成，然而不限于此。例如还可以如参照上述第2实施方式所说明的那样，根据多次曝光涉及的图像的平均运算结果和相加运算结果进行简易HDR合成。

关于这种变形例，作为其概要，进行如下处理即可。

首先，曝光量控制部进行控制以使得1个垂直同步期间内的连续性质的多次曝光为彼此相等的曝光时间的曝光，使像素部21进行曝光。其结果在存储器部22中存储多次曝光涉及的图像。

接着，作为存储器读出控制部的列处理部23A并列（同时）实施存储于存储器部22中的多次曝光涉及的图像的平均运算和相加运算。

然后列处理部23A将相加运算涉及的像素信号与预定的判定阈值电平Vth进行比较，在小于判定阈值电平Vth的情况下将相加运算涉及的像素信号输出到外部，在大于等于判定阈值电平Vth的情况下将对平均运算涉及的像素信号进行加上判定阈值电平Vth’的相加运算的结果输出到外部，从而可以将少于由曝光控制部控制的曝光次数的帧数的进行了简易HDR合成的图像输出到外部。执行这种处理的电路可通过整合之前说明的实施方式中的电路构成来加以实现。

并且，在上述第1实施方式和第2实施方式中，对多次（例如2次）曝光取得的2张的图像信号分别（例如以12比特）进行A/D转换，从而取得2张12比特的图像数据。

而在本实施方式的情况下，例如在对2次曝光的数据进行简易HDR合成而通过1次A/D转换读出的情况下，仅输出合成后的1张12比特的图像数据。若将该合成后的12比特的图像数据考虑为合成前的图像数据，则例如成为11比特的2张图像数据。因此相比第1实施方式和第2实施方式，产生了1比特的A/D转换中的灰度等级的恶化。

其中，合成后的灰度特性成为如上所述接近γ特性的形状（参见图21、图22或图23），因而相当于原本在进行A/D转换之前提高了低电平侧的信号值。由此既能够将基于后级的数字增益的放大的必要量抑制得较低，又能吸收上述1个比特的恶化。

另外，在希望单纯维持与以往同样比特数的灰度（合成前的图像中的12比特的灰度）的情况下，可以对本实施方式的合成后的图像信号应用14比特的A/D转换。该14比特的A/D转换是近年来通用的AFE（Analog Front End，模拟前端）等通常具备的功能，因而不必追加特别的构成就能加以应对。

根据该第3实施方式，在对信号电平不同的多个图像进行摄像时，不需要分散到多个垂直同步期间的多个曝光，基于这点能取得与上述第1实施方式和第2实施方式同样的效果。

进而，根据该第3实施方式，由于从像素部21到存储器部22的传送是模拟传送因而较快速，还使用模拟信号运算也可高速进行的情况，使用模拟信号运算对多次曝光涉及的像素信号进行简易HDR合成，将进行简易HDR合成后的图像输出到外部，因而将少于由曝光控制部控制的曝光次数的帧数的图像输出到外部即可，能提高帧率。

此时，若在每个垂直同步期间仅输出进行了简易HDR合成的图像，则能够在不降低帧率的情况下取得高动态范围图像。

并且，在上述构成中，对存储于存储器部22中的图像信号彼此进行了相加、平均、基于阈值的相加等运算处理。而作为摄像元件的构成，在存储于存储器部22中时，同时且依次进行必要的运算（在从像素部进行读出的同时对像素乘以常数的运算和在存储器的像素信号与从像素部进行读出的同时进行的像素信号间的运算等），并存储于存储器部22中，从而也能够达成相加、平均、基于阈值的相加等运算处理。这种情况下，垂直扫描电路24和列处理部23依次读出连续性质的多次曝光涉及的各像素信号，且列处理部23进行实施必要的运算（加权用的常数乘法运算和平均处理的加法运算等），并将其存储于存储器部22的控制。由此，还能够削减存储器部所需的存储空间（例如进行n帧的平均运算时始终具备1帧的存储器即可）。

Claims

1.一种摄像装置，其进行曝光以取得图像信号，其特征在于，该摄像装置具有：

像素部，其2维状地排列有产生与曝光量相应的信号电荷的多个像素；

曝光量控制部，其确定上述像素部的曝光量；

存储器部，其能够存储输出图像的多个帧的来自上述像素部的像素信号；

像素读出控制部，其读出上述像素部的像素信号，并存储于上述存储器部中；以及

存储器读出控制部，其读出存储于上述存储器部中的像素信号，

上述曝光量控制部控制为使上述像素部进行连续性质的多次曝光，

上述像素读出控制部依次读出上述连续性质的多次曝光涉及的各像素信号并存储于上述存储器部中。

2.根据权利要求1所述的摄像装置，其特征在于，

上述曝光量控制部所控制的多次曝光是曝光时间彼此不同的曝光，

上述存储器读出控制部将存储于上述存储器部中的、上述连续性质的多次曝光涉及的各像素信号按照该多次曝光中的每一次曝光依次输出到外部。

3.根据权利要求1所述的摄像装置，其特征在于，上述存储器读出控制部进行存储于上述存储器部中的上述连续性质的多次曝光涉及的各图像的平均运算，或者上述像素读出控制部在读出上述像素部的像素信号并存储于上述存储器部中时，同时依次进行多次曝光涉及的各图像的平均运算，从而取得平均运算结果，将该平均运算结果输出到外部。

4.根据权利要求3所述的摄像装置，其特征在于，上述存储器读出控制部还将上述平均运算结果再次写入上述存储器部，此后从该存储器部读出平均运算结果并放大，从而生成相当于上述多次曝光涉及的图像彼此的相加运算结果的图像并输出到外部。

5.根据权利要求1所述的摄像装置，其特征在于，

上述存储器读出控制部进行存储于上述存储器部中的上述连续性质的多次曝光涉及的各像素信号的动态范围合成，或者上述像素读出控制部在读出上述像素部的像素信号并存储于上述存储器部中时，同时依次进行多次曝光涉及的各像素信号的动态范围合成，从而取得动态范围合成结果，将比上述曝光量控制部所控制的曝光次数少的帧数的图像输出到外部。

6.根据权利要求5所述的摄像装置，其特征在于，上述存储器读出控制部对上述连续性质的多次曝光涉及的各像素信号进行相加运算，从而进行动态范围合成。

7.根据权利要求5所述的摄像装置，其特征在于，

上述曝光量控制部所控制的多次曝光包含长曝光时间和短曝光时间，

上述存储器读出控制部将长曝光时间涉及的像素信号与预定的判定阈值电平进行比较，在小于该判定阈值电平的情况下将该像素信号输出到外部，在大于等于该判定阈值电平的情况下进行对该像素信号加上该判定阈值电平或与长时间曝光与短时间曝光之比关联的特定相加电平的相加运算，将结果输出到外部，从而将进行了动态范围合成的图像输出到外部。

8.根据权利要求1所述的摄像装置，其特征在于，

上述存储器读出控制部并列实施存储于上述存储器部中的上述连续性质的多次曝光涉及的各图像的平均运算和相加运算，或者上述像素读出控制部在读出上述像素部的像素信号并存储于上述存储器部中时，同时依次地并列实施多次曝光涉及的各图像的平均运算和相加运算，

上述存储器读出控制部将相加运算涉及的像素信号与预定的判定阈值电平进行比较，在小于该判定阈值电平的情况下将该像素信号输出到外部，在大于等于该判定阈值电平的情况下进行对平均运算涉及的像素信号加上该判定阈值电平或与长时间曝光与短时间曝光之比关联的特定相加电平的相加运算，将结果输出到外部，从而将比上述曝光量控制部所控制的曝光次数少的帧数的经过了动态范围合成的图像输出到外部。