CN102131056B - 摄像装置和摄像方法 - Google Patents
摄像装置和摄像方法 Download PDFInfo
- Publication number
- CN102131056B CN102131056B CN201110005098.6A CN201110005098A CN102131056B CN 102131056 B CN102131056 B CN 102131056B CN 201110005098 A CN201110005098 A CN 201110005098A CN 102131056 B CN102131056 B CN 102131056B
- Authority
- CN
- China
- Prior art keywords
- exposure
- time
- image
- frame rate
- subject brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000005693 optoelectronics Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 91
- 230000008569 process Effects 0.000 description 14
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 8
- 101100524645 Toxoplasma gondii ROM5 gene Proteins 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 4
- 206010034972 Photosensitivity reaction Diseases 0.000 description 4
- 230000036211 photosensitivity Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供摄像装置和摄像方法。在被摄体亮度低的情况下，当生成扩展了动态范围的图像时，到生成扩展了动态范围的图像为止需要长时间。在图像数据的值为预定值以上、或者摄像帧速率为预定的帧速率以上的情况下、而且在图像数据的值为大于预定值的预定的上限值以下的情况下，判断为要扩展图像的动态范围。然后，在判断为要扩展动态范围的情况下，对曝光时间不同的多个帧的图像数据进行合成，生成合成图像数据，显示或记录合成图像数据。
Description
技术领域
本发明涉及对曝光量不同的多个图像进行合成、生成动态范围宽的图像的技术。
背景技术
以往，公知有这样的控制方法：在具有将曝光量不同的多个图像进行连续摄影来合成的第1模式和使曝光时间恒定来进行摄影的第2模式的摄像装置中，在图像内的亮度差大的情况下，切换到第1模式(日本特开平1-60156号公报)。
然而，例如，当被摄体亮度降低时，需要增加曝光时间，然而在该情况下，在现有技术中，在对多个图像进行合成来生成动态范围宽的图像的情况下，不能在全部亮度范围内平滑地显示或记录动态范围宽的图像。
发明内容
本发明是鉴于上述问题而作成的，本发明的目的是提供一种能根据被摄体亮度或摄像帧速率平滑地显示或记录动态范围宽的图像的技术。
本发明的一个方式涉及的摄像装置，该摄像装置通过图像合成生成扩展了动态范围的图像，所述摄像装置具有：摄像部，其通过对由摄像元件接收到的光束进行光电转换来获得图像数据；动态范围扩展判断部，其在被摄体亮度为预定亮度以上和摄像帧速率为预定的帧速率以上中的至少一方成立、且所述被摄体亮度为高于所述预定亮度的上限亮度以下的情况下，判断为扩展图像的动态范围；曝光控制部，其根据是否要扩展所述动态范围的判断结果，控制所述摄像元件的曝光；图像合成部，在判断为要扩展所述动态范围的情况下，该图像合成部对曝光时间不同的多个帧的图像数据进行合成，生成合成图像数据；以及处理部，其显示或记录所述合成图像数据。
本发明的另一方式涉及的摄像方法，该摄像方法通过图像合成生成扩展了动态范围的图像，所述摄像方法具有以下步骤：通过对由摄像元件接收到的光束进行光电转换来获得图像数据的步骤；在被摄体亮度为预定亮度以上和摄像帧速率为预定的帧速率以上中的至少一方成立、且所述被摄体亮度为高于所述预定亮度的上限亮度以下的情况下，判断为要扩展图像的动态范围的步骤；根据是否要扩展所述动态范围的判断结果，控制所述摄像元件的曝光的步骤；在判断为要扩展所述动态范围的情况下，对曝光时间不同的多个帧的图像数据进行合成，生成合成图像数据的步骤；以及显示或记录所述合成图像数据的步骤。
根据本发明，可在维持动态图像的平滑的同时，显示或记录扩展了动态范围后的图像。
附图说明
图1是示出一个实施方式涉及的摄像装置即数字照相机的结构的框图。
图2是示出合成处理电路的详细结构的框图。
图3是示出图像处理电路的详细结构的框图。
图4是示出由一个实施方式中的数字照相机执行的处理内容的流程图。
图5是决定了被摄体亮度(LV)与曝光时间的关系的程序线图。
图6是示出在对通过短时间曝光获得的图像数据进行合成时的合成比WS与在对通过长时间曝光获得的图像数据进行合成时的合成比WL的关系的一例的图。
图7是示出在被摄体亮度是LV8的情况下的时序图的图。
图8是示出在被摄体亮度是LV7的情况下的时序图的图。
图9是示出在被摄体亮度是LV6.5的情况下的时序图的图。
图10是示出在被摄体亮度是LV6的情况下的时序图的图。
图11是示出在被摄体亮度是LV5.5的情况下的时序图的图。
图12是示出被摄体亮度与合成图像的动态范围的扩展量的关系的图。
图13是示出在基于动态图像摄影模式的动态图像摄影时、由一个实施方式中的数字照相机执行的处理内容的流程图。
具体实施方式
图1是示出一个实施方式涉及的摄像装置即数字照相机的结构的框图。该数字照相机具有：摄像部1，A/D转换部2，微计算机3，RAM4，ROM5，合成处理电路6，图像处理电路7，操作部8，背面液晶监视器9，电子取景器10(EVF10)，存储器接口11(以下称为接口11)，记录介质12，以及总线13。
摄像部1由在构成各像素的光电二极管的前面配置有多个滤色器的单板式彩色摄像元件(以下简称为摄像元件)、摄影光学***以及它们的驱动部等构成。滤色器例如采用拜尔排列来排列。拜尔排列是这样构成的：具有在水平方向交替配置有R像素和G(Gr)像素的行、和交替配置有G(Gb)像素和B像素的行，而且在垂直方向也交替配置该2个行。摄像元件通过使用构成像素的光电二极管接收由未图示的透镜收集的光并进行光电转换，将光的量作为电荷量输出到A/D转换部2。另外，摄像元件可以是CMOS方式的摄像元件，也可以是CCD方式的摄像元件。并且，滤色器可以由拜尔排列以外的排列构成，也可以由R、G、B以外的颜色构成。
A/D转换部2将从摄像部1所输出的电信号转换成数字图像信号(以下称为图像数据)。
微计算机3是进行数字照相机的整体控制的控制部。例如，微计算机3进行：摄像部1内部的摄影光学***的焦点控制和摄像元件的曝光控制、将图像数据记录在记录介质12内时的记录控制、将图像数据显示在背面液晶监视器9和EVF10上时的显示控制等。
RAM4是暂时存储有在A/D转换部2中获得的图像数据、由后述的合成处理电路6和图像处理电路7处理后的图像数据等的各种数据的存储部。在ROM5内存储有数字照相机的动作所需要的各种参数、决定在对多个图像进行合成时的合成比的合成比表、以及在微计算机3执行的各种程序。微计算机3根据存储在ROM5内的程序，从ROM5中读入各种顺序需要的参数，执行各处理。
合成处理电路6通过对多个图像数据进行合成，生成合成图像数据。在本实施方式中，假定以下情况进行说明：合成处理电路6通过对曝光量不同的2个图像数据进行合成，生成扩展了动态范围的合成图像。
图2是示出合成处理电路6的详细结构的框图。合成处理电路6具有位置偏差量检测部21和合成部22。
位置偏差量检测部21检测进行合成处理的2个图像数据间的位置偏差量。在图2所示的例子中，经由总线13输入的、按拜尔排列顺序读出的图像数据由A/D转换部2进行了AD转换后的图像数据即拜尔数据1和拜尔数据2是进行合成处理的2个图像数据。该2个图像数据间的位置偏差量可使用已知方法来检测。
合成部22根据由位置偏差量检测部21检测出的拜尔数据1与拜尔数据2之间的位置偏差量，校正2个图像数据间的位置偏差量，之后在合成部22对2个图像数据进行合成，从而生成合成图像数据。在图2所示的例子中，拜尔数据3是合成图像数据。合成图像数据经由总线13被发送到RAM4并被记录在RAM4内。
图像处理电路7对从RAM4读出的图像数据实施各种图像处理。后面描述在图像处理电路7进行的图像处理的详情。在图像处理电路7被实施了图像处理后的图像数据经由接口11被记录在记录介质12内。记录介质12是例如由可对数字照相机主体拆装的存储卡构成的记录介质，然而不限定于此。
操作部8是电源按钮、释放按钮、各种输入键等的操作部件。通过由用户对操作部8的任一操作部件进行操作，微计算机3执行与用户操作对应的各种顺序。电源按钮是用于进行该数字照相机的电源的接通/断开指示的操作部件。当按下了电源按钮时，微计算机3接通或断开该数字照相机的电源。释放按钮构成为具有第一释放开关和第二释放开关的2级开关。半按下释放按钮，在第一释放开关接通的情况下，微计算机3进行AE(自动曝光)处理、AF(自动对焦)处理等的摄影准备顺序。并且，全按下释放按钮，在第二释放开关接通的情况下，微计算机3执行摄影顺序来进行摄影。
总线13是用于将在数字照相机内部产生的各种数据传送到数字照相机内的各部的传送路径。总线13与摄像部1、A/D转换部2、微计算机3、RAM4、ROM5、合成处理电路6、图像处理电路7、操作部8、背面液晶监视器9、EVF10以及接口11连接。
图3是示出图像处理电路7的详细结构的框图。图像处理电路7具有：降噪部(图中，NR部)31，白平衡校正部(图中，WB部)32，同步处理部33，颜色转换部34，灰度转换部35，YC转换部36，边缘提取部37，边缘强调部38，加法部39，尺寸调整部40，JPEG压缩部41，以及JPEG解压缩部42。
降噪部31对存储在RAM4内的图像数据进行降低噪声的处理。存储在RAM4内的图像数据，在合成处理电路6进行了合成处理的情况下，是由合成图像数据构成的拜尔数据，在未进行合成处理的情况下，是由经A/D转换部2转换后的图像数据构成的拜尔数据。该噪声降低处理例如是校正摄像元件的像素缺陷的处理、以及降低在摄像时产生的随机噪声的处理。其中，可以进行校正摄像元件的像素缺陷的处理、以及降低在摄像时产生的随机噪声的处理中的至少一种处理，也可以进行其它噪声降低处理。
白平衡校正部32进行校正噪声降低后的图像数据的白平衡的处理。
同步处理部33进行从基于拜尔排列的图像数据向按照每1像素由R、G、B的信息构成的图像数据同步的处理。同步后的图像数据在颜色转换部34进行预定的颜色转换处理，之后在灰度转换部35进行灰度转换处理。灰度转换部35根据图像的亮度分布，进行适于处理对象的图像的灰度转换处理。
YC转换部36将灰度转换处理后的图像数据转换成Y(亮度)信号和C(颜色)信号。转换后的Y信号被输出到加法部39，C信号被输出到尺寸调整部40。
边缘提取部37进行从在降噪部31进行了噪声降低处理后的图像数据中提取边缘的处理。边缘强调部38进行向在边缘提取部37提取出的边缘的数据乘以预定增益的边缘强调处理。
加法部39对从YC转换部36输出的Y信号加上从边缘强调部38输出的边缘数据。
尺寸调整部40将从加法部39输出的Y信号和从YC转换部36输出的C信号与记录或显示时的图像尺寸相符地进行尺寸调整。JPEG压缩部41对尺寸调整后的Y信号和C信号进行JPEG压缩。JPEG压缩后的数据经由总线13，经过接口11被记录在记录介质12内。JPEG解压缩部42经由总线13输入记录在记录介质12内的JPEG压缩数据，进行返回到压缩前的状态的解压缩处理。
图4是示出由一个实施方式中的数字照相机执行的处理内容的流程图。当由用户按下数字照相机的电源按钮、电源接通时，微计算机3开始步骤S10的处理。
在步骤S10中，判定第一释放开关是否接通。当判定为第一释放开关未接通时，进到步骤S20。步骤S20以后的处理是用于进行所谓的实时浏览显示的处理。
在步骤S20中，进行用于获得摄影时的适当曝光量的已知的AE处理。
在步骤S30中，根据在步骤S20的AE处理时求出的被摄体亮度，判定是否要进行扩展图像的动态范围的处理。使用图5来说明该判定方法。
图5是决定了被摄体亮度(Lightness Value：LV，亮度值)与曝光时间(秒)的关系的程序线图。另外，曝光时间是不仅考虑被摄体亮度，而且考虑光圈和ISO感光度的值来决定的，然而为了容易说明，这里假定光圈和一般表示为ISO值的ISO感光度固定为预定值来进行说明。在ROM5内记录有图5所示的决定了被摄体亮度和曝光时间的关系的程序线图。
另外，一般，在照相机的说明书和小册子等中，有时表示与实际摄影中的曝光时间不同的数值。例如，在曝光时间表示为1/125(秒)的情况下，实际的曝光时间为摄像帧速率的倒数即1/120(秒)。在曝光时间表示为1/250(秒)的情况下，实际的曝光时间也为摄像帧速率的倒数即1/240(秒)。即，在图5中，采用依照一般的表示惯例的表示，然而实际摄影中的曝光时间是摄像帧速率的倒数的值。
实线51表示与被摄体亮度对应的适当的标准曝光时间。点线52表示以比标准曝光时间短的曝光时间进行摄影时的曝光时间，点线53表示以比标准曝光时间长的曝光时间进行摄影时的曝光时间。如后所述，这里，在被摄体亮度是LV6以上、且是上限被摄体亮度的LV16以下的情况下，进行扩展动态范围的处理，当被摄体亮度小于LV6时，不进行扩展动态范围的处理。
因此，在图4的步骤S30中，根据被摄体亮度是否是LV6以上且LV16以下，判定是否进行扩展图像的动态范围的处理。当判定为进行扩展动态范围的处理时，进到步骤S50，当判定为不进行时，进到步骤S150。
另外，如图5所示，在将光圈和ISO感光度固定为预定值的情况下，根据被摄体亮度决定包含实时浏览的动态图像的帧速率。一般，当被摄体亮度降低时，开放光圈，使ISO感光度上升到上限，当被摄体亮度进一步降低时，动态图像的帧速率也降低。如图5所示，被摄体亮度是LV6以上对应于摄像帧速率是60fps以上。由此，在图4的步骤S30中，在摄像帧速率是60fps以上、且被摄体亮度是LV16以下的情况下，可以判定为扩展动态范围。
在步骤S50中，以比与被摄体亮度对应的标准曝光时间短的曝光时间进行摄影。通过根据在步骤S20的AE处理时求出的被摄体亮度，参照图5所示的程序线图来求出比标准曝光时间短的曝光时间。例如，在被摄体亮度是LV7的情况下，曝光时间为1/250秒。
在步骤S60中，读出通过步骤S50的摄影获得的图像数据。
在步骤S70中，以比与被摄体亮度对应的标准曝光时间长的曝光时间进行摄影。通过根据在步骤S20的AE处理时求出的被摄体亮度，参照图5所示的程序线图来求出比标准曝光时间长的曝光时间。例如，在被摄体亮度是LV7的情况下，曝光时间为1/60秒。
在步骤S80中，读出通过步骤S70的摄影获得的图像数据。
在步骤S90中，检测在步骤S60读出的图像数据与在步骤S80读出的图像数据之间的位置偏差量。该处理由合成处理电路6内部的位置偏差量检测部21进行。
在步骤S100中，计算在对通过短时间曝光获得的图像数据和通过长时间曝光获得的图像数据进行合成时的合成比。
图6是示出在对通过短时间曝光获得的图像数据进行合成时的合成比WS与在对通过长时间曝光获得的图像数据进行合成时的合成比WL的关系的一例的图。粗的点线61表示在对通过长时间曝光获得的图像数据进行合成时的合成比WL，细的点线62表示在对通过短时间曝光获得的图像数据进行合成时的合成比WS。在图6中，Imax是可表现为图像数据的最大像素值。并且，设比标准曝光时间长的曝光时间为Exp(L)，设比标准曝光时间短的曝光时间为Exp(S)，则Rexp由下式(1)表示。
Rexp＝Exp(S)/Exp(L) (1)
如图6所示，在像素值是Imax×Rexp×0.5以下的情况下，合成比WL是1.0。当像素值大于Imax×Rexp×0.5时，合成比WL逐渐小于1.0，当像素值是Imax×Rexp以上时，合成比WL为0。并且，在像素值是Imax×Rexp×0.5以下的情况下，合成比WS是0，当像素值大于Imax×Rexp×0.5时，合成比WS逐渐增大，当像素值是Imax×Rexp以上时，合成比WS为1.0。在ROM5内存储有图6所示的决定了像素值和合成比的关系的合成比表。使用该合成比表，针对每个像素，参照合成比表，从而计算在对通过短时间曝光获得的图像数据进行合成时的合成比WS与在对通过长时间曝光获得的图像数据进行合成时的合成比WL。
在步骤S110中，根据在步骤S90检测出的位置偏差量，校正在步骤S60读出的图像数据与在步骤S80读出的图像数据之间的位置偏差，执行以在步骤S100计算出的合成比对校正了位置偏差的图像进行合成的处理。设通过短时间曝光获得的图像数据的像素为IS(x，y)，设通过长时间曝光获得的图像数据的像素为IL(x，y)，设2个图像间的x坐标方向的位置偏差量为dx，设y坐标方向的位置偏差量为dy，则通过合成获得的图像的像素IC(x，y)由下式(2)表示。其中，WS(IS(x，y))是与像素IS(x，y)对应的合成比，WL(IL(x+dx，y+dy))是与位置偏差校正后的图像数据的像素IL(x+dx，y+dy)的合成比。
IC(x，y)＝IS(x，y)×WS(IS(x，y))+IL(x+dx，y+dy)×WL(IL(x+dx，y+dy))×Rexp (2)
根据式(2)进行全部像素的合成。之后，在下一步骤S120的处理前，进行降噪部31的噪声降低处理、白平衡校正部32的白平衡校正处理、同步处理部33的同步处理、颜色转换部34的颜色转换处理、以及灰度转换部35的灰度转换处理。
步骤S120和步骤S130的处理由YC转换部36进行。在步骤S120中，设定YC转换处理所需要的参数。在步骤S130中，使用在步骤S120所设定的参数，进行YC转换处理。之后，进行边缘强调部38的边缘强调处理和尺寸调整部40的尺寸调整处理。
在步骤S140中，执行将进行了尺寸调整处理的图像数据显示在背面液晶监视器9和EVF10上的处理。
在步骤S150中，以与被摄体亮度对应的标准曝光时间进行摄影。通过参照图5所示的程序线图来求出与被摄体亮度对应的标准曝光时间。
在步骤S160中，读出通过步骤S150的摄影获得的图像数据。之后，进行降噪部31的噪声降低处理、白平衡校正部32的白平衡校正处理、同步处理部33的同步处理、颜色转换部34的颜色转换处理、以及灰度转换部35的灰度转换处理。
另一方面，在步骤S10中，由用户半按下释放按钮，当判定为第一释放开关接通的情况下，进到步骤S170。在步骤S170中，判定第二释放开关是否接通。由用户全按下释放按钮，当判定为第二释放开关未接通时，进到步骤S40。
步骤S180以后的处理是静态图像摄影时的处理。从步骤S180到步骤S260的处理由于与从步骤S50到步骤S130的处理相同，因而省略详细说明。
在步骤S270中，利用JPEG压缩部41，对通过YC转换处理生成的Y信号和C信号进行JPEG压缩。在步骤S280中，将JPEG压缩后的数据经由接口11记录在记录介质12内。
在步骤S290中，再次按下数字照相机的电源按钮，判定电源是否断开。当判定为电源未断开时，回到步骤S10，重复进行上述处理，直到电源断开为止。另一方面，当判定为电源断开时，结束流程图的处理。
接下来，说明按被摄体亮度从摄影到图像显示的时序图。
图7是示出在被摄体亮度是LV8的情况下的时序图的图。如上所述，根据被摄体亮度决定包含实时浏览的动态图像的帧速率。如图5所示，在被摄体亮度是LV8的情况下，动态图像的帧速率是60fps。即，摄像间隔是帧速率的倒数即1/60(秒)。
参照图5所示的程序线图，在被摄体亮度是LV8的情况下，短曝光的曝光时间是1/500(秒)，长曝光的曝光时间是1/125(秒)。如图7所示，首先，进行短曝光的摄影(S1)，接下来，读出通过摄影获得的图像数据(R1)。接下来，在从短曝光的摄影(S1)起1/60(秒)后，进行长曝光的摄影(L2)，读出通过摄影获得的图像数据(R2)。
所读出的2个图像数据在合成处理电路6进行合成处理(C12)，之后在图像处理电路7进行图像处理(IP12)，显示在背面液晶监视器9和EVF10上(D12)。
并且，在从长曝光的摄影(L2)起1/60(秒)后，进行短曝光的摄影(S3)，读出通过摄影获得的图像数据(R3)。在R2和R3所读出的图像数据在合成处理电路6进行合成处理(C23)，之后在图像处理电路7进行图像处理(IP23)，显示在背面液晶监视器9和EVF10上(D23)。
以后，重复进行相同处理。由此，动态范围被扩展后的合成图像显示在背面液晶监视器9和EVF10上。
图8是示出在被摄体亮度是LV7的情况下的时序图的图。如图5所示，在被摄体亮度是LV7的情况下，动态图像的帧速率也是60fps。即，摄像间隔是1/60(秒)。并且，参照图5所示的程序线图，短曝光的曝光时间是1/250(秒)，长曝光的曝光时间是1/60(秒)。
在该情况下，由于长曝光的曝光时间和摄像间隔相同，因而当长曝光的摄影结束时，立即开始短曝光的摄影。关于合成处理、图像处理、图像显示的处理时刻，与图7所示的时序图相同。
图9是示出在被摄体亮度是LV6.5的情况下的时序图的图。如图5所示，在被摄体亮度是LV6.5的情况下，动态图像的帧速率也是60fps。即，摄像间隔是1/60(秒)。并且，参照图5所示的程序线图，短曝光的曝光时间是1/125(秒)，长曝光的曝光时间是1/60(秒)。
由于标准曝光时间随着被摄体亮度降低而变长，因而长曝光的曝光时间也随着被摄体亮度降低而变长。不过，如图5所示，当被摄体亮度下降到LV7时，摄像间隔和长曝光的曝光时间相同。因此，如图5的程序线图所示，在动态图像的帧速率是60fps的条件下，即使被摄体亮度小于LV7，也将长曝光的曝光时间维持在1/60(秒)，不比其长。另外，关于合成处理、图像处理、图像显示的处理时刻，与图7和图8所示的时序图相同。
图10是示出在被摄体亮度是LV6的情况下的时序图的图。在被摄体亮度是LV6的情况下，动态图像的帧速率也是60fps。即，摄像间隔是1/60(秒)。并且，参照图5所示的程序线图，短曝光的曝光时间是1/60(秒)，长曝光的曝光时间是1/60(秒)。
与被摄体亮度对应的标准曝光时间随着被摄体亮度降低而变长，当被摄体亮度下降到LV6时，标准曝光时间是摄像帧速率的倒数即曝光时间1/60(秒)。因此，在被摄体亮度是从LV7到LV6期间，长曝光的曝光时间维持在摄像帧速率的倒数即曝光时间1/60(秒)。并且，在标准曝光时间与摄像帧速率的倒数即曝光时间1/60(秒)一致的被摄体亮度(LV6)时，短曝光的曝光时间为1/60(秒)。
在该情况下，由于短曝光的曝光时间和长曝光的曝光时间相同，因而即使将2个图像进行合成，动态范围也不扩展。
图11是示出在被摄体亮度是LV5.5的情况下的时序图的图。如上所述，在图5所示的程序线图中，设定成，当被摄体亮度下降到LV6时，短曝光的曝光时间和长曝光的曝光时间一致。因此，当被摄体亮度小于LV6时，不进行合成处理，进行基于与被摄体亮度对应的标准曝光时间的摄影。如图5所示，动态图像的帧速率是30fps，摄像间隔是1/30(秒)。
在该情况下，首先，进行基于标准曝光时间的摄影(N1)，读出通过摄影获得的图像数据(R1)。所读出的图像数据在图像处理电路7进行图像处理(IP1)，之后显示在背面液晶监视器9和EVF10上(D1)。以后，重复进行相同处理。
图12是示出被摄体亮度(LV：Light Value，亮度值)与合成图像的动态范围的扩展量(EV：Exposure Value，曝光值)的关系的图。
这里，“LV”、“EV”是为了容易计算曝光量而使用对应的APEX法的方法来表现的。并且，合成图像的动态范围的扩展量是以通过基于标准曝光的摄影获得的图像的动态范围为基准的扩展量。
例如，在被摄体亮度是LV8的情况下，参照图5所示的程序线图，标准曝光时间是1/250(秒)，短曝光时间是1/500(秒)，长曝光时间是1/125(秒)，因而针对标准曝光，动态范围在EV时扩展2。
如图12所示，在一个实施方式中的由摄像装置获得的合成图像中，对于通过基于标准曝光的摄影获得的图像的动态范围，动态范围最大以EV扩展3。并且，对于被摄体亮度的变化，动态范围的扩展量不会急剧变化，而是平滑变化。
以上，根据一个实施方式中的摄像装置，在被摄体亮度为预定亮度以上和摄像帧速率为预定的帧速率以上中的任一方至少成立、且被摄体亮度为高于预定亮度的上限亮度以下的情况下，判断为扩展图像的动态范围。然后，根据是否要扩展动态范围的判断结果，控制摄像元件的曝光，并在判断为要扩展动态范围的情况下，对曝光时间不同的多个帧的图像数据进行合成，生成合成图像数据。由此，可在维持动态图像的平滑的同时，显示或记录扩展了动态范围后的图像。即，在被摄体亮度不到预定亮度、或者摄像帧速率不到预定的帧速率的情况下，不生成合成图像，因而不会使动态图像的帧速率下降，可进行平滑的动态图像显示。并且，在被摄体亮度是预定亮度以上、或者摄像帧速率是预定的帧速率以上、且被摄体亮度是上限亮度以下的情况下，通过对曝光时间不同的多个帧的图像数据进行合成，可生成扩展了动态范围后的图像。
并且，随着被摄体亮度降低，逐渐增加长曝光图像数据的曝光时间和短曝光图像数据的曝光时间，当长曝光图像数据的曝光时间与根据摄像帧速率决定的预定曝光时间(摄像帧速率的倒数)一致时，即使被摄体亮度进一步降低，也仍使长曝光图像数据的曝光时间维持根据摄像帧速率决定的预定曝光时间。因而不会使动态图像的帧速率下降，可进行平滑的动态图像显示。由此，不会使摄像帧速率下降，可生成扩展了动态范围后的图像。并且，可防止随着被摄体亮度的下降、动态范围急剧变化，可防止图像的画质急剧变化。
而且，随着被摄体亮度降低，逐渐增加与被摄体亮度对应的适当曝光时间，使长曝光图像数据的曝光时间维持根据摄像帧速率决定的预定曝光时间，直到与被摄体亮度对应的适当曝光时间与根据摄像帧速率决定的预定曝光时间(摄像帧速率的倒数)一致为止。由此，可更有效地防止随着被摄体亮度的下降、动态范围急剧变化，可防止图像的画质急剧变化。
并且，随着被摄体亮度降低，逐渐增加短曝光图像数据的曝光时间，进行控制，使得在与被摄体亮度对应的适当曝光时间与根据摄像帧速率决定的预定曝光时间一致的被摄体亮度中，短曝光图像数据的曝光时间与根据摄像帧速率决定的预定曝光时间一致。由此，可更有效地防止随着被摄体亮度的下降、动态范围急剧变化，可防止图像的画质急剧变化。
另外，在上述的一个实施方式的说明中，作为摄像装置进行的处理以基于硬件的处理为前提，然而无需限定于这样的结构。例如，也能是这样的结构：使用计算机，单独利用软件进行处理。在该情况下，计算机具有CPU、RAM等的主存储装置、存储有用于实现上述处理的全部或一部分的程序的计算机可读取的存储介质。这里，将该程序称为摄像程序。然后，CPU读出存储在上述存储介质内的摄像程序，执行信息的加工和运算处理，从而实现与上述的摄像装置相同的处理。
这里，计算机可读取的存储介质是指磁盘、光磁盘、CD-ROM、DVD-ROM、半导体存储器等。并且，可以将该摄像程序通过通信线路发布给计算机，接收到该发布的计算机可以执行该摄像程序。
本发明不限定于上述的一个实施方式，可在不背离本发明主旨的范围内进行各种变型和应用。例如，在图4所示的流程图中，说明了动态图像显示的一个方式即实时浏览显示的处理流程，然而动态图像摄影和记录时的处理流程也大致相同。
图13是示出在基于动态图像摄影模式的动态图像摄影时、由一个实施方式中的数字照相机执行的处理内容的流程图。关于进行与图4所示的流程图的处理相同处理的步骤，附上相同标号而省略详细说明。当由用户按下了操作部8内包含的动态图像摄影开始按钮时，开始步骤S20的处理。从步骤S20到步骤S160的处理与图4所示的流程图的处理相同。当在步骤S140进行了将图像数据显示在背面液晶监视器9和EVF10上的处理时，进到步骤S1300。在步骤S1300中，将进行了在步骤S140之前的处理的图像数据经由接口11记录在记录介质12内。
本申请主张基于在2010年1月15日提交到日本专利局的日本特願2010-007137号的优先权，该申请的全部内容通过参照被纳入到本说明书中。
Claims (7)
1.一种摄像装置，其通过图像合成生成扩展了动态范围的图像，所述摄像装置具有：
摄像部，其通过对由摄像元件接收到的光束进行光电转换来获得图像数据；
动态范围扩展判断部，在被摄体亮度为预定亮度以上和摄像帧速率为预定帧速率以上中的至少一方成立、且所述被摄体亮度为上限亮度以下，所述上限亮度高于预定亮度的情况下，该动态范围扩展判断部判断为要扩展图像的动态范围；
曝光控制部，其根据是否要扩展所述动态范围的判断结果，控制所述摄像元件的曝光；
图像合成部，在判断为要扩展所述动态范围的情况下，该图像合成部对曝光时间不同的多个帧的图像数据进行合成，生成合成图像数据；以及
处理部，其显示或记录所述合成图像数据；
其中，
所述曝光控制部
当曝光时间比与被摄体亮度对应的适当曝光时间长的长曝光图像数据的曝光时间与根据摄像帧速率决定的预定曝光时间一致时，即使所述被摄体亮度再降低，也仍使所述长曝光图像数据的曝光时间维持根据所述摄像帧速率决定的预定曝光时间。
2.根据权利要求1所述的摄像装置，其中，
所述曝光控制部
随着所述被摄体亮度降低，逐渐增加与被摄体亮度对应的适当曝光时间，使所述长曝光图像数据的曝光时间维持根据所述摄像帧速率决定的预定曝光时间，直到所述适当曝光时间与根据所述摄像帧速率决定的预定曝光时间一致为止。
3.根据权利要求2所述的摄像装置，其中，
所述曝光控制部
随着所述被摄体亮度降低，逐渐增加曝光时间比与被摄体亮度对应的适当曝光时间短的短曝光图像数据的曝光时间，并进行控制，使得在所述适当曝光时间与根据所述摄像帧速率决定的预定曝光时间一致的被摄体亮度中，所述短曝光图像数据的曝光时间与根据所述摄像帧速率决定的预定曝光时间一致。
4.根据权利要求2所述的摄像装置，其中，
在根据所述被摄体亮度逐渐增加曝光时间比与被摄体亮度对应的适当曝光时间短的短曝光图像数据的曝光时间，直到所述短曝光图像数据的曝光时间与根据摄像帧速率决定的预定曝光时间一致为止的情况下，按照扩展所述动态范围的低亮度极限的亮度，使所述短曝光图像数据的曝光时间与所述长曝光图像数据的曝光时间一致。
5.根据权利要求2所述的摄像装置，其中，根据所述摄像帧速率决定的预定曝光时间是成为所述摄像帧速率的倒数的时间。
6.根据权利要求2至权利要求5中的任一项所述的摄像装置，其中，
所述摄像装置还具有合成比计算部，该合成比计算部计算在对所述曝光时间不同的多个帧的图像数据进行合成时的合成比，
所述图像合成部根据由所述合成比计算部计算出的合成比，对所述多个帧的图像数据进行合成。
7.一种摄像方法，通过图像合成生成扩展了动态范围的图像，所述摄像方法具有以下步骤：
通过对由摄像元件接收到的光束进行光电转换来获得图像数据的步骤；
在被摄体亮度为预定亮度以上和摄像帧速率为预定帧速率以上中的至少一方成立、且所述被摄体亮度为上限亮度以下，所述上限亮度高于预定亮度的情况下，判断为要扩展图像的动态范围的步骤；
根据是否要扩展所述动态范围的判断结果，控制所述摄像元件的曝光的步骤；
在判断为要扩展所述动态范围的情况下，对曝光时间不同的多个帧的图像数据进行合成，生成合成图像数据的步骤；以及
显示或记录所述合成图像数据的步骤；
其中，
当曝光时间比与被摄体亮度对应的适当曝光时间长的长曝光图像数据的曝光时间与根据摄像帧速率决定的预定曝光时间一致时，即使所述被摄体亮度再降低，也仍使所述长曝光图像数据的曝光时间维持根据所述摄像帧速率决定的预定曝光时间。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010007137A JP5439197B2 (ja) | 2010-01-15 | 2010-01-15 | 撮像装置、撮像方法、および、撮像プログラム |
| JP2010-007137 | 2010-01-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102131056A CN102131056A (zh) | 2011-07-20 |
| CN102131056B true CN102131056B (zh) | 2014-05-07 |
Family
ID=44268929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110005098.6A Expired - Fee Related CN102131056B (zh) | 2010-01-15 | 2011-01-11 | 摄像装置和摄像方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8488019B2 (zh) |
| JP (1) | JP5439197B2 (zh) |
| CN (1) | CN102131056B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013066145A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| CN102572245B (zh) * | 2011-12-22 | 2014-12-17 | 深圳市赛格导航科技股份有限公司 | 一种扩展图像动态范围的方法及装置 |
| JP6039188B2 (ja) * | 2012-02-06 | 2016-12-07 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6137792B2 (ja) * | 2012-07-10 | 2017-05-31 | キヤノン株式会社 | 撮像装置、該撮像装置の制御方法、プログラム、記憶媒体 |
| KR101889932B1 (ko) * | 2012-07-25 | 2018-09-28 | 삼성전자주식회사 | 촬영 장치 및 이에 적용되는 촬영 방법 |
| JP6214206B2 (ja) * | 2013-05-13 | 2017-10-18 | キヤノン株式会社 | 撮像装置、制御方法及びプログラム |
| US9172890B2 (en) * | 2013-07-01 | 2015-10-27 | Qualcomm Technologies, Inc. | Method, apparatus, and manufacture for enhanced resolution for images from high dynamic range (HDR) interlaced sensors |
| JP6288990B2 (ja) * | 2013-08-23 | 2018-03-07 | キヤノン株式会社 | 撮像装置、制御方法及びそのプログラム |
| US8830367B1 (en) | 2013-10-21 | 2014-09-09 | Gopro, Inc. | Frame manipulation to reduce rolling shutter artifacts |
| JP6444073B2 (ja) * | 2014-06-25 | 2018-12-26 | キヤノン株式会社 | 画像処理装置 |
| JP6351452B2 (ja) * | 2014-09-08 | 2018-07-04 | オリンパス株式会社 | 撮像装置、撮像方法およびプログラム |
| JP6570918B2 (ja) * | 2015-08-19 | 2019-09-04 | オリンパス株式会社 | 撮像装置、撮像方法 |
| JP2017112457A (ja) * | 2015-12-15 | 2017-06-22 | オリンパス株式会社 | 撮像装置、撮像プログラム、撮像方法 |
| US9871965B2 (en) * | 2016-02-03 | 2018-01-16 | Texas Instruments Incorporated | Image processing for wide dynamic range (WDR) sensor data |
| US10271021B2 (en) * | 2016-02-29 | 2019-04-23 | Microsoft Technology Licensing, Llc | Vehicle trajectory determination to stabilize vehicle-captured video |
| WO2018116824A1 (ja) * | 2016-12-19 | 2018-06-28 | ソニー株式会社 | 制御装置、制御方法、並びにプログラム |
| JP2019054461A (ja) * | 2017-09-15 | 2019-04-04 | オリンパス株式会社 | 撮像装置および撮像方法 |
| JP6911135B2 (ja) * | 2017-09-29 | 2021-07-28 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
| WO2019171782A1 (ja) * | 2018-03-09 | 2019-09-12 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
| CN111418201B (zh) * | 2018-03-27 | 2021-10-15 | 华为技术有限公司 | 一种拍摄方法及设备 |
| CN109120860A (zh) * | 2018-09-11 | 2019-01-01 | 昆山星际舟智能科技有限公司 | 微观自适应图像处理方法 |
| CN109089053B (zh) * | 2018-10-23 | 2021-03-05 | Oppo广东移动通信有限公司 | 图像传输方法、装置、电子设备和存储介质 |
| KR102632901B1 (ko) * | 2019-01-11 | 2024-02-06 | 삼성전자주식회사 | 이미지 센서의 프레임 레이트를 제어하기 위한 전자 장치 및 그에 관한 방법 |
| GB201904072D0 (en) * | 2019-03-25 | 2019-05-08 | Secr Defence | Dazzle resilient video camera or video camera module |
| US20240135900A1 (en) * | 2021-04-14 | 2024-04-25 | Qualcomm Incorporated | Displaying images of different dynamic ranges |
| US11418725B1 (en) | 2021-11-29 | 2022-08-16 | Unity Technologies Sf | Increasing dynamic range of a virtual production display |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101296321A (zh) * | 2007-04-24 | 2008-10-29 | 索尼株式会社 | 摄像装置、摄像方法、曝光控制方法和程序 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2522015B2 (ja) | 1987-08-31 | 1996-08-07 | キヤノン株式会社 | 撮像装置 |
| JP4245699B2 (ja) * | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
| JP3645502B2 (ja) * | 2001-06-29 | 2005-05-11 | 株式会社東芝 | 撮像装置及び映像信号処理方法 |
| JP2005348221A (ja) | 2004-06-04 | 2005-12-15 | Seiko Epson Corp | 画像生成装置、静止画像生成装置、画像ずれ量検出装置、画像整列装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体 |
| JP2006018571A (ja) | 2004-07-01 | 2006-01-19 | Seiko Epson Corp | 画像生成装置、画像撮像装置、動画像生成装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体 |
| JP5182555B2 (ja) * | 2005-03-15 | 2013-04-17 | オムロン株式会社 | 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体 |
| JP4693602B2 (ja) * | 2005-11-07 | 2011-06-01 | 株式会社東芝 | 撮像装置、及び画像用信号処理方法 |
| JP2007288522A (ja) * | 2006-04-17 | 2007-11-01 | Fujifilm Corp | 撮像装置及び固体撮像素子駆動方法 |
| TW200820123A (en) * | 2006-10-20 | 2008-05-01 | Primax Electronics Ltd | Method and system of generating high dynamic range image corresponding to specific scene |
| JP4821626B2 (ja) | 2007-01-23 | 2011-11-24 | 株式会社ニコン | 画像処理装置、電子カメラ、および画像処理プログラム |
| JP4127411B1 (ja) * | 2007-04-13 | 2008-07-30 | キヤノン株式会社 | 画像処理装置及び方法 |
| JP5036410B2 (ja) * | 2007-05-31 | 2012-09-26 | キヤノン株式会社 | 撮像装置及びその制御方法 |
-
2010
- 2010-01-15 JP JP2010007137A patent/JP5439197B2/ja active Active
- 2010-12-16 US US12/970,450 patent/US8488019B2/en active Active
-
2011
- 2011-01-11 CN CN201110005098.6A patent/CN102131056B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101296321A (zh) * | 2007-04-24 | 2008-10-29 | 索尼株式会社 | 摄像装置、摄像方法、曝光控制方法和程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5439197B2 (ja) | 2014-03-12 |
| JP2011147008A (ja) | 2011-07-28 |
| US8488019B2 (en) | 2013-07-16 |
| US20110176028A1 (en) | 2011-07-21 |
| CN102131056A (zh) | 2011-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102131056B (zh) | 摄像装置和摄像方法 | |
| KR101303410B1 (ko) | 촬상장치 및 촬상방법 | |
| US8605171B2 (en) | Image processing apparatus, imaging apparatus, image processing method and storage medium storing image processing program | |
| KR100819804B1 (ko) | 촬상 장치 | |
| JP5163031B2 (ja) | 電子カメラ | |
| JP2014123809A (ja) | 撮像装置、撮像システム、および、撮像装置の制御方法 | |
| JP2012050073A (ja) | 撮像装置及び画像合成プログラム | |
| JP2002112095A (ja) | デジタルスチルカメラ | |
| JP2013034261A (ja) | 撮像装置、撮像方法 | |
| JP2010161557A (ja) | 撮像装置および撮像方法 | |
| JP2007329619A (ja) | 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。 | |
| JP5936323B2 (ja) | 画像記録装置およびその制御方法 | |
| US7864860B2 (en) | Image pickup apparatus and motion vector deciding method | |
| JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
| JP6278729B2 (ja) | 撮像装置、その制御方法及びプログラム | |
| JP2016046610A (ja) | 撮像装置 | |
| JP2009055415A (ja) | カメラ | |
| JP5310331B2 (ja) | 撮像装置および撮像方法 | |
| JP4705146B2 (ja) | 撮像装置及び撮像方法 | |
| JP2018056652A (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP2015041869A (ja) | 撮像装置、情報処理方法及びプログラム | |
| JP4803982B2 (ja) | 画像処理装置、画像記録装置、及び画像処理方法 | |
| JP4819859B2 (ja) | 撮像装置及び画像処理方法 | |
| JP4356585B2 (ja) | デジタルカメラ | |
| JP2003087647A (ja) | デジタルスチルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20151120 Address after: Tokyo, Japan Patentee after: OLYMPUS Corp. Address before: Tokyo, Japan Patentee before: Olympus Imaging Corp. |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140507 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |