CN103108134A - 摄像装置及控制方法 - Google Patents

Abstract

本发明提供摄像装置及控制方法。确定用来生成动态范围扩展图像的待合成图像的数量，以及针对各待合成图像的曝光条件。针对与运动体区域相对应的被摄体来确定适当曝光条件，并且把待合成图像的曝光条件之一改变为所述适当曝光条件。所述摄像装置针对多个待合成图像指定运动体区域，其中所述多个待合成图像是在包括所述适当曝光条件的、待合成图像的曝光条件下拍摄的。使用在所述适当曝光条件下拍摄的待合成图像的像素，作为针对所述多个待合成图像指定的运动体区域的像素，来生成动态范围扩展图像。

Description

摄像装置及控制方法

技术领域

本发明涉及摄像装置及控制方法，尤其涉及通过合成多个曝光不同的图像来扩展色调范围的动态范围扩展技术。

背景技术

近年来，诸如数字照相机及数字摄像机等的一些摄像装置具有动态范围扩展功能，该功能获得通过合成多个曝光不同的图像而扩展了色调范围的图像，其中通过以不同曝光时间拍摄被摄体的图像，来获得所述多个曝光不同的图像。

日本专利特开2008-104009号公报公开了如下的摄像装置，该摄像装置在拍摄图像未落入预定亮度范围内时，通过检测高亮度侧的最高亮度以及低亮度侧的最低亮度，来拍摄分别落入高亮度侧和低亮度侧的亮度范围内的两种不同图像，进而生成HDR图像。

此外，已经公开了如下的技术，即对动态范围扩展图像生成处理(以下称为“HDR图像生成处理”)中的图像合成进行动态控制，以避免当包括了运动体时通过HDR图像生成处理而输出的合成图像中的图像不连续性。

日本专利特开2002-101347号公报公开了以下技术。也即，当使用两个图像(即曝光不足图像和曝光过度图像)生成HDR图像时，基于归一化的各图像的色调级别之差，来指定可能发生图像不连续的区域，并且在该区域中，禁止更换为曝光不足图像。

然而，即使当使用日本专利特开2002-101347号公报的上述方法时，在通过合成而生成的HDR图像的运动体区域中，也可能使用从曝光过度图像和曝光不足图像两者中提取的像素，从而引起运动体区域中的纹理不连续问题。

发明内容

本发明是鉴于传统技术的问题而作出的。本发明提供避免通过合成多个曝光不同的图像而扩展了色调范围的图像中的图像不连续的摄像装置以及控制方法。

本发明在第一方面提供一种摄像装置，该摄像装置用于通过合成多个待合成图像，来生成动态范围扩展图像，所述摄像装置包括：摄像单元，用于输出通过拍摄被摄体而获得的图像；确定单元，用于由所述被摄体的像素值的分布，来确定用来生成动态范围扩展图像的待合成图像的数量，以及针对各待合成图像的曝光条件；第一指定单元，用于针对从所述摄像单元输出的多个预拍摄图像来指定运动体区域；改变单元，用于确定针对与由所述第一指定单元指定的运动体区域相对应的被摄体的适当曝光条件，并且把由所述确定单元确定的待合成图像的曝光条件中的一个曝光条件，改变为所述适当曝光条件；第二指定单元，用于针对所述多个待合成图像来指定运动体区域，其中所述多个待合成图像是由所述摄像单元在包括所述适当曝光条件的、待合成图像的曝光条件下拍摄的；以及生成单元，用于通过合成所述多个待合成图像来生成所述动态范围扩展图像，所述生成单元使用在所述适当曝光条件下拍摄的待合成图像的像素，作为由所述第二指定单元指定的运动体区域的像素。

本发明在第二方面提供一种摄像装置的控制方法，所述摄像装置包括用于输出通过拍摄被摄体而获得的图像的摄像单元，并通过合成多个待合成图像来生成动态范围扩展图像，所述控制方法包括：确定步骤，由所述被摄体的像素值的分布，来确定用来生成动态范围扩展图像的待合成图像的数量，以及针对各待合成图像的曝光条件；第一指定步骤，针对从所述摄像单元输出的多个预拍摄图像来指定运动体区域；改变步骤，确定针对与在所述第一指定步骤中指定的运动体区域相对应的被摄体的适当曝光条件，并且把在所述确定步骤中确定的待合成图像的曝光条件中的一个曝光条件，改变为所述适当曝光条件；第二指定步骤，针对所述多个待合成图像来指定运动体区域，其中所述多个待合成图像是由所述摄像单元在包括所述适当曝光条件的、待合成图像的曝光条件下拍摄的；以及生成步骤，通过合成所述多个待合成图像来生成所述动态范围扩展图像，在所述生成步骤中使用在所述适当曝光条件下拍摄的待合成图像的像素，作为在所述第二指定步骤中指定的运动体区域的像素。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据本发明的实施例的数字照相机100的功能结构的框图；

图2是用于说明由传统动态范围扩展处理导致的、HDR图像中的图像不连续的图；

图3是根据本发明的实施例的HDR图像生成处理的流程图；

图4A、图4B及图4C是用于说明根据本发明的实施例的运动体区域的图；

图5是用于说明根据本发明的实施例的曝光条件设置的图；

图6A、图6B及图6C是用于说明根据本发明的实施例的与运动体相对应的像素的分组处理的图；

图7是示出根据本发明的实施例的与运动体区域相对应的测光区域的图；

图8A、图8B、图8C及图8D是用于说明根据本发明的实施例的曝光条件的改变的图；

图9是用于说明根据本发明的实施例的并行处理的图；

图10是示出根据本发明的实施例的多个曝光不同的图像的示例的图；

图11是用于说明由于曝光时间不同而进行的色调级别调整之后的色调范围的图；

图12是示出根据本发明的实施例的检测的运动像素的图；以及

图13是用于说明根据本发明的实施例的色调映射处理的图。

具体实施方式

下面，将参照附图来详细描述本发明的优选实施例。请注意，下面要描述的实施例将例示如下的情况，即将本发明应用于作为摄像装置的示例的数字照相机，该数字照相机能够输出通过合成多个图像而扩展了动态范围的图像(HDR图像)，其中，通过以不同的曝光时间拍摄被摄体的图像来获得所述多个图像。然而，本发明适用于任意的装置，只要该装置能够输出通过将以不同的曝光时间拍摄被摄体图像而获得的多个图像进行合成而扩展了动态范围的图像即可。在本说明书中，“图像不连续”将笼统地表示关于HDR图像中的透明化、纹理不连续、图像滞后、多重边缘及图案混合的问题。

首先，将描述HDR图像中的透明化、纹理不连续、图像滞后、多重边缘及图案混合。通过日本专利特开2008-104009号公报中所描述的动态范围扩展技术来生成HDR图像，需要通过具有不同曝光级别的多次摄像操作与被摄体相关联地获得多个待合成图像。然而，当被摄体包括运动体时，待合成图像具有不同的运动体区域，在通过合成待合成图像而获得的HDR图像中，发生图像不连续问题。

具体而言，当被摄体包括运动体时，通过合成由多次摄像操作获得的图像而获得的HDR图像，遭遇与图像不连续相关联的以下问题。例如，当假定在曝光过度图像200中运动体区域201包括高光溢出区域202的情况时，如图2所示，引起以下问题。

1.当使用在与高光溢出区域202相同位置的区域中不包括运动体的曝光不足图像220的像素来替换像素时，在HDR图像230的运动体区域中，生成背景被透视的透明区域231(透明化)。

2.当使用在与高光溢出区域202相同位置的区域中存在运动体、但该运动体的位置不同的曝光不足图像220的像素来替换像素时，在相应区域232的边界处，运动体表面的纹理图案变得不连续。

3.与图2中不同，当曝光过度图像在背景区域中包括高光溢出区域时，并且在曝光不足图像中遮蔽该区域的位置处存在运动体时，通过将高光溢出区域的像素替换为曝光不足图像的像素来合成图像，则如同存在运动体的多个图像一样(图像滞后)。

不仅是像素替换处理，而且还有利用半色调范围内多个图像的加权平均的合成处理，也会导致在传统图像合成处理时出现的诸如图像不连续的问题，例如运动体周围的多重边缘，以及相加的运动体区域中的图案混合等。

请注意，即使当使用日本专利特开2002-101347号公报的上述方法时，在通过合成而生成的HDR图像的运动体区域中，也可能经常使用从曝光过度图像和曝光不足图像两者中提取的像素，从而引起运动体区域中的纹理不连续问题。

另一方面，可以使用如下的方法，即通过由被拍摄用来生成HDR图像的多个图像的全部的差来指定像素值的改变量等于或大于阈值的区域，并且针对该区域的像素使用从一个图像中提取的像素生成HDR图像，来消除图像不连续。然而，提取要向像素值的改变量等于或大于阈值的区域分配的像素的选择图像，可能经常包括高光溢出区域或阴影细节丢失区域，并且在获得的HDR图像中，经常不能获得所需的动态范围扩展效果。特别是，与日本专利特开2008-104009号公报类似，当根据最高亮度和最低亮度来拍摄用来生成HDR图像的曝光过度图像和曝光不足图像时，这两种图像都可能包括高光溢出区域或阴影细节丢失区域，并且不能获得所需的动态范围扩展效果。

因此，根据本发明，确定针对图像中包括的运动体区域的适当曝光条件，将两个或更多图像的曝光条件之一改变为该适当曝光条件，以拍摄两个或更多图像，并且将在该适当曝光条件下拍摄的图像的像素用于被确定为运动体区域的区域。

<数字照相机的功能结构>

图1是示出根据本发明的实施例的数字照相机100的功能结构的框图。

控制器101例如是CPU。通过读出存储在ROM 102中的HDR图像生成处理程序(稍后描述)、在RAM 103上展开读出的程序并执行展开的程序，控制器101控制数字照相机100中包括的各模块的操作。ROM102例如是诸如可重写非易失性存储器等的寄存器。除了HDR图像生成处理程序之外，ROM 102还存储数字照相机100中包括的各模块的操作所需的控制参数等的信息。RAM 103例如是易失性存储器。RAM 103不仅被用作HDR图像生成处理程序的展开区域，而且还用作数字照相机100中包括的各模块的操作期间输出的中间数据的临时存储区域。

请注意，在该实施例的以下描述中，通过包括在数字照相机100中作为硬件构成要素的各模块，来实现各处理。然而，本发明不局限于此类特定实施例，并且可以通过能够实现与各模块相同的处理的程序，来实现各模块的处理。

光圈105是曝光控制元件，其被布置在光学***104的光瞳面上，并通过部分遮蔽入射到摄像单元107的表面的光，来调整光量。机械快门106是曝光控制元件，其通过物理遮蔽入射到摄像单元107的表面的光线，来调整随时间入射的光量。

摄像单元107由摄像元件(即单板元件或三板元件)构成，所述单板元件通过以例如拜耳(Bayer)阵列模式布设滤色镜而形成，并通过单个平面来接收被摄体像，所述三板元件使用分光棱镜(未示出)将颜色信息分为三个或更多，并由独立的摄像元件接收各光线。摄像单元107对经由包括多个透镜及反射镜的光学***104形成的被摄体像进行光电转换。然后，摄像单元107将通过光电转换获得的模拟图像信号，输出至预处理器108。

请注意，当摄像单元107由三板元件构成时，需要分光光学元件，但是可以省略图像处理器110(稍后描述)中的拜耳阵列插值处理。此外，摄像单元107还是曝光控制元件，其通过控制摄像元件的累积时间及读取定时来调整光量，因为摄像元件具有电子快门功能。

预处理器108对输入模拟图像信号应用借助相关双采样(CDS)的噪声去除、利用借助自动增益控制(AGC)的增益调整的曝光控制、黑电平校正，以及A/D转换处理，并且输出数字图像信号。在预处理器108中执行的各种处理又称为AEF(模拟前端)处理，因为这些处理是对模块图像信号的预处理。

在该实施例中，为了时分(time-divisionally)拍摄多个曝光不同的图像，控制器101利用曝光控制器109，来控制光圈105、机械快门106、摄像单元107及预处理器108中的曝光控制操作。更具体而言，曝光控制器109依照从控制器101输入的多个图像的曝光信息，来控制光圈105的光圈量、机械快门106的全开光圈时间(full aperture time)、摄像元件的累积时间及读取定时，以及预处理器108中的增益调整量。

图像处理器110对输入的数字图像信号应用图像处理，诸如拜耳阵列插值、线性矩阵处理、白平衡调整、YCC转换、色差/色调/对比度校正、以及边缘增强处理。图像处理器110能够通过应用这些图像处理，来生成一个输出图像(与单次正常摄像操作相关联的图像)。生成的图像存储在例如图像存储器111(稍后描述)中。作为另一选择，经由记录介质I/F单元114，将生成的图像记录在记录介质115中。与预处理器的AFE处理相反，将图像处理器110执行的各种图像处理称为DBE(数字后端)处理。

在该实施例中，假定图像处理器110执行包括在由多个曝光不同的图像生成扩展了动态范围的HDR图像的各步骤中执行的合成处理的图像处理。在应用图像处理器110中的DBE处理之后，将在HDR图像生成处理中使用的多个曝光不同的图像依次存储在图像存储器111中。图像处理器110从图像存储器111中读出各图像，并且对所述各图像应用所需处理。

此外，当根据存储在例如ROM 102中的拍摄图像的记录格式而需要诸如压缩/编码等的转换处理时，图像处理器110向图像数据应用该处理，从而生成要记录的图像数据。

图像存储器111是数字照相机100中包括的图像存储区域。图像存储器111不仅可以按需要临时存储通过HDR图像生成处理获得的图像数据，而且可以存储通过应用DBE处理中的一些而获得的中间图像数据。存储在图像存储器111中的图像，可以是应用了例如拜耳阵列插值及线性矩阵处理的三个平面的RAW(原始)图像数据、进一步经历了白平衡调整的RGB图像数据，或是应用了YCC转换的YCC图像数据。请注意，该实施例在以下的描述中，将假定存储在图像存储器111中的用于HDR图像生成处理的图像是YCC图像。然而，在HDR图像生成处理(稍后描述)中使用的图像不局限于YCC颜色空间上的图像，并且也可以使用其他颜色空间上的图像。

显示单元112是例如包括在数字照相机100中的诸如小型LCD等的显示设备，并显示拍摄图像、生成的HDR图像，或是经由记录介质I/F单元114(稍后描述)从记录介质115读出的图像。

操作单元113是用户接口，其包括数字照相机100中包括的快门按钮及菜单按钮等，并用来接受来自用户的操作输入。操作单元113分析用户进行的操作输入，并将与该操作输入相对应的信号输出至控制器101。此外，操作单元113不局限于物理操作部件(上述的快门按钮及菜单按钮等)，并且操作单元113也可以包括触摸屏传感器。例如，在这种情况下，操作单元113向控制器101，输出由用户操作的显示单元112的显示区域上的位置信息。

记录介质I/F单元114是接口，其用来例如在连接的记录介质115中写入由图像处理器110生成的图像数据等，或者用来从记录介质115中读出数据。记录介质115可以是例如包括在数字照相机100中的内部存储器，或是可拆卸地连接到数字照相机100的诸如存储卡或HDD等的记录设备。

<HDR图像生成处理>

下面，将参照图3中所示的流程图，来具体描述该实施例的具有前述结构的数字照相机100的HDR图像生成处理。当控制器101读出存储在例如ROM 102中的相应处理程序、将读出的程序展开到RAM 103上并且执行展开的程序时，能够实现与该流程图相对应的处理。请注意，在以下描述中，将假定例如在数字照相机100的摄像模式被设置在HDR摄像模式下的情况下，当用户操作快门按钮时，开始该HDR图像生成处理。

在步骤S301中，控制器101指定摄像视场角中的运动体区域(第一指定)，并将指定的区域存储在RAM 103中。各运动体区域表示包括诸如正在移动的被摄体等的运动被摄体的区域，所述被摄体包括在被拍摄用来生成HDR图像的各图像中。具体而言，控制器101从图像存储器111中，获得时分拍摄的多个预拍摄图像，并且计算所述多个预拍摄图像的像素值差。然后，控制器101检查各差是否等于或大于判断运动体所需的预定阈值Th_MOV，从而针对各像素指定运动体区域。在该实施例中，控制器101控制预处理器108及图像处理器110，以将预定处理应用于在相同曝光条件下时分拍摄的两个预拍摄图像，从而生成YCC格式的图像。然后，控制器101进行控制，以计算YCC格式的两个预拍摄图像的亮度分量的差，并且针对各像素，将计算的差与阈值Th_MOV进行比较。

例如，当使用通过时分拍摄包括运动体410的被摄体而获得的两个预拍摄图像401及402、来检测运动体区域时，如图4A及4B所示，控制器101将各图像分割为多个块，并针对各块计算亮度分量差。在图4A至图4C中所示的示例中，将通过被摄体的移动而改变了亮度值的、图4C中用实心圆表示的块，指定为运动体区域。

请注意，在该实施例中，控制器101使用在相同曝光条件下时分拍摄的两个预拍摄图像，来指定运动体区域。当预拍摄图像的曝光条件不同时，根据曝光条件来调整两个预拍摄图像的色调级别，使得相同被摄体的色调级别彼此相等，从而使得控制器101能够执行比较。然而，当由于不同的曝光条件而使预拍摄图像包括高光溢出区域或阴影细节丢失区域时，因为该区域依据曝光条件而改变，结果，静止体的部分区域被检测为运动体区域。

在HDR图像的生成中，当“与运动体相对应的区域包括高光溢出区域或阴影细节丢失区域”时，通过将从具有不同曝光条件的多个图像中采样的像素分配给运动体区域，使得可能发生图像不连续。通过将从一个图像中采样的像素分配给该区域，能够避免图像不连续。然而，当将高光溢出或阴影细节丢失像素分配给该区域时，如上所述，获得的图像具有低的动态范围扩展效果。换言之，对于通过包括这种像素分配的处理而生成的HDR图像，避免了图像不连续问题，但是可能无法获得作为本来目的的关于动态范围扩展的优选结果。因此之故，在该实施例中，至少针对运动体区域设置优选曝光条件(适当曝光条件)，并且使用在该条件下拍摄的图像来生成HDR图像。此时，当根据曝光条件的变化来管理在静止体区域中生成的高光溢出像素或阴影细节丢失像素的改变、以检测出运动体区域时，所确定的曝光条件可能偏离严格运动体的优选曝光条件。

当针对一个区域确定适当曝光条件时，控制器101由该区域的色调分布，来计算色调分布的加权重心I_g，如图5所示。然后，控制器101确定曝光条件，以使色调分布的加权重心I_g在预定色调范围的中值附近。换言之，例如，由于色调分布的加权重心位于高色调侧，因而与仅考虑运动体的情况相比，考虑到静止体区域中包括的高光溢出像素的改变而确定的曝光条件具有较低的曝光量。换言之，当将在以这种方式确定的曝光条件下拍摄的图像的像素作为运动体区域的像素分配时，由于低的曝光量，该区域可能包括阴影细节丢失像素。因此之故，在该实施例中，当使用具有不同曝光条件的多个预拍摄图像来检测运动体区域时，使用不存在高光溢出及阴影细节丢失像素的任何改变的预拍摄图像、或者包括各曝光条件的小改变量的预拍摄图像。

请注意，在该实施例的描述中，将假定使用在相同曝光条件下拍摄的两个预拍摄图像，来指定运动体区域。然而，本发明不局限于此类特定的运动体指定方法。例如，可以使用三个或更多预拍摄图像，来确定运动体区域，并且多个预拍摄图像可以是在不同曝光条件下拍摄的图像。当使用在不同曝光条件下拍摄的图像时，优选在不导致静止体区域中的高光溢出及阴影细节丢失像素的改变的曝光条件下，来拍摄各图像，如上所述。

在指定运动体区域时，依据曝光条件，高光溢出区域或阴影细节丢失区域可能经常包括运动体。因此之故，控制器101可以通过组合从多个预拍摄图像中指定的运动体区域，来确定最终的运动体区域，其中诸如在低曝光侧的曝光条件及高曝光侧的曝光条件下等的不同曝光条件下，分别获得所述多个预拍摄图像。

可以针对视场角中的各区域指定多个运动体区域。能够通过对与运动体相对应的像素进行分组，来获得多个分割指定的运动体区域。具体而言，控制器101使用像素的亮度值及颜色信息作为附加信息，参照像素的坐标信息来执行分组。

下面，将参照图6A至图6C，来描述与运动体相对应的像素的分组。例如，当分布与在该步骤中检测的运动体相对应的像素时，如图6A所示，控制器101可以使用区域生长法来执行与分组相关的处理，从而对符合相同条件的与运动体相对应的像素进行分组。

区域生长法是一种通常的图像处理，其在组的评价值与各要素的评价值之差等于或小于预定阈值时，基于一定的评价值来组合最初细分(例如，针对各像素)的要素，而在除此以外的情况下不对要素进行组合。在例如“Mikio Takagi，Haruhisa Simoda，Handbook of Image Analysis[Revised Edition]，University of Tokyo Press”中，描述了区域生长法。

在运动体区域指定处理完成之后，控制器101使处理进入到步骤S302。

在步骤S302中，控制器101确定生成HDR图像所需的图像的数量(两个或更多)，以及这些图像的曝光量(曝光条件)，并将所述数量及所述曝光量存储在RAM 103中。生成HDR图像所需的图像的数量以及各图像的曝光量的信息，可以例如被预先设置并存储在ROM 102中，或者可以依照被摄体的测光处理结果而确定。在该实施例中，控制器101控制摄像单元107，以在高曝光侧的曝光条件及低曝光侧的曝光条件下执行预拍摄，并且从获得的图像中，指定被摄体的最高亮度部分及最低亮度部分。然后，控制器101根据由最高及最低亮度值计算的亮度范围，以及摄像元件的动态范围，来确定生成HDR图像所需的图像的数量。此外，控制器101确定各曝光图像的曝光条件，包括不导致被摄体的最高亮度部分的任何高光溢出的不足曝光量E_UNDER，以及不导致最低亮度部分的任何阴影细节丢失的过度曝光量E_OVER。当生成HDR图像所需的图像的数量是三个或更多时，可以通过例如在曝光量E_UNDER与E_OVER之间均匀分布值，来确定各图像的曝光条件。

请注意，在该实施例的以上描述中，根据被摄体的亮度分布，来确定生成HDR图像所需的图像的数量。作为另一选择，生成HDR图像所需的图像的数量可以采用固定值。

在步骤S303中，控制器101确定针对运动体区域的适当曝光条件，并将该适当曝光条件存储在RAM 103中。当检测到运动体区域时，如图4C所示，控制器101控制测光单元(未示出)，以针对与运动体区域相对应的图7中所示的测光区域，来执行测光，并使用获得的测光结果，来确定适当曝光条件。作为适当曝光条件确定方法，例如，可以依照由测光结果获得的运动体区域的色调分布，来确定适当曝光条件，如上面参照例如图5所描述的。

在步骤S304中，控制器101将针对用来生成HDR图像的两个或更多图像的曝光条件(在步骤S302中确定的并存储在RAM 103中的所需图像的数量)之一改变为在步骤S303中确定的适当曝光条件。具体而言，控制器101在用来生成HDR图像的两个或更多图像的曝光条件中，指定曝光量最接近适当曝光条件的曝光条件，并且将指定的曝光条件改变为适当曝光条件。

换言之，在该实施例中，在HDR图像的生成时，由于至少向运动体区域分配在适当曝光条件下拍摄的一个图像的像素，因此，用来生成HDR图像的两个或更多图像的曝光条件需要包括适当曝光条件。换言之，由于在步骤S302中，根据整个被摄体的亮度分布，来确定用来生成HDR图像的两个或更多图像的曝光条件，因此这些曝光条件有可能不包括适当曝光条件，并且在该步骤中，将这些曝光条件之一改变为适当曝光条件。

例如，下面将检查如下的情况，即生成HDR图像所需的图像的数量是2，并且曝光量E_UNDER及E_OVER和适当曝光条件E_MV具有图8A中所示的关系。此时，由于曝光量E_UNDER最接近适当曝光条件E_MV，因此控制器101将生成HDR图像所需的两个图像的曝光条件，改变为适当曝光条件E_MV及曝光量E_OVER，如图8B所示。同样，下面将检查如下的情况，即生成HDR图像所需的图像的数量是3，并且不足曝光量E_UNDER、半色调图像的曝光量E_MID以及过度曝光量E_OVER和适当曝光条件E_MV具有如图8C所示的关系。此时，由于曝光量E_MID最接近适当曝光条件E_MV，因此控制器101将生成HDR图像所需的三个图像的曝光条件，改变为适当曝光条件E_MV以及曝光量E_UNDER及E_OVER，如图8D所示。

如上所述，在该HDR图像生成处理中，在步骤S301至S304中，检测被摄体的运动体区域，并且确定生成HDR图像所需的图像的曝光条件，以及针对运动体区域的适当曝光条件。请注意，在步骤S301及S302中，拍摄预拍摄图像，并且控制器101基于预拍摄图像来确定运动体区域及曝光条件，如上所述。然而，当在各步骤中执行预拍摄操作时，由于实际拍摄用来生成HDR图像的图像(主拍摄)所需的时间延长，因此步骤S301至S303中的处理可以并行执行。

例如，如图9所示，控制器101使曝光控制器109控制光圈105、机械快门106、摄像单元107及预处理器108，以依次获得曝光不足图像901、曝光过度图像902及曝光不足图像903，直到主拍摄为止。当获得曝光过度图像902时，控制器101可以指定最低亮度部分，以在步骤S302中确定曝光量E_OVER。此外，当获得曝光不足图像903(在与曝光不足图像901相同的曝光条件下)时，控制器101可以指定最高亮度部分，以在步骤S302中确定曝光量E_UNDER，并进一步确定生成HDR图像所需的其他图像的曝光条件。此时，控制器101与上述处理并行地比较曝光不足图像901及903，以在步骤S301中指定运动体区域，并在步骤S303中确定适当曝光条件。当在步骤S304中生成HDR图像所需的图像的曝光条件之一被改变为适当曝光条件之后，控制器101可以控制曝光控制器109执行曝光控制，以执行步骤S305及后续步骤中的主拍摄处理及HDR图像合成处理。

通过以这种方式执行并行处理，能够缩短直到主拍摄操作为止所需的时间。例如，当进行拍摄操作以生成紧接在前的HDR图像时，能够进一步缩短直到主拍摄操作为止所需的时间。如果紧接在前的HDR图像的生成处理是在预定时间段内执行的，则认为该生成处理是针对相同被摄体执行的。因此之故，在例如步骤S301或S303中，控制器101可以使用用来生成紧接在前的HDR图像的运动体区域或适当曝光条件，作为运动体区域或适当曝光条件的信息。在这种情况下，可以将表示运动体区域或适当曝光条件的信息存储在RAM 103中。

在步骤S305中，控制器101在存储于RAM 103中的改变后的曝光条件(步骤S304)下，使曝光控制器109控制光圈105、机械快门106、摄像单元107及预处理器108，以获得多个时分拍摄图像。请注意，时分拍摄的多个曝光不同的图像在预处理器108及图像处理器110中经历预定处理，以被转换为YCC格式的图像，并且转换后的图像被存储在图像存储器111中。

请注意，在该实施例的描述中，为了简便起见，使用三个曝光不同的图像1001、1002及1003来生成HDR图像，如图10所示。然而，本发明不局限于此类特定实施例，而是也可适用于使用两个或更多曝光不同的图像来进行的生成。假定图像1001至1003的曝光量依次减小，并且以相同的时序依次拍摄这些图像。在下面的描述中，这些图像将称为曝光过度图像1001、中间曝光图像1002及曝光不足图像1003。各图像包括静止体1010及1011以及运动体1012及1013，作为被摄体。在多个图像的摄像操作期间，运动体1012及1013相对于数字照相机100在向右方向上移动。

当数字照相机100包括类似于至少光学或电子防振功能的登记功能(未示出)时，则将该功能应用于在步骤S305中获得的多个曝光不同的图像。

在步骤S306中，控制器101控制图像处理器110执行色调级别调整处理，以在存储于图像存储器111中的多个图像之间，使与相同被摄体相关联的像素值均一化。具体而言，图像处理器110将存储在图像存储器111中的多个图像中的各个，乘以图像的曝光时间与该图像的最长曝光时间的比率的倒数，从而实现色调级别调整。请注意，控制器101控制图像处理器110，以将级别调整后的图像输出并存储在图像存储器111中。

图11示出了在色调级别调整之后各图像的色调范围，以及能够通过利用多个图像生成的HDR图像来表现的色调范围。在图11中，使用图像的亮度Y分量的像素值作为色调范围。此外，在级别调整后的各图像中，高光溢出亮度阈值H_LV及阴影细节丢失亮度阈值L_LV是利用如下附图标记来表现的：a对应于曝光过度图像1001；b对应于中间曝光图像1002，以及c对应于曝光不足图像1003。

请注意，在该实施例中，像素值表示像素的色调数据。当像素是彩色像素(chromatic pixel)时，通过具有与颜色空间的分量数一样多的构成要素的矢量来表现像素值。换言之，诸如亮度值等颜色空间上的特定分量的值表示标量。

在步骤S307中，控制器101检测如下的像素(运动像素)，所述像素对应于存储在图像存储器111中的级别调整后的多个图像中被摄体的改变，即对应于包括运动体的区域以及阴影细节丢失或高光溢出状态的改变(第二指定)。具体而言，控制器101读出存储在图像存储器111中的级别调整后的多个图像当中的两个，并计算与相同坐标位置处的像素相关联的像素值之差。然后，当像素值之差等于或大于预定阈值时，控制器101将该像素检测为运动像素。换言之，与在步骤S301中指定的运动体区域不同，在步骤S307中检测的运动像素包括依据曝光条件而改变的高光溢出区域及阴影细节丢失区域。在该步骤中检测的运动像素表示被拍摄用来生成HDR图像的图像的如下像素，所述像素要被分配在适当曝光条件下拍摄的图像的像素。

例如，当参照级别调整后的曝光过度图像1001，针对中间曝光图像1002及曝光不足图像1003计算了亮度值之差时，通过如下的布尔(Boolean)表达式，来判断表示3个图像的像素是否为运动像素的布尔型变量B_MOV：

B_MOV＝F(Y_b-Y_a)∨F(Y_c-Y_a)  ...(1)

其中，F是判断像素的亮度值之差ΔY是否超过阈值Th_MOV所需的函数，其中所述阈值Th_MOV被预先确定以用来判断这些像素是否为运动像素，F表示为下式：

$F\left(\mathrm{\&Delta;Y}\right)=\begin{array}{c}0\left(\right|\mathrm{\&Delta;Y}\left|\right)<{\mathrm{Th}}_{\mathrm{MOV}}\\ 1\left(\right|\mathrm{\&Delta;Y}\left|\right)\&GreaterEqual;{\mathrm{Th}}_{\mathrm{MOV}}\end{array}$

请注意，该实施例在以下的描述中，将假定使用存储在图像存储器111中的YCC图像的像素值的亮度分量，来检测运动像素。然而，本发明不局限于此类特定实施例。例如，当存储在图像存储器111中的图像是RGB图像或RAW图像时，可以使用各自表示构成各像素值的各颜色分量的矢量的绝对值或特定的颜色分量，来判断像素是否为运动像素。

此外，该实施例在以下的描述中，将假定使用3个图像来合成HDR图像。当要使用3个图像以外的图像来合成HDR图像时，布尔表达式(1)依据图像的数量而改变。判断相同坐标位置处的像素是否为运动像素，至少需要(用于合成的图像数-1)次差计算。布尔表达式的项数等于差计算的次数，并且能够使用在OR(或)条件下组合全部项的布尔表达式，来取代式(1)。请注意，该实施例在以下的描述中，将假定通过参照一个图像，计算该图像与其他图像的亮度值之差，来判断布尔表达式。作为另一选择，可以不设置任何标准图像，而是计算按时间顺序连续的两个图像的亮度值之差。

在图10中所示的曝光过度图像1001、中间曝光图像1002及曝光不足图像1003之中检测了运动像素之后，对图像的各像素进行分类，如在例如图12中所示出的。在图12中，用实心圆表示运动像素，用空心圆表示不与运动像素相对应的像素。

在步骤S308中，控制器101控制图像处理器110，以生成扩展了动态范围的HDR图像。具体而言，控制器101把在步骤S307中检测的运动像素的信息传送至图像处理器110，并通过与运动像素及其他像素相对应地切换处理，来控制图像处理器110生成HDR图像。图像处理器110根据运动像素的输入信息，来生成要生成的HDR图像的各像素的像素值，具体如下。

对于被确定为运动像素的各像素，图像处理器110将在步骤S303中确定的适当曝光条件下在步骤S305中拍摄的图像中的、相同坐标位置处的像素值，按原样代入到运动像素。

对于运动像素以外的像素，图像处理器110可以代入任何图像的像素值，因为这些像素在步骤S307中未被确定为运动像素，即在全部多个曝光不同的图像中，这些像素值的改变均落在阈值范围内。请注意，当摄像元件具有差的性能时，或者当预处理器108容易受到电的影响时，像素值中可能混入噪声。因此之故，运动像素以外的像素，可以是全部或部分曝光不同的图像的像素值的加权平均值。曝光不足图像在级别调整处理中被乘以相对大的增益，并且由于A/D转换的色调级别的有限性，而容易受到噪声及量化误差的影响。因此之故，例如，在加权平均中，可以为曝光不足图像设置较小的加权系数。

假定把在该步骤中由图像处理器110生成的HDR图像存储在图像存储器111中。

在步骤S309中，控制器101控制图像处理器110，以对在步骤S308中生成的HDR图像，应用色调映射处理或范围压缩处理，从而生成要最终输出的HDR图像。

请注意，当输出图像大于所需位深度时，为了匹配位深度，需要范围压缩处理。

色调映射处理是通过例如提高图像中的暗区域的色调级别并压缩亮区域的色调级别来实现所需的色调表现而需要的校正处理。在HDR图像的生成中，通过应用色调映射处理，能够对即使在HDR处理之后仍然残留的高光溢出及阴影细节丢失色调像素进行有效地遮蔽。

在该实施例中，在HDR图像的生成时，将一个曝光图像的像素值，分配给被检测为运动像素的像素。因此之故，能够应用色调映射处理，使得该曝光图像的高光溢出及阴影细节丢失像素达到色调表现的最大或最小值。以此方式，在要最终输出的HDR图像中，能够遮蔽高光溢出及阴影细节丢失像素。

此外，在HDR图像的生成时，可以依照像素被分配给检测为运动像素的像素的曝光图像中包括的高光溢出及阴影细节丢失像素，来使用在色调映射处理中要映射的不同色调转换曲线。

例如，在HDR图像的生成时，当在要被分配给被检测为运动像素的像素的曝光图像中、阴影细节丢失像素的数量大于高光溢出像素的数量时，能够进行处理，以将这些像素映射于图13中所示的转换曲线1301上。在图13中，横轴标绘要经历色调映射的图像的色调值，纵轴标绘色调映射之后的色调值。两坐标轴在向右或向上的方向上，表示升高的色调级别。在图13中，对角线上所示的虚线1304，表示当借助色调映射的色调校正要被跳过时使用的色调转换曲线。换言之，转换曲线1301被设计用来得到较接近于低色调端的阴影细节丢失像素的色调值，以及扩展等于或高于阴影细节丢失色调的像素的色调表现宽度，以在曝光图像中遮蔽阴影细节丢失像素。

相反，当在曝光图像中高光溢出像素的数量大于阴影细节丢失像素的数量时，将这些像素映射于转换曲线1302上。当被摄体具有宽的动态范围时，并且当曝光图像包括相近比率的阴影细节丢失和高光溢出像素二者时，使用转换曲线1303。这样，由于阴影细节丢失像素的色调值较接近于低色调端，并且高光溢出像素的色调值较接近于高色调端，因此，能够扩大半色调表现范围，并且能够遮蔽阴影细节丢失及高光溢出像素。

以此方式，通过动态改变在色调映射处理中要应用的色调转换曲线，能够在要最终输出的HDR图像中遮蔽阴影细节丢失及高光溢出像素。

当在步骤S308中生成的HDR图像的位深度与要最终输出的HDR图像的相同时，或者当色调特性已经呈现出所需特性时，不需要执行步骤S309的处理。

在步骤S310中，控制器101控制图像处理器110，以对要最终输出的HDR图像应用预定编码处理，以将该图像转换为预定记录格式，并且经由记录介质I/F单元114，将处理后的图像输出并记录在记录介质115中，由此结束该处理。此外，当诸如焦距及光圈值等的曝光控制信息、与HDR图像同时被记录为元数据时，控制器101获得所需的摄像设置信息及状态信息并记录在记录介质115中。

请注意，该实施例说明了记录要最终输出的HDR图像的情况。然而，当对HDR图像进一步应用诸如色调/颜色/对比度校正及边缘增强等的图像处理时，可以将该HDR图像存储在图像存储器111中。

该实施例说明了使用多个图像来生成HDR图像的情况，其中，所述多个图像类似于使用三角架拍摄的图像，并且在所述多个图像中，在要拍摄的场景中包括的图像中的静止被摄体的位置被保留无改变。然而，本发明不局限于此。当由于例如照相机抖动的影响在要拍摄的场景中包括的被拍摄图像中的静止被摄体的位置发生改变时，通过公知的方法来执行图像之间的位置对准，然后可以判断与被摄体的改变相对应的像素。对于照相机抖动的影响，使用例如在图1中用虚线表示的方位改变检测器120，来检测在拍摄各图像时数字照相机100的方位信息，并且，可以在图像的比较或合成时，校正照相机抖动的影响。

该实施例说明了使用时分拍摄的多个曝光不同的图像的情况。然而，本发明也适用于如下的情况，即使用要拍摄的同一场景的图像(例如，不同摄像日期的同一时间的图像)，来生成HDR图像。

如上所述，该实施例的摄像装置能够避免通过合成多个曝光不同的图像而扩展了色调范围的图像中的图像不连续。具体而言，摄像装置由整个被摄体的像素值的分布，来确定用来生成HDR图像的图像数量(两个或更多图像)，以及分别针对所述两个或更多图像的曝光条件。在从多个时分拍摄的图像中指定图像中包括的运动体区域之后，针对与运动体区域相对应的位置，来确定适当曝光条件，并且将两个或更多图像的曝光条件之一改变为所述适当曝光条件。然后，摄像装置所确定的包括改变后的适当曝光条件的曝光条件下，调整两个或更多图像的色调级别，并且指定两个或更多图像之间的相应像素值之差等于或大于阈值的区域。然后，使用在适当曝光条件下拍摄的图像的像素，作为像素值之差等于或大于阈值的指定区域的像素，并且，针对其他像素合成两个或更多图像，从而生成HDR图像。

以此方式，能够生成如下的HDR图像，该HDR图像即使在与运动体相对应的区域包括高光溢出或阴影细节丢失区域时，也能够避免图像不连续，并且该HDR图像包括这些区域的像素，作为在优选曝光条件下下拍摄的像素。

其他实施例

本发明的各方面还能够通过读出并执行记录在存储设备上的程序来执行上述实施例的功能的***或装置的计算机(或诸如CPU或MPU等的设备)来实现，并且能够利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的***或装置的计算机来执行各步骤的方法来实现。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims (8)

1.一种摄像装置，该摄像装置用于通过合成多个待合成图像，来生成动态范围扩展图像，所述摄像装置包括：

摄像单元，用于输出通过拍摄被摄体而获得的图像；

确定单元，用于由所述被摄体的像素值的分布，来确定用来生成动态范围扩展图像的待合成图像的数量以及针对各待合成图像的曝光条件；

第一指定单元，用于针对从所述摄像单元输出的多个预拍摄图像来指定运动体区域；

改变单元，用于确定针对与由所述第一指定单元指定的运动体区域相对应的被摄体的适当曝光条件，并把由所述确定单元确定的待合成图像的曝光条件中的一个曝光条件改变为所述适当曝光条件；

第二指定单元，用于针对所述多个待合成图像来指定运动体区域，其中所述多个待合成图像是由所述摄像单元在包括所述适当曝光条件的、待合成图像的曝光条件下拍摄的；以及

生成单元，用于通过合成所述多个待合成图像来生成所述动态范围扩展图像，所述生成单元使用在所述适当曝光条件下拍摄的待合成图像的像素，作为由所述第二指定单元指定的运动体区域的像素。

2.根据权利要求1所述的摄像装置，其中，所述改变单元把由所述确定单元确定的待合成图像的曝光条件当中的、曝光量最接近于所述适当曝光条件的曝光条件，改变为所述适当曝光条件。

3.根据权利要求1所述的摄像装置，其中，所述改变单元基于在所述第一指定单元指定的运动体区域中不包括高光溢出像素的曝光量范围中的最高曝光量，来确定所述适当曝光条件。

4.根据权利要求1所述的摄像装置，其中，所述第一指定单元把用来生成已经由所述生成单元生成的所述动态范围扩展图像的运动体区域，指定为针对所述多个预拍摄图像的运动体区域。

5.根据权利要求1至权利要求4中的任何一项所述的摄像装置，其中，所述改变单元将待合成的被摄体图像的曝光条件中的一个曝光条件改变为已经由所述生成单元生成的所述动态范围扩展图像的所述适当曝光条件。

6.根据权利要求1所述的摄像装置，其中，所述第一指定单元使用在同一曝光条件下时分拍摄的所述多个预拍摄图像的像素值之差，来指定运动体区域。

7.根据权利要求1所述的摄像装置，其中，所述第二指定单元调整所述多个待合成图像的色调级别，并把所述多个待合成图像的像素值之差不小于阈值的区域，指定为运动体区域。

8.一种摄像装置的控制方法，所述摄像装置包括用于输出通过拍摄被摄体而获得的图像的摄像单元，并通过合成多个待合成图像来生成动态范围扩展图像，所述控制方法包括：

确定步骤，由所述被摄体的像素值的分布，来确定用来生成动态范围扩展图像的待合成图像的数量以及针对各待合成图像的曝光条件；

第一指定步骤，针对从所述摄像单元输出的多个预拍摄图像来指定运动体区域；

改变步骤，确定针对与在所述第一指定步骤中指定的运动体区域相对应的被摄体的适当曝光条件，并且把在所述确定步骤中确定的待合成图像的曝光条件中的一个曝光条件改变为所述适当曝光条件；

第二指定步骤，针对所述多个待合成图像来指定运动体区域，其中所述多个待合成图像是由所述摄像单元在包括所述适当曝光条件的、待合成图像的曝光条件下拍摄的；以及

生成步骤，通过合成所述多个待合成图像来生成所述动态范围扩展图像，在所述生成步骤中使用在所述适当曝光条件下拍摄的待合成图像的像素，作为在所述第二指定步骤中指定的运动体区域的像素。

Images