CN101166240A - 图像处理装置、成像装置、图像处理方法 - Google Patents

Abstract

本发明公开了一种图像处理装置、成像装置、图像处理方法。该图像处理装置处理输入图像数据，包括：曝光校正值获取单元，其在所述输入图像数据的成像期间获取相对于曝光控制值的多个阶段的曝光校正值；照度分量产生单元，其根据输入图像数据来产生照度分量；增益量计算单元，其将多个加权系数的每个乘以相乘系数，并且相加相乘值以计算增益量，所述相乘系数对应于所述曝光校正值，所述曝光校正值对应于所述加权系数；以及，增益应用单元，其对于每个像素向输入图像数据应用由所述增益量计算单元计算的增益量。

Description

图像处理装置、成像装置、图像处理方法

技术领域

本发明涉及用于处理输入图像数据的图像处理装置、具有所述图像处理装置的功能的成像装置、图像处理方法和计算机程序，并且具体上涉及适合于处理其中成像具有较宽亮度范围的场景的图像数据的图像处理装置、成像装置、图像处理方法和计算机程序。

背景技术

对于使用固态成像元件的数字照像机(DSC)，可以将通过成像而获取的图像记录在诸如快闪存储器之类的记录介质中作为数字图像数据。可以根据所记录的数字图像数据来在监控器上显示图像或者从打印机打印图像。

在这样的DSC中的成像期间，可以通过向在DSC中的成像图像应用AE(自动曝光)处理、AWB(自动白平衡)处理、灰度校正处理等来获得具有期望质量的图像数据。当执行AE处理时，通过例如下述方法来测量物体的亮度：用于将成像图像的视角划分为多个区域并且将在相应区域中的量度的加权平均亮度设置为物体的亮度或者将在焦点的亮度设置为物体的亮度。通过根据所测量的结果调整曝光时间、光阑的光圈和ISO(国际标准组织)增益来确定曝光量。

但是，在视角上具有宽亮度范围的场景中，很可能AE处理的精度变差，在视角中的主要物体被曝光过度而引起图像中的白色空白点，或者被曝光不足而引起图像被淹没在图像中的噪声或者黑色实心颗粒中。作为用于获得即使在这样的场景中也在适当的曝光条件下成像的图像的成像方法，已知一种被称为“等级成像(bracket imaging)”的方法，用于通过改变曝光条件并且在所改变的曝光条件下获得多个图像信号来在一行中将物体多次曝光。例如，已知一种图像拍摄方法，用于根据测光结果在等级成像期间自动设置适当的条件(参见例如JP-A-2003-348438(段落0047-0050和图3))。

但是，即使适当设置曝光条件，当成像元件的输出的动态范围相对于场景的亮度范围不足时，出现白色空白点或者黑色实心颗粒导致图像质量变差。换句话说，在通过等级成像而获得的相应图像中，难于再现超过成像元件的输出的动态范围的亮度分量。

因此，已经考虑了一种成像方法，其使得可以通过应用等级成像获得具有比成像元件的输出更宽的动态范围的图像(高动态范围图像)。在所述高动态范围图像的成像中，通过等级成像而获得具有大曝光量的成像图像和具有低曝光量的成像图像，并且它们组合来产生具有高动态范围的图像。换句话说，其中通过缩小曝光量而获得在高亮度侧的灰度的图像分量和其中通过提高曝光量而获得在低亮度侧的灰度的图像分量被组合。这使得可以在所述组合后的图像中包含在宽亮度范围中的灰度信息，其可能不能在一次曝光中被获得。也提出了一种方法，用于不是使用等级成像功能，而是在成像元件上提供大和小两种光圈，并且组合在相应的光圈的区域中检测的输出以获得高动态范围图像。

发明内容

但是，在执行有效的等级成像中，具体上，在如果获取高动态范围图像则执行等级成像中，难于确定在等级成像期间的曝光条件。在使用等级成像获得高动态范围图像中，如果照像机散焦或者当执行等级成像时物体正在移动，则难于正确地组合所获得的图像，并且高动态范围图像的质量变差。因此，要求使得可以在一次曝光中产生高动态范围图像。但是，还没有考虑满足所述要求的有效方法。

在成像装置中处理的图像数据和由所述成像装置产生的高动态范围图像经常具有比由显示器可以处理的图像数据更大的比特数量。因此，经常需要压缩灰度范围的过程。结果，已经要求可以优化灰度范围而不破坏输入图像的质量的处理过程。

因此，期望提供可以优化输入图像数据的亮度范围的图像处理装置、成像装置、图像处理方法和计算机程序。

按照本发明的一个实施例，提供了一种图像处理装置，其处理输入图像数据，所述图像处理装置包括：曝光校正值获取单元，其在所述输入图像数据的成像期间获取相对于曝光控制值的多个阶段的曝光校正值；照度分量产生单元，其根据输入图像数据来产生照度分量；增益量计算单元，其将多个加权系数的每个乘以相乘系数，并且相加相乘值以计算增益量，所述多个加权系数是通过由曝光校正值获取单元获取的曝光校正值的阶段的数量而被设置，并且通过在照度分量中的同一位置中的像素的亮度而被设置，以便在所述同一位置中的像素中的加权系数的总值是1，所述相乘系数对应于所述曝光校正值，所述曝光校正值对应于所述加权系数；以及，增益应用单元，其对于每个像素向输入图像数据应用由所述增益量计算单元计算的增益量。

在这样的图像处理装置中，由所述曝光校正值获取单元获得在输入图像数据的成像期间相对于曝光控制值在多个阶段的曝光校正值，并且由所述照度分量产生单元根据输入图像数据来产生所述照度分量。通过所述增益量计算单元计算由所述增益应用单元对于每个像素应用到输入图像数据的增益的增益量。所述增益量计算单元将多个加权系数的每个乘以相乘系数，并且相加相乘值以计算增益量，所述多个加权系数是通过由曝光校正值获取单元获取的曝光校正值的阶段的数量而被设置，并且通过在照度分量中的同一位置中的像素的亮度而被设置，以便在所述同一位置中的像素中的加权系数的总值是1，所述相乘系数对应于所述曝光校正值，所述曝光校正值对应于所述加权系数。

在按照本发明的所述实施例的图像处理装置中，通过向输入图像数据应用对应于在多个阶段的曝光校正值的相乘系数而模拟地产生通过调整输入图像的曝光量而获得的信号分量。通过加权系数而给出在信号分量的同一像素中的组合比率。按照照度分量的亮度来确定所述组合比率。因此，可以按照所述照度分量的亮度分布而优化亮度范围。

附图说明

图1是示出按照本发明的第一实施例的DSC的内部结构的方框图；

图2是示出在按照第一实施例的DSC中的整个成像操作的过程的流程图；

图3是示出在步骤S111中的等级成像的处理过程的流程图；

图4是用于说明在要组合的图像之间的亮度的关系的图；

图5是示出HDR图像的灰度范围压缩的功能的方框图；

图6A和6B是示出在HDR图像的恢复范围压缩期间设置的增益曲线的示例的图；

图7是用于说明从累积直方图计算的参数的图；

图8是示出用于指示对应于关键级和加亮级的组合的亮度的频率的直方图的代表性示例的图；

图9是按照本发明的第三实施例的DSC的内部结构的方框图；

图10是示出在按照第三实施例的DSC中的成像期间的处理过程的流程图；

图11A-11D是用于说明在散焦图像的成像期间的焦距调整透镜的驱动过程的图；

图12是示出用于将低通图像的亮度转换为加权系数的转换函数的一个示例的图；

图13是用于指示在低通图像中的亮度的频率的直方图的示例的图；

图14A和14B是示出基于通过成像而获得的图像的亮度的直方图的示例的图；

图15是示出单调增函数的一个示例的图；

图16是示出按照本发明的第五实施例的DSC的内部结构的方框图；

图17是示出按照本发明的第六实施例的DSC的内部结构的方框图；

图18是示出在按照第六实施例的DSC中的成像期间的处理过程的流程图；

图19A-19C是示出在通过增益校正产生的图像中的亮度的特性的图；以及

图20是示出在组合图像中的亮度的特性的图。

具体实施方式

以下参见附图来详细说明本发明的实施例，所述附图引用其中向数字照像机(DSC)应用本发明的一个示例。

[第一实施例]

图1是示出按照本发明的第一实施例的DSC的内部结构的方框图。

在图1中的DSC包括光学块11、成像元件12、模数转换单元13、ISO增益控制单元14、缓冲存储器15、组合处理单元16、显影处理单元17、记录单元18、显示单元19、微计算机20、低通滤波器(LPF)21和检测单元22。

光学块11包括：未示出的透镜，用于将来自物体的光聚焦在成像元件12上；未示出的驱动机构，用于移动所述透镜以执行聚焦和变焦；光圈11a；以及，快门11b。按照来自微计算机20的控制信号来驱动在光学块11中的驱动机构。成像元件12是例如CCD(电荷耦合器件)类型或者CMOS(互补金属氧化物半导体)类型的固态成像元件，并且将来自物体的入射光转换为电信号。

模数转换单元13将从成像元件12输出的图像信号转换为数字数据。ISO增益控制单元14按照来自微计算机20的增益控制值而向来自模数转换单元13的图像数据的RGB(红色、绿色和蓝色)的相应分量应用均匀的增益。可以在被输入到模数转换单元13之前在模拟图像信号的一个阶段执行ISO增益的控制。

缓冲存储器15暂时存储通过等级成像而获得的多个图像的数据。组合处理单元16从微计算机20接收在所述等级成像期间应用的曝光校正值，并且根据这个曝光校正值来将在缓冲存储器15中的多个图像组合为一个图像。

显影处理单元17是用于执行所谓的RAW显影处理的块，所述RAW显影处理主要用于将从组合处理单元16输出的RAW图像数据转换为可视图像的数据。显影处理单元17向所述RAW图像数据应用数据插值(去马赛克)处理、各种颜色调整/转换处理(白平衡调整处理、高亮度拐点压缩处理、伽马校正处理、光圈校正处理、限幅处理等)和符合预定编码***的图像压缩和编码处理(在此应用JPEG(联合图像专家组))等。

在下面所述的实施例中，将从模数转换单元13输出的RAW图像数据的比特数量设置为12比特，并且显影处理单元17可以处理所述12比特数据。在显影处理的过程中，显影处理单元17按照例如高亮度拐点压缩处理(或者低位比特的下舍入)将所述12比特数据压缩为8比特数据，并且向所述8比特数据应用压缩和编码处理。显影处理单元17向显示单元19输出所述8比特数据。

记录单元18是用于将通过成像而获得的图像数据存储为数据文件的装置。记录单元18被实现为例如便携快闪存储器或者HD(硬盘)。在记录单元18中，除了由显影处理单元17编码的JPEG数据之外，从组合处理单元16输出的RAW图像数据可以被记录为数据文件。在记录单元18中记录的RAW图像数据可以被显影处理单元17读出和处理，并且在记录单元18中被重新记录为JPEG数据文件。

显示单元19包括监控器，其包括LCD(液晶显示器)。显示单元19根据由显影处理单元17处理的未压缩状态的图像数据来产生用于监控器显示的图像信号，并且向所述监控器提供所述图像信号。在记录成像图像之前的预览状态中，从成像元件12连续地输出成像图像信号。在进行数字转换后，经由ISO增益控制单元14和组合处理单元16向显影处理单元17提供所述成像图像信号的数字图像数据，并且对其进行显影处理(除了编码处理之外)。在这种情况下，显示单元19在监控器上显示从显影处理单元17依序输出的图像(预览图像)。用户可以可视地识别预览图像，并且查看视角。

微计算机20包括CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)。微计算机20通过执行在ROM上存储的程序而总地控制整个DSC。例如，在这个实施例中，微计算机20通过下述方式来实现AE控制：通过根据来自检测单元22的检测结果来计算曝光校正值，并且输出对应于所述曝光校正值的控制信号以控制光圈11a和快门11b。在执行下述的高动态范围成像中，微计算机20向组合处理单元16通知所计算的曝光校正值。

LPF 21当必要时向从ISO增益控制单元14输出的图像数据应用低通滤波处理。检测单元22是用于根据从ISO增益控制单元14通过LPF 21而提供的图像数据来执行各种检测的块。在这个实施例中，例如，检测单元22将一个图像划分为预定的测光区域，并且检测每个测光区域的亮度。

将说明成像操作，具体上是在这个DSC中的高动态范围成像的操作。高动态范围成像(以下称为HDR成像)是一种成像方法，其使得可以获得具有比由成像元件12可检测的场景中的亮度范围更宽的亮度范围中的灰度信息的图像(以下称为HDR图像)。在下面的说明中，在DSC中设置用于按照成像场景而自动识别是否需要HDR成像的成像操作模式。

图2是示出在按照第一实施例的DSC中的整个成像操作的过程的流程图。

[步骤S101]当接通电源时，DSC进入其中DSC等待来自用户的对于成像图像的记录请求的状态中，即其中在显示单元19的监控器上显示预览图像的状态中。在这种状态中，从ISO增益控制单元14输出的图像数据被输入到检测单元22，而不通过LPF 21进行滤波处理。微计算机20通过下述方式来执行AF控制：通过根据在检测单元22中的亮度信息的检测值而控制成像元件12的快门速度和光圈11a的打开。在这种情况下，例如，检测单元22将成像图像的视角划分为预定数量的测光区域，以检测亮度。微计算机20通过从在相应的测光区域中的亮度的亮度平均值判断模式而估计正确的曝光控制值。

[步骤S102]执行如上所述的用于成像预览图像的AE控制，直到用户操作快门按钮。当按下快门按钮时，执行用于记录图像的AE处理。在实际的操作中，例如，当在步骤S102中半按下快门按钮时，执行在步骤S103中和随后的步骤中的处理。其后，当未释放快门按钮的状态并且完全按下快门按钮时，执行在步骤S105、步骤S108-S110或者步骤S111-S114中的处理。

[步骤S103]当检测到快门按钮的半按下操作时，首先，执行用于成像记录图像的检测处理。在这个处理中，通过LPF 21向从ISO增益控制单元14输出的图像信号应用滤波处理。在滤波处理后的图像数据被提供到检测单元22。亮度被检测单元22检测，并且被通知到微计算机20。

在步骤S103中的亮度的检测值用于判断是否需要HDR成像或者等级成像，测量用于所述判断的场景的亮度范围，并且计算曝光校正值。通过从由LPF 21进行滤波处理的图像检测亮度，即使在输入图像中包括极亮小区域或者极暗区域，也可以减少由于小区域中导致的在所述判断和所述计算中的错误，并且稳定所述判断的结果和所述计算的结果。

可以不使用LPF 21，而通过下面在第三实施例中所述的使用在透镜的散焦状态中的成像图像的方法来获取大致进行低通滤波处理的图像。因此，可以去除LPF 21，并且可以控制电路大小。

当在步骤S103中，从与在步骤S101中的AT控制期间相同的测光区域检测亮度时，在下面的步骤中，将在步骤S101中估计的适当曝光控制值直接用作当前的曝光条件。但是，在下面的步骤中，通过不仅使用由成像元件12的电子快门功能而且使用快门11b控制曝光时间而获得曝光控制值被用作当前的曝光条件。

可以从与在步骤S101中的AE控制中不同的测光区域来检测亮度，以再次计算适当的曝光控制值。例如，仅仅从在视角中心的预定区域(例如相对于视角的整个面积的3％的面积)或者仅仅从在所划分的测光区域中的视角的中心部分和在所述中心部分周围的区域来检测亮度，并且适当的曝光控制值被根据所述检测的值而估计，并且被用作当前的曝光条件。可以通过用户操作来任意地改变测光区域的这样的设置。

[步骤S104]微计算机20判定是否需要执行HDR图像的成像。微计算机20根据在步骤S103中检测的亮度来判定是否其中在图像中发生白色空白点的像素的比率(白色空白像素比率)和其中在图像中发生黑色实心颗粒的像素的比率(黑色实心点像素比率)较高。当所述比率分别大于对于所述比率设置的门限值时，微计算机20判断需要考虑到场景的亮度范围的HDR成像。具体上，根据所述亮度，将具有等于或者大于成像元件12的电荷Qs的饱和量的电荷量的像素的比率计算为白色空白像素比率。将具有等于或者小于成像元件12的噪声水平Nf的噪声水平的像素的比率计算为黑色实心点像素比率。从例如用于指示每个亮度的频率的直方图计算这些比率。

[步骤S105]当白色空白像素比率和黑色实心点像素比率分别等于或者小于对于这些比率设置的门限值时，认为场景的亮度范围适于在其中在当前的曝光条件(即通过在步骤S101中的AE控制而估计的曝光条件)下执行成像的状态中在成像元件12的输出的动态范围。因此，微计算机20使得DSC根据当前曝光条件以在过去的正常过程来执行成像操作。换句话说，在检测到作为触发器的完全按下快门按钮时，在记录单元18中将根据当前曝光条件而曝光并且被捕获的图像数据记录为JPEG数据或者RAW图像数据。

[步骤S106]另一方面，当白色空白像素比率和黑色实心点像素比率之一超过对于所述比率设置的门限值时，认为场景的亮度范围不适于在当前曝光条件下成像元件12的输出的动态范围。因此，判定需要HDR成像。在这种情况下，随后，执行测量场景的亮度范围，即最大亮度Y_H和最小亮度Y_L。

在最大亮度Y_H的测量中，微计算机20使得DSC执行成像，同时逐渐地降低曝光校正值，并且每次降低曝光校正值时改变曝光条件，直到曝光校正值达到预先设置的曝光校正值的负侧上的极限值或者消除了白色空白像素。微计算机20测量曝光校正值EV_H，对于它，在场景的高亮度侧上的亮度适于成像元件12的输出的动态范围。微计算机20根据在预定参考曝光条件下在成像时在成像信号的动态范围中的所测量的曝光校正值EV_H和最大亮度Y_DH按照下面的方程(1)来计算最大亮度Y_H。

类似地，在最小亮度Y_L的测量中，微计算机20使得DSC执行成像，同时逐渐地提高曝光校正值，直到曝光校正值达到预先设置的曝光校正值的正侧上的极限值或者消除了黑色实心点像素。微计算机20测量曝光校正值EV_L，对于它，在场景的低亮度侧上的亮度适于成像元件12的输出的动态范围。微计算机20根据在预定参考曝光条件下在成像时在成像信号的动态范围中的所测量的曝光校正值EV_L和最小亮度Y_DL按照下面的方程(2)来计算最小亮度Y_L。具有等于或者小于在成像元件12的暗噪声的噪声水平Nf的平均的电荷数量的电荷数量的像素被判定为黑色实心点像素。噪声水平N按照曝光时间和成像元件12的温度等来改变。

Y_H＝2^-EV _H×(Q_MAX/Qs)×Y_DH    (1)

Y_L＝2^-EV _L×(Q_MIN/Qs)×Y_DL    (2)

在方程(1)和(2)中，Qs指示成像元件12的电荷的饱和量。Q_MAX和Q_MIN分别指示电荷量的最大值和最小值，并且可以分别从被定义为白色和黑色(白和黑)的亮度的检测值被转换。亮度Y_DH和Y_DL分别指示在预先确定的参考曝光条件下在成像元件12的输出的动态范围中的最大和最小亮度。

在最大亮度Y_H和最小亮度Y_L的计算中，具体上，当在视角中存在具有极高亮度的像素时，计算结果可能不稳定。另一方面，如上所述，可以通过在使用LPF 21向通过成像而获得的图像值应用滤波处理后执行检测亮度而解决这样的问题。

[步骤S107]随后，微计算机20根据最大照度Y_H和最小照度Y_L的计算结果，判断是否需要等级成像。具体而言，微计算机20根据Y_H/Y_L的值和成像元件12的输出的动态范围的转换值D_SENSOR的比较结果来判断是否需要等级成像。

[步骤S108]当Y_H/Y_L的值等于或者小于动态范围的转换值D_SENSOR时，因为可以判定成像元件12的输出的动态范围宽于场景的亮度范围，因此微计算机20判断不需要等级成像。在这种情况下，微计算机20将在步骤S101中估计的曝光条件下的曝光控制值(包括快门11b的控制)移位曝光校正值EVopt以校正曝光控制值，以便白色空白和黑色实心点不发生，并且微计算机20使得DSC使用校正的曝光控制值来执行曝光操作。

[步骤S109]而且，微计算机20设置在ISO增益控制单元14中的2的(-EVopt)次幂的增益，并且校正通过成像而获得的图像数据，以便恢复亮度LV。

[步骤S110]被校正的图像数据通过组合处理单元16被提供到显影处理单元17，并且在记录单元18中被记录为HDR图像的JPEG数据。或者，所校正的图像数据可以在记录单元18中被记录为HDR图像的RAW图像数据，而不被提供到显影处理单元17。

[步骤S111]另一方面，当Y_H/Y_L的值超过动态范围的转换值D_SENSOR时，因为可以判断动态范围小于场景的亮度范围，因此微计算机20判定需要等级成像。在这种情况下，微计算机20使得DSC根据在步骤S106中测量的最大亮度Y_H和最小亮度Y_L使用曝光控制值来执行等级成像。换句话说，微计算机20独立地获取图像，其中分别在适当的曝光条件下成像在场景的高亮度侧和低亮度侧的区域。

图3是示出在步骤S111中的等级成像的处理过程的流程图。

[步骤S201]微计算机20使用在步骤S106中测量的最大亮度Y_H和最小亮度Y_L按照下面的方程(3)和(4)来计算在场景的高亮度侧和低亮度侧的曝光校正值EV_UNDER和EV_OVER。EV_UNDER等于或者小于0，并且，EV_OVER等于或者大于0。

EV_UNDER＝-log₂(Y_H/Y_DH)    (3)

EV_OVER＝-log₂(Y_L/Y_DL)    (4)

[步骤S202]微计算机20使得DSC不改变地使用在步骤S101中估计(或者再次在步骤S103中估计)的曝光校正值直接地执行曝光操作，并且成像参考图像P0。在缓冲存储器15中暂时存储通过所述成像而获得的图像数据。

[步骤S203]微计算机20判定是否曝光校正值EV_UNDER是0。当曝光校正值EV_UNDER是0时，执行在步骤S205中的处理。当曝光校正值EV_UNDER不是0时，执行在步骤S204中的处理。

[步骤S204]当曝光校正值EV_UNDER不是0时，微计算机20通过向其应用曝光校正值EV_UNDER使得DSC执行曝光操作。因此，获得当通过必要的最小量将曝光校正到不足侧以防止在具有高亮度的物体中发生白色空白时形成的图像P_UNDER，并且在缓冲存储器15中暂时存储图像的图像数据。

[步骤S205]微计算机20判定是否曝光校正值EV_OVER是0。当曝光校正值EV_OVER是0时，执行在步骤S112中的处理。当曝光校正值EV_OVER不是0时，执行在步骤S206中的处理。

[步骤S206]当曝光校正值EV_OVER不是0时，微计算机20通过向成像应用曝光校正值EV_OVER而使得DSC执行曝光操作。因此，获得当通过必要的最小量将曝光校正到过量侧以防止在具有低亮度的物体中发生黑色实心点时形成的图像P_OVER。在缓冲存储器15中暂时存储图像的图像数据。

在图3中的处理过程中，当曝光校正值EV_UNDER和EV_OVER之一是0时，不使用所述曝光校正值来执行成像。因此，执行必要的最小次数的曝光。通过首先成像参考图像P₀而最小化快门滞后。关于第二和随后图像的成像，可以通过以从具有最短曝光时间的成像起的顺序执行成像而防止快门滞后(即首先执行在校正下的成像)。因为减少了在三个成像操作之间的时间差，因此即使当物体移动一点时，也可以成像大致相同的图像。可以减少在步骤S112中产生的组合图像的图像质量上的变差。

再次参见图2。

[步骤S112]随后，在缓冲存储器15中存储的相应的图像数据被组合处理单元16读出，并且被组合为一个HDR图像。组合处理单元16从微计算机20接收在高亮度侧和低亮度侧的曝光校正值EV_UNDER和EV_OVER。微计算机20按照下面的方程(5)使用所述曝光校正值来确定在所述组合后在图像P中的空间位置(x，y)中的像素的电荷P(x，y)的量，并且产生HDR图像。在方程(5)中，P0₍x，y)、P_UNDER(x，y)和P_over(x，y)分别指示在参考图像P₀、图像P_UNDER和图像P_OVER中的空间位置(x，y)中的像素的电荷量。

在方程(5)中，在图像P中组合具有在参考图像P₀中的未饱和数量的电荷的像素的数据。但是，关于在具有被校正到过量侧的曝光的图像P_OVER中的具有未饱和数量的电荷的像素，在图像P中组合图像P_OVER的像素数据，而不是参考图像P₀。因此，可以在其中在参考图像P₀中发生黑色实心点的区域中留下灰度。关于除了在如上所述的条件下的那些之外的像素，即其中电荷量在参考图像P₀中饱和的像素，在图像P中组合当向不足侧校正曝光时形成的图像P_UNDER的像素数据。因此，可以在参考图像P₀中发生白色空白点的区域中剩下灰度。因此，组合后的图像P是HDR图像，其中，呈现比参考图像P₀的亮度范围更宽的亮度范围中的灰度。

在应用图像P_UNDER和P_OVER的像素数据中，将像素数据乘以对应于曝光校正值EV_UNDER和EV_OVER的系数。下面参见图4来说明通过这样的计算的行为。

图4是用于说明在要组合的图像之间的亮度的关系的图。

在图4中，直线L₀表示在被应用到参考图像P₀的曝光条件下在场景的亮度和成像元件12的电荷量之间的关系。直线L_OVER表示在场景的亮度和在应用到当向过量侧校正曝光时形成的图像P_OVER的曝光条件下的成像元件12的电荷量之间的关系。直线L_UNDER表示在场景的亮度和在应用到当向不足侧校正曝光时形成的图像P_UNDER的曝光条件下的成像元件12的电荷量之间的关系。

在条件P_OVER(x，y)≤Qs下，将在参考图像P₀中具有等于或者小于Y1的亮度的像素的数据替换为图像P_OVER的像素的数据。因此，可以在组合后的图像数据中包含在小于成像元件12的输出的动态范围的亮度范围中的灰度信息。在这种情况下，通过应用对应于曝光校正值EV_OVER的系数(2的-EV_OVER次幂)，作为对应于等于或者小于L_OVER的Y1的亮度的分量的直线L1_OVER被转换为直线L2_OVER，其具有与直线L₀相同的斜率，并且连接到直线L₀。

在条件P_OVER(x，y)＞Qs下，将在参考图像P₀中具有等于或者大于Y2的亮度的像素的数据替换为图像P_UNDER的像素的数据。因此，可以在组合后的图像数据中包含在大于成像元件12的输出的动态范围的亮度范围中的灰度信息。在这种情况下，通过应用对应于曝光校正值EV_UNDER的系数(2的-EV_UNDER次幂)，作为对应于等于或者大于L_UNDER的Y2的亮度的分量的直线L1_UNDER被转换为直线L2_UNDER，其具有与直线L₀相同的斜率，并且连接到直线L₀。

因此，在组合图像中，可以校正像素的数据，以便亮度上的改变在其中具有不同的曝光校正值的图像的像素彼此相邻的边界部分上连续。可以产生没有不一致的自然组合图像(HDR图像)。

再次参见图2。

[步骤S113]通过在步骤S112中的处理而组合的HDR图像具有大于可以进行通过显影处理单元17的显影处理(数据插值处理、各种彩色调整/转换处理，以及压缩和编码处理)的图像数据的比特数量的比特数量。例如，尽管可以由显影处理单元17处理的RAW图像数据具有12个比特，但是由组合处理单元16获得的HDR图像数据是15比特数据，其灰度范围被扩展。因此，显影处理单元17可以在处理的后级通过下述方式处理由组合处理单元16获得的HDR图像数据，而不改变显影处理单元17的结构：通过在所述处理的前级向HDR图像数据应用比特压缩，并且将所述HDR图像数据转换为12比特RAW图像数据。在这种情况下，如下所述，显影处理单元17对HDR图像应用对于灰度范围的压缩处理，以此，可以满意地保持来自组合处理单元16的HDR图像的质量，然后显影处理单元17执行HDR图像的比特压缩。

图5是示出HDR图像的灰度范围压缩的功能的方框图。

对于HDR图像的灰度范围压缩，如图5中所示，显影处理单元17包括照度分量提取单元171、灰度范围压缩单元172、反射分量提取单元173、灰度范围扩展单元174、组合单元175和比特压缩单元176。

照度分量提取单元171通过向输入的HDR图像数据应用低通滤波处理而提取照度分量。对于照度分量的提取，期望使用非线性滤波器，其执行高频切除处理以留下边缘分量。作为类似的低通滤波处理，除了非线性低通滤波器之外也可以使用概率方法。

灰度范围压缩单元172按照例如用于指示输入和输出级的对应关系的查找表(LUT)来转换仅仅包括输入的照度分量的图像数据的相应像素的亮度，并且压缩灰度范围。具体上，如图6A中所示，灰度范围压缩单元172对于在照度分量的低亮度侧的区域设置大于1的增益以放大灰度级，并且对于在照度分量的高亮度侧的区域设置小于1的增益以缩小灰度级。

反射分量提取单元173从输入的HDR图像提取反射分量。例如，反射分量提取单元173通过从输入的HDR图像的数据减去由照度分量提取单元171提取的照度分量的数据而计算反射分量。或者，反射分量提取单元173可以将输入的HDR图像的数据除以所述照度分量的数据。灰度范围扩展单元174按照例如用于指示输入和输出级的对应关系的查找表(LUT)来转换每个像素的所提取的反射分量的亮度，并且扩展灰度范围。

组合单元175对于每个像素组合分别从灰度范围压缩单元172和灰度范围扩展单元174输出的图像数据，并且输出具有整体被压缩的灰度范围的HDR图像。例如，当反射分量提取单元173通过从输入的图像数据减去照度分量的数据来计算反射分量的数据时，组合单元175通过相加从灰度范围压缩单元172和灰度范围扩展单元174输出的相应图像数据来执行组合处理。当反射分量提取单元173通过将输入的图像数据除以照度分量的数据而计算反射分量的数据时，组合单元175通过将分别从灰度范围压缩单元172和灰度范围扩展单元174输出的图像数据相乘在一起而执行组合处理。

比特压缩单元176压缩通过组合单元175产生的HDR图像数据的比特的数量。例如，当从组合单元175输出的HDR图像的数据是15比特数据时，比特压缩单元176将HDR图像的RAW图像数据转换为可以被显影处理单元17处理的12比特数据。

图6A和6B是示出在HDR图像的灰度范围压缩期间设置的增益曲线的示例的图。

在图6A和6B中，(x，y)表示进行低通滤波处理并且由照度分量提取单元171提取的照度分量的像素的每个的亮度。如图6A中所示，灰度范围压缩单元172当亮度较低时放大照度分量的相应像素的数据的输入级，并且当亮度较高时压缩输入级。因此，整体压缩灰度范围。

另一方面，在灰度范围扩展单元174中，更一般地，仅仅需要按照照度分量的亮度来向反射分量提供与在灰度范围压缩单元172中的增益相同的增益。因此，因为在其中照度分量暗的区域中放大反射分量的级(幅度)，因此在这个区域中的反射分量相对于在应用增益之前的那些被增强。结果，扩展了灰度范围。因为反射分量是实质上有助于细节的再现能力的分量，因此当给出增益时，增强了在暗部分中隐藏的细节分量。因此，可以压缩整体灰度范围，而尽可能不丢失细节分量。当通过比特压缩单元176压缩在这样的灰度范围压缩后的图像数据时，可以改善图像数据的质量。

在图5中的结构中，独立地提供分别对应于照度分量和反射分量的灰度范围压缩单元172和灰度范围扩展单元174。这使得可以分别向照度分量和反射分量应用独立的增益曲线。因此，也可以改善在照度分量的亮度分布的任意区域中的细节的再现能力。

作为在这种情况下的优选示例，对于反射分量，可以通过向对应于照度分量的低亮度区域的像素应用大于照度分量的增益来进一步增强在低亮度区域中的细节分量。在图6A和6B中所示的示例中，向反射分量应用对于在图6A中所示的照度分量公共的增益曲线，然后进一步向反射分量应用到在图6B中所示的增益曲线。通过应用这样的增益曲线，可以在将照度分量的灰度范围压缩量设置为必要的最小量并且保持整个图像的对比感觉的同时改善细节的再现能力。

在图6A和6B中所示的增益曲线中，可以预先将亮度Y1-Y3准备为固定值。但是，可以从输入图像的信号分析结果来计算亮度，例如，在将亮度Y1、Y2和Y3设置为下面参见图13所述的亮度Yl、Ym和Yh的情况下，可以根据照度分量的分析结果来计算这些值。

在图5中，示出了用于指示在压缩灰度范围之前在HDR图像中的每个亮度的频率的直方图177和在压缩后在HDR图像中的类似直方图178的示例。按照直方图177和178，可以看到在灰度范围压缩后的HDR图像数据中，其中存在数据的亮度的范围(即灰度范围)窄，具有从中间到低频侧区域的照度分量的像素增加，并且在这个亮度区域中的灰度属性充足。

在参见图5的说明中，低通滤波器用于提取照度分量。但是，可以通过在下面的第三实施例中说明的用于使用在透镜的散焦状态中的成像图像的方法来提取图像的照度分量。因此，可以去除用于提取照度分量的低通滤波器电路，并且可以控制电路大小。当例如使用这种方法时，透镜在等级成像后被带入散焦状态中以获取那时的图像(散焦图像)。也可以在对应于步骤S101的预览状态中，定期获取在散焦状态中的图像，通常在缓冲存储器15等中存储最新的散焦图像，并且在完全按下快门按钮后的灰度范围压缩处理期间使用所述散焦图像。或者，当在步骤S103中进行低通滤波处理的图像被获取为散焦图像时，可以将所述图像的图像数据保存和用作照度分量。不论使用在预览状态中获取的图像数据和在步骤S103中获取的图像数据的哪个，都可以缩小快门滞后。

再次参见图2。

[步骤S114]在灰度范围压缩后的HDR图像数据被显影处理单元17显影，并且在记录单元18上被存储为HDR图像的JPEG数据。如上所述，被应用到这个实施例的显影处理单元17的显影处理(数据插值、彩色调整/转换、压缩和编码处理)的功能适于处理在一次曝光中通过成像而获得的一个图像的数据。这个图像数据是例如12比特数据，并且等同于分别在步骤S105和S108中获得的图像数据与在步骤S111中的等级成像期间获得的相应图像的图像数据。

另一方面，通过在步骤S112中的处理产生的HDR图像的数据具有大于可以进行通过显影处理单元17的相应处理的图像数据的比特数量的比特数量。HDR图像的数据例如是15比特数据。但是，可以通过下述方式向所述数据应用所述相应处理，而不改变显影处理单元17的电路配置：通过在保持对于在步骤S113中的处理的满意图像质量的同时压缩灰度范围，并且将所述数据转换为12比特的图像数据。

通过在图5中的组合单元175的组合后的HDR图像的数据被比特压缩单元176转换为具有较少比特数量的数据，然后进行显影处理。但是，当在可以由显影处理单元17处理的比特数量上有余量时，所述数据可以进行显影处理，而不进行比特压缩，并且在所述处理的过程中，被转换为具有可用于显示器等的比特数量(在此为8比特)的图像数据。

在这个处理示例中，在成像期间将HDR图像记录为JPEG数据。此外，也可以在成像期间在记录单元18中将来自组合处理单元16的HDR图像的数据记录为RAW图像数据，而不被显影处理单元17处理，然后，所述RAW图像数据被读出，并且通过显影处理单元17进行灰度范围压缩和显影处理。

在如上所述的处理示例中，当在视角或者物体的运动上有改变时，可以在步骤S112中通过组合处理不能产生适当的图像。因此，在记录单元18上将在步骤S112中产生的HDR图像的数据存储为RAW图像数据中，除了HDR图像的数据之外，还可以将参考图像P₀的数据存储为具有正常动态范围的RAW图像数据。在成像期间将在组合后的HDR图像存储为JPEG数据中，可以以相同的方式将参考图像P₀的数据存储为JPEG数据。

在如上所述的第一实施例中，逐渐地改变曝光校正值以进行曝光，每次改变曝光校正值时，从所获得的图像判定白色空白像素或者黑色实心点像素的存在或者不存在，并且从所述测量的结果来判定在等级成像期间的曝光校正值。因此，即使在其中亮度范围宽并且难于确定曝光条件的场景中，可以设置适当的曝光条件的概率提高。因为可以不依赖于用户操作而自动确定对应于这样的场景的状态的适当曝光校正值，因此改善了用户的可操作性。

可以从最大亮度和最小亮度的测量结果精确地执行关于是否需要等级成像的判定和关于在等级成像期间需要的曝光的次数的判定。因此，防止了无用的曝光，并且可以最小化快门滞后。因为最小化了相应图像的图像定时的时间差，因此最小化了在图像之间的物体的改变，并且可以控制在组合后在HDR图像的质量上的变差。

在测量场景的亮度范围中，使用来自在进行低通滤波后的成像图像数据的检测值。因此，即使当在输入图像中包括极亮小区域或者极暗小区域时，也可以防止其中干扰测量算法的情况，由此变得难于成像适当的图像。

按照在步骤S112中的组合HDR图像的方法，可以从通过等级成像获得的多个图像产生没有不一致的自然HDR图像。具体上，因为从通过如上所述使用适当的曝光校正值而执行等级成像获得的图像产生一个HDR图像，因此可以产生具有较高质量的HDR图像。而且，按照在步骤S113中的灰度范围压缩的方法，即使当图像数据的比特数量在其后减少时，也可以保持高图像质量，而不破坏图像的细节分量。按照如上所述的处理，可以获得以通用格式被转换的高质量HDR图像。

[第二实施例]

在第一实施例中，在图2中的步骤S106中，通过改变实际曝光条件来测量在高亮度侧和低亮度侧上的适当曝光校正值，并且在步骤S107中，按照测量结果，判定是否需要等级成像。另一方面，在如下所述的本发明的第二实施例中，为了迅速地执行成像操作和控制快门滞后，使用在步骤S103中的亮度的检测结果(而不是这些过程)来直接地估计场景的亮度范围。在这个第二实施例中，根据在步骤S103中检测的亮度和其中累积用于指示每个亮度的频率的直方图值的累积直方图来估计场景的亮度范围。

图7是用于说明从累积直方图计算的参数的图。在图7中的累积直方图中，对应于所有亮度的直方图值的累积值被设置为在坐标上的最大值(100％)。在图7中，Y’_DL和Y’_DH分别指示可以被成像元件12检测的最小和最大亮度。在这个实施例中，根据这样的累积直方图，使用三种参数(“关键级”、“加亮级”和“阴影级”)来分类场景的估计状态，并且按照分类的结果来确定曝光校正的阶段的数量。

关键级指示：当很可能存在主物体的累积频率的级(百分比)被设置为门限值Th_M时，所述累积直方图在哪个亮度区域中达到门限值Th_H。在这个示例中，将亮度区域划分为三个阶段低、中和高，并且通过所述三个阶段的区域来表示所述关键级。已知这样的门限值通常在等于或者大于50％的累积频率的级。所述门限值可以被设置为例如大约65％-75％。

加亮级指示：当门限值Th_H被设置为大于对应于主物体的累积频率的级时，所述累积直方图在哪个亮度区域中达到门限值Th_H。阴影级指示：当门限值Th_L被设置为小于对应于主物体的累积频率时，所述累积直方图在哪个亮度区域中达到门限值Th_h。加亮级和阴影级都由被划分成三个阶段(低、中和高)的亮度区域表示。

下面示出了根据累积直方图按照相应参数的组合确定曝光校正值的表格的示例。EV_UNDER确定表是用于确定在场景的高亮度侧上的适当曝光校正值EV_UNDER的表格。EV_OVER确定表是用于确定在场景的低亮度侧上的适当曝光校正值EV_OVER的表格。在计算所述三个参数后，微计算机20按照这些相应的表来确定在等级成像期间的曝光校正值EV_UNDER和EV_OVER。

表1

EV_UNDER确定表

白色空白像素	关键级	加亮级	EVUNDER
				否	*	*	0
是	高	高	-3
				中	-2
		低	-1
				中	高	-2
	中	-1
			低		-1
	低	高				-2
			中	-1
		低			0

表2

EV_OVER确定表

黑色实心点像素	关键级	阴影级	EVOVER
				否	*	*	0
是	低	低	2
				中	2
		高	1
				中	低	2
	中	1
			高		0
	高	低				1
			中	0
		高			0

在相应的表格中，通过相对于在参考图像P₀中的曝光控制值的校正阶段的数量来指示曝光校正值。预先确定等同于校正阶段的数量的一个阶段的曝光校正值。当校正阶段的数量是0时，不执行被应用校正阶段的所述数量的曝光操作。因此，不能将在等级成像期间的曝光的次数设置为必要的最小值，并且可以减少快门滞后。

而且，在这些表格中，当在高亮度侧上的校正阶段的适当数量的确定期间和在低亮度侧上的校正阶段的适当数量的确定期间没有白色空白像素和黑色实心点像素时，判定不需要HDR图像的成像，将校正阶段的数量设置为0，并且不执行被应用校正阶段的数量的曝光操作(对应于在图2中的步骤S104中的判定处理)。当在高亮度侧和低亮度侧的校正阶段的适当数量都是0时，判定不需要等级成像(对应于在图2中的步骤S107中的判定处理)。

图8是示出用于指示对应于关键级和加亮级的组合的亮度的频率的直方图的代表性示例的图。

如图8中所示，通过使用关键级的门限值Th_M和大于门限值Th_M的门限值Th_H划分场景，即使当亮度的分布被偏置时也可以容易和精确地确定校正阶段的适当数量。在确定在低亮度侧的校正阶段的适当数量上也是如此。

在第二实施例中，为了确定在等级成像期间的适当曝光校正值，不必象在第一实施例中那样实际改变曝光校正值，执行曝光和每次改变曝光校正值时获得检测值。因此，可以减少适当曝光校正值的确定所需要的时间，并且可以将快门滞后缩短以向用户提供舒适的可操作性。微计算机20的算术处理可以被简化，并且可以减少其上的处理负荷。

在这个实施例中，作为示例，在除了关键级之外的高亮度侧和低亮度侧的每个上设置用于划分场景的一个参数。但是，也可以在高亮度侧和低亮度侧的每个上设置多个参数，更精细地划分场景，并且按照所述划分而更精细地调整曝光校正值。因此，虽然可以改善适当曝光校正值的估计的精度，但是在微计算机20上的处理负荷增加。

[第三实施例]

在本发明的第三实施例中，通过根据如上在所述实施例中所述的由等级成像获得的多个图像向图像数据应用插值，直接地产生具有与以被输出到显示器等的图像数据的比特数量相同的比特数量(在此为8个比特)的HDR图像。

图9是按照本发明的第三实施例的DSC的内部结构的方框图。在图9中，通过相同的附图数字和标号来表示对应于在图1中的那些的块，并且省略所述块的说明。

在图9中所示的DSC除了在图1中所示的DSC的部件之外还包括：缓冲存储器23，用于存储散焦图像的数据；加权系数产生处理单元24；和插值处理单元25。在图9中，显影处理单元17a具有在图1中所示的显影处理单元17的功能中除了图像压缩和编码功能之外的功能。所述图像压缩和编码功能连接到插值处理单元25的后级来作为编码处理单元17b。缓冲存储器15a暂时存储通过等级成像而获得的图像的数据。在存储所述数据中，缓冲存储器15a接收从显影处理单元17a而不是从ISO增益控制单元14的输出的图像数据的提供。

缓冲存储器23从ISO增益控制单元14接收通过在散焦状态中的曝光而获得的图像数据，并且暂时存储图像数据。加权系数产生处理单元24根据在缓冲存储器23中存储的图像数据来产生在通过等级成像获得的图像的组合期间使用的加权系数。插值处理单元25从缓冲存储器15a读出通过等级成像获得的图像数据，并且使用从加权系数产生处理单元24提供的加权系数而组合相应的图像数据。此处输出的HDR图像的数据具有与由显影处理单元17a处理的图像数据的比特数量相同的比特数量(8比特)，这不像在第一实施例中在组合后的HDR图像的数量那样。可以向显示单元19提供所述HDR图像的数据以显示所述HDR图像，或者向编码处理单元17b提供所述HDR图像的数据以输出为JPEG数据。

图10是示出在按照第三实施例的DSC中的成像期间的处理过程的流程图。

在这个实施例中，执行与在第一实施例的情况中的相同的处理，直到用于判定是否执行HDR图像的成像的处理(在图2中的步骤S104)和用于判定是否需要等级成像的处理(步骤S107)。因此，在图10中，仅仅示出了在步骤S107中判定需要等级成像后的处理。在用于判定场景的亮度范围的处理(步骤S106)和用于判定等级成像的必要性的处理(步骤S107)中，也可以应用按照第二实施例的处理过程而不是按照第一实施例的处理过程。

[步骤S301]在这个步骤中，执行与在图3中的步骤S201中相同的处理。微计算机20使用在步骤S106测量的最大亮度Y_H和最小亮度Y_L按照上面的方程(3)和(4)计算在场景高亮度侧和低亮度侧上的曝光校正值EV_UNDER和EV_OVER。

[步骤S302]微计算机20使用在图2中的步骤S101中估计的(或者再次在步骤S103中估计的)曝光校正值，而不校正曝光校正值，使得DSC执行曝光操作，并且成像参考图像P₀。通过显影处理单元17a来显影所获得的参考图像P₀的数据。在缓冲存储器15a中暂时存储在显影后的参考图像P’₀的数据。

[步骤S303]微计算机20判定是否曝光校正值EV_UNDER是0。当曝光校正值EV_UNDER是0时，执行在步骤S305中的处理，当曝光校正值EV_UNDER不是0时，执行在步骤S304中的处理。

[步骤S304]当曝光校正值EV_UNDER不是0时，微计算机20应用曝光校正值EV_UNDER，并且使得DSC执行曝光操作。通过显影处理单元17a来显影所获得的图像P_UNDER的数据。在缓冲存储器15a中暂时存储在显影后的图像P’_UNDER的数据。

[步骤S305]微计算机20判定是否曝光校正值EV_OVER是0。当曝光校正值EV_OVER是0时，执行在步骤S307中的处理。当曝光校正值EV_OVER不是0时，执行在步骤S306中的处理。

[步骤S306]当曝光校正值EV_OVER不是0时，微计算机20应用曝光校正值EV_OVER，并且使得DSC执行曝光操作。显影处理单元17a显影所获得的图像P_OVER的数据。在缓冲存储器15a中暂时存储在显影后的图像P’_OVER的数据。

在步骤S302、S304和S306中的显影处理中，仅仅需要分别使用由微计算机20的处理从物体图像独立估计的控制值。

[步骤S307]随后，按照微计算机20的控制来执行用于产生用于获得通过插值处理单元25应用的加权系数所需要的成像图像的照度分量的处理。

一般，可以通过向成像图像应用具有相对较低截止频率的低通滤波处理来获得照度分量。但是，为了获得照度分量，因为需要具有大量抽头的滤波器电路，因此算术运算量变得很大。另一方面，在这个实施例中，不是使用这样的滤波器电路，而是将在光学块11中的调焦透镜控制在散焦状态中，并且将在那个状态中通过曝光获得的图像(散焦图像)用作要进行低通滤波处理的图像(低通图像)。因此，减少了电路尺寸。

首先，微计算机20执行曝光控制以设置在步骤S302、S304和S306中在等级成像期间的多个曝光条件中在中心的曝光条件。在执行曝光控制中，微计算机20确定满足下面的方程(6)的快门速度S和ISO增益G。

F_MIN指示打开的光圈值，S₀、F₀和G₀指示在等级成像期间中中心的曝光条件下的快门速度、光圈值和ISO增益。当应用方程(6)时，因为打开了光圈，因此缩小了景深，并且可以强化在散焦期间的低通滤波效果。

由如上所述的方法确定的快门速度S和ISO增益G被应用到成像以执行曝光并且成像散焦图像。为了确定地获得强低通滤波效果，通过改变调焦透镜的位置来成像两个散焦图像，并且通过在步骤S308中的处理来计算散焦图像的平均值，并且产生低通图像。

图11A-11D是用于说明用于在散焦图像的成像期间对于调焦透镜的驱动过程的图。

在图11A-11D中，示出了在光学块11中的光学透镜组11c的结构的示例和在光学透镜组11c中的调焦透镜11d的位置的示例。作为示例，光学透镜组11c具有宏(macro)成像模式。在相应的附图中，右侧被设置为成像元件12的成像表面12a。光学透镜组11c的透镜结构和相应的透镜的位置仅仅是示例。

在图11A中，示出了在无限侧上的成像期间调焦透镜11d的位置的一个示例。在图11B中，示出了在宏侧上成像期间调焦透镜11d的位置的一个示例。已知在无限侧上的成像期间在散焦状态中的图像的模糊趋势与在宏侧上的成像期间的相反。因此，即使调焦透镜11d从仅仅一个成像状态被设置在散焦状态中，也不总是获得强的低通滤波效果。例如，对于在宏侧成像中透镜被聚焦到并且低通滤波效果被弱化的物体，在无限侧上的成像期间增加了焦点的移位，并且获得了强低通滤波效果。

因此，在这个实施例中，从在无限远侧上的成像期间的状态和在宏侧上的成像期间的状态建立散焦状态，并且按照微计算机20的控制在相应的状态中执行曝光以获得两个散焦图像。具体上，首先，如图11C中所示，调焦透镜11d从在无限远侧上的成像期间的状态向远端侧进一步位移，以执行曝光，并且在缓冲存储器23中存储所获得的散焦图像的数据。随后，如图11D中所示，调焦透镜11d从在宏侧上的成像期间的状态向近端侧进一步位移，以执行曝光，并且在缓冲存储器23中存储所获得的散焦图像的数据。

从缓冲存储器23读出所述两个散焦图像的数据，并且，按照由加权系数产生处理单元24(或者微计算机20)的处理，所述数据被平均以获得低通图像的数据。按照这样的处理，也可以防止低通滤波效果弱化。在缓冲存储器23中存储了所产生的低通图像的数据。

再次参见图10。

[步骤S308]加权系数产生处理单元24(或者微计算机20)分析所产生的低通图像的数据，并且判定是否在这个低通图像中剩余不必要的高频分量。当剩余不必要的高频分量时，执行在步骤S309中的处理，当不剩余不必要的高频分量时，执行在步骤S310中的处理。

[步骤S309]当在低通图像中剩余不必要的高频分量时，加权系数产生处理单元24(或者微计算机20)向低通图像的数据应用使用例如以5抽头×5抽头级的较小数量的抽头的低通滤波处理。在缓冲存储器23中存储在所述处理后的数据。

[步骤S310]加权系数产生处理单元24根据在缓冲存储器23中存储的低通图像的数据来计算加权系数，并且向插值处理单元25提供所述加权系数。在这种情况下，加权系数产生处理单元24按照低通图像的亮度和在图12中所示的加权系数的转换函数来计算加权系数。插值处理单元25使用所述加权系数来将在步骤S302、S304和S306中获得并且被存储在缓冲存储器15a中的图像数据利用插值组合，并且产生一个HDR图像的数据。

图12是示出用于将低通图像的亮度转换为加权系数的转换函数的一个示例的图。

在图12中，加权系数w₀是在插值处理单元25中在对步骤S302中显影的参考图像P’₀进行插值的内插系数。类似地，加权系数w_UNDER和w_OVER分别是在插值处理单元25中对中在步骤S304和S306中显影的图像P’_UNDER和P’_OVER进行插值的插值系数。

加权系数产生处理单元24按照从缓冲存储器23读出的低通图像的相应像素的亮度数据a(x，y)输出参照所述转换函数的加权系数w₀、w_UNDER和w_OVER。插值处理单元25使用来自加权系数产生处理单元24的加权系数w₀、w_UNDER和w_OVER按照下面的方程(7)组合在缓冲存储器15a中的参考图像P’₀和图像P’_UNDER和P’_OVER的数据。

$P^{\′}(x,y)=\underset{n\∈N}{\mathrm{\Σ}}{w}_n\left(a(x,y)\right)\×{P^{\′}}_n(x,y)---\left(7\right)$

假定 $\underset{n\∈N}{\mathrm{\Σ}}{w}_n\left(a(x,y)\right)=1$

在方程(7)中，P’(x，y)表示在组合后的图像P’的相应像素的数据，P’_n(x，y)表示在缓冲存储器15a中存储的图像P’_n(即参考图像P’₀和图像P’_UNDER和P’_OVER)的相应像素的数据。w_n(a(x，y))表示在图像P’_n的相应像素的组合期间应用的加权系数(即加权系数w₀、w_UNDER和w_OVER)。

按照这样的处理，对于物体中其上强辐射照射光的部分上，以高比率来组合具有低曝光量的图像。这使得可以向在组合后的图像中并入高亮度区域的灰度信息(其可能不能在参考图像P₀的成像期间被检测到)，而不将图像数据的灰度范围扩展到高亮度侧。对于其上弱辐射照射光的部分，以高比率来组合具有提高的曝光量的图像。这使得可以向在组合后的图像中并入低亮度区域的灰度信息(其可能不能在参考图像P₀的成像期间被检测到)，而不将图像数据的灰度范围扩展到低亮度侧。结果，产生具有与在显影处理单元17a中的处理后的图像数据的那些相同的灰度范围和数据比特数量(8比特)的HDR图像。

按照在图12中的转换函数根据成像图像的照度分量的亮度(即低通图像)来确定通过等级成像而获得的图像的组合比率。这使得可以获得下述效果：压缩在具有宽亮度范围的场景中获得的图像数据的灰度范围，并且增强具体上在低通图像的低亮度区域中的细节分量以改善整体图像质量。

可以按照低通图像的特性、在等级成像期间的各种控制参数和通过等级成像获得的图像的特性等来改变在图12中所示的转换函数的设置。下面说明用于设置这样的转换函数的方法。在此，作为示例，加权系数产生处理单元24执行所述转换函数的设置。但是，微计算机20可以执行这样的处理。

图13是用于指示在低通图像中的亮度的频率的直方图的示例的图。

首先，加权系数产生处理单元24根据在缓冲存储器23中存储的低通图像的数据来计算用于表示亮度的频率的直方图。在图13中示出了这样的直方图的示例。通过下面的方式来计算所述直方图：通过将低通图像的亮度转换为通过向所述亮度应用由显影处理单元17a执行的伽马校正而获得的亮度。加权系数产生处理单元24从具有较高亮度级的亮度依序从所计算的直方图计算在频率峰值的亮度Yh和Yl。加权系数产生处理单元24检测在对应于亮度Yh和Yl的峰值之间的存在的直方图的凹部，并且计算对应于所述凹部的亮度Ym。在此，所述亮度Yl与从高亮度侧起的第二峰值相关联。但是，亮度Yl可以与除了比第二峰值进一步在低亮度侧上的峰值(即在低亮度侧上最远的峰值)相关联。

加权系数产生处理单元24根据在缓冲存储器23中存储的参考图像P’₀和图像P’_UNDER和P’_OVER的相应数据而计算用于指示在相应图像中的亮度的频率的直方图。根据从这些直方图检测的参数按照下面的方程(8)和(9)来考虑参考图像P’₀和图像P’_UNDER的组合图像P’_-，以及参考图像P’₀和图像P’_OVER的组合图像P’₊。注意在下面的方程中，0≤Kh≤1并且0≤Kl≤1。

P’_-＝Kh×P’_UNDER+(1-Kh)×P’₀    (8)

P’₊＝Kl×P’_OVER+(1-Kl)×p’₀    (9)

图14A和14B是示出基于参考图像P’₀、图像P’_UNDER和P’_OVER的相应亮度的直方图的示例的图。

图14A示出了对应于参考图像P’₀和图像P _UNDER的直方图的示例。在图14A中，亮度Yh_0是在参考图像P’₀的直方图上，从高亮度侧起的第一峰值所在的亮度，并且亮度Yh_under是在图像P’_UNDER的直方图上，从高亮度侧起的第一峰值所在的亮度。图14B示出了对应于参考图像P’₀和图像P’_OVER的直方图的示例。在图14B中，亮度Yl_0是在参考图像P’₀的直方图上，从高亮度侧起的第二峰值所在的亮度，并且亮度Yl_under是在图像P’_OVER的直方图上，从高亮度侧起的第二峰值所在的亮度。

考虑通过按照方程(8)组合参考图像P’₀和图像P’_UNDER而获得的组合图像P’_-。如图14A中所示，当加权系数Kh更大时，从在组合图像P’_-的直方图上的高亮度侧起的第一峰值的位置进一步向低亮度侧位移。加权系数产生处理单元24计算加权系数Kh，以便对应于这个峰值的亮度是亮度Yrm，其是低通图像的亮度范围(即在低通图像中的最大亮度和最小亮度的范围)的中间值。

类似地，考虑通过按照方程(9)组合参考图像P’₀和图像P’_OVER而获得的组合图像P’₊。如图14B中所示，当加权系数Kl更大时，从在组合图像P’₊的直方图上的高亮度侧起的第二峰值的位置进一步向高亮度侧位移。加权系数产生处理单元24计算加权系数Kl，以便对应于这个峰值的亮度是亮度Yrm，其是低通图像的亮度范围的中间值。在此，作为示例，使用对应于从在组合图像P’₊的直方图上的高亮度侧起的第二峰值的亮度。但是，可以使用对应于比第二峰值进一步在低亮度侧上的峰值(例如在低亮度侧上最远的峰值)的亮度来执行计算。

按照所述计算，计算相对于参考图像P’₀、图像P’_UNDER和P’_OVER的适当最大组合比率。这个最大组合比率定义了在低亮度侧和高亮度侧上的灰度范围的最大压缩量。通过根据亮度Yrm来计算最大组合比率，可以保持在灰度范围的压缩效果和对比感觉之间的满意平衡。

使用加权系数Kh和Kl按照低通图像的亮度来混合组合图像P’_-和P’₊。使用例如单调增函数f(Y)按照下面的方程(10)执行这个混合处理。注意0 ≤Kg≤1。

P’＝(0.5+Kg×f(Y))×P’_-+(0.5-Kg×f(Y))×P’₊    (10)

图15是示出单调增函数f(Y)的一个示例的图。

加权系数产生处理单元24定义色调提高函数f(Y)，以便如图15中所示，f(Ym)是0，并且f(Yh)和f(Yl)的斜率足够小。按照这个条件和如上所述的用于计算加权系数Kh和Kl的方法，可以弱化灰度范围压缩对于其中存在直方图的峰值的亮度区域(即占用在低通图像中大区域的亮度区域)的影响，并且防止丢失在区域中的灰度，以改善在组合处理中的图像质量。

可以通过改变在方程(10)中的参数P’来调整在组合后的图像P’中表示的对比感觉。当参数Kg是1时，图像P’_UNDER和P’_OVER相对于参考图像P’₀的的组合比率被最大化，并且最大化灰度范围压缩的效果(即最小化对比度)。当参数Kg是0时，最大化对比度。作为参数Kg，可以由加权系数产生处理单元24参考查找表等按照在等级成像期间的曝光校正量或者按照亮度Yh和亮度Yl的比率来确定最佳值。例如，当曝光校正量更小或者Yh/Yl的值更小时，将参数Kg设置为更小的值。可以通过由用户输入的操作来调整参数Kg。

加权系数产生处理单元24可以设置用于使用如上所述计算的加权系数Kh和Kl、单调增函数f(Y)和参数Kg从方程(8)-(10)来计算加权系数w_n(a(x，y))的转换函数。按照用于设置转换函数的这样的方法，通过根据相应的图像的直方图的峰值来设置转换函数，可以确定地在低通图像中占用大区域的亮度区域中留下灰度，并且结果，获得高质量图像。也可以调整在组合后的图像P’中再现的对比感觉，进一步改善图像的质量，并且根据低通图像的特性或者在等级成像期间的曝光校正量并且按照用户的设置来改善用户的设置的自由度。

再一次参见图10。

[步骤S311]在组合后的HDR图像数据通过编码压缩单元17b来进行压缩和编码处理，并且在记录单元18上被记录为HDR图像的JPEG数据。

在如上所述的第三实施例中，每次成像参考图像P₀和图像P_UNDER和P_OVER时通过显影处理单元17a来显影参考图像P₀和图像P_UNDER和P_OVER的数据。因此，当产生HDR图像时，可以原样使用现有的显影处理单元17a的电路。例如，在通过插值处理单元25的插值处理中，在加权系数具有正值的条件下，可以在与在正常成像期间的比特宽度相同的比特宽度的范围中执行插值处理。不像第一实施例那样，不产生具有比由显影处理单元17a处理的图像数据(例如12比特数据)更大的比特宽度的图像数据(等同于来自组合处理单元16的输出数据；例如15比特数据)。因此，也可以原样使用在显影处理单元17a之前的处理***来产生HDR图像。因此，也可以获得高质量HDR图像，同时控制电路大小和制造成本。

也可以将在所述实施例中使用的组合通过等级成像而获得的图像的方法应用到在成像装置中的记录介质中(而不是在等级成像期间)记录的图像数据。在这种情况下，在所述记录介质中，记录了具有通过等级成像获得的不同曝光条件的多个图像数据和关于在图像数据的成像期间的曝光条件的信息。根据所述关于曝光条件的信息来组合相应的图像数据，以产生一个HDR图像。可以不仅通过成像装置、而且通过例如由PC执行的图像处理程序来实现这样的组合处理功能。

期望通过与在这个实施例中相同的方法来确定在等级成像期间的曝光条件。但是，即使根据由其他方法确定的曝光条件而执行所述组合处理，也可以产生HDR图像。例如，可以采用用于将曝光校正值从在参考图像的成像期间的曝光条件向不足侧和过量侧移动预先确定的校正阶段的数量、并且执行等级成像的方法。因此，用于实现这样的组合处理功能的图像处理程序可以是通用程序，其不依赖于执行等级成像的成像装置的型式和所述成像装置的制造商。

当以这种方式来组合在成像后的图像时，难于采用如上所述的光学方法来用于获取低通图像。因此，必须按照数字算术运算而实现低通滤波处理。

[第四实施例]

在具有宽亮度范围的场景中，因为存在多个光源，因此可能难以正确地自动调整白平衡。例如，当在视角中同时包括通过在室内的电灯泡的照明和通过在室外的太阳的照明时，难于正确地自动调整白平衡。当在这样的复杂条件下执行成像时，如果在视角中固定白平衡的增益值，则物体和成像图像看起来不同。

在如上所述的第三实施例中，通过等级成像获得的最多三个图像的数据通过显影处理单元17a而进行显影处理，并且被存储在缓冲存储器15a中。在显影处理单元17a中的白平衡调整中，从相应的图像数据独立执行光源的估计，并且计算对应于所述估计结果的白平衡增益。在这个实施例中，在这样的情况下，根据通过加权系数产生处理单元24产生的加权系数来对于每个像素优化相应的图像数据的白平衡增益，以使得即使当照明条件复杂时也可以处理白平衡调整。

通过与在图9中所示的DSC的那些基本上相同的部件来实现按照这个实施例的DSC的结构。但是，当微计算机20计算白平衡增益时，微计算机20需要能够获取由加权系数产生处理单元24产生的加权系数。在这个实施例中，当执行等级成像时，需要由加权系数产生处理单元24产生加权系数。因此，期望执行散焦图像的成像，并且在执行等级成像之前立即在缓冲存储器23中存储散焦图像的图像数据。或者，也可以在每个固定时间获取散焦图像，并且在执行等级成像后，使用在缓冲存储器23中存储的最新散焦图像的数据来产生加权系数。不是执行散焦图像的成像，当通过等级成像来成像参考图像P₀时，可以通过数字算术运算来向参考图像P₀的数据应用低通滤波处理，以在缓冲存储器23中存储低通图像。

微计算机20根据从加权系数产生处理单元24获得的加权系数按照下面的方程(11-1)到(11-3)计算图像P_n(即，参考图像P₀、图像P_UNDER和P_OVER)的R分量、G分量和B分量的自动白平衡的检测值。微计算机20使用所述检测值来计算相应的分量的白平衡增益。按照方程(12)来执行使用所计算的增益的白平衡调整。因此，应用对于每个像素不同的增益。

${\stackrel{\‾}{R}}_n=\{\underset{x,y}{\mathrm{\Σ}}{w}_n\left(a(x,y)\right)\×R_n(x,y)\}\÷\left\{\underset{x,y}{\mathrm{\Σ}}{w}_n\left(a(x,y)\right)\right\}---(11-1)$

${\stackrel{\‾}{G}}_n=\{\underset{x,y}{\mathrm{\Σ}}{w}_n\left(a(x,y)\right)\×G_n(x,y)\}\÷\left\{\underset{x,y}{\mathrm{\Σ}}{w}_n\left(a(x,y)\right)\right\}---(11-2)$

${\stackrel{\‾}{B}}_n=\{\underset{x,y}{\mathrm{\Σ}}{w}_n\left(a(x,y)\right)\×B_n(x,y)\}\÷\left\{\underset{x,y}{\mathrm{\Σ}}{w}_n\left(a(x,y)\right)\right\}---(11-3)$

$\left[\begin{array}{c}{R^{\′}}_n(x,y)\\ {G^{\′}}_n(x,y)\\ {B^{\′}}_n(x,y)\end{array}\right]={\mathrm{WB}}_n\·\left[\begin{array}{c}{R}_n(x,y)\\ G_n(x,y)\\ B_n(x,y)\end{array}\right]---\left(12\right)$

假定 ${\mathrm{WB}}_n=\left[\begin{array}{ccc}{\stackrel{\‾}{G}}_n/{\stackrel{\‾}{R}}_n& 0& 0\\ 0& 1& 0\\ 0& 0& {\stackrel{\‾}{G}}_n/{\stackrel{\‾}{B}}_n\end{array}\right]$

在方程(11-1)到(11-3)中，相应分量的检测值、即乘以加权系数的像素数据的积分值被除以在整个图像中的加权系数的相加值，并且被平均。R_n、G_n和B_n表示在相应图像P_n中的R分量、G分量和B分量。在方程(12)中，WB_n表示对应于相应图像P_n的增益系数。

在等级成像中，在缓冲存储器15a中存储如上所述进行白平衡调整的参考图像P’₀和图像P’_UNDER和P’_OVER的数据后，插值处理单元25按照方程(7)来组合图像的图像数据，结果，因为白平衡增益按照照明光的强度对于每个像素平滑地改变，因此可以执行适于到图像的每个部分的照明光的白平衡调整。具体上，当在其中存在多个照明光的场景中执行成像时，防止了因为光源估计上的误差使图像变得不自然。

例如，当在场景的较亮区域上辐射大量阳光时并且在所述场景的较暗区域上辐射大量电灯泡光时，在光源是阳光的假设下向图像P’_UNDER应用白平衡调整，并且在光源是电灯泡光的假设下向图像P’_OVER应用到白平衡调整。向参考图像P’₀应用适于其中混合相应的光源的光源的白平衡调整。当按照方程(7)而组合这些图像时，在其上分别辐射更大量阳光和更大量电灯泡光的区域中，以高比率来组合进行了适于这些光源的白平衡调整的图像。因此，在相应的区域中精确地采取光源。因为使用对应于照度分量的亮度的加权系数，因此可以平滑地组合被调整到相应的光源的图像，而没有不一致。

在如上所述的实施例中，通过插值处理单元25向白平衡调整后的图像P’_n应用插值处理。但是，可以在显影之前向图像P_n(RAW图像)应用对于每个像素相同的白平衡处理。通过下面的方程(13)来获得在这种情况下每个像素的增益系数WB(x，y)。

$\mathrm{WB}(x,y)={\mathrm{\γ}}^{-1}(\underset{n}{\mathrm{\Σ}}{w}_n\left(a(x,y)\right)\×\mathrm{\γ}\left({\mathrm{WB}}_n\right))---\left(13\right)$

在方程(13)中，将在显影处理单元17a中的伽马转换曲线表示为函数γ(A)，并且将伽马转换曲线的逆函数表示为函数γ^-1(A)。

[第五实施例]

在如上所述的实施例中，当从场景的亮度范围的测量结果或者估计结果判定需要等级成像时，使用对应于所述亮度范围的适当曝光校正值来执行等级成像，以产生HDR图像。但是，也可以使用以这种方式计算的曝光校正值来仅仅执行一次曝光，并且从所获得的一个图像产生HDR图像。例如，当如上所述组合通过多次执行成像而获得的图像时，如果在每个成像时间期间物体移动，则组合图像的质量变差。但是，当仅仅执行一次成像时，不发生这样的问题。下面说明用于通过一次执行成像而产生HDR图像的方法。

在本发明的第五实施例中，说明应用在第三实施例中使用的图像插值方法并且通过执行一次成像而产生HDR图像的DSC。

图16是示出按照本发明的第五实施例的DSC的内部结构的方框图。在图16中，通过相同的附图数字和标号来表示对应于在图1和9中的那些的块，并且省略所述块的说明。

在图16中所示的DSC中，取代在图9中所示的DSC的插值处理单元25，提供了增益控制单元26，其使用来自加权系数产生处理单元24的加权系数对于每个像素执行增益控制。所述显影处理单元17甚至包括像在第一实施例中那样的编码处理功能。

按照这个实施例的DSC按照在第一或者第二实施例中所述的方法测量或者估计场景的亮度范围。在判定需要等级成像后，DSC通过仅仅应用在图10的步骤S301中计算的曝光校正值中适于最大亮度Y_H的曝光校正值EV_UNDER来执行曝光。所获得的图像P_UNDER的数据(RAW图像数据)被提供到增益控制单元26，并且使用来自加权系数产生处理单元24的加权系数而进行增益控制，由此产生HDR图像。

像在第四实施例中那样，在这个实施例中，必须在成像所述图像P_UNDER之前成像散焦图像，并且在缓冲存储器23中存储所述散焦图像的图像数据，以使得也可以当成像图像P_UNDER时从缓冲存储器23的图像数据产生加权系数。或者，也可以提供暂时存储成像图像P_UNDER的数据的缓冲存储器，并且在图像P_UNDER的成像后成像散焦图像，然后产生加权系数。也可以取代成像散焦图像，通过数字算术运算来执行低通滤波处理，并且在缓冲存储器23中存储所获得的低通图像的数据。在这种情况下，期望作为低通滤波处理的物体的图像是通过新的曝光而获得的参考图像P₀。但是，可以将图像P_UNDER替换为参考图像P₀。

增益控制单元26对于每个像素向通过成像而获得的图像P_UNDER应用按照下面的方程(14)而计算的增益G(x，y)。

G(x，y)＝γ^-1(w_UNDER(a(x，y))+w₀(a(x，y))γ(2^-EV _UNDER)+w_OVER(a(x，y))γ(2^-EV _UNDER ^+EV _OVER))    (14)

按照方程(14)的计算等同于对于图像P_UNDER分别将在成像参考图像P₀和图像P_UNDER和P_OVER中的曝光校正值转换为增益值，同时按照在增益的应用量中的改变而获取参考图像P₀和图像P_UNDER和P_OVER，并且按照低通图像的亮度以基于在第三实施例中的转换函数(参见图12)的组合比率而组合图像。因此，像在第三实施例中那样，对于其上向物体的强辐射照明光的部分，以高比率来组合等同于具有低曝光量的图像的信号分量，并且对于弱辐射照明光的部分，以高比率来组合等同于具有提高的曝光量的图像的信号分量。在增益控制后的HDR图像具有可以被显影处理单元17直接处理的比特的数量(例如12比特)。

但是，在这样的过程中，因为仅仅执行一次成像，因此实际上不包含超过成像元件12的输出的动态范围的场景的亮度范围中的信息。因此，在可以再现的亮度范围和大量噪声上，图像质量次于像在第三实施例中那样通过执行等级成像而获得的图像的图像质量。

在第五实施例中，在图像P_UNDER的成像期间按照方程(14)来执行增益控制，以获得HDR图像。但是，关于在过去被成像和在记录介质中记录为图像P_UNDER的数据的RAW图像数据，可以向所述RAW图像数据应用相同的方法。

在这种情况下，需要可以获取当成像所述图像P_UNDER时相对于参考图像P₀的成像的曝光校正值EV_UNDER和在图像P_OVER的成像期间的曝光校正值E_VOVER。可以通过例如在图像P_UNDER的成像期间相加和记录曝光校正值EV_UNDER为图像P_UNDER的数据文件的元数据来获取曝光校正值EV_UNDER。

仅仅需要从例如所获取的曝光校正值EV_UNDER估计曝光校正值EV_OVER。作为估计的方法，例如，也可以使用利用在第二实施例中所述的累积直方图的方法来估计曝光校正值的方法。当获得曝光校正值EV_UNDER时，根据所述值来逆校正图像P_UNDER以计算参考图像P₀，并且计算参考图像P₀的亮度的累积直方图。可以按照图7和在表2中的E_VOVER确定表来估计曝光校正值EV_OVER。

当难于获得曝光校正值EV_UNDER时，可以通过分析输入图像数据而估计曝光校正值EV_UNDER和EV_OVER。例如，可以通过下述方式来估计曝光校正值EV_UNDER和EV_OVER：通过向输入图像数据应用增益，并且将增益的极限值(在此，在图像中的白色空白像素和黑色实心点像素的比率等于或者小于预定门限值)分别转换为曝光校正值EV_UNDER和EV_OVER。也可以通过按照与如上所述的方法相同的使用累积直方图的方法分析输入图像而估计曝光校正值EV_UNDER和EV_OVER。虽然可以在图像质量上的变差增加，但是可以将曝光校正值EV_UNDER和EV_OVER确定为校正阶段的固定数量。

当分析输入的参考图像P₀以估计曝光校正值EV_UNDER和EV_OVER时，在方程(14)中，通过将乘以w_UNDER(a(x，y))、w₀(a(x，y))和w_OVER(a(x，y))的相乘系数分别转换为γ(2^EV_UNDER)、1和γ(2^EV_OVER)，可以直接将这个增益应用到输入图像(“2^B”指示2”的第B次幂)。

仅仅需要通过下述方式获取用于按照方程(14)获得HDR图像所需要的低通图像：通过根据曝光校正值EV_UNDER逆校正输入图像以获得参考图像P₀，并且向参考图像P₀应用低通滤波处理。或者，为了简化所述处理，可以通过向所述输入图像应用低通滤波处理而获取低通图像。

按照如上所述的方法，可以从在记录介质中记录的任何图像数据产生HDR图像，而与是否在成像期间执行曝光校正无关。现有的图像数据的这样的增益控制处理功能可以不仅被实现在成像装置中，而且被实现为例如用于显影RAW图像数据的图像处理程序。

而且，按照第五实施例的用于产生HDR图像的处理也实现了可以在像在第一实施例中参见图5所述的方法中那样保持满意的输入图像的质量的同时可以压缩灰度范围的效果。因此，例如，对于被设置为RAW图像数据的图像P_UNDER的输入数据(其没有可以被显影处理单元17处理的比特数量(12比特)但是具有大于12比特的比特数量(例如15比特)并且具有扩展的灰度范围)，可以向这样RAW图像数据应用增益控制处理。在这种情况下，可以当在增益控制处理后压缩数据比特的数量时进一步改善图像质量。

按照方程(14)，对应于进一步在+侧(plus side)的曝光校正量的加权系数被乘以对应于曝光校正量的更大系数。例如，w₀(a(x，y))与比w_UNDER(a(x，y))更大的系数相乘，并且将w_OVER(a(x，y))乘以比w₀(a(x，y))更大的系数。另一方面，按照在图12中的转换函数，与低通图像的亮度无关，所有的加权系数“w_UNDER(a(x，y))+w₀(a(x，y))+w_OVER(a(x，y))”的相加值是“1”。

因此，按照方程(14)计算的增益在低通图像的低亮度区域中高并且在低通图像的高亮度区域中低，并且一般以与在图6A中所示的增益曲线基本上相同的方式来改变。在图6A和6B中所示的亮度Y1、Y2和Y3可以分别与在图13中的亮度Yl、Ym和Yh相关联。因此，像在参见图5和图6A和6B中的说明中那样，实现照度分量的灰度范围压缩的效果和在低亮度区域中的反射分量的灰度范围扩展的效果(即细节分量的增强效果)。可以当在增益应用后压缩比特数量时改善图像的质量。

与在图5中那样，也可以向输入图像的照度分量和反射分量应用独立的增益，并且向照度分量应用按照方程(14)计算的增益，向反射分量应用通过将按照方程(14)而计算的增益与在图6B中所示的用于细节分量增强的增益相乘而获得的增益，并且组合所述照度分量和所述反射分量。

而且，也可以分析被应用按照方程(14)计算的增益的输入图像，并且使用参见图13和15所述的方法来计算适当的加权系数。例如，在通过根据输入图像的信号将参考图像P₀进行低通滤波处理而使用算术运算获得低通图像后，计算低通图像的直方图，并且根据所述直方图的峰值位置来计算亮度Yl、Ym和Yh，并且按照所述亮度来设置加权系数的转换函数。在这种情况下，通过将分别乘以方程(14)的w_UNDER(a(x，y))、w₀(a(x，y))和w_OVER(a(x，y))的相乘系数应用为输入图像数据的增益，可以模拟地获得参考图像P₀和图像P_UNDER和P_OVER，并且检测所述图像的直方图。

因此，可以弱化灰度范围压缩对于在低通图像中占用大区域的亮度区域的影响，并且防止丢失在这个区域中的灰度。可以通过任意地改变在方程(10)中的参数Kg来调整在所述增益控制后的在图像中的对比感觉。

可以在例如成像装置中包含作为如上所述的比特压缩的预处理功能的增益控制处理功能。实际上，在所述成像装置中处理的图像数据(在如上所述的示例中的12比特或者15比特数据)与适于显示器等的图像数据(在如上所述的示例中为8比特数据)相比较经常具有大量的比特。因此，优选的是，在压缩这样的图像数据的比特数量之前，可以使用所述增益控制处理功能来执行灰度范围压缩。

而且，也可以将所述功能实现为图像处理程序，所述图像处理程序用于处理具有通过在PC等中的这样的成像装置而获得的大比特数量的RAW图像数据。在这种情况下，可以不仅将RAW图像数据实现为专用于特定型式的成像装置的图像处理程序，而且实现为不依赖于这样的成像装置的型式和制造商的通用图像处理程序。可以通过执行所述程序而改善在RAM显影处理后的图像的质量。

[第六实施例]

在本发明的第六实施例中，在相对于通过一次成像而获得的图像改变ISO增益和噪声减少(NR)处理的相应调整量以产生多个图像后，可以组合所述图像以产生一个HDR图像。

图17是示出按照本发明的第六实施例的DSC的内部结构的方框图。在图17中，通过相同的附图数字和标号来表示对应于在图1中那些的块，并且省略所述块的说明。

在图17中所示的DSC中，向在图1中所示的DSC的部件加上用于RAW图像数据的缓冲存储器(RAM缓冲存储器)31和用于RAW图像数据的NR处理单元(RAW/NR处理单元)32。在RAM缓冲存储器31中存储成像图像的数字数据(RAW图像数据)，当判定在场景的高亮度侧的亮度范围宽于成像元件12的输出的动态范围时从模数转换单元13输出所述RAW图像数据。在通过ISO增益控制单元14而进行整个图像的增益控制后，在RAM缓冲存储器31中的图像数据通过RAW/NR处理单元32而进一步进行NR处理，并且被存储在缓冲存储器15中。

图18是示出在按照第六实施例的DSC中的成像期间的处理过程的流程图。

按照这个实施例的DSC按照例如在第一实施例中所述的方法来测量场景的亮度范围，并且按照测量结果来判定是否应当开始在图18中的处理。这个判定处理对应于在图2的步骤S107中用于判定是否需要等级成像的处理。但是，在这个实施例中，当判定在场景的高亮度侧的亮度范围宽于成像元件12的输出的动态范围时，开始在图18中的处理。

[步骤S401]微计算机20按照下面的方程(15)计算适于所测量的最大亮度Y_H的曝光校正值EV_Eq。在这种情况下，微计算机20按照下面的方程(16)在下面的步骤S402中计算在成像期间的快门速度S(在此，微计算机20主要控制快门11b的操作)和光圈值F。如上所述，S₀、F₀和G₀是在图2的步骤S101中在AE控制期间设置(或者在步骤S103中再次设置)的快门速度(通过电子快门功能)、光圈值和ISO增益。

EV_Eq＝-log₂(Y_H/Y_DH)    (15)

[步骤S402]微计算机20应用在步骤S401中计算的曝光校正值EV_Eq、快门速度S和光圈值F，并且使得DSC执行曝光操作。通过这个操作从模数转换单元13输出的RAW图像数据被暂时存储在RAM缓冲存储器31中。

[步骤S403]微计算机20将在ISO增益控制单元14中的ISO增益设置为“1”(即无增益)，在RAW/NR处理单元32中的NR强度设置为“弱”，使得ISO增益控制单元14和RAW/NR处理单元32依序处理在RAW缓冲存储器31中的图像数据，并且在缓冲存储器15中存储在所述处理后的图像PH。

[步骤S404]微计算机20提高在ISO增益控制单元14中的ISO增益，将在RAW/NR处理单元32中的NR强度提高为“中”，使得ISO增益控制单元14和RAW/NR处理单元32依序处理在RAW缓冲存储器31中的图像数据，并且在缓冲存储器15中存储在所述处理后的图像P_H。

[步骤S405]微计算机20进一步提高在ISO增益控制单元14中的ISO增益，进一步将在RAW/NR处理单元32中的NR强度提高为“强”，使得ISO增益控制单元14和RAW/NR处理单元32依序处理在RAW缓冲存储器31中的图像数据，并且在缓冲存储器15中存储在所述处理后的图像P_H。

下面示出了在步骤S403-S405中的ISO增益和NR强度的控制值。可以说，在步骤S403-S405中，在第一实施例中通过等级成像而获得的参考图像P₀和图像P_UNDER和P_OVER被分别模拟地产生为图像P₀、P_H和P_L。

表3

图像	ISO增益	NR强度
			PH	0	弱
P0	2-EV Eq /2	中
			PL	2-EV Eq	强

[步骤S406]组合处理单元16组合在缓冲存储器15中的图像P_H、P₀和P_L，并且按照下面的方程(17)来产生HDR图像，方程(17)对于在第一实施例中所述的方程(5)。组合处理单元16从微计算机20接收在步骤S403-S405中设置的ISO增益的设置值，而不是接收在方程(17)中需要的曝光校正值，并且执行符合方程(17)的处理。门限值Th1和Th2满足关系式0≤Th1≤Th2。作为门限值Th1和Th2，例如，使用预先确定的值。

[步骤S407和S408]在这些步骤中的相应种类的处理对应于在图2中的步骤S113和S114。在步骤S406中产生的HDR图像具有大于可以被显影处理单元17应用显影处理的图像数据的比特数量的比特数量。因此，在显影处理单元17的输入阶段，压缩组合的HDR图像的灰度范围和数据比特的数量，并且显影在所述压缩后的图像数据。

可以说，在步骤S403-S405中，在第一实施例中通过等级成像而获得的参考图像P₀和图像P_UNDER和P_OVER被模拟地分别产生为图像P₀、P_H和P_L。但是，因为调整ISO增益而不是实际执行曝光控制并且发生噪声，因此当提高ISO增益时，提高NR强度以将噪声的数量降低。按照这样的处理，在步骤S406中组合的图像中，较弱地向高亮度区域应用NR处理，并且保持细节分量。相反，因为较强地向低亮度区域应用NR处理以控制噪声水平和剩余灰度信息。因此扩展了所检测的场景的亮度范围。因此，可以获得高质量的HDR图像。

图19A-19C是示出所生成的图像P₀、P_H和P_L中的亮度的特性的图。

在图19A中，直线L_H表示在由图像P_H再现的场景的亮度和成像元件12的电荷量之间的关系。直线L₀指示当不执行曝光校正而执行成像(即在步骤S101中的曝光条件下或者在图2中再次在步骤S103中设置的曝光条件下执行成像)时在场景的亮度和成像元件12的电荷量之间的关系。在通常曝光条件下成像的图像的灰度范围是从亮度Y_DL到亮度Y_DH。但是，在通过校正到不足侧的曝光而获得的图像P₀中，在高亮度侧上的灰度范围被向最大亮度Y_H扩展亮度差DYh。另一方面，通过按照NR处理而将噪声水平从Nf降低到Nsupp_h噪声水平，可以将在低亮度侧上的灰度范围保证为与当不执行曝光校正时的程度相同的程度。

在图19B中，直线L₀表示在由图像P₀再现的场景的亮度和成像元件12的电荷量之间的关系。因为通过提高增益而获得图像P₀，因此原始噪声水平Nf高。但是，实际噪声水平Nsupp_0小于噪声水平Nf，因为NR强度被提高到“中”。例如，可以将噪声水平Nsupp_0控制到大约噪声水平Nf，而不进行如图19A中所示的曝光校正。

在图19C中，直线L_L表示在由图像P_L再现的场景的亮度和成像元件12的电荷量之间的关系。因为通过提高增益而获得图像P_L，因此原始噪声水平Nf更高。但是，实际噪声水平Nsupp_1小于噪声水平Nf，因为NR强度被提高到“强”。

图20是示出在组合图像中的亮度的特性的图。

在图20中，当其中直线L₀和门限值Th1和Th2相交的点的亮度是Y1和Y2时，在组合后的图像中，在等于或者小于Y1的亮度处使用图像P_L的像素数据，并且在等于或者大于Y2的亮度处使用图像P_H的像素数据。如参见图4所述，在方程(17)中的计算中，直线L_L和L_H的斜率分别与在等于或者小于Y1和等于或者大于Y2的亮度的区域中的直线L₀的斜率相同。因为直线L_L的斜率被转换为缓和时，在图像P_L中的噪声水平Nsupp_1降低。在这种情况下，因为在NR强度上的差别，因此在转换后的噪声水平Nsupp_1小于图像P₀的噪声水平Nsupp_0。结果，在组合后的图像中的低亮度侧上的灰度范围被扩展亮度差DY1。如上所述，在高亮度侧上的灰度范围也被扩展亮度差DYh。因此，可以产生HDR图像，所述HDR图像具有比不执行曝光校正下成像的图像更宽的在场景中的亮度范围中的灰度信息。

在如上所述的处理过程中，可以使用通过在第三实施例中所述的插值的HDR图像的组合处理(对应于在图10中的步骤S307-S310)来取代在步骤S407-S408中的处理。在这种情况下，例如，在图9中，当从在模数转换后的图像产生三个图像时(对应于在图17中的RAW缓冲存储器31中的图像)，足以向所述图像应用通过显影处理单元17ca的显影处理，在缓冲存储器15a中存储在显影后的图像P’₀、P’_H和P’_L的相应数据，并且通过插值处理来产生组合图像。换句话说，可以通过在显影处理单元17a中的功能来执行在RAW/NR处理单元32中的NR处理。因此，与被具有在图17中所示的结构的DSC应用到在组合后的HDR图像的显影处理相比较，可以进一步改善最后图像的质量，并且向所述图像的图像数据中并入对应于在场景中的更宽亮度范围的灰度信息。

在这种情况下，像在第二实施例中那样，仅仅需要通过在散焦状态中执行成像而不曝光校正地获取低通图像数据。或者，可以通过使得在通过ISO增益控制处理和NR处理获得的三个图像中的一个图像(期望为图像P₀)的数据通过算术运算而进行低通滤波处理来获取低通图像数据。

也可以将在第六实施例中的处理功能实现为RAW显影程序。在这种情况下，可以在记录介质中存储在步骤S402中获得的RAW图像数据，随后在PC等中产生图像P₀、P_H和P_L，并且获得HDR图像。具体上，也可以不仅向通过如上所述的方法的成像获得的RAW图像数据应用所述处理，而且向通过其他成像方法获得的RAW图像数据应用所述处理，并且获得其中扩展在低亮度侧的灰度范围的HDR图像。换句话说，可以根据已经成像的一个图像数据来模拟地产生在等级成像后的图像数据，并且根据所述图像数据来获得HDR图像。在这种情况下，可以将在第二实施例中所述的使用累积直方图的方法应用到一个图像的输入数据，以估计曝光校正值EV_Eq。

在如上所述的实施例中，本发明被应用到DSC。但是。可以将本发明不仅应用到DSC，而且应用到具有成像功能的任何种类的电子装置。

如上所述，通过计算机来实现按照相应实施例的DSC的功能的一部分。在这种情况下，提供了用于描述这样的功能的处理内容的程序。通过使用所述计算机执行所述程序而在计算机上实现所述处理功能。用于描述所述处理内容的所述程序可以被记录在计算机可读记录介质上。作为所述计算机可读记录介质，存在磁记录装置、光盘、磁光记录介质和半导体存储器等。

当所述程序进行流通时，例如，销售其中记录了所述程序的诸如光盘之类的便携记录介质。也可以在服务器计算机的存储器中存储所述程序，并且将所述程序从所述服务器计算机通过网络而传送到其他计算机。

执行所述程序的计算机在计算机的存储器中存储例如在所述便携记录介质中记录的程序或者从服务器计算机传送的程序。所述计算机从计算机的存储器读取所述程序，并且执行符合所述程序的处理。所述计算机也可以直接地从便携记录介质读取所述程序，并且执行符合所述程序的处理。而且，所述计算机可以在每次所述成像被从服务器计算机传送时执行符合由所述计算机接收的程序的处理。

本领域内的技术人员应当明白，可以根据设计要求和其他因素(它们在所附的权利要求或者其等同内容的范围内)来进行各种修改、组合、子组合和替代。

相关申请的交叉引用

本发明包含与在2006年10月19日在日本专利局提交的日本专利申请JP 2006-285108相关的主题，其整体内容通过引用被包含在此。

Claims (27)

1.一种图像处理装置，其处理输入图像数据，所述图像处理装置包括：

曝光校正值获取单元，其在所述输入图像数据的成像期间获取相对于曝光控制值的多个阶段的曝光校正值；

照度分量产生单元，其根据输入图像数据来产生照度分量；

增益量计算单元，其将多个加权系数的每个乘以相乘系数，并且相加相乘值以计算增益量，所述多个加权系数是通过由曝光校正值获取单元获取的曝光校正值的阶段的数量而被设置，并且通过在照度分量中的同一位置中的像素的亮度而被设置，以便在所述同一位置中的像素中的加权系数的总值是1，所述相乘系数对应于所述曝光校正值，所述曝光校正值对应于所述加权系数；以及，

增益应用单元，其对于每个像素向输入图像数据应用由所述增益量计算单元计算的增益量。

2.按照权利要求1的图像处理装置，其中，由所述曝光校正值获取单元获取的在多个阶段的所述曝光校正值包括校正值0

3.按照权利要求1的图像处理装置，其中，所述增益量计算单元通过使用2来作为基数并且使用对应的曝光校正值作为指数执行求幂，计算所述相乘系数。

4.按照权利要求1的图像处理装置，其中，所述增益量计算单元将被乘以下述相乘系数的加权系数设置为在其中照度分量为暗的区域中较大，并且在其中照度分量为亮的区域中较小，所述相乘系数对应于在由所述曝光校正值获取单元获取的所述曝光校正值中的、用于向曝光过度侧进一步校正曝光的曝光校正值；所述增益量计算单元并且将被乘以下述相乘系数的加权系数设置为在其中照度分量为暗的区域中较大，并且在其中照度分量为亮的区域中较大，所述相乘系数对应于在用于向曝光不足侧进一步校正曝光的曝光校正值。

5.按照权利要求4的图像处理装置，其中，所述增益量计算单元进一步设置被乘以下述相乘系数的加权系数，以便照度分量的亮度在亮度范围的中间区域中最大，所述相乘系数对应于由所述曝光校正值获取单元获取的曝光校正值的中间的一个。

6.按照权利要求5的图像处理装置，其中，所述增益量计算单元从用于指示所述照度分量的每个亮度的频率的直方图检测第一亮度、第二亮度和第三亮度，所述第一亮度对应于在所述直方图的高亮度侧上最远存在的第一频率峰值，所述第二亮度对应于在比所述第一频率峰值更低的亮度侧上的区域上存在的第二频率峰值，所述第三亮度对应于在所述第一和第二频率峰值之间的最低频率位置；所述增益量计算单元将对应于在由所述曝光校正值获取单元获取的曝光校正值中的中间曝光校正值的加权系数设置为在下述亮度区域中为最大，所述照度分量在所述亮度区域中为所述第三亮度并且在小于或者大于所述亮度区域的两个亮度侧上简单地降低；所述增益量计算单元将对应于在由所述曝光校正值获取单元获取的曝光校正值中的、用于将曝光校正到曝光不足侧的曝光校正值的加权系数设置为按照所述照度分量的亮度增大而简单地增大，并且在所述第一亮度达到大致最大值；所述增益量计算单元将对应于在由所述曝光校正值获取单元获取的曝光校正值中的、用于将曝光校正到曝光过度侧的曝光校正值的加权系数设置为按照所述照度分量的亮度降低而简单地增大，并且在所述第二亮度达到大致最大值。

7.按照权利要求6的图像处理装置，还包括加权系数设置单元，其按照用户操作而任意地设置与由所述曝光校正值获取单元获取的曝光校正值中的、用于将曝光校正到曝光不足侧和曝光过度侧的曝光校正值分别对应的相应加权系数的最大值。

8.按照权利要求6的图像处理装置，其中，所述增益量计算单元通过将输入图像数据乘以所述相乘系数来模拟计算参考校正图像数据、不足校正图像数据和过度校正图像数据，所述参考校正图像数据是由被应用由所述曝光校正值获取单元获取的曝光校正值中的中间曝光校正值的成像操作获得的，所述不足校正图像数据是由被应用由所述曝光校正值获取单元获取的曝光校正值中的、用于将曝光校正到曝光不足侧的曝光校正值的成像操作获得的，所述过度校正图像数据是由被应用由所述曝光校正值获取单元获取的曝光校正值中的、用于将曝光校正到曝光过度侧的曝光校正值的成像操作获得的；所述增益量计算单元根据在用于指示参考校正图像数据和不足校正图像数据的每个的每个亮度的频率的直方图的高亮度侧上最远存在的频率峰值的位置，并且根据照度分量的亮度区域的中间值，计算对应于被应用到不足校正图像数据的加权系数的最大值；并且，所述增益量计算单元根据在用于指示参考校正图像数据和过度校正图像数据的每个的每个亮度的频率的直方图上比高亮度侧上最远存在的频率峰值进一步在低亮度侧上的区域中存在的频率峰值的位置，并且根据照度分量的亮度区域的中间值，计算对应于被应用到过度校正图像数据的加权系数的最大值。

9.按照权利要求1的图像处理装置，其中，所述照度分量产生单元根据输入的图像数据估计并计算当输入图像数据的成像期间应用由所述曝光校正值获取单元获取的曝光校正值中的中间曝光校正值时获得的图像数据，并且向所计算的图像数据应用低通滤波处理，以产生照度分量。

10.按照权利要求1的图像处理装置，其中，所述照度分量产生单元通过向输入图像数据应用低通滤波处理而产生照度分量。

11.按照权利要求1的图像处理装置，其中，所述曝光校正值获取单元从被加到输入图像数据的元数据获取在输入图像数据的成像期间的曝光校正值。

12.按照权利要求1的图像处理装置，其中，所述曝光校正值获取单元根据输入图像数据的分析结果来计算在多个阶段的曝光校正值。

13.按照权利要求12的图像处理装置，其中，所述曝光校正值获取单元根据输入图像数据来计算其中从低亮度侧起累积每个亮度的频率的累积直方图，根据累积直方图来检测对应于其中很可能存在主物体的预定参考累积频率的亮度区域、对应于大于所述参考累积频率的一个或多个累积频率的亮度区域和对应于小于所述参考累积频率的一个或多个累积频率的亮度区域，并且按照所检测的相应亮度区域的组合来计算作为估计值的、在多个阶段的曝光校正值。

14.按照权利要求13的图像处理装置，还包括滤波处理单元，其向输入图像数据应用低通滤波处理，其中，

所述曝光校正值获取单元根据通过使用所述滤波处理单元向输入图像数据应用低通滤波而获得的图像数据来计算所述累积直方图。

15.按照权利要求12的图像处理装置，其中，所述曝光校正值获取单元向输入图像数据应用用于分析的增益，并且将在其中白色空白像素和黑色实心点像素的比率分别等于或者小于预定门限值的极限处的、所述用于分析的增益的值转换为对应于不足侧或者过度侧的相应的曝光校正值。

16.一种成像装置，其使用固态成像元件来成像图像，所述成像装置包括：

曝光校正值设置单元，其相对于预定曝光控制值而设置在多个阶段的曝光校正值；

照度分量产生单元，其根据通过成像操作而获得的图像数据来产生照度分量；

增益量计算单元，其将多个加权系数的每个乘以相乘系数，并且相加相乘值以计算增益量，所述多个加权系数是通过由曝光校正值获取单元获取的曝光校正值的阶段的数量而被设置，并且通过在照度分量中的同一位置中的像素的亮度而被设置，以便在所述同一位置中的像素中的加权系数的总值是1，所述相乘系数对应于所述曝光校正值，所述曝光校正值对应于所述加权系数；以及，

增益应用单元，其对于每个像素向通过被应用所述预定曝光控制值的成像而获得的图像数据应用由所述增益量计算单元计算的增益量。

17.按照权利要求16的成像装置，还包括：

曝光状态判定单元，其根据通过被应用所述参考曝光控制值的成像操作而获得的图像数据来检测白色空白，并且根据检测结果判定是否在视角中的亮度范围适于可以由所述固态成像元件检测的检测亮度范围；以及

曝光校正值计算单元，其当通过所述曝光状态判定单元判定场景的亮度范围不适于所述检测亮度范围时，计算通过校正参考曝光控制值而获得的不足侧曝光控制值，以便在所述场景的高亮度侧的亮度范围适于所述检测亮度范围，其中

所述曝光校正值设置单元对于所述不足侧曝光校正值设置用于向曝光过度侧校正曝光的在多个阶段的曝光校正值。

18.按照权利要求17的成像装置，还包括滤波处理单元，其向由成像操作获得的图像数据应用低通滤波处理，其中

所述曝光状态判定单元和所述曝光校正值计算单元根据通过所述滤波处理单元进行低通滤波处理的图像数据，执行检测白色空白，并且计算不足侧曝光控制值。

19.按照权利要求17的成像装置，其中，所述曝光校正值计算单元应用逐渐地被校正到相对于所述参考曝光控制值的不足侧的曝光控制值，并且每次校正所述曝光校正值时根据通过使得所述成像装置执行成像操作而获得的图像数据来检测白色空白的发生状态，根据不发生白色空白的最大曝光控制值、在预先确定的参考曝光条件下输出的像素的亮度最大值、所述固态成像元件的相应像素的饱和电荷量和对应于预定白级的固态成像元件的像素的电荷量来检测场景的最大亮度，并且根据所检测的所述场景的最大亮度判定是否所述场景的亮度范围大于所述检测亮度范围，并且当判定所述场景的亮度范围大于所述检测亮度范围时，计算通过校正所述参考曝光控制值而获得的不足侧曝光控制值，以便所检测的所述场景的最大亮度适于所述检测亮度范围。

20.按照权利要求19的成像装置，还包括滤波处理单元，其向通过成像操作而获得的图像数据应用低通滤波处理，其中

所述曝光校正值计算单元根据通过所述滤波处理单元进行低通滤波处理的图像数据检测相对于通过成像操作而获得的图像数据的白色空白的发生状态，所述成像操作被应用被逐渐校正到相对于所述参考曝光控制值的不足侧的曝光控制值。

21.按照权利要求17的成像装置，其中，所述曝光校正值计算单元从通过被应用所述参考曝光控制值的成像操作而获得的图像数据检测累积直方图，其中，从低亮度侧起累积每个亮度的频率，所述曝光校正值计算单元并且根据所述累积直方图来检测对应于其中很可能存在主物体的的预定参考累积频率的亮度区域、对应于大于所述参考累积频率的一个或多个累积频率的亮度区域和对应于小于所述参考累积频率的一个或多个累积频率的亮度区域，并且按照所检测的相应亮度区域的组合来估计和输出不足侧曝光校正值。

22.按照权利要求21的成像装置，还包括滤波处理单元，其向通过成像操作而获得的图像数据应用低通滤波处理，其中

所述曝光校正值计算单元根据通过所述滤波处理单元进行低通滤波处理的图像数据而检测相对于通过被应用所述参考曝光控制值的成像操作而获得的图像数据的累积直方图。

23.按照权利要求17的成像装置，还包括RAW显影处理单元，其向通过成像操作而获得的参考图像数据和不足校正图像数据应用信号处理，所述信号处理包括预定像素插值处理和预定图像质量校正处理，所述成像操作分别被应用所述参考曝光控制值和所述不足侧曝光控制值，并且所述RAW显影处理单元将所述参考图像数据和不足校正图像数据转换为具有能够被输出到显示器的多个灰度比特的未压缩图像数据，其中

所述照度分量产生单元根据由所述RAW显影处理单元转换的参考图像数据而产生照度分量，并且

所述增益应用单元对于每个像素向由所述RAW显影处理单元转换的不足校正图像数据应用增益。

24.按照权利要求17的成像装置，其中，所述照度分量产生单元通过向通过被应用所述参考曝光控制值的成像操作而获得的图像数据应用低通滤波处理。

25.按照权利要求17的成像装置，其中，所述照度分量产生单元调整调焦透镜的位置，以将成像图像带入散焦状态中，并且使用通过应用所述参考曝光控制值而执行的成像操作获得的图像数据来作为照度分量。

26.一种图像处理方法，用于处理输入图像数据，所述图像处理方法包括步骤：

通过照度分量产生单元来根据输入图像数据产生照度分量；

通过曝光校正值获取单元来在输入图像数据的成像期间相对于曝光控制值获取在多个阶段的曝光校正值；

由增益量计算单元通过将多个加权系数的每个乘以相乘系数、并且相加相乘值而计算增益量，所述多个加权系数是通过由所述曝光校正值获取单元获取的多个曝光校正值的阶段的数量设置的，并且是按照在照度分量的相同位置的像素的亮度设置的，以便在所述相同位置的像素中的加权系数的总值是1，所述相乘系数对应于与所述加权系数相对应的曝光校正值；并且

通过增益应用单元对于每个像素向输入图像数据应用由所述增益量计算单元计算的增益量。

27.一种图像处理程序，用于处理输入图像数据，所述图像处理程序使得计算机作为：

曝光校正值获取部件，其在所述输入图像数据的成像期间获取相对于曝光控制值的多个阶段的曝光校正值；

照度分量产生部件，其根据输入图像数据来产生照度分量；

增益量计算部件，其将多个加权系数的每个乘以相乘系数，并且相加相乘值以计算增益量，所述多个加权系数是通过由曝光校正值获取部件获取的曝光校正值的阶段的数量而被设置，并且通过在照度分量中的同一位置中的像素的亮度而被设置，以便在所述同一位置中的像素中的加权系数的总值是1，所述相乘系数对应于所述曝光校正值，所述曝光校正值对应于所述加权系数；以及，

增益应用部件，其对于每个像素向输入图像数据应用由所述增益量计算部件计算的增益量。

Images