CN102186020A - 图像处理装置、图像处理方法 - Google Patents

Abstract

提供一种能够获得对比度良好的图像的图像处理装置和图像处理方法。本发明的图像处理装置能够基于高对比度图像生成比其灰度幅度窄的输出图像，包括：从多张输入图像中选定基准图像的选定单元；对于除去BP的剩余的输入图像，计算与BP的亮度比率来作为增益的计算单元1；计算出适用于NBP的权重1，基于使用权重1对MIP进行加权合成运算的结果的图像数据的亮度成分，来计算权重2的计算单元2；利用权重1和权重2执行MIP的加权合成，生成HCP的生成单元1；基于HCP的亮度分布的形状信息和变换目标的亮度分布的形状信息，制作灰度变换曲线的制作单元；基于灰度变换曲线执行HCP的灰度变换，生成灰度幅度窄的OP的生成单元2。

Description

图像处理装置、图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法。

背景技术

现在，为了获得对比度良好的图像，所采用的方法是通过对拍摄同一场景的曝光量不同的多张输入图像进行合成，从而生成使动态范围扩大的合成图像。而且，提出了一种基于这种灰度幅度宽的合成图像(高对比度图像)来执行灰度变换，也由此生成灰度幅度窄的最终结果的输出图像的方法(例如，专利文献1)。

根据这种方法，由于生成了保留了灰度幅度宽的高对比度图像的信息(特别是灰度信息)的输出图像，因此能够获得对比度良好的图像。

现有技术文献

专利文献

专利文献1：日本特许第3956311号

本发明要解决的问题

上述现有的方法根据这样一种变换特性来进行，即基于高对比度图像(合成图像)的亮度分布的特征，具体为，最低亮度、中间亮度、最高亮度3个点的特征点，来计算用于生成最终结果的输出图像的灰度变换。但是，在这种灰度变换中，依旧会产生灰度跳跃，特别是会存在着在图像的低亮度部、高亮度部的灰度表现不自然的问题。于是，就不能获得对比度良好的图像来作为最终结果的输出图像。

发明内容

本发明用于解决上述现有技术的问题。本发明的目的是要提供一种能够获得对比度良好的图像来作为最终结果的输出图像的图像处理装置和图像处理方法。

解决问题的手段

第1发明的图像处理装置，基于对拍摄同一场景的曝光量不同的多张输入图像进行合成而得到的使动态范围扩大的灰度幅度宽的合成图像即高对比度图像，来生成灰度幅度比上述高对比度图像窄的输出图像，包括：选定单元，基于上述多张的输入图像的亮度成分的信息，从上述多张输入图像之中选定基准图像；增益计算单元，基于上述多张输入图像的亮度成分的信息，对于在上述多张中除去上述基准图像的剩余的输入图像，计算出以上述基准图像为基准的与上述剩余的输入图像的亮度比率来作为增益；权重计算单元，基于计算出的上述增益以及上述基准图像的亮度成分的信息，计算出适用于上述剩余的输入图像的第1权重，并且，基于利用上述第1权重对上述多张输入图像进行加权合成运算的结果的图像数据的亮度成分的信息，来计算第2权重；中间图像生成单元，利用计算出的上述第1权重和上述第2权重对上述多张输入图像进行加权合成，由此生成上述高对比度图像；制作单元，基于所生成的上述高对比度图像的亮度分布的形状的信息以及预先设定的变换目标的亮度分布的形状的信息，制作表示灰度变换的特性的灰度变换曲线；以及输出图像生成单元，基于所制作的上述灰度变换曲线执行上述高对比度图像的灰度变换，生成比该高对比度图像的灰度幅度窄的输出图像。

第2发明是根据第1发明，上述选定单元基于将上述多张输入图像分别缩小之后的缩小图像的亮度成分的信息，从上述多张中选定亮度分布的有效幅度最宽的一张输入图像，作为上述基准图像。

第3发明是根据第1发明和第2发明，上述增益计算单元基于将上述多张输入图像分别缩小之后的缩小图像的亮度成分的信息，对上述剩余的输入图像，计算出以上述基准图像为基准的与上述剩余的输入图像的亮度比率来作为上述增益。

第4发明是根据第1至第3发明中的任意一个，上述权重计算单元，对于计算出的上述增益的值比规定值小的上述剩余的输入图像，以使该输入图像的高亮度部分的权重变大的方式计算上述第1权重；对于计算出的上述增益的值比规定值大的上述剩余的输入图像，以使该输入图像的低亮度部分的权重变大的方式计算上述第1权重。

第5发明是根据第1至第4发明中的任意一个，上述权重计算单元计算下述比率作为上述第2权重，上述比率为对使用上述第1权重对上述多张输入图像进行加权合成运算的结果的图像数据的最大亮度与使动态范围扩大了的规定“N”比特灰度上的最大值建立对应地求出的比率。

第6发明是根据第1至第5发明中的任意一个，上述制作单元，从生成的上述高对比度图像的亮度分布的形状信息以及预先设定的变换目标的亮度分布形状信息中，提取出表示变换源的上述高对比度图像和变换目的地的上述输出图像的亮度值的对应关系的信息，基于该提取出的信息制作表示灰度变换的特性的灰度变换曲线。

第7发明是根据第1至第6发明中的任意一个，上述制作单元基于仅以下述像素为对象而制作的亮度分布的形状信息和上述变换目标的亮度分布的形状信息，生成表示灰度变换的特性的灰度变换曲线，上述像素为属于上述高对比度图像的灰度范围中的预先确定的或由用户指定的灰度范围的像素。

第8发明是根据第1至第7发明中的任意一个，上述亮度分布的形状信息是累加直方图的形状信息。

第9发明是根据第1至第8发明中的任意一个，上述灰度幅度宽的合成图像即上述高对比度图像是与上述多张输入图像相比灰度数多的图像。

第10发明的图像处理方法，基于对拍摄同一场景的曝光量不同的多张输入图像进行合成而得到的使动态范围扩大的灰度幅度宽的合成图像即高对比度图像，来生成灰度幅度比上述高对比度图像窄的输出图像，包括：选定步骤，基于上述多张的输入图像的亮度成分的信息，从上述多张输入图像之中选定基准图像；增益计算步骤，基于上述多张输入图像的亮度成分的信息，对于在上述多张中除去上述基准图像的剩余的输入图像，计算出以上述基准图像为基准的与上述剩余的输入图像的亮度比率来作为增益；权重计算步骤，基于计算出的上述增益以及上述基准图像的亮度成分的信息，计算出适用于上述剩余的输入图像的第1权重，并且，基于利用上述第1权重对上述多张输入图像进行加权合成运算的结果的图像数据的亮度成分的信息，来计算第2权重；中间图像生成步骤，利用计算出的上述第1权重和上述第2权重对上述多张输入图像进行加权合成，由此生成上述高对比度图像；制作步骤，基于所生成的上述高对比度图像的亮度分布的形状的信息以及预先设定的变换目标的亮度分布的形状的信息，制作表示灰度变换的特性的灰度变换曲线；以及输出图像生成步骤，基于所制作的上述灰度变换曲线执行上述高对比度图像的灰度变换，生成比该高对比度图像的灰度幅度窄的输出图像。

第11发明是根据第10发明，上述选定步骤基于将上述多张输入图像分别缩小之后的缩小图像的亮度成分的信息，从上述多张中选定亮度分布的有效幅度最宽的一张输入图像，作为上述基准图像。

第12发明是根据第10或者第11发明，上述增益计算步骤基于将上述多张输入图像分别缩小之后的缩小图像的亮度成分的信息，对上述剩余的输入图像，计算出以上述基准图像为基准的与上述剩余的输入图像的亮度比率来作为上述增益。

第13发明是根据第10至第12发明中的任意一个，上述权重计算步骤，对于计算出的上述增益的值比规定值小的上述剩余的输入图像，以使该输入图像的高亮度部分的权重变大的方式计算上述第1权重；对于计算出的上述增益的值比规定值大的上述剩余的输入图像，以使该输入图像的低亮度部分的权重变大的方式计算上述第1权重。

第14发明是根据第10至第13发明中的任意一个，上述权重计算步骤计算下述比率作为上述第2权重，上述比率为对使用上述第1权重对上述多张输入图像进行加权合成运算的结果的图像数据的最大亮度与使动态范围扩大了的规定“N”比特灰度上的最大值建立对应地求出的比率。

第15发明是根据第10至第14发明中的任意一个，上述制作步骤，从生成的上述高对比度图像的亮度分布的形状信息以及预先设定的变换目标的亮度分布形状信息中，提取出表示变换源的上述高对比度图像和变换目的地的上述输出图像的亮度值的对应关系的信息，基于该提取出的信息制作表示灰度变换的特性的灰度变换曲线。

第16发明是根据第10至第15发明中的任意一个，上述制作步骤基于仅以下述像素为对象而制作的亮度分布的形状信息和上述变换目标的亮度分布的形状信息，生成表示灰度变换的特性的灰度变换曲线，上述像素为属于上述高对比度图像的灰度范围中的预先确定的或由用户指定的灰度范围的像素。

第17发明是根据第10至第16发明中的任意一个，上述亮度分布的形状信息是累加直方图的形状信息。

第18发明是根据第10至第17发明中的任意一个，上述灰度幅度宽的合成图像即上述高对比度图像是与上述多张输入图像相比灰度数多的图像。

发明的效果

采用本发明，能够获得对比度良好的图像来作为最终结果的输出图像。

附图说明

图1是示出实施方式的图像处理装置的构成的框图。

图2是示出实施方式的图像处理装置的操作的流程图(1/2)。

图3是示出实施方式的图像处理装置的操作的流程图(2/2)。

图4是示出变换目标的亮度直方图和其线性特性状态的亮度直方图的示例的图。

图5是示出合成图像的累加直方图和变换目标的累加直方图的示例的图。

图6是示出灰度变换曲线的示例的图。

符号的说明

10…图像处理装置(本身)，11…控制部，12…摄像单元容纳部，13…缓存，14…数据处理部，15…压缩/解码部，16…记录介质，17…显示器，18…操作部，19…***总线，20…摄像单元

具体实施方式

下面将描述本发明的实施方式。图1是示出本实施方式的图像处理装置的构成的框图。如图1所示，本实施方式的图像处理装置包括图像处理装置10和与其连接的摄像单元20。

图像处理装置10具有控制部11、摄像单元容纳部12、缓存13、数据处理部14、压缩/解码部15、记录介质16、显示器17、操作部18和***总线19。这里，控制部11、摄像单元容纳部12、缓存13、数据处理部14、压缩/解码部15、记录介质16、显示器17通过***总线19连接。此外，操作部18连接到控制部11上。

摄像单元20通过摄像单元容纳部12的容纳端口(未图示)连接到图像处理装置10上。而且，这种连接采用基于IEEE1394或USB等标准的通信电缆。

摄像单元20由具有摄像面的摄像元件以及信号处理电路等构成，其中该摄像面是在半导体基板上形成2维矩阵状配置的多个感光元件(像素)，并且该信号处理电路对从摄像元件输出的图像信号实施箝位(クランプ)处理、灵敏度调整(增益调整)、A/D变换等信号处理，并将该信号处理后的图像数据输出给图像处理装置10。此外，摄像单元20的摄像元件例如由CCD型或CMOS型摄像元件构成。

此外，摄像单元20具有：包含聚焦透镜、变焦透镜的多个透镜组构成的拍摄透镜，以及使该拍摄透镜沿光轴方向移动来进行聚焦调整、变焦调整的透镜驱动部。并且，拍摄透镜的聚焦调整、变焦调整根据来自图像处理装置10的控制部11的指示来执行。

摄像单元20基于来自图像处理装置10的控制部11的指示，对在摄像面上成像的被摄体像的图像进行拍摄。拍摄时的AE(自动曝光)、AF(自动对焦)的控制，由摄像单元20基于来自图像处理装置10的控制部11的指示来执行。或者，由摄像单元20和图像处理装置10的控制部11协同执行。经过拍摄从摄像单元20输出的图像数据，经由摄像单元容纳部12输出到图像处理装置10的缓存13中。

从摄像单元20输出的图像数据暂时记录在缓存13中。此外，在由控制部11进行的处理过程中制作的图像数据等也暂时记录在该缓存13中。

数据处理部14根据控制部11的指示，对缓存13中记录的图像数据，实施缺陷像素补正、明暗(shading)补正、白平衡调整、内插、轮廓增强、伽马变换等的图像处理。并且，数据处理部14由ASIC等构成。

压缩/解码部15根据控制部11的指示，对缓存13的图像数据进行压缩处理。并且，压缩处理按照JPEG(Joint Photographic Experts Group)形式等来执行。

记录介质16由存储卡、硬盘、光盘(DVD等)等来构成。并且，记录介质16可以内置于图像处理装置10中，也可以采用可装卸的方式安装，并且还可以设置在外部。在设置于外部的情况下，记录介质16和图像处理装置10以有线或无线的方式电连接。

显示器17是由LCD显示器、CRT显示器等所构成的显示装置。并且，显示器17可以内置于图像处理装置10中，也可以设置在外部。在设置在外部的情况下，显示器17和图像处理装置10以有线的方式电连接。

显示器17根据控制部11的指示，或显示图像处理前的图像内容，或显示图像处理后的图像内容作为图像处理结果，进一步地，显示使用户指示对图像实施的图像处理的内容的图像处理菜单画面(GUI)等。

操作部18包含键盘或者鼠标、跟踪板等指示设备等用户对控制部11进行指示的各种输入设备。用户通过操作这些输入设备，来对控制部11进行对图像实施的图像处理的内容的指示、该图像处理的执行指示等。

而且，在本实施方式的图像处理装置中，对拍摄同一场景的曝光量不同的多张输入图像进行合成，从而生成使动态范围扩大的合成图像，基于该合成图像(高对比度图像)来执行灰度变换，最终，生成灰度幅度窄的输出图像。由此，生成了保留有灰度幅度宽的高对比度图像的信息(特别是灰度信息)的对比度良好的输出图像。

并且，还列举了关于本图像处理装置处理的各图像的灰度的一个示例，例如，输入图像为256(8比特)、1024(10比特)灰度，高对比度图像为1024(10比特)、65536(16比特)灰度，于是，输出图像为1024(10比特)灰度、通常较易处理的256(8比特)灰度等。

下面，参照图2和图3的流程图描述关于这种处理的本实施方式的图像处理装置所执行的操作。

图2和图3的流程图的处理是在拍摄同一场景的曝光量不同的多张图像从摄像单元20输出并由缓存13获取(记录)的时候所调用的处理。当调用该处理的时候，这些缓存13中的多张图像被指定为输入图像(1～N)。

并且，这种多张的图像，可例如通过实施包围曝光拍摄等来获取。在这种情况下，这些多张中的一张图像是在AE(自动曝光)确定的或者由用户指定的曝光条件下拍摄的，并且，除此之外的剩余图像是在以该曝光条件为基准的不同的曝光条件(基准的曝光条件±n级)下拍摄的，这样就实施了包围曝光拍摄。

此外，在下面的处理中，以未实施伽马补正(伽马变换)等的图像，也就是，以从摄像元件输出图像信号成分的状态下的线性特性状态的图像作为输入来执行处理。因此，在实施了伽马补正(伽马变换)等图像处理的图像用作输入图像(1～N)的情况下，将图像信号成分返回到线性特性状态，一旦对原图像实施逆伽马补正(逆伽马变换)之后，就将其用作输入图像(1～N)。

步骤101(S101)：控制部11对输入图像(1～N)的每一个制作缩小图像。例如，在各输入图像的空间方向上，通过取得2×2像素或4×4像素的像素值的平均等，来制作缩小图像。并且，所生成的缩小图像(1～N)记录在缓存13中的与输入图像(1～N)不同的区域中。

步骤102：控制部11对所制作的缩小图像(1～N)的每一个制作亮度成分的直方图(亮度直方图)。

步骤103：控制部11对所制作的亮度直方图分别进行分析，基于该分析的结果，从输入图像(1～N)中选定一张作为基准图像。

具体的，首先，求出成为亮度直方图制作的基础的缩小图像成为全部像素数的例如变为0.1％的像素数(i)。并且，该缩小图像相对于全部像素数的比例(0.1％等)，将摄像元件的缺陷像素、或者突出的像素值、噪声等、构成图像的像素之外的区域的像素，指定为不作为计算的对象。

接着，使用生成的亮度直方图，例如，如果这里使用图4的亮度直方图的示例，那么从其横轴(亮度)的高亮度侧(亮度值“255”)向着低亮度侧(亮度值“0”)，搜索到亮度直方图的纵轴(像素数)的值与之前求出的像素数(i)一致的位置，提取一致的位置的横轴的值(亮度值)作为“max(亮度最大值)”。此外，接着从相同亮度直方图的横轴(亮度)的低亮度侧(亮度值“0”)向着高亮度侧(亮度值“255”)进行搜索，直到搜索到亮度直方图的纵轴(像素数)的值与之前求出的像素数(i)一致的位置，提取一致的位置的横轴的值(亮度值)作为“min(亮度最小值)”。

然后，选定与缩小图像相对应的输入图像(1张)作为基准图像，该缩小图像是制作该“max(亮度最大值)”与“min(亮度最小值)”之差最大的亮度直方图的基础。

如此，从输入图像(1～N)中选定亮度分布的有效幅度最宽的一张图像作为基准图像。

步骤104：控制部11基于缩小图像的亮度成分的信息，以基准图像为基准，对其它输入图像(除去基准图像之外的剩余的1张以上的输入图像)的每一个计算增益。具体的，根据下面的(公式1)计算增益(gain)。这里，(公式1)的f_Y(x，y)表示基准图像的缩小图像的亮度成分，h_Y(x，y)表示作为比较对象的其它输入图像的缩小图像的亮度成分，此外，(x，y)表示缩小图像中的各像素的坐标位置。但是，进行在预先指定的曝光条件下拍摄的包围拍摄的情况下，不需要计算增益。

(公式1)

$\mathrm{gain}=\frac{\mathrm{\Σ}\left[f_Y(x,y)h_Y(x,y)\right]}{\mathrm{\Σ}[f_Y(x,y){]}^2}...\left(1\right)$

并且，在由(公式1)计算出的增益值小于0.1(gain＜0.1)的情况下，作为其计算对象的“其它输入图像”是在相对于基准图像曝光不足的曝光条件下进行拍摄的。此外，在计算出的增益值大于0.1(gain＞0.1)的情况下，作为其计算对象的“其它输入图像”是在相对于基准图像曝光过度的曝光条件下进行拍摄的。

步骤105：控制部11以计算出的各增益和基准图像的亮度成分的信息为基础，对于其它输入图像的每一个计算第1权重。具体的，根据下面的(公式2)，计算与增益值对应的权重(W)，并将其作为第1权重。这里，(公式2)的f_Y(x，y)表示基准图像的亮度成分。此外，“min”和“max”是当上述步骤103中选定基准图像时，从与该基准图像对应的亮度直方图中求出的“min(亮度最小值)”和“max(亮度最大值)”。根据该(公式2)，对于其它输入图像的每一个，以基准图像的亮度为基础，计算第1权重。

(公式2)

并且，根据(公式2)，对于在相对于基准图像曝光不足的曝光条件下拍摄的“其它输入图像”，按照(gain＜1.0时)的计算，使图像的高亮度部分的权重变大，如此来执行第1权重的计算(但是，在f_Y＜min的时候不考虑(公式2)而将W设定为0，在f_Y＞max的时候不考虑(公式2)而将W设定为(-2log₂(gain))。)。这是为了对于高亮度部分，使比基准图像曝光量少地拍摄的“其它输入图像”的信息更为良好。

此外，对于在相对于基准图像曝光过度的曝光条件下拍摄的“其它输入图像”，按照(gain＞1.0时)的计算，使图像的低亮度部分的权重变大，如此来执行第1权重的计算(但是，在f_Y＜min的时候不考虑(公式2)而将W设定为(2log₂(gain))，在f_Y＞max的时候不考虑(公式2)而将W设定为0。)。这是为了对于低亮度部分，使比基准图像曝光量多地拍摄的“其它输入图像”的信息更为良好。

步骤106：控制部11使用计算出的第1权重，按照下面的(公式3)，按R(r)、G(g)、B(b)的各种颜色成分，对输入图像(基准图像和其它输入图像)执行加权合成运算。

(公式3)

g_c(x，y)＝{f_c(x，y)+W₁h₁c(x，y)～W_n-1h_n-1c(x，y)}

…(3)

/(1.0+W₁～W_n-1)

c＝{r，g，b}

而且，(公式3)的f_c(x，y)表示“基准图像”，h_1c(x，y)～h_n-1c(x，y)表示其它输入图像(1～N-1，也就是，除去基准图像的剩余的1张以上的输入图像)。此外，W₁～W_n-1表示对于各个其它输入图像(1～N-1)在上述步骤105中计算出的第1权重，“1.0”表示针对基准图像的权重，“n”表示输入图像的张数(N)，“c”表示R(r)、G(g)、B(b)的各种颜色成分。然后，g_c(x，y)为对R(r)、G(g)、B(b)的各种颜色成分的每个通过加权合成运算所得的计算结果，也就是，是合成后的图像数据。

控制部11执行加权合成运算以及基于该运算结果计算第2权重。

具体的，按照下面的(公式4)，首先，基于运算结果g_r(x，y)、g_g(x，y)、g_b(x，y)的图像数据，计算亮度数据g_Y(x，y)。接着，从计算出的亮度数据g_Y(x，y)中，使用函数“Max()”提取出亮度的最大值。然后，计算所提取出的亮度最大值与规定的“N”比特灰度上的最大值，例如，“N＝16”比特的情况下其最大值“65535”之间的比率，来作为第2权重“NbitW”。

(公式4)

g_Y(x，y)＝0.299g_r(x，y)+0.587g_g(x，y)+0.114g_b(x，y)

$\mathrm{NbitW}=\frac{2^N}{\mathrm{Max}\left(g_Y(x,y)\right)}...\left(4\right)$

步骤107：控制部11使用计算出的第1权重和第2权重这两类权重，采用以下的(公式5)以R(r)、G(g)、B(b)的每种颜色成分进行输入图像(基准图像和其它输入图像)的加权合成，制作在上述规定的“N”比特灰度所示的灰度幅度上使动态范围扩大的合成图像(高对比度图像)。

(公式5)

g_c(x，y)＝{NbitW(f_c(x，y)+W₁h_1c(x，y)～W_n-1h_n-1c(x，y))}

…(5)

/(1.0+W₁～W_n-1)

c＝{r，g，b}

而且，(公式5)的g_c(x，y)表示制作的高对比度图像，f_c(x，y)表示“基准图像”，h_1c(x，y)～h_n-1c(x，y)表示其它输入图像(1～N-1，也就是，除去基准图像的剩余的1张以上的输入图像)。此外，W₁～W_n-1表示相对于各个其它输入图像(1～N-1)在上述步骤105中计算出的第1权重，“1.0”表示相对于基准图像的权重，“n”表示输入图像的张数(N)，“c”表示R(r)、G(g)、B(b)的各种颜色成分，“NbitW”表示在上述步骤106中计算出的第2权重。

这样，在本实施方式的图像处理装置中，只基于亮度成分就计算出权重(上述步骤105、106)，并且其适用于输入图像的R(r)、G(g)、B(b)的全部各种颜色成分，从而用以执行加权合成处理(该步骤107)。因此，在所生成的高对比度图像中，在如此维持的状态下，确实地反映了各个输入图像的色平衡。

此外，与上述不同，如果根据输入图像的R(r)、G(g)、B(b)的各个颜色成分生成了高对比度图像(具体的，在上述亮度成分下处理的部分(步骤106的第2权重计算处理除外)全部用每个颜色成分的处理来替换)，就能更加有效地显示出灰度幅度。

步骤108：控制部11调用图3所示的灰度变换处理的子程序。

(图3：灰度变换处理)

步骤108-1(S108-1)：控制部11首先确定灰度变换中作为变换目标的亮度分布，制作表示作为该变换目标的亮度分布的亮度直方图，以及表示合成图像(高对比度图像)的亮度分布的亮度直方图。

这里，虽然是变换目标的亮度直方图，但假设视觉上优选的图像的亮度直方图在中等亮度部分的像素数较多，作为变换目标，确定例如图4(a)所示的呈高斯分布状的亮度直方图的那种亮度分布，基于这种亮度分布，制作使图像信号成分呈线性特性的状态的亮度直方图。例如，在图4(a)所示的图像信号成分呈线性特性的状态的情况下，生成如图4(b)所示的亮度分布的亮度直方图。然后，生成的这种线性特性的状态的亮度直方图也要用作变换目标。

而且，在上述规定的“N”比特灰度所示的灰度幅度上使动态范围扩大的合成图像(高对比度图像)是通过上述步骤107的加权合成所制作的，不限于使该“N”比特灰度的信息全部有效，也不限于表现出图像上受关注的区域的灰度。

因此，作为合成图像(高对比度图像)的灰度范围中的最终结果的输出图像输出的范围(灰度范围)例如也可以由用户指定。然后，例如，基于用户指定的灰度范围的最小值“outputMin”和最大值“outputMax”的信息，在合成图像(高对比度图像)的像素中，对于具有不包含在该“outputMin”和“outputMax”表示的范围之内的像素值的像素，就从上述合成图像(高对比度图像)的亮度直方图制作的对象中去掉。

这样的话，由用户等任意地指定、并作为最终结果的输出图像来输出被认为合成图像(高对比度图像)有效的灰度部分或图像的受关注的区域的灰度部分。此外，灰度范围的最小值“outputMin”和最大值“outputMax”不是用户指定的值，当然，也可以使用预先设定装置的预设值。

如此制作亮度直方图之后，控制部11分别对该合成图像的亮度直方图和变换目标的亮度直方图，制作累加直方图。

而且，根据变换目标的累加直方图，生成比合成图像(高对比度图像)灰度幅度窄的最终结果的输出图像的灰度幅度所对应的内容。也可以，生成输出图像的灰度幅度所对应的内容的亮度直方图，并基于此生成累加直方图。

步骤108-2：控制部11基于制作的累加直方图制作灰度变换表。

具体的，首先，将合成图像的累加直方图和变换目标的累加直方图的纵轴(示出像素数)分别“n”等分。并且，此时，是对纵轴上的数据所存在的范围进行“n”等分。

这里，示出了纵轴被“n＝16”等分的情况的示例。

图5(a)是1200×1600像素分辨率下，按照以16比特灰度扩大了动态范围的合成图像(高对比度图像)所制作的累加直方图的示例。纵轴的数据所存在的范围按照边界线“a0～a16”被16等分。并且，在该示例的情况下，纵轴的最大值是1920000(1200×1600像素)，横轴的最大值是65535(16比特灰度)。

此外，图5(b)是对应于作为最终结果所制作的输出图像的灰度幅度(该情况为10比特灰度)所制作的变换目标的累加直方图的示例。纵轴的数据所存在的范围按照边界线“b0～b16”被16等分。并且，在该示例的情况下，纵轴的最大值为1023(10比特灰度)，另外纵轴的最大值由于按照图5(a)的合成图像(高对比度图像)的累加直方图来正规化，因此为1920000(1200×1600像素)。

累加直方图的纵轴被“n”等分之后，接着，这种等分的区域的各边界线与累加数据的曲线的交点所表示的亮度值在合成图像和变换目标的累加直方图之间建立对应。在图5的示例中，合成图像的累加直方图的图5(a)的“a0Y～a16Y”，与变换目标的累加直方图的图5(b)的“b0Y～b16Y”分别相对应。

然后，制作在合成图像的累加直方图与变换目标的累加直方图之间表示这些亮度值的对应关系的信息作为灰度变换表。

如此，控制部11基于合成图像与变换目标的累加直方图生成灰度变换表。

步骤108-3：控制部11基于所制作的灰度变换表生成灰度变换曲线。例如，制作如图6所示的灰度变换曲线。具体的，参照灰度变换表，从图6的横轴上取出合成图像(高对比度图像)的累加直方图的亮度值，例如图5(a)上的“a0Y”～“a16Y”，并且从图6的纵轴上取出变换目标的累加直方图的亮度值，例如图5(b)上的“b0Y”～“b16Y”。然后，以这些“a0Y”～“a16Y”和“b0Y”～“b16Y”之间的各个交点为基准点，在各基准点上未产生急剧变化的这些各基准点之间，实施线性内插、平滑化等处理，生成如图6所示的灰度变换曲线。

在这种灰度变换曲线的制作处理中，如果没有制作基准点之间的倾斜超过了合成图像(高对比度图像)的灰度幅度与输出图像的灰度幅度之间的比率的曲线，也就是在图6的示例中，如果没有生成超出16比特灰度和10比特灰度之间的比率64倍的曲线，那么在这种使用灰度变换曲线的下面的灰度变换处理就不会出现灰度的跳跃。

进一步地，虽然从上述描述中可以了解到，但是图6的灰度变换曲线的示例是对使动态范围扩大的16比特灰度的合成图像(高对比度图像)进行灰度变换，也可以用于生成灰度幅度窄的10比特灰度的输出图像。

步骤108-4：控制部11基于制作的灰度变换曲线执行合成图像的灰度变换，并将这种处理后的图像存储在缓存13中。由此，从缓存13中获取比合成图像(高对比度图像)的灰度幅度窄的输出图像。如此获取的输出图像成为保持了较宽灰度幅度的高对比度图像的信息(特别是灰度信息)的对比度良好的图像。

控制部11在上述灰度变换处理结束时，返回到图2的流程图的处理，转移到步骤109(S109)。

步骤109(图2)：控制部11驱动数据处理部14，在缓存13中对获取的灰度变换后的图像实施伽马变换等必要的图像处理。

步骤110：控制部11驱动压缩/解码部15，对从缓存13的图像处理后的图像实施压缩处理，并且向记录介质16存储该压缩处理后的图像。然后，控制部11结束本流程的处理。

并且，在上述的步骤109上，还可以在显示器17上显示图像处理后的图像的内容。

(实施方式的作用效果)

在本实施方式的图像处理装置中，对各个输入图像(1～N)制作缩小图像，并基于各缩小图像的亮度直方图的分析结果，从输入图像中选定亮度分布的有效幅度最宽的一张图像作为基准图像。并且，例如通过取得各输入图像在空间方向上的n×n(n≥2)像素的像素值的平均，来制作缩小图像。

接下来，基于缩小图像的亮度成分的信息，对于各个其它输入图像，以基准图像为基准计算与其它输入图像(除去基准图像之外的剩余的1张以上的输入图像)的亮度比率来作为增益，基于该计算出的各个增益以及基准图像的亮度成分的信息，计算出适用于各个其它输入图像的第1权重。

此外，使用计算出的第1权重，执行输入图像(基准图像和其它输入图像)的加权合成运算，基于该运算结果的图像数据，计算出第2权重。

然后，使用第1权重和第2权重，执行输入图像的加权合成，制作在规定的“N”比特灰度所示出的灰度幅度上使动态范围扩大的合成图像(高对比度图像)。

由此，在本实施方式的图像处理装置中，基于缩小了输入图像(1～N)的“缩小图像”的信息，执行选定基准图像、计算增益，还有第1权重的计算。

因此，在成为合成对象的输入图像中包含了产生噪声的像素时，在通过加权合成所制作的高对比度图像中，也减小了这种噪声成分。此外，在输入图像中包含了具有突出的像素值的像素时，在通过加权合成所制作的高对比度图像中，也不容易产生灰度的跳跃。

此外，通过求出输入图像的加权合成运算结果的图像数据的最大亮度与使动态范围扩大的规定“N”比特灰度中的最大值的比率，来执行第2权重的计算。

因此，通过加权合成输入图像所制作的合成图像(高对比度图像)，其灰度幅度虽然使比输入图像宽的规定“N”比特灰度上示出的灰度幅度扩大，但在高对比度图像中，灰度表现变得自然，并且不容易产生灰度的跳跃。

此外，在本实施方式的图像处理装置中，计算出的增益(以基准图像为基础的亮度比率)值较小(gain＜1.0)的其它输入图像，也就是，对在相对于基准图像曝光不足的曝光条件下进行拍摄的其它输入图像，以使图像的高亮度部分的权重变大的方式执行第1权重的计算。这样，比起基准图像，以曝光量变少的方式在曝光不足的情况下进行拍摄的其它输入图像，能使其高亮度部分的信息良好。

此外，计算出的增益值较大(gain＞1.0)的其它输入图像，也就是，对在相对于基准图像曝光过度的曝光条件下进行拍摄的其它输入图像，以使图像的低亮度部分的权重变大的方式执行第1权重的计算。这样，比起基准图像，以曝光量变大的方式在曝光过度的情况下进行拍摄的其它输入图像，能使其低亮度部分的信息良好。

因此，在成为合成对象的输入图像中包含了使亮度变化平滑的结构的部分时，在通过加权合成所制作的高对比度图像中，也不容易产生灰度的跳跃。

此外，在本实施方式的图像处理装置中，在输入图像(1～N)中，选定亮度分布的有效幅度最宽的一张图像作为基准图像，基于该基准图像来执行增益计算和第1权重的计算。然后，使用该权重，执行基准图像和其它输入图像的加权合成，生成高对比度图像。

由此，在本实施方式的图像处理装置中，由于以亮度分布的有效幅度最宽的基准图像作为基础来执行图像合成，因此比起现有技术，通过合成，能够减少在高对比度图像中产生的噪声以及灰度跳跃。

此外，在本实施方式的图像处理装置中，分别对于表示作为变换目标的亮度分布的亮度直方图和表示合成图像的亮度分布的亮度直方图，来生成累加直方图。对于变换目标的累加直方图，比起在规定“N”比特灰度所示出的灰度幅度上使动态范围扩大的合成图像(高对比度图像)，制作灰度幅度窄的最终结果的输出图像的灰度幅度所相应的内容。

接下来，基于制作的合成图像的累加直方图以及变换目标的累加直方图，生成灰度变换表。详细地，分别对制作的合成图像的累加直方图以及变换目标的累加直方图的纵轴(像素数)进行“n”等分，例如“n＝16”等分，这种等分所得的边界线与累加数据的曲线的交点所示出的亮度值，在两个累加直方图之间建立对应。因此，将表示该对应关系的信息制作为灰度变换表。

此外，基于制作的灰度变换表来制作灰度变换曲线。详细地，参照灰度变换表，在横轴上提取合成图像的累加直方图上的亮度值，并且在纵轴上提取变换目标的累加直方图上的亮度值，求出它们的交点(基准点)，在所求出的各个基准点之间，实施线性内插、平滑化等处理。然后，由这些处理所得的结果的曲线被制作为灰度变换曲线。

此后，基于所制作的灰度变换曲线执行合成图像的灰度变换。通过该灰度变换，生成比合成图像(高对比度图像)灰度幅度窄的最终结果的输出图像。如此获取的图像(输出图像)成为保持有较宽灰度幅度的高对比度图像的信息(特别是灰度信息)的对比度良好的图像。

所以，通过本实施方式的图像处理装置，能够获得对比度良好的图像来作为最终结果的输出图像。

(其它)

在本发明中，包围曝光拍摄也能够适用于其它设备，例如，数码相机(数码静态照相机)、数码摄像机、手机等。而且，本发明也适用于可以通过使用拍摄元件所获取的图像来对被摄体像进行观察的显微镜等。

Claims (18)

1.一种图像处理装置，基于对拍摄同一场景的曝光量不同的多张输入图像进行合成而得到的使动态范围扩大的灰度幅度宽的合成图像即高对比度图像，来生成灰度幅度比上述高对比度图像窄的输出图像，其特征在于，包括：

选定单元，基于上述多张的输入图像的亮度成分的信息，从上述多张输入图像之中选定基准图像；

增益计算单元，基于上述多张输入图像的亮度成分的信息，对于在上述多张中除去上述基准图像的剩余的输入图像，计算出以上述基准图像为基准的与上述剩余的输入图像的亮度比率来作为增益；

权重计算单元，基于计算出的上述增益以及上述基准图像的亮度成分的信息，计算出适用于上述剩余的输入图像的第1权重，并且，基于利用上述第1权重对上述多张输入图像进行加权合成运算的结果的图像数据的亮度成分的信息，来计算第2权重；

中间图像生成单元，利用计算出的上述第1权重和上述第2权重对上述多张输入图像进行加权合成，由此生成上述高对比度图像；

制作单元，基于所生成的上述高对比度图像的亮度分布的形状的信息以及预先设定的变换目标的亮度分布的形状的信息，制作表示灰度变换的特性的灰度变换曲线；以及

输出图像生成单元，基于所制作的上述灰度变换曲线执行上述高对比度图像的灰度变换，生成比该高对比度图像的灰度幅度窄的输出图像。

2.如权利要求1所记载的图像处理装置，其特征在于，上述选定单元基于将上述多张输入图像分别缩小之后的缩小图像的亮度成分的信息，从上述多张中选定亮度分布的有效幅度最宽的一张输入图像，作为上述基准图像。

3.如权利要求1所记载的图像处理装置，其特征在于，上述增益计算单元基于将上述多张输入图像分别缩小之后的缩小图像的亮度成分的信息，对上述剩余的输入图像，计算出以上述基准图像为基准的与上述剩余的输入图像的亮度比率来作为上述增益。

4.如权利要求1所记载的图像处理装置，其特征在于，上述权重计算单元，对于计算出的上述增益的值比规定值小的上述剩余的输入图像，以使该输入图像的高亮度部分的权重变大的方式计算上述第1权重；对于计算出的上述增益的值比规定值大的上述剩余的输入图像，以使该输入图像的低亮度部分的权重变大的方式计算上述第1权重。

5.如权利要求1所记载的图像处理装置，其特征在于，上述权重计算单元计算下述比率作为上述第2权重，上述比率为对使用上述第1权重对上述多张输入图像进行加权合成运算的结果的图像数据的最大亮度与使动态范围扩大了的规定“N”比特灰度上的最大值建立对应地求出的比率。

6.如权利要求1所记载的图像处理装置，其特征在于，上述制作单元，从生成的上述高对比度图像的亮度分布的形状信息以及预先设定的变换目标的亮度分布形状信息中，提取出表示变换源的上述高对比度图像和变换目的地的上述输出图像的亮度值的对应关系的信息，基于该提取出的信息制作表示灰度变换的特性的灰度变换曲线。

7.如权利要求1所记载的图像处理装置，其特征在于，上述制作单元基于仅以下述像素为对象而制作的亮度分布的形状信息和上述变换目标的亮度分布的形状信息，生成表示灰度变换的特性的灰度变换曲线，上述像素为属于上述高对比度图像的灰度范围中的预先确定的或由用户指定的灰度范围的像素。

8.如权利要求1所记载的图像处理装置，其特征在于，上述亮度分布的形状信息是累加直方图的形状信息。

9.如权利要求1所记载的图像处理装置，其特征在于，上述灰度幅度宽的合成图像即上述高对比度图像是与上述多张输入图像相比灰度数多的图像。

10.一种图像处理方法，基于对拍摄同一场景的曝光量不同的多张输入图像进行合成而得到的使动态范围扩大的灰度幅度宽的合成图像即高对比度图像，来生成灰度幅度比上述高对比度图像窄的输出图像，其特征在于，包括：

选定步骤，基于上述多张的输入图像的亮度成分的信息，从上述多张输入图像之中选定基准图像；

增益计算步骤，基于上述多张输入图像的亮度成分的信息，对于在上述多张中除去上述基准图像的剩余的输入图像，计算出以上述基准图像为基准的与上述剩余的输入图像的亮度比率来作为增益；

权重计算步骤，基于计算出的上述增益以及上述基准图像的亮度成分的信息，计算出适用于上述剩余的输入图像的第1权重，并且，基于利用上述第1权重对上述多张输入图像进行加权合成运算的结果的图像数据的亮度成分的信息，来计算第2权重；

中间图像生成步骤，利用计算出的上述第1权重和上述第2权重对上述多张输入图像进行加权合成，由此生成上述高对比度图像；

制作步骤，基于所生成的上述高对比度图像的亮度分布的形状的信息以及预先设定的变换目标的亮度分布的形状的信息，制作表示灰度变换的特性的灰度变换曲线；以及

输出图像生成步骤，基于所制作的上述灰度变换曲线执行上述高对比度图像的灰度变换，生成比该高对比度图像的灰度幅度窄的输出图像。

11.如权利要求10记载的图像处理方法，其特征在于，上述选定步骤基于将上述多张输入图像分别缩小之后的缩小图像的亮度成分的信息，从上述多张中选定亮度分布的有效幅度最宽的一张输入图像，作为上述基准图像。

12.如权利要求10记载的图像处理方法，其特征在于，上述增益计算步骤基于将上述多张输入图像分别缩小之后的缩小图像的亮度成分的信息，对上述剩余的输入图像，计算出以上述基准图像为基准的与上述剩余的输入图像的亮度比率来作为上述增益。

13.如权利要求10记载的图像处理方法，其特征在于，上述权重计算步骤，对于计算出的上述增益的值比规定值小的上述剩余的输入图像，以使该输入图像的高亮度部分的权重变大的方式计算上述第1权重；对于计算出的上述增益的值比规定值大的上述剩余的输入图像，以使该输入图像的低亮度部分的权重变大的方式计算上述第1权重。

14.如权利要求10记载的图像处理方法，其特征在于，上述权重计算步骤计算下述比率作为上述第2权重，上述比率为对使用上述第1权重对上述多张输入图像进行加权合成运算的结果的图像数据的最大亮度与使动态范围扩大了的规定“N”比特灰度上的最大值建立对应地求出的比率。

15.如权利要求10记载的图像处理方法，其特征在于，上述制作步骤，从生成的上述高对比度图像的亮度分布的形状信息以及预先设定的变换目标的亮度分布形状信息中，提取出表示变换源的上述高对比度图像和变换目的地的上述输出图像的亮度值的对应关系的信息，基于该提取出的信息制作表示灰度变换的特性的灰度变换曲线。

16.如权利要求10记载的图像处理方法，其特征在于，上述制作步骤基于仅以下述像素为对象而制作的亮度分布的形状信息和上述变换目标的亮度分布的形状信息，生成表示灰度变换的特性的灰度变换曲线，上述像素为属于上述高对比度图像的灰度范围中的预先确定的或由用户指定的灰度范围的像素。

17.如权利要求10记载的图像处理方法，其特征在于，上述亮度分布的形状信息是累加直方图的形状信息。

18.如权利要求10记载的图像处理方法，其特征在于，上述灰度幅度宽的合成图像即上述高对比度图像是与上述多张输入图像相比灰度数多的图像。

Images