CN101090458B - 图像处理装置、摄像装置、图像输出装置及它们的方法 - Google Patents

Abstract

提供图像处理装置、摄像装置、图像输出装置及它们的方法。对输入图像一律不使用测光框进行亮度校正使具有局部明暗差的区域变明确。对比度区域检测部(151)在输入图像中检测明暗差(对比度)鲜明的区域(对比度区域)。亮度分配部(156)在对比度区域内的像素中算出亮度的局部二阶微分，若该局部二阶微分的符号为正则将该局部二阶微分保存到明侧亮度组存储器(191)，若该局部二阶微分的符号为负则将该局部二阶微分保存到暗侧亮度组存储器(192)。边界亮度值生成部(157)根据保存在明侧亮度组存储器(191)和暗侧亮度组存储器(192)中的明侧亮度和暗侧亮度分布，将尽可能较好地分离两者的边界亮度值作为测光评价值生成。

Description

图像处理装置、摄像装置、图像输出装置及它们的方法

技术领域

本发明涉及一种图像处理装置，特别是涉及一种进行图像的亮度校正的图像处理装置、摄像装置、图像输出装置以及这些装置中的处理方法和使计算机执行该方法的程序。 

背景技术

为了以适当的亮度拍摄或输出图像，以往在摄像装置、图像输出装置中进行如下的处理：通过测量来评价原图像的亮度，根据该评价值算出亮度校正量。 

例如，在摄像装置中大多具备对光学***、图像传感器的动作进行自动控制的机制，特别地，将用于控制曝光量调整拍摄图像的亮度的机制称为AE(Auto Exposure：自动曝光)。在具有该AE机制的摄像装置中，具有通过反马赛克、伽马校正、颜色校正等而生成并输出具有合适的颜色和灰度的彩色图像数据的***，除此之外还具有对摄像数据的亮度进行测光而进行基于它的曝光控制的***。即，输出根据摄像数据的各部分的亮度的测量值而评价摄像数据的亮度的测光评价值，与表示标准亮度的基准值进行比较。然后，将测光评价值与基准值之间的偏差量作为差值，在该差值接近“ 0”的方向上调整光学***的光圈孔径量、传感器的电荷蓄积时间以及放大器的放大量等，从而控制曝光量。 

作为这种AE机制提出了如下机制：对将所拍摄的图像数据进行分割的每个小区域生成亮度值的积分值，将该亮度积分值的加权相加作为整个图像的亮度评价值。例如提出了如下的图像处理装置，该图像处理装置将图像数据的全画面的像素分割成多个区域，将图像的中央部分作为主要区域而求出测光值(例如参照专利文献1)

专利文献1：日本特开2004-259177号公报(图1) 

发明内容

发明要解决的问题

在上述的现有技术中，将图像的中央部分作为主要区域而求出测光值。然而，由于被摄体涉及人物、风景等多方面，因此重要的被摄体并不一定位于画面中心。 

另外，在固定了测光框的大小的情况下，由于与被摄体的大小之间的关系，其它物体有可能进入测光框。另一方面，实际上难以按照被摄体来改变测光框的大小、形状。 

本来，为了将反射光量设为指标进行亮度校正，需要严格地按照该被摄体的反射率来进行控制。即，应将反射率小的被摄体再现为发暗，将反射率大的被摄体再现为发亮。然而，为了在任意的照明下从输入图像获知被摄体的反射率而将物体识别处理作为前提，从处理速度的观点出发是不现实的。 

因此，本发明的目的在于，关于输入图像着眼于具有局部的明暗差(对比度)的区域而评价输入图像的亮度。目的还在于根据该输入图像的亮度评价值进行摄像装置的曝光控制、图像输出装置的亮度校正处理。 

用于解决问题的方案

本发明是为了解决上述问题而完成的，其第1侧面是一种图像处理装置，其特征在于，具备：对比度区域检测单元，其将由多个像素构成的输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；亮度分配单元，其在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；以及边界亮度值成单元，其根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值，其中，上述边界亮度值生成单元根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式  $\frac{{-(I_m-E_{G=1})}^2}{{2V}_{G=1}}-\frac{{-(I_m-E_{G=0})}^2}{{2V}_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$ 的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。由此，带来如下作用：在亮度的对比度大的对比度区域中，生成将明侧亮度和暗侧亮度进行分离的边界亮度值。 

即，即使被摄体的面积发生变化，其轮廓上的对比度区域中的明暗比例也不发生变化，因此根据着眼于对比度区域的本发明，解决了评价值根据被摄体的面积而离散的以往的问题。另外，由于与周围相比反射率相对低的被摄体再现为发暗，与周围相比反射率相对高的被摄体再现为发亮，因此根据本发明，解决了以往的如下问题：反射率低的被摄体再现为不自然地发亮，反射率高的被摄体再现为不自然地发暗。 

另外，在该第1侧面中，上述对比度区域检测单元也可以具备：局部对比度算出单元，其将每个上述部分区域的上述输入亮度的对比度作为局部对比度而算出；以及阈值判断单元，如果上述局部对比度的大小大于规定的阈值，则判断为上述部分区域属于上述对比度区域。由此，带来如下的作用：根据局部对比度的大小与阈值的关系，检测出对比度区域。另外，在这种情况下，上述局部对比度算出单元也可以将每个上述部分区域的上述输入亮度的局部一阶微分的绝对值作为对比度而算出，另外还可以将每个上述部分区域的上述输入亮度的局部二阶微分的绝对值作为对比度而算出。或者，也可以不使用微分运算，而将每个上述部分区域 的上述输入亮度的最大值与最小值的差的绝对值作为对比度而算出。 

另外，在该第1侧面中，上述亮度分配单元也可以在属于上述对比度区域的每个局部区域中将上述输入亮度的最大值作为上述明侧亮度、将上述输入亮度的最小值作为上述暗侧亮度，另外，也可以在属于上述对比度区域的每个像素位置上根据上述输入亮度的局部二阶微分的正负，将该像素位置的上述输入亮度分配为上述明侧亮度或上述暗侧亮度。 

另外，本发明的第2侧面是一种图像处理装置，其特征在于，具备：非线性变换单元，其对由多个像素构成的输入图像信号的各像素的亮度进行非线性变换；对比度区域检测单元，其将上述输入图像信号中作为上述进行了非线性变换的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；亮度分配单元，其在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；以及边界亮度值生成单元，其根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值，其中，上述边界亮度值生成单元根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式 

$\frac{{-(I_m-E_{G=1})}^2}{{2V}_{G=1}}-\frac{{-(I_m-E_{G=0})}^2}{{2V}_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。由此，带来如下作用：在进行了非线性变换的亮度的对比度大的对比度区域中，生成将明侧亮度和暗侧亮度进行分离的边界亮度值。 

另外，在该第2侧面中，上述非线性变换单元也可以根据向上凸的单调增函数进行上述非线性变换。在这种情况下，上述非线 性变换单元也可以作为上述非线性变换进行对数变换，另外还可以进行伽马校正。 

另外，本发明的第3侧面是一种摄像装置，其特征在于，具备：摄像单元，其拍摄被摄体而生成由多个像素构成的输入图像信号；对比度区域检测单元，其将上述输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；亮度分配单元，其在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；边界亮度值生成单元，其根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值；以及控制单元，其根据上述边界亮度值来控制上述拍摄中的曝光量，其中，上述边界亮度值生成单元根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式 

$\frac{{-(I_m-E_{G=1})}^2}{{2V}_{G=1}}-\frac{{-(I_m-E_{G=0})}^2}{{2V}_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。由此，带来如下作用：在亮度的对比度大的对比度区域中，根据分离明侧亮度和暗侧亮度的边界亮度值来控制曝光量。 

另外，本发明的第4侧面是一种图像输出装置，其特征在于，具备：对比度区域检测单元，其将由多个像素构成的输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；亮度分配单元，其在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；边界亮度值生成单元，其根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值；以及亮度校正单元，其进行亮度校正使得与上述边界亮度值相当 的上述输入亮度值作为中间的亮度值而输出，其中，上述边界亮度值生成单元根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式 

$\frac{{-(I_m-E_{G=1})}^2}{{2V}_{G=1}}-\frac{{-(I_m-E_{G=0})}^2}{{2V}_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。由此，带来如下作用：在亮度的对比度大的对比度区域中，根据将明侧亮度和暗侧亮度进行分离的边界亮度值来校正输入图像。 

另外，在第4侧面中，上述亮度校正单元也可以具备：变换曲线算出单元，其根据上述边界亮度值以及上述输入亮度的分布，算出亮度的灰度压缩中所使用的变换曲线；全局亮度算出单元，其算出由上述输入图像的低频分量构成的全局亮度图像的亮度即全局亮度；灰度压缩单元，其根据上述变换曲线，压缩上述输入亮度的灰度以及上述全局亮度的灰度；以及对比度校正单元，其根据上述变换曲线的斜率以及压缩了灰度的上述全局亮度，对由压缩了灰度的上述输入亮度构成的灰度压缩输入图像的对比度进行校正。 

另外，本发明的第5侧面是一种图像处理方法，其特征在于，具备：对比度区域检测过程，将由多个像素构成的输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；亮度分配过程，在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；以及边界亮度值生成过程，根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值，其中，上述边界亮度值生成过程根据上述明侧亮度的平均值E_G＝1、 上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式 

$\frac{{-(I_m-E_{G=1})}^2}{{2V}_{G=1}}-\frac{{-(I_m-E_{G=0})}^2}{{2V}_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。 

另外，本发明的第6侧面是一种摄像方法，其特征在于，具备：拍摄过程，拍摄被摄体而生成由多个像素构成的输入图像信号；对比度区域检测过程，将上述输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；亮度分配过程，在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；边界亮度值生成过程，根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值；以及控制过程，根据上述边界亮度值来控制上述拍摄中的曝光量，其中，上述边界亮度值生成过程根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式 

$\frac{{-(I_m-E_{G=1})}^2}{{2V}_{G=1}}-\frac{{-(I_m-E_{G=0})}^2}{{2V}_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。 

另外，本发明的第7侧面是一种图像输出方法，其特征在于，具备：对比度区域检测过程，将由多个像素构成的输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；亮度分配过程，在上述 对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；边界亮度值生成过程，根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值；以及亮度校正过程，进行亮度校正使得与上述边界亮度值相当的上述输入亮度值作为中间的亮度值而输出，其中，上述边界亮度值生成过程根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式 

$\frac{{-(I_m-E_{G=1})}^2}{{2V}_{G=1}}-\frac{{-(I_m-E_{G=0})}^2}{{2V}_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。 

发明的效果 

根据本发明，可得到如下优越的效果：对输入图像评价亮度使得具有局部明暗差的区域变得明确，根据该评价值可进行摄像装置的曝光控制、图像输出装置的亮度校正。 

图1是表示本发明的实施方式中的数字静像照相机100的一个结构例的图。 

图2是表示本发明的实施方式中的测光部140的一个结构例的图。 

图3是表示本发明的实施方式中的块平均图像的生成例的图。 

图4是表示本发明的实施方式中的测光评价部150的一个结构例的图。 

图5是表示本发明的实施方式中的边界亮度值的生成例的图。 

图6是表示本发明的实施方式中的明侧亮度组和暗侧亮度组 的生成例的图。 

图7是表示本发明的实施方式中的数字静像照相机100的控制过程的一例的图。 

图8是表示本发明的实施方式中的测光处理的处理过程的一例的图。 

图9是表示本发明的实施方式中的测光评价处理的处理过程的一例的图。 

图10是表示本发明的实施方式中的对比度区域检测处理的处理过程的一例的图。 

图11是表示本发明的实施方式中的测光评价值生成处理的处理过程的一例的图。 

图12是表示本发明的实施方式中的亮度分配处理的处理过程的一例的图。 

图13是表示本发明的实施方式中的边界亮度值生成处理的处理过程的一例的图。 

图14是表示本发明的实施方式中的计算机***200的一个结构例的图。 

图15是表示本发明的实施方式中的打印***的显示例的图。 

图16是表示本发明的实施方式中的打印***的处理过程的一例的图。 

图17是表示本发明的实施方式中的计算机***200的亮度校正处理的功能结构例的图。 

图18是表示由本发明的实施方式的花键产生部362生成的色调曲线(tone curve)的一例的图。 

图19是表示本发明的实施方式中的打印***的亮度校正处理的前半过程例的图。 

图20是表示本发明的实施方式中的打印***的亮度校正处理的后半过程例的图。 

附图标记说明

100：数字静像照相机；111：透镜；112：光圈；113：传感器；114：放大器；122：驱动器；123：定时生成部；130：照相 机信号处理部；140、340：测光部；141：亮度算出部；142：非线性变换部；143：块平均生成部；144：块平均亮度图像存储器；150、350：测光评价部；151：对比度区域检测部；152：局部对比度算出部；153：阈值判断部；154：对比度区域信息存储器；155：测光评价值生成部；156：亮度分配部；157：边界亮度值生成部；160：照相机动作参数；170：基准值设定部；180：差分值算出部；190：控制部；191：明侧亮度组存储器；192：暗侧亮度组存储器；200：计算机***；210：计算机；211：处理器；212：存储器；213：显示控制器；214：输入输出接口；220：显示器；230：鼠标；240：键盘；250：记录介质存取装置；260：打印机；310：变换部；311～313：非线性变换部；320：灰度校正处理部；321～323：灰度校正部；330：逆变换部；331～333：非线性逆变换部；361：亮度域生成部；362：花键产生部；363：色调曲线存储器；364：γ_comp参数存储器；371：亮度生成部；372： 非线性变换部；377：插值部；380：灰度压缩部；381、382：映射部；390：对比度校正部。 

具体实施方式

下面，参照附图详细说明本发明的实施方式。 

图1是表示本发明的实施方式中的数字静像照相机100的一个结构例的图。该数字静像照相机100具备透镜111、光圈112、传感器113、放大器114、驱动器122、定时生成部123、照相机信号处理部130、测光部140、测光评价部150、照相机动作参数160、基准值设定部170、差分值算出部180以及控制部190。 

透镜111将被摄体的光图像(入射光)进行聚光。光圈112调整由透镜111聚光的光图像的光量。入射光通过透镜111和光圈112等光学***而到达传感器113。 

传感器113对聚光的光图像进行光电变换而变换为电信号，例如利用CCD(Charge Coupled Devices：电荷耦合器件)图像传感器等来实现。放大器114放大(增益提升)由传感器113进行了光电变换的图像信号。由该放大器114放大的图像信号通过信号线119被提供给照相机信号处理部130和测光部140。驱动器122驱动光圈112来调整光圈的孔径量。定时生成部123驱动传感器113来调整电荷蓄积时间。 

照相机信号处理部130对通过信号线119从放大器114提供的图像信号，进行反马赛克处理、伽马校正处理、颜色校正处理等的信号处理。由该照相机信号处理部130执行了信号处理的图像信号从信号线139输出，使用于向记录介质的记录、显示部中的显示。 

测光部140对通过信号线119从放大器114提供的图像信号，输出各部分的亮度的测量结果。该测光部140的测量结果通过信号线149被提供给测光评价部150。 

测光评价部150根据通过信号线149从测光部140提供的测量结果，生成对该图像信号的亮度进行了评价的测光评价值。由该测光评价部150生成的测光评价值通过信号线159被提供给差分值算出部180。 

照相机动作参数160是表示数字静像照相机100的当前动作状况的参数。基准值设定部170参照照相机动作参数160，设定表示标准亮度的基准值。此外，作为该基准值，例如可选择根据伽马曲线变换为0.4至0.5的18～20％左右。 

差分值算出部180将由测光评价部150生成的测光评价值与由基准值设定部170设定的基准值进行比较，算出作为该偏差量的差分值。 

控制部190生成控制信号，该控制信号在由差分值算出部180算出的差分值接近0的方向上调整光学***的光圈112的孔径量、 传感器113的电荷蓄积时间、放大器114的放大量等。由控制部190生成的控制信号被提供给这些光圈112、传感器113以及放大器114等，各部分根据该控制信号进行动作以获得适当的曝光量。 

图2是表示本发明的实施方式中的测光部140的一个结构例的图。该测光部140具备亮度算出部141、非线性变换部142、块平均生成部143以及块平均亮度图像存储器144。 

亮度算出部141对通过信号线119从放大器114提供的输入图像信号，算出各像素的亮度。由于在普通的颜色传感器中对每个像素只能测量某一个颜色，因此为了测量图像的亮度，临时需要根据这种传感器的输出来算出亮度的处理。 

非线性变换部142对由亮度算出部141算出的各像素的亮度进行非线性变换。作为该非线性变换，例如可利用对数变换、伽马校正等的向上凸的单调增函数。为了对用于亮度校正的缩放比例操作保存直方图形状，而进行该非线性变换。 

块平均生成部143对于将由非线性变换部142进行了非线性变换的图像信号的图像分割成格子状的每个块，将进行了非线性变换的亮度的平均作为块平均亮度而生成。即，判别各像素位置属于哪个块，通过相加进行了非线性变换的亮度而求出相应的块的积分值，通过将该积分值除以属于该块的像素数量来算出该块内的进行了非线性变换的亮度的平均。将在该块平均生成部143中被分割的块作为构成像素的图像称为块平均图像，将该构成像素称为块像素。即，块像素的亮度为该块的块平均亮度。此外，一个块例如可采用40×30像素或者32×32像素左右的大小。 

块平均亮度图像存储器144保存由块平均生成部143生成的块平均图像。保存在该块平均亮度图像存储器144中的块平均图像，作为测光部140的测量结果而通过信号线149提供给测光评价部150。 

图3是表示本发明的实施方式中的块平均图像的生成例的图。图3的(a)示出了分割成块之前的各像素。由亮度算出部141算出的亮度通过非线性变换部142进行非线性变换，如图3的(b)的粗线那样被分割成块。 

然后，通过块平均生成部143，将属于各块的亮度(进行了非线性变换的亮度)的平均作为块平均亮度而算出。图3示出了该情形。由此，生成块平均图像。 

图4是表示本发明的实施方式中的测光评价部150的一个结构例的图。该测光评价部150具备对比度区域检测部151和测光评价值生成部155。对比度区域检测部151对块平均图像中的部分区域，将亮度的对比度(亮度差)大于规定值的部分区域作为对比度区域而进行检测。测光评价值生成部155在由对比度区域检测部151检测出的对比度区域中，生成块平均图像的测光评价值。 

对比度区域检测部151具备局部对比度算出部152、阈值判断部153以及对比度区域信息存储器154。 

局部对比度算出部152将每个部分区域的亮度的对比度(亮度差)作为局部对比度而算出。为了算出该局部对比度，例如可利用块平均图像中的亮度的局部一阶微分的绝对值或者局部二阶微分的绝对值。另外，即使不是微分算子，也可以利用局部最大值与局部最小值的差的绝对值。 

阈值判断部153比较由局部对比度算出部152算出的局部对比度的大小是否大于规定的阈值，如果局部对比度大于阈值，则判断为属于对比度区域。 

对比度区域信息存储器154是这样的存储器，该存储器关于块平均图像的块像素保存该块像素是否属于对比度区域的信息作为对比度区域信息。例如，对应于块平均图像的各块像素，逐个比特地保存表示该块像素是否属于对比度区域的2值数据。该对比度 区域信息通过信号线158提供给测光评价值生成部155。 

测光评价值生成部155具备亮度分配部156、明侧亮度组存储器191、暗侧亮度组存储器192以及边界亮度值生成部157。 

亮度分配部156在通过信号线158提供的对比度区域信息所表示的对比度区域中，将各像素的亮度分配为亮的亮度(以下称为明侧亮度)与暗的亮度(以下称为暗侧亮度)。例如对属于对比度区域的每个局部区域，可将亮度的最大值设为明侧亮度，将亮度的最小值设为暗侧亮度。另外，也可以对在属于对比度区域的每个像素位置上，根据亮度的局部二阶微分的正负，将该像素位置的亮度分类为明侧亮度或暗侧亮度。例如，作为适用于图像的二阶微分算子，在利用将一维二阶微分算子[1，-2，1]合成为二维的算子的情况下，如果该二阶微分算子的输出为负，则将该像素位置的亮度作为明侧亮度，如果为正则作为暗侧亮度。另外，在图像处理的领域中，还将反转了上述二阶微分算子的例子的正负的算子作为二阶微分算子而使用，但是在这种情况下需要使明侧或者暗侧亮度的判断与上述相反。 

此外，在对比度区域检测部151中从亮度的局部一阶微分的绝对值求出了局部对比度的情况下，或者在从局部最大值与最小值的差的绝对值求出了局部对比度的情况下，适合在亮度分配部156中从亮度的最大值和最小值分配亮度。另一方面，在对比度区域检测部151中从亮度的局部二阶微分的绝对值求出了局部对比度的情况下，利用该结果，在亮度分配部156中根据亮度的局部二阶微分的符号有效地分配亮度。但是，这些组合并不特别受到制约。 

明侧亮度组存储器191保存由亮度分配部156分配为明侧亮度的亮度(进行了非线性变换的亮度)。暗侧亮度组存储器192保存由亮度分配部156分配为暗侧亮度的亮度(进行了非线性变换的亮度)。 

边界亮度值生成部157根据保存在明侧亮度组存储器191中的明侧亮度以及保存在暗侧亮度组存储器192中的暗侧亮度的各个分布，将明侧亮度和暗侧亮度的边界亮度值作为测光评价值而生成。即，生成能够尽可能较好地分离明侧亮度与暗侧亮度的边界像素值。由该边界亮度值生成部157生成的边界像素值作为测光评价值而通过信号线159输出。 

在本发明的实施方式中，为了生成边界像素值，如下使用判别分析方法。即，在提供了某亮度值I时，将该亮度值I分配给它属于暗侧亮度组或明侧亮度组的事后概率(posterior)大的组。将属于哪一个组的概率变量设为G，设暗侧亮度组时G＝0、明侧亮度组时G＝1。在此，利用下式提供属于各个组的事后概率的比例Λ。 

式1

当取该比例Λ的对数时，如果logΛ＜0，则可判断为亮度值I属于暗侧亮度组，如果logΛ＞0，则可判断为亮度值I属于明侧亮度组。如果logΛ＝0，则亮度值I在分离两组的边界亮度上。此外，这种情况下的对数的底数可以是任意的，可适当选择常用对数、自然对数等。 

p(I|G)表示暗侧亮度组(G＝0的情况)和明侧亮度组(G＝1的情况)的亮度分布。在此，为了应用判别分析，假定从块平均图像中的对比度区域中获得的暗侧亮度组和明侧亮度组的亮度轴上的分布满足正规分布。 

p(G)表示与亮度值无关地属于哪一个组的概率。在本发明的实施方式中，由于关注对比度区域的暗侧亮度和明侧亮度，因此属于两组的数据数量几乎相同，即使考虑为p(G＝0)＝p(G＝1)也没关系。因而，对于将两组进行分离的边界亮度值I_m，得到以下的方 程式。 

式2

$\log \mathrm{\Λ}\left(I_m\right)=\log \frac{p\left(I_m\right|G=1)p(G=1)}{p\left(I_m\right|G=0)p(G=0)}$

$=\frac{{-(I_m-E_{G=1})}^2}{{2V}_{G=1}}-\frac{{-(I_m-E_{G=0})}^2}{{2V}_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

其中，将明侧亮度的平均值设为E_G＝1，将明侧亮度的方差值设为V_G＝1，将暗侧亮度的平均值设为E_G＝0，将暗侧亮度的方差值设为V_G＝0。由于该式是关于边界亮度值I_m的2次方程式，因此存在两个解。通过在这两个解中选择在E_G＝0<I_m<E_G＝1的范围内的一个，得到边界亮度值I_m。 

此外，在此作为判别分析的例子，以2次判别分析为例进行了说明，但是除此之外例如也可以使用线性判别、支持向量机等。例如，在线性判别的情况下，上述方程式简化为如下。此外，该式成为对边界亮度值I_m(其中，E_G＝0<I_m<E_G＝1)的1次方程式。 

式3

$\frac{{(I_m-E_{G=1})}^2}{V_{G=1}}=\frac{{(I_m-E_{G=0})}^2}{V_{G=0}}$

图5是表示本发明的实施方式中的边界亮度值的生成例的图。在此，显示了5组对比度区域中的明侧亮度和暗侧亮度的组。即，是第1组的明侧亮度511和暗侧亮度521的组、第2组的明侧亮度512和暗侧亮度522的组、第3组的明侧亮度513和暗侧亮度523的组、第4组的明侧亮度514和暗侧亮度524的组、以及第5组的明侧亮度515和暗侧亮度525的组。这些组在亮度分配部156中表示亮度的最大值和最小值、或者是根据亮度的局部二阶微分的符号来分配的组。 

示出了这些组的分布的是上面的分布图，是明侧亮度组510和 暗侧亮度组520。该分布图的横向表示进行了非线性变换的亮度(在该图的示例中是亮度L的对数)，越往右侧亮度变得越亮。另外，在上方示出了各亮度的存在概率，越往上侧存在概率变得越高。 

如上所述，通过求出方程式(式2)的解来得到边界亮度值。该边界亮度值将明侧亮度组510和暗侧亮度组520进行分离。 

图6是表示本发明的实施方式中的明侧亮度组和暗侧亮度组的生成例的图。图6的(a)是区别进行了非线性变换的亮度的明侧亮度和暗侧亮度之前的直方图例。通过对表示这种分布的图像求出边界亮度值，得到该图的(b)和(c)那样的分布。即，该图的(b)是进行了非线性变换的亮度的明侧亮度组的直方图例，该图的(c)是进行了非线性变换的亮度的暗侧亮度组的直方图例。 

此外，在这些直方图例中，根据各个存在概率的最大值进行标准化。 

图7是表示本发明的实施方式中的数字静像照相机100的控制过程的一例的图。首先，当来自被摄体的入射光通过透镜111和光圈112等光学***而在传感器113中拍摄时(步骤S901)，在测光部140中对由放大器114放大的输入图像进行测光处理(步骤S910)。然后，根据测光处理的测量结果，在测光评价部150中进行测光评价处理(步骤S920)。 

当输出测光评价处理的测光评价值时(步骤S902)，差分值算出部180生成与由基准值设定部170设定的基准值的差分值(步骤903)。控制部190根据生成的差分值，生成驱动器122、定时生成部123以及放大器114等的控制信号而进行动作控制(步骤S904)。 

图8是表示本发明的实施方式中的测光处理(步骤S910)的处理过程的一例的图。当通过信号线119输入输入图像时(步骤S911)，对输入图像的各像素进行以下的处理(环L991)。在此，利用二维坐标(p，q)表示输入像素的各像素。其中，p和q都是0以上的整数。 

首先，由亮度算出部141算出输入像素(p，q)的亮度(步骤S912)。由非线性变换部142对该算出的亮度进行非线性变换(步骤S913)。 

然后，在块平均生成部143中判别输入像素(p，q)所属的块(步骤S914)，在保存该被判别的块的积分值的变量上加上输入像素(p，q)的进行了非线性变换的亮度(步骤S915)。 

在环L991中，当对全部的输入像素(p，q)进行上述的处理时，接着对各块进行以下的处理(环L992)。即，进行将各块的积分值除以该块的像素数量的处理(步骤S916)。由此，该除法结果作为各块的块平均亮度而保存在块平均亮度图像存储器144中(步骤S917)。 

图9是表示本发明的实施方式中的测光评价处理(步骤S920)的处理过程的一例的图。当通过信号线149输入块平均图像时(步骤S921)，在对比度区域检测部151中对块平均图像进行对比度区域的检测处理(步骤S930)。另外，在测光评价值生成部155中对由对比度区域检测部151检测出的对比度区域进行测光评价值的生成处理(步骤S940)。生成的测光评价值通过信号线159而输出(步骤S925)。 

图10是表示本发明的实施方式中的对比度区域检测处理(步骤S930)的处理过程的一例的图。当通过信号线149输入块平均图像时(步骤S931)，对块平均图像的各像素进行以下的处理(环L993)。在此，利用二维坐标(r，s)表示块平均图像的各像素。其中，r和s都是0以上的整数。 

首先，由局部对比度算出部152算出块平均图像的像素(r，s)中的亮度的局部对比度(步骤S932)。如上所述，为了算出该局部对比度，例如可利用块平均图像中的亮度的局部一阶微分的绝对值或者局部二阶微分的绝对值。 

然后，如果该生成的局部对比度大于阈值(步骤S933)，则通过 阈值判断部153将表示该像素(r，s)属于对比度区域的意思的对比度区域信息保存到对比度区域信息存储器154中(步骤S934)。该对比度区域信息通过信号线158提供给测光评价值生成部155的亮度分配部156。 

图11是表示本发明的实施方式中的测光评价值生成处理(步骤S940)的处理过程的一例的图。当通过信号线149输入块平均图像(步骤S941)、通过信号线158输入对比度区域信息时(步骤S942)，由亮度分配部156进行向明侧亮度或者暗侧亮度的亮度分配处理(步骤S950)。然后，根据这些明侧亮度和暗侧亮度的分布，由边界亮度值生成部157进行边界亮度值生成处理(步骤S960)。由该边界亮度值生成处理生成的边界像素值作为测光评价值而通过信号线159输出(步骤S945)。 

图12是表示本发明的实施方式中的亮度分配处理(步骤S950)的处理过程的一例的图。当通过信号线149输入块平均图像(步骤S951)、通过信号线158输入对比度区域信息时(步骤S952)，对块平均图像的各像素进行以下的处理(环L995)。在此，利用二维坐标(r，s)表示块平均图像的各像素。其中，r和s都是0以上的整数。 

首先，如果对比度区域信息表示块平均图像的像素(r，s)在对比度区域内的意思(步骤S953)，则通过亮度分配部156将像素(r，s)的亮度分配为明侧亮度或者暗侧亮度。在该图的示例中，作为分配的基准使用亮度的局部二阶微分的符号。即，算出像素(r，s)中的亮度的局部二阶微分(步骤S954)，如果该算出的局部二阶微分小于“0”(步骤S955)，则该局部二阶微分的值作为明侧亮度而被保存到明侧亮度组存储器191中(步骤S956)。另一方面，如果算出的局部二阶微分不小于“0”(步骤S955)，则该局部二阶微分的值作为暗侧亮度而被保存到暗侧亮度组存储器192中(步骤S957)。 

图13是表示本发明的实施方式中的边界亮度值生成处理(步 骤S960)的处理过程的一例的图。当从明侧亮度组存储器191和暗侧亮度组存储器192输入明侧亮度和暗侧亮度时(步骤S961)，算出明侧亮度的平均值E_G＝1(步骤S962)，并算出明侧亮度的方差值V_G＝1 (步骤S963)。另外，同样地算出暗侧亮度的平均值E_G＝0(步骤S 964)，并算出暗侧亮度的方差值V_G＝0(步骤S965)。 

然后，算出与以下的边界亮度值I_m有关的2次方程式的解(步骤S966)。 

式4 

$\frac{-{(I_m-E_{G=1})}^2}{{2V}_{G=1}}-\frac{-{(I_m-E_{G=0})}^2}{{2V}_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

在此，由于是2次方程式，因此存在两个解，将两解之中在E_G＝0<I_m<E_G＝1的范围内的一方选择为解(步骤S967)。该被选择的解作为边界亮度值(即测光评价值)而通过信号线159输出(步骤S968)。 

这样，根据本发明的实施方式，在由对比度区域检测部151检测出的对比度区域中，通过测光评价值生成部155将各像素的亮度分配为明侧亮度或者暗侧亮度，根据这些明侧亮度和暗侧亮度的分布，边界亮度值作为测光评价值而生成。该测光评价值在差分值算出部180中与基准值进行比较，能够使用在控制部190中的亮度校正的动作控制中。 

此外，在上述的实施方式中示出了应用于数字静像照相机中的亮度校正的例子，但是本发明并不限于此。例如，如下所述也可应用于计算机***中的输出图像的亮度校正。 

图14是表示本发明的实施方式中的计算机***200的一个结构例的图。该计算机***200具备包含处理器211、存储器212、显示控制器213以及输入输出接口214的计算机。 

处理器211是进行程序的执行、各装置的控制的运算装置。存 储器212是这种程序的执行、各装置的控制所需的临时数据的保存场所。 

显示控制器213是用于连接显示器的接口，内置有图形控制器。在该显示控制器213上连接有显示器220。显示器220是显示计算机210的输出图像的显示装置，例如利用LCD(Liquid CrystalDisplay：液晶显示器)等来实现。 

输入输出接口214是用于连接***装置的接口，内置有USB(Universal Serial Bus：通用串行总线)控制器等。在该输入输出接口214上例如连接有鼠标230、键盘240、记录介质存取装置250、打印机260等。鼠标230接受点击、拖曳等操作的用户指示。键盘240接受字符键、数字键等的用户指示。记录介质存取装置250是对***的记录介质进行写入、读出的装置。打印机260是打印计算机210的输出图像的打印装置。 

在这种计算机***200中设想如下打印***，该打印***自动地读入记录在***到记录介质存取装置250的记录介质中的图像数据，在打印机260中打印进行了适当的校正的图像。该打印***既可以通过在处理器211上进行动作的程序来实现，另外也可以通过硬件进行控制。 

图15是表示本发明的实施方式中的打印***的显示例的图。在该显示例中，最外侧的框500表示打印***的GUI(Graphical UserInterface：图形用户界面)显示的范围，通常它被显示在显示器220的整个画面上。 

占据框5 00的大部分的区域被划分成4×4的可点击的小窗510。该小窗510是显示通过记录介质存取装置250从记录介质读出的图像的小型图像的区域。记录在记录介质中的图像的数量不限于16以下，因此小型图像显示区域能够通过滚动条531、两个滚动按钮532和533进行滚动显示。 

显示在小型图像的周围的粗框521和522是表示该图像处于选择状态的指示器。当点击各小型图像时，切换(toggled)该图像的选择或者非选择的状态。通过点击画面右上角的打印按钮550，开始处于当前选择状态的图像的自动校正以及打印。 

图16是表示本发明的实施方式中的打印***的处理过程的一例的图。当在记录介质存取装置250中***记录介质时，从记录介质读出显示用的图像数据(步骤S801)，在上述的GUI显示画面上排列显示小型图像(步骤S802)。然后，在记录介质存取装置250中***记录介质的期间，重复进行以下的处理(环L896)。 

当接受用户的操作输入时(步骤S803)，判别该操作输入的种类。如果操作输入是小型图像的点击操作(步骤S804)，则根据相应的图像的当前状态来切换该图像的选择或者非选择的状态(步骤S805)。即，如果当前的状态是选择状态，则解除选择状态(步骤S806)，或者如果当前的状态不是选择状态，则设定为选择状态(步骤S807)，结束对这次的操作输入的动作。 

在操作输入是滚动条531或者滚动按钮532和533的操作的情况下，进行小型图像显示区域的滚动动作，结束对这次的操作输入的动作。 

在操作输入是打印按钮550的点击操作的情况下，将在该时刻成为选择状态的全部像素作为对象图像而实施亮度校正处理(步骤S872)，由打印机260打印实施了该亮度校正的图像(步骤S873)。当对成为选择状态的全部对象图像完成打印时(环L897)，结束对这次的操作输入的动作。 

在对一次操作输入的动作完成的时刻，判断记录介质存取装置250中是否***了记录介质，如果被***则重复上述处理。另一方面，在对一次操作输入的动作完成的时刻，当判明没有***记录介质时，结束一系列的处理。 

图17是表示本发明的实施方式中的计算机***200的亮度校正处理的功能结构例的图。该亮度校正处理对由信号线307至309输入的RGB图像的像素的红色分量R、绿色分量G以及蓝色分量B实施亮度校正而输出到信号线337至339。该亮度校正处理具备变换部310、灰度校正处理部320、逆变换部330、测光部340、测光评价部350、亮度域生成部361、花键产生部362、色调曲线存储器363、γ_comp参数存储器364、亮度生成部371、非线性变换部372、插值部377、灰度压缩部380以及对比度校正部390的功能。 

此外，在本发明的实施方式中说明的图17的亮度校正处理的结构并不是本发明中所必需的结构要件。即，如果具有如下亮度校正处理的功能，则可进行带有利用本发明的亮度校正的图像显示，其中，所述亮度校正处理进行亮度校正使得与根据前面说明的本发明的实施方式中的测光评价值算出方法而得到的测光评价值相当的输入亮度值变换为中间的输出亮度。作为与图17的结构例之外的结构相应的亮度校正处理，考虑控制亮度缩放比例系数的方法、控制亮度偏置值(バィァス値)的方法、利用测光评价值控制伽马曲线的取幂指数的方法、或者这些方法的组合。关于这些处理的详细的内容，省略说明。 

变换部310对从信号线307至309输入的RGB图像的各分量的像素值进行非线性变换。该变换部310具备非线性变换部311至313，分别对红色分量R、绿色分量G以及蓝色分量B的像素值进行非线性变换而输出到信号线317至319。此外，在此作为非线性变换，例如可应用对数变换、伽马校正等。 

灰度校正处理部320校正(变换)由信号线317至319输入的像素值(进行了非线性变换的RGB图像的像素值)的灰度。该灰度校正处理部320具备灰度校正部321至323，分别对红色分量R、绿色分量G以及蓝色分量B的像素值的灰度进行校正而输出到信号线327至 329。此外，在后面叙述在该灰度校正处理部320中所使用的、进行了非线性变换的亮度值(信号线375)以及进行了对比度校正的亮度值(信号线399)。 

逆变换部330对由信号线317至319输入的像素值(进行了灰度校正的RGB图像的像素值)进行非线性逆变换。该逆变换部330具备非线性逆变换部331至333，分别对红色分量R、绿色分量G以及蓝色分量B的像素值进行非线性逆变换而输出到信号线337至339。 

测光部340与由图2说明的测光部140相同，对于由信号线307至309输入的RGB图像的各分量的像素值，将亮度的测量结果(即块平均亮度图像)输出到信号线349。 

测光评价部350与由图4说明的测光评价部150相同，根据通过信号线349从测光部340提供的测量结果，生成对该图像信号的亮度进行了评价的测光评价值而输出到信号线359。 

亮度域生成部361在通过信号线349从测光部340提供的块平均亮度图像的亮度分布中，算出全部像素数量中所占的在规定的边界值以下的亮度的像素数量的比例大致成为规定值(例如0.5)的边界值即暗侧缓坡(裾野)值L_dark ^(nl)、以及全部像素数量所占的在规定的边界值以上的亮度的像素数量的比例大致成为规定值(例如0.5)的边界值即明侧缓坡值L_bright ^(nl)。此外，附加在各值的右上的“(nl)”表示是进行了非线性变换的值。 

此外，在测光评价部350和亮度域生成部361中，也可以从(未图示的)内部存储器读出亮度值的噪声水平和饱和水平，除去噪声水平以下的亮度值和饱和水平以上的亮度值。 

花键产生部362将通过信号线359从测光评价部350提供的测光评价值作为平均亮度值L_average ^(nl)而进行处理，进一步使用从亮度域生成部361提供的暗侧缓坡值L_dark ^(nl)和明侧缓坡值L_bright ^(nl)，生成花键曲线。该花键曲线表示用于灰度压缩的色调曲线(变换曲线)。 根据图像的亮度分布而算出色调曲线，使得以适当的亮度再现被输入的图像。表示该色调曲线的查询表保存在色调曲线存储器363中。另外，表示色调曲线的形状(斜率)的γ_comp参数保存在γ_comp参数存储器364中。 

亮度生成部371根据由信号线307至309输入的RGB图像的各分量的像素值，算出对应于该像素位置的亮度值L。非线性变换部372对由亮度生成部371生成的亮度值进行非线性变换。由通过该非线性变换部372进行了非线性变换的亮度值L^(nl)构成的图像，经信号线375提供给插值部377、灰度压缩部380以及灰度校正处理部320。 

插值部377对从测光部340提供的块平均亮度图像进行插值，从而进行放大使其成为与通过信号线375从非线性变换部372提供的图像相同的像素值。构成该被放大的图像的像素的亮度值通过信号线379，作为全局亮度值L₁ ^(nl)而被提供给灰度压缩部380。即，该全局亮度值具有从非线性变换部372提供的图像的低频分量。 

灰度压缩部380压缩亮度值L^(nl)和全局亮度值L₁ ^(nl)的灰度。该灰度压缩部380具备两个映射部381和382。映射部381根据从色调曲线存储器363读出的色调曲线，压缩通过信号线375提供的亮度值L^(nl)的灰度，从而生成压缩亮度值L_c ^(nl)。映射部382根据从色调曲线存储器363读出的色调曲线，压缩通过信号线379提供的全局亮度值L₁ ^(nl)的灰度，从而生成压缩全局亮度值L_c1 ^(nl)。将基于这种色调曲线的灰度压缩称为色调曲线校正。 

对比度校正部390根据保存在γ_comp参数存储器364中的γ_comp参数、以及从映射部382提供的压缩全局亮度值L_c1 ^(nl)，校正由从映射部381提供的压缩亮度值L_c ^(nl)构成的图像的对比度，通过信号线399作为亮度值L_u ^(nl)而输出。 

具体地说，在对比度校正部390中根据压缩了灰度的压缩亮度 值L_c ^(nl)和压缩全局亮度值L_c1 ^(nl)、以及增益值g，利用以下的式算出进行了对比度校正的亮度值L_u ^(nl)。 

L_u ^(nl)＝g·(L_c ^(nl)-L_c1 ^(nl))+L_c ^(nl)

其中，增益值g是依赖于γ_comp参数的值。 

此外，由亮度值(L_c ^(nl)-L_c1 ^(nl))构成的图像，是从由亮度值L_c ^(nl) 构成的图像中减去全局亮度图像的图像，其中所述全局亮度图像由亮度值L_c ^(nl)构成的图像的最低频域的分量构成。因而，由亮度值L_u ^(nl)构成的图像，成为利用增益值g对除去由亮度值L_c ^(nl)构成的图像的最低频域的频率分量进行了强调的图像。 

由该对比度校正部390进行了对比度的校正的亮度值L_u ^(nl)通过信号线399提供给灰度校正部321至323。由此，灰度校正处理部320利用以下的式对从信号线317至319提供的像素值R^(nl)、G^(nl)或者B^(nl)的灰度进行校正，从而算出像素值R_u ^(nl)、G_u ^(nl)或者B_u ^(nl)。 

R_u ^(nl)＝chromagain·(R^(nl)-L^(nl))+L_u ^(nl)

G_u ^(nl)＝chromagain·(G^(nl)-L^(nl))+L_u ^(nl)

B_u ^(nl)＝chromagain·(B^(nl)-L^(nl))+L_u ^(nl)

其中，chromagain是用于调节R、G以及B的各分量的彩度的规定值的系数。 

即，像素值R_u ^(nl)、G_u ^(nl)或者B_u ^(nl)是在分别由像素值R^(nl)、G^(nl) 或者B^(nl)构成的图像与由灰度变换前的亮度值L^(nl)构成的图像的差分即差分图像的各像素值上乘以chromagain、并加上由对比度校正后的亮度值L_u ^(nl)构成的图像的图像的像素值。由此，进行了非线性变换的RGB值反映出灰度变换后的亮度值。 

分别在非线性逆变换部331至333中对这样生成的像素值R_u ^(nl)、G_u ^(nl)以及B_u ^(nl)进行非线性逆变换，向信号线337至339输出像素值R_u、G_u或者B_u。 

即，图17的示例的亮度校正处理是将利用调查输入图像的亮 度而算出的色调曲线的色调曲线校正处理、以及使由此产生的对比度的劣化恢复的对比度校正处理进行了组合的处理。 

图18是表示由本发明的实施方式的花键产生部362生成的色调曲线的一例的图。该图的横轴方向表示进行灰度校正之前的输入亮度的被非线性变换的值(例如对数值)，纵轴方向表示利用色调曲线CL的灰度校正后的输出亮度的进行了非线性变换的值(例如对数值)。 

在花键产生部362中，设定9个控制点P1至P9。并且在该花键产生部362中，算出对控制点P1至P9的各点间进行插值的3次花键曲线上的坐标，生成色调曲线CL的查询表。 

控制点P1设定成输入亮度为规定的最小水平、输出亮度为规定的最小水平L_base ^(nl)的点。控制点P2设定成输入亮度为可视作噪声水平的亮度即规定的噪声水平L_noise ^(nl)、输出亮度为最小水平L_base ^(nl)的点。控制点P3设定成输入亮度为噪声水平L_noise ^(nl)的2倍的亮度值、输出亮度为最小水平L_base ^(nl)的点。 

控制点P4设定成输入亮度为暗侧缓坡值L_dark ^(nl)、输出亮度为大致黑色度的亮度值即亮度值L_ankle ^(nl)的点。控制点P5设定成输入亮度为暗侧缓坡值L_dark ^(nl)的2倍的亮度值、输出亮度为亮度值L_ankle ^(nl)的2倍的亮度值的点。控制点P6设定成输入亮度为输入亮度的平均水平(平均亮度值)L_average ^(nl)、输出亮度为输出亮度的亮度范围内的规定的大致中间的中间亮度水平L_mid ^(nl)的点。控制点P7设定成输入亮度为明侧缓坡值L_bright ^(nl)的二分之一的亮度值、输出亮度为大致白色度的亮度值即亮度值L_shoulder ^(nl)的二分之一的亮度值的点。控制点P8设定成输入亮度为明侧缓坡值L_bright ^(nl)、输出亮度为亮度值L_shoulder ^(nl)的点。控制点P9设定成输入亮度为规定的输入亮度的最大值、输出亮度为规定的输出亮度的最大值的点。 

即，对于控制点P1、P2、P3以及P9，根据设想为输入图像的 输出设备的噪声水平、饱和水平、灰度特性等预先提供固定值，不随输入图像的亮度分布而变化。关于控制点P4、P6、P8的纵轴方向的坐标同样是固定的，但是横轴方向的坐标是根据输入图像的亮度分布而算出的。另外，当根据输入图像决定控制点P4、P6、P8的位置时，从属地决定控制点P5和P7的位置。此外，将该控制点P5和P7连接的线段的斜率是保存在γ_comp参数存储器364中的γ_comp参数。 

控制点P6映射输出图像的中间的亮度，因此在决定再现的图像的亮度方面是最重要的控制点。因此，在本发明的实施方式中，通过将由测光评价部350生成的测光评价值用作该控制点P6的横轴方向的坐标(平均亮度值)，以更合适的亮度再现图像。 

图19和图20是表示本发明的实施方式中的打印***的亮度校正处理的过程例的图。在该亮度校正处理中，利用对输入图像的全部像素进行2次扫描的2通路结构进行处理。第1通路进行利用了测光评价的块平均图像的生成以及色调曲线的算出，示出在图19中。第2通路根据块平均图像和色调曲线进行全部像素的灰度校正处理，示出在图20中。 

在该亮度校正处理中，首先作为测光处理由测光部340进行对象图像的亮度的测量，生成块平均亮度图像(步骤S810)。该测光处理中的过程与图8中说明的测光处理(步骤S910)相同。 

根据生成的块平均亮度图像，作为测光评价处理由测光评价部350生成测光评价值(步骤S820)。该测光评价处理中的过程与图9中说明的测光评价处理(步骤S920)相同。 

另外，在亮度域生成部361中，根据块平均亮度图像的亮度分布生成亮度直方图的明侧和暗侧的缓坡值(步骤S874)。 

然后，在花键产生部362中，将从测光评价部350提供的测光评价值作为平均亮度值L_average ^(nl)，将从亮度域生成部361提供的明 侧和暗侧的缓坡值分别作为明侧缓坡值L_bright ^(nl)和暗侧缓坡值L_dark ^(nl)，从而生成色调曲线(步骤S875)。表示所生成的色调曲线的查询表被保存在色调曲线存储器363中。另外，将色调曲线的控制点P5和P7连接的线段的斜率作为γ_comp参数而生成(步骤S876)。该γ_comp参数保存在γ_comp参数存储器364中。 

接着，对输入的对象图像的各像素进行以下的处理(环L898)。在此，利用二维坐标(p，q)表示对象图像的各像素。其中，p和q都是0以上的整数。 

首先，当输入属于对象图像的像素(p，q)的RGB值时(步骤S880)，在亮度生成部371中生成像素(p，q)的亮度值L(步骤S881)。该亮度值L在非线性变换部372中进行非线性变换，作为亮度值L^(nl) 而输出(步骤S882)。 

然后，根据进行了非线性变换的亮度值L^(nl)由插值部377进行由第1通路生成的块平均亮度图像的插值处理，作为对应于像素(p，q)的全局亮度值L₁ ^(nl)而生成(步骤S883)。 

对这样生成的像素(p，q)的亮度值L^(nl)和全局亮度值L₁ ^(nl)，分别由映射部381或者382进行基于色调曲线的色调曲线校正(灰度压缩)(步骤S884)。其结果，生成压缩亮度值L_c ^(nl)和压缩全局亮度值L_c1 ^(nl)。在对比度校正部390中，根据压缩全局亮度值L_c1 ^(nl)和γ_comp参数，对压缩亮度值L_c ^(nl)进行对比度校正(步骤S885)。该对比度校正后的亮度值L_u ^(nl)使用于灰度校正处理。 

另一方面，由非线性变换部311至313对属于对象图像的像素(p，q)的RGB值进行非线性变换(步骤S886)。根据进行了非线性变换的亮度值L^(nl)和对比度校正后的亮度值L_u ^(nl)，通过灰度校正部321至323对进行了非线性变换的RGB值(R^(nl)、G^(nl)以及B^(nl))进行灰度校正(步骤S886)。由非线性逆变换部331至333对进行了灰度校正的RGB值(R_u ^(nl)、G_u ^(nl)以及B_u ^(nl))进行非线性逆变换(步骤S888)。由此，输出被非线性逆变换的RGB值(R_u、G_u以及B_u)(步骤S889)。

当对全部像素进行这些处理时，结束与对象图像有关的亮度校正处理。 

这样，本发明不仅能够广泛得应用于数字静像照相机等的摄像装置中的亮度校正，还能够广泛地应用于计算机***中的打印时的亮度校正等。 

此外，本发明的实施方式示出了用于实现本发明的一例，如下面所示，与权利要求书中的发明特定事项分别具有对应关系，但是并不限于此，在不脱离本发明的要旨的范围内可实施各种变形。 

即，对比度区域检测单元例如对应于对比度区域检测部151。另外，亮度分配单元例如对应于亮度分配部156。另外，边界亮度值生成单元例如对应于边界亮度值生成部157。 

另外，局部对比度算出单元例如对应于局部对比度算出部152。另外，阈值判断单元例如对应于阈值判断部153。 

另外，非线性变换单元例如对应于非线性变换部142。对比度区域检测单元例如对应于对比度区域检测部151。另外，亮度分配单元例如对应于亮度分配部156。另外，边界亮度值生成单元例如对应于边界亮度值生成部157。 

另外，摄像单元例如对应于传感器113。对比度区域检测单元例如对应于对比度区域检测部151。另外，亮度分配单元例如对应于亮度分配部156。另外，亮度边界值生成单元例如对应于边界亮度值生成部157。另外，控制单元例如对应于差分值算出部180和控制部190。 

另外，对比度区域检测单元例如对应于对比度区域检测部151。另外，亮度分配单元例如对应于亮度分配部156。另外，边界亮度值生成单元例如对应于边界亮度值生成部157。另外，亮度 校正单元例如可包括花键产生部362、插值部377以及对比度校正部390等。 

另外，变换曲线算出单元例如对应于花键产生部362。另外，全局亮度算出单元例如对应于插值部377。另外，灰度压缩单元例如对应于灰度压缩部380。另外，对比度校正单元例如对应于对比度校正部390。 

另外，对比度区域检测过程例如对应于步骤S930。另外，亮度分配过程例如对应于步骤S950。另外，边界亮度值生成过程例如对应于步骤S960。 

另外，拍摄过程例如对应于步骤S901。另外，对比度区域检测过程例如对应于步骤S930。另外，亮度分配过程例如对应于步骤S950。另外，边界亮度值生成过程例如对应于步骤S960。另外，控制过程例如对应于步骤S904。 

另外，对比度区域检测过程例如对应于步骤S930。另外，亮度分配过程例如对应于步骤S950。另外，边界亮度值生成过程例如对应于步骤S960。另外，亮度校正过程例如可包含步骤S875以及S883至S885。 

另外，变换曲线算出过程例如对应于步骤S875。另外，全局亮度算出过程例如对应于步骤S883。另外，灰度压缩过程例如对应于步骤S884。另外，对比度校正过程例如对应于步骤S885。 

此外，在本发明的实施方式中说明的处理过程既可以作为具有这些一系列过程的方法而提出，另外也可以作为用于使计算机执行这些一系列过程的程序和存储该程序的记录介质而提出。 

Claims (18)

1.一种图像处理装置，其特征在于，具备：

对比度区域检测单元，其将由多个像素构成的输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；

亮度分配单元，其在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；以及

边界亮度值生成单元，其根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值，

其中，上述边界亮度值生成单元根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式

$\frac{-{(I_m-E_{G=1})}^2}{2V_{G=1}}-\frac{-{(I_m-E_{G=0})}^2}{2V_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述对比度区域检测单元具备：

局部对比度算出单元，其将每个上述部分区域的上述输入亮度的对比度作为局部对比度而算出；以及

阈值判断单元，如果上述局部对比度的大小大于规定的阈值，则判断为上述部分区域属于上述对比度区域。

3.根据权利要求2所述的图像处理装置，其特征在于，

上述局部对比度算出单元将每个上述部分区域的上述输入亮度的局部一阶微分的绝对值作为上述局部对比度而算出。

4.根据权利要求2所述的图像处理装置，其特征在于，

上述局部对比度算出单元将每个上述部分区域的上述输入亮度的局部二阶微分的绝对值作为上述局部对比度而算出。

5.根据权利要求2所述的图像处理装置，其特征在于，

上述局部对比度算出单元将每个上述部分区域的上述输入亮度的最大值与最小值的差的绝对值作为上述局部对比度而算出。

6.根据权利要求1所述的图像处理装置，其特征在于，

上述亮度分配单元在属于上述对比度区域的每个局部区域中，将上述输入亮度的最大值作为上述明侧亮度，将上述输入亮度的最小值作为上述暗侧亮度。

7.根据权利要求1所述的图像处理装置，其特征在于，

上述亮度分配单元在属于上述对比度区域的每个像素位置上，根据上述输入亮度的局部二阶微分的正负将该像素位置的上述输入亮度分配为上述明侧亮度或上述暗侧亮度。

8.一种图像处理装置，其特征在于，具备：

非线性变换单元，其对由多个像素构成的输入图像信号的各像素的亮度进行非线性变换；

对比度区域检测单元，其将上述输入图像信号中作为上述进行了非线性变换的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；

亮度分配单元，其在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；以及

边界亮度值生成单元，其根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值，

其中，上述边界亮度值生成单元根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式

$\frac{-{(I_m-E_{G=1})}^2}{2V_{G=1}}-\frac{-{(I_m-E_{G=0})}^2}{2V_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。

9.根据权利要求8所述的图像处理装置，其特征在于，

上述非线性变换单元根据向上凸的单调增函数进行上述非线性变换。

10.根据权利要求9所述的图像处理装置，其特征在于，

上述非线性变换单元作为上述非线性变换进行对数变换。

11.根据权利要求9所述的图像处理装置，其特征在于，

上述非线性变换单元作为上述非线性变换进行伽马校正。

12.一种摄像装置，其特征在于，具备：

摄像单元，其拍摄被摄体而生成由多个像素构成的输入图像信号；

对比度区域检测单元，其将上述输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；

亮度分配单元，其在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；

边界亮度值生成单元，其根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值；以及

控制单元，其根据上述边界亮度值来控制上述拍摄中的曝光量，

其中，上述边界亮度值生成单元根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式

$\frac{-{(I_m-E_{G=1})}^2}{2V_{G=1}}-\frac{-{(I_m-E_{G=0})}^2}{2V_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。

13.一种图像输出装置，其特征在于，具备：

对比度区域检测单元，其将由多个像素构成的输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；

亮度分配单元，其在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；

边界亮度值生成单元，其根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值；以及

亮度校正单元，其进行亮度校正使得与上述边界亮度值相当的上述输入亮度值作为中间的亮度值而输出，

其中，上述边界亮度值生成单元根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式

$\frac{-{(I_m-E_{G=1})}^2}{2V_{G=1}}-\frac{-{(I_m-E_{G=0})}^2}{2V_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。

14.根据权利要求13所述的图像输出装置，其特征在于，

上述亮度校正单元具备：

变换曲线算出单元，其根据上述边界亮度值以及上述输入亮度的分布，算出亮度的灰度压缩中所使用的变换曲线；

全局亮度算出单元，其算出由上述输入图像的低频分量构成的全局亮度图像的亮度即全局亮度；

灰度压缩单元，其根据上述变换曲线，压缩上述输入亮度的灰度以及上述全局亮度的灰度；以及

对比度校正单元，其根据上述变换曲线的斜率以及压缩了灰度的上述全局亮度，对由压缩了灰度的上述输入亮度构成的灰度压缩输入图像的对比度进行校正。

15.一种图像处理方法，其特征在于，具备：

对比度区域检测过程，将由多个像素构成的输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；

亮度分配过程，在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；以及

边界亮度值生成过程，根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值，

其中，上述边界亮度值生成过程根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式

$\frac{-{(I_m-E_{G=1})}^2}{2V_{G=1}}-\frac{-{(I_m-E_{G=0})}^2}{2V_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。

16.一种摄像方法，其特征在于，具备：

拍摄过程，拍摄被摄体而生成由多个像素构成的输入图像信号；

对比度区域检测过程，将上述输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；

亮度分配过程，在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；

边界亮度值生成过程，根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值；以及

控制过程，根据上述边界亮度值来控制上述拍摄中的曝光量，

其中，上述边界亮度值生成过程根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式

$\frac{-{(I_m-E_{G=1})}^2}{2V_{G=1}}-\frac{-{(I_m-E_{G=0})}^2}{2V_{G=0}}-\frac{1}{2}\log \frac{V_{G=1}}{V_{G=0}}=0$

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。

17.一种图像输出方法，其特征在于，具备：

对比度区域检测过程，将由多个像素构成的输入图像信号中作为上述输入图像信号的亮度的输入亮度的对比度大于规定值的部分区域作为对比度区域而进行检测；

亮度分配过程，在上述对比度区域中分配为上述输入亮度亮的明侧亮度与上述输入亮度暗的暗侧亮度；

边界亮度值生成过程，根据上述明侧亮度和暗侧亮度的分布，生成上述明侧亮度和暗侧亮度的边界亮度值；以及

亮度校正过程，进行亮度校正使得与上述边界亮度值相当的上述输入亮度值作为中间的亮度值而输出，

其中，上述边界亮度值生成过程根据上述明侧亮度的平均值E_G＝1、上述明侧亮度的方差值V_G＝1、上述暗侧亮度的平均值E_G＝0以及上述暗侧亮度的方差值V_G＝0，将作为方程式

的解的边界亮度值I_m(其中，E_G＝0＜I_m＜E_G＝1)作为上述边界亮度值而生成。

18.根据权利要求17所述的图像输出方法，其特征在于，

上述亮度校正过程具备：

变换曲线算出过程，根据上述边界亮度值以及上述输入亮度的分布，算出亮度的灰度压缩中所使用的变换曲线；

全局亮度算出过程，算出由上述输入图像的低频分量构成的全局亮度图像的亮度即全局亮度；

灰度压缩过程，根据上述变换曲线来压缩上述输入亮度的灰度以及上述全局亮度的灰度；以及

对比度校正过程，根据上述变换曲线的斜率以及压缩了灰度的上述全局亮度，对由压缩了灰度的上述输入亮度构成的灰度压缩输入图像的对比度进行校正。

Images