CN102422628A - 图像处理方法和图像处理设备 - Google Patents

Abstract

根据本发明，提供一种图像处理方法和图像处理设备，所述图像处理方法在合成多个图像数据时进行色调校正以获得具有合适亮度和对比度的合成图像，所述图像处理设备能够执行所述图像处理方法。所述图像处理方法包括：针对多个图像数据中的各图像数据检测亮度分布；根据亮度分布计算各亮度分布的特征量；以及基于所获得的亮度分布的特征量来获取用于对合成图像数据执行的色调校正的校正量。

Description

图像处理方法和图像处理设备

技术领域

本发明涉及用于通过将多个图像数据相加并合成来获得一个图像数据的处理。

背景技术

存在以下图像处理方法：将多个图像相加并合成以形成一个图像。例如，日本特开2003-46859论述了一种用于适当地压缩合成图像的灰度数的色调转换的方法，在该方法中，数字照相机利用不同的曝光量对同一被摄体进行多次摄像，并且合成这些图像以形成具有宽的动态范围的合成图像。

还论述了以下方法：对不同的被摄体进行多次摄像，并且将多个图像相加并合成以在一个图像中表现多个被摄体。在这种情况下，存在两种方法：利用适当的曝光对各图像进行摄像并相加的方法和利用“1/(摄像次数)”的曝光对各图像进行摄像并相加的方法。前一方法对于当背景暗时确保各被摄体的适当亮度是有效的，而后一方法对于当正常摄像时确保合成处理后的适当的曝光是有效的。

当对拍摄了不同被摄体的多个图像数据进行合成，并且由不在暗背景中的正常摄像获得图像数据时，在仅通过上述简单的相加和合成而获得合成图像的情况下，合成图像的对比度通常减小，并且在大多数情况下，各被摄体可能看起来是透明的。

引文列表

专利文献

专利文献1：日本特开2003-46859

发明内容

本发明涉及进行色调校正以获取具有合适的亮度和对比度的合成图像的图像处理方法以及可以执行该方法的图像处理设备。

根据本发明的方面，一种图像处理方法，用于通过合成多个图像数据来获得一个合成图像数据，所述图像处理方法包括：针对所述多个图像数据中的各图像数据检测亮度分布；根据所述亮度分布计算各亮度分布的特征量；以及基于所获得的亮度分布的特征量来获取用于对所述合成图像数据执行的色调校正的校正量。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。

附图说明

包括在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并与说明书一起用于说明本发明的原理。

图1是示出可以实现根据本发明的图像处理设备的数字照相机的框图。

图2示出特征量检测处理的流程图。

图3是所检测到的面部的面部亮度获取区域的概念图。

图4是计算色调校正量的处理的流程图。

图5是在没有检测到面部的情况下的色调校正量的概念图。

图6是在检测到面部的情况下的色调校正量的概念图。

具体实施方式

以下将参考附图详细说明本发明的各种典型实施例、特征和方面。

实施例

图1是可以实现根据本发明的图像处理设备的数字照相机的框图。

在图1中，在图像传感器101(图像输入单元)上形成通过拍摄镜头(未示出)的被摄体的光学图像，并根据光学图像的光量将光学图像转换成电荷。

将光电转换元件转换得到的电荷作为电信号从图像传感器101输出至模拟数字(A/D)转换单元102，并通过A/D转换处理将电荷转换成数字信号(图像数据)。在中央处理单元(CPU)100处处理从A/D转换单元102输出的数字信号。然后，将数字信号发送至图像数据输出单元111以显示该数字信号。CPU 100中的处理作为程序而存储在存储器(未示出)中，并通过CPU 100执行该程序。可以将要执行的程序记录在外部的记录介质等上。在CPU100中执行下述处理。

将从A/D转换单元102输出的数字信号分别发送至白平衡(WB)检测单元103、特征量检测单元104(亮度分布检测单元、特征量计算单元)和WB处理单元105。WB检测单元103进行WB检测。在该处理中，根据所拍摄的图像数据来计算适用于所拍摄的图像的白平衡的增益。可以利用传统的方法来计算白平衡的增益。在WB处理单元105中，对图像的红绿蓝(RGB)的各像素值，结合WB检测单元103所获得的白平衡的增益。将结合了白平衡的增益的图像临时存储在图像存储器106中。

针对多次拍摄中的各拍摄，将图像数据和图像的特征量分别记录至图像存储器106和存储器107。当获得了预定数量的图像数据时，图像数据合成单元108将图像存储器106中记录的图像数据相加并合成。

校正量计算单元109(校正量获取单元)基于合成图像的特征量的数据和存储器107中存储的各图像的特征量的数据来计算色调校正量。以下将说明色调校正量的计算方法。显影处理单元110使用从校正量计算单元109发送来的色调校正量来对合成图像数据进行色调校正，然后，将校正后的合成图像数据发送至图像数据输出单元111。

在本典型实施例中，基于合成图像的特征量的数据和存储器107中记录的各图像的特征量的数据来计算色调校正量。然而，可以使用各图像的特征量、根据表数据来计算色调校正量，并且可以获取与色调校正量有关的信息。

图2是示出在特征量检测单元104处对各图像数据进行的特征量的检测处理的流程图。

在图2的步骤S201中，检测直方图。在步骤S201中，对所有所拍摄的图像数据应用WB检测单元103所计算出的WB的增益，以检测进行了伽玛处理的直方图作为亮度分布。伽玛处理可以是使用查找表的传统的处理。检测直方图的范围可以是切除图像数据的端部的区域。

在步骤S202中，检测直方图的特征量。在本典型实施例中，在直方图中获得从暗(阴影)侧起累积频率为1％的像素所属于的值(SD)和从明(高亮)侧起累积频率为1％的像素所属于的值(HL)。

在步骤S203中，进行面部检测的预处理。在该处理中，对输入图像进行压缩处理或伽玛处理以便于检测图像中包括的面部。

在步骤S204中，执行用于检测图像中的面部区域的面部检测。对用于检测面部的方法没有特别限制。可以将任意的传统方法应用至面部检测。传统的面部检测技术包括基于利用神经网络的学习的方法和以下方法：通过使用模板匹配从图像中找到诸如眼部、鼻子和嘴部等的具有特征形状的部分，并在相似度高的情况下将图像认为是面部。另外，已经讨论了各种方法，包括以下方法：检测诸如皮肤颜色或眼部的形状的图像特征量以通过利用统计分析来检测面部。可以组合这些方法中的多个方法来提高面部检测的精度。在本典型实施例中，提取图像中的高频成分以获得面部的大小，并且将眼部的位置与预先准备的模板进行比较，从而检测面部。

在步骤S205中，判断是否作为步骤S204中面部检测的结果检测到很可能是面部的区域(面部区域)。当检测到一个以上面部区域时(步骤S205中为“是”)，处理进入步骤S206。当不存在面部区域时(步骤S205中为“否”)，用于检测特征量的处理结束。

在步骤S206中，计算面部亮度获取区域。对面部区域的一部分设置面部亮度获取区域。例如，如图3所示，在诸如两眼下面的部分和两眼中间的部分这三个部分处设置面部亮度获取区域，并且根据所检测到的面部的大小来计算各区域的大小。在本典型实施例中，区域是正方形的。图3包括图像数据301的范围、面部区域302以及面部亮度获取区域303、304和305。

在步骤S207中，针对面部亮度获取区域中的各区域获得输入图像中的R像素、G像素和B像素各自的平均值，并且根据公式1将所获得的值转换成亮度值Y。

Y＝0.299*R+0.587*G+0.114*B    (公式1)

针对转换，也可以使用公式2中描述的近似。

Y＝(3*R+6*G+B)/10             (公式2)

在步骤S208中，计算面部的亮度的代表值。例如，获得各面部的三个部分处的亮度值的最大值，并计算所有面部的亮度值的平均值。

将如上所述检测到的图像的特征量临时存储在图1中的存储器107中。

接着，将参考图4的流程图说明校正量计算单元109处的计算色调校正量的流程。

在步骤S401中，判断在累积图像中是否存在检测到面部区域的图像。如果存在检测到面部区域的图像(步骤S401中为“是”)，则处理进入步骤S402，并且如果不存在检测到面部区域的图像(步骤S401中为“否”)，则处理进入步骤S403。

在步骤S402中，检测合成图像的与面部区域相对应的区域的亮度。通过检测相应的区域的亮度值来检测亮度。亮度值的计算方法可以与如上所述各拍摄图像的亮度值的计算方法相同。

在步骤S403中，计算合成图像的直方图的特征量。计算方法可以与各拍摄图像的直方图的特征量的计算方法相同。在本典型实施例中，计算合成图像的HL和SD。

在步骤S404中，计算HL的目标值。在本典型实施例中，将各拍摄图像的HL的最大值定义为目标值。

在步骤S405中，计算SD的目标值。在本典型实施例中，将各拍摄图像的SD的最小值定义为目标值。HL和SD的目标值不限于满足本典型实施例中使用的条件的值，而是可以被适当地改变。例如，可以将多个拍摄图像中具有最高对比度的图像数据的亮度分布定义为目标值，或者可以计算各拍摄图像的HL的平均值和SD的平均值来定义为目标值。

在步骤S406中，计算合成图像的校正量。当不存在检测到面部区域的图像时，将与合成图像的SD和HL相对应的亮度值近似为步骤S404和S405中计算出的SD和HL的目标值。可以将SD和HL校正为精确的目标值。然而，可能存在对比度太大的情况，因此，在本典型实施例中将亮度校正为合成图像的SD和HL与目标SD和HL的中间亮度。根据SD和HL的各点以及图像的亮度的最小值和最大值、利用样条插值来创建输出亮度值对输入亮度值的查找表。

图5示出通过上述处理获得的色调曲线的一个例子。图5中的SDin和HLin与合成图像的SD和HL相对应，SDout和HLout与根据亮度的色调校正的输出值相对应。

当存在检测到面部区域的图像时，进行校正以使得合成图像的与面部区域相对应的区域的亮度值与面部的优选亮度值接近。更具体地，准备针对合成处理之前的面部区域的亮度的代表值的校正量作为查找表。在这种情况下，为了使利用SD和HL的校正量的校正不会变得不自然，而与面部亮度的校正量相结合地进行修正，使得对SD和HL的校正弱于不存在检测到面部区域的图像时的校正。然后，根据SD、HL和面部的亮度的各点以及图像的亮度的最小值和最大值，利用样条插值来创建输出亮度值对输入亮度值的查找表。

图6示出通过上述处理获得的色调曲线的一个例子。图6中的FACEin表示在合成处理之后的面部区域中的亮度的代表值，以及FACEout表示其输出亮度值。

根据本发明的典型实施例，当拍摄并合成被摄体的多个图像时，可以执行色调校正以形成具有适当亮度和对比度的合成图像。

在本典型实施例中，检测各图像的暗部和明部处的亮度值并用作用于获得合成图像的色调校正量的数据。然而，可以根据所检测到的各图像的亮度直方图中的比亮度值HLth亮的像素的比和比亮度值SDth暗的像素的比来执行色调校正。当假定亮度值为0～255 LSB(最低有效位)时，例如将HLth定义为240LSB，并将SDth定义为15 LSB。如上所述，本发明可应用于以下处理：利用要合成的各图像的亮度直方图的分布来计算合成图像的色调校正量。

在本典型实施例中，要合成的各图像的亮度直方图用作用于计算合成图像的色调校正量的原始数据。然而，各图像的G的直方图例如可以用作与亮度信息相对应的信息。在这种情况下，可以从A/D转换单元102的输出的R、G和B数据按原样获取G数据，并且可以在特征量检测单元104中计算G数据的特征量。

在本典型实施例中，针对各拍摄图像结合白平衡的增益，然后，合成这些图像数据。然而，在合成图像数据之后，可以结合白平衡的代表增益。

在本典型实施例中，从合成图像数据检测直方图的特征量。然而，可以从合成处理之前的多个拍摄图像数据计算合成图像的直方图的特征量。

在本典型实施例中，由CPU 100执行一系列图像合成处理。然而，可以通过诸如电路等的硬件来执行一部分处理。

在本典型实施例中，示出数字照相机作为图像处理设备的一个例子，并且将从用于获取外部光束并将光束转换成图像信号的图像传感器101输入的图像数据用作图像数据。然而，可以将从用于通过扫描光学***读取图像的图像读取单元输入的图像数据、或者从用于获取外部获得的图像数据并将该图像数据输入至设备中的接口单元输入的图像数据用作图像数据。更具体地，可能的图像处理设备的例子包括安装有图像传感器的照相机或摄像机，安装有图像读取单元的打印机、扫描器或者复印机，以及安装有用于输入从外部记录介质获得的图像数据的接口单元的计算机。

此外，可以以以下方式实现本发明：将记录用于实现典型实施例的功能的软件的程序代码的存储介质提供至***或设备，并且该***或设备中的计算机(CPU或微处理单元(MPU)等)读取存储介质中存储的程序代码并执行该程序代码。

在这种情况下，从存储介质读取的程序代码本身实现了本发明的新功能，并且存储程序代码的存储介质以及程序构成本发明。用于提供程序代码的存储介质的例子包括软盘、硬盘、光盘、磁光盘、光盘只读存储器(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-W)、数字多功能盘只读存储器(DVD-ROM)、数字多功能盘随机存取存储器(DVD-RAM)、可重写数字多功能盘(DVD-RW)、可记录数字多功能盘(DVD-R)、磁带、非易失性存储卡和ROM等。

本发明不仅包括通过执行计算机所读取的程序代码来实现典型实施例的功能的情况，还包括计算机上运行的操作***(OS)基于程序代码的指示执行部分或全部处理，并且通过上述处理实现典型实施例的功能的情况。

此外，本发明还包括以下情况：将从存储介质读取的程序代码写入***至计算机中的功能扩展板中设置的存储器中或者连接至计算机的功能扩展单元中设置的存储器中，然后，功能扩展板或功能扩展单元中设置的CPU等基于程序代码的指示来执行部分或全部处理，并且通过上述处理实现典型实施例的功能。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求于2009年5月7日提交的日本专利申请2009-112788的优先权，其全部内容通过引用包含于此。

Claims (8)

1.一种图像处理方法，用于通过合成多个图像数据来获得一个合成图像数据，所述图像处理方法包括：

针对所述多个图像数据中的各图像数据检测亮度分布；

根据所述亮度分布计算各亮度分布的特征量；以及

基于所获得的亮度分布的特征量来获取用于对所述合成图像数据执行的色调校正的校正量。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括：

针对所述多个图像数据中的各图像数据检测存在面部的区域；

计算在所述多个图像数据中检测到的面部区域的特征量以及所述合成图像数据中的与检测到的面部区域相对应的区域的特征量；以及

基于所述多个图像数据中的面部区域的特征量来获取所述合成图像数据中的与面部区域相对应的区域的所述校正量。

3.根据权利要求1所述的图像处理方法，其特征在于，根据所述多个图像数据的亮度分布的特征量来计算所述合成图像数据的亮度分布的特征量的目标值，并基于所述目标值来计算所述校正量。

4.根据权利要求1所述的图像处理方法，其特征在于，所述目标值是所述多个图像数据中具有最高对比度的图像数据的亮度分布的特征量。

5.根据权利要求1所述的图像处理方法，其特征在于，所述目标值是所述多个图像数据的亮度分布的特征量的平均值。

6.一种图像处理设备，用于通过合成从图像输入单元获得的多个图像数据来获得一个合成图像数据，所述图像处理设备包括：

亮度分布检测单元，用于针对所述多个图像数据中的各图像数据检测亮度分布；

特征量计算单元，用于根据所述亮度分布计算各亮度分布的特征量；以及

校正量获取单元，用于基于所述特征量计算单元所获得的亮度分布的特征量来获取用于对所述合成图像数据执行的色调校正的色调校正量。

7.根据权利要求6所述的图像处理设备，其特征在于，所述图像输入单元包括图像传感器、图像读取单元或接口单元，其中，所述图像传感器用于从外部获取光束并将该光束转换成图像信号，所述图像读取单元用于通过扫描光学***读取图像，所述接口单元用于从外部获取图像数据并将该图像数据输入至所述图像处理设备。

8.一种存储程序的存储介质，所述程序用于使计算机执行用于通过合成多个图像数据来获得一个合成图像数据的图像处理方法，所述程序包括：

针对所述多个图像数据中的各图像数据检测亮度分布；

根据所述亮度分布计算各亮度分布的特征量；以及

基于所获得的亮度分布的特征量来获取用于对所述合成图像数据执行的色调校正的校正量。

Images