CN103581638A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置及图像处理方法。白平衡控制电路基于闪光灯单元发光时拍摄的图像数据计算第一白平衡校正值，并基于所述闪光灯单元不发光时拍摄的图像数据计算第二白平衡校正值。所述白平衡控制电路获取与所述闪光灯单元发光时拍摄的图像数据相对应的图像拍摄条件或者从所述闪光灯单元发光时拍摄的图像数据的颜色信息中获得的场景信息。所述白平衡控制电路基于所述图像拍摄条件或者所述场景信息，对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正。

Description

图像处理装置及图像处理方法

技术领域

本公开一般性地涉及图像处理，更具体地涉及应用于图像数据的白平衡控制技术。

背景技术

诸如数字照相机和数字摄像机的使用图像传感器的摄像装置具有称为白平衡控制功能的功能。该功能用于调整拍摄的图像数据的色调。存在包括手动白平衡控制和自动白平衡控制的两种白平衡控制。根据手动白平衡控制，首先，拍摄白色被摄体的图像。接着，基于图像计算白平衡系数，并将计算获得的白平衡系数应用到整个画面。根据自动白平衡控制，从拍摄的图像数据自动检测认为是白色的部分。接着，基于各颜色的颜色分量的平均值来计算白平衡系数，并将获得的白平衡系数应用到整个画面。

根据传统的自动白平衡控制，如果闪光灯单元在存在除闪光灯单元以外的光源的场景下闪光，则将如上所述计算出的白平衡系数应用到整个画面。因此，考虑到各光源的色调，难以进行白平衡控制。例如，在环境光包括来自诸如白炽灯光源的低色温度光源的光的情况下，如果白平衡被调整适合闪光灯光，则无法获得与低色温度光源匹配的白平衡。这是因为闪光灯单元是高色温度光源。另一方面，如果白平衡被调整适合低色温度光源，则无法获得与闪光灯光匹配的白平衡。此外，如果进行白平衡控制使得白平衡被调整适合低温光源和高温光源的中间，则由于白平衡与两种光源都不对应，因此由闪光灯光照射的区域的色调发蓝，而由低色温度光源照射的区域发红。

针对这种情况，日本专利第3540485号公报讨论了用于控制白平衡的技术。根据该技术，针对各任意被摄体区域将在闪光灯单元发光时拍摄的图像数据与闪光灯单元不发光时拍摄的图像数据进行比较，并获得数据的比。此外，根据比的值来确定闪光灯光的贡献率。接着，使用根据所确定的贡献率针对各被摄体区域选择的白平衡控制值，来进行白平衡控制。

然而，根据日本专利第3540485号公报讨论的技术，由于在针对各区域选择白平衡控制值之后，进行显影处理，因此，诸如颜色再现控制的控制可能无法与白平衡控制值适当地匹配。

此外，在使用日本专利第3540485号公报讨论的技术的情况下，在闪光灯单元发光时拍摄的图像数据与闪光灯单元不发光时拍摄的图像数据之间存在时滞。因此，当被摄体移动或者摄像装置自身移动时，可能发生关于闪光灯照射范围或者闪光灯光量的检测错误。因此，在物体的边界部分可能发生色调偏差。特别地，当以高倍率变焦拍摄图像时，由于即使摄像装置的轻微运动也会造成闪光灯照射范围或者闪光灯光量的检测错误，因此更有可能发生色调的偏差。

发明内容

本公开旨在提供一种图像处理装置，其能够减轻物体的边界部分的色调的偏差，并向用户提供期望的图像。

根据本公开的方面，提供了一种图像处理装置，该图像处理装置包括：校正值计算单元，其被配置为基于闪光灯单元发光时拍摄的图像数据计算第一白平衡校正值，并基于所述闪光灯单元不发光时拍摄的图像数据计算第二白平衡校正值；获取单元，其被配置为获取与所述闪光灯单元发光时拍摄的图像数据相对应的图像拍摄条件或者从所述闪光灯单元发光时拍摄的图像数据的颜色信息中获得的场景信息；校正单元，其被配置为基于所述图像拍摄条件或者所述场景信息，对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正；生成单元，其被配置为基于从所述校正单元输出的所述第一白平衡校正值，由所述闪光灯单元发光时拍摄的图像数据生成第一图像数据，并基于从所述校正单元输出的所述第二白平衡校正值，由所述闪光灯单元不发光时拍摄的图像数据生成第二图像数据；分量计算单元，其被配置为基于所述闪光灯单元不发光时拍摄的图像数据的亮度值与所述闪光灯单元发光时拍摄的图像数据的亮度值，来计算外部光的亮度分量与来自所述闪光灯单元的光的亮度分量；以及合成单元，其被配置为基于所述第一图像数据的亮度分量与所述第二图像数据的亮度分量之间的差分，合成所述第一图像数据和所述第二图像数据。

通过以下参照附图对示例性实施例的描述，本公开的其他特征将变得清楚。

附图说明

图1示出了根据本公开的第一示例性实施例的摄像装置的配置。

图2是示出白平衡（WB）校正值的计算处理的流程图。

图3A和图3B示出了白色检测区域。

图4示出了按照时间顺序的拍摄控制。

图5示出了静态图像拍摄模式下的WB校正值与电子取景器（EVF）拍摄模式下的WB校正值。

图6是示出考虑环境气氛的色调来计算第二WB校正值的方法的图。

图7是示出根据第一示例性实施例的图像数据的合成处理的流程图。

图8示出了焦距与合成调整率之间的关系。

图9示出了与色温度差分和运动量相对应的合成调整率。

图10示出了用于计算照射率的被摄体区域的剪切。

图11是示出根据本公开的第二示例性实施例的图像数据的合成处理的流程图。

图12示出了与饱和度和对比度相对应的合成调整率。

具体实施方式

以下将参照附图详细描述本公开的各种示例性实施例、特征和方面。

图1示出了根据本公开的第一示例性实施例的摄像装置的配置。根据本实施例的摄像装置是根据本公开的图像处理装置的应用例。在图1中，固态图像传感器101包括电荷耦合器件（CCD）传感器或者互补金属氧化物半导体（CMOS）传感器。固态图像传感器101的表面被例如诸如拜耳（Bayer）滤镜的红色、绿色、蓝色（RGB）滤色镜覆盖，从而能够进行彩色拍摄。

中央处理单元（CPU）114计算用于使整个图像变亮的快门速度和光圈值。CPU114还计算聚焦镜头的驱动量，使得聚焦区域中的被摄体对焦。由CPU114计算出的曝光值（快门速度或者光圈值）和聚焦镜头的驱动量被输出至控制电路113，从而根据各值控制各个相应部件。白平衡（WB）控制电路103基于存储在存储器102中的图像数据来计算WB校正值，并通过使用计算出的WB校正值，对存储在存储器102中的图像数据进行WB校正。以下将描述由WB控制电路103进行的WB校正值的计算方法的详情。如本文使用的，术语“单元”通常指用于实现目的的软件、固件、硬件或其他部件的任意组合。

颜色转换矩阵电路104对经历WB控制电路103的WB控制的图像数据的颜色增益进行调整，以使用最佳颜色来再现图像数据，并且将数据转换为色差信号R-Y和B-Y。低通滤波器（LPF）电路105限定色差信号R-Y和B-Y的频带。色度抑制（CSUP）电路106抑制具有LPF电路105限定的频带的图像数据中的饱和部分的伪色信号。具有WB控制电路103校正的白平衡的图像数据也被输出到生成亮度信号Y的亮度信号（Y）生成电路111。边缘增强电路112对生成的亮度信号Y进行边缘增强处理。

RGB转换电路107将从CSUP电路106输出的色差信号R-Y和B-Y以及从边缘增强电路112输出的亮度信号Y转换为RGB信号。伽马（γ）校正电路108对RGB信号进行灰度校正。颜色亮度转换电路109将校正了灰度的RGB信号转换为YUV信号。联合图像专家组（JPEG）压缩电路110压缩YUV信号。从JPEG压缩电路110输出的信号被作为图像数据记录在外部记录介质或者内部记录介质上。

接下来，详细描述由WB控制电路103进行的计算WB校对值的方法。首先，参照图2所示的流程图，描述当进行主曝光时（在闪光灯单元发光时）用来校正白平衡的第一WB校正值（第一白平衡校正值）的计算方法。基于闪光灯单元发光时拍摄的图像数据（以下称为使用闪光灯拍摄的图像数据）来计算第一WB校正值。图2所示的处理是由计算单元进行的处理的示例。

在步骤S201中，WB控制电路103读出存储在存储器102中的、使用闪光灯单元的闪光拍摄的图像数据，并将图像数据划分为预定的m个块。在步骤S202中，WB控制电路103对块（1至m）的各颜色的像素值进行相加并求平均值，并计算平均颜色值（R[i],G[i],B[i]）。此外，WB控制电路103根据以下公式计算颜色评价值（Cx[i],Cy[i]）。

Cx[i]=（R[i]-B[i]）/Y[i]×1024

Cy[i]=（R[i]+B[i]-2G[i]）/Y[i]×1024

其中，Y[i]=（R[i]+2G[i]+B[i]）/4

WB控制电路103使用具有图3A所示的坐标轴的图来进行白色检测。x坐标（Cx）的负方向表示当拍摄高色温度被摄体的白色时的颜色评价值，而正方向表示当拍摄低色温度被摄体的白色时的颜色评价值。此外，y坐标（Cy）表示光源的绿色分量的程度。绿色分量朝y坐标的负方向变大。如果绿色分量大，则表示光为荧光。

在步骤S203中，WB控制电路103确定在步骤S202中计算出的第i块的颜色评价值（Cx[i],Cy[i]）是否在预先确定的白色检测范围301内（参见图3A）。由于闪光灯单元是已知光源，因此白色检测范围301的检测范围被限制。如果第i块的颜色评价值（Cx[i],Cy[i]）在白色检测范围301内（步骤S203中“是”），则处理进入步骤S204。另一方面，如果第i块的颜色评价值（Cx[i],Cy[i]）不在白色检测范围301内（步骤S203中“否”），则处理跳过步骤S204并进入步骤S205。

在步骤S204中，WB控制电路103确定第i块是否是白色，并对块的颜色平均值（R[i],G[i],B[i]）进行积分。步骤S203和步骤S204中的处理可以由以下公式表示：

$\mathrm{SumR}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×R\left[i\right]$

$\mathrm{SumG}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\[i\]\×G\[i\]$

$\mathrm{SumB}=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}\mathrm{Sw}\left[i\right]\×B\left[i\right]$

根据上述公式，如果颜色评价值（Cx[i],Cy[i]）在白色检测范围301内，则Sw[i]被设定为1。如果颜色评价值（Cx[i],Cy[i]）不在白色检测范围301内，则Sw[i]被设定为0。在步骤S203和S204中，实际上确定是否要对颜色平均值（R[i],G[i],B[i]）进行积分。

在步骤S205中，WB控制电路103确定是否对所有块进行了上述处理。如果存在任何未处理的块（步骤S205中“否”），则处理返回步骤S202，并重复上述处理。另一方面，如果所有块的处理完成（步骤S205中“是”），则处理进入步骤S206。

在步骤S206中，WB控制电路103根据以下公式通过使用颜色平均值的积分值（SumR1,SumG1,SumB1），来计算第一WB校正值（WBCol_R1,WBCol_G1,WBCol_B1）：

WBCol_R1=SumY1×1024/SumR1

WBCol_G1=SumY1×1024/SumG1

WBCol_B1=SumY1×1024/SumB1

其中，SumY1=（SumR1+2×SumG1+SumB1）/4

可以将闪光灯光的WB校正值预先设定为已知的第一WB校正值。

接下来，将描述在闪光灯单元不发光时用来校正白平衡的第二WB校正值（第二白平衡校正值）的计算处理。基于在闪光灯单元不发光时拍摄的图像数据（以下称为不使用闪光灯拍摄的图像数据）来计算第二WB校正值。图4示出了按照时间顺序的拍摄控制。如图4所示，在按下开关SW1之前，定期拍摄实时预览图像数据。当按下开关SW1时，进行自动对焦（AF）锁定和自动曝光（AE）锁定。此外，在按下SW2之后，进行测试发光和主曝光。在以下描述中，在测试发光前对应于图4中的“外部光”时曝光并拍摄的图像数据与不使用闪光灯拍摄的图像数据相对应。作为不使用闪光灯拍摄的图像数据的另一示例，还可以使用在主曝光之后曝光并拍摄的图像数据。

由与上述第一WB校正值的计算处理类似的方法，进行第二WB校正值的计算处理。然而，与第一WB校正值的计算处理不同的是，基于诸如图3B所示的白色检测范围302的外部光的白色检测范围进行处理。这是因为与闪光灯单元不同，外部光不是已知光源。因此，不能将白色检测范围302限定为与闪光灯单元发光时相对应的白色检测范围301。通过预先在不同的光源条件下拍摄白色、计算颜色评价值并标注获得的颜色评价值，来确定外部光的白色检测范围302。可以根据摄像装置的图像拍摄模式来改变白色检测范围302的范围。第二WB校正值能够应用到不同图像拍摄模式下的摄像装置。例如，可以使用过去计算出的并在电子取景器（EFV）图像拍摄模式下使用的WB校正值作为第二WB校正值。然而，如果根据图像拍摄模式发生分光差分，则WB控制电路103对WB校正值进行校正。图5示出了静态图像拍摄模式和EVF图像拍摄模式下的WB校正值。在通过使用在EVF图像拍摄模式下使用并在过去计算出的WB校正值，来计算用于静态图像拍摄模式的WB校正值时，如图5所示，WB校正电路103通过ΔCx和ΔCy来校正EVF图像拍摄模式下的WB校正值（EvfCx,EvfCy）501。由此，计算静态图像拍摄模式下的WB校正值（CapCx,CapCy）502。

如果在背景中使用诸如白炽灯光源的低色温度光源，则考虑环境气氛，可以计算第二WB校正值，使得保留图像的色调。例如，如图6所示，如果第二WB校正值的色温度低（例如，输入T1），则通过控制装置使得图像的色调保留（例如，输出T’1），能够生成具有白炽灯光源的红色调的图像数据。

接下来，参照图7描述图像数据的合成处理。在步骤S701中，WB控制电路103（获取单元）获取图像拍摄条件。图像拍摄条件是例如当使用闪光灯拍摄图像数据时的摄影镜头的焦距、被摄体距离、闪光灯单元的闪光指数或者ISO（International Organization for Standardization,国际标准化组织）感光度。图像拍摄条件可以是这些条件中的任意一个或者条件的组合。步骤S701是获取单元的处理示例。

在步骤S702中，WB控制电路103（校正单元）基于在步骤S701中获得的图像拍摄条件，对第一WB校正值和第二WB校正值进行校正。步骤S702是校正值校正单元的处理示例。如果焦距是唯一的图像拍摄条件，则根据图8所示的、示出焦距和合成调整率之间的关系的图，来计算与焦距相对应的合成调整率。如果图像拍摄条件是被摄体距离、闪光灯单元的闪光指数或者ISO感光度，则根据类似的方法计算出与图像拍摄条件相对应的合成调整率。诸如如图8所示的、示出图像拍摄条件和合成调整率之间的关系的数据被存储在记录介质（未示出）中，并由WB控制电路103根据需要从记录介质中读出。

以这种方式，通过根据诸如焦距、被摄体距离、闪光灯单元的闪光指数或者ISO感光度的拍摄条件计算合成调整率，能够在考虑闪光是否实际照射被摄体的同时来确定WB校正值。特别地，如果使用焦距作为图像拍摄条件，则能够考虑在高倍率变焦时容易发生的照相机抖动。因此，即使照相机抖动量小到几乎无法检测到，也能够防止由于闪光灯照射范围以及闪光灯光量的检测错误而发生的物体边界部分的色调偏差。

在步骤S702中，通过使用合成调整率，WB控制电路103（色温度差分计算单元）对第一WB校正值（WBCol_R1,WBCol_G1,WBCol_B1）和第二WB校正值（WBCol_R2,WBCol_G2,WBCol_B2）校正如下：

WBCol_R1=WBCol_R1+（WBCol_R2-WBCol_R1）×0.5×合成调整率

WBCol_G1=WBCol_G1+WBCol_G2-WBCol_G1）×0.5×合成调整率

WBCol_B1=WBCol_B1+WBCol_B2-WBCol_B1）×0.5×合成调整率

WBCol_R2=WBCol_R2+WBCol_R1-WBCol_R2）×0.5×合成调整率

WBCol_G2=WBCol_G2+（WBCol_G1-WBCol_G2）×0.5×合成调整率

WBCol_B2=WBCol_B2+（WBCol_B1-WBCol_B2）×0.5×合成调整率

如上所示，第一WB校正值和第二WB校正值的差分随着合成调整率的增加而降低。在上面的示例中，虽然对第一WB校正值和第二WB校正值两者都进行了校正，但是作为不同的示例性实施例，可以校正第一WB校正值或者第二WB校正值中的任意一者。在这种情况下，在WB校正值中的一个被固定时，对另一WB校正值进行校正，使得其更接近固定的WB校正值。

此外，WB控制电路103（色温度差分计算单元和运动量计算单元）计算作为闪光灯单元发光时的WB校正值的第一WB校正值与作为闪光灯单元不发光时的WB校正值的第二WB校正值之间的色温度差分以及被摄体或摄像装置的运动量。接着，WB控制电路103基于色温度差分和运动量，来计算第一合成调整率，并且在计算最终合成调整率时使用所获得的第一合成调整率。用于计算上述色温度差分的处理是色温度差分计算单元的处理示例。此外，用于计算上述被摄体或摄像装置的运动量的处理是运动量计算单元的处理示例。

作为用于计算上述运动量的方法，存在利用使用闪光灯拍摄的图像数据与不使用闪光灯拍摄的图像数据之间的差分的方法。换言之，该方法通过对使用闪光灯和不使用闪光灯拍摄的图像数据进行信号处理，提取亮度边缘信号并获得亮度边缘信号之间的差分来计算上述运动量。

作为运动量的不同计算方法，存在使用从WB控制电路103中的陀螺仪传感器获得的角速度信息的方法。例如通过获得在主曝光（闪光灯单元闪光）期间定期获得的角速度信息的平均值来计算角速度信息。可以利用运动量计算方法的任意一者。此外，可以基于运动量的计算结果，来计算最终运动量。

可以通过使用如上所述获得的色温度差分和运动量并参照图9所示的二维表来计算第一合成调整率。定义如图9所示的与色温度差分和运动量相对应的合成调整率的数据被存储在记录介质（未示出）中，并由WB控制电路103根据需要从记录介质中读出。

如果由图像拍摄条件获得的合成调整率被设定为第二合成调整率，则如下所述能够基于第一合成调整率和第二合成调整率来计算最终的合成调整率。

合成调整率=第一合成调整率+（1-第一合成调整率）×第二合成调整率。

在步骤S703中，通过使用第一WB校正值，WB控制电路103（生成单元）根据使用闪光灯拍摄的图像数据生成（显影）图像数据Yuv1。图像数据Yuv1是第一图像数据的示例。在步骤S704中，通过使用第二WB校正值，WB控制电路103根据不使用闪光灯拍摄的图像数据生成（显影）图像数据Yuv2。图像数据Yuv2是第二图像数据的示例。在步骤S705中，WB控制电路103将使用闪光灯拍摄的图像数据、不使用闪光灯拍摄的图像数据、图像数据Yuv1以及图像数据Yuv2划分为n个块。步骤S703和步骤S704是生成单元的处理示例。

在步骤S706中，WB控制电路103（分量计算单元）通过针对不使用闪光灯拍摄的图像数据的各块（1到n）的各颜色的像素值相加并求平均，来计算颜色平均值（R2[i],G2[i],B2[i]）并计算各块的亮度值a[i]。以下给出各块的亮度值a[i]的计算公式。计算出的各块的亮度值a[i]被用作各块的外部光的亮度分量（以下称为外部光分量）。

a[i]=0.3*R2[i]+0.6*G2[i]+0.1*B2[i]

在步骤S707，WB控制电路103根据不使用闪光灯拍摄的图像数据，计算各块的亮度值a[i]，通过针对使用闪光灯拍摄的图像数据的各块（1至n）的各颜色的像素值求平均来计算颜色平均值（R1[i],G1[i],B1[i]），以及计算各块的亮度值b[i]。此外，如以下公式所示，WB控制电路103通过从不使用闪光灯拍摄的图像数据的各块的亮度值a[i]减去计算出的相应块的亮度值b[i]，来计算各块的闪光灯分量的亮度值（闪光灯分量）c[i]。c[i]=b[i]-a[i]

步骤S706和步骤S707是分量计算单元的处理示例。

在步骤S708中，WB控制电路103（合成比率计算单元）根据如下公式计算各块的合成比率α[i]，在基于相应块的闪光灯分量c[i]和外部光分量a[i]的比率合成图像数据Yuv1和图像数据Yuv2时使用合成比率α[i]：α[i]=c[i]/（a[i]+c[i]）

步骤S708是合成比率计算单元的处理示例。

在步骤S709中，通过使用各块的合成比率α[i]，WB控制电路103（合成单元）通过合成图像数据Yuv1和图像数据Yuv2来生成合成的图像数据Yuv3。根据以下公式，通过使用图像数据Yuv1的颜色评价值（Y1[i],u1[i],v1[i]）和图像数据Yuv2的颜色评价值（Y2[i],u2[i],v2[i]），来计算合成的图像数据Yuv3的颜色评价值（Y3[i],u3[i],v3[i]）。步骤S709是合成单元的处理示例。

Y3[i]=Y1[i]*α[i]+Y2[i]*（1-α[i]）

u3[i]=u1[i]*α[i]+u2[i]*（1-α[i]）

v3[i]=v1[i]*α[i]+v2[i]*（1-α[i]）

为了减轻各块的边界部分的色调偏差，可以通过进行步骤S708中的像素插值处理，根据各块的合成比率α[i]计算各像素的合成比率α’[j]。在这种情况下，例如，双线性插值可以用于像素插值处理。接着，在步骤S709中，WB控制电路103通过使用各像素的合成比率α’[j]合成图像数据Yuv1和图像数据Yuv2，来生成合成的图像数据Yuv3。根据以下公式，通过使用图像数据Yuv1的颜色评价值（Y1[j],u1[j],v1[j]）和图像数据Yuv2的颜色评价值（Y2[j],u2[j],v2[j]），来计算合成的图像数据Yuv3的颜色评价值（Y3[j],u3[j],v3[j]）。

Y3[j]=Y1[j]*α’[j]+Y2[j]*（1-α’[j]）

u3[j]=u1[j]*α’[j]+u2[j]*（1-α’[j]）

v3[j]=v1[j]*α’[j]+v2[j]*（1-α’[j]）

此外，在步骤S709中，可以依据根据使用闪光灯拍摄的图像数据的各块的亮度、是否对各块进行图像数据的合成处理的确定，来改变处理。换言之，如果块的亮度低或者高，则不进行块的合成处理，而使用根据以下描述的正常白平衡控制计算出的WB校正值，进行图像数据的生成（显影）处理。如果块的亮度既不高也不低，则进行与上述图像数据的合成处理类似的处理。

接下来，详细描述正常的白平衡控制方法。首先，WB控制电路103根据与上述WB校正值的计算处理类似的处理，计算第一WB校正值和第二WB校正值。接下来，WB控制电路103进行第一WB校正值和第二WB校正值的合成（加权相加）处理。根据合成（加权相加）处理，通过使用照射率来进行外部光和闪光灯光的加权相加。

接下来，参照图10描述用于计算照射率的被摄体区域的剪切。WB控制电路103获得测试发光前拍摄的图像数据801，并根据图像数据801计算具有m×n个像素的矩阵的亮度块“a”802。接下来，根据在与测试发光之前设定的条件相同的条件下闪光灯单元的测试发光，WB控制电路103获得图像数据803。此外，WB控制电路103根据测试发光时拍摄的图像数据803，获得具有m×n个像素的矩阵的亮度块“b”804。亮度块“a”802和亮度块“b”804被暂时存储在摄像装置的RAM中。测试发光前拍摄的图像数据801的背景被视为与测试发光时拍摄的图像数据803的背景大致相同。因此，亮度块“a”802和亮度块“b”804之间的数据差分与在闪光灯单元的测试发光时从被摄体区域反射的光相对应，并且能够从数据差分获得被摄***置信息“c”805。

WB控制电路103从以这种方式获得的被摄***置信息“c”805中获得值为“1”的被摄***置块，并且还计算所获得的具有值“1”的被摄***置块的亮度值Y1和亮度值Y2。亮度值Y1是闪光灯单元发光时的值，亮度值Y2是闪光灯单元不发光时的值。如果闪光灯单元发光时的曝光条件与闪光灯单元不发光时的曝光条件不同，则WB控制电路103在相同的曝光条件下计算亮度值Y1和亮度值Y2。WB控制电路103通过使用第一WB校正值和第二WB校正值并根据照射到被摄体的光的照射率，来进行合成处理（加权相加）。照射率是如上所述计算出的亮度值Y1和Y2的比率。接着，WB控制电路103将根据合成处理获得的WB校正值确定为用于WB处理的WB校正值，并生成（显影）作为最终图像数据的图像数据。

根据本实施例，如果使用闪光灯光时期望被摄体与背景的适当色调，则通过预先考虑容易校正的图像拍摄条件，能够减轻当被摄体或者摄像装置移动时在物体的边界部分可能发生的色调偏差。因此，用户能够拍摄期望的图像。此外，在被摄体或者摄像装置移动的情况下，无需将应用到被摄体和背景的WB校正值的差限定在预定范围内。因此，根据本实施例，如果被摄体或者摄像装置不移动，则能够对被摄体和背景提供最佳色调。

接下来，描述本公开的第二示例性实施例。根据第二示例性实施例的摄像装置的配置与图1所示的根据第一示例性实施例的摄像装置的配置类似。因此，以下描述中使用图1中的数字字符。此外，主要描述第一示例性实施例与第二示例性实施例的不同之处。

参照图11描述根据第二示例性实施例的图像数据的合成处理。由于图11中的步骤S1103至S1109中的处理与图7中的步骤S703至S709中的处理类似，因此不再重复处理的描述。

在步骤S1101中，WB控制电路103从拍摄的图像数据的颜色信息获得场景信息。场景信息是使用闪光灯拍摄的图像数据的饱和度或者对比度。根据本实施例，利用使用闪光灯拍摄的图像数据的饱和度和对比度中的至少一个。

在步骤S1102中，WB控制电路103通过使用与所获得的场景信息相对应的合成调整率，来校正第一WB校正值和第二WB校正值。能够通过参照图12所示的作为场景信息的饱和度和对比度的二维表，来获取上述合成调整率。定义与场景信息相对应的合成调整率的数据（诸如图12所示的数据）被存储在记录介质（未示出）中，并由WB控制电路103根据需要从记录介质中读出。使用合成调整率的第一WB校正值和第二WB校正值的校正方法与根据第一示例性实施例所述的方法类似。

如同第一示例性实施例，根据第二示例性实施例，根据不使用闪光灯拍摄的图像数据和使用闪光灯拍摄的图像数据，获得各相应块的闪光灯分量和外部光分量的比率，并计算各块的合成比率α[i]。因此，如果闪光灯光的闪光灯照射范围或者闪光灯光量的检测错误发生，则可能导致物体的边界部分的色调偏差。因此，在拍摄白色背景中的黑色被摄体的图像时发生照相机抖动的情况下，即使被摄体处于闪光灯光无法到达的距离，在闪光灯单元发光时，不使用闪光灯拍摄图像数据时的图像数据的黑色部分也可能变白。因此，错误地确定被摄体在闪光灯照射内。然而，根据第二示例性实施例，由于根据饱和度或者对比度对WB校正值进行校正，因此即使饱和度低或者对比度高，也能够防止闪光灯光的照射范围或者闪光灯光量的检测错误。因此，能够防止发生物体的边界部分的色调偏差。

本公开的各方面还可以通过读出并执行记录在存储介质（例如非暂时性计算机可读存储介质）上的用于执行本公开的上述实施例的一个或者多个功能的计算机可执行指令的***或装置的计算机来实现，以及通过由***或装置的计算机例如读出并执行来自存储介质的用于执行上述实施例的一个或者多个功能的计算机可执行指令来执行的方法来实现。计算机可以包括中央处理单元（CPU）、微处理单元（MPU）或者其他电路中的一个或者多个，并且可以包括独立的计算机的网络或者独立的计算机处理器。可以从网络或者存储介质向计算机提供可执行指令。存储介质可以包括例如硬盘、随机存取存储器（RAM）、只读存储器（ROM）、分布式计算机***的存储、光盘（例如光盘（CD）、数字通用盘（DVD）或者蓝光盘（BD）^TM）、闪存设备、存储器卡等中的一个或者多个。

虽然参照示例性实施例对本公开进行了描述，但是应当理解，本公开并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (11)

1.一种图像处理装置，该图像处理装置包括：

计算单元，其被配置为基于闪光灯单元发光时拍摄的图像数据计算第一白平衡校正值，并基于所述闪光灯单元不发光时拍摄的图像数据计算第二白平衡校正值；

获取单元，其被配置为获取与所述闪光灯单元发光时拍摄的图像数据相对应的图像拍摄条件或者基于所述闪光灯单元发光时拍摄的图像数据的颜色信息而获得的场景信息；

校正单元，其被配置为基于所述图像拍摄条件或者所述场景信息，对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正；

生成单元，其被配置为基于从所述校正单元输出的所述第一白平衡校正值，由所述闪光灯单元发光时拍摄的图像数据生成第一图像数据，并基于从所述校正单元输出的所述第二白平衡校正值，由所述闪光灯单元不发光时拍摄的图像数据生成第二图像数据；

分量计算单元，其被配置为基于所述闪光灯单元不发光时拍摄的图像数据的亮度值与所述闪光灯单元发光时拍摄的图像数据的亮度值，来计算外部光的亮度分量与来自所述闪光灯单元的光的亮度分量；以及

合成单元，其被配置为基于所述第一图像数据的亮度分量与所述第二图像数据的亮度分量之间的差分，合成所述第一图像数据和所述第二图像数据。

2.根据权利要求1所述的图像处理装置，其中，所述图像拍摄条件包括当拍摄到所述闪光灯单元发光时拍摄的图像数据时的摄影镜头的焦距、被摄体距离、所述闪光灯单元的闪光指数以及ISO感光度中的至少一个。

3.根据权利要求1所述的图像处理装置，其中，所述场景信息包括所述闪光灯单元发光时拍摄的图像数据的饱和度和对比度中的至少一个。

4.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

色温度差分计算单元，其被配置为计算所述第一白平衡校正值和所述第二白平衡校正值的色温度的差分；以及

运动量计算单元，其被配置为计算被摄体或者摄像装置的运动量，

其中，所述校正单元还基于所述色温度的差分和所述运动量，对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正。

5.根据权利要求1所述的图像处理装置，其中，所述校正单元对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正，使得所述第一白平衡校正值和所述第二白平衡校正值彼此接近。

6.根据权利要求1所述的图像处理装置，其中，基于针对各块的所述外部光的亮度分量和来自所述闪光灯单元的光的亮度分量，所述合成单元针对各块计算所述第一图像数据和所述第二图像数据的合成比率。

7.根据权利要求6所述的图像处理装置，其中，所述合成单元使用像素插值处理，由各块的合成比率计算各像素的合成比率。

8.根据权利要求1所述的图像处理装置，其中，所述合成单元根据各块的亮度值确定是否执行相应块的合成处理。

9.根据权利要求1所述的图像处理装置，其中，所述校正单元校正所述第一白平衡校正值和所述第二白平衡校正值中的至少一个，使得在所述图像拍摄条件表示第一变焦倍率的情况下，与在所述图像拍摄条件表示比所述第一变焦倍率小的第二变焦倍率的情况下相比，所述第一白平衡校正值影响较小。

10.根据权利要求1所述的图像处理装置，其中，所述校正单元校正所述第一白平衡校正值和所述第二白平衡校正值中的至少一个，使得所述图像拍摄条件或所述场景信息表示到达拍摄的图像数据的被摄体的、来自所述闪光灯单元的光量越小，则所述第一白平衡校正值的影响越小。

11.一种由图像处理装置执行的图像处理方法，所述图像处理方法包括以下步骤：

基于闪光灯单元发光时拍摄的图像数据计算第一白平衡校正值，并基于所述闪光灯单元不发光时拍摄的图像数据计算第二白平衡校正值；

获取与所述闪光灯单元发光时拍摄的图像数据相对应的图像拍摄条件或者基于所述闪光灯单元发光时拍摄的图像数据的颜色信息而获得的场景信息；

基于所述图像拍摄条件或者所述场景信息，对所述第一白平衡校正值和所述第二白平衡校正值中的至少一个进行校正；

基于所校正的第一白平衡校正值，由所述闪光灯单元发光时拍摄的图像数据生成第一图像数据，并基于所校正的第二白平衡校正值，由所述闪光灯单元不发光时拍摄的图像数据生成第二图像数据；

基于所述闪光灯单元不发光时拍摄的图像数据的亮度值与所述闪光灯单元发光时拍摄的图像数据的亮度值，来计算外部光的亮度分量与来自所述闪光灯单元的光的亮度分量；以及

基于所述第一图像数据的亮度分量与所述第二图像数据的亮度分量之间的差分，合成所述第一图像数据和所述第二图像数据。

Images