CN103369252A - 图像处理装置、图像处理装置的控制方法及图像拍摄装置 - Google Patents

Abstract

本发明提供图像处理装置、图像处理装置的控制方法及图像拍摄装置。使用闪光灯拍摄的图像与不使用闪光灯拍摄的图像被划分为多个区域，并针对各区域计算辉度值。基于使用闪光灯拍摄的图像中的各区域的辉度值和不使用闪光灯拍摄的图像中的相应区域的辉度值的差，与不使用闪光灯拍摄的图像中的相应区域的辉度值的比率，来计算表示发光设备发出的光对使用闪光灯拍摄的图像中的各区域的辉度值的影响的光影响度。光影响度大于预定阈值的区域被确定为照明区域。

Description

图像处理装置、图像处理装置的控制方法及图像拍摄装置

技术领域

本发明涉及图像处理装置、图像处理装置的控制方法及图像拍摄装置，尤其涉及对准多个图像数据或校正多个图像数据的未对准的技术。

背景技术

近年来，提出了通过对多次拍摄场景而获得的图像进行合成来生成单个图像的方法。该方法的目的是例如在电视摄像机、电子照相机等中扩大固态图像传感器的动态范围、减少噪声并抑制照相机抖动。

在手持照相机多次拍摄场景的情况下，所获得的多个图像由于照相机抖动的影响而出现未对准。因此，在校正未对准（对准）之后合成所获得的多个图像。未对准可以被检测作为例如图像间的运动向量。

在使用图像间检测到的运动向量来对准使用闪光灯拍摄的图像与不使用闪光灯拍摄的图像的情况下，存在不能适当地检测到运动向量的可能性。注意，前者图像表示在图像拍摄期间闪光灯发出光（例如，图像传感器正在被曝光）的图像，并且后者图像表示在图像拍摄期间闪光灯不发出光的图像。当使用由闪光灯发出的光影响检测结果的未对准检测方法时，优选不使用由闪光灯照明的区域的信息。

日本专利特开第2010-26284号公报公开了用于当通过检测特征点的运动向量来进行对准时，提高利用使用闪光灯拍摄的图像来检测运动向量的精度的技术。

发明内容

本发明提供用于提高当对使用闪光灯（由发光设备发出的光）拍摄的图像与不使用闪光灯拍摄的图像进行合成时的对准精度的图像处理装置及控制方法。

根据本发明的一方面，提供一种图像处理装置，所述图像处理装置包括：获取单元，其用于获取使用发光设备发出的光拍摄的第一图像以及不使用所述发光设备发出的光拍摄的第二图像；辉度计算单元，其用于计算各自被划分为多个区域的所述第一图像以及所述第二图像的各区域的辉度值；影响度计算单元，其用于针对所述第一图像的各区域计算表示由所述发光设备发出的光对所述区域的辉度值的影响的光影响度；以及照明区域检测单元，其用于基于所述光影响度从所述第一图像中检测由所述发光设备发出的光照明的照明区域。

根据本发明的另一方面，提供一种图像拍摄装置，所述图像拍摄装置包括：根据本发明任意一项所述的图像处理装置；图像拍摄单元；所述发光设备；以及控制单元，其用于控制所述图像拍摄单元和所述发光设备以通过图像拍摄来获得所述第一图像以及所述第二图像。

根据本发明的又一方面，提供一种图像处理装置的控制方法，所述控制方法包括：获取步骤，获取使用在发光步骤中发出的光拍摄的第一图像以及不使用在所述发光步骤中发出的光拍摄的第二图像；辉度计算步骤，计算各自被划分为多个区域的所述第一图像与所述第二图像的各区域的辉度值；影响度计算步骤，针对所述第一图像的各区域计算表示在所述发光步骤中发出的光对所述区域的辉度值的影响的光影响度；以及照明区域检测步骤，基于所述光影响度从所述第一图像中检测在所述发光步骤中发出的光照明的照明区域。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出依据作为根据本发明的实施例的图像处理装置的一个示例的数字照相机的信号处理的功能配置的示例的框图。

图2A及图2B是由根据本发明的第一实施例的照明区域检测电路执行的操作的流程图。

图3A及图3B是分别示出了本发明的第一实施例中使用闪光灯拍摄的图像以及不使用闪光灯拍摄的图像被划分为块的示例。

图4A至图4C示出了本发明的实施例中闪光影响度的阈值函数以及不使用闪光灯拍摄的图像的辉度的积分值的示例。

图5A及图5B示出了根据本发明的第一实施例的照明区域检测电路的检测结果的示例。

图6A及图6B是由根据本发明的第二实施例的照明区域检测电路执行的操作的流程图。

图7A及图7B是由根据本发明的第三实施例的照明区域检测电路执行的操作的流程图。

图8示出了作为根据本发明的第四实施例的图像处理装置的一个示例的数字照相机中包括的照相机抖动量检测单元的陀螺仪的输出的积分值与照相机抖动量之间的关系。

图9A及图9B示例性地示出了由根据本发明的第四实施例的照明区域检测电路执行的操作。

图10示出了本发明的第四实施例中用于计算辉度积分值的块的尺寸被改变的示例。

图11A及图11B示出了根据本发明的第四实施例的照明区域检测电路的检测结果的示例。

图12A及图12B例示了传统的照明区域的检测中的问题。

具体实施方式

现在，参照附图详细描述本发明的优选实施例。下面的实施例描述了作为根据本发明的图像处理装置的一个示例的图像拍摄装置。然而，应当注意，本发明可以采用任何获取方法，只要其能够获取拍摄了同一场景的使用闪光灯拍摄的图像以及不使用闪光灯拍摄的图像。因此，在本发明中图像拍摄功能不是必不可少的。注意，同一场景表示在图像拍摄时视野的重叠，并且不要求视野或被摄体完全匹配。

（第一实施例）

图1是示出了依据作为根据本发明的第一实施例的图像处理装置的一个示例的数字照相机的信号处理的功能配置的示例的框图。在本实施例中，在闪光灯（发光设备）发光时拍摄的图像（使用闪光灯拍摄的图像）以及在闪光灯不发光时拍摄的图像（不使用闪光灯拍摄的图像）被对准使得它们能够被合成。在本实施例中，基于与不使用闪光灯拍摄的图像的辉度积分值有关的闪光影响度，来从使用闪光灯拍摄的图像中检测由闪光灯已经照明（由于闪光灯的影响辉度增加）的照明区域。注意，闪光灯是指具有从数百微秒到数毫秒的发光时间周期的辅助光源，并且例如由氙灯构成。然而，在本实施例中，使用闪光灯拍摄的图像不限于此，在使用诸如白炽灯、荧光灯以及LED等的保持发光的光源作为发光设备的情况下也可以进行类似的解释。下面的包括本实施例的各实施例的描述提供了闪光灯被用作发光设备的示例。在本实施例中，省略对诸如用于校正具有有限尺寸的光圈的像素的影响的光圈校正等的、通常执行的处理的描述。然而，应当注意，不应排除本实施例中未描述的处理的实现。

参照图1，图像拍摄透镜10是包括变焦透镜与聚焦透镜的透镜组。图像传感器11由将光学图像转换为电子信号的CCD图像传感器、CMOS图像传感器等构成。A/D转换器12将从图像传感器11输出的模拟信号转换为数字信号。图像处理电路13对从A/D转换器12输出的数字信号（数据）应用预定的像素插值、诸如尺寸缩小的缩放处理、白平衡的调整、颜色转换处理等。图像处理电路13通过以上处理获得使用闪光灯拍摄的图像以及不使用闪光灯拍摄的图像。

通常，连续地拍摄使用闪光灯拍摄的图像以及不使用闪光灯拍摄的图像。对拍摄图像的间隔没有特别限制。通常，以数秒的间隔或更短的间隔拍摄图像。毫无疑问，在诸如工作室等的能够忽略外部光影响的环境中，可以以更长的间隔来拍摄图像。例如，数字照相机可以被配置为当发出在用于合成图像的图像拍摄模式下拍摄图像的指令时，连续拍摄使用闪光灯的图像以及不使用闪光灯的图像。这种图像拍摄模式的示例可以包括使用图像合成的照相机抖动校正模式以及动态范围增加模式（HDR模式）。尽管本实施例描述了使用闪光灯拍摄的图像与不使用闪光灯拍摄的图像的对准，但是要被合成的图像不限于这两种图像。

图像处理电路13将使用闪光灯拍摄的图像存储在闪光图像存储器14中，并且将不使用闪光灯拍摄的图像存储在无闪光图像存储器15中。照明区域检测电路16基于存储在闪光图像存储器14中的使用闪光灯拍摄的图像以及存储在无闪光图像存储器15中的不使用闪光灯拍摄的图像，来从使用闪光灯拍摄的图像中检测由闪光灯照明的区域（照明区域）。注意，在本实施例中，图像被划分为多个块，并以块为单位检测由闪光灯照明的区域。

未对准检测电路17针对已经由照明区域检测电路16检测过的、由闪光灯照明的区域（块）之外的区域，检测使用闪光灯拍摄的图像与不使用闪光灯拍摄的图像之间的未对准。未对准校正电路18使用未对准检测电路17的检测结果来校正（对准）使用闪光灯拍摄的图像与不使用闪光灯拍摄的图像之间的未对准。

未对准校正电路18的输出在记录控制单元19对其应用例如预定的压缩及编码处理之后，被存储在存储介质30中。可选地，未对准校正电路18的输出可以在显示控制单元20对其应用例如根据显示介质31的分辨率的缩放处理以及伽马处理之后，显示在显示介质31上。可选地，未对准校正电路18的输出可以被输出到外部。存储介质30可以是非易失性内置存储器、可附装/拆卸的SD卡等。尽管显示介质31使用了液晶，但也可以使用其他材料替代。

发光单元21作为用于拍摄图像的辅助光，在拍摄图像时发光。在本实施例中，发光单元21是根据诸如曝光以及被摄体运动的图像拍摄条件以数百微秒到数毫秒的发光时间周期发光的闪光灯。

控制单元22经由总线控制上述照相机的组件。

照相机抖动量检测单元101包括陀螺仪等，并检测数字照相机的照相机抖动量。在第四实施例中使用照相机抖动量检测单元101。

现在将参照图2A及图2B的流程图描述照明区域检测电路16的操作。注意照明区域检测电路16的一部分或全部可以被配置为硬件或软件。此外，下面的处理的一部分可以通过控制单元22的指令或计算来执行。在本处理之前，根据预定的程序图，通过来自控制单元22的指令获得作为在发光单元21发光时拍摄的图像的、使用闪光灯拍摄的图像以及作为在发光单元21不发光时拍摄的图像的、不使用闪光灯拍摄的图像，并分别将这两种图像存储在闪光图像存储器14以及无闪光图像存储器15中。注意，使用闪光灯拍摄的图像可以是通过使用未被布置在照相机中的任何外部发光设备发出的光进行图像拍摄而获得的图像。可选地，已经由其他照相机等获得的使用闪光灯拍摄的图像以及不使用闪光灯拍摄的图像可以被分别存储在闪光图像存储器14和无闪光图像存储器15中。

在步骤S100中，通过利用使用闪光灯拍摄的图像以及不使用闪光灯拍摄的图像中的一者作为基准，照明区域检测电路16补偿这些图像的白平衡。

在使用闪光灯拍摄的图像的图像拍摄条件（例如，感光度、光圈值以及快门速度）与不使用闪光灯拍摄的图像的图像拍摄条件不同的情况下，在步骤S101和S102中，照明区域检测电路16进行增益调整以抵消图像拍摄条件之间的差异。例如，假设下面的图像拍摄条件：以相同的感光度以及相同的光圈值拍摄使用闪光灯拍摄的图像以及不使用闪光灯拍摄的图像，但是拍摄前者图像的快门速度比拍摄后者图像的快门速度快一级。在这种情况下，照明区域检测电路16将使用闪光灯拍摄的图像的增益增加一级。对于由数字照相机自身拍摄的图像，存储并使用图像拍摄时的图像拍摄条件的设置。对于由其他照相机等拍摄的图像，读取并使用在其头部等中描述的图像拍摄条件。

作为用于补偿白平衡的处理（在图像拍摄条件不同时，连同增益调整处理）的结果，在闪光灯尚未照明的区域，使用闪光灯拍摄的图像与不使用闪光灯拍摄的图像具有相同的辉度，只要不存在未对准以及运动被摄体的影响即可。

在步骤S103中，照明区域检测电路16将使用闪光灯拍摄的图像以及不使用闪光灯拍摄的图像以与图3A及图3B所示的类似的方式划分为多个块。图3A示出了使用闪光灯拍摄的图像，图3B示出了不使用闪光灯拍摄的图像。在图3A中，点阴影的区域已经由强闪光灯照明，而线阴影的区域已经由弱闪光灯照明。充当辉度计算单元的照明区域检测电路16针对使用闪光灯拍摄的图像以及不使用闪光灯拍摄的图像中的各个，以块为单位计算辉度值，更具体地计算辉度积分值。

在步骤S104中，照明区域检测电路16计算使用闪光灯拍摄的图像中的各块的辉度积分值与不使用闪光灯拍摄的图像中的相应块的辉度积分值的差。

此外，还充当影响度计算单元的照明区域检测电路16利用使用闪光灯拍摄的图像的辉度积分值Itg_flash与不使用闪光灯拍摄的图像的辉度积分值Itg_no_flash，来计算如下定义的闪光影响度（光影响度）。

闪光影响度=（Itg_flash-Itg_no_flash）/Itg_no_flash

闪光影响度是表示由闪光灯发出的光对辉度积分值的影响（辉度的增加比率）的值。通过将闪光影响度定义为使用闪光灯拍摄的图像和不使用闪光灯拍摄的图像的差与不使用闪光灯拍摄的图像的比率，能够抑制下面的问题：当上述差由于不使用闪光灯拍摄的图像中原本黑暗的区域中的噪声以及照相机抖动而变大时，相应的区域由于该差而被错误确定为照明区域。

在步骤S105中，照明区域检测电路16针对各块位置计算闪光影响度。

在步骤S106中，照明区域检测电路16确定针对各块位置计算的闪光影响度是否大于对应于Itg_no_flash的值的阈值，其中Itg_no_flash的值是用于计算闪光影响度的、不使用闪光灯拍摄的图像的辉度积分值。图4A示出了作为不使用闪光灯拍摄的图像的辉度积分值的Itg_no_flash的值与闪光影响度的阈值（阈值函数）之间的对应关系的示例。如图4A所示，不使用闪光灯拍摄的图像的辉度积分值越小（也就是说，不依赖于闪光灯的原始图像的亮度越低），阈值越大。以这种方式，表现小差异的区域不容易被确定为照明区域。这能够抑制区域由于噪声以及照相机抖动而被错误地确定为照明区域的问题。

当针对使用闪光灯拍摄的图像中的块计算的闪光影响度大于对应于Itg_no_flash（Itg_no_flash的值是针对不使用闪光灯拍摄的图像中的相应块计算的辉度积分值）的阈值时，，照明区域检测电路16确定使用闪光灯拍摄的图像中的块已经由闪光灯照明。

照明区域检测电路16从对准中排除被确定为已经由闪光灯照明的块的块（步骤S107）。更具体地，未对准检测电路17不从所排除的块中检测运动向量。当闪光影响度等于或小于阈值时，相应块被确定为已经由闪光灯照明的块，并用于对准（S108）。

可以如下计算阈值函数。首先，使用预先已经获得的使用闪光灯拍摄的图像以及相应的不使用闪光灯拍摄的图像，针对各块位置计算不使用闪光灯拍摄的图像的辉度积分值以及闪光影响度，并选择用作阈值的多个块。针对多个拍摄场景进行该操作。如图4B所示，使用用作阈值的块中的、对应于不使用闪光灯拍摄的图像的辉度积分值的闪光影响度来计算近似曲线，并且该近似曲线被用作阈值函数。通过使用该阈值函数，即使当在人物的背景中存在高辉度被摄体并且当弱闪光灯照明地面时，也能够以高精度检测由闪光灯照明的块。

图5A及图5B分别示出了照明区域检测电路16从图3A及图3B所示的图像检测由闪光灯照明的块的结果的示例。在图5A及图5B中，已经被检测为由闪光灯照明的块的块标有“X”。

现在将描述未对准检测电路17的操作。作为运动向量的检测方法的一个示例，针对各小块计算对应于辉度的最小绝对差和（sum of absolutedifferences,SAD）的点。以这种方式，能够从各块检测运动向量。通过对图像应用根据计算出的运动向量而计算出的映射参数，能够校正未对准。这里，未对准检测电路17将各图像划分为任意尺寸的块，并通过计算对应于辉度的最小SAD（也就是说，相应像素的辉度值的差的绝对值的最小和）的点，来针对各对相应块计算运动向量。使用计算出的运动向量进行对准（未对准的校正）。

在本实施例中，由未对准检测电路17确定的块的尺寸与照明区域检测电路16计算辉度积分值的块的尺寸相同。除了已经被照明区域检测电路16检测为由闪光灯照明的块之外，未对准检测电路17针对各块计算运动向量。由于通过将图像以上面的方式划分为块来计算运动向量的技术是公知的，因此省略其详细描述。

现在描述未对准校正电路18的操作。未对准校正电路18使用由未对准检测电路17计算出的运动向量来校正未对准。未对准校正电路18使用例如仿射变换以及投影变换来从以块为单位计算出的多个运动向量计算映射参数。例如，已知在日本专利特开第2011-13890号公报中描述的用于从多个运动向量之中选择用于计算映射参数的运动向量的技术。由于本发明可以采用任何方法，因此省略该技术的详细描述。通过使用计算出的映射参数转换一个图像来校正未对准。应用映射参数的图像可以是使用闪光灯拍摄的图像或不使用闪光灯拍摄的图像中的一者。例如，在通过将使用闪光灯拍摄的图像用作基准来从不使用闪光灯拍摄的图像计算运动向量的情况下，能够通过对不使用闪光灯拍摄的图像应用映射参数来校正未对准。

已经校正了未对准的图像能够被合成以增加动态范围、校正照相机抖动等。

如上所述，在本实施例中，闪光影响度被用作表示闪光灯发出的光对辉度积分值的影响（辉度的增加比率）的值，并且预先确定闪光影响度的阈值与不使用闪光灯拍摄的图像的辉度之间的关系。在利用使用闪光灯拍摄的图像的辉度以及不使用闪光灯拍摄的图像的辉度计算出的闪光影响度大于对应于不使用闪光灯拍摄的图像的辉度的闪光影响度的阈值的情况下，确定不使用闪光灯拍摄的图像中的被摄体已经由闪光灯照明。以这种方式，除了使用闪光灯拍摄的图像的辉度与不使用闪光灯拍摄的图像的辉度之间的简单差异以外，还考虑到对应于不使用闪光灯拍摄的图像的辉度的阈值，来确定被摄体是否已经由闪光灯照明。因此，能够以高精度进行确定。

在对准使用闪光灯拍摄的图像以及不使用闪光灯拍摄的图像时，针对两种图像的各对相应块来进行该确定。已经被确定为由闪光灯照明的块的、使用闪光灯拍摄的图像中的块被从用于计算对准所使用的运动向量的处理中排除。结果，能够提高运动向量的计算精度，从而提高对准的精度。

（第二实施例）

下面描述本发明的第二实施例。与第一实施例相反，本实施例还包括用于基于使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差来确定照明区域（已经由闪光灯照明的块）的处理。除了照明区域检测电路16的配置之外，根据本实施例的配置与根据第一实施例的配置相同。在本实施例中省略在第一实施例中已经给出的说明。

图6A及图6B是由根据本实施例的照明区域检测电路16执行的处理的流程图。图6A中的步骤S200至步骤S204的处理类似于在第一实施例中描述的图2A中的步骤S100至步骤S104的处理，因此省略其描述。

在步骤S205中，照明区域检测电路16针对各对相应块来对使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差与预定第一阈值进行比较。在使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差大于第一阈值的情况下，照明区域检测电路16确定当前正在处理的块是由闪光灯照明的块，并且从对准中排除该块（S208）。在使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差等于或小于第一阈值的情况下，照明区域检测电路16以类似于第一实施例的步骤S105的方式来计算闪光影响度（S206）。

在步骤S207中，照明区域检测电路16将闪光影响度与第二阈值（对应于第一实施例中描述的阈值）进行比较。在闪光影响度大于第二阈值的情况下，照明区域检测电路16确定当前正在处理的块是由闪光灯照明的块，并从对准中排除该块（S208）。在闪光影响度等于或小于第二阈值的情况下，照明区域检测电路16确定当前正在处理的块是未由闪光灯照明的块，并将该块用于对准（S209）。

在辉度积分值之间的差足够大的情况下，相应块很有可能已经由强闪光灯照明。因此，在本实施例中，在使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差大于第一阈值的情况下，当前正在处理的块被确定为由闪光灯照明的块，而无需计算闪光影响度。以这种方式，处理被简化。结果，与第一实施例相比，能够加快确定处理的速度。

注意，即使在使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差大于第一阈值的情况下，也可以计算闪光影响度。

（第三实施例）

现在将描述本发明的第三实施例。在本实施例中，根据第二实施例的用于计算闪光影响度的条件被改变。除照明区域检测电路16的配置之外，根据本实施例的配置与根据第一实施例的配置相同。在本实施例中省略在第一实施例中已经给出的说明。

图7A及图7B是由根据本实施例的照明区域检测电路16执行的处理的流程图。图7A及图7B中的步骤S300至S305的处理类似于在第一实施例中描述的图2A中的步骤S100至S104的处理以及在第二实施例中描述的图6B中的步骤S205的处理，因此将省略其描述。

在使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差等于或小于第一阈值的情况下，照明区域检测电路16在改变各阈值的同时，重复用于将辉度积分值之间的差与阈值进行比较的处理以及用于将闪光影响度与阈值进行比较的处理。

在步骤S306中，照明区域检测电路16设置用于将辉度积分值之间的差与阈值进行比较的处理以及用于将闪光影响度与阈值进行比较的处理的阈值（N=1）。注意，在这里设置的阈值之中，与辉度积分值之间的差比较的第2N个阈值是小于第一阈值的预定值。与闪光影响度比较的第2N+1个阈值选自与第2N个阈值的大小相对应地预先准备的多个阈值。更具体地，第2N个阈值的大小越小，第2N+1个阈值越大。

照明区域检测电路16针对各块来将使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差与第2N个阈值进行比较（S307）。在使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差等于或小于第2N个阈值的情况下，照明区域检测电路16确定稍后描述的阈值确定处理的执行次数（S310）。在使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差大于第2N个阈值的情况下，照明区域检测电路16计算闪光影响度（S308）。

在步骤S309中，照明区域检测电路16将闪光影响度与第2N+1个阈值进行比较。在闪光影响度大于第2N+1个阈值的情况下，照明区域检测电路16确定当前正在处理的块是由闪光灯照明的块，并从对准中排除该块（S312）。

另一方面，在闪光影响度等于或小于第2N+1个阈值的情况下，照明区域检测电路16确定当前正在处理的块是未由闪光灯照明的块，并将该块用于对准（S313）。

当在步骤S310中照明区域检测电路16确定阈值确定处理尚未被执行预定次数时，照明区域检测电路16重新设置阈值（S311）。更具体地，照明区域检测电路16使N递增1，将更小的阈值设置为第2N个阈值，并将对应于第2N个阈值的阈值设置为第2N+1个阈值。

关于各块是否已经由闪光灯照明的确定结果在考虑到闪光影响度时比在仅使用积分值之间的差时更精确。根据积分值之间的差来改变阈值使得确定结果更精准。因此，在本实施例中，在以逐步的方式减小第2N个阈值的同时将辉度积分值之间的差与第2N个阈值进行比较，并且使用对应于积分值之间的差的范围的合适阈值基于闪光影响度来进行确定。可以根据例如图像传感器以及闪光灯的特性来适当地确定减小第2N个阈值的范围以及用作第2N个阈值的阈值。

当在步骤S310中照明区域检测电路16确定阈值确定处理已经被执行了预定次数时，照明区域检测电路16确定此时尚未被确定为由闪光灯照明的块的块为尚未由闪光灯照明的块，并在对准中使用这些块（S313）。

如上所述，本实施例通过使用对应于辉度积分值的差的闪光影响度的阈值，尤其能够提高关于已经被弱闪光灯照明的块的确定精度。

（第四实施例）

现在将描述本发明的第四实施例。在第一至第三实施例中，针对照明区域的检测计算辉度积分值所用的块尺寸与针对运动向量的检测计算辉度的SAD所用的块尺寸相同（相同的块划分方法）。另一方面，在本实施例中，根据装置的运动量来改变块尺寸以及阈值函数的阈值中的至少一者。本实施例可适用于第一至第三实施例中的任意一者。注意，在本实施例中省略在第一至第三实施例中已经给出的说明。

本实施例使用由照相机抖动量检测单元101检测到的运动量。图8示出了照相机抖动量检测单元101中包括的、作为传感器的陀螺仪的三个轴中的一个的输出的积分值的绝对值与运动量之间的关系的一个示例。由此，通过对从照相机抖动量检测单元101输出的值进行积分，能够检测数字照相机的运动量。

在本实施例中，如图9A及图9B所示，照明区域检测电路16计算辉度积分值所用的块尺寸（虚线）与未对准检测电路17计算辉度的SAD所用的块尺寸（实线）不同。应当注意，一对相应的使用虚线描画的块与使用实线描画的块被设置为使得两个块是同心的。图9A示出了使用闪光灯拍摄的图像，图9B示出了不使用闪光灯拍摄的图像。

尽管为了方便，图9A及图9B例示了任何两个相邻块间的间隔，但实际上可能不存在这种间隔。例如，根据第一至第三实施例的块划分可以被应用于计算SAD所用的块，并且计算辉度积分值所用的块可以与计算SAD所用的块重叠。

此外，在本实施例中，照明区域检测电路16能够如图10所示根据照相机抖动量检测单元101检测出的运动量改变照明区域检测电路16计算辉度积分值所用的块尺寸。照明区域检测电路16还能够改变如图4C所示的第一实施例中描述的阈值函数的阈值和/或第二及第三实施例中描述的阈值。照明区域检测电路16能够改变块尺寸以及阈值中的一者或两者。

图10示出了在可检测的运动量被分类为三个级的情况下照明区域检测电路16计算辉度积分值所用的块尺寸被改变的示例。假设运动量被分类为运动量（大）、运动量（中）以及运动量（小）。图10中的10a、10b以及10c描绘的尺寸分别对应于运动量（大）、运动量（中）以及运动量（小）。在图10中，未对准校正电路18计算辉度的SAD所用的块尺寸10a至10c未被改变，但是照明区域检测电路16计算辉度积分值所用的块尺寸被改变。

在图10中，10d示出了照明区域检测电路16计算辉度积分值所用的块尺寸与运动量成比例地改变的示例。这里，在垂直方向上的运动量为Iv，在水平方向上的运动量为Ih。将计算辉度的SAD所用的块尺寸用作基准，计算辉度积分值所用的块按与运动量成比例的尺寸增加。块在垂直方向上增加的尺寸为Lv，块在水平方向上增加的尺寸为Lh。使用系数α，块按尺寸Lv=α×Iv以及尺寸Lh=α×Ih增加。

图4C示出了根据运动量改变阈值函数的阈值的示例。预先计算多人拍摄图像时检测到的运动量的平均值Im，并且确定基于运动量的平均值Im的阈值函数。假定拍摄图像时检测到的运动量是I=√{(Iv)²+(Ih)²}，并且系数是β。可以通过将作为权重的β×Im/I乘以基于运动量的平均值Im的阈值函数来改变阈值函数的阈值。

此外，可以将对应于运动量的β×Im/I乘以在第二及第三实施例中描述的阈值来改变这些阈值。

图11A及图11B分别示出了照明区域检测电路16从图9A及图9B所示的图像中检测由闪光灯照明的块的结果。在图11A及图11B中，被确定为由闪光灯照明的块的块标有“X”。

根据本实施例，能够减小由于由照相机抖动导致的未对准引起的辉度改变的影响，并且能够提高由闪光灯照明的块的检测精度。

在上述实施例中，通过将使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差除以不使用闪光灯拍摄的图像的辉度积分值得出各块的闪光影响度。然而，只要基于使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差，就可以适当地改变闪光影响度，因为差所除以的值取决于与要比较的阈值的关系。例如，使用闪光灯拍摄的图像的辉度积分值与不使用闪光灯拍摄的图像的辉度积分值的差可以被用作闪光影响度，并且能够与基于调整过的阈值函数的阈值进行比较。

此外，在上述实施例中，与闪光影响度比较的阈值是不使用闪光灯拍摄的图像的辉度值的函数。然而，阈值不限于此。可选地，阈值可以是使用闪光灯拍摄的图像的辉度值的函数。

在上述实施例中，辉度积分值被计算作为各块的辉度值的指标。然而，本发明不限于此。例如，在上述实施例中，平均值、中间值或者基于针对各块生成的直方图的辉度的众数（mode）可以被计算作为各块的辉度值。

此外，在上述实施例中，为了检测各区域是否为照明区域，将各图像以图9A及图9B所示的块的格式划分为区域。然而，将各图像划分为区域的方法不限于此。例如，各图像可以被划分为具有矩形以外形状的区域，或者可以被划分为根据预先已经检测到的被摄体的形状的区域。在这种情况下，区域可能不具有相同尺寸，因此能够例如根据各尺寸来对所计算的值进行加权。

此外，在上述实施例中，从图像处理电路13输出的辉度值（YUV信号中的Y信号）被用于各块的亮度比较。然而，本发明不限于此。可选地，可以通过使用拜耳阵列的图像的一部分或者全部彩色成分值（例如RGB）或插值处理后获得的图像的像素的RGB值计算辉度值进行亮度比较，来确定照明区域。

其他实施例

本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的***或装置的计算机（或诸如CPU或MPU的设备）来实现，以及通过由***或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质（例如计算机可读介质）向计算机提供程序。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有变型例以及等同的结构和功能。

Claims (15)

1.一种图像处理装置，所述图像处理装置包括：

获取单元，其用于获取使用发光设备发出的光拍摄的第一图像以及不使用所述发光设备发出的光拍摄的第二图像；

辉度计算单元，其用于计算各自被划分为多个区域的所述第一图像以及所述第二图像的各区域的辉度值；

影响度计算单元，其用于针对所述第一图像的各区域计算表示所述发光设备发出的光对该区域的辉度值的影响的光影响度；以及

照明区域检测单元，其用于基于所述光影响度从所述第一图像中检测由所述发光设备发出的光照明的照明区域。

2.根据权利要求1所述的图像处理装置，其中，所述影响度计算单元基于针对各区域的所述第一图像的辉度值和所述第二图像的辉度值的差与所述第二图像的辉度值的比率来计算所述光影响度。

3.根据权利要求1所述的图像处理装置，其中，所述照明区域检测单元检测所述光影响度大于预定阈值的区域作为所述照明区域。

4.根据权利要求3所述的图像处理装置，其中，在已经计算出所述光影响度的各区域中，根据所述第一图像的辉度值或所述第二图像的辉度值来设置所述预定阈值。

5.根据权利要求2所述的图像处理装置，其中，所述照明区域检测单元检测所述第一图像的辉度值与所述第二图像的辉度值的差大于预定阈值的区域作为所述照明区域。

6.根据权利要求5所述的图像处理装置，其中，针对所述第一图像的辉度值与所述第二图像的辉度值的差大于所述预定阈值的区域，所述影响度计算单元不计算所述光影响度。

7.根据权利要求5所述的图像处理装置，

其中，根据所述第一图像的辉度值与所述第二图像的辉度值的差的大小，准备所述第二图像的辉度值与所述光影响度的阈值之间的多个关系，并且

根据所述第一图像的辉度值与所述第二图像的辉度值的差的大小，以逐步的方式执行所述影响度计算单元进行的所述光影响度的计算以及所述照明区域检测单元进行的检测。

8.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

未对准检测单元，其用于检测所述第一图像与所述第二图像之间的未对准，

其中，所述未对准检测单元在检测所述未对准时，不使用已经由所述照明区域检测单元检测作为所述照明区域的区域的辉度值。

9.根据权利要求8所述的图像处理装置，所述图像处理装置还包括：

运动量检测单元，其用于检测所述图像处理装置的运动量，

其中，所述未对准检测单元基于所述第一图像中的各区域以及所述第二图像中的相应区域的运动向量来检测所述第一图像与所述第二图像之间的未对准，并且

由所述辉度计算单元计算所述辉度值的区域以及计算所述运动向量的区域是同心的，并且由所述运动量检测单元检测到的所述运动量越大，由所述辉度计算单元计算所述辉度值的区域的尺寸越大。

10.根据权利要求8所述的图像处理装置，所述图像处理装置还包括：

未对准校正单元，其用于基于所述未对准检测单元对所述第一图像与所述第二图像之间的未对准的检测，来校正所述第一图像与所述第二图像之间的未对准。

11.一种图像拍摄装置，所述图像拍摄装置包括：

根据权利要求1至10中任意一项所述的图像处理装置；

图像拍摄单元；

所述发光设备；以及

控制单元，其用于控制所述图像拍摄单元和所述发光设备以通过图像拍摄来获得所述第一图像以及所述第二图像。

12.一种图像处理装置的控制方法，所述控制方法包括：

获取步骤，获取使用在发光步骤中发出的光拍摄的第一图像以及不使用在所述发光步骤中发出的光拍摄的第二图像；

辉度计算步骤，计算各自被划分为多个区域的所述第一图像以及所述第二图像的各区域的辉度值；

影响度计算步骤，针对所述第一图像的各区域计算表示在所述发光步骤中发出的光对该区域的辉度值的影响的光影响度；以及

照明区域检测步骤，基于所述光影响度从所述第一图像中检测由在所述发光步骤中发出的光照明的照明区域。

13.根据权利要求12所述的图像处理装置的控制方法，其中，所述影响度计算步骤基于针对各区域的所述第一图像的辉度值和所述第二图像的辉度值的差与所述第二图像的辉度值的比率来计算所述光影响度。

14.根据权利要求12所述的图像处理装置的控制方法，其中，所述照明区域检测步骤检测所述光影响度大于预定阈值的区域作为所述照明区域。

15.根据权利要求14所述的图像处理装置的控制方法，其中，在已经计算出所述光影响度的各区域中，根据所述第一图像的辉度值或所述第二图像的辉度值来设置所述预定阈值。

Images