CN103379281A - 用于进行图像合成的图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种用于进行图像合成的图像处理设备和图像处理方法。不管拍摄对象的照明条件如何，该图像处理设备都能够适当地合成闪光灯照明图像和非闪光灯照明图像。将闪光灯发光拍摄的感光度设置为比非闪光灯发光拍摄的感光度低，并且利用所设置的感光度连续地拍摄闪光灯照明图像以及多个非闪光灯照明图像。利用增益量对闪光灯照明图像进行增益处理，并且对多个非闪光灯照明图像相对于闪光灯照明图像的位置偏差进行校正。在考虑闪光灯照明图像中的闪光灯照明量的情况下，将通过合成进行了增益处理的图像和位置偏差校正的图像所获得的平均化图像与闪光灯照明图像进行合成，从而获得合成图像。

Description

用于进行图像合成的图像处理设备和图像处理方法

技术领域

本发明涉及一种用于合成多个图像的图像处理设备和图像处理方法。

背景技术

为了利用诸如手持式数字照相机的摄像设备来拍摄夜景，利用高感光度进行拍摄以抑制手抖动，然而，这导致了噪声增大。因此，已知如下技术：将利用高感光度拍摄的多个图像进行对准，针对图像的每个像素对图像的像素值进行算术平均，并且对平均后的像素值进行合成，从而在抑制手抖动的同时获得噪声较少的图像。

还已知一种摄像设备，其中，将在光从发光单元(闪光灯单元)照射到被摄体上的情况下所拍摄到的单个闪光灯照明(strobe-illuminated)图像与不使用发光单元而拍摄到的多个非闪光灯照明(non-strobe-illuminated)图像进行合成(例如，参见日本特开2007-124292)。

在这种摄像设备中，当在使闪光灯单元发光的情况下进行拍摄时，将感光度设置为低。当在不使闪光灯单元发光的情况下进行拍摄时，将感光度设置为高。接着，确定闪光灯照明图像和非闪光灯照明图像的每个像素的合成比率，并且基于所确定的合成比率来对这些图像进行合成。例如，将闪光灯照明图像的各像素的亮度值的大小与非闪光灯照明图像的对应像素的亮度值的大小进行比较，并且通过使用亮度值较大的像素(即，通过将亮度值较大的像素的合成比率设置为100%)来对这些图像进行合成。

然而，例如，在利用照明光进行照明的人物区域内存在阴影区域时，在某些情况下没有将闪光灯照明图像用于人物区域。在这种情况下，合成图像变得不自然。

发明内容

本发明提供一种不管被摄体的照明条件如何都能够将闪光灯照明图像和非闪光灯照明图像适当地进行合成的图像处理设备和图像处理方法。

根据本发明的一个方面，提供一种图像处理设备，包括：拍摄单元，用于连续地拍摄第一图像和多个第二图像，其中，所述第一图像是通过利用发光单元进行发光的第一拍摄而得到的，所述多个第二图像是通过不利用发光的第二拍摄而得到的；感光度设置单元，用于将所述第一拍摄的感光度设置为比所述第二拍摄的感光度低；增益处理单元，用于进行将所述第一图像的图像数据乘以增益量的增益处理；平均化单元，用于基于由所述增益处理单元进行了增益处理的第一图像以及所述多个第二图像来创建平均化图像；以及合成单元，用于通过将由所述拍摄单元拍摄到的第一图像和由所述平均化单元创建的平均化图像进行合成以创建合成图像。

根据本发明的另一方面，提供了一种图像处理设备，包括：拍摄单元，用于连续地拍摄第一图像和多个第二图像，其中，所述第一图像是通过利用发光单元进行发光的第一拍摄而得到的，所述多个第二图像是通过不利用发光的第二拍摄而得到的；感光度设置单元，用于将所述第一拍摄的感光度设置为比所述第二拍摄的感光度低；增益处理单元，用于进行将所述第一图像的图像数据乘以增益量的增益处理；平均化单元，用于基于由所述增益处理单元进行了增益处理的第一图像以及所述多个第二图像来创建平均化图像；以及合成单元，用于将由所述拍摄单元拍摄到的第一图像的像素值与由所述平均化单元创建的平均化图像的像素值进行比较，选择较亮的像素值，并且基于所选择的像素值创建合成图像。

根据本发明的又一方面，提供了一种由图像处理设备执行的图像处理方法，包括：感光度设置步骤，用于将利用发光单元进行发光的第一拍摄的感光度设置为比不利用发光的第二拍摄的感光度低；拍摄步骤，用于利用在所述感光度设置步骤中设置的感光度，连续地拍摄通过所述第一拍摄而得到的第一图像以及通过所述第二拍摄而得到的多个第二图像；增益处理步骤，用于进行将所述第一图像的各个像素值分别乘以增益量的增益处理；平均化步骤，用于基于在所述增益处理步骤中进行了增益处理的第一图像以及所述多个第二图像来创建平均化图像；以及合成步骤，用于通过针对每个像素将在所述拍摄步骤中拍摄到的第一图像和在所述平均化步骤中创建的平均化图像进行合成，以创建合成图像。

根据本发明的又一方面，提供了一种由图像处理设备执行的图像处理方法，包括：感光度设置步骤，用于将利用发光单元进行发光的第一拍摄的感光度设置为比不利用发光的第二拍摄的感光度低；拍摄步骤，用于利用在所述感光度设置步骤中设置的感光度，连续地拍摄通过所述第一拍摄而得到的第一图像以及通过所述第二拍摄而得到的多个第二图像；增益处理步骤，用于进行将所述第一图像的各个像素值分别乘以增益量的增益处理；平均化步骤，用于基于在所述增益处理步骤中进行了增益处理的第一图像以及所述多个第二图像来创建平均化图像；以及合成步骤，用于将在所述拍摄步骤中拍摄到的第一图像的像素值与在所述平均化步骤中创建的平均化图像的像素值进行比较，选择较亮的像素值，并且基于所选择的像素值来创建合成图像。

利用本发明，不管拍摄对象的照明条件如何都能够适当地合成闪光灯照明图像和非闪光灯照明图像。

本发明的其它特征将根据以下参考附图的典型实施例的说明而变得明显。

附图说明

图1是示出作为根据本发明的一个实施例的示例性图像处理设备的数字照相机的硬件结构的框图。

图2是示意性地示出用于合成多个图像的图像合成处理的图。

图3A是示出拍摄并合成多个图像的整体处理过程的流程图。

图3B是示出在整体处理中进行的合成处理过程的流程图。

图4A和图4B是分别示出用于对多个图像的位置偏差进行校正的位置偏差量检测所使用的位置对准基准图像中的位置偏差量检测基准块和位置对准对象图像的图。

图5是示出在根据位置对准基准图像中的亮度值与位置对准对象图像中的亮度值之差计算图像中的闪光灯照明量时所使用的亮度差-闪光灯照明量表的例子的图。

图6A至图6C是示出在夜景的背景下具有人物的拍摄场景的例子的图。

图7A至图7D是示出具有被照明的人物的场景的例子、拍摄图像的例子以及合成图像的例子的图。

具体实施方式

现在将参考示出本发明优选实施例的附图对本发明进行以下详细说明。

图1是示出作为根据本发明的一个实施例的图像处理设备例子的数字照相机的硬件结构的框图。

在图1中，附图标记40表示包括拍摄镜头400、光圈401、快门402以及摄像元件403的数字照相机，其中，进入拍摄镜头400的光束L(光学图像)通过摄像元件403被转换成电信号。元件400到403构成拍摄单元。

数字照相机40还包括A/D转换器404和定时发生器405，其中，从摄像元件403输出的模拟信号通过A/D转换器404转换成数字信号，定时发生器405用于向摄像元件403、A/D转换器404以及D/A转换器406提供时钟信号和控制信号。

存储控制器408控制A/D转换器404、定时发生器405、D/A转换器406、图像显示存储器409、存储器410、压缩/解压缩单元411以及图像处理器413。通过A/D转换器404进行A/D转换所获得的数字数据通过图像处理器413以及存储控制器408或者通过存储控制器408而被写入图像显示存储器409或者存储器410。

图像显示存储器409存储通过D/A转换器406输出到诸如液晶显示器(LCD)的第一显示单元407的图像显示数据。第一显示单元407上显示有(诸如白平衡选择菜单的)多种菜单，通过操作第一操作单元424可以从所述多种菜单中选择并且显示期望的菜单。

存储器410具有用于存储所拍摄的预定数量的静止图像的存储容量，并且被***控制器430以及图像处理器413用作它们的工作区域。压缩/解压缩单元411读取存储器410中存储的图像数据以对其进行压缩处理，读取压缩图像数据以对其进行解压缩处理，并且将处理后的数据写入存储器410中。外部存储装置412是能够安装至数字照相机40的主体并且能够从数字照相机40的主体卸下的外部附加存储介质(诸如CF卡、SD卡等)。临时存储在存储器410中的图像数据被最终存储到外部存储装置412中。

图像处理器413针对从A/D转换器404或者存储控制器408所提供的数据进行(诸如白平衡处理、用于将RGB拜尔图案RGB信号转换成RGB三平面信号的颜色插值处理、伽玛处理、色度处理以及色相处理的)多种图像处理。另外，图像处理器413进行后面将要说明的用于合成多个图像数据的合成处理。

数字照相机40具有用于测量与摄像画面共轭的像素的亮度的测光传感器419。基于来自测光传感器419的输出，***控制器430计算合适的曝光量。基于计算出的曝光量，曝光控制器414对光圈401、快门402以及摄像元件403的ISO感光度进行控制。测距传感器418对由用户任意选择的测距点的距离信息进行检测。基于来自测距传感器418的输出，测距控制器415控制拍摄镜头400的调焦。

变焦控制器416对数字照相机40中的拍摄镜头400的手动变焦量(焦距)进行检测，并且在自动进行变焦的情况下控制拍摄镜头400的变焦量。闪光灯单元(闪光发光单元)426实现数字照相机40的AF辅助光投射功能以及闪光灯调光功能。加速度传感器417检测数字照相机40的水平/垂直抖动。检测出的信息用于已知的手抖动校正、纵向/横向拍摄的判断等。

***控制器430控制数字照相机40的整体操作。***控制器430的操作中使用的常数、变量程序、图像处理参数存储在存储器420中，该存储器420还用作***控制器430的工作存储器。

随着***控制器430对程序的执行，包括液晶显示单元、扬声器等的第二显示单元421以字符、图像、语音等的形式向摄影师通知照相机的操作状态或者消息。在第二显示单元421上显示有单拍/连拍/自拍、压缩率、记录像素的数量、记录个数、剩余可记录个数、快门速度、光圈值、曝光校正、电池余量、错误、外部存储装置412的安装/卸下状态等。在改变显示内容时或者在发出警告时，显示单元421生成电子声音。

附图标记422表示诸如能够将数据电可擦除地存储的EEPROM等的非易失性存储器。

释放按钮423与第二操作单元425共同构成用于输入***控制器430的各种操作指令的操作单元。释放按钮423具有被配置为在按下第一行程(半按下)时接通的开关SW1以及被配置为在按下第二行程(全按下)时接通的开关SW2。当开关SW1接通时开始测光和测距，当开关SW2接通时开始曝光操作。

通过操作第二操作单元425，能够在单拍、连拍以及自拍之间进行切换，以及在手动调焦和自动调焦之间进行切换，并且能够设置快门速度、光圈值、曝光校正等。应当注意，在通过操作第二操作单元425设置了连拍的情况下，在按下释放按钮423的开关SW2的同时进行连拍。

数字照相机40具有通过电源开关427来进行接通和断开的主电源。

电源控制器428包括在***控制器430的控制下运行的电池检测单元、DC/DC变换器、用于切换要被供电的块的开关等。电源控制器428检测电池(用作电源429)相对于数字静止照相机40的安装/卸下、电池类型、电池的余量，并且基于检测结果控制DC/DC变换器以使得向照相机的各部分提供用于所需时间段的所需电压。应当注意，诸如碱性电池、锂蓄电池的一次电池，或者诸如镍镉电池、镍氢电池或者锂电池的二次电池，或者AC适配器可以用作电源429。

以下，将对闪光灯照明图像(第一图像)和非闪光灯照明图像(第二图像)是如何进行合成以在夜景的背景下适当地拍摄具有人物的场景进行说明。图6A至图6C示出了在夜景的背景下具有人物的拍摄场景的例子。图6A示出在从闪光灯单元(发光单元)发出闪光以利用合适的亮度对人物进行照明的同时以低感光度所拍摄到的闪光灯照明图像的例子。图6B示出了在不从闪光灯单元发出闪光的情况下以高感光度所拍摄到的非闪光灯照明图像的例子。图6C示出了通过对图6A和图6B中示出的图像进行合成所获得的合成图像的例子。

通过以算术平均的方式对多个诸如图6B中示出的非闪光灯照明图像进行合成，能够减少由高感光度拍摄所引起的噪声。因此，拍摄多个诸如图6B中示出的非闪光灯照明图像，并且对拍摄到的图像进行算术平均以创建合成图像(以下称为非照明合成图像)。在比较像素值数据的大小的同时，将如此创建的非照明合成图像与图6A的单个闪光灯照明图像进行合成。在该合成中，闪光灯照明图像用于使用闪光灯进行照明的人物区域，而非照明合成图像用于未使用闪光灯进行照明的背景区域。结果，能够获得具有亮的背景和亮的人物以及具有较少噪声和较少的手抖动的图像。

将参考分别示出对人物进行照明的示例性场景、示例性拍摄图像以及示例性合成图像的图7A～图7D来说明图像合成。

图7A示出在夜景的背景下的拍摄场景。如图7A中所示，人物具有照射光(街灯的光)照射到的照明区域和照明光被遮蔽的阴影区域。图7B示出以低感光度拍摄到的闪光灯照明图像。图7C示出以高感光度拍摄到的非闪光灯照明图像。图7D示出图7B中示出的闪光灯照明图像和图7C中示出的非闪光灯照明图像的合成图像。

在人物的照明区域中，在对闪光灯照明图像的亮度和非闪光灯照明图像的每个像素的亮度进行比较的情况下，图7C的非闪光灯照明图像有时变得比图7B的闪光灯照明图像更亮。另一方面，在人物的阴影区域中，图7B的闪光灯照明图像有时变得比图7C的非闪光灯照明图像更亮。

在针对每个像素将图7B的图像的像素值和图7C的图像的像素值中亮度较大的像素值用于创建合成图像的情况下，获得了图7D的合成图像。在图7D的合成图像中，闪光灯照明图像被用于人物的阴影区域并且非闪光灯照明图像被用于人物的照明区域。结果，创建了不自然的图像。

为消除该现象，在本发明中，基于闪光灯照明图像和非闪光灯照明图像之间的差来计算代表闪光灯的影响的闪光灯照明量，并且在考虑到该闪光灯照明量的情况下进行图像合成。因此，即使在拍摄场景包含一个或者多个人物的情况下也能够合适地考虑闪光灯的影响。例如，可以获得合适的合成图像，其中不在单个人物中对闪光灯照明图像和非闪光灯照明图像进行混合。

将参考图2～图5说明用于合成多个图像的图像合成处理，其中，所述多个图像是通过利用闪光灯发光来拍摄图7A的场景(第一拍摄)以及通过未使用闪光灯发光来拍摄该场景(第二拍摄)所获得的。

图2示意性地示出用于合成多个拍摄图像的处理。图3A示出了拍摄并合成多个图像的整体处理过程的流程图，图3B示出该整体处理中进行的合成处理过程的流程图。

在图3A的整体处理中，在按压释放按钮423的开关SW1的情况下，测光传感器419进行测光操作。基于测光结果，曝光控制器414确定用于闪光灯发光拍摄的曝光条件和用于非闪光灯发光拍摄的曝光条件(步骤S301)。应当注意，由此确定出用于非闪光灯发光拍摄的拍摄条件中的ISO感光度、光圈以及快门时间从而获得用于拍摄图像的合适的曝光。在本实施例中，将用于闪光灯照明图像的拍摄条件中的光圈和快门时间的值确定为与用于非闪光灯照明图像的拍摄条件中的光圈和快门时间的值相同，并且将用于闪光灯照明图像的拍摄条件中的ISO感光度的值确定为比用于非闪光灯照明图像的拍摄条件中的ISO感光度的值低一个等级。

接着，按压释放按钮423的开关SW2，进行闪光灯发光拍摄(步骤S302)。在将曝光条件设置为例如比合适的曝光暗一个等级的值的状态下，进行闪光灯发光从而提供向作为主被摄体的人提供合适的曝光的发光量。结果，使用合适的曝光来对利用闪光灯照明的人物进行拍摄，并且使用比所述合适的曝光暗一个等级的曝光对背景进行拍摄，从而获得图2中示出的图像101。

在步骤S303中，根据步骤S301中确定的拍摄条件使用合适的曝光进行非闪光灯发光拍摄，从而获得图2中示出的图像102。在步骤S304和步骤S305中，以与步骤S303中相同的拍摄条件进行两次非闪光灯发光拍摄，从而获得图2中示出的图像103、104。步骤S302到步骤S305中拍摄到的四个图像的数据被临时存储在存储器410中。

应当注意，在本实施例中进行三次非闪光灯发光拍摄，但不限于此。虽然在本实施例中首先进行闪光灯发光拍摄然后进行非闪光灯发光拍摄，但是能够改变进行闪光灯发光拍摄和非闪光灯发光拍摄的顺序。例如，闪光灯发光拍摄可以在第一次非闪光灯发光拍摄之后、第二次非闪光灯发光拍摄之前进行，或者可以在最后的非闪光灯发光拍摄之后进行。

接下来，图像处理器413针对数据临时存储在存储器410中的四个图像进行合成处理(步骤S306)。图3B中示出合成处理的细节。

在图3B的合成处理中，首先进行将步骤S302中拍摄到的闪光灯照明图像的各个图像数据(像素值)乘以数字增益量G的增益处理，并且将进行了增益处理的图像值临时存储到存储器410中(步骤S311)。根据以下公式(1)，确定步骤S311中使用的增益量G以对步骤S301中确定的用于闪光灯照明图像和非闪光灯照明图像的曝光条件中的感光度之差进行补偿。

G=2^（闪光灯发光拍摄的感光度和非闪光灯发光拍摄的感光度之差）

(1)

在本实施例中，在步骤S301中将闪光灯发光拍摄的感光度设置为比非闪光灯发光拍摄的感光度低一个等级，因此，增益量G根据公式(1)而变为两倍。通过闪光灯发光，对闪光灯照明图像中的人物区域进行了合适的曝光。在增益处理之后，对背景区域进行合适的曝光(与在非闪光灯照明图像中相同)，而在人物区域中的曝光变得比所述合适的曝光更亮。图2中示出的图像105表示在步骤S311中的增益处理之后的图像。

在步骤S312中，图像处理器413对数据临时存储在存储器410中的五个图像(即，图2中的图像101至105)进行显影处理。更具体地，进行白平衡处理、用于将RGB拜尔图案RGB信号转换为RGB三平面信号的颜色插值处理、伽玛处理、色度处理以及色相处理，从而创建YUV图像。符号Y表示亮度信号，U表示亮度信号和蓝色成分之差，V表示亮度信号和红色成分之差。YUV图像的数据临时存储在存储器410中。

通过在相同的条件下对所有图像进行显影处理，判断图像之间的差变得容易，并且可以容易地进行用于对闪光灯照明图像和非闪光灯照明图像进行合成的处理。因此，不管要处理的图像是闪光灯照明图像还是非闪光灯照明图像，都在相同的条件下进行步骤S312中的显影处理。例如，在白平衡处理中，使得闪光灯照明图像的闪光灯光变为非彩色的白平衡系数被用于闪光灯照明图像和非闪光灯照明图像这两者，由此作为主被摄体的人的着色变得合适。然而，并非必须使用这样的白平衡系数。

在步骤S313中，进行抖动校正处理以对四个拍摄图像(图像101至104)之间产生的位置偏差进行补偿。更具体地，检测位置对准对象图像相对于位置对准基准图像的位置偏差量，并根据检测出的位置偏差量来校正位置对准对象图像的位置偏差量。

在本实施例中，将第一个拍摄的图像(即，闪光灯照明图像)用作位置对准基准图像，将第二个和之后拍摄的图像(即，非闪光灯照明图像)分别用作位置对准对象图像。应当注意，其中的一个非闪光灯照明图像可以用作位置对准基准图像，并且其余的非闪光灯照明图像和闪光灯照明图像可以分别用作位置对准对象图像。通过首先拍摄闪光灯照明图像，获得用于拍摄主被摄体的快门时机变得容易。

在抖动校正处理中，为了提高位置对准的精度，位置对准基准图像的亮度必须与位置对准对象图像的亮度一致。为此，将在步骤S311中进行了增益处理的图像用作要用于位置对准的闪光灯照明图像。由于闪光灯照明图像和非闪光灯照明图像之间的亮度差为闪光灯发光量，因此，降低了位置对准的精度。因此，在从位置偏差量的检测对象中排除闪光灯照明图像中利用闪光灯进行了照明的区域之后，进行位置对准。

在检测利用闪光灯进行了照明的区域时，将增益处理后的闪光灯照明图像和非闪光灯照明图像分别分割成n×m个块(其中，n和m为自然数)，例如，20×20个块。然后，如果两个图像的对应块亮度的差等于或大于预定值，则判断为闪光灯照明图像的块是利用闪光灯进行了照明的区域。

接着，将位置对准基准图像和位置对准对象图像分别分割成用于进行边缘检测的多个块，使得每个块具有例如4×4个像素，并且针对各个边缘检测块对位置对准对象图像进行边缘检测处理。对于该边缘检测，可以使用通过从图像中减去通过对该图像进行低通滤波所获得的低频图像来检测边缘的方法，或者使用已知的采用导数滤波器或普瑞维特滤波器(Prewitt filter)的边缘检测方法。

接着，从位置对准基准图像的边缘检测块中，确定出已检测出边缘并且未使用闪光灯进行照明的块(以下称为位置偏差量检测基准块)，并且检测位置对准对象图像相对于位置偏差量检测基准块的位置偏差量。通过仅检测相对于位置偏差量检测基准块的位置偏差量，可以提高检测精度。

在检测位置偏差量时，在以像素为单位移动检测对象块的情况下，对位置对准基准图像中的位置偏差量检测对象块的所有像素的像素值(亮度)与位置对准对象图像中的像素值之间的绝对差的和(SAD)进行计算。然后，确定边缘检测块的、表示使计算出的SAD最小的移动量和移动方向的运动矢量。应当注意，用于位置偏差量检测的方法不限于此，可以使用诸如用于通过频率分析来检测两个图像之间的位置偏差量的方法的任何其它已知方法。

在下文中，将参考图4A和图4B说明基于运动矢量的位置偏差量检测处理。图4A示出位置对准基准图像中的位置偏差量检测基准块中的像素值，图4B示出位置对准对象图像中的像素值。

在所图示的例子的情况下，假定图4B中左上角的坐标(0，0)为基准，则能够确定出使得位置对准基准图像中的位置偏差量检测对象块中的像素值与位置对准对象图像中的像素值之间的绝对差的和最小的运动矢量(1,2)。类似地，确定出所有的边缘检测块的运动矢量，并且基于确定出的运动矢量，利用已知的方法计算通过以下的公式(2)表示的仿射变换中使用的仿射系数(位置偏差信息)。

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(2\right)$

在公式(2)中，(x,y)表示校正前的图像的坐标，(x′,y′)表示校正后的图像的坐标，3×3矩阵表示仿射系数。

然后，针对各个位置对准对象图像(非闪光灯照明图像)进行由公式(2)所表示的仿射变换，从而进行抖动校正。

在步骤S313的抖动校正处理之后的步骤S314中，针对每个像素计算在步骤S311中的增益处理之后的一个闪光灯照明图像的像素值和在步骤S313中的抖动校正处理之后的三个非闪光灯照明图像的像素值的平均值。然后，基于计算出的像素值的平均值创建平均化图像(例如，以图2中的例子的方式示出的图像106)。

通过上述的对多个图像进行平均化，可以在不改变背景亮度的同时获得噪声较少的图像。通过将进行了增益处理的闪光灯照明图像和多个非闪光灯照明图像进行合成，与仅对在相同亮度下拍摄的非闪光灯照明图像进行合成的情况相比，可以进一步增强降噪效果。

在步骤S314中的图像合成中，对闪光灯照明图像和亮度与该闪光灯照明图像不同的非闪光灯照明图像进行平均化，因此人物区域不具有合适的亮度。为了消除这个现象，在步骤S315和步骤S316中进行下述处理。

在步骤S315中，针对每个像素计算表示闪光灯光对闪光灯照明图像的影响程度的闪光灯照明量。

首先，对在步骤S311中进行了增益处理的闪光灯照明图像进行低通滤波由此获得低频图像，对通过第二次拍摄所获得的、在步骤S313中进行了抖动校正的非闪光灯照明图像进行低通滤波以获得低频图像。通过对上述图像进行低通滤波，可以抑制由于噪声而错误地计算闪光灯照明量。通过将利用最接近该闪光灯发光拍摄的第二次拍摄所获得的图像与闪光灯照明图像进行比较，例如可以将手抖动对包括有作为主被摄体的人的拍摄区域的影响抑制到最小。

接着，确定这两个图像中每个像素的亮度值Y之间的差，并且参考图5中示出的预先准备的亮度差-闪光灯照明量表来针对每个像素计算闪光灯照明量。根据图5中的亮度差-闪光灯照明量表，闪光灯照明量在亮度差大的像素中具有大的值，而在亮度差小的像素中具有小的值，由此减轻了错误地计算闪光灯照明量的担心。

应当注意，在本实施例中，根据两个图像之间的亮度差计算闪光灯照明量，然而，还可以根据两个图像中的色差U、V之间的差来计算闪光灯照明量。有时，由拍摄对象的运动或由手抖动校正的不充分所引起的移位，导致了大的亮度差。为了消除这个问题，可以根据以下的值来计算闪光灯照明量，该值是通过将亮度差除以非闪光灯照明图像中的亮度值所获得的值。

将针对每个像素所计算出的闪光灯照明量的数据存储在存储器410中。图2中的图像107示意性地示出了在步骤S315中进行的用以计算闪光灯照明量的处理的结果。在图像107中，右侧的白色区域表示闪光灯照明量大。应当注意，左侧的白色区域是街灯区域。

接着，在步骤S316中，在考虑步骤S315中计算出的各个像素的闪光灯照明量的情况下，根据下面的公式(3)，针对每个像素将在步骤S302中拍摄到的闪光灯照明图像(图像101)和在步骤S314中创建的平均化图像(图像106)进行合成。

合成后的像素值=(图像101的像素值×闪光灯照明量%)+{图像106的像素值×(100%-闪光灯照明量%)}         (3)

图2中的图像108表示通过步骤S316中的图像合成所获得的最终合成图像。

在完成步骤S316的图像合成的情况下，即，在完成图3A的整体处理中的步骤S306的合成处理的情况下，将合成图像(图像108)的图像数据存储到外部存储装置412中(步骤S307)，于是完成整体处理。

如上所述，在本实施例中，在步骤S301中确定用于闪光灯发光拍摄和非闪光灯发光拍摄的曝光条件，确定用于对由曝光条件之间的感光度差所产生的亮度差进行补偿的增益量G，基于从增益处理后的闪光灯照明图像和非闪光灯照明图像中检测出的位置偏差量来进行抖动校正，并且在步骤S315中计算表示闪光灯光对于闪光灯照明图像的影响程度的闪光灯照明量。由此即使在对人进行照明的拍摄场景中也能够适当地考虑闪光灯光的影响。结果，可以获得合适的合成图像。例如，在一个人的图像中，闪光灯照明图像和非闪光灯照明图像不进行相互混合。

应当注意，在本实施例中，在步骤S303到步骤S305中拍摄了三个非闪光灯照明图像，然而，可以通过增加非闪光灯照明图像的拍摄个数来增强在步骤S314中创建的平均化图像中的降噪效果。通过增加非闪光灯照明图像的拍摄个数，可以增强背景区域中的降噪效果。另一方面，由于将一个闪光灯照明图像用于最终合成图像，因此在利用闪光灯光照明的人物区域中无法达到降噪效果。结果，在图像的背景区域和人物区域之间的噪声的感觉方面存在差异。为了避免这个问题，优选地，例如，随着非闪光灯照明图像的拍摄(合成)个数的增加，降低在步骤S301中设置的闪光灯发光拍摄的感光度。

在本实施例中，在参考图5中示出的亮度差-闪光灯照明量表的情况下计算闪光灯照明量，并且在考虑该闪光灯照明量的情况下根据用于步骤S316中的图像合成的公式(3)来确定像素值，但是不限于此。例如，可以通过使用被设置为比根据前述公式(1)计算出的增益量G小的增益量来进行步骤S311的增益处理，以及通过针对每个像素选择在步骤S302中拍摄到的闪光灯照明图像(图像101)的像素值以及在步骤S314中进行合成后的合成图像(图像106)的像素值中的较亮的一方并且通过基于所选择的像素值来创建最终合成图像，来进行步骤S316中的图像合成。

其它实施例

还可以通过***或设备的计算机(或者CPU或MPU等装置)和下面的方法实现本发明的方面，其中，该***或设备的计算机读出并执行记录在存储器装置上的程序，以进行上述实施例的功能，并且例如，通过***或设备的计算机读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行该方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求于2012年4月20日提交的日本专利申请2012-096518的优先权，通过引用将其全部内容包含于此。

Claims (10)

1.一种图像处理设备，包括：

拍摄单元，用于连续地拍摄第一图像和多个第二图像，其中，所述第一图像是通过利用发光单元进行发光的第一拍摄而得到的，所述多个第二图像是通过不利用发光的第二拍摄而得到的；

感光度设置单元，用于将所述第一拍摄的感光度设置为比所述第二拍摄的感光度低；

增益处理单元，用于进行将所述第一图像的图像数据乘以增益量的增益处理；

平均化单元，用于基于由所述增益处理单元进行了增益处理的第一图像以及所述多个第二图像来创建平均化图像；以及

合成单元，用于通过将由所述拍摄单元拍摄到的第一图像和由所述平均化单元创建的平均化图像进行合成以创建合成图像。

2.根据权利要求1所述的图像处理设备，其中，所述增益处理单元将所述第一图像乘以用于对由所述感光度设置单元设置的所述第一拍摄的感光度和所述第二拍摄的感光度之间的感光度差进行补偿的增益量。

3.根据权利要求1所述的图像处理设备，其中，随着所述第二图像的拍摄个数的增加，所述感光度设置单元将所述第一拍摄的感光度设置得较低。

4.根据权利要求1所述的图像处理设备，其中，还包括：

位置偏差校正单元，用于检测所述多个第二图像相对于所述第一图像的位置偏差量，并且基于检测出的位置偏差量对所述多个第二图像的位置偏差进行校正。

5.根据权利要求4所述的图像处理设备，其中，在对所述多个第二图像相对于所述第一图像的位置偏差量进行检测的情况下，所述位置偏差校正单元使用由所述增益处理单元进行了增益处理的第一图像作为所述第一图像。

6.根据权利要求1所述的图像处理设备，其中，还包括：

照明量计算单元，用于确定所述第一图像中的照明量，

其中，所述拍摄单元在拍摄所述第一图像之后拍摄所述多个第二图像，以及

所述照明量计算单元将所述第一图像与所述多个第二图像中最先进行拍摄的第二图像进行比较，针对每个像素确定亮度值之间的差，并且通过参考预先准备的亮度差-照明量表来针对每个像素确定所述照明量。

7.根据权利要求1所述的图像处理设备，其中，所述平均化单元针对每个像素计算由所述增益处理单元进行了增益处理的第一图像的像素值和所述多个第二图像的像素值的平均值，并且基于计算出的像素值的平均值创建所述平均化图像。

8.一种图像处理设备，包括：

拍摄单元，用于连续地拍摄第一图像和多个第二图像，其中，所述第一图像是通过利用发光单元进行发光的第一拍摄而得到的，所述多个第二图像是通过不利用发光的第二拍摄而得到的；

感光度设置单元，用于将所述第一拍摄的感光度设置为比所述第二拍摄的感光度低；

增益处理单元，用于进行将所述第一图像的图像数据乘以增益量的增益处理；

平均化单元，用于基于由所述增益处理单元进行了增益处理的第一图像以及所述多个第二图像来创建平均化图像；以及

合成单元，用于将由所述拍摄单元拍摄到的第一图像的像素值与由所述平均化单元创建的平均化图像的像素值进行比较，选择较亮的像素值，并且基于所选择的像素值创建合成图像。

9.一种由图像处理设备执行的图像处理方法，包括：

感光度设置步骤，用于将利用发光单元进行发光的第一拍摄的感光度设置为比不利用发光的第二拍摄的感光度低；

拍摄步骤，用于利用在所述感光度设置步骤中设置的感光度，连续地拍摄通过所述第一拍摄而得到的第一图像以及通过所述第二拍摄而得到的多个第二图像；

增益处理步骤，用于进行将所述第一图像的各个像素值分别乘以增益量的增益处理；

平均化步骤，用于基于在所述增益处理步骤中进行了增益处理的第一图像以及所述多个第二图像来创建平均化图像；以及

合成步骤，用于通过针对每个像素将在所述拍摄步骤中拍摄到的第一图像和在所述平均化步骤中创建的平均化图像进行合成，以创建合成图像。

10.一种由图像处理设备执行的图像处理方法，包括：

感光度设置步骤，用于将利用发光单元进行发光的第一拍摄的感光度设置为比不利用发光的第二拍摄的感光度低；

拍摄步骤，用于利用在所述感光度设置步骤中设置的感光度，连续地拍摄通过所述第一拍摄而得到的第一图像以及通过所述第二拍摄而得到的多个第二图像；

增益处理步骤，用于进行将所述第一图像的各个像素值分别乘以增益量的增益处理；

平均化步骤，用于基于在所述增益处理步骤中进行了增益处理的第一图像以及所述多个第二图像来创建平均化图像；以及

合成步骤，用于将在所述拍摄步骤中拍摄到的第一图像的像素值与在所述平均化步骤中创建的平均化图像的像素值进行比较，选择较亮的像素值，并且基于所选择的像素值来创建合成图像。

Images