CN1846447A - 图像处理方法、图像处理装置和计算机程序 - Google Patents

Abstract

被摄像的图像数据的运动存在区域的像素值能够被高效率地校正。对诸如运动存在区域的特定区域的像素值校正包括步骤：设置白平衡调整的图像数据与存在闪光灯光照射的图像数据之间的差值或比值的初始值；按照基于存在闪光灯光照射的图像数据指定加权值的转换公式转换该初始值，或者按照用于计算运动存在区域中的图像差值或图像比值的平滑滤波器转换该初始值；并且使用估计值校正运动存在区域的像素值。在使用低分辨率图像的白平衡调整之后和在校正运动存在区域的像素值之后，基于校正图像与低分辨率图像数据的对应性生成高分辨率校正图像。

Description

图像处理方法、图像 处理装置和计算机程序

技术领域

本发明涉及图像处理方法和图像处理设备以及计算机程序，更具体地说，本发明涉及图像处理方法和图像处理设备以及计算机程序，它们每一个都用于通过使用多个图像使得图像调整能够缓解环境光和闪光灯光之间的色温差异问题，并且它们每一个都使得即使在用于图像调整的多个图像之间发生图像抖动(image shake)的情况下也能够实现有效的高速校正处理。

背景技术

在照相机摄影术中闪光灯(flash)(电闪光灯或闪光灯(strobe))被用作辅助光源。近些年来，DSC(digital still camera，数码照相机)快速普及，并且也经常一起使用DSC执行闪光灯摄影术。闪光灯能够被用于执行各种摄影术，例如补充光(fill-in light)(用于削弱在人脸上出现的过强的阴影等的技术)、背光补偿(用于在人背对太阳站立照像时防止人脸失去阴影细节的技术)、眼神光(catch light)(用于漂亮地拍摄眼睛的瞳孔和在瞳孔中反射的闪烁的“光点”的技术)、以及日光同步闪光灯(日光同步，在白天或夜间使用闪光灯作为辅助光线的技术)。另一方面，在执行闪光灯摄影术时存在这样的情况，即，颜色平衡被削弱或发生强光照射部分细节丢失。本发明的一个目的是提供一种适当的装置，其能够校正在闪光灯摄影术中出现的不希望有的现象。

通常，在数字照相机中执行白平衡(WB)，以便能够在白光中拍摄白色物体的图像。例如，以这样的方式执行白平衡调整，即，当将要在照射到物体的光的色温较高并且蓝色(B)光较强的光分量(component)环境，例如自然光、照明光或闪光灯(strobe)，中拍摄图像时，抑制对蓝色光的敏感度，相反，当将要在照射到物体的光的色温较低且红色(B)光较强的光分量环境中拍摄图像时，抑制对红色光的敏感度，从而使得蓝色(B)光的敏感度相对提高。

通常，在白平衡调整执行的调整处理中，调整参数是根据在图像捕获(capture)期间将要使用的光源来设置的。例如，当执行使用闪光灯的图像捕获时，依照与所使用的闪光灯的光分量相对应的参数来执行白平衡调整。

但是，如果在除了闪光灯光之外还存在环境光的情况下执行使用闪光灯的图像捕获，则有两类光，即，闪光灯光和环境光照射到物体上，并且从该物体反射的光到达照相机的图像摄像(pickup)元件，从而执行图像捕获。在这种图像捕获的情况中，如果根据闪光灯光执行白平衡调整，则物体上被大量闪光灯光照射的部分被调整到自然光。但是，如果对闪光灯光不能到达且仅以环境光的反射光被捕获的区域，例如，背景图像区域，执行按照与闪光灯光的光分量匹配的参数设置的白平衡调整，则，适当的白平衡调整没有被执行，并且所述区域被输出为具有非自然光的区域。

相反地，如果对所捕获的整个图像执行与背景部分相匹配的白平衡调整，即，基于仅仅使用环境光捕获图像的假设的白平衡调整，则，被大量闪光灯光照射的部分将会被调整成非自然光。

为了克服这个问题，已经建议了几种结构。例如，专利文件1(日本专利申请公开文件Hei8-51632)公开了一种结构，该结构获得一个不使用闪光灯拍摄的图像和一个使用闪光灯拍摄的图像，将这两个图像的每一个都分割成块，以块为单位对它们的亮度值进行比较，并在对亮度值的比较结果的基础上对使用闪光灯拍摄的图像的每一块执行不同的白平衡调整。

在白平衡调整中，选择并执行与闪光灯光匹配的白平衡调整、与介于闪光灯光和环境光之间的光匹配的白平衡调整、和与环境光匹配的白平衡调整之间的任何一个。但是，这种结构需要以块为单位执行处理，这导致了诸如发生块失真的问题，以及当物体移动时不能进行(effect)正确处理的问题。

专利文件2(日本专利申请公开文件JP-A-2000-308068)公开了下述处理结构。也就是说，使用闪光灯和全开光圈以及较短的曝光时间来拍摄图像，并且在那之后，在最初打算的曝光条件下不使用闪光灯来拍摄图像。前者和后者分别称为第一图像和第二图像。此外，在第一图像中，具有不少于预定的电平(level)的像素被登记为主物体区，其它的像素被登记为背景区。在这之后，对第一图像施行与闪光灯光相匹配的白平衡调整，并对第二图像施行与环境光相匹配的白平衡调整，并且组合第一图像的主物体区和第二图像的背景区以生成最终记录的图像。

但是，在这种结构中，不可能正确地实现对使用环境光和闪光灯光两者照射的物体的白平衡调整。

专利文件3(日本专利申请公开文件JP-A-2000-307940)公开了一种结构，该结构向上述专利文件2的结构添加了图像抖动检测装置。在这种结构中，如果确定发生了抖动，则不对上述第一图像进行修改而将其用作记录的图像，并且不执行将第一图像和第二图像组合的处理。因此，如果检测到抖动，则由于闪光灯光和环境光之间的色温差异所造成的不自然不能被解决。

专利文件4(日本专利申请公开文件Hei8-340542)公开了一种结构，该结构对使用闪光灯拍摄的图像的每个像素的亮度以及没使用闪光灯而拍摄的图像的相应像素的亮度执行分割(division)，以便得到闪光灯光的贡献率，并在该贡献率的基础上对使用闪光灯拍摄的图像执行白平衡调整。

在这个结构中，使用闪光灯光和环境光的混合反射光拍摄的图像被在闪光灯光贡献率的基础上简单地***了用于闪光灯光和环境光的白平衡参数，由此生成最终图像。但是，如果考虑光的物理反射模型，则应该独立地处理来源于闪光灯光的分量和来源于环境光的分量，并且，仅仅通过处理用闪光灯光和环境光的混合反射光拍摄的图像不可能生成最佳结果的图像。

[专利文件1]

日本专利申请公开文件Hei8-51632

[专利文件2]

日本专利申请公开文件JP-A-2000-308068

[专利文件3]

日本专利申请公开文件JP-A-2000-307940

[专利文件4]

日本专利申请公开文件Hei8-340542

发明内容

[本发明将要解决的问题]

本发明是考虑到上述相关技术的问题而构想的，并且本发明提供一种图像处理方法和一种图像处理设备，以及一种计算机程序，它们中的每一个都能够对在环境光和闪光灯光的混合环境中拍摄的图像执行最佳的图像调整，并且即使在检测到图像抖动时，它们也能够以高速度高效率无误地执行诸如最佳白平衡调整的像素值校正。

[用于解决问题的手段]

在第一方面，本发明的优选实施例提供一种图像处理方法，包括下列步骤：以具有不同像素值的第一图像数据和第二图像数据的相对应的像素值为基础计算图像差值或图像比值；基于图像数据的特定区域的图像差值或图像比值计算估计值；并且基于在所述估计值计算步骤计算出的所述特定区域的图像差值或图像比值的估计值、以及所述第二图像数据，生成该特定区域的校正图像。

此外，本发明的另一个示范实施例的特征在于，当A(x，y)表示所述第一图像数据的每个像素(x，y)的像素值向量，B(x，y)表示所述第二图像数据的相应像素(x，y)的像素值向量时，所述图像差值d(x，y)是如下计算的向量：

d(x，y)＝A(x，y)-B(x，y)

并且所述图像比值d(x，y)是：

d(x，y)＝A(x，y)/(B(x，y)+e)

其中e是固定值。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述第一图像数据是在无闪光灯辅助而捕获的图像和闪光灯辅助而捕获的图像的基础上对其施行了像素值调整的白平衡调整的图像(white balance adjustedimage)R，所述第二图像数据是闪光灯图像I₂，并且所述特定区域是在其中检测到物体的运动的运动存在区域；当R(x，y)表示该白平衡调整的图像R的每个像素(x，y)的像素值向量，而I₂(x，y)表示该闪光灯图像I₂的相应像素(x，y)的像素值向量时，所述图像差值d(x，y)是如下计算的向量：

d(x，y)＝R(x，y)-I₂(x，y)

并且图像比值d(x，y)是：

d(x，y)＝R(x，y)/(I₂(x，y)+e)

其中e是作为固定值计算的向量；并且所述校正图像生成步骤是下述步骤：以在所述估计值计算步骤中计算出的所述运动存在区域中的图像差值或图像比值的估计值以及所述闪光灯图像I₂为基础，生成该运动存在区域的校正图像。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述估计值计算步骤包括：初始值设置步骤，以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及平滑处理执行步骤，对在该初始值设置步骤中设置的初始值执行基于平滑滤波器的平滑处理。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述设置初始值的步骤是下述步骤：以初始值设置目标像素的邻近像素的图像差值或图像比值为基础，设置该初始值设置目标像素的初始值，其中，已经为所述邻近像素设置了图像差值或图像比值。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述设置初始值的步骤包括下述步骤：应用掩码图像，以便区分所述初始值设置目标像素与已经为其设置了图像差值或图像比值的像素。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述校正图像生成步骤是下述步骤：以在所述估计值计算步骤中计算出的所述特定区域中的图像差值或图像比值的估计值、以及所述第二图像数据为基础，生成该特定区域的校正图像。在使用图像差值的处理中，所述校正图像生成步骤被执行为将在所述估计值计算步骤中计算出的该特定区域中的图像差值的估计值与该特定区域中的所述第二图像数据相加的步骤；而在使用图像比值的处理中，该校正图像生成步骤被执行为将在所述估计值计算步骤中计算出的该特定区域的图像比值的估计值与该特定区域中的所述第二图像数据相乘的步骤。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述第一图像数据是以无闪光灯辅助而捕获的图像和闪光灯捕获的图像为基础对其施行了像素值调整的白平衡调整的图像R；所述第二图像数据是闪光灯辅助的图像I₂；而所述特定区域是在其中检测到物体的运动的运动存在区域。在使用图像差值的处理中，所述校正图像生成步骤被执行为将在所述估计值计算步骤中计算出的该特定区域中的图像差值的估计值与所述运动存在区域中的该闪光灯图像I₂相加的步骤；而在使用图像比值的处理中，所述校正图像生成步骤被执行为将在所述估计值计算步骤中计算出的该特定区域中的图像比值的估计值与该运动存在区域中的该闪光灯图像I₂相乘的步骤。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述估计值计算步骤包括：初始值设置步骤，以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；和滤波处理步骤，按照像素值转换表达式对在所述初始值设置步骤中设置的初始值执行像素值转换处理，并校正该特定区域的图像差值或图像比值，其中，所述像素值转换表达式对应于使用基于所述第二图像数据设置其加权值(weight)的滤波器的滤波处理。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述初始值设置步骤是下述步骤：以初始值设置目标像素的邻近像素的图像差值或图像比值为基础，设置该初始值设置目标像素的初始值，其中，已经为所述邻近像素设置了图像差值或图像比值。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述初始值设置步骤包括下述步骤：应用掩码图像，以便区分所述初始值设置目标像素与已经为其设置了图像差值或图像比值的像素。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述第一图像数据是以无闪光灯辅助而捕获的图像和闪光灯捕获的图像为基础对其施行了像素值调整的白平衡调整的图像R；所述第二图像数据是闪光灯图像I₂；并且所述特定区域是在其中检测到物体的运动的运动存在区域；并且其特征在于，所述滤波处理步骤是下述步骤：使用包含函数的表达式执行像素值校正处理，其中，所述函数的加权值是根据构成所述闪光灯图像I₂的图像数据的像素的像素值而设置的。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述滤波处理步骤是使用下述转换表达式执行像素值校正处理的步骤：

$d^{\′}(x,y,\mathrm{ch})=\frac{1}{\underset{i,j}{\mathrm{\Σ}}w\left(\right|I_2(x,y,\mathrm{ch})-I_2(i,j,\mathrm{ch})\left|\right)}\underset{i,j}{\mathrm{\Σ}}\left\{w\left(\right|I_2(x,y,\mathrm{ch})-I_2(i,j,\mathrm{ch})\left|\right)d(i,j,\mathrm{ch})\right\}$

其中，d(x，y，ch)是与在像素位置(x，y)处的每个通道[ch]的图像差值或图像比值d相对应的值，而I₂(x，y，ch)是与所述闪光灯图像I₂的像素值相对应的值；d’(x，y，ch)是在该像素位置(x，y)处的通道[ch]的图像差值d的更新的像素值；i和j是用于计算在像素位置(x，y)处的值d的更新的值d’的参考像素位置。当k表示任意自然数时，则x-k≤i≤x+k和y-k≤j≤y+k，并且w(x)是根据构成闪光灯图像I₂的图像数据的像素的像素值设置加权值的加权函数。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述转换表达式中的加权函数w(x)是由下述表达式表示的函数：

$w\left(x\right)=\exp (-\frac{x^2}{{2\mathrm{\σ}}^2})$

此外，本发明的图像处理方法的另一个优选实施例的特征在于，上述转换表达式中用于计算像素位置(x，y)的值的更新的值d’的参考像素位置i、j为x-k≤i≤x+k和y-k≤j≤y+k，其中，k是任意自然数，并且k是1、2和3中的任何一个。

此外，本发明的图像处理方法的另一个优选实施例的特征在于还包括步骤：在存储器中存储基于无闪光灯辅助而捕获的图像的无闪光灯辅助的低分辨率图像数据I_1L；在存储器中存储基于闪光灯捕获的图像的闪光灯辅助的高分辨率图像数据I_2H和闪光灯分辨率图像数据I_2L；在存储其中存储基于无闪光灯辅助而拍摄的图像的无闪光灯辅助的低分辨率图像数据I_3L；以及以所述无闪光灯辅助的低分辨率图像数据I_1L和所述无闪光灯辅助的低分辨率图像数据I_3L为基础检测运动存在区域。所述无闪光灯辅助的低分辨率图像数据I_1L被设置为第一图像数据，而所述闪光灯辅助的低分辨率图像数据I_2L被设置为第二图像数据，并且计算所述估计值以生成对其施行了白平衡调整处理以及对运动区域的像素值校正处理的白平衡调整的图像R。在所述校正图像生成步骤中，以所述像素值经过调整的图像R、所述闪光灯辅助的高分辨率图像数据I_2H和闪光灯辅助的低分辨率图像数据I_2L的相应像素值为基础生成最终的高分辨率校正图像R_H。

此外，本发明的图像处理方法的另一个优选实施例的特征在于，所述校正图像生成步骤具有步骤：获得有关所述像素值经过调整的图像R的相对于所述闪光灯辅助的低分辨率图像数据I_2L的相应像素的像素值转换信息；以及执行闪光灯辅助的高分辨率图像数据I_2H的像素值转换。

此外，在第二方面，本发明的另一个优选实施例提供了一种图像处理设备，其特征在于：用于以具有不同像素值的第一图像数据和第二图像数据的相应像素值为基础计算图像差值或图像比值的部件；估计部件，用于基于图像数据的特定区域的图像差值或图像比值计算估计值；生成部件，用于以由所述估计部件计算出的所述特定区域的图像差值或图像比值的估计值、以及所述第二图像数据为基础，生成该特定区域的校正图像。

此外，本发明的图像处理装置的另一个优选实施例的特征在于，所述估计部件包括：初始值设置部分，用于以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及平滑处理执行部分，用于对由所述初始值设置部分设置的初始值执行基于平滑滤波器的平滑处理。

此外，本发明的图像处理装置的另一个优选实施例的特征在于，所述估计值计算步骤包括：初始值设置部分，用于以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及滤波处理部分，用于按照像素值转换表达式对由所述初始值设置部分设置的初始值执行像素值转换处理，并校正该特定区域的图像差值或图像比值，其中，所述像素值转换表达式对应于使用以所述第二图像数据为基础设置其加权值的滤波器的滤波处理。

此外，在第三方面，本发明的另一个优选实施例提供一种用于执行图像处理的计算机程序，其特征在于：以具有不同像素值的第一图像数据和第二图像数据的相应像素值为基础计算图像差值或图像比值的步骤；基于图像数据的特定区域的图像差值或图像比值计算估计值的估计值计算步骤；以在所述估计值计算步骤中计算出的所述特定区域的图像差值或图像比值的估计值、以及所述第二图像数据为基础，生成该特定区域的校正图像的校正图像生成步骤。

此外，本发明的计算机程序的另一个优选实施例还包括：在存储器中存储基于无闪光灯辅助而捕获的图像的无闪光灯辅助的低分辨率图像数据I_1L的步骤；在存储器中存储基于闪光灯捕获的图像的闪光灯辅助的高分辨率图像数据I_2H和闪光灯分辨率图像数据I_2L的步骤；在存储器中存储基于无闪光灯辅助而拍摄的图像的无闪光灯辅助的低分辨率图像数据I_3L的步骤；以及以所述无闪光灯辅助的低分辨率图像数据I_1L和所述无闪光灯辅助的低分辨率图像数据I_3L为基础检测运动存在区域的步骤。该无闪光灯辅助的低分辨率图像数据I_1L被设置为所述第一图像数据，而该闪光灯辅助的低分辨率图像数据I_2L被设置为所述第二图像数据，并且计算所述估计值以生成对其施行了白平衡调整处理和对运动区域的像素值校正处理的白平衡调整的图像R。在所述校正图像生成步骤中，以所述像素值经过调整的图像R、所述闪光灯辅助的高分辨率图像数据I_2H和所述闪光灯辅助的低分辨率图像数据I_2L的相对应的像素值为基础，生成最终高分辨率校正图像R_H。

根据本发明的优选实施例的计算机程序是能够由存储介质和通信介质提供的计算机程序，所述存储介质和通信介质以计算机可读的格式向能够执行各种程序代码的通用计算机***提供计算机程序，例如，诸如CD、FD、MO的存储介质，以及诸如网络的通信介质。通过以计算机可读格式提供该程序，在计算机***上实现了按照该程序的处理。

通过以下参照附图对本发明的实施例进行的具体说明，本发明的其它目的、特征和优点将变得更加明显。顺便提及，此处所使用的术语“***”的意思是多个设备的逻辑集合结构，并且不限于各个构成设备都包括在同一个机架中的结构。

[本发明的效果]

根据本发明的优选实施例，有可能以例如白平衡调整的图像数据的运动不存在区域的像素值以及诸如运动存在区域的特定区域的闪光灯图像数据为基础，对诸如运动存在区域的特定区域的像素值高效率地执行校正处理。因此，有可能生成平滑地连接到白平衡调整的图像数据的图像，并且还有可能生成反映有关运动存在区域的闪光灯图像数据的纹理信息的图像。

根据本发明的优选实施例，在对运动存在区域的像素值校正处理中，在运动存在区域中设置了白平衡调整的图像数据与闪光灯图像数据之间的差值或比值的初始值之后，由平滑滤波器执行平滑处理，并且计算运动存在区域中的图像差值或图像比值的估计值，以便以该估计值为基础执行运动存在区域的像素值校正，由此实现使用减少的计算量的高速处理。

此外，根据本发明的优选实施例，在对运动存在部分像素区域的校正中，执行根据像素值转换表达式的滤波处理，所述像素值转换表达式使用确定的系数，以便将闪光灯捕获的图像I₂的像素值考虑进去。因此，反映闪光灯捕获的图像I₂的纹理(texture)的像素值校正被执行，并且即使在运动存在区域中，边缘部分失真(fuzziness)、颜色模糊(blur)等也被解决，由此有可能生成反映闪光灯捕获的图像I₂的纹理的图像。

此外，根据本发明的优选实施例，在使用低分辨率图像的白平衡调整和对运动存在部分的像素值校正已经被执行之后，有可能以校正图像数据与低分辨率图像数据的对应性为基础生成高分辨率校正图像，由此能够利用小的存储量实现高速处理，并且最终能够获得高分辨率校正图像。

附图说明

图1是示出本发明的图像处理设备的结构的视图；

图2是用于说明本发明的图像处理方法的流程图；

图3是用于说明本发明的图像处理方法中基于多个图像数据的白平衡调整处理的过程的流程图；

图4是用于说明本发明的图像处理方法中基于多个图像数据的白平衡调整处理的原则的视图；

图5是用于说明本发明的图像处理中基于多个图像数据的运动部分检测处理的视图；

图6是用于说明本发明的图像处理中对运动部分的像素值调整处理的流程图；

图7是用于说明本发明的图像处理中对运动部分的像素值调整处理的视图；

图8是用于说明执行本发明的图像处理中基于多个图像数据的像素值调整处理的机制的视图；

图9是用于说明本发明的图像处理方法中基于多个图像数据的白平衡调整处理的过程的流程图；

图10是用于说明执行本发明的图像处理中基于多个图像数据的像素值调整处理的机制的视图；

图11是用于说明本发明的图像处理中对运动部分的像素值调整处理的视图；

图12是用于说明本发明的第二实施例中对运动部分的像素值调整处理的流程图；

图13是用于说明本发明的第二实施例中对运动部分的像素值调整处理的视图；

图14是用于说明对图像差值d的初始值设置方法的视图，所述方法在本发明的第二实施例中对运动部分的像素值调整处理中执行；

图15是用于说明本发明的第二实施例中运动部分校正像素值计算部分的结构和处理的视图；

图16是用于说明本发明的第三实施例中对运动部分的像素值调整处理和设置图像差值d的初始值的方法的视图；

图17是用于说明本发明的第三实施例中对运动部分的像素值调整处理的流程图；

图18是用于说明本发明的第三实施例中对运动部分的像素值调整处理的视图；

图19是用于说明本发明的第三实施例中的运动部分校正像素值计算部分的结构和处理的视图；

图20是用于说明本发明的第四实施例中的处理的流程图。

[附图标记说明]

101 透镜

102 光圈

103 摄像元件

104 相关双采样电路(CDS)

105 A/D转换器

106 数字信号处理部分(DSP)

107 定时生成器

108 D/A转换器

109 视频编码器

110 视频监视器

111 编解码器(CODEC)

112 存储器

113 CPU

114 输入设备

115 闪光灯控制部分

116 闪光灯设备

200 球

210 区域

250 运动存在部分的内边界像素

251 运动存在部分的外边界像素

252 运动存在部分的非内边界像素

253 运动不存在部分的非外边界像素

254 像素a

255a 的邻近像素

301、302、303 存储器

304 差值图像计算部分

305 白平衡调整部分

306 环境光分量估计部分

307 白平衡调整部分

308 像素值相加部分

309 运动检测部分

310 运动部分校正像素值计算部分

311 白平衡调整部分

312 输出切换部分

401、402、403 帧存储器

404 差值图像计算部分

405 白平衡调整部分

406 像素值相加部分

407 白平衡调整部分

408 运动检测部分

409 运动部分校正像素值计算部分

410 白平衡调整部分

411 输出切换部分

550 运动存在部分像素区域

551 运动不存在部分像素区域

560 白平衡调整的图像R

561 闪光灯图像I₂

564 白平衡调整的图像R

581 运动存在部分像素区域中的像素

582 到584运动不存在部分像素区域的像素

701 运动不存在部分像素区域白平衡调整的图像R

702 图像I₂存储帧存储器

710 运动部分校正像素值计算部分

711 图像差值(图像比值)d计算部分

712 运动存在像素区域图像差值(图像比值)d初始值设置部分

713 平滑处理部分

714 运动部分最终校正像素值计算部分

821 运动存在部分像素区域中的像素

822 到824运动不存在部分像素区域中的像素

860 白平衡调整的图像R

861 闪光灯图像I₂

862 运动存在部分像素区域中的邻近部分的图像差值d

863 运动存在部分像素区域中的图像差值d的估计值

864 白平衡调整的图像R

901 运动不存在部分像素区域的白平衡调整的图像R

902 图像I₂存储帧存储器

910 运动部分校正像素值计算部分

911 图像差值(图像比值)d计算部分

912 运动存在像素区域图像差值(图像比值)d初始值设置部分

913 滤波处理部分

914 运动部分最终校正像素值计算部分

具体实施方式

下面，将参照附图说明根据本发明的图像处理方法和图像处理设备的多个实施例。

[实施例1]

首先，给出关于根据本发明的优选实施例的图像处理方法和图像处理设备的实施例1的说明，所述图像处理方法和图像处理设备都对在环境光和闪光灯光混合的环境中的图像捕获执行最佳的白平衡调整处理。

图1是示出根据本实施例的摄像装置的结构的方框图。如图1所示，根据本实施例的摄像装置有透镜101、光圈102、固态摄像元件103、相关双采样电路104、A/D转换器105、DSP模块106、定时发生器107、D/A转换器108、视频编码器109、视频监视器110、编解码器(CODEC)111、存储器112、CPU 113、输入设备114、闪光灯控制设备115和闪光灯设备116。

输入设备114表示在照相机机身上提供的诸如记录按钮的操作按钮。DSP模块106是具有信号处理处理器和图像RAM的模块，并且其被构造成使得信号处理处理器能够对存储在图像RAM中的图像数据执行预先编程的图像处理。DSP模块在下文中简单地称为DSP。

下面，将说明本实施例的一般操作。

通过光轴到达固态摄像元件103的入射光首先到达在固态摄像元件103的摄像表面的各个光接收元件，并且在各个光接收元件处通过光电转换被转换成了电信号。电信号被相关双采样电路104施行噪声衰减，并且被A/D转换器105转换成数字信号，随后，被暂时存储到数字信号处理部分(DSP)106的图像存储器中。顺便提及，在图像捕获过程中，如果有必要，可以通过闪光灯控制设备115来使闪光灯设备116闪光。

在执行图像摄像的同时，定时发生器107控制信号处理***，以便将图像捕获维持在固定的帧频。像素流也被以固定的速率发送到数字信号处理部分(DSP)106，并且在执行了适当的图像处理之后，图像数据被发送到D/A转换器108和编解码器(CODEC)111中的一个或两者。D/A转换器108将从数字信号处理部分(DSP)106发送来的图像数据转换成模拟信号，并且视频编码器109将该模拟信号转换成视频信号，从而使得该视频信号能够在视频监视器110上被监视。该视频监视器110担任了本实施例中的照相机取景器的角色。编解码器(CODEC)111对从数字信号处理部分(DSP)106发送来的图像数据进行编码，并且编码后的图像数据被记录在存储器112上。存储器112可以是例如使用半导体、磁记录介质、磁光记录介质、光记录介质等的记录设备。

以上说明了根据本实施例的数字摄像机的整个***，并且，在本实施例中，本发明被实现为数字信号处理部分(DSP)106中的图像处理。下面将详细说明该图像处理。

如上所述，本实施例的图像处理部分实际上由数字信号处理部分(DSP)106实现。因此，在本实施例的结构中，以这样的方式实现图像处理部分的操作，即，在数字图像处理部分(DSP)106的内部，运算单元对输入图像信号的流顺序地执行以预定程序代码写成的操作。下面，将参照流程图说明执行程序的各个处理步骤的顺序。但是，可以不以将在本实施例中说明的程序的形式来构造本发明，而是通过结合实现与将在下面说明的功能等效的处理的硬件电路来构造。

图2是流程图，用于说明将在数字信号处理部分(DSP)106内部对输入图像信号流执行的白平衡(WB)调整处理的过程。

在步骤S101，通过使用预设的光圈和快门速度执行不用闪光灯的图像捕获，在步骤S102，该无闪光灯辅助而捕获的图像被作为图像数据I₁存储在存储器中。在步骤103，与步骤101类似，通过使用预设的光圈和快门速度执行使用闪光灯的图像捕获，与步骤101类似，在步骤104，该闪光灯捕获的图像被作为图像数据I₂存储在存储器中。

然后，在步骤105，与步骤S101类似，再次通过使用预设的光圈和快门速度执行不使用闪光灯的图像捕获，并且在步骤S106，该无闪光灯辅助而捕获的图像被作为图像数据I₃存储在存储器中。

顺便提及，步骤S101、S103和S105的图像捕获是作为连续的图像捕获，例如，间隔为1/100秒的连续图像捕获，而被执行的。通过使用在各个图像捕获步骤中获得的多个图像执行白平衡(WB)调整处理，并且，生成一个经过白平衡(WB)调整的图像数据。

此外，在步骤S101、S104和S106中存储在存储器中的图像数据I₁、I₂和I₃是校正过手抖动的图像。也就是说，如果在捕获三个图像I₁、I₂和I₃的过程中出现了手抖动，则在将这些图像存储到存储器中之前，对它们进行了针对手抖动的校正。更具体地说，如果所捕获的图像是由于手抖动而模糊不清的图像，则在步骤S101和S102之间、步骤S103和S104之间和步骤S105和S106之间执行手抖动校正，并且校正过的图像被存储到存储器中。因此，存储在存储器中的图像数据I₁、I₂和I₃变成了使用固定在三角架上的照相机连续拍摄的相似的图像。

顺便提及，在手抖动校正处理中，有可能应用传统公知的处理。例如，有可能应用此前已经广泛使用的方法，例如，通过使用加速度传感器检测偏移并移动透镜的方法、通过使用摄像元件拍摄分辨率比目标分辨率高的图像并读取出适当的部分以防止发生偏移的方法、以及仅仅通过图像处理而不使用任何传感器来校正手抖动的方法。

然后，在步骤S107，检测在步骤S101、S103和S105中捕获三个图像的过程中是否发生了由于物体本身的运动而引起的图像抖动。通过比较三个图像中的两个图像来执行对于是否发生了由于物体本身的运动而引起的图像抖动的检测处理。例如，图像I₁和图像I₃可以被用于检测运动部分。举例来说，存在这样的方法，即，发现图像I₁中和图像I₃中的每个像素之间的差异，并且如果差异不小于特定阈值，则将相应的像素登记为发生运动的部分。如果确定不存在由物体本身的运动引起的图像抖动(步骤S108：否)，则处理前进到步骤S112。如果检测到运动(步骤S108：是)，则处理前进到步骤S109。

在步骤S109，确定是否能够对在步骤S107中检测到的运动部分执行为了执行适当的白平衡(WB)调整而进行的校正处理。该判定处理采用例如根据登记为运动部分的像素数目与整个图像的像素数目的比值来进行判定的方法。例如，如果被登记为运动部分的像素数目与整个图像的像素数目的比值[比值A]不小于某预设的阈值[阈值]，则确定校正是不可能的，反之，如果该比值小于阈值，则确定校正是可能的。

如果在步骤S109中确定校正是不可能的，则处理前进到步骤S113，反之，如果确定校正是可能的，则处理前进到步骤S110。

在步骤S113，对闪光灯图像I₂执行白平衡(WB)调整并生成输出图像R，并且处理结束。用于白平衡的参数值可以采用根据环境光分量设置的参数，或者可以采用根据闪光灯光分量设置的参数，或者可以采用环境光和闪光灯光之间的中间分量的基础上设置的参数。执行设置了其中的这些参数的白平衡(WB)调整。顺便提及，这种白平衡调整方法是此前执行过的方法，此处将省略对其的详细说明。所使用的参数是由3×3矩阵表示的参数，并且是由将被应用到对构成每个像素的颜色的颜色分量的转换的矩阵表示的参数。除其对角线上的分量之外的分量都被设置为0的矩阵被应用到该3×3矩阵。

下面将说明在步骤S110和S112中基于多个图像数据的白平衡(WB)调整处理。步骤S110和S112执行相同的处理。该处理的细节将参照图3说明。

在步骤S201，获得闪光灯图像I₂的分量和无闪光灯辅助而捕获的图像I₁的像素的各个颜色的分量之间的差值，并且生成差值图像F＝I₂-I₁，并将其存储在存储器中。如果在不使用闪光灯光执行图像捕获的步骤S101和使用闪光灯光执行图像捕获的步骤S103之间物体没有移动，则差值图像F＝I₂-I₁变为等效于当物体仅仅由闪光灯光照明而完全没有环境光存在，并且仅仅闪光灯光从物体反射并进入固态摄像元件时，由照相机的固态摄像元件获得的图像。然后，在步骤S202，对图像F执行与闪光灯光的色温相匹配的白平衡(WB)调整。即，在按照闪光灯光设置的参数的基础上对差值图像数据F执行白平衡(WB)调整。并且，如果闪光灯光过度地亮或暗，则执行电平调整，以使得图像的亮度变为最佳，从而生成校正图像(corrected image)F’。

然后，在步骤S203，对无闪光灯辅助而捕获的图像数据I₁执行与环境光匹配的白平衡(WB)调整。也就是说，基于按照环境光设置的参数对无闪光灯辅助而捕获的图像数据I₁执行白平衡(WB)调整，从而生成校正图像I₁’。

这通过此前已经广为人知的白平衡(WB)调整来执行。例如，有可能使用在日本专利申请公开文件JPA-2001-78202中说明的技术。在JPA-2001-78202中，从使用闪光灯拍摄的图像I₂与不使用闪光灯拍摄的图像I₁之间的差值图像F以及存在的闪光灯的光谱特性中，获得作为照明分量数据的对象颜色分量数据和环境光的光谱分布。通过使用该照明分量数据执行图像I₁的白平衡(WB)调整。

然后，在步骤S204中，将差值图像F’与校正图像I₁相加在一起以生成经过白平衡(WB)调整的图像R。通过上述步骤，对于不存在运动的部分，经过白平衡(WB)调整的图像变成了对由闪光灯光产生的分量和由环境光产生的分量独立地进行了白平衡(WB)调整的图像。

图4是用于说明按照图3的流程执行基于两个图像生成经过白平衡(WB)调整的图像R的原理的视图，也就是说，图4是用于说明基于闪光灯捕获的图像数据I₁和无闪光灯辅助的图像I₂生成经过白平衡(WB)调整的图像R的原理的视图。

在图4A的视图中，位于闪光灯图像I₂中特定坐标位置(x，y)的像素被表示为RGB空间中的向量V3。向量V3具有作为(R、G和B)的值的(ir、ig和ib)。该向量V3是在包含环境光分量和闪光灯光分量两者的照明光的基础上获得的像素值。

因此，该向量V3等效于向量V1和向量V2的和，其中向量V1基于仅仅利用环境光分量从图像获取获得的在相同的坐标(x，y)处的像素值，即，无闪光灯辅助而捕获的图像数据I₁的像素值，而向量V2由在不存在环境光而仅存在闪光灯光的假定条件下执行图像捕获时所获得的图像的像素值分量构成。

因此，通过从向量V3所表示的像素值中减去向量V1所表示的像素值，来获得向量V2的像素值，即，在不存在环境光而仅存在闪光灯光的假定条件下执行图像捕获时所获得的图像的像素值。这一结果由图4B中的向量V2示出。向量V2基于仅仅由闪光灯光照射的条件，对于由向量V2所表示的像素值，按照基于闪光灯光分量设置的参数执行白平衡调整，从而得到校正像素值，进而得到由校正像素值构成的向量V2。由该向量V2表示的像素值所形成的图像对应于所获得的作为图3中步骤S202的白平衡调整的结果的校正图像F’。也就是说，图4A和4B的处理对应于图3的流程中的步骤S201和202。

图4C示出了这样的处理，即，按照基于环境光分量设置的参数，对与向量V1相对应的像素值执行白平衡调整，从而得到校正像素值，进而得到由校正像素值构成的向量V1，其中向量V1基于无闪光灯辅助而捕获的图像数据I₁的像素值。由该向量V1表示的像素值所形成的图像对应于所获得的作为图3中步骤S203的白平衡调整结果的校正图像I₁’。也就是说，图4C的处理对应于图3的流程中的步骤S203。

图4D示出了将由向量V2表示的像素值与由向量V1表示的像素值相加，并生成白平衡调整的图像数据R的处理，其中，向量V2对应于图4B中示出的校正图像F’，向量V1对应于图4C中示出的校正图像I₁’，白平衡调整的图像数据R具有最终的经过白平衡调整的像素值。也就是说，在特定的坐标(x，y)处的经过白平衡调整的像素值，是通过将由向量V2所表示的像素值与由向量V1所表示的像素值相加在一起而获得的像素值，其中向量V2与图4B中示出的校正图像F’相对应，而向量V1与图4C中示出的校正图像I₁’相对应。也就是说，图4D的处理对应于图3的流程中的步骤S204。

因此，本实施例的白平衡调整处理的结构使得包含环境光分量和闪光灯光分量两者的图像被分离成两个图像，即，仅仅使用环境光分量拍摄的图像和仅仅使用闪光灯光分量拍摄的图像，并且对于仅仅使用环境光分量拍摄的图像，按照基于环境光分量设置的参数执行白平衡调整，而对于仅仅使用闪光灯光分量拍摄的图像，则按照基于闪光灯光分量设置的参数执行白平衡调整，由此再次将这些校正像素值相加在一起以获得最终的白平衡调整的图像R。通过这种方式，使用适合于各个光分量的参数对两个光分量独立地施行白平衡调整，借此执行适当的白平衡调整。也就是说，有可能使生成的经过调整的图像看上去好像是在环境光和闪光灯光具有相同颜色的情况下捕获的。

回到图2的流程，下面将进一步说明其步骤。当在步骤S112中执行了基于上述多个图像的白平衡调整处理时，白平衡调整的图像R被作为最终的输出图像输出，并且处理到达结束点。

另一方面，在步骤S110中执行基于上述多个图像的白平衡调整处理的情况意味着这样的情况：确定发生了由于物体本身的运动而引起的图像抖动，并且该图像抖动是可校正的。在步骤S110中生成的经过白平衡调整的图像R，对于该图像R中由于物体本身的运动而引起图像抖动的图像区域，即，运动部分区域，在步骤S111执行像素值校正处理。也就是说，对在步骤S107中检测出的运动部分的像素值执行特殊的处理，从而对白平衡调整的图像R进行修改。举例来说，对于修改处理，存在这样一种方法：输入与检测到运动的部分相对应的闪光灯图像I₂的像素值，参照白平衡调整的图像R中没有运动的部分的像素值，确定检测到运动的部分的像素值，并合成最终的图像。

下面将说明这种合成方法。图像中出现的对象的颜色，是通过从对象反射而且入射到摄像元件并由摄像元件摄像的光而获得的。例如，如果在白光光源下某对象在图像中是红色的，则该对象具有高度反射与红色相对应的频率的可见光并吸收与其它颜色相对应的频率的光的特性。也就是说，可以说对象对于不同频率的光具有特有的反射率。在下文中，用(o_r，o_g，o_b)表示对象对于相对于RGB颜色分量的光的反射率，并用(l_r，l_g，l_b)表示特定色温的光。当光(l_r，l_g，l_b)被对象(o_r，o_g，o_b)反射而产生的光被照相机作为图像所摄像时，用下面的表达式(表达式1)来表示构成所摄像的图像的像素值(i_r，i_g，i_b)：

(i_r，i_g，i_b)＝(k×l_r×o_r，k×l_g×o_g，k×l_b×o_b)……(表达式1)

在上面的表达式中，k是表示光强度(intensity)的标量值。

现在假定存在两种照射光，例如环境光和闪光灯光，并且存在光源1(l_1r，l_1g，l_1b)和光源2(l_2r，l_2g，l_2b)。如果这两种光被特定的对象(o_r，o_g，o_b)反射而产生的光被照相机摄像，则可以用下面的表达式(表达式2)表示照相机所摄像的图像的像素值(i_r，i_g，i_b)：

(i_r，i_g，i_b)＝((k₁×l_1r+k₂×l_2r)×o_r，(k₁×l_1g+k₂×l_2g)×o_g，

              (k₁×l_1b+k₂×l_2b)×o_b)……(表达式2)

在该表达式中，k1是表示光源1的光强度的标量值，k2是表示光源2的光强度的标量值。

使得o_r’＝k₁×o_r，o_g’＝k₁×o_g，并且o_b’＝k₁×o_b，则上面的表达式(表达式2)能够被转换成下面的表达式(表达式3)：

(i_r，i_g，i_b)＝((l_1r+k’×l_2r)×o_r’，(l_1g+k’×l_2g)×o_g’，

              (l_1b+k’×l_2b)×o_b’)……(表达式3)

在该表达式中，k’＝k₂/k₁，并且k’是两个光源的光强度标量比值。也就是说，k’是在感兴趣像素所摄像的物体的部分中，分别从光源1和光源2照射的光的强度标量比值。

此处将考虑通过从对象反射的两种光，即环境光和闪光灯光而摄像的图像I₂上的特定像素值(i_r，i_g，i_b)。假定在上述表达式(表达式3)中，光源1是环境光，而光源2是闪光灯光。可以通过已经在此之前执行过的自动白平衡调整中使用的方法测量环境光的颜色(l_1r，l_1g，l_1b)。由于闪光灯光的颜色(l_2r，l_2g，l_2b)是闪光灯设备所特有的，因此这个颜色是已知的，并且能够被预设。此外，如果k’是已知的，则像素(i_r，i_g，i_b)能够被分解成环境光分量(l_1r×o_r’，l_1g×o_g’，l_1b×o_b’)和闪光灯光分量(k’×l_2r×o_r’，k’×l_2g×o_g’，k’×l_2b×o_b’)。环境光分量和闪光灯光分量被分离，并被独立地进行WB处理，并且，如果将作为结果的图像相加在一起并重构(reconstructed)，则有可能解决由于环境光和闪光灯光之间的色温差异而引起的图像不自然。

对于在参照图2说明的流程的步骤S107中检测到的运动部分，按照上述处理执行步骤S111的像素值校正。下面将说明具体的处理的例子。

如上所述，在步骤S107中，检测在步骤S101、S103和S105中对三个图像的捕获期间，是否发生了由物体本身的运动引起的图像抖动。这种处理，即，检测是否出现了由于物体本身的运动而引起的图像抖动，是通过比较三个图像中的两个图像来执行的。

例如，如图5所示，在连续地捕获A无闪光灯辅助图像I₁、B闪光灯图像I₂和C无闪光灯辅助图像I₃期间，球200正在滚动，在这种情况下，获得了A的图像I₁和C的图像I₃之间的差值图像DI₃-I₁，从而检测出在其中出现了由于物体本身的运动而引起的图像抖动的区域210。

下面将参照图6和7说明对运动部分进行的像素值校正处理的具体处理过程。图6是示出对运动部分进行的像素值校正处理的具体处理过程的流程图，而图7示出了包含作为校正目标的运动部分，即，图5所示的区域210的像素区域。

如图7所示，在确定为正在移动的图像区域中，确定为未移动的图像区域的邻近像素(每个像素都排列在由8个像素围绕的位置)被定义为运动存在部分的内边界像素250。此外，在确定为正在移动的图像区域中，除了内边界像素250之外的像素被定义为运动存在非内边界像素252。

并且，在被确定为未移动的图像区域中，排列在被确定为运动的图像区域的邻近位置的像素(每个像素都排列在被8个像素围绕的位置)被定义为运动存在部分的外边界像素251。此外，在被确定为未移动的图像区域中，除了运动存在部分的外边界像素251之外的像素被定义为运动不存在非外边界像素253。

对于运动存在部分的任何像素，光源1(环境光)的强度(标量值)k₁与光源2(闪光灯光)的强度(标量值)k₂的比值，即，光强度标量比值k’＝k₂/k₁是未知的。此处假定目标图像在白平衡(WB)中被正确地调整过，并且其运动部分被校正过，并且，目标图像具有这样的像素构成：其中的运动存在部分与其运动不存在部分的像素值平滑的变化。

在这一假设下，获得了关于运动存在部分外边界像素251的每个像素的光强度标量比值k’的值。对于这些运动存在部分外边界像素251的每个像素，上述表达式(表达式3)中的环境光分量(l_1r×o_r’，l_1g×o_g’，l_1b×o_b’)等于无闪光灯辅助而捕获的图像数据I₁中相应像素的值，从而能够在闪光灯图像I₂的像素值(i_r，i_g，i_b)和表达式(表达式3)的基础上得到光强度标量比值k’＝k₂/k₁的值。计算光源1(环境光)的强度(标量值)k₁与光源2(闪光灯光)的强度(标量值)k₂的比值k’＝k₂/k₁的处理即图6中步骤S301的处理。

从该步骤S301的处理，得到了关于运动存在部分外边界像素251中每个像素的光强度标量比值k’。但是，与包含在运动存在部分内的各个像素相对应的光强度标量比值k’的值是未知的。然而，与包含在运动存在部分中的这些各个像素相对应的光强度标量比值k’的值是从计算出的与运动存在部分外边界像素251相对应的k’的值插值(interpolate from)得到的。作为插值方法的一个例子，能够列举出使用径向基函数(RBF：Radial Basis Functions)的处理。

举例来说，作为关于使用径向基函数(RBF)的数据插值的参考文件，能够列举出J.C.Carr等人的“Reconstruction and Representation of 3D Objectswith Radial Basis Function”，ACM SIGGRAPH 2001，Los Angeles，CA，pp.67-76，12-17 August 2001。

径向基函数(Radial Basis Function)是其值随着到中心点的距离的增加而单调减小(或增加)的函数，从而其恒值线(contour)形成超球面(在三维的情况下为圆或椭圆)。已知的，如果将要解决的问题是：通过构造经过具有已知高度的采样点并变得尽量平滑的函数来估计未知点的高度，则以已知采样点为中心的RBF可以重叠(superimpose)。

具体来说，如果采样点存在于二维空间内，则如下定义采样点：

$\{{\stackrel{\→}{c}}_i=c_i^x,c_i^y)\}(1\≤i\≤n),$

其中c_i ^x和c_i ^y分别表示采样点i处的x坐标值和y坐标值。用{hi}＝(1≤i≤n)表示在各个点处的高速，则期望的函数：

$f\left(\stackrel{\→}{x}\right)$

通过使用RBF由下面的表达式(表达式4)表示：

$f\left(\stackrel{\→}{x}\right)=p\left(\stackrel{\→}{x}\right)+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_j\mathrm{\φ}(\stackrel{\→}{x}-{\stackrel{\→}{c}}_j)$ ……(表达式4)

这里，

为：

$p\left(\stackrel{\→}{x}\right)=p_0+p_{1}x+p_{2}y$

顺便提及，基函数(basefunction)的例子：

$\mathrm{\φ}\left(\stackrel{\→}{x}\right)$

为：

$\mathrm{\φ}\left(\stackrel{\→}{x}\right)=\left|\stackrel{\→}{x}\right|,$ 或 $\mathrm{\φ}\left(\stackrel{\→}{x}\right)={\left|\stackrel{\→}{x}\right|}^2\log \left|\stackrel{\→}{x}\right|$

但是，不能仅仅用上面的表达式(表达式4)确定{d_i}(1≤i≤n)，{p_i}(1≤i≤2)。由于这个原因，得到满足下面的表达式(表达式5)的{d_i}(1≤i≤n)，{p_i}(1≤i≤2)：

$\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_j=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_j{c}_j^x=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_j{c}_j^y=0$ ……(表达式5)

因此，从下面的表达式：

$f\left({\stackrel{\→}{c}}_i\right)=h_i=p\left({\stackrel{\→}{c}}_i\right)+\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_j\mathrm{\φ}({\stackrel{\→}{c}}_i-{\stackrel{\→}{c}}_j)$

以及表达式(表达式5)，有可能得到(未知数的数目n+3，表达式的数目n+3){d_i}(1≤i≤n)，{p_i}(1≤i≤2)。

如果将运动存在部分非外边界像素251中的光强度标量比值k’用作采样，并且构造了下面的表达式：

$f\left(\stackrel{\→}{x}\right)$

则能够得到任意位置的光强度标量比值k’。

这一处理是基于在图6示出的步骤S302中的采样点处的光强度标量比值k’(运动存在部分非外边界像素251中的k’)的RBF构造处理。

通过该RBF构造处理，执行对光源1(环境光)的强度(标量值)k₁于光源2(闪光灯光)的强度(标量值)k₂的比值的估计，该比值与闪光灯图像I₂中被确定为运动的部分中的各个像素相对应，即，光强度标量比值k’：k’＝k₂/k₁与运动存在部分中包含的各个像素相对应。使用估计出的对应于各个像素的光强度标量比值k’将图像I₂的运动存在区域部分分解成环境光分量和闪光分量，并且按照各个光的色温单独地执行白平衡(WB)调整处理。

也就是说，由于得到了运动存在部分中每个像素位置处的光强度标量比值k’，因此，将该k’和闪光灯图像I₂中每个像素位置处的像素值(i_r、i_g和i_b)、以及光源1(环境光)的已知光分量(l_1r，l_1g，l_1b)和光源2(闪光灯光)的已知光分量(l_2r，l_2g，l_2b)代入到上述表达式(表达式3)中，由此得到仅仅基于光源1(环境光)的物体的反射率(o_r’，o_g’，o_b’)。

此外，得到了在仅仅用环境光分量照射的情况下的物体的像素值：(l_1r×_or’，l_1g×o_g’，l_1b×o_b’)，以及在仅仅用闪光灯光分量照射的情况下的物体的像素值：(k’×l_2r×o_r’，k’×l_2g×o_g’，k’×l_2b×o_b’)，并且对各个像素值执行了基于独立的参数设置的两个白平衡调整，其中所述参数与上面参照图3和4提到的各个光分量相对应，并且，通过重新合成这些经过调整的数据的处理计算出了最终的经过白平衡调整的像素值。

校正运动存在部分的像素值的过程可以被概括为下面a到f的处理。

a、首先，作为与邻近运动存在部分的运动不存在部分的像素相对应的数据，对于其图像被像素中的任何一个像素所摄像的物体的每个部分，得到了两种光源的光强度标量比值，即，仅从第一光源照射的光和仅仅用环境光而不用第一光源照射的光的光强度标量比值。

b、应用径向基函数(RBF：Radial basis function)计算与运动存在部分的每个像素相对应的光强度标量比值。

c、在与运动存在部分的每个像素相对应的光强度标量比值的基础上，计算出与在仅由第一光源照射的环境中捕获的图像相对应的图像中的运动存在部分的每个像素的像素值，作为第一像素值。

d、在与运动存在部分的每个像素相对应的光强度标量比值的基础上，计算出与在不包含第一光源的环境光照射的环境下捕获的图像相对应的图像中运动存在部分的每个像素的像素值，作为第二像素值。

e、在第一像素值的基础上执行像素值调整处理(白平衡调整)，并且在第二像素值的基础上执行像素值调整处理(白平衡调整)。

f、将生成的两个经过调整的像素值相加在一起。

通过这种方式，相对于包含在运动部分中的像素的经过白平衡(WB)调整的像素值被重写(overwrite)到在图2的步骤S110中生成的图像数据R上，以得到第一校正图像数据R。也就是说，在步骤S111中仅重新设置了由于捕获的图像中的物体的运动而引起的运动部分的像素值，并且该像素值被重写到了在步骤S110中生成的经过白平衡调整的图像R上，以得到第一校正图像数据R’。

顺便提及，如之前在图3的处理流程中提到的，在已经执行了对闪光灯光的电平调整(S202)的情况下，在计算运动部分的像素值期间执行等效的电平调整，并且在那之后，对基于环境光和闪光灯光分量的经过白平衡调整的像素值执行加法。

通过这种方法，运动部分的像素值被重新设置，并且与运动部分相对应的图像R的像素被重写。该处理就是图6的步骤S303的处理。

但是，在通过用在运动存在部分中已经被重新设置的像素值重写在步骤S110中生成的白平衡调整的图像R得到的第一校正图像R’中，存在这样的情况：原始图像R的运动不存在部分的像素与运动存在部分的重新设置的像素的边界不是平滑连接的。可以认为这种情况的一个原因是未能正确地测量环境光的颜色，或者是在闪光灯捕获的图像I₂中出现了高亮度(highlight)细节的损失。由于这个原因，为了应对那种情况，执行用于平滑边界部分的进一步的颜色转换处理。

具体地说，执行图6中步骤S304到S306的处理。在步骤S304中，关于单个颜色分量(α_r，α_g，α_b)，得到第一校正图像R’(参照图7)的运动存在部分内边界像素250中特定像素 a254的像素值与像素 a254的邻近像素(排列在包含在周围的8个像素中的位置的像素)中的运动存在部分外边界像素(图7中的像素255)的第一校正图像R’中的值的平均值的比值。将这些比值作为与像素 a254相对应的颜色分量数据进行存储。

类似的，计算出关于排列在运动存在部分内边界像素250中所有位置的各个像素所对应的单个颜色分量(α_r，α_g，α_b)的比值，以作为像素颜色分量比值数据，并将其存储为与各个像素相对应的颜色分量比值数据。

然后，在步骤S305中，通过将运动存在部分内边界像素250的所有像素作为采样点使用来构造基于颜色分量比值数据的RBF。最后，在步骤S306中，对于运动存在部分的每个像素，在基于所构造的颜色分量比值数据的RBF的基础上，得到与运动存在部分的各个像素相对应的颜色分量比值数据(α_r，α_g，α_b)，并且将在第一校正图像R’中设置的各个像素的像素值乘以相应图像的颜色分量比值数据(α_r，α_g，α_b)，由此计算出新的像素值，以执行第二颜色转换，在第二颜色转换中，用这些像素值替代运动存在部分的像素。通过执行这一颜色转换处理而获得的第二校正图像R”被提供为输出图像。该处理就是图6的步骤S306的处理。

顺便提及，如果在通过执行图6中步骤S301到S303的处理而获得的第一校正图像R’中，运动存在部分图像和运动不存在部分图像之间的边界平滑连接，则可以省略步骤S304到步骤S306的处理。

上述说明谈到使用在不同于***点的采样点处给定的值***点的方法时，参考了使用RBF的方法，但是这种方法并不是限制性的，也可以使用其它方法执行插值。上述处理是图2的步骤S111的具体处理的例子。通过这种方式，如果从连续捕获的图像中检测到基于物体本身的运动的图像抖动，则执行按照图6示出的流程的处理，并且由上述处理生成的第二校正图像R”或第一校正图像R’被作为最终的输出图像提供。

顺便提及，如果预先已知物体本身没有移动，则图2中步骤S107到S111的处理是不必要的。此外，由于步骤S108中的判断必然是“否”，因此不需要执行步骤S108的判断处理，从而使得用来创建并存储将被用于步骤S108的判断的数据的步骤S105和S106也是不必要的。

因此，如果预先已知物体本身没有运动，则在步骤S105中捕获的无闪光灯辅助而捕获的图像I₃就是不必要的图像，并且，在这种情况下，仅仅需要捕获两个图像，即，无闪光灯辅助而捕获的图像I₁和闪光灯捕获的图像I₂。

在本说明书中，术语“闪光灯”(flash)被用于描述在暗的物体的情况下发射光的照明设备，但是这种设备也被称为闪光灯(strobe)。因此，本发明并不仅限于闪光灯，而是能够广泛地应用到在暗的物体的情况下发射光的照明设备。

如上所述，在本实施例中，对于在诸如闪光灯光与环境光的多个不同的光照射下分别捕获的图像，获得或生成在使用单一种类的光照明的环境中捕获的每个图像，并按照基于各个照射光的颜色分量(色温)设置的参数，对在由单一种类的光照明的环境中捕获的每个图像分别执行白平衡调整，并且这些经过调整的图像被合成。因此，有可能实现适当的白平衡调整处理，使得闪光灯光和环境光之间的色温差异被缩小。

图8是示出按照本实施例执行处理的数字信号处理部分(DSP)(其与图1中的DSP 106相对应)的功能构造的方框图。

将参照图2示出的流程图说明图8示出的数字信号处理部分(DSP)中的处理。

在图2的步骤S101到S106，无闪光灯辅助而捕获的图像I₁、闪光灯捕获的图像I₂和无闪光灯辅助而捕获的图像I₃被分别存储在帧存储器301、302和303中。顺便提及，对于图像存储帧存储器，也可以使用在数字信号处理部分(DSP)内部构造的存储器或总线连接的存储器(图1的存储器112)。

由运动检测部分309执行步骤107的运动检测处理。这被作为之前参照图5所说明的使用基于无闪光灯辅助而捕获的图像I₁和无闪光灯辅助而捕获的图像I₃的不同数据的检测处理而执行。

在步骤S112中基于上述多个图像的白平衡调整处理是之前参照图3和4所说明的处理。

首先，在差值图像计算部分304中基于无闪光灯辅助而捕获的图像I₁和闪光灯捕获的图像I₂得到差值图像F＝I₂-I₁(图3，S201)。然后，由白平衡调整部分307对差值图像数据F＝I₂-I₁，即，与在仅有闪光灯光照射的条件下捕获的图像相对应的图像F，执行按照基于闪光灯光的分量设置的参数的白平衡调整处理(图3，步骤S202)。此外，白平衡调整部分305对无闪光灯辅助而捕获的图像I₁执行按照基于环境光分量的估计值设置的参数的白平衡调整处理(图3，步骤S203)，其中，环境光分量的估计值是有环境光分量估计部分306估计的。

并且，在像素值相加部分308中将通过这两个白平衡调整处理而获得的两个图像的像素值相加在一起(图3，S204)。

如果被捕获的图像不包含运动部分，则在运动部分校正像素值计算部分310中不执行处理，并且将具有在像素值相加部分308中被相加在一起的像素值的图像数据作为经过白平衡调整处理的图像经由输出切换部分312输出。该图像数据被输出到D/A转换器108、编解码器111等，D/A转换器108执行数字/模拟转换(参照图1)，编解码器111执行编码处理。

另一方面，如果作为使用根据无闪光灯辅助而捕获的图像I₁和无闪光灯辅助而捕获的图像I₃的差值数据而执行的运动检测的结果，在运动检测部分309中检测到对象本身的运动区域，则在运动部分校正像素值计算部分310中还要执行之前已经参照图6和7说明的对运动存在部分的像素值的校正(转换)，并且经由输出切换部分312输出具有下述像素值数据的图像：在该像素值数据中，用校正像素值替换了运动存在部分。

白平衡调整部分311执行图2的处理流程中步骤S113的处理。也就是说，如果确定校正是不可能的，例如，在运动检测部分309中检测到运动区域，但是运动区域在整个图像中的比例很高，在这种情况下，白平衡调整部分311接收输入的闪光灯捕获的图像I₂，执行按照预设的参数的白平衡调整处理，并经由输出切换部分312输出该经过调整的图像。

为了便于对其功能进行说明，图8中的构造被分成各个处理部分示出，但是实际的处理可以由DSP中的处理器按照程序来执行，该程序根据上述处理流程中的每一个来执行处理。

在上述白平衡调整处理中，参考了参照图3和4所说明的构造例子，在该构造例子中，对于环境光分量和闪光灯光分量，得到了基于单一种类照射光的图像数据，并且对那些图像数据中的每一个，都执行了按照基于相应的环境光分量和闪光灯光之一而设置的参数的白平衡调整处理。

下面的说明参照这样的构造例子：对与仅有闪光灯光照射的条件相对应的差值图像数据F＝I₂-I₁执行按照基于环境光设置的参数的白平衡调整处理。

图9示出了本实施例中根据多个图像数据的白平衡调整处理流程，其中，该流程与之前提到的实施例中图3的流程相对应。

在步骤S401中，得到闪光灯图像I₂的分量与无闪光灯辅助而捕获的图像I₁的像素的各个颜色分量之间的差值，并且生成差值图像F＝I₂-I₁，并将其存储在存储器中。差值图像F＝I₂-I₁变得等效于在下述情况下由照相机的固态摄像元件摄像的图像，该情况即：物体仅被闪光灯光照射，完全没有环境光存在，并且仅仅有闪光灯光从物体反射并进入固态摄像元件。然后，在步骤S402中，对图像F执行于环境光的色温相匹配的白平衡(WB)调整，从而生成校正图像F’。也就是说，基于按照环境光的色温设置的参数对差值图像数据F执行白平衡(WB)调整，从而生成校正图像F’。

此时，通过将差值图像F的每个像素与无闪光灯辅助而捕获的图像I₁的像素中相应的像素直接进行比较来执行白平衡调整处理，从而使闪光灯光与环境光的颜色匹配。作为这种WB处理的具体例子，采用与像素(r_f，g_f，b_f)处于相同位置的无闪光灯辅助而捕获的图像I₁的像素(r_i，g_i，b_i)，来根据无闪光灯辅助而捕获的图像I₁的像素的G信号的电平，对差值图像F的像素的R和B分量执行像素值转换，该像素值转换使用下面的式6和7：

r_f’＝r_f×(g_i/g_f)       ……(表达式6)

b_f’＝b_f×(g_i/g_f)       ……(表达式7)

然后，比较r_f’与r_f以及b_f’与b_f进行比较以获得下面的值：

a_r＝r_i/r_f’＝(r_i×g_f)/(r_f×g_i)    (表达式8)

a_b＝b_i/b_f’＝(b_i×g_f)/(b_f×g_i)    (表达式9)

对于所有像素，通过对从表达式8和9得到的a_r和a_b进行平均而得到WB参数。用得到的参数乘以图像F的每个像素的R分量和B分量，由此执行白平衡调整。通过这个处理，图像F被转换成看上去像是在具有与环境光相同颜色的闪光灯光下拍摄到的图像，并且该图像被存储为图像F’。

此外，在步骤S403中，差值图像F’和无闪光灯辅助而捕获的图像I₁被合成以生成第一白平衡调整的图像R₁。在第一白平衡调整的图像R₁中，环境光和闪光灯光的色温彼此一致。

最后，在步骤S404中，对第一白平衡调整的图像R₁进一步执行白平衡调整，由此生成第二白平衡调整的图像R₂。

可以使用由用户设置的值作为用于步骤S404中的WB的参数，或者也可以使用公知的自动白平衡技术来转换第一白平衡调整的图像R₁，以使得最终的第二白平衡调整的图像R₂具有自然的色调。

按照本实施例的处理，有可能实现更多地考虑环境光分量的白平衡调整处理。具体地说，有可能实现根据环境光的调整；例如，如果环境光由于日出等是偏红色的，也就是说，环境光包含大量R分量，则使用偏红的色调调整整个图像。

图10是示出执行根据本实施例的处理的数字信号处理部分(DSP)(与图1的DSP 106相对应)的功能结构的方框图。

将参照图9示出的流程图说明图10中示出的数字信号处理部分(DSP)中的处理。

在图2的步骤S101到S106中，将无闪光灯辅助而捕获的图像I₁、闪光灯捕获的图像I₂和无闪光灯辅助而捕获的图像I₃分别存储在帧存储器401、402和403中。

在差值图像计算部分404中基于无闪光灯辅助而捕获的图像I₁和闪光灯捕获的图像I₂而得到差值图像数据F＝I₂-I₁(图9，S401)。然后，由白平衡调整部分405对差值图像数据F＝I₂-I₁执行按照基于环境光分量而设置的参数的白平衡调整处理(图9，步骤S402)，其中的差值图像数据F＝I₂-I₁是与在仅有闪光灯光照射的条件下捕获的图像相对应的图像F。接着，在像素值相加部分406中将由该白平衡调整处理获得的差值图像F’的像素值与无闪光灯辅助而捕获的图像I₁的那些像素值相加在一起，从而生成第一经过白平衡调整处理的图像R₁(图9，S403)。此外，在白平衡调整部分407中，对第一白平衡调整的图像R₁执行白平衡调整，由此生成第二白平衡调整的图像R₂。

如果被捕获的图像不包含运动部分，则在运动部分校正像素值计算部分409中不执行处理，并且将第二白平衡调整的图像R₂作为白平衡调整的图像经由输出切换部分411输出。图像R₂被输出到D/A转换器108、编解码器111等，D/A转换器108执行数字/模拟转换(参照图1)，编解码器111执行编码处理。

另一方面，如果作为使用根据无闪光灯辅助而捕获的图像I₁和无闪光灯辅助而捕获的图像I₃的差值数据而执行的运动检测的结果，在运动检测部分408中检测到了对象本身的运动区域，则在运动部分校正像素值计算部分409中还要执行之前已经参照图6和7说明的对运动存在部分的像素值的校正(转换)，并且经由输出切换部分411输出具有下述像素值数据的图像：在该像素值数据中，用校正像素值替换了运动存在部分。

白平衡调整部分410执行图2的处理流程中步骤S113的处理。也就是说，如果确定校正是不可能的，例如，在运动检测部分408中检测到运动区域，但是运动区域在整个图像中的比例很高，在这种情况下，白平衡调整部分410接收输入的闪光灯捕获的图像I₂，执行按照预设的参数的白平衡调整处理，并经由输出切换部分411输出该经过调整的图像。

为了便于对其功能进行说明，图10中的构造被分成各个处理部分示出，但是实际的处理可以由DSP中的处理器按照程序来执行，该程序根据上述处理流程中的每一个来执行处理。

根据本实施例，有可能实现更多地考虑环境光分量的白平衡调整。

[实施例2]

对于本发明的实施例2，类似于上面的说明，下面的说明是关于一种结构的，所述结构采用与实施例1中图2的步骤S111的处理不同的技术作为图2的步骤S111的处理，即在图像处理方法和图像处理设备中对运动部分的像素值校正方法，所述的图像处理方法和图像处理设备两者都对在环境光和闪光灯光混合的环境下捕获的图像执行最佳的白平衡调整处理。举例来说，本方法能够实现对高分辨率图像的高速处理。

在上述的实施例1中，已经提到了能够减小闪光灯光与环境光之间的色温差值的结构。将该结构概括如下：首先，从使用闪光灯拍摄的图像和不使用闪光灯拍摄的图像之间的差值图像中提取闪光灯光分量，在那之后，对该差值图像和不使用闪光灯而拍摄的图像施行颜色转换，并对它们重新合成，以减小环境光和闪光灯光之间的色温差。

根据该结构，虽然必需连续地捕获多个图像，但是即使在捕获期间物体等运动的情况下，也有可能妥善处理。也就是说，以闪光灯图像、无闪光灯辅助的图像和闪光灯图像的顺序连续地捕获三个图像，并且从两个无闪光灯辅助的图像之间的差异检测物体的运动部分，通过使用径向基函数，根据运动区域之外的像素的数据，对被反射的闪光灯光分量与被反射的环境光分量的比值执行插值处理。

也就是说，在实施例1中，按照图6中示出的处理流程执行图1中示出的步骤S111的处理，即，对白平衡调整的图像R的运动部分的像素值校正处理。

但是，在某些情况下，上述的运动部分补偿方法需要大存储器容量和高计算成本。具体地说，该方法具有这样的问题：将被校正的图像的分辨率越高，引起的必要存储器容量和计算成本的增长越大。

实施例2解决了上述问题，并且提供了这样的结构的例子：在使用闪光灯执行的图像捕获期间，有可能解决由于环境光和闪光灯光之间色温的差异而引起的不自然，并且进而，即使检测到图像抖动，也有可能最优地且高效率地处理，而且不会失败，甚至如果目标图像的分辨率很高，也有可能高速率高效率地执行处理。

根据实施例2的图像处理设备具有与之前参照图1说明的实施例1的构造相似的构造。实施例2的区别在于数字信号处理部分(DSP)106的处理。下面将说明根据实施例2的图像处理的细节。

以这样的方式实现图像处理，即，在DSP 106中，运算单元对输入图像信号流顺序地执行以预定的程序代码写成的操作。下面，将参照流程图说明执行程序的各个处理步骤的顺序。但是，可以不以将在本实施例中说明的程序的形式构成本发明，而是通过结合实现与将在下面说明的功能等效的处理的硬件电路来构成本发明。

按照实施例1中的上述图2中示出的流程图执行本实施例中的白平衡(WB)校正处理过程中的基本处理。也就是说，按照闪光灯图像、无闪光灯辅助图像和闪光灯图像的顺序连续地捕获三个图像，并在这些图像的基础上执行白平衡调整。

在本实施例中，能够在高得多的速度下以高得多的效率执行图2中示出的步骤S111中对运动部分的像素值校正处理。具体来说，在对高分辨率图像数据的处理期间，即使在装置具有较小的存储器容量的情况下也能以高速率执行适当的像素值校正处理。

在图2示出的步骤S110中执行的基于上述多个图像的白平衡调整处理的情况意味着确定发生了由于物体本身的运动引起的图像抖动并且该图像抖动可以校正的情况。在步骤S111中，对在步骤S110中生成的白平衡调整的图像R中的由于物体本身的运动而引起的图像抖动的图像区域，即，运动图像区域，执行像素值校正处理。也就是说，对在步骤S107中检测到的运动部分的像素值执行额外的处理，以便对白平衡调整的图像R进行修改。对于修改处理，举例来说，存在这样一种方法：输入与白平衡调整的图像R中检测到运动的部分相对应的闪光灯图像I₂的像素值，参考白平衡调整的图像R中不存在运动的部分的像素值，确定检测到运动的部分的像素值，并合成最终的图像。

下面将说明根据本实施例的像素值校正处理的细节。

图11是示出作为在图2的步骤S107中执行的运动检测处理的结果而获得的数据的一个例子的示意图。

在图11中，由图2的流程中的步骤S107确定为运动的部分称为运动存在部分像素区域550，而被确定为没有运动的部分称为运动不存在部分像素区域551。

在之前参照图3提到的在步骤S204中获得的图像，即，白平衡调整的图像R中的运动不存在部分像素区域551的构成像素，可以认为是通过对在图2的步骤S103和S104中使用闪光灯拍摄的并且存储在存储器中的图像I₂施行正确的颜色转换以减少闪光灯光和环境光之间的颜色差异而获得的图像。另一方面，由于物体的运动对像素值产生了影响，因此对于白平衡调整的图像R的运动存在部分像素区域550的构成像素，可以认为很有可能颜色转换没能正确地生效。

因此，对于运动存在部分像素区域550地像素，直接对闪光灯图像I₂施加颜色转换，从而执行得到最终的白平衡调整的图像R的处理。

在实施例1中，图1中示出的步骤S111的处理，即，对白平衡调整的图像R的运动部分执行的像素值校正处理，被执行为按照图6示出的处理流程使用径向基函数的插值处理。

在本实施例中，以与实施例1不同的顺序执行对白平衡调整的图像R的运动部分的像素值校正处理。下面，将参照图12示出的流程图对根据本实施例2的运动部分的像素值校正处理的顺序进行说明。

图12是示出图2所示出的步骤S111的处理，即对白平衡调整的图像R的运动部分的像素值校正处理的细节的流程图。下面将说明每个步骤的处理。

首先，在步骤S501，使用按照图2示出的步骤S110，即图3的处理流程生成的白平衡调整的图像R，和在图2示出的步骤S103和S104中使用闪光灯拍摄的并存储在存储器中的图像I₂，基于下面的表达式(表达式21)得到图像差值：

d(x，y)＝R(x，y)-I₂(x，y)      ……(表达式21)

在该表达式中，d(x，y)、R(x，y)和I₂(x，y)是与在像素位置(x，y)处的各个图像的颜色相对应的向量。将上式当作向量计算来执行。

在该表达式(表达式21)中，得到了白平衡调整的图像R的与闪光灯图像I₂的每个像素值之间的图像差值d，但是，也可以如下面给出的表达式(表达式22)那样，计算和采用白平衡调整的图像R的每个像素值与闪光灯图像I₂的相对应的像素值的比值，即图像比值d，以此来代替白平衡调整的图像R的和闪光灯图像I₂的每个像素值之间的差值。

d(x，y)＝R(x，y)/(I₂(x，y)+e)      ……(表达式22)

在上述的表达式(表达式22)中，“e”是向量，对该向量所具有的每个元素分别设置了足够小的固定值，例如，基底(floor)值。(表达式22)中的符号“/”表示这样的计算：用向量中的各个元素除以向量中的元素，并将结果设置为向量的各个元素。使用“e”的目的是防止d(x，y)在I₂(x，y)的元素变为0时变得无法计算。

如果正确地得到关于整个图像的在白平衡调整的图像R和闪光灯图像I₂之间的图像差值或图像比值d(x，y)，则有可能在闪光灯图像I₂的基础上计算最终的白平衡调整的图像R。也就是说，有可能计算R(x，y)＝d(x，y)+I₂(x，y)或R(x，y)＝(I₂(x，y)+e)×d(x，y)。顺便提及，符号“×”表示这样的计算：用向量的各个元素乘以向量的元素，并将结果设置为向量的各个元素。

然而，有可能运动存在部分像素区域550作为运动图像出现，从而使得如果将从上述表达式(表达式21)或(表达式22)计算出的图像差值或图像比值d(x，y)不作修改地施加到像素区域550，则不能实现最优的颜色。

出于这个原因，在本实施例中，通过使用从运动不存在部分像素区域551得到的图像差值或图像比值d(x，y)执行平滑插值来计算相对于运动存在部分像素区域550的最终的像素值，即，最终的白平衡调整的图像R。否则，通过使用利用图像比值d(x，y)的插值滤波处理来执行平滑插值计算，从而计算出最终的白平衡调整的图像R。举例来说，可以通过上述这样的方法实现插值滤波处理：按照在运动存在部分像素区域550的周围的像素值或在像素区域550中实际观察到的像素值的转换状态，逐渐地从区域550的周围***像素值，并且，执行低通滤波处理。顺便提及，本发明的插值滤波处理不限于这种方法。

根据本方法，甚至是对于运动存在部分像素区域550，也有可能在保持运动存在部分像素区域550的闪光灯图像I₂的纹理的同时，生成具有与最终的白平衡调整的图像R类似的颜色的图像。

图13是用于说明插值处理的视图，所述插值处理通过使用上述的(表达式21)得到相对于运动存在部分像素区域550的最终的校正像素值，上述的(表达式21)即用于计算白平衡调整的图像R和闪光灯图像I₂的每个像素值之间的图像差值d的表达式。

在图13中，为了便于解释，数据被示为一维排列，并且将在该图例的基础上对处理进行说明，但是，实际上处理是在二维平面上执行的。在图1 3A到13C的每一个中，水平轴表示像素位置，而垂直轴表示像素值(亮度或R、G和B值)。

图13A示出了白平衡调整的图像R 560和闪光灯图像I₂561的像素值在运动不存在部分像素区域551和运动存在部分像素区域550中的转换。

图13B示出了运动不存在部分像素区域551中与运动存在部分像素区域550接近的部分的像素值的转换。也就是说，图13B示出了上述(表达式21)的值562，即，白平衡调整的图像R和闪光灯图像I₂的每个像素之间的图像差值。

在图13B中示出的运动不存在部分像素区域551中示出的虚线表示通过平滑地***图像差值d的值562而获得的运动存在部分像素区域550中的图像差值d的估计的值563。用于图像差值d的估计的值563的计算处理方法将在后面说明。

在图13C中，用点线示出了通过将图13B中示出的运动存在部分像素区域550中的估计的图像差值d563加到图13A中示出的运动存在部分像素区域550中的闪光灯图像I₂ 561的值而获得的结果，以作为运动存在部分像素区域550中的最终的白平衡调整的图像R564。

将在图13C中用点线示出的运动存在部分像素区域550中的该白平衡调整的图像R 564和运动不存在部分像素区域551中的经过白平衡调整的像素R560作为最终的白平衡调整的图像R输出。最终的输出图像变成了这样的图像：其中，图13C中示出的在运动存在部分像素区域550中用点线示出的白平衡调整的图像R 564和运动不存在部分像素区域551中的白平衡调整的图像R 560平滑地连接。在该输出图像中保留了运动存在部分像素区域550中闪光灯图像I₂ 561的纹理。

将会注意到，即使不是使用由上述的表达式(表达式21)给出的图像差值，而是将使用上述的表达式(表达式22)的图像比值d用作d(x，y)，也能够执行与上述方法类似的校正方法。也就是说，使用图像比值d代替图13B中示出的图像差值d，并且与图13B中示出的运动不存在部分像素区域551中示出的点线类似，图像比值d的值被平滑地***到运动存在部分像素区域550中，从而计算在运动存在部分像素区域550中的图像比值d的估计值。在那之后，用运动存在部分像素区域550中的闪光灯图像I₂的像素乘以图像比值d，借此就能够计算运动存在部分像素区域550的白平衡调整的图像R。

下面将说明使用白平衡调整的图像R和闪光灯图像I₂的每个像素值之间的图像差值或图像比值的插值方法的细节。

在执行了图12示出的流程中的步骤S501之后，作为插值的预处理，在步骤S502中得到相对于运动存在部分像素区域550的每个像素的图像差值或图像比值d(x，y)的初始值。在后面的说明中将涉及得到图像差值d(x，y)的方法，但是类似的技术能够被应用到想要得到图像比值d(x，y)的情况。

首先，准备掩码图像(mask image)M，掩码图像具有的每一个像素都用两个值中的一个表示，并且对于运动不存在部分像素区域551的每个像素，都设置为M(x，y)＝1，而对于运动存在部分像素区域550的每个像素，都设置为M(x，y)＝0。

检查图像的每个像素，以便从M(x，y)＝0的像素中，即运动存在部分像素区域550的像素中选择与M(x，y)＝1的像素，即，运动不存在部分像素区域551相邻的像素(由8或4个邻近的像素包围)。

然后，计算与感兴趣的像素相邻的M(x，y)＝1的像素的图像差值d(x，y)的平均值。将该平均值设置为在感兴趣的像素的位置处的图像差值d(x，y)的初始值。

下面将参照图14说明具体的处理。例如，如图14所示，在具有运动存在部分像素区域550和运动不存在部分像素区域551的图像的情况中，运动存在部分像素区域550中与运动不存在部分像素区域551相邻的像素581的图像差值d(x，y)的初始值被设置为运动不存在部分像素区域中与像素581相邻的像素582、583和584的平均值。

通过类似的技术确定相对于运动存在部分像素区域550中与运动不存在部分像素区域551相邻的像素的初始值。然后，对于新设置了其初始值的像素，将掩码图像的M(x，y)的值改为1。接着，在对与M(x，y)＝1的像素相邻的所有像素(每一个被8或4个邻近的像素包围)都设置了初始值之后，从M(x，y)＝0的像素中，即，从包含在运动存在部分像素区域550中的像素中，对新设置了其初始值的像素设置M(x，y)＝1。也就是说，从图14所示的运动存在部分像素区域550的周围部分向中心部分顺序地确定运动存在部分550的图像差值d(x，y)的初始值。重复执行这一处理直到所有像素都被设置为M(x，y)＝1。

通过该处理，确定了包含在运动存在部分像素区域550中的所有像素的图像差值d(x，y)的初始值。该处理就是图12所示的流程中步骤S502的处理。

在得到了运动存在部分像素区域550中的图像差值d(x，y)的初始值之后，执行图12所示的流程中步骤S503的处理。

在步骤S503，仅仅对运动存在部分像素区域550的像素的图像差值执行平滑滤波。举例来说，平滑滤波可以使用运动平均滤波，其对包含在n×n的方形附近的像素值求平均。从该平滑处理有可能获得这样的效果：仅仅平滑地连接运动存在部分像素区域550的图像差值d的值，同时固定运动不存在部分像素区域551的图像差值的值。

在步骤S503执行的这个平滑处理中，检查在该平滑滤波中每个像素的图像差值d(x，y)的每个颜色分量是如何变化的，并将图像差值d(x，y)的每个颜色分量的变化的最大值(像素值变化最大值)存储在存储器中。

然后，在步骤S504，确定在步骤S502的平滑处理中被存储的图像差值d(x，y)的每个颜色分量的变化最大值是否大于预设的阈值。如果像素值变化最大值较小，则处理前进到步骤S506，并且平滑处理结束。

如果在步骤S502的平滑处理中被存储的图像差值d(x，y)的每个颜色分量的变化的最大值(像素值变化最大值)大于预设的阈值，则确定运动存在部分像素区域550的图像差值d仍没有被平滑地插值，并且处理前进到步骤S505。

在步骤S505，确定到目前为止已经对图像差值d的运动存在部分像素区域550的像素执行的平滑滤波的次数是否超过了预设的阈值，并且，如果次数较大，则处理前进到步骤S506。如果次数较小，则处理返回到步骤S503，并且再次执行平滑滤波，以便再次执行对运动存在部分像素区域550的平滑处理。

在对图像差值d的运动存在部分像素区域550的像素执行平滑滤波的次数已经大于预设的阈值的情况下，即使重复地执行平滑滤波，也不能获得图像差值d的变化。因此，预先将预定的平滑处理的执行次数确定为阈值，并且如果达到了该阈值，则在该时间点使平滑处理到达结束点，并且处理前进到下一步。

在步骤S506，将在上述平滑处理中获得的运动存在部分像素区域550中的图像差值d确定为估计的图像差值d 563。也就是说，将图像差值d确定为图13B所示的运动存在部分像素区域550中的估计的图像差值d 563。

然后，在步骤S507中，使用上述处理中计算出的图像差值d和闪光灯图像I₂生成运动存在部分像素区域550的最终的白平衡调整的图像R。

也就是说，生成了图13C所示的运动存在部分像素区域550的最终的白平衡调整的图像R。通过将图13B中所示的运动存在部分像素区域550中的估计的图像差值d 563与图13A所示的运动存在部分像素区域550的闪光灯图像I₂ 561的值相加而获得的结果被设置为运动存在部分像素区域550的最终的白平衡调整的图像R 564。

上述的处理例子是使用按照上述的表达式(表达式21)得到的白平衡调整的图像R和闪光灯图像I₂的每个像素值的图像差值d的例子。但是，如果使用按照上述的表达式(表达式22)而得到的白平衡调整的图像R和闪光灯图像I₂的每个像素值的图像差值d，则在这种情况下，在步骤S507中，将运动存在部分像素区域550中的图像比值d和闪光灯图像I₂的每个像素的元素相乘，以生成最终的白平衡调整的图像R。

通过上述的处理，能够生成最终的输出图像R。

下面将参照图15说明本实施例中的运动部分校正像素值计算部分的结构。

本实施例中的运动部分校正像素值计算部分被设置为与之前在实施例1中提到的图8中示出的运动部分校正像素值计算部分310相对应，或者与图10中所示的运动部分校正像素值计算部分409相对应。

图15中示出的结构将被说明。运动部分校正像素值计算部分710具有图像差值(图像比值)计算部分711、运动存在像素区域图像差值(图像比值)d初始值计算部分712、平滑处理部分713和运动部分最终的校正像素值计算部分714。

图像差值(图像比值)计算部分711接收运动不存在部分像素区域白平衡调整的图像R 701的输入和闪光灯图像I₂的每个图像数据的输入，并按照上述的表达式(表达式21)或(表达式22)计算运动不存在部分像素区域中的图像差值d或图像比值d。该处理与图13A中示出的“d”相对应。

运动存在像素区域图像差值(图像比值)d初始值计算部分712设置运动存在部分像素区域中的图像差值(图像比值)d的初始值。如之前参照图14所说明的，该处理首先将运动不存在像素区域的邻近像素，即，位于运动存在像素区域中与运动不存在像素区域相邻的部分中的像素的图像差值(图像比值)d的平均值设置为初始值，然后，执行向运动存在像素区域的内部顺序地确定图像差值(图像比值)d的初始值的处理。

平滑处理部分713在已经在运动存在像素区域图像差值(图像比值)d初始值计算部分712中设置的运动存在像素区域图像差值(图像比值)d的初始值的基础上使用例如平滑滤波来执行平滑处理，并且确定运动存在像素区域中的图像差值(图像比值)的估计值d。也就是说，确定图13B中示出的运动存在部分像素区域550中的估计的图像差值d 563。

运动部分最终的校正像素值计算部分714接收在平滑处理部分713中平滑过的图像差值(图像比值)的估计值d和闪光灯图像I₂的输入，并生成运动存在部分像素区域550的最终的白平衡调整的图像R。也就是说，生成图13C所示的运动存在部分像素区域550的最终的白平衡调整的图像R。

通过将图13B所示的运动存在部分像素区域550中的估计的图像差值d563与图13A所示的运动存在部分像素区域550中的闪光灯图像I₂ 561的值相加而获得的结果被设置为运动存在部分像素区域550的最终的白平衡调整的图像R 564，并被输出。

在使用按照表达式(表达式22)得到的白平衡调整的图像R和闪光灯图像I₂的每个像素值的图像差值d的情况中，在步骤S507，将运动存在部分像素区域550中的图像比值d和闪光灯图像I₂的每个像素的元素相乘，以生成最终的白平衡调整的图像R，并将其输出。

如上所述，根据本实施例的像素值校正处理，有可能借助于使用平滑滤波的简单处理对运动存在部分像素区域执行适当的颜色转换。

在上述实施例中，提到了执行白平衡调整处理的例子。但是，上述技术不仅能够用于解决白平衡调整处理，还能够用于解决一般的数据处理问题。

也就是说，在如图13所示的在特定区域中定义了特定的数据(图13的区域551)，但是将要在其它的区域(图13的区域550)中定义数据的情况下，本发明的处理是有用的。

假定给出了由图13所示的区域550指示的区域，并且给定了在与该区域相邻的数据区域551中的参考数据561。此时，能够生成具有与参考数据561相同的特性(图像纹理)的插值数据(图13的插值数据564)。

这种数据处理不仅能够应用于上述实施例中的图像数据的白平衡处理，而且还能够应用于一般的数据处理。也就是说，本实施例不限于白平衡调整的问题。

[实施例3]

下面将说明本发明的实施例3，对实施例3的说明将参照在图像处理方法和图像处理设备中采用与实施例1和2不同的技术作为图2的流程中步骤S111的处理，即，对运动部分的像素值校正处理方法的结构。与上述的方法和装置类似，所述的图像处理方法和图像处理设备对在环境光和闪光灯光混合的环境中捕获的图像执行最佳的白平衡调整处理。

在实施例1中，提到了这样的结构：从两个无闪光灯辅助的图像之间的差值检测物体的运动部分，并且，使用径向基函数，基于从运动部分之外的像素的数据得到的反射的闪光灯光分量与反射的环境光分量的比值，对运动部分中包含的像素执行插值处理。在实施例2中，提到了由通过平滑滤波器简化了的处理对运动部分执行像素值校正的结构。

实施例3提供了一个结构例子，在该结构中设置滤波器，根据闪光灯图像I₂的图像数据动态地确定所述滤波器的加权值，并且，所述结构通过使用设置的滤波器对运动存在像素执行像素值校正。

实施例3的图像处理设备具有与之前参照图1说明的结构类似的结构，并且，在实施例3中，在数字信号处理部分(DSP)106中执行根据闪光灯图像I₂的图像数据的滤波器设置处理和使用滤波器的像素值校正处理。下面将说明根据实施例3的图像处理的细节。

图像处理以这样的方式实现：在DSP 106内部，算术单元对输入的图像信号顺序地执行以预定的程序代码写成的操作。下面将参照流程图说明执行程序的各个处理步骤的顺序。但是，本发明可以不以将要在本实施例中说明的程序的形式构成，而是通过结合实现与下面将要说明的功能等效的处理的硬件电路来构成。

与之前提到的实施例1类似，本实施例中白平衡(WB)校正处理过程的基本顺序是根据图2所示的流程图的处理。也就是说，以闪光灯图像、无闪光灯辅助的图像和闪光灯图像的顺序连续地捕获三个图像，并在这些图像的基础上执行白平衡调整。

在本实施例中，能够以高得多的准确度和高得多的效率执行图2所示的步骤S111中对运动部分的像素值校正处理。在图2所示的步骤S110中执行基于上述多个图像的白平衡调整处理的情况意味着这样的情况：确定发生了由于物体本身的运动的图像抖动，并且该图像抖动是可校正的。在步骤S111中，对白平衡调整的图像R中由于物体本身的运动而引起图像抖动的图像区域，即，运动部分区域，执行像素值校正处理。也就是说，对在步骤S107中检测到的运动部分的像素值执行额外的处理，从而修改白平衡调整的图像R。作为修改处理，举例来说存在这样的方法：输入与白平衡调整的图像R中检测到运动的部分相对应的闪光灯图像I₂的像素值，参照白平衡调整的图像R中不存在运动的部分，确定检测到运动的部分的像素值，并合成最终的图像。

根据本实施例的像素值校正处理的细节将在下面说明。

如在之前的实施例中所说明的，作为在图2的步骤S107中执行的运动检测处理的结果而获得的数据就是与16中所示的示意图相对应的数据。

在图16中，在图2所示的流程中的步骤S107中确定为运动的部分是运动存在部分像素区域550，而确定为没有运动的部分是运动不存在部分像素区域551。

在之前参照图3提及的步骤S204中获得的图像，即，白平衡调整的图像R的运动不存在部分像素区域551的构成像素能够被认为是通过对在图2所示的步骤S103和S104中使用闪光灯拍摄并被存储的图像I₂正确地施行颜色转换以减少闪光灯光和环境光之间的颜色差异而获得的像素。另一方面，对于白平衡调整的图像R的运动存在部分像素区域550的构成像素，由于物体的运动对像素值产生了影响，因此可以说颜色转换不能产生正确的效果的可能性很高。

因此，对于运动存在部分像素区域550的像素，直接对闪光灯图像I₂施加颜色转换，以执行得到最终的白平衡调整的图像R的处理。

在实施例1中，将图1所示的步骤S111的处理，即，对白平衡调整的图像R的运动部分的像素值校正处理，作为按照图6示出的处理流程使用径向基函数的插值处理而执行。在实施例2中，按照图12示出的处理流程执行使用平滑滤波的校正处理。

在本实施例中，以与实施例1和2不同的顺序执行对白平衡调整的图像R的运动部分的像素值校正处理。下面将参照图16示出的流程图说明根据本实施例3的运动部分的像素值校正处理的顺序。

图16是示出图2所示的步骤S111的处理的流程图，即，图16示出了按照本实施例3执行对白平衡调整的图像R的运动部分的像素值校正处理的具体顺序。下面将说明该处理的每个步骤。

首先，在步骤S601，使用按照图2所示的步骤S110，即图3的处理流程生成的白平衡调整的图像R以及在图2的步骤S103和S104中使用闪光灯拍摄并存储在存储器中的图像I₂，在下面的表达式(表达式31)的基础上得到图像差值d：

d(x，y)＝R(x，y)-I₂(x，y)       ……(表达式31)

在这个表达式中，d(x，y)、R(x，y)和I₂(x，y)是与在像素位置(x，y)处的各个图像的颜色相对应的向量。将上面的表达式作为向量计算来执行。

在表达式(表达式31)中，得到了白平衡调整的图像R中和闪光灯图像I₂中每个像素值之间的图像差值d，但是也可以不计算白平衡调整的图像R中和闪光灯图像I₂中每个像素值之间的差值，而是如下面的表达式(表达式32)所给出的，计算白平衡调整的图像R中的每个像素值与闪光灯图像I₂中相应的像素值的比值，即，图像比值d：

d(x，y)＝R(x，y)/(I₂(x，y)+e)    ……(表达式32)

在上面的表达式(表达式32)中，“e”是对其中的元素分别设置了足够小的固定值，例如，基底值(floor value)的向量。(表达式32)中的符号“/”表示这样的计算：用向量中的各个元素除以向量中的元素，并将结果设置为向量的各个元素。使用“e”的目的是防止d(x，y)在I₂(x，y)的元素变为0时变得无法计算。

如果正确地得到关于整个图像的在白平衡调整的图像R和闪光灯图像I₂之间的图像差值或图像比值d(x，y)，则有可能在闪光灯图像I₂的基础上计算最终的白平衡调整的图像R。也就是说，有可能计算R(x，y)＝d(x，y)+I₂(x，y)或R(x，y)＝(I₂(x，y)+e)×d(x，y)。顺便提及，符号“×”表示这样的计算：用向量的各个元素乘以向量的元素，并将结果设置为向量的各个元素。

然而，有可能运动存在部分像素区域550作为运动图像出现，从而使得如果将从上述表达式(表达式31)或(表达式32)计算出的图像差值或图像比值d(x，y)不作修改地施加到像素区域550，则不能实现最优的颜色。

出于这个原因，在本实施例中，通过使用从运动不存在部分像素区域551得到的图像差值或图像比值d(x，y)执行插值来计算相对于运动存在部分像素区域550的最终的像素值，即，最终的白平衡调整的图像R。图像差值或图像比值d(x，y)被用于执行对运动存在部分550的像素值校正。

根据本方法，甚至是对于运动存在部分像素区域550，也有可能在保持运动存在部分像素区域550的闪光灯图像I₂的纹理的同时，生成具有与最终的白平衡调整的图像R类似的颜色的图像。

图18是用于说明插值处理的视图，所述插值处理通过使用上述的(表达式31)得到相对于运动存在部分像素区域550的最终的校正像素值，上述的(表达式31)即用于计算白平衡调整的图像R中和闪光灯图像I₂中的每个像素值之间的图像差值d的表达式。

在图18中，为了便于解释，数据被示为一维排列，并且将在该图例的基础上对处理进行说明，但是，实际上处理是在二维平面上执行的。在图18A到18C的每一个中，水平轴表示像素位置，而垂直轴表示像素值(亮度或R、G和B值)。

图18A示出了白平衡调整的图像R 860和闪光灯图像I₂ 861的像素值在运动不存在部分像素区域551和运动存在部分像素区域550中的转换。

图18B示出了运动不存在部分像素区域551中与运动存在部分像素区域550接近的部分的图像差值d的值862。也就是说，图18B示出了使用上述的(表达式31)计算的值862，即，白平衡调整的图像R和闪光灯图像I₂的每个像素之间的图像差值d的值862。

在图18B中示出的运动存在部分像素区域550中的虚线表示在与运动存在部分像素区域550接近的运动不存在部分像素区域551的图像差值d的值862a和图像差值d的值862的基础上估计的值，即，通过平滑地***运动不存在部分像素区域551的图像差值d的值862a和862b而获得的运动存在部分像素区域550中的图像差值d的估计的值863。

运动存在部分像素区域550中的图像差值d的估计值863是通过执行下面的步骤(1)和(2)而确定的估计值：

(1)设置初始的图像差值d的步骤；以及

(2)借助于按照闪光灯图像I₂的图像数据动态地确定其加权值的滤波器来校正初始的图像差值d的步骤。稍后将说明用于运动存在部分像素区域550中的图像差值d的估计值863的计算处理方法。

在图18C中，用点线示出了通过将图18B中示出的运动存在部分像素区域550中的估计的图像差值d 863加到图18A中示出的运动存在部分像素区域550中的闪光灯图像I₂ 861的值而获得的结果，作为运动存在部分像素区域550中的最终的白平衡调整的图像R864。

将在图18C中的运动存在部分像素区域550中用点线示出的该白平衡调整的图像R 864和运动不存在部分像素区域551中的经过白平衡调整的像素R860作为最终的白平衡调整的图像R输出。最终的输出图像变成了这样的图像：其中，图18C中示出的在运动存在部分像素区域550中用点线示出的白平衡调整的图像R 864和运动不存在部分像素区域551中的白平衡调整的图像R 860平滑地连接。在该输出图像中保留了运动存在部分像素区域550中闪光灯图像I₂ 861的纹理。

将会注意到，即使不是使用由上述的表达式(表达式31)给出的图像差值d，而是将使用上述的表达式(表达式32)的图像比值d用作d(x，y)，也能够执行与上述方法类似的校正方法。也就是说，使用图像比值d代替图18B中示出的图像差值d，并且与图18B中示出的运动不存在部分像素区域551中示出的点线类似，图像比值d的值被平滑地***到运动存在部分像素区域550中，从而计算在运动存在部分像素区域550中的图像比值d的估计值。在那之后，用运动存在部分像素区域550中的闪光灯图像I₂ 861的像素乘以图像比值d，即，执行乘法处理而不是加法处理，借此就能够计算运动存在部分像素区域550的白平衡调整的图像R。

下面将说明使用白平衡调整的图像R和闪光灯图像I₂的每个像素值之间的图像差值或图像比值的插值方法的细节。

如上所述，通过执行下面的步骤(1)和(2)确定运动存在部分像素区域550中的图像差值d的估计的值863：

(1)设置初始的图像差值d的步骤；以及

(2)借助于按照闪光灯图像I₂的图像数据动态地确定其加权值的滤波器来校正初始的图像差值d的步骤。

首先，将在下面说明设置运动存在部分像素区域550中的图像差值d的初始值的处理。

在执行了图17所示流程中步骤S601之后，在步骤S602得到相对于运动存在部分像素区域550的每个像素的图像差值或图像比值d(x，y)的初始值。在后面的说明中，将提到得到图像差值d(x，y)的方法，但是，类似的技术也能够应用于得到图像比值d(x，y)的情况。

首先，准备掩码图像M，掩码图像M具有的每一个像素都用两个值中的一个表示，并且对于运动不存在部分像素区域551的每个像素(x，y)，都设置为M(x，y)＝1，而对于运动存在部分像素区域550的每个像素(x，y)，都设置为M(x，y)＝0。

检查图像的每个像素，以便从M(x，y)＝0的像素中，即运动存在部分像素区域550的像素中选择与M(x，y)＝1的像素，即，运动存在部分像素区域550，相邻的像素(由8或4个邻近的像素包围)。

然后，计算与感兴趣的像素相邻的M(x，y)＝1的像素的图像差值d(x，y)的平均值。将该平均值设置为在感兴趣的像素的位置(x，y)处的图像差值d(x，y)的初始值。

下面将参照图16说明具体的处理。例如，如图16所示，在具有运动存在部分像素区域550和运动不存在部分像素区域551的图像的情况中，运动存在部分像素区域550中与运动不存在部分像素区域551相邻的像素821的图像差值d(x，y)的初始值被设置为运动不存在部分像素区域551中与像素821相邻的像素822、823和824的平均值。

通过类似的技术确定相对于运动存在部分像素区域550中与运动不存在部分像素区域551相邻的像素的初始值。然后，对于新设置了其初始值的像素，将掩码图像的M(x，y)的值改为1。接着，在对与M(x，y)＝1的像素相邻的所有像素(每一个被8或4个邻近的像素包围)都设置了初始值之后，从M(x，y)＝0的像素中，即，从包含在运动存在部分像素区域550中的像素中，对新设置了其初始值的像素设置M(x，y)＝1。也就是说，从图16所示的运动存在部分像素区域550的周围部分向中心部分顺序地确定运动存在部分550的图像差值d(x，y)的初始值。重复执行这一处理，直到所有像素都被设置为M(x，y)＝1。

通过该处理，确定了包含在运动存在部分像素区域550中的所有像素的图像差值d(x，y)的初始值。该处理就是图17所示的流程中步骤S602的处理。

在通过上述处理得到了运动存在部分像素区域550中的图像差值d(x，y)的初始值之后，执行图1 6所示流程中的步骤S603到S606的处理。该处理即上述的处理：

(2)借助于按照闪光灯图像I₂的图像数据动态地确定其加权值的滤波器来校正初始的图像差值d的步骤。

在步骤S603中，通过使用滤波器的滤波处理仅仅计算图像差值d中与运动存在部分像素区域550的像素相关的初始的图像差值d的校正值d’。

在本实施例中，用于计算初始的图像差值d的校正值d’的滤波处理所使用的滤波器不是实施例2中所使用的平滑滤波器，而是其加权值被按照闪光灯图像I₂的图像数据动态地设置的滤波器。

例如，下面的表达式被用作计算表达式，以用于借助于与一个像素值校正处理相对应的滤波器处理，得到在运动存在部分像素区域550中的每一个像素位置(x，y)处的图像差值d(x，y)的更新的像素值。

$d^{\′}(x,y,\mathrm{ch})=\frac{1}{\underset{i,j}{\mathrm{\Σ}}\left(\right|I_2(x,y,\mathrm{ch})-I_2(i,j,\mathrm{ch})\left|\right)}\underset{i,j}{\mathrm{\Σ}}\left\{w\left(\right|I_1(x,y,\mathrm{ch})-I_2(i,j,\mathrm{ch})\left|\right)d(i,j,\mathrm{ch})\right\}$

        ……(表达式33)

在上述的表达式(表达式33)中，d(x，y，ch)和I₂(x，y，ch)分别表示在像素位置(x，y)处的每个通道(channel)[ch]的差值图像d和闪光灯图像I₂的像素值。术语“通道”的意思是颜色图像的每个通道，具体来说，即红、绿和蓝(RGB)通道中的每一个。此外，d’(x，y，ch)表示在像素位置(x，y)处的每个通道[ch]的差值图像d的新的像素值，即，更新的像素值。

并且，上述的表达式(表达式33)中的i和j表示用于计算像素位置(x，y)处的像素差值d的更新的值d’的参考像素的位置。i和j的值的范围分别为x-k≤i≤x+k和y-k≤j≤y+k，其中，k是自然数，并且将k设置为近似为1到3的相对较小的值。

在k＝1的情况中，用于计算像素位置(x，y)处的像素差值d的更新的值d’的参考像素仅仅是邻近像素位置(x，y)的像素。在k＝3的情况中，用于计算像素位置(x，y)处的像素差值d的更新的值d’的参考像素被设置为包含排列在包围像素位置(x，y)的右边、左边、上边和下边的每一边上的三个像素的区域。k的值是预设的值。

在上面的表达式(表达式33)中，函数w(x)是加权函数，例如，用下面的表达式(表达式34)表示的函数：

$w\left(x\right)=\exp (-\frac{x^2}{{2\mathrm{\σ}}^2})$ ……(表达式34)

在上面的表达式(表达式34)中，α是使用预设值的参数。

通过使用上面的表达式(表达式34)示出的加权函数w(x)，从上面的表达式(表达式33)计算运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)的值。

如图17的流程所示，通过使用上面地表达式(表达式33)更新运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)的值的处理，即，滤波处理，被反复地执行，直到预定的条件(将在步骤S604和S605中定义的条件)被满足。也就是说，在接下来的滤波处理中，从上述的表达式(表达式33)计算的更新的像素值d’(x，y，ch)被设置为表达式(表达式33)的像素d(x，y，ch)的值，并且计算新的更新的像素值d’(x，y，ch)的处理被重复地执行。

重复地执行通过上述的表达式(表达式33)的像素值更新(滤波处理)，以便校正运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)的值，从而无需改变运动不存在部分像素区域551的图像差值d(x，y)的值而校正运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)的值。因此，有可能按照闪光灯图像I₂ 861的纹理和边缘获得平滑(smoothing)运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)的值的效果。

检查在运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)的值的每个颜色分量(每个通道)在该滤波处理中是如何变化的，并且存储每个颜色分量的变化的最大值。

然后，在图17所示的流程的步骤S604，对于使用上面的表达式(表达式33)的像素值更新(滤波处理)，将图像差值d(x，y)的值的每个颜色分量(每个通道)的变化的最大值与预设的阈值进行比较。也就是说，如果通过一个滤波处理(使用表达式33的像素值更新处理)而获得的更新的值d’和更新前的该像素值d之间的差d’-d小于所述预设的阈值，就确定出即使重复地执行滤波处理(使用表达式33的像素值更新处理)，像素值地变化量也是小的，并且连续的处理仅仅提供很小的效果。因此，处理使像素值更新处理到达结束点，并且前进到步骤S606。

也就是说，在步骤S604，如果确定出不满足“像素值变化量的最大值＞阈值”，则处理前进到步骤S606，并且执行确定相对于运动存在部分像素区域550的图像差值(图像比值)d的估计值的处理。

在步骤S604中，如果确定出满足“像素值变化量的最大值＞阈值”，则确定出运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)还没有被平滑地校正，并且处理前进到步骤S605。

在步骤S605，确定在步骤S603中通过使用上述的表达式(表达式33)执行像素值更新处理(滤波处理)的次数是否大于预定的阈值数目。如果满足“像素值更新处理(滤波处理)的执行次数＞阈值数目”，则处理前进到步骤S606。

如果不满足“像素值更新处理(滤波处理)的执行次数＞阈值数目”，则处理返回到步骤S603，并重复地执行根据上述的表达式(表达式33)校正运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)的处理(滤波处理)。

如果在步骤S604确定出不满足“像素值变化量的最大值＞阈值”，或者如果在步骤S605中确定出满足“像素值更新处理(滤波处理)的执行次数＞阈值数目”，则根据上述的表达式(表达式33)校正运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)的处理(滤波处理)被完成，并且处理前进到步骤S606，并且执行确定相对于运动存在部分像素区域550的图像差值(图像比值)d的估计值的处理。

在步骤S606，将在上述的滤波处理中得到的运动存在部分像素区域550中的图像差值d确定为估计的图像差值d。通过该处理计算出的运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)对应于在图18B所示的运动存在部分像素区域550中的估计的图像差值d 863。

然后，在步骤S607，执行将通过使用上述的表达式(表达式33)的滤波处理而计算出其值的运动存在部分像素区域550中像素位置(x，y)处的图像差值d(x，y)的值(图18B所示的估计的图像差值d 863)与闪光灯图像I₂(图18A中示出的闪光灯捕获的图像I₂ 861)相加的处理，以便生成运动存在部分像素区域550中的白平衡调整的图像R。也就是说，从

R＝I₂+d，

计算出运动存在部分像素区域550中的白平衡调整的图像R的像素值。

该结果就是由图18C的运动存在部分像素区域550中的虚线示出的白平衡调整的图像R。最终的校正图像，即白平衡调整的图像R是这样的图像：其中，运动不存在部分像素区域551中的白平衡调整的图像R 860与运动存在部分像素区域550中由虚线示出的白平衡调整的图像R相连接。

如图18C所示，最终的白平衡调整的图像R是这样的图像：在运动存在部分像素区域550中由虚线示出的白平衡调整的图像R 864与在运动不存在部分像素区域551中的白平衡调整的图像R 860平滑地连接。此外，在该输出图像中，保留了运动存在部分像素区域550中闪光灯图像I₂ 861的纹理。

将会注意到，即使不是使用由上述的表达式(表达式31)给出的图像差值d，而是使用由上述的表达式(表达式32)给出的图像比值d，也能够执行与上述方法相似的校正方法。在这种情况下，在步骤S607，执行这样的处理：将运动存在部分像素区域550中图像位置(x，y)处的图像比值d(x，y)的值乘以闪光灯图像I₂，其中，在运动存在部分像素区域550的值是通过使用图像比值d的滤波处理来计算的。上述处理被执行，以生成运动存在部分像素区域550中的白平衡调整的图像R。也就是说，从

R＝I₂×d，

计算出运动存在部分像素区域550中白平衡调整的图像R的像素值。

也就是说，使用图像比值d来替代图18B中示出的图像差值d，并且，与图18B所示的运动不存在部分像素区域551中示出的虚线类似，图像比值d的值被平滑地***到了运动存在部分像素区域550中，由此计算运动存在部分像素区域550中的图像比值d的估计值。在那之后，用运动存在部分像素区域550中的闪光灯图像I₂ 561的像素乘以图像比值d，由此就能够计算出运动存在部分像素区域550中的白平衡调整的图像R。

下面将参照图19说明本实施例中运动部分校正像素值计算部分的结构。

本实施例中的运动部分校正像素值计算部分被设置成与在之前的实施例1中提到的图8所示的运动部分校正像素值计算部分310相对应，或者与图10所示的运动部分校正像素值计算部分409相对应。

图19中示出的结构将被描述。运动部分校正像素值计算部分910具有图像差值(图像比值)计算部分911、运动存在部分像素区域图像差值(图像比值)d初始值计算部分912、滤波处理部分913和运动部分最终校正像素值计算部分914。

图像差值(图像比值)计算部分911接收运动不存在部分像素区域白平衡调整的图像R 901的输入和存储在闪光灯图像I₂存储帧存储器902中的闪光灯图像I₂的每个图像数据的输入，并且按照上述的表达式(表达式31)或(表达式32)来计算运动不存在部分像素区域中的图像差值d或图像比值d。该处理与图18B中所示的运动不存在部分像素区域551中的图像差值d 862相对应。

运动存在像素区域图像差值(图像比值)d初始值计算部分912设置运动存在部分像素区域中的图像差值(图像比值)d的初始值。如之前参照图16所说明的，该处理首先将运动不存在部分像素区域的邻近像素的图像差值(图像比值)d的平均值设置为初始值，其中，所述的像素位于运动存在像素区域中与运动不存在像素区域相邻的部分中，并且随后顺序地向运动存在像素区域内部确定图像差值(图像比值)的初始值。

滤波处理部分913按照上述的表达式(表达式33)执行对在运动存在像素区域图像差值(图像比值)d初始值计算部分912中设置的运动存在像素区域图像差值(图像比值)d的初始值进行更新的滤波处理。该滤波处理是使用基于闪光灯图像I₂生成的滤波器的滤波处理，即，按照上述的表达式(表达式33)执行更新的滤波处理。

如参照图17的流程所说明的，滤波处理部分913在由一次滤波处理所产生的像素值的最大变化小于预设的阈值、或滤波处理的次数大于预设的阈值次数的条件下，将使用表达式(表达式33)的滤波处理带到结束，并且，确定运动存在像素区域中图像差值(图像比值)的估计值d。也就是说，确定图18B中所示的运动存在部分像素区域550中估计的图像差值d 863。

运动部分最终校正像素值计算部分914接收在滤波处理部分913中对其施行了滤波处理的图像差值(图像比值)的估计值d的输入，并从图像I₂存储帧存储器902接收闪光灯图像I₂的输入，并且生成运动存在部分像素区域550的最终的白平衡调整的图像R。也就是说，生成了图18C中所示的运动存在部分像素区域550的最终的白平衡调整的图像R。

通过将图18B所示的运动存在部分像素区域550中的估计的图像差值d863与图18A所示的运动存在部分像素区域550中的闪光灯捕获的图像I₂ 861的值相加而获得的结果被设置为图18C所示的运动存在部分像素区域550的最终的白平衡调整的图像R 864，并被作为运动存在部分像素区域550的最终的白平衡调整的图像R 864输出。

在使用按照表达式(表达式32)得到的白平衡调整的图像R和闪光灯捕获的图像I₂的每个像素值的图像比值d的情况下，则将运动存在部分像素区域550中的图像比值d与闪光灯捕获的图像I₂的每个像素的元素相乘，以生成并输出最终的白平衡调整的图像R。

如上所述，根据本实施例的像素值校正处理，有可能借助于使用滤波器的处理对运动存在部分像素区域执行适当的颜色转换，由此，运动存在部分像素区域中校正像素值变成了保留了闪光灯捕获的图像I₂的纹理的像素值，并且能够生成自然得多的图像。

当执行根据第二实施例的使用平滑滤波器的处理时，很难执行符合原始图像的图像差值或图像比值的像素校正，并且依照图像的种类，可能会出现边缘部分失真(fuzziness)和颜色模糊(blur)。但是，本实施例采用了这样的结构：其按照表达式33设置了使用确定的系数的像素值转换表达式，以便将第二图像，即闪光灯图像I₂的像素值也考虑进去，并执行滤波处理。因此，反映闪光灯图像I₂的纹理的像素值校正被执行，并且即使在运动存在部分中，也解决了边缘部分失真、颜色模糊等问题，从而有可能生成反映闪光灯图像I₂的纹理的图像。

在本实施例中，参照了在其中执行了白平衡调整处理的例子，但是，上述根据本发明的技术不仅能够被应用到白平衡调整处理，而且还能够被应用到这样的情况：在例如修改特定图像的一部分的像素值的图像处理中，修改图像的一部分，使其变得与另一个图像的特征相似。也就是说，按照表达式33设置像素值转换表达式，该像素值转换表达式使用通过使用第二图像的特征而确定的系数，并且执行滤波处理以修改第一图像的一部分的像素值，从而有可能生成这样的图像：其具有第二图像的特征，同时又保留了第一图像的颜色。

[实施例4]

上述的实施例1到3中的每一个都具有这样的结构：连续地捕获三个图像，即，无闪光灯辅助的图像、闪光灯图像和无闪光灯辅助的图像，并且生成一个输出图像。在上述每个实施例中，都假定这些图像具有相同的分辨率。但是，由于期望对具有例如几百万像素分辨率的图像执行处理，因此为了执行该处理，需要存储三个图像的图像数据，进而使得具有能够存储各种处理图像数据的大容量的存储器变成是必需的。因此，随着像素数目的增加，将要执行的计算的数量将变得巨大。

在图1所示的装置结构中，如果例如CCD(电荷耦合器件)被用作固态摄像元件103，则很难以高速率连续捕获几百万像素的图像。一般的数码相机具有这样的功能：以高速率从固态摄像元件103读取低分辨率的图像，并在图像捕获期间以例如1/30秒的间隔在照相机所附的显示器上相继显示该图像。

本实施例提供一种结构的例子，它能够通过使用以这种方式捕获的低分辨率的图像，以高速率高效率地解决环境光和闪光灯光之间的色温差。

示出根据本实施例的图像处理设备和摄像装置的方框图与图1类似，并且对该方框图的说明与之前的说明类似，在这里省略。

图20是用于说明本实施例的处理过程的流程图。下面将说明图20所示的流程图的每一个步骤。

首先，在步骤S701，通过使用预先设置的光圈和快门速度，不使用闪光灯执行图像捕获，并且在步骤S702，将以在步骤S701拍摄的图像为基础的低分辨率图像I_1L存储在存储器中。低分辨率图像I_1L是其分辨率比固态摄像元件103(参照图1)的原始捕获图像的分辨率低的图像。有多种方法可用于从摄像的高分辨率图像生成低分辨率图像I_1L。例如，存在简单地子采样(subsampling)像素的方法和得到多个邻近像素的平均值并形成一个新的像素的方法。如上面所提到的，一般的数码相机具有以例如每秒30帧的速度在低分辨率显示器上显示在图像捕获期间由固态摄像元件103摄像的图像的功能，此时所使用的方法能够被不作修改地应用。

当以在步骤S701中拍摄的图像为基础的无闪光灯辅助的低分辨率图像I_1L将被存储到存储器中时，该存储处理可以被作为低分辨率图像数据存储处理来执行，因而将被存储到存储器中的数据量较小，并且将数据存储到存储器中所需的处理时间被减少。因此，处理能够以高速前进到下一个步骤。

然后，在步骤S703中，使用闪光灯拍摄图像，并且在步骤S704中，两个图像，即以在步骤S703中拍摄的图像为基础的闪光灯辅助的高分辨率图像I_2H和闪光灯辅助的低分辨率图像I_2L被存储在存储器中。闪光灯辅助的低分辨率图像I_2L是低分辨率图像，其分辨率与无闪光灯辅助的低分辨率图像I_1L的分辨率相同，并且得到闪光灯辅助的低分辨率图像I_2L的方法与上述方法相同。闪光灯辅助的高分辨率图像I_2H是具有将被最终输出的期望分辨率的图像，并且它的分辨率比无闪光灯辅助的低分辨率图像I_1L和闪光灯辅助的低分辨率图像I_2L的分辨率高。

然后，在步骤S705，再次不使用闪光灯拍摄图像，并且在步骤S706，以在步骤S705中拍摄的图像为基础的无闪光灯辅助的低分辨率图像I_3L被存储在存储器中。无闪光灯辅助的低分辨率图像I_3L具有与无闪光灯辅助的低分辨率图像I_1L和闪光灯辅助的低分辨率图像I_2L相同的分辨率，并且得到无闪光灯辅助的低分辨率图像I_3L的方法与上述方法相同。

接下来步骤S707到S713的处理与在之前的实施例中提到的图2的流程图的步骤S107到S113的处理完全相同，从而省略对它们的说明。

但是，在步骤S707到S713中将要处理的目标图像数据是低分辨率图像，即无闪光灯辅助的低分辨率图像I_1L、闪光灯辅助的低分辨率图像I_2L和无闪光灯辅助的低分辨率图像I_3L。白平衡调整的图像R是基于这些低分辨率图像而生成的。对于运动部分，生成了具有校正像素值的白平衡调整的图像R，所述校正像素值是通过如下处理计算的：之前在实施例1中提到的使用RadialBasis Function(径向基函数)的处理、基于之前在实施例2中提到的使用平滑滤波器的平滑处理的处理、如实施例3所述的使用基于闪光灯捕获的图像设置其加权值的滤波器的处理等。

最后，在步骤S714，在基于低分辨率图像生成的白平衡调整的图像R、闪光灯辅助的低分辨率图像I_2L和闪光灯辅助的高分辨率图像I_2H的基础上生成最终的高分辨率图像R_H。

首先，相对于闪光灯辅助的高分辨率图像I_2H的每个像素I_2H(x，y)，得到与闪光灯辅助的低分辨率图像I_2L和白平衡调整的图像R的各自的位置(x’，y’)相关的像素位置I_2L(x’，y’)和R(x’，y’)的像素值。

顺便提及，x’和y’不一定是整数。作为得到(x’，y’)处的像素值的方法，采用通常被广泛使用的图像插值技术，例如最近邻(nearest in the vicinity of)方法，双线性(bilinear)方法和双三次(bicubic)方法。

然后，得到基于低分辨率图像生成的白平衡调整的图像R的像素R(x’，y’)的像素值与闪光灯辅助的低分辨率图像I_2L的相应像素I_2L(x’，y’)的像素值的比值。

相对于该基于低分辨率图像数据的像素值比值：

R(x’，y’)∶I_2L(x’，y’)，

设置基于高分辨率图像数据的像素值比值：

R_H(x，y)∶I_2H(x，y)。

由于闪光灯辅助的高分辨率图像I_2H的每个像素值是已知的，因此将像素I_2H(x，y)与基于低分辨率图像的像素值比值R(x’，y’)∶I_2L(x’，y’)相乘以计算最终的高分辨率图像R_H的像素R_H(x，y)。

对闪光灯辅助的高分辨率图像I_2H的所有像素执行该计算，以生成最终的经过白平衡调的高分辨率图像R_H。也就是说，从低分辨率图像获得用于从闪光灯辅助的低分辨率图像I_2L转换到白平衡调整的图像R的转换信息，并基于该转换信息，执行转换高分辨率图像，即，闪光灯辅助的高分辨率图像I_2H的每个像素值的处理，以生成高分辨率白平衡调整的图像R_H。

根据该处理方法，步骤S707到S713的处理中处理的目标图像数据是低分辨率图像，即，无闪光灯辅助的低分辨率图像I_1L、闪光灯辅助的低分辨率图像I_2L和无闪光灯辅助的低分辨率图像I_3L，并且，步骤S707到S713被作为基于低分辨率图像生成白平衡调整的图像R的处理而执行。因此，像素的数目被减少，并且计算量也被减少，从而使得高速处理成为可能。同样，对于运动部分的校正处理，有可能在诸如之前在实施例1中提到的使用RadialBasis Function(径向基函数)的处理、或基于之前在实施例2中提到的使用平滑滤波器的平滑处理的处理、或如实施例3所述的使用基于闪光灯捕获的图像设置其加权值的滤波器的处理的任何处理中，都有可能获得高速处理。

此外，由于仅仅需要将两个无闪光灯辅助而捕获的图像数据中每一个的低分辨率图像数据存储到存储器中，因此本实施例能够被应用于具有小存储容量的装置和模型。

因此，本实施例的处理也能够在使用具有相对较低的处理能力的处理器，并具有小存储器容量的模型和装置中执行，并且，使得这些模型和装置能够将最终获得的图像数据作为高分辨率白平衡调整的图像数据输出。

以上，已经参照具体实施例详细说明了本发明。但是，很显然，在不脱离本发明的精神的前提下，本领域技术人员能够进行修改和替换。也就是说，以上对本发明的说明是说明性的，不应解释为限制本发明。本发明的精神将从所附的权利要求书中理解到。顺便提及，在上述每个实施例中，术语“闪光灯”被用于说明在暗的物体的情况中发射光的照明设备，但是该设备也被称为闪光灯(strobe)。因此，本发明并不仅限于闪光灯，而是能够广泛地应用到在暗的物体的情况下发射光的照明设备。

上文中提到的处理序列能够由硬件、软件或硬件和软件两者的合成结构执行。在将要执行使用软件的处理的情况中，记录处理序列的程序可以被以可执行状态安装在包括在专用硬件中的计算机的存储器中，或者程序可以被以可执行状态安装在能够执行各种处理的通用计算机中。

例如，可以预先将该程序记录在用作记录介质的硬盘或ROM(只读存储器)中。或者，该程序可以被暂时地或永久地存储(记录)在诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字光盘)、磁盘和半导体存储器的可移动记录介质中。这些可移动记录介质能够被作为所谓的软件包(package software)提供。

不仅可以从上述类型的记录介质将该程序安装到计算机中，而且还可以将该程序从下载网站无线地发送到计算机，或者可以经由诸如LAN(局域网)或因特网的网络将该程序有线发送到计算机。计算机接收以这种方式发送的程序，并能够将该程序安装到诸如内部硬盘的记录介质中。

将会注意到，在说明书中说明的各种处理不仅可以按照说明在时序的基础上被执行，而且可以根据执行处理的装置的处理能力和要求被并行或个别地执行。此外，此处使用的术语“***”的意思是多个设备的逻辑集合结构，而不是限于各个构成设备都包含在同一机架中的结构。

工业适用性

如上所述，根据本发明的优选实施例，有可能基于运动不存在区域的像素值，对诸如运动存在区域的特定区域的像素值高效率地执行校正处理，所述运动不存在区域的像素值例如白平衡调整的图像数据和诸如运动存在区域的特定区域的闪光灯图像数据。因此，有可能生成平滑地连接到白平衡调整的图像数据的图像，并且也有可能生成反映有关运动存在区域的闪光灯图像数据的纹理信息的图像。因此，本发明能够被应用于用来捕获具有运动部分的图像的数码相机等。

根据本发明的优选实施例，在对运动存在区域的像素值校正处理中，在运动存在区域中设置了白平衡调整的图像数据与闪光灯图像数据之间的比值或差值的初始值之后，由平滑滤波器执行平滑处理，并且计算运动存在区域中的图像差值或图像比值的估计值，以便在该估计值的基础上执行对运动存在区域的像素值校正，从而使得使用减少的计算量的高速处理得以实现。因此，本发明能够被应用于用来捕获具有运动部分的图像的数码相机等。

此外，根据如本发明的第三实施例所述的像素值校正处理，有可能借助于使用滤波器的处理对运动存在部分像素区域执行适当的颜色转换，并且相对于运动存在部分像素区域的校正像素值变成了保留了闪光灯捕获的图像I₂的纹理的像素值，从而有可能生成自然得多的图像。当执行使用平滑滤波器的处理时，很难执行相对于原始图像的图像差值或图像比值的像素校正，并且根据图像的类型，有可能出现边缘部分失真和颜色模糊。但是，根据如第三实施例所述的像素值校正处理，提供了这样一种结构：其根据使用确定的系数的像素值转换表达式执行滤波处理，以便将闪光灯捕获的图像I₂的像素值考虑进去。因此，反映闪光灯捕获的图像I₂的纹理的像素值校正被执行，并且即使在运动存在区域中，也解决了边缘部分失真、颜色模糊等问题，从而有可能生成反映闪光灯捕获的图像I₂的纹理的图像。

此外，根据本发明，在执行了使用低分辨率图像的白平衡调整运动存在部分的像素值校正之后，有可能在校正图像数据与低分辨率图像数据相对应的基础上生成高分辨率校正图像，从而利用小存储器容量获得了高速处理，并且能够最终获得高分辨率校正图像。因此，本发明适合用于具有有线存储器容量的数码相机。

权利要求书

(按照条约第19条的修改)

1、一种图像处理方法，包括步骤：

基于第一图像数据和第二图像数据的相应的像素值计算图像差值或图像比值，其中，对该第一图像数据施行了基于闪光灯辅助图像捕获的预定白平衡调整，而该第二图像数据包括闪光灯辅助的图像；

基于图像数据的特定区域的图像差值或图像比值计算估计值；

基于在所述估计值计算步骤计算出的所述特定区域的图像差值或图像比值的估计值、以及所述第二图像数据，生成该特定区域的校正图像。

2、如权利要求1所述的图像处理方法，其中，所述图像差值d(x，y)包括如下计算的向量：

d(x，y)＝A(x，y)-B(x，y)

其中，A(x，y)表示所述第一图像数据的每个像素(x，y)的像素值向量，而B(x，y)表示所述第二图像数据的相应像素(x，y)的像素值向量；并且

所述图像比值d(x，y)是：

d(x，y)＝A(x，y)/(B(x，y)+e)

其中e是固定值。

3、如权利要求1所述的图像处理方法，其中：

所述第一图像数据包括以无闪光灯辅助而捕获的图像和闪光灯辅助而捕获的图像为基础对其施行了像素值调整的白平衡调整的图像R，所述第二图像数据包括闪光灯辅助的图像I₂，并且所述特定区域包括在其中检测到物体的运动的运动存在区域；

所述图像差值d(x，y)包括如下计算的向量：

d(x，y)＝R(x，y)-I₂(x，y)

其中R(x，y)表示该白平衡调整的图像R的每个像素(x，y)的像素值向量，而I₂(x，y)表示该闪光灯辅助的图像I₂的相应像素(x，y)的像素值向量；

图像比值d(x，y)是：

d(x，y)＝R(x，y)/(I₂(x，y)+e)

其中e是固定值；并且

所述校正图像生成步骤包括下述步骤：以在所述估计值计算步骤中计算出的所述运动存在区域中的图像差值或图像比值的估计值、以及所述闪光灯辅助的图像I₂为基础，生成该运动存在区域的校正图像。

4、如权利要求1所述的图像处理方法，其中，所述计算估计值的步骤还包括：

初始值设置步骤，以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及

平滑处理执行步骤，执行对在该初始值设置步骤中设置的初始值施加的基于平滑滤波器的平滑处理。

5、如权利要求4所述的图像处理方法，其中，所述设置初始值的步骤包括下述步骤：以初始值设置目标像素的邻近像素的图像差值或图像比值为基础，设置该初始值设置目标像素的初始值，其中，已经为所述邻近像素设置了图像差值或图像比值。

6、如权利要求5所述的图像处理方法，其中，所述设置初始值的步骤包括下述步骤：应用掩码图像，以便区分所述初始值设置目标像素与已经为其设置了图像差值或图像比值的像素。

7、如权利要求1所述的图像处理方法，其中：

所述生成校正图像的步骤还包括下述步骤：以在所述估计值计算步骤中计算出的所述特定区域中的图像差值或图像比值的估计值、以及所述第二图像数据为基础，生成该特定区域的校正图像；以及

如果使用图像差值，则所述生成校正图像的步骤被执行为将在所述估计值计算步骤中计算出的该特定区域中的图像差值的估计值与该特定区域中的所述第二图像数据相加的步骤；并且

如果使用图像比值，则所述校正图像生成步骤被执行为将在所述估计值计算步骤中计算出的该特定区域的图像比值的估计值与该特定区域中的所述第二图像数据相乘的步骤。

8、如权利要求1所述的图像处理步骤，其中：

所述第一图像数据包括以无闪光灯辅助而捕获的图像和闪光灯辅助而捕获的图像为基础对其施行了像素值调整的白平衡调整的图像R；

所述第二图像数据包括闪光灯辅助的图像I₂；

所述特定区域包括在其中检测到物体的运动的运动存在区域；以及

如果使用图像差值，则所述生成校正图像的步骤被执行为将在所述估计值计算步骤中计算出的该特定区域中的图像差值的估计值与所述运动存在区域中的该闪光灯辅助的图像I₂相加的步骤；并且

如果使用图像比值，则所述校正图像生成步骤被执行为将在所述估计值计算步骤中计算出的该特定区域中的图像比值的估计值与该运动存在区域中的该闪光灯辅助的图像I₂相乘的步骤。

9、如权利要求1所述的图像处理方法，其中，所述计算估计值的步骤还包括：

初始值设置步骤，以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及

滤波处理步骤，按照像素值转换表达式对在所述初始值设置步骤中设置的初始值执行像素值转换处理，并校正该特定区域的图像差值或图像比值，其中，所述像素值转换表达式对应于使用基于所述第二图像数据设置其加权值的滤波器的滤波处理。

10、如权利要求9所述的图像处理方法，其中，所述初始值设置步骤还包括下述步骤：以初始值设置目标像素的邻近像素的图像差值或图像比值为基础，设置该初始值设置目标像素的初始值，其中，已经为所述邻近像素设置了图像差值或图像比值。

11、如权利要求9所述的图像处理方法，其中，所述初始值设置步骤还包括下述步骤：应用掩码图像，以便区分所述初始值设置目标像素与已经为其设置了图像差值或图像比值的像素。

12、如权利要求9所述的图像处理方法，其中：

所述第一图像数据包括以无闪光灯辅助而捕获的图像和闪光灯辅助而捕获的图像为基础对其施行了像素值调整的白平衡调整的图像R；

所述第二图像数据包括闪光灯辅助的图像I₂；

所述特定区域包括在其中检测到物体的运动的运动存在区域；并且

所述滤波处理步骤包括下述步骤：使用包含函数的表达式执行像素值校正处理，其中，所述函数的加权值是根据构成所述闪光灯辅助的图像I₂的图像数据的像素的像素值而设置的。

13、如权利要求9所述的图像处理方法，其中：

所述滤波处理步骤包括使用下述转换表达式执行像素值校正处理的步骤：

$d^{\′}(x,y,\mathrm{ch})=\frac{1}{\underset{i,j}{\mathrm{\Σ}}w\left(\right|I_2(x,y,\mathrm{ch})-I_2(i,j,\mathrm{ch})\left|\right)}\underset{i,j}{\mathrm{\Σ}}\left\{w\left(\right|I_2(x,y,\mathrm{ch})-I_2(i,j,\mathrm{ch})\left|\right)d(i,j,\mathrm{ch})\right\}$

其中，d(x，y，ch)是与像素位置(x，y)处的每个通道[ch]的图像差值或图像比值d相对应的值，而I₂(x，y，ch)是与所述闪光灯辅助的图像I₂的像素值相对应的值；d’(x，y，ch)是在该像素位置(x，y)处的通道[ch]的图像差值d的更新的像素值；i和j是用于计算在像素位置(x，y)处的值d的更新的值d’的参考像素位置；如果k表示任意自然数，则x-k≤i≤x+k和y-k≤j≤y+k，并且w(x)是根据构成闪光灯辅助的图像I₂的图像数据的像素的像素值而设置加权值的加权函数。

14、如权利要求13所述的图像处理方法，其中，所述转换表达式中的加权函数w(x)是由下述表达式表示的函数：

$w\left(x\right)=\exp (-\frac{x^2}{{2\mathrm{\σ}}^2})$

15、如权利要求13所述的图像处理方法，其中，上述转换表达式中用于计算像素位置(x，y)的值的更新的值d’的参考像素位置i、j为x-k≤i≤x+k和y-k≤j≤y+k，其中，k是任意自然数，并且k是1、2和3中的任何一个。

16、如权利要求1所述的图像处理方法，还包括步骤：

在存储器中存储基于无闪光灯辅助的图像的无闪光灯辅助的低分辨率图像数据I_1L；

在存储器中存储基于闪光灯辅助的图像的闪光灯辅助的高分辨率图像数据I_2H和闪光灯分辨率图像数据I_2L；

在存储其中存储基于无闪光灯辅助的图像的闪光灯辅助的低分辨率图像数据I_3L；并且，

以所述无闪光灯辅助的低分辨率图像数据I_1L和所述无闪光灯辅助的低分辨率图像数据I_3L为基础检测运动存在区域；其中

所述无闪光灯辅助的低分辨率图像数据I_1L被设置为第一图像数据，而所述闪光灯辅助的低分辨率图像数据I_2L被设置为第二图像数据，以便计算估计的值，并生成白平衡调整的图像R，包括白平衡调整处理和对运动区域的像素值校正处理；并且

在所述校正图像生成步骤中，以所述像素值经过调整的图像R、所述闪光灯辅助的高分辨率图像数据I_2H和闪光灯辅助的低分辨率图像数据I_2L的相应像素值为基础生成最终的高分辨率校正图像R_H。

17、如权利要求16所述的图像处理方法，其中，所述校正图像生成步骤还包括步骤：

获得有关所述像素值经过调整的图像R的相对于所述闪光灯辅助的低分辨率图像数据I_2L的相应像素的像素值转换信息；以及

执行闪光灯辅助的高分辨率图像数据I_2H的像素值转换。

18、一种图像处理装置，包括：

计算部件，用于基于第一图像数据和第二图像数据的相应像素值计算图像差值或图像比值，其中，对该第一图像数据施行了基于闪光灯辅助图像捕获的预定白平衡调整，而该第二图像数据包括闪光灯辅助的图像；

估计部件，用于基于图像数据的特定区域的图像差值或图像比值计算估计值；

生成部件，用于基于由所述估计部件计算出的所述特定区域的图像差值或图像比值的估计值、以及所述第二图像数据，生成该特定区域的校正图像。

19、如权利要求18所述的图像处理装置，其中，所述估计部件还包括：

初始值设置单元，用于以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及

平滑处理执行单元，用于执行对由所述初始值设置单元设置的初始值施加的基于平滑滤波器的平滑处理。

20、如权利要求18所述的图像处理装置，其中，所述估计部件还包括：

初始值设置单元，用于以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及

滤波单元，用于按照像素值转换表达式对在所述初始值设置步骤中设置的初始值执行像素值转换处理，并校正该特定区域的图像差值或图像比值，其中，所述像素值转换表达式对应于使用以所述第二图像数据为基础设置其加权值的滤波器的滤波处理。

21、一种计算机可读程序，用于使计算机执行下列步骤：

基于第一图像数据和第二图像数据的相应像素值计算图像差值或图像比值，其中，对该第一图像数据施行了基于闪光灯辅助图像捕获的预定白平衡调整，而该第二图像数据包括闪光灯辅助的图像；

基于图像数据的特定区域的图像差值或图像比值计算估计值；

基于在所述估计值计算步骤中计算出的所述特定区域的图像差值或图像比值的估计值、以及所述第二图像数据，生成该特定区域的校正图像。

22、如权利要求21所述的计算机程序，还包括步骤：

在存储器中存储基于无闪光灯辅助的图像的无闪光灯辅助的低分辨率图像数据I_1L；

在存储器中存储基于闪光灯辅助的图像的闪光灯辅助的高分辨率图像数据I_2H和闪光灯分辨率图像数据I_2L；

在存储器中存储基于无闪光灯辅助的图像的无闪光灯辅助的低分辨率图像数据I_3L；以及

以所述无闪光灯辅助的低分辨率图像数据I_1L和所述无闪光灯辅助的低分辨率图像数据I_3L为基础检测运动存在区域；其中，

该无闪光灯辅助的低分辨率图像数据I_1L被设置为所述第一图像数据，而该闪光灯辅助的低分辨率图像数据I2L被设置为所述第二图像数据，以便计算所述估计值，并生成白平衡调整的图像R，包括白平衡调整处理和对运动区域的像素值校正处理；并且，在所述校正图像生成步骤中，以所述像素值经过调整的图像R、所述闪光灯辅助的高分辨率图像数据I_2H和所述闪光灯辅助的低分辨率图像数据I_2L的相应像素值为基础，生成最终的高分辨率校正图像R_H。

Claims (22)

1、一种图像处理方法，包括下列步骤：

基于具有不同像素值的第一图像数据和第二图像数据的相对应的像素值计算图像差值或图像比值；

基于图像数据的特定区域的图像差值或图像比值计算估计值；

基于在所述估计值计算步骤计算出的所述特定区域的图像差值或图像比值的估计值、以及所述第二图像数据，生成该特定区域的校正图像。

2、如权利要求1所述的图像处理方法，其中，所述图像差值d(x，y)包括如下计算的向量：

d(x，y)＝A(x，y)-B(x，y)

其中，A(x，y)表示所述第一图像数据的每个像素(x，y)的像素值向量，而B(x，y)表示所述第二图像数据的相应像素(x，y)的像素值向量；并且所述图像比值d(x，y)是：

d(x，y)＝A(x，y)/(B(x，y)+e)

其中e是固定值。

3、如权利要求1所述的图像处理方法，其中：

所述第一图像数据包括以无闪光灯辅助而捕获的图像和闪光灯辅助而捕获的图像为基础对其施行了像素值调整的白平衡调整的图像R，所述第二图像数据包括闪光灯辅助的图像I₂，并且所述特定区域包括在其中检测到物体的运动的运动存在区域；

所述图像差值d(x，y)包括如下计算的向量：

d(x，y)＝R(x，y)-I₂(x，y)

其中R(x，y)表示该白平衡调整的图像R的每个像素(x，y)的像素值向量，而I₂(x，y)表示该闪光灯辅助的图像I₂的相应像素(x，y)的像素值向量；

图像比值d(x，y)是：

d(x，y)＝R(x，y)/(I₂(x，y)+e)

其中e是固定值；并且

所述校正图像生成步骤包括下述步骤：以在所述估计值计算步骤中计算出的所述运动存在区域中的图像差值或图像比值的估计值、以及所述闪光灯辅助的图像I₂为基础，生成该运动存在区域的校正图像。

4、如权利要求1所述的图像处理方法，其中，所述计算估计值的步骤还包括：

初始值设置步骤，以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及

平滑处理执行步骤，执行对在该初始值设置步骤中设置的初始值施加的基于平滑滤波器的平滑处理。

5、如权利要求4所述的图像处理方法，其中，所述设置初始值的步骤包括下述步骤：以初始值设置目标像素的邻近像素的图像差值或图像比值为基础，设置该初始值设置目标像素的初始值，其中，已经为所述邻近像素设置了图像差值或图像比值。

6、如权利要求5所述的图像处理方法，其中，所述设置初始值的步骤包括下述步骤：应用掩码图像，以便区分所述初始值设置目标像素与已经为其设置了图像差值或图像比值的像素。

7、如权利要求1所述的图像处理方法，其中：

所述生成校正图像的步骤还包括下述步骤：以在所述估计值计算步骤中计算出的所述特定区域中的图像差值或图像比值的估计值、以及所述第二图像数据为基础，生成该特定区域的校正图像；以及

如果使用图像差值，则所述生成校正图像的步骤被执行为将在所述估计值计算步骤中计算出的该特定区域中的图像差值的估计值与该特定区域中的所述第二图像数据相加的步骤；并且

如果使用图像比值，则所述校正图像生成步骤被执行为将在所述估计值计算步骤中计算出的该特定区域的图像比值的估计值与该特定区域中的所述第二图像数据相乘的步骤。

8、如权利要求1所述的图像处理步骤，其中：

所述第一图像数据包括以无闪光灯辅助而捕获的图像和闪光灯辅助而捕获的图像为基础对其施行了像素值调整的白平衡调整的图像R；

所述第二图像数据包括闪光灯辅助的图像I₂；

所述特定区域包括在其中检测到物体的运动的运动存在区域；以及

如果使用图像差值，则所述生成校正图像的步骤被执行为将在所述估计值计算步骤中计算出的该特定区域中的图像差值的估计值与所述运动存在区域中的该闪光灯辅助的图像I₂相加的步骤；并且

如果使用图像比值，则所述校正图像生成步骤被执行为将在所述估计值计算步骤中计算出的该特定区域中的图像比值的估计值与该运动存在区域中的该闪光灯辅助的图像I₂相乘的步骤。

9、如权利要求1所述的图像处理方法，其中，所述计算估计值的步骤还包括：

初始值设置步骤，以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及

滤波处理步骤，按照像素值转换表达式对在所述初始值设置步骤中设置的初始值执行像素值转换处理，并校正该特定区域的图像差值或图像比值，其中，所述像素值转换表达式对应于使用基于所述第二图像数据设置其加权值的滤波器的滤波处理。

10、如权利要求9所述的图像处理方法，其中，所述初始值设置步骤还包括下述步骤：以初始值设置目标像素的邻近像素的图像差值或图像比值为基础，设置该初始值设置目标像素的初始值，其中，已经为所述邻近像素设置了图像差值或图像比值。

11、如权利要求9所述的图像处理方法，其中，所述初始值设置步骤还包括下述步骤：应用掩码图像，以便区分所述初始值设置目标像素与已经为其设置了图像差值或图像比值的像素。

12、如权利要求9所述的图像处理方法，其中：

所述第一图像数据包括以无闪光灯辅助而捕获的图像和闪光灯辅助而捕获的图像为基础对其施行了像素值调整的白平衡调整的图像R；

所述第二图像数据包括闪光灯辅助的图像I₂；

所述特定区域包括在其中检测到物体的运动的运动存在区域；并且

所述滤波处理步骤包括下述步骤：使用包含函数的表达式执行像素值校正处理，其中，所述函数的加权值是根据构成所述闪光灯辅助的图像I₂的图像数据的像素的像素值而设置的。

13、如权利要求9所述的图像处理方法，其中：

所述滤波处理步骤包括使用下述转换表达式执行像素值校正处理的步骤：

$d^{\′}(x,y,\mathrm{ch})=\frac{1}{\underset{i,j}{\mathrm{\Σ}}w\left(\right|I_2(x,y,\mathrm{ch})-I_2(i,j,\mathrm{ch})\left|\right)}\underset{i,j}{\mathrm{\Σ}}\left\{w\left(\right|I_2(x,y,\mathrm{ch})-I_2(i,j,\mathrm{ch})\left|\right)d(i,j,\mathrm{ch})\right\}$

其中，d(x，y，ch)是与像素位置(x，y)处的每个通道[ch]的图像差值或图像比值d相对应的值，而I₂(x，y，ch)是与所述闪光灯辅助的图像I₂的像素值相对应的值；d’(x，y，ch)是在该像素位置(x，y)处的通道[ch]的图像差值d的更新的像素值；i和j是用于计算像素位置(x，y)处的值d的更新的值d’的参考像素位置；如果k表示任意自然数，则x-k≤i≤x+k和y-k≤j≤y+k，并且w(x)是根据构成闪光灯辅助的图像I₂的图像数据的像素的像素值而设置加权值的加权函数。

14、如权利要求13所述的图像处理方法，其中，所述转换函数中的加权函数w(x)是由下述表达式表示的函数：

$w\left(x\right)=\exp (-\frac{x^2}{2{\mathrm{\σ}}^2})$

15、如权利要求13所述的图像处理方法，其中，上述转换表达式中用于计算像素位置(x，y)的值的更新的值的参考像素位置i、j为x-k≤i≤x+k和y-k≤j≤y+k，其中，k是任意自然数，并且k是1、2和3中的任何一个。

16、如权利要求1所述的图像处理方法，还包括步骤：

在存储器中存储基于无闪光灯辅助的图像的无闪光灯辅助的低分辨率图像数据I_1L；

在存储器中存储基于闪光灯辅助的图像的闪光灯辅助的高分辨率图像数据和闪光灯分辨率图像数据I_2L；

在存储其中存储基于无闪光灯辅助的图像的闪光灯辅助的低分辨率图像数据I_3L；并且，

以所述无闪光灯辅助的低分辨率图像数据I_1L和所述无闪光灯辅助的低分辨率图像数据I_3L为基础检测运动存在区域；其中

所述无闪光灯辅助的低分辨率图像数据I_1L被设置为第一图像数据，而所述闪光灯辅助的低分辨率图像数据I_2L被设置为第二图像数据，以便计算估计值并生成白平衡调整的图像R，包括白平衡调整处理和对运动区域的像素值校正处理；并且

在所述校正图像生成步骤中，以所述像素值经过调整的图像R、所述闪光灯辅助的高分辨率图像数据I_2H和闪光灯辅助的低分辨率图像数据I_2L的相应像素值为基础生成最终的高分辨率校正图像R_H。

17、如权利要求16所述的图像处理方法，其中，所述校正图像生成步骤还包括步骤：

获得有关所述像素值经过调整的图像R的相对于所述闪光灯辅助的低分辨率图像数据I_2L的相应像素的像素值转换信息；以及

执行闪光灯辅助的高分辨率图像数据I_2H的像素值转换。

18、一种图像处理装置，包括：

计算部件，用于基于具有不同像素值的第一图像数据和第二图像数据的相应像素值计算图像差值或图像比值；

估计部件，用于基于图像数据的特定区域的图像差值或图像比值计算估计值；

生成部件，用于基于由所述估计部件计算出的所述特定区域的图像差值或图像比值的估计值、以及所述第二图像数据，生成该特定区域的校正图像。

19、如权利要求18所述的图像处理装置，其中，所述估计部件还包括：

初始值设置单元，用于以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及

平滑处理执行单元，用于执行对由所述初始值设置单元设置的初始值施加的基于平滑滤波器的平滑处理。

20、如权利要求18所述的图像处理装置，其中，所述估计部件还包括：

初始值设置单元，用于以在所述特定区域的邻近区域中确定的图像差值或图像比值为基础，设置所述图像数据的该特定区域的图像差值或图像比值的初始值；以及

滤波单元，用于按照像素值转换表达式对在所述初始值设置步骤中设置的初始值执行像素值转换处理，并校正该特定区域的图像差值或图像比值，其中，所述像素值转换表达式对应于使用以所述第二图像数据为基础设置其加权值的滤波器的滤波处理。

21、一种计算机可读程序，用于使计算机执行下列步骤：

基于具有不同像素值的第一图像数据和第二图像数据的相应像素值计算图像差值或图像比值；

基于图像数据的特定区域的图像差值或图像比值计算估计值；

基于在所述估计值计算步骤中计算出的所述特定区域的图像差值或图像比值的估计值、以及所述第二图像数据，生成该特定区域的校正图像。

22、如权利要求21所述的计算机程序，还包括步骤：

在存储器中存储基于无闪光灯辅助的图像的无闪光灯辅助的低分辨率图像数据I_1L；

在存储器中存储基于闪光灯辅助的图像的闪光灯辅助的高分辨率图像数据I_2H和闪光灯分辨率图像数据I_2L；

在存储器中存储基于无闪光灯辅助的图像的无闪光灯辅助的低分辨率图像数据I_3L；以及

以所述无闪光灯辅助的低分辨率图像数据I_1L和所述无闪光灯辅助的低分辨率图像数据I_3L为基础检测运动存在区域；其中，

该无闪光灯辅助的低分辨率图像数据I_1L被设置为所述第一图像数据，而该闪光灯辅助的低分辨率图像数据I_2L被设置为所述第二图像数据，以便计算所述估计值，并生成白平衡调整的图像R，包括白平衡调整处理和对运动区域的像素值校正处理；并且，在所述校正图像生成步骤中，以所述像素值经过调整的图像R、所述闪光灯辅助的高分辨率图像数据I_2H和所述闪光灯辅助的低分辨率图像数据I_2L的相应像素值为基础，生成最终的高分辨率校正图像R_H。

Images