CN103314572A - 用于图像处理的方法和设备 - Google Patents

Abstract

实施例提供一种用于基于第二图像处理第一图像的方法，其中第一图像中的每个像素具有多个色彩分量，并在第二图像中具有对应位置的像素。本方法包括对于第一图像中像素的每个色彩分量，依赖于预定标准决定是否修改色彩分量的值。本方法进一步包括对于像素的每个色彩分量，基于像素色彩分量的值，或者在已经决定要修改像素色彩分量的值的情况下，基于第二图像中色彩分量的对应值，确定第一图像中的像素和第二图像中的对应像素之间的相似指数。

Description

用于图像处理的方法和设备

相关申请的交叉引用

本申请主张2010年7月26日提交的申请号为61/367,489的美国临时专利申请的优先权，基于所有目的，上述申请案的整体内容以引用的方式并入本文中。

技术领域

实施例通常涉及信号处理。特别的，实施例涉及用于图像处理的方法和设备。

背景技术

许多自然景象具有比那些可以由传统低动态范围（LDR）成像***所记录的自然景象更宽的动态范围。短曝光时间的LDR图像在黑暗景象区域的曝光不足，但是能很好地拍摄明亮的区域。与之相反，长曝光时间的LDR图像在明亮景象区域是饱和的，但是能很好地捕获黑暗区域。也就是说，一个LDR图像不足以表示整个景象。通过使用普通相机连续地拍摄多个不同的曝光LDR图像可以生成高动态范围（HDR）图像，以表示整个景象。

当通过使用多个不同曝光LDR图像合成HDR图像时，LDR图像中的运动目标会引起幻影伪像。这在室外环境中经常会遇到，其中移动的人、公共汽车、云或者摇摆的树等等将作为移动的物体被拍摄。为了消除由于景象中的运动目标而造成的ghost伪像，要求将所有LDR图像的像素分类为有效和无效，并且只有有效像素才被用于生成HDR图像。由于传感器和电子噪声，以及输入LDR图像中的不同曝光，在LDR图像中检测运动目标具有挑战性。

一种方法是基于相机响应函数（CRF）来消除幻影伪像。可以通过使用CRFs、其参考图像中对应位置的像素值和它们的曝光时间计算图像中像素的预测值。如果像素非常接近于预测值，则该像素被标记为有效。否则，在错误图中将其标记为无效。然而，该基于CRF的方案容易受到CRFs估计误差的影响。

另一种方法基于局部熵关于曝光时间通常变化不大的特性。计算局部熵，所有局部熵变化比门限大的像素将在错误图中被标记为无效。尽管基于局部熵的方法不容易受到CRFs的估计误差的影响，但是不适合于两个图像区域以不同亮度共享相同结构的情况。

在另一个方面，通常使用来自一个单独LDR图像的像素修补无效区域。因为运动目标经常属于无效区域，当它们的动态范围固有的高时，减小合成的HDR图像中运动目标的动态范围。

因此，希望提供一种对于由传感器和电子噪声引起的不同曝光和像素变化是鲁棒的运动检测方案，用于通过不同曝光LDR图像集来合成HDR图像。

还希望提供一种在合成的GDR图像中更好地保存运动目标的动态范围的方法。

发明内容

不同的实施例提供一种用于基于第二图像处理第一图像的方法，其中第一图像中的每个像素具有多个色彩分量，并在第二图像中具有对应位置的像素，其中第一图像中色彩分量的每个值对应第二图像中的色彩分量的值。本方法包括对于第一图像中像素的每个色彩分量，依赖于预定标准决定是否修改色彩分量的值。本方法进一步包括对于像素的每个色彩分量，基于像素色彩分量的值，或者在已经决定要修改像素色彩分量的值的情况下，基于第二图像中色彩分量的对应值，确定第一图像中的像素和第二图像中的对应位置像素之间的相似指数。

附图说明

在附图中，贯穿不同的视图，相同的参考符号通常指代相同的部件。没有必要确定附图的比例，着重点通常在于说明本发明的原理。在下面的描述中，参考如下附图来描述不同的实施例，其中：

图1是根据一个实施例的用于合成HDR图像的流程图。

图2是根据不同实施例的用于图像处理的流程图。

图3是根据一个实施例的图像序列的处理顺序的示图。

图4是根据不同实施例的图像处理的原理图。

图5是具有5个不同曝光时间的图像序列的示图。

图6是一个实施例的双向相似性检测的实验结果，以及图5的图像序列执行的单向相似性检测的实验结果的示图。

图7是具有7个不同曝光时间的图像序列的示图。

图8是使用根据一个实施例的自适应门限和使用用于移动检测的固定门限的实验结果的示图。

图9是基于图5的图像序列合成HDR图像的实验结果的示图。

图10是根据一个实施例的方法所生成的HDR视频的示图。

图11是具有11个不同曝光时间的的LDR图像序列的示图。

图12是用于消除幻影伪像的不同方法的实验结果的示图。

图13是由PHOTOMATIX和一个实施例的方法所生成的HDR图像的示图。

具体实施方式

不同实施例提供一种用于图像处理的方法。在下面描述的图像处理方法上下文中的各种特征对于对应的设备近似地适用，反之亦然。

针对用于基于第二图像处理第一图形的方法的一个实施例，其中第一图像中的每个像素具有多个色彩分量，并在第二图像中具有对应位置的像素。本方法包括对于第一图像中像素的每个色彩分量，依赖于预定标准决定是否修改色彩分量的值。本方法进一步包括对于像素的每个色彩分量，基于像素色彩分量的值，或者在已经决定要修改像素色彩分量的值的情况下，基于第二图像中色彩分量的对应值，确定第一图像中的像素和第二图像中的对应像素之间的相似指数。

在另一个实施例中，第一图像的每个像素和其在第二图像中对应位置的像素相对应。如果这两个像素在第一和第二图像中具有相同的空间位置，第一图像中的像素和其在第二图像中对应位置的像素相对应。

在一个实施例中，第一图像和第二图像是具有不同曝光时间的图像序列的一部分，例如低动态范围图像序列。第二图像还可以被称为第一图像的参考图像。

在一个实施例中，多个色彩分量包括红色分量、绿色分量和蓝色分量。在另一个实施例中，多个色彩分量包括与其它色彩空间一致的其它类型色彩分量，例如如果使用了CMYK（青、品红、黄和黑色）色彩空间，包括青色分量、品红色分量和黄色分量。

在一个实施例中，本方法进一步包括对于第二图像中对应像素的每个色彩分量，依赖于预定标准决定是否修改对应像素的色彩分量的值，其中第二图像中的每个色彩分量的值对应于第一图像中色彩分量的一个值。本方法进一步包括对于对应像素的颜色分量的值，基于像素色彩分量的值，或者在已经决定要修改对应像素色彩分量的值的情况下，基于第一图像中色彩分量的对应值，确定第一图像中的像素和第二图像中的对应像素之间的相似指数。

根据一个实施例，依赖于第一图像中像素的色彩分量的值和第二图像中对应像素的色彩分量的值，决定是否修改色彩分量的值。

根据另一个实施例，依赖于第一图像中像素的色彩分量的曝光水平与第二图像中对应像素的色彩分量的曝光水平的对比，决定是否修改色彩分量的值。

在一个实施例中，第一图像中的像素的色彩分量的曝光水平表示像素的色彩分量的值与预定值之间的偏差，第二图像中对应像素的色彩分量的曝光水平表示对应像素的色彩分量的值与预定值之间的偏差。预定值为第一图像和第二图像的数值范围的中间值。例如，如果第一图像和第二图像的数值范围是[0，255]，预定值可以被确定为中间值127。

根据一个实施例，基于从第一图像至第二图像的亮度映射函数确定第二图像中的色彩分量的对应值以对应第一图像中的色彩分量的值，其中基于第一图像和第二图像的累积直方图来确定亮度映射函数。例如，可以将第二图像中的色彩分量的对应值确定为一个值，其将第一图像的累积直方图和第二图像的累积直方图之间的变化最小化。

依赖于确定的相似指数，第一图像的像素可以被确定为在运动目标区域之内或者之外。

针对用于基于第二图像处理第一图像的设备的实施例，其中第一图像中的每个像素具有多个色彩分量，并在第二图像中具有对应像素，其中第一图像中的色彩分量的每个值对应于第二图像中的色彩分量的值。该设备包括决定器，配置于对于第一图像中的像素的每个色彩分量，依赖于预定标准决定是否修改色彩分量的值。该设备进一步包括相似指数确定器，配置于对于像素的每个色彩分量，基于像素的色彩分量的值，或者在如果已经决定了要修改像素的色彩分量的值的情况下，基于第二图像中的色彩分量的对应值，确定第一图像中的像素和第二图像中的对应像素之间的相似指数。

针对用于基于第二图像处理第一图像的方法的另一个实施例，其中第一图像和第二图像是以不同曝光时间拍摄的图像序列的一部分。该方法包括确定第一图像的像素和第二图像的对应像素之间的相似指数，其中相似指数表示像素和对应像素之间的相似程度。该方法包括依赖于第一图像的曝光时间、第二图像的曝光时间、拍摄图像序列的胶片速度和图像序列的平均曝光值其中的至少一个来为像素确定门限。该方法进一步包括依赖于确定的相似指数和确定的门限之间的对比来确定像素在运动目标区域之内还是之外。

在一个实施例中，依赖于第一图像中的像素的亮度值和第二图像中的对应像素的亮度值来为像素确定门限。

在另一个实施例中，依赖于第一图像中的像素的曝光水平和第二图像中的对应像素的曝光水平来为像素确定门限。第一图像中的像素的曝光水平表示像素的亮度值与预定值之间的偏差，第二图像中的对应像素的曝光水平表示对应像素的亮度值与预定值之间的偏差。预定值为第一图像和第二图像的亮度值范围的中间值。

在一个实施例中，确定第一图像的像素和第二图像的对应像素之间的相似指数包括：对于第一图像中的像素的每个色彩分量，依赖于预定标准确定是否修改色彩分量的值，其中第一图像中的色彩分量的每个值对应于第二图像中的色彩分量的值。确定相似指数进一步包括：对于像素的每个色彩分量，基于像素的色彩分量，或者是在已经决定了要修改像素的色彩分量的值的情况下，基于第二图像中的色彩分量的对应值，确定第一图像中的像素和第二图像中的对应像素之间的相似指数。

针对用于基于第二图像处理第一图像的设备的另一个实施例，其中第一图像和第二图像为以不同曝光时间拍摄的图像序列的一部分。该设备包括相似指数确定器，配置于确定第一图像的像素和第二图像的对应像素之间的相似指数，其中相似指数表示像素和对应像素之间的相似程度。该设备进一步包括门限确定器，配置于依赖于第一图像的曝光时间、第二图像的曝光时间、拍摄图像序列的胶片速度和图像序列的平均曝光值其中的至少一个来为像素确定门限。该设备进一步包括运动目标区域确定器，配置于依赖于确定的相似指数和确定的门限之间的对比来确定像素处于运动目标区域之内还是之外。

针对用于基于第二图像处理第一图像的方法的进一步的实施例，其中第一图像和第二图像为以不同曝光时间拍摄的图像序列的一部分。该方法包括确定第一图像的像素和第二图像的对应像素之间的相似指数，其中相似指数表示像素和对应像素之间的相似程度。该方法进一步包括为像素确定门限；和，依赖于确定的相似指数和确定的门限之间的对比来确定像素处于运动目标区域之内还是之外。如果像素被确定为在运动目标区域之内，该方法包括基于从第二图像至第一图像的亮度映射函数确定第一图像中的对应亮度值，其对应于图像序列中的第二图像或第三图像中的对应像素的亮度值，其中基于第一图像和第二图像或第三图像的累积直方图来确定亮度映射函数。该方法进一步包括确定更新的第一图像中的像素的亮度值，其对应于第一图像中的亮度值来确定。

在一个实施例中，如果像素被确定为在运动目标区域之内，基于从第二图像至第一图像的亮度映射函数来确定第一图像中的对应亮度值。换句话说，第二图像中的对应像素的亮度值被映射到第一图像，以确定第一图像中的对应亮度值。

在另一个实施例中，如果像素被确定为在运动目标区域之内，该方法进一步包括确定第二图像的对应像素和第三图像的对应像素是否相似。如果第二图像和第三图像的亮度值相似，那么它们的对应像素相似。如果第二图像的对应像素与第三图形的对应像素不相似，则可以基于从第二图像至第一图像的亮度映射函数来确定第一图像中的对应亮度值。换句话说，第二图像中的对应像素的亮度值被映射到第一图像，以确定第一图像中的对应亮度值。

如果第二图像的对应像素与第三图像的对应像素相似，则可以基于从第三图像至第一图像的亮度映射函数来确定第一图像中的对应亮度值。换句话说，第三图像中的对应像素的亮度值被映射到第一图像，以确定第一图像中的对应亮度值。

根据一个实施例，亮度映射函数包括最小化第一图像的累积直方图和第二图像的累积直方图之间的变化。第一图像的累积直方图表示第一图像中的许多像素具有的亮度值小于或等于待确定的亮度值，也就是第一图像中的对应亮度值。第二图像的累积直方图表示第二图像中的许多像素具有的亮度值小于或等于第二图像中的对应像素的亮度值。第三图像的累积直方图表示第三图像中的许多像素具有的亮度值小于或等于第三图像中的对应像素的亮度值。

在一个实施例中，亮度映射函数可以是使目标函数取最小值的变量值的函数，所以第一图像中的对应亮度值被确定为一个值，其将等于第二图像（或第三图像）中的对应像素的亮度值的第二图像（或第三图像）的累积直方图和等于第一图像中的对应像素的亮度值的第一图像的累积直方图之间的变化最小化。

在一个实施例中，该方法进一步包括使用多个邻像素将平均过滤器应用到确定的对应亮度值，其中根据上面的方法处理和更新多个邻像素的亮度值。

根据一个实施例，如果像素被确定为在运动目标区域之外，则更新的像素亮度值被确定为像素亮度值。

在上面的实施例中，可以为像素的每个色彩分量单独地确定第一图像中的对应亮度值和更新的像素亮度值。

针对用于基于第二图像处理第一图像的设备的进一步的实施例，其中第一图像和第二图像为以不同曝光时间拍摄的图像序列的一部分。该设备包括相似指数确定器，配置于确定第一图像的像素和第二图像的对应像素之间的相似指数，其中相似指数表示像素和对应像素之间的相似程度。该设备进一步包括：门限确定器，配置于为像素确定门限；以及移动物理区域确定器，配置于依赖于确定的相似指数和确定的门限之间的对比，来确定像素是在运动目标区域之内还是之外。该设备进一步包括对应亮度值确定器，配置于基于从第二图像至第一图像的亮度映射函数确定在第一图像中的对应亮度值，其对应于第二图像中的对应像素的亮度值，如果像素被确定为在运动目标区域之内，其中基于第一图像和第二图像的累积直方图来确定亮度映射函数。该设备进一步包括更新器，配置于确定第一图像中的像素的更新的亮度值，其对应于第一图像中的亮度值来确定。

在此上下文中，在实施例中描述的不同的图像处理设备可以包括存储器，其用于例如由图像处理设备执行的处理中。实施例中使用的存储器可以是易失性存储器，例如DRAM（动态随机存取存储器）或者非易失性存储器，例如PROM（可编程只读存储器）、EPROM（可擦写PROM）、EEPROM（电可擦写PROM），或者闪存，例如浮栅存储器、电荷陷入存储器、MRAM（磁性随机存取存储器）或者PCRAM（相变随机存取存储器）。

在此上下文中，在此说明书中所描述的图像处理设备可以是或者包括图像处理电路。

在一个实施例中，“电路”可以被理解为任意种类的逻辑执行实体，其可以是专用电路或者执行存储在存储器、固件或者它们的任意组合之中的软件的处理器。因此，在一个实施例中，“电路”可以是硬线逻辑电路或者可编程逻辑电路，例如可编程处理器，例如微处理器（例如复合指令集计算机（CISC）处理器或者精简指令集（RISC）处理器）。“电路”还可以是执行软件的处理器，例如任何类型的计算机程序，例如使用例如Java虚拟机代码的计算机程序。任何其它类型的各自功能的实施方式，还可以被理解为与替代实施例一致的“电路”，其将在下面详细描述。

图1是根据一个实施例的合成HDR图像的流程图。

具有不同曝光时间的例如LDR图像的图像序列110被接收作为输入图像。LDR图像110包括运动目标。

可以在120处理LDR图像110的序列。例如，LDR图像110的处理可以包括在LRD图像110中检测运动目标，消除LDR图像110中的运动目标，并生成更新的LDR图像130。120的图像处理方法的不同实施例将在下面详细描述。

基于更新的LDR图像130，在140估计相机响应函数。

基于更新的LDR图像130和估计的相机响应函数，在150合成HDR图像160。

图2是根据不同实施例的图像处理的流程图。

可以根据图2中描述的不同实施例来执行图1中的图像处理120，以便于处理LDR图像以消除运动目标并使用处理的LDR图像来合成HDR图像。

具有不同曝光时间的LDR图像110序列被接收作为输入图像。可以以预定顺序处理LDR图像110序列，所以每次基于另一个被选择为参考图像的LDR图像（也被称为第二图像）来处理一个LDR图像（也被称为第一图像）。根据一个实施例的LDR图像110序列的处理顺序如图3所示。

根据图3中的实施例，索引号为1，2，…，k₀-1，k₀，k₀+1，…，n₀的图像110序列被接收作为输入图像。表示为

的中间图像可以被选择为初始参考图像。初始参考图像

的所有像素被标记为有效。因为邻图像之间的相关性最强，初始参考图像

可以被选择为图像

和图像

的参考图像。因此，基于参考像素

和分别对应的

和

之间的相似性，参考图像中的位置p的像素

可以被用于确定在图像

和

中的对应像素

和是否有效，即在运动目标区域之内或者之外。图像和

中的无效像素的亮度值可以被校正或者更新，以获得更新的图像

和更新的图像其中运动目标被消除。初始参考图像

中的像素

还可以被应用于检测其它图像中的像素Z_k(p)(|k-k₀|>1)是否有效。

在另一个实施例中，当|k-k₀|的值大于1时图像

和Z_k之间的相关性变得更弱，要被处理的每个图像的参考图像被逐步更新。例如，在基于初始参考图像处理图像以获得更新的图像

之后，更新的图像

作为下一图像

的参考图像，用于图像

的处理。

根据一个实施例，可以按照如图3所示的顺序

处理图像序列。

为了简单起见，对于要处理的图像Z_k，其参考图像被示为Z_k'。k'的值对应图形Z_k'的曝光时间△t_k，其值以如下方式更新

在此上下文中，被示为Z_k'的参考图像被更新或者被处理，以在索引号为k'的原始图像中消除运动目标。如果k'=k₀，

如果图像Z_k(k≠k₀)中的像素与其参考图像Z_k'中的对应像素相似，则将其标记为有效，否则标记为无效。

当运动目标存在于图像Z_k(1≤k≤n₀)中时，如果图像Z_k(1≤k≤n₀)直接被用于合成最终的HDR图像，那么在最终的HDR图像中将会有幻影伪像。为了从最终的HDR图像中消除幻影伪像，有必要检测图像Z_k(1≤k≤n₀)中的运动目标。在下文中，将会详细描述图像与其参考图像之间的相似性确定，相似性门限确定，运动目标区域确定，以及根据不同实施例的图像更新。为了简单起见，这些实施例描述于第一图像Z_k和第二图像Z_k'的上下文中，将会理解的是，不同的实施例可以被应用到图3所示顺序的序列110的所有图像中，以获得更新的或者处理的图像序列。

假设Z_k(p)=[Z_k,1(p)，Z_k，2(p)，Z_k,3(p)]^T表示图像Z_k中的位置p的图像亮度向量，其中Z_k,l(p)表示色彩分量l的亮度值，例如，为RGB（红，绿，蓝）色彩分量中的一个，或者为CMYK（青、品红、黄和黑色）色彩分量中的一个。p表示图像Z_k中的空间位置，k(1≤k≤n₀)为具有不同的曝光，以及曝光时间△t_k的索引，n₀为输入LDR图像的总数。这些不同曝光的LDR图像可以被称为Wyckoff图像集，其产生HDR图像。假设E_k(p)=[E_k,1(p)，E_k,2(p),E_k,3(p)]^T表示对应Z_k(p)的辐照度向量。给出E_k(p)和Z_k(p)之间的关系如下

Z_k(p)=f(E_k(p)Δt_k+η_q,k(p))+η_f,k(p),(1)

其中f(·)(=[f₁(·),f₂(·)，f₃(·)]^T)表示相机响应函数（CRF）向量，η_q,k(p)(=[η_q,k,1(p),η_q,k,2(p),η_q,k,3(p)]^T)表示传感器噪声向量，η_f,k(p)(=[η_f,k,1(p),η_f,k,2(p),η_f,k,3(p)]^T)表示电子噪声向量。f_l(·)单调增长，其反函数表示为

其中l为色彩分量的索引。

如果在场景中没有运动目标，并且所有的LDR图像很好地排列，等式（1）可以为：

Z_k(p)=f(E(P)Δt_k+η_q,k(p))+η_f,k(p).（2）

不同曝光LDR图像Z_k和Z_k'的一个特征是由于不同的曝光，两个对应位置的像素Z_k(p)和Z_k(p')之间可能存在大的亮度改变。

考虑到两个像素Z_k(p)和Z_k(p')具有相同的色彩分量值Z_k,l(p)和Z_k,l(p')。不同曝光图像的其它特征是由于传感器和电子噪声，Z_k',l(p)和Z_k',l(p')的值之间可能存在大的变化。如等式（1）所示，在没有传感器噪声或者电子噪声的理想情况下Z_k',l(p)和Z_k',l(p')的值相等。然而，η_q,k,l(p)，η_f,k,l(p')，η_q,k',l(p)和η_f,k',l(p')的值通常不为0。Z_k',l(p)和Z_k',l(p')的值之间的变化是由传感器噪声引起的。该变化在电子噪声面前将更大，特别是当Z_k,l(p)和Z_k,l(p')饱和或者曝光不足时。

在210，根据不同实施例确定不同曝光LDR图像的相似指数。将不同曝光LDR图像的上述两个特征纳入考虑，相似指数是基于亮度映射函数（IMF）而确定的。

因为第一图像Z_k和第二图像Z_k'中的两个对应像素Z_k(p)和Z_k'(p)之间可能存在大的亮度变化，初始亮度值Z_k(p)和Z_k'(p)不会直接被用于确定相似指数。根据一个实施例，执行一个决定以依赖于预定标准确定像素Z_k(p)和Z_k'(p)的亮度值是否需要修改，从而获得两个更新的像素

和基于更新的亮度值

和

而确定像素p的相似指数。

根据一个实施例，对于像素Z_k(p)和Z_k'(p)的每个色彩分量Z_k,l(p)和Z_k',l(p)执行决定。在一个实施例中，依赖于色彩分量Z_k,l(p)和Z_k',l(p)的值来执行决定。在另一个实施例中，依赖于色彩分量Z_k,l(p)的曝光水平和Z_k',l(p)的曝光水平执行决定。

根据一个实施例，通过使用双向映射方法生成更新的两个像素

和

如下

其中w(z)表示基于像素的亮度值z确定的像素曝光水平，Λ(z)表示亮度映射函数，在下面详细描述。w(z)将根据如下等式确定：

$w\left(z\right)=\left\{\begin{array}{cc}(z+1)/128;& \mathrm{ifz}\≤127\\ (256-z)/128;& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

在上面的实施例中，曝光水平w(z)表示亮度值z与预定值127之间的偏差。预定值为上面的等式（4）的示例中的数值范围[0，255]的中间值127。在另一个实施例中，其中第一图像和第二图像的亮度值在范围[0，65535]之内，预定值可以被确定为32767。在其它实施例中，其中第一图像和第二图像为32位或者64位图像，预定值可以相应地被确定为亮度范围的中间值。

等式（3）中，基于亮度映射函数（IMF），通过将图像Z_k中的亮度值映射到参考图像Z_k'而确定表示参考图像Z_k'中的对应值Λ_k,k'(z)，其可以被称为前向IMF。类似地，基于亮度映射函数，通过将图像Z_k'中的亮度值映射到参考图像Z_k而确定表示参考图像Z_k中的对应值Λ_k',k(z)，其可以被称为反向IMF。Λ_k,k'(z)可以以IMF向量的形式被表示为Λ_k,k'(z)(=Λ_k,k',1(z),Λ_k,k',2(z),Λ_k,k',3(z)]^T),Λ_k',k(z)可以被表示为IMF向量Λ_k'，k(z)(=[Λ_k',k,1(z),Λ_k',k,2(z),Λ_k',k,3(z)]^T),其中对应值Λ_k,k',l(z)和Λ_k,k',l(z)每个色彩分量l被确定。

根据一个实施例，可以基于各自的亮度映射函数来确定对应值Λ_k,k'(z)和Λ_k',k(z)，其中基于图像Z_k和Z_k'的累积直方图H_k(z)和H_k'(z)来确定亮度映射函数。累积直方图H_k(z)表示集合的基数，包括图像Z_k所有亮度值不大于z的像素，H_k'(z)按照类似方法而被确定。

在一个实施例中，对于图像Z_k中的色彩分量值z，对应值Λ_k,k'(z)可以通过寻找最小化H_k(z)和H_k'(m)之间变化的亮度值m而被确定。在一个典型的实施例中，对应值Λ_k,k'(z)可以按照如下等式而被确定：

${\mathrm{\Λ}}_{k,k^{\′},l}\left(z\right)=\arg \underset{m\∈[{\mathrm{\Λ}}_{k,k^{\′,l}}(z-1),255]}{\min }\left\{\right|H_{k,l}\left(z\right)-H_{k^{\′},l}\left(m\right)\left|\right\},---\left(5\right)$

$H_{k,l}\left(z\right)=\underset{n=0}{\overset{z}{\mathrm{\Σ}}}\left|{\mathrm{\Θ}}_k\left(n\right)\right|,{\mathrm{\Θ}}_k\left(z\right)=\left\{(i,j)\right|Z_{k,l}(i,j)=z\}---\left(6\right)$

其中|Θ_k(z)|为集合Θ_k(z)的基数，表示图像Z_k中像素的数量，Z_k,l(p)的值小于或等于z，Λ_k,k',l(z)为z的单调递增函数。

参考图像Z_k'中的色彩分量的值z的对应值Λ_k',k(z)可以类似地被确定。

使用根据上面的等式（5）和（6）的亮度映射函数来确定对应值Λ_k,k',l(z)和Λ_k,k',l(z)，不需要估计相机响应函数，因此对于相机响应函数的估计误差具有鲁棒性。

根据实施例和上面的等式（3）-（6），依赖于色彩分量Z_k,l(p)的曝光水平与色彩分量Z_k',l(p)的曝光水平的对比，确定像素Z_k,l(p)的色彩分量的值是否要被修改。如果是，更新值

被确定为对应值Λ_k,k',l(z)。如果不是，更新值

等于像素的原始值Z_k,l(p)。执行相同的决定过程，以确定参考图像Z_k'中的对应像素的更新值

因为可以使用来自初始图像或者参考图像的更可靠的值来确定更新值

和

更新值的确定被称为双向映射方法。

在210，更新值

和

可以被用于确定相似指数。在一个实施例中，可以根据如下等式来确定相似指数S(Z_k(p)，Z_k'(p))：

根据等式（7），当和

对于每个色彩分量l相同时，S(Z_k(p)，Z_k'(p))的值为1。这两个更新值和

越相似，S(Z_k(p)，Z_k'(p))的值越接近1。

在另一个实施例中，可以根据如下等式来确定每个色彩分量l的相似指数S₁(Z_k(p)，Z_k'(p))：

基于IMF向量Λ_k,k'(z)和Λ_k',k(z)以及双向映射方法，不同实施例的相似指数的鲁棒性，例如根据等式（7）的鲁棒性，将被显著改进。

在确定相似指数之前，使用Λ_k,k'(z)和Λ_k',k(z)确定的更新值

和

将使Z_k(p)和Z_k'(p)的亮度值统一。

表1显示初始亮度值Z_k(p)和Z_k'(p)之间，以及更新的亮度值

和

之间的亮度变化。图5所示的LDR图像序列和图7中的最初5个图在下面被用于计算和

如表1所示，

的值显示具有两个不同曝光图像的Z_k(p)和Z_k'(p)之间巨大的亮度变化。

基于使用IMF向量Λ_k,k'(z)和Λ_k',k(z)确定的更新的亮度值

和

两个图像中的像素的亮度被统一。因此，由于不同曝光时间，关于图像Z_k和Z_k'之间亮度变化的不同实施例的相似指数的鲁棒性得到改进。IMF向量还可以被用于消除由传感器噪声引起的变化。因此，关于传感器噪声的不同实施例的相似指数的鲁棒性也得到改进。与此同时，提供根据等式（3）的双向映射方法以改进关于电子噪声的相似指数的鲁棒性。

在两个像素Z_k(p)和Z_k'(p)的原理性示例中，Z_k,1(p)和Z_k,2(p)曝光很好，但Z_k,3(p)是饱和的。Z_k',1(p)和Z_k',2(p)曝光不足，但Z_k,3(p)曝光很好。通过使用根据上面的等式（3）和（4）提出的双向映射方法，像素

和

分别地被确定为[Λ_k,k',1(Z_k,1(p)),Λ_k,k',2(Z_k,2(p)),Z_k,3(p)]^T和[Z_k',1(p),Z_k',2(p),Λ_k',k,3(Z_k',k,3(p)]^T。因此，与使用三对(Z_k(p),Z_k'(p)，(Z_k(p)，Λ_k',k(Z_k'(p)))和(Λ_k,k'(Z_k(p)),Z_k'(p))相比，使用

和确定的相似指数更精确，在

和

中像素对的每个色彩分量被估计，在(Z_k(p),Z_k'(p),(Z_k(p),Λ_k',k(Z_k'(p)))和（Λ_k,k'(Z_k(p)),Z_k'(p))中像素对在不考虑每个色彩分量的像素级被估计。

表1：和

的对比

在210确定的相似指数S(Z_k(p)，Z_k'(p))可以被用于在不同曝光LDR图像中检测运动目标，用于HDR成像。

在220，使用LDR图像110来确定图像Z_k中的像素的门限。门限可以被用于确定像素有效还是无效，换句话说，像素是在运动目标区域之内还是之外。

根据一个实施例，依赖于第一图像的曝光时间、第二图像的曝光时间、拍摄图像序列的胶片速度和图像序列的平均曝光值其中的至少一个来为像素确定门限。在另一个实施例中，还可以依赖于像素的曝光水平来为像素确定门限。

根据一个实施例，基于Z_k,l(p)，Z_k',l(p)，图像Z_k的曝光时间△t_k和参考图像Z_k'的曝光时间△t_k'的值，根据下面的等式确定门限：

${\mathrm{Thr}}_{k,k^{\′}}\left(p\right)=\frac{2(1-{\mathrm{\ξ}}_{k,k^{\′}}\left(p\right))}{1+{(1-{\mathrm{\ξ}}_{k,k^{\′}}\left(p\right))}^2}---\left(8\right)$

其中，在一个实施例中

$\mathrm{\ϵ}\left(z\right)=\left\{\begin{array}{cc}\frac{1}{128}{(1-\frac{2z}{255})}^{{\left(\frac{z}{17}\right)}^{16}};& \mathrm{ifz}>127\\ \frac{1}{16}{(1-\frac{2z}{255})}^{{(50-\frac{10z}{51})}^{16}};& \mathrm{otherwise}\end{array}\right.$

$\mathrm{\ρ}(k,k^{\′})=\sqrt{\frac{\max \{{\mathrm{\Δt}}_k,{\mathrm{\Δt}}_{k^{\′}}\}}{\min \{{\mathrm{\Δt}}_k,{\mathrm{\Δt}}_{k^{\′}}\}}}$

其中，每个色彩分量l的门限被确定。

在另一个实施例中

$\mathrm{\ϵ}\left(z\right)=\left\{\begin{array}{cc}{\mathrm{\α}}_2{(1-\frac{2z}{255})}^{{\left(\frac{13z}{255}\right)}^{16}};& \mathrm{ifz}>127\\ {\mathrm{\α}}_3{(1-\frac{2z}{255})}^{{(50-\frac{10z}{51})}^{16}};& \mathrm{otherwise}\end{array}\right.$

$\mathrm{\ρ}(k,k^{\′})=\sqrt{\frac{\max \{{\mathrm{\Δt}}_k,{\mathrm{\Δt}}_{k^{\′}}\}}{\min \{{\mathrm{\Δt}}_k,{\mathrm{\Δt}}_{k^{\′}}\}}}$

其中，ε(z)表示基于亮度值z确定的曝光水平。α_i(i=1,2,3)为3个常量，可以分别选择为1/8，1/64和1/4。在其它实施例中，α_i(i=1,2,3)的值可以选择为其它适当的值。例如，当具有不同曝光时间的图像中的相同运动目标之间交迭时，或者当背景和运动目标相似时，α_i(i=1,2,3)的值可以分别选择为1/16，1/128和1/16。在该实施例中，在像素级上确定门限。

根据另一个实施例，可以基于Z_k,l(p)，Z_k',l(p)，图像Z_k的曝光时间△t_k和参考图像Z_k'的曝光时间△t_k'的值，表示用于拍摄图像序列的胶片速度的值v，图像序列的平均曝光值

根据上面的等式（8）来确定门限。在该实施例中，

(9)

$\mathrm{\ϵ}\left(z\right)=\left\{\begin{array}{cc}0;& \mathrm{ifz}>127\\ {\mathrm{\α}}_2{(1-\frac{2z}{255})}^{{(50-\frac{10z}{51})}^{16}};& \mathrm{otherwise}\end{array}\right.$

$h(x_1,x_2,x_3,x_4)=\left\{\begin{array}{cc}\frac{10{\left(x_1{x}_4\right)}^{1/8}}{{\left(10\mathrm{lo}{g}_2\left(x_2\right)\right)}^{1/4}\left|x_3\right|};& \mathrm{if}{x}_3<10\\ \frac{{\left(x_1{x}_4\right)}^{1/8}}{{\left({\log }_2\left(x_2\right)\right)}^{1/4}{\left({10x}_3\right)}^{1/8}};& \mathrm{otherwise}\end{array}\right..$

其中α_i(i=1,2)为两个常量，在一个实施例中可以分别被确定为3/64和1/32。在其它实施例中，α_i(i=1,2)的值可以被确定为其它适当的值。

是所有曝光时间的最大值。和

分别为两个曝光时间△t_i和△t_j的最大值和最小值。v表示用于拍摄图像序列的胶片速度，并且还可以被称为ISO值。

是LDR图像的平均曝光值，被定义为

其中v，ω和

分别为ISO值，孔径值和所有曝光时间的几何均值。

根据上面的实施例，分量

形成等式（9）中的自适应门限的基础，而提供分量

来改进自适应门限。等式（9）中的ξ_k,k'(p)的定义中有两个部分。前面的部分，用于处理由于传感器噪声引起图像亮度值的变化。后面的部分，

用于由电子噪声引起的图像亮度值的变化。

根据上面的实施例，可以为每个色彩分量确定门限。每个色彩分量的门限可以被用于与为各自色彩分量所确定的相似指数进行比较。根据上面的实施例还可以在像素级上确定门限。像素级上的门限可以被用于与为像素确定的相似指数进行比较。

基于在210确定的相似指数以及在220确定的门限，可以在230确定一个或多个运动目标区域。根据不同实施例，一个或多个运动目标区域包括被确定为无效的像素。

如果图像Z_k(k≠k₀)中的像素与在参考图像Z_k'中的对应像素相似，即如果相似指数S(Z_k(p),Z_k'(p))比确定的门限大，图像Z_k(k≠k₀)中的像素可以被标记为有效。图像Z_k中的有效像素集合可以表示为C_k，其可以通过使用帧内像素标准来确定：如果像素Z_k(p)和Z_k'(p)之间的相似性高，像素Z_k(p)在集合C_k内。否则，其属于包括图像Z_k中的无效像素的集合

C_k可以表示为

C_k={p|S(Z_k(p),Z_k'(p))＞Thr_k,k'(p)}

（10）

这里，由图像

中的所有像素组成，并且

$Z_{{(k_0+1)}^{\&prime;}}\left(p\right)=Z_{{(k_0-1)}^{\&prime;}}\left(p\right)=Z_{k_0}\left(p\right)---\left(11\right)$

根据等式（10）的相似指数与门限的比较，可以在像素级上执行或者为每个色彩分量执行。例如，在一个实施例中，其中为像素Z_k(p)的每个色彩分量Z_k,l(p)确定门限，如果像素的所有色彩分量和第二图像中对应像素的所有色彩分量之间的相似性比各自的门限高，像素Z_k(p)被确定为在运动目标区域之外。

上面的检测结果可以进一步被用于初始化加权矩阵w_k，其中如果Z_k(p)无效，则w_k(p)的值为1，否则为0。为了减小噪声的影响，w_k(p)的值经过3×3的窗口被过滤。

图像Z_k的信噪比（SNR）可以表示为

${\mathrm{SNR}}_k\left(p\right)=\mathrm{\&Psi;}\left(\frac{E^2\left(p\right){\mathrm{\&Delta;t}}_k^2}{E\left(p\right){\mathrm{\&Delta;t}}_k+{\mathrm{\&sigma;}}_{\mathrm{read}}^2\left(p\right)+{\mathrm{\&kappa;\&sigma;}}_{\mathrm{ADC}}^2\left(p\right)}\right)---\left(12\right)$

其中，κ为传感器增益，σ_read(p)为来自传感器读出的噪声，σ_ADC(p)为模数转换（ADC）组合效果，包括放大器噪声和量化，Ψ()为未知单调递增函数。从等式（12）可以注意到，σ_read(p)和σ_ADC(p)为暗像素p的控制函数，E(p)△t_k为亮像素的控制函数。

在230确定图像Z_k中的一个或多个运动目标区域之后，在240更新图像Z_k以校正这些区域内的无效像素。

如上所述，如果k=k₀，图像Z_k为初始参考图像，不需要被更新。当k≠k₀时，图像Z_k中的无效像素会被更新为图像Z_k中的对应亮度值。图像Z_k中的对应亮度值对应于参考图像Z_k'中的对应像素的亮度值，其基于从参考图像Z_k'到图像Z_k的亮度映射函数而被确定。

在一个实施例中，图像Z_k的像素可以根据如下等式而被更新：

$Z_k{\left(p\right)}_{\mathrm{update}}=\left\{\begin{array}{cc}{\stackrel{\&RightArrow;}{Z}}_k\left(p\right);& \mathrm{ifp}\&Element;{\stackrel{\&OverBar;}{C}}_k\\ Z_k\left(p\right);& \mathrm{otherwise}\end{array}\right.---\left(13\right)$

根据上面的等式（13），可以看出有效像素的值被保持，而无效像素的值被修改。

用于在有效区域内填充的

的值可以基于位置间标准而确定：对于在两个位置的两个像素p和p'，假设Z_k(p)和Z_k(p')分别与Z_k'(p)和Z_k'(p')相似。那么，

$Z_{k^{\&prime;},l}\left(p^{\&prime;}\right)=Z_{k^{\&prime;},l}\left(p\right)\&DoubleRightArrow;Z_{k,l}\left(p\right)=Z_{k,l}\left(p^{\&prime;}\right)$

如果两个像素都没有传感器噪声或电子噪声的话。

对于像素假设存在另一个像素

使Z_k',l(p')和Z_k',l(p)相等。根据上面的像素间标准，

可以被更新为Z_k,l(p')。在同时具有与两个像素关联的传感器噪声和电子噪声的情况下，希望减小两种类型噪声的影响。

根据一个实施例，可以提供基于IMF的方法来减小传感器噪声的影响。注意到在区域C_k中存在多个满足上面条件的像素。这样的像素的数量表示为ζ_k,l(p)。可以根据如下等式来确定更新值

${\stackrel{\&RightArrow;}{Z}}_k\left(p\right)={\mathrm{\&Lambda;}}_{k^{\&prime;},k}\left(Z_{k^{\&prime;}}\left(p\right)\right)---\left(14\right)$

因此，根据等式（14），通过使用Z_k'(p)和Λ_k',k(z)来合成更新的像素 ${\stackrel{\&RightArrow;}{Z}}_k\left(p\right)={[{\stackrel{\&RightArrow;}{Z}}_{k,1}\left(p\right),{\stackrel{\&RightArrow;}{Z}}_{k,2}\left(p\right),{\stackrel{\&RightArrow;}{Z}}_{k,3}\left(p\right)]}^T.$

根据上面的实施例，可以通过因数

来减小噪声方差。

在另一个实施例中，使用多个邻像素，通过将平均滤波器应用到

以减小电子噪声的影响，其中根据上面的等式（13）和（14）来更新多个邻像素。平均滤波器可以被称为空间平均滤波器，其中根据等式（14）确定的

可以进一步通过权重滤波器滤波，如

${\stackrel{\&RightArrow;}{Z}}_k\left(p\right)=\frac{{\stackrel{\&RightArrow;}{Z}}_k\left(p\right)}{2}+\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}\frac{Z_{k^{\&prime;}}\left(p_i\right)}{8}---\left(15\right)$

其中，p_i(1≤i≤4)为p在参考图像Z_k'中的4个邻像素，其在像素p之前被扫描和更新。

在另一个实施例中，可以使用来自要被处理的下一个图像的像素和来自要被处理的下一个图像的IMFs，将更新值

重构为正被处理的当前图像，其中当前图像Z_k的参考图形Z_k'被用作参考图像，以检测要被处理的下一个图像中的对应像素和Z_k'(p)是否相似。如果它们相似，基于与上面的实施例类似的从要被处理的下一个图像至当前图像Z_k的亮度映射函数，通过将来自要被处理的下一个图像的对应像素映射到当前图像Z_k，来构建更新值

这是双向重构方法。

根据上面的实施例，通过更新被归类为无效像素的每个像素的值，图像Z_k在240被更新，从而运动目标从更新的图像Z_kupdate中被消除。图像更新器240输出更新的LDR图像130序列，用于根据图1合成HDR图像160。

在上面的更新无效区域像素的实施例中，利用了图像Z_k和Z_k'中像素间的相关性。现有方法中所有无效区域被单一选择图像的像素所填充，从而可以减小运动目标的动态范围，与现有方法不同，上面的实施例使用所有LDR图像的像素信息来填充无效区域。因为运动目标属于无效区域，当运动目标的固有范围高时，上面的实施例可以被应用于保持运动目标的动态范围。另外，上面的用于图像更新的实施例在某种意义上很快，因为在光栅扫描命令中，图像Z_k中所有的像素只被扫描一次。

根据上面描述的关于图2的不同实施例，通过使用两个不同曝光图像之间的亮度映射函数（IMFs）的比较，提供基于亮度的相似指数。由于传感器和电子噪声引起的像素间的不同曝光和变化，两个对应像素之间可能存在很大的亮度变化。这些两个图像之间的IMFs被用于统一两个图像中对应像素的亮度，减小传感器噪声的影响。与此同时，提供双向映射方法来减小电子噪声的影响。因此，根据实施例确定的相似指数关于两个图像之间的不同曝光和两个图像中的传感器和电子噪声具有鲁棒性。

相似指数被应用于在不同曝光LDR图像集合中检测运动目标。如果图像中的像素的参考像素和其自身之间的相似性大于门限，则其为有效，否则为无效。门限适应于两个像素的亮度值、两个图像的曝光时间、拍摄图像的ISO值和所有LDR图像的平均曝光值中的至少一个。不同实施例的该自适应门限能够改进关于传感和电子噪声的运动对象检测方案的鲁棒性。因为两个连续图像之间的相关性通常最强，检测当前图像中的所有像素之后，当前图像被更新，并被用作随后图像的参考图像。所有有效像素被用于更新当前图片。

基于IMF的方法与空间平均滤波器一起被提供，以合成像素用于修补无效区域。实施例的运动检测关于输入图像的不同曝光以及传感器和电子噪声具有鲁棒性。而且，还提供一种方法，使用当前和参考图像中的像素间的空间相关性，来填充无效区域。可以使用所有输入图像来修补无效区域，而不是像现有技术那样仅仅使用一个输入图像。因此，根据不同的实施例，可以更好地保存最终的HDR图像的动态范围。

在上面的不同实施例中描述的图像处理方法可以由图像处理设备执行。

图4是根据不同实施例的图像处理设备的原理图。

图像处理设备400可以由计算机***实现。在不同实施例中，决定器、相似性确定器、门限确定器、运动目标区域确定器、对应亮度值确定器和更新器，也可以被实现为在一个或多个计算机***中执行的模块。计算机***包括CPU401（中央处理单元）、处理器403、存储器405、网络接口407、输入接口/设备409和输出接口/设备411。计算机***400的所有组件401、403、405、407、409、411通过计算机总线413相互连接和通信。

存储器405可以被用于存储图像、相似指数、门限、属于运动目标区域的像素，和根据实施例的方法使用和确定的更新的图像。存储器405包括一个以上的存储器，例如RAM、ROM、EPROM、硬盘等等。其中一些存储器被用于存储数据和程序，其它存储器被用作工作存储器。

在一个实施例中，存储器405可以被配置于存储根据上面的不同实施例处理图像的指令。当由CPU401执行指令时，指令使CPU401确定相似指数、确定门限、确定运动目标区域、确定对应亮度值，以及确定更新的亮度值。指令还可以使CPU401在存储器405中存储相似指数、门限、属于运动对象区域的像素，以及根据实施例的方法确定的更新的图像。

在另一个实施例中，处理器403可以是专用处理器，在这个例子中，为图像处理器，用于执行上述指令。

如在下面的不同实施例中所述，CPU401或者处理器403可以被用作图像处理设备，可以通过网络接口407连接到内部网络（例如组织内的局域网（LAN）或者广域网（WAN））和/或外部网络（例如因特网）。

输入409可以包括键盘、鼠标等等。输出411可以包括用于显示在下面的实施例中处理的图像的显示器。

上面的实施例可以与“P.Debevec and J.Malik,Recovering high dynamicrange radiance maps from photograph,In Proceedings SIGGRAPH 1997,pp.369-378,1997”中的方法相结合，用于合成HDR图像。更新的LDR图像可以被提供作为“P.Debevec and J.Malik”中的方法的输入，以产生没有任何幻影伪像的HDR图像。

接下来，更新的参考图像表示为

被用作“P.Debevec and J.Malik”中的方法的输入。通过下面的公式计算E(p)的值

$\log \left(E\left(p\right)\right)=\frac{\underset{k}{\mathrm{\&Sigma;}}w\left({\hat{Z}}_k\left(p\right)\right)(\log \left(f^{-1}\left({\hat{Z}}_k\left(p\right)\right)\right)-\log \left({\mathrm{\&Delta;t}}_{k^{\&prime;})}\right))}{\underset{k}{\mathrm{\&Sigma;}}w\left({\hat{Z}}_k\left(p\right)\right)}.---\left(16\right)$

最终的HDR图像的可接受质量的充分条件和必要条件可以通过使用所有集合C_k,而获得，如下：

定理1：如果在集合C_k中存在像素Z_k(p)，对于所有的色彩通道l，使如下两个Wyckoff信号/噪声标准（17）和（18）都满足，最终的合成HDR图像在像素p上是可接受的。

$f_l^{-1}\left(Z_{k,l}\left(p\right)\right)>>{\mathrm{\&eta;}}_{q,k,l}\left(p\right)---\left(17\right)$

w(Z_k,l(p))＞＞w(η_f,k,l(p))      (18)

证明：根据等式（16），E_l(p)的值可以通过如下公式计算

$\log \left(E_l\left(p\right)\right)$

$=\frac{\underset{k,p\&Element;C_{k^{\&prime;}}}{\mathrm{\&Sigma;}}w\left(Z_{k^{\&prime;},l}\left(p\right)\right)(\log \left(f_l^{-1}\left(Z_{k^{\&prime;},l}\left(p\right)\right)\right)-\log \left({\mathrm{\&Delta;t}}_{k^{\&prime;}}\right))}{\underset{k,p\&Element;C_{k^{\&prime;}}}{\mathrm{\&Sigma;}}w\left(Z_{k^{\&prime;},l}\left(p\right)\right)+\underset{k,p\&Element;{\stackrel{\&OverBar;}{C}}_{-\left(k\right)}}{\mathrm{\&Sigma;}}w\left({\stackrel{\&RightArrow;}{Z}}_{k^{\&prime;},l}\left(p\right)\right)}$

$+\frac{\underset{k,p\&Element;{\stackrel{\&OverBar;}{C}}_{k^{\&prime;}}}{\mathrm{\&Sigma;}}w\left({\stackrel{\&RightArrow;}{Z}}_{k^{\&prime;},l}\left(p\right)\right)(\log \left(f_l^{-1}\left({\stackrel{\&RightArrow;}{Z}}_{k^{\&prime;},l}\left(p\right)\right)\right)-\log \left({\mathrm{\&Delta;t}}_{k^{\&prime;}}\right))}{\underset{k,p\&Element;C_{k^{\&prime;}}}{\mathrm{\&Sigma;}}w\left(Z_{k^{\&prime;},l}\left(p\right)\right)+\underset{k,p\&Element;{\stackrel{\&OverBar;}{C}}_{k^{\&prime;}}}{\mathrm{\&Sigma;}}w\left({\stackrel{\&RightArrow;}{Z}}_{k^{\&prime;},l}\left(p\right)\right)}.$

不等式（17）和（18）以及上面的等式显示，最终的合成HDR图像在像素p上是可接受的。

定理2：如果所有的Z_k(p)'s(k≠k₀)都是无效的，并且存在色彩通道l，使得

不满足不等式（17）和（18），最终的合成HDR图像在像素p上是不可接受的。

证明：与定理1的证明类似，按如下公式确定

$\log \left(E_l\left(p\right)\right)$

$=\frac{w\left(Z_{k_0,l}\left(p\right)\right)(\log \left(f_l^{-1}\left(Z_{k_0,l}\left(p\right)\right)\right)-\log \left({\mathrm{\&Delta;t}}_{k_0}\right))}{w\left(Z_{k_0,l}\left(p\right)\right)+\underset{k\&NotEqual;k_0}{\mathrm{\&Sigma;}}w\left({\stackrel{\&RightArrow;}{Z}}_k\left(p\right)\right)}$

$+\frac{\underset{k\&NotEqual;k_0}{\mathrm{\&Sigma;}}w\left({\stackrel{\&RightArrow;}{Z}}_k\left(p\right)\right)(\log \left(f_l^{-1}\left({\stackrel{\&RightArrow;}{Z}}_k\left(p\right)\right)\right)-\log \left({\mathrm{\&Delta;t}}_k\right))}{w\left(Z_{k_0,l}\left(p\right)\right)+\underset{k\&NotEqual;k_0}{\mathrm{\&Sigma;}}w\left({\stackrel{\&RightArrow;}{Z}}_k\left(p\right)\right)}.$

因为

不满足不等式（17）和（18），所有

的值都是不可靠的。因此，最终的合成HDR图像在p上是不可接受的。

根据上面的实施例，运动目标检测依赖于CRFs（相机响应函数），因此关于CRFs的估计误差具有鲁棒性。如图1所示，当运动目标被检测到并从LDR图像110中消除之后，CRFs在140被估计。因此，不同曝光LDR图像间相似性高的像素被用于估计CRFs。所以，在140的估计CRFs更精确。

在其它实施例中，不同实施例可以被用于生成HDR视频。可以把两个镜头边界之间的所有图像放在一起形成群，群中的每个图像可以被选择为初始参考图像，以生成对应HDR图像。随后，生成HDR视频序列。

在以下部分中描述实验结果。通过将上面的根据不同实施例的图像处理方法用于合成HDR图像而使其得到验证。合成的HDR图像通常不由现有的图像显示***直接显示。为了这个目的，为HDR图像显像设计调和映射方案。

首先，将基于双向映射方法的相似性确定方法与基于传统单向方法的相似性确定进行比较。测试序列由图5所示的5个图像组成，其中为头部和身体运动的女孩，实验结果如图6所示。图6(a)显示使用根据不同实施例的双向映射方法合成的HDR图像，图6(a)显示使用单向方法合成的HDR图像。从图6可以看出，双向方法可以被用于改进合成的HDR图像中明亮部分的质量。

通过与门限固定为1/4的情况相比较，评估根据不同实施例的自适应门限的效率。测试序列包括图7所示的7个图像，其中为头部和身体运动的男子，实验结果如图8所示。图8(a)显示使用实施例的自适应门限的结果图像，图8(b)显示使用固定门限为1/4的结果图像。图8说明了使用实施例的自适应门限可以改进对应于该男子颈部区域的幻影伪像，然而使用固定门限不能改进该区域的幻影伪像。

可以通过测试图5中的LDR图像序列来验证上面的定理2。验证的一个例子如图9所示。基础图像被选择为第一个。如图9所示，合成的HDR图像的盒子901中的区域是不可接受的。

关于图1和2所述的不同实施例还可以应用于生成HDR视频。两个镜头边界之间的所有图像被放在一起形成群。群中的每个图像被选择为初始参考图像，以生成对应HDR图像。随后，生成HDR视频序列。图10示出了基于图7的测试序列合成的4个HDR图像。

还将不同实施例的方法与现有方法进行比较。首先，通过考虑具有3个输入LDR图像{Z₁,Z₂,Z₃}的算例，将实施例的方法与“T.Grosch,Fast androbust high dynamic range image generation with camera and object movement,InVision,Modeling and Visualization,pp.277-284,2006"和"K.Jacobs,C.Loscos,and G.Ward,Automatic high dynamic range image generation for dynamic scenes",IEEE Computer Graphics and Applications,Vol.128,No.2,pp.84-93,2008”中的方案进行比较。Z₂被选择为所提出方案的初始参考图像。假设有2个像素的簇{Z₁(p₁),Z₂(p₁),Z₃(p₁)}{Z₁(p₂),Z₂(p₂),Z₃(p₂)}，被“T.Grosch”和“K.Jacobs”中的运动所影响。当E₁(p₁)和E₂(p₁)的值不同时，E₂(p₁)和E₃(p₁)的值相同。当E₂(p₂)和E₃(p₂)的值不同时，E₁(p₂)和E₂(p₂)的值相同。以实施例的方法，Z₂(p₁)和Z₃(p₁)被标记为有效，Z₁(p₁)被标记为无效。新的像素通过使用图像Z₁和Z₂之间的相关性而被重构，并被用于替代Z₁(p₁)。类似地，Z₂(p₂)和Z₁(p₂)被标记为有效，Z₃(p₂)被标记为无效。新的像素

被重构以替代Z₃(p₂)。通过使用“T.Grosch”和“K.Jacobs”中的方法，两个像素的簇都被标记为运动簇，并且簇中的所有像素都由簇中的一个像素所替代。可以看出，与“T.Grosch”和“K.Jacobs”中的方案相比，通过使用实施例的方法，最终的HDR图像的动态范围得到更好的保持。

还将不同实施例的方法与3个商业软件FDRTools(htto://fdrtools.com/front_e.php)，Photomatix(http://www.hdrsoft.com/)和Qtpfsgui(http://qtpfsgui.sourceforge.net/)进行比较。测试序列由如图11所示的显示凋零树叶的11个图像所组成。图12(a),(b),(c),(d)分别显示FDRTools,Photomatix,Qtpfsgui和实施例的方法的结果。图12中的结果显示：1)使用这些商业软件，没有消除由于凋零树叶造成的幻影伪像，特别是Qtpfsgui；2)通过实施例的方法消除了幻影伪像。

通过检测图7中的图像序列，进一步比较实施例的方法和Photomatix。图13(a)显示使用Photomatix生成的HDR图像，图13(b)显示使用实施例的方法生成的HDR图像。如图13所示，通过使用Photomatix，受试人的质量差，而且他的黑色衣服不平坦，而通过使用实施例的方法，受试人的质量高。

根据不同实施例的方法，即使在场景中存在运动目标，最终的HDR图像中也消除了幻影伪像。

通过子取样方法，根据不同实施例的运动检测可以被加速。换句话说，不在原始输入图像中检测运动目标，而首先在水平和垂直方向上对输入图像取样一半。然后在子取样图像上检测运动目标。如果有必要，则在原始的输出图像上进行额外的检测。可以在不同的应用中使用不同实施例的运动检测。例如，不同实施例的运动检测，与图像修补一起，可以被用来生成没有任何帧频减小的HDR视频。

虽然参考特定实施例详细地显示和描述了本发明，本领域技术人员应该理解，在所附权利要求限定的本发明的精神和范围之内，可以做出形式和细节上的各种改变。因而所附权利要求表明本发明的范围，在与权利要求等同的含义和范围之内的所有改变均被包括在本发明的范围内。

Claims (22)

1.一种用于基于第二图像处理第一图像的方法，其中第一图像中的每个像素具有多个色彩分量，并在第二图像中具有对应位置的像素，其中第一图像中色彩分量的每个值对应第二图像中的色彩分量的值，其特征在于本方法包括：

对于第一图像中像素的每个色彩分量，依赖于预定标准决定是否修改色彩分量的值；和

对于像素的每个色彩分量，基于像素色彩分量的值，或者在已经决定要修改像素色彩分量的值的情况下，基于第二图像中色彩分量的对应值，确定第一图像中的像素和第二图像中的对应像素之间的相似指数。

2.如权利要求1的方法，其特征在于：第一图像中的每个像素和其在第二图像中的对应像素是位置对应的。

3.如权利要求1或2的方法，其特征在于：的多个色彩分量包括红色分量，绿色分量和蓝色分量。

4.如权利要求1至3中任意一个的方法，其特征在于：进一步包括

对于第二图像中的对应像素的每个色彩分量，基于预定标准，确定是否修改对应像素的色彩分量的值，其中第二图像中色彩分量的每个值对应于第一图像中色彩分量的值；和

对于对应像素的每个色彩分量，基于对应像素色彩分量的值，确定第一图像中的像素与第二图像中的对应像素之间的相似指数，或者如果是决定对应像素色彩分量的值是否要被修改，基于第一图像中色彩分量的对应值来决定。

5.如权利要求1-4任一项的方法，其特征在于：

依赖于第一图像中色彩分量的值和第二图像中对应像素的色彩分量的值，决定是否修改色彩分量的值。

6.如权利要求5的方法，其特征在于：

依赖于第一图像中的像素的色彩分量的曝光水平与第二图像中对应像素的色彩分量的曝光水平的比较，决定是否修改色彩分量的值。

7.如权利要求6的方法，其特征在于：

第一图像中的像素的色彩分量的曝光水平表示像素的色彩分量的值与预定值之间的偏差，第二图像中对应像素的色彩分量的曝光水平表示对应像素的色彩分量的值与预定值之间的偏差，

其中预定值为第一图像和第二图像的数值范围的中间值。

8.如权利要求1-7任一项的方法，其特征在于：

基于从第一图像至第二图像的亮度映射函数确定第二图像中的色彩分量的对应值以对应第一图像中的色彩分量的值，其中基于第一图像和第二图像的累积直方图来确定亮度映射函数。

9.如权利要求1-8任一项的方法，其特征在于：

依赖于确定的相似指数，确定第一图像的像素是在运动目标区域之内还是之外。

10.一种用于基于第二图像处理第一图像的设备，第一图像中的每个像素具有多个色彩分量，并在第二图像中具有对应像素，其中第一图像中的色彩分量的每个值对应于第二图像中的色彩分量的值，其特征在于，该设备包括：

决定器，配置于对于第一图像中的像素的每个色彩分量，依赖于预定标准决定是否修改色彩分量的值；和

相似指数确定器，配置于对于像素的每个色彩分量，基于像素的色彩分量的值，或者在如果已经决定了要修改像素的色彩分量的值的情况下，基于第二图像中的色彩分量的对应值，确定第一图像中的像素和第二图像中的对应像素之间的相似指数。

11.一种基于第二图像处理第一图像的方法，其中第一图像和第二图像是以不同曝光时间拍摄的图像序列的一部分，其特征在于，该方法包括：

确定第一图像的像素和第二图像的对应像素之间的相似指数，其中相似指数表示像素和对应像素之间的相似程度；

依赖于第一图像的曝光时间、第二图像的曝光时间、拍摄图像序列的胶片速度和图像序列的平均曝光值其中的至少一个来为像素确定门限；和

依赖于确定的相似指数和确定的门限之间的对比来确定像素在运动目标区域之内还是之外。

12.如权利要求11的方法，其特征在于；进一步包括

依赖于第一图像中的像素的亮度值和第二图像中的对应像素的亮度值来为像素确定门限。

13.如权利要求12的方法，其特征在于：进一步包括

依赖于第一图像中的像素的曝光水平和第二图像中的对应像素的曝光水平来为像素确定门限。

14.如权利要求13的方法，其特征在于：

第一图像中的像素的曝光水平表示像素的亮度值与预定值之间的偏差，第二图像中的对应像素的曝光水平表示对应像素的亮度值与预定值之间的偏差，其中预定值为第一图像和第二图像的亮度值范围的中间值。

15.如权利要求11-14任一项的方法，其特征在于，确定第一图像的像素和第二图像的对应像素之间的相似指数包括：

对于第一图像中的像素的每个色彩分量，依赖于预定标准确定是否修改色彩分量的值，其中第一图像中的色彩分量的每个值对应于第二图像中的色彩分量的值；

对于像素的每个色彩分量，基于像素的色彩分量，或者是在已经决定了要修改像素的色彩分量的值的情况下，基于第二图像中的色彩分量的对应值，确定第一图像中的像素和第二图像中的对应像素之间的相似指数。

16.一种用于基于第二图像处理第一图像的设备，第一图像和第二图像为以不同曝光时间拍摄的图像序列的一部分，其特征在于，该设备包括：

相似指数确定器，配置于确定第一图像的像素和第二图像的对应像素之间的相似指数，其中相似指数表示像素和对应像素之间的相似程度；

门限确定器，配置于依赖于第一图像的曝光时间、第二图像的曝光时间、拍摄图像序列的胶片速度和图像序列的平均曝光值其中的至少一个来为像素确定门限；

运动目标区域确定器，配置于依赖于确定的相似指数和确定的门限之间的对比来确定像素处于运动目标区域之内还是之外。

17.一种用于基于第二图像处理第一图像的方法，第一图像和第二图像为以不同曝光时间拍摄的图像序列的一部分，其特征在于，该方法包括：

确定第一图像的像素和第二图像的对应像素之间的相似指数，其中相似指数表示像素和对应像素之间的相似程度；

为像素确定门限；

依赖于确定的相似指数和确定的门限之间的对比来确定像素处于运动目标区域之内还是之外；

如果像素被确定为在运动目标区域之内，基于从第二图像至第一图像的亮度映射函数确定第一图像中的对应亮度值，其对应于图像序列中的第二图像或第三图像中的对应像素的亮度值，其中基于第一图像和第二图像或第三图像的累积直方图来确定亮度映射函数；和

确定更新的第一图像中的像素的亮度值，其对应于第一图像中的亮度值来确定。

18.如权利要求17的方法，其特征在于，进一步包括

如果像素被确定为在运动目标区域之内，该方法进一步包括确定第二图像的对应像素和第三图像的对应像素是否相似；

如果第二图像的对应像素与第三图形的对应像素不相似，则可以基于从第二图像至第一图像的亮度映射函数来确定第一图像中的对应亮度值；

如果第二图像的对应像素与第三图像的对应像素相似，则基于从第三图像至第一图像的亮度映射函数来确定第一图像中的对应亮度值。

19.如权利要求17或18的方法，其特征在于，亮度映射函数包括最小化第一图像的累积直方图和第二图像的累积直方图之间的变化；

其中第一图像的累积直方图表示第一图像中的许多像素具有的亮度值小于或等于待确定的亮度值，第二图像的累积直方图表示第二图像中的许多像素具有的亮度值小于或等于第二图像中的对应像素的亮度值，第三图像的累积直方图表示第三图像中的许多像素具有的亮度值小于或等于第三图像中的对应像素的亮度值。

20.如权利要求17-19任一项的方法，其特征在于：进一步包括

使用多个邻像素将平均过滤器应用到确定的对应亮度值，其中根据权利要求17处理和更新多个邻像素的亮度值。

21.如权利要求17-20任一项的方法，其特征在于：

如果像素被确定为在运动目标区域之外，则更新的像素亮度值被确定为像素亮度值。

22.一种用于基于第二图像处理第一图像的设备，第一图像和第二图像为以不同曝光时间拍摄的图像序列的一部分，其特征在于，该设备包括：

相似指数确定器，配置于确定第一图像的像素和第二图像的对应像素之间的相似指数，其中相似指数表示像素和对应像素之间的相似程度；

门限确定器，配置于为像素确定门限；

移动物理区域确定器，配置于依赖于确定的相似指数和确定的门限之间的对比，来确定像素是在运动目标区域之内还是之外；

对应亮度值确定器，配置于基于从第二图像至第一图像的亮度映射函数确定在第一图像中的对应亮度值，其对应于第二图像中的对应像素的亮度值，如果像素被确定为在运动目标区域之内，其中基于第一图像和第二图像的累积直方图来确定亮度映射函数；和

更新器，配置于确定第一图像中的像素的更新的亮度值，其对应于第一图像中的亮度值来确定。

Images