CN110599433A - 一种基于动态场景的双曝光图像融合方法 - Google Patents

Abstract

本发明公开了一种基于动态场景的双曝光图像融合方法，包括获取第一曝光图像和第二曝光图像；根据自适应阈值对第一曝光图像和第二曝光图像进行处理得到二值图像，二值图像包括第一曝光图像和第二曝光图像的运动区域；根据Retinex理论对第一曝光图像和第二曝光图像进行亮度平衡处理对应得到第一亮度平衡图像和第二亮度平衡图像；将第一曝光图像和第二曝光图像分别与运动区域进行结合对应得到第一基础权重图像和第二基础权重图像；根据自适应细节增强的金字塔图像融合算法得到融合后的图像。本发明能够通过自适应阈值准确检测图像的运动区域，并通过亮度平衡算法平衡两帧图像的亮度，同时基于金字塔的自适应增强方法使得图像中欠曝光与过曝光区域信息得以清晰显现。

Description

一种基于动态场景的双曝光图像融合方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于动态场景的双曝光图像融合方法。

背景技术

动态范围一般为场景中最亮部分与最暗部分的亮度值之比。一般用相机或者手机等普通摄影设备拍摄图片时，获得的图片的动态范围远远低于真实场景中所包含的动态范围。请参见图1a～1b，图1a为低动态范围(Low Dynamic Range，LDR)图像，动态范围一般在10²左右，图1b则为高动态范围场景(High Dynamic Range，HDR)图像，动态范围可达到10⁶个亮度级。因此，当拍摄一幅图像时，真实场景中较暗或较亮的区域在拍摄的图像中将呈现出饱和现象，即全黑或全白(一般称为欠曝光和过曝光现象)，进而造成图像信息的丢失，严重影响图像质量。尽管近几年出现了一些专门的图像获取设备可以直接捕捉HDR数据，但是这些设备所能捕捉的动态范围仍然达不到真实场景的动态范围，并且相当昂贵而无法普及。因此为了解决真实场景与拍摄图像动态范围之间的差距问题，更好地捕获真实场景中的细节，高动态范围成像技术应运而生。

高动态范围成像技术的主要原理是通过不断改变相机的曝光时间，获得不同亮度范围的场景信息，再将这些场景信息加以结合，使照片效果更加接近人眼所观察到的真实景物。其捕获策略有两种：一种是基于硬件的单次曝光捕获，另一种是不同时的连续多次曝光捕获。基于硬件的单次曝光捕获由于是在单个成像传感器上实现同时包围曝光，该方法会牺牲图像的空间分辨率，捕获的动态范围也远达不到人眼视觉***可感知的动态范围。不同时的连续多次曝光融合技术是HDR成像领域研究的重要课题。该技术通过控制快门时间控制场景亮度信息进入相机的光通量，拍摄序列多曝光图像，使得其包含场景不同亮度范围的细节信息，融合这些信息进而获得HDR图像。而在此拍摄过程并不是瞬间完成的，在真实场景拍摄过程中，会存在明显发生移动的物体，这种存在移动物体的场景被称为动态场景。一旦场景在拍摄过程中发生任何改变，最后得到的融合图像中都会在场景发生改变的区域出现模糊或半透明的影像，一般称之为“鬼影”，例如请参见图2a～2c，图2a为高曝光图像，图2b为低曝光图像，图2c为融合后产生“鬼影”的图像。

传统的“鬼影”去除以及图像融合方法都需要拍摄三张或以上的多曝光图像序列进行去鬼影融合操作，此类拍摄方式大大降低了图像拍摄的时间分辨率同时严重影响了融合图像的质量，以这些方式所融合的图像还会存在欠曝光与过曝光区域细节不清晰、源图像亮度不一致导致的融合图像出现的斑块与伪影问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于动态场景的双曝光图像融合方法。本发明要解决的技术问题通过以下技术方案实现：

一种基于动态场景的双曝光图像融合方法，包括：

获取第一曝光图像和第二曝光图像，所述第一曝光图像和所述第二曝光图像的曝光度不同；

根据自适应阈值对所述第一曝光图像和所述第二曝光图像进行处理得到二值图像，所述二值图像包括所述第一曝光图像和所述第二曝光图像的运动区域；

根据Retinex理论对所述第一曝光图像和所述第二曝光图像进行亮度平衡处理对应得到第一亮度平衡图像和第二亮度平衡图像；

将所述第一曝光图像和所述第二曝光图像分别与所述运动区域进行结合对应得到第一基础权重图像和第二基础权重图像；

根据自适应细节增强的金字塔图像融合算法对所述第一亮度平衡图像、所述第二亮度平衡图像、所述第一基础权重图像和所述第二基础权重图像进行处理得到融合后的图像。

在本发明的一个实施例中，根据自适应阈值对所述第一曝光图像和所述第二曝光图像进行处理得到二值图像，包括：

对所述第一曝光图像和所述第二曝光图像分别进行直方图均衡化处理对应得到第三曝光图像和第四曝光图像，所述第三曝光图像和所述第四曝光图像的亮度相同；

利用帧差法计算所述第三曝光图像和所述第四曝光图像之间的像素差异值，得到差分图像；

根据自适应阈值对所述差分图像进行阈值分割处理得到初始二值图像；

对所述初始二值图像进行形态学的膨胀腐蚀处理得到包括运动区域的所述二值图像。

在本发明的一个实施例中，根据自适应阈值对所述差分图像进行阈值分割处理得到初始二值图像，包括：

根据所述第一曝光图像和所述第二曝光图像的静态区域所占所述差分图像总像素百分比、所述差分图像的宽度所占的像素数和所述差分图像的高度所占的像素数得到阈值数组；

根据所述阈值数组得到所述自适应阈值；

根据所述自适应阈值对所述差分图像进行阈值分割处理得到初始二值图像。

在本发明的一个实施例中，所述阈值数组为：

其中，为阈值数组，n_i为所述差异图像中的灰度值为i的像素个数，P为所述第一曝光图像和所述第二曝光图像的静态区域的像素数占所述差异图像总像素数的百分比，t的取值为0～255之间的整数。

在本发明的一个实施例中，所述自适应阈值的计算公式为：

其中，T为所述自适应阈值，min(·)为所述阈值数组的最小值，mt为预定阈值。

在本发明的一个实施例中，根据Retinex理论对所述第一曝光图像和所述第二曝光图像进行亮度平衡处理对应得到第一亮度平衡图像和第二亮度平衡图像，包括：

利用Retinex理论分别滤除所述第一曝光图像和所述第二曝光图像的照度分量，对应得到第五曝光图像和第六曝光图像；

根据亮度映射模型对所述第五曝光图像和所述第六曝光图像分别进行处理对应得到第一亮度平衡图像和第二亮度平衡图像。

在本发明的一个实施例中，将所述第一曝光图像和所述第二曝光图像分别与所述运动区域进行结合对应得到第一基础权重图像和第二基础权重图像，包括：

根据所述第一曝光图像的图像对比度和曝光适中度得到第一初始权重图像；

根据所述第二曝光图像的图像对比度和曝光适中度得到第二初始权重图像；

将所述第一初始权重图像和所述二值图像相结合并进行归一化处理得到第一基础权重图像；

将所述第二初始权重图像和所述二值图像相结合并进行归一化处理得到第二基础权重图像。

在本发明的一个实施例中，根据自适应细节增强的金字塔图像融合算法对所述第一亮度平衡图像、所述第二亮度平衡图像、所述第一基础权重图像和所述第二基础权重图像进行处理得到融合后的图像，包括：

分别对所述第一亮度平衡图像和所述第二亮度平衡图像分别进行拉普拉斯金字塔变换对应得到第一拉普拉斯金字塔和第二拉普拉斯金字塔；

分别对所述第一基础权重图像和所述第二基础权重图像分别进行高斯金字塔变换对应得到第一权重图高斯金字塔和第二权重图高斯金字塔；

根据所述第一拉普拉斯金字塔、所述第二拉普拉斯金字塔、所述第一权重图高斯金字塔和所述第二权重图高斯金字塔得到融合后的图像。

在本发明的一个实施例中，根据所述第一拉普拉斯金字塔、所述第二拉普拉斯金字塔、所述第一权重图高斯金字塔和所述第二权重图高斯金字塔得到融合后的图像，包括：

根据所述第一拉普拉斯金字塔、所述第二拉普拉斯金字塔、所述第一权重图高斯金字塔和所述第二权重图高斯金字塔得到融合后的拉普拉斯金字塔；

根据增益系数矩阵和所述融合后的拉普拉斯金字塔得到增强后的拉普拉斯金字塔；

对所述增强后的拉普拉斯金字塔进行反变换得到融合后的图像。

在本发明的一个实施例中，所述增益系数的计算公式为：

其中，g为所述增益系数矩阵，G_L为最小的增益系数，G_H为最大的增益系数，D为所述融合后的拉普拉斯金字塔的最高层的层号，d为所述融合后的拉普拉斯金字塔的层号，γ为可调参数，为第d层的所述融合后的拉普拉斯金字塔中坐标位置为(x，y)处的噪声可见度。

本发明的有益效果：

本发明所提出的基于动态场景的双曝光图像融合方法能够通过自适应阈值准确检测图像的运动区域，并通过亮度平衡算法平衡两帧图像的亮度，同时基于金字塔的自适应增强方法使得图像中欠曝光与过曝光区域信息得以清晰显现。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1a～1b是本发明实施例提供的一种高动态范围场景成像图与普通相机直接捕获场景图的效果对比图；

图2a～2c是本发明实施例提供的一种高曝光图像和低曝光图像融合产生“鬼影”现象的示意图；

图3是本发明实施例提供的一种基于动态场景的双曝光图像融合方法的流程示意图；

图4是本发明实施例提供的另一种基于动态场景的双曝光图像融合方法的流程示意图；

图5a～5b是本发明实施例提供的一种低曝光图像和经直方图均衡化处理的图像的效果对比图；

图6a～6b是本发明实施例提供的一种高曝光图像和经直方图均衡化处理的图像的效果对比图；

图7是本发明实施例提供的一种差分图像的示意图；

图8是本发明实施例提供的一种二值图像的示意图；

图9a～9b是本发明实施例提供的一种平衡图像的示意图；

图10是本发明实施例提供的一种融合后的图像的示意图；

图11a～11g是本发明实施例提供的一种基于动态场景的双曝光图像融合方法与Sen等人和Ma K等人的方法处理后的图像的效果对比图；

图12a～12g是本发明实施例提供的另一种基于动态场景的双曝光图像融合方法与Sen等人和Ma K等人的方法处理后的图像的效果对比图；

图13a～13g是本发明实施例提供的又一种基于动态场景的双曝光图像融合方法与Sen等人和Ma K等人的方法处理后的图像的效果对比图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

目前，Pece和Kautz提出一种基于位图运动检测(Bitmap Movement Detection，BMD)的方法，其原理主要是根据以中值阈值分割得到的二值图像，该二值图像的亮度分布不受曝光级数的影响，因此可以根据不同曝光度图像的亮度分布差异性而检测出运动像素。对于输入的多曝光图像序列，首先应计算每幅图像的中值阈值位图。再通过对所有位图进行异或操作可以得到输入图像序列的运动位图，当运动位图的像素值为1时表示场景中该像素位置处可能存在运动物体，由于得到的运动位图中往往会包含一些噪声，从而导致不正确的检测结果。因此用一个形态学的开运算(先腐蚀后膨胀)对二值图中的噪点进行消除生成最终的运动位图。但是该方法对于一些符合该中值阈值分割规则的多曝光图像或者针对一些微小位移的运动图像可以准确的检测出其运动区域，但是当物体运动幅度较大时，尤其是两帧曝光图像亮度差距过大时，利用该方法检测“鬼影”的准确度则会降低，使得融合图像中产生严重的“鬼影”现象。

另外，Wang等人提出了一种基于帧间差法的运动检测方法，该方法通过检测帧间差异值来对运动区域进行检测，但如果直接对两图像进行做差，由于曝光度不同其静态区域图像也会存在较大差异。故首先应将多曝光图像序列进行亮度对齐。该方法利用图像Lab空间中L平均值的变化量来对图像的亮度进行对齐。亮度对齐到统一水平后，选定参考图像，利用参考图像减去其他各帧图像，获得两图像的差异区域，选定一个阈值，大于该阈值差异点则认为是运动区域，小于该阈值的则认为是静止区域。在获取阈值分割的二值图像后，图像中会存在孤立点和噪声点，利用图像的形态学处理方法对图像进行膨胀腐蚀运算，获得运动区域的差异图像。采用差异图像的基础权重图与运动差异图像模板相乘，获得最终的基础权重图，采用传统的多分辨率金字塔融合算法从而获得最终的无“鬼影”的融合图像。这种方法针对一些多曝光图像序列可以有效去除“鬼影”，但要选取一个合适的阈值非常困难，上述方法的作者提出了一种自适应的阈值选取算法，该算法是利用两帧曝光图像的亮度差异和像素距离灰度中值的差异值共同决定的，但此阈值判定算法对于真正的静态场景仍能检测出静态区域，从而降低了图像的融合质量。同时该方法权重图的计算方式使得需要三张以上输入图像才能获得预期效果，大大降低了图像的时间分辨率。

因此，基于上述原因本实施例提出了一种基于动态场景的双曝光图像融合方法，请参见图3，图3是本发明实施例提供的一种基于动态场景的双曝光图像融合方法的流程示意图，本实施例所提供的基于动态场景的双曝光图像融合方法，包括：

步骤1、获取第一曝光图像和第二曝光图像，第一曝光图像和第二曝光图像的曝光度不同；

步骤2、根据自适应阈值对第一曝光图像和第二曝光图像进行处理得到二值图像，二值图像包括第一曝光图像和第二曝光图像的运动区域；

步骤3、根据Retinex理论对第一曝光图像和第二曝光图像进行亮度平衡处理对应得到第一亮度平衡图像和第二亮度平衡图像；

步骤4、将第一曝光图像和所述第二曝光图像分别与运动区域进行结合对应得到第一基础权重图像和第二基础权重图像；

步骤5、根据自适应细节增强的金字塔图像融合算法对第一亮度平衡图像、第二亮度平衡图像、第一基础权重图像和第二基础权重图像进行处理得到融合后的图像。

本实施例首先获取了视频图像序列，该视频图像序列中存在高曝光图像和低曝光图像，并对需要融合的高曝光图像和低曝光图像进行处理，该方法适用于视频图像序列的所有需要进行融合的高曝光图像和低曝光图像，为了便于理解，本实施例以第一曝光图像和第二曝光图像的融合处理过程为例进行举例说明，其中，第一曝光图像和第二曝光图像为两个曝光度不同的图像，例如第一曝光图像为高曝光图像，第二曝光图像则为低曝光图像，又例如第一曝光图像为低曝光图像，第二曝光图像则为高曝光图像，需要说明的是，本实施例所述的低曝光图像和高曝光图像表示两组曝光度大小的相对值，并不单独限定其数值的大小。

本实施例通过自适应阈值对第一曝光图像和第二曝光图像进行检测，在检测出运动区域后得到第一曝光图像和第二曝光图像的二值图像，该自适应阈值能够对第一曝光图像和第二曝光图像进行分割，能够准确分割出动态区域和静态区域，从而能够准确获得包括运动区域的二值图像，并且本实施例还利用Retinex理论对第一曝光图像和第二曝光图像进行亮度平衡处理，从而得到第一亮度平衡图像和第二亮度平衡图像，并且还通过将第一曝光图像与所述运动区域进行结合得到第一基础权重图像，将第二曝光图像与所述运动区域进行结合得到第二基础权重图像，最后再通过拉普拉斯金字塔融合算法对第一亮度平衡图像、第二亮度平衡图像、第一基础权重图像和第二基础权重图像进行融合处理得到融合后的图像，由上述可知，本实施例所提出的双曝光图像融合方法能够通过自适应阈值准确检测图像的运动区域，并通过亮度平衡算法平衡两帧图像的亮度，同时基于金字塔的自适应增强方法使得图像中欠曝光与过曝光区域信息得以清晰显现。因此，本实施例所提出的双曝光图像融合方法可以对两帧不同曝光度的曝光图像实现有效的鬼影去除和图像融合的效果，其处理结果能够对图像过曝光以及欠曝光区域的细节信息进行有效恢复，同时亮度平衡处理方法能够避免传统融合图像中出现的斑块和伪影现象，其两帧曝光图像的融合策略可以大大降低图像拍摄的时间分辨率，为该双曝光图像融合方法能够在硬件平台上实施以及高动态范围实时视频的获取奠定了坚实的基础。

实施例二

请参见图4，图4是本发明实施例提供的另一种基于动态场景的双曝光图像融合方法的流程示意图。本实施例在上述实施例的基础上，对实施例一中的基于动态场景的双曝光图像融合方法做具体说明。

本实施例在上述实施例的基础上，实施例一中的步骤2具体可以包括：

步骤201、对第一曝光图像和第二曝光图像分别进行直方图均衡化处理对应得到第三曝光图像和第四曝光图像；

首先，由于第一曝光图像和第二曝光图像的曝光度不同，因此第一曝光图像和第二曝光图像的亮度不一致，因此首先应对第一曝光图像和第二曝光图像做预处理，从而使得差分处理后的第一曝光图像和第二曝光图像能够正确筛选出静态区域和动态区域，所以首先需要对第一曝光图像和第二曝光图像进行直方图均衡化的处理，从而使得第一曝光图像和第二曝光图像亮度保持一致，第一曝光图像经直方图均衡化处理之后变为了第三曝光图像，第二曝光图像经直方图均衡化处理之后变为了第四曝光图像，则第三曝光图像和第四曝光图像的亮度相同，其中，直方图均衡化的公式可表示如下：

I′_k＝Histeq(I_k) (1)

其中，I_k为具有不同曝光度的原图像，k对应为不同曝光图像的序列号，在本实施例中k取1或2，1对应第一曝光图像，2对应第二曝光图像，Histeq(·)为直方图均衡化变换，则I′_k为对应经过直方图变换后的图像。

例如，请参见5a～5b和6a～6b，图5a为低曝光图像，图5b为经直方图均衡化处理后的低曝光图像，图6a为与图5a相对应的高曝光图像，图6b为经直方图均衡化处理后的高曝光图像，由此可以看出，低曝光图像和高曝光图像经直方图均衡化处理后变为了亮度一致的图像。

步骤202、利用帧差法计算第三曝光图像和第四曝光图像之间的像素差异值，得到差分图像；

本实施例利用帧差法对第三曝光图像和第四曝光图像进行做差处理，计算第三曝光图像和第四曝光图像之间的像素差异值，从而得到差分图像，其中，帧差法的计算公式为：

ΔI′＝|I′₁-I′₂| (2)

其中，ΔI′为差分图像，I′₁为第三曝光图像，I′₂为第四曝光图像。

例如，请参见图7，图7为根据图5b和图6b所得到的差分图像。

步骤203、根据自适应阈值对差分图像进行阈值分割处理得到初始二值图像。

在获得差异图像之后，需要选择合适的阈值对差分图像进行阈值分割处理，本实施例利用自适应阈值对差分图像进行阈值分割处理从而得到初始二值图像，并将高于自适应阈值的部分视作运动区域，低于自适应阈值的部分被视作静态区域。二值图像的计算公式如下：

其中，M为阈值分割后的二值图像，T为自适应阈值。

为了更好的对差分图像进行阈值分割处理，本实施例提供一种自适应阈值的确定方法，该方法如下：

步骤2031、首先根据第一曝光图像和第二曝光图像的静态区域像素数所占差分图像总像素数百分比、差分图像的宽度所占的像素数和差分图像的高度所占的像素数得到阈值数组；

通过观察差分图像的直方图，发现差分图像的像素点排布大多集中在0灰度值周围，也就是说第三曝光图像与第四曝光图像之间的像素差异值大多数接近于0，该部分像素对应的为静态区域。这里假设静态区域像素数占图像总像素数的百分比固定，将其设定为P，则从差异图像灰度值为0的像素点开始累加像素数，直到像素数加到静态区域总像素数的临界值为止，从而得到阈值数组，则阈值数组的计算公式为：

其中，为阈值数组，n_i为差异图像中的灰度值为i的像素个数，P为第一曝光图像和第二曝光图像的静态区域的像素数占差异图像的像素数的百分比，t为符合条件的阈值范围，t的取值例如可以为0～255之间的整数。

实际上，阈值数组的最小值即为所需要的阈值，但若阈值数组的最小值过于接近灰度值0，则说明该差分图像中存在运动区域的可能性很小，故本实施例通过设定另一阈值使得在静态图像中无法检测出运动区域的像素，则自适应阈值其计算公式如下：

其中，T为自适应阈值，min(·)为取阈值数组的最小值，mt为预定阈值。

预定阈值mt为本实施例提供的另一个划分静态区域像素的阈值，通常预定阈值可以取18，也就是说，当计算得到的自适应阈值的灰度值小于18时，则认为两帧第一曝光图像和第二曝光图像中不存在运动区域，则该阈值可以根据场景状况不同进行调整。确定自适应阈值后，则可以利用公式(3)对差分图像进行阈值分割处理，从而获得初始二值图像。

步骤204、对初始二值图像进行形态学的膨胀腐蚀处理得到包括运动区域的二值图像；

经过步骤203所获得的初始二值图像中还存在空洞和孤立噪点的现象，因此还需要对初始二值图像做形态学的膨胀腐蚀处理，从而对孤立噪点区域以及空洞区域进行腐蚀，同时对运动区域边缘的像素点进行膨胀，使得所判定的运动区域完全包括运动区域的像素。膨胀腐蚀的计算公式如下：

其中，符号为腐蚀操作，符号为膨胀操作，B₁为腐蚀滤波模板，例如腐蚀滤波模板是一个半径为4个像素点的圆，B₂为膨胀滤波模板，例如膨胀滤波模板是一个半径为20个像素点的圆，M′为经膨胀腐蚀操作后的包括运动区域的二值图像。

例如，请参见图8，图8为对图7的差分图像进行膨胀腐蚀操作后的包括运动区域的二值图像。

本实施例在上述实施例的基础上，对实施例一中的步骤3做具体说明，步骤3具体可以包括：

步骤301、利用Retinex理论分别滤除第一曝光图像和第二曝光图像的照度分量，对应得到第五曝光图像和第六曝光图像；

Retinex图像增强算法认为图像是由照度分量和反射分量共同构成的，图像的照度分量反映了图像整体的明暗程度，反射分量反映了图像场景的原有面貌信息。基于此，本实施例采用滤除第一曝光图像和第二曝光图像的照度分量信息，保留第一曝光图像和第二曝光图像的反射分量信息的方式还原第一曝光图像和第二曝光图像的原有信息，Retinex模型可以表示为：

S_k(x,y)＝L_k(x,y)·R_k(x,y) (7)

其中，S_k为第k张原图像(原图像即为视频序列中需要融合的原始图像)，在本实施例中，设定S₁为第一曝光图像，S₂为第二曝光图像，(x,y)为像素的坐标位置，L_k表示第k张原图像的照度分量，R_k为第k张原图像的反射分量。对于灰度图像，在单尺度情况下，第k张原图像的反射分量可以表示为：

R′_k(x,y)＝logS_k(x,y)-log[F(x,y)*S_k(x,y)] (8)

其中，R′_k为第k张原图像的反射分量，F(x,y)为中心环绕函数，一般为高斯函数，其可以表示为：

其中，σ为标准差，通常取

步骤302、根据亮度映射模型对第五曝光图像和第六曝光图像分别进行处理对应得到第一亮度平衡图像和第二亮度平衡图像；

对反射分量R_k′直接进行指数变换会拉伸图像的动态范围，且无法保证第五曝光图像和第六曝光图像的亮度在同一范围内，从而无法达到使第五曝光图像和第六曝光图像亮度平衡的目的，因此本实施例为第五曝光图像和第六曝光图像规定了一定的亮度映射范围，使其亮度达到均衡。首先，令第五曝光图像和第六曝光图像映射的最大值与最小值分别为：

其中，ave为反射分量R′_k的亮度平均值的均值，α和β为可调参数，其通常取α＝β＝3，V为第五曝光图像和第六曝光图像方差的最大值，ave与V的具体计算公式如下：

其中，Mean(·)为矩阵平均值，var(·)为矩阵方差，max(·)为取数组最大值，因此，其亮度映射模型为：

其中，即为第k张原图像亮度平衡后的结果，在本实施例中为第五曝光图像经亮度平衡处理后的第一亮度平衡图像，为第六曝光图像经亮度平衡处理后的第二亮度平衡图像。

例如，请参见图9a～9b，其中，图9a为图5a经亮度平衡处理后对应的平衡图像，图9b为图6a经亮度平衡处理后对应的平衡图像。

本实施例在上述实施例的基础上，对实施例一中的步骤4做具体说明，步骤4具体可以包括：

步骤401、将第一曝光图像和第二曝光图像分别与运动区域进行结合对应得到第一基础权重图像和第二基础权重图像；

步骤4011、根据第一曝光图像的图像对比度和曝光适中度得到第一初始权重图像，根据第二曝光图像的图像对比度和曝光适中度得到第二初始权重图像；

针对单通道的灰度图像，无需考虑图像的饱和度信息。因此图像的初始权重图像由以下两因子相乘获得：

其中，C_k,x,y为第k张原图像I_k在(x，y)坐标处的图像对比度，E_k,x,y为第k张原图像I_k在(x，y)坐标处的曝光适中度，w_c与w_e为权重指数，通常w_c＝w_e＝1,W_k,x,y为第k张初始权重图像在坐标(x，y)处的像素值，则W_1,x,y为第一初始权重图像在坐标(x，y)处的像素值，W_2,x,y为第二初始权重图像在坐标(x，y)处的像素值。

步骤4012、将第一初始权重图像和运动区域相结合并进行归一化处理得到第一基础权重图像，将第二初始权重图像和运动区域相结合并进行归一化处理得到第二基础权重图像；

为使得“鬼影”区域的权重图像没有突变产生，则需将进行高斯滤波后的M′确定为最终的运动区域蒙版。因此需将初始权重图像与包含运动区域的二值图像相结合，然后经归一化后可获得基础权重图像，初始权重图像与包含运动区域的二值图像相结合的计算公式如下：

其中，W′_k,x,y为第k张初始权重图像与二值图像相结合的图像在坐标(x，y)处的像素值，则W′_1,x,y为第一初始权重图像与二值图像相结合的图像在坐标(x，y)处的像素值，W′_2,x,y为第二初始权重图像与二值图像相结合的图像在坐标(x，y)处的像素值，ref为参考图像的序号，在本实施例中序号取1或2，其融合后图像的运动状态与所选取的参考图像的运动状态应保持一致，然后对W′_k,x,y进行归一化，公式如下：

其中，为基础权重图在坐标(x，y)处的像素值，则为第一基础权重图像在坐标(x，y)处的像素值，为第二基础权重图像在坐标(x，y)处的像素值。

本实施例在上述实施例的基础上，对实施例一中的步骤5做具体说明，步骤5具体可以包括：

步骤5.1、对第一亮度平衡图像进行拉普拉斯金字塔变换得到第一拉普拉斯金字塔，对第二亮度平衡图像进行拉普拉斯金字塔变换得到第二拉普拉斯金字塔；

步骤5.2、对第一基础权重图像进行高斯金字塔变换得到第一权重图高斯金字塔，对第二基础权重图像进行高斯金字塔变换得到第二权重图高斯金字塔；

步骤5.3、根据第一拉普拉斯金字塔、第二拉普拉斯金字塔、第一权重图高斯金字塔和第二权重图高斯金字塔得到融合后的图像；

步骤5.31、根据第一拉普拉斯金字塔、第二拉普拉斯金字塔、第一权重图高斯金字塔和第二权重图高斯金字塔得到融合后的拉普拉斯金字塔，其中，拉普拉斯金字塔的计算公式为：

其中，为第k张亮度平衡后的图像对应的第d层的拉普拉斯金字塔坐标为(x，y)处的像素值，为第k张权重图像对应的第d层的高斯金字塔坐标为(x，y)处的像素值，L{F}^d为融合后的拉普拉斯金字塔。

步骤5.32、根据增益系数矩阵和融合后的拉普拉斯金字塔得到增强后的拉普拉斯金字塔；

由于拉普拉斯金字塔的过度融合以及照度分量的过度滤除，步骤5.31所得到的融合图像会损失一部分细节信息，针对此问题，本实施例通过对融合后的拉普拉斯金字塔进行细节增强处理来恢复图像的细节信息，同时减少图像的噪声信息，且人眼视觉***对图像的高频信息更加敏感，故增益系数应随着拉普拉斯金字塔层数的上升而减小，则增益系数的计算公式如下：

其中，g为增益系数矩阵，G_L为最小的增益系数，G_H为最大的增益系数，D为融合后的拉普拉斯金字塔的最高层的层号，本实施例取为D＝log₂(min(H,W))-log₂(min(H,W)/2)，d为融合后的拉普拉斯金字塔的层号，γ为可调参数，γ例如取0.5，为第d层融合后的拉普拉斯金字塔中坐标位置为(x，y)处的噪声可见度，的计算公式如下：

其中，e_d(x,y)为第d层融合后的拉普拉斯金字塔中坐标位置为(x，y)处的局部图像熵值，例如局部图像大小可以取3*3大小邻域图像，ω为一可调参数，其通常可以取1，一般可以认为细节信息越多的地方图像的噪点可见度越小，细节信息越少的地方噪点的可见度越大。

最后，将增益系数矩阵与对应层的对应像素点的拉普拉斯金字塔相乘，可获得增强后的拉普拉斯金字塔，增强后的拉普拉斯金字塔的计算公式如下：

其中，为增强后的拉普拉斯金字塔在第d层坐标为(x，y)位置处的像素值。

步骤5.32、对增强后的拉普拉斯金字塔进行反变换，则形成融合后的图像。

例如，请参见图10，图10为图5a和图6a经融合后的图像。

本发明可以对两帧曝光图像实现有效的“鬼影”去除和图像融合的效果，其处理结果能够对图像过曝光以及欠曝光区域的细节信息进行有效的恢复，同时本实施例的亮度平衡算法能够避免传统融合图像中出现的斑块和伪影现象，本实施例所提供的两帧曝光图像的融合方法可以大大降低图像拍摄的时间分辨率，为本实施例所提供的方法能够在硬件平台上实施以及高动态范围实时视频的获取奠定了坚实的基础。

为了更好的说明本发明所提供的基于动态场景的双曝光图像融合方法，本实施例将本发明的双曝光图像融合方法与Sen等人和Ma K等人的算法进行了比较，请参见图11a～11g，图11a与11b分别为相机所拍摄的低曝光图像与高曝光图像，图11c为传统金字塔算法的直接融合效果，从图11c可以看出，图像中树干、栅栏处存在严重的斑块与伪影现象，其本身为树叶遮挡在树干上形成的影子，但传统金字塔算法的算法运行结果使得场景信息严重失真。为解决此问题，需将两帧图像进行亮度平衡，将亮度平衡后的图像进行直接融合，图11d为经亮度平衡处理后的融合效果图，从图11d中可以看出斑块伪影现象消失，但在人走动区域出现了“鬼影”现象，同样对图像融合质量有着严重影响，图11e与图11f分别为Sen等人与Ma K等人对所拍摄的两帧曝光图像的处理结果，图11g为利用本发明的双曝光图像融合方法去鬼影后的效果图，从处理结果中可以看出，Sen等人的处理结果虽然在去除鬼影方面取得了较好的结果，但损失了树叶与树枝的细节信息，如图11e中框选区域的信息，其欠曝光区域与过曝光区域的细节信息几乎完全丢失；而Ma K等人的处理结果在图像整体对比度与细节信息方面都取得了良好的处理结果，但在图11f中的框选区域以及在栏杆处，同样会存在细节信息对比度不明显以及过曝光现象。而由11g可以看出，本发明的融合方法较好的规避了以上算法处理结果中存在的缺点，能够对图像各处的细节信息进行显示，对过曝光与欠曝光区域的细节信息进行良好的恢复，针对细节区域具有较好的显示能力。

另外，本实施例还提供了另一种基于动态场景的双曝光图像融合方法与Sen等人和Ma K等人的方法处理后的图像的效果对比图，请参见图12a～12g，图12a与图12b分别为相机所拍摄的操场场景的低曝光图像与高曝光图像，图12c为传统金字塔算法的直接融合效果图像，从图12c中可以看出图像中的树叶、楼梯处存在严重的斑块与伪影现象，由于两帧图像亮度差距过大，导致场景信息严重失真。图12d为亮度平衡后图像融合效果图，从图12d中可以看出楼梯与树叶处的斑块伪影现象消失，但在人活动与球运动区域出现了半透明的“鬼影”现象，图12e与图12f分别为Sen等人与Ma K等人对相机所拍摄两帧曝光图像的处理结果，图12g为利用本发明的双曝光图像融合方法的处理结果，从图12e可以看出，Sen等人的处理结果在***台区域几乎无法看到其细节信息；从图12f可以看出，Ma K等人的处理结果在图像整体对比度取得了良好的处理结果，但在框选区域会产生细节信息对比度不明显的问题；从图12g可以看出，本发明的双曝光图像融合方法能够对图像各处的细节信息进行显示，尤其是对“***台”的细节信息有着良好的恢复能力，可以完全看清***台后方的树木信息。

另外，本实施例还提供了又一种基于动态场景的双曝光图像融合方法与Sen等人和Ma K等人的方法处理后的图像的效果对比图，请参见图13a～13g，图13a与图13b分别为相机所拍摄的松树场景低曝光图像与高曝光图像，图13c为传统金字塔算法的直接融合效果，从图13c可以看出，其斑块与伪影现象仍然存在，甚至在人运动区域也会出现严重的伪影现象，图13d为亮度平衡后图像融合效果图，从图13d中可以看出，还存在大量的过曝光区域与欠曝光区域，同时在人运动区域其轮廓已经杂乱无章，图13e与图13f分别为Sen等人与Ma K等人对相机所拍摄两帧曝光图像的处理结果，图13g为利用本发明的双曝光图像融合方法的处理结果，从图13e的处理结果可以看出，Sen等人的处理结果无法恢复欠曝光区域与过曝光区域的细节信息；从图13f可以看出，Ma K等人的处理结果在框选区域中的树叶处出现严重的伪影，严重影响图像的整体观感，从图13g可以看出，本发明的双曝光图像融合方法的处理结果在树叶处的显示效果较为自然，同时能够对图像各处的细节信息能够进行清晰显示，在过曝光区域与欠曝光区域具有较高的对比度。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于动态场景的双曝光图像融合方法，其特征在于，包括：

获取第一曝光图像和第二曝光图像，所述第一曝光图像和所述第二曝光图像的曝光度不同；

根据自适应阈值对所述第一曝光图像和所述第二曝光图像进行处理得到二值图像，所述二值图像包括所述第一曝光图像和所述第二曝光图像的运动区域；

根据Retinex理论对所述第一曝光图像和所述第二曝光图像进行亮度平衡处理对应得到第一亮度平衡图像和第二亮度平衡图像；

将所述第一曝光图像和所述第二曝光图像分别与所述运动区域进行结合对应得到第一基础权重图像和第二基础权重图像；

根据自适应细节增强的金字塔图像融合算法对所述第一亮度平衡图像、所述第二亮度平衡图像、所述第一基础权重图像和所述第二基础权重图像进行处理得到融合后的图像。

2.根据权利要求1所述的双曝光图像融合方法，其特征在于，根据自适应阈值对所述第一曝光图像和所述第二曝光图像进行处理得到二值图像，包括：

对所述第一曝光图像和所述第二曝光图像分别进行直方图均衡化处理对应得到第三曝光图像和第四曝光图像，所述第三曝光图像和所述第四曝光图像的亮度相同；

利用帧差法计算所述第三曝光图像和所述第四曝光图像之间的像素差异值，得到差分图像；

根据自适应阈值对所述差分图像进行阈值分割处理得到初始二值图像；

对所述初始二值图像进行形态学的膨胀腐蚀处理得到包括运动区域的所述二值图像。

3.根据权利要求1所述的双曝光图像融合方法，其特征在于，根据自适应阈值对所述差分图像进行阈值分割处理得到初始二值图像，包括：

根据所述第一曝光图像和所述第二曝光图像的静态区域所占所述差分图像总像素百分比、所述差分图像的宽度所占的像素数和所述差分图像的高度所占的像素数得到阈值数组；

根据所述阈值数组得到所述自适应阈值；

根据所述自适应阈值对所述差分图像进行阈值分割处理得到初始二值图像。

4.根据权利要求3所述的双曝光图像融合方法，其特征在于，所述阈值数组为：

其中，为阈值数组，n_i为所述差异图像中的灰度值为i的像素个数，P为所述第一曝光图像和所述第二曝光图像的静态区域的像素数占所述差异图像的总像素数的百分比，t的取值为0～255之间的整数。

5.根据权利要求4所述的双曝光图像融合方法，其特征在于，所述自适应阈值的计算公式为：

其中，T为所述自适应阈值，min(·)为取所述阈值数组的最小值，mt为预定阈值。

6.根据权利要求1所述的双曝光图像融合方法，其特征在于，根据Retinex理论对所述第一曝光图像和所述第二曝光图像进行亮度平衡处理对应得到第一亮度平衡图像和第二亮度平衡图像，包括：

利用Retinex理论分别滤除所述第一曝光图像和所述第二曝光图像的照度分量，对应得到第五曝光图像和第六曝光图像；

根据亮度映射模型对所述第五曝光图像和所述第六曝光图像分别进行处理对应得到第一亮度平衡图像和第二亮度平衡图像。

7.根据权利要求1所述的双曝光图像融合方法，其特征在于，将所述第一曝光图像和所述第二曝光图像分别与所述运动区域进行结合对应得到第一基础权重图像和第二基础权重图像，包括：

根据所述第一曝光图像的图像对比度和曝光适中度得到第一初始权重图像；

根据所述第二曝光图像的图像对比度和曝光适中度得到第二初始权重图像；

将所述第一初始权重图像和所述二值图像相结合并进行归一化处理得到第一基础权重图像；

将所述第二初始权重图像和所述二值图像相结合并进行归一化处理得到第二基础权重图像。

8.根据权利要求1所述的双曝光图像融合方法，其特征在于，根据自适应细节增强的金字塔图像融合算法对所述第一亮度平衡图像、所述第二亮度平衡图像、所述第一基础权重图像和所述第二基础权重图像进行处理得到融合后的图像，包括：

分别对所述第一亮度平衡图像和所述第二亮度平衡图像分别进行拉普拉斯金字塔变换对应得到第一拉普拉斯金字塔和第二拉普拉斯金字塔；

分别对所述第一基础权重图像和所述第二基础权重图像分别进行高斯金字塔变换对应得到第一权重图高斯金字塔和第二权重图高斯金字塔；

根据所述第一拉普拉斯金字塔、所述第二拉普拉斯金字塔、所述第一权重图高斯金字塔和所述第二权重图高斯金字塔得到融合后的图像。

9.根据权利要求8所述的双曝光图像融合方法，其特征在于，根据所述第一拉普拉斯金字塔、所述第二拉普拉斯金字塔、所述第一权重图高斯金字塔和所述第二权重图高斯金字塔得到融合后的图像，包括：

根据所述第一拉普拉斯金字塔、所述第二拉普拉斯金字塔、所述第一权重图高斯金字塔和所述第二权重图高斯金字塔得到融合后的拉普拉斯金字塔；

根据增益系数矩阵和所述融合后的拉普拉斯金字塔得到增强后的拉普拉斯金字塔；

对所述增强后的拉普拉斯金字塔进行反变换得到融合后的图像。

10.根据权利要求9所述的双曝光图像融合方法，其特征在于，所述增益系数的计算公式为：

其中，g为所述增益系数矩阵，G_L为最小的增益系数，G_H为最大的增益系数，D为所述融合后的拉普拉斯金字塔的最高层的层号，d为所述融合后的拉普拉斯金字塔的层号，γ为可调参数，为第d层的所述融合后的拉普拉斯金字塔中坐标位置为(x，y)处的噪声可见度。