CN112288664A - 高动态范围图像的融合方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种高动态范围图像的融合方法、装置和电子设备，包括：获取目标场景的多张待融合图像；根据第一融合模型对多张待融合图像进行第一融合，得到第一融合图像；采用第二融合模型对第一融合图像和多张待融合图像进行第二融合，得到目标融合图像。本发明采用融合模型对多张待融合图像进行融合，由于融合模型在训练时，其明确最终要学习的目标，而传统的融合方法并不明确最终的融合图像，只是在多张待融合图像中确定要选取的像素点，所以，本发明的方法最终得到的目标融合图像的效果更好，另外，采用融合模型对多张待融合图像实现的融合，效率更高，缓解了现有的高动态范围图像的融合方法融合效果差，融合效率低的技术问题。

Description

高动态范围图像的融合方法、装置和电子设备

技术领域

本发明涉及图像融合的技术领域，尤其是涉及一种高动态范围图像的融合方法、装置和电子设备。

背景技术

高动态范围图像(High-Dynamic Range,HDR)，其目的是将多张不同曝光的图像融合成一张亮度均匀细节丰富的图像。其在手机或相机的图像超画质中有着广泛的应用。

现有技术往往通过计算两张图像之间的像素差异，选择更合适的像素点来融合为一张图像。该选择方法可以是图像中梯度更大的点，也可以是亮图像中较暗的点和暗图像较亮的点。

如图1(a)和图1(b)所示，分别为两张不同曝光的图像，图1(c)为对应的合成图像。其中，亮图像中过曝区域选择了暗图像，而暗图像中过暗的区域则选择了亮图像，从而融合得到一张亮度均匀细节丰富的图像。

传统的高动态范围图像的融合方法主要存在以下问题：第一，图像融合需要两张图像完全对齐，但在实际场景下，图像对齐往往很难实现，这就导致融合后的图像出现鬼影现象；第二，由于两张图像的像素点选择是一个完全未知的过程，因此融合后的图像很容易出现亮度不均匀的融合问题；第三，由于需要针对每个像素点进行融合，因此计算量很大，在手机场景下往往会速度受限。

综上，现有的高动态范围图像的融合方法存在融合效果差，融合效率低的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种高动态范围图像的融合方法、装置和电子设备，以缓解现有的高动态范围图像的融合方法融合效果差，融合效率低的技术问题。

第一方面，本发明实施例提供了一种高动态范围图像的融合方法，包括：获取目标场景的多张待融合图像，其中，所述多张待融合图像的尺度相同，且至少两张待融合图像的曝光补偿值不同；根据第一融合模型对所述多张待融合图像进行第一融合，得到第一融合图像；采用第二融合模型对所述第一融合图像和所述多张待融合图像进行第二融合，得到目标融合图像。

进一步的，根据第一融合模型对所述多张待融合图像进行第一融合包括：将所述多张待融合图像输入至所述第一融合模型，得到多张第一融合系数特征图，其中，一张第一融合系数特征图与一张待融合图像对应；将所述多张待融合图像与所述多张第一融合系数特征图进行加权运算，得到所述第一融合图像。

进一步的，所述方法还包括：将所述多张待融合图像缩放至预设尺度，得到预设尺度的多张待融合图像，进而再将所述预设尺度的多张待融合图像输入至所述第一融合模型。

进一步的，所述多张第一融合系数特征图包括：预设尺度的多张第一融合系数特征图，将所述多张待融合图像与所述多张第一融合系数特征图进行加权运算包括：将所述预设尺度的多张第一融合系数特征图缩放至目标尺度，得到目标尺度的多张第一融合系数特征图，其中，所述目标尺度等于所述多张待融合图像的尺度；将所述多张待融合图像与所述目标尺度的多张第一融合系数特征图进行加权运算，得到所述第一融合图像。

进一步的，采用第二融合模型对所述第一融合图像和所述多张待融合图像进行第二融合包括：将所述第一融合图像和所述多张待融合图像中的目标待融合图像输入至所述第二融合模型，得到与所述目标待融合图像对应的第二融合系数特征图，其中，所述目标待融合图像为所述多张待融合图像中的一张；根据所述第二融合系数特征图、所述第一融合图像和所述目标待融合图像进行图像融合，得到所述目标融合图像。

进一步的，所述方法还包括：将所述第一融合图像和所述多张待融合图像中的目标待融合图像缩放至预设尺度，得到预设尺度的第一融合图像和预设尺度的目标待融合图像，进而再将所述预设尺度的第一融合图像和所述预设尺度的目标待融合图像输入至所述第二融合模型。

进一步的，所述第二融合系数特征图包括：预设尺度的第二融合系数特征图，根据所述第二融合系数特征图、所述第一融合图像和所述目标待融合图像进行图像融合包括：将所述预设尺度的第二融合系数特征图缩放至目标尺度，得到目标尺度的第二融合系数特征图，其中，所述目标尺度等于所述目标待融合图像的尺度；将所述目标待融合图像和所述目标尺度的第二融合系数特征图进行乘积运算，得到第二融合图像；将所述第一融合图像和所述第二融合图像进行加和运算，得到所述目标融合图像。

进一步的，所述方法还包括：部署所述第一融合模型的第一原始融合模型和所述第二融合模型的第二原始融合模型，其中，所述第二原始融合模型与所述第一原始融合模型串联；获取训练样本集合，其中，所述训练样本集合中包括：多组训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像，所述多张第一原始图像为在相同位置以不同曝光补偿值对第一预设场景拍摄得到的，所述每组训练样本图像中还包括多张第二原始图像，所述多张第二原始图像为在所述相同位置以不同曝光补偿值对第二预设场景拍摄得到的，所述第二预设场景为所述第一预设场景中目标对象发生移动后的场景；通过所述训练样本集合对所述第一原始融合模型和所述第二原始融合模型进行训练，得到所述第一融合模型和所述第二融合模型。

进一步的，通过所述训练样本集合对所述第一原始融合模型和所述第二原始融合模型进行训练包括：通过多组子训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像对所述第一原始融合模型进行训练，得到训练完成的初始第一融合模型，其中，每组子训练样本图像为在所述相同位置以不同曝光补偿值对所述第一预设场景拍摄得到的多张第一原始图像；通过所述多组训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像对所述初始第一融合模型和所述第二原始融合模型进行训练，得到所述第一融合模型和所述第二融合模型。

第二方面，本发明实施例还提供了一种高动态范围图像的融合装置，包括：获取单元，用于获取目标场景的多张待融合图像，其中，所述多张待融合图像的尺度相同，且至少两张待融合图像的曝光补偿值不同；第一融合单元，用于根据第一融合模型对所述多张待融合图像进行第一融合，得到第一融合图像；第二融合单元，用于采用第二融合模型对所述第一融合图像和所述多张待融合图像进行第二融合，得到目标融合图像。

第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤。

在本发明实施例中，首先，获取目标场景的多张待融合图像，然后，根据第一融合模型对多张待融合图像进行第一融合，得到第一融合图像；最后，采用第二融合模型对第一融合图像和多张待融合图像进行第二融合，得到目标融合图像。通过上述描述可知，本发明采用融合模型对多张待融合图像进行融合，由于融合模型在训练时，其明确最终要学习的目标(即效果好的融合图像)，而传统的融合方法并不明确最终的融合图像，只是在多张待融合图像中确定要选取的像素点，所以，相比于传统的融合方法，本发明中通过融合模型进行融合的方法最终得到的目标融合图像的效果更好，另外，采用融合模型对多张待融合图像实现的融合，效率更高，缓解了现有的高动态范围图像的融合方法融合效果差，融合效率低的技术问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1(a)为本发明实施例提供的亮图像的示意图；

图1(b)为本发明实施例提供的暗图像的示意图；

图1(c)为本发明实施例提供的融合得到的合成图像的示意图；

图2为本发明实施例提供的一种电子设备的示意图；

图3为本发明实施例提供的一种高动态范围图像的融合方法的流程图；

图4为本发明实施例提供的根据第一融合模型对多张待融合图像进行第一融合的方法流程图；

图5为本发明实施例提供的采用第二融合模型对第一融合图像和多张待融合图像进行第二融合的方法流程图；

图6为本发明实施例提供的高动态范围图像的融合方法的示意图；

图7为本发明实施例提供的第一融合模型和第二融合模型训练的流程图；

图8(a)为本发明实施例提供的待融合的暗图像的示意图；

图8(b)为本发明实施例提供的待融合的亮图像的示意图；

图8(c)为本发明实施例提供的对图8(a)和图8(b)进行融合后的目标融合图像的示意图；

图9为本发明实施例提供的高动态范围图像的融合装置的示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图2来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的高动态范围图像的融合方法。

如图2所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP，Digital Signal Processing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU，Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像机110用于进行多张待融合图像的采集，其中，摄像机所采集的多张待融合图像经过所述高动态范围图像的融合方法进行处理之后得到目标融合图像，例如，摄像机可以拍摄用户期望的图像(例如照片、视频等)，然后，将该图像经过所述高动态范围图像的融合方法进行处理之后得到目标融合图像，摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的高动态范围图像的融合方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端。

实施例2：

根据本发明实施例，提供了一种高动态范围图像的融合方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

高动态范围图像(High-Dynamic Range，简称HDR)，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光补偿值的LDR(Low-Dynamic Range，低动态范围图像)，并利用每个曝光补偿值相对应最佳细节的LDR图像来合成最终HDR图像。它能够更好的反映出真实环境中的视觉效果。

图3是根据本发明实施例的一种高动态范围图像的融合方法的流程图，如图3所示，该方法包括如下步骤：

步骤S302，获取目标场景的多张待融合图像，其中，多张待融合图像的尺度相同，且至少两张待融合图像的曝光补偿值不同；

在本发明实施例中，上述目标场景可以为任意场景，上述多张待融合图像可以是对同一目标场景进行拍摄得到图像，也可以为事先存储的同一目标场景的图像，本发明实施例对上述多张待融合图像的获取方式不进行具体限定。

需要说明的是，上述多张待融合图像的尺度(在本发明实施例中，尺度表示图像的尺寸，即H*W)相同，且至少两张待融合图像的曝光补偿值不同。

步骤S304，根据第一融合模型对多张待融合图像进行第一融合，得到第一融合图像；

步骤S306，采用第二融合模型对第一融合图像和多张待融合图像进行第二融合，得到目标融合图像。

上述第一融合模型和第二融合模型为预先训练得到的模型，下文中再对该过程进行详细介绍。

在本发明实施例中，首先，获取目标场景的多张待融合图像，然后，根据第一融合模型对多张待融合图像进行第一融合，得到第一融合图像；最后，采用第二融合模型对第一融合图像和多张待融合图像进行第二融合，得到目标融合图像。通过上述描述可知，本发明采用融合模型对多张待融合图像进行融合，由于融合模型在训练时，其明确最终要学习的目标(即效果好的融合图像)，而传统的融合方法并不明确最终的融合图像，只是在多张待融合图像中确定要选取的像素点，所以，相比于传统的融合方法，本发明中通过融合模型进行融合的方法最终得到的目标融合图像的效果更好，另外，采用融合模型对多张待融合图像实现的融合，效率更高，缓解了现有的高动态范围图像的融合方法融合效果差，融合效率低的技术问题。

上述内容对本发明的高动态范围图像的融合方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。

在本发明的一个可选实施例中，在对多张待融合图像进行融合时，采用了两个融合模型对多张待融合图像进行了两次融合，最终得到了目标融合图像。下面分别对上述两次融合的过程进行详细介绍。

在本发明的一个可选实施例中，参考图4，根据第一融合模型对多张待融合图像进行第一融合，得到第一融合图像的步骤包括：

步骤S401，将多张待融合图像输入至第一融合模型，得到多张第一融合系数特征图，其中，一张第一融合系数特征图与一张待融合图像对应；

一般地，多张待融合图像的原始分辨率较大，若将多张待融合图像直接输入至第一融合模型，计算量很大，计算效率低，基于此，本发明的方法将多张待融合图像缩放至预设尺度，进而得到预设尺度的多张待融合图像，再将预设尺度的多张待融合图像输入至第一融合模型。

将多张待融合图像缩放至预设尺度(可以为512*512，本发明实施例对上述预设尺度不进行具体限制)后，再将其输入至第一融合模型，可大大减小模型的计算量，提高计算效率，使得融合过程能够在手机端实时运行。

上述第一融合模型可以为任意的图像重建网络，在本发明实施例中，上述第一融合模型采用了标准的unet网络结构。

步骤S402，将多张待融合图像与多张第一融合系数特征图进行加权运算，得到第一融合图像。

具体的，上述多张第一融合系数特征图包括：预设尺度的多张第一融合系数特征图，且上述多张第一融合系数特征图中，对应位置的多个第一融合系数的和等于1。例如，得到3张第一融合系数特征图，其中，第一张第一融合系数特征图中的第一像素点对应的第一融合系数为x1，第二张第一融合系数特征图中的第一像素点对应的第一融合系数为y1，第三张第一融合系数特征图中的第一像素点对应的第一融合系数为z1，可得到x1+y1+z1＝1。

加权运算的步骤包括：

(1)将预设尺度的多张第一融合系数特征图缩放至目标尺度，得到目标尺度的多张第一融合系数特征图，其中，目标尺度等于多张待融合图像的尺度；

(2)，将多张待融合图像与目标尺度的多张第一融合系数特征图进行加权运算，得到第一融合图像。

具体的，在进行上述加权运算时，每张待融合图像与其对应的目标尺度的第一融合系数特征图先进行乘积运算，得到的多个乘积运算结果再进行相加运算。

例如，当待融合图像A与其对应的目标尺度的第一融合系数特征图B进行乘积运算时，A中各个像素点的像素值与B中对应的第一融合系数进行乘积运算。

下面以两张待融合图像(light图像和dark图像)为例对第一融合的过程进行介绍：

先将light图像和dark图像分别缩放至预设尺度，得到预设尺度的light图像和预设尺度的dark图像，进而再将预设尺度的light图像和预设尺度的dark图像输入至第一融合模型，输出得到一张预设尺度的第一融合系数特征图mask1(其与light图像对应)，由于多张第一融合系数特征图中，对应位置的多个第一融合系数的和等于1，所以可以计算得到另外一张预设尺度的第一融合系数特征图为1-mask1(与dark图像对应)，随后，再将预设尺度的第一融合系数特征图mask1和预设尺度的第一融合系数特征图1-mask1分别缩放至目标尺度(即dark图像的尺度，或，light图像的尺度)，得到目标尺度的第一融合系数特征图mask1(标记为(mask1)_目标尺度)和目标尺度的第一融合系数特征图1-mask1(标记为(1-mask1)_目标尺度)，进一步将得到的(mask1)_目标尺度、(1-mask1)_目标尺度与light图像、dark图像进行加权运算，得到第一融合图像：hdr1＝light图像*(mask1)_目标尺度+dark图像*(1-mask1)_目标尺度。

当然，将N张待融合图像输入至第一融合模型后，输出的第一融合系数特征图的数量可以为N张，也可以为N-1张。当第一融合系数特征图的数量为N张时，每张待融合图像有且对应一张第一融合系数特征图；而当第一融合系数特征图的数量为N-1张时，可以先根据多张第一融合系数特征图中，对应位置的多个第一融合系数的和等于1的这一原理计算出第N张第一融合系数特征图，这样，每张待融合图像也就有且对应一张第一融合系数特征图，之后便可以进行加权运算，得到第一融合图像。

在本发明的一个可选实施例中，参考图5，采用第二融合模型对第一融合图像和多张待融合图像进行第二融合的步骤包括：

步骤S501，将第一融合图像和多张待融合图像中的目标待融合图像输入至第二融合模型，得到与目标待融合图像对应的第二融合系数特征图，其中，目标待融合图像为多张待融合图像中的一张；

在本发明实施例中，由于上述第一融合图像和目标待融合图像的分辨率较大，若将第一融合图像和目标待融合图像直接输入至第二融合模型，计算量很大，计算效率低，基于此，本发明的方法将第一融合图像和多张待融合图像中的目标待融合图像缩放至预设尺度，进而得到预设尺度的第一融合图像和预设尺度的目标待融合图像，再将预设尺度的第一融合图像和预设尺度的目标待融合图像输入至第二融合模型。其中，上述目标待融合图像为多张待融合图像中的一张，具体可以为多张待融合图像中曝光补偿值大一些的图像帧。

另外，通过上述的描述可知，第二融合模型的输入只能为两张图像。

将第一融合图像和目标待融合图像缩放至预设尺度(可以为512*512，本发明实施例对上述预设尺度不进行具体限制)后，再将其输入至第二融合模型，可大大减小模型的计算量，提高计算效率，使得融合过程能够在手机端实时运行。

步骤S502，根据第二融合系数特征图、第一融合图像和目标待融合图像进行图像融合，得到目标融合图像。

具体的，上述第二融合系数特征图包括：预设尺度的第二融合系数特征图。

图像融合的步骤包括：

a)将预设尺度的第二融合系数特征图缩放至目标尺度，得到目标尺度的第二融合系数特征图，其中，目标尺度等于目标待融合图像的尺度，也即多张待融合图像的尺度。

b)，将目标待融合图像和目标尺度的第二融合系数特征图进行乘积运算，得到第二融合图像；

例如，当目标待融合图像C与目标尺度的第二融合系数特征图D进行乘积运算时，C中各个像素点的像素值与D中对应的第二融合系数进行乘积运算，得到的结果作为新的像素值，进而得到第二融合图像。

c)，将第一融合图像和第二融合图像进行加和运算，得到目标融合图像。

具体的，上述加和运算是指对应像素值的加和运算。

下面以两张待融合图像为例对本发明的高动态范围图像的融合方法进行整体介绍。参考图6，两张待融合图像分别为一张待融合的亮图像和一张待融合的暗图像，将上述两张待融合图像分别缩放至预设尺度，得到预设尺度的待融合亮图像和预设尺度的待融合暗图像，将预设尺度的待融合亮图像和预设尺度的待融合暗图像输入至第一融合模型，输出得到预设尺度的两张第一融合系数特征图，将预设尺度的两张第一融合系数特征图缩放至目标尺度(目标尺度等于两张待融合图像的尺度)，得到目标尺度的两张第一融合系数特征图，进而将目标尺度的两张第一融合系数特征图与两张待融合图像进行加权运算，得到一张第一融合图像。

再将第一融合图像缩放至预设尺度，进而将预设尺度的第一融合图像和预设尺度的待融合亮图像输入至第二融合模型，得到与待融合的亮图像对应的预设尺度的第二融合系数特征图，将预设尺度的第二融合系数特征图缩放至目标尺度(目标尺度等于待融合的亮图像的尺度)，得到目标尺度的第二融合系数特征图，将待融合的亮图像和目标尺度的第二融合系数特征图进行乘积运算，得到第二融合图像，最终将第一融合图像和第二融合图像进行加和运算，得到目标融合图像。

上述内容对本发明的融合模型对多张待融合图像进行融合的过程进行了详细介绍，下面对融合模型的训练过程进行详细描述。

在本发明的一个可选实施例中，参考图7，融合模型的训练过程如下：

步骤S701，部署第一融合模型的第一原始融合模型和第二融合模型的第二原始融合模型，其中，第二原始融合模型与第一原始融合模型串联；

步骤S702，获取训练样本集合，其中，训练样本集合中包括：多组训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像，多张第一原始图像为在相同位置以不同曝光补偿值对第一预设场景拍摄得到的,每组训练样本图像中还包括多张第二原始图像，多张第二原始图像为在相同位置以不同曝光补偿值对第二预设场景拍摄得到的，第二预设场景为第一预设场景中目标对象发生移动后的场景；

具体的，采集上述多张第一原始图像时，可以在一固定位置利用三脚架固定相机，然后以不同曝光补偿值对第一预设场景进行拍摄，若上述第一预设场景中包含可移动对象时，可移动对象保持静止，这样，采集得到的多张第一原始图像可实现像素级别的近似对齐，然后再通过传统的融合方法对上述对齐的多张第一原始图像进行融合，得到融合图像，该融合图像由于是基于对齐的多张第一原始图像融合得到的，效果好，可以作为真值图像(也就是融合模型的学习目标)进行后续融合模型的训练。

步骤S703，通过训练样本集合对第一原始融合模型和第二原始融合模型进行训练，得到第一融合模型和第二融合模型。

具体包括如下过程：

步骤S7031，通过多组子训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像对第一原始融合模型进行训练，得到训练完成的初始第一融合模型，其中，每组子训练样本图像为在相同位置以不同曝光补偿值对第一预设场景拍摄得到的多张第一原始图像；

需要说明的是，如果想要最终得到的第一融合模型对两张待融合图像进行融合，那么在训练时，第一原始融合模型的输入就为两张第一原始图像(同一组子训练样本图像中的两张第一原始图像)；如果想要最终得到的第一融合模型对三张待融合图像进行融合，那么在训练时，第一原始融合模型的输入就为三张第一原始图像(同一组子训练样本图像中的三张第一原始图像)。

训练时，将多组子训练样本图像输入至第一原始融合模型，输出得到与每组子训练样本图像对应的一组第一融合系数特征图，将输出得到的每组第一融合系数特征图与对应组的子训练样本图像进行加权运算，得到多张第一融合图像，将得到的多张第一融合图像与通过传统的融合方法得到的融合图像(即基于每组训练样本图像中的多张第一原始图像融合得到的融合图像)分别进行差值运算，如果差值大于预设阈值，则继续对第一原始融合模型进行训练，直至差值小于或等于预设阈值为止，得到训练完成的初始第一融合模型。

通过上述描述可知，初始第一融合模型是基于对齐的多张第一原始图像训练得到的，因此该初始第一融合模型不具备任何抗鬼影的能力，而为了使得融合模型具备抗鬼影的能力，需要对初始第一融合模型和第二原始融合模型按照步骤S7032继续训练。

步骤S7032，通过多组训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像对初始第一融合模型和第二原始融合模型进行训练，得到第一融合模型和第二融合模型。

训练时，在每组子训练样本图像中选取一张第一原始图像(可以为曝光补偿值大一些的图像)，得到多张第一原始图像，将选取得到的第一原始图像和其对应的多张第二原始图像作为多组新训练样本图像。将多组新训练样本图像输入至初始第一融合模型，输出得到与每组新训练样本图像对应的一组第一融合系数特征图，将输出得到的每组第一融合系数特征图与对应组的新训练样本图像进行加权运算，得到多张第一融合图像，每张第一融合图像用Model1(light,…,dark)或hdr1表示，然后计算Model1(light,…,dark)与通过传统的融合方法得到的对应的融合图像(即基于每组训练样本图像中的多张第一原始图像融合得到的融合图像，用HDR表示)进行差值运算，即Diff＝Model1(light,…,dark)-HDR，再通过卡阈值得到第一融合图像中像素值变化较大的区域即为鬼影区域，即MaskG＝Ths(Diff)。进而，将Loss1＝(Model1(light,…,dark)–HDR)*(1-MaskG)作为损失函数对初始第一融合模型进行训练。

同时，将得到的多张第一融合图像中的一张第一融合图像和该张第一融合图像对应的新训练样本图像中的第一原始图像作为一组样本，如此得到多组样本。将多组样本输入至第二原始融合模型，输出得到与每组样本对应的第二融合系数特征图，将输出的每张第二融合系数特征图与对应样本中的第一原始图像进行乘积运算，得到多张第二融合图像，将Loss2＝(Model2(hdr1,light)–HDR)*MaskG作为损失函数对第二原始融合模型进行训练，并且，将第一融合图像和与其对应的第二融合图像进行加和运算，得到最终的融合结果图像，每张融合结果图像用hdr2表示，将Loss3＝(hdr2-HDR)作为损失函数对初始第一融合模型和第二原始融合模型一起进行训练，只要当三个损失函数同时满足预设条件后，才能完成对初始第一融合模型和第二原始融合模型的训练，得到第一融合模型和第二融合模型。

根据上述对两个模型的训练过程可知，第一融合模型只进行了图像的融合，不具备抗鬼影的能力，所以，第一融合模型可以称之为融合模型，而第二融合模型学习到了图像的差异，即鬼影区域MaskG，其具备抗鬼影的能力，所以，第二融合模型可以称之为鬼影模型。

本发明的高动态范围图像的融合方法，输入多张待融合图像，通过学习出多张待融合图像之间的融合系数，实现多张待融合图像的融合。在学习的过程中，分别考虑了图像的融合和鬼影的问题，因此可以实现很好的无鬼影融合效果。同时，该融合模型只需要小图像的输入，并不需要原始分辨率大小的图像参与计算，因此可以在手机端进行实时运算。采用本发明的高动态范围图像的融合方法对图8(a)和图8(b)的待融合图像进行融合后，得到的目标融合图像如图8(c)所示。

实施例3：

本发明实施例还提供了一种高动态范围图像的融合装置，该高动态范围图像的融合装置主要用于执行本发明实施例上述内容所提供的高动态范围图像的融合方法，以下对本发明实施例提供的高动态范围图像的融合装置做具体介绍。

图9是根据本发明实施例的一种高动态范围图像的融合装置的示意图，如图9所示，该高动态范围图像的融合装置主要包括：获取单元10、第一融合单元20和第二融合单元30，其中：

获取单元，用于获取目标场景的多张待融合图像，其中，多张待融合图像的尺度相同，且至少两张待融合图像的曝光补偿值不同；

第一融合单元，用于根据第一融合模型对多张待融合图像进行第一融合，得到第一融合图像；

第二融合单元，用于采用第二融合模型对第一融合图像和多张待融合图像进行第二融合，得到目标融合图像。

在本发明实施例中，首先，获取目标场景的多张待融合图像，然后，根据第一融合模型对多张待融合图像进行第一融合，得到第一融合图像；最后，采用第二融合模型对第一融合图像和多张待融合图像进行第二融合，得到目标融合图像。通过上述描述可知，本发明采用融合模型对多张待融合图像进行融合，由于融合模型在训练时，其明确最终要学习的目标(即效果好的融合图像)，而传统的融合方法并不明确最终的融合图像，只是在多张待融合图像中确定要选取的像素点，所以，相比于传统的融合方法，本发明中通过融合模型进行融合的方法最终得到的目标融合图像的效果更好，另外，采用融合模型对多张待融合图像实现的融合，效率更高，缓解了现有的高动态范围图像的融合方法融合效果差，融合效率低的技术问题。

可选地，第一融合单元还用于：将多张待融合图像输入至第一融合模型，得到多张第一融合系数特征图，其中，一张第一融合系数特征图与一张待融合图像对应；将多张待融合图像与多张第一融合系数特征图进行加权运算，得到第一融合图像。

可选地，该装置还用于：将多张待融合图像缩放至预设尺度，得到预设尺度的多张待融合图像，进而再将预设尺度的多张待融合图像输入至第一融合模型。

可选地，多张第一融合系数特征图包括：预设尺度的多张第一融合系数特征图，第一融合单元还用于：将预设尺度的多张第一融合系数特征图缩放至目标尺度，得到目标尺度的多张第一融合系数特征图，其中，目标尺度等于多张待融合图像的尺度；将多张待融合图像与目标尺度的多张第一融合系数特征图进行加权运算，得到第一融合图像。

可选地，第二融合单元还用于：将第一融合图像和多张待融合图像中的目标待融合图像输入至第二融合模型，得到与目标待融合图像对应的第二融合系数特征图，其中，目标待融合图像为多张待融合图像中的一张；根据第二融合系数特征图、第一融合图像和目标待融合图像进行图像融合，得到目标融合图像。

可选地，该装置还用于：将第一融合图像和多张待融合图像中的目标待融合图像缩放至预设尺度，得到预设尺度的第一融合图像和预设尺度的目标待融合图像，进而再将预设尺度的第一融合图像和预设尺度的目标待融合图像输入至第二融合模型。

可选地，第二融合系数特征图包括：预设尺度的第二融合系数特征图，第二融合单元还用于：将预设尺度的第二融合系数特征图缩放至目标尺度，得到目标尺度的第二融合系数特征图，其中，目标尺度等于目标待融合图像的尺度；将目标待融合图像和目标尺度的第二融合系数特征图进行乘积运算，得到第二融合图像；将第一融合图像和第二融合图像进行加和运算，得到目标融合图像。

可选地，该装置还用于：部署第一融合模型的第一原始融合模型和第二融合模型的第二原始融合模型，其中，第二原始融合模型与第一原始融合模型串联；获取训练样本集合，其中，训练样本集合中包括：多组训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像，多张第一原始图像为在相同位置以不同曝光补偿值对第一预设场景拍摄得到的，每组训练样本图像中还包括多张第二原始图像，多张第二原始图像为在相同位置以不同曝光补偿值对第二预设场景拍摄得到的，第二预设场景为第一预设场景中目标对象发生移动后的场景；通过训练样本集合对第一原始融合模型和第二原始融合模型进行训练，得到第一融合模型和第二融合模型。

可选地，该装置还用于：通过多组子训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像对第一原始融合模型进行训练，得到训练完成的初始第一融合模型，其中，每组子训练样本图像为在相同位置以不同曝光补偿值对第一预设场景拍摄得到的多张第一原始图像；通过多组训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像对初始第一融合模型和第二原始融合模型进行训练，得到第一融合模型和第二融合模型。

本发明实施例所提供的高动态范围图像的融合装置，其实现原理及产生的技术效果和前述实施例2中的方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在另一个实施例中，还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述权实施例2中任意实施例所述的方法的步骤。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种高动态范围图像的融合方法，其特征在于，包括：

获取目标场景的多张待融合图像，其中，所述多张待融合图像的尺度相同，且至少两张待融合图像的曝光补偿值不同；

根据第一融合模型对所述多张待融合图像进行第一融合，得到第一融合图像；

采用第二融合模型对所述第一融合图像和所述多张待融合图像进行第二融合，得到目标融合图像。

2.根据权利要求1所述的融合方法，其特征在于，根据第一融合模型对所述多张待融合图像进行第一融合包括：

将所述多张待融合图像输入至所述第一融合模型，得到多张第一融合系数特征图，其中，一张第一融合系数特征图与一张待融合图像对应；

将所述多张待融合图像与所述多张第一融合系数特征图进行加权运算，得到所述第一融合图像。

3.根据权利要求1所述的融合方法，其特征在于，所述方法还包括：

将所述多张待融合图像缩放至预设尺度，得到预设尺度的多张待融合图像，进而再将所述预设尺度的多张待融合图像输入至所述第一融合模型。

4.根据权利要求2所述的融合方法，其特征在于，所述多张第一融合系数特征图包括：预设尺度的多张第一融合系数特征图，将所述多张待融合图像与所述多张第一融合系数特征图进行加权运算包括：

将所述预设尺度的多张第一融合系数特征图缩放至目标尺度，得到目标尺度的多张第一融合系数特征图，其中，所述目标尺度等于所述多张待融合图像的尺度；

将所述多张待融合图像与所述目标尺度的多张第一融合系数特征图进行加权运算，得到所述第一融合图像。

5.根据权利要求1所述的融合方法，其特征在于，采用第二融合模型对所述第一融合图像和所述多张待融合图像进行第二融合包括：

将所述第一融合图像和所述多张待融合图像中的目标待融合图像输入至所述第二融合模型，得到与所述目标待融合图像对应的第二融合系数特征图，其中，所述目标待融合图像为所述多张待融合图像中的一张；

根据所述第二融合系数特征图、所述第一融合图像和所述目标待融合图像进行图像融合，得到所述目标融合图像。

6.根据权利要求5所述的融合方法，其特征在于，所述方法还包括：

将所述第一融合图像和所述多张待融合图像中的目标待融合图像缩放至预设尺度，得到预设尺度的第一融合图像和预设尺度的目标待融合图像，进而再将所述预设尺度的第一融合图像和所述预设尺度的目标待融合图像输入至所述第二融合模型。

7.根据权利要求5所述的融合方法，其特征在于，所述第二融合系数特征图包括：预设尺度的第二融合系数特征图，根据所述第二融合系数特征图、所述第一融合图像和所述目标待融合图像进行图像融合包括：

将所述预设尺度的第二融合系数特征图缩放至目标尺度，得到目标尺度的第二融合系数特征图，其中，所述目标尺度等于所述目标待融合图像的尺度；

将所述目标待融合图像和所述目标尺度的第二融合系数特征图进行乘积运算，得到第二融合图像；

将所述第一融合图像和所述第二融合图像进行加和运算，得到所述目标融合图像。

8.根据权利要求1-7任一项所述的融合方法，其特征在于，所述方法还包括：

部署所述第一融合模型的第一原始融合模型和所述第二融合模型的第二原始融合模型，其中，所述第二原始融合模型与所述第一原始融合模型串联；

获取训练样本集合，其中，所述训练样本集合中包括：多组训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像，所述多张第一原始图像为在相同位置以不同曝光补偿值对第一预设场景拍摄得到的，所述每组训练样本图像中还包括多张第二原始图像，所述多张第二原始图像为在所述相同位置以不同曝光补偿值对第二预设场景拍摄得到的，所述第二预设场景为所述第一预设场景中目标对象发生移动后的场景；

通过所述训练样本集合对所述第一原始融合模型和所述第二原始融合模型进行训练，得到所述第一融合模型和所述第二融合模型。

9.根据权利要求8所述的融合方法，其特征在于，通过所述训练样本集合对所述第一原始融合模型和所述第二原始融合模型进行训练包括：

通过多组子训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像对所述第一原始融合模型进行训练，得到训练完成的初始第一融合模型，其中，每组子训练样本图像为在所述相同位置以不同曝光补偿值对所述第一预设场景拍摄得到的多张第一原始图像；

通过所述多组训练样本图像和基于每组训练样本图像中的多张第一原始图像融合得到的融合图像对所述初始第一融合模型和所述第二原始融合模型进行训练，得到所述第一融合模型和所述第二融合模型。

10.一种高动态范围图像的融合装置，其特征在于，包括：

获取单元，用于获取目标场景的多张待融合图像，其中，所述多张待融合图像的尺度相同，且至少两张待融合图像的曝光补偿值不同；

第一融合单元，用于根据第一融合模型对所述多张待融合图像进行第一融合，得到第一融合图像；

第二融合单元，用于采用第二融合模型对所述第一融合图像和所述多张待融合图像进行第二融合，得到目标融合图像。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至9中任一项所述的方法的步骤。

12.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至9中任一项所述的方法的步骤。

Images