CN112689099A - 一种面向双镜头相机的无重影高动态范围成像方法及装置 - Google Patents

Abstract

本发明实施例提供了一种面向双镜头相机的无重影高动态范围成像方法及装置，获取双镜头相机在同一时刻采集的一张长曝光图像和一张短曝光图像；将所述长曝光图像和所述短曝光图像输入无重影高动态范围成像的主图像增强模型，以使得所述主图像增强模型执行如下操作，获得高动态范围图像：基于所述短曝光图像，对所述长曝光图像进行对齐调整，获得对齐图像；基于所述对齐图像，对所述短曝光图像进行曝光调整以及降噪处理，获得降噪图像；对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像。通过本方案，可以获得面向双镜头相机的无重影的高动态范围图像，提高双镜头相机的成像质量。

Description

一种面向双镜头相机的无重影高动态范围成像方法及装置

技术领域

本发明涉及数字图像处理技术领域，特别是涉及一种面向双镜头相机的无重影高动态范围成像方法及装置。

背景技术

随着技术的发展，双镜头相机被越来越多地应用于移动终端。由于移动终端通常为普通消费级别的电子设备，因此，用于移动终端的双镜头相机受到硬件限制，通常只能拍摄得到曝光范围很小的低动态范围图像，远远达不到高动态范围图像的质量。对此，为了提高双镜头相机的成像质量，可以利用同一时间拍摄的两张曝光不同的低动态范围图像，合成高动态范围图像。

相关技术中，可以对两张低动态范围图像进行对齐调整，得到对齐后的图像，将对齐后的图像和两张低动态范围图像中曝光时间更短的短曝光图像的像素值融合在一张图像中，得到高动态范围图像。其中，对齐调整可以包括：寻找两张图像中像素的一一对应关系，并按照该对应关系，利用短曝光图像，重构两张低动态范围图像中曝光时间更长的长曝光图像，得到对齐后的图像。

但是，由于上述两张低动态范围图像的曝光时间不同，因此，对齐后的图像中往往存在没有准确对应的像素，对齐后的图像存在错误对齐的区域，导致高动态范围图像产生重影。

发明内容

本发明实施例的目的在于提供一种面向双镜头相机的无重影高动态范围成像方法及装置，用以解决双镜头相机的高动态范围图像存在重影的问题。具体技术方案如下：

第一方面，本发明实施例提供了一种面向双镜头相机的无重影高动态范围成像方法，所述方法包括：

获取双镜头相机在同一时刻采集的一张长曝光图像和一张短曝光图像；

将所述长曝光图像和所述短曝光图像输入无重影高动态范围成像的主图像增强模型，以使得所述主图像增强模型执行如下操作，获得高动态范围图像：

基于所述短曝光图像，对所述长曝光图像进行对齐调整，获得对齐图像；

基于所述对齐图像，对所述短曝光图像进行曝光调整以及降噪处理，获得降噪图像；

对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像。

第二方面，本发明实施例提供了一种面向双镜头相机的无重影高动态范围成像装置，所述装置包括：

输入获取模块，用于获取双镜头相机在同一时刻采集的一张长曝光图像和一张短曝光图像；

图像处理模块，用于将所述长曝光图像和所述短曝光图像输入无重影高动态范围成像的主图像增强模型，以使得所述主图像增强模型执行如下操作，获得高动态范围图像：

基于所述短曝光图像，对所述长曝光图像进行对齐调整，获得对齐图像；

基于所述对齐图像，对所述短曝光图像进行曝光调整以及降噪处理，获得降噪图像；

对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像。

本发明实施例有益效果：

本发明实施例提供的方案中，将双镜头相机在同一时刻采集的一张长曝光图像和一张短曝光图像，输入无重影高动态范围成像的主图像增强模型，进而该主图像增强模型可以基于短曝光图像，对长曝光图像进行对齐调整，获得对齐图像；基于对齐图像，对短曝光图像进行曝光调整以及降噪处理，获得降噪图像；对短曝光图像和降噪图像进行融合，得到高动态范围图像。其中，基于对齐图像对短曝光图像进行曝光调整以及降噪处理，得到降噪图像，可以保证对齐图像对曝光调整和降噪处理产生贡献。因此，可以在将对齐图像包含的信息通过曝光调整和降噪处理加入降噪图像的同时，保证降噪图像中像素的位置不会受到对齐图像的影响，避免重影的产生，进而对短曝光图像和降噪图像进行融合，得到的高动态范围图像不存在重影。可见，通过本方案，可以获得面向双镜头相机的无重影的高动态范围图像，提高双镜头相机的成像质量。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明一实施例提供的一种面向双镜头相机的无重影高动态范围成像方法的流程示意图；

图2为本发明另一实施例提供的一种面向双镜头相机的无重影高动态范围成像方法中，对齐图像的获取流程示例图；

图3为本发明另一实施例提供的一种面向双镜头相机的无重影高动态范围成像方法中，降噪图像的获取流程示例图；

图4为本发明另一实施例提供的一种面向双镜头相机的无重影高动态范围成像方法的示例图；

图5为本发明一实施例提供的一种面向双镜头相机的无重影高动态范围成像装置的结构示意图；

图6为本发明一实施例提供的电子设备的结构示意图

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的一种面向双镜头相机的无重影高动态范围成像方法，可以应用于双镜头相机或者采用双镜头采集图像的电子设备，例如双镜头的移动终端，可穿戴设备等等。

如图1所示，本发明一实施例提供的一种面向双镜头相机的无重影高动态范围成像方法的流程，其该方法可以包括如下步骤：

S101，获取双镜头相机在同一时刻采集的一张长曝光图像和一张短曝光图像。

在具体应用中，双镜头相机的两个镜头可以是相同型号的镜头。并且，上述一张长曝光图像和一张短曝光图像为同一拍摄对象的图像。其中，长曝光图像的曝光时间大于短曝光图像的曝光时间。

S102，将长曝光图像和短曝光图像输入无重影高动态范围成像的主图像增强模型，以使得主图像增强模型执行步骤S1021至S1023的操作，获得高动态范围图像。

S1021，基于短曝光图像，对长曝光图像进行对齐调整，获得对齐图像。

在具体应用中，基于短曝光图像，对长曝光图像进行对齐调整，获得对齐图像的具体方式，可以是多种的。示例性的，可以对短曝光图像和长曝光图像中的像素点，进行一一对齐，利用短曝光图像中像素点的信息调整长曝光图像中像素点的信息，获得对齐图像。或者，示例性的，可以利用长曝光图像对短曝光图像进行曝光调整，得到第一软曝光图像；将长曝光图像和第一软曝光图像，输入预先训练得到的图像匹配卷积神经子网络，以使得图像匹配卷积神经子网络将长曝光图像调整为与第一软曝光图像对齐的图像，得到对齐图像。为了便于理解和合理布局，后续以可选实施例的形式对第二种示例性情况进行具体说明。

S1022，基于对齐图像，对短曝光图像进行曝光调整以及降噪处理，获得降噪图像。

基于对齐图像，对短曝光图像进行曝光调整以及降噪处理时，具体可以参考对齐图像的像素，获取用于对短曝光图像本身的像素进行调整以及降噪的信息，从而按照所获取的信息对短曝光图像进行曝光调整以及降噪处理。为了便于理解和合理布局，后续以可选实施例的形式对基于对齐图像，对短曝光图像进行曝光调整以及降噪处理，获得降噪图像的具体方式进行说明。

S1023，对短曝光图像和降噪图像进行融合，得到高动态范围图像。

降噪图像是基于对齐图像得到的，因此，包含有长曝光图像的信息。以此为基础，对短曝光图像和降噪图像进行融合，可以保证融合得到的图像包含短曝光和长曝光图像中的信息，是曝光范围高于短曝光图像和长曝光图像的高动态范围图像。为了便于理解和合理布局，后续以可选实施例的形式具体说明对短曝光图像和降噪图像进行融合，得到高动态范围图像的过程。

本发明实施例提供的方案中，基于对齐图像对短曝光图像进行曝光调整以及降噪处理，得到降噪图像，可以保证对齐图像对曝光调整和降噪处理产生贡献。因此，可以在将对齐图像包含的信息通过曝光调整和降噪处理加入降噪图像的同时，保证降噪图像中像素的位置不会受到对齐图像的影响，避免重影的产生，进而对短曝光图像和降噪图像进行融合，得到的高动态范围图像不存在重影。可见，通过本方案，可以获得面向双镜头相机的无重影的高动态范围图像，提高双镜头相机的成像质量。

在一种可选的实施方式中，上述基于短曝光图像，对长曝光图像进行对齐调整，获得对齐图像，具体可以包括如下步骤A1至A2：

A1，利用长曝光图像对短曝光图像进行曝光调整，得到第一软曝光图像；

A2，将长曝光图像和第一软曝光图像，输入预先训练得到的图像匹配卷积神经子网络，以使得图像匹配卷积神经子网络将长曝光图像调整为与第一软曝光图像对齐的图像，得到对齐图像；

其中，图像匹配卷积神经子网络为利用多个样本长曝光图像，多个样本短曝光图像以及每个样本短曝光图像分别对应的真实长曝光图像训练得到的网络；任一短曝光图像对应的真实长曝光图像为双镜头相机对该短曝光图像进行物理长曝光得到的图像。

本可选实施例通过利用长曝光图像对短曝光图像进行曝光调整，相当于模拟相机的物理曝光，从而实现对短曝光图像的软曝光。并且，利用第一软曝光图像获取对齐图像，与直接利用短曝光获取对齐图像相比，利用长曝光图像获得的第一软曝光图像与长曝光图像的曝光更加相似，因此，可以降低对齐调整的复杂度，使得对齐调整更容易实现。

在一种可选的实施方式中，上述步骤A1：利用长曝光图像对短曝光图像进行曝光调整，得到第一软曝光图像，具体可以包括如下步骤：

获取长曝光图像的直方图，作为目标直方图；

对短曝光图像进行曝光调整，并获取调整后的短曝光图像的直方图，作为待调整直方图；

将待调整直方图调整至与目标直方图之间的差异值满足预设差异条件，得到调整后的直方图，并将调整后的直方图对应的图像作为第一软曝光图像。

本可选实施例利用直方图的调整，也就是直方图的均衡化实现软曝光，可以降低对长曝光图像和短曝光图像之间匹配对齐的要求，进一步降低获取对齐图像的复杂度。

在一种可选的实施方式中，上述步骤A2中的：图像匹配卷积神经子网络将长曝光图像调整为与第一软曝光图像对齐的图像，得到对齐图像，具体可以包括如下步骤：

提取长曝光图像的深度特征作为第一深度特征，以及提取第一软曝光图像的深度特征作为第二深度特征；

将第一深度特征和所述第二深度特征映射为一个四维特征，作为第一四维特征；第一四维特征为用于反映第一深度特征和第二深度特征的特征；

利用三维调节网络将第一四维特征调节为三维特征；

针对三维特征中的每个像素点，将该像素点与长曝光图像中相应位置的像素点进行加权平均，得到对齐图像。

示例性的，如图2所示。对于输入图像匹配卷积神经子网络的长曝光图像I^L和第一软曝光图像I^SE’，首先通过残差网络分别提取长曝光图像I^L的深度特征F^L，以及第一软曝光图像I^SE’的深度特征F^SE’。其中，F^L即为第一深度特征，F^SE’即为第二深度特征。并且，残差网络第一层为5×5的卷积，步长为2，接着是8个相同的残差模块，每个残差模块由2个卷积核大小是3×3的卷积层和一个连接层组成，最后一层是1个卷积核大小是3×3的卷积层。得到深度特征F^L与F^SE’后，在第一软曝光图像I^SE’的每个像素点(j,i)，以及长曝光图像I^L中的对应像素点(j,i+k)之间，建立一个四维特征，得到第一四维特征V^A。然后将第一四维特征输入到一个三维正则化网络中。该三维正则化网络依次包括：多个3×3×3的卷积层，4个残差模块，一层3×3×3的转置卷积层，以及一个激活函数为softmax的激活层。其中，每个残差模块由一个3×3×3的转置卷积层加一个残差连接组成。该三维正则化网络的输出结果为三维特征W^A。当获得三维特征W^A后，对齐图像I^LA的每一个像素点(j,i)的值，就能由I^L中对应的候选像素点加权平均得到。

其中，第一四维特征V^A，如下式所示：

Concat代表张量连接，

代表第一四维特征V^A的元素点(j_V,i_V,k_V)的特征值，

代表像素点(j,i)的深度特征，

代表像素点(j,i+k)的深度特征。由此，第一四维特征V^A的元素点(j_V,i_V,k_V)的特征值是根据深度特征F^L中像素点(j,i+k)的深度特征

与F^SE’像素点(j,i)的深度特征

进行张量连接得到的。由于输入图像对的像素间存在一维相对运动，对每个像素点(j,i)的对应的候选像素点的范围被定义为(j,i)到(j,i+d-1)，其中超参数d为相对最大距离，例如，可以为图像宽度的20％，也就是说k可以为d-1。

然后，将第一四维特征V^A输入三维正则化网络以估算空间为h×w×d的三维特征W^A。当获得三维特征W^A后，针对三维特征中的每个元素点，将该像素点与长曝光图像中相应位置的像素点进行加权平均，得到对齐图像，即下式：

其中，

为像素点(j,i)在对齐图像上的像素值，

为三维特征的元素点(j_V,i_V,k_V)的特征值，

为像素点(j,i+k)在长曝光图像上的像素值。

在具体应用中，可以将同一时刻拍摄的一个样本长曝光图像，一个样本短曝光图像以及相应的真实长曝光图像作为一对样本图像，一对样本图像可以由分别对应的真实长曝光图像可以由两台曝光时间不同、型号相同的相机在同一时刻拍摄得到。示例性的，多对样本图像的数量可以是1000对。并且，可以使用结构相似性(Structural SIMilarity，SSIM，一种衡量两幅图像相似度的指标)作为度量函数定义第一损失函数L₂，以用于对图像匹配卷积神经子网络的训练。其中，第一损失函数L₂定义为如下公式(1)：

L₂＝1-SSIM(I^LA,G^SE)；

其中，I^LA为对齐图像，G^SE为样本短曝光图像对应的真实长曝光图像。以此为基础，图像匹配卷积神经子网络的训练，具体可以包括：利用多个样本长曝光图像，多个样本短曝光图像对预先构建的图像匹配卷积神经子网络进行训练，得到图像匹配卷积神经子网络输出的样本对齐图像；利用样本对齐图像和获取该样本对齐图像所利用的样本短曝光图像对应的真实长曝光图像，以及第一损失函数L₂，以最小化第一损失函数为目标，调整进行训练的图像匹配卷积神经子网络的网络参数，当目标达成时，完成对图像匹配卷积神经子网络的训练。

在一种可选的实施方式中，上述基于对齐图像，对短曝光图像进行曝光调整以及降噪处理，获得降噪图像，具体可以包括如下步骤B1至步骤B2：

步骤B1，利用对齐图像对短曝光图像进行曝光调整，得到第二软曝光图像；

步骤B2，将对齐图像和第二软曝光图像，输入预先训练得到的三维引导降噪卷积神经子网络，以使得三维引导降噪卷积神经子网络按照对齐图像对第二软曝光图像进行降噪，得到降噪图像；其中，三维引导降噪神经子网络为利用多个样本对齐图像，多个样本短曝光图像以及多个所述真实长曝光图像训练得到的网络。

在具体应用中，步骤B1可以包括：获取对齐图像的直方图，作为第二目标直方图；对短曝光图像进行曝光调整，并获取调整后的短曝光图像的直方图，作为第二待调整直方图；将第二待调整直方图调整至与第二目标直方图之间的差异值满足预设差异条件，得到调整后的直方图，并将调整后的直方图对应的图像作为第二软曝光图像。本可选实施例中，利用对齐图像获取第二软曝光图像，有利于提高软曝光的准确度。其中，预设差异条件与本发明步骤A1中的预设差异条件相似，区别在于输入的图像不同。

在一种可选的实施方式中，上述三维引导降噪卷积神经子网络按照对齐图像对第二软曝光图像进行降噪，得到降噪图像，具体可以包括如下步骤：

将对齐图像和第二软曝光图像映射为一个四维特征，作为第二四维特征；第二四维特征用于反映所述对齐图像中各像素点和第二软曝光图像中相应的像素点的特征；

利用预设的三维滤波权重，对第二四维特征进行加权平均处理，得到降噪图像。

得到的降噪图像

的每一个像素点(j,i)都是由第二软曝光图像I^SE对应的像素的邻近像素进行加权平均得到的。其中，权重矩阵W^D由一个三维U-型网络学习得到。该三维U-型网络的输入为一个由第二软曝光图像I^SE与对齐图像I^LA通过映射构建的空间为h×w×s²×m的第二四维特征V^D。其中，h为第二四维特征V^D的高，w为第二四维特征V^D的宽，s²为第二四维特征V^D的长，m为第二四维特征V^D中三维切片的数量。该三维U-型网络的前14层为相同的卷积核大小为3×3×3的卷积层，接着为4个残差模块，每个残差模块由一次3×3×3的转置卷积层加一个残差连接组成，最后为一层3×3×3转置卷积层与一个基于softmax的归一化层。

其中，降噪图像

的每一个像素点(j,i)都是由第二软曝光图像I^SE对应的像素的邻近像素进行加权平均得到的，即如下公式(2)：

其中，Ω(j,i)是一个长宽都为s的矩形区域，且区域的中心为像素点(j,i)。r为窗口半径。滤波权重W^D是一个空间为h×w×s²的三维的权重，该权重可以由三维联合降噪卷积神经网络训练得到。示例性的，如图3所示。在图像层面的处理流程可以包括：首先使用输入图像：第二软曝光图像I^SE与对齐图像I^LA去构建一个空间为h×w×s²×m的第二四维特征V^D；得到第二四维特征V^D后，本发明使用三维U-型网络从中学习滤波权重W^D。三维U-型网络类似于传统的U-型网络，区别在于本发明使用三维卷积而不是二维卷积。在得到滤波权重W^D后，就能用公式(2)得到降噪图像

针对每一个像素点(j,i)的像素层面的处理流程：以该像素点为中心的矩形区域，也就是二维临近像素区Ω(j,i)需要被重塑为一维切片；对于Ω(j,i)中的每一个像素点(j’,i’)，在第二四维特征V^D与滤波权重W^D的特征值与权重值分别为

与

每个Ω(j,i)区域的像素点(j’,i’)与中心像素点(j,i)对应的四维特征是由I^SE与I^SA中像素点(j’,i’)的像素值、I^SA的中心点(j,i)的像素值以及像素点(j,i)与像素点(j’,i’)两点的几何距离D_gm((j',i')(j,i))＝(j-j')²+(i-i')²共同决定的，即下式：

其中，Concat代表张量连接，V_{j,i,(j'-j+r)·s+(i'-i+r)}代表第二四维特征的元素点(j_V,i_V,(j'_V-j_V+r)·s+(i'_V-i_V+r))的特征值，

代表像素点(j’,i’)在第二软曝光图像上的像素值，

代表像素点(j,i)在对齐图像上的像素值，

代表像素点(j,i)的第二软曝光图像上的像素值。其中，(j’,i’)和(j,i)均为第二软曝光图像中的像素点。D_gm((j',i')(j,i))代表像素点(j,i)与像素点(j’,i’)两点间的几何距离。

在三维联合降噪卷积神经网络的训练中，本发明使用结构相似性SSIM作为度量函数，并将损失函数定义为：

其中，L₁为第二损失函数，G^SE是主图像的实际真实长曝光图像，α是全局调整曲线。本发明进行全局调整，使降噪图像

和实际的真实长曝光图像G^SE之间的曝光差异最小化，从而避免这种差异影响降噪质量的评价。全局调整曲线α是由降噪图像

和实际的真实长曝光图像G^SE估算得到，包含动态范围为0-255的256个点。其中，全局调整曲线α中每个点的计算方法如下公式(3)：

其中，

对应于公式(3)，χ'具体取值为降噪图像中像素点(j,i)的像素值

χ具体取值为实际的真实长曝光图像G^SE中像素点的像素值。

在一种可选的实施方式中，上述对短曝光图像和降噪图像进行融合，得到高动态范围图像，具体可以包括如下步骤：

将短曝光图像和降噪图像，输入预先训练得到的图像融合卷积神经子网络，以使得图像融合卷积神经子网络对短曝光图像和所述降噪图像进行融合，得到高动态范围图像；

其中，图像融合卷积神经子网络为利用多个样本短曝光图像，多个样本降噪图像以及每个样本短曝光图像对应的真实高动态范围图像训练得到的网络；任一样本短曝光图像对应的真实高动态范围图像为用于采集高动态范围图像的相机在该样本短曝光图像的采集时刻采集的图像。

在一种可选的实施方式中，上述图像融合卷积神经子网络对短曝光图像和降噪图像进行融合，得到高动态范围图像，具体可以包括如下步骤：

利用预先设置的调和权重对短曝光图像和降噪图像进行加权处理，得到高动态范围图像。

在具体应用中，上述图像融合卷积神经网络的输入可以包括短曝光图像I^S与降噪图像

该图像融合卷积神经网络直接建立了一个残差网络去学习短曝光图像I^S与降噪图像

在每个像素点的融合权重，以得到高动态范围图像I^HDR，如下式：

其中，W^B为融合权重。

在图像融合卷积神经网络的训练中，本发明使用结构相似性SSIM作为度量函数，并将损失函数定义为：

L₃＝1-SSIM(I^HDR,G^HDR)；

其中，L₃为第三损失函数，G^HDR是实际的真实高动态范围图像。

示例性的，本发明可以使用TensorFlow(一个核心开源库，可以用于开发和训练机器学习模型)实现。所有神经网络使用RMSProp(Root Mean Square prop，是一种用于深度学习梯度计算的方法)优化，学习率设为0.001。将用于训练的数据集中的图像随机分为包含700对图像的训练集和包含300对图像的测试集。所有程序代码可以运行在带有英特尔I7处理器和4块NVIDIA 1080Ti GPU的服务器上。在训练阶段，本发明使用来自数据集的分辨率为416x576的图像。在测试阶段，本发明测试了三个分辨率级别，即分辨率级别level1：832x1184)、分辨率级别level2：416x576和分辨率级别level3：192x288。

为了便于理解，对上述本发明实施例和可选实施例进行整合，得到本发明另一实施例提供的一种面向双镜头相机的无重影高动态范围成像方法，下面以示例性说明的形式进行具体描述。示例性的，如图4所示。利用长曝光图像I^L对短曝光图像I^S进行曝光调整实现软曝光，得到软曝光结果：第一软曝光图像I^SE’。将长曝光图像I^L和第一软曝光图像I^SE’，输入图像匹配卷积神经网络即相对于整个成像方法的图像匹配卷积神经子网络，得到对齐结果：对齐图像I^LA。利用对齐图像I^LA对短曝光图像I^S进行曝光调整实现软曝光，得到第软曝光结果：第二软曝光图像I^SE。步骤B2，将对齐图像I^LA和第二软曝光图像I^SE，输入三维联合降噪卷积神经网络即对于整个成像方法的三维引导降噪卷积神经子网络，得到联合降噪结果：降噪图像

将短曝光图像I^S和降噪图像

输入图像融合卷积神经网络即对于整个成像方法的图像融合卷积神经子网络，得到高动态范围成像结果：高动态范围图像I^HDR。

相应于上述方法实施例，本发明实施例还提供一种面向双镜头相机的无重影高动态范围成像装置。

如图5所示，本发明一实施例提供的一种面向双镜头相机的无重影高动态范围成像装置的结构，该装置可以包括：

输入获取模块501，用于获取双镜头相机在同一时刻采集的一张长曝光图像和一张短曝光图像；

图像处理模块502，用于将所述长曝光图像和所述短曝光图像输入无重影高动态范围成像的主图像增强模型，以使得所述主图像增强模型执行如下操作，获得高动态范围图像：

基于所述短曝光图像，对所述长曝光图像进行对齐调整，获得对齐图像；

基于所述对齐图像，对所述短曝光图像进行曝光调整以及降噪处理，获得降噪图像；

对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像。

本发明实施例提供的方案中，基于对齐图像对短曝光图像进行曝光调整以及降噪处理，得到降噪图像，可以保证对齐图像对曝光调整和降噪处理产生贡献。因此，可以在将对齐图像包含的信息通过曝光调整和降噪处理加入降噪图像的同时，保证降噪图像中像素的位置不会受到对齐图像的影响，避免重影的产生，进而对短曝光图像和降噪图像进行融合，得到的高动态范围图像不存在重影。可见，通过本方案，可以获得面向双镜头相机的无重影的高动态范围图像，提高双镜头相机的成像质量。

在一种可选的实施方式中，上述图像处理模块502，具体用于：

利用所述长曝光图像对所述短曝光图像进行曝光调整，得到第一软曝光图像；

将所述长曝光图像和所述第一软曝光图像，输入预先训练得到的图像匹配卷积神经子网络，以使得所述图像匹配卷积神经子网络将所述长曝光图像调整为与所述第一软曝光图像对齐的图像，得到对齐图像；

其中，所述图像匹配卷积神经子网络为利用多个样本长曝光图像，多个样本短曝光图像以及每个样本短曝光图像分别对应的真实长曝光图像训练得到的网络；任一短曝光图像对应的真实长曝光图像为所述双镜头相机对该短曝光图像进行物理长曝光得到的图像。

本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，

存储器603，用于存放计算机程序；

处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：

获取双镜头相机在同一时刻采集的一张长曝光图像和一张短曝光图像；

将所述长曝光图像和所述短曝光图像输入无重影高动态范围成像的主图像增强模型，以使得所述主图像增强模型执行如下操作，获得高动态范围图像：

基于所述短曝光图像，对所述长曝光图像进行对齐调整，获得对齐图像；

基于所述对齐图像，对所述短曝光图像进行曝光调整以及降噪处理，获得降噪图像；

对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像。

本发明实施例提供的方案中，基于对齐图像对短曝光图像进行曝光调整以及降噪处理，得到降噪图像，可以保证对齐图像对曝光调整和降噪处理产生贡献。因此，可以在将对齐图像包含的信息通过曝光调整和降噪处理加入降噪图像的同时，保证降噪图像中像素的位置不会受到对齐图像的影响，避免重影的产生，进而对短曝光图像和降噪图像进行融合，得到的高动态范围图像不存在重影。可见，通过本方案，可以获得面向双镜头相机的无重影的高动态范围图像，提高双镜头相机的成像质量。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一面向双镜头相机的无重影高动态范围成像方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一面向双镜头相机的无重影高动态范围成像方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种面向双镜头相机的无重影高动态范围成像方法，其特征在于，所述方法包括：

获取双镜头相机在同一时刻采集的一张长曝光图像和一张短曝光图像；

将所述长曝光图像和所述短曝光图像输入无重影高动态范围成像的主图像增强模型，以使得所述主图像增强模型执行如下操作，获得高动态范围图像：

基于所述短曝光图像，对所述长曝光图像进行对齐调整，获得对齐图像；

基于所述对齐图像，对所述短曝光图像进行曝光调整以及降噪处理，获得降噪图像；

对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述短曝光图像，对所述长曝光图像进行对齐调整，获得对齐图像，包括：

利用所述长曝光图像对所述短曝光图像进行曝光调整，得到第一软曝光图像；

将所述长曝光图像和所述第一软曝光图像，输入预先训练得到的图像匹配卷积神经子网络，以使得所述图像匹配卷积神经子网络将所述长曝光图像调整为与所述第一软曝光图像对齐的图像，得到对齐图像；

其中，所述图像匹配卷积神经子网络为利用多个样本长曝光图像，多个样本短曝光图像以及每个样本短曝光图像分别对应的真实长曝光图像训练得到的网络；任一短曝光图像对应的真实长曝光图像为所述双镜头相机对该短曝光图像进行物理长曝光得到的图像。

3.根据权利要求2所述的方法，其特征在于，所述利用所述长曝光图像对所述短曝光图像进行曝光调整，得到第一软曝光图像，包括：

获取所述长曝光图像的直方图，作为目标直方图；

对所述短曝光图像进行曝光调整，并获取调整后的短曝光图像的直方图，作为待调整直方图；

将所述待调整直方图调整至与所述目标直方图之间的差异值满足预设差异条件，得到调整后的直方图，并将所述调整后的直方图对应的图像作为所述第一软曝光图像。

4.根据权利要求2所述的方法，其特征在于，所述图像匹配卷积神经子网络将所述长曝光图像调整为与所述第一软曝光图像对齐的图像，得到对齐图像，包括：

提取所述长曝光图像的深度特征作为第一深度特征，以及提取所述第一软曝光图像的深度特征作为第二深度特征；

将所述第一深度特征和所述第二深度特征映射为一个四维特征，作为第一四维特征；所述第一四维特征为用于反映所述第一深度特征和所述第二深度特征的特征；

利用三维调节网络将所述第一四维特征调节为三维特征；

针对所述三维特征中的每个像素点，将该像素点与所述长曝光图像中相应位置的像素点进行加权平均，得到所述对齐图像。

5.根据权利要求1所述的方法，其特征在于，所述基于所述对齐图像，对所述短曝光图像进行曝光调整以及降噪处理，获得降噪图像，包括：

利用所述对齐图像对所述短曝光图像进行曝光调整，得到第二软曝光图像；

将所述对齐图像和所述第二软曝光图像，输入预先训练得到的三维引导降噪卷积神经子网络，以使得所述三维引导降噪卷积神经子网络按照所述对齐图像对所述第二软曝光图像进行降噪，得到降噪图像；

其中，所述三维引导降噪神经子网络为利用多个样本对齐图像，所述多个样本短曝光图像以及多个所述真实长曝光图像训练得到的网络。

6.根据权利要求5所述的方法，其特征在于，所述三维引导降噪卷积神经子网络按照所述对齐图像对所述第二软曝光图像进行降噪，得到降噪图像，包括：

将所述对齐图像和第二软曝光图像映射为一个四维特征，作为第二四维特征；所述第二四维特征用于反映所述对齐图像中各像素点和所述第二软曝光图像中相应的像素点的特征；

利用预设的三维滤波权重，对所述第二四维特征进行加权平均处理，得到所述降噪图像。

7.根据权利要求1所述的方法，其特征在于，所述对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像，包括：

将所述短曝光图像和所述降噪图像，输入预先训练得到的图像融合卷积神经子网络，以使得所述图像融合卷积神经子网络对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像；

其中，所述图像融合卷积神经子网络为利用所述多个样本短曝光图像，多个样本降噪图像以及每个样本短曝光图像对应的真实高动态范围图像训练得到的网络；任一样本短曝光图像对应的真实高动态范围图像为用于采集高动态范围图像的相机在该样本短曝光图像的采集时刻采集的图像。

8.根据权利要求7所述的方法，其特征在于，所述图像融合卷积神经子网络对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像，包括：

利用预先设置的调和权重对所述短曝光图像和所述降噪图像进行加权处理，得到所述高动态范围图像。

9.一种面向双镜头相机的无重影高动态范围成像装置，其特征在于，所述装置包括：

输入获取模块，用于获取双镜头相机在同一时刻采集的一张长曝光图像和一张短曝光图像；

图像处理模块，用于将所述长曝光图像和所述短曝光图像输入无重影高动态范围成像的主图像增强模型，以使得所述主图像增强模型执行如下操作，获得高动态范围图像：

基于所述短曝光图像，对所述长曝光图像进行对齐调整，获得对齐图像；

基于所述对齐图像，对所述短曝光图像进行曝光调整以及降噪处理，获得降噪图像；

对所述短曝光图像和所述降噪图像进行融合，得到所述高动态范围图像。

10.根据权利要求9所述的装置，其特征在于，所述图像处理模块，具体用于：

利用所述长曝光图像对所述短曝光图像进行曝光调整，得到第一软曝光图像；

将所述长曝光图像和所述第一软曝光图像，输入预先训练得到的图像匹配卷积神经子网络，以使得所述图像匹配卷积神经子网络将所述长曝光图像调整为与所述第一软曝光图像对齐的图像，得到对齐图像；

其中，所述图像匹配卷积神经子网络为利用多个样本长曝光图像，多个样本短曝光图像以及每个样本短曝光图像分别对应的真实长曝光图像训练得到的网络；任一短曝光图像对应的真实长曝光图像为所述双镜头相机对该短曝光图像进行物理长曝光得到的图像。

Images