CN111292264B

CN111292264B - 一种基于深度学习的图像高动态范围重建方法

Info

Publication number: CN111292264B
Application number: CN202010072803.3A
Authority: CN
Inventors: 肖春霞; 刘文焘
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2020-01-21
Filing date: 2020-01-21
Publication date: 2023-04-21
Anticipated expiration: 2040-01-21
Also published as: CN111292264A

Abstract

本发明公开了一种基于深度学习的图像高动态范围重建方法，属于计算摄影学和数字图像处理领域。发明采用基于深度学习的方法建立了一个从单幅LDR图像到HDR图像的映射网络。方法首先从收集到的HDR数据集中分别依次生成LDR训练数据、亮度单位对齐的HDR样本标签和高亮度区域的掩码图像。然后构建并训练神经网络以得到具有LDR到HDR映射关系的网络模型。最后利用训练得到的生成网络模型，直接将LDR图像输入至网络模型，即可输出其重建的HDR图像。该发明可以从单幅普通数字图像中有效地重建出真实场景的动态范围，可用于普通数字图像的HDR模拟效果显示或为基于图像照明技术提供更逼真的渲染效果。

Description

一种基于深度学习的图像高动态范围重建方法

技术领域

本发明属于计算摄影学和数字图像处理领域，涉及图像的高动态范围重建方法，尤其是基于深度学习的图像高动态范围重建方法。

背景技术

高动态范围成像(High Dynamic Range Imaging,HDRI)技术是用来实现比普通数字图像更大曝光范围的一种图像表示方法，高动态范围(High Dynamic Range,HDR)图像可以提供比普通数字图像更大的亮度变化范围和更多的明暗细节，这使得HDR图像能够呈现更加接近真实场景的亮度变化信息。近年来，随着显示设备的不断进化和基于物理渲染的需求提高，高动态范围成像技术在实际应用中变得越来越重要。然而，目前直接获取HDR图像的方法需要较高的专业技能，成本较高且耗时。针对从单幅普通数字图像中重建HDR的方法，传统方法只能通过增加约束的方法来尽可能减少问题的非适定性，这使得它们只能针对某些特定应用场景有效。一些学者也基于深度学习做了一些卓有成效的工作，但他们未能考虑到诸如HDR图片间的亮度等级不变性等因素导致重建效果有局限性。该发明可以从单幅普通数字图像中有效地重建出真实场景的动态范围，可用于普通数字图像的HDR模拟效果显示或为基于图像照明技术提供更逼真的渲染效果。

发明内容

本发明的目的是从单张普通数字图像中尽可能恢复原场景的高动态范围图像。这里普通数字图像是指以8位颜色深度、256色阶保存的低动态范围(Low Dynamic Range,LDR)图像，高动态范围图像指以“.EXR”或“.HDR”等格式保存的接近真实场景明暗变化的高动态范围图像。

为了达到上述目的，本发明采用基于深度学习的方法建立了一个从LDR图像到HDR图像的映射网络，通过训练数据对网络进行学习训练，使其建立一个端到端的LDR图像到HDR图像的映射关系，整体框架图如附图1所示。算法分为数据预处理和深度神经网络训练两个部分。数据预处理部分包括训练样本对的生成、HDR图像亮度单位的对齐和图像高光区域掩码的生成三个部分。神经网络结构分为基本HDR重建网络和训练优化网络，如附图2所示。其损失函数包括三项，分别为HDR重建图像的尺度不变损失、高光区域分类的交叉熵损失和生成对抗损失。

该方法具体包括以下内容和步骤：

一、数据预处理

1)生成LDR训练样本输入

在使用深度神经网络进行有监督训练之前，需要获取对应网络输入输出的训练数据集。训练数据集包含若干LDR-HDR图像对，其中HDR图像数据可使用现有可用的HDR图片，该数据作为训练样本的标签，用于监督网络的训练；LDR图像数据作为HDR图像对应的样本输入，需要从原HDR图像中生成，其生成方法有两中途径，一是使用色调映射算法完成从HDR图片到LDR图片的生成，二是通过构建虚拟相机的方式以HDR图像作为模拟场景对齐进行模拟拍摄从而得到LDR图片。

使用色调映射算法生成LDR图像：选择一种适当的色调映射算法，直接将HDR图像作为算法输入即可得到对应的LDR图像输出。

通过构建虚拟相机来获取LDR图像：首先基于常用的数码单反相机确定虚拟相机动态范围的取值范围，对于每一次获取LDR图像都随机选取范围内的一个值作为该次模拟拍摄的相机的动态范围；然后虚拟相机根据输入的HDR图像进行自动曝光，对亮度超出虚拟相机动态范围的像素取边界值，再将其线性映射至LDR图像的低动态范围；最后，将所得到的图像从线性空间通过随机选择的近似相机响应函数映射为普通数字图像，即得到所需要的LDR图像。

2)对齐HDR样本标签

对于保存在相对亮度域的HDR图像，在将其作为训练样本标签前，需对齐它们的亮度单位。设原始HDR图像为H，LDR图像转换到线性空间并归一化到[0,1]，设为L，H_l,c,L_l,c分别为图像在位置l，通道c处的像素值，其对齐方法为：

其中

为对齐后的HDR图像，m_l,c定义为

其中τ为[0,1]的常数。对齐后的HDR图像与其对应的LDR图像组成供神经网络训练的训练样本对。

3)生成高光掩码图像

得到对齐的HDR图像后，可以通过二值化的方式获取图像中高亮度区域的掩码图像。该掩码图像中值为1的区域代表场景中拥有较高亮度的物体或表面，如光源、强光反射面等。这些高光区域在LDR图像中往往会由于过曝光而被裁剪亮度，通过从HDR图像生成的高光掩码图像可作为网络优化训练部分的样本标签，用于优化神经网络的训练过程。

二、神经网络的训练

1)神经网络结构

网络结构主要分为生成网络和判别网络两个部分，结构示意图如附图3所示。其中生成网络为一个U-Net结构，网络接受一张LDR图像作为输入，经过由ResNet50模型构成的编码网络和6层“上采样+卷积层”模块构成解码网络后，分别输出一张HDR图像和高光掩码图像。网络输出的HDR图像即为根据LDR输入图像得到的HDR重建图像，而高光掩码图像作为网络对LDR图像中高光区域的预测，可作为优化网络训练的数据。判别器网络为一个由4层卷积层构成的全卷积网络，该判别器接受一张HDR图像与高光掩码图像作为输入，输出一张表征所输入的HDR图像为真实HDR图像或者是网络生成的虚假HDR图像的概率的特征图，该特征图可作为训练神经网络的数据。

2)神经网络的训练方法

该发明采用有监督学习的方式对上述网络进行训练。训练采用Adam优化器分别逐次对生成网络和判别网络进行反向传播优化，其中生成网络共包含三组优化函数，损失函数定义如下：

L_G＝α₁L_hdr+α₂L_mask+α₃L_gan

该损失分别由三个损失函数控制，包括HDR重建图像的尺度不变损失、高光区域分类的交叉熵损失和生成对抗损失。

HDR重建图像的尺度不变损失：该项损失函数依据HDR图像在相对亮度域中具有尺度不变性提出，该项损失控制网络输出的HDR图像使其尽可能与HDR标签值接近。其定义如下：

其中y表示网络输出的HDR图像，

为目标图像，下标l，c分别表示像素位置和颜色通道，

表示在对数域中网络输出与样本标签的差值，∈为一个防止对数计算为零的微小值。该损失第一项即为普通的L₂损失，引入第二项后，该项损失在计算时仅由预测值与样本标签的差值所影响，与预测值或样本标签的实际大小无关。

高光区域分类的交叉熵损失：该项损失控制网络对图片中高亮度区域的检测。网络输出的高光掩码图像为对输入LDR图像中高光区域或非高光区域的分类结果，该结果应与预处理步骤时生成的高光掩码图像尽可能接近。该损失函数定义如下：

其中m,

分别为网络预测值和标签值。

生成对抗损失：该项损失能使网络预测的HDR图像在分布上尽可能接近真实的HDR图像，防止预测结果与标签结果仅在数值差异上减小而忽视整体分布的差异。该损失函数定义如下：

其中D(y)为判别网络以生成网络输出为输入的计算结果。

判别网络的损失函数为标准WGAN-GP损失，该项控制判别网络使其尽可能准确判断输入判别网络的图像是否为真实HDR图像。其定义如下：

其中∈为[0,1]的随机数。

根据上述训练方法对网络进行训练，当损失函数收敛后，生成网络便建立了一个从单张LDR图像到HDR图像的映射关系。利用该训练好的生成网络，即可完成从单幅普通数字图像尽可能重建真实的高动态范围图像的目标。

与现有技术相比，本发明有如下优点：

1.本发明构建了一个端到端的神经网络，仅需一张图片就能重建出足够真实的HDR图像，且无需人工交互的步骤；

2.本发明基于尺度不变性对HDR数据进行对齐和训练网络，能达到更好的重建效果；

3.本发明通过生成高光掩码图像对网络训练进行优化，能获得高亮度区域更好的重建效果。

附图说明

图1是本发明的总框架图；

图2是本发明的深度神经网络结构图；

图3是本发明的效果示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

如图1所示，本发明为一种基于深度学习的图像高动态范围重建方法，包括以下步骤：

步骤1，预处理HDR数据集以构建神经网络的训练数据。首先从收集到的HDR数据集中生成LDR数据，然后使用LDR-HDR数据来对齐HDR数据，再利用对齐后的HDR图像生成高光掩码图像，最后将这三者整合作为神经网络的训练数据。其中LDR数据为数据输入，对齐的HDR数据和高光掩码图像为标签数据。

步骤2，构建并训练神经网络以得到具有LDR到HDR映射关系的网络模型。根据训练策略，逐次轮替地对生成网络和判别网络进行反向传播训练，直到损失函数收敛。此时，生成网络部分即为最终用于重建高动态范围图像的网络模型。

步骤3，根据步骤2训练得到的生成网络模型，直接将待重建的LDR图像输入至网络模型，即可输出其重建的HDR图像。

下面结合实例对该方法进行详细说明。

一、数据预处理

HDR数据集选取现有的公共HDR数据集构成，通过对收集数据进行裁剪、缩放等操作组成一组尺寸、类型相同的数据集。根据此整合的数据集，分别应用显示适应的色调映射(Display Adaptive Tone Mapping)算法和前述的虚拟相机拍摄的方式获取LDR数据。关于色调映射，根据实际应用时图片的类型选取，比如如果应用时的大多图片是未经后期处理拍摄的图片，就选择本实施例这个的方法。如果是针对某处理的图片，就选取一种与后处理效果相近的方式。具体地，对每一张HDR图像，应用显示适应的色调映射算法获取一张LDR图像，再应用随机参数的虚拟相机进行一次拍摄获取一张LDR图像，即每张HDR图像生成两张不同方法获取的LDR图像。生成的LDR图像转换至线性空间，并从范围[0,255]的整数值归一化至[0,1]的小数值。

然后基于每一对LDR-HDR图像对其中的HDR图像进行亮度对齐。对齐方法参照说明内容中的公式进行：

其中

为对齐后的HDR图像，m_l,c定义为

其中τ可为[0,1]的常数，这里取τ＝0.08。将该公式应用到每一对LDR-HDR图像后，得到对齐的HDR图像数据，该数据将作为训练网络时的样本标签，而LDR图像数据作为样本输入。

最后，基于对齐的HDR数据，由如下公式计算高光掩码图像：

其中

为对齐后的HDR图像的通道均值图像，t为常数，这里取t＝e^0.1。该掩码图像将作为训练网络时的另一项样本标签，同HDR图像一起监督网络的学习过程。

二、神经网络训练

神经网络的结构依照附图2所示进行搭建。具体地，对于ResNet50模型，这里使用现有的基于ImageNet数据集的分类任务中已训练好的模型作为该部分网络权重的初始化值；其余每一个网络块都代表一个由卷积层和实例规范化操作以及relu激活函数组成的卷积块；生成网络中decoder部分的输入由上一层卷积块的输出和encoder对称位置的输出拼接而成；对于判别器网络部分，其输入由生成网络的输出组成，在经过四层卷积块后，输出一张判断输入HDR图像是否为真实图像的概率特征图。

其中，生成网络的输出与对应输入的样本标签数据，以及判别网络根据该输出数据计算的到的概率特征图，一同根据如下公式计算生成器损失：

L_G＝α₁L_hdr+α₂L_mask+α₃L_gan

其中y表示网络输出的HDR图像，

为目标图像，下标l，c分别表示像素位置和颜色通道，

其中m,

分别为网络预测值和标签值。

其中D(y)为判别网络以生成网络输出为输入的计算结果。

其中∈为[0,1]的随机数。

其中α₁,α₂,α₃分别取1,0.1,0.02，每一项损失的具体计算公式如发明内容中描述。根据计算得到的损失值，使用Adam优化算法对网络进行反向传播并更新权重。另外，每次更新完生成网络的权重，需要继续计算判别网络的损失并更新判别网络的权重，其更新算法同样使用Adam算法，具体公式如发明内容中描述。

依照上述训练方法，每次交付一对或多对训练数据供网络训练，对整个训练数据集依次循环迭代，直至损失函数收敛，网络即训练完成。

(三)网络模型应用

在网络训练完成后，将生成网络部分的网络及其权重参数提取出来即得到了最终的高动态范围图像的重建模型。利用该模型，每次仅需要一张LDR图片作为输入，即可得到近似真实的HDR图片。附图3展示了一个应用的示例，其中生成网络模型即通过前述方法训练好的神经网络中的生成网络部分，该模型可接受任意尺寸的LDR图片作为输入，并直接输出同尺寸下的HDR重建图像。

本发明基于深度学习提出了一个单张普通数字图像重建高动态范围的方法，可对一般场景的图像进行有效、逼真的高动态范围重建。本发明应用广泛，根据对不同数据集进行训练可以适应不同需求的场景，且对于同一训练集仅需训练一次便可多次应用。

Claims

1.一种基于深度学习的图像高动态范围重建方法，其特征在于，包括以下步骤：

步骤1，基于深度学习的方法建立神经网络，该神经网络包括一个从低动态范围图像到高动态范围图像的生成网络与一个判别高动态网络图像是否真实的判别网络；

步骤2，对HDR数据集进行预处理以构成训练数据，数据预处理分为LDR数据的生成、HDR图像亮度单位的对齐和图像高光区域掩码的生成三个部分，预处理后得到的LDR数据作为生成网络的训练输入数据，输出为一张HDR图像和一张高光掩码图像，数据预处理后的对齐的HDR数据和高光掩码图像作为训练的样本标签数据，判别网络接受一张HDR图像与高光掩码图像作为输入，输出一张表征所输入的HDR图像为真实HDR图像或者是网络生成的虚假HDR图像的概率的特征图；

步骤3，基于三个损失函数训练神经网络，采用有监督学习的方式对神经网络进行训练，训练采用Adam优化器分别逐次对生成网络和判别网络进行反向传播优化，三个损失函数分别为HDR重建图像的尺度不变损失函数、高光区域分类的交叉熵损失函数和生成对抗损失函数，损失函数定义如下：

L_G＝α₁L_hdr+α₂L_mask+α₃L_gan

HDR重建图像的尺度不变损失函数，其定义如下：

其中y表示网络输出的HDR图像，

为对齐后的HDR图像，

表示在对数域中网络输出与样本标签的差值，∈为一个防止对数计算为零的微小值，下标l，c分别表示像素位置和颜色通道；

高光区域分类的交叉熵损失函数，其定义如下：

其中

分别为网络预测值和标签值；

生成对抗损失函数，定义如下：

其中D(y)为判别网络以生成网络输出为输入的计算结果；

根据上述损失函数对网络进行训练，当损失函数收敛后，提取生成网络模型作为最终算法模型。

2.根据权利要求1所述的方法，其特征在于：所述低动态范围图像是指8位颜色深度、256色阶保存的低动态范围图像，所述高动态范围图像指以“.EXR”或“.HDR”格式保存的接近真实场景明暗变化的高动态范围图像。

3.根据权利要求1所述的方法，其特征在于：步骤1中所描述的神经网络包括生成网络和判别网络，其中生成网络为一个U-Net结构，网络接受一张LDR图像作为输入，经过由ResNet50模型构成的编码网络和6层“上采样+卷积层”模块构成解码网络后，分别输出一张HDR图像和高光掩码图像；所述判别网络为一个由4层卷积层构成的全卷积网络，该判别网络接受一张HDR图像与高光掩码图像作为输入，输出一张表征所输入的HDR图像为真实HDR图像或者是网络生成的虚假HDR图像的概率的特征图。

4.根据权利要求1所述的方法，其特征在于：步骤2中所描述的数据预处理，其具体过程包括：

步骤2.1，LDR数据的生成，生成LDR训练样本输入，对于每一张HDR图像，分别使用色调映射算法和虚拟相机拍摄获取LDR图像，选择一种适当的色调映射算法，直接将HDR图像作为算法输入得到对应的LDR图像输出；同时，通过构建虚拟相机来获取LDR图像，首先基于常用的数码单反相机确定虚拟相机动态范围的取值范围，对于每一次获取LDR图像都随机选取范围内的一个值作为该次模拟拍摄的相机的动态范围，然后虚拟相机根据输入的HDR图像进行自动曝光，对亮度超出虚拟相机动态范围的像素取边界值，再将其线性映射至LDR图像的低动态范围，最后，将所得到的图像从线性空间通过随机选择的近似相机响应函数映射为普通数字图像，得到所需要的LDR图像；

步骤2.2，HDR图像亮度单位的对齐，对于保存在相对亮度域的HDR图像，在将其作为训练样本标签前，对齐它们的亮度单位；设原始HDR图像为H，LDR图像转换到线性空间并归一化到[0，1]，设为L，H_l，c，L_l，c分别为图像在位置l，通道c处的像素值，其对齐方法为：

其中

为对齐后的HDR图像，m_l，c定义为

其中τ为[0，1]的常数，对齐后的HDR图像与其对应的LDR图像组成供神经网络训练的训练样本对；

步骤2.3，图像高光区域掩码的生成，得到对齐的HDR图像亮度单位后，通过二值化的方式获取图像中高亮度区域的掩码图像，其公式为：

其中

为对齐后的HDR图像的通道均值图像，t为常数，该掩码图像中值为1的区域代表场景中拥有较高亮度的物体或表面，包括光源、强光反射面。