CN115018733A - 一种基于生成对抗网络的高动态范围成像及鬼影去除方法 - Google Patents

Abstract

本发明属于数字图像处理领域，具体涉及一种基于生成对抗网络的高动态范围成像及鬼影去除方法；所述方法通过引入基于双重注意力机制的特征提取模块，对视频图像连续帧的语义和像素特征进行提取，以提升图像融合的细节和纹理特征；为有效地提升成像质量和算法鲁棒性，同时解决GAN网络中的梯度消失和模式崩溃问题，本文研究基于球面距离的损失函数，以解决运动目标位移大在合成阶段产生的大范围鬼影问题。

Description

一种基于生成对抗网络的高动态范围成像及鬼影去除方法

技术领域

本发明属于数字图像处理领域，具体涉及一种基于生成对抗网络的高动态范围成像及鬼影去除方法。

背景技术

高动态范围(High Dynamic Range，简称HDR)成像是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术，其不仅能够提供更好的视觉表达，也为数字媒体的跨越式发展提供了崭新而强大的推动力。目前，基于低动态范围(LowDynamic Range，简称LDR)的图像融合方法仍然是获取HDR成像的主要途径之一。在图像融合过程中，如何有效地去除因动态场景、相机抖动、图像配准不精确甚至是运动目标大位移等因素造成的鬼影效应是HDR成像亟待解决的关键问题，其面临的技术难点主要包括：1)全局多曝光融合(Multi-Exposure Fusion，简称MEF)算法，难以实现与自然场景接近的明暗细节饱满、色彩丰富的融合目标；而采用局部多曝光图像融合算法求解会导致算法复杂度增加，同时可能会出现因局部过度增强导致图像细节不自然，或光晕、噪声被增强的情况；2)真实动态场景下，存在较多复杂不规则的运动，现有去除鬼影技术手段和方法的时间复杂度较高；3)现有深度学习方法为海量视频图像融合提供了一些解决方案，但丰富训练数据集和提升深度学习算法的泛化能力方面仍有待加强。

人工智能时代，大数据的机器深度学习与运用已向纵深发展，计算机视觉技术已被重新定义。依靠强大的计算硬件支撑，以及大数据集的强化训练，深度学习(Deeplearning，简称DL)网络鲁棒性不断增强，深度学习已逐渐成为处理图像、文本语料和声音信号等复杂高维度数据的主要方法，特别是图像识别以及图像处理领域，表现出强大的潜力，卷积神经网络(Convolutional Neural Networks，简称CNN)、人工神经网络(Artificial Neural Network，简称ANN)、对抗生成网络(GAN)等结构也逐渐被提出，并被广泛应用于图像分类、人脸识别、图像增强、语义分割、图像重构、图像增强、超分辨率等问题，目前深度学习已被应用于HDR成像中，基于卷积神经网络(CNN)、生成对抗网络(GAN)的深度HDR成像方法被尝试使用，取得了较好的效果。其中，GAN网络的模型更加适合鬼影区域识别，因此在HDR成像领域迅速崛起。

利用深度学习来实现图像重建，特别是针对全景图像的重建以及鬼影去除问题，取得了卓越的成绩。但由于目前的优化大多基于网络的改进，对于图像像素或空间特征的在网络层的数学表达还缺乏更有说服力的论证，对影响成像质量的方案理论论证不足，因此，基于深度学习的方法也有待进一步改进。

发明内容

为解决上述问题，本文主要研究基于大型运动场景的动态图像融合及鬼影去除方法，提出了基于传统多曝光融合(MEF)和基于深度学习的图像重建及去除鬼影的解决方案。

一种基于生成对抗网络的高动态范围成像及鬼影去除方法，包括：

S1.获取连续多帧的低动态范围图像序列，其包含低曝光的LDR图像、正常曝光的LDR图像和高曝光的LDR图像，并进行预处理和分块，得到用于训练的成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对；其中，将正常曝光的LDR图像作为参考图像；

S2.构建用于高动态范围成像的生成对抗网络，其包括生成器网络和判别器网络；

S3.使用成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对训练生成对抗网络，采用Wasserstein距离损失函数进行优化直至收敛到纳什平衡，得到并保存训练好的生成对抗网络；

S4.将待融合图像输入训练好的生成对抗网络，得到HDR图像。

进一步的，步骤S1对每组的低曝光的LDR图像、正常曝光的LDR图像和高曝光的LDR图像进行预处理和分块的具体过程包括：

S11.采用相机响应函数建立低曝光的LDR图像、高曝光的LDR图像与正常曝光的LDR图像之间的像素映射函数；

S12.对正常曝光的低动态范围图像，和像素映射后的低曝光的LDR图像、高曝光的LDR图像进行归一化处理；

S13.按照n×n的尺寸大小对步骤S12归一化处理后的图像进行分块，得到低曝光图像块和正常曝光图像块组成的图像块对，以及正常曝光图像块和高曝光图像块组成的图像块对。

进一步的，生成器网络包括编码模块、合成模块和解码模块，编码模块包括双重注意力模块和特征提取模块，双重注意力模块包括通道注意力单元和空间注意力单元。

进一步的，空间注意力单元的处理过程包括：

将低曝光图像块P_s1和正常曝光图像块P_r、正常曝光图像块P_r和高曝光图像块P_s3的局部特征分别进行1×1卷积运算；对卷积运算后的图像块分别进行转置和尺度变换，生成第一特征映射、第二特征映射和第三特征映射；第一特征映射与第二特征映射相乘后通过softmax函数，得到第一关系强度矩阵，第二特征映射与第三特征映射相乘后通过softmax函数，得到第二关系强度矩阵；将第一关系强度矩阵与图像块P_s1相乘得到第一空间注意力特征，将第二关系强化矩阵与图像块P_s3相乘得到第二空间注意力特征；

通道注意力单元的处理过程包括：

对图像块P_s1、P_r和P_s3分别进行转置和尺度变换，生成第一转换特征、第二转换特征和第三转换特征；第一转换特征与第二转换特征相乘后通过softmax函数，得到第一通道注意矩阵，第二转换特征与第三转换特征相乘后通过softmax函数，得到第二通道注意矩阵；将第一通道注意矩阵与图像块P_s1相乘得到第一通道注意力特征，将第二通道注意矩阵与图像块P_s3相乘得到第二通道注意力特征。

进一步的，步骤S3训练对抗生成网络的具体过程包括：

S31.首先固定生成器网络参数不变，训练判别器网络，包括：

S32.获取假样本图像块，即将成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对输入生成器网络，得到m个融合图像块；

S33.获取真样本图像块，即从低曝光和高曝光的低动态范围图像中分别获取m个低曝光源图图像块和高曝光源图图像块；

S34.将假样本图像块和真样本图像块一起送入判别器网络训练，计算判别器网络的判别损失，反向传播判别损失更新判别器网络参数，并采用Adam进行优化；

S35.接下来固定判别器网络参数不变，训练生成器网络，包括：

S36.从训练生成的假样本图像块中获取m个假样本图像块，从参考图像中获取m个参考图像块；

S37.提取假样本图像块与参考图像块的像素特征并更新生成器网络参数

S38.重复步骤S31-37，直至生成对抗网络训练完成。进一步的，Wasserstein距离损失函数表示为：

为方便求解，对上面的Wasserstein距离损失函数进行转换，表示为：

其中，P_r表示参考图像块，P_g表示生成图像块，连续函数f的Lipschitz常数为K，

表示参考图像期望值，

表示生成图像期望，sup表示上确界，I_r表示参考图像，I_g表示生成图像。

本发明的有益效果：

本发明将生成对抗网络(GAN)引入动态图像的鬼影去除方案，针对海量视频图像，提出HDR-WGAN图像融合及鬼影去除算法，方案中利用生成器G和判别器D相互竞争的学习机制和技术优势，判断融合结果和真实图像的不一致像素点及区域，有效地去除鬼影。针对GAN网络训练过程中容易出现的梯度消失和模式崩溃问题，建立以Wasserstein距离为生成器和判别器的损失函数，在两个图像的分布不重叠或者重叠部分可忽略的情况下，Wasserstein距离仍旧可以提供有意义的梯度；针对提升HDR图像融合质量的问题，特别是视频图像连续帧融合，本章在图像合成模块中引入双重注意力学习模块，在图像的空间维度和通道维度上获取上下文语义和特征信息，在图像合成模块中增强图像特征信息，有效提升生成融合图像的细节和纹理信息。实验结果表明，与现有的鬼影去除算法相比，本文提出的HDR-WGAN算法特别适用于复杂的动态场景下的图像重建，并能够彻底去除鬼影，图像具有更丰富纹理和细节信息，有效地提升了成像质量和算法鲁棒性。

附图说明

图1为本发明实施例基于GAN网络的HDR成像机制；

图2为本发明实施例HDR-WGAN高动态范围成像算法模型；

图3为本发明实施例空间注意力单元PAM结构图；

图4为本发明实施例通道注意力单元CAM结构图；

图5为本发明实施例HDR-WGAN高动态范围成像算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

GAN是基于生成器网络(Generator，简称G)和判别器网络(Discriminator，简称D)博弈的网络模型，生成器G的目标是尽可能生成足够真实的数据去迷惑判别器D，而判别器D则是需要将生成器G生成的图像都鉴别出来，通过互相博弈，最终达到一个平衡，称之为纳什均衡，让生成器网络最终能够学***衡。具体执行过程表述如下：

(a)将含有噪声数据输入生成器G，获得相应的“生成样本”，初始“生成样本”与目标结果差距甚远，称之为“假数据”，记为D(z)；

(b)将真实数据输入判别器D中，作为判别的依据数据，记做x；

(c)将前两步中某一步产生的数据作为判别器网络的输入，判别器D是一个二分类器，作用是判别一幅图像是否是“真实的”；令判别器D的输入是x＝G(z)，x表示一张真实图像，则D(x)表示真实图像的概率，为1表示100％的真实的图像，而输出0，表示不是真实的图像；

(d)然后根据设计的统计概率模型计算损失函数；

(e)根据判别模型和生成模型的损失函数，利用反向传播算法更新模型的参数。

针对现有的基于深度学习，特别是基于生成对抗网络(GAN)的高动态范围成像技术方面存在的问题，除了考虑网络自身训练需要克服的“梯度消失”和“模式崩溃”问题外，还需要考虑场景中因存在大运动目标而产生的鬼影效应，为此本发明提出了一种基于生成对抗网络的高动态范围成像及鬼影去除方法，所述方法具体包括：

S1.获取连续多帧的低动态范围图像序列，其包含低曝光的LDR图像I_s1、正常曝光的LDR图像I_s2和高曝光的LDR图像I_s3，并对低动态范围图像序列进行预处理和分块，得到用于训练的成组的由低曝光和正常曝光图像块组成的图像块对，以及由正常曝光和高曝光图像块组成的图像块对；其中，将正常曝光的LDR图像I_s2作为参考图像，参考图像记作I_r；

S2.构建用于高动态范围成像的生成对抗网络，其包括生成器网络和判别器网络；

S3.使用成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对训练生成对抗网络，采用Wasserstein距离损失函数进行优化直至收敛到纳什平衡，得到并保存训练好的生成对抗网络；

S4.将待融合图像输入训练好的生成对抗网络，得到HDR图像。

具体地，待融合图像可以为连续多帧的视频图像或连续多帧的低动态范围图像。

具体地，步骤S1对每组的低曝光的LDR图像、正常曝光的LDR图像和高曝光的LDR图像进行预处理的具体过程包括：

S11.采用相机响应函数将低曝光的LDR图像、高曝光的LDR图像和正常曝光的LDR图像进行像素映射；

S12.对正常曝光的低动态范围图像，和像素映射后的低曝光的LDR图像、高曝光的LDR图像进行归一化处理；

S13.按照n×n的尺寸大小对步骤S12归一化处理后的图像进行分块，得到多组低曝光图像块和正常曝光图像块组成的图像块对，以及正常曝光图像块和高曝光图像块组成的图像块对。

在一实施例中，HDR-WGAN成像及鬼影去除方法框图如图2所示，生成对抗网络含有生成器网络和判别器网络，在生成器网络中包括编码模块、合成模块和解码模块，编码模块除特征提取器外还添加了双重注意力模块，输入图像通过双重注意力通道进行特征提取，实现图像细节增强；双重注意力模块包括通道注意力单元和空间注意力单元，两个互补注意力单元分别在空间维度和通道维度上捕获上下文相关语义信息，然后对特征提取进行增强，基于其在特征提取方面的显著优势，在医学或遥感图像分类领域被广泛应用。HDR图像视频融合，前后帧图像语义具有很强的相关性，引入双重注意对特征提取进行加强，从而有效提升GAN网络的表达和生成能力。

如图3所示，空间注意力单元的处理过程包括：

将低曝光图像块P_s1和正常曝光图像块P_r、正常曝光图像块P_r和高曝光图像块P_s3的局部特征分别进行1×1卷积运算；对卷积运算后的图像块P_s1、P_r和P_s3分别进行转置Tranpose和尺度变换reshape(C×H×W)，生成第一特征映射T(Is1)、第二特征映射T(Is2)和第三特征映射T(Is3)，且T(Is1),T(Is2),T(Is3)∈R∧(C×H×W)，N＝H×W；第一特征映射与第二特征映射相乘后通过softmax函数，得到第一关系强度矩阵，第二特征映射与第三特征映射相乘后通过softmax函数，得到第二关系强度矩阵；将第一关系强度矩阵与图像块P_s1相乘得到第一空间注意力特征，将第二关系强化矩阵与图像块P_s3相乘得到第二空间注意力特征，表示为：

其中，E_i表示经过空间注意力增强后的特征，μ表示输入源图的均值，T_j表示新生成的卷积特征映射，I_i表示输入特征向量，N表示图像块尺寸，s_ji表示代表通道i对通道j的影响。

如图4所示，通道注意力单元的处理过程包括：

对图像块P_s1、P_r和P_s3分别进行转置和尺度变换，生成第一转换特征、第二转换特征和第三转换特征；第一转换特征与第二转换特征相乘后通过softmax函数，得到第一通道注意矩阵，第二转换特征与第三转换特征相乘后通过softmax函数，得到第二通道注意矩阵；将第一通道注意矩阵与图像块P_s1相乘得到第一通道注意力特征，将第二通道注意矩阵与图像块P_s3相乘得到第二通道注意力特征，表示为：

其中，E_j.表示经过通道注意力最终增强后的特征，λ表示常数，I_i表示输入源图，C表示特征矩阵，x_ji表示代表通道i对通道j的影响。

特征提取模块含有三路结构相同的分支X₁、X₂、X₃，分别用于提取图像块P_s1、P_r和P_s3的多尺度特征，每路分支由三个串联的编码单元组成，编码单元间采用下采样卷积层进行连接；特征提取模块的两次下采样将网络划分为3个不同的尺度，其中，分支X₁的输入为低曝光图像块P_s1和正常曝光图像块P_r经过双重注意力模块后的输出，以及低曝光图像I_s1经过预处理后的低曝光图像块P_s1；分支X₃的输入为正常曝光图像I_s2经过预处理后的正常曝光图像块P_s2；分支X₃的输入为高曝光图像块P_s3和正常曝光图像块P_r经过双重注意力模块后的输出，以及高曝光图像I_s3经过预处理后的高曝光图像块P_s3。

对应编码模块的三个尺度，合成模块由三个尺度的融合分支

组成，每个融合分支使用编码模块中三路分支上对应尺度的编码单元输出特征作为输入，并且通过逐元素加法操作将融合分支的输出特征与编码模块中正常曝光分支上对应尺度的编码单元输出特征相加，形成基于正常曝光图特征的残差结构。

解码模块由三个解码器单元

组成，其中，

对应编码模块的第一个尺度，

对应编码模块的第二个尺度；

的输入由两部分特征在通道维度上拼接组成，分别为其对应尺度的合成模块融合分支输出特征和其对应下一尺度合成模块融合分支输出特征；

的输入由两部分特征在通道维度上拼接组成，分别为

的输出特征和

输出特征上采样后的结果。

判别器网络由串联的五层卷积层组成。

在一实施例中，GAN网络训练过程中，生成器G的目的就是尽可能地消除源图间的因运动目标的位置不一致性而产生的鬼影效应，提高图像融合质量，不断地接近判别器D中的真实图像值；判别器D的目标则是努力地将生成器G生成的“假图像”尽可能地鉴别出来。G和D“动态博弈”的理想结果是，G生成了“以假乱真”的G(Is)，D难以判别G(Is)，此时D(x)＝0.5。故本发明提出的HDR-WGAN高动态范围成像算法模型表示为：

min_Gmax_D V(D,G)＝E_x-Pdata[log(D(I_r))]+E_z-P(z)[log(1-D(G(I_s)))]

其中，G表示生成器，D表示判别器，V是判别器D和生成器G的极大极小值目标优化函数，I_r表示参考图像，I_s表示输入图像，E_x-Pdata表示真样本图像集(GT)，E_z-P(z)表示生成器结果图集，x为真样本图像，z表示假样本图像。

HDR-WGAN高动态范围成像算法如图5所示，包括：

S201.获取不同曝光的LDR图像I_s1、I_s2和I_s3，选择其中曝光度良好的LDR图像I_s2作为参考图像，记为I_r；

S202.对不同曝光的LDR图像I_s1、I_s2和I_s3进行预处理，按照n×n的尺寸大小进行分块，得到用于训练的成组的不同曝光图像块，将成组的不同曝光图像块映射到HDR域，得到HDR域的不同曝光图像块，将LDR域图像块与对应的HDR域图像块联合为6通道图像块；

S203.首先固定生成器网络参数不变，训练判别器网络，包括：

S204.获取假样本图像块，即将成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对输入生成器网络，得到m个融合图像块P_H1,P_H2,...,P_Hm；

S205.获取真样本图像块，即从低曝光和高曝光的低动态范围图像中分别获取m个低曝光源图图像块P_s11,P_s12,...,P_s1m和高曝光源图图像块P_s21,P_s22,...,P_s2m；

S206.假样本图像块和真样本图像块一起送入判别器网络训练，计算判别器网络的判别损失，反向传播判别损失更新判别器网络参数，并采用Adam进行优化；

S207.接下来固定判别器网络参数不变，训练生成器网络，包括：

S208.从训练生成的假样本图像块中获取m个假样本图像块，从参考图像中获取m个HDR域的参考图像块；

S209.提取假样本图像块与参考图像块的像素特征并更新生成器网络参数；

S210.重复步骤S203-209，直至生成对抗网络训练完成。

具体地，GAN网络存在训练困难、生成器和判别器的loss函数无法指示训练进程等问题，以及梯度消失和模式崩溃等问题。而且KL散度和JS散度是突变的，相比之下，Wasserstein球面距离却是平滑的，如果两个图像的分布不重叠或者重叠部分可忽略，Wasserstein距离仍旧可以提供有意义的梯度。基于此，本实施例中GAN网络生成模型采用Wasserstein距离(又称Earth-Move，简称EM距离)作为损失函数：

为方便求解，将上述公式变换如下，

其中，连续函数f(x)的Lipschitz常数为K，可以用一组参数w来定义一系列可能的函数f_w(x)，在限制w不超过某个范围的条件下，使得判别器和生成器的损失函数表达如下，

L＝E_x～Pr[f_w(x)]-E_x～Pg[f_w(x)]

其中，当参数w尽可能大时，判别器的f_w(x)用来近似拟合真实图像与生成图像之间的Wasserstein距离。生成器如果要近似最小化Wasserstein距离，可以最小化公式L，公式中第一项与生成器无关，因此得到WGAN的生成器和判别器的损失函数为，

L_G＝-E_xpg[f_w(x)]

L与L_G互为反函数，这种关系可以指示网络训练，其数值越小，表示Wasserstein距离度量函数越小，GAN网络训练更加优化。

本发明提出的所有算法都是统一运行在MD Ryzen 5 3600 6-Core Proce4.0GHz，运行内存为16.00GB，GPU Nvidia GeForce RTX 2060Super，64位Windows10***。

采用一些包含三个不同曝光图像的动态数据集，包括白天和夜晚以及室内和室外的场景，源图曝光差值大，场景内运动复杂，为了更好的分析本章算法鬼影去除的效果，选择了运动目标位移大的场景Large Ddisplacement of Motion，简称LDM)，拍摄角度存在偏差的场景进行实验。

动态场景中因运动目标的存在，使得部分有参评价指标不能完全表征图像质量，客观评价与主观观察结果也不能完全一致，因此本文将客观评价和主观评价共同考虑。

(1)对于主观评价，从以下五个维度来评估本章算法，如图像亮度、图像分辨率、纹理细节、边缘保留和自由鬼影。

(2)对于客观评估，同时选用有参和无参图像质量评估方法。对于图像自然度和视觉质量，选择视觉信息保真度指数(VIFP)，相对极性边缘相干性(RECO)和色调图像质量指数(TMQI)进行定量比较。VIFP指数基于自然场景统计模型(NSS)；对于无参图像质量评估方法，选用自然度图像质量评估器(NIQE)、TENENGRAD梯度函数、信息熵，同时采用HDR高动态图像质量评价指标(HDR-vdp-2.2)。

本发明针对海量移动视频图像融合问题，建立基于球面距离(Wasserstein)的生成器和判别器的损失函数，有效地提升了图像配准的精度；在图像合成模块中引入注意力学习机制，增强了生成图像的细节和纹理特征。所提出基于深度学习的HDR成像算法(HighDynamic Range Imaging with Wasserstein GAN，简称HDR-WGAN)特别适用于海量视频图像合成领域，合成图像在质量提升和鬼影去除两方面都有显著的效果，算法时间复杂度较传统MEF算法大幅降低。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于生成对抗网络的高动态范围成像及鬼影去除方法，其特征在于，包括：

S1.获取连续多帧的低动态范围图像序列，其包含低曝光、正常曝光和高曝光的低动态范围图像，并进行预处理和分块，得到用于训练的成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对；其中，将正常曝光的低动态范围图像作为参考图像；

S2.构建用于高动态范围成像的生成对抗网络，其包括生成器网络和判别器网络；

S3.使用成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对训练生成对抗网络，采用Wasserstein距离损失函数进行优化直至收敛到纳什平衡，得到并保存训练好的生成对抗网络；

S4.将待融合图像输入训练好的生成对抗网络，得到HDR图像。

2.根据权利要求1所述的一种基于生成对抗网络的高动态范围成像及鬼影去除方法，其特征在于，步骤S1对每组的低曝光、正常曝光和高曝光的低动态范围图像进行预处理和分块的具体过程包括：

S11.采用相机响应函数建立低曝光、高曝光与正常曝光的低动态范围图像之间的像素映射函数；

S12.对正常曝光的低动态范围图像，和像素映射后的低曝光、高曝光的低动态范围图像进行归一化处理；

S13.按照n×n的尺寸大小对步骤S12归一化处理后的图像进行分块，得到低曝光图像块和正常曝光图像块组成的图像块对，以及正常曝光图像块和高曝光图像块组成的图像块对。

3.根据权利要求1所述的一种基于生成对抗网络的高动态范围成像及鬼影去除方法，其特征在于，生成器网络包括编码模块、合成模块和解码模块，编码模块包括双重注意力模块和特征提取模块，双重注意力模块包括通道注意力单元和空间注意力单元。

4.根据权利要求3所述的一种基于生成对抗网络的高动态范围成像及鬼影去除方法，其特征在于，

空间注意力单元的处理过程包括：

将低曝光图像块P_s1和正常曝光图像块P_r、正常曝光图像块P_r和高曝光图像块P_s3的局部特征分别进行1×1卷积运算；对卷积运算后的图像块分别进行转置和尺度变换，生成第一特征映射、第二特征映射和第三特征映射；第一特征映射与第二特征映射相乘后通过softmax函数，得到第一关系强度矩阵，第二特征映射与第三特征映射相乘后通过softmax函数，得到第二关系强度矩阵；将第一关系强度矩阵与图像块P_s1相乘得到第一空间注意力特征，将第二关系强化矩阵与图像块P_s3相乘得到第二空间注意力特征；

通道注意力单元的处理过程包括：

对图像块P_s1、P_r和P_s3分别进行转置和尺度变换，生成第一转换特征、第二转换特征和第三转换特征；第一转换特征与第二转换特征相乘后通过softmax函数，得到第一通道注意矩阵，第二转换特征与第三转换特征相乘后通过softmax函数，得到第二通道注意矩阵；将第一通道注意矩阵与图像块P_s1相乘得到第一通道注意力特征，将第二通道注意矩阵与图像块P_s3相乘得到第二通道注意力特征。

5.根据权利要求1所述的一种基于生成对抗网络的高动态范围成像及鬼影去除方法，其特征在于，步骤S3训练对抗生成网络的具体过程包括：

S31.首先固定生成器网络参数不变，训练判别器网络，包括：

S32.获取假样本图像块，即将成组的低曝光和正常曝光图像块对，以及正常曝光和高曝光图像块对输入生成器网络，得到m个融合图像块；

S33.获取真样本图像块，即从低曝光和高曝光的低动态范围图像中分别获取m个低曝光源图图像块和高曝光源图图像块；

S34.将假样本图像块和真样本图像块一起送入判别器网络训练，计算判别器网络的判别损失，反向传播判别损失更新判别器网络参数，并采用Adam进行优化；

S35.接下来固定判别器网络参数不变，训练生成器网络，包括：

S36.从训练生成的假样本图像块中获取m个假样本图像块，从参考图像中获取m个参考图像块；

S37.提取假样本图像块与参考图像块的像素特征并更新生成器网络参数；

S38.重复步骤S31-37，直至生成对抗网络训练完成。

6.根据权利要求1所述的一种基于生成对抗网络的高动态范围成像及鬼影去除方法，其特征在于，Wasserstein距离损失函数表示为：

为方便求解，对上面的Wasserstein距离损失函数进行转换，表示为：

其中，P_r表示参考图像块，P_g表示生成图像块，连续函数f的Lipschitz常数为K，

表示参考图像期望值，

表示生成图像期望值，sup表示上确界，I_r表示参考图像，I_g表示生成图像。

Images