CN112651917A - 一种基于生成对抗网络的空间卫星低照度图像增强方法 - Google Patents

Abstract

本发明提出了一种基于生成对抗网络的空间卫星低照度图像增强方法。首先，设计了一种密集连接的生成器，加强了各特征提取阶段中的信息传递以及多层特征的融合，减少了特征信息的损耗，更好地提取正常照度图像及低照度图像中相似的语义信息；并结合EnlightenGAN的思想，采用了全局‑局部辨别器结构，使图像增强效果更自然。然后，在少量样本的条件下，利用非配对样本对本文方法进行训练，并通过对输入图像进行随机缩放及翻转等数据增强方法提高模型训练效果，进而提升低照度图像增强性能。最后，对所提出的空间卫星低照度图像增强方法进行了仿真验证。本发明提高了图像的平均亮度及对比度，恢复图像细节信息，为图像处理技术提供了更高质量的数据信息。

Description

一种基于生成对抗网络的空间卫星低照度图像增强方法

技术领域

本发明属于图像识别处理技术领域，特别涉及一种基于生成对抗网络的空间卫星低照度图像增强方法。

背景技术

空间光照条件的不断变化、成像载荷的抖动、成像***像质退化等因素，导致空间光学成像下图像质量严重退化的问题，比如图像对比度过低、细节损失大和噪声污染严重，这不仅会干扰对卫星图像的人工判别，也会影响后续特征信息提取、图像识别和图像分割等图像处理技术的效果。对空间环境下的低照度图像进行增强预处理，能够为基于计算机视觉的空间任务提供更高质量的图像信息。

低照度图像增强方法主要分为基于直方图均衡化(HE,Histogram Equalization)的方法、基于Retinex理论的方法及基于深度学习的方法。HE是一种常用的灰度增强算法，其原理是通过拉伸图像的动态范围来增加对比度。但基于HE的方法，其增强结果总是存在着明显的细节模糊、色彩失真等问题。Retinex是EdwinLand提出的一种有效理论，通过模拟人类视觉***实现色彩恒定和动态范围压缩。Retinex的基本原理是假设一幅图像是由入射光分量和反射光分量组成，只需去除照射图的影响即可得到物体本来的样子，完成图像增强。基于Retinex原理的方法主要包括SRIE、LIME和BIMEF等,这些方法的关键是通过人工设计以及参数微调实现照射图的估算，然而通过深度学习方法，不仅可避免这些复杂繁琐的人工设计及整体优化问题，还可获得更好的泛化能力及增强效果。

发明内容

本发明的目的是提供一种基于生成对抗网络的空间卫星低照度图像增强方法。

本发明的目的还在于提供一种基于生成对抗网络的空间卫星低照度图像增强方法，以至少部分地解决现有技术中的问题。

本发明的目的还在于提供一种基于生成对抗网络的空间卫星低照度图像增强方法，具体地，采用了一种密集连接的生成器，加强了网络中的信息传递及特征融合，并将其引入EG(EnlightenGAN方法)中，提出了一种基于生成对抗网络的空间卫星图像增强方法，并在非配对样本条件下进行网络模型训练。实验结果表明，该方法较LIME及EG具有更好的增强效果，能够在对比度、亮度以及色彩方面显著提升图像质量，为基于计算机视觉技术的空间任务提供充分有效的图像信息。

所述基于生成对抗网络的空间卫星低照度图像增强方法，包括如下步骤：

(1)构建非配对样本的训练集，分为I_low以及I_normal两部分；将I_low输入生成器(G)中，生成增强后的卫星图像G(I_low)，即伪图像I_fake；

(2)将I_fake与真实图像I_real(即I_normal)输入辨别器(D)中，对输入图像的真伪进行辨别，输出结果如下式所示。

其中，True与False分别代表辨别结果真与伪。

(3)将辨别结果D(I)与对应的样本标签Y输入到G与D的对抗损失函数中，分别输出误差值L_G以及L_D。

采用相对鉴别器结构构建辨别器，估计真实图像比伪图像更真实的概率，辨别器在对抗竞争过程中会不断提高该概率，进而提高了生成器的损失值L_G，以此加强生成器的网络参数优化。

其中，

表示对来源于真实数据的样本求期望，σ(·)表示sigmoid函数。

全局鉴别器以及生成器的损失函数均使用最小二乘损失函数(LSGAN)进行计算。对于全局辨别器，理想的

和

应分别接近于0和1，期望的辨别结果为D(I_real)＝1，D(I_fake)＝0。由式(2)和(3)可知，D_Rl(I_real,I_fake)及D_Rl(I_fake,I_real)的回归目标分别为1和0。

全局辨别器以及生成器的对抗损失函数定义如下：

局部辨别器采用LSGAN作为对抗损失函数：

(4)固定G的网络参数，将误差值LD进行反向传播(BP)，更新优化D的网络参数，进而在下一轮迭代中更准确地辨别出真实图像与伪图像。

(5)重复步骤2～4，固定D的网络参数，将误差值LG进行反向传播，更新优化G的网络参数，进而在下一轮迭代中缩小I_fake与I_real的差距。

(6)迭代优化次数N_iter大于N时结束训练，得到生成器G*，即可利用该生成器实现卫星低照度图像增强。

本发明的有益效果是：本发明设计了一种密集连接的生成器，加强了各特征提取阶段中的信息传递以及多层特征的融合，减少了特征信息的损耗，更好地提取正常照度图像及低照度图像中相似的语义信息；并结合EnlightenGAN的思想，采用了全局-局部辨别器结构，使图像增强效果更自然。然后，在少量样本的条件下，利用非配对样本对本文方法进行训练，并通过对输入图像进行随机缩放及翻转等数据增强方法提高模型训练效果，进而提升低照度图像增强性能。最后，对所提出的空间卫星低照度图像增强方法进行了仿真验证。试验结果表明，在空间低照度条件下，本文方法在NIQE指标上较LIME及EnlightenGAN分别降低了1.034和0.699，保留了更多的图像细节，具有更高的整体和局部亮度、更高的对比度以及更自然的增强效果。

附图说明

图1为基于生成对抗网络的空间卫星低照度图像增强方法流程图。

图2为基于生成对抗网络的空间卫星低照度图像增强的训练方法流程图。

图3为基于生成对抗网络的空间卫星低照度图像增强方法的生成器结构示意图。

具体实施方式

本发明提供一种基于生成对抗网络的空间卫星低照度图像增强方法。下面结合附图和实施例对本发明予以说明。

图1为基于生成对抗网络的空间卫星低照度图像增强方法流程图。如图中所示，本文设计了一种密集连接的生成器，加强了网络中的信息传递及特征融合，并将其引入EG中，提出了一种基于生成对抗网络的空间卫星图像增强方法，并在非配对样本条件下进行网络模型训练。

图2为基于生成对抗网络的空间卫星低照度图像增强的训练方法流程图。本文基于GAN的原理实现空间卫星低照度图像增强，其核心思想是训练一对相互对抗竞争的神经网络，即生成器G与辨别器D在训练过程中相互对抗以不断优化各自的网络参数。G的优化目标是生成外观上更接近正常照度图像(I_normal)的增强图像(G(I_low))，即最小化G(I_low)与I_normal的差异，混淆辨别器对图像真伪的判断。D的优化目标是能更准确地辨别出I_normal与G(I_low)。这两个相斥的优化目标即产生了相互对抗竞争，在该过程中，G的图像增强能力以及D的真伪辨别能力均在不断提高，促使G(I_low)在外观上逐渐接近I_normal，即实现了对低照度图像的增强处理。

图3为基于生成对抗网络的空间卫星低照度图像增强方法的生成器结构示意图。本文引入了注意力机制，将输入的RGB图像正则化(Norm)到[0,1]区间，并求取对应的灰度图像，最后通过求反运算得到注意力图A₁。对其进行多级最大池化运算，获得多种尺寸的注意力图，以匹配多个阶段输出的特征图。

本文采用数据增强方法对模型进行训练，将输入的训练样本进行随机的尺寸调整，定义如下：

(W,H)＝(400×Random(λ),600×Random(λ))

,λ∈[1,1.5]

其中，λ是缩放因子，其在区间[1,1.5]中被随机选取(Random)，然后以400×600为基数进行图像缩放。同时，还对样本进行随机的垂直和水平翻转，从而达到更优的训练效果。为了有效验证本文方法的性能，我们将本文方法与EG在同样的训练策略下进行模型训练，均以在ImageNet数据集中预训练的VGG网络参数作为生成器的初始参数，辨别器的初始参数与EG一致。本文将Batchsize设置为32，并采用Adam优化器。在训练的过程中，先以0.0001作为固定的初始学习率训练100个epochs，然后再变化学习率训练100个epochs，期间将学习率从初始值线性递减到0。

将LIME、EG以及本文方法对测试集中星空背景以及地球背景的卫星低照度图像进行增强处理，然后以NIQE为标准对各自增强结果进行评价，评价结果如表1所示。

方法	星空背景	地球背景	总体指标
				原始图片	23.492	19.455	21.608
LIME	22.913	17.208	20.251
				EG	22.885	16.523	19.916
本文方法	22.497	15.469	19.217

表1

在客观评价指标NIQE下，本文方法对星空背景以及地球背景的卫星低照度图像的增强效果均优于其他两种方法，图像质量有了明显地提升，较原始图像在总体NIQE指标上降低了2.391。本文方法在以地球表面为背景的低照度图像中的性能表现明显优于其他方法，较LIME及EG在总体的NIQE指标上分别降低了1.034和0.699，达到了19.217。

具体地，根据本发明的基于生成对抗网络的空间卫星低照度图像增强方法包括如下步骤：

(1)构建非配对样本的训练集，分为I_low以及I_normal两部分；将I_low输入生成器(G)中，生成增强后的卫星图像G(I_low)，即伪图像I_fake；

(2)将I_fake与真实图像I_real输入辨别器(D)中，I_real即I_normal，对输入图像的真伪进行辨别，输出结果如下式所示；

其中，True与False分别代表辨别结果真与伪；

(3)将辨别结果D(I)与对应的样本标签Y输入到生成器和辨别器的对抗损失函数中，分别输出误差值L_G以及L_D；

(4)固定生成器的网络参数，将误差值L_D进行反向传播(BP)，更新优化辨别器的网络参数，进而在下一轮迭代中更准确地辨别出真实图像与伪图像；

(5)重复步骤2～4，固定辨别器的网络参数，将误差值L_G进行反向传播，更新优化生成器的网络参数，进而在下一轮迭代中缩小I_fake与I_real的差距；

(6)迭代优化次数N_iter大于N时结束训练，得到生成器G*，即可利用该生成器实现卫星低照度图像增强。

根据本公开的优选实施例，步骤(3)中，采用相对鉴别器结构构建辨别器，估计真实图像比伪图像更真实的概率，辨别器在对抗竞争过程中会不断提高该概率，进而提高了生成器的损失值L_G，以此加强生成器的网络参数优化，

其中，

表示对来源于真实数据的样本求期望，σ(·)表示sigmoid函数；

全局鉴别器以及生成器的损失函数均使用最小二乘损失函数LSGAN进行计算，对于全局辨别器，理想的

和

应分别接近于0和1，期望的辨别结果为D(I_real)＝1，D(I_fake)＝0，由式(2)和(3)可知，D_Rl(I_real,I_fake)及D_Rl(I_fake,I_real)的回归目标分别为1和0；

全局辨别器以及生成器的对抗损失函数定义如下：

局部辨别器采用LSGAN作为对抗损失函数：

根据本公开的优选实施例，步骤(3)中，设计了密集连接生成器，分为左侧四阶段的特征提取部分以及右侧三阶段的图像增强部分，左侧部分是逐阶段下采样，右侧部分是逐阶段上采样，从左至右每个阶段分别记为Stage₁～Stage₇，共计7个阶段；

记C_i,j(x)为第i阶段中，第j个卷积核尺寸为3×3的卷积层(Conv_3×3)的输出，即：

其中，x_i，j是输入的特征图，k为卷积核，b为偏置项，

为卷积运算，δ(·)为带泄露修正线性单元函数LeakyReLu，BN(·)为批量正则化函数，对于Stage₁和Stage₂，各阶段的输出(S_i)，即下一阶段的输入(x_i+1,1)，其定义如下：

x_i+1,1＝S_i＝Maxpooling[Conv_1×1,n/2(Concat[C_i,1(x_i,1),C_i,2(x_i,2)])]

,i＝1,2

其中，Maxpooling是2×2最大池化层，Conv_1×1,n/2表示卷积核尺寸为1×1的卷积层，输出通道数为输入通道数n的1/2，其目的是逐像素融合多通道间的特征，压缩图像特征维度，Concat是在通道维度上进行连接，在Stage₁及Stage₂的特征提取中引入了密集连接的思想，加强信息传递，将更多的浅层特征传输到深层特征中；

在Stage₃中引入了残差连接的结构，避免了因网络深度的增加而引起的梯度消失等问题，Stage₃的输出定义如下：

S₃＝x_4,1＝Maxpooling[C_3,1(x_3,1)+C_3,3(x_3,3)]

引入了注意力机制，将输入的RGB图像正则化Norm到[0,1]区间，并求取对应的灰度图像，最后通过求反运算得到注意力图A₁，对其进行多级最大池化运算，获得多种尺寸的注意力图，以匹配多个阶段输出的特征图，具体计算过程如下：

A₁＝1-0.299×Norm(r)-0.587×Norm(g)

-0.114×Norm(b)

A_i+1＝Maxpooling(A_i),i＝1,2,3

其中，r，g和b分别表示图像在R，G和B三个通道上的特征图，注意力图可突出原始图像中的低照度部分，将其与各阶段输出的特征图逐像素相乘，得到注意力增强特征图F，其可引导生成器关注更需增强处理的区域，F定义如下：

F_i＝S_i×A_i,i＝1,2,3,4

在图像增强阶段，特征图F与前一阶段上采样Upsample后的特征图进行连接，输出定义如下：

x_i+1,1＝Concat{F_7-i,Conv_3×3,n/2(Upsample[S_i])}

,i＝4,5,6

其中，Upsample是2×2线性上采样，在最后阶段，Stage₇输出的特征图S₇与注意力图A₁逐像素相乘，进一步突出特征图中的待增强区域，经过Conv_3×3,n＝3卷积运算后，与低照度图像I_low逐像素相加，输出增强后的卫星图像，其定义如下：

G(I_low)＝I_low+Conv_3×3,n＝3(S₇×A₁)。

本发明的有益效果是：本发明设计了一种密集连接的生成器，加强了各特征提取阶段中的信息传递以及多层特征的融合，减少了特征信息的损耗，更好地提取正常照度图像及低照度图像中相似的语义信息；并结合EnlightenGAN的思想，采用了全局-局部辨别器结构，使图像增强效果更自然。然后，在少量样本的条件下，利用非配对样本对本文方法进行训练，并通过对输入图像进行随机缩放及翻转等数据增强方法提高模型训练效果，进而提升低照度图像增强性能。最后，对所提出的空间卫星低照度图像增强方法进行了仿真验证。试验结果表明，在空间低照度条件下，本文方法在NIQE指标上较LIME及EnlightenGAN分别降低了1.034和0.699，保留了更多的图像细节，具有更高的整体和局部亮度、更高的对比度以及更自然的增强效果。

Claims (3)

1.一种基于生成对抗网络的空间卫星低照度图像增强方法，其特征在于，包括如下步骤：

(1)构建非配对样本的训练集，分为I_low以及I_normal两部分；将I_low输入生成器(G)中，生成增强后的卫星图像G(I_low)，即伪图像I_fake；

(2)将I_fake与真实图像I_real输入辨别器(D)中，I_real即I_normal，对输入图像的真伪进行辨别，输出结果如下式所示；

其中，True与False分别代表辨别结果真与伪；

(3)将辨别结果D(I)与对应的样本标签Y输入到生成器和辨别器的对抗损失函数中，分别输出误差值L_G以及L_D；

(4)固定生成器的网络参数，将误差值L_D进行反向传播(BP)，更新优化辨别器的网络参数，进而在下一轮迭代中更准确地辨别出真实图像与伪图像；

(5)重复步骤2～4，固定辨别器的网络参数，将误差值L_G进行反向传播，更新优化生成器的网络参数，进而在下一轮迭代中缩小I_fake与I_real的差距；

(6)迭代优化次数N_iter大于N时结束训练，得到生成器G*，即可利用该生成器实现卫星低照度图像增强。

2.根据权利要求1所述基于生成对抗网络的空间卫星低照度图像增强方法，其特征在于：步骤(3)中，采用相对鉴别器结构构建辨别器，估计真实图像比伪图像更真实的概率，辨别器在对抗竞争过程中会不断提高该概率，进而提高了生成器的损失值L_G，以此加强生成器的网络参数优化，

其中，

表示对来源于真实数据的样本求期望，σ(·)表示sigmoid函数；

全局鉴别器以及生成器的损失函数均使用最小二乘损失函数LSGAN进行计算，对于全局辨别器，理想的

和

应分别接近于0和1，期望的辨别结果为D(I_real)＝1，D(I_fake)＝0，由式(2)和(3)可知，D_Rl(I_real,I_fake)及D_Rl(I_fake,I_real)的回归目标分别为1和0；

全局辨别器以及生成器的对抗损失函数定义如下：

局部辨别器采用LSGAN作为对抗损失函数：

3.根据权利要求1所述基于生成对抗网络的空间卫星低照度图像增强方法，其特征在于：步骤(3)中，设计了密集连接生成器，分为左侧四阶段的特征提取部分以及右侧三阶段的图像增强部分，左侧部分是逐阶段下采样，右侧部分是逐阶段上采样，从左至右每个阶段分别记为Stage₁～Stage₇，共计7个阶段；

记C_i,j(x)为第i阶段中，第j个卷积核尺寸为3×3的卷积层(Conv_3×3)的输出，即：

其中，x_i，j是输入的特征图，k为卷积核，b为偏置项，

为卷积运算，δ(·)为带泄露修正线性单元函数Leaky ReLu，BN(·)为批量正则化函数，对于Stage₁和Stage₂，各阶段的输出(S_i)，即下一阶段的输入(x_i+1,1)，其定义如下：

x_i+1,1＝S_i＝Maxpooling[Conv_1×1,n/2(Concat[C_i,1(x_i,1),C_i,2(x_i,2)])],i＝1,2

其中，Maxpooling是2×2最大池化层，Conv_1×1,n/2表示卷积核尺寸为1×1的卷积层，输出通道数为输入通道数n的1/2，其目的是逐像素融合多通道间的特征，压缩图像特征维度，Concat是在通道维度上进行连接，在Stage₁及Stage₂的特征提取中引入了密集连接的思想，加强信息传递，将更多的浅层特征传输到深层特征中；

在Stage₃中引入了残差连接的结构，避免了因网络深度的增加而引起的梯度消失等问题，Stage₃的输出定义如下：

S₃＝x_4,1＝Maxpooling[C_3,1(x_3,1)+C_3,3(x_3,3)]

引入了注意力机制，将输入的RGB图像正则化Norm到[0,1]区间，并求取对应的灰度图像，最后通过求反运算得到注意力图A₁，对其进行多级最大池化运算，获得多种尺寸的注意力图，以匹配多个阶段输出的特征图，具体计算过程如下：

A₁＝1-0.299×Norm(r)-0.587×Norm(g)-0.114×Norm(b)

A_i+1＝Maxpooling(A_i),i＝1,2,3

其中，r，g和b分别表示图像在R，G和B三个通道上的特征图，注意力图可突出原始图像中的低照度部分，将其与各阶段输出的特征图逐像素相乘，得到注意力增强特征图F，其可引导生成器关注更需增强处理的区域，F定义如下：

F_i＝S_i×A_i,i＝1,2,3,4

在图像增强阶段，特征图F与前一阶段上采样Upsample后的特征图进行连接，输出定义如下：

x_i+1,1＝Concat{F_7-i,Conv_3×3,n/2(Upsample[S_i])},i＝4,5,6

其中，Upsample是2×2线性上采样，在最后阶段，Stage₇输出的特征图S₇与注意力图A₁逐像素相乘，进一步突出特征图中的待增强区域，经过Conv_3×3,n＝3卷积运算后，与低照度图像I_low逐像素相加，输出增强后的卫星图像，其定义如下：

G(I_low)＝I_low+Conv_3×3,n＝3(S₇×A₁)。

Images