CN115223004A - 基于改进的多尺度融合生成对抗网络图像增强方法 - Google Patents
基于改进的多尺度融合生成对抗网络图像增强方法 Download PDFInfo
- Publication number
- CN115223004A CN115223004A CN202210692241.1A CN202210692241A CN115223004A CN 115223004 A CN115223004 A CN 115223004A CN 202210692241 A CN202210692241 A CN 202210692241A CN 115223004 A CN115223004 A CN 115223004A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- layer
- network
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进的多尺度融合生成对抗网络图像增强方法：步骤1：建立不同亮度的图像数据集；步骤2：建立改进的生成对抗网络图像增强模型，将训练集代入模型进行训练得到训练好的模型；步骤3：将待处理的真实的低照度图像输入训练好的模型中得到增强后的图像。本发明在生成器中引入通道注意力机制和残差稠密块，改善增强后图片局部突变的情况，使网络更加关注感兴趣信息，增强网络的灵活性。利用多层网络多维度提取图片特征，允许每一层网络都可以向后面网络传输需要保留的信息，将浅层的特征与深层的特征融合，在图像增强中可以提取到更多细节信息，解决增强后局部失真的问题。
Description
技术领域
本发明属于图像增强领域，具体涉及一种基于改进的多尺度融合生成对抗网络图像增强方法。
背景技术
随着图像处理技术在机器视觉中的广泛应用，高质量的图像变得尤为重要同时也对图像的预处理操作提出了更高的要求。现实生活中，往往会因为曝光不足或照明条件不良导致拍摄的图像出现细节模糊、对比度低、颜色失真等问题且真实室外场景复杂多变，不仅会造成图片的质量下降，而且严重影响了图像的后续使用。因此对于夜晚拍摄的光源复杂，能见度低的图像进行增强具有重要理论研究意义。目前存在夜晚增强的数据集光源单一，无法模拟真实夜晚场景和传统图像增强技术无法达到理想效果带来的问题。
非模型的图像增强主要包括直方图均衡化算法和空域滤波，其中，直方图均衡化算法通过对比清晰图像与复杂的天气中，成像设备拍摄到整体亮度和对比度偏低、动态范围较小图像。采用空间域对范围集中的图像灰度级进行扩充，扩大图像的灰度范围到全部灰度范围内。使得原本在比较集中的某个高亮度区域或低亮度区域的像素分布在全部灰度范围内，普通直方图均衡化算法是基于整张图像计算映射函数的，只是重新调整了噪音的分布并没有达到去噪音的目的，还有可能导致这种夜间环境图像增强过度，使黑暗区域噪声得到放大；空域滤波是利用滤波器对图像中的每一个像素进行滑动处理，利用数学统计运算包括反变换、对数变化、幂次变化等，移动滤波器对每个像素领域进行相同的操作，直至每个领域都操作完毕，但操作过程中滑动窗口尺寸的选择困难，因为当滤波窗口内像素个数远小于图像中的噪声数时，滤波会失效；基于模型的增强方法包括Retinex图像增强方法和暗通道先验算法，Retinex首先估算低分辨率图像光源强弱，去掉光强分量，减少因光照因素产生的对图像的影响，然后在图像中分离并保留出物体的反射部分，虽然在色彩自然度保真和细节增强上取得一定平衡但Retinex未考虑到实际情况往往不能满足光照图像进行平缓变化的前提假设，从而造成的局部区域突变效果；暗通道先验算法根据观测图像，求得大气透射率与环境光强，进而求出真实图像，暗通道先验算法存在是恢复后的图像存在颜色偏暗，且对天空失效等问题。
发明内容
本发明的目的在于提供一种基于改进的多尺度融合生成对抗网络图像增强方法，用以解决现有技术中的问题。
为了实现上述任务，本发明采用以下技术方案：
一种基于改进的多尺度融合生成对抗网络图像增强方法，包括如下步骤：
步骤1：建立不同亮度的图像数据集；
步骤2：建立改进的生成对抗网络图像增强模型，将步骤1得到的训练集代入改进的生成对抗网络图像增强模型进行训练，得到训练好的模型；通过测试集进行测试；其中，所述改进的生成对抗网络图像增强模型包括生成器和判别器；
所述生成器对输入其中的低照度图像数据集中每个图像的处理过程包括如下子步骤：
步骤21：采用7*7的卷积层提取训练集的低照度图像的浅层特征信息；
步骤22：浅层特征信息依次通过两个下采样层，获取与原始图像不同尺度的图像信息；
步骤23：将步骤22获得的图像信息送入深度特征提取模块，该模块包括两条并行的支路，这两条并行的支路通过不同大小的卷积核获得不同感受野的深层信息；所述两条并行的支路组成相同，包括依次连接的卷积层、激活函数和交替模块层和Concat层，且激活函数的输出和交替模块的输出共同连接Concat层；其中，所述交替模块包括交替连接的三个残差稠密块和三个通道注意力模块；
步骤24：将两条支路获得的不同感受野的深层信息进行视觉融合得到融合的特征图；
步骤25：对融合的特征图依次进行一次卷积、一次激活、两次上采样和再次卷积操作，得到输出特征图；其中，第一次卷积用于对融合后的特征进一步提取特征信息，两次上采样用于还原图像尺寸，再次卷积用于图像恢复；
步骤26，将步骤25得到的输出特征图与训练集其对应的原始图像共同连接Concat层，得到最终输出结果；
步骤3：将待处理的真实的低照度图像输入步骤3得到的训练好的模型中，得到增强后的图像。
进一步的，所述步骤1包括如下子步骤：
步骤11：使用伽马校正对原始图像I进行处理，得到第一低照度图像I1，计算公式如下：
式中，I表示原始图像(ground truth)，I1表示第一低照度图像，γ1表示伽马值，取0.2；
步骤12：将原始图像I使用相机响应函数处理降低图像亮度，得到第二低照度图像I2，计算公式如下：
式中，I2表示第二低照度图像，k表示虚拟曝光率，k＝-5.33，a和b作为相机响应函数的两个参数；
步骤13：对原始图像I使用图像处理软件手工调节图像亮度，得到第三低照度图像I3。
步骤14，将数据集分为测试集和训练集；
进一步的，所述步骤23中，所述残差稠密块包括稠密连接块和残差连接块，其中，稠密连接块用于将每层卷积层提取的信息分别向其后的每一卷积层传输，经过三个卷积层各自对应的稠密连接块后，通过连接函数融合浅层与深层的特征，然后利用卷积核为1的卷积层恢复特征图通道数；残差连接块采用跳跃连接方式，将输入残差稠密块的特征与经过稠密连接块卷积并激活后的输出进行逐像素相加。
进一步的，所述步骤23中，所述的两条并行的支路的残差稠密块的卷积核大小分别为3*3、5*5；
进一步的，所述步骤23中，所述通道注意力模块对残差稠密块得到的特征图的处理包括以下子步骤：
步骤231：位于通道注意力模块之前的残差稠密块输出的特征图分别进入通道注意力模块的两个支路；
步骤232：第一个支路使用全局平均池化将残差稠密块得到的特征图信息转化为通道描述符，将C×H×W的特征图像转换为C×1×1的特征图；
步骤233：第二个支路使用全局最大池化将残差稠密块得到的特征图信息每个通道中所有特征的最大值作为该通道的代表特征，得到特征图；
步骤234：将步骤232和步骤233获得的特征图分别通过两个卷积层放大缩小相同倍数的通道数，得到不同通道对应的特征权重，其中在第一个卷积层后接一个激活函数层以防止提取的特征数据在传输过程中发散，再将这两个不同大小的通道特征进行融合得到通道特征信息，之后通过Sigmoid激活函数进行激活；
步骤235：采用Element-wise product模块，将前一个残差稠密块得到的特征图与步骤234得到的特征图中各个通道的权重相乘，得到加权后的特征图。
进一步的，所述步骤2中，所述判别器包括6个卷积层，在前5个卷积层后均设有一个实例归一化层和一个relu激活函数，用来防止梯度消失；在最后1个卷积层后设有一个Sigmoid激活函数。
进一步的，所述步骤2中，所述判别器的损失函数为：
其中，
是指生成器生成样本的分布与真实图片分布之间的Wasserstein距离，
表示图片取自生成器网络输出的生成图片集，
表示图片取自训练集中的正常照度图像集，
表示图片取自生成样本与真实样本之间区域，G(x)表示生成器根据原始输入图像x生成的图像，D(x)表示判别器对原始输入图像x的判别评价，A表示期望值表达式，λ为梯度惩罚项的常系数，
为判别器梯度，
为WGAN-GP梯度惩罚项，其目的是让判别器梯度不超过1，用来解决梯度不稳定的问题，同时加速收敛。
进一步的，所述步骤2中，所述生成器的总体损失：
LG＝Lcondition+λ*Lcontent
其中，λ为修正系数，取100；Lcondition为条件损失，Lcontent为内容损失；
条件损失的损失函数为：
其中，B代表输入的低照度图片，
表示在输出的生成图像属于原本输入的低照度图像的条件概率，
代表生成器生成图片判别是否是真实图片的平均值；
内容损失采用感知损失。
本发明与现有技术相比具有以下技术特点：
(1)本发明数据集针对现有的低照度图像是从固定场景的HDR数据集引入，存在数量较少，很难包含不同场景且光源单一的问题，通过采用不同的亮度调节函数和参数合成低照度图像，主要使用了伽马校正、相机响应模型和Photoshop手工调整三种方法。通过涵盖更多更复杂的亮度变换曲线，来模拟夜晚场景。
(2)本发明改进的生成对抗网络模型生成器中引入通道注意力机制，改善增强后图片局部突变的情况，通道注意力机制根据同一张图片上各个区域的亮度以及包含的信息有所不同，说明了不同通道特征具有完全不同的加权信息，通过不平等的对待不同通道特征，使网络更加关注感兴趣信息，增强网络的灵活性。
(3)本发明改进的生成对抗网络模型生成器中引入残差稠密块，利用多层网络多维度提取图片特征，允许每一层网络都可以向后面网络传输需要保留的信息，将浅层的特征与深层的特征融合，在图像增强中可以提取到更多细节信息，解决增强后局部失真的问题。
(4)本发明改进的生成对抗网络模型，判别器中采用基于马尔可夫判别器网络包括6个卷积层，在前5个卷积层后均跟有一个实例归一化层(IN)一个relu激活函数，用来防止梯度消失，最后1个卷积层后跟Sigmoid激活函数，将输出图像像素值的范围映射到(0，1)之间，有利于判别网络鉴别生成图像和目标图像在某个区域的真假，通过给图像n个小区域打分解决局部区域去噪失效的问题。
(5)本发明改进的生成对抗网络模型对损失函数进行优化，在判别器损失函数中增加了增加梯度惩罚项WGAN-GP防止GAN训练崩溃，在生成器的损失函数中使用感知损失作为内容损失解决了L1损失和L2损失，为唯一目标进行优化在像素空间上做平均取值时会造成生成的图像模糊。
附图说明
图1是本发明中生成对抗网络结构图；
图2是本发明中通道注意力模块结构图；
图3是本发明中残差稠密连接块结构图；
图4是本发明中生成器网络结构图；
图5是本发明中的判别器网络结构图；
图6是本发明的实施例中伽马函数效果图；
图7是本发明的实施例中相机响应模型图；
图8是本发明的实施例中Photoshop调节图；
图9是本发明实施例中低照度图像增强结构对比实验1，其中：
(a)是低照度图像；
(b)是SRIE算法的增强效果图；
(c)是DC-GAN算法的增强效果图；
(d)是Cycle-GAN算法的增强效果图；
(e)是Lime算法的增强效果图；
(f)是本发明的方法的增强效果图；
图10是本发明的实施例中低照度图像增强结构对比实验2，其中：
(a)是低照度图像；
(b)是SRIE算法的增强效果图；
(c)是DC-GAN算法的增强效果图；
(d)是Cycle-GAN算法的增强效果图；
(e)是Lime算法的增强效果图；
(f)是本发明的方法的增强效果图；
图11是本发明的实例中不同等级照度图像增强结果实例，其中：
(a)是伽马函数方法生成的低照度图像对应增强效果图；
(b)是相机响应函数生成的低照度图像对应增强效果图；
(c)是通过Photoshop手动调节生成的低照度图像对应增强效果图；
图12是本发明的实例中不同等级照度图像增强结果：
(a)是伽马函数方法生成的低照度图像对应增强效果图；
(b)是相机响应函数生成的低照度图像对应增强效果图；
(c)是通过Photoshop手动调节生成的低照度图像对应增强效果图；
以下结合附图和实施例对本发明做进一步详细解释说明。
具体实施方式
首先对本发明中出现的技术词语进行解释说明：
生成对抗网络：是Lan Goodfellow等人在2014年提出一种优秀的深度学习模型，由生成网络(Generative Network)和判别网络(Discriminative Network)两部分共同组成，如图1所示。生成对抗网络利用零和博弈的思想，通过生成器网络和判别器网络的对抗学习、互相博弈，以达到纳什均衡点，此时网络达到最优效果。
伽马校正：又称伽马非线性化或伽马编码。是用来针对影片或影像***中对于光线的辉度或是三色刺激值所进行的非线性运算或反运算。为图像进行伽马校正的目的是用来对人类视觉的特性进行补偿。如果不对图像进行伽马校正，则数据位或带宽的利用会分布不均匀导致图像视觉观感异常。伽马校正通过预先增大RGB值以达到排除影响、图像校正的目的。
相机响应模型：又称相机响应函数。摄像机在拍摄图像时，场景中的物体辐射的亮度L通过摄像机的透镜后，在图像传感器的表面上是辐照度E，而场景亮度L映射到E的关系式为：
其中，h是摄像机镜头的焦距，
是入射光与图像传感器垂直面的夹角，d是镜头光圈大小。由于拍摄多帧图像要求摄像机保持静止，则拍摄过程中h、
d都是不变的量，则L映射到E的过程是一个线性映射的过程。在按下快门后，在曝光时间Δt内到达图像传感器上的总的曝光量，经过传感器的光点转换后，得到模拟信号，然后经历模数转换、量化取整等步骤后，得到像素值Z。而辐照度E映射到像素值Z的过程是一个非线性的过程，该非线性的映射关系被称为相机响应函数。
本实施例给出的基于改进的多尺度融合生成对抗网络图像增强方法，包括如下步骤：
步骤1：建立不同亮度的低照度图像数据集。
该步骤中，针对现有数据集中存在数据量少、亮度单一等问题，采用三种不同方式人工生成数据构建低照度图像数据集，涵盖更多更复杂的亮度变换曲线。具体包括如下子步骤：
步骤11：使用伽马校正对原始图像I进行处理，得到第一低照度图像I1，计算公式如下：
式中，I表示原始图像(ground truth)，I1表示第一低照度图像，γ1表示伽马值，取0.2。
步骤12：将原始图像I使用相机响应函数处理降低图像亮度，得到第二低照度图像I2，计算公式如下：
式中，I2表示第二低照度图像，k表示虚拟曝光率，k＝-5.33，a和b作为相机响应函数的两个参数，可通过不同曝光自然图像对计算得出，经过实验拟采用a＝-0.32，b＝1.12。
该步骤中，相机响应函数利用与真实图像不同的曝光率，模拟图像在低曝光程度下的生成图像。相机响应函数比伽马函数更复杂，通过不同参数能够覆盖不同类别的低照度图像，从而增加了数据集的数据涵盖范围。
步骤13：对原始图像I使用图像处理软件(优选Photoshop)手工调节图像亮度，得到第三低照度图像I3。使用伽马矫正函数和相机响应模型改变图像亮度，得到的结果可能与真实图像仍有差别，为了增加数据集的真实性和可靠性，本步骤针对每张原始图像进行手工调整，得到了100张低照度图像I3。
具体的，其建立三种不同亮度低照度图像数据集如图6、7、8所示。本实施例中使用原始图像100张，分别将其生成对应三种不同亮度的低照度图像各100张，共计300对图像。
步骤14，将数据集分为2：8的测试集和训练集；
步骤2：建立改进的生成对抗网络图像增强模型，将步骤1得到的训练集代入改进的生成对抗网络图像增强模型进行训练，得到训练好的模型；通过测试集进行测试。其中，改进的生成对抗网络图像增强模型包括生成器和判别器(参见图1)，其中，生成器为基于注意力机制融合多尺度残差稠密连接网络，判别器为基于PatchGan的判别器，损失函数为优化后的损失函数；
具体的，如图4所示，生成器对输入其中的低照度图像数据集中每个图像的处理过程包括如下子步骤：
步骤21：采用7*7的卷积层提取训练集的低照度图像的浅层特征信息；
步骤22：浅层特征信息依次通过两个下采样层，获取与原始图像不同尺度的图像信息；
步骤23：将步骤22获得的图像信息送入深度特征提取模块，该模块包括两条并行的支路，这两条并行的支路通过不同大小的卷积核获得不同感受野的深层信息。
两条并行的支路组成相同，即：包括依次连接的卷积层、激活函数和交替模块层和Concat层，且激活函数的输出和交替模块的输出共同连接Concat层。其中，交替模块包括交替连接的三个残差稠密块和三个通道注意力模块。两条并行的支路中，残差稠密块的卷积核大小分别为3*3、5*5；残差稠密块和通道注意力模块用于学习复杂细节特征；激活函数的输出和交替模块的输出共同连接的Concat层用于将浅层的信息拷贝到深层，防止卷积过程中低维度信息丢失。
具体的，如图3所示，残差稠密块包括稠密连接块和残差连接块(图中上部的连接线表示稠密连接，下部连接线表示残差连接)，其中，稠密连接块用于将每层卷积层提取的信息分别向其后的每一卷积层传输，经过三个卷积层各自对应的稠密连接块后，通过连接函数融合浅层与深层的特征，然后利用卷积核为1的卷积层恢复特征图通道数；残差连接块采用跳跃连接方式，将输入残差稠密块的特征与经过稠密连接块卷积并激活后的输出进行逐像素相加，能够在通过增加网络深度提高准确率的同时降低训练的复杂度。残差稠密块输出的特征图(大小为C*H*W，C为通道数，H,W分别为特征图的宽和高)
具体的，如图2所示，通道注意力模块对残差稠密块得到的特征图的处理包括以下子步骤：
步骤231：位于通道注意力模块之前的残差稠密块输出的特征图分别进入通道注意力模块的两个支路；
步骤232：第一个支路使用全局平均池化将残差稠密块得到的特征图信息转化为通道描述符(代表图片背景特征)，将C×H×W的特征图像转换为C×1×1的特征图；
步骤233：第二个支路使用全局最大池化将残差稠密块得到的特征图信息每个通道中所有特征的最大值作为该通道的代表特征(表示图片的纹理细节信息)，得到特征图；
步骤234：将步骤232和步骤233获得的特征图分别通过两个卷积层放大缩小相同倍数的通道数，得到不同通道对应的特征权重，其中在第一个卷积层后接一个激活函数层以防止提取的特征数据在传输过程中发散，再将这两个不同大小的通道特征进行融合(即逐像素相加)得到通道特征信息，得到新的特征图权重，之后通过Sigmoid激活函数进行激活，防止特征数据在传输过程中发散。
该步骤的目的是为了达到增强后的图像细节保留完整，整体和谐一致的特点。
步骤235：采用Element-wise product模块，将前一个残差稠密块得到的特征图与步骤234得到的特征图中各个通道的权重相乘，得到加权后的特征图。
该步骤能够增强网络的特征学习能力。
步骤24：将两条支路获得的不同感受野的深层信息进行视觉融合(即逐像素相加)得到融合的特征图；
步骤25：对融合的特征图依次进行一次卷积、一次激活、两次上采样和再次卷积操作，得到输出特征图；其中，第一次卷积用于对融合后的特征进一步提取特征信息，两次上采样用于还原图像尺寸，再次卷积用于图像恢复；
步骤26，将步骤25得到的输出特征图与训练集其对应的原始图像共同连接Concat层，得到最终输出结果。
具体的，如图5所示，步骤2中判别器优化结果采用基于PatchGan判别器(马尔科夫判别器)网络，包括6个卷积层，在前5个卷积层后均设有一个实例归一化层和一个relu激活函数，用来防止梯度消失；在最后1个卷积层后设有一个Sigmoid激活函数，用于将输出图像像素值的范围映射到(0，1)之间，有利于判别网络鉴别生成图像和目标图像在某个区域的真假，通过给图像n个小区域打分解决局部区域去噪失效的问题。
具体的，步骤2中，判别器的损失函数为：
其中，
是指生成器生成样本的分布与真实图片分布之间的Wasserstein距离，
表示图片取自生成器网络输出的生成图片集，
表示图片取自训练集中的正常照度图像集，
表示图片取自生成样本与真实样本之间区域，G(x)表示生成器根据原始输入图像x生成的图像，D(x)表示判别器对原始输入图像x的判别评价，A表示期望值表达式，λ为梯度惩罚项的常系数，
为判别器梯度，
为WGAN-GP梯度惩罚项，其目的是让判别器梯度不超过1，用来解决梯度不稳定的问题，同时加速收敛。
生成器的总体损失是条件损失和优化的内容损失总和，其表达式为；
LG＝Lcondition+λ*Lcontent
λ为修正系数，本实施例中固定为100。其中Lcondition为条件损失，着重于保持生成器输出对输入的低照度图像的依赖性，Lcontent为内容损失，着重于保证生成图片的真实性。
条件损失目标是最大化判别器将生成图像判断为真实图像的概率，其损失函数为：
B代表输入的低照度图片，
表示在输出的生成图像属于原本输入的低照度图像的条件概率，
代表生成器生成图片判别是否是真实图片的平均值；
由于经典内容损失的L1损失和L2损失都要在像素空间上做平均取值，导致其作为唯一目标进行优化时会造成生成的图像模糊，本发明中使用了感知损失作为内容损失，感知损失是计算将真实的清晰图像和生成器所得的生成图像输入到VGG-19网络中的conv3-3层经过激活之后的特征图差异，来保证增强后的图像边缘信息更加锐利，感知损失的计算公式如下：
步骤3：将待处理的真实的低照度图像输入步骤3得到的训练好的模型中，得到增强后的图像。
为了验证本发明的方法的可行性和有效性，给出了步骤3中利用测试集进行测试的过程和结果：
使用数据集中同样的训练集在DC-Gan，Cycle-Gan两种深度学习算法模型上分别进行训练，得到训练好的网络模型，然后用数据集中同样的测试集在SRIE、Lime算法、训练好的DC-Gan网络和Cycle-Gan网络上进行对比实验，证明本发明的方法对图像增强效果提升有着显著影响。
具体的，训练采用Adam优化器，每对判别器进行3次梯度下降后，对生成器进行一次更新，训练总批次为300次。生成器和判别器的初始学习率都设定为1×10－4。对比实验效果图如图9、图10所示，从左向右依次为低照度图像、SRIE、DC-Gan网络、Cycle-Gan网络、Lime算法的结果，最后是本发明的方法的结果。
不同等级照度增强图如图11、图12所示；从左向右依次为伽马函数、相机响应模型、Photoshop三种不同低照度图片的增强结果。
从图9、10中可以看出，本发明的方法对比其他经典算法增强后的图片很好的保持了图像原有的色彩，最大程度的还原了图片细节信息，提升图像亮度和对比度同时保证了色彩柔和，证明本发明公开的模型有效提升了夜晚增强图片的视觉效果；图11、12反映了三种不同光照的低照度图片增强效果，以模拟夜晚复杂光源带来的成像后图片亮度不同现象，图中可以看出，不同亮度的低照度图片增强效果不同，最右边亮度稍强的低照度图片效果更好，但最左边较暗的图片增强后也可以还原大部分细节，证明本发明的模型能适应不同亮度图片，具有兼容性。
另外，为测试本发明的方法较一般方法的优越性，使用同样的数据集分别在SRIE、Lime算法、训练好的DC-Gan网络和Cycle-Gan网络、本发明的模型进行测试，各种算法的平均性能指标如下表所示。
表1不同算法增强实验结果
本发明的改进的多尺度融合生成对抗网络图像增强算法的PSNR高达23.43、SSIM高达0.82，相比传统的图像增强和普通Gan网络的图像增强，改进的多尺度融合生成对抗网络图像增强算法的PSNR提升17.12％,SSIM提升了17.56％，为图片的后续使用奠定了良好的基础。
Claims (8)
1.一种基于改进的多尺度融合生成对抗网络图像增强方法，其特征在于，包括如下步骤：
步骤1：建立不同亮度的图像数据集；
步骤2：建立改进的生成对抗网络图像增强模型，将步骤1得到的训练集代入改进的生成对抗网络图像增强模型进行训练，得到训练好的模型；通过测试集进行测试；其中，所述改进的生成对抗网络图像增强模型包括生成器和判别器；
所述生成器对输入其中的低照度图像数据集中每个图像的处理过程包括如下子步骤：
步骤21：采用7*7的卷积层提取训练集的低照度图像的浅层特征信息；
步骤22：浅层特征信息依次通过两个下采样层，获取与原始图像不同尺度的图像信息；
步骤23：将步骤22获得的图像信息送入深度特征提取模块，该模块包括两条并行的支路，这两条并行的支路通过不同大小的卷积核获得不同感受野的深层信息；所述两条并行的支路组成相同，包括依次连接的卷积层、激活函数和交替模块层和Concat层，且激活函数的输出和交替模块的输出共同连接Concat层；其中，所述交替模块包括交替连接的三个残差稠密块和三个通道注意力模块；
步骤24：将两条支路获得的不同感受野的深层信息进行视觉融合得到融合的特征图；
步骤25：对融合的特征图依次进行一次卷积、一次激活、两次上采样和再次卷积操作，得到输出特征图；其中，第一次卷积用于对融合后的特征进一步提取特征信息，两次上采样用于还原图像尺寸，再次卷积用于图像恢复；
步骤26，将步骤25得到的输出特征图与训练集其对应的原始图像共同连接Concat层，得到最终输出结果；
步骤3：将待处理的真实的低照度图像输入步骤3得到的训练好的模型中，得到增强后的图像。
2.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法，其特征在于，所述步骤1包括如下子步骤：
步骤11：使用伽马校正对原始图像I进行处理，得到第一低照度图像I1，计算公式如下：
式中，I表示原始图像(ground truth)，I1表示第一低照度图像，γ1表示伽马值，取0.2；
步骤12：将原始图像I使用相机响应函数处理降低图像亮度，得到第二低照度图像I2，计算公式如下：
式中，I2表示第二低照度图像，k表示虚拟曝光率，k＝-5.33，a和b作为相机响应函数的两个参数；
步骤13：对原始图像I使用图像处理软件手工调节图像亮度，得到第三低照度图像I3。
步骤14，将数据集分为测试集和训练集；
3.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法，其特征在于，所述步骤23中，所述残差稠密块包括稠密连接块和残差连接块，其中，稠密连接块用于将每层卷积层提取的信息分别向其后的每一卷积层传输，经过三个卷积层各自对应的稠密连接块后，通过连接函数融合浅层与深层的特征，然后利用卷积核为1的卷积层恢复特征图通道数；残差连接块采用跳跃连接方式，将输入残差稠密块的特征与经过稠密连接块卷积并激活后的输出进行逐像素相加。
4.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法，其特征在于，所述步骤23中，所述的两条并行的支路的残差稠密块的卷积核大小分别为3*3、5*5；
5.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法，其特征在于，所述步骤23中，所述通道注意力模块对残差稠密块得到的特征图的处理包括以下子步骤：
步骤231：位于通道注意力模块之前的残差稠密块输出的特征图分别进入通道注意力模块的两个支路；
步骤232：第一个支路使用全局平均池化将残差稠密块得到的特征图信息转化为通道描述符，将C×H×W的特征图像转换为C×1×1的特征图；
步骤233：第二个支路使用全局最大池化将残差稠密块得到的特征图信息每个通道中所有特征的最大值作为该通道的代表特征，得到特征图；
步骤234：将步骤232和步骤233获得的特征图分别通过两个卷积层放大缩小相同倍数的通道数，得到不同通道对应的特征权重，其中在第一个卷积层后接一个激活函数层以防止提取的特征数据在传输过程中发散，再将这两个不同大小的通道特征进行融合得到通道特征信息，之后通过Sigmoid激活函数进行激活；
步骤235：采用Element-wise product模块，将前一个残差稠密块得到的特征图与步骤234得到的特征图中各个通道的权重相乘，得到加权后的特征图。
6.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法，其特征在于，所述步骤2中，所述判别器包括6个卷积层，在前5个卷积层后均设有一个实例归一化层和一个relu激活函数，用来防止梯度消失；在最后1个卷积层后设有一个Sigmoid激活函数。
7.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法，其特征在于，所述步骤2中，所述判别器的损失函数为：
其中，
是指生成器生成样本的分布与真实图片分布之间的Wasserstein距离，
表示图片取自生成器网络输出的生成图片集，
表示图片取自训练集中的正常照度图像集，
表示图片取自生成样本与真实样本之间区域，G(x)表示生成器根据原始输入图像x生成的图像，D(x)表示判别器对原始输入图像x的判别评价，A表示期望值表达式，λ为梯度惩罚项的常系数，
为判别器梯度，
为WGAN-GP梯度惩罚项，其目的是让判别器梯度不超过1，用来解决梯度不稳定的问题，同时加速收敛。
8.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法，其特征在于，所述步骤2中，所述生成器的总体损失：
LG＝Lcondition+λ*Lcontent
其中，λ为修正系数，取100；Lcondition为条件损失，Lcontent为内容损失；
条件损失的损失函数为：
其中，B代表输入的低照度图片，
表示在输出的生成图像属于原本输入的低照度图像的条件概率，
代表生成器生成图片判别是否是真实图片的平均值；内容损失采用感知损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210692241.1A CN115223004A (zh) | 2022-06-17 | 2022-06-17 | 基于改进的多尺度融合生成对抗网络图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210692241.1A CN115223004A (zh) | 2022-06-17 | 2022-06-17 | 基于改进的多尺度融合生成对抗网络图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115223004A true CN115223004A (zh) | 2022-10-21 |
Family
ID=83608823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210692241.1A Pending CN115223004A (zh) | 2022-06-17 | 2022-06-17 | 基于改进的多尺度融合生成对抗网络图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115223004A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661001A (zh) * | 2022-12-14 | 2023-01-31 | 临沂大学 | 基于生成对抗网络的单通道煤岩图像增强方法 |
| CN115797750A (zh) * | 2023-02-02 | 2023-03-14 | 天津滨海迅腾科技集团有限公司 | 一种基于深度学习算法的大尺寸图像快速传输方法 |
| CN116029947A (zh) * | 2023-03-30 | 2023-04-28 | 之江实验室 | 一种用于恶劣环境的复杂光学图像增强方法、装置和介质 |
| CN116433770A (zh) * | 2023-04-27 | 2023-07-14 | 东莞理工学院 | 一种定位方法、定位装置及存储介质 |
| CN116797485A (zh) * | 2023-06-30 | 2023-09-22 | 中国人民解放军军事科学院***工程研究院 | 一种基于数据合成的低照度图像增强方法及装置 |
| CN117408893A (zh) * | 2023-12-15 | 2024-01-16 | 青岛科技大学 | 一种基于浅层神经网络的水下图像增强方法 |
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
| CN117911798A (zh) * | 2024-03-19 | 2024-04-19 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及*** |
-
2022
- 2022-06-17 CN CN202210692241.1A patent/CN115223004A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661001B (zh) * | 2022-12-14 | 2023-04-07 | 临沂大学 | 基于生成对抗网络的单通道煤岩图像增强方法 |
| CN115661001A (zh) * | 2022-12-14 | 2023-01-31 | 临沂大学 | 基于生成对抗网络的单通道煤岩图像增强方法 |
| CN115797750A (zh) * | 2023-02-02 | 2023-03-14 | 天津滨海迅腾科技集团有限公司 | 一种基于深度学习算法的大尺寸图像快速传输方法 |
| CN116029947A (zh) * | 2023-03-30 | 2023-04-28 | 之江实验室 | 一种用于恶劣环境的复杂光学图像增强方法、装置和介质 |
| CN116433770B (zh) * | 2023-04-27 | 2024-01-30 | 东莞理工学院 | 一种定位方法、定位装置及存储介质 |
| CN116433770A (zh) * | 2023-04-27 | 2023-07-14 | 东莞理工学院 | 一种定位方法、定位装置及存储介质 |
| CN116797485A (zh) * | 2023-06-30 | 2023-09-22 | 中国人民解放军军事科学院***工程研究院 | 一种基于数据合成的低照度图像增强方法及装置 |
| CN117408893A (zh) * | 2023-12-15 | 2024-01-16 | 青岛科技大学 | 一种基于浅层神经网络的水下图像增强方法 |
| CN117408893B (zh) * | 2023-12-15 | 2024-04-05 | 青岛科技大学 | 一种基于浅层神经网络的水下图像增强方法 |
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
| CN117893413B (zh) * | 2024-03-15 | 2024-06-11 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
| CN117911798A (zh) * | 2024-03-19 | 2024-04-19 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及*** |
| CN117911798B (zh) * | 2024-03-19 | 2024-05-28 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
| CN109614996B (zh) | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 | |
| CN110889813B (zh) | 基于红外信息的低光图像增强方法 | |
| CN110728633B (zh) | 多曝光度高动态范围反色调映射模型构建方法及装置 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN115205160A (zh) | 基于局部场景感知的无参考低照度图像增强方法 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| KR102277005B1 (ko) | 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치 | |
| CN113935916A (zh) | 基于环境光感知的端到端水下图像复原方法 | |
| CN117611467A (zh) | 一种能同时平衡不同区域细节和亮度的低光图像增强方法 | |
| CN117611501A (zh) | 一种低照度图像增强方法、装置、设备及可读存储介质 | |
| CN117115612A (zh) | 基于多传感器图像增强优化的多通道图像融合方法及*** | |
| Raigonda et al. | Haze Removal Of Underwater Images Using Fusion Technique | |
| WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN115170420A (zh) | 一种图像对比度的处理方法及*** | |
| CN113870162A (zh) | 一种融合光照和反射的低光图像增强方法 | |
| CN113643202A (zh) | 一种基于噪声注意力图指导的微光图像增强方法 | |
| Kaur et al. | Haze removal in remote sensing images for improved data analysis and extraction | |
| CN112686825A (zh) | 一种基于fpga的地面浓雾场景灰度图像去雾方法 | |
| Zhao et al. | Single image dehazing based on enhanced generative adversarial network | |
| Lee et al. | Image dehazing technique based on sky weight detection and fusion transmission | |
| CN115496694B (zh) | 基于改进图像形成模型对水下图像进行恢复和增强的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |