CN116051428B - 一种基于深度学习的联合去噪与超分的低光照图像增强方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的联合去噪与超分的低光照图像增强方法，属于计算机视觉领域。本发明方法将训练好的增强网络、去噪网络、超分网络与全局线性提亮模块按一定顺序组织成一个包含所有处理流程的整体网络，将待处理的低光照图像输入到该网络中，依次经过低光照图像增强、全局线性提亮、去噪和超分辨率重建，得到亮度增强后的高清彩色图像。本发明在增强图像亮度的同时，不仅能够保证色彩保真度和细节还原度，而且提高了信噪比与清晰度。此外，本发明的方法具有一定灵活性，根据不同情况来决定输入的图像样本是否要经过全局线性提亮模块、去噪网络和超分网络的处理，这样能够保证输出图像在主观上和客观上的质量评价指标都比较高。

Description

一种基于深度学习的联合去噪与超分的低光照图像增强方法

技术领域

本发明涉及一种基于深度学习的联合去噪与超分的低光照图像增强方法，属于计算机视觉领域。

背景技术

低光照图像增强是计算机视觉领域的底层任务，是指运用计算机技术对照明不足的图像中存在的低亮度、低对比度、噪声、伪影等问题进行处理，从而提升视觉质量，并且保持原图中物体的纹理、结构、色彩信息，以满足人们在各领域研究、使用的需要。当拍摄场景光线不足时，拍摄的图像整体亮度过低，人眼很难从中快速获取有用信息，且低光成像时容易出现噪声和信息丢失的问题，导致图像成像质量低。通过人为补光或延长曝光时间有助于提高成像质量，但是这两种手段并不能适用于所有应用场景；此外提高拍摄设备的硬件性能也有助于在一定程度上提高成像质量，然而成本较高。因此在实际的应用中，通过增强算法提高低光照图像质量有着重要意义。

现有的低光照图像增强方法主要包括基于Retinex理论的方法，基于直方图均衡化的方法，基于去雾模型的方法和基于深度学习的方法。基于Retinex理论的方法认为图像由光照和物体的反射两部分组成，其中物体的反射不随光照变化，对低光照图像估计光照情况并将其移除就可以去除不同光照条件所带来的图像降质的影响。基于直方图均衡化的方法粗略地认为正常光照下图像的直方图是均匀分布的，利用图像的这一统计特性对图像中各个像素点的数值进行重新分配后便得到增强结果。基于去雾模型的方法的思路是将低光照图像增强任务转换为去雾任务，具体操作是将低光照图像反相，然后用去雾方法进行处理，最后再做一次反相，得到增强结果。基于深度学习的方法大多数采用结构类似于U-Net的卷积神经网络，多数使用配对的低光照图像和正常光照下的图像以监督学习的方式进行训练，让网络学习从低光照图像到正常光照图像的映射关系。

现有的基于深度学***高的问题。虽然已经有些低光照图像增强方法将噪声考虑到网络结构设计当中，也有的方法直接用合成或真实的带噪声图片进行有监督式的训练从而让网络隐式地习得去噪能力，但是两种方法在真实测试集上去噪的泛化表现并不显著；此外也有报道过将去噪、去模糊、超分辨率重建结合在一起的方法，但是这种方法直接对低光照图像进行处理的结果会比较差，输出结果仍然是比较暗的，并不适用于低光照图像的处理。因此，需要一种方法将低光照图像增强、去噪和超分辨率重建都考虑进去，这样才能对低光照图像进行整体而全面的画质增强。

发明内容

基于上述背景，有必要针对目前的上述技术问题，提供一种基于深度学习的同步完成低光照图像增强、去噪和超分辨率重建的图像增强方法，在提高图像全局亮度的同时，也能减少细节模糊、局部过曝光、暗区伪影、色彩偏移等现象的出现，并且能抑制噪声，提高图像清晰度。

为了实现上述目的，本发明采取了如下技术方案：

一种基于深度学习的联合去噪与超分的低光照图像增强方法，由三个子网络（增强网络LLENet、去噪网络DeNet和超分网络SRNet）和一个全局线性提亮模块GLBM所构成，包括以下步骤：

S1：将低光照图像样本输入到增强网络LLENet（Low Light EnhancementNetwork）中，这一网络是一个整体和内部都具有拉普拉斯金字塔结构的卷积神经网络，由它完成低光照图像增强的工作；

S2：判断增强后图像的平均亮度是否高于某一阈值L1，是则忽略该步骤，否则判断增强图像的最大亮度值是否小于某一阈值，是则用全局线性提亮模块GLBM（Global LinearBrightening Module）对该图像进行一个全局线性提亮的操作，否则跳过该步骤；

S3：判断图像的噪声水平估计值是否高于某一阈值σ且平均亮度是否高于某一阈值L2，是则将该图像输入到去噪网络DeNet（Denoising Network）中，这一网络采用的是结构类似于U-Net的卷积神经网络，由它完成去噪的工作；否则跳过该步骤；

S4：判断图像的分辨率是否小于某一阈值R，是则将该图像输入到超分网络SRNet（Super Resolution Network）中，这一网络采用了Swin Transformer，由它完成超分辨率重建的工作。最终得到经过低光照图像增强、全局线性提亮、去噪和超分辨率重建的高清彩色图像。

依次经过上述4个步骤，最终得到经过低光照图像增强、全局线性提亮、去噪和超分辨率重建的高清彩色图像。注意，上述步骤的处理顺序是在实验过程中经过调优而确定的，详细说明见具体实施方案中的讨论。优选地，阈值参数（L1、L2、σ、R）也可以在实验过程中经过调优而确定。

在一种实施方式中，所述方法中，增强网络LLENet是一个整体和内部都具有拉普拉斯金字塔结构的卷积神经网络；去噪网络DeNet采用的是结构类似于U-Net的卷积神经网络；超分网络SRNet采用了Swin Transformer。

在一种实施方式中，所述步骤S1中，增强网络LLENet是一个整体和内部都具有拉普拉斯金字塔结构的卷积神经网络，共有三个分支，分别对应增强网络LLENet整体拉普拉斯金字塔结构的三个层级，其中两个分支（记为分支1，分支2）由卷积层、转置卷积层、跳跃连接结构、具有多尺度残差结构的拉普拉斯模块和UNet++模块组成，参数设置完全一致，卷积和转置卷积的步长均设置为2，而在另一个分支（记为分支3）中，转置卷积层被替换为普通的卷积层，且卷积的步长设置为1。一张输入图像需要先经过拉普拉斯金字塔分解得到三张不同尺寸的“图像”，然后分别输入到这三个分支中，具体而言，三张图像的尺寸依次减半，最大尺寸（尺寸保持与原始输入图像相同）的输入分支1，中等尺寸的输入分支2，最小尺寸的输入分支3。

在一种实施方式中，所述增强网络LLENet内部的拉普拉斯金字塔结构，来源于具有多尺度残差结构的拉普拉斯模块，该模块内部同样具有N个分支，输入特征图同样需要经过拉普拉斯金字塔分解后才能分别输入到这N个分支中，这N个分支的组成单元和参数设置完全一致，其中组成单元从输入到输出依次为卷积层、实例归一化、线性整流函数、卷积层、实例归一化和跳跃连接。具体而言，增强网络LLENet分支1与分支2的拉普拉斯模块内部的分支数为2，而分支3的拉普拉斯模块内部的分支数为3。

在一种实施方式中，所述UNet++模块采用UNet++的网络结构，操作仅包括包括卷积、上采样、下采样和跳跃连接，这一模块位于增强网络LLENet正中间的位置，前面连接着增强网络LLENet分支的编码器部分，后面连接着解码器，它整体上呈现一个各卷积层之间密集连接的U型特征金字塔结构，充当一个强大的特征提取器。UNet++模块的级数代表着在模块内部最多进行了几次下采样操作，增强网络LLENet不同分支中UNet++模块的级数是不同的，具体而言，分支1与分支2的UNet++模块级数为2，分支3的UNet++模块级数为3。

在一种实施方式中，所述增强网络LLENet的损失函数包括数据损失、拉普拉斯损失、颜色损失、结构损失、区域损失和感知损失，训练集采用公开的真实数据集SICE（PartI）和仿真数据集MIT-Adobe FiveK。

在一种实施方式中，所述步骤S2中，首先计算增强后图像的平均亮度，其中/>表示低光照增强后的图像，H,W,C分别表示图像的高度、宽度和通道数，若/>小于所设定的阈值/>，则进一步判断/>是否小于255，其中/>是我们希望图像达到的平均亮度值，若是则用全局线性提亮模块GLBM进行全局线性提亮的操作，用公式表示为：/>，这一步在增强网络LLENet的基础上进一步提升了图像亮度，得到提亮后的图像/>。

在一种实施方式中，所述步骤S3中，噪声水平估计采用David L Donoho等人于1994年提出的基于小波估计高斯噪声标准差的算法。只有当图像的噪声水平估计值大于阈值且平均亮度值大于阈值/>时我们才对图像进行去噪的原因在于，去噪通常会模糊细节，使图像整体上更起来更平滑，若图像本身噪声水平就比较低，则去噪反而会造成细节信息的丢失，而如果图像平均亮度太小，去噪通常会造成严重的细节损失。我们需要权衡低噪声水平、高信噪比与细节还原度之间的矛盾，所以需要根据情况的不同来选择是否对图像进行去噪。

在一种实施方式中，所述步骤S3中，去噪网络DeNet是一个整体具有4级U-Net 结构的卷积神经网络，U-Net的每一层级都是由重复N次的去噪基本单元所构成，而去噪基本单元由层归一化、1*1卷积层、3*3深度可分离卷积、简单门单元和简化的通道注意力机制和跳跃连接所组成，其中简单门单元相当于一个简化版的GELU激活函数，它把输入特征图按通道一分为二，然后将这两个部分按元素相乘得到输出；简化的通道注意力机制去除了原有的1个卷积层和两个激活函数层，对输入特征图进行全局平均池化后只做一次1*1卷积操作，然后与原来的输入特征图按通道相乘得到输出。训练集采用SIDD，损失函数为峰值信噪比损失。

在一种实施方式中，所述步骤S4中，当图像的分辨率较小时，我们希望通过基于Swin Transformer的超分辨率重建网络SRNet提高其分辨率，具体而言，记图像的宽和高中较大的那一个尺寸为S（单位：像素），若，则对图像做4倍上采样的超分辨率重建；若，则对图像做3倍上采样的超分辨率重建；若/>，则对图像做2倍上采样的超分辨率重建；若/>，则不做任何操作。超分网络SRNet采用了SwinTransformer，网络结构由浅层特征提取、深度特征提取和高分辨率图像重建三部分组成，其中浅层特征提取部分由两个带ReLU激活函数的卷积层和一个类似于Inception模块的卷积模块组成；深度特征提取部分由K个深度特征提取模块、一个卷积层和一个跳跃连接构成，其中深度特征提取模块由N个Swin Transformer模块和一个卷积层组成，而SwinTransformer模块依次由层归一化、窗口-多头注意力机制、跳跃连接，层归一化、全连接层、跳跃连接，层归一化、滑动窗口-多头注意力机制、跳跃连接，层归一化、全连接层、跳跃连接串接而成；高分辨率图像重建部分是一个亚像素卷积层，由其完成像素重组的操作。超分网络SRNet的损失函数采用/>像素损失和感知损失的组合，训练集包括DIV2K， Flickr2K，OST，WED，FFHQ，Manga109和SCUT-CTW1500。

在一种实施方式中，所述的增强网络LLENet、去噪网络DeNet和超分网络SRNet是分别进行训练的，训练完成后再将这三个子网络与全局线性提亮模块GLBM组织成一个用于端到端低光照图像增强的整体网络。

本发明还提供一种基于深度学习的联合去噪与超分的低光照图像增强***，用于执行本发明的低光照图像增强方法，包括：

增强网络LLENet，用于增强低光照图像的亮度；

全局线性提亮模块GLBM，在增强子网络的基础上进一步提升图像的全局亮度；

去噪网络DeNet，用于减少图像噪声，提高信噪比；

超分网络SRNet，用于提升图像清晰度。

所述低光照图像增强***，还包括：平均亮度分析模块，用于分析图像亮度；噪声水平分析模块，用于分析图像噪声水平；分辨率分析模块，用于分析图像分辨率。

本发明还提供一种电子设备，包括存储器和处理器，以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成本发明所述的低光照图像增强方法。

本发明还提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成本发明所述的低光照图像增强方法。

本发明具有以下有益效果：

（1）低光照图像增强网络LLENet是一个在图像域和特征域都采用拉普拉斯金字塔结构的卷积神经网络，其中图像域是指对输入到网络之前的图像进行预处理所得到的图像集合，而特征域是指网络中的特征图集合。低光照图像样本在输入网络之前先进行拉普拉斯金字塔分解，得到原尺寸（拉普拉斯残差）、1/2原尺寸（拉普拉斯残差）、1/4原尺寸（1/4下采样结果）的三张“图像”，分别输入到细粒度分支1、次细粒度分支2、粗粒度分支3中，这三个分支就代表了网络整体的金字塔结构；在特征域中，具有多尺度残差结构的拉普拉斯模块在其内部完成了拉普拉斯金字塔分解与重建的工作。这种将图像分解成不同尺寸来处理的方法能够产生多尺度的特征表示，可以将不同尺度的优点整合在一起，比如，细粒度（高分辨率）分支更注重位置、细节信息，粗粒度（低分辨率）分支更注重语义信息。总体而言，在网络整体和内部都采用拉普拉斯金字塔结构的好处是：在较细粒度的金字塔层次上的拉普拉斯残差指导编码器-解码器架构准确地恢复局部细节，而最粗粒度的拉普拉斯金字塔层次迫使相关网络调整全局照明，这样可以使得增强结果具有更自然的色彩分布和更高的对比度；此外，在网络整体和内部的拉普拉斯金字塔结构中都采用了跳跃连接的好处是：有助于增强训练阶段的信息流，避免梯度消失的问题，从而实现稳定收敛，达到一个较小的损失函数值。

（2）全局线性提亮模块GLBM可以在增强网络LLENet的基础上进一步提升图像亮度，让图像看起来更加清晰。本发明的低光照图像增强方法（LLENet + GLBM）不仅在峰值信噪比（PSNR）、结构相似性指标（SSIM）、亮度顺序误差（LOE）、学习感知图像块相似度（LPIPS）等客观图像评价指标上表现突出，而且给人的主观感受也相对较好。

（3）去噪网络DeNet中的去噪基本单元采用的都是参数量和计算量都比较低的简单操作，比如1*1卷积，3*3深度可分离卷积、简单门单元和简化的通道注意力机制，去噪网络DeNet就是由这些简单的基本单元堆叠而成的U-Net，却能取得非常优秀的效果，说明去噪网络DeNet采用的U-Net结构和去噪基本单元的设计是合理的。本发明中的去噪网络DeNet在参数量、计算量和对真实图像的去噪性能表现上均优于绝大多数方法。

（4）超分网络SRNet虽采用Swin Transformer，但本质上仍属于卷积神经网络的范畴，其网络结构由浅层特征提取、深度特征提取和高分辨率图像重建三部分组成，其中深度特征提取部分由带跳跃连接的Swin Transformer模块所组成，Swin Transformer模块中的自注意机制十分擅长捕获上下文之间的全局信息交互。本发明中的超分网络SRNet集成了卷积神经网络和Swin Transformer的优势，一方面，由于拥有卷积神经网络的局部注意力机制，它具有处理大尺寸图像的优势；另一方面，由于在Swin Transformer模块中采用了移位窗口机制，它又拥有进行长程依赖建模的优势。此外，超分网络SRNet在参数量较小的情况下取得了非常出色的性能表现。

（5）本发明将低光照图像增强与去噪和超分辨率重建联合起来，在低光照图像的增强过程中，可以在增强亮度的同时更好地解决细节模糊、局部过曝光、暗区伪影、色彩偏移等问题，在降低噪声的前提下尽可能地提升了色彩保真度和细节还原度，并且可以提高图像分辨率，最终得到一幅对比度高、清晰度高、信噪比高、色彩鲜明、细节丰富的高清彩色图像。这种对图像画质的多角度增强有助于改善高层视觉任务的处理效果。

附图说明

图1是本发明联合去噪与超分的低光照图像增强方法的流程示意图，同时也是将各个子模块（增强网络LLENet、全局线性提亮模块GLBM、去噪网络DeNet和超分网络SRNet）组织成一个整体网络的结构示意图；

图2是低光照图像增强网络LLENet的结构示意图；

图3是低光照图像增强网络LLENet中具有多尺度残差结构的拉普拉斯模块的结构示意图；

图4是低光照图像增强网络LLENet中UNet++模块的结构示意图，虚线表示通道维度上的拼接；

图5是去噪网络DeNet及其去噪基本单元的结构示意图；

图6是超分辨率重建网络SRNet及其深度特征提取模块的结构示意图；

图7是本发明一个实施例中选自LOL数据集的一张低光照图像；

图8是用本发明的低光照图像增强网络LLENet对图7进行处理的结果；

图9是用本发明的全局线性提亮模块GLBM对图8进行处理的结果；

图10是用本发明的去噪网络DeNet对图9进行处理的结果；

图11是用本发明的超分辨率重建网络SRNet对图10进行处理的结果，原图分辨率为600×400，4倍超分辨率重建后分辨率变为2400×1600。

具体实施方式

以下结合附图对本发明方案进行详细说明。

实施例1

如图1所示，一种基于深度学习的联合去噪与超分的低光照图像增强方法，包括如下步骤：

S1： 将低光照图像样本输入到增强网络LLENet中，由它完成低光照图像增强的工作。下面详细介绍增强网络LLENet的工作流程与训练方式。

在网络的输入端对输入图像进行拉普拉斯金字塔分解，将原图记为，连续做两次1/2下采样得到/>，三级拉普拉斯金字塔分解可由如下公式表示：

其中下标k表示拉普拉斯金字塔的层级，和/>分别表示采用双线性插值算法的1/2上采样和1/2下采样操作，/>和/>表示拉普拉斯残差图，而/>直接取为原图的1/4下采样图/>。/>、/>和/>分别输入到网络的分支1、分支2和分支3中，记3个分支的处理结果为：

其中表示分支k。在网络输出端进行拉普拉斯金字塔重建的过程可由如下公式表示：

就是增强网络LLENet的最终处理结果。

分支1和分支2的组成与参数设置完全一致，以分支2为例进行详细说明。输入分支2，经过步长为2的卷积层，尺寸减半，进入级别为2的带多尺度残差结构的拉普拉斯模块，对应图3中的多尺度-残差拉普拉斯模块（L2），该模块内部也需要进行拉普拉斯金字塔分解与重建的过程，级别为2表示只对输入特征图进行一次下采样。特征域的拉普拉斯金字塔分解与重建跟图像域的完全一致，其中分解操作可由如下公式表示：

其中表示输入到多尺度-残差拉普拉斯模块的特征图，/>表示/>的/>下采样结果,/>和/>分别表示采用双线性插值算法的1/2上采样和1/2下采样操作。多尺度-残差拉普拉斯模块内部每个分支的组成与参数设置完全一致，记/>为每个分支完成的处理（依次为卷积层、实例归一化、线性整流函数、卷积层和实例归一化），加上一个跳跃连接，每个分支完成的操作可由如下公式表示：

至此，拉普拉斯金字塔重建操作可表示为：

就表示多尺度-残差拉普拉斯模块的输出特征图，此后再经过一个步长为2的卷积层和一个级别为2的带多尺度残差结构的拉普拉斯模块输入到正中间位置的级别为2的UNet++模块，如图4中的UNet++ - L2所示，其结构在U-Net的基础上往U型主干的中间部分添加了更多上采样节点，引入了更密集的跳跃连接，级别为2表示最多对特征图进行2次下采样操作。在此处采用UNet++模块的理由是：U-Net结构的网络具有优秀的图像特征学习和重建的能力，被广泛应用在图像的增强网络中，而相较于U-Net网络，UNet++网络结构中的各个层次之间的联系更为紧密，更有利于全方位学习图像的特征信息，减少图像的细节丢失。特征图输入到UNet++ - L2模块后，经过第一个卷积层（0,0），横向上，紧接着下一个卷积层（0,1），且引出一条分支跳跃连接至输出节点（0,2）；纵向上，经过1/2下采样进入下一层级的卷积层（1,0），然后再经过一次1/2下采样进入第二层级的卷积层（2,0），（2,0）的卷积结果2倍上采样后与（1,0）的卷积结果进行通道维度上的拼接，得到的拼接特征图经过一个卷积层（1,1）；此外（1,0）的卷积结果2倍上采样后也与（0,0）的卷积结果进行通道拼接，拼接特征图经过卷积层（0,1）后与（1,1）的2倍上采样结果以及（0,0）引出的跳跃连接进行通道拼接，最后再经过卷积层（0,2）得到UNet++ - L2模块的输出特征图。

UNet++模块的输出特征图再依次通过多尺度-残差拉普拉斯模块，步长为2 的转置卷积层（尺寸增大两倍），来自第二个卷积层之前逐元素相加的跳跃连接，多尺度-残差拉普拉斯模块，步长为2 的转置卷积层（尺寸增大两倍），来自分支输入处的特征图逐元素相加的跳跃连接后最终得到分支2的处理结果/>。结合图2可以明显看出分支以UNet++模块为中心，整体上呈现出一种编码器-解码器的对称结构。

由上述说明可以看出一个分支中最多进行了5次下采样的操作，而通道拼接要求两个特征图尺寸大小完全一致，这限制了网络的输入图像尺寸必须是32的整数倍，只需要在拉普拉斯金字塔分解前加一个将宽高缩放至32整数倍的预处理操作即可，由于32对大多数图像的尺寸来说相对较小，所以预处理中的缩放操作对图像形状的影响较小。

分支3与分支1、2在网络结构上的差别在于，分支3采用的是级别为3的多尺度-残差拉普拉斯模块和UNet++模块（分别见图3和图4），卷积层步长设置为1，且两个转置卷积层被步长为1的卷积层所取代。

增强网络LLENet采取监督学习的训练方式，训练集（带噪声的真实数据集SICE（Part I）和干净的仿真数据集MIT-Adobe FiveK）是配对的低光照图像与正常曝光图像，损失函数包括6个部分，由如下公式表示：

其中，表示各项占总损失的权值，是可调参数；是数据损失，/>代表拉普拉斯金字塔的层次，/>是第/>分支重建后的增强结果，/>是作为真值的配对正常曝光图像的/>下采样结果，/>和/>分别表示高和宽，这种L2损失从像素平均的角度引导增强结果尽量趋近于真值；是拉普拉斯损失，/>表示分支1和2还原的拉普拉斯残差图，表示由配对真值由相同的拉普拉斯金字塔分解流程计算得到的拉普拉斯残差图，这种/>损失相比/>损失更能保持增强结果的局部锐利度；是颜色损失，公式中的点乘符号表示像素点RGB三通道的向量内积，/>表示预测颜色值与真实颜色值之间的余弦相似度，该项损失有助于提高增强结果的色彩保真度；/>是结构损失，又叫SSIM损失，/>和/>表示输入图像均值和输出图像均值，/>表示输入图像和输出图像之间的协方差，/>和/>表示输入图像和输出图像的方差，/>和/>是常数，该损失函数表征输出图像与真实图像的结构相似性误差；是区域损失，首先将图像的像素点根据亮度值大小进行排列，选择前40％最暗的像素作为低亮度区域，从而把低亮度区域与图像的其他部分分开，然后，根据不同亮度区域所需要增强的幅度进行权重的分配，/>和/>分别是增强图像和参考图像的弱光区域，/>和/>分别是增强图像和参考图像的其余部分，权重/>和/>分别取为4和1；是感知损失，又叫LPIPS损失，E和G分别表示增强图像和参考图像，/>表示VGG-19网络第i个卷积模块中的第j个卷积层输出的特征图，/>表示该特征图的三个维度，采用感知损失的理由是：除了图像的低层信息以外，我们也需要使用图像高层信息来提高视觉质量，基本思想是使用预先训练好的网络模型作为内容提取器，分别处理增强图像和真实图像，利用两者的差异构造损失函数，其函数值表征两幅图像之间高维特征的一致性。

S2： 根据增强图像的平均亮度和最大亮度值的情况来决定是否用全局线性提亮模块GLBM对其进行全局线性提亮的操作，具体而言，首先计算增强后图像的平均亮度，其中/>表示低光照增强后的图像，H,W,C分别表示图像的高度、宽度和通道数，若/>小于 0.2，则进一步判断/>是否小于255，其中是我们希望图像达到的平均亮度值，若是则进行全局线性提亮的操作：/>，这一步在增强网络LLENet的基础上进一步提升了图像亮度，得到提亮后的图像/>。

S3： 判断增强与提亮后的图像的噪声水平估计值是否高于某一阈值且平均亮度是否高于某一阈值，是则用去噪网络DeNet对其进行去噪。下面详细介绍具体工作流程与去噪网络DeNet的训练方式。

首先用David L Donoho等人于1994年提出的基于小波的方法估计图像高斯噪声的标准差，只有当该值大于0.04且图像的归一化平均亮度值大于0.4时才对图像进行去噪。

如图5所示，去噪网络DeNet是一个整体具有4级U-Net 结构的卷积神经网络，U-Net的每一层级k都是由重复次的去噪基本单元所构成，而去噪基本单元由层归一化、1*1卷积层、3*3深度可分离卷积、简单门单元和简化的通道注意力机制和跳跃连接所组成，其中，简单门单元相当于一个简化版的GELU激活函数，它把输入特征图按通道一分为二，然后将这两个部分按元素相乘得到输出；简化的通道注意力机制去除了原有的1个卷积层和两个激活函数层，对输入特征图进行全局平均池化后只做一次1*1卷积操作，然后与原来的输入特征图按通道相乘得到输出。去噪网络DeNet的训练集采用SIDD，其损失函数简单地取为去噪图像与参考图像之间的PSNR损失：

其中表示带噪图像X经去噪网络DeNet处理之后的结果，Y表示干净的参考图像。

S4： 当图像分辨率较小时，用超分网络SRNet对其进行超分辨率重建，具体而言，记图像的宽和高中较大的那一个尺寸为S，若，则对图像做4倍上采样的超分辨率重建；若/>，则对图像做3倍上采样的超分辨率重建；若/>，则对图像做2倍上采样的超分辨率重建；若/>，则不做任何操作。对较低分辨率图像采用较高上采样率，而对较高分辨率图像采用较低上采样率，这样处理处理时间较少，占用显存较低，同时能保证最终图像的清晰画质。

如图6所示，超分网络SRNet中采用了Swin Transformer结构，网络结构由浅层特征提取、深度特征提取和高分辨率图像重建三部分组成：（1）浅层特征提取部分由两个带ReLU激活函数的卷积层和一个类似于Inception模块的卷积模块组成，后者采用的不同大小的卷积核意味着不同大小的感受野，最后的拼接意味着不同尺度特征的融合；（2）深度特征提取部分由K个深度特征提取模块、一个卷积层和一个跳跃连接构成，其中深度特征提取模块由N个Swin Transformer模块和一个卷积层组成，而Swin Transformer模块依次由层归一化、窗口-多头注意力机制、跳跃连接，层归一化、全连接层、跳跃连接，层归一化、滑动窗口-多头注意力机制、跳跃连接，层归一化、全连接层、跳跃连接串接而成；（3）高分辨率图像重建部分是一个亚像素卷积层，由其完成像素重组的操作。

超分网络SRNet的训练集包括DIV2K， Flickr2K，OST，WED，FFHQ，Manga109和SCUT-CTW1500，其损失函数采用L1像素损失和感知损失的组合，可由如下公式表示：

其中表示超分网络SRNet对低质量图像的超分辨率重建结果，/>表示高分辨率参考图像，/>表示ResNet-50第j个卷积层的输出特征图，/>表示该特征图的三个维度。

综上所述，本实施例提供的方法，如图1所示，将低光照图像增强与去噪和超分辨率重建联合在一起，整个处理流程由增强网络LLENet、全局线性提亮模块GLBM、去噪网络DeNet和超分网络SRNet 4个部分构成，其中增强网络LLENet采用的拉普拉斯金字塔结构和UNet++模块，去噪网络DeNet采用的简单门单元、简化的通道注意力机制和U-Net架构，以及超分网络SRNet采用的Swin Transformer是本实施例中较为核心的设计，它们保证了本实施例提供的方法在极低照度下也能增加低光照图像的信噪比，优化输出图像的亮度分布，呈现高清彩色图像。

本实施例进行了低光照图像增强，全局线性提亮，去噪和超分辨率重建四个模块的结合实验，实验结果如图7-11所示。

此外，为了探究四个模块的先后顺序和某些阈值参数对图像处理效果的影响，同时为了测试本发明方法的实际性能与泛化能力，本实施例挑选和制作了3个处理难度较大的测试集，进行了以下对比实验。

对比实验1：以包含500个匹配图像对的真实数据集LOL作为测试集，验证增强网络与全局线性提亮模块的执行顺序对图像处理效果的影响，具体而言，图像处理效果的好坏用该方法在测试集上得到的平均指标值来衡量，实验结果如表1所示。在表1中，“↑”表示该指标值越大越好，与之相反，“↓”表示该指标值越小越好，LLENet-GLBM表示执行顺序为先低光照图像增强后全局线性提亮，GLBM-LLENet表示执行顺序为先低光照图像增强后全局线性提亮。从表中数据可以看出前一种执行顺序的处理结果在PSNR、SSIM、LOE、LPIPS这四个指标上都优于后者。需要注意的是，只有那些整体亮度低于阈值L1的图片才会经过全局线性提亮模块的处理。

表1 先增强后提亮与先提亮后增强的结果对比

对比实验2：以包含100个匹配图像对的自制合成数据集作为测试集，验证增强网络、全局线性提亮模块与去噪网络的执行顺序对图像处理效果的影响，实验结果如表2所示，其中LLENet-GLBM-DeNet表示执行顺序为增强网络、全局线性提亮模块、去噪网络，DeNet-LLENet-GLBM表示执行顺序为去噪网络、增强网络、全局线性提亮模块，从表中数据可以看出前者的处理效果明显优于后者。需要注意的是，本实验采用的测试集包含的图像场景较为复杂，噪声也比较强， PSNR和SSIM分别达到了17.987741和0.533924，已经是非常优秀的指标了。

表2 执行顺序为增强-提亮-去噪与去噪-增强-提亮的结果对比

对比实验3：测试集与对比实验2一致，验证阈值参数L2和的取值对图像处理效果的影响，实验结果如表3所示。从表中数据可以看出L2=0.4、/>参数组合的图像处理效果最好。需要注意的是，L2和/>的值不能取得过大，否则会导致基本没有图片经过去噪这一步骤，这样去噪网络就失去了存在的意义，所以本实验没有对取值更大的L2和/>进行测试。

表3 阈值参数L2和取值不同时的结果对比

对比实验4：从真实数据集SICE（Part II）中随机抽取50个匹配图像对并经过适当预处理，作为本实验的测试集，验证超分网络位于处理流程中的不同位置时对图像处理效果的影响，实验结果如表4所示，其中LLENet-GLBM-DeNet-SRNet表示执行顺序为增强网络、全局线性提亮模块、去噪网络和超分网络，LLENet-GLBM-SRNet-DeNet表示执行顺序为增强网络、全局线性提亮模块、超分网络和去噪网络，SRNet-LLENet-GLBM-DeNet表示执行顺序为超分网络、增强网络、全局线性提亮模块和去噪网络，从表中数据可以看出当执行顺序为LLENet-GLBM-DeNet-SRNet时本发明方法的图像处理效果最好。需要注意的是，在本实验中，超分网络的上采样率设置为3。

表4 超分网络位于处理流程中的不同位置时的结果对比

需要注意的是，对比实验1-4所采用的三个测试集处理难度依次增大，故PSNR、SSIM指标出现下降是正常现象，并不意味着将4种模块组合在一起所得到的测试指标会比单独采取其中一种方法出现明显下降，为此，需要补充如下对比实验。

对比实验5：测试集与对比实验4一致，验证当省略处理流程中某一步骤时对图像处理效果的影响，实验结果如表5所示，从表中数据可以看出四种操作组合的PSNR、SSIM指标是相近的，完整流程取得了最好的PSNR值，但SSIM值略差了一点，但是就人类主观感受而言，完整流程的处理结果在对比度、清晰度高、信噪比、色彩鲜明性、细节丰富度上表现都是最好的。

表5 省略处理流程中某一步骤的消融实验的结果对比

实施例2 一种低光照图像增强的电子设备

一种电子设备，包括存储器和处理器，以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1所述的低光照图像增强方法。

处理器还可以称为CPU(Central Processing Unit，中央处理单元)。处理器可能是一种集成电路芯片，具有信号的处理能力。处理器还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器，或者该处理器也可以是任何常规的处理器等。

进一步，存储处理器可以储存用于运行所需的指令和数据。

可选地，所述电子设备可以是笔记本电脑，服务器，开发板。

实施例3 一种计算机可读存储介质

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1所述的低光照图像增强方法。

计算机可读存储介质中，存储有指令/程序数据，该指令/程序数据被执行时实现本申请实施例2所述的方法。其中，该指令/程序数据可以形成程序文件以软件产品的形式存储在上述存储介质中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

可选地，前述的存储介质可以是U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等设备。

实施例4 一种低光照图像增强***

一种基于深度学习的联合去噪与超分的低光照图像增强***，包括：

增强网络LLENet，用于增强低光照图像的亮度；

全局线性提亮模块GLBM，在增强子网络的基础上进一步提升图像的全局亮度；

去噪网络DeNet，用于减少图像噪声，提高信噪比；

超分网络SRNet，用于提升图像清晰度。

进一步地，所述低光照图像增强***，还可以包括：平均亮度分析模块，用于分析图像亮度；噪声水平分析模块，用于分析图像噪声水平；分辨率分析模块，用于分析图像分辨率。

所述低光照图像增强***能够实现如下方法：

S1：将低光照图像样本输入到增强网络LLENet中，由它完成低光照图像增强的工作；

S2：判断增强后图像的平均亮度是否高于某一阈值L1，是则忽略该步骤，否则判断增强图像的最大亮度值是否小于某一阈值，是则用全局线性提亮模块GLBM对该图像进行一个全局线性提亮的操作；

S3：判断图像的噪声水平估计值是否高于某一阈值σ且平均亮度是否高于某一阈值L2，是则将该图像输入到去噪网络DeNet中，由它完成去噪的工作；

S4：判断图像的分辨率是否小于某一阈值R，是则将该图像输入到超分网络SRNet中，由它完成超分辨率重建的工作。

以上所述，仅为本发明的具体实施方式，并非对本发明做任何形式上的限制。应当指出，图像分辨率不对本发明构成限制，图像内容不对本发明构成限制。本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的联合去噪与超分的低光照图像增强方法，其特征在于，由增强网络 LLENet、去噪网络 DeNet 和超分网络 SRNet 这三个子网络和一个全局线性提亮模块 GLBM 所构成；包括以下步骤：

S1：将低光照图像样本输入到增强网络LLENet中，由它完成低光照图像增强的工作；

S2：判断增强后图像的平均亮度是否高于某一阈值L1，是则忽略该步骤，否则判断增强图像的最大亮度值是否小于某一阈值，是则用全局线性提亮模块GLBM对该图像进行一个全局线性提亮的操作；否则跳过该步骤；

S3：判断图像的噪声水平估计值是否高于某一阈值σ且平均亮度是否高于某一阈值L2，是则将该图像输入到去噪网络DeNet中，由它完成去噪的工作；否则跳过该步骤；

S4：判断图像的分辨率是否小于某一阈值R，是则将该图像输入到超分网络SRNet中，由它完成超分辨率重建的工作；

其中，增强网络 LLENet 是一个整体和内部都具有拉普拉斯金字塔结构的卷积神经网络，采用的拉普拉斯金字塔结构和UNet++模块；去噪网络DeNet采用的简单门单元、简化的通道注意力机制和U-Net架构；超分网络SRNet采用的Swin Transformer。

2.根据权利要求1所述的低光照图像增强方法，其特征在于，所述方法中，去噪网络DeNet采用的是卷积神经网络。

3.根据权利要求1所述的低光照图像增强方法，其特征在于，所述步骤S2中，首先计算增强后图像的平均亮度，其中/>表示低光照增强后的图像，H、W、C分别表示图像的高度、宽度和通道数；若/>小于所设定的阈值/>，则进一步判断/>是否小于255，其中/>是希望图像达到的平均亮度值，若是则用全局线性提亮模块GLBM进行全局线性提亮的操作，用公式表示为：/>，得到提亮后的图像。

4.根据权利要求1所述的低光照图像增强方法，其特征在于，所述步骤S4中，当图像的分辨率小于某一阈值R时，通过基于Swin Transformer的超分辨率重建网络SRNet提高其分辨率；具体而言，记图像的宽和高中较大的那一个尺寸为S，若，则对图像做4倍上采样的超分辨率重建；若/>，则对图像做3倍上采样的超分辨率重建；若，则对图像做2倍上采样的超分辨率重建；若/>，则不做任何操作。

5.根据权利要求1所述的低光照图像增强方法，其特征在于，所述步骤S3中，去噪网络DeNet是一个整体具有4级U-Net 结构的卷积神经网络，U-Net的每一层级都是由重复N次的去噪基本单元所构成，而去噪基本单元由层归一化、1*1卷积层、3*3深度可分离卷积、简单门单元和简化的通道注意力机制和跳跃连接所组成，其中简单门单元相当于一个简化版的GELU激活函数，它把输入特征图按通道一分为二，然后将这两个部分按元素相乘得到输出；简化的通道注意力机制去除了原有的1个卷积层和两个激活函数层，对输入特征图进行全局平均池化后只做一次1*1卷积操作，然后与原来的输入特征图按通道相乘得到输出；损失函数为峰值信噪比损失。

6.根据权利要求1所述的低光照图像增强方法，其特征在于，所述的增强网络LLENet、去噪网络DeNet和超分网络SRNet是分别进行训练的，训练完成后再将这三个子网络与全局线性提亮模块GLBM组织成一个用于端到端低光照图像增强的整体网络。

7.一种基于深度学习的联合去噪与超分的低光照图像增强***，用于执行权利要求1-6任一所述的低光照图像增强方法，包括：

增强网络LLENet，用于增强低光照图像的亮度；

全局线性提亮模块GLBM，在增强子网络的基础上进一步提升图像的全局亮度；

去噪网络DeNet，用于减少图像噪声，提高信噪比；

超分网络SRNet，用于提升图像清晰度。

8.根据权利要求7所述的低光照图像增强***，还包括：平均亮度分析模块，用于分析图像亮度；噪声水平分析模块，用于分析图像噪声水平；分辨率分析模块，用于分析图像分辨率。

9.一种电子设备，包括存储器和处理器，以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一所述的低光照图像增强方法。

10.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一所述的低光照图像增强方法。