CN116137023A - 基于背景建模和细节增强的低照度图像增强方法 - Google Patents

Abstract

本发明涉及基于背景建模和细节增强的低照度图像增强方法，包括步骤：获取若干张低照度图像和配对的正常光照图像，并进行预处理，得到训练数据集；构建图像增强网络模型，并使用目标损失函数对图像增强网络模型进行约束；使用训练数据集对所述图像增强网络模型进行训练，直到误差收敛到预设值，得到训练好的图像增强网络模型。本发明的图像增强网络模型能对低照度图像进行背景建模，以及细节恢复，并设计全局特征融合增强模块实现全局信息融合和自适应增强。能对低照度条件下捕获的图像进行增强，解决低照度图像低对比度、色彩失真、噪声放大、细节丢失等问题。

Description

基于背景建模和细节增强的低照度图像增强方法

技术领域

本发明涉及人工智能及计算机视觉技术领域，特别涉及一种基于背景建模和细节增强的低照度图像增强方法。

背景技术

图像是人们表达和传递信息的重要形式之一，随着成像设备以及机器视觉技术的发展，人们已经可以采集到非常高质量的图像或视频。然而，不充分的光照会导致所捕获的图像出现低对比度、色彩失真、噪声放大、细节丢失等问题，降低图像质量，严重制约着下游任务的性能，因此低照度图像增强成为计算机视觉领域的一大研究热点。

低照度图像增强技术有着广泛的应用场景，该技术可以提高夜间拍摄的图像质量，使得夜景照片变得更加清晰明亮。在很多场合下，人们往往需要在夜晚进行拍照，如夜景、人物、动物等，但由于光线不足，拍摄出来的照片往往暗淡模糊。而低照度图像增强技术可以通过对图像进行处理，增强图像的亮度、对比度和清晰度，从而使得夜景照片变得更加生动真实。

早起方法主要基于直方图均衡化和Retinex理论，直方图均衡化是一种经典的图像增强技术，通过把低照度图像的像素分布直方图变换为均匀分布的方式来提升低照度图像对比图。但方法的主要缺点是很少考虑真实的照明因素，增强的结果在主观视觉上与真实场景不一致，存在颜色失真和局部过曝光的现象；Retinex模型的理论基础是三色理论和颜色恒常性，基于Retinex模型可以将人眼感知到的图像S分解为反射分量R和光照分量L，即S=R×L，所以基于Retinex理论的图像增强方法本质上是图像分解与光照估计问题。虽然基于Retinex理论的传统低照度图像增强方法能够在一定程度上提升图像整体亮度，但是增强后的低照度图像往往伴随着噪声放大、亮度不均衡等问题，增强效果不理想。

随着深度学习算法的快速发展，许多学者尝试使用神经网络来解决低照度图像增强这一问题，基于深度学习的低光照图像增强算法已经成为当前低照度图像增强的主流技术。然而，现有基于深度学习的图像增强方法没有考虑背景建模和细节恢复的相关性，导致增强后的图片出现颜色失真或者细节恢复不到位等问题。

发明内容

本发明的目的在于聚合背景建模和细节增强，提供一种基于背景建模和细节增强的低照度图像增强方法，有利于显著提高低照度图像增强的性能。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

基于背景建模和细节增强的低照度图像增强方法，包括以下步骤：

步骤1，获取若干张低照度图像和配对的正常光照图像，并进行预处理，得到训练数据集；

步骤2，构建图像增强网络模型，并使用目标损失函数对图像增强网络模型进行约束；

步骤3，使用训练数据集对所述图像增强网络模型进行训练，直到误差收敛到预设值，得到训练好的图像增强网络模型；

步骤4，将低照度条件下捕获的图像输入训练好的图像增强网络模型，得到正常光照的图像。

所述步骤1具体包括以下步骤：

获取若干张低照度图像和配对的正常光照图像，并对每张低照度图像添加标签；

将每张尺寸为H×W×3的低照度图像随机裁切为M×M×3大小的图像，并对其对应的正常光照图像采用相同的随机裁切方式，其中，H、W是低照度图像和正常光照图像的高度、宽度，M是裁切后图像的高度、宽度；

对裁切后的图像采用随机反转、随机旋转、随机裁剪的方式进行数据增强，得到训练数据集。

所述步骤2中，构建的图像增强网络模型包括多个不同尺度的背景建模与细节恢复模块、一个全局特征融合增强模块；

向第一个背景建模与细节恢复模块输入低照度图像I，再经过其他不同尺度的背景建模与细节恢复模块的下采样、上采样、通道融合操作后，得到特征图

，i=1,2,3,4；

向全局特征融合增强模块输入特征图

，得到特征图F_out；

将特征图F_out与低照度图像I相加，得到增强图像I_out。

每个所述背景建模与细节恢复模块的结构相同，包括位置编码子模块、卷积子模块、基于self-attention的自注意力子模块、前馈神经网络子模块；所述位置编码子模块的输出端分别与卷积子模块、基于self-attention的自注意力子模块连接，卷积子模块的输出端、基于self-attention的自注意力子模块的输出端分别与前馈神经网络子模块连接。

向位置编码子模块输入低照度图像I，经过1×1卷积将低照度图像I的维度由H×W×3提升至H×W×C，得到特征图F_in，然后经过一个3×3的深度可分离卷积进行位置编码输出特征图F_emb：

F_in=Conv1(I)

F_emb=DWConv3(F_in)

其中，Conv1是1×1卷积，DWConv3是3×3的深度可分离卷积；

向基于self-attention的自注意力子模块输入特征图F_emb，输出特征图F_attention：

Q,K,V=Chunk(F_emb)

Attention(Q,K,V)=V·Softmax(K·Q/α)

F_attention=Attention(Q,K,V)

其中，Attention是自注意力操作；Chunk是按通道维度平均划分操作，Softmax是Softmax函数；Q、K、V由输入编码得到，Q是要查询的信息，K是被查询的向量，V是查询得到的值；α是采样因子；

向卷积子模块输入特征图F_emb，使用3×3卷积恢复特征图F_emb的图像细节特征，经过GELU激活函数输出特征图F_detail：

F_detail=GELU(Conv3(F_emb))

其中，Conv3是3×3卷积，GELU是GELU激活函数；

所述前馈神经网络子模块将基于self-attention的自注意力子模块的输出特征图F_attention，与卷积子模块输出特征图F_detail相加，然后使用层归一化，再使用1×1卷积提升特征图的维度后，分别进入三个分支，第一个分支是3×3卷积提取特征，第二个分支是3×3卷积提取特征再经过GELU激活函数，第三个分支是经过3×3卷积提取特征，最后将三个分支做元素乘法，经过1×1卷积恢复到原始维度，从而得到前馈神经网络子模块输出的特征图Z：

其中，Concat是沿通道维度拼接操作；LN( )是层归一化操作；

是元素乘法；

是第一个分支的1×1卷积，/>

第一个分支的3×3卷积；/>

第二个分支的1×1卷积，/>

第二个分支的3×3卷积；/>

第三个分支的1×1卷积，/>

第三个分支的3×3卷积；

背景建模与细节恢复模块最终向全局特征融合增强模块输出特征图

、/>

、/>

、/>

，首先将不同层的特征图/>

（i=1,2,3,4）通过上采样统一分辨率，然后经过1×1卷积统一通道维度，经过3×3卷积进行位置编码，然后经过self-attention自适应的增强全局特征，最后通过1×1卷积输出特征图F_out：

其中，PS是上采样操作。

所述步骤2中，并使用目标损失函数对图像增强网络模型进行约束的步骤，包括：

图像增强网络模型的目标损失函数L1为：

其中，GT表示低照度图像I对应的正常光照图像。

还包括回归损失函数Loss_rec，所述回归损失函数Loss_rec为：

其中，Crec为前馈神经网络子模块中第一个分支的权重，Hrec为第二个分支的权重，Grec为第三个分支的权重；

表示二范数；Z为背景建模与细节恢复模块输出的特征图，F_attention为基于self-attention的自注意力子模块输出的特征图，F_detail为卷积子模块输出的特征图。

还包括恢复损失函数Loss_res，所述恢复损失函数Loss_res为：

其中，m表示背景建模与细节恢复模块的层数，m=7，j表示第j个背景建模与细节恢复模块；y_GT表示低照度图像I对应的正常光照图像，

表示第j个背景建模与细节恢复模块输出的特征图。

总损失函数Loss为：

其中，

为回归损失函数Loss_rec的权重，/>

为恢复损失函数Loss_res的权重。

与现有技术相比，本发明的有益效果：

本发明的图像增强网络模型能对低照度图像进行背景建模，以及细节恢复，并设计全局特征融合增强模块实现全局信息融合和自适应增强。能对低照度条件下捕获的图像进行增强，解决低照度图像低对比度、色彩失真、噪声放大、细节丢失等问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例图像增强网络模型的结构示意图；

图2为本发明实施例背景建模与细节恢复模块的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。另外，术语“相连”、“连接”等可以是元件之间直接相连，也可以是经由其他元件的间接相连。

实施例：

本发明通过下述技术方案实现，如图1所示，一种基于背景建模和细节增强的低照度图像增强方法，包括以下步骤：

步骤1，获取若干张低照度图像和配对的正常光照图像，并进行预处理，得到训练数据集。

获取若干张低照度图像和配对的正常光照图像（Ground Truth图像），并对每张低照度图像添加标签。将每张尺寸为H×W×3的低照度图像随机裁切为M×M×3大小的图像，并对其对应的正常光照图像采用相同的随机裁切方式，其中，H、W是低照度图像和正常光照图像的高度、宽度，M是裁切后图像的高度、宽度。对裁切后的图像采用随机反转、随机旋转、随机裁剪的方式进行数据增强，得到训练数据集。

步骤2，构建图像增强网络模型，并使用目标损失函数对图像增强网络模型进行约束。

所述图像增强网络模型包括多个不同尺度的背景建模与细节恢复模块、一个全局特征融合增强模块；每个所述背景建模与细节恢复模块的结构相同，包括位置编码子模块、卷积子模块、基于self-attention的自注意力子模块、前馈神经网络子模块，请参见图2，所述位置编码子模块的输出端分别与卷积子模块、基于self-attention的自注意力子模块连接，卷积子模块的输出端、基于self-attention的自注意力子模块的输出端分别与前馈神经网络子模块连接。

一种实施方式中，请参见图1，多个不同尺度的背景建模与细节恢复模块包括第一背景建模与细节恢复模块、第二背景建模与细节恢复模块、第三背景建模与细节恢复模块、第四背景建模与细节恢复模块、第五背景建模与细节恢复模块、第六背景建模与细节恢复模块、第七背景建模与细节恢复模块，其中，第一背景建模与细节恢复模块、第二背景建模与细节恢复模块、第三背景建模与细节恢复模块为下采样机制，第四背景建模与细节恢复模块、第五背景建模与细节恢复模块、第六背景建模与细节恢复模块、第七背景建模与细节恢复模块为上采样机制，同尺度的第一背景建模与细节恢复模块、第七背景建模与细节恢复模块的通道相融合，同尺度的第二背景建模与细节恢复模块、第六背景建模与细节恢复模块的通道相融合，同尺度的第三背景建模与细节恢复模块、第五背景建模与细节恢复模块的通道相融合。

向第一背景建模与细节恢复模块中的位置编码子模块输入低照度图像I，经过1×1卷积将低照度图像I的维度由H×W×3提升至H×W×C，得到特征图F_in，然后经过一个3×3的深度可分离卷积进行位置编码输出特征图F_emb，具体公式表示如下：

F_in=Conv1(I)

F_emb=DWConv3(F_in)

其中，Conv1是1×1卷积，DWConv3是3×3的深度可分离卷积。

所述基于self-attention的自注意力子模块由self-attention组成，输入特征图F_emb，输出特征图F_attention，具体公式表示如下：

Q,K,V=Chunk(F_emb)

Attention(Q,K,V)=V·Softmax(K·Q/α)

F_attention=Attention(Q,K,V)

其中，Attention是自注意力操作；Chunk是按通道维度平均划分操作，Softmax是Softmax函数；Q、K、V由输入编码得到，Q是要查询的信息，K是被查询的向量，V是查询得到的值；α是采样因子。

所述卷积子模块使用3×3卷积恢复特征图F_emb的图像细节特征，然后经过GELU激活函数输出特征图F_detail，具体公式表示如下：

F_detail=GELU(Conv3(F_emb))

其中，Conv3是3×3卷积，GELU是GELU激活函数。

所述前馈神经网络子模块将基于self-attention的自注意力子模块的输出特征图F_attention，与卷积子模块输出特征图F_detail相加，然后使用层归一化，再使用1×1卷积提升特征图的维度后，分别进入三个分支，第一个分支是3×3卷积提取特征，第二个分支是3×3卷积提取特征再经过GELU激活函数，第三个分支是经过3×3卷积提取特征，最后将三个分支做元素乘法，经过1×1卷积恢复到原始维度，从而得到前馈神经网络子模块输出的特征图Z，具体公式表示如下：

其中，Concat是沿通道维度拼接操作；LN( )是层归一化操作；

是元素乘法；

是第一个分支的1×1卷积，/>

第一个分支的3×3卷积；/>

第二个分支的1×1卷积，/>

第二个分支的3×3卷积；/>

第三个分支的1×1卷积，/>

第三个分支的3×3卷积。

所述第一背景建模与细节恢复模块最终输出特征图Z，再经过其他背景建模与细节恢复模块的下采样、上采样、通道融合操作后，所述第四背景建模与细节恢复模块、第五背景建模与细节恢复模块、第六背景建模与细节恢复模块、第七背景建模与细节恢复模块分别向全局特征融合增强模块输出特征图

、/>

、/>

、/>

，首先将不同层的特征图

（i=1,2,3,4）通过上采样统一分辨率，然后经过1×1卷积统一通道维度，经过3×3卷积进行位置编码，然后经过self-attention自适应的增强全局特征，最后通过1×1卷积输出特征图F_out，具体公式表示如下：

其中，PS是上采样操作。

综上，所述图像增强网络模型为4层编码器-解码器结构，输入低照度图像I，经过背景建模与细节恢复模块得到特征图Z，然后经过全局特征融合增强模块得到特征图F_out，再经过3×3卷积后，与原始输入的低照度图像I相加，得到最终的增强图像I_out，具体公式表示如下：

I_out=Conv3(F_out)+I

设计图像增强网络模型的目标损失函数Loss_target：

其中，n为输入全局特征融合增强模块的特征图数量，n=4，i为输入全局特征融合增强模块的第i张特征图；GT表示低照度图像I对应的正常光照图像。

更进一步的，为了改进图像增强网络模型的总损失函数，增加了回归损失函数和恢复损失函数，所述回归损失函数Loss_rec为：

其中，Crec为前馈神经网络子模块中第一个分支的权重，Hrec为第二个分支的权重，Grec为第三个分支的权重；

表示二范数；Z为背景建模与细节恢复模块输出的特征图，F_attention为基于self-attention的自注意力子模块输出的特征图，F_detail为卷积子模块输出的特征图。

所述恢复损失函数Loss_res为：

其中，m表示背景建模与细节恢复模块的层数，m=7，j表示第j个背景建模与细节恢复模块；y_GT表示低照度图像I对应的正常光照图像，

表示第j个背景建模与细节恢复模块输出的特征图。

总损失函数Loss为：

其中，

为回归损失函数Loss_rec的权重，/>

为恢复损失函数Loss_res的权重。

步骤3，使用训练数据集对所述图像增强网络模型进行训练，直到误差收敛到预设值，得到训练好的图像增强网络模型。

将步骤1得到的训练数据集输入步骤2得到的图像增强网络模型，得到增强图像Iout，使用目标损失函数L1计算损失。根据损失使用反向传播方法计算图像增强网络模型中参数的梯度，并利用Adam优化方法更新参数。以批次为单位重复执行训练过程，直到图像增强网络模型的目标损失函数值收敛到预设值，保存参数，得到训练好的图像增强网络模型。

步骤4，将低照度条件下捕获的图像输入训练好的图像增强网络模型，得到正常光照的图像。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.基于背景建模和细节增强的低照度图像增强方法，其特征在于：包括以下步骤：

步骤1，获取若干张低照度图像和配对的正常光照图像，并进行预处理，得到训练数据集；

步骤2，构建图像增强网络模型，并使用目标损失函数对图像增强网络模型进行约束；

步骤3，使用训练数据集对所述图像增强网络模型进行训练，直到误差收敛到预设值，得到训练好的图像增强网络模型；

步骤4，将低照度条件下捕获的图像输入训练好的图像增强网络模型，得到正常光照的图像。

2.根据权利要求1所述的基于背景建模和细节增强的低照度图像增强方法，其特征在于：所述步骤1具体包括以下步骤：

获取若干张低照度图像和配对的正常光照图像，并对每张低照度图像添加标签；

将每张尺寸为H×W×3的低照度图像随机裁切为M×M×3大小的图像，并对其对应的正常光照图像采用相同的随机裁切方式，其中，H、W是低照度图像和正常光照图像的高度、宽度，M是裁切后图像的高度、宽度；

对裁切后的图像采用随机反转、随机旋转、随机裁剪的方式进行数据增强，得到训练数据集。

3.根据权利要求1所述的基于背景建模和细节增强的低照度图像增强方法，其特征在于：所述步骤2中，构建的图像增强网络模型包括多个不同尺度的背景建模与细节恢复模块、一个全局特征融合增强模块；

向第一个背景建模与细节恢复模块输入低照度图像I，再经过其他不同尺度的背景建模与细节恢复模块的下采样、上采样、通道融合操作后，得到特征图

，i=1,2,3,4；

向全局特征融合增强模块输入特征图

，得到特征图F_out；

将特征图F_out与低照度图像I相加，得到增强图像I_out。

4.根据权利要求3所述的基于背景建模和细节增强的低照度图像增强方法，其特征在于：每个所述背景建模与细节恢复模块的结构相同，包括位置编码子模块、卷积子模块、基于self-attention的自注意力子模块、前馈神经网络子模块；所述位置编码子模块的输出端分别与卷积子模块、基于self-attention的自注意力子模块连接，卷积子模块的输出端、基于self-attention的自注意力子模块的输出端分别与前馈神经网络子模块连接。

5.根据权利要求4所述的基于背景建模和细节增强的低照度图像增强方法，其特征在于：向位置编码子模块输入低照度图像I，经过1×1卷积将低照度图像I的维度由H×W×3提升至H×W×C，得到特征图F_in，然后经过一个3×3的深度可分离卷积进行位置编码输出特征图F_emb：

F_in=Conv1(I)

F_emb=DWConv3(F_in)

其中，Conv1是1×1卷积，DWConv3是3×3的深度可分离卷积；

向基于self-attention的自注意力子模块输入特征图F_emb，输出特征图F_attention：

Q,K,V=Chunk(F_emb)

Attention(Q,K,V)=V·Softmax(K·Q/α)

F_attention=Attention(Q,K,V)

其中，Attention是自注意力操作；Chunk是按通道维度平均划分操作，Softmax是Softmax函数；Q、K、V由输入编码得到，Q是要查询的信息，K是被查询的向量，V是查询得到的值；α是采样因子；

向卷积子模块输入特征图F_emb，使用3×3卷积恢复特征图F_emb的图像细节特征，经过GELU激活函数输出特征图F_detail：

F_detail=GELU(Conv3(F_emb))

其中，Conv3是3×3卷积，GELU是GELU激活函数；

所述前馈神经网络子模块将基于self-attention的自注意力子模块的输出特征图F_attention，与卷积子模块输出特征图F_detail相加，然后使用层归一化，再使用1×1卷积提升特征图的维度后，分别进入三个分支，第一个分支是3×3卷积提取特征，第二个分支是3×3卷积提取特征再经过GELU激活函数，第三个分支是经过3×3卷积提取特征，最后将三个分支做元素乘法，经过1×1卷积恢复到原始维度，从而得到前馈神经网络子模块输出的特征图Z：

其中，Concat是沿通道维度拼接操作；LN( )是层归一化操作；

是元素乘法；/>

是第一个分支的1×1卷积，/>

第一个分支的3×3卷积；/>

第二个分支的1×1卷积，

第二个分支的3×3卷积；/>

第三个分支的1×1卷积，/>

第三个分支的3×3卷积；

背景建模与细节恢复模块最终向全局特征融合增强模块输出特征图

、/>

、/>

、/>

，首先将不同层的特征图/>

（i=1,2,3,4）通过上采样统一分辨率，然后经过1×1卷积统一通道维度，经过3×3卷积进行位置编码，然后经过self-attention自适应的增强全局特征，最后通过1×1卷积输出特征图F_out：

其中，PS是上采样操作。

6.根据权利要求5所述的基于背景建模和细节增强的低照度图像增强方法，其特征在于：所述步骤2中，并使用目标损失函数对图像增强网络模型进行约束的步骤，包括：

图像增强网络模型的目标损失函数L1为：

其中，GT表示低照度图像I对应的正常光照图像。

Images