CN116029916A - 基于结合稠密小波的双分支网络的低照度图像增强方法 - Google Patents
基于结合稠密小波的双分支网络的低照度图像增强方法 Download PDFInfo
- Publication number
- CN116029916A CN116029916A CN202211346996.2A CN202211346996A CN116029916A CN 116029916 A CN116029916 A CN 116029916A CN 202211346996 A CN202211346996 A CN 202211346996A CN 116029916 A CN116029916 A CN 116029916A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- convolution
- branch
- dual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明请求保护基于结合稠密小波的双分支网络的低照度图像增强方法。该方法包括以下步骤:步骤A:对低照度图像和正常光图像进行预处理,组成训练图像对;步骤B:设计结合小波变换的双分支网络的低照度图像增强网络,该网络包含多尺度稠密小波融合模块,和双分支模块;步骤C:设计低照度图像的联合损失函数,训练网络至收敛;步骤D:将待测的低照度图像输入到训练好的低照度图像增强网络中,对图像预测生成正常光图像。
Description
技术领域
本发明属于计算机视觉处理技术领域,尤其涉及一种基于结合稠密小波的双分支网络的低照度图像增强方法。
背景技术
在背光、非均匀光照和弱光干扰的条件下拍摄的图像通常伴随着对比度低、可见度低、噪声高等问题,图像质量差,计算机视觉任务,如物体跟踪、识别和检测等结果不尽人意,对低照度的图像进行增强是非常必要的。
传统算法主要包括基于直方图均衡的算法和基于Retinex理论的算法。这些算法可以很好地提升图像的亮度保留图像的细节,但容易出现噪声和颜色偏差等问题。随着深度学习的快速发展,深度学习的方法应用在多个领域,如图像去雾、图像分割、图像融合等。许多学者开始尝试将深度学习应用到低照度图像增强领域。低照度图像增强逐步成为计算机视觉任务中的研究热点之一。虽然深度学习方法在一定程度上改善了一些传统方法中存在的问题,但仍存在去噪效果不佳、亮度增强后细节纹理丢失、边缘模糊等问题,对同一场景下不同大小物体的细节重建难以同时得到较好的效果,恢复的图像颜色偏色较为严重。
发明内容
针对上述技术不足,本发明的目的提供一种基于结合稠密小波的双分支网络的低照度图像增强方法。
本发明的具体技术方案如下:
基于结合稠密小波的双分支网络的低照度图像增强方法,包括以下步骤:
步骤A:对低照度图像和正常光图像进行预处理,组成训练图像对;
步骤B:设计结合小波变换的双分支网络的低照度图像增强网络,包括:
多尺度稠密小波融合模块,用于去除图像噪声以及提取不同尺度中图像的特征信息;
双分支模块,用于提取图像的细节纹理和色彩信息;
步骤C:设计低照度图像的联合损失函数,训练网络至收敛;
步骤D:将待测的低照度图像输入到训练好的低照度图像增强网络中,对图像预测生成正常光图像。
与现有技术相比,本发明的有益效果如下:
(1)本发明通过多尺度稠密小波融合模块能够充分学习图像多尺度信息并有效抑制噪声提高图像的质量,并利用双分支模块进一步提升图像的对比度、保留更多的色彩和细节信息,使得增强后的图像更清晰、自然、真实。
(2)本发明提出了一种新的联合损失函数从多个方面衡量网络,包括Charbonnier损失、多尺度结构相似损失、图像感知损失和图像平滑损失,进一步地考虑了图像的结构信息、空间信息和感知信息,一定程度上解决了在低照度图像增强任务中曝光不足或过曝、颜色失真等问题。
附图说明
图1是本发明实施例方法的实现流程图
图2是本发明实施例中网络模型结构图
图3是本发明实施例中全局空间注意力模块结构图
图4是本发明实施例中特征提取块结构图
图5是本发明实施例中色彩增强模块结构图
图6是本发明实施例中细节重建模块结构图
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要注意的是,本说明书使用的所有技术和科学术语具有与本申请所属技术领域通常理解的含义相同。
本发明提供的基于结合稠密小波的双分支网络的低照度图像增强方法,如图1-图5所示,包括以下步骤:
步骤A:对低照度图像和正常光图像进行预处理,组成训练图像对;
步骤B:设计结合小波变换的双分支网络的低照度图像增强网络,包括:
多尺度稠密小波融合模块,用于去除图像噪声以及提取不同尺度中图像的特征信息;
双分支模块,用于提取图像的细节纹理和色彩信息;
步骤C:设计低照度图像的联合损失函数,训练网络至收敛;
步骤D:将待测的低照度图像输入到训练好的低照度图像增强网络中,对图像预测生成正常光图像。
进一步地,步骤A具体包括以下几个步骤:
A1:对低照度图像和正常光图像进行随机裁剪,低照度图像作为网络输入,正常光图像作为参考图像;
A1:对待训练图像进行随机旋转和反转,用于数据扩充增强;
进一步地,步骤B具体包括以下几个步骤:
B11:首先经过三次离散小波变换DWT,每次DWT后分别得到三个特征图Z1、Z2和Z3;
B12:将步骤B11得到的特征图Z1经过全局空间注意力模块GSA后再进行逆离散小波逆变换IDWT得到Z4;
B13:将步骤B11得到的特征图Z2和Z3分别经过特征提取块FEM得到Z5和Z6;
B14:将步骤B12得到的Z4和步骤B13得到的Z5在通道维度上进行拼接后再进行逆离散小波逆变换IDWT得到Z7;
B15:将步骤B1.4得到的Z7和步骤B12得到的Z6通道维度上进行拼接得到Z8。
B16:将多尺度稠密小波融合模块的输出作为双分支模块的输入,将Z8送入一条由两个色彩增强模块CEM组成的分支得到Z9;
B17:将步骤B16得到的Z8送入另一条由两个细节重建模块DRM组成的分支得到Z10;
B18:将步骤B16得到的Z9和步骤B22得到的Z10在通道维度上进行拼接后经过一个卷积
进一步地,步骤B12具体包括以下几个步骤:
B121:给定一个输入特征X0∈RC×H×W,首先经过一个卷积核大小为3×3的卷积层,再使用自适应平均池化AvgPool和自适应最大池化MaxPool获取代表性信息,并取平均得到大小为1×1×C的特征图,然后进行全连接并用Sigmoid函数进行激活,再乘以原始输入进行自适应特征修正得到特征图X1∈RC×H×W。接下来,同时在通道维度上最大池化和平均池化,然后拼接这两个特征图后经过一个卷积核大小为1×1的卷积层,再由激活函数(Sigmoid)归一化后乘以特征图X1以突出特征信息作为全局特征图X2∈RC×H×W。最后,将X2和X0进行逐元素求和运算得到X3,具体计算公式如下:
其中Conv3×3(·)、Conv1×1()、FC(·)和σ(·)分别代表卷积核大小为3×3、1×1的卷积层、全连接和Sigmoid激活函数。
进一步地,步骤B13具体包括以下几个步骤:
首先经过一个卷积核大小为3×3的卷积层得到F1,再将F2送入膨胀系数分别为1、2、5的膨胀卷积中并将三个输出做逐元素相加运算得到F3,再将F0与F3做逐元素相加运算得到F4,具体计算公式如下:
其中,F0表示输入特征提取块FEM的特征图,Conv3×3(·)为卷积核大小为3×3的卷积层,DF1、DF2、DF5分别为膨胀系数分别为1、2、5的膨胀卷积。
进一步地,步骤B17具体包括以下几个步骤:
B171:将多尺度稠密小波融合模块的输出Z8作为输入,首先经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到C1,再经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到与Z8和C1做逐元素相加运算得到C2,再经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到与C1和C2做逐元素相加运算得到C3,再通过一个卷积核大小为1×1的卷积层和PRelu激活函数降维,然后与Z8做逐元素相加运算得到C4,具体计算公式如下:
其中Conv3×3(·)、Conv1×1(·)和PRelu(·)分别代表卷积核大小为3×3、1×1的卷积层和PRelu激活函数。
进一步地,步骤B18具体包括以下几个步骤:
B181:将多尺度稠密小波融合模块的输出Z8作为输入,首先经过一个卷积核大小为3×3的卷积层得到D1,再将D2送入膨胀系数分别为1、2、5的膨胀卷积中并将三个输出做逐元素相加运算得到D3,再将Z8与D3做逐元素相加运算得到F4,具体计算公式如下:
其中Conv3×3(·)为,卷积核大小为3×3的卷积层,DF1、DF2、DF5分别为膨胀系数分别为1、2、5的膨胀卷积。
进一步地,步骤C包含以下步骤:
步骤C1:设计网络联合损失函数,联合损失函数如下:
Ltotal=λcb·Lcb+λms·Lms+λpl·Lpl+λtv·Ltv
其中Lcb,Lms,Lpl,Ltv分别代表Charbonnier损失函数、多尺度结构相似性损失函数、感知损失函数和图像平滑性损失函数,λcb,λms,λpl,λtv分别代表对应的损失系数,·为实数的点乘操作,具体各项损失函数计算公式如下:
Lms=1-SSIMms(x,y)
其中,μx和μy是图像的均值,反映其亮度信息,σx和σy是图像的方差,反映其对比度信息,σxy是图像的协方差,反映其结构相似性信息,C1和C2是接近零的常数。
其中,xi,j图像的像素值。
步骤C2:将待训练图像对随机划分为若干个批次,每个批次包含相同数目的配对图像对,不断迭代训练并优化网络,直至联合损失Ltotal训练到收敛,则停止训练并保存训练好的模型。
通过在公开的LOL-v2数据集中进行实验并与相关算法进行比较,验证了本发明提出的算法有效性:
1.实验条件
本发明中实验使用Pytorch深度学***台硬件配置为NVIDIA TITAN-XP(12GB)Intel Xeon EP-2630(2.20GHz)32GB内存。
2.实验数据集
本发明实验中使用数据集为公开的LOL-v2,该数据集共有1589对图像,分为合成图像对和真实图像对两个部分。合成图像对是从RAISE中选取了900张正常光图像,并通过特定的方法将这900张图像合成低光图像。真实场景下的图像是从各种生活场景中拍摄的真实图像,包括校园、游泳馆、房屋、街道等,共689对。其中,大多数的低光照图像是通过改变相机曝光时间和ISO得到的。
3.性能评价指标
本发明采用峰值信噪比(PSNR),结构相似性(SSIM)和自然图像质量评估(NIQE)三种客观图像质量评价指标评价不同算法的性能。
PSNR:峰值信噪比是最为普遍、最为广泛的评鉴图像质量的客观评价指标。PSNR数值越大,图像的失真越少。PSNR表达式如下所示:
其中,MAXI代表图像中可能的最大像素值。
SSIM:结构相似性是衡量两张图像相似度的指标,分别从亮度、对比度和结构三个方面衡量图像的质量,使其具有人对视觉的感知。SSIM数值越大,增强的图像质量越好。SSIM表达式如下所示:
其中,μx和μy是图像的均值,反映其亮度信息,σx和σy是图像的方差,反映其对比度信息,σxy是图像的协方差,反映其结构相似性信息,C1和C2是接近零的常数。
4、实验结果及分析
本发明与其他算法的PNSR和SSIM结果对比:
通过以上对比数据可以看出,本发明的其他算法的PNSR和SSIM相比有明显的提高。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。
Claims (10)
1.基于结合稠密小波的双分支网络的低照度图像增强方法,包括以下步骤:
步骤A:对低照度图像和正常光图像进行预处理,组成训练图像对;
步骤B:设计结合小波变换的双分支网络的低照度图像增强网络,包括:
多尺度稠密小波融合模块,用于去除图像噪声以及提取不同尺度中图像的特征信息;
双分支模块,用于提取图像的细节纹理和色彩信息;
步骤C:设计低照度图像的联合损失函数,训练网络至收敛;
步骤D:将待测的低照度图像输入到训练好的低照度图像增强网络中,对图像预测生成正常光图像。
2.根据权利要求1中所述的基于结合稠密小波的双分支网络的低照度图像增强方法,所述的步骤A具体包括以下几个步骤:
A1:对低照度图像和正常光图像进行随机裁剪,低照度图像作为网络输入,正常光图像作为参考图像;
A1:对待训练图像进行随机旋转和反转,用于数据扩充增强;
3.根据权利要求1中所述的基于结合稠密小波的双分支网络的低照度图像增强方法,所述的多尺度稠密小波融合模块具体包括以下几个步骤:
B11:首先经过三次离散小波变换DWT,每次DWT后分别得到三个特征图Z1、Z2和Z3;
B12:将步骤B11得到的特征图Z1经过全局空间注意力模块GSA后再进行逆离散小波逆变换IDWT得到Z4;
B13:将步骤B11得到的特征图Z2和Z3分别经过特征提取块FEM得到Z5和Z6;
B14:将步骤B12得到的Z4和步骤B13得到的Z5在通道维度上进行拼接后再进行逆离散小波逆变换IDWT得到Z7;
B15:将步骤B1.4得到的Z7和步骤B12得到的Z6通道维度上进行拼接得到Z8。
4.根据权利要求3中所述的全局空间注意力模块具体包括以下几个步骤:
B121:给定一个输入特征X0∈RC×H×W,首先经过一个卷积核大小为3×3的卷积层,再使用自适应平均池化AvgPool和自适应最大池化MaxPool获取代表性信息,并取平均得到大小为1×1×C的特征图,然后进行全连接并用Sigmoid函数进行激活,再乘以原始输入进行自适应特征修正得到特征图X1∈RC×H×W。接下来,同时在通道维度上最大池化和平均池化,然后拼接这两个特征图后经过一个卷积核大小为1×1的卷积层,再由激活函数(Sigmoid)归一化后乘以特征图X1以突出特征信息作为全局特征图X2∈RC×H×W。最后,将X2和X0进行逐元素求和运算得到X3,具体计算公式如下:
其中Conv3×3(·)、Conv1×1(·)、FC(·)和σ(·)分别代表卷积核大小为3×3、1×1的卷积层、全连接和Sigmoid激活函数。
6.根据权利要求1中所述的基于结合稠密小波的双分支网络的低照度图像增强方法,所述的双分支模块具体包括以下几个步骤:
B21:将多尺度稠密小波融合模块的输出作为双分支模块的输入,将Z8送入一条由两个色彩增强模块CEM组成的分支得到Z9;
B22:将步骤B21得到的Z8送入另一条由两个细节重建模块DRM组成的分支得到Z10;
B23:将步骤B21得到的Z9和步骤B22得到的Z10在通道维度上进行拼接后经过一个卷积核大小为3×3的卷积层和PRelu激活函数得到Z11。
7.根据权利要求6中所述的色彩增强模块具体包括以下几个步骤:
B211:将多尺度稠密小波融合模块的输出Z8作为输入,首先经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到C1,再经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到与Z8和C1做逐元素相加运算得到C2,再经过一个卷积核大小为3×3的卷积层并通过PRelu激活函数得到与C1和C2做逐元素相加运算得到C3,再通过一个卷积核大小为1×1的卷积层和PRelu激活函数降维,然后与Z8做逐元素相加运算得到C4,具体计算公式如下:
其中Conv3×3(·)、Conv1×1(·)和PRelu(·)分别代表卷积核大小为3×3、1×1的卷积层和PRelu激活函数。
9.根据权利要求1中所述的基于结合稠密小波的双分支网络的低照度图像增强方法,所设计的联合损失函数如下:
Ltotal=λcb·Lcb+λms·Lms+λpl·Lpl+λtv·Ltv
其中Lcb,Lms,Lpl,Ltv分别代表Charbonnier损失函数、多尺度结构相似性损失函数、感知损失函数和图像平滑性损失函数,λcb,λms,λpl,λtv分别代表对应的损失系数,·为实数的点乘操作,具体各项损失函数计算公式如下:
Lms=1-SSIMms(x,y)
其中,μx和μy是图像的均值,反映其亮度信息,σx和σy是图像的方差,反映其对比度信息,σxy是图像的协方差,反映其结构相似性信息,C1和C2是接近零的常数。
其中,xi,j图像的像素值。
10.训练过程具体为:
将待训练图像对随机划分为若干个批次,每个批次包含相同数目的配对图像对,不断迭代训练并优化网络,直至联合损失Ltotal训练到收敛,则停止训练并保存训练好的模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211346996.2A CN116029916A (zh) | 2022-10-31 | 2022-10-31 | 基于结合稠密小波的双分支网络的低照度图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211346996.2A CN116029916A (zh) | 2022-10-31 | 2022-10-31 | 基于结合稠密小波的双分支网络的低照度图像增强方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116029916A true CN116029916A (zh) | 2023-04-28 |
Family
ID=86069678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211346996.2A Pending CN116029916A (zh) | 2022-10-31 | 2022-10-31 | 基于结合稠密小波的双分支网络的低照度图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116029916A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117407663A (zh) * | 2023-12-15 | 2024-01-16 | 山东科技大学 | 一种基于卷积神经网络的全波形数据去噪方法 |
-
2022
- 2022-10-31 CN CN202211346996.2A patent/CN116029916A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117407663A (zh) * | 2023-12-15 | 2024-01-16 | 山东科技大学 | 一种基于卷积神经网络的全波形数据去噪方法 |
CN117407663B (zh) * | 2023-12-15 | 2024-03-26 | 山东科技大学 | 一种基于卷积神经网络的全波形数据去噪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lv et al. | Attention guided low-light image enhancement with a large scale low-light simulation dataset | |
CN113313657B (zh) | 一种用于低光照图像增强的非监督学习方法和*** | |
CN110232661B (zh) | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 | |
WO2022199583A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
WO2021164725A1 (zh) | 去除摩尔纹的方法与装置 | |
Yan et al. | Enhanced network optimized generative adversarial network for image enhancement | |
CN113129236B (zh) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及*** | |
CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
Ma et al. | RetinexGAN: Unsupervised low-light enhancement with two-layer convolutional decomposition networks | |
Huang et al. | Color correction and restoration based on multi-scale recursive network for underwater optical image | |
Feng et al. | Low-light image enhancement algorithm based on an atmospheric physical model | |
Wen et al. | Autonomous robot navigation using Retinex algorithm for multiscale image adaptability in low-light environment | |
CN114581318B (zh) | 一种低照明度图像增强方法及*** | |
CN113962905B (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
CN116029916A (zh) | 基于结合稠密小波的双分支网络的低照度图像增强方法 | |
Guo et al. | Low-light image enhancement with joint illumination and noise data distribution transformation | |
Han et al. | Low contrast image enhancement using convolutional neural network with simple reflection model | |
Luo et al. | A fast denoising fusion network using internal and external priors | |
Xu et al. | Attention‐based multi‐channel feature fusion enhancement network to process low‐light images | |
CN112822343B (zh) | 一种面向夜间视频的清晰化方法及存储介质 | |
CN115170415A (zh) | 一种低光照图像增强方法、***及可读存储介质 | |
CN113160066A (zh) | 一种低照度图像高效增强方法 | |
Tian et al. | A modeling method for face image deblurring | |
Tojo et al. | Image denoising using multi scaling aided double decker convolutional neural network | |
Lee et al. | Efficient Low Light Video Enhancement Based on Improved Retinex Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |