CN116523794A - 一种基于卷积神经网络的低光照图像增强方法 - Google Patents
一种基于卷积神经网络的低光照图像增强方法 Download PDFInfo
- Publication number
- CN116523794A CN116523794A CN202310540711.7A CN202310540711A CN116523794A CN 116523794 A CN116523794 A CN 116523794A CN 202310540711 A CN202310540711 A CN 202310540711A CN 116523794 A CN116523794 A CN 116523794A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- low
- enhancement
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 25
- 238000005286 illumination Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000004880 explosion Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 claims description 2
- 230000008602 contraction Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 6
- 238000012805 post-processing Methods 0.000 abstract 1
- 238000011084 recovery Methods 0.000 description 5
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 4
- 235000011941 Tilia x europaea Nutrition 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000004571 lime Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于卷积神经网络的低光照图像增强方法,用于解决现有低光增强方法中存在噪声过多和色彩对比度偏差的问题;其步骤为:低光照图像信息的获取;构建训练样本集和测试样本集;构建图像分解网络,将输入的低光照图像分解为反射分量和入射分量;构建图像增强模块,对分解后的图像分量进行去噪和增强;对构建好的网络模型进行训练;保存训练好的低光照图像增强网络;将低光照图像输入训练好的模型中,得到增强后的图像。本发明通过去噪网络对反射分量的有效去噪,以及加入注意力机制和空洞卷积的增强网络对入射分量的增强,有效解决了低光照图像在增强过程中出现的噪声过多和色彩对比度偏差问题,可用于图像后期处理等。
Description
技术领域
本发明设计一种基于卷积神经网络的低光照图像增强方法,属于数字图像处理领域,可用于低光照图像的处理。
背景技术
在光线不足的环境中会因为摄影机器的曝光时间过长或者灵敏度不足得到噪声高、对比度低和能见度差的低质量图像,进而影响后续计算机视觉处理的性能,对于计算机视觉来说这无异于是降低了整个***的可靠性,因此需要通过低照度图像增强技术来改善图像的质量,为后续的计算机视觉处理提供可靠的基础。
目前,低光图像增强算法大体上可以分为基于传统技术的图像增强算法和基于深度学习的图像增强算法,其中:
传统技术的图像增强算法又可以分为:基于直方图的图像增强算法和基于Retinex理论的图像增强算法。直方图均衡化是以数理统计为核心,通过调整像素点的分布,起到增强图像的效果,这种算法对于灰度图像增强极为有效,但同时会在图像中引入均匀的噪声;基于Retinex理论的方法是目前比较流行的低照度图像增强算法,该理论认为:人眼观察到的图像可以表示为入射分量和反射分量的乘积,入射光决定了一副图像中的所有像素点的动态范围大小,而物体自身所固有不变的反射系数决定了图像的固有属性,通过原始图像估计出入射分量并进行处理,实现图像增强,现最为经典的算法有单尺度Retinex算法、多尺度Retinex算法和带色彩恢复的MSR算法,但这些方法存在过度增强导致色彩偏差过大的问题。
基于深度学习的方法有:Lore等人利用深度自编码器的方法对图像中的信号特征进行识别,实现高动态范围的自适应亮度增强,该方法证明了堆叠稀疏去噪自编码器可以通过学习合成数据的训练实例,实现对低照度图像的自适应增强;Wei等人基于Retinex理论和卷积神经网络提出Retinex-Net网络,该网络由分解网络和增强网络两部分组成,分解网络将输入图像分解为光照分量和反射分量,然后将光照分量输入到增强网络中进行修正,再与反射分量重建并输出结果图像。虽然Retinex-Net能有效增强图像的亮度和细节特征,但是色彩失真较为严重。
发明内容
本发明根据上述算法的不足,提出一种基于卷积神经网络的低光照图像增强算法,提高了图像恢复后的色彩恢复保真度并降低了图像增强后的噪声。
为实现上述目的,本发明的技术包括如下:
(1)低光照图像信息的获取:选取公开的含有低光图像和正常光图像对的数据集;
(2)构建训练样本集和测试样本集:选取(1)中的20个低光照图像作为测试样本集,其余图像对作为训练样本集;
(3)构建图像分解网络:
(3-1)构建由卷积层和残差模块组成的图像分解网络模型;
(3-2)定义分解网络的损失函数LDec:
LDec=Ls+λrLr+λlLl
其中Lr=||Rlow-Rnormal||2,Rlow表示低光图像的反射分量图,Rnormal表示正常光图像的反射分量图;λ作为结构感知权值参数,设置为15,利用参数e-λ▽R可以使图像更加平滑,▽表示梯度;/>
(3-3)将成对的低光/正常光图像输入网络模型,并在其共享一致反射分量图的约束下学习低光图像及正常光图像的分解,最后输出低光/正常图像的入射分量图和反射分量图;
(4)构建反射分量图去噪网络:
(4-1)把改进后的U-Net作为去噪网络模型;
(4-2)将(3)中图像分解后的反射分量图输入去噪网络,最后输出去噪后的反射分量图;
(5)构建入射分量图增强网络:
(5-1)构建一个基于Encoder-Decoder结构的入射分量图增强网络;
(5-2)定义入射分量图增强网络的损失函数LR:
LR=λ1L1+λ2L2+L3
其中L2=||L'low-Lnormal||2,L'low表示增强后的入射分量图,/>λ1和λ2分别为0.1和0.01.
(5-3)将(3)中图像分解后的入射分量图输入增强网络,最后输出增强后的入射分量图;
(6)分别训练(3-1)(5-1)、(4-1)所构建的网络模型;
(6-1)对于(4-1)的训练:将成对数据集中的带噪声的图像作为网络的输入,无噪声参考图像作为网络计算损失的真值;该模型应用L1损失函数和Adam优化器,在每次训练的迭代过程中,将数据集中提取的图像随机裁剪成64*64的图像块,学习率初始设定为0.001,在训练到30轮后,学习率减小为0.0001;
(6-2)对于(3-1)(5-1)的训练:训练过程中优化器使用的是具有动量的梯度下降法,动量系数为0.09,初始学习率为0.001,每20轮迭代后学习率衰减0.1;
(6-3)保存训练好的网络模型并结束训练;
(6-4)将测试样本集中的低光照图像输入进保存好的训练模型中,输出增强后的图像并保存。
本发明与现有的增强算法相比,具有以下优点:
1.本发明在图像分解网络中使用了多个残差模块来获得更好的分解结果,得益于跳跃连接结构,残差网络可以使深度神经网络在训练阶段更容易优化,不会导致梯度***或者梯度消失。
2.本发明改进了U-Net网络作为去噪网络使用,传统U-Net在特征提取阶段使用了多个最大池化层,最大池化层会导致特征信息的丢失,本发明将最大池化层替换为步长卷积层,这会略微增加网络参数,但是提高了模型的性能,此外,本发明在网络的前两层使用空洞卷积来提取更多的特征信息,在抑制噪声的同时保留了原始图像的细节。
3.本发明在构建入射分量增强网络中加入了三重注意力机制,其是一种使用三分支结构捕捉跨维度交互来计算注意力权重的方法,对于输入的数据,三重注意力机制可以通过旋转操作和残差变换建立维度间的依赖关系,并以可以忽略的计算开销编码通道间和空间的信息。因此,在训练模型的过程中使用三重注意力机制可以捕捉网络特征图在通道维度和空间维度之间的交互,并且会建立空间注意力在空间维度上加权对图像色彩偏差过大的问题进行修正,解决了现有算法在低光照图像增强过程中忽略的色差问题。
附图说明
图1为本发明的实现流程图;
图2为本发明构建的低光图像增强网络结构示意图;
图3为本发明分解网络中的残差模块;
图4为本发明与现有低光图像增强算法结果的对比图。
具体实施方式
结合附图说明,对本发明进一步描述,以让本领域技术人员参照说明文字具体实施。
参照图1,本发明的具体实施步骤如下:
步骤1:在网络上寻找公开的低光/正常光图像对数据集,本发明使用的是公开的LOL、Brightening Train数据集,以及有关噪声图像的SIDD数据集。
步骤2:在数据集中随机选取20个作为测试样本集,余下的作为训练样本集。
步骤3:参照图2构造本发明的低光图像增强网络:
步骤3-1:分解网络包括5个3×3的卷积层、1个1×1卷积层和4个残差模块,其中残差模块的构造图参考图3。输入的图像先经过一个3×3的卷积层用于提取作为输入的低光/正常光图像的浅层特征,再经过4个由残差模块和3×3卷积层组成的结构进一步获取输入图像的深层特征,为了加速网络的收敛速度,在这4个结构的卷积层后都配备一个Relu激活层,同时利用网络的权值共享来提高卷积层的学习效率,最后的1×1卷积层从特征空间中输出反射分量图和入射分量图,该层为4通道输出,其中一个通道的输出作为入射分量图,另外3通道的输出作为反射分量图,实现图像的分解。
步骤3-2:反射分量去噪网络由2个3×3的空洞卷积层和一个U-Net结构的网络组成。反射分量图会先经过两层3×3的空洞卷积层再输入进U-Net中,用来提取更多的特征信息。U-Net主要分为3个部分,主干特征提取部分是一个收缩网络,通过4个下采样,使输入图尺寸减小,具体过程是特证图经过两个3×3的卷积层(后面紧跟批量归一化层防止梯度***或消失,和Relu激活层),再经过一个2×2的池化层使得输入特征图尺寸减半、通道数翻倍,这即为一个完整的下采样,接下来三个也是如此;加强特征提取部分是利用主干部分获得的有效特征层进行上采样,并且进行特征融合,获得一个融合了所有特征的有效特征层;预测部分是对有效特征层的每一个特征点进行分类,最后输出去噪后的反射分量图。
步骤3-3:入射分量增强网络是一个基于编解码结构的模型,编码部分是由3个步长为2的3×3卷积层组成,激活函数为Relu,并在激活函数前加入批量归一化层,解码部分也有3个3×3的卷积层,激活函数同样为Relu,并加入批量归一化层,Concat层利用跳跃连接,将多层特征结合,有助于网络的快速收敛和细节保留,最后通过1×1的卷积层,恢复原有通道,最后的3×3卷积层输出增强后的入射分量图;此外该增强网络中引入了注意力机制层,作用时提高特征信息,判断各个像素点之间的相似度,突显出重要部分的信息。
步骤3-4:将去噪后的反射分量图和增强后的入射分量图逐像素点乘融合,最终得到增强后的低光图像。
步骤4:训练低光照图像增强网络,具体操作如下:
步骤4-1:本发明在Centos7环境下工作,采用PyTorch框架进行搭建,反射分量去噪网络的主要参数有:初始学习率为0.001,训练30轮后学习率减少为0.0001,其使用Adam优化器,β1为0.9,β2为0.999,batch size为4,patch size为64,epoch为60;分解网络和入射分量增强网络主要参数有:优化器使用具有动量的梯度下降法,动量系数为0.9,初始学习率为0.001,每20个epoch学习率以0.1衰减;
步骤4-2:初始化网络的参数,设置迭代次数;
步骤4-3:将训练样本集的低光和正常光图像对输入分解网络中,网络会在低光图像和正常光图像共享一致反射率图的指导下学习低光照图像以及对应正常光图像的分解,在训练时需要输入成对的低光图像和正常光图像,测试时只需要输入低光图像就可以;将分解后的反射分量和入射分量分别输入到去噪网络和增强网络中,得到去噪后的反射分量图和增强后的入射分量图,再将两个分量图逐像素点乘融合,最终得到增强后的低光照图像。
本发明的效果可以通过以下实验进行说明:
使用本发明和现有四种算法对测试样本集中的低光照图像进行增强,四种现有算法分别是:基于直方图均衡化的算法、MSRCR算法、LIME算法和RetinexNet算法,对比结果如图4所示。
图4(a)为样本集中低光照图像;
图4(b)为使用直方图均衡化算法增强后的图像;
图4(c)为使用MSRCR算法增强后的图像;
图4(d)为使用LIME算法增强后的图像;
图4(e)为使用RetinexNet算法增强后的图像;
图4(f)为使用本发明算法增强后的图像;
其中,直方图均衡化算法和MSRCR算法相比于深度学习算法而言,差距较为明显,主要表现再颜色恢复不真实,色调严重偏移;LIME算法再图像增强后,低光照图像亮度提升明显,但是部分区域易出现过度增强的情况,导致图像呈现两极分化;RetinexNet算法在增强时,全局亮度分布较为均匀,优于LIME算法,但存在一个明显的缺陷就是图像增强过后,色彩恢复不够真实;与这些算法相比较,本发明算法在主观评价中增强效果表现较好。
对本发明的增强图像与现有的四种算法的增强图像进行给图像质量评价,评价指标为峰值信噪比PSNR、结构相似度SSIM,对比结果如表1:
表1
如表1所示,本发明算法在与上述四种算法对比时,在数据上呈现优越性,从而验证了本发明算法的有效性。
综上所述,本发明提出的低光照图像增强算法,能够有效的恢复图像的色彩,减少了图像增强后的噪声,非均匀地对图像亮度进行提高,有效地提升了低光图像增强效果。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例的技术方案也可以经适当的组合,形成本领域技术人员可以理解的其他实施方式。
Claims (4)
1.本发明提出一种基于卷积神经网络的低光照图像增强方法,其特征包括如下:
(1)低光照图像信息的获取:选取公开的含有低光图像和正常光图像对的数据集;
(2)构建训练样本集和测试样本集:选取(1)中的20个低光照图像作为测试样本集,其余图像对作为训练样本集;
(3)构建图像分解网络:
(3-1)构建由卷积层和残差模块组成的图像分解网络模型;
(3-2)定义分解网络的损失函数LDec:
LDec=Ls+λrLr+λlLl
其中Lr=||Rlow-Rnormal||2,Rlow表示低光图像的反射分量图,Rnormal表示正常光图像的反射分量图;λ作为结构感知权值参数,设置为15,利用参数/>可以使图像更加平滑,/>表示梯度;/>
(3-3)将成对的低光/正常光图像输入网络模型,并在其共享一致反射分量图的约束下学习低光图像及正常光图像的分解,最后输出低光/正常图像的入射分量图和反射分量图;
(4)构建反射分量图去噪网络:
(4-1)把改进后的U-Net作为去噪网络模型;
(4-2)将(3)中图像分解后的反射分量图输入去噪网络,最后输出去噪后的反射分量图;
(5)构建入射分量图增强网络:
(5-1)构建一个基于Encoder-Decoder结构的入射分量图增强网络;
(5-2)定义入射分量图增强网络的损失函数LR:
LR=λ1L1+λ2L2+L3
其中L2=||L'low-Lnormal||2,L'low表示增强后的入射分量图,λ1和λ2分别为0.1和0.01;
(5-3)将(3)中图像分解后的入射分量图输入增强网络,最后输出增强后的入射分量图;
(6)分别训练(3-1)(5-1)、(4-1)所构建的网络模型;
(6-1)对于(4-1)的训练:将成对数据集中的带噪声的图像作为网络的输入,无噪声参考图像作为网络计算损失的真值;该模型应用L1损失函数和Adam优化器,在每次训练的迭代过程中,将数据集中提取的图像随机裁剪成64*64的图像块,学习率初始设定为0.001,在训练到30轮后,学习率减小为0.0001;
(6-2)对于(3-1)(5-1)的训练:训练过程中优化器使用的是具有动量的梯度下降法,动量系数为0.09,初始学习率为0.001,每20轮迭代后学习率衰减0.1;
(6-3)保存训练好的网络模型并结束训练;
(6-4)将测试样本集中的低光照图像输入进保存好的训练模型中,输出增强后的图像并保存。
2.根据权权利要求1所描述的方法,其特征在于:所描述的(3)中,分解网络包括5个3×3的卷积层、1个1×1卷积层和4个残差模块,输入的图像先经过一个3×3的卷积层用于提取作为输入的低光/正常光图像的浅层特征,再经过4个由残差模块和3×3卷积层组成的结构进一步获取输入图像的深层特征,为了加速网络的收敛速度,在这4个结构的卷积层后都配备一个Relu激活层,同时利用网络的权值共享来提高卷积层的学习效率,最后的1×1卷积层从特征空间中输出反射分量图和入射分量图,该层为4通道输出,其中一个通道的输出作为入射分量图,另外3通道的输出作为反射分量图,实现图像的分解。
3.根据权利要求1所描述的方法,其特征在于:所描述的(4)中,反射分量去噪网络由2个3×3的空洞卷积层和一个U-Net结构的网络组成,反射分量图会先经过两层3×3的空洞卷积层再输入进U-Net中,用来提取更多的特征信息;U-Net主要分为3个部分,主干特征提取部分是一个收缩网络,通过4个下采样,使输入图尺寸减小,具体过程是特证图经过两个3×3的卷积层(后面紧跟批量归一化层防止梯度***或消失,和Relu激活层),再经过一个2×2的池化层使得输入特征图尺寸减半、通道数翻倍,这即为一个完整的下采样,接下来三个也是如此;加强特征提取部分是利用主干部分获得的有效特征层进行上采样,并且进行特征融合,获得一个融合了所有特征的有效特征层;预测部分是对有效特征层的每一个特征点进行分类,最后输出去噪后的反射分量图。
4.根据权利要求1所描述的方法,其特征在于:所描述的(5)中,入射分量增强网络是一个基于编解码结构的模型,编码部分是由3个步长为2的3×3卷积层组成,激活函数为Relu,并在激活函数前加入批量归一化层,解码部分也有3个3×3的卷积层,激活函数同样为Relu,并加入批量归一化层,Concat层利用跳跃连接,将多层特征结合,有助于网络的快速收敛和细节保留,最后通过1×1的卷积层,恢复原有通道,最后的3×3卷积层输出增强后的入射分量图;此外该增强网络中引入了注意力机制层,作用时提高特征信息,判断各个像素点之间的相似度,突显出重要部分的信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310540711.7A CN116523794A (zh) | 2023-05-14 | 2023-05-14 | 一种基于卷积神经网络的低光照图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310540711.7A CN116523794A (zh) | 2023-05-14 | 2023-05-14 | 一种基于卷积神经网络的低光照图像增强方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116523794A true CN116523794A (zh) | 2023-08-01 |
Family
ID=87397498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310540711.7A Pending CN116523794A (zh) | 2023-05-14 | 2023-05-14 | 一种基于卷积神经网络的低光照图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116523794A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117575943A (zh) * | 2023-12-13 | 2024-02-20 | 四川新视创伟超高清科技有限公司 | 一种对比度增强与降噪相结合的4k暗光图像增强方法 |
-
2023
- 2023-05-14 CN CN202310540711.7A patent/CN116523794A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117575943A (zh) * | 2023-12-13 | 2024-02-20 | 四川新视创伟超高清科技有限公司 | 一种对比度增强与降噪相结合的4k暗光图像增强方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
CN111028163B (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
CN111127336B (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
CN111275637A (zh) | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 | |
CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
CN113392711B (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及*** | |
CN112381897A (zh) | 基于自编码网络结构的低照度图像增强方法 | |
CN112651917A (zh) | 一种基于生成对抗网络的空间卫星低照度图像增强方法 | |
CN111007566A (zh) | 一种曲率驱动扩散全卷积网络地震数据坏道重建与去噪方法 | |
CN113450290A (zh) | 基于图像修补技术的低照度图像增强方法及*** | |
CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
CN116523794A (zh) | 一种基于卷积神经网络的低光照图像增强方法 | |
CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
CN116664446A (zh) | 基于残差密集块的轻量级暗光图像增强方法 | |
CN115861094A (zh) | 一种融合注意力机制的轻量级gan水下图像增强模型 | |
CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
CN113554568A (zh) | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 | |
CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 | |
CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及*** | |
CN114140361A (zh) | 融合多级特征的生成式对抗网络图像去雾方法 | |
CN114549343A (zh) | 基于双支残差特征融合去雾方法 | |
CN114140334A (zh) | 一种基于改进生成对抗网络的复杂煤矿图像去雾方法 | |
CN115457265B (zh) | 基于生成对抗网络和多尺度融合的图像去雾方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |