CN114638749A - 低光照图像增强模型、方法、电子设备及存储介质 - Google Patents
低光照图像增强模型、方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114638749A CN114638749A CN202210135560.2A CN202210135560A CN114638749A CN 114638749 A CN114638749 A CN 114638749A CN 202210135560 A CN202210135560 A CN 202210135560A CN 114638749 A CN114638749 A CN 114638749A
- Authority
- CN
- China
- Prior art keywords
- illumination
- layer
- initialization
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 313
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 129
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 98
- 230000006870 function Effects 0.000 claims description 32
- 230000008439 repair process Effects 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 241000023320 Luma <angiosperm> Species 0.000 claims 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 3
- 235000011941 Tilia x europaea Nutrition 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000004571 lime Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明适用于图像处理技术领域，提供了一种低光照图像增强模型、方法、电子设备及存储介质，低光照图像增强模型包括依次连接的初始化模块、优化模块、光照调整模块和图像重建模块，初始化模块用于对输入图像进行初始化分解，得到初始化光照层和初始化反射层，优化模块用于采用unfolding算法对初始化光照层和初始化反射层进行交替迭代优化，得到优化光照层和优化反射层，光照调整模块用于对优化光照层进行光照调整，得到目标光照层，图像重建模块用于根据目标光照层和优化反射层进行图像重建，得到目标光照图像，从而在保证低光照图像增强模型的灵活性和解释性的同时，提高了低光照图像增强模型的鲁棒性。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种低光照图像增强模型、方法、电子设备及存储介质。
背景技术
视觉感知是人类认识世界的最重要的途径之一，随着社会的高速发展，人们对于信息的需求量也越来越大，而在现实应用中，往往会出现不可预测的情况造成图像质量退化。在这些退化情况中，低光照图像始终是计算机社会关注的热点问题之一，尤其是在城市交通，监控视频，医疗辅助等领域。低光照图像往往是由于光照强度不足或曝光时间过短，导致采集到的图像整体像素强度偏小，对比度偏低，大量细节不可见，严重影响视觉体验和算法处理准确度。
现有的低照度图像增强技术中，尽管大部分深度学***滑和噪声残留的风险，此外由于忽略反射层，模型在大部分情况下容易过曝，图像增强效果并不理想。
发明内容
本发明的目的在于提供一种低光照图像增强模型、方法、电子设备及存储介质，旨在解决由于现有技术中图像增强效果不够理想的问题。
一方面，本发明提供了一种低光照图像增强模型，所述低光照图像增强模型包括依次连接的初始化模块、优化模块、光照调整模块和图像重建模块，其中，
所述初始化模块，用于对输入图像进行初始化分解，得到与所述输入图像对应的初始化光照层和初始化反射层；
所述优化模块，用于采用unfolding算法对所述初始化光照层和所述初始化反射层进行若干次交替迭代优化，得到优化光照层和优化反射层；
所述光照调整模块，用于对所述优化光照层进行光照调整，得到目标光照层；
所述图像重建模块，用于根据所述目标光照层和所述优化反射层进行图像重建，得到目标光照图像。
优选地，所述初始化模块为全连接神经网络。
优选地，所述全连接神经网络为包含4个卷积层的全卷积神经网络。
优选地，所述初始化模块训练时采用的损失函数包括保真项和先验项，所述保真项用于衡量由训练样本的初始化光照层和初始化反射层组成的初始化图像，与所述训练样本的接近程度，所述先验项用于衡量所述训练样本的初始化光照层与所述训练样本的R、G、B三通道最大值的接近程度。
优选地，所述初始化模块训练时采用的损失函数为：
其中，Linit表示所述初始化模块的损失，I表示所述训练样本，R0表示所述训练样本的初始化反射层，L0表示所述训练样本的初始化光照层，μ为常数，R、G、B分别表示红、绿、蓝通道。
优选地，所述优化模块包括变量计算子网络、反射层修复网络和光照层修复网络，在进行当次交替迭代优化时，所述变量计算子网络用于计算当次迭代优化后的第一中间变量和第二中间变量，所述反射层修复网络用于基于所述当次迭代优化后的第一中间变量和第二中间变量，得到当次迭代优化后的优化反射层，所述光照层修复网络用于基于当次迭代优化后的第二中间变量，得到当次迭代优化后的优化光照层。
优选地，所述变量计算子网络用于采用最小二乘法计算所述当次迭代优化后的第一中间变量和第二中间变量。
优选地，所述反射层修复网络用于对所述当次迭代优化后的第一中间变量和第二中间变量进行卷积运算，得到第一中间特征图和第二中间特征图，对所述第一特征图和所述第二中间特征图进行级联操作，得到拼接特征图，采用通道自注意力机制对所述拼接特征图进行通道注意力计算，得到重加权特征图，获取所述重加权特征图的噪声分布，基于所述噪声分布和所述第一中间特征图得到当次迭代优化后的优化反射层。
优选地，所述光照调整模块包括依次连接的调整因子扩张子模块、拼接子模块和亮度调整网络，其中，
所述调整因子扩张子模块，用于将预设的调整尺度因子扩张为与所述优化光照层相同大小的矩阵；
所述拼接子模块，用于将所述矩阵与所述优化光照层进行拼接，得到拼接结果；
所述亮度调整网络，用于基于所述拼接结果对所述优化光照层进行亮度调整，得到所述目标光照层。
优选地，所述亮度调整网络与所述初始化模块的网络结构相同，且所述亮度调整网络的卷积层的卷积核的尺寸大于所述初始化模块的卷积层的卷积核。
优选地，所述亮度调整网络训练时采用的损失函数包括梯度层面保真项、颜色层面保真项以及结构层面保真项中的一种或多种组合，其中，所述梯度层面保真项用于衡量训练样本的优化光照层与目标光照层之间的水平或垂直梯度距离，所述颜色层面保真项用于衡量所述训练样本的目标光照图像与参考图像的重建损失，所述结构层面保真项用于衡量所述训练样本的目标光照图像与所述参考图像的距离。
优选地，所述亮度调整网络训练时采用的损失函数为：
其中，Ladjust表示所述亮度调整网络的损失，
表示所述训练样本的优化光照层的在水平或垂直方向的梯度，
表示所述训练样本的目标光照层在水平或垂直方向的梯度，Iref表示所述参考图像，R表示所述训练样本的优化反射层，
表示所述训练样本的目标光照层，SSIM表示图像质量损失函数。
另一方面，本发明提供了一种基于上述低光照图像增强模型的低光照图像增强方法，所述方法包括下述步骤：
通过所述初始化模块对输入图像进行初始化分解，得到与所述输入图像对应的初始化光照层和初始化反射层；
通过所述优化模块，采用unfolding算法对所述初始化光照层和所述初始化反射层进行若干次交替迭代优化，得到优化光照层和优化反射层；
通过所述光照调整模块对所述优化光照层进行光照调整，得到目标光照层；
通过所述图像重建模块，根据所述目标光照层和所述优化反射层进行图像重建，得到目标光照图像。
另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明低光照图像增强模型包括依次连接的初始化模块、优化模块、光照调整模块和图像重建模块，其中，初始化模块用于对输入图像进行初始化分解，得到与输入图像对应的初始化光照层和初始化反射层，优化模块用于采用unfolding算法对初始化光照层和初始化反射层进行若干次交替迭代优化，得到优化光照层和优化反射层，光照调整模块用于对优化光照层进行光照调整，得到目标光照层，图像重建模块，用于根据目标光照层和优化反射层进行图像重建，得到目标光照图像，从而在保证低照度图像增强模型的灵活性和解释性的同时，提高了低照度图像增强模型的鲁棒性。
附图说明
图1A是本发明实施例一提供的低光照图像增强模型的结构示意图；
图1B是本发明实施例一提供的反射层修复网络的工作原理示意图；
图1C是本发明实施例一提供的低光照图像增强模型的工作原理示意图；
图2A是本发明实施例二提供10种不同低光照图像增强模型的增强效果在SICE数据集的可视化结果；
图2B是本发明实施例二提供的10种不同低光照图像增强模型的增强效果在LOL数据集的可视化结果；
图3是本发明实施例三提供的低光照图像增强方法的实现流程图；以及
图4是本发明实施例四提供的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1A示出了本发明实施例一提供的低光照图像增强模型的结构，该低光照图像增强模型包括低光照图像增强模型包括依次连接的初始化模块11、优化模块12、光照调整模块13和图像重建模块14；其中，初始化模块用于对输入图像进行初始化分解，得到与输入图像对应的初始化光照层和初始化反射层；优化模块用于采用unfolding算法对初始化光照层和初始化反射层进行若干次交替迭代优化，得到优化光照层和优化反射层；光照调整模块用于对优化光照层进行光照调整，得到目标光照层；图像重建模块用于根据目标光照层和优化反射层进行图像重建，得到目标光照图像。上述的输入图像为待进行图像增强的低光照图像。
对于上述初始化模块，考虑到对于迭代优化算法(例如ADMM)而言，变量初始化占着重要的角色，因此，上述初始化模块可采用常用的全零初始化分解和随机初始化对输入图像进行初始化分解。为了让初始化分解能够为后续的优化提供正确的方向，因此，初始化光照层和初始化反射层应该包含输入图像的重要信息，假设反射层是RGB三通道图像，三通道共享同一个光照层，则可直接将输入图像的三通道最大值赋值给光照层作为初始化光照层，根据Retinex理论，物体的颜色由其表面的反射率和落在表面的光照强度所组成，因此有以下的成像表达式：
I＝R·L (1)
其中，I表示输入图像，R表示输入图像的反射层，L表示输入图像的光照层，因此，初始化反射层可基于上述Retinex理论得到。
但上述初始化分解方式会放大反射层中三通道值的差距，进而破坏R，G，B的统计特性。从而优选地，初始化模块采用全连接网络实现光照层和反射层的初始化分解，以使初始化光照层和初始化反射层包含更多的信息，同时避免破坏R，G，B的统计特性。进一步优选地，全连接神经网络为包含4个卷积层的全卷积神经网络，以提高低光照图像增强模型的运行效率。
具体地，该初始化模块的输入是低光照图像，输出是该输入图像对应的初始化光照层和初始化反射层，抽象表示为：
其中，R0表示初始化反射层，L0表示初始化光照层，
表示初始化模块，I表示输入图像，θD表示初始化模块的参数。
为了实现初始化分解保留输入图像有效信息的目的，优选地，初始化模块训练时采用的损失函数包括保真项和先验项，以使初始化分解后的初始化光照层和初始化反射层保留输入图像的有效信息。其中，保真项用于衡量由训练样本的初始化光照层和初始化反射层组成的初始化图像，与训练样本的接近程度，以保证初始化分解满足Retinex理论，先验项用于衡量训练样本的初始化光照层与训练样本的R、G、B三通道最大值的接近程度，以使初始化光照层学习更丰富的结构信息。其中，训练样本为低光照图像增强模型训练时的输入图像。
优选地，初始化模块训练时采用的损失函数中的保真项采用L1范数计算，先验项采用L2范数计算，以保证初始化模块的训练效果，使得初始化分解后的光照层和反射层尽可能的保留输入图像有效信息。初始化模块训练时采用的损失函数公式如下：
其中，Linit表示初始化模块的损失，I表示训练样本(模型训练时的输入图像)，R0表示训练样本的初始化反射层，L0表示训练样本的初始化光照层，μ为常数，R、G、B分别表示红、绿、蓝通道。
对于上述优化模块，根据Retinex理论，上述成像表达式(1)的分解问题是一个病态问题，因此在求解该问题时需要建立先验模型约束R和L，表示为：
其中，Φ(R)和Ψ(L)分别表示反射层R和光照层L的先验假设。为了求解该问题，引入两个新的变量，即第一中间变量P和第二中间变量Q，公式(4)则可改写为：
至此，可以合理的将公式(5)划分为保真项和先验项独立求解，得到以下表达式：
其中，Pk和Qk表示在第k次迭代的保真项求解结果，Rk和Lk表示在第k次迭代的先验项求解结果。k＝1时，Pk和Qk表示初始化反射层和初始化反射层光照层。
考虑到初始化反射层往往饱含噪声，严重影响重要细节的展现。初始化光照层则不仅完整保留了结构信息，多余的纹理细节也有很大程度的残留。因此，本实施例中优化模块的目的在于修复初始化反射层，在去除噪声的同时能够完整保留有效的细节。满意的光照层应该是结构完整且纹理细节平滑，为了实现以上目的，可基于深度神经网络的框架，采用unfolding算法交替迭代优化上述公式(6)-(9)中的保真项和先验项。基于时间和性能的综合考虑，优选地，优化模块进行交替迭代优化的次数为3，以根据实际实验效果确定交替迭代优化的次数。
优选地，优化模块包括变量计算子网络、反射层修复网络和光照层修复网络，在进行当次交替迭代优化时，变量计算子网络用于计算当次迭代优化后的第一中间变量和第二中间变量，反射层修复网络用于基于当次迭代优化后的第一中间变量和第二中间变量，得到当次迭代优化后的优化反射层，光照层修复网络用于基于当次迭代优化后的第二中间变量，得到当次迭代优化后的优化光照层，以替代传统的基于Retinex优化算法的手工先验求解，使得优化模块从数据中学习更加鲁棒的先验信息。其中，反射层修复网络和光照层修复网络均基于神经网络构建。优选地，变量计算子网络用于采用最小二乘法计算当次迭代优化后的第一中间变量和第二中间变量，以实现中间变量的计算。具体实施中，在进行第k次迭代优化时，可首先根据前一次(k-1)迭代优化得到的Qk-1、Rk-1求解上述公式(6)得到当次迭代优化的第一中间变量Pk，然后固定当次迭代优化的第一中间变量Pk和前一次迭代优化的优化光照层Lk-1求解上述公式(7)得到当次迭代优化的第二中间变量Qk，上述公式(6)-(7)是可理解为一个经典的最小二乘问题，因此可以通过求导得到以下闭环解：
其中，k≥1，且k为正整数，λ为常数。
在得到Pk和Qk之后，学习上述先验项Rk和Lk。
根据实验发现，反射层上的噪声和光照层上的亮度分布有高度相关性，亮度越高噪声越少，反之越多。优选地，反射层修复网络用于对计算出的第一中间变量的特征图和第二中间变量进行卷积运算，得到第一中间特征图和第二中间特征图，对第一中间特征图和第二中间特征图进行融合处理，得到融合特征图，之后，基于融合特征图的噪声分布和第一中间特征图，得到当次迭代后的优化反射层，从而通过联合光照层的信息修复反射层，实现了反射层的去噪，提高了优化反射层的学习效果。
进一步优选地，反射层修复网络用于对当次迭代优化后的第一中间变量和第二中间变量进行卷积运算，得到第一中间特征图和第二中间特征图，对第一特征图和第二中间特征图进行级联操作，得到拼接特征图，采用通道自注意力机制对拼接特征图进行通道注意力计算，得到重加权特征图，获取重加权特征图的噪声分布，基于噪声分布和第一中间特征图得到当次迭代优化后的优化反射层，这样，既能够更好的融合信息，又不会造成太大的计算消耗，保证了低光照图像增强模型的效率。
公式(8)中第k次交替迭代优化时优化反射层Rk抽象表示为：
其中，θR表示反射层修复网络
的参数，Pk表示第k次交替迭代优化的第一中间变量，Qk表示第k次交替迭代优化的第二中间变量。
公式(9)中第k次交替迭代优化时优化光照层Lk抽象表示为：：
其中，θL表示光照层修复网络
的参数。
图1B为本实施例中的反射层修复网络的工作原理示意图。图1B中，反射层修复网络包括通道自注意力模块和噪声提取模块，Conv表示卷积，圈C表示级联操作(Concatenation)，Average pooling表示平均池化，FC表示全连接，圈×表示像素乘法(Element-wise multiplication)，圈－表示去噪，反射层修复网络的工作原理为，首先对第一中间变量Pk和第二中间变量Qk进行卷积运算，得到第一中间特征图M1和第二中间特征图M2，之后，通过级联操作对第一中间特征图M1和第二中间特征图M2进行级联操作，得到拼接特征图M3，通过通道自注意力模块对拼接特征图M3进行通道注意力计算，得到重加权特征图M4，通过噪声提取模块获取重加权特征图M4的噪声分布M5，基于噪声分布M5对第一中间特征图M1进行去噪，得到当次迭代优化后的优化反射层M6。
对于上述光照调整模块，在Retinex理论中，反射层是物体的固有属性，不随光照条件所变化。基于该理论下，低光照成像是由于光照层强度较低所导致的，因此，在得到优化光照层和优化反射层之后，可固定优化反射层不变，调整优化光照层。光照调整模块可采用伽马校正(gamma correction)技术对光照层进行光照调整，虽然该伽马校正技术能够通过调整参数的方式达到不同程度的亮度增强效果，但是很难通过调整尺度确定调整尺度因子。优选地，光照调整模块用于根据预设的调整尺度因子对优化光照层进行光照调整，该调整尺度因子由用户指定，以根据用户指定的亮度调整尺度生成目标光照层。具体实施中，该光照调整模块的输入是优化光照层和用户指定的调整尺度因子，输出是目标调整尺度下的高光光照层，即目标光照层。
优选地，光照调整模块包括依次连接的调整因子扩张子模块、拼接子模块和亮度调整网络，其中，调整因子扩张子模块用于将预设的调整尺度因子扩张为与优化光照层相同大小的矩阵，拼接子模块用于将矩阵与优化光照层进行拼接，得到拼接结果，亮度调整网络用于基于拼接结果对优化光照层进行亮度调整，得到目标光照层，以实现光照强度的调整。具体实施中，先将调整尺度因子扩张成于光照层一样大小的矩阵，再和优化后的光照层拼接在一起作为亮度调整后鞥网络的输入，具体可表示为：
其中，ω表示调整尺度因子，θA表示亮度调整网络
的参数，L表示优化光照层。
优选地，亮度调整网络与初始化模块的网络结构相同，即该亮度调整网络可以为包含4个卷积层的全卷积神经网络，且亮度调整网络的卷积层的卷积核的尺寸大于初始化模块的卷积层的卷积核，以保留一致性和限制光照层的平滑性。
为了更好地训练该亮度调整网络，考虑到该亮度调整网络输出的高亮度光照层在结构上应该和输入的低亮度光照层一致，优选地，亮度调整网络训练时采用的损失函数包括梯度层面保真项，以保证亮度调整网络的训练效果。其中，梯度层面保真项用于衡量训练样本的优化光照层与目标光照层之间的水平或垂直梯度距离。
为了基于目标光照层重建正常光照的图像，优选地，亮度调整网络训练时采用的损失函数包括颜色层面保真项，以进一步提高亮度调整网络的训练效果。其中，颜色层面保真项用于衡量训练样本的目标光照图像与参考图像的重建损失，以使重建图像为正常光照的图像，即参考图像。
为了使重建图像在结构、亮度和对比度上与参考图像一致，优选地，亮度调整网络训练时采用的损失函数包括颜色层面保真项以及结构层面保真项中的一种或多种组合，以进一步提高亮度调整网络的训练效果。其中，结构层面保真项用于衡量训练样本的目标光照图像与参考图像的距离，以使重建的图像在结构，亮度和对比度和参考图像一致。
优选地，光照调整模块训练时采用的损失函数包括梯度层面保真项、颜色层面保真项以及结构层面保真项，以通过三个方面的约束进一步提高亮度调整网络的训练效果。
进一步优选地，梯度层面保真项采用L1范数计算，颜色层面保真项用L2范数计算，结构层面保真项采用SSIM(图像质量)损失计算，该亮度调整网络训练时采用的损失函数表示为：
其中，Ladjust表示亮度调整网络的损失，
表示训练样本的优化光照层的在水平或垂直方向的梯度，
表示训练样本的目标光照层在水平或垂直方向的梯度，Iref表示参考图像，R表示训练样本的优化反射层，
表示训练样本的目标光照层，SSIM表示图像质量损失函数。
在得到目标光照层之后，图像重建模块将目标光照层和优化反射层相乘，以进行图像重建，得到目标光照图像。
图1C为本发明实施例提供的低光照图像增强模型的工作原理示意图。在图1C中，输入图像I经过初始化模块
的初始化分解后，得到初始化光照层L0和初始化反射层R0，之后，经过优化模块的T次交替迭代优化训练后输出优化光照层和优化反射层，将优化光照层输入到光照调整模块，将调整尺度因子ω与优化光照层进行拼接，将拼接特征图输入亮度调整网络
进行亮度调整，得到目标光照层
之后，基于目标光照层
和优化反射层进行图像重建，输入增强图像，即目标光照图像。
在本发明实施例中，低光照图像增强模型包括依次连接的初始化模块、优化模块、光照调整模块和图像重建模块，其中，初始化模块用于对输入图像进行初始化分解，得到与输入图像对应的初始化光照层和初始化反射层，优化模块用于采用unfolding算法对初始化光照层和初始化反射层进行若干次交替迭代优化，得到优化光照层和优化反射层，光照调整模块用于对优化光照层进行光照调整，得到目标光照层，图像重建模块，用于根据目标光照层和优化反射层进行图像重建，得到目标光照图像，从而在保证低照度图像增强模型的灵活性和解释性的同时，提高了低照度图像增强模型的鲁棒性，并使得低照度图像增强模型在抑制噪声的同时保留了细节信息。
在本发明实施例中，低光照图像增强模块的各单元/模块可由相应的硬件或软件单元实现，各单元/模块可以为独立的软、硬件单元/模块，也可以集成为一个软、硬件单元/模块，在此不用以限制本发明。
实施例二：
本实施例结合实验例对实验例一描述的低光照增强模型做进一步说明：
本实验例在两个公开的低光照图像增强测试集上主观和客观评估了实施例一描述的基于unfolding的低光照图像增强模型。这两个具有代表性的数据集分别是LOL数据集和SICE数据集。本实验例使用了通用的有参考指标用于评价图像质量，分别为MeanAbsolute Error(MAE)，Structural Similarity(SSIM),Peak Signal to Noise Ratio(PSNR)和Learned Perceptual Image Patch Similarity(LPIPS)。一个好的模型要有高的PSNR和SSIM指标分数，但是MAE和LPIPS的分数要低。本实验例将实施例一提出的低光照图像增强模型与一些现有的基准模型进行比较，这些基准模型分别为LIME，NPE，SRIE，RRM，LR3M，Retinex-Net，KinD，Zero-DCE，RUAS。
模型性能比较的结果在表一和表二中给出，很明显的看出实施例一所提出的低光照图像增强模型(URetinex-Net)在LOL和SICE数据集上相比起其他基准模型获得了很好的性能。
表一实施例一描述的低光照图像增强模型与基准模型在LOL数据库测试集上的实验评估
表二实施例一描述的低光照图像增强模型与基准模型在SICE数据库测试集上的实验
表一给出了不同低光照图像增强模型在LOL数据库的测试集上的实验结果。从中可以看出，实施例一所提出的低光照图像增强模型(URetinex-Net)获得了很好的性能。和传统基于手工先验的Retinex优化模型相比，本实验例的模型在所有指标上都表现出十分优越的效果，说明了实施例一描述的优化模块能够从数据中学习到更加鲁棒的先验规则。和其他基于深度学习的方法相比，本实验例仅仅在MAE这个指标上略差于KinD(0.0832vs0.0804)，这个差异非常小。但在其他指标(PSNR，SSIM和LPIPS)，实施例一所提出的低光照图像增强模型(URetinex-Net)显著优于其他模型，进一步说明了本申请提出的这种基于迭代交替优化的增强模式的优势。
另外，为了验证实施例一所提出的低光照图像增强模型的泛化能力，本实验例对在LOL数据集上训练的模型，在SICE数据集上进行了性能评估，比较结果在表一中给出。本实验例可以从表一中很明显的看出实施例一所提出的低光照图像增强模型(URetinex-Net)的MAE、PSNR和SSIM指标分数显著优于其他的基准模型，对于同一个数据集，实施例一所提出的低光照图像增强模型表现出更好的抑制噪声能力和保留图像结构信息的能力。这足够说明实施例一所提出的低光照图像增强模型有比较强的泛化能力，即使在训练集中未出现过的场景也能够达到比较好的结果。
本实验例在图2A、2B中任意地可视化给出这些低光照图像增强模型在LOL和SICE数据集上的一些测试结果，包括实施例一所提出的低光照图像增强模型(Ours)，基准图(Ground-truth)在最后一行最后一列显示。图2A、2B中将本实施例一提供的低光照图像增强模型与LIME，NPE，SRIE，RRM，LR3M，Retinex-Net，KinD，Zero-DCE，RUAS模型做对比。如图2B所示，实施例一所提出的低光照增强模型(Ours)在一些具有挑战性的案例中表现良好。比如，图2B中被着重强调的区域，从图2B中可以看到在源图像(Input)中亮度非常低，如果只是提高对比度必定会引入大量噪声(如LIME，NPE，SRIE，Retinex-Net和Zero-DCE)，严重干扰重要的纹理细节。而考虑了噪声的算法(如RRM，LR3M，KinD和RUAS)，虽然噪声明显减少很多，但过度平滑导致重要的细节丢失。相比之下，本申请提出的低光照图像增强模型既能够充分去除噪声，又能够保留重要的纹理细节。从图2A可以看到实施例一所提出的低光照图像增强模型(Ours)在颜色的保真，噪声抑制或曝光程度上都表现良好。
实施例三：
本发明实施例三基于实施例一描述的低光照图像增强模型实现，图3示出了本发明实施例三提供的低光照图像增强方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S301中，通过初始化模块对输入图像进行初始化分解，得到与输入图像对应的初始化光照层和初始化反射层。
在本发明实施例中，上述的输入图像为待进行图像增强的低光照图像。考虑到对于迭代优化算法(例如ADMM)而言，变量初始化占着重要的角色，因此，可采用常用的全零初始化分解和随机初始化对输入图像进行初始化分解。为了让初始化分解能够为后续的优化提供正确的方向，因此，初始化光照层和初始化反射层应该包含输入图像的重要信息，假设反射层是RGB三通道图像，三通道共享同一个光照层，则可直接将输入图像的三通道最大值赋值给光照层作为初始化光照层，根据Retinex理论，物体的颜色由其表面的反射率和落在表面的光照强度所组成，因此有以下的成像表达式：
I＝R·L (1)
其中，I表示输入图像，R表示输入图像的反射层，L表示输入图像的光照层，因此，初始化反射层可基于上述Retinex理论得到。
但上述初始化分解方式会放大反射层中三通道值的差距，进而破坏R，G，B的统计特性。从而优选地，初始化模块采用全连接网络实现光照层和反射层的初始化分解，以使初始化光照层和初始化反射层包含更多的信息，同时避免破坏R、G、B的统计特性。进一步优选地，全连接神经网络为包含4个卷积层的全卷积神经网络，以提高低光照图像增强模型的运行效率。
具体地，该初始化模块的输入是低光照图像，输出是该输入图像对应的初始化光照层和初始化反射层，抽象表示为：
其中，R0表示初始化反射层，L0表示初始化光照层，
表示初始化模块，I表示输入图像，θD表示初始化模块的参数。
为了实现初始化分解保留输入图像有效信息的目的，优选地，初始化模块训练时采用的损失函数包括保真项和先验项，以使初始化分解后的初始化光照层和初始化反射层保留输入图像的有效信息。其中，保真项用于衡量由训练样本的初始化光照层和初始化反射层组成的初始化图像，与训练样本的接近程度，以保证初始化分解满足Retinex理论，先验项用于衡量训练样本的初始化光照层与训练样本的R、G、B三通道最大值的接近程度，以使初始化光照层学习更丰富的结构信息。其中，训练样本为低光照图像增强模型训练时的输入图像。
优选地，初始化模块训练时采用的损失函数中的保真项采用L1范数计算，先验项采用L2范数计算，以保证初始化模块的训练效果，使得初始化分解后的光照层和反射层尽可能的保留输入图像有效信息。初始化模块训练时采用的损失函数公式如下：
其中，Linit表示初始化模块的损失，I表示训练样本(模型训练时的输入图像)，R0表示训练样本的初始化反射层，L0表示训练样本的初始化光照层，μ为常数，R、G、B分别表示红、绿、蓝通道。
在步骤S302中，通过优化模块，采用unfolding算法对初始化光照层和初始化反射层进行若干次交替迭代优化，得到优化光照层和优化反射层。
在本发明实施例中，根据Retinex理论，上述成像表达式(1)的分解问题是一个病态问题，因此在求解该问题时需要建立先验模型约束R和L，表示为：
其中，Φ(R)和Ψ(L)分别表示反射层R和光照层L的先验假设。为了求解该问题，引入两个新的变量，即第一中间变量P和第二中间变量Q，公式(4)则可改写为：
至此，可以合理的将公式(3)划分为保真项和先验项独立求解，得到以下表达式：
其中，Pk和Qk表示在第k次迭代的保真项求解结果，Rk和Lk表示在第k次迭代的先验项求解结果。k＝1时，Pk和Qk表示初始化反射层和初始化反射层光照层。
考虑到初始化反射层往往饱含噪声，严重影响重要细节的展现。初始化光照层则不仅完整保留了结构信息，多余的纹理细节也有很大程度的残留。因此，本实施例中优化模块的目的在于修复初始化反射层，在去除噪声的同时能够完整保留有效的细节。满意的光照层应该是结构完整且纹理细节平滑，为了实现以上目的，可基于深度神经网络的框架，采用unfolding算法交替迭代优化上述公式(6)-(9)中的保真项和先验项。基于时间和性能的综合考虑，优选地，优化模块进行交替迭代优化的次数为3，以根据实际实验效果确定交替迭代优化的次数。
优选地，优化模块包括变量计算子网络、反射层修复网络和光照层修复网络，在进行当次交替迭代优化时，变量计算子网络用于计算当次迭代优化后的第一中间变量和第二中间变量，反射层修复网络用于基于当次迭代优化后的第一中间变量和第二中间变量，得到当次迭代优化后的优化反射层，光照层修复网络用于基于当次迭代优化后的第二中间变量，得到当次迭代优化后的优化光照层，以替代传统的基于Retinex优化算法的手工先验求解，使得优化模块从数据中学习更加鲁棒的先验信息。其中，反射层修复网络和光照层修复网络均基于神经网络构建。优选地，变量计算子网络用于采用最小二乘法计算当次迭代优化后的第一中间变量和第二中间变量，以实现中间变量的计算。具体实施中，在进行第k次迭代优化时，可首先根据前一次(k-1)迭代优化得到的Qk-1、Rk-1求解上述公式(6)得到当次迭代优化的第一中间变量Pk，然后固定当次迭代优化的第一中间变量Pk和前一次迭代优化的优化光照层Lk-1求解上述公式(7)得到当次迭代优化的第二中间变量Qk，上述公式(6)-(7)是可理解为一个经典的最小二乘问题，因此可以通过求导得到以下闭环解：
其中，k≥1，且k为正整数，λ为常数。
在得到Pk和Qk之后，学习上述先验项Rk和Lk。
根据实验发现，反射层上的噪声和光照层上的亮度分布有高度相关性，亮度越高噪声越少，反之越多。优选地，反射层修复网络用于对计算出的第一中间变量的特征图和第二中间变量进行卷积运算，得到第一中间特征图和第二中间特征图，对第一中间特征图和第二中间特征图进行融合处理，得到融合特征图，之后，基于融合特征图的噪声分布和第一中间特征图，得到当次迭代后的优化反射层，从而通过联合光照层的信息修复反射层，实现了反射层的去噪，提高了优化反射层的学习效果。
进一步优选地，反射层修复网络用于对当次迭代优化后的第一中间变量和第二中间变量进行卷积运算，得到第一中间特征图和第二中间特征图，对第一特征图和第二中间特征图进行级联操作，得到拼接特征图，采用通道自注意力机制对拼接特征图进行通道注意力计算，得到重加权特征图，获取重加权特征图的噪声分布，基于噪声分布和第一中间特征图得到当次迭代优化后的优化反射层，这样，既能够更好的融合信息，又不会造成太大的计算消耗，保证了低光照图像增强模型的效率。
公式(8)中第k次交替迭代优化时优化反射层Rk抽象表示为：
其中，θR表示反射层修复网络
的参数，Pk表示第k次交替迭代优化的第一中间变量，Qk表示第k次交替迭代优化的第二中间变量。
公式(9)中第k次交替迭代优化时优化光照层Lk抽象表示为：：
其中，θL表示光照层修复网络
的参数。
在步骤S303中，通过光照调整模块对优化光照层进行光照调整，得到目标光照层。
在本发明实施例中，在Retinex理论中，反射层是物体的固有属性，不随光照条件所变化。基于该理论下，低光照成像是由于光照层强度较低所导致的，因此，在得到优化光照层和优化反射层之后，可固定优化反射层不变，调整优化光照层。
光照调整模块可采用伽马校正(gamma correction)技术对光照层进行光照调整，虽然该伽马校正技术能够通过调整参数的方式达到不同程度的亮度增强效果，但是很难通过调整尺度确定调整尺度因子。优选地，光照调整模块用于根据预设的调整尺度因子对优化光照层进行光照调整，该调整尺度因子由用户指定，以根据用户指定的亮度调整尺度生成目标光照层。具体实施中，该光照调整模块的输入是优化光照层和用户指定的调整尺度因子，输出是目标调整尺度下的高光光照层，即目标光照层。
优选地，光照调整模块包括依次连接的调整因子扩张子模块、拼接子模块和亮度调整网络，其中，调整因子扩张子模块用于将预设的调整尺度因子扩张为与优化光照层相同大小的矩阵，拼接子模块用于将矩阵与优化光照层进行拼接，得到拼接结果，亮度调整网络用于基于拼接结果对优化光照层进行亮度调整，得到目标光照层，以实现光照强度的调整。具体实施中，先将调整尺度因子扩张成于光照层一样大小的矩阵，再和优化后的光照层拼接在一起作为亮度调整后鞥网络的输入，具体可表示为：
其中，ω表示调整尺度因子，θA表示亮度调整网络
的参数，L表示优化光照层。
优选地，亮度调整网络与初始化模块的网络结构相同，即该亮度调整网络可以为包含4个卷积层的全卷积神经网络，且亮度调整网络的卷积层的卷积核的尺寸大于初始化模块的卷积层的卷积核，以保留一致性和限制光照层的平滑性。
为了更好地训练该亮度调整网络，考虑到该亮度调整网络输出的高亮度光照层在结构上应该和输入的低亮度光照层一致，优选地，亮度调整网络训练时采用的损失函数包括梯度层面保真项，以保证亮度调整网络的训练效果。其中，梯度层面保真项用于衡量训练样本的优化光照层与目标光照层之间的水平或垂直梯度距离。
为了基于目标光照层重建正常光照的图像，优选地，亮度调整网络训练时采用的损失函数包括颜色层面保真项，以进一步提高亮度调整网络的训练效果。其中，颜色层面保真项用于衡量训练样本的目标光照图像与参考图像的重建损失，以使重建图像为正常光照的图像，即参考图像。
为了使重建图像在结构、亮度和对比度上与参考图像一致，优选地，亮度调整网络训练时采用的损失函数包括颜色层面保真项以及结构层面保真项中的一种或多种组合，以进一步提高亮度调整网络的训练效果。其中，结构层面保真项用于衡量训练样本的目标光照图像与参考图像的距离，以使重建的图像在结构，亮度和对比度和参考图像一致。
优选地，光照调整模块训练时采用的损失函数包括梯度层面保真项、颜色层面保真项以及结构层面保真项，以通过三个方面的约束进一步提高亮度调整网络的训练效果。
进一步优选地，梯度层面保真项采用L1范数计算，颜色层面保真项用L2范数计算，结构层面保真项采用SSIM(图像质量)损失计算，该亮度调整网络训练时采用的损失函数表示为：
其中，Ladjust表示亮度调整网络的损失，
表示训练样本的优化光照层的在水平或垂直方向的梯度，
表示训练样本的目标光照层在水平或垂直方向的梯度，Iref表示参考图像，R表示训练样本的优化反射层，
表示训练样本的目标光照层，SSIM表示图像质量损失函数。
在步骤S304中，通过图像重建模块，根据目标光照层和优化反射层进行图像重建，得到目标光照图像。
在本发明实施例中，图像重建模块将目标光照层和优化反射层相乘，以进行图像重建，得到目标光照图像。
在本发明实施例中，对输入图像进行初始化分解，得到与输入图像对应的初始化光照层和初始化反射层，采用unfolding算法对初始化光照层和初始化反射层进行若干次交替迭代优化，得到优化光照层和优化反射层，对优化光照层进行光照调整，得到目标光照层，根据目标光照层和优化反射层进行图像重建，得到目标光照图像，从而在保证低照度图像增强模型的灵活性和解释性的同时，提高了低照度图像增强模型的鲁棒性，并使得低照度图像增强模型在抑制噪声的同时保留了细节信息。
实施例四：
图4示出了本发明实施例四提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的电子设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述各方法实施例中的步骤，例如，图3所示的步骤S301至S304。或者，处理器40执行计算机程序42时实现上述低光照图像增强模型实施例中各模块的功能，例如，图1A所示模块11至14的功能。
实施例五：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图3所示的步骤S301至S304。或者，该计算机程序被处理器执行时实现上述低光照图像增强模型实施例中各模块的功能，例如，图1A所示模块11至14的功能。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种低光照图像增强模型，其特征在于，所述低光照图像增强模型包括依次连接的初始化模块、优化模块、光照调整模块和图像重建模块，其中，
所述初始化模块，用于对输入图像进行初始化分解，得到与所述输入图像对应的初始化光照层和初始化反射层；
所述优化模块，用于采用unfolding算法对所述初始化光照层和所述初始化反射层进行若干次交替迭代优化，得到优化光照层和优化反射层；
所述光照调整模块，用于对所述优化光照层进行光照调整，得到目标光照层；
所述图像重建模块，用于根据所述目标光照层和所述优化反射层进行图像重建，得到目标光照图像。
2.如权利要求1所述的低光照图像增强模型，其特征在于，所述初始化模块为全连接神经网络，所述全连接神经网络为包含4个卷积层的全卷积神经网络。
3.如权利要求1所述的低光照图像增强模型，其特征在于，所述初始化模块训练时采用的损失函数包括保真项和先验项，其中，所述保真项用于衡量由训练样本的初始化光照层和初始化反射层组成的初始化图像，与所述训练样本的接近程度，所述先验项用于衡量所述训练样本的初始化光照层与所述训练样本的R、G、B三通道最大值的接近程度；
所述初始化模块训练时采用的损失函数为：
其中，Linit表示所述初始化模块的损失，I表示所述训练样本，R0表示所述训练样本的初始化反射层，L0表示所述训练样本的初始化光照层，μ为常数，R、G、B分别表示红、绿、蓝通道。
4.如权利要求1所述的低光照图像增强模型，其特征在于，所述优化模块包括变量计算子网络、反射层修复网络和光照层修复网络，在进行当次交替迭代优化时，所述变量计算子网络用于计算当次迭代优化后的第一中间变量和第二中间变量，所述反射层修复网络用于基于所述当次迭代优化后的第一中间变量和第二中间变量，得到当次迭代优化后的优化反射层，所述光照层修复网络用于基于当次迭代优化后的第二中间变量，得到当次迭代优化后的优化光照层。
5.如权利要求4所述的低光照图像增强模型，其特征在于，所述变量计算子网络用于采用最小二乘法计算所述当次迭代优化后的第一中间变量和第二中间变量；
所述反射层修复网络用于对所述当次迭代优化后的第一中间变量和第二中间变量进行卷积运算，得到第一中间特征图和第二中间特征图，对所述第一特征图和所述第二中间特征图进行级联操作，得到拼接特征图，采用通道自注意力机制对所述拼接特征图进行通道注意力计算，得到重加权特征图，获取所述重加权特征图的噪声分布，基于所述噪声分布和所述第一中间特征图得到当次迭代优化后的优化反射层。
6.如权利要求1所述的低光照图像增强模型，其特征在于，所述光照调整模块包括依次连接的调整因子扩张子模块、拼接子模块和亮度调整网络，其中，
所述调整因子扩张子模块，用于将预设的调整尺度因子扩张为与所述优化光照层相同大小的矩阵；
所述拼接子模块，用于将所述矩阵与所述优化光照层进行拼接，得到拼接结果；
所述亮度调整网络，用于基于所述拼接结果对所述优化光照层进行亮度调整，得到所述目标光照层，其中，所述亮度调整网络与所述初始化模块的网络结构相同，且所述亮度调整网络的卷积层的卷积核的尺寸大于所述初始化模块的卷积层的卷积核。
7.如权利要求6所述的低光照图像增强模型，其特征在于，所述亮度调整网络训练时采用的损失函数包括梯度层面保真项、颜色层面保真项以及结构层面保真项中的一种或多种组合，其中，所述梯度层面保真项用于衡量训练样本的优化光照层与目标光照层之间的水平或垂直梯度距离，所述颜色层面保真项用于衡量所述训练样本的目标光照图像与参考图像的重建损失，所述结构层面保真项用于衡量所述训练样本的目标光照图像与所述参考图像的距离；
所述亮度调整网络训练时采用的损失函数为：
其中，Ladjust表示所述亮度调整网络的损失，
表示所述训练样本的优化光照层的在水平或垂直方向的梯度，
表示所述训练样本的目标光照层在水平或垂直方向的梯度，Iref表示所述参考图像，R表示所述训练样本的优化反射层，
表示所述训练样本的目标光照层，SSIM表示图像质量损失函数。
8.一种基于权利要求1-7任意一项所述低光照图像增强模型的低光照图像增强方法，其特征在于，所述方法包括下述步骤：
通过所述初始化模块对输入图像进行初始化分解，得到与所述输入图像对应的初始化光照层和初始化反射层；
通过所述优化模块，采用unfolding算法对所述初始化光照层和所述初始化反射层进行若干次交替迭代优化，得到优化光照层和优化反射层；
通过所述光照调整模块对所述优化光照层进行光照调整，得到目标光照层；
通过所述图像重建模块，根据所述目标光照层和所述优化反射层进行图像重建，得到目标光照图像。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述低光照图像增强模型的功能。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述低光照图像增强模型的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210135560.2A CN114638749A (zh) | 2022-02-14 | 2022-02-14 | 低光照图像增强模型、方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210135560.2A CN114638749A (zh) | 2022-02-14 | 2022-02-14 | 低光照图像增强模型、方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114638749A true CN114638749A (zh) | 2022-06-17 |
Family
ID=81945688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210135560.2A Pending CN114638749A (zh) | 2022-02-14 | 2022-02-14 | 低光照图像增强模型、方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114638749A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310276A (zh) * | 2023-05-24 | 2023-06-23 | 泉州装备制造研究所 | 目标检测方法、装置、电子设备及存储介质 |
| CN116797490A (zh) * | 2023-07-12 | 2023-09-22 | 青岛理工大学 | 一种轻量级浑浊水体图像增强方法 |
-
2022
- 2022-02-14 CN CN202210135560.2A patent/CN114638749A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116310276A (zh) * | 2023-05-24 | 2023-06-23 | 泉州装备制造研究所 | 目标检测方法、装置、电子设备及存储介质 |
| CN116310276B (zh) * | 2023-05-24 | 2023-08-08 | 泉州装备制造研究所 | 目标检测方法、装置、电子设备及存储介质 |
| CN116797490A (zh) * | 2023-07-12 | 2023-09-22 | 青岛理工大学 | 一种轻量级浑浊水体图像增强方法 |
| CN116797490B (zh) * | 2023-07-12 | 2024-02-09 | 青岛理工大学 | 一种轻量级浑浊水体图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Underwater scene prior inspired deep underwater image and video enhancement | |
| US11055828B2 (en) | Video inpainting with deep internal learning | |
| Li et al. | Low-light image and video enhancement using deep learning: A survey | |
| Zhang et al. | Image restoration: From sparse and low-rank priors to deep priors [lecture notes] | |
| Chen et al. | Hdrunet: Single image hdr reconstruction with denoising and dequantization | |
| Khashabi et al. | Joint demosaicing and denoising via learned nonparametric random fields | |
| Yuan et al. | Image quality assessment: A sparse learning way | |
| CN114638749A (zh) | 低光照图像增强模型、方法、电子设备及存储介质 | |
| JP2003018398A (ja) | ピクセル画像から超解像度画像を生成する方法 | |
| CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
| CN113822830A (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| Lyu et al. | An efficient learning-based method for underwater image enhancement | |
| CN111178499A (zh) | 一种基于生成对抗网络改进的医学图像超分辨率方法 | |
| CN115829876A (zh) | 一种基于交叉注意力机制的真实退化图像盲修复方法 | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN115950837A (zh) | 基于即插即用先验的快照式光谱成像方法、***及介质 | |
| Cui et al. | TPET: two-stage perceptual enhancement transformer network for low-light image enhancement | |
| Mai et al. | Deep unrolled low-rank tensor completion for high dynamic range imaging | |
| CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
| CN109741258A (zh) | 基于重建的图像超分辨率方法 | |
| CN113706400A (zh) | 图像矫正方法、装置、显微镜图像的矫正方法及电子设备 | |
| Luo et al. | A fast denoising fusion network using internal and external priors | |
| Siddiqui et al. | Hierarchical color correction for camera cell phone images | |
| Ding et al. | Learning-based underwater image enhancement: An efficient two-stream approach | |
| Barua et al. | ArtHDR-Net: Perceptually Realistic and Accurate HDR Content Creation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |