CN116645296A - 一种零参考样本下的非均匀低光照图像增强方法及*** - Google Patents
一种零参考样本下的非均匀低光照图像增强方法及*** Download PDFInfo
- Publication number
- CN116645296A CN116645296A CN202310732969.7A CN202310732969A CN116645296A CN 116645296 A CN116645296 A CN 116645296A CN 202310732969 A CN202310732969 A CN 202310732969A CN 116645296 A CN116645296 A CN 116645296A
- Authority
- CN
- China
- Prior art keywords
- illumination
- image
- map
- enhancement
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000013074 reference sample Substances 0.000 title claims abstract description 19
- 238000005286 illumination Methods 0.000 claims abstract description 150
- 230000006870 function Effects 0.000 claims abstract description 66
- 238000013507 mapping Methods 0.000 claims abstract description 57
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 40
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000003723 Smelting Methods 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种零参考样本下的非均匀低光照图像增强方法及***，通过基于鲁棒的Retinex模型和深度学习建立图像分解网络，根据图像分解网络，将输入图像分解成光照图、反射图和噪声图，构建自适应亮度映射函数，获得与光照图对应的最佳亮度映射曲线，利用与光照图对应的最佳亮度映射曲线，获得增强后的光照图以及将增强后的光照图与反射图逐像素相乘获得增强图像，解决了现有非均匀低光照图像增强效果差的技术问题，由于无需成对高质量图像以及可以根据不同的光照环境自适应调整图像亮度，本发明能够根据非均匀低光照图像获取自然、对比度及亮度提升的图像，并且泛化性强，能够适应不同的场景。
Description
技术领域
本发明主要涉及图像处理技术领域，特指一种零参考样本下的非均匀低光照图像增强方法及***。
背景技术
图像是信息传递的重要载体，图像的质量直接影响了人的视觉体验和信息传递的精度。然而在实际的生产生活中，由于光照环境、采集设备等因素容易导致获取的图像具有光照低且分布不均、噪点多等特点，影响了视觉体验和基于图像的视觉任务的精度，难以满足实际的应用需求。研究非均匀、低光照图像增强，在夜间监控、工业检测、自动驾驶等领域具有重要的应用价值。
现有非均匀低光图像增强方法主要包括：传统方法和深度学习方法。传统方法包括灰度映射法、模型法、融合法，而深度学习方法根据是否需要对应的良好环境下的图像分为监督学习和无监督学习。灰度映射法包括直方图均衡化、gamma校正等，通过对图像中不同亮度的像素进行非线性拉伸，以提高图像的整体亮度。这类方法操作简单，但由于没有考虑成像的物理模型，容易导致噪声放大和图像失真等问题。模型法包括大气散射模型、Retinex模型，分别利用了大气光传输模型、人眼对图像的颜色和亮度的感知特性，可以提供较好的增强效果，但是需要手动设置模型参数，算法复杂度较高，优化过程耗时。融合法是一种融合多张不同曝光度的图像的增强方法，由于具备了多张不同曝光的图像来源，能够具备较好的增强效果，但是需要进行图像预处理，增强效果一定程度上依赖用于融合的不同图像的质量。深度学习方法通过神经网络学习低光图像和正常光图像的映射关系，或者通过对低光图像自学习以获取增强的图像，这类方法利用了神经网络强大的学习和适应能力，无需手动调整参数，但是可解释性差，易导致无法控制的噪声和失真的问题。
公告号为CN111798400B的发明专利，公开了一种基于生成对抗网络的无参考低光照图像增强方法及***。该方法的数据集是不成对的低光照和正常光照的图像块，并交替训练用于低光增强的生成器网络和对抗训练的判别器网络，直到达到纳什均衡。这种方法无需成对的图像进行监督训练，但是在训练数据集的构成仍然依赖正常光照图像。
公告号为CN110232661B的发明专利，公开了一种基于Retinex和卷积神经网络的低光照彩色图像增强方法，通过一个分解网络将RGB彩色图像分解成反射图和光照图，基于反射图恢复网络对反射图进行去噪和色彩恢复处理，基于光照调节网络和用户提供的光照调节参数，增强光照图，最后与恢复后的反射图进行点乘，得到增强结果。这种方法能够取得较好的增强效果，但是需要手动输入光照调节参数，不同场景的适应性不高。
发明内容
本发明提供的一种零参考样本下的非均匀低光照图像增强方法及***，解决了现有非均匀低光照图像增强效果差的技术问题。
为解决上述技术问题，本发明提出的一种零参考样本下的非均匀低光照图像增强方法包括：
基于鲁棒的Retinex模型和深度学习建立图像分解网络。
根据图像分解网络，将输入图像分解成光照图、反射图和噪声图。
构建自适应亮度映射函数，获得与光照图对应的最佳亮度映射曲线。
利用与光照图对应的最佳亮度映射曲线，获得增强后的光照图。
将增强后的光照图与反射图逐像素相乘获得增强图像。
进一步地，鲁棒的Retinex模型具体为：
其中，S表示输入图像，R,I,N分别表示鲁棒的Retinex模型下的反射图、光照图和噪声图，表示逐像素相乘。
进一步地，鲁棒的Retinex模型的损失函数的具体公式为：
fdec＝argminLdec＝argmin(Lrec+λ1Lref+λ2Lill+λ3Ln)，
其中，fdec表示鲁棒的Retinex模型的损失函数，Ldec,Lrec,Lref,Lill,Ln分别表示混合无参考分解损失、重建损失、反射估计损失、光照估计损失和噪声估计损失，λ1,λ2,λ3分别为预设的反射估计损失权重、光照估计损失权重和噪声估计损失权重，S表示输入图像，R,I,N分别表示鲁棒的Retinex模型下的反射图、光照图和噪声图，||·||1表示L1范数，||·||F表示F范数，c∈{r,g,b}，表示图像的RGB三通道,H(·)表示直方图均衡化，表示水平和垂直方向的梯度和，β表示自定义的常数。
进一步地，自适应亮度映射函数的具体公式为：
其中，g(·)表示亮度映射曲线，I表示光照图，tanh(I)表示双曲正切函数，取值范围为[-1,1]，ω控制低光增强的权重，k1和k2分别用于调节低光增强和高光压制的幅度。
进一步地，构建自适应亮度映射函数，获得与光照图对应的最佳亮度映射曲线包括：
根据自适应亮度映射函数，建立光照增强网络，光照增强网络包括七个卷积层和一个全连接层，卷积层之间通过ReLU激活函数及最大池化层连接，全连接层输出为最佳的参数ω,k1,k2。
训练光照增强网络，并根据训练好的光照增强网络调整自适应亮度映射函数的参数，从而获得与光照图对应的最佳亮度映射曲线。
进一步地，训练光照增强网络的目标函数的具体公式为：
fenh＝argmin(LE+η1LN+η2LS)，
其中，fdec表示亮度增强网络的目标函数，LE,LN,LS分别表示曝光控制损失、自然度损失和光照平滑度损失，η1,η2分别表示自然度损失函数权重和光照平滑度损失函数权重，sign(·)表示符号函数，在大于0的时候取1，而在小于0的时候取-1，在为0的时候取0，E表示曝光度，Oi和Ii分别表示增强后和原始的光照图中第i个图像块的亮度值，Ω(i)表示以像素i为中心的四邻域空间，Oj,Ij分别表示增强后和原始的光照图的四邻域空间的亮度值，表示增强后的光照图的水平和垂直方向上的梯度和，β表示自定义的常数。
进一步地，将增强后的光照图与反射图逐像素相乘获得增强图像的具体公式为：
其中表示增强图像,/>表示增强后的光照图,R表示鲁棒的Retinex模型下的反射图。
本发明提供的一种零参考样本下的非均匀低光照图像增强***包括：
存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明提供的一种零参考样本下的非均匀低光照图像增强方法的步骤。
本发明目的在于解决因光照环境、拍摄设备限制等因素导致获取的图像光照低且分布不均、噪声多的问题，提出了一种零参考样本下非均匀低光照图像增强方法。为了在增强图像的亮度的同时防止噪声被放大，结合鲁棒的Retinex模型和深度学习，构建了深度Retinex网络，将原始图像分解为反射图、光照图和噪声图。通过对图像包含的噪声分量定量描述，抑制了图像中的噪声。为了解决图像亮度低且分布不均的问题，提出了一个自适应亮度映射曲线，并构建了一个亮度增强网络以根据输入的光照图获取最佳的映射曲线参数，对图像中不同位置不同亮度的像素分配不同的灰度变化率，获取了亮度增强且自然的光照图，将其与无噪声的反射图融合，得到最终的增强结果。由于无需成对的高质量图像且能够根据不同的光照环境自适应调整图像的亮度，本发明能够获得对比度及亮度提升、自然的增强结果。
本发明提出了一种零参考样本下的非均匀低光照图像增强方法及***，通过基于鲁棒的Retinex模型和深度学习建立图像分解网络，根据图像分解网络，将输入图像分解成光照图、反射图和噪声图，构建自适应亮度映射函数，获得与光照图对应的最佳亮度映射曲线，利用与光照图对应的最佳亮度映射曲线，获得增强后的光照图以及将增强后的光照图与反射图逐像素相乘获得增强图像，解决了现有非均匀低光照图像增强效果差的技术问题，由于无需成对高质量图像以及可以根据不同的光照环境自适应调整图像亮度，本发明能够根据非均匀低光照图像获取自然、对比度及亮度提升的图像，并且泛化性强，能够适应不同的场景。
本发明的有益效果具体包括：
(1)结合鲁棒Retinex模型和深度学习建立了图像分解网络，在分解的过程中抑制了噪声。
(2)设计了混合无参考分解损失函数，用于指导分解网络将图像分解成反射图、光照图和噪声图。
(3)构造了一个自适应亮度映射曲线，曲线中的不同参数用于控制低光增强和高光压制的幅度，可以同步实现光照图的低光增强和高光压制。
(4)建立了一个自适应光照增强网络，用于根据不同的光照图获取最佳的自适应亮度映射曲线的参数。
附图说明
图1为本发明实施例二的零参考样本下的非均匀低光照图像增强方法流程图；
图2为本发明实施例二的分解网络结构图；
图3为本发明实施例二的自适应亮度映射曲线；
图4为采用本发明实施例二的图像增强方法的结果示意图，其中(a)和(b)分别为原始的输入图像和增强后的增强结果示意图；
图5为本发明实施例三的料面图像增强结果示意图；
图6为本发明实施例的零参考样本下的非均匀低光照图像增强***的结构框图。
附图标记：
10、存储器；20、处理器。
具体实施方式
为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一
本发明实施例一提供的零参考样本下的非均匀低光照图像增强方法，包括：
步骤S101，基于鲁棒的Retinex模型和深度学习建立图像分解网络。
步骤S102，根据图像分解网络，将输入图像分解成光照图、反射图和噪声图。
步骤S103，构建自适应亮度映射函数，获得与光照图对应的最佳亮度映射曲线。
步骤S104，利用与光照图对应的最佳亮度映射曲线，获得增强后的光照图。
步骤S105，将增强后的光照图与反射图逐像素相乘获得增强图像。
本发明实施例提供的零参考样本下的非均匀低光照图像增强方法，通过基于鲁棒的Retinex模型和深度学习建立图像分解网络，根据图像分解网络，将输入图像分解成光照图、反射图和噪声图，构建自适应亮度映射函数，获得与光照图对应的最佳亮度映射曲线，利用与光照图对应的最佳亮度映射曲线，获得增强后的光照图以及将增强后的光照图与反射图逐像素相乘获得增强图像，解决了现有非均匀低光照图像增强效果差的技术问题，由于无需成对高质量图像以及可以根据不同的光照环境自适应调整图像亮度，本发明实施例能够根据非均匀低光照图像获取自然、对比度及亮度提升的图像，并且泛化性强，能够适应不同的场景。
具体地，本发明为解决因光照环境、采集设备限制等因素导致的非均匀、低光照及噪声问题，提出了一种零参考样本下的非均匀低光照图像增强方法。该方法主要包括两个部分：考虑噪声的图像分解以及自适应光照增强。在图像分解中，基于深度学***滑操作抑制噪声的放大；在光照增强中，提出了一个适用于非均匀低光照增强的自适应亮度映射曲线，其参数通过一个光照增强网络自适应调整，可以同时实现非均匀光照图像的低光增强和高光压制。
实施例二
本发明提供了一种解决由于光照环境、拍摄设备限制等因素导致的非均匀低光照图像增强问题，整体思路如图1所示，包括如下步骤：
(1)基于鲁棒的Retinex模型和深度学习建立了图像分解网络，在分解的过程中抑制噪声。
(2)设计混合无参考分解损失函数，用于指导图像分解网络将输入图像分解成光照图、反射图和噪声图。
(3)考虑到原始图像的亮度分布不均匀，设计了一个自适应亮度映射函数，通过调整函数的参数来控制光照图中不同亮度调整的幅度。
(4)为了根据不同的输入图像获取最佳的亮度映射曲线，建立了一个光照增强网络，根据输入的光照图自适应调整映射曲线的参数。
(5)根据自适应亮度映射曲线得到亮度增强后的光照图，并与反射图逐像素相乘得到最终的增强结果。
具体的实现方案如下：
(1)基于鲁棒的Retinex模型和深度学习建立了图像分解网络，在分解的过程中抑制噪声。
经典的Retinex模型基于颜色恒常性将图像分为反射图和光照图，其中反射图表征图像中的高频信息，是图像的固有属性，与光照条件无关，而光照图表征图像的低频信息，确定了每个像素的亮度的最大动态范围。
其中，分别表示原始的非均匀低光图、反射图和光照图，/>表示逐像素相乘。
尽管经典的Retinex模型在图像增强中取得了较好的效果，但是由于没有考虑图像中的噪声问题，容易导致在增强的过程中同步放大了图像的噪声。考虑到图像去噪可以看成将无噪声污染的图像从原始图像中分离出来的过程，本发明实施例在经典的Retinex模型的基础上增加了噪声分量，得到了鲁棒的Retinex模型。
其中R,I,N分别表示鲁棒Retinex模型下的反射图、光照图和噪声图。
从单幅图像中分解出三个不同的分量是一个典型的不适定问题，现有的分解方法大多采用变分法，该方法能够有效地分解出图像中不同的分量，但是需要根据不同的图像手动调整参数，且增加了算法的复杂度，优化过程耗时较长，而神经网络具有强大的自学习能力和自适应优点，为此，本发明实施例基于鲁棒的Retinex模型和深度学习建立了图像分解网络。分解网络包含8层卷积层，其中第2、3层卷积层通过跳跃连接与第5、6层连接，中间层的激活函数采用了ReLU，以避免梯度消失，加快训练速度。在网络的输出层，用于估计反射图和噪声图的网络的输出通道为3，激活函数分别采用了Sigmoid和Tanh，使得反射图和噪声图分别限制在[0,1]和[-1,1]范围内，用于估计光照图的网络的输出通道为1，激活函数采用了Sigmoid。
(2)设计混合无参考分解损失函数，用于指导图像分解网络将输入图像分解成光照图、反射图和噪声图。
在实际的生产生活中，成对的高质量的图像一般难以获得。为了在无参考的条件下对原始非均匀低光图像进行有效分解，通过重建损失、反射估计损失、光照估计损失和噪声估计损失设计了一个混合无参考分解损失函数。
其中Ldec,Lrec,Lref,Lill,Ln分别表示混合无参考分解损失、重建损失、反射估计损失、光照估计损失和噪声估计损失，λ1,λ2,λ3为提前设定好的常数，分别表示反射估计、光照估计和噪声估计损失的权重。
不同的损失函数具体表示如下：
其中||·||1表示L1范数，||·||1表示F范数。c∈{r,g,b}，表示图像的RGB三通道。H(·)表示直方图均衡化，表示水平和垂直方向的梯度和，β表示常数，取10。
Lrec：重建损失，衡量原始图像与分解的三个分量通过鲁棒Retinex模型逆运算得到的图像之间的差异，目的是为了保证分解的有效性，使得分解后的结果能够复原出原始图像。
Lrec：反射估计损失，目的是得到对比度高且信息丰富、噪声抑制的反射图。式子第一项目的是为了保证获取的反射图包含足够多的信息，第二项考虑图像中的噪声一般梯度较小，而非噪声内容梯度较大，最小化第二项可以抑制反射图中的噪声。
Lill：光照估计损失，式子第一项基于亮通道先验，将光照图看成图像中最大亮度通道。第二项考虑从一个良好的光照图需要保证图像整体是平滑的，并且能够反映图像的结构。通过在项添加与反射图相关的权重，使得光照平滑度在反射图梯度大的地方权重较小，而梯度小的地方权重较大。
Ln：噪声估计损失，目的是抑制噪声的强度。通过求解原图与噪声图的点乘的F范数，可以利用原图的信息和特征，约束噪声的整体强度。
为了将原始图像分解成反射图、光照图和噪声图，以最小化混合无参考损失函数为目标函数。
fdec＝argminL＝argmin(Lrec+λ1Lref+λ2Lill+λ3Ln) (5)
其中fdec表示分解网络的目标函数。
通过优化目标函数，得到去噪后的反射图、光照图和噪声图，如图2所示。
(3)考虑到原始图像的亮度分布不均匀，设计了一个自适应亮度映射函数，通过调整函数的参数来控制光照图中不同亮度调整的幅度。
考虑到人眼对外部亮度的感知是非线性变化的，假设B1为原始输入图像的光照图，B2为曝光良好的图像的光照图，则两幅图像之间的映射关系可以表示为：
B2＝g(B1) (6)
其中g(·)表示亮度映射曲线，如图3所示。
为了实现亮度的自然合理映射，本发明实施例给出了非均匀图像的亮度映射曲线需要满足的三个条件：1)函数是单调递增，输出图像的亮度顺序差与输入图像的亮度顺序差保持一致；2)函数可以增强低光区域的亮度，而抑制高光区域的亮度，且取值范围可以归一化到[0,1]以防止信息溢出；3)函数是可导的，对于低光区域的像素，梯度随着亮度的增加而减少，而对于高光区域的像素，梯度随着亮度的增加而增大。
为了适应图像亮度的非均匀性并满足上述的条件，基于双曲正切函数设计了一个自适应亮度映射曲线：
其中，tanh(I)表示双曲正切函数，取值范围为[-1,1]，ω控制低光增强的权重，k1、k2可以模拟曝光，分别用于调节低光增强和高光压制的幅度。
(4)为了根据不同的输入图像获取最佳的亮度映射曲线，建立了一个光照增强网络，根据输入的光照图自适应调整映射曲线的参数。
为了根据不同的光照图自适应调整亮度映射曲线的参数，构建了一个轻量级的光照增强网络。网络结构简单，包括7个卷积层和一个全连接层，卷积层之间通过ReLU激活函数及最大池化层连接，全连接层输出为最佳的参数ω,k1,k2。结合制定的亮度映射曲线的三个条件，给出网络训练的光照增强损失函数。
Lenc＝LE+η1LN+η2LS (9)
其中，LE,LN,LS分别表示曝光控制损失、自然度损失和结构保持的光照平滑度损失，η1,η2分别表示不同损失函数的权重，在实验中取常数。
为了提高图像的亮度，并将亮度值维持在良好的曝光度附近，将亮度图分成K个4×4不重叠的图像块，并设计了曝光度损失。
其中，sign(·)表示符号函数，在大于0的时候取1，而在小于0的时候取-1，在为0的时候取0。E表示良好的曝光度，可以取[0.5,0.7]。Oi和Ii分别表示增强后和原始的光照图中第i个图像块的亮度值。
为了保持增强后的图像的亮度顺序差与原始图像的亮度顺序差一致性，通过衡量以像素i为中心的四邻域图像块与图像块i的亮度差，给出了自然度损失函数。
其中Ω(i)表示以像素i为中心的四邻域空间，Oj,Ij分别表示增强后和原始光照图的四邻域空间的亮度值。
此外，增强后的亮度图仍然需要满足整体平滑且能够反映图像的结构，为此分解中的光照估计损失第二项保持一致，给出了结构保持的光照平滑度损失。
其中表示增强后的光照图的水平和垂直方向上的梯度和。
通过最小化光照增强损失函数，获得亮度增强网络的目标函数。
fenh＝argmin(LE+η1LN+η2LS) (13)
其中fdec表示亮度增强网络的目标函数。
(5)根据自适应亮度映射曲线得到亮度增强后的光照图，并与反射图逐像素相乘得到最终的增强结果。
在获取去噪后的反射图以及增强后亮度图，根据Retinex模型的逆运算，得到了增强后的结果。
其中表示增强后的图像。图4为采用本实施例的方法对非均匀低光照图像增强的结果示意图。其中图4中的(a)和(b)分别表示原始的输入图像和增强后的增强结果示意图。
实施例三
本实施例以某炼铁厂2650m3高炉为实验平台，从现场采集了高炉冶炼过程的料面图像，利用本发明提出的非均匀低光照图像增强方法，提升了料面图像的亮度和对比度。具体实施步骤如下：
1、建立高炉料面图像的鲁棒Retinex模型，设定图像分解网络的参数，迭代次数等参数；
2、通过最小化混合无参考分解损失函数，得到不同训练迭代次数下的反射图、光照图和噪声图；
3、不断更新反射图、光照图和噪声图，直到达到迭代次数或者损失函数最小；
4、将原始光照图输入到亮度增强网络，设定网络参数，迭代次数等；
5、通过最小化光照增强网络的损失函数，不断优化亮度映射过程，直到达到设定的迭代次数或者损失函数最小，得到最佳的自适应亮度映射曲线参数；
6、将无噪声反射图与增强后的亮度图进行逐像素相乘，得到最终的增强结构。
图5为采用本实施例的方法对非均匀低光照的料面图像进行图像增强的结果示意图。需要说明的是，本发明实施例提供的高炉料面图像增强只是本发明给出了一个工业上的实施案例，而并不是局限在高炉料面上，由于本发明实施例无需成对的高质量图像作为参考，并且可以根据不同的光照环境自适应调整图像亮度，因此能够提升不同的光照环境和应用场景的对比度和亮度，泛化性好。
参照图6，本发明实施例提出的零参考样本下的非均匀低光照图像增强***，包括存储器10、处理器20以及存储在存储器10上并可在处理器20上运行的计算机程序，其中，处理器20执行计算机程序时实现本实施例提出的零参考样本下的非均匀低光照图像增强方法的步骤。
本实施例的零参考样本下的非均匀低光照图像增强***的具体工作过程和工作原理可参照本实施例的零参考样本下的非均匀低光照图像增强方法的工作过程和工作原理。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种零参考样本下的非均匀低光照图像增强方法，其特征在于，所述方法包括：
基于鲁棒的Retinex模型和深度学习建立图像分解网络；
根据所述图像分解网络，将输入图像分解成光照图、反射图和噪声图；
构建自适应亮度映射函数，获得与光照图对应的最佳亮度映射曲线；
利用与光照图对应的最佳亮度映射曲线，获得增强后的光照图；
将增强后的光照图与反射图逐像素相乘获得增强图像。
2.根据权利要求1所述的零参考样本下的非均匀低光照图像增强方法，其特征在于，所述鲁棒的Retinex模型具体为：
其中，S表示输入图像，R,I,N分别表示鲁棒的Retinex模型下的反射图、光照图和噪声图，表示逐像素相乘。
3.根据权利要求2所述的零参考样本下的非均匀低光照图像增强方法，其特征在于，所述鲁棒的Retinex模型的损失函数的具体公式为：
fdec＝arg minLdec＝arg min(Lrec+λ1Lref+λ2Lill+λ3Ln)，
其中，fdec表示鲁棒的Retinex模型的损失函数，Ldec,Lrec,Lref,Lill,Ln分别表示混合无参考分解损失、重建损失、反射估计损失、光照估计损失和噪声估计损失，λ1,λ2,λ3分别为预设的反射估计损失权重、光照估计损失权重和噪声估计损失权重，S表示输入图像，R,I,N分别表示鲁棒的Retinex模型下的反射图、光照图和噪声图，||·||1表示L1范数，||·||F表示F范数,c∈{r,g,b}，表示图像的RGB三通道，H(·)表示直方图均衡化，表示水平和垂直方向的梯度和，β表示自定义的常数。
4.根据权利要求1-3任一所述的零参考样本下的非均匀低光照图像增强方法，其特征在于，所述自适应亮度映射函数的具体公式为：
其中，g(·)表示亮度映射曲线，I表示光照图，tanh(I)表示双曲正切函数，取值范围为[-1,1]，ω控制低光增强的权重，k1和k2分别用于调节低光增强和高光压制的幅度。
5.根据权利要求4所述的零参考样本下的非均匀低光照图像增强方法，其特征在于，构建自适应亮度映射函数，获得与光照图对应的最佳亮度映射曲线包括：
根据自适应亮度映射函数，建立光照增强网络，所述光照增强网络包括七个卷积层和一个全连接层，卷积层之间通过ReLU激活函数及最大池化层连接，全连接层输出为最佳的参数ω,k1,k2；
训练所述光照增强网络，并根据训练好的光照增强网络调整自适应亮度映射函数的参数，从而获得与光照图对应的最佳亮度映射曲线。
6.根据权利要求5所述的零参考样本下的非均匀低光照图像增强方法，其特征在于，训练所述光照增强网络的目标函数的具体公式为：
fenh＝arg min(LE+η1LN+η2LS)，
其中，fdec表示亮度增强网络的目标函数，LE,LN,LS分别表示曝光控制损失、自然度损失和光照平滑度损失，η1,η2分别表示自然度损失函数权重和光照平滑度损失函数权重，sign(·)表示符号函数，在大于0的时候取1，而在小于0的时候取-1，在为0的时候取0，E表示曝光度，Oi和Ii分别表示增强后和原始的光照图中第i个图像块的亮度值，Ω(i)表示以像素i为中心的四邻域空间，Oj,Ij分别表示增强后和原始的光照图的四邻域空间的亮度值，表示增强后的光照图的水平和垂直方向上的梯度和，β表示自定义的常数。
7.根据权利要求6所述的零参考样本下的非均匀低光照图像增强方法，其特征在于，将增强后的光照图与反射图逐像素相乘获得增强图像的具体公式为：
其中表示增强图像,/>表示增强后的光照图,R表示鲁棒的Retinex模型下的反射图。
8.一种零参考样本下的非均匀低光照图像增强***，所述***包括：
存储器(10)、处理器(20)以及存储在存储器(10)上并可在处理器(20)上运行的计算机程序，其特征在于，所述处理器(20)执行所述计算机程序时实现上述权利要求1至7任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732969.7A CN116645296A (zh) | 2023-06-20 | 2023-06-20 | 一种零参考样本下的非均匀低光照图像增强方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310732969.7A CN116645296A (zh) | 2023-06-20 | 2023-06-20 | 一种零参考样本下的非均匀低光照图像增强方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116645296A true CN116645296A (zh) | 2023-08-25 |
Family
ID=87640054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310732969.7A Pending CN116645296A (zh) | 2023-06-20 | 2023-06-20 | 一种零参考样本下的非均匀低光照图像增强方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116645296A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541489A (zh) * | 2023-10-18 | 2024-02-09 | 南京航空航天大学 | 一种物理驱动的用于低光图像增强的对比学习方法 |
| CN117893455A (zh) * | 2024-03-11 | 2024-04-16 | 杭州海康威视数字技术股份有限公司 | 图像亮度和对比度调整方法 |
-
2023
- 2023-06-20 CN CN202310732969.7A patent/CN116645296A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541489A (zh) * | 2023-10-18 | 2024-02-09 | 南京航空航天大学 | 一种物理驱动的用于低光图像增强的对比学习方法 |
| CN117893455A (zh) * | 2024-03-11 | 2024-04-16 | 杭州海康威视数字技术股份有限公司 | 图像亮度和对比度调整方法 |
| CN117893455B (zh) * | 2024-03-11 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 图像亮度和对比度调整方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197463B (zh) | 基于深度学习的高动态范围图像色调映射方法及其*** | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN109343692B (zh) | 基于图像分割的移动设备显示器省电方法 | |
| WO2023236565A1 (zh) | 一种基于强化学习和美学评估的低光图像增强方法 | |
| JP7353803B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN110009574B (zh) | 一种低动态范围图像逆向生成高动态范围图像的方法 | |
| CN116645296A (zh) | 一种零参考样本下的非均匀低光照图像增强方法及*** | |
| CN115660964A (zh) | 基于阈值分区加权亮度分量的夜间道路图像增强方法 | |
| CN111563854B (zh) | 用于水下图像增强处理的粒子群优化方法 | |
| Lei et al. | A novel intelligent underwater image enhancement method via color correction and contrast stretching✰ | |
| CN116109509A (zh) | 基于逐像素伽马矫正的实时低光照图像增强方法及*** | |
| CN107169942B (zh) | 一种基于鱼类视网膜机制的水下图像增强方法 | |
| CN114693548B (zh) | 一种基于亮区域检测的暗通道去雾方法 | |
| CN116188339A (zh) | 一种基于Retinex及图像融合的暗视觉图像增强方法 | |
| CN115937019A (zh) | 一种lsd二次分割和深度学习相结合的不均匀去雾方法 | |
| CN115984535A (zh) | 一种用于钻井作业现场的低照度图像判断以及图像增强方法 | |
| CN112614063B (zh) | 用于楼宇内低照度环境的图像增强和噪声自适应去除方法 | |
| CN116993616A (zh) | 一种单幅低照度场景图像增强方法及增强*** | |
| He et al. | Low-light image enhancement combined with attention map and u-net network | |
| CN112085668A (zh) | 一种基于区域自适应自监督学习的图像色调映射的方法 | |
| JP2021086284A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN112907570B (zh) | 一种轻量级无监督暗光图像增强方法及装置 | |
| US20210374916A1 (en) | Storage medium storing program, image processing apparatus, and training method of machine learning model | |
| CN114331876A (zh) | 水下鱼类图像增强方法、***、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |