CN117333401A - 亮度分布不均匀的图像光照增强方法、***、介质及设备 - Google Patents

亮度分布不均匀的图像光照增强方法、***、介质及设备 Download PDF

Info

Publication number
CN117333401A
CN117333401A CN202311621045.6A CN202311621045A CN117333401A CN 117333401 A CN117333401 A CN 117333401A CN 202311621045 A CN202311621045 A CN 202311621045A CN 117333401 A CN117333401 A CN 117333401A
Authority
CN
China
Prior art keywords
illumination
image
image data
enhancement
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311621045.6A
Other languages
English (en)
Inventor
胡允霄
张洁
吴王辉
杨志
饶宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Light Cosmos Jinye Wuhan Intelligent Technology Co ltd
Original Assignee
Light Cosmos Jinye Wuhan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Light Cosmos Jinye Wuhan Intelligent Technology Co ltd filed Critical Light Cosmos Jinye Wuhan Intelligent Technology Co ltd
Priority to CN202311621045.6A priority Critical patent/CN117333401A/zh
Publication of CN117333401A publication Critical patent/CN117333401A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种亮度分布不均匀的图像光照增强方法、***、介质及设备，其方法包括以下步骤：根据低光照图像数据对生成器网络进行迭代训练，在每一次迭代训练中区分低光照图像数据中的曝光过度区域及曝光不足区域、以进行图像光照增强；利用鉴别器网络对生成器网络每一次迭代训练生成的光照增强图像数据与正常光照图像数据进行比对；根据每一次比对结果迭代优化生成器网络，直至比对结果符合条件时获取此时对应的最终生成器网络，并利用最终生成器网络对待测低光照场景图像进行光照增强。本发明通过区分低光照图像中的曝光过度区域及曝光不足区域进行图像光照增强，能够准确提高图像增强效果，使图像在色彩、光照上更加自然。

Description

亮度分布不均匀的图像光照增强方法、***、介质及设备
技术领域
本发明涉及声纳图像识别技术领域，特别涉及一种亮度分布不均匀的图像光照增强方法、***、介质及设备。
背景技术
由于光照原因，摄像头或者手机等拍摄可能会曝光不足或曝光过度。由于存在复杂的照明条件，图像中可能同时存在过度曝光和曝光不足的区域。在这种情况下，局部图像内容掩埋在曝光过度和曝光不足的区域。例如，夜间路面或小区中路灯、广告牌、车灯等等发光体随处可见。由于不均匀光照的存在，图像中不同区域的亮度可能会相差很大，这使得对图像进行整体的光照增强变得更加困难。虽然摄影专家可能会利用高端DSLR相机并仔细调整它们（例如，光圈、ISO和特殊滤镜）来缓解这个问题，但这需要摄影专业知识和昂贵的设备。
目前已经提出了许多方法来提高在光照条件较差的情况下捕获的图像的质量。一系列方法侧重于通过基于Retinex的方法、双边学习、生成对抗学习、深度参数过滤和自监督或半监督学习。大多数这类现有的夜间光照增强的方法主要关注于在增强弱光区域，这将不可避免地导致将这些方法应用于包含不均匀光照的夜间图像时，明亮区域的过度增强和饱和。由于曝光区域的再次放大，这将进一步削弱图像的可见度，带来光影增强等问题从而导致图像质量下降，因此无法正确的将低光区域进行合理的增强。综上所述，所有这些方法通常都假设场景照明是均匀的，因此当处理不均匀光照图像时会导致图像局部曝光过度或曝光不足的现象。
发明内容
本发明提供一种亮度分布不均匀的图像光照增强方法、***、介质及设备，通过区分低光照图像中的曝光过度区域及曝光不足区域进行图像光照增强，能够准确提高图像增强效果，在增强暗光区域的同时削弱光照的影响，使图像在色彩、光照上更加自然。
第一方面，提供一种亮度分布不均匀的图像光照增强方法，其特征在于，包括以下步骤：
获取低光照图像数据及正常光照图像数据；
根据所述低光照图像数据对生成器网络进行迭代训练，在每一次迭代训练中区分低光照图像数据中的曝光过度区域及曝光不足区域、以进行图像光照增强，生成光照增强图像数据；
利用鉴别器网络对生成器网络每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据进行比对；
根据每一次比对结果迭代优化生成器网络，直至比对结果符合条件时获取此时对应的最终生成器网络，并利用所述最终生成器网络对待测低光照场景图像进行光照增强。
根据第一方面，在第一方面的第一种可能的实现方式中，所述在每一次迭代训练中区分低光照图像数据中的曝光过度区域及曝光不足区域、以进行图像光照增强，生成光照增强图像数据步骤，具体包括以下步骤：
所述生成器网络包括U-Net生成器与颜色分布金字塔网络；
对于所述低光照图像数据中的其中一张训练图像，将其中一张训练图像进行归一化处理；
利用U-Net生成器中的编码器对归一化处理后的其中一张训练图像进行特征提取，并对特征提取后的图像通过下采样进行图像尺寸逐级递减，得到多尺度特征图；
利用颜色分布金字塔网络根据未进行归一化处理的其中一张训练图像生成多尺度颜色分布图、以区分图像中的曝光过度区域及曝光不足区域；
利用U-Net生成器中的解码器分别在所述多尺度特征图与所述多尺度颜色分布图中选取相同尺寸的特征图进行图像融合。
根据第一方面，在第一方面的第二种可能的实现方式中，所述颜色分布金字塔网络的计算公式如下：
；
式中，i、j、c分别为图像的水平、垂直和通道索引；b是颜色直方图bin的索引；为返回像素/>所属的K×K尺寸块中像素的索引。
根据第一方面，在第一方面的第三种可能的实现方式中，所述利用鉴别器网络对生成器网络每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据进行比对步骤，具体包括以下步骤：
所述鉴别器网络包括全局判别器及局部判别器；
利用所述全局判别器评估每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据之间的相似度；
利用所述局部判别器评估每一次迭代训练生成的所述光照增强图像数据相对于所述正常光照图像数据的质量改善度。
根据第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述全局判别器的计算公式如下：
；
式中，D(x,y)为正常光照图像y被全局判别器判别为真实的概率；D(x,G(x, z))为光照增强图像G(x, z)被判别为真实的概率；为对正常光照图像进行全局判别器输出的期望值；/>为对光照增强图像进行全局判别器输出的期望值。
根据第一方面，在第一方面的第五种可能的实现方式中，所述局部判别器的计算公式如下：
；
式中，C为判别器网络；表示sigmoid激活函数；/>为正常光照图像的分布；/>为光照增强图像的分布；/>为计算正常光照图像相对于光照增强图像的局部判别器损失；/>为计算光照增强图像相对于正常光照图像的局部判别器损失。
第二方面，提供了一种亮度分布不均匀的图像光照增强***，包括：
图像获取模块，用于获取低光照图像数据及正常光照图像数据；
迭代训练模块，与所述图像获取模块通信连接，用于根据所述低光照图像数据对生成器网络进行迭代训练，在每一次迭代训练中区分低光照图像数据中的曝光过度区域及曝光不足区域、以进行图像光照增强，生成光照增强图像数据；
比对模块，与所述图像获取模块及所述迭代训练模块通信连接，用于利用鉴别器网络对生成器网络每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据进行比对；以及，
最终增强模块，与所述比对模块通信连接，用于根据每一次比对结果迭代优化生成器网络，直至比对结果符合条件时获取此时对应的最终生成器网络，并利用所述最终生成器网络对待测低光照场景图像进行光照增强。
与现有技术相比，本发明的优点如下：利用生成器网络区分低光照图像数据中的曝光过度区域及曝光不足区域，并进行图像光照增强，再利用鉴别器网络对光照增强图像数据与正常光照图像进行比对，再根据每一次比对结果迭代优化生成器网络，直至比对结果符合条件时获取此时对应的最终生成器网络，最后利用所述最终生成器网络对待测低光照场景图像进行光照增强。因此本发明通过区分低光照图像中的曝光过度区域及曝光不足区域进行图像光照增强，能够准确提高图像增强效果，在增强暗光区域的同时削弱光照的影响，使图像在色彩、光照上更加自然。
附图说明
图1是本发明一种亮度分布不均匀的图像光照增强方法的一实施例的流程示意图；
图2是本发明的U-Net生成器与颜色分布金字塔网络对低光照图像进行图像光照增强的网络结构示意图；
图3是选用多种不同方法对同一场景进行图像光照增强处理得到对应增强成果的示意图；
图4是本发明一种亮度分布不均匀的图像光照增强***的结构示意图。
具体实施方式
现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
注意：接下来要介绍的示例仅是一个具体的例子，而不作为限制本发明的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。
参见图1，本发明实施例提供一种亮度分布不均匀的图像光照增强方法，包括以下步骤：
S100，获取低光照图像数据及正常光照图像数据；
图像数据可以直接通过拍照获取。
也可以通过收集现有的数据集，具体为：训练集中包含1200张来自ExDark数据集的低光照图像，1159张来自MIT-Adobe FiveK数据集和41张来自EnlightenGAN数据集的正常光照图像。其中，ExDark数据集是7363张低光图像的集合，从极低光环境到黄昏（即10种不同的条件），根据图像内容标注了12个对象类别，可从不同分类中随机选取了1200张夜间图像，图像同时包含过度曝光和曝光不足的区域。测试集包含32张来自MIT-Adobe FiveK数据集。从MIT-Adobe FiveK中选取了较为典型的32张N1.5的不均匀光照图片，将图片等比缩放至最小边不大于640p。
S200，根据所述低光照图像数据对生成器网络进行迭代训练，在每一次迭代训练中区分低光照图像数据中的曝光过度区域及曝光不足区域、以进行图像光照增强，生成光照增强图像数据；
S300，利用鉴别器网络对生成器网络每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据进行比对；
S400，根据每一次比对结果迭代优化生成器网络，直至比对结果符合条件（比如最终比对结果值小于一定阈值）时获取此时对应的最终生成器网络，并利用所述最终生成器网络对待测低光照场景图像进行光照增强。
具体地，本实施例中，本发明利用生成器网络区分低光照图像数据中的曝光过度区域及曝光不足区域，并进行图像光照增强，再利用鉴别器网络对光照增强图像数据与正常光照图像进行比对，再根据每一次比对结果迭代优化生成器网络，直至比对结果符合条件时获取此时对应的最终生成器网络，最后利用所述最终生成器网络对待测低光照场景图像进行光照增强。因此本发明通过区分低光照图像中的曝光过度区域及曝光不足区域进行图像光照增强，能够准确提高图像增强效果，在增强暗光区域的同时削弱光照的影响，使图像在色彩、光照上更加自然。
也就是说，生成器网络和鉴别器网络进行多轮迭代优化，目标是使生成的光照增强图像能够欺骗鉴别器，使鉴别器难以区分生成的光照增强图像和正常光照图像。在训练的过程中，鉴别器会提供有关生成的光照增强图像和正常光照图像之间的差异信息，生成器则通过最小化这些差异来改进生成图像的质量。
优选地，在本申请另外的实施例中，所述S200，所述在每一次迭代训练中区分低光照图像数据中的曝光过度区域及曝光不足区域、以进行图像光照增强，生成光照增强图像数据步骤，具体包括以下步骤：
所述生成器网络包括U-Net生成器与颜色分布金字塔网络；
S210，对于所述低光照图像数据中的其中一张训练图像，将其中一张训练图像进行归一化处理；
在图像输入到编码器之前，需要通过光照通道对其中一张训练图像进行归一化处理，光照通道I标准化为[0,1]。
S220，利用U-Net生成器中的编码器对归一化处理后的其中一张训练图像进行特征提取，并对特征提取后的图像通过下采样进行图像尺寸逐级递减，得到多尺度特征图；
S230，利用颜色分布金字塔网络根据未进行归一化处理的其中一张训练图像生成多尺度颜色分布图、以区分图像中的曝光过度区域及曝光不足区域；
S240，利用U-Net生成器中的解码器分别在所述多尺度特征图与所述多尺度颜色分布图中选取相同尺寸的特征图进行图像融合。
所述颜色分布金字塔网络的计算公式如下：
；
式中，i、j、c分别为图像的水平、垂直和通道索引；b是颜色直方图bin的索引；为返回像素/>所属的K×K尺寸块中像素的索引。
具体地，本实施例中，同时参见图2所示，首先将其中一张图像经过归一化处理后的图像输入到编码器中经过卷积层进行特征提取，通过下采样逐渐减小特征图的尺寸，在每个下采样步骤之后，会添加一个残差连接，将逐级递减得到的每一层特征图保存下来以供解码器使用。
同时另一张图像（没有经过光照通道的）经过颜色分布金字塔，会将图像分为N个特征，每个小块的特征大小为，而/>就定义为局部区域内的颜色直方图。即构建一个颜色计算直方图的双边格网络/>，通过为K分配不同的值，可获得不同尺度的LCD图（颜色分布图）,因此利用颜色分布金字塔得到了多尺度的区域照明分布。
给定一张尺寸为的输入图像I，其像素范围在/>之间。首先，颜色分布金字塔将输入图像I分为N个特征，特征的大小为/>，那么特征总共有/>个。将局部颜色分布定义为大小为/>的局部区域内的颜色直方图。然后使用映射/>来表示尺度/>的分布。即首先构建一个/>双边网格/>沿范围维度进行直方图计算，然后使用公式/>进行计算得到多尺度颜色分布图。
通过为分配不同的可以获得不同尺度的LCD图。/>是像素级颜色分布，其中/>中的局部直方图向量是一个稀疏的单热向量。当/>增加时，/>的局部表示也相应增加。让/>从取值。/>就是一个多尺度的LCD金字塔，有不同层次的颜色分布图。LCD金字塔包含多尺度的区域照明分布，它可以帮助区分曝光过度和曝光不足的区域。
再利用解码器的（上采样）反卷积逐渐增加特征图的尺寸，即分别在所述多尺度特征图与所述多尺度颜色分布图中选取相同尺寸的特征图，每次上采样操作之前，会从对应编码器层获取之前保存的特征图，通过残差连接与当前层的特征图还有金字塔网络输出的相同尺寸的颜色分布图融合（融合过程中，通过逐元素相加（element-wise addition）来实现。这样可以保留了编码器和解码器之间的位置信息，而区域照明分布可以帮助区分曝光过度和曝光不足的区域），以帮助恢复细节和保持空间信息，解码器的最后一层输出与输入U-Net生成器中的图像相同的尺寸，表示生成的光照增强结果。
优选地，在本申请另外的实施例中，所述S300，所述利用鉴别器网络对生成器网络每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据进行比对步骤，具体包括以下步骤：
所述鉴别器网络包括全局判别器及局部判别器；
利用所述全局判别器评估每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据之间的相似度；
利用所述局部判别器评估每一次迭代训练生成的所述光照增强图像数据相对于所述正常光照图像数据的质量改善度。
优选地，在本申请另外的实施例中，所述全局判别器的计算公式如下：
；
式中，D(x,y)为正常光照图像y被全局判别器判别为真实的概率；D(x,G(x, z))为光照增强图像G(x, z)被判别为真实的概率；为对正常光照图像进行全局判别器输出的期望值；/>为对光照增强图像进行全局判别器输出的期望值。
所述局部判别器的计算公式如下：
；
式中，C为判别器网络；表示sigmoid激活函数；/>为正常光照图像的分布；/>为光照增强图像的分布；/>为计算正常光照图像相对于光照增强图像的局部判别器损失；/>为计算光照增强图像相对于正常光照图像的局部判别器损失。
具体地，本实施例中，全局判别器的作用是评估整个图像的真实度，即判断图像光照增强的图像是否逼真地与正常光照图像相似。它接受输入图像并输出一个标量值，表示输入图像（图像光照增强的图像）被判别为正常光照图像的概率，全局判别器通常是卷积神经网络，通过卷积层、池化层和全连接层等操作来提取图像的整体特征，并进行正常光照图像与图像光照增强的图像之间的区分。
局部判别器的作用是评估图像光照增强的图像的质量相对于正常光照图像的改善程度。局部判别器通常是卷积神经网络，但与全局判别器不同的是，它关注的是正常光照图像与图像光照增强的图像之间的细微差异和改进部分。
为了验证本发明方法与传统算法LIME、无监督的EnlightenGAN、Zero-DCE、SCL_LLE和SCI之间的图像光照增强恢复效果，通过参考图像质量评价指标（峰值信噪（PSNR）、结构相似度（SSIM））来对比各方法的图像恢复能力，图像质量评价指标对比结果如表1所示。
表1
方法种类 PSNR SSIM
LIME 17.51 0.73
EnlightenGAN 18.03 0.80
Zero-DCE 14.20 0.67
SCL-LLE 18.70 0.80
SCI 16.49 0.75
本发明方法 19.67 0.82
本发明方法具有最优的PSNR值和SSIM值，说明本发明方法不仅能够更好地保留图像的细节信息，还能在一定程度上控制住图像不均匀光照带来的影响。
通过选取Input、LIME、EnlightenGAN、Zero-DCE、SCL_LLE、SCI、GT及本发明方法，对同一场景进行图像光照增强恢复，具体的恢复效果参见图3所示。
同时参见图4所示，本发明实施例还提供了一种亮度分布不均匀的图像光照增强***，包括：
图像获取模块，用于获取低光照图像数据及正常光照图像数据；
迭代训练模块，与所述图像获取模块通信连接，用于根据所述低光照图像数据对生成器网络进行迭代训练，在每一次迭代训练中区分低光照图像数据中的曝光过度区域及曝光不足区域、以进行图像光照增强，生成光照增强图像数据；
比对模块，与所述图像获取模块及所述迭代训练模块通信连接，用于利用鉴别器网络对生成器网络每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据进行比对；以及，
最终增强模块，与所述图像获取模块及所述比对模块通信连接，用于根据每一次比对结果迭代优化生成器网络，直至比对结果符合条件时获取此时对应的最终生成器网络，并利用所述最终生成器网络对待测低光照场景图像进行光照增强。
因此，本发明利用生成器网络区分低光照图像数据中的曝光过度区域及曝光不足区域，并进行图像光照增强，再利用鉴别器网络对光照增强图像数据与正常光照图像进行比对，再根据每一次比对结果迭代优化生成器网络，直至比对结果符合条件时获取此时对应的最终生成器网络，最后利用所述最终生成器网络对待测低光照场景图像进行光照增强。因此本发明通过区分低光照图像中的曝光过度区域及曝光不足区域进行图像光照增强，能够准确提高图像增强效果，在增强暗光区域的同时削弱光照的影响，使图像在色彩、光照上更加自然。
具体的，本实施例与上述方法实施例一一对应，各个模块的功能在相应的方法实施例中已经进行详细说明，因此不再一一赘述。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。
本发明实现上述方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
基于同一发明构思，本申请实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。
所称处理器可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序（例如声音播放功能、图像播放功能等）；存储数据区可存储根据手机的使用所创建的数据（例如音频数据、视频数据等）。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（SmartMedia Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（***）、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种亮度分布不均匀的图像光照增强方法，其特征在于，包括以下步骤：
获取低光照图像数据及正常光照图像数据；
根据所述低光照图像数据对生成器网络进行迭代训练，在每一次迭代训练中区分低光照图像数据中的曝光过度区域及曝光不足区域、以进行图像光照增强，生成光照增强图像数据；
利用鉴别器网络对生成器网络每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据进行比对；
根据每一次比对结果迭代优化生成器网络，直至比对结果符合条件时获取此时对应的最终生成器网络，并利用所述最终生成器网络对待测低光照场景图像进行光照增强。
2.如权利要求1所述的亮度分布不均匀的图像光照增强方法，其特征在于，所述在每一次迭代训练中区分低光照图像数据中的曝光过度区域及曝光不足区域、以进行图像光照增强，生成光照增强图像数据步骤，具体包括以下步骤：
所述生成器网络包括U-Net生成器与颜色分布金字塔网络；
对于所述低光照图像数据中的其中一张训练图像，将其中一张训练图像进行归一化处理；
利用U-Net生成器中的编码器对归一化处理后的其中一张训练图像进行特征提取，并对特征提取后的图像通过下采样进行图像尺寸逐级递减，得到多尺度特征图；
利用颜色分布金字塔网络根据未进行归一化处理的其中一张训练图像生成多尺度颜色分布图、以区分图像中的曝光过度区域及曝光不足区域；
利用U-Net生成器中的解码器分别在所述多尺度特征图与所述多尺度颜色分布图中选取相同尺寸的特征图进行图像融合。
3.如权利要求2所述的亮度分布不均匀的图像光照增强方法，其特征在于，所述颜色分布金字塔网络的计算公式如下：
；
式中，i、j、c分别为图像的水平、垂直和通道索引；b是颜色直方图bin的索引；为返回像素/>所属的K×K尺寸块中像素的索引。
4.如权利要求1所述的亮度分布不均匀的图像光照增强方法，其特征在于，所述利用鉴别器网络对生成器网络每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据进行比对步骤，具体包括以下步骤：
所述鉴别器网络包括全局判别器及局部判别器；
利用所述全局判别器评估每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据之间的相似度；
利用所述局部判别器评估每一次迭代训练生成的所述光照增强图像数据相对于所述正常光照图像数据的质量改善度。
5.如权利要求4所述的亮度分布不均匀的图像光照增强方法，其特征在于，所述全局判别器的计算公式如下：
；
式中，D(x,y)为正常光照图像y被全局判别器判别为真实的概率；D(x,G(x, z))为光照增强图像G(x, z)被判别为真实的概率；为对正常光照图像进行全局判别器输出的期望值；/>为对光照增强图像进行全局判别器输出的期望值。
6.如权利要求1所述的亮度分布不均匀的图像光照增强方法，其特征在于，所述局部判别器的计算公式如下：
；
式中，C为判别器网络；表示sigmoid激活函数；/>为正常光照图像的分布；/>为光照增强图像的分布；/>为计算正常光照图像相对于光照增强图像的局部判别器损失；/>为计算光照增强图像相对于正常光照图像的局部判别器损失。
7.一种亮度分布不均匀的图像光照增强***，其特征在于，包括：
图像获取模块，用于获取低光照图像数据及正常光照图像数据；
迭代训练模块，与所述图像获取模块通信连接，用于根据所述低光照图像数据对生成器网络进行迭代训练，在每一次迭代训练中区分低光照图像数据中的曝光过度区域及曝光不足区域、以进行图像光照增强，生成光照增强图像数据；
比对模块，与所述图像获取模块及所述迭代训练模块通信连接，用于利用鉴别器网络对生成器网络每一次迭代训练生成的所述光照增强图像数据与所述正常光照图像数据进行比对；以及，
最终增强模块，与所述比对模块通信连接，用于根据每一次比对结果迭代优化生成器网络，直至比对结果符合条件时获取此时对应的最终生成器网络，并利用所述最终生成器网络对待测低光照场景图像进行光照增强。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的亮度分布不均匀的图像光照增强方法。
9.一种电子设备，包括存储介质、处理器以及存储在所述存储介质中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时实现如权利要求1至6中任一项所述的亮度分布不均匀的图像光照增强方法。
CN202311621045.6A 2023-11-30 2023-11-30 亮度分布不均匀的图像光照增强方法、***、介质及设备 Pending CN117333401A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311621045.6A CN117333401A (zh) 2023-11-30 2023-11-30 亮度分布不均匀的图像光照增强方法、***、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311621045.6A CN117333401A (zh) 2023-11-30 2023-11-30 亮度分布不均匀的图像光照增强方法、***、介质及设备

Publications (1)

Publication Number Publication Date
CN117333401A true CN117333401A (zh) 2024-01-02

Family

ID=89293768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311621045.6A Pending CN117333401A (zh) 2023-11-30 2023-11-30 亮度分布不均匀的图像光照增强方法、***、介质及设备

Country Status (1)

Country Link
CN (1) CN117333401A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051428A (zh) * 2023-03-31 2023-05-02 南京大学 一种基于深度学习的联合去噪与超分的低光照图像增强方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051428A (zh) * 2023-03-31 2023-05-02 南京大学 一种基于深度学习的联合去噪与超分的低光照图像增强方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAOYUAN WANG: ""Local Color Distributions Prior for Image Enhancement"", 《ECCV 2022: COMPUTER VISION》, pages 343 - 359 *
JIANG Y: ""EnlightenGAN: Deep Light Enhancement without Paired Supervision"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, pages 2340 - 2349 *
JIARUN FU: ""Low-light image enhancement base on brightness attention mechanism generative adversarial networks"", 《MULTIMEDIA TOOLS AND APPLICATIONS》, pages 1 - 25 *
小小将: ""炫酷的图像转换：从pix2pix到CycleGAN"", pages 1 - 6, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/93219297> *

Similar Documents

Publication Publication Date Title
US20180241929A1 (en) Exposure-Related Intensity Transformation
CN110473185B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN111915505B (zh) 图像处理方法、装置、电子设备及存储介质
CN108234858B (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN110443766B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN107105172B (zh) 一种用于对焦的方法和装置
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
WO2023125750A1 (zh) 一种图像去噪方法、装置和存储介质
CN109819176A (zh) 一种拍摄方法、***、装置、电子设备及存储介质
CN107395990A (zh) 相位对焦方法及装置、终端、计算机装置及可读存储介质
CN111953893B (zh) 一种高动态范围图像生成方法、终端设备及存储介质
CN113177438A (zh) 图像处理方法、设备及存储介质
Zheng et al. Low-light image and video enhancement: A comprehensive survey and beyond
CN116645527A (zh) 图像识别方法、***、电子设备和存储介质
CN113674303B (zh) 图像处理方法、装置、电子设备及存储介质
CN117152182B (zh) 一种超低照度网络相机图像处理方法、装置及电子设备
CN113989387A (zh) 相机拍摄参数调整方法、装置及电子设备
CN111953888B (zh) 暗光成像方法、装置、计算机可读存储介质及终端设备
CN117333401A (zh) 亮度分布不均匀的图像光照增强方法、***、介质及设备
CN115601792A (zh) 一种牛脸图像增强方法
CN115696027A (zh) 拍摄方法、装置、控制器、设备和计算机可读存储介质
CN112087556B (zh) 一种暗光成像方法、装置、可读存储介质及终端设备
CN116962890B (zh) 点云图像的处理方法、装置、设备和存储介质
CN115086566B (zh) 图片场景检测方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination