CN116797485A - 一种基于数据合成的低照度图像增强方法及装置 - Google Patents
一种基于数据合成的低照度图像增强方法及装置 Download PDFInfo
- Publication number
- CN116797485A CN116797485A CN202310799334.9A CN202310799334A CN116797485A CN 116797485 A CN116797485 A CN 116797485A CN 202310799334 A CN202310799334 A CN 202310799334A CN 116797485 A CN116797485 A CN 116797485A
- Authority
- CN
- China
- Prior art keywords
- low
- illumination image
- image
- module
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 269
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 38
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000004088 simulation Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 22
- 238000010606 normalization Methods 0.000 claims description 20
- 238000005316 response function Methods 0.000 claims description 19
- 230000008447 perception Effects 0.000 claims description 12
- 230000000452 restraining effect Effects 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于数据合成的低照度图像增强方法及装置，该方法包括：获取正常光照图像H，利用预设的低照度图像模拟方法将正常光照图像H转换为低照度图像L，得到图像对(L,H)；构建低照度图像增强模型，包括两个结构相同参数不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；利用生成器及判别器损失函数，对低照度图像增强模型进行对抗性训练，得到训练好的低照度图像增强模型；获取待增强的低照度图像，利用训练好的低照度图像增强模型对待增强的低照度图像进行处理，得到增强的低照度图像。本发明解决了低照度图像训练数据对难以获取的约束，有效增加了监督训练模型的泛化能力，增强结果具有较高的视觉质量。
Description
技术领域
本发明涉及人工智能和图像增强技术领域，尤其涉及一种基于数据合成的低照度图像增强方法及装置。
背景技术
在黄昏、夜晚、背光或非均匀光照条件下，图像采集设备所拍摄图像视觉质量一般较差，存在大量的暗区且亮度、对比度严重降低，信噪比较低，色彩和纹理信息丢失严重，图像辨识性较差。更严重的，会对后续高级任务如图像识别、目标检测、跟踪、语义分割带来严重影响，为视频监控、遥感图像、自动驾驶、军事侦察等应用领域带来极大困难。
由于低照度图像的上述特性，如何在增强低照度区域、提高整体感知质量的同时尽量抑制噪声并保留饱和区细节纹理和色彩信息是当前研究的难点和重点。目前传统的低照度增强方法主要是基于直方图均衡和Retinex模型理论，其在原本图像视觉质量较好且信噪比较高的情况下具有一定效果，但传统方法很难找到通用有效的先验假设与约束，且噪声信号会不可避免地被放大，在更丰富的场景下将得到不真实的增强效果，如丢失的细节及扭曲的颜色。
近年来，随着人工智能的快速发展，基于数据驱动的深度学习方法由于具有更佳的端到端图像映射质量、更好的鲁棒性和更快的推理速度，逐渐受到越多越多研究人员和工程人员的关注，同时也广泛应用到低照度图像增强这一领域，如利用堆叠去噪自编码同时完成低照度图像的去噪和增强(LLNet)；设计分解网络和重建网络，分别在反射分量中做去噪和光照分量中做增强。然而，多数的有监督训练网络受限于训练数据对的获取，网络泛化性有限，图像增强质量不佳。
针对这一情况，如何解决低照度图像增强训练中的数据问题，并且使得生成质量更加真实，将是本领域技术人员亟待解决的技术问题。
发明内容
本发明所要解决的技术问题在于，提供一种基于数据合成的低照度图像增强方法及装置，能够通过收集大量的正常光照下自然图像，通过低照度图像模拟算法将其转化为低照度图像，形成相应图像对(L，H)；接着设计两个结构相同但参数不同的Unet生成器和PatchGAN判别器；利用对抗损失、重构损失、感知损失、循环一致性损失和映射损失函数对前述网络进行对抗训练；最后提取出其中Gl生成器，可对任意输入的真实低照度图像进行端到端增强。
为了解决上述技术问题，本发明实施例第一方面公开了一种基于数据合成的低照度图像增强方法，所述方法包括：
S1，获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，得到图像对(L,H)；
S2，构建低照度图像增强模型；所述低照度图像增强模型包括两个结构相同参数不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；
S3，利用生成器及判别器损失函数，对所述低照度图像增强模型进行对抗性训练，得到训练好的低照度图像增强模型；
S4，获取待增强的低照度图像，利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像。
作为一种可选的实施方式，本发明实施例第一方面中，所述获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，包括：
S11，获取正常光照图像H，利用预设的相机响应函数将所述正常光照图像H的图像亮度值进行反映射，得到所述正常光照图像H的曝光量；
S12，利用随机小数lambda，对所述正常光照图像H的曝光量进行加权，得到加权曝光量；
S13，对所述加权曝光量添加散粒噪声和随机噪声，得到加噪曝光量；
S14，利用所述预设的相机响应函数，将所述加噪曝光量映射为新的图像亮度值，得到低照度图像L。
作为一种可选的实施方式，本发明实施例第一方面中，所述Unet生成器为由9个模块构成的深度为4层的U型结构全卷积网络；
模块1的输入为正常光照图像H或低照度图像L；
模块1～模块9为串接关系；
模块1与模块8的输出特征图跳连接，模块2与模块7的输出特征图跳连接，模块3与模块6的输出特征图跳连接；
模块2～模块4中包含下采样操作；
模块6～模块8中包含上采样操作；
模块9的输出为增强的低照度图像；
模块1由初始卷积层+通道注意力构成；
模块2由下采样层+1层残差层+通道注意力构成；
模块3由下采样层+2层残差层+通道注意力构成；
模块4由下采样层+4层残差层+通道注意力构成；
模块5由自注意力构成；
模块6由4层残差层+上采样层+通道注意力构成；
模块7由2层残差层+上采样层+通道注意力构成；
模块8由1层残差层+上采样层+通道注意力构成；
模块9由输出卷积层构成。
作为一种可选的实施方式，本发明实施例第一方面中，所述初始卷积层由窗口大小为7×7的卷积+实例归一化+整流线性单元构成；
所述下采样层，由窗口大小为3×3，步长为2×2的卷积+实例归一化+整流线性单元构成；
所述残差层为BottleneckCSP结构，主路径中包含若干个残差块；
所述上采样层，由窗口大小为3×3，步长为2×2的反卷积+实例归一化+整流线性单元构成；
所述输出卷积层，由窗口大小为7×7的卷积+双曲正切函数构成。
作为一种可选的实施方式，本发明实施例第一方面中，所述PatchGAN判别器由4个判别模块+窗口大小为4×4的卷积构成；
所述判别模块，由窗口大小为4×4的卷积+实例归一化+负值斜率为0.2的渗漏整流线性单元构成；
所述PatchGAN判别器的输出为M×N矩阵，M和N为输入图像尺寸的十六分之一。
作为一种可选的实施方式，本发明实施例第一方面中，所述生成器及判别器损失函数，包括对抗损失、重构损失、感知损失、循环一致性损失和映射损失；
所述对抗损失用于迭代训练生成器和判别器；
所述重构损失和感知损失用于约束低照度图像L的映射结果接近正常光照图像H，从低维和高维两个层面上迁移图像信息；所述还原低维信息，原因在于重构损失是逐像素计算误差，所述还原高维信息，原因在于感知损失是在高维潜变量中计算误差。
所述循环一致性损失用于约束生成器保持输入图像的重要特征；所述图像重要特征，在于生成器可利用该特征进行风格转换而不丢失图像信息。
所述映射损失用于约束生成随机性，减轻颜色偏移现象，保持生成图像和输入图像的颜色一致性。
作为一种可选的实施方式，本发明实施例第一方面中，所述利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像，包括：
利用所述训练好的低照度图像增强模型中的生成器Gl，对所述待增强的低照度图像进行处理，得到增强的低照度图像。
本发明实施例第二方面公开了一种基于数据合成的低照度图像增强装置，所述装置包括：
数据生成模块，用于获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，得到图相对(L,H)；
图像增强模型构建模块，用于构建低照度图像增强模型；所述低照度图像增强模型包括两个结构相同参数不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；
训练模块，用于利用生成器及判别器损失函数，对所述低照度图像增强模型进行对抗性训练，得到训练好的低照度图像增强模型；
图像增强模块，用于获取待增强的低照度图像，利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像。
作为一种可选的实施方式，本发明实施例第二方面中，所述获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，包括：
S11，获取正常光照图像H，利用预设的相机响应函数将所述正常光照图像H的图像亮度值进行反映射，得到所述正常光照图像H的曝光量；
S12，利用随机小数lambda，对所述正常光照图像H的曝光量进行加权，得到加权曝光量；
S13，对所述加权曝光量添加散粒噪声和随机噪声，得到加噪曝光量；
S14，利用所述预设的相机响应函数，将所述加噪曝光量映射为新的图像亮度值，得到低照度图像L。
作为一种可选的实施方式，本发明实施例第二方面中，所述Unet生成器为由9个模块构成的深度为4层的U型结构全卷积网络；
模块1的输入为正常光照图像H或低照度图像L；
模块1～模块9为串接关系；
模块1与模块8的输出特征图跳连接，模块2与模块7的输出特征图跳连接，模块3与模块6的输出特征图跳连接；
模块2～模块4中包含下采样操作；
模块6～模块8中包含上采样操作；
模块9的输出为增强的低照度图像；
模块1由初始卷积层+通道注意力构成；
模块2由下采样层+1层残差层+通道注意力构成；
模块3由下采样层+2层残差层+通道注意力构成；
模块4由下采样层+4层残差层+通道注意力构成；
模块5由自注意力构成；
模块6由4层残差层+上采样层+通道注意力构成；
模块7由2层残差层+上采样层+通道注意力构成；
模块8由1层残差层+上采样层+通道注意力构成；
模块9由输出卷积层构成。
作为一种可选的实施方式，本发明实施例第二方面中，所述初始卷积层由窗口大小为7×7的卷积+实例归一化+整流线性单元构成；
所述下采样层，由窗口大小为3×3，步长为2×2的卷积+实例归一化+整流线性单元构成；
所述残差层为BottleneckCSP结构，主路径中包含若干个残差块；
所述上采样层，由窗口大小为3×3，步长为2×2的反卷积+实例归一化+整流线性单元构成；
所述输出卷积层，由窗口大小为7×7的卷积+双曲正切函数构成。
作为一种可选的实施方式，本发明实施例第二方面中，所述PatchGAN判别器由4个判别模块+窗口大小为4×4的卷积构成；
所述判别模块，由窗口大小为4×4的卷积+实例归一化+负值斜率为0.2的渗漏整流线性单元构成；
所述PatchGAN判别器的输出为M×N矩阵，M和N为输入图像尺寸的十六分之一。
作为一种可选的实施方式，本发明实施例第二方面中，所述生成器及判别器损失函数，包括对抗损失、重构损失、感知损失、循环一致性损失和映射损失；
所述对抗损失用于迭代训练生成器和判别器；
所述重构损失和感知损失用于约束低照度图像L的映射结果接近正常光照图像H，从低维和高维两个层面上迁移图像信息；
所述循环一致性损失用于约束生成器保持输入图像的重要特征；
所述映射损失用于约束生成随机性，减轻颜色偏移现象，保持生成图像和输入图像的颜色一致性。
作为一种可选的实施方式，本发明实施例第二方面中，所述利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像，包括：
利用所述训练好的低照度图像增强模型中的生成器Gl，对所述待增强的低照度图像进行处理，得到增强的低照度图像。
本发明第三方面公开了另基于数据合成的低照度图像增强装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的基于数据合成的低照度图像增强方法中的部分或全部步骤。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明实施例第一方面公开的基于数据合成的低照度图像增强方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明通过低照度图像模拟方法，解决了训练图像数据对不足且难以获取的问题，通过大量自然图像仿真数据对的训练，模型具有更优的泛化能力；同时，本发明利用了生成对抗网络的训练方法，交替迭代生成器和判别器，有助于提升生成器的生成能力，使得低照度图像增强结果视觉效果更佳，更好地保留了图像细节信息和还原了色彩，去噪能力更强，鲁棒性更好。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于数据合成的低照度图像增强方法的流程示意图；
图2是本发明实施例公开的一种基于数据合成的低照度图像增强方法的原理框图；
图3是本发明实施例公开的一组估计的逆相机响应函数；
图4是本发明实施例公开的低照度图像模拟算法结果；
图5是本发明实施例公开的生成器结构设计；
图6是本发明实施例公开的判别器结构设计；
图7是本发明实施例公开的低照度图像增强模型训练流程；
图8是本发明实施例公开的场景1模拟低照度图像增强结果；
图9是本发明实施例公开的场景2模拟低照度图像增强结果；
图10是本发明实施例公开的针对LOLdataset真实低照度图像增强结果1；
图11是本发明实施例公开的针对LOLdataset真实低照度图像增强结果2；
图12是本发明实施例公开的一种基于数据合成的低照度图像增强装置的结构示意图；
图13是本发明实施例公开的另一种基于数据合成的低照度图像增强装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于数据合成的低照度图像增强方法及装置，能够通过获取正常光照图像H，利用预设的低照度图像模拟方法将正常光照图像H转换为低照度图像L，得到图像对(L,H)；构建低照度图像增强模型，包括两个结构相同参数不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；利用生成器及判别器损失函数，对低照度图像增强模型进行对抗性训练，得到训练好的低照度图像增强模型；获取待增强的低照度图像，利用训练好的低照度图像增强模型对待增强的低照度图像进行处理，得到增强的低照度图像。本发明解决了低照度图像训练数据对难以获取的约束，有效增加了监督训练模型的泛化能力，增强结果具有较高的视觉质量。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于数据合成的低照度图像增强方法的流程示意图。其中，图1所描述的基于数据合成的低照度图像增强方法应用于图像增强领域中，如用于图像识别，图像编码的前端处理等，本发明实施例不做限定。如图1所示，该基于数据合成的低照度图像增强方法可以包括以下操作：
S1，获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，得到图像对(L,H)；
S2，构建低照度图像增强模型；所述低照度图像增强模型包括两个结构相同参数不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；
S3，利用生成器及判别器损失函数，对所述低照度图像增强模型进行对抗性训练，得到训练好的低照度图像增强模型；
S4，获取待增强的低照度图像，利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像。
具体的基于数据合成的低照度图像增强方法的原理框图如图2所示。
可选的，所述获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，包括：
S11，获取正常光照图像H，利用预设的相机响应函数将所述正常光照图像H的图像亮度值进行反映射，得到所述正常光照图像H的曝光量；
S12，利用随机小数lambda，对所述正常光照图像H的曝光量进行加权，得到加权曝光量；
S13，对所述加权曝光量添加散粒噪声和随机噪声，得到加噪曝光量；
S14，利用所述预设的相机响应函数，将所述加噪曝光量映射为新的图像亮度值，得到低照度图像L。
可选的，随机选择一组已知的相机响应函数(Camera Response Function)，通过逆变换将图像亮度值反映射回曝光量。
所述预设的相机响应函数，计算方法为利用同一场景不同曝光时间拍摄的P张图像，求解出一组响应函数，重复k次，求得k组相机响应函数。在本实施例中，所述求解相机响应函数的方法为Debevec算法，通过收集3～4张对齐但不同曝光时间的图像，拟合得到一组响应函数，所述k取值100。图3是本发明实施例公开的一组估计的逆相机响应函数。
随机小数lambda为0.001～0.09之间均匀分布的随机数。
所述散粒噪声和随机噪利用泊松分布和高斯分布模拟。
利用低照度图像模拟方法得到低照度图像L，真实输入图像X根据如下公式得到正常光照图像H，即X增加少量的线性扰动，以丰富数据集：
H＝X·exp(2×lambda-0.09)
其中exp为指数函数。
在本实施例中，选取了22357张城市车载图片作为训练集输入图像。其中，lambda为0.001～0.09之间均匀分布的随机数，添加噪声为泊松分布和标准正太分布。同时，图像将由RGB转到LAB颜色空间作为生成器和判别器网络模型输入。模拟产生的低照度图像和正常照度图像如图4所示。
可选的，所述Unet生成器为由9个模块构成的深度为4层的U型结构全卷积网络；
模块1的输入为正常光照图像H或低照度图像L；
模块1～模块9为串接关系；
模块1与模块8的输出特征图跳连接，模块2与模块7的输出特征图跳连接，模块3与模块6的输出特征图跳连接；
模块2～模块4中包含下采样操作；
模块6～模块8中包含上采样操作；
模块9的输出为增强的低照度图像；
模块1由初始卷积层+通道注意力构成；
模块2由下采样层+1层残差层+通道注意力构成；
模块3由下采样层+2层残差层+通道注意力构成；
模块4由下采样层+4层残差层+通道注意力构成；
模块5由自注意力构成；
模块6由4层残差层+上采样层+通道注意力构成；
模块7由2层残差层+上采样层+通道注意力构成；
模块8由1层残差层+上采样层+通道注意力构成；
模块9由输出卷积层构成。
可选的，所述初始卷积层由窗口大小为7×7的卷积(Conv)+实例归一化(InstanceNorm)+整流线性单元(ReLU)构成；
所述下采样层，由窗口大小为3×3，步长为2×2的卷积+实例归一化+整流线性单元构成；
所述残差层设计参考YOLOv5的BottleneckCSP结构，其中主路径又包含多个残差块；
所述上采样层，由窗口大小为3×3，步长为2×2的反卷积+实例归一化+整流线性单元构成；
所述输出卷积层，由窗口大小为7×7的卷积+双曲正切函数(Tanh)构成。
上述特征图跳连接，为逐像素相加操作。生成器结构如图5所示。
可选的，所述PatchGAN判别器由4个判别模块+窗口大小为4×4的卷积构成；
所述判别模块，由窗口大小为4×4的卷积+实例归一化+负值斜率为0.2的渗漏整流线性单元构成；
所述PatchGAN判别器的输出为M×N矩阵，M和N为输入图像尺寸的十六分之一。矩阵中每个输出结果值考察输入图像不同局部区域细节信息，有助于提升生成图像质量并加速网络收敛。判别器结构如图6所示。
可选的，所述生成器及判别器损失函数，包括对抗损失、重构损失、感知损失、循环一致性损失和映射损失；
所述对抗损失用于迭代训练生成器和判别器；
所述重构损失和感知损失用于约束低照度图像L的映射结果接近正常光照图像H，从低维和高维两个层面上迁移图像信息；
所述循环一致性损失用于约束生成器保持输入图像的重要特征；
所述映射损失用于约束生成随机性，减轻颜色偏移现象，保持生成图像和输入图像的颜色一致性。
损失函数各公式如下。其中，LGAN(G,D,L,H)为所述对抗损失，Lrec(L,H)为所述重构损失，Lp(L,H)为所述感知损失，Lcyc(L,H)为所述循环一致性损失，Lide(L,H)为所述映射损失。进一步的，h和l为所述正常光照图像和低照度图像对；pdata(h)和pdata(l)分别为正常光照图像和低照度图像的高维数据分布；Dh和Dl为两个结构相同参数不同的PatchGAN判别器，Gl和Gh为两个结构相同参数不同的Unet生成器；log为取对数操作；φ为感知模型提取的中间特征图；E为取期望操作。
可选的，在本实施例中，重构损失、感知损失、循环一致性损失和映射损失均使用平方绝对误差函数(L1、MAE)，对抗损失使用LSGAN的皮尔森卡方散度替代原始GAN的KL散度。此对抗损失LGAN(G,D,L,H)在实际训练过程中，又可表示为LGAN(G,L,H)和LGAN(D,L,H)两种形式，分别作用于更新生成器参数和判别器参数，公式如下。其中，对抗损失利用了标签平滑技术，设置a＝c＝0.9、b＝0.1。判别器总损失即为LD。生成器总损失LG为五大损失的加权，加权超参数分别设置为k1＝5.0，k2＝k3＝1.0，k4＝10.0。
L(G)＝LGAN(G,L,H)+k1·Lide(L,H)+k2·Lrec(L,H)+
k3·Lp(L,H)+k4·Lcyc(L,H)
L(D)＝LGAN(D,L,H)
可选的，所述利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像，包括：
所述训练好的低照度图像增强模型，由判别器Dl、判别器Dh、生成器Gh和生成器Gl四部分组成，其中Dl和Dh仅用于训练过程中提升生成器效果，Gh为正常光照图像风格向低照度图像风格转换，Gl为低照度图像风格像正常光照图像风格转换，因此前三者在推理过程中不再使用。
利用所述训练好的低照度图像增强模型中的生成器Gl，对所述待增强的低照度图像进行处理，得到增强的低照度图像。
可选的正常光照图像H、低照度图像L、生成的伪正常光照图像和伪低照度图像均通过VGG19提取中间特征图，取其中四层特征图做感知损失。模型训练具体流程如图7所示，过程描述为：
1)输入图像X，经S14中公式转换获得正常光照图像H，经过S4低照度图像模拟算法获得低照度图像L，得到相应图像对(L,H)；
2)将正常光照图像H送入生成器Gl得到H_ide，将低照度图像L送入生成器Gh得到L_ide；
3)将正常光照图像H送入生成器Gh得到L_fake，将低照度图像L送入生成器Gl得到H_fake；
4)将上述得到的L_fake送入生成器Gl得到H_rec，将上诉得到的H_fake送入生成器Gh得到L_rec；
5)将正常光照图像H、生成的L_fake、低照度图像L，生成的H_fake送入VGG19特征提取网络，得到所有的中间特征图；
6)将正常光照图像H和生成的H_fake送入判别器Dh中，得到对抗损失一部；将低照度图像L和生成的L_fake送入判别器Dl中，得到感知损失一部；
7)将上诉得到的4种中间特征图带入公式Lp(L,H)，得到感知损失；
8)将正常光照图像H、生成的H_fake、低照度图像L，生成的L_fake带入公式Lrec(L,H)，得到重构损失；
9)将正常光照图像H、生成的H_rec、低照度图像L，生成的L_rec带入公式Lcyc(L,H)，得到循环一致性损失；
10)将正常光照图像H、生成的H_ide、低照度图像L，生成的L_ide带入公式Lide(L,H)，得到映射损失；
11)将上述所有损失加权后，以生成对抗网络方式迭代更新两个生成器和两个判别器。
可选的，在本实施例中，训练集只利用正常光照图像的城市车载图片。测试阶段，在随机采集的视频中，同样方法模拟为低照度图像，同时将图像转到LAB颜色空间，经过生成器Gl增强结果如图8和9所示，增强图像视觉效果较好，细节信息得到保留，尽管仍然具有颜色漂移现象，但整体真实性较高。此外，测试LOLdataset真实低照度图像的增强结果，如图10和11所示，在与训练集内容差异巨大且真实的低照度图像场景下，本发明仍然具有较好的增强质量，细节信息得到较完整保存，视觉效果极佳。
可选的，获取待增强的低照度图像，使用TV范数模型将低照度图像分解为只包含结构信息的基础层和只包含细节与噪声的细节层，并分别增强，而TV模型的正则项系数由估计的噪声水平进行自适应给出；
基础层处理：使用Retinex模型将基础层分解为光照分量和反射分量，利用非线性Sigmoid变换处理光照分量以拉伸对比度，突出细节，使用伽马校正调节反射分量均衡化；
细节层处理：使用高斯滤波器去除细节层多余的噪声，提升细节层质量。
利用训练好的低照度图像增强模型对所述待增强的低照度图像基础层和细节层分别进行处理，得到增强的低照度图像。
可选的输入的低照度图像I(x,y)为两层的叠加：
I(x,y)＝Ibase(x,y)+Idetail(x,y)
其中基础层为Ibase(x,y)，细节层为Idetail(x,y)，通过最小化以下目标函数得到基础层
其中，第1项为和纹理成分相适应的差分项，用于保留有意义的结构，第2项是基于总变差的正则化项，▽代表梯度运算符，λ为全局噪声估计值σ的3倍，λ＝3σ。
全局噪声估计σ为
其中*表示卷积运算符，W和H分别为图像I(x,y)的宽度和高度，N为卷积模板：
细节层为：
Idetail(x,y)＝I(x,y)-Ibase(x,y)
实施例二
请参阅图12，图12是本发明实施例公开的一种基于数据合成的低照度图像增强装置的结构示意图。其中，图12所描述的基于数据合成的低照度图像增强装置应用于图像增强领域中，如用于图像识别，图像编码的前端处理等，本发明实施例不做限定。如图12所示，该基于数据合成的低照度图像增强装置可以包括以下操作：
S301，数据生成模块，用于获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，得到图像对(L,H)；
S302，图像增强模型构建模块，用于构建低照度图像增强模型；所述低照度图像增强模型包括两个结构相同参数不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；
S303，训练模块，用于利用生成器及判别器损失函数，对所述低照度图像增强模型进行训练，得到训练好的低照度图像增强模型；
S304，图像增强模块，用于获取待增强的低照度图像，利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像。
可选的，所述获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，包括：
S11，获取正常光照图像H，利用预设的相机响应函数将所述正常光照图像H的图像亮度值进行反映射，得到所述正常光照图像H的曝光量；
S12，利用随机小数lambda，对所述正常光照图像H的曝光量进行加权，得到加权曝光量；
S13，对所述加权曝光量添加散粒噪声和随机噪声，得到加噪曝光量；
S14，利用所述预设的相机响应函数，将所述加噪曝光量映射为新的图像亮度值，得到低照度图像L。
可选的，所述Unet生成器为由9个模块构成的深度为4层的U型结构全卷积网络；
模块1的输入为正常光照图像H或低照度图像L；
模块1～模块9为串接关系；
模块1与模块8的输出特征图跳连接，模块2与模块7的输出特征图跳连接，模块3与模块6的输出特征图跳连接；
模块2～模块4中包含下采样操作；
模块6～模块8中包含上采样操作；
模块9的输出为增强的低照度图像；
模块1由初始卷积层+通道注意力构成；
模块2由下采样层+1层残差层+通道注意力构成；
模块3由下采样层+2层残差层+通道注意力构成；
模块4由下采样层+4层残差层+通道注意力构成；
模块5由自注意力构成；
模块6由4层残差层+上采样层+通道注意力构成；
模块7由2层残差层+上采样层+通道注意力构成；
模块8由1层残差层+上采样层+通道注意力构成；
模块9由输出卷积层构成。
可选的，所述初始卷积层由窗口大小为7×7的卷积+实例归一化+整流线性单元构成；
所述下采样层，由窗口大小为3×3，步长为2×2的卷积+实例归一化+整流线性单元构成；
所述残差层为BottleneckCSP结构，主路径中包含若干个残差块；
所述上采样层，由窗口大小为3×3，步长为2×2的反卷积+实例归一化+整流线性单元构成；
所述输出卷积层，由窗口大小为7×7的卷积+双曲正切函数构成。
可选的，所述PatchGAN判别器由4个判别模块+窗口大小为4×4的卷积构成；
所述判别模块，由窗口大小为4×4的卷积+实例归一化+负值斜率为0.2的渗漏整流线性单元构成；
所述PatchGAN判别器的输出为M×N矩阵，M和N为输入图像尺寸的十六分之一。
可选的，所述生成器及判别器损失函数，包括对抗损失、重构损失、感知损失、循环一致性损失和映射损失；
所述对抗损失用于迭代训练生成器和判别器；
所述重构损失和感知损失用于约束低照度图像L的映射结果接近正常光照图像H，从低维和高维两个层面上迁移图像信息；
所述循环一致性损失用于约束生成器保持输入图像的重要特征；
所述映射损失用于约束生成随机性，减轻颜色偏移现象，保持生成图像和输入图像的颜色一致性。
可选的，所述利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像，包括：
利用所述训练好的低照度图像增强模型中的生成器Gl，对所述待增强的低照度图像进行处理，得到增强的低照度图像。
实施例三
请参阅图13，图13是本发明实施例公开的另一种基于数据合成的低照度图像增强装置的结构示意图。其中，图13所描述的基于数据合成的低照度图像增强装置应用于图像增强领域中，如用于图像识别，图像编码的前端处理等，本发明实施例不做限定。如图13所示，该基于数据合成的低照度图像增强装置可以包括以下操作：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
处理器402调用存储器401中存储的可执行程序代码，用于执行实施例一或所描述的基于数据合成的低照度图像增强方法中的步骤。
实施例四
本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一所描述的基于数据合成的低照度图像增强方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种基于数据合成的低照度图像增强方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种基于数据合成的低照度图像增强方法，其特征在于，所述方法包括：
S1，获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，得到图像对(L,H)；
S2，构建低照度图像增强模型；所述低照度图像增强模型包括两个结构相同参数不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；
S3，利用生成器及判别器损失函数，对所述低照度图像增强模型进行对抗性训练，得到训练好的低照度图像增强模型；
S4，获取待增强的低照度图像，利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像。
2.根据权利要求1所述的基于数据合成的低照度图像增强方法，其特征在于，所述获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，包括：
S11，获取正常光照图像H，利用预设的相机响应函数将所述正常光照图像H的图像亮度值进行反映射，得到所述正常光照图像H的曝光量；
S12，利用随机小数lambda，对所述正常光照图像H的曝光量进行加权，得到加权曝光量；
S13，对所述加权曝光量添加散粒噪声和随机噪声，得到加噪曝光量；
S14，利用所述预设的相机响应函数，将所述加噪曝光量映射为新的图像亮度值，得到低照度图像L。
3.根据权利要求1所述的基于数据合成的低照度图像增强方法，其特征在于，所述Unet生成器为由9个模块构成的深度为4层的U型结构全卷积网络；
模块1的输入为正常光照图像H或低照度图像L；
模块1～模块9为串接关系；
模块1与模块8的输出跳连接，模块2与模块7的输出跳连接，模块3与模块6的输出跳连接；
模块2～模块4中包含下采样操作；
模块6～模块8中包含上采样操作；
模块9的输出为增强的低照度图像；
模块1由初始卷积层+通道注意力构成；
模块2由下采样层+1层残差层+通道注意力构成；
模块3由下采样层+2层残差层+通道注意力构成；
模块4由下采样层+4层残差层+通道注意力构成；
模块5由自注意力构成；
模块6由4层残差层+上采样层+通道注意力构成；
模块7由2层残差层+上采样层+通道注意力构成；
模块8由1层残差层+上采样层+通道注意力构成；
模块9由输出卷积层构成。
4.根据权利要求3所述的基于数据合成的低照度图像增强方法，其特征在于，所述初始卷积层由窗口大小为7×7的卷积+实例归一化+整流线性单元构成；
所述下采样层，由窗口大小为3×3，步长为2×2的卷积+实例归一化+整流线性单元构成；
所述残差层为BottleneckCSP结构，主路径中包含若干个残差块；
所述上采样层，由窗口大小为3×3，步长为2×2的反卷积+实例归一化+整流线性单元构成；
所述输出卷积层，由窗口大小为7×7的卷积+双曲正切函数构成。
5.根据权利要求1所述的基于数据合成的低照度图像增强方法，其特征在于，所述PatchGAN判别器由4个判别模块+窗口大小为4×4的卷积构成；
所述判别模块，由窗口大小为4×4的卷积+实例归一化+负值斜率为0.2的渗漏整流线性单元构成；
所述PatchGAN判别器的输出为M×N矩阵，M和N为输入图像尺寸的十六分之一。
6.根据权利要求1所述的基于数据合成的低照度图像增强方法，其特征在于，所述生成器及判别器损失函数，包括对抗损失、重构损失、感知损失、循环一致性损失和映射损失；
所述对抗损失用于迭代训练生成器和判别器；
所述重构损失和感知损失用于约束低照度图像L的映射结果接近正常光照图像H，从低维和高维两个层面上迁移图像信息；
所述循环一致性损失用于约束生成器保持输入图像的重要特征；
所述映射损失用于约束生成随机性，减轻颜色偏移，保持生成图像和输入图像的颜色一致性。
7.根据权利要求1所述的基于数据合成的低照度图像增强方法，其特征在于，所述利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像，包括：
利用所述训练好的低照度图像增强模型中的生成器Gl，对所述待增强的低照度图像进行处理，得到增强的低照度图像。
8.一种基于数据合成的低照度图像增强装置，其特征在于，所述装置包括：
数据生成模块，用于获取正常光照图像H，利用预设的低照度图像模拟方法将所述正常光照图像H转换为低照度图像L，得到图像对(L,H)；
图像增强模型构建模块，用于构建低照度图像增强模型；所述低照度图像增强模型包括两个结构相同参数不同的Unet生成器Gl和Gh，两个结构相同参数不同的PatchGAN判别器Dl和Dh；
训练模块，用于利用生成器及判别器损失函数，对所述低照度图像增强模型进行对抗性训练，得到训练好的低照度图像增强模型；
图像增强模块，用于获取待增强的低照度图像，利用所述训练好的低照度图像增强模型对所述待增强的低照度图像进行处理，得到增强的低照度图像。
9.一种基于数据合成的低照度图像增强装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的基于数据合成的低照度图像增强方法。
10.一种计算机可存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的基于数据合成的低照度图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310799334.9A CN116797485A (zh) | 2023-06-30 | 2023-06-30 | 一种基于数据合成的低照度图像增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310799334.9A CN116797485A (zh) | 2023-06-30 | 2023-06-30 | 一种基于数据合成的低照度图像增强方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116797485A true CN116797485A (zh) | 2023-09-22 |
Family
ID=88044789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310799334.9A Pending CN116797485A (zh) | 2023-06-30 | 2023-06-30 | 一种基于数据合成的低照度图像增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797485A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3913572A1 (en) * | 2020-05-21 | 2021-11-24 | The Provost, Fellows, Scholars and other Members of Board of Trinity College Dublin | Loss function for image reconstruction |
| CN114897728A (zh) * | 2022-05-10 | 2022-08-12 | 南方海洋科学与工程广东省实验室(湛江) | 图像增强方法、装置、终端设备以及存储介质 |
| CN114894253A (zh) * | 2022-05-18 | 2022-08-12 | 威海众合机电科技有限公司 | 一种应急视觉智能增强方法、***及设备 |
| CN115223004A (zh) * | 2022-06-17 | 2022-10-21 | 长安大学 | 基于改进的多尺度融合生成对抗网络图像增强方法 |
| US20220398700A1 (en) * | 2021-06-15 | 2022-12-15 | Samsung Electronics Co. Ltd. | Methods and systems for low light media enhancement |
| CN116342420A (zh) * | 2023-03-28 | 2023-06-27 | 中国人民解放军军事科学院***工程研究院 | 一种对混合降质图像进行增强的方法与*** |
-
2023
- 2023-06-30 CN CN202310799334.9A patent/CN116797485A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3913572A1 (en) * | 2020-05-21 | 2021-11-24 | The Provost, Fellows, Scholars and other Members of Board of Trinity College Dublin | Loss function for image reconstruction |
| US20220398700A1 (en) * | 2021-06-15 | 2022-12-15 | Samsung Electronics Co. Ltd. | Methods and systems for low light media enhancement |
| CN114897728A (zh) * | 2022-05-10 | 2022-08-12 | 南方海洋科学与工程广东省实验室(湛江) | 图像增强方法、装置、终端设备以及存储介质 |
| CN114894253A (zh) * | 2022-05-18 | 2022-08-12 | 威海众合机电科技有限公司 | 一种应急视觉智能增强方法、***及设备 |
| CN115223004A (zh) * | 2022-06-17 | 2022-10-21 | 长安大学 | 基于改进的多尺度融合生成对抗网络图像增强方法 |
| CN116342420A (zh) * | 2023-03-28 | 2023-06-27 | 中国人民解放军军事科学院***工程研究院 | 一种对混合降质图像进行增强的方法与*** |
Non-Patent Citations (5)
| Title |
|---|
| ZHAO, L等: "A low-light image enhancement method based on AUDD-GAN", 《JOURNAL OF PHYSICS:CONFERENCE SERIES》, 1 February 2023 (2023-02-01), pages 1 - 7 * |
| 吴佳奇等: "基于改进CycleGAN的煤矿井下低照度图像增强方法", 《华中科技大学学报(自然科学版)》, 31 May 2023 (2023-05-31), pages 1 * |
| 唐云卿等: "基于深度注意力机制的低照度图像增强方法", 《光电技术应用》, 30 April 2023 (2023-04-30), pages 37 - 42 * |
| 方明;李洪娜;雷立宏;梁铭;: "低照度视频图像增强算法综述", 长春理工大学学报(自然科学版), no. 03, 15 June 2016 (2016-06-15), pages 60 - 68 * |
| 江泽涛;覃露露;: "一种基于U-Net生成对抗网络的低照度图像增强方法", 电子学报, no. 02, 15 February 2020 (2020-02-15), pages 52 - 58 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Lightening network for low-light image enhancement | |
| CN111798400B (zh) | 基于生成对抗网络的无参考低光照图像增强方法及*** | |
| CN111950649B (zh) | 基于注意力机制与胶囊网络的低照度图像分类方法 | |
| CN113378906B (zh) | 一种特征自适应对齐的无监督域适应遥感图像语义分割方法 | |
| CN112614136B (zh) | 一种红外小目标实时实例分割方法及装置 | |
| CN113392711B (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及*** | |
| CN110222760A (zh) | 一种基于winograd算法的快速图像处理方法 | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN112561846A (zh) | 训练图像融合模型的方法、装置和电子设备 | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN113066034A (zh) | 人脸图像的修复方法与装置、修复模型、介质和设备 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN109492610A (zh) | 一种行人重识别方法、装置及可读存储介质 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、***、设备及存储介质 | |
| Han et al. | Spatial steganalysis based on non-local block and multi-channel convolutional networks | |
| CN112417991B (zh) | 基于沙漏胶囊网络的双注意力人脸对齐方法 | |
| CN115439849B (zh) | 基于动态多策略gan网络的仪表数字识别方法及*** | |
| CN117058235A (zh) | 跨多种室内场景的视觉定位方法 | |
| Xu et al. | Attention‐based multi‐channel feature fusion enhancement network to process low‐light images | |
| CN111597847A (zh) | 一种二维码识别方法、装置、设备及可读存储介质 | |
| CN116452472A (zh) | 基于语义知识引导的低照度图像增强方法 | |
| CN116797485A (zh) | 一种基于数据合成的低照度图像增强方法及装置 | |
| CN116152263A (zh) | 一种基于cm-mlp网络的医学图像分割方法 | |
| CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |