CN112001863B - 一种基于深度学习的欠曝光图像恢复方法 - Google Patents
一种基于深度学习的欠曝光图像恢复方法 Download PDFInfo
- Publication number
- CN112001863B CN112001863B CN202010881861.0A CN202010881861A CN112001863B CN 112001863 B CN112001863 B CN 112001863B CN 202010881861 A CN202010881861 A CN 202010881861A CN 112001863 B CN112001863 B CN 112001863B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- illumination
- images
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000011084 recovery Methods 0.000 title claims abstract description 10
- 238000005286 illumination Methods 0.000 claims abstract description 69
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 34
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000002310 reflectometry Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 230000008901 benefit Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 claims 1
- 238000006731 degradation reaction Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明基于深度学习的欠曝光图像恢复方法属于图像质量增强领域,解决了摄影摄像过程中光源不适导致的拍摄对比度低、亮度低和噪声多以及主流图像恢复算法高复杂度和高计算成本问题,本发明的主要步骤包括:首先,面向不同照度拍摄图像的多尺度分解网络的输入是一幅低照度图像,经过下采样卷积,得到一系列比原先图像更小的特征图。其次,在上采样解码端通过分解得到不同分辨率图像的反射率和照明度,在该分解基础之上,通过使用面向图像照明不均衡的多尺度亮度调整网络进行图像亮度增强,然后使用图像重建网络进行重建恢复。最后,将反射率图像和增强后的照明度图像进行整合,得到最终的恢复光照图像。
Description
技术领域
本发明属于图像质量增强领域,具体涉及一种基于深度学习的欠曝光图像亮度恢复方法。
背景技术
在实际生活场景中,拍摄环境的不同会导致拍摄到的图像出现许多的亮度问题。进行专业摄影拍照时,光源在摄影师和被拍摄者之间,由于光照良好,可以达到很好的拍摄效果。然而,在很多情况下光源的位置是不可控的,这经常会导致拍摄的人像出现“大黑脸”情形,这种照片上曝光不足的区域几乎看不到细节,视觉体验往往很差,对图像的进一步处理也提出了极大的挑战,专业摄影师往往会使用反光板、闪光灯等光源来增加光照,但人工光源极易造成图像的局部过度曝光,使图像出现新的视觉问题。因此,有必要研究逆光下欠曝光图像的恢复技术,该技术能给人们的生产和生活带来极大的便利。在过去的几十年中,许多研究人员致力于解决弱光图像增强问题,已经开发了许多技术来改善低光图像的主客观质量。
空间域图像增强算法是早期最主要的欠曝光图像增强方法,它主要包含灰度拉伸变换和直方图处理两种方法。其中,灰度拉伸变换可以调整图片整体灰度值的范围,进而突出图片的目标区域,但该方法存在一个问题:调整后的图片极易出现白化区域,丢失区域的细节信息。1968年,MR Schroeder等人提出了直方图均衡化方法,该方法不仅可以很好的增强图像,而且可以极大程度地保留图像的细节信息。不过该方法处理后图像的直方图分布相似度较高,所以该方法不适用于一些特定场合的图像。例如:拍摄的日出、日落图像。其次是频率域中的图像增强方法,其核心思想是将数字图片各个像素的值从原来的空间域变换到频率域,然后再利用频率域中高低频信息的固有特性,对图像进行增强处理。2010年,Yang等人提出了一种图像增强的新方法,首次在医学图像的增强处理中加入了小波变换,该方法在高效调整图像对比度的同时可以极大地保留了图像的边缘细节信息。
接下来介绍近些年出现的一些图像增强方法。早期的基于Retinex理论方法,单尺度Retinex(SSR)通过高斯滤波器将照明图约束为平滑后进行处理,该方法可以很好地保留图像的边界细节信息,但由于SSR算法中所选用的高斯函数特点,对于动态范围大幅度压缩和对比度增强两个要求,增强后的图像不能同时保证。针对这一问题,多尺度Retinex(MSR)在原有基础上发展而来,其优势在于恢复图像的大幅度动态范围压缩和亮度增强可以同时满足,不过,SSR方法和MSR方法增强后的图像都有较大程度的偏色现象。为解决这一明显缺陷,Daniel J.Jobson等人提出了带颜色恢复的多尺度Retinex(MSRCR),在原有MSR算法的基础上引入了颜色调节因子C,较好地解决了对比度调整带来的色彩失真问题。
随着深度神经网络的迅速发展,强化学习也被用于欠曝光图像的增强过程,2019年Wang等人提出了一种端到端的欠曝光图像恢复网络,该网络中引入了中间照明,将输入与预期的增强结果相关联,使得网络对于复杂的摄影调整具有更强的学习能力。
本发明针对刘家瑛等人提出的弱光图像恢复网络RetinexNet进行了改进,提出了一种基于U-Net结构的多分辨率欠曝光图像恢复网络。该网络不仅能够很好地实现图像分解,而且在弱光图像增强上取得了令人满意的效果。
发明内容
本发明能够使原始欠曝光图像恢复后具有真实的颜色、清晰的细节和更少的噪声。本发明使用分解网络在不同分辨率下将输入图像分解为反射/照明图像对,并逐个定义损失函数给予更多的约束,极大地提高网络在训练过程中的优化效果,使得训练后的图像恢复网络可以很好的处理弱光图像。
为实现上述要求,本发明采用的技术方案为:
一种基于深度学习的欠曝光图像恢复方法,该图像恢复方法按以下步骤进行:
(1)训练数据构建
在网络训练前,我们选择了公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集LOL作为训练样本,本数据集由真实摄影对和原始图像的合成对组成,真实摄影对采集在实际情况下的图像的降级特征和特性,原始图像的合成对在场景和对象多样化方面有突出的优势。具体说来,LOL数据集包含500个低/正常光照图像对,其中的弱光图像主要是通过更改相机的ISO和曝光时间进行采集;
(2)使用面向不同照度拍摄图像的多尺度分解网络进行特征提取和多分辨率特征图分解
分解网络的核心部分是子网络Multiscale-Decom-Net,其模型是基于标准的U-Net而构建的,首先进行卷积网络参数的设置,然后将训练数据集输入网络后通过编码路径下采样自动提取图像特征,解码端使用最近邻插值扩大图像尺寸以输出多种分辨率的特征图,然后逐个分解为反射分量与照明分量;
(3)使用面向图像照明不均衡的多尺度亮度调整网络进行亮度增强
面向图像照明不均衡的多尺度亮度调整网络Multiscale-Enhance-Net的整体结构是基于标准的U-Net模型,该模型将前一网络输出的成对反射图和光照图经多次下采样处理提取特征,然后使用上采样调整特征后输出多分辨率的照明调整特征图;
(4)卷积网络重建光照图像
将调整后的多分辨照明图输入卷积网络进行重建,得到原图尺度的正常光照图像;
(5)图像恢复网络中损失函数的定义
网络中的损失函数包括正常光照图像和欠曝光图像的多尺度反射率损失、恢复图像的多尺度照明平滑损失、多尺度重建损失,其中,多尺度反射率损失保证在多个尺度上图像反射率的一致性,多尺度照明平滑损失用以保证在多个尺度上恢复图像的平滑度,多尺度重建损失保证在多个尺度上图像重建图像和正常图像的内容一致性。
进一步的,步骤(1)中,网络训练开始之前,除了对训练样本进行分类处理,还需要进行网络训练参数和优化器的配置。这里设置网络更新迭代次数为1000次,初始学习率为0.001,并在网络训练到20代后,学习率减小10倍。选择Adam优化器进行本发明的算法优化,它是一种优于传统随机梯度下降(SGD)的一阶网络优化算法,能够使用训练数据迭代地更新网络的权重。
进一步的,步骤(2)中,基于编码器-解码器结构的Multiscale-Decom-Net对输入图像进行特征提取和重建,网络主要由卷积层、最大池化层(下采样)、反卷积层(上采样)以及ReLU非线性激活函数组成。分解网络的训练过程中,除了根据输入迭代更新网络的参数,在Multiscale-Decom-Net解码端每进行一次上采样操作就输出一幅特征图,并根据Retinex理论分解为照明图I-low和反射图R-low,多次上采样后即可得到多分辨率照明/反射图像对,输入调整网络进行后续处理。
分解网络中还引入了跳跃连接,将上采样路径上卷积后的图像与U型网络下采样路径上对应尺寸的特征图进行相加求和,再进行后续的卷积操作。跳跃连接将深层的全局整体信息和浅层的局部细节信息结合起来,更能反映图像的原始信息。
进一步的,步骤(3)中,调整网络Multiscale-Enhance-Net的结构与分解网络的Multiscale-Decom-Net的结构基本相同,主要区别在于其输入变量有三对,分别是DecomNet输出端不同分辨率的反射图像和照明图像对,然后将其分别拼接后输入增强网络开始处理。经过上采样的特征提取和下采样的特征融合完成输入图像的亮度增强。随后,在Multiscale-Enhance-Net的解码端将输出三副不同分辨率的特征图。
进一步的,步骤(4)中,Multiscale-Enhance-Net输出的三种分辨率的特征图,将其输入进以ReLU为激活函数的卷积网络中进行融合处理,最后输出正常光照的结果图像。
进一步的,步骤(5)中,将输入的低/正常光照图像与分解网络和增强网络输出的多分辨率特征图作为损失函数的输入,使用各种损失函数来约束网络权值的更新。本发明分解网络和增强网络在输出层都会输出多分辨率图像,这使得损失函数对不同尺度的特征图都能给予约束,不仅让网络的训练速度得到了提供,而且使网络训练效果快速到达期望值,从而让训练的网络具有更加优秀的性能。
本发明在Multiscale-Decom-Net和Multiscale-Enhance-Net两个子网络中都使了类似于编码器-解码器体系的网络结构,其网络结构中没有涉及到任何的全连接层,并通过跳跃连接在上采样过程中用到了下采样的结果,使得在深层的卷积中能够使用浅层低级特征,自然得到的结果也更加能够反映图像的原始信息。
附图说明
下面结合附图对本发明做进一步详细的说明。
图1为本发明的基于深度学习的欠曝光图像恢复方法的网络结构示意图。
图2为本发明的基于深度学习的欠曝光图像恢复方法的网络训练中间环节及结果对比示意图。其中(a)、(b)、(c)三列分别是3张图像通过分解网络输出的反射图和照明图,(d)、(e)、(f)三列分别是3张图像通过调整网络输出的最终结果图和照明调整图。
图3为本发明的基于深度学习的欠曝光图像恢复方法与Retinex-Net方法的处理结果对比示意图。
图4为本发明的基于深度学习的欠曝光图像恢复方法与Retinex-Net方法的PSNR指标对比图。
具体实施方式
为使本发明的目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
为了更好的理解本发明的图像恢复方法,下面先对本发明图像恢复网络做详细介绍。
1、欠曝光图像恢复网络的具体实现
如图1所示,图像增强过程分为三个步骤:分解、调整和重建,在分解步骤中,基于编码器-解码器结构的Multiscale-Decom-Net将输入的原图分别输出为不同分辨率的特征图,以图中结构为例,原图经过Multiscale-Decom-Net网络处理后,变为三种分辨率的特征图,然后在对应分辨率下逐个分解为反射率R和照明度I。在下面的调整步骤中,同样是基于编解码器结构的Multiscale-Enhance-Net进行图像的亮度增强。最后,在重建步骤中通过卷积网络融合特征图后输出增强的结果图。其算法实现步骤为:
a、训练数据构建
网络训练前,我们选择了刘等人公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集(LOL)作为训练样本,该数据集由真实摄影对和原始图像的合成对组成,真实摄影对采集在实际情况下的图像的降级特征和特性,原始图像的合成对在场景和对象多样化方面有突出的优势。LOL数据集包含500个低/正常光照图像对,其中的弱光图像通过更改相机的ISO和曝光时间进行采集;
b、多尺度分解
分解网络是基于标准的U-Net而构建的,其输出将会有三组,每组输出分别对应于同一输入原图的不同分辨率特征图的反射分量R和光照分量I。
本网络所有的代码都是使用Python编程语言进行编写。程序中首先定义了网络的名称(Multiscale-Decom-Net)和输入参数(channel表示卷积层通道数默认为128,kernel_size表示卷积核大小默认为3)。输入图像首先通过卷积网络变为多通道的特征图,然后是Multiscale-Decom-Net左边的二层、三层和四层对应的三次下采样卷积,因为卷积步长设置为2,相较于普通的卷积增加了下采样操作,使得图像尺寸变小的同时有更深层的图像特征能够被挖掘出来。
接下来将是Multiscale-Decom-Net的右半部分,对应于程序中的三个上采样模块,这里的上采样模块与下采样模块的数量是相同的,保证了输出图像的尺寸大小与原图相同。上采样模块是由最近邻插值、普通卷积和对应像素加法等操作组成,上采样过程首先通过最近邻插值将低分辨率的图像特征变大(尺寸翻倍)得到新的特征图(a),接下来通过跳跃连接将(a)卷积后的图像与Multiscale-Decom-Net下采样路径上对应尺寸的特征图(b)进行相加求和,得到新的特征图(c),然后再进行两次普通的卷积操作。需要注意的是,后面的两次卷积操作是很有必要的,因为特征图(a)卷积后的结果如果和特征图(b)直接相加求和,很可能会出现特征不匹配的情况,而类似于自编码器结构的两次卷积操作,使得图像特征能够做一个很好的自适应调整。
最后是输出层,输出包含三种分辨率的特征图,然后通过简单分解后得到不同特征图的反射率图像R和照明度图像I,再将其输入调整网络进行后续处理。
c、多尺度调整
调整网络的主要作用是对分解网络输出的特征图进行亮度增强处理,代码中首先定义了增强网络的函数名(Relight-Net),然后是输入变量和参数的设置。与分解网络类似,卷积层通道数设置为128,卷积核大小设置为3,不过这里的输入变量有三对,分别是Multiscale-Decom-Net输出端不同分辨率的反射图像和照明图像对,然后将其分别拼接后输入增强网络开始处理。
首先是Multiscale-Enhance-Net的输入层,将原图尺寸的输入图像卷积后输出多通道特征图,然后是三个下采样层(步长设置为2进行下采样),对应于图2中Multiscale-Enhance-Net的三个向下的红色箭头。需要注意的是,在进行第二次和第三次下采样操作时,我们会把对应尺寸的输入特征图(例如前一个网络输出的反射/照明图像对)和本网络下采样后的同尺寸特征图拼接起来,作为下一次下采样的输入。三次下采样处理后会得到低分辨率的特征图。然后是与分解网络类似的三个上采样模块,即三次上采样操作。最后,网络的输出层将输出通道为1的三种分辨率特征图。
d、图像重建
将增强网络调整后的多尺度照明图输入卷积网络进行融合,得到原图尺度的正常光照图像;
e、损失函数的定义
定义损失函数的代码中,主要包括正常光照图像和欠曝光图像的多尺度反射率损失、多尺度照明平滑损失、多尺度重建损失。
2.本发明图像恢复网络的训练
a、网络训练参数配置
在训练网络时,本发明选用Adam优化器进行训练网络,设置网络的训练迭代次数为1000次,初始学习率设置为0.001,在训练到20代后,学习率减小10倍变为0.0001。
b、网络训练中间环节及结果对比
在训练过程中,对分解网络和调整网络的输出结果进行了记录和分析,如图2所示为低照度原图通过分解网络和增强网络后的输出结果(包括分解网络输出的反射图R_low和照明图I_low,以及调整网络输出的结果图S和照明调整图I_delta),网络训练时数据集会更新迭代1000次,我们这里选择了在网络训练20、260、500、740、1000代的输出图像进行展示。分解网络输出的反射图和照明图,对应图2中(a)、(b)、(c)列的Decom_1、Decom_2、Decom_3三组图,调整网络输出的最终结果图和照明调整图,对应于图2中(d)、(e)、(f)列的Relight_1、Relight_2、Relight_3三组图。
通过对比图不难发现,网络对输入原图的训练效果不断提高,在整个训练数据集上更新20个迭代后,Adam优化器的学习率会减小10倍,分解网络输出的反射分量图和光照分量图都比较昏暗,还看不到明显的增强效果,而随着训练次数的不断增加,当总迭代达到260次时,反射分量图可以看到较好的增强效果,其图像上可以看到更多的细节信息。对比图2中的上下两部分图像可以发现,分解网络主要是对反射图像进行增强处理,而亮度调整网络和图像重建网络主要是对亮度图像进行增强处理。
3.本发明图像恢复网络的测试
a、网络测试结果图视觉对比
在测试部分,我们将本发明提出的欠曝光图像恢复算法与基于深度Retinex分解的增强算法(Retinex-Net)进行了比较。在测试数据上,我们选择了其他数据集中的街道图像和生活图像,并分别对结果图的局部信息进行了放大,比较各方法在图像细节方面的处理效果。图3展示了在两个自然图像上两种算法处理后图像的视觉对比图。如图3矩形框区域所示,本发明的方法可以充分保持暗处的物体而不会过度曝光,这得益于基于深度学习的图像分解算法在多分辨率下进行照明增强。与Retinex-Net方法比较,我们的网络恢复出来的图像效果更加自然(请参见图3中街道图像)。
b、网络测试结果图PSNR指标对比
为了客观描述增强网络的恢复效果,我们选用了PSNR指标(Peak Signal-to-Noise Ratio)来对图像质量作定量分析。PSNR表示图像峰值信噪比(其单位是dB),它是评价算法去噪性能的主要指标,数值越大表示失真越小。我们从LOL数据集中选择了15张自然图像,分别输入进我们的网络和Retinex-Net进行处理,并使用折线图绘制输出图像的PSNR指标数据,如图4所示,其中横坐标表示图像编号,纵坐标表示PSNR值。两种方面虽然在不同图像上的处理效果各有高低,但在计算均值后发现,我们的方法(28.5)比Retinex-Net方法(28.4)在峰值信噪比上平均提高0.1,这充分地说明了本发明的方法在图像恢复上具有优越性。
上面结合附图对本发明方案的实施例作了详细说明,但是本发明并不限于上述实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (3)
1.一种基于深度学习的欠曝光图像恢复方法,其特征在于,该欠曝光图像恢复方法按以下步骤进行:
(1)训练数据构建
网络训练前,选择公开的包含大量从真实场景中捕获的低/正常光照图像对的“低光配对”数据集LOL作为训练样本,该数据集由真实摄影对和原始图像的合成对组成,真实摄影对采集在实际情况下的图像的降级特征和特性,原始图像的合成对在场景和对象多样化方面有突出的优势,LOL数据集包含500个低/正常光照图像对,其中的低光照图像主要是通过更改相机的ISO和曝光时间进行采集;
(2)使用多尺度分解网络进行多分辨率特征提取和特征图分解
面向不同照度拍摄图像的多尺度分解网络Multiscale-Decom-Net的整体结构是基于标准的U-Net而构建的,首先进行卷积网络参数的设置,然后将训练数据集输入网络后通过编码路径下采样自动提取图像特征,解码端使用最近邻插值扩大图像尺寸以输出多种分辨率的特征图,然后逐个分解为反射图与照明图;
多尺度分解网络主要由卷积层、最大池化层、反卷积层以及ReLU非线性激活函数组成;分解网络的训练过程中,除了迭代地更新网络的参数,在Multiscale-Decom-Net解码端每进行一次上采样操作就输出一幅特征图,并根据Retinex理论分解为照明图I-low和反射图R-low,多次上采样后即可输出多分辨率照明/反射图像对,然后将其输入到调整网络进行后续处理;
分解网络中还引入了跳跃连接,将上采样路径上卷积后的图像与U型网络下采样路径上对应尺寸的特征图进行相加求和,再进行后续的卷积操作,跳跃连接将深层的高级语义信息和浅层的局部细节信息结合起来,从而充分地利用低照度图像的原始信息;
(3)使用面向图像照明不均衡的多尺度亮度调整网络进行多尺度亮度增强
面向图像照明不均衡的多尺度亮度调整网络Multiscale-Enhance-Net的整体结构是基于标准的U-Net模型,其将前一网络输出的成对反射图和光照图经多次下采样处理提取特征,然后使用上采样调整特征后输出多分辨率的照明调整特征图;
调整网络Multiscale-Enhance-Net的网络结构与分解网络Multiscale-Decom-Net的网络结构是相似的,这里的主要区别在于前者的输入变量有三对,分别是Multiscale-Decom-Net输出端不同分辨率的反射图像和照明图像对,然后将其分别拼接后输入增强网络开始处理,经过上采样的特征提取和下采样的特征融合完成输入图像的亮度增强,后者的输出端将得到三副不同分辨率的特征图;
(4)图像重建网络恢复光照图像
将调整后的多分辨照明图输入到图像重建网络进行恢复,得到和原图尺度一样的正常光照图像;Multiscale-Enhance-Net输出的三种分辨率的特征图,将其输入进以ReLU为激活函数的卷积网络中进行融合处理,最后输出正常光照的图像;
(5)图像恢复网络中损失函数的定义
网络中的损失函数包括正常光照图像和欠曝光图像的多尺度反射率损失、恢复图像的多尺度照明平滑损失、多尺度重建损失;这里多尺度反射率损失保证在多个尺度上图像反射率的一致性;多尺度照明平滑损失用以保证在多个尺度上恢复图像的平滑度,这是由于一幅正常光照图像不仅需要在纹理细节上保持平滑,而且需要保留整个图像的结构边界信息;多尺度重建损失保证在多个尺度上图像重建图像和正常图像的内容一致性。
2.根据权利要求1所述的一种基于深度学习的欠曝光图像恢复方法,其特征在于:
步骤(1)中,网络训练开始之前,除了对训练样本进行分类处理,还需要进行网络训练参数和优化器的配置,选择Adam优化器进行算法优化,设置网络更新迭代次数为1000次,初始学习率为0.001,并在网络训练到20代后,学习率减小10倍。
3.根据权利要求1所述的一种基于深度学习的欠曝光图像恢复方法,其特征在于:
步骤(5)中,将输入的低/正常光照图像与分解网络和增强网络输出的多分辨率特征图分别进行比较并定义损失函数,本发明的多尺度分解网络和多尺度增强网络在输出层都会输出多分辨率图像,这使得损失函数对不同尺度的特征图都能给予约束,不仅让网络的训练速度得到了提高,而且让训练的网络具有更加优秀的性能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010881861.0A CN112001863B (zh) | 2020-08-28 | 2020-08-28 | 一种基于深度学习的欠曝光图像恢复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010881861.0A CN112001863B (zh) | 2020-08-28 | 2020-08-28 | 一种基于深度学习的欠曝光图像恢复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112001863A CN112001863A (zh) | 2020-11-27 |
CN112001863B true CN112001863B (zh) | 2023-06-16 |
Family
ID=73471239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010881861.0A Active CN112001863B (zh) | 2020-08-28 | 2020-08-28 | 一种基于深度学习的欠曝光图像恢复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112001863B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734655B (zh) * | 2020-12-24 | 2022-12-27 | 山东师范大学 | 一种基于卷积神经网络图像对crm增强的低光图像增强方法 |
CN113052814B (zh) * | 2021-03-23 | 2024-05-10 | 浙江工业大学 | 基于Retinex和注意力机制的暗光图像增强方法 |
CN112991227B (zh) * | 2021-04-15 | 2022-09-09 | 中国人民解放军国防科技大学 | 基于U-net++网络的弱光图像增强方法和装置 |
CN113362241B (zh) * | 2021-06-03 | 2022-04-05 | 太原科技大学 | 一种结合高低频分解和两级融合策略的深度图去噪方法 |
CN113689344B (zh) * | 2021-06-30 | 2022-05-27 | 中国矿业大学 | 基于特征解耦学习的低曝光图像增强方法 |
CN114219725A (zh) * | 2021-11-25 | 2022-03-22 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、终端设备及计算机可读存储介质 |
WO2023092386A1 (zh) * | 2021-11-25 | 2023-06-01 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、终端设备及计算机可读存储介质 |
CN114359069B (zh) * | 2021-12-08 | 2024-07-02 | 华南理工大学 | 一种图像恢复方法、***、装置和存储介质 |
CN116012260B (zh) * | 2023-02-23 | 2023-07-04 | 杭州电子科技大学 | 一种基于深度Retinex的低光图像增强方法 |
CN116385270A (zh) * | 2023-04-18 | 2023-07-04 | 华院计算技术(上海)股份有限公司 | 一种基于多重损失和分辨率的图像转图像的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111223068A (zh) * | 2019-11-12 | 2020-06-02 | 西安建筑科技大学 | 基于Retinex的自适应非均匀低照度图像增强的方法 |
CN111489321A (zh) * | 2020-03-09 | 2020-08-04 | 淮阴工学院 | 基于派生图和Retinex的深度网络图像增强方法和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11037278B2 (en) * | 2019-01-23 | 2021-06-15 | Inception Institute of Artificial Intelligence, Ltd. | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures |
-
2020
- 2020-08-28 CN CN202010881861.0A patent/CN112001863B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111223068A (zh) * | 2019-11-12 | 2020-06-02 | 西安建筑科技大学 | 基于Retinex的自适应非均匀低照度图像增强的方法 |
CN111489321A (zh) * | 2020-03-09 | 2020-08-04 | 淮阴工学院 | 基于派生图和Retinex的深度网络图像增强方法和*** |
Non-Patent Citations (1)
Title |
---|
多级分解的Retinex低照度图像增强算法;王萍;孙振明;;计算机应用研究(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112001863A (zh) | 2020-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112001863B (zh) | 一种基于深度学习的欠曝光图像恢复方法 | |
Santos et al. | Single image HDR reconstruction using a CNN with masked features and perceptual loss | |
Kim et al. | Deep sr-itm: Joint learning of super-resolution and inverse tone-mapping for 4k uhd hdr applications | |
CN110378845B (zh) | 一种基于卷积神经网络的极端条件下的图像修复方法 | |
CN110889813A (zh) | 基于红外信息的低光图像增强方法 | |
Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
CN112435191B (zh) | 一种基于多个神经网络结构融合的低照度图像增强方法 | |
CN111064904A (zh) | 一种暗光图像增强方法 | |
CN113129236B (zh) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及*** | |
CN111915525A (zh) | 基于改进深度可分离生成对抗网络的低照度图像增强方法 | |
CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
CN111372006A (zh) | 一种面向移动端的高动态范围成像方法及*** | |
CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
CN113034413A (zh) | 一种基于多尺度融合残差编解码器的低照度图像增强方法 | |
Meng et al. | Gia-net: Global information aware network for low-light imaging | |
Song et al. | Multi-scale joint network based on Retinex theory for low-light enhancement | |
Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
Zhang et al. | Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video | |
CN117611467A (zh) | 一种能同时平衡不同区域细节和亮度的低光图像增强方法 | |
CN112070686A (zh) | 一种基于深度学习的逆光图像协同增强方法 | |
CN117197627A (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
CN117058019A (zh) | 一种基于金字塔增强网络的低光照下目标检测方法 | |
WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |