CN110889813B - 基于红外信息的低光图像增强方法 - Google Patents
基于红外信息的低光图像增强方法 Download PDFInfo
- Publication number
- CN110889813B CN110889813B CN201911125919.2A CN201911125919A CN110889813B CN 110889813 B CN110889813 B CN 110889813B CN 201911125919 A CN201911125919 A CN 201911125919A CN 110889813 B CN110889813 B CN 110889813B
- Authority
- CN
- China
- Prior art keywords
- image
- low
- convolution
- loss
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000002708 enhancing effect Effects 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 32
- 238000011176 pooling Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 29
- 238000011551 log transformation method Methods 0.000 claims description 21
- 238000013135 deep learning Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 238000003062 neural network model Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 22
- 238000002474 experimental method Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000010339 dilation Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
为了克服背景技术的不足,本发明提出一种端到端的两阶段的神经网络模型来融合低光和红外信息增强图像,以到达增强低光图片的目的。首先,我们发现低光图片,由于光线较低造成局部信息丢失,单纯的增强低光图片,无法补充丢失的信息。受此问题的启发,我们考虑结合低光下红外图像,两个状态下的信息相互补充。整个模型中,我们在第一阶段对图像像素不为零区域,进行亮度和对比度提升。在网络的第二部分运用前景关注模块,重建缺失区域的图像,以此最终获得完整的亮图像。有益的技术效果:相比其他算法,本发明的算法引入了红外信息,在局部低光的情况下,恢复出了更多的细节,增强的图像整体更加的自然,且算法能处理更暗的图像。
Description
技术领域
本发明属于图像处理技术领域,基于红外信息的低光图像增强方法。
背景技术
高质量的图像在物体识别,场景检测等计算机视觉任务中起到至关重要的作用。但在实际情况下,拍摄的图像质量常常由于天气,光照影响通常会降级。例如,当在低光条件下拍摄图片时,图像的对比度和亮度非常低,这在很大程度上增加了后续高级任务的难度,同时也降低了可见光下的算法性能。图1提供了三个这样的例子,从图片可以明显发现,许多细节都隐藏到了深色背景中。为了是这些细节再现,需要低光图像增强。
低光增强一个典型的选择是直方图均衡策略.该方法是将整个图像的直方图尽可能平衡,本质上,该方法专注于对比度增强,没有考虑真实情况,具有过度增强和欠增强的风险,并且容易产生不希望的伪影。为了解决这个问题,提出了动态直方图均衡和亮度保持动态直方图均衡等方法,但是,在很多情况下,它们会导致颜色失真。另一种广泛使用的技术是Gamma校正方法,该方法是通过增加暗区域亮度同时压缩亮区来增强对比度和亮度,该方法的缺点是每个像素被单独处理,,使得结果看起来与真实图像不一致,而本发明提出的方法加入了红外信息,使低光增强得结果更符合实际,且整个算法对缺失区域也有很好的恢复,而其他算法并不能做到这一点,而且选择深度学习方法使用GPU加速,使得整个算法速度更快。
Retinex理论由Land和McCann提出。该理论说明了人类视觉***的色觉特性。它假设图像是照明和反射的相互作用,图像可以分解为反射和照明,通过消除照明效果,可以增强低光图像。基于Retinex理论,后续提出了几种方法。单尺度Retinex(SSR),多尺度Retinex(MSR),以及具有颜色恢复的多尺度Retinex(MSRCR)[11]。最近Gan等人提出照明图估计方法,该方法首先通过找到R,G和B通道中每个像素的最大强度来构建照明图,然后利用照明的结构并执行结构感知平滑以细化照明图,最终实现低光增强。然而,这些方法通常假设图像已经包含场景内容的良好表示,而对于存在缺失区域,算法并不能起到很好的效果,而本发明的算法引入红外信息使得算法鲁棒性更高。
关于对低光增强任务,目前使用深度学习方法的不在少数,但这些方法还为考虑到红外信息的引入,并且这些方法也无法解决图像中存在缺失区域的情况,而我们的方法其特点就是解决这个问题,并且通过实际证明了这个方法的有效性。
最近,深度神经网络的强大功能促使目标检查,目标识别,语义分割等效果得到巨大提升。除了这些高级视觉任务,深度学习在低级视觉任务也有非常好的效果,以此深度学习方法非常适用我们的低光增强任务。
发明内容
为了克服背景技术的不足,提出一种端到端的两阶段的神经网络模型来融合低光和红外信息增强图像,以到达增强低光图片的目的。首先,我们发现低光图片,由于光线较低造成局部信息丢失,单纯的增强低光图片,无法补充丢失的信息。受此问题的启发,我们考虑结合低光下红外图像,两个状态下的信息相互补充。整个模型中,我们在第一阶段对图像像素不为零区域,进行亮度和对比度提升。在网络的第二部分运用前景关注模块,重建缺失区域的图像,以此最终获得完整的亮图像。本发明的方案如下:
基于红外信息的低光图像增强方法,采用计算机并按如下步骤进行:
步骤1:向计算机输入低光图像和红外图像,低光图像和红外图像一一对应。
步骤2:对步骤1的低光图像进行4次对数log变换,每进行一次对数log变换就获得一个log变换图像。每进行一次对数log变换即使用一个对数参数,4个对数参数互不相同。其中对数log变换是常见的图像增强方法,我们对同一张低光图像采用4种不同的参数生成4张增强的图像,掩码图像均是和步骤1所输入的低光图像相同尺寸的单通道图像,用1表示步骤1中低光图像中像素为0的点,0表示步骤1中低光图像非零的点。进一步说,一张低光图像通过log变换会生成四张不同的预增强图像,log变换并不会产生亲的掩码图像,掩码图像只是标记低光图像像素为0区域(掩码图像对应位置为1)与非0区域(掩码图像对应位置为0)。
步骤3:将步骤1中的红外图像,步骤2中4张log变换图像、1张掩码图像按通道合并作为U-net网络输入,通过优化损失函数训练U-net网络,利用训练完成的U-net网络得到预增强图像。所述U-net网络带有指导分支。所述指导分支是指对公用网络做的修改。迭代优化损失函数,是指迭代训练U-net网络。
步骤4:基于步骤3获得的预增强图像,结合步骤1中红外图像和步骤2中掩码图像,输入到带有情景关注层的网络中,此步骤中,带前景关注层的网络是一个双分支网络,其中一个分支带有情景关注层,另一分支为扩张卷积层。其中,情景关注层是结合红外信息和低光信息重建低光图像像素为0的点。随后再通过对抗网络训练模式,获得最终的增强图像,并输出。所述对抗网络训练是指GAN网络对抗训练模式。
进一步说,在步骤2中,在低光图像的基础下,通过对数log变换对低光图像进行提高亮度,经过4次不同的log变换获得初始的增强图像。其中低光图像是指在在低光环境下拍摄得到的图像,图像特点为亮度低,对比度低,以至于在图像中存在局部信息丢失的情况。局部信息丢失,是指像素为0。log变换为传统的图像增强算法,采用1、10、100和300,这4种不同的参数获得原低光图像的4张增强图像,其中的掩码图像是与原低光图像同宽高的单通道二值图像,其中1表示原图像像素为0的点,0表示原图像像素非0的点。
进一步说,在步骤3中,将分别由步骤1和步骤2中4张log变换图像、红外图像、掩码图像按通道合并作为U-net网络输入,通过优化损失函数进行训练U-net网络,利用训练完成的U-net网络得到预增强图像。其中红外图像是摄像机在红外模式下获得的,并与低光图像像素对应。U-net网络是公共网络,我们对其做了一定的修改,并如图2所示,相比与原始的U-net网络,添加了一个输出原始低光图像灰度图像的分支。详细的损失函数我们将在下一部分介绍。
进一步说,步骤4中,将步骤3中获得的预增强图像,结合步骤1中红外图像和步骤2中掩码图像,输入到新的双分支网络中(如图3),其中一个分支将红外图像进行卷积池化操作,获得红外特征图,另一个分支将输入的预增强图像进行卷积池化操作,获得预增强图像特征。将红外特征图,预增强图像特征以及掩码图像一同输入到前景关注层中,以此获得重建后的特征。预增强图像特征再经过四层不同的扩张卷积层,扩张率分别为2,4,8,16。最终将重建后的特征和最后一层扩张卷积层特征进行级联,经过反卷积输出最终的增强结果。,最终实现基于红外信息的低光图像增强,该双分支网络采用对抗模式进行训练,为了让网络训练更稳定,采用具有梯度惩罚项的WGAN-GP损失形式。补充地说:只有一个最终的增强结果,就是经前景关注层重建的特征与扩张卷积层特征级联,经反卷积输出的结果。
更进一步说,步骤2的具体步骤为:
对输入数据的处理分为对数log变换。
其中计算低光图像的对数log变换公式如下:
其中,X表示低光图像,vj+1表示对数基数,Mj表示对数变换的结果,n表示对数变换函数的数量,在本方法中n为4,vj分别取1,10,100,300,分别对应了4张log变换增强图像。补充地说:j=1、10、100和300,是用来区分不同的变换,是v取不同的值,vj取值分别是1,10,100,300,如v1=1,v2=10,v3=100等。
更进一步说,步骤3的具体步骤为:
对于利用带指导分支的U-net网络获得预增强图像其中主要包括两部分:输入图像和损失函数设计。
整个带指导分支的U-net网络结构由输入层、卷积层、激活函数、池化层、反卷积、级联及输出层组成。该网络的输入层是多张图像通道叠加产生,每一层输入通过卷积核的卷积后通过激活函数得到特征图,同一个特征图是由相同的权重卷积得到。每层卷积核的个数决定了该层的特征图个数。池化层利用图像局部相关性原理,对图片进行缩小,可以在减少数据的处理量的同时保留有用的信息。所以对前一层的特征图进行池化操作,得到的特征图个数不变,但尺寸变小。
其中U-net网络是公用的深度学习框架,此处使用的带指导分支的U-net网络,相比公共U-net网络我们添加了一个分支,如图2。
本步骤中的网络输入是:四张log变换图像、红外图像、掩码图像,并进行通道合并,所以数据维度是256*256*14。
第一次卷积时是用32个3*3*14的卷积核,卷积两次,得到32个与原始数据同样大小的特征图,即256*256*32,接着是池化层,用2*2的池化核将前面得到的特征图缩小了一半,即128*128*32。
第二次卷积是64个3*3*32的卷积核,卷积两次,得到64个缩小后的特征图,即128*128*64,接着是池化层,又将上述的特征图缩小了一半,即64*64*64。
第三次卷积是128个3*3*64的卷积核,卷积两次,得到128个特征图,即64*64*128,接着是池化层,又将上述的特征图缩小了一半,即32*32*128。
第四次卷积是256个3*3*128的卷积核,卷积两次,得到256个特征图,即64*64*256,接着是池化层,又将上述的特征图缩小了一半,即16*16*256。
第五次卷积是512个3*3*256的卷积核,卷积两次,得到512个特征图,即16*16*512。
到此模型的编码过程结束,接下来网络分成两个分支:第一分支、第二分支。
第一分支,为带级联的分支,此分支输出预增强图像,具体步骤如下:
首先将第五次卷积的特征16*16*512经反卷积变换到32*32*256,并与第四次池化前特征进行级联生成32*32*512特征图,接着用256个3*3*512卷积核卷积两次,获得32*32*256特征。
接着将上面32*32*256特征经反卷积变换到64*64*128,并与第三次池化前特征进行级联生成64*64*256特征图,接着用128个3*3*256卷积核卷积两次,获得64*64*128特征。
接着将上面64*64*128特征经反卷积变换到128*128*64,并与第三次池化前特征进行级联生成128*128*128特征图,接着用64个3*3*128卷积核卷积两次,获得128*128*64特征。
接着将上面128*128*64特征经反卷积变换到256*256*32,并与第三次池化后特征进行级联生成256*256*64特征图,接着用32个3*3*64卷积核卷积两次,获得256*256*32特征,在经过16个3*3*64卷积进行卷积,获得256*256*16特征图。
最终通过3个3*3*16卷积核获得256*256*3尺寸的预增强图片。
第二分支具体步骤如下:
首先将第五次卷积的特征16*16*512经反卷积变换到32*32*256,接着用256个3*3*256卷积核卷积,获得32*32*256特征。
接着将上面32*32*256特征经反卷积变换到64*64*128,接着用128个3*3*128卷积核卷积,获得64*64*128特征。
接着将上面64*64*128特征经反卷积变换到128*128*64,接着用64个3*3*64卷积核卷积两次,获得128*128*64特征。
接着将上面128*128*64特征经反卷积变换到256*256*32。
最终通过一个3*3*32卷积核卷积得到256*256*1的灰度图像。
以上就是整个带指导分支的U-net网络,输出为预增强图像和灰度图像。
带指导分支的U-net网络输入:4次对数变换图像、红外图像和掩码图像。
构建带指导分支的U-net网络的模型损失函数,补充地说,上面公式是对输入图像的,下面的描述的损失是对网络输出结果的,由三部分损失组成:第一部分损失为低光图像与对应标签图像的像素损失,第二部分损失是内容损失,第三部分损失是指导网络输出灰度图像与真实图像灰度图像的像素损失。
第一部分损失/像素损失:
即第一部分低光图像与对应自然光下图像的像素损失,具体定义如下:
其中,M表示和256*256单通道掩码图像,M由0或1组成,其中0的位置表示低光图像像素值不为0的位置,1的位置表示低光图像像素值为0的位置。Lhole表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值。Lvalid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值。WHC分别表示标签图像的宽、高和通道数,Iout表示带分支U-net网络输出的预增强图像,Igt表示输入的原低光图像对应的自然光下的图像。
将第一部分低光图像与对应标签图像的像素损失分成两部分:通过在总损失中适当的增减Lhole的权重,来平衡低光图像像素值为0的位置和非0位置的损失比例。
第二部分损失/内容损失:
将带指导分支U-net网络输出的预增强图像输入vgg-19网络,计算产生的特征图来定义内容损失,这种损失不是度量图像之间的像素差异,而是鼓励他们具有相似的特征表示。通过反复的实验,发现内容损失能有效的提高低光图像像素值为零的区域恢复的质量,故在本发明中,将内容损失定义为带指导分支的U-net网络输出和目标图像的特征表示之间的欧几里德距离:
其中,表示在vgg-19CNN的第n个卷积层之后获得的特征图,WGC表示特征图的宽,高和通道数,而Pre()表示带指导分支U-net网络,Iin表示带指导分支U-net网络输入,Lcontent表示内容损失。。
第三部分损失/输出与标签的损失:
即关于带指导分支的U-net网络的指导分支损失,为输出的灰度图像和真实图像的灰度图像的像素值损失Lguide:
其中G(Iin)表示带指导分支U-net网络预测的灰度图像,Iin表示带指导分支U-net网络的输入,Igt_gray表示真实图像的灰度图像,WHC表示图像的宽,高和通道数。
综上,带指导分支的U-net网络总损失可表示为:
通过迭代优化最小化目标函数训练带指导分支的U-net网络,α,β,γ,δ表示常量值,控制各部分损失在总损失中的比例,实际中分别取1,6,0.1,1。
进一步说,步骤4作用在于修复低光图像像素为0的位置。在步骤4中,采用生成对抗网络为主体结构,其中,生成器采用带有情景关注层的卷积神经网络。判别器的输出是对输入的真假判断,并使用WGAN-GP损失稳定训练。使用新的双分支网络,如图3,作为生成器,其详细结构描述如下:
本步骤,图3所示的网络结构由红外图像和预增强图像分别进入各自的分支,最终级联后进行反卷积输出最终增强结果。
由于有前景关注层的分支需要预增强图像的特征,所以构建带扩张卷积的分支。此处对应的是预增强图像分支。
带扩张卷积分支的输入为带指导分支U-net网络输出的预增强图像,数据维度是256*256*3,首先用32个5*5*3卷积核进行卷积,得到256*256*32特征图,接着进行池化,将特征图缩小一半,特征图变为128*128*32。
随后用64个3*3*32卷积核进行卷积,得到128*128*64特征图,接着进行池化,将特征图缩小一半,特征图变为64*64*64。
接着用128个3*3*64卷积核进行2次卷积,得到64*64*128特征图。
接下来将进行扩张卷积操作。
随后将64*64*128进行4次扩张卷积操作,其中扩张率分别为2,4,8,16,扩张卷积不会改变特征图的大小,至此特征图为64*64*128。
随后,构建带前景关注层的分支,此处对应的是红外图像分支。
带前景关注层的分支的输入为红外图像,数据维度是256*256*1,首先用32个5*5*1卷积核进行卷积,得到256*256*32特征图,接着进行池化,将特征图缩小一半,特征图变为128*128*32。
随后用64个3*3*32卷积核进行卷积,得到128*128*64特征图,接着进行池化,将特征图缩小一半,特征图变为64*64*64。
接着用128个3*3*64卷积核进行2次卷积,得到64*64*128特征图。
随后,进行前景关注层操作,将由前序步骤得到的扩张卷积前的64*64*128特征图和前景关注层前一层特征64*64*128,以及掩码图像,这里掩码图像大小将从256*256*1缩小到64*64*1,按如下步骤操作:构建前景关注层内的细节操作如图4。
首先,将前景关注层前一层特征64*64*128变换到2*2*128*1024,因为此特征是由红外图像卷积得到的,在实际中红外成像不会受到光线昏暗的影响,红外图像不会有缺失。此层的主要思想是:通过低光图像确定掩码图像,掩码图像目的是标记处低光图像像素为0的位置,掩码图像确定前景关注层需要关注的区域,这些区域将会对应到红外特征上,在红外图像上计算这些区域与其他区域的余弦距离,通过softmax函数对余弦距离进行归一化,获得关注度评分,大小为64*64*1024,接着将扩张卷积前的特征64*64*128变换到2*2*128*1024,此特征由预增强图像获得,然后再获得的关注度评分64*64*1024上,利用扩张卷积前的特征2*2*128*1024,进行反卷积,获得前景关注层输出特征64*64*128,此反卷积目的是利用关注度评分将为缺失部分的特征拷贝到缺失部分,以此达到恢复缺失部分的特征。
构建带前景关注层的分支,最后再利用128个3*3*128的卷积核卷积两次,得到64*64*128特征。
接着带前景关注层的分支得到的64*64*128特征和扩张卷积后的特征64*64*128,进行级联得到64*64*256特征,然后用128个3*3*256个卷积核进行两次卷积,得到64*64*128特征。
再通过一次反卷积,得到128*128*64特征。
接着利用64个3*3*64卷积核,得到128*128*64特征。
再通过一次反卷积,得到256*256*32特征。
接着利用16个3*3*32卷积核,得到256*256*16特征。
最后再通过3个3*3*16得到最终增强图,所述最终增强图为256*256*3。
本发明中的生成器,采用的是带有情景关注层的卷积神经网络。所述情景关注层的作用是修复图像中缺失区域。相比较传统的图像缺失方法,本步骤所采用的是改进后的,区别在于:虽然同样要修复图像缺失的部分,但是传统方法是在完全不知道缺失区域位置有什么的情况下需要网络给出预测,因此缺失部分已经和真实情况没有关联,而本发明修复的缺失部分,是在红外图像的基础上给出预测。在未缺失的部分,需要对未缺失部分进行提亮和增强对比度,这正是步骤3的作用。此外,通过步骤3,将红外图像的信息和低光图像进行了融合,情景关注层可以利用周围的图像特征作为参考,换言之,利用缺失区域红外特征信息,在其他未缺失区域寻找一块近似区域进行填补,使其更接近真实情况。
关于前景关注层,结合了红外特征和预增强图像特征进行如下的处理:利用缺失部分红外特征信息,去匹配未缺失部分,得到最近似的块,以此来获得关注度评分图。然后再通过预训练图像的特征,结合关注度评分图,重建缺失区域的特征。
关于生成器的结构,卷积神经网络中情景关注层使用卷积计算缺失区域和非缺失区域的匹配分数,然后通过通用的softmax函数对计算的匹配分数进行归一化。此处,区域和非缺失区域通过卷积计算的匹配分数,最后通过注意力分数和预增强图像特征,利用反卷积来重建缺失部分。而其中的带有跨步卷积的分支得到的预增强图像特征与带有前景关注层的分支得到的特征进行级联,从而限制前景关注层对未缺失区域不合理的修改。
关于判别器,判别器输入是带情景关注层的网络(生成器)输出的最终增强图像或者是对应的实际自然光下的图像。带情景关注层的网络也称之为生成器;
其中判别器的整体结构如图5,详细的描述如下:
判别器输入是带情景关注层的网络(生成器)输出的最终增强图像或者是对应的自然光下的图像,数据维度为256*256*3,判别器中每次卷积都会使用Relu激活函数,下面不再重复。
首先使用32个5*5*3卷积核进行步幅为2的卷积,步幅为2的卷积将数据宽高缩小一半,所有得到128*128*32特征图。
接着使用64个5*5*32卷积核进行步幅为2的卷积,得到64*64*64特征图。
再使用128个5*5*64卷积核进行步幅为2的卷积,得到32*32*128特征图。
再使用128个5*5*128卷积核进行步幅为2的卷积,得到16*16*128特征图。
最后接一个全连接层,最终获得1*1数据。
以WGAN-GP提出的损失形式作为判别器的损失,其中损失为:
LD=D(Igt)-D(Ioutput)+10*GP (4-1)
其中LD表示判别器总损失,D表示判别网络,Igt表示实际自然光图像,D(Igt)表示输入实际自然光图像时判别器网络的输出,Ioutput表示生成器网络的输出图像,D(Ioutput),表示输入生成器网络的输出图像时判别器网络的输出,GP表示惩罚项。GP是公共的惩罚项。
生成器总损失函数由对抗损失、像素损失,内容损失和风格损失组成,其中:
对抗损失定义为:
其中表示生成器总损失中对抗损失,D表示判别网络,Ioutput表示生成器网络的输出图像,D(Ioutput)表示将判别器输入生成器网络的输出图像时产生的输出。WGAN-GP是一个公用的GAN网络变体,它定义了自己的对抗损失,本发明沿用了WGAN-GP中损失的定义。风格损失:该损失使生成器网络对缺失部分产生符合实际的结果,具体形式如下:
其中表示在vgg-19CNN的第n个卷积层之后获得的特征图,WnHnCn表示对应第n个卷积特征的宽,高和通道数。Ioutput表示最终增强图像,Igt表示与最终增强图像相对应的自然光下图像。
像素损失:
其中,M表示和256*256单通道掩码图像,M由0或1组成,其中0的位置表示低光图像像素值不为0的位置,1的位置表示低光图像像素值为0的位置。Lhole表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值。Lvalid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值。WHC分别表示标签图像的宽、高和通道数,Iout表示生成器网络输出的最终增强图像,Igt表示输入的原低光图像对应的自然光下的图像。
内容损失定义为生成器模型输出和目标图像的特征表示之间的欧几里德距离:
其中,表示在vgg-19CNN的第n个卷积层之后获得的特征图,WHC表示特征图的宽,高和通道数,Iout表示生成器网络的输出,Lcontent表示内容损失。
所以,生成器的总损失为:
LG表示生成器总损失,Lvalid,Lhole,Lcontent,Lstyle,由上面定义的各部分损失,α,β,γ,δ,ε表示常量值,控制各部分损失在总损失中的比例,实际中分别取0.1,50,6,0.001,0.0001。
有益的技术效果
本方法通过深度学习的方法将红外信息与情景关注模块引入到低光增强任务中,通过与GBLIE,PIE,RetinexNet进行对比可以看到,本方法相比其他算法,我们的算法引入了红外信息,在局部低光的情况下,恢复出了更多的细节,增强的图像整体更加的自然,且算法能处理更暗的图像,这也是目前其他算法无法做到的,因此,这也直接的证明了在低光图像恢复的任务中,引入红外信息的必要性,并且模型经过训练后,在硬件的支持下,速度更快。下图中的消融实验,也直接的证明了情景关注模块的有效性。
附图说明
图1是本发明的流程图。
图2是带指导分支的U-net。
图3是带情景关注层的神经网络。
图4是情景关注层细节示意图。
图5是判别网络示意图。
图6是室外测试集对比实验的示意图。
图7是带有缺失区域的室内/外测试集对比实验的示意图。
图8是实际测试集对比实验的示意图。
图9是消融实验示意图。
具体实施方式
现结合附图详细说明本发明的特点。
参见图1,基于红外信息的低光图像增强方法,采用计算机并按如下步骤进行:
步骤1:向计算机输入低光图像和对应的红外图像。
步骤2:计算低光图像4次不同的对数log变换,及像素值为零的掩码图像。
步骤3:将步骤1红外图像,步骤2中4次对数变换图像和掩码图像输入到带指导分支的U-net网络中,通过迭代优化损失函数进行训练,得到预增强图像。
步骤4:基于步骤3获得的预增强图像,结合步骤1中红外图像和步骤二中掩码图像,输入到带有情景关注层的网络中,通过对抗训练,获得最终的增强图像。
进一步说,在步骤2中,在低光图像的基础下,通过对数log变换对低光图像进行提高亮度,经过4次不同的log变换获得初始的增强图像。
进一步说,在步骤3中,将步骤1红外图像,步骤2中4次对数变换图像和掩码图像输入到带指导分支的U-net网络中,通过迭代优化损失函数进行训练,得到预增强图像,。
进一步说,步骤4中,结合步骤1中红外图像和步骤2中掩码图像,输入到带有情景关注层的卷积神经网络中,通过对抗训练,获得最终的增强图像,最终实现基于红外信息的低光图像增强。
更进一步说,步骤2的具体步骤为:
对输入数据的处理分为对数log变换。
其中计算低光图像的对数log变换公式如下:
其中,X表示低光图像,vj+1表示对数基数,Mj表示对数变换的结果,在本方法中vj选1,10,100,300。
更进一步说,步骤3的具体步骤为:
对于利用带指导分支的U-net网络获得预增强图像其中主要包括两部分:输入图像和损失函数设计。
对于带指导分支的U-net网络输入是4次对数变换图像,红外图像和掩码图像。根据我们的目标,带指导分支的U-net网络模型损失函数由三部分组成:输入低光图像与对应标签图像的像素损失、第二部分损失是内容损失、最后一部分是指导网络输出灰度图像与真实图像灰度图像的像素损失。
对于输出与标签的损失我们定义如下:
其中,M表示和256*256单通道掩码图像,M由0或1组成,其中0的位置表示低光图像像素值不为0的位置,1的位置表示低光图像像素值为0的位置。因此Lhole表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值,而Lvalid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值。W,H,C表示标签图像的宽,高和通道数,这里要解释的是,为什么要将像素损失分成两部分的原因是:这样我们在总损失中可以适当的增加Lhole的权重,为了让网络更加关注低光图像像素值为0位置的恢复。
我们根据预训练的vgg-19网络的ReLU层产生的特征图来定义我们的内容损失,这种损失不是度量图像之间的像素差异,而是鼓励他们具有相似的特征表示,其中包括内容和感知质量的各个方面。在我们的任务中,发现内容损失能有效的提高低光图像像素值为零的区域恢复的质量,我们的内容损失定义为预增强模型输出和目标图像的特征表示之间的欧几里德距离:
其中,表示在vgg-19CNN的第n个卷积层之后获得的特征图,W,H,C表示特征图的宽,高和通道数,而Pre(Iin)表示预增强模型的输出。
关于带指导分支的U-net网络的指导分支损失,我们计算输出的灰度图像和真实图像的灰度图像的像素值损失:
其中G(Iin)表示指导网络预测得灰度图像,Igt_gray表示真实图像的灰度图像:
综上,我们预增强模型总损失可表示为:
Lpretotal=α*Lvalid+β*Lhole+γ*Lcontent+δ*Lgray (3-5)
通过迭代优化最小化目标函数训练带指导分支的U-net网络。
更进一步说,步骤4的具体步骤为:
在此阶段我们的目的是希望网络着重修复低光图像像素为0的位置。因此,我们采用生成对抗网络为主体结构,其中生成器我们采用带有情景关注层的卷积神经网络。判别器的输出是对输入的真假判断,并使用WGAN-GP损失稳定训练。
关于生成器,我们采用带有情景关注层的卷积神经网络。情景关注层主要工作是修复图像中大量缺失区域。相比较我们的任务,两者之间有区别也有联系。首先,区别在于,我们虽然同样要修复图像缺失的部分,但是在完全不知道缺失区域位置有什么的情况下需要网络给出预测,因此缺失部分已经和真实情况没有关联,而我们修复的缺失部分,必须要在红外图像的基础上给出预测。在未缺失的部分,而我们需要对未缺失部分进行提亮和增强对比度,这正是步骤3的作用。联系在于,我们的任务通过步骤3,已经将红外图像的信息和低光图像进行了融合,情景关注层可以利用周围的图像特征作为参考,所以我们利用缺失区域红外特征信息,在其他未缺失区域寻找一块近似区域进行填补,使其更接近真实情况。
关于前景关注层的细节描述。我们结合了红外特征和预增强图像特征。其中,我们利用缺失部分红外特征信息,去匹配未缺失部分,得到最近似的块,以此来获得关注度评分图,然后再通过预训练图像的特征,结合关注度评分图,重建缺失区域的特征。
关于生成器结构,除了卷积,池化操作以外,网络中情景关注层可以使用卷积计算缺失区域和非缺失区域的匹配分数,然后通过softmax进行比较并获得每个像素的注意力分数,最后通过注意力分数和预增强图像特征,利用反卷积来重建缺失部分。而其中的带有跨步卷积的分支得到的特征,最后会与带有前景关注层的分支得到的特征进行级联,这样可以限制前景关注层对未缺失区域不合理的修改。
关于判别器,我们采用WGAN-GP损失来稳定训练。判别器输入是第一阶段预增强图片像或者是对应的实际图像。
在损失函数上相比步骤3,我们增加了对抗损失、风格损失,其主要形式下面给出。
我们使用WGAN-GP损失作为对抗损失,其中判别器损失为:
LD=D(Igt)-D(Ioutput)+10*GP (4-1)
其中D表示判别器,Igt表示标签图像,Ioutput表示第二阶段网络的输出图像,GP表示惩罚项。
生成器对抗损失为:
关于分风格损失,类似于内容损失,该损失可以使网络对缺失部分产生更符合实际的结果,具体形式如下:
其中表示在vgg-19CNN的第n个卷积层之后获得的特征图,Wn,Hn,Cn表示对应第n个卷积特征的宽,高和通道数。Ioutput和Igt表示最终增强图像和对应标签图像。
所以,生成器的总损失为:
为了训练网络,我们构建了一个新的图像数据集,其中包含大量高质量,低光和对应的红外图像。我们最初的选取的都是真实场景中的图像。我们选用RGB-NIR SceneDataset。该数据集由以RGB和红外(NIR)捕获的9个类别中的477个图像组成。使用可见光和近红外滤光片,使用改进的SLR相机的单独曝光拍摄图像,其中场景类别包括:国家,田野,森林,室内,山地,旧建筑,城市,水等。首先,我们选取RGB-NIR场景数据集中RGB图像,对于每张图像我们使用随机参数降低亮度和对比度生成10个低光图片。因此,我们获得了4770张低光图片,随后,我们再对每一张低光图片的随机位置裁剪256*256*3的小块,并对每个256*256*3的小块的随机位置生成大小为70-90像素宽度的正方形像素值为零的黑块,以此来模拟黑夜中无光的位置和低光的位置,相应的我们要对RGB图像和NIR图像做相同的裁剪,以保证低光图片,RGB图片,NIR图片,三者之间是像素对齐,最后删除部分不合理的图像。经过这些处理后,我们最终获得低光,红外,RGB图像9748对。其中随机挑选266张作为测试数据,最终训练数据为9482张。
为了更好的验证我们算法的有效性,我们还选用了Semantic SegmentationDataset室内图片部分作为我们的测试集,并使用海康威视出品的型号DS-2CD2125F-IS网络摄像头,对实际低光场景进行取景,验证我们算法的鲁棒性。考虑到目前低光增强的文章,并未对缺失部分过多的关注,所有对室外测试集,室内测试集,我们都分为有缺失块和没有缺失块。以下我们会简称这三个测试集为:室外测试集,室内测试集,实际测试集。
本文方法在unbuntu环境下,训练配有NVIDIA TITAN Xp GPU,16G内存的台式机上实施。使用tensorflow对带指导分支的U-net网络进行两天的训练,带情景关注层的网络进行一天的训练。为了评估我们的方法的性能,我们使用综合测试数据,实际拍摄数据,并与最新的深度学***性,对于深度学***性。
实施例1:
图6展示的是对比算法与我们的算法在室外测试集上的表现,从图中可以清晰的显示出,相比其他算法,我们的算法在局部低光的情况下,恢复出了更多的细节。而其他算法在光线过低的区域并没有很好的起到作用。因此,这也直接的证明了在低光图像恢复的任务中,引入红外信息的必要性
实施例2:
如图7所示,目前的低光图像增强算法都还为考虑过极度低光的情况,而我们的算法由于引入红外的信息,很好的解决了在极低光线下,获得的图像局部缺失的问题。为了更好的展示这一点,我们对测试集不仅进行降低亮度和对比度操作,而且随机的在图像上选取2到3个位置,使其产生一个50到70像素长度的正方形缺失块(令像素值为0),以此来模拟极度低光的情况。由于对比算法并不能很好的对缺失区域产生很好的恢复,因此我们将不再展示对比算法在带有缺失区域的图像效果图。
实施例3:
图8展示了我们的消融实验。如图3带有情景关注层的网络中,我们设计了双分支结构:其中一支为带有前景关注层,其主要功能是重建缺失区域的特征。第二支带有多层的扩张卷积,其功能是增加网络的感受野。为了更好的展示前景关注层的工作情况,我们分别在第一阶段网络不变的情况下,删除第二阶段网络一支,以此来观察输出结果的变化。
实施例4:
图9展示了我们方法在实际图像中的效果。上面的实验部分,都是在模拟数据上的结果,并不能确定在实际使用中算法的性能,这部分我们将使用海康威视出品的型号DS-2CD2125F-IS网络摄像头,拍摄实际图片和对应的红外图像来验证算法的性能。
定量分析
关于定量实验,我们在户外测试集和室内测试集上进行比较,两个测试集都是模拟数据,其中两个测试集,我们都分为带缺失块和不带缺失块。由于实际低光图像,采集对应的自然光图像比较困难,无法定量比较,所以我们只在模拟数据上进行定量比较。
运用模拟数据的优势就是有对应的标签图像,我们将室内测试集分为带缺失块和不带缺失块两部分,分别计算SSIM和PSNR,来评判图像增强的质量。
表1各对比算法在室内测试集上SSIM/PSNR统计值
表1中我们呈现各对比算法在室内测试集上的SSIM和PSNR数值,传统方法相比深度学习方法没有优势。在无缺失数据上,我们的算法和其他深度学习算法差距不大,而在数据中存在缺失块时,我们的算法提现出了巨大的优势
表2各对比算法在室外测试集上SSIM/PSNR统计值
通过对户外测试集的比较,同意体现出了我们算法在带有缺失区域的强大恢复能力。
本文提出一种端到端的两阶段的神经网络模型来融合低光和红外信息增强图像,以到达增强低光图片的目的。首先,我们发现低光图片,由于光线较低造成局部信息丢失,单纯的增强低光图片,无法补充丢失的信息。受此问题的启发,我们考虑结合低光下红外图像,两个状态下的信息相互补充。整个模型中,我们在第一阶段对图像像素不为零区域,进行亮度和对比度提升。在网络的第二部分运用前景关注模块,重建缺失区域的图像,以此最终获得完整的亮图像。
Claims (4)
1.基于红外信息的低光图像增强方法,其特征在于,采用计算机并按如下步骤进行:
步骤1:向计算机输入低光图像和红外图像,低光图像和红外图像一一对应;
步骤2:对步骤1的低光图像进行4次对数log变换,每进行一次对数log变换就获得一个log变换图像;掩码图像是和步骤1所输入的低光图像相同尺寸的单通道图像,用1表示步骤1中低光图像中像素为0的点,0表示步骤1中低光图像非零的点;
步骤3:将步骤1中的红外图像,步骤2中4张log变换图像、1张掩码图像按通道合并作为U-net网络输入,通过优化损失函数训练U-net网络,利用训练完成的U-net网络得到预增强图像;所述U-net网络带有指导分支;所述指导分支是指对公用网络做的修改;迭代优化损失函数,是指迭代训练U-net网络,步骤3的具体步骤为:
对于利用带指导分支的U-net网络获得预增强图像其中主要包括两部分:输入图像和损失函数设计;
整个带指导分支的U-net网络结构由输入层、卷积层、激活函数、池化层、反卷积、级联及输出层组成;该网络的输入层是多张图像通道叠加产生,每一层输入通过卷积核的卷积后通过激活函数得到特征图,同一个特征图是由相同的权重卷积得到;每层卷积核的个数决定了该层的特征图个数;池化层利用图像局部相关性原理,对图片进行缩小,可以在减少数据的处理量的同时保留有用的信息;所以对前一层的特征图进行池化操作,得到的特征图个数不变,但尺寸变小;
其中U-net网络是深度学习框架,此处使用的带指导分支的U-net网络,相比公共U-net网络我们添加了一个分支;
本步骤中的网络输入是:四张log变换图像、红外图像、掩码图像,并进行通道合并,所以数据维度是256*256*14;
第一次卷积时是用32个3*3*14的卷积核,卷积两次,得到32个与原始数据同样大小的特征图,即256*256*32,接着是池化层,用2*2的池化核将前面得到的特征图缩小了一半,即128*128*32;
第二次卷积是64个3*3*32的卷积核,卷积两次,得到64个缩小后的特征图,即128*128*64,接着是池化层,又将上述的特征图缩小了一半,即64*64*64;
第三次卷积是128个3*3*64的卷积核,卷积两次,得到128个特征图,即64*64*128,接着是池化层,又将上述的特征图缩小了一半,即32*32*128;
第四次卷积是256个3*3*128的卷积核,卷积两次,得到256个特征图,即64*64*256,接着是池化层,又将上述的特征图缩小了一半,即16*16*256;
第五次卷积是512个3*3*256的卷积核,卷积两次,得到512个特征图,即16*16*512;
到此模型的编码过程结束,接下来网络分成两个分支:第一分支、第二分支;
第一分支,为带级联的分支,此分支输出预增强图像,具体步骤如下:
首先将第五次卷积的特征16*16*512经反卷积变换到32*32*256,并与第四次池化前特征进行级联生成32*32*512特征图,接着用256个3*3*512卷积核卷积两次,获得32*32*256特征;
接着将上面32*32*256特征经反卷积变换到64*64*128,并与第三次池化前特征进行级联生成64*64*256特征图,接着用128个3*3*256卷积核卷积两次,获得64*64*128特征;
接着将上面64*64*128特征经反卷积变换到128*128*64,并与第三次池化前特征进行级联生成128*128*128特征图,接着用64个3*3*128卷积核卷积两次,获得128*128*64特征;
接着将上面128*128*64特征经反卷积变换到256*256*32,并与第三次池化后特征进行级联生成256*256*64特征图,接着用32个3*3*64卷积核卷积两次,获得256*256*32特征,在经过16个3*3*64卷积进行卷积,获得256*256*16特征图;
最终通过3个3*3*16卷积核获得256*256*3尺寸的预增强图片;
第二分支具体步骤如下:
首先将第五次卷积的特征16*16*512经反卷积变换到32*32*256,接着用256个3*3*256卷积核卷积,获得32*32*256特征;
接着将上面32*32*256特征经反卷积变换到64*64*128,接着用128个3*3*128卷积核卷积,获得64*64*128特征;
接着将上面64*64*128特征经反卷积变换到128*128*64,接着用64个3*3*64卷积核卷积两次,获得128*128*64特征;
接着将上面128*128*64特征经反卷积变换到256*256*32;
最终通过一个3*3*32卷积核卷积得到256*256*1的灰度图像;
以上就是整个带指导分支的U-net网络,输出为预增强图像和灰度图像;
构建带指导分支的U-net网络的模型损失函数,由三部分损失组成:第一部分损失为低光图像与对应标签图像的像素损失,第二部分损失是内容损失,第三部分损失是指导网络输出灰度图像与真实图像灰度图像的像素损失;
第一部分损失:
即第一部分低光图像与对应自然光下图像的像素损失,具体定义如下:
其中,M表示和256*256单通道掩码图像,M由0或1组成,其中0的位置表示低光图像像素值不为0的位置,1的位置表示低光图像像素值为0的位置;Lholt表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值;Lvalid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值;WHC分别表示标签图像的宽、高和通道数,Iout表示带分支U-net网络输出的预增强图像,Igt表示输入的原低光图像对应的自然光下的图像;将第一部分低光图像与对应标签图像的像素损失分成两部分:通过在总损失中适当的增减Lhole的权重,平衡低光图像像素值为0的位置和非0位置的损失比例;
第二部分损失:
将带指导分支U-net网络输出的预增强图像输入vgg-19网络,计算产生的特征图来定义内容损失,这种损失不是度量图像之间的像素差异,而是鼓励他们具有相似的特征表示;将内容损失定义为带指导分支的U-net网络输出和目标图像的特征表示之间的欧几里德距离:
其中,表示在vgg-19CNN的第n个卷积层之后获得的特征图,WHC表示特征图的宽,高和通道数,而Pre()表示带指导分支U-net网络,Iin表示带指导分支U-net网络输入,Lcontent表示内容损失;
第三部分损失:
即关于带指导分支的U-net网络的指导分支损失,为输出的灰度图像和真实图像的灰度图像的像素值损失Lguide:
其中G(Iin)表示带指导分支U-net网络预测的灰度图像,Iin表示带指导分支U-net网络的输入,Igt_gray表示真实图像的灰度图像,WHC表示图像的宽,高和通道数;
综上,带指导分支的U-net网络总损失可表示为:
通过迭代优化最小化目标函数训练带指导分支的U-net网络,α,β,γ,δ表示常量值,控制各部分损失在总损失中的比例,实际中分别取1,6,0.1,1;
步骤4:基于步骤3获得的预增强图像,结合步骤1中红外图像和步骤2中掩码图像,输入到带有情景关注层的网络中,此步骤中,带前景关注层的网络是一个双分支网络,其中一个分支带有情景关注层,另一分支为扩张卷积层;其中,情景关注层是结合红外信息和低光信息重建低光图像像素为0的点;随后再通过对抗网络训练模式,获得最终的增强图像,并输出;所述对抗网络训练是指GAN网络对抗训练模式。
2.根据权利要求1所述的基于红外信息的低光图像增强方法,其特征在于,在步骤2中,在低光图像的基础下,通过对数log变换对低光图像进行提高亮度,经过4次不同的log变换获得初始的增强图像;其中低光图像是指在低光环境下拍摄得到的图像,图像特点为亮度低,对比度低,以至于在图像中存在局部信息丢失的情况;局部信息丢失,是指像素为0;log变换为传统的图像增强算法,采用1、10、100和300,这4种不同的参数获得原低光图像的4张增强图像,其中的掩码图像是与原低光图像同宽高的单通道二值图像,其中1表示原图像像素为0的点,0表示原图像像素非0的点。
3.根据权利要求1所述的基于红外信息的低光图像增强方法,其特征在于,在步骤3中,将分别由步骤1和步骤2中4张log变换图像、红外图像、掩码图像按通道合并作为U-net网络输入,通过优化损失函数进行训练U-net网络,利用训练完成的U-net网络得到预增强图像;其中红外图像是摄像机在红外模式下获得的,并与低光图像像素对应。
4.根据权利要求1所述的基于红外信息的低光图像增强方法,其特征在于,步骤4中,将步骤3中获得的预增强图像,结合步骤1中红外图像和步骤2中掩码图像,输入到新的双分支网络中,其中一个分支将红外图像进行卷积池化操作,获得红外特征图,另一个分支将输入的预增强图像进行卷积池化操作,获得预增强图像特征;将红外特征图,预增强图像特征以及掩码图像一同输入到前景关注层中,以此获得重建后的特征;预增强图像特征再经过四层不同的扩张卷积层,扩张率分别为2,4,8,16;最终将重建后的特征和最后一层扩张卷积层特征进行级联,经过反卷积输出最终的增强结果;最终实现基于红外信息的低光图像增强,该双分支网络采用对抗模式进行训练,为了让网络训练更稳定,采用具有梯度惩罚项的WGAN-GP损失形式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911125919.2A CN110889813B (zh) | 2019-11-15 | 2019-11-15 | 基于红外信息的低光图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911125919.2A CN110889813B (zh) | 2019-11-15 | 2019-11-15 | 基于红外信息的低光图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110889813A CN110889813A (zh) | 2020-03-17 |
CN110889813B true CN110889813B (zh) | 2023-11-24 |
Family
ID=69747755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911125919.2A Active CN110889813B (zh) | 2019-11-15 | 2019-11-15 | 基于红外信息的低光图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110889813B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111415311B (zh) * | 2020-03-27 | 2023-03-14 | 北京航空航天大学杭州创新研究院 | 资源节约型图像质量增强模型 |
CN111429436B (zh) * | 2020-03-29 | 2022-03-15 | 西北工业大学 | 一种基于多尺度注意力和标签损失的本质图像分析方法 |
CN111489323B (zh) * | 2020-04-09 | 2023-09-19 | 中国科学技术大学先进技术研究院 | 双光场图像融合方法、装置、设备及可读存储介质 |
CN111612723B (zh) * | 2020-05-28 | 2022-08-09 | Oppo(重庆)智能科技有限公司 | 图像修复方法及装置 |
CN111667434B (zh) * | 2020-06-16 | 2023-05-09 | 南京大学 | 一种基于近红外增强的弱光彩色成像方法 |
CN111738948B (zh) * | 2020-06-19 | 2022-09-20 | 大连理工大学 | 一种基于双U-net的水下图像增强方法 |
CN111951177B (zh) * | 2020-07-07 | 2022-10-11 | 浙江大学 | 一种基于图像超分辨损失函数的红外图像细节增强方法 |
CN111835983B (zh) * | 2020-07-23 | 2021-06-29 | 福州大学 | 一种基于生成对抗网络的多曝光图高动态范围成像方法及*** |
CN111899193B (zh) * | 2020-07-30 | 2024-06-14 | 湖北工业大学 | 一种基于低照度图像增强算法的刑侦摄影***及方法 |
CN111915522A (zh) * | 2020-07-31 | 2020-11-10 | 天津中科智能识别产业技术研究院有限公司 | 一种基于注意力机制的图像修复方法 |
CN112215767B (zh) * | 2020-09-28 | 2023-03-14 | 电子科技大学 | 一种抗块效应的图像视频增强方法 |
CN114830627B (zh) * | 2020-11-09 | 2024-07-09 | 谷歌有限责任公司 | 对可见光图像进行重照明的成像***和方法 |
CN112819707B (zh) * | 2021-01-15 | 2022-05-03 | 电子科技大学 | 一种端到端抗块效应低照度图像增强方法 |
CN112991200B (zh) * | 2021-02-08 | 2024-02-02 | 中国科学院西安光学精密机械研究所 | 一种红外图像自适应增强的方法与装置 |
CN113469177B (zh) * | 2021-06-30 | 2024-04-26 | 河海大学 | 基于深度学习的排水管道缺陷检测方法及*** |
CN113592752B (zh) * | 2021-07-12 | 2023-06-23 | 四川大学 | 一种基于对抗网络的道路交通光污损图像增强方法及装置 |
CN113744164B (zh) * | 2021-11-05 | 2022-03-15 | 深圳市安软慧视科技有限公司 | 一种快速夜间低照度图像增强方法、***及相关设备 |
CN114581337B (zh) * | 2022-03-17 | 2024-04-05 | 湖南大学 | 一种结合多尺度特征聚合和提升策略的低光图像增强方法 |
CN117189071A (zh) * | 2023-11-07 | 2023-12-08 | 克拉玛依市远山石油科技有限公司 | 岩心钻探钻机运行的自动化控制方法 |
CN117211758B (zh) * | 2023-11-07 | 2024-04-02 | 克拉玛依市远山石油科技有限公司 | 用于浅孔取芯的智能钻进控制***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853492A (zh) * | 2010-05-05 | 2010-10-06 | 浙江理工大学 | 一种夜视微光图像与红外图像融合方法 |
CA2759931A1 (en) * | 2010-12-13 | 2012-06-13 | Research In Motion Limited | System and method of capturing low-light images on a mobile device |
CN109035189A (zh) * | 2018-07-17 | 2018-12-18 | 桂林电子科技大学 | 基于柯西模糊函数的红外与弱可见光图像融合方法 |
CN109614996A (zh) * | 2018-11-28 | 2019-04-12 | 桂林电子科技大学 | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 |
-
2019
- 2019-11-15 CN CN201911125919.2A patent/CN110889813B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853492A (zh) * | 2010-05-05 | 2010-10-06 | 浙江理工大学 | 一种夜视微光图像与红外图像融合方法 |
CA2759931A1 (en) * | 2010-12-13 | 2012-06-13 | Research In Motion Limited | System and method of capturing low-light images on a mobile device |
CN109035189A (zh) * | 2018-07-17 | 2018-12-18 | 桂林电子科技大学 | 基于柯西模糊函数的红外与弱可见光图像融合方法 |
CN109614996A (zh) * | 2018-11-28 | 2019-04-12 | 桂林电子科技大学 | 基于生成对抗网络的弱可见光与红外图像融合的识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110889813A (zh) | 2020-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110889813B (zh) | 基于红外信息的低光图像增强方法 | |
CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
Golts et al. | Unsupervised single image dehazing using dark channel prior loss | |
CN111047522B (zh) | 一种基于边缘生成的图像修复方法 | |
CN111582199B (zh) | 一种人脸识别模型训练方法和人脸识别方法 | |
CN110675328A (zh) | 基于条件生成对抗网络的低照度图像增强方法及装置 | |
CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
CN109255758A (zh) | 基于全1*1卷积神经网络的图像增强方法 | |
Yan et al. | Enhanced network optimized generative adversarial network for image enhancement | |
CN111612722B (zh) | 基于简化Unet全卷积神经网络的低照度图像处理方法 | |
CN109472193A (zh) | 人脸检测方法及装置 | |
CN113392711B (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及*** | |
CN111709900A (zh) | 一种基于全局特征指导的高动态范围图像重建方法 | |
CN112651917A (zh) | 一种基于生成对抗网络的空间卫星低照度图像增强方法 | |
CN111626951A (zh) | 一种基于内容感知信息的图像阴影消除方法 | |
CN113706406A (zh) | 基于特征空间多分类对抗机制的红外可见光图像融合方法 | |
Dong et al. | Semi-supervised domain alignment learning for single image dehazing | |
CN115393225A (zh) | 一种基于多层次特征提取融合的低光照图像增强方法 | |
CN114627269A (zh) | 一种基于深度学***台 | |
CN114897742A (zh) | 一种纹理和结构特征两次融合的图像修复方法 | |
CN114943894A (zh) | 一种基于ConvCRF的高分遥感影像建筑物提取优化方法 | |
CN112102214B (zh) | 一种基于直方图与神经网络的图像去雾方法 | |
Dwivedi et al. | Single image dehazing using extended local dark channel prior | |
CN110930343A (zh) | 基于sr-mdcnn的遥感图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |