CN112767286A - 一种基于密集深度学习的暗光图像自适应增强方法 - Google Patents

一种基于密集深度学习的暗光图像自适应增强方法 Download PDF

Info

Publication number
CN112767286A
CN112767286A CN202110251337.XA CN202110251337A CN112767286A CN 112767286 A CN112767286 A CN 112767286A CN 202110251337 A CN202110251337 A CN 202110251337A CN 112767286 A CN112767286 A CN 112767286A
Authority
CN
China
Prior art keywords
illumination
map
network
image
reflectivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110251337.XA
Other languages
English (en)
Inventor
许鹏程
年晓红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110251337.XA priority Critical patent/CN112767286A/zh
Publication of CN112767286A publication Critical patent/CN112767286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于密集深度学习的暗光图像自适应增强方法,属于计算机视觉领域。本发明提出的密集深度卷积神经网络模型包含了四个子网络模型,可以实现对暗光图像局部自适应照度增强、噪声消除、失真修复、语义修复。本发明首先将暗光图像通过分解网络进行反射率图和照度图的分解;接着结合经MAMI模块得到的照度图指导信息和残差思想,来学习分解得到的反射率图中空间较小的噪声分量,进行降噪;然后通过两层的密集卷积神经网络和带语义恢复项的损失函数来恢复反射率图的语义信息,修复颜色失真等;将待增强照度图与目标照度图的比例信息和待增强照度图的梯度信息引入照度调节网络中,实现灵活调节全局亮度和自适应增强局部亮度;最后将增强后的照度图与恢复后的反射率图合成得到目标图像。此发明能够自适应调节图像亮度的同时,去除噪声、修复失真和语义,使得增强后的图像不仅在图像美学评价指标上表现优异,在很多计算机视觉任务中也表现优于其他方法。

Description

一种基于密集深度学习的暗光图像自适应增强方法
技术领域
发明涉及一种基于密集深度学习的暗光图像自适应增强方法,用于对暗光环境下的图像进行语义恢复和自适应增强,实现暗光图像的光照增强、噪声消除、失真修复、语义修复,属于计算机视觉领域。
背景技术
近年来,互联网和智能终端等软硬件飞速发展,图像成为一个庞大而重要的数据资源。众所周知,图像信息在人们的生产生活中发挥着巨大的作用,它作为重要的信息载体,促进着信息的交流,帮助人们更直观的认知这个世界。但是在实际生活中,由于受到自然条件以及技术条件的限制,海量的图像数据中存在着大量暗光图像。这些暗光图像中存在亮度低、可视性差、噪声、失真等问题,难以达到人们对图像质量的需求,更是严重影响了后续的计算机视觉算法的使用,如目标检测、实例分割等。
为了解决这些问题,有很多暗光图像增强技术已经被提出来了,有基于滤波的方法,有基于分解的方法,也有基于深度学习的方法。虽然这些方法在感官上提升了图像的质量,却忽略了“机器”的感受。这些方法在增强图像可视性的同时,引入各种非自然效应,例如局部过度增强、颜色失真,最致命的是这些方法都忽略了图像语义的恢复,这是计算机视觉算法理解图像的关键所在。
因此,解决暗光图像的自适应增强和语义恢复变成重中之重。深度学习技术随着硬件不断的发展也迅速崛起,利用不断加深的卷积神经网络来实现复杂映射,并通过反向梯度传播来不断优化这个网络模型,最终得到一个准确、复杂的映射。深度学习充分利用大量数据和硬件算力,能够不断迭代更新,且不需要精准的先验模型,这使得自适应增强暗光图像,消除局部过度增强,恢复图像语义变成可能。
因此,为了让暗光环境下的图像在计算机视觉任务中也能被广泛、有效的使用,基于深度学习的暗光图像的自适应增强研究变得十分重要和有意义。
发明内容
本发明的目的是设计一种基于密集深度学习的暗光图像自适应增强方法,旨在解决局部过度增强、失真等非自然效应和恢复图像深层语义,使得暗光图像不仅在人类观感指标上得到提升,在计算机视觉算法中也能被轻易使用。
本发明的技术方案为:首先准备训练数据集、验证数据集、测试数据集;然后进行密集深度卷积神经网络模型的设计,包括分解网络,降噪网络,恢复网络,梯度自适应照度调节网络;然后设计用于训练模型的损失函数;训练分解网络得到反射率和照度图,训练降噪网络得到降噪后的反射率图,训练回复网络得到语义恢复、失真修复的反射率图,训练梯度自适应照度调节网络得到可灵活调节整体照度和局部照度的照度图;最后将修复后的照度图和反射率图合成。具体过程如下:
数据集准备阶段,用于训练网络模型的数据集是由正常光照图像和低光照图像的图像对形式构成的,正常光照下的图像作为训练的标签,低光照图像作为网络模型的输入。保证数据集质量的同时,为节约时间成本,一部分图像对中的低光照图像是经过相机调节曝光程度后拍摄的。
密集深度卷积神经网络模型设计阶段,密集深度卷积神经网络模型由4个子网络组成,分别是分解网络、降噪网络、恢复网络、梯度自适应照度调节网络。分解网络是受Retinex理论启发设计的,利用密集卷积神经网络能够充分利用所有上下文信息的特征,将原始图像解耦成为反射率图和照度图;降噪网络由密集卷积神经网络、残差连接、多深度注意力模块(MAMI)模块组成,旨在以照度为指导,噪声分量为残差量,将反射率图中的噪声分量去除;恢复网络采用两个残差密集卷积神经网络块组成,并融合分解网络的浅层语义特征来恢复图像的语义信息、去除失真;梯度自适应照度调节网络则采用照度图的梯度信息和标签照度图的比例信息作为调节低光照图像的关键,调节子网络由4层简单的卷积神经网络组成。附图中分别展示了各个子网络的结构和整体模型的结构。
损失函数设计阶段,分别针对分解网络、降噪网络、恢复网络、梯度自适应照度调节网络设计了相应的损失函数,在分解损失函数中设计了相似度损失、平滑度损失、重构损失;降噪损失函数中设计了MSE损失;恢复损失函数中设计了结构一致性损失、语义恢复损失、相似度损失;调节损失函数中设计了梯度一致性损失。
具体训练阶段,使用硬件Nvidia GTX 2080Ti GPU和Intel Core i7-9700k CPU,Adam训练策略,在TensorFlow框架下训练模型。
附图说明
图1为本方法所提出模型的分解子网络结构图;
图2为本方法所提出模型的降噪子网络结构图;
图3为本方法所提出模型的注意力模块结构图;
图4为本方法所提出模型的恢复子网络结构图;
图5为本方法所提出模型的梯度自适应照度调节子网络结构图;
图6为本方法所提出模型的整体结构图。
具体实施方式
本发明设计的一种基于密集深度学习的暗光图像自适应增强方法,具体实现过程如下:
步骤1:针对暗光图像数据集,不仅需要暗光图像,即光照不均匀、光照不足的图像,还需要对应场景下的正常光照的图像作为训练模型的标签。换句话说,训练集是以图像对的形式组成对的。首先,使用具有调节曝光程度的相机拍摄室内、室外正常光照场景,并在相应场景下调节曝光程度,拍摄真实场景下的低曝光图像;为了模型的鲁棒性,在相应的场景下拍摄正常曝光程度的低光照图像,即自然光照不足、不均匀的图像。再收集完数据之后,以8:1:1的比例划分训练数据集、验证数据集、测试数据集。
步骤2:根据Retinex理论和带噪声的分解模型,设计了能够充分利用上下文信息的密集深度卷积神经网络模型和相应的损失函数,不仅能够很好地利用浅层特征修复机构性信息,还能利用深层特征修复破损的语义信息,同时还能灵活地调节局部和全局照度。Retinex模型和带噪声模型数学公式表示如下:
Figure BDA0002966199720000021
Figure BDA0002966199720000022
其中,S表示原始图像,R表示分解出来的反射率图,L表示分解出来的照度图,N表示噪声分量。该网络模型包括4个子网络,分别是分解网络、降噪网络、恢复网络、梯度自适应照度调节网络。损失函数设计包括4个子网络的损失函数,分解损失Ldec,降噪Lden,恢复损失Lres,自适应调节损失Ladj
步骤2.1:分解网络。该网络模型使用5层卷积密集连接而成,使得上下文信息被充分传递,同时使用残差连接防止梯度消失、优化训练,得到第一层密集卷积神经网络的特征F1,最后由F1分支产生反射率图和照度图。使用训练集图像对[Sl,Sh]分别输入分解网络,得到正常光照图像的反射率图Rh和照度图Lh,低光照图像的反射率图Rl和照度图Ll,利用重构损失、相似度损失、平滑度损失来约束分解结果,最后得到既保留重要结构信息,又相对平滑的照度图和含有更多细节信息,但也有大量噪声的反射率图。分解损失Ldec数学公式如下:
Figure BDA0002966199720000031
其中,
Figure BDA0002966199720000032
表示Ll对应的梯度图,
Figure BDA0002966199720000033
表示Lh对应的梯度图,
Figure BDA0002966199720000034
表示Sl对应的梯度图,
Figure BDA0002966199720000035
表示Sh对应的梯度图,||·||2表示L2范式,||·||1表示L1范式。
步骤2.2:降噪网络。该网络的设计由一个4层卷积密集连接和照度图注意力模块组成,将空间较小的噪声分量作为学习对象,这样不仅利用了照度图注意力模块(MAMI)对噪声学习的指导作用,也降低了学习的难度。其中MAMI模块是一个4层简单卷积组成的轻量级注意力提取网络。将步骤2.1中的Rl送入降噪网络,Ll送入MAMI模块,并使用步骤2.1中的Rh和降噪损失来监督学习。降噪损失Lden数学公式如下:
Figure BDA0002966199720000036
其中,
Figure BDA0002966199720000037
表示降噪后的反射率图。
步骤2.3:恢复网络。该网络既要修复仍然存在失真,又要恢复因分解网络解耦而破损的语义,所以需要充分利用从浅层到深层的所有特征。所以,将步骤2.2中得到的Rl送入恢复网络,采用2个残差密集卷积神经网络块提取特征,每个网络块都是采用4层密集卷积和残差连接的结构,并使用照度图注意力融合两个网络块的输入进行训练,其输出就是第二层和第三层密集卷积神经网络的特征F2,F3。最后,融合三层特征信息,并通过卷积层和Sigmoid层输出恢复后的反射率图Rres。恢复损失Lres数学公式如下:
Figure BDA0002966199720000038
其中,
Figure BDA0002966199720000039
表示恢复后的反射率图,SSIM(·)表示两个反射率图的结构相似度函数,Φi(·)表示VGG-16网络的第i层特征图。恢复损失使用同为神经网络的VGG-16的特征提取来模拟计算机视觉算法提取特征的过程,配合三层融合的特征信息,使得恢复网络最后输出的反射率图既消除了大量噪声又修复了语义和失真。
步骤2.4:梯度自适应照度调节网络。该网络由4层普通卷积和一层Sigmoid构成,旨在利用标签照度与输入的低照度图的比例
Figure BDA0002966199720000041
和低照度图梯度
Figure BDA0002966199720000042
学习具有灵活调节光照等级的能力并能自适应局部照度增强的映射模型。将步骤2.1中的低照度图Ll融合比例
Figure BDA0002966199720000043
和照度图梯度
Figure BDA0002966199720000044
信息,输入到调节网络中,得到调整后的照度图Lbr。调节损失Ladj数学公式如下:
Figure BDA0002966199720000045
其中,
Figure BDA0002966199720000046
表示调节后的照度图,
Figure BDA0002966199720000047
表示调节后的照度图的梯度图。
步骤3:将经过修复的反射率图,即步骤2.3中得到的Rres与经梯度自适应调节后的照度图Lbr进行Retinex方式
Figure BDA0002966199720000048
合成得到最后的增强结果Senh,得到的增强结果不仅符合图像美学评价,而且在各个计算机视觉任务中也得到很好的表现。

Claims (6)

1.一种基于密集深度学习的暗光图像自适应增强方法。其特征在于,设计了一个密集深度卷积神经网络模型来自适应增强,首先采用密集卷积神经网络进行低光照图像分解,获得低光照图像的反射率图和照度图;再通过所获得的照度图和MAMI模块来指导降噪网络来对所获得的反射率图进行降噪,得到降噪后的反射率图;接着将降噪后的反射率图通过恢复网络来进一步去噪、修复失真、修复语义,得到恢复后的反射率图;然后将分解得到的照度图通过梯度自适应照度调节网络来调整照度图,得到局部自适应增强的照度图;最后将增强后的照度图与恢复后的反射率图合成得到目标图像。
2.根据权利要求1所述的一个密集深度卷积神经网络模型和相应的损失函数,其特征在于,所述模型包括四个子网络模型和相对应的损失函数:
1)采用密集卷积神经网络、残差结构和分解损失函数的分解网络模型;
2)采用残差思想和降噪损失函数学习噪声分量的降噪网络模型;
3)采用密集卷积神经网络块和带语义恢复的损失函数的恢复网络模型;
4)采用照度梯度信息和自适应梯度照度调节损失函数的调节网络模型。
3.根据权利要求2所述的分解网络模型,其特征在于,采用密集卷积神经网络来提取深度特征信息,引入残差连接结构优化梯度传播和训练,并设计分解损失函数。
4.根据权利要求2所述的降噪网络模型,其特征在于,采用密集卷积神经网络和残差思想,并使用注意力模块MAMI来指导残差噪声的学习,并设计降噪损失函数。
5.根据权利要求2所述的恢复网络模型,其特征在于,采用两个密集卷积神经网络和残差结构,融合各层次特征信息来恢复反射率图,并设计一个恢复语义特征的损失函数来修复图像语义,使得本模型恢复出来的反射率图在诸多计算机视觉任务中表现优于其他方法所恢复的反射率图。
6.根据权利要求2所述的梯度自适应照度调节网络模型,其特征在于,引入了照度图的梯度图信息来实现局部自适应增强,避免过度增强,同时引入目标照度与低照度的比例信息来实现灵活调节整体照度。
CN202110251337.XA 2021-03-08 2021-03-08 一种基于密集深度学习的暗光图像自适应增强方法 Pending CN112767286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110251337.XA CN112767286A (zh) 2021-03-08 2021-03-08 一种基于密集深度学习的暗光图像自适应增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110251337.XA CN112767286A (zh) 2021-03-08 2021-03-08 一种基于密集深度学习的暗光图像自适应增强方法

Publications (1)

Publication Number Publication Date
CN112767286A true CN112767286A (zh) 2021-05-07

Family

ID=75690810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110251337.XA Pending CN112767286A (zh) 2021-03-08 2021-03-08 一种基于密集深度学习的暗光图像自适应增强方法

Country Status (1)

Country Link
CN (1) CN112767286A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192055A (zh) * 2021-05-20 2021-07-30 中国海洋大学 一种合成图像的和谐化方法及模型
CN113256528A (zh) * 2021-06-03 2021-08-13 中国人民解放军国防科技大学 基于多尺度级联深度残差网络的低照度视频增强方法
CN113744164A (zh) * 2021-11-05 2021-12-03 深圳市安软慧视科技有限公司 一种快速夜间低照度图像增强方法、***及相关设备
CN114004761A (zh) * 2021-10-29 2022-02-01 福州大学 一种融合深度学习夜视增强与滤波降噪的图像优化方法
CN114399431A (zh) * 2021-12-06 2022-04-26 北京理工大学 一种基于注意力机制的暗光图像增强方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192055A (zh) * 2021-05-20 2021-07-30 中国海洋大学 一种合成图像的和谐化方法及模型
CN113192055B (zh) * 2021-05-20 2023-01-17 中国海洋大学 一种合成图像的和谐化方法及模型
CN113256528A (zh) * 2021-06-03 2021-08-13 中国人民解放军国防科技大学 基于多尺度级联深度残差网络的低照度视频增强方法
CN113256528B (zh) * 2021-06-03 2022-05-27 中国人民解放军国防科技大学 基于多尺度级联深度残差网络的低照度视频增强方法
CN114004761A (zh) * 2021-10-29 2022-02-01 福州大学 一种融合深度学习夜视增强与滤波降噪的图像优化方法
CN113744164A (zh) * 2021-11-05 2021-12-03 深圳市安软慧视科技有限公司 一种快速夜间低照度图像增强方法、***及相关设备
CN114399431A (zh) * 2021-12-06 2022-04-26 北京理工大学 一种基于注意力机制的暗光图像增强方法
CN114399431B (zh) * 2021-12-06 2024-06-04 北京理工大学 一种基于注意力机制的暗光图像增强方法

Similar Documents

Publication Publication Date Title
CN112767286A (zh) 一种基于密集深度学习的暗光图像自适应增强方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN112767468A (zh) 基于协同分割与数据增强的自监督三维重建方法及***
CN113313644B (zh) 一种基于残差双注意力网络的水下图像增强方法
CN113052814B (zh) 基于Retinex和注意力机制的暗光图像增强方法
CN111738948B (zh) 一种基于双U-net的水下图像增强方法
CN114066747B (zh) 一种基于光照和反射互补性的低照度图像增强方法
CN114627006B (zh) 一种基于深度解耦网络的渐进式图像修复方法
CN113034413B (zh) 一种基于多尺度融合残差编解码器的低照度图像增强方法
CN111161360A (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN115829876A (zh) 一种基于交叉注意力机制的真实退化图像盲修复方法
CN116958534A (zh) 一种图像处理方法、图像处理模型的训练方法和相关装置
CN115953311A (zh) 基于Transformer的多尺度特征表示的图像去雾方法
CN114862697A (zh) 一种基于三维分解的人脸盲修复方法
CN117036171A (zh) 单幅图像的蓝图可分离残差平衡蒸馏超分辨率重建模型及方法
Liang et al. Multi-scale and multi-patch transformer for sandstorm image enhancement
CN116503286A (zh) 一种基于Retinex理论的低光照图像增强方法
CN116645281A (zh) 一种基于多阶段拉普拉斯特征融合的微光图像增强方法
CN116452431A (zh) 基于多分支渐进式深度网络的弱光图像增强方法
Kumar et al. Underwater image enhancement using deep learning
CN115829868A (zh) 基于光照与噪声残差图的水下暗光图像增强方法
CN115376066A (zh) 一种基于改进CycleGAN的机场场面目标检测多天气数据增强方法
CN114862707A (zh) 一种多尺度特征恢复图像增强方法、装置及存储介质
CN114140334A (zh) 一种基于改进生成对抗网络的复杂煤矿图像去雾方法
CN115705493A (zh) 一种基于多特征注意力神经网络的图像去雾建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication