CN113450290B - 基于图像修补技术的低照度图像增强方法及*** - Google Patents

基于图像修补技术的低照度图像增强方法及*** Download PDF

Info

Publication number
CN113450290B
CN113450290B CN202111017628.9A CN202111017628A CN113450290B CN 113450290 B CN113450290 B CN 113450290B CN 202111017628 A CN202111017628 A CN 202111017628A CN 113450290 B CN113450290 B CN 113450290B
Authority
CN
China
Prior art keywords
image
noise
representing
illumination
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111017628.9A
Other languages
English (en)
Other versions
CN113450290A (zh
Inventor
江卓龙
冷聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Original Assignee
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Fangcun Zhiwei Nanjing Technology Co ltd filed Critical Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Priority to CN202111017628.9A priority Critical patent/CN113450290B/zh
Publication of CN113450290A publication Critical patent/CN113450290A/zh
Application granted granted Critical
Publication of CN113450290B publication Critical patent/CN113450290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于图像修补技术的低照度图像增强方法及***，图像增强方法步骤如下：步骤1、采集图像数据，并对所述图像数据进行预处理；步骤2、构建分解网络模型，将预处理后的图像数据导入至所述分解网络模型中；步骤3、生成噪声图Mask；步骤4、构建恢复网络，对分解后的图像数据进行色彩增强及细节恢复；步骤5、构建选择核增强模块，扩大图像的感受野；步骤6、构建图像修补模块，对图像空洞进行修补，扩充有效信息。本发明将图像修补技术与低照度图像恢复进行了有效融合，解决了由于噪声导致的细节缺失的问题，能够在去除噪声的同时将失去的细节信息修补回来并从而获得更好的视觉效果。

Description

基于图像修补技术的低照度图像增强方法及***
技术领域
本发明涉及图像处理领域，具体涉及一种基于图像修补技术的低照度图像增强方法及***。
背景技术
暗光环境下的相机成像在日常拍照中，由于光线昏暗，照度不充分和成像设备的进光量不充足通常会导致生成的图像产生大量的噪声，颜色退化，对比度较低和曝光不足等严重的问题。同时这种情况也广泛存在于其他任务中，如目标检测，人脸识别，水下图像成像以及视频监控等。为了提高图像的可见度以及恢复图像中缺失的细节信息，在过去的几十年中传统的图像增强算法对低照度图像的增强与恢复已经初见成效，但是由于传统算法的局限性对于复杂场景中以及极低照度场景中的强噪声以及缺失的细节很难进行增强和恢复。虽然深度学习技术的快速发展，基于深度学习的低照度图像增强算法已经广泛应用在该领域但是当前大多数低照度增强方法仍然不能很好的解决由噪声导致的细节缺失这个问题。
在现有的技术方案中，例如直方图均衡化虽然可以对全局图像进行亮度调整但是无法去除噪声并且可能减低对比度。基于retinex理论的算法则将图像分解为反射图和照度图，但是其容易存在边缘处光晕等问题。
发明内容
发明目的：提出一种基于图像修补技术的低照度图像增强方法，并进一步提出一种用于实现上述方法的***，以解决现有技术存在的上述问题。
技术方案：第一方面，提供了基于图像修补技术的低照度图像增强方法，该方法包括以下步骤：
步骤1、采集图像数据，并对所述图像数据进行预处理；
步骤2、构建分解网络模型，将预处理后的图像数据导入至所述分解网络模型中；
步骤3、生成噪声图Mask；
步骤4、构建恢复网络，对分解后的图像数据进行色彩增强及细节恢复；
步骤5、构建选择核增强模块，扩大图像的感受野；
步骤6、构建图像修补模块，对图像空洞进行修补，扩充有效信息。
在第一方面的一些可实现方式中，由于图像中丢失的信息被噪声所覆盖，所以需要知道噪声在图像上的分布，为此，本发明设计了一个能够分解出噪声图的分解网络，构建分解网络模型的过程如下：
步骤2-1、分别构建相互并列的反射分支、照度分支、以及噪声分支；所述照度分支与反射分支跳跃连接；
步骤2-2、在所述反射分支和所述照度分支的前段***编码器网络，将编码器所得到的特征分别输入到对应的解码器网络中；
步骤2-3、将输入图像和groundTrue图像分解得到对应的反射图、照度图、以及噪声图；
步骤2-4、从对比度、亮度、以及结构角度衡量两幅图像的差异；
步骤2-5、对噪声图进行约束。
在第一方面的一些可实现方式中，将输入图像和groundTrue图像分解得到对应的反射图、照度图、以及噪声图的过程进一步包括：
步骤2-3a、约束重构误差：
Figure 100002_DEST_PATH_IMAGE002
式中，
Figure 100002_DEST_PATH_IMAGE004
表示输入图像经过分解网络模型分解得到的照度图，
Figure 100002_DEST_PATH_IMAGE006
表示groundTruth图像经过分解网络模型分解得到的照度图，
Figure 100002_DEST_PATH_IMAGE008
表示输入图像经过分解网络模型分解得到的反射图，
Figure 100002_DEST_PATH_IMAGE010
表示groundTruth图像经过分解网络模型分解得到的反射图，
Figure 100002_DEST_PATH_IMAGE012
表示输入图像经过分解网络模型分解得到的噪声图，
Figure 100002_DEST_PATH_IMAGE014
表示groundTruth图像经过分解网络模型分解得到的噪声图，
Figure 100002_DEST_PATH_IMAGE016
表示感知损失函数，
Figure 100002_DEST_PATH_IMAGE018
表示输入的低照度图像，
Figure 100002_DEST_PATH_IMAGE020
表示与低照度图像相对应的正常图像ground；
其中，感知损失函数表达式如下：
Figure 100002_DEST_PATH_IMAGE022
式中，
Figure 100002_DEST_PATH_IMAGE024
表示第i层网络提取出来的特征图，Y和
Figure 100002_DEST_PATH_IMAGE026
分别表示一阶段网络的输出和低照度图像对应的参照图；相比于普通的VGG的感知损失函数，我们依据低照度图像的特征特点进行了重新设计，由于图像的恢复不仅要考虑其中的高低频信息，其次图像中的语义信息也尤为重要，为此，我们提取了VGG网络中的第1和第2层作为高低频信息的损失计算，我们提取第6和第8层作为图像中的语义信息计算。
步骤2-3b、从对比度、亮度以及结构角度衡量输入图像和groundTrue图像的差异：
Figure 100002_DEST_PATH_IMAGE028
式中，
Figure 100002_DEST_PATH_IMAGE030
表示一阶导数算子，
Figure DEST_PATH_IMAGE032
表示L1损失函数，
Figure DEST_PATH_IMAGE034
表示一个极小的正常数，
Figure DEST_PATH_IMAGE036
表示低照度图像的水平方向算子，
Figure DEST_PATH_IMAGE038
表示低照度图像垂直方向算子，
Figure DEST_PATH_IMAGE040
表示groundTruth图像的水平方向算子，
Figure DEST_PATH_IMAGE042
表示groundTruth图像的垂直方向算子，
Figure DEST_PATH_IMAGE044
表示照度平滑损失函数，
Figure DEST_PATH_IMAGE046
表示最大值函数；
步骤2-3c、从照度相似性、结构相似性和对比度相似性这三个维度对输入的两张图像进行相似性分析，构建SSIM损失函数，如下：
Figure DEST_PATH_IMAGE048
Figure DEST_PATH_IMAGE050
Figure DEST_PATH_IMAGE052
Figure DEST_PATH_IMAGE054
式中，
Figure DEST_PATH_IMAGE056
表示的是两个输入的照度相似性，
Figure DEST_PATH_IMAGE058
表示两个输入的对比度相似性，
Figure DEST_PATH_IMAGE060
表示两个输入的高低频结构之间的相似性，
Figure DEST_PATH_IMAGE062
，
Figure DEST_PATH_IMAGE064
和
Figure DEST_PATH_IMAGE066
均表示常数，
Figure DEST_PATH_IMAGE068
表示x的均值，
Figure DEST_PATH_IMAGE070
表示y的均值，
Figure DEST_PATH_IMAGE072
表示x的标准差，
Figure DEST_PATH_IMAGE074
表示y的标准差，
Figure DEST_PATH_IMAGE076
表示x和y的协方差；
步骤2-4d、约束groundTrue图像分解出的噪声图，以到达同时约束低照度图像的噪声图的目的：
Figure DEST_PATH_IMAGE078
式中，
Figure DEST_PATH_IMAGE080
用于约束噪声图的误差，
Figure 745750DEST_PATH_IMAGE014
表示groundTrue图像的噪声图，
Figure 99371DEST_PATH_IMAGE032
表示L1损失函数。
在第一方面的一些可实现方式中，为了得到噪声图像对应的mask，我们将获得的噪声图首先转换成灰度图去掉杂色，然后再采用阈值化的方法将噪声图像进行二值化处理得到最终的mask。
在第一方面的一些可实现方式中，构建选择核增强模块的过程进一步包括：
输入特征首先经过两个卷积层进行初步特征的提取，然后分别经过三个卷积分支E1，E2和E3用来提取不同尺度的特征，其中E1由一个卷积层和一个激活函数组成，E2则在卷积层的前面加一个了maxpool池化层，为了获得更大的感受野E3添加了2个maxpool池化层。在得到通道数和空间维度各不相同的三个特征后，我们首先通过用卷积核
Figure DEST_PATH_IMAGE082
来降低维度，然后受用双边上采样进行空间维度的特征上采样并利用SK模块将他们依次进行融合，得到输出z。
Figure DEST_PATH_IMAGE084
Figure DEST_PATH_IMAGE086
Figure DEST_PATH_IMAGE088
式中，
Figure DEST_PATH_IMAGE090
表示第一组SK模块，
Figure DEST_PATH_IMAGE092
表示第一组SK模块生成的特征图，
Figure DEST_PATH_IMAGE094
表示第二组SK模块，
Figure DEST_PATH_IMAGE096
表示第二组SK模块生成的特征图，
Figure DEST_PATH_IMAGE098
表示第三组SK模块，
Figure DEST_PATH_IMAGE100
表示双线性插值上采样过程，
Figure DEST_PATH_IMAGE102
表示采用卷积滤波器
Figure DEST_PATH_IMAGE104
降低维度，
Figure DEST_PATH_IMAGE106
表示采用卷积滤波器
Figure DEST_PATH_IMAGE108
降低维度，
Figure DEST_PATH_IMAGE110
表示采用卷积滤波器
Figure DEST_PATH_IMAGE112
降低维度，
Figure DEST_PATH_IMAGE114
表示采用卷积分支E1提取特征，
Figure DEST_PATH_IMAGE116
表示采用卷积分支E2提取特征，
Figure DEST_PATH_IMAGE118
表示采用卷积分支E3提取特征。
在第一方面的一些可实现方式中，构建图像修补模块的过程进一步包括：
步骤6-1、使用门控卷积更新mask：
Figure DEST_PATH_IMAGE120
Figure DEST_PATH_IMAGE122
Figure DEST_PATH_IMAGE124
式中，
Figure DEST_PATH_IMAGE126
表示经过卷积滤波器
Figure DEST_PATH_IMAGE128
之后的特征图结果，
Figure DEST_PATH_IMAGE130
表示经过卷积滤波器
Figure DEST_PATH_IMAGE132
之后的特征图结果，
Figure DEST_PATH_IMAGE134
表示像素在特征图中的横坐标，
Figure DEST_PATH_IMAGE136
表示像素在特征图中的纵坐标，
Figure 477656DEST_PATH_IMAGE128
和
Figure 83081DEST_PATH_IMAGE132
分别表示用于更新mask和计算输入特征的两个不同的卷积滤波器，
Figure DEST_PATH_IMAGE138
表示Sigmoid激活函数，
Figure DEST_PATH_IMAGE140
表示ELU激活函数，
Figure DEST_PATH_IMAGE142
表示得到的输出特征图。
步骤6-2、对每个解码块之前采用最近邻插值进行上采样，在编码块和解码块之间添加跳跃连接为空洞修补提供信息。
第二方面，提供了一种低照度图像增强***，该***包括预处理模块、分解网络模块、噪声图生成模块、恢复网络模块、选择核增强模块、图像修补模块。
预处理模块用于采集拟处理的图像数据，将原始图像裁切为预定尺寸，对裁切完成后的图像随机翻转和旋转，对进行归一化操作；分解网络模块用于构建分解网络；噪声图生成模块用于得到噪声图像对应的mask；恢复网络模块用于构建恢复网络，对分解后的图像数据进行色彩增强及细节恢复；选择核增强模块用于扩大图像的感受野；图像修补模块用于对图像空洞进行修补，扩充有效信息。
在第二方面的一些可实现方式中，分解网络分别由反射分支，照度分支以及噪声分支组成。为了更有效的利用图像特征信息，照度分支和反射分支共用一个编码器网络，然后将编码器所得到的特征分别输入到对应的解码器网络中。编码器共包含三个卷积层，为了获得特征中主要的信息并且减少参数量，在每层的卷积的前面加了maxpool层。在反射分支中，为了避免出现网格效应，我们采用上采样因子为2的双边上采样层加在每层解码块的前面，同时解码器与编码器之间使用了跳跃连接。为了加强特征的传递，照度分支与反射分支进行跳跃连接，且在最后一层采用sigmoid激活函数。为了更好的估计噪声图，噪声分支由2个卷积层和3个残差块组成，其中激活函数均为leakyrelu。
第三方面，提供了一种低照度图像增强装置，该装置包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行计算机程序指令时实现第一方面或第一方面的一些可实现方式中的低照度图像增强方法。
第四方面，提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或第一方面的一些可实现方式中的图像增强方法。
有益效果：本发明涉及一种基于图像修补技术的低照度图像增强方法及***，将图像修补技术与低照度图像恢复进行了有效融合，解决了由于噪声导致的细节缺失的问题，能够在去除噪声的同时将失去的细节信息修补回来并从而获得更好的视觉效果。
附图说明
图1是本发明实施例的光照重渲染网络结构图。
图2是本发明实施例的选择核增强模块结构图。
图3是本发明实施例的修补模块结构图。
图4是本发明实施例的程序流程图。
图5是本发明实施例步骤5中采用编码解码的设计方式得到的图像示意图。
图6是本发明实施例步骤5中选择带有严重噪声的示例图像给出恢复结果的示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
实施例一：
在现有的技术方案中，例如直方图均衡化虽然可以对全局图像进行亮度调整但是无法去除噪声并且可能减低对比度。基于retinex理论的算法则将图像分解为反射图和照度图，但是其容易存在边缘处光晕等问题。而近年来随着深度学习的迅猛发展，许多基于深度学习的算法相继提出，虽然能够在去噪和亮度调整上能取得良好的效果，但是确很难恢复出由于噪声导致的细节缺失等问题。
为此，实施例一提出一种用于低照度图像增强的噪声图引导的图像修补网络，技术方案如下：
准备好低照度图像的数据集，本发明中使用了LOL数据集和SYN数据集；
对数据集进行预处理，包括像素值归一化，图像块翻转和旋转等操作；
设计整体网络结构，整体网络结构总共包含两个阶段；
设计一阶段分解网络；
进一步地，为一阶段分解网络设计损失函数；
进一步地，选择Adam优化器；
对一阶段网络进行训练同时保存网络参数；
设计噪声图生成算法并将得到的结果进行保存；
设计二阶段恢复网络；
进一步地，将一阶段中得到的反射图和噪声图Mask作为输入送入二阶段网络并对二阶段恢复网络进行训练；
为二阶段网络设计损失函数；
进一步地，为二阶段网络构建优化器，同样选择Adam优化器。
极低照度图像包含了大量噪声，导致图像中应有的细节被噪声所覆盖，本解决了由于噪声导致的细节缺失的问题，能够在去除噪声的同时将失去的细节信息修补回来并从而获得更好的视觉效果。由于本发明分为两个阶段，将低照度图像恢复问题解耦成了两个子问题，这使得算法对问题的求解更加明确和有效。第一个阶段将图像分解为了反射图，照度图和噪声图。这一步中将噪声信息，照度信息以及颜色信息进行了分解。并将本来应当舍弃的噪声信息转而利用并设计算法得到了有用的噪声图Mask给二阶段网络进一步利用。而由于低照度环境导致颜色信息退化的反射图将通过二阶段网络进一步强化处理。所以我们可以对各个子问题进行有效的处理。并解决低照度图像增强后带来的色差的问题，使得图像更加自然。
实施例二：
在实施例一的基础之上，申请人进一步研究发现，由于现大部分低照度图像增强算法无法很好的去除噪声，并且很难恢复由于噪声导致的细节缺失的问题。针对细节丢失和难以恢复这个问题，我们便提出了基于图像修补技术的低照度图像增强算法。
整个网络结构图如图1所示，总共由分解网络和恢复网络组成。其中分解网络由三个分支构成，分别负责生成反射图，照度图和噪声图。而恢复网络则由特征增强组 (FEG)和修补模块(InpaintingModule)组成，如图3所示。其中每个FEG由4个选择核增强模块(SKE)组成，如图2所示。分解网络将输入图像分解为反射图，照度图和噪声图。然后将噪声图经过二值化处理之后得到噪声图mask。将输入图像，反射图和mask三张图一起送入恢复网络并得到最终的结果。本实施例提出的图像增强方法流程见图4，主要包括六个步骤：
步骤一，数据预处理。
为了使得模型得到更加完备的训练，我们先对数据进行预处理，我们将400张原始图像大小为400x600的图像对每一张图像随机切成250个256x256大小的图像，并将得到的图像进行随机翻转和旋转等操作进行数据增强，并进行最终的归一化。
Figure DEST_PATH_IMAGE144
式中，
Figure 54755DEST_PATH_IMAGE134
表示归一化之后的结果，
Figure DEST_PATH_IMAGE146
表示图像通道中的最小值，
Figure DEST_PATH_IMAGE148
表示图像通道中的最大值。
由于图像中丢失的信息被噪声所覆盖，所以我们需要知道噪声在图像上的分布。为此我们设计了一个能够分解出噪声图的分解网络。
一张由相机所拍摄的彩色图像I可以如下所示：
Figure DEST_PATH_IMAGE150
其中，R和L分别表示反射图和照度图。由于暗光环境下不可避免地会产生噪声，且噪声的分布独立于反射图和照度图，所以可以将噪声加入图像的表示当中如下所示：
Figure DEST_PATH_IMAGE152
其中，N表示噪声图。
如图1所示，分解网络分别由反射分支，照度分支以及噪声分支组成。为了更有效的利用图像特征信息，照度分支和反射分支共用一个编码器网络，然后将编码器所得到的特征分别输入到对应的解码器网络中。编码器共包含三个卷积层，为了获得特征中主要的信息并且减少参数量，在每层的卷积的前面加了maxpool层。在反射分支中，为了避免出现网格效应，我们采用上采样因子为2的双边上采样层加在每层解码块的前面，同时解码器与编码器之间使用了跳跃连接。为了加强特征的传递，照度分支与反射分支进行跳跃连接，且在最后一层采用sigmoid激活函数。为了更好的估计噪声图，噪声分支由2个卷积层和3个残差块组成，其中激活函数均为leakyrelu。
采用下式来约束重构的误差：
Figure DEST_PATH_IMAGE002A
式中，
Figure 766228DEST_PATH_IMAGE004
表示输入图像经过分解网络模型分解得到的照度图，
Figure 927082DEST_PATH_IMAGE006
表示groundTruth图像经过分解网络模型分解得到的照度图，
Figure 195252DEST_PATH_IMAGE008
表示输入图像经过分解网络模型分解得到的反射图，
Figure 626627DEST_PATH_IMAGE010
表示groundTruth图像经过分解网络模型分解得到的反射图，
Figure 853209DEST_PATH_IMAGE012
表示输入图像经过分解网络模型分解得到的噪声图，
Figure 501359DEST_PATH_IMAGE014
表示groundTruth图像经过分解网络模型分解得到的噪声图，
Figure 307641DEST_PATH_IMAGE016
表示感知损失函数，
Figure 685533DEST_PATH_IMAGE018
表示输入的低照度图像，
Figure 427224DEST_PATH_IMAGE020
表示与低照度图像相对应的正常图像ground；
由于反射图的性质是分段光滑的，所以我们采用下式来最小化误差，从对比度、亮度以及结构角度衡量输入图像和groundTrue图像的差异：
Figure DEST_PATH_IMAGE028A
式中，
Figure 795626DEST_PATH_IMAGE030
表示一阶导数算子，
Figure 608861DEST_PATH_IMAGE032
表示L1损失函数，
Figure 637997DEST_PATH_IMAGE034
表示一个极小的正常数，
Figure 81748DEST_PATH_IMAGE036
表示低照度图像的水平方向算子，
Figure 563545DEST_PATH_IMAGE038
表示低照度图像垂直方向算子，
Figure 852575DEST_PATH_IMAGE040
表示groundTruth图像的水平方向算子，
Figure 939480DEST_PATH_IMAGE042
表示groundTruth图像的垂直方向算子，
Figure 413186DEST_PATH_IMAGE044
表示照度平滑损失函数，
Figure 257645DEST_PATH_IMAGE046
表示最大值函数；
其中，感知损失函数表达式如下：
Figure DEST_PATH_IMAGE022A
式中，
Figure 648569DEST_PATH_IMAGE024
表示第i层网络提取出来的特征图，Y和
Figure 527663DEST_PATH_IMAGE026
分别表示一阶段网络的输出和低照度图像对应的参照图。
相比于普通的VGG的感知损失函数，我们依据低照度图像的特征特点进行了重新设计，由于图像的恢复不仅要考虑其中的高低频信息，其次图像中的语义信息也尤为重要，为此，我们提取了VGG网络中的第1和第2层作为高低频信息的损失计算，我们提取第6和第8层作为图像中的语义信息计算。
由于
Figure 437850DEST_PATH_IMAGE014
默认是不存在的，所以我们使用下式来对noise map进行约束：
Figure DEST_PATH_IMAGE154
Figure DEST_PATH_IMAGE078A
Figure 143507DEST_PATH_IMAGE080
用于约束噪声图的误差，由于groundTrue的图像默认是不含噪声的。所以仅通过约束groundTrue图像分解出的噪声图即可到达同时约束低照度图像的噪声图的目的。
Figure DEST_PATH_IMAGE156
表示groundTrue图像的噪声图。
步骤二，生成噪声图Mask
为了得到噪声图像对应的mask，我们将获得的噪声图首先转换成灰度图去掉杂色，然后再采用阈值化的方法将噪声图像进行二值化处理得到最终的mask，公式如下：
Figure DEST_PATH_IMAGE158
式中，
Figure DEST_PATH_IMAGE160
表示对应坐标的Mask像素值，
Figure DEST_PATH_IMAGE162
表示输入图像坐标的像素值，thresh代表阈值，此处设置为125。
步骤三，构架恢复网络
由于分解后的图像存在颜色失真和细节缺失的问题，增强网络旨在对图像进行颜色的增强和细节恢复。正如图1中所示，增强网络由FEG和修补模块组成。
为了更合理的利用图像特征，我们设计了FEG，并将其放置在inpaint模块的左边和右边，这样做有两个原因，一是，对输入的图像特征进行提取且同时为修补模块提供必要的特征信息，二是将修补后的图像特征进行进一步增强，具体的，它由4个FEM组成，其中前两个FEM的输出以残差学习的方式传递到第四个FEM，这样可以将浅层和深层的信息进行结合且有利于训练变得更加稳定。
步骤四，构建选择核增强(Selective kernel Enhance)模块
人类的视觉皮层神经元能够根据刺激物改变其感受野，而CNN则可以通过多尺度去模拟这种自适应调整感受野的机制，通过对不同尺度的特征进行选择和融合，能够在扩大感受野的同时，对图像中不同的特征可以进一步增强表达能力。
如图2所示，输入特征首先经过两个卷积层进行初步特征的提取，然后分别经过三个卷积分支E1,E2和E3用来提取不同尺度的特征，其中E1由一个卷积层和一个激活函数组成，E2则在卷积层的前面加一个了maxpool池化层，为了获得更大的感受野E3添加了2个maxpool池化层。在得到通道数和空间维度各不相同的三个特征后，我们首先通过用卷积核
Figure 712023DEST_PATH_IMAGE082
来降低维度，然后受用双边上采样进行空间维度的特征上采样并利用SK模块将他们依次进行融合，得到输出z。
Figure DEST_PATH_IMAGE084A
Figure DEST_PATH_IMAGE086A
Figure DEST_PATH_IMAGE164
式中，
Figure 25717DEST_PATH_IMAGE092
表示，
Figure 44489DEST_PATH_IMAGE096
表示，
Figure 362075DEST_PATH_IMAGE090
表示第一组SK模块，
Figure 921232DEST_PATH_IMAGE094
表示第二组SK模块，
Figure 774919DEST_PATH_IMAGE098
表示第三组SK模块，
Figure 495750DEST_PATH_IMAGE100
表示，
Figure 802098DEST_PATH_IMAGE102
表示采用卷积核
Figure 102629DEST_PATH_IMAGE104
降低维度，
Figure 935456DEST_PATH_IMAGE106
表示采用卷积核
Figure 968134DEST_PATH_IMAGE108
降低维度，
Figure 886411DEST_PATH_IMAGE110
表示采用卷积核
Figure 990634DEST_PATH_IMAGE112
降低维度，
Figure 613438DEST_PATH_IMAGE114
表示采用卷积分支E1提取特征，
Figure 941651DEST_PATH_IMAGE116
表示采用卷积分支E2提取特征，
Figure 222591DEST_PATH_IMAGE118
表示采用卷积分支E3提取特征。
步骤五，构建图像修补模块(InpaintingModule)
由于噪声图的空洞区域具有无规则的特点普通卷积被证明无法对其有效地进行更新，部分卷积只是启发式地更新mask且所有通道共用相同mask，这限制了对不规则空洞的更新的灵活性，而门控卷积则能够对特征图中每个通道的每个位置学习一种动态的特征选择机制。所以我们选门控卷积更新mask。
Figure DEST_PATH_IMAGE166
Figure DEST_PATH_IMAGE168
Figure DEST_PATH_IMAGE170
式中，
Figure 645350DEST_PATH_IMAGE126
表示经过卷积滤波器
Figure 187190DEST_PATH_IMAGE128
之后的特征图结果，
Figure 889567DEST_PATH_IMAGE130
表示经过卷积滤波器
Figure 392224DEST_PATH_IMAGE132
之后的特征图结果，
Figure 634986DEST_PATH_IMAGE134
表示像素在特征图中的横坐标，
Figure 172278DEST_PATH_IMAGE136
表示像素在特征图中的纵坐标，
Figure 842294DEST_PATH_IMAGE128
和
Figure 160142DEST_PATH_IMAGE132
分别表示用于更新mask和计算输入特征的两个不同的卷积滤波器，
Figure DEST_PATH_IMAGE172
表示Sigmoid激活函数，
Figure DEST_PATH_IMAGE174
表示ELU激活函数，
Figure 786689DEST_PATH_IMAGE142
表示得到的输出特征图。
如图5所示，由于我们需要从低照度图像中提取低级视觉特征，所以我们采用编码解码的设计方式。其中编码器共包含8个门控卷积，为了在下采样的同时尽可能的利用mask中的信息，我们用kernelsize为3，步长为2的门控卷积代替了maxpool池化层。而解码器中则包含6个kernelsize为3步长为1的门控卷积,在每个解码块的前面我们通过最近邻插值进行上采样。与普通的mask不同的是，由于噪声图是由离散的噪声点与极小的噪声块组成的，在经过二值化之后所产生的mask中的每一个点相当于一个小的空洞区域，且周围存在有效的边界信息，所以我们通过在编码块和解码块之间添加跳跃连接来为空洞修补提供更多有效的信息。
我们评估了所提出的NGI-Net网络，并与Dong、NPE、LIME等3种传统算法以及目前最先进的深度学习方法GLAD、retina exnet、KinD、KinD++在PSNR、SSIM方面进行了比较。
在图6中，我们选择了一些带有严重噪声的示例图像，并给出了恢复结果。显然，传统的方法并不能很好地去除噪声，一些黑暗的区域甚至没有得到改善。基于dl的方法表现更好。视网膜网络增强了极度黑暗的区域，但有严重的噪音。GLAD的输出也存在噪声，但算法消除了一些颜色失真。虽然KinD和KinD++消除了一些噪声，但它们有不同程度的模糊边界和细节损失。相比之下，我们的方法更稳定，同时去噪和恢复细节在极端黑暗的区域。结果表明，传统算法普遍存在曝光不足、色差等问题。在深度学习方法中，GLAD和RetinexNet产生的颜色偏差最为严重，KinD和KinD ++在曝光控制方面表现较好。该方法同时具有良好的曝光和对比度性能，输出结果与地面真实最接近。此外，表1和表2表明，与其他网络相比，我们的网络在LOL和SYN数据集上性能更好。
表1基于LOL数据集下的PSNR/SSIM
Metric Dong NPE LIME GLAD RetinexNet KinD KinD++ Ours
PSNR 16.72 16.97 14.22 19.72 16.57 20.38 21.80 24.01
SSIM 0.4781 0.4835 0.5203 0.6822 0.3989 0.8240 0.8284 0.8377
表2基于SYN数据集下的PSNR/SSIM
Metric Dong NPE LIME GLAD RetinexNet KinD KinD++ Ours
PSNR 16.84 16.47 17.11 18.05 17.11 18.30 19.54 26.01
SSIM 0.7411 0.7770 0.7868 0.8195 0.7617 0.8390 0.8491 0.9366
上述实施例所述的技术方案可以应用于专业摄像摄影设备上、各类手机app上、以及交通监控及行车记录仪上。本发明可以为专业摄影者提供在暗光以及极暗光场景下更加便利和优秀的拍摄算法，不需要摄影者自行调整各种参数即可获得良好的摄影图像。可以为普通用户提供更加快捷简单的拍摄方式，并且允许用户在基于本发明的基础上对所拍图像进行进一步的个性化操作，提供更好的用户体验。对于用户的夜间行车以及交通摄像头的夜间监控，提供良好的夜间成像尤为重要，本发明可以使得行车记录仪和交通监控的夜间成像变得更加清晰，车辆更加容易辨识。
如上所述，尽管参照特定的优选实施例已经表示和表述了本实施例，但其不得解释为对本实施例自身的限制。在不脱离所附权利要求定义的本实施例的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (6)

1.基于图像修补技术的低照度图像增强方法，其特征在于，包括如下步骤：
步骤1、采集图像数据，并对所述图像数据进行预处理；
步骤2、构建分解网络模型，将预处理后的图像数据导入至所述分解网络模型中；
步骤2-1、分别构建相互并列的反射分支、照度分支、以及噪声分支；所述照度分支与反射分支跳跃连接；
步骤2-2、在所述反射分支和所述照度分支的前段***编码器网络，将编码器所得到的特征分别输入到对应的解码器网络中；
步骤2-3、将输入图像和groundTruth图像分解得到对应的反射图、照度图、以及噪声图；
步骤2-4、从对比度、亮度、以及结构角度衡量输入图像和groundTruth图像的差异；
步骤2-5、对噪声图进行约束；
步骤3、生成噪声图掩膜；
步骤4、构建恢复网络，对分解后的图像数据进行色彩增强及细节恢复；
步骤5、构建选择核增强模块，扩大图像的感受野；
步骤6、构建图像修补模块，对图像空洞进行修补，扩充有效信息；
步骤7、将输入图像，反射图和噪声图掩膜三张图一起送入恢复网络并得到最终的结果。
2.根据权利要求1所述的低照度图像增强方法，其特征在于，步骤3进一步包括：
步骤3-1、将获得的噪声图转换成灰度图去掉杂色；
步骤3-2、采用阈值化的方法将噪声图像进行二值化处理得到最终的掩膜。
3.根据权利要求1所述的低照度图像增强方法，其特征在于，步骤5进一步包括：
步骤5-1、输入特征经过两个卷积层进行初步特征的提取，然后分别经过三个卷积分支E1、E2和E3，用来提取不同尺度的特征；
其中，E1包括一个卷积层和一个激活函数；
E2在E1的基础之上，还包括设置在卷积层前部的至少一个maxpool池化层；
E3在E1的基础之上，还包括至少两个maxpool池化层；
步骤5-2、在得到通道数和空间维度各不相同的三个特征后，通过卷积核
Figure DEST_PATH_IMAGE001
降低维度；
步骤5-3、使用双线性插值进行空间维度的特征上采样，并利用选择核模块将特征依次进行融合，得到输出z：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
式中，
Figure DEST_PATH_IMAGE005
表示第一组选择核模块，
Figure DEST_PATH_IMAGE006
表示第一组选择核模块生成的特征图，
Figure DEST_PATH_IMAGE007
表示第二组选择核模块，
Figure DEST_PATH_IMAGE008
表示第二组选择核模块生成的特征图，
Figure DEST_PATH_IMAGE009
表示第三组选择核模块，
Figure DEST_PATH_IMAGE010
表示双线性插值上采样过程，
Figure DEST_PATH_IMAGE011
表示采用卷积滤波器
Figure DEST_PATH_IMAGE012
降低维度，
Figure DEST_PATH_IMAGE013
表示采用卷积滤波器
Figure DEST_PATH_IMAGE014
降低维度，
Figure DEST_PATH_IMAGE015
表示采用卷积滤波器
Figure DEST_PATH_IMAGE016
降低维度，
Figure DEST_PATH_IMAGE017
表示采用卷积分支E1提取特征，
Figure DEST_PATH_IMAGE018
表示采用卷积分支E2提取特征，
Figure DEST_PATH_IMAGE019
表示采用卷积分支E3提取特征。
4.根据权利要求1所述的低照度图像增强方法，其特征在于，步骤6进一步包括：
步骤6-1、使用门控卷积更新掩膜：
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
式中，
Figure DEST_PATH_IMAGE023
表示经过卷积滤波器
Figure DEST_PATH_IMAGE024
之后的特征图结果，
Figure DEST_PATH_IMAGE025
表示经过卷积滤波器
Figure DEST_PATH_IMAGE026
之后的特征图结果，
Figure DEST_PATH_IMAGE027
表示像素在特征图中的横坐标，
Figure DEST_PATH_IMAGE028
表示像素在特征图中的纵坐标，
Figure 102566DEST_PATH_IMAGE024
和
Figure 222969DEST_PATH_IMAGE026
分别表示用于更新掩膜和计算输入特征的两个不同的卷积滤波器，
Figure DEST_PATH_IMAGE029
表示Sigmoid激活函数，
Figure DEST_PATH_IMAGE030
表示ELU激活函数，
Figure DEST_PATH_IMAGE031
表示得到的输出特征图；
步骤6-2、对每个解码块之前采用最近邻插值进行上采样，在编码块和解码块之间添加跳跃连接为空洞修补提供信息。
5.低照度图像增强装置，其特征在于，所述装置包括：
处理器以及存储有计算机程序指令的存储器；
所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-4任意一项所述的低照度图像增强方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-4任意一项所述的低照度图像增强方法。
CN202111017628.9A 2021-09-01 2021-09-01 基于图像修补技术的低照度图像增强方法及*** Active CN113450290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111017628.9A CN113450290B (zh) 2021-09-01 2021-09-01 基于图像修补技术的低照度图像增强方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111017628.9A CN113450290B (zh) 2021-09-01 2021-09-01 基于图像修补技术的低照度图像增强方法及***

Publications (2)

Publication Number Publication Date
CN113450290A CN113450290A (zh) 2021-09-28
CN113450290B true CN113450290B (zh) 2021-11-26

Family

ID=77819207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111017628.9A Active CN113450290B (zh) 2021-09-01 2021-09-01 基于图像修补技术的低照度图像增强方法及***

Country Status (1)

Country Link
CN (1) CN113450290B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115358952B (zh) * 2022-10-20 2023-03-17 福建亿榕信息技术有限公司 一种基于元学习的图像增强方法、***、设备和存储介质
CN115829868B (zh) * 2022-11-28 2023-10-03 三亚学院 基于光照与噪声残差图的水下暗光图像增强方法
CN116012260B (zh) * 2023-02-23 2023-07-04 杭州电子科技大学 一种基于深度Retinex的低光图像增强方法
CN116128768B (zh) * 2023-04-17 2023-07-11 中国石油大学(华东) 一种带有去噪模块的无监督图像低照度增强方法
CN116757966A (zh) * 2023-08-17 2023-09-15 中科方寸知微(南京)科技有限公司 基于多层级曲率监督的图像增强方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142135A (zh) * 2010-01-29 2011-08-03 三星电子株式会社 用于基于图像特征强调边缘的图像生成设备和方法
CN104063848A (zh) * 2014-06-19 2014-09-24 中安消技术有限公司 一种低照度图像增强方法和装置
CN105205794A (zh) * 2015-10-27 2015-12-30 西安电子科技大学 一种低照度图像的同步增强去噪方法
CN109389556A (zh) * 2018-09-21 2019-02-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN112183637A (zh) * 2020-09-29 2021-01-05 中科方寸知微(南京)科技有限公司 一种基于神经网络的单光源场景光照重渲染方法及***
CN112614063A (zh) * 2020-12-18 2021-04-06 武汉科技大学 用于楼宇内低照度环境的图像增强和噪声自适应去除方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633274B2 (en) * 2015-09-15 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for denoising images using deep Gaussian conditional random field network
US10410330B2 (en) * 2015-11-12 2019-09-10 University Of Virginia Patent Foundation System and method for comparison-based image quality assessment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142135A (zh) * 2010-01-29 2011-08-03 三星电子株式会社 用于基于图像特征强调边缘的图像生成设备和方法
CN104063848A (zh) * 2014-06-19 2014-09-24 中安消技术有限公司 一种低照度图像增强方法和装置
CN105205794A (zh) * 2015-10-27 2015-12-30 西安电子科技大学 一种低照度图像的同步增强去噪方法
CN109389556A (zh) * 2018-09-21 2019-02-26 五邑大学 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN112183637A (zh) * 2020-09-29 2021-01-05 中科方寸知微(南京)科技有限公司 一种基于神经网络的单光源场景光照重渲染方法及***
CN112614063A (zh) * 2020-12-18 2021-04-06 武汉科技大学 用于楼宇内低照度环境的图像增强和噪声自适应去除方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Luminance-aware Pyramid Network for Low-light Image Enhancement;Jiaqian Li 等;《https://junchenglee.com/paper/TMM_2020.pdf》;20200905;第1-13页 *
低光图像增强学习;lyp19921126;《https://www.cnblogs.com/lyp1010/p/12208627.html》;20200118;第1-10页 *

Also Published As

Publication number Publication date
CN113450290A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及***
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
Xu et al. Structure-texture aware network for low-light image enhancement
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN111915530A (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN112257766B (zh) 一种基于频域滤波处理的自然场景***影识别检测方法
CN112348747A (zh) 图像增强方法、装置及存储介质
CN111372006B (zh) 一种面向移动端的高动态范围成像方法及***
CN112150400B (zh) 图像增强方法、装置和电子设备
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN115641391A (zh) 一种基于密集残差和双流注意力的红外图像彩色化方法
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
US11783454B2 (en) Saliency map generation method and image processing system using the same
Liu et al. X-gans: Image reconstruction made easy for extreme cases
Wang et al. LLDiffusion: Learning degradation representations in diffusion models for low-light image enhancement
Zheng et al. Windowing decomposition convolutional neural network for image enhancement
Tan et al. Low-light image enhancement with geometrical sparse representation
CN113160056A (zh) 一种基于深度学习的带噪图像超分辨率重建方法
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN117392036A (zh) 基于照明幅度的低光图像增强方法
CN117078553A (zh) 一种基于多尺度深度学习的图像去雾方法
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹***及方法
CN116645281A (zh) 一种基于多阶段拉普拉斯特征融合的微光图像增强方法
CN113888405A (zh) 基于分簇自适应膨胀卷积神经网络的去噪去马赛克方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant