CN108447036A - 一种基于卷积神经网络的低光照图像增强方法 - Google Patents

Abstract

本发明所述基于卷积神经网络的低光照图像增强方法，包括以下步骤：首先在卷积模块中输入特征图像，然后通过若干卷积模块进行处理。在每个卷积模块中，都在若干条卷积层路径下对特征图像进行第一次分支处理，并将整合后的第一次分支处理数据进行第二次分支处理，得到卷积模块的输出。在最后一个卷积模块后，使用卷积层进行计算，得到神经网络的输出，利用损失函数计算网络输出的图像数据与实际图像的差值，根据差值优化卷积神经网络的参数。本发明利用卷积神经网络实现低光照图像的增强，并利用损失函数对神经网络中的参数进行约束优化，达到所期望的增加图像的亮度、对比度，提升图像主观美感的效果，并极大程度上保持图像原有的结构、细节信息。

Description

一种基于卷积神经网络的低光照图像增强方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的低光照图像增强方法。

背景技术

低光照图像的增强，主要是研究如何通过计算机进行运算，通过一定的参数的调节，对原始图像进行处理，提升图像的亮度、对比度等特性，并且保持原图中物体的纹理、结构信息，以满足人们在各领域研究、使用的需要。

随着数码产品的普及，相机、手机、监控摄像头等设备都可以很方便的采集到各种各样的图像信息。采集获取图像信息的环境多种多样。受不同环境下不同光线的影响，拍摄出来的图像的亮度、对比度等也各不相同。在实际生活中，有相当数量的图像是在光线不足或者是夜晚进行拍摄的，由于图像采集设备未能采集到足够的光子，物体在图片中的成像就会给人一种曝光不足、对比度过低的感觉。在昏暗条件下拍摄到的图像，通常也会引入噪声，如泊松噪声，会使图像发生进一步的降质。

因此，如何提高图像的亮度、对比度，增强低光照下获取到的图像，使其在人眼及其他领域应用时都能达到想要的效果，一直是图像处理领域的研究热点。使用图像增强对图像进行预处理，从而提升一些后期分析算法的效果，也是图像处理领域常见的手段。随着图像处理技术的发展和计算机计算能力的提升，低光照图像的增强技术为这些在光线不足的条件下捕捉到的图像的处理提供了很好的解决方案，可以在尽可能保持原有图像的纹理、结构信息的基础上，提高图像的亮度、对比度等特征，使图像更美观，也能够作为一种预处理方法，满足后期其他应用使用的需要。

现有的低光照图像增强的方法主要分为四大类。第一类是基于Retinex理论的图像增强技术。第二类是基于直方图均衡化的图像增强技术。第三类是利用图像的统计特性暗通道先验的图像增强技术。第四类是基于神经网络的图像增强技术。

基于Retinex理论的图像增强技术，利用了Retinex理论中的模型，即一幅图像是由光照和物体的反射组成，根据现有的图像进行计算，估计出图像中的光照情况，将光照移除就可以去除由于光照不同所带来的图像降质的影响。该方法运用到低光照图像中时，由于去除了光照不足所带来的影响，就可以得到图像增强的效果。

基于直方图均衡化的方法，通常会粗略的认为正常光照下图像的直方图是均匀分布的，利用图像的这一统计特性对图像中各个像素点的数值进行重新分配。每个像素点的像素的数值替换为满足统计特性的新值之后，即可得到增强后的图像。

使用暗通道先验的图像增强技术，借鉴了在带雾图像的增强处理中，利用正常光照下拍摄的图像的暗通道数值趋于0的特性，在实际计算中可以估算出大气散射模型中的各个参数数值，代入各项参数便可以计算。与去雾算法所不同的是，利用暗通道先验对低光照图像进行增强时，先将低光照的图像进行反相，从而使得原图中灰暗的区域变得发白，肉眼看上去有带雾的效果，从而进行去雾操作。去雾的操作完成后再次反相得到增强后的图像。

基于神经网络的图像增强技术，是Lore在2016年提出的，该方法使用的是自编码器，图像经过自编码器进行编码，再进行解码，在一层一层的参数的计算后，得到增强后的输出图像。该方法利用了学习类方法的特点，对神经网络的输出使用常见的L2进行约束。

现有的非学习类的方法，计算量低，运算速度快，但是增强的效果很差，常常会带来图像的颜色失真、图像过饱和等一些不好的结果。基于学习的方法有一定的复杂度，这一点可以通过GPU的并行优化进行加速，但目前该方法并不能很好的利用图像中的特征信息，充分的保留原有图像中的纹理、结构等信息。

发明内容

本发明提供了一种基于卷积神经网络的低光照图像增强方法，实现低光照图像的增强，同时尽可能保持图像中物体的边缘、纹理等结构信息。

为了实现上述目的，本发明采取了如下技术方案：

本发明提供了一种基于卷积神经网络的低光照图像增强方法，包括以下步骤：

S1：提取实际图像的特征图像，输入所述特征图像，在若干条卷积层路径下对所述特征图像进行第一次分支处理，并在所述第一次分支处理结束后，将所述若干条卷积层路径下的处理结果整合到一起得到特征图像1；

S2：在两条卷积层路径下对所述特征图像1进行第二次分支处理，并在所述第二次分支处理结束后，将所述两条卷积层路径下的处理结果整合到一起得到特征图像2；

S3：利用设定损失函数计算所述特征图像2与实际图像的差值，根据所述差值优化卷积神经网络的参数，并输出得到增强后的图像。

进一步地，所述第一次分支处理与所述第二次分支处理作为一组卷积模块处理，根据输入特征图像的特征信息进行一组或多组所述卷积模块处理。

进一步地，在所述第一次分支处理中，卷积层路径的数量根据输入特征图像的特征信息进行设定，每条卷积层路径下的卷积层数量根据输入特征图像的特征信息进行设定。

进一步地，在所述第二次分支处理中，包括两条卷积层路径，其中一条不做任何操作，另一条设有两个卷积层。

进一步地，所述损失函数记作L，为：

L＝λl_eclidean+(1-λ)l_SSIM

其中，λ表示欧氏距离损失函数和结构相似性误差之间的权重。

进一步地，当输入的特征图像为灰度图像时，在神经网络最后一层卷积层的输出后，加入平均池化层处理。

进一步地，每个所述卷积层匹配一个激活函数层，所述提取实际图像的特征图像包括：

实际图像经过积层和激活函数层进行预处理得到特征图像，然后再将所述特征图像输入卷积模块进行处理。

由上述本发明提供的技术方案可以看出，本发明不同于传统的图像建模或者是利用图像统计特性、图像先验的方法，使用全卷积神经网络对低光照图像进行端到端的处理，卷积神经网络的参数在训练学习的过程中不断更新。与同样使用神经网络的自编码器的方法相比，在计算的过程中图像的特征图的尺寸不会缩小，避免了图像在下采样中信息丢失的问题，能够更好的保持图像原有的结构、纹理的信息。本发明使用常见的PSNR指标和SSIM指标进行评价测试时，均表现最优。使用低光照图像增强中也会用到的LOE、SNM等评价指标进行测试时，本发明的方法测试数据相比于其他算法也都能够保持较大的性能优势。

本发明使用简单，在实际应用时，只需要输入一幅低光照图像，便可以在输出端得到增强后的效果。在模型的使用过程中，中间的计算过程不需要调整任何的参数，就可以针对图像的不同区域利用图像多尺度的信息进行自适应的调整增强。由于增强后的图像依然能够保持原图像的结构、纹理信息，并且使用简单，不止是主观评价的美观程度上性能较优，在后续使用其他分析算法时也能够提供足够的便利和性能的保证。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的所述低光照图像增强方法的流程图；

图2为本发明实施例提供的一组所述卷积模块的结构示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明提供一种基于卷积神经网络的低光照图像增强方法，该方法是一种特殊设计结构的卷积神经网络，并使用一种可以保留图像纹理和细节的损失函数对神经网络中的参数进行约束优化，达到所期望的增加图像的亮度、对比度，提升图像的主观美感的效果，并极大程度上保持图像原有的结构、细节信息。

该卷积神经网络的结构的方案细节如下：

(1)特殊的卷积模块

卷积神经网络模型在训练的过程中，会遇到梯度消失的问题，从而影响神经网络训练的收敛过程。为了避免这一问题的出现，结合已有的较优的网络结构ResNet和GoogLeNet，设计了一种特殊的卷积模块，如图所示2。

为了实现模块化操作，该卷积模块的输入、输出的通道数一致，以方便模型中模块的堆叠。

特征图像输入后，会经过两次分支操作，其中：

第一次分支操作中，图像会经过多路处理，不同路径处理计算时，数据通过的卷积层的数量不一。根据卷积操作和感受野的计算可以知道，这多路相当于是在不同尺度下对输入的图像进行处理。在第一次分支操作后，两路计算的结果使用连接(concatenate)的方式堆叠到一起，第二次分支操作紧随其后。

第二次分支操作中，图像同样会经过两条路线进行处理，其中一路不做任何操作，另外一路会经过两个卷积层进行计算。在计算完成后，两路的结果相加，得到模块的输出。

(2)本发明提出一种新的损失函数，如下：

在利用深度卷积神经网络的各项应用，如图像的超分辨率，图像去噪声中，使用的损失函数依然是通过计算网络的输出与真实值(ground truth)之间的欧几里得距离得到的。使用这种损失函数进行训练的神经网络，期望的网络输出都与ground truth一致，然而在图像增强问题中，事实上，很多时候并没有一个统一的评价指标。在不过曝的情况下，所有的图像像素值增加或者减少一个很小的数值，对图像增强而言都是可以接受的。因此，单纯的使用欧几里得距离不适合低光照图像增强这方面的应用。

在低光照图像增强的算法中，更关心的是图像的纹理和细节特征有没有很好的保持住。因此，常见的评价指标中的SSIM比较适合本项应用。对于图像中的像素p而言，它的SSIM数值的计算方法如下：

公式中，μ_x和μ_y分别代表图像网络输出的图像与真实图像的均值，σ_x和σ_y代表图像网络输出的图像与真实图像的方差，C1和C2是常数。

SSIM的数值通常是在区间(0,1]中，并且求得全图的SSIM数值后，通常SSIM的数值越大，意味着图像越接近于期望值。因此，在神经网络的训练过程中，使用1-SSIM作为模型训练的损失函数。因此，使用SSIM作为损失函数的计算式如下：

为了兼顾纹理、结构信息和图像的亮度信息，使用原有的欧几里得距离和SSIM共同约束网络的参数能够取得更好的效果，因此，本发明提出一种新颖有效的损失函数来约束低光照图像增强的网络模型的训练。该损失函数的公式如下：

L＝λl_eclidean+(1-λ)l_SSIM

其中，λ表示常用的欧氏距离损失函数(也即均方根误差MSE)和结构相似性误差(SSIM)之间的权重；

(3)模型的整体结构

利用上述所说的卷积模块，组成端到端的神经网络模型，如下：

首先，图像经过一个卷积层和一个激活函数层进行处理，得到了规范化的特征图像，这样，在特征图像后面，就可以使用若干个定义的卷积模块进行处理。处理完的结果依然是含有规范化的通道的特征图。最后使用一个卷积神经网络对这个结果进行整合，计算得到最终的网络输出。对于彩色图像，最后一层神经网络输出结果的通道数为3；对于灰度图像，在输出后面再添加一个平均池化层。在训练过程中，网络的输出与实际图像之间利用损失函数计算差值，根据差值优化卷积神经网络的参数。在测试过程中，输入一幅低光照的昏暗的图像，输出可以直接得到增强后的图像效果。

为便于对本发明的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本实施例提供一种基于卷积神经网络的低光照图像增强方法，如图1所示，包括以下步骤：

S1：提取实际图像的特征图像，输入所述特征图像，在若干条卷积层路径下对所述特征图像进行第一次分支处理，并在所述第一次分支处理结束后，将所述若干条卷积层路径下的处理结果整合到一起得到特征图像1；

S2：在两条卷积层路径下对所述特征图像1进行第二次分支处理，并在所述第二次分支处理结束后，将所述两条卷积层路径下的处理结果整合到一起得到特征图像2；

S3：利用设定损失函数计算所述特征图像2与实际图像的差值，根据所述差值优化卷积神经网络的参数；

S4：输出得到增强后的图像。

具体为：

S1：输入需要增强的图像，使用一个卷积层对输入图像进行处理，得到特征图像，该特征图像将作为特殊设计的卷积模块的输入；

S2：利用若干设计的卷积模块对特征图像进行处理，在每一个卷积模块中，均有两次分支操作，第一次分支操作，特征图像都会经过不同数量的卷积层进行处理，处理的结果直接拼接作为第二次分支操作的输入，在接下来的分支操作中进行两路处理，特征图像通过若干卷积层与初始值拼接得到卷积模块的输出，该输出作为下一个卷积模块的输入或者输出到后处理卷积层进行计算得到网络最终的输出图像。

S3：在最后一个卷积模块后，将得到的特征图像通过一个卷积层计算，得到最终的网络输出图像；

S4：在卷积神经网络网络训练时，利用设定损失函数计算网络输出图像与实际图像的差值，根据所述差值优化卷积神经网络的参数，在利用该卷积神经网络时，直接使用网络的输出图像作为图像增强后的结果图像。

在本实施例中，所述第一次分支处理与所述第二次分支处理作为一组卷积模块处理，根据输入特征图像的特征信息进行一组或多组所述卷积模块处理，在本实施例中采用一组卷积模块对图像进行处理。

在所述第一次分支处理中，卷积层路径的数量根据输入特征图像的特征信息进行设定，每条卷积层路径下的卷积层数量根据输入特征图像的特征信息进行设定。

在本实施例中，所述第一次分支处理为三条卷积层路径，其中，一条设有三个卷积层，一条设有两个卷积层，另一条设有一个卷积层。

在本实施例所述的第二次分支处理中，包括两条卷积层路径，其中一条不做任何操作，另一条设有两个卷积层。

所述损失函数记作L，为：

L＝λl_eclidean+(1-λ)l_SSIM

其中，λ表示常用的欧氏距离损失函数(也即均方根误差MSE)和结构相似性误差(SSIM)之间的权重；

在本实施例中，当输入的特征图像为灰度图像时，在损失函数计算后加入平均池化层处理。

在本实施中，每个所述卷积层匹配一个激活函数层，实际图像经过积层和激活函数层进行预处理得到特征图像，然后再将所述特征图像输入卷积模块进行处理。

综上所述，本发明提出的神经网络的卷积模块，在该模块内部分为两步处理，通过不同路径处理结果的整合，可以充分利用图像中的多尺度信息，并且，这种连接方式可以在训练的利用该模块可以迅速搭建用于图像增强的卷积神经网络。该发明同时还提出了针对图像增强的一种优化方法，使用提出的损失函数可以使神经网络在处理输入图像的过程中更注重图像纹理、结构信息的保留。使用本发明中的卷积模块和优化方法，可以构成一个完整的端到端的针对低光照图像增强的解决方案。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于卷积神经网络的低光照图像增强方法，其特征在于，包括以下步骤：

S1：提取实际图像的特征图像，输入所述特征图像，在若干条卷积层路径下对所述特征图像进行第一次分支处理，并在所述第一次分支处理结束后，将所述若干条卷积层路径下的处理结果整合到一起得到特征图像1；

S2：在两条卷积层路径下对所述特征图像1进行第二次分支处理，并在所述第二次分支处理结束后，将所述两条卷积层路径下的处理结果整合到一起得到特征图像2；

S3：利用设定损失函数计算所述特征图像2与实际图像的差值，根据所述差值优化卷积神经网络的参数，并输出得到增强后的图像。

2.根据权利要求1所述的低光照图像增强方法，其特征在于，

所述第一次分支处理与所述第二次分支处理作为一组卷积模块处理，根据输入特征图像的特征信息进行一组或多组所述卷积模块处理。

3.根据权利要求2所述的低光照图像增强方法，其特征在于，

在所述第一次分支处理中，卷积层路径的数量根据输入特征图像的特征信息进行设定，每条卷积层路径下的卷积层数量根据输入特征图像的特征信息进行设定。

4.根据权利要求3所述的低光照图像增强方法，其特征在于，在所述第二次分支处理中，包括两条卷积层路径，其中一条不做任何操作，另一条设有两个卷积层。

5.根据权利要求4所述的低光照图像增强方法，其特征在于，所述损失函数记作L，为：

其中，λ表示欧氏距离损失函数和结构相似性误差之间的权重。

6.根据权利要求5所述的低光照图像增强方法，其特征在于，当输入的特征图像为灰度图像时，在神经网络最后一层卷积层的输出后，加入平均池化层处理。

7.根据权利要求6所述的低光照图像增强方法，其特征在于，每个所述卷积层匹配一个激活函数层，所述提取实际图像的特征图像包括：

实际图像经过积层和激活函数层进行预处理得到特征图像，然后再将所述特征图像输入卷积模块进行处理。