CN111161189A - 一种基于细节弥补网络的单幅图像再增强方法 - Google Patents
一种基于细节弥补网络的单幅图像再增强方法 Download PDFInfo
- Publication number
- CN111161189A CN111161189A CN201911407268.6A CN201911407268A CN111161189A CN 111161189 A CN111161189 A CN 111161189A CN 201911407268 A CN201911407268 A CN 201911407268A CN 111161189 A CN111161189 A CN 111161189A
- Authority
- CN
- China
- Prior art keywords
- image
- detail
- network
- compensation network
- frequency components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000006870 function Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 239000013589 supplement Substances 0.000 abstract 1
- 238000013461 design Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000008684 selective degradation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于细节弥补网络的单幅图像再增强方法。本发明是通过对图像进行分解，将其中的高频分量提出，再利用卷积网络强大的学习能力对其中的图像细节进行学习。它可以充分利用卷积层对局部空间相关性和高维特征的表达能力。为了更加充分训练模型，采取数据增强。最后对已采用传统方法增强的图像进行图像细节弥补。本发明所提出的方法具有较强的图像细节补充能力，提高了图像增强的效果。
Description
技术领域
本发明属于图像处理领域，涉及一种基于细节弥补网络的单幅图像再增强方法。
背景技术
以良好的对比度、生动的色彩和丰富的细节再现自然场景是数码摄影的基本目标。然而，由于照明条件差和成像设备的动态范围有限，获取的图像存在对比度较低的问题。由此产生的低对比度和低质量图像不仅会降低人们的视觉感受，而且许多计算机视觉和图像分析算法的性能也可能受到影响。因此，对比度增强作为提高记录图像质量和使图像细节更加清晰的一个重要手段就显得非常重要。
传统的单图像对比度增强技术包括基于直方图的算法以及基于Retinex的算法等。基于直方图的方法通过在直方图上重新分配亮度来增强图像的对比度。基于Retinex的方法是分别增强了图像的反射率和光照分量，进而达到增强图像的目的。然而，这些方法由于自然场景复杂，信息有限，难以在一幅低对比度图像中再现高质量的图像。特别是对于一些图像细节的恢复，总是差强人意。基于这种细节恢复不佳的情况，也是随着成像设备的发展，我们能够在短时间内捕获一系列多曝光图像，以满足场景的动态范围。基于这一前提下，前人提出了利用多幅图像来进行图像增强的方法。利用得到的一系列图像序列，多曝光图像融合(MEF)和基于堆栈的高动态范围成像方法可用于将不同曝光的多幅图像融合到一幅视觉效果更好的图像中。一般来说，MEF和基于堆栈的HDR方法将产生比那些传统的单幅图像增强方法更好的视觉质量的图像，这是因为在多曝光序列中可以获得更多的信息，这些额外的信息对于图像的恢复非常有用，特别是对于图像细节的恢复。意识到了额外信息的重要性，这使得本发明对图像增强有了新的想法。然而，多幅图像的图像增强技术虽然增强效果要优于大多数单幅图像的增强方法，但是其弊端也同样的明显。多曝光图像的获取将会使得成像过程复杂化，而且相机抖动或物体的运动还将有可能导致融合伪影，如鬼影伪影。因此，虽然MEF等方法可以恢复更多的图像细节，这是传统的单幅图像增强方法无法做到的，但是由于物体运动所引起的不同帧的位移，MEF等方法会产生一些伪影。相反，单幅图像的增强方法将不会有这样的伪影，因为它只需要一个曝光图像作为输入。由于上述原因，单幅图像的增强方法在实际应用中更加具有吸引力并且更容易实现，但由于单个图像中信息量有限，其中对于图像细节的恢复是一个重大的挑战。
发明内容
本发明的目的是针对现有技术存在的不足，提出了一种基于细节弥补网络的单幅图像再增强方法。关键点在于可以对利用传统方法增强后的图像进行再次的处理，弥补其在图像增强过程中丢失的图像细节。
本发明解决技术问题所采取的技术方案为：
本发明包括以下步骤：
步骤1、图像分解。
根据Retinex理论将图像分为高频分量和低频分量。
I(x,y)＝IL(x,y)+IR(x,y)
其中I表示原图像，IL表示图像的低频分量，IR表示图像的高频分量。式中的(x,y)表示的是图像中像素点的坐标位置。
步骤2、数据增强。
将分解之后的图像高频分量进行数据增强操作来扩大数据量。数据增强包括将图像高频分量进行水平翻转和垂直翻转。
步骤3、训练细节弥补网络。
将增强之后的图像数据集输入到细节弥补网络之中训练细节弥补网络。
细节弥补网络的设计借鉴ResNet的思想。细节弥补网络是一个十七层的细节增强网络，其卷积核选择3x3的卷积核，步长stride选择为1；为确保图像的大小不变，在卷积之前先进行填充操作pad＝1；并且在个别层之间进行了连接使其能够信息共享，并且给了网络一种选择退化的权利。使用LReLU(Leaky ReLU)来作为细节弥补网络中隐含层的激活函数，增加网络模型的非线性能力。
其中i表示不同的通道，xi表示的是第i通道的输入，ai是选择的通道系数，需要根据网络训练的实际情况进行调整。aixi表示第i通道的输入xi与系数ai的乘积。
关于图像增强的网络学习，即是将原图的像素值向着参考图像的像素值进行映射，可以将其广义的归结为回归问题。考虑到图像的高频分量一般还包含一些其它的噪声问题和一些离群点，因此最小化的损失函数选择L1范数损失函数：
其中Ireal表示标签像素值的高频分量，IR表示输入图像像素值的高频分量。H(·,W)表示将原图像的高频分量增强到参考图像高频分量的映射函数。网络中还对个别的卷积层进行了连接操作，这样做不仅可以增加网络的信息共享还可以给网络一种选择退化的权利，有利于模型的训练。
步骤4、利用训练完成的细节弥补网络，对采用传统方法增强后的图像进行细节分量的弥补,其中传统方法可以是gamma变换和直方图均衡化等方法。
首先对采用传统方法增强之后的图像进行图像分解，得到图像的高频分量，在将高频分量输入到经过步骤(3)训练好的细节弥补网络之中。最后再利用细节弥补网络输出的弥补之后的细节分量与图像的低频分量相加，得到最后经过细节弥补的增强图像。
本发明的有益效果具体是：创新提出对传统增强方法进行细节弥补，并通过构造弥补网络，弥补了传统方法在图像增强过程中丢失的图像细节。提高了图像增强的效果。本发明充分利用卷积网络对于图像高维细节特征的表达能力，对于图像丢失的细节具有较好的补充能力。
附图说明
图1.细节弥补网络结构示意图；
图2.训练样本数据增强示意图。
具体实施方式
以下结合附图和实施例对本发明作进一步说明。
本实施例包括以下步骤：
1、图像分解。对于的到的数据集需要进行图像的分解操作，根据Retinex理论，图像可以分为高频分量和低频分量。
I(x,y)＝IL(x,y)+IR(x,y) (1)
其中I表示原图像，IL表示图像的低频分量，IR表示图像的高频分量。式中的(x,y)表示的是图像中像素点的坐标位置。
图像的分解部分是通过先对图像进行低通滤波处理得到图像的低频部分，然后使得原图像与得到的图像低频分量相减即得到图像的高频分量。低通滤波器采用高斯滤波器，高斯滤波是属于空域滤波的一种。空域滤波是一种像素点及其邻域的运算，每一个输出图像的像素点都是输入图像像素点及其邻域的线性组合或非线性组合。其中像素点及其邻域的组合系数称为滤波模板，对于滤波模板的设计是图像能否有效的分解为高频和低频分量的关键。
高斯滤波的模板是由高斯分布得到的：
可以将模板的中心坐标设置为原点(0,0)，按每格间距为1计算，算出模板中各个位置的坐标。再将坐标的值带入到式(2)中，最后将得到的值进行取整处理，就得到了一个高斯滤波模板。得到模板之后需要对图像进行卷积操作，利用公式(3)就可以得到低通滤波之后的像素值。
其中W代表滤波模板，X代表原图像各个位置的像素，将他们对应位置相乘在相加之后就完成了卷积处理。对公式(1)的变换就可以得到公式(4)。
IR(x,y)＝I(x,y)-IL(x,y) (4)
得到图像的低频部分之后再利用公式(4)就可以得到图像的高频分量。
2、数据增强。将经过步骤(1)分解之后的图像高频分量进行数据增强操作。
深度神经网络需要大量数据来训练未知参数。考虑到数据量较小，难以处理分类问题，应采用数据增强来扩大数据量以避免过度拟合。为此，将原始图像数据集中的图片的高频分量进行水平翻转和垂直翻转，获取图像数目更多的数据集，见图2。
3、训练细节弥补网络。将经过步骤(2)增强之后的数据集输入到网络之中训练细节弥补模型，见图1。
细节弥补网络的设计借鉴ResNet的思想。在卷积核的选择上，我们选择的是普遍使用的3x3的卷积核尺寸，步长stride选择为1，为了实现像素到像素的映射关系，需要保证图像的大小不变，因此在卷积之前要先进行填充操作pad＝1。由于在高频分量中数值一般不大，且图像在网络中输出的正负响应都可能包含着重要的局部信息，这对于学习图像的细节部分很重要，如果只是简单的使用ReLU函数将其中的负数响应置为零，可能会使得我们丢失许多的图像细节特征。因此我们使用LReLU(Leaky ReLU)来作为激活函数。
其中i表示不同的通道，xi表示的是第i通道的输入，ai是选择的通道系数，需要根据网络训练的实际情况进行调整。aixi表示第i通道的输入xi与系数ai的乘积。它能很大程度上的避免模型零梯度的问题，并且可以很好的适应模型接近零时的梯度计算。可以利用卷积中响应为负的部分进行网络训练，增强了网络的学习能力，也在很大的程度上避免了图像细节部分的损失。
关于图像增强的网络学习，即是将原图的像素值向着参考图像的像素值进行映射，可以将其广义的归结为回归问题。考虑到图像的高频分量一般还包含一些其他的噪声问题和一些离群点，因此本实施例要最小化的损失函数选择L1范数损失函数：
其中Ireal表示标签像素值的高频分量，IR表示输入图像像素值的高频分量。H(·,W)表示将原图像的高频分量增强到参考图像高频分量的映射函数。网络中还对个别的卷积层进行了连接操作，这样做不仅可以增加网络的信息共享还可以给网络一种选择退化的权利，有利于模型的训练。
4、利用训练完成的细节弥补网络，对采用传统方法增强后的图像进行细节分量的弥补,其中传统方法可以是gamma变换和直方图均衡化等方法。
首先对采用传统方法增强之后的图像进行图像分解。分解采用步骤(1)进行处理。得到图像的高频分量，在将高频分量输入到经过步骤(3)训练好的模型之中。最后再利用模型输出的弥补之后的细节分量与图像的低频分量相加，得到最后经过细节弥补的增强图像。
综上，本发明基于卷积神经网络设计了一种十七层的细节增强网络，并且在个别层之间进行了连接使其能够信息共享，同时给了网络一种选择退化的权利。考虑到图像的高频分量数值较小且卷积层中的正负响应都可能包含图像的细节信息，本发明的激活函数采用LReLU，增加网络的学习能力。关于图像增强的网络学习，可以将其广义的归结为回归问题。考虑到图像的高频分量一般还包含一些其他的噪声问题和一些离群点，因此本发明要最小化的损失函数选择L1范数损失函数。
Claims (4)
1.一种基于细节弥补网络的单幅图像再增强方法，其特征在于该方法包括以下步骤：
步骤1、图像分解；
根据Retinex理论将图像分为高频分量和低频分量：
I(x,y)＝IL(x,y)+IR(x,y)
其中I表示原图像，IL表示图像的低频分量，IR表示图像的高频分量；(x,y)表示图像中像素点的坐标位置；
步骤2、数据增强
将分解之后的图像高频分量进行数据增强操作来扩大数据量；
步骤3、训练细节弥补网络
将增强之后的图像数据集输入到细节弥补网络之中训练细节弥补网络；
所述的细节弥补网络是一个十七层的细节增强网络，其卷积核选择3x3的卷积核，步长stride选择为1；为确保图像的大小不变，在卷积之前先进行填充操作pad＝1；并且在个别层之间进行了连接使其能够信息共享，同时给了网络一种选择退化的权利；使用LReLU来作为细节弥补网络中隐含层的激活函数，增加网络模型的非线性能力；
其中i表示不同的通道，xi表示的是第i通道的输入，ai是选择的通道系数，aixi表示第i通道的输入xi与系数ai的乘积；
图像增强的网络学习，即是将原图的像素值向着参考图像的像素值进行映射，将其广义的归结为回归问题；考虑到图像的高频分量还包含一些其它的噪声问题和一些离群点，因此最小化的损失函数选择L1范数损失函数：
其中Ireal表示标签像素值的高频分量，IR表示输入图像像素值的高频分量；H(·,W)表示将原图像的高频分量增强到参考图像高频分量的映射函数；
步骤4、利用训练完成的细节弥补网络，对采用gamma变换或直方图均衡化方法增强后的图像进行细节分量的弥补；
首先对增强之后的图像进行图像分解，得到图像的高频分量，在将高频分量输入到经过步骤(3)训练好的细节弥补网络之中；最后再利用细节弥补网络输出的弥补之后的细节分量与图像的低频分量相加，得到最后经过细节弥补的增强图像。
2.根据权利要求1所述的一种基于细节弥补网络的单幅图像再增强方法，其特征在于：图像的分解是通过先对图像进行低通滤波处理得到图像的低频分量，然后将原图像与得到的图像低频分量相减即得到图像的高频分量。
3.根据权利要求2所述的一种基于细节弥补网络的单幅图像再增强方法，其特征在于：所述的低通滤波采用高斯滤波器。
4.根据权利要求1所述的一种基于细节弥补网络的单幅图像再增强方法，其特征在于：所述的数据增强操作具体是将图像高频分量进行水平翻转和垂直翻转。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911407268.6A CN111161189A (zh) | 2019-12-31 | 2019-12-31 | 一种基于细节弥补网络的单幅图像再增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911407268.6A CN111161189A (zh) | 2019-12-31 | 2019-12-31 | 一种基于细节弥补网络的单幅图像再增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111161189A true CN111161189A (zh) | 2020-05-15 |
Family
ID=70559830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911407268.6A Pending CN111161189A (zh) | 2019-12-31 | 2019-12-31 | 一种基于细节弥补网络的单幅图像再增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161189A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669225A (zh) * | 2020-12-01 | 2021-04-16 | 宁波大学科学技术学院 | 基于结构分解的水下图像增强方法、***及存储介质 |
| CN114220033A (zh) * | 2020-09-03 | 2022-03-22 | 四川大学 | 一种结合图像增强和cnn的小麦不完善粒识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727658A (zh) * | 2008-10-14 | 2010-06-09 | 深圳迈瑞生物医疗电子股份有限公司 | 图像处理方法及装置 |
| CN108492261A (zh) * | 2018-02-07 | 2018-09-04 | 厦门美图之家科技有限公司 | 一种图像增强方法及计算设备 |
| CN110232670A (zh) * | 2019-06-19 | 2019-09-13 | 重庆大学 | 一种基于高低频分离的图像视觉效果增强的方法 |
| CN110503613A (zh) * | 2019-08-13 | 2019-11-26 | 电子科技大学 | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 |
-
2019
- 2019-12-31 CN CN201911407268.6A patent/CN111161189A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727658A (zh) * | 2008-10-14 | 2010-06-09 | 深圳迈瑞生物医疗电子股份有限公司 | 图像处理方法及装置 |
| CN108492261A (zh) * | 2018-02-07 | 2018-09-04 | 厦门美图之家科技有限公司 | 一种图像增强方法及计算设备 |
| CN110232670A (zh) * | 2019-06-19 | 2019-09-13 | 重庆大学 | 一种基于高低频分离的图像视觉效果增强的方法 |
| CN110503613A (zh) * | 2019-08-13 | 2019-11-26 | 电子科技大学 | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 |
Non-Patent Citations (1)
| Title |
|---|
| XI CHEN ET AL.: "《Image denoising via deep network based on edge enhancement》" * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114220033A (zh) * | 2020-09-03 | 2022-03-22 | 四川大学 | 一种结合图像增强和cnn的小麦不完善粒识别方法 |
| CN114220033B (zh) * | 2020-09-03 | 2023-07-18 | 四川大学 | 一种结合图像增强和cnn的小麦不完善粒识别方法 |
| CN112669225A (zh) * | 2020-12-01 | 2021-04-16 | 宁波大学科学技术学院 | 基于结构分解的水下图像增强方法、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | An experiment-based review of low-light image enhancement methods | |
| Lv et al. | Attention guided low-light image enhancement with a large scale low-light simulation dataset | |
| Lu et al. | TBEFN: A two-branch exposure-fusion network for low-light image enhancement | |
| Liang et al. | Cameranet: A two-stage framework for effective camera isp learning | |
| Jiang et al. | Unsupervised decomposition and correction network for low-light image enhancement | |
| CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| Shi et al. | Low-light image enhancement algorithm based on retinex and generative adversarial network | |
| Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
| Zamir et al. | Learning digital camera pipeline for extreme low-light imaging | |
| Wang et al. | MAGAN: Unsupervised low-light image enhancement guided by mixed-attention | |
| CN113822830B (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| CN115393227B (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及*** | |
| Moriwaki et al. | Hybrid loss for learning single-image-based HDR reconstruction | |
| Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
| Wang et al. | Low-light image enhancement based on virtual exposure | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| Rasheed et al. | LSR: Lightening super-resolution deep network for low-light image enhancement | |
| CN111161189A (zh) | 一种基于细节弥补网络的单幅图像再增强方法 | |
| Guo et al. | Deep tone-mapping operator using image quality assessment inspired semi-supervised learning | |
| Zhang et al. | Multi-branch and progressive network for low-light image enhancement | |
| Panetta et al. | Deep perceptual image enhancement network for exposure restoration | |
| Zhu et al. | Low-light image enhancement network with decomposition and adaptive information fusion | |
| Shen et al. | Pseudo-retinex decomposition-based unsupervised underwater image enhancement and beyond | |
| CN116630198A (zh) | 一种结合自适应伽马校正的多尺度融合水下图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200515 |