CN114897718B - 一种能同时平衡上下文信息和空间细节的低光图像增强方法 - Google Patents
一种能同时平衡上下文信息和空间细节的低光图像增强方法 Download PDFInfo
- Publication number
- CN114897718B CN114897718B CN202210472649.8A CN202210472649A CN114897718B CN 114897718 B CN114897718 B CN 114897718B CN 202210472649 A CN202210472649 A CN 202210472649A CN 114897718 B CN114897718 B CN 114897718B
- Authority
- CN
- China
- Prior art keywords
- low
- features
- image
- light image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000005286 illumination Methods 0.000 claims abstract description 10
- 238000011084 recovery Methods 0.000 claims abstract description 8
- 230000004913 activation Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000010894 electron beam technology Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种能同时平衡上下文信息和空间细节的低光图像增强方法，涉及图像处理技术领域。本发明利用CIRNet子网络和SIRNet子网络恢复图像的上下文信息和空间细节，利用上下文‑空间特征融合模块融合两部分信息，包括以下步骤：S1.构建配对的数据集，数据集包括低光照图像和正常光照图像，其中每张低光照图像Ilow对应同一场景的正常光照图像Iref；S2.输入低光图像Ilow到网络中；S3.提取低光图像Ilow的浅层特征。本发明通过新上下文‑空间特征融合模块，该模块利用编解码网络学习到的多尺度图像语义特征和全分辨率网络学习到的输入图像和输出图像间的点对点关系进行增强，显著提升了模型的恢复效果。
Description
技术领域
本发明属于图像处理技术领域，特别是涉及一种能同时平衡上下文信息和空间细节的低光图像增强方法。
背景技术
日常生活中，图像质量被外部因素直接或间接的影响，低光照也是众多不可抗力的因素之一，在光照不足的环境中拍摄的图像往往出现亮度低、噪声严重等情况，这不仅大大降低了图像的视觉质量，而且会影响后续高级视觉任务的执行，例如图像识别、图像分割和图像分类等任务。
为增强低光照环境下拍摄的图像，一些传统图像增强算法被用来恢复低光照图像的内容和细节，但这些方法依然存在一些问题；例如灰度变换方法通过函数映射的方式对图像中的较低的灰度值进行直接拉伸来提升图像亮度，它能增强低光图像的整体对比度，但该方法没有考虑低光图像灰度分布不均匀的情况，恢复出的图像容易丢失细节；
直方图均衡化方法利用直方图统计处于各个像素值的像素数量并通过均衡像素数量的分布情况来调整图像像素的动态范围，却忽略了对噪声的处理，同时容易产生过曝的现象，传统基于Retinex理论的方法利用高斯核对原始图像进行卷积以预测图像的光照，能够较好的增强图像亮度并保留图像边缘，但在增强部分亮度差异较大的区域的同时会出现光晕现象；
近年来，随着深度学***衡，限制了图像增强的效果；并且这些方法对每个子网络进行监督，这可能会导致聚合时各子网络内容无法较好的匹配，从而进一步扩大差距，出现图像光晕、图像伪影甚至颜色偏移等问题。
发明内容
本发明的目的在于提供一种能同时平衡上下文信息和空间细节的低光图像增强方法，以解决上述背景技术中提出的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种能同时平衡上下文信息和空间细节的低光图像增强方法。
本方法利用CIRNet子网络和SIRNet子网络恢复图像的上下文信息和空间细节，利用上下文-空间特征融合模块融合两部分信息，包括以下步骤：
S1.构建配对的数据集，所述数据集包括低光照图像和正常光照图像，其中每张低光照图像Ilow对应同一场景的正常光照图像Iref；
S2.输入低光图像Ilow到网络中；
S3.提取低光图像Ilow的浅层特征；
S4.CIRNet分支利用多尺度特征学习方式巧妙地提取上下文语义信息，编解码网络包含3个encoder(EB1，EB2和EB3)和3个decoder(DB1，DB2和DB3)。每个编码模块以不同尺度的特征作为输入，每个解码模块输出不同尺度的恢复图像；
S5.SIRNet分支利用全分辨率子网络保留输入图像到输出图像的点到点位置信息；
S6.上下文-空间特征融合模块CSFF融合两个分支的输出特征；
S7.输出最终增强的低光图像。
进一步地，在S3中，所述浅层特征提取模块使用一个卷积模块和一个通道注意力模块，公式如下：
fshallow＝fCAB(fConv(Ilow))。
进一步地，在S4中，所述CIRNet分支采用UNet-like网络恢复图像的上下文信息，所述encoder和decoder都由两个通道注意力模块组成；
所述编码阶段由三个encoder组成，第一个encoder以所提取的浅层特征作为输入，其余两个encoder以上一个encoder的输入和Focus模块逐像素下采样的特征作为输入；
多尺度浅层特征和Focus采样特征通过特征注意模块进行融合后输入到编码器中，
特征注意模块以两个特征作为输入，将压缩无用信息后的特征输入到一个卷积模块中得到精炼的特征，该精炼后的特征和原始输入特征进行融合得到最后输入到encoder中的特征，公式如下：
fconcat＝[fFocus,fshallow]
其中，每个decoder之前通过监督注意模块输出增强的多尺度恢复图像，同时向下一个每个encoder传入当前特征中有用的信息，公式如下：
进一步地，在S5中，所述SIRNet分支由三个原始分辨率单元组成，每个原始分辨率单元由1个通道注意力模块组成；
网络中所有特征和输入图像尺寸相同，以恢复输入图像到输出图像的点对点的精细位置关系，公式如下：
进一步地，在S6中通过初步融合特征经过一个1×1卷积层，一个ReLu激活函数层和一个3×3卷积层得到精炼的融合特征，该特征分别经过设计好的提取上下文信息的注意力模块和提取空间位置细节的注意力模块，分别经过sigmoid激活函数，得到re-calibrate的特征，通过像素相乘加权到原始特征中以分别精炼原输入特征的上下文信息和空间特征。
进一步地，所述上下文-空间特征融合模块主要包括：
利用像素相加融合初始不同语义内容的特征；
通过上下文信息注意力模块和空间细节注意力模块对融合特征加权；
使用加权信息对初始输入特征进行增强。
进一步地，所述上下文信息注意力模块将融合的特征分别通过全局平均池化层和全局最大池化层进行处理，再通过一个卷积层和激活层得到能注意上下文信息的权重。
进一步地，所述空间细节注意力模块将融合的特征先后输入到卷积层，激活层和卷积层，得到注意空间细节的权重。
进一步地，还包括低光增强网络，所述低光增强网络的损失函数如下：
LSSIM＝1-SSIM(Ienhanced,Iref)
本发明具有以下有益效果：
本发明通过上下文-空间特征融合模块，该模块利用编解码网络学习到的多尺度图像语义特征和全分辨率网络学习到的输入图像和输出图像间的点对点关系进行增强，显著提升了模型的恢复效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的整体网络框架示意图；
图2为本发明所结合的逐像素下采样示意图；
图3为本发明采用的下采样特征融合模块结构图；
图4为本发明的上下文-空间特征融合模块结构图；
图5为本发明与其他算法恢复后的图像对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
通过不同的双分支子网络分别复原图像的上下文信息和空间细节，这两个分支的设计影响最终恢复结果；
两个分支的信息有效融合可以用来辅助图像的整体复原过程，图像的上下文信息包含了原始图像丰富的语义内容，图像的空间细节保留了输入图像到输出图像之间的点对点的关系，在增强低光图像时，不仅需要恢复原始图像隐藏在黑暗中的内容，使图像的语义内容完整，还需要还原每个像素点的信息，减少噪声的产生，现有大多数深度学***衡，以致增强后的图像存在图像噪声扩大、整体和局部亮度低、颜色严重失真等问题，基于这种发现，本发明设计了的一种能同时平衡上下文信息和空间细节的低光图像增强方法，请参阅图1-图5；
具体的，请参阅图1，为本发明整体的网络框架示意图；
其中SIRNet为空间细节恢复子网络，CIRNet为上下文信息恢复子网络；CIRNet采用常用的UNet-like结构，该结构能有效复原图像的语义内容；为提高网络提取特征的能力，每个编码器都以相应尺度的图像作为输入；除第一个编码器外，其他编码器的输入融合了上一编码器的输出和相应尺度输入图像的浅层特征；由于低分辨率的输入采用双线性下采样，容易导致部分细节的丢失，所以用逐像素下采样特征补偿低分辨率图像的浅层特征；SIRNet采用原始分辨率网络，即该网络的所有特征和输入图像尺寸相同；为平衡两个分支，提高网络增强低光图像的性能；
本发明采取两种策略：1.CIRNet提取的信息流动到SIRNet；2.设计一种新的上下文-空间特征融合模块；
本发明的整体流程如下：
1.构建配对的数据集；数据集应该由低光照图像和正常光照图像组成，其中每个低光照图像Ilow对应同一场景下的正常光照图像Iref；
2.输入构建好的低光照图像，以正常光图像作为ground truth，并输入低光图像Ilow到网络中；
3.采用一个3×3卷积层和一个通道注意力模块提取输入图像的浅层特征，提取低光图像Ilow的浅层特征，该特征为SIRNet和CIRNet两个分支所共享；
fshallow＝fCAB(fConv(Ilow))
4.将提取的浅层特征输入到CIRNet分支进行上下文特征的提取，以恢复上下文信息；CIRNet分支采用encoder-decoder形式的网络，该种形式的网络通过在编码阶段对特征进行下采样，在解码阶段对特征进行上采样，能够有效提取图像的上下文语义信；
其中，每个encoder和decoder由两个通道注意力模块组成，该模块关注每个特征通道中的有用信息；编码阶段由三个encoder组成，第一个encoder以所提取的浅层特征作为输入，其余两个encoder以上一个encoder的输入和Focus模块逐像素下采样的特征作为输入；由于通用的双线性下采样会导致图像部分细节的丢失，因此，我们用Focus下采样特征弥补双线性下采样带来的信息丢失；如图2所示，Focus模块以三通道的RGB图像作为输入，通过对像素隔行/列逐一采样，得到十二通道的特征图，该特征图包含原始输入RGB图像的所有像素点，没有信息丢失；多尺度浅层特征和Focus采样特征通过特征注意模块进行融合后输入到编码器中；如图3所示，特征注意模块以两个特征作为输入，将压缩无用信息后的特征输入到一个3×3卷积中得到精炼的特征，该精炼后的特征和原始输入特征进行融合得到最后输入到encoder中的特征；
fconcat＝[fFocus,fshallow]
其中，每个decoder之前通过监督注意模块输出增强的多尺度恢复图像，同时向下一个每个encoder传入当前特征中有用的信息；
5.SIRNet分支由三个原始分辨率单元组成，每个原始分辨率单元进一步由1个通道注意力模块组成；该子网络中所有特征和输入图像尺寸相同，以恢复输入图像到输出图像的点对点的精细位置关系；为平衡两个分支网络的特征提取能力，将CIRNet中编码器和解码器提取的特征融合后传入该分支的每个原始分辨率单元进行融合；
6.将CIRNet和SIRNet提取的最终特征输入到上下文-空间特征融合模块中，使两部分特征充分融合，提高网络性能；
上下文-空间特征融合模块如图4所示，两个分支的输出特征首先经过一个1×1卷积层，一个ReLu激活函数层和一个3×3卷积层得到精炼的融合特征；然后，精炼后的特征分别经过设计好的提取上下文信息的注意力模块和提取空间位置细节的注意力模块，再经过sigmoid激活函数，得到re-calibrate特征的权重；最后，通过得到的权重加权原始特征，以得到精炼的上下文信息和空间特征；通过特征注意模块融合得到的两个特征，得到输出特征；
其中，上下文信息注意力模块将融合的特征分别通过全局平均池化层和全局最大池化层进行处理，再通过一个卷积层和激活层得到能注意上下文信息的权重；
其中，空间细节注意力模块将融合的特征先后输入到卷积层，激活层和卷积层，得到注意空间细节的权重；
7.上述输出特征通过一个通道注意力模块和一个3×3卷积得到最终增强后的图像；
8.低光增强网络采用像素级复原损失函数和结构相似性损失函数的结合，如下：
LSSIM＝1-SSIM(Ienhanced,Iref)
在一具体实施例中：
本发明应用PyTorch框架在Nvidia Tesla T4 GPU and Intel(R)Xeon(R)Silver42142.20GHz CPU上实现；为使模型收敛，在LOL数据集上，训练1000个epoch，在MIT-AdobeFiveK数据集上训练100个epoch；其中，每个epoch随机采样8幅图像，然后裁剪成256×256分辨率的patch；垂直和水平翻转用于数据增强；使用Adam优化器，初始学习率为2×10-4，使用余弦退火策略，衰减至1×10-6；
本发明在LOL、MIT-Adobe FiveK、LIME、MEF、NPE以及合成数据等低光照图像数据集上与现有众多低光图像增强算法进行定性和定量实验比较，并用图像处理领域常用测量指标值(PSNR、SSIM、LPIPS)和感官质量进行测试，且都取得了好的效果；
LOL数据集是低光图像增强领域的常用真实数据集，该数据集包含大量的室内外低光场景图片，共有500对低光照/正常光图像；在具有代表性的LOL数据集上，与该领域的先进算法进行比较，本发明取得了最好的峰值信噪比(PSNR)、结构相似性(SSIM)值和学习感知图像修补相似度(LPIPS)(PSNR越大越好，SSIM越接近1越好，LPIPS越小越好)；如下表1所示，我们的方法在PSNR、SSIM和LPIPS上都取得了最好的成绩；本发明的结果为PSNR＝24.64dB，SSIM＝0.867，PSNR值超过MIRNet 0.5dB，SSIM值超过0.035，LPIPS值优于MIRNet0.022；
表1 LOL数据集上的部分定量指标结果
MIT-Adobe FiveK数据集包含5000张拍摄的图像，有5位专家润色后的图像可作为标签图像；和其他该数据集训练低光图像增强算法一样，本发明采用专家C的润色结果为ground truth，并采用前4500对作为训练集，剩余的500对作为测试集；通过与现有的先进算法进行比较，本发明PSNR取得了最优的结果，且SSIM取得了次优的结果，峰值信噪比和结构相似性分别达到25.85dB(超越MIRNet 2.12dB)，0.918(仅低于MIRNet0.007)；
表2 MIT-Adobe FiveK数据集上的定量指标结果
参阅图5可知：通过多个定性比较，本发明算法取得更好的视觉效果；大多数算法增强后的图像还存在大量噪声，如RetinexNet，MIRNet；一些算法增强后的图像部分区域过度平滑，如KinD，KinD++；还有一些算法恢复的图像亮度提升不够，如ZeroDCE；另外，DLN和EnlightenGAN恢复后的图像在黑暗区域存在伪影的情况；相对而言，本发明算法能够在提升图像整体亮度的同时有效去除黑暗中的噪声，恢复出的图像颜色饱和度和对比度；
通过对比实验证明，相比于只有单分支的CIRNet网络，提出的双分支网络在定量指标上取得更好的效果；例如，在LOL数据集上，没有SIRNet测试得到的PSNR＝23.87dB，SSIM＝0.862，增加SIRNet可以更有效地恢复图像的空间细节，在指标上分别提升0.77dB、0.005，如表3所示；
表3有无空间信息恢复子网络的结果
提出一种新的特征融合模块和补偿双线性下采样带来的信息丢失的策略，如表4所示；为验证特征融合模块和补偿策略的有效性，在LOL数据集上做定量消融实验；普通的特征融合方法：Add和Cat的性能都低于本发明提出的融合方法；同时，采用Focus补偿策略能提高网络性能；
表4网络各组件的消融实验定量结果
| CSFF | Cat | Add | Focus | PSNR | SSIM |
| √ | 24.10 | 0.860 | |||
| √ | √ | 23.63 | 0.861 | ||
| √ | √ | 23.90 | 0.866 | ||
| √ | √ | 24.64 | 0.867 |
表5显示本发明和基线模型在定量指标和参数量上的比较，可以看出，本发明提出的模型在两方面都明显优于基线模型；
表5 Restore Net定量指标和参数量结果
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该本发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (8)
1.一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于，利用CIRNet子网络和SIRNet子网络恢复图像的上下文信息和空间细节，利用上下文-空间特征融合模块融合两部分信息，包括以下步骤：
S1.构建配对的数据集，所述数据集包括低光照图像和正常光照图像，其中每张低光照图像Ilow对应同一场景的正常光照图像Iref；
S2.输入低光图像Ilow到网络中；
S3.提取低光图像Ilow的浅层特征；
S4.CIRNet分支利用多尺度特征学习方式巧妙地提取上下文语义信息，编解码网络包含编码模块encoder和解码模块decoder，每个编码模块以不同尺度的特征作为输入，每个解码模块输出不同尺度的恢复图像；
所述CIRNet分支采用UNet-like网络恢复图像的上下文信息，所述encoder和decoder都由两个通道注意力模块组成；
所述编码阶段由三个encoder组成，第一个encoder以所提取的浅层特征作为输入，其余两个encoder以上一个encoder的输入和Focus模块逐像素下采样的特征作为输入；
多尺度浅层特征和Focus采样特征通过特征注意模块进行融合后输入到编码器中，
特征注意模块以两个特征作为输入，将压缩无用信息后的特征输入到一个卷积模块中得到精炼的特征，该精炼后的特征和原始输入特征进行融合得到最后输入到encoder中的特征，公式如下：
fconcat＝[fFocus,fshallow]
其中，每个decoder之前通过监督注意模块输出增强的多尺度恢复图像，同时向下一个每个encoder传入当前特征中有用的信息，公式如下：
S5.SIRNet分支利用全分辨率子网络保留输入图像到输出图像的点到点位置信息；
S6.上下文-空间特征融合模块CSFF融合两个分支的输出特征；
S7.输出最终增强的低光图像。
2.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于：在S3中，所述浅层特征提取模块使用一个卷积模块和一个通道注意力模块，公式如下：
fshallow＝fCAB(fConv(Ilow))。
3.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于：在S5中，所述SIRNet分支由三个原始分辨率单元组成，每个原始分辨率单元由1个通道注意力模块组成；
网络中所有特征和输入图像尺寸相同，以恢复输入图像到输出图像的点对点的精细位置关系，公式如下：
4.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于：在S6中，通过初步融合特征经过一个1×1卷积层，一个ReLu激活函数层和一个3×3卷积层得到精炼的融合特征，该特征分别经过设计好的提取上下文信息的注意力模块和提取空间位置细节的注意力模块，分别经过sigmoid激活函数，得到re-calibrate的特征，通过像素相乘加权到原始特征中以分别精炼原输入特征的上下文信息和空间特征。
5.根据权利要求4所述的一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于：所述上下文-空间特征融合模块包括：
利用像素相加融合初始不同语义内容的特征；
通过上下文信息注意力模块和空间细节注意力模块对融合特征加权；
使用加权信息对初始输入特征进行增强。
6.根据权利要求5所述的一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于：所述上下文信息注意力模块将融合的特征分别通过全局平均池化层和全局最大池化层进行处理，再通过一个卷积层和激活层得到能注意上下文信息的权重。
7.根据权利要求5所述的一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于：所述空间细节注意力模块将融合的特征先后输入到卷积层，激活层和卷积层，得到注意空间细节的权重。
8.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于：还包括低光增强网络，所述低光增强网络的损失函数如下：
LSSIM＝1-SSIM(Ienhanced,Iref)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210472649.8A CN114897718B (zh) | 2022-04-29 | 2022-04-29 | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210472649.8A CN114897718B (zh) | 2022-04-29 | 2022-04-29 | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114897718A CN114897718A (zh) | 2022-08-12 |
| CN114897718B true CN114897718B (zh) | 2023-09-19 |
Family
ID=82719192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210472649.8A Active CN114897718B (zh) | 2022-04-29 | 2022-04-29 | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114897718B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884668A (zh) * | 2021-02-22 | 2021-06-01 | 大连理工大学 | 基于多尺度的轻量级低光图像增强方法 |
| CN112889069A (zh) * | 2018-11-08 | 2021-06-01 | Oppo广东移动通信有限公司 | 用于提高低照度图像质量的方法、***和计算机可读介质 |
| CN113168684A (zh) * | 2018-11-26 | 2021-07-23 | Oppo广东移动通信有限公司 | 提升低亮度图像的质量的方法、***和计算机可读介质 |
| CN113808032A (zh) * | 2021-08-04 | 2021-12-17 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
| CN113902915A (zh) * | 2021-10-12 | 2022-01-07 | 江苏大学 | 一种基于低光照复杂道路场景下的语义分割方法及*** |
| CN114066747A (zh) * | 2021-10-19 | 2022-02-18 | 重庆理工大学 | 一种基于光照和反射互补性的低照度图像增强方法 |
| CN114266707A (zh) * | 2021-11-24 | 2022-04-01 | 重庆理工大学 | 一种结合注意力机制和Retinex模型的低光图像增强方法 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
-
2022
- 2022-04-29 CN CN202210472649.8A patent/CN114897718B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112889069A (zh) * | 2018-11-08 | 2021-06-01 | Oppo广东移动通信有限公司 | 用于提高低照度图像质量的方法、***和计算机可读介质 |
| CN113168684A (zh) * | 2018-11-26 | 2021-07-23 | Oppo广东移动通信有限公司 | 提升低亮度图像的质量的方法、***和计算机可读介质 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| CN112884668A (zh) * | 2021-02-22 | 2021-06-01 | 大连理工大学 | 基于多尺度的轻量级低光图像增强方法 |
| CN113808032A (zh) * | 2021-08-04 | 2021-12-17 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
| CN113902915A (zh) * | 2021-10-12 | 2022-01-07 | 江苏大学 | 一种基于低光照复杂道路场景下的语义分割方法及*** |
| CN114066747A (zh) * | 2021-10-19 | 2022-02-18 | 重庆理工大学 | 一种基于光照和反射互补性的低照度图像增强方法 |
| CN114266707A (zh) * | 2021-11-24 | 2022-04-01 | 重庆理工大学 | 一种结合注意力机制和Retinex模型的低光图像增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| Syed Waqas Zamir et al..Multi-Stage Progressive Image Restoration.《arXiv》.2021,第1-11页. * |
| 赵睿 等.基于改进YOLOv5s的安全帽检测算法.《北京航空航天大学学报》.2021,第1-17页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114897718A (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109754377B (zh) | 一种多曝光图像融合方法 | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及*** | |
| CN113284064B (zh) | 一种基于注意力机制跨尺度上下文低照度图像增强方法 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN117011194B (zh) | 一种基于多尺度双通道注意力网络的低光图像增强方法 | |
| CN116363036B (zh) | 基于视觉增强的红外与可见光图像融合方法 | |
| CN116152120A (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、***及设备 | |
| CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN115457249A (zh) | 红外图像与可见光图像融合匹配的方法及*** | |
| Ke et al. | Edllie-net: Enhanced deep convolutional networks for low-light image enhancement | |
| CN113379861B (zh) | 基于色彩恢复块的彩色微光图像重建方法 | |
| CN115035011A (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
| CN117611467A (zh) | 一种能同时平衡不同区域细节和亮度的低光图像增强方法 | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
| CN114897718B (zh) | 一种能同时平衡上下文信息和空间细节的低光图像增强方法 | |
| Hua et al. | Iterative residual network for image dehazing | |
| CN116523794A (zh) | 一种基于卷积神经网络的低光照图像增强方法 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN115760630A (zh) | 一种低照度图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |