CN116152120A - 一种融合高低频特征信息的低光图像增强方法及装置 - Google Patents

一种融合高低频特征信息的低光图像增强方法及装置 Download PDF

Info

Publication number
CN116152120A
CN116152120A CN202310426401.2A CN202310426401A CN116152120A CN 116152120 A CN116152120 A CN 116152120A CN 202310426401 A CN202310426401 A CN 202310426401A CN 116152120 A CN116152120 A CN 116152120A
Authority
CN
China
Prior art keywords
low
light image
component
reflection component
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310426401.2A
Other languages
English (en)
Other versions
CN116152120B (zh
Inventor
彭成磊
苏鸿丽
洪宇宸
刘知豪
王宇宣
潘红兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202310426401.2A priority Critical patent/CN116152120B/zh
Publication of CN116152120A publication Critical patent/CN116152120A/zh
Application granted granted Critical
Publication of CN116152120B publication Critical patent/CN116152120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种融合高低频特征信息的低光图像增强方法及装置，属于计算机视觉领域和图像处理领域。本发明方法包括：S1、采集RGB格式的正常光‑低光图像对；S2、对采集到的低光图像分解为光照分量Ilow和反射分量Rlow；S3、对得到的光照分量和反射分量分解为三级拉普拉斯金字塔；S4、分别对光照分量和反射分量的三级拉普拉斯金字塔图像依次输入到三个分支网络中得到增强后的光照分量
Figure ZY_1
和反射分量
Figure ZY_2
；S5、对
Figure ZY_3
和
Figure ZY_4
进行逐通道逐像素相乘操作得到低光增强后的正常光图像；其推理步骤包括上述步骤S2‑S5。本发明利用双通道注意力下的拉普拉斯多尺度特征提取块LRMSDA，实现能有效抑制噪声和增强纹理细节的高质量低光图像增强。

Description

一种融合高低频特征信息的低光图像增强方法及装置
技术领域
本发明涉及一种融合高低频特征信息的低光图像增强方法及装置，属于计算机视觉领域和图像处理领域。
背景技术
低光图像是由成像设备在昏暗的光照条件下拍摄得到的，照明不足导致图像存在可见度差、对比度低、意外噪声等问题，进一步损害许多为正常光图像设计的计算机视觉***的性能。因此，作为低级视觉任务，将低光图像转换为正常曝光的高质量图像尤其重要。
传统方法在处理暗光图像时主要分为两类，第一类建立在直方图均衡（HE）技术的基础上，第二类基于Retinex理论，将图像建模分解为两个组成部分，即照明分量和反射分量。虽然传统方法在某些情况下可能得到不错的结果，但是仍然受到反射和照明分解模型限制，即很难设计出能够应用于各种场景的图像分解的约束模型。
近年来，由于基于深度神经网络(DNN)的生成模型的丰富可能性，微光图像增强问题被重新表述为图像到图像的转换问题，即增强结果可以在不需要任何物理假设的情况下恢复。尽管基于DNN的各种模型极大地提高了恢复结果的视觉质量，但它们在高频纹理特征的处理上依旧存在不足。
发明内容
针对上述现有技术缺陷，本发明提出一种融合高低频特征信息的低光图像增强方法及装置，本发明使用多尺度深度堆叠拉普拉斯分离低频照度特征和高频纹理特征，在UNet上使用基于双通道注意力下的拉普拉斯多尺度特征提取块LRMSDA（基于双通道注意力下的拉普拉斯多尺度特征提取块，Laplacian Residual Multi-Scale featureextraction block based on Dual channel Attention，简称LRMSDA），更进一步增强网络对低频照度特征和高频纹理信息的感知与融合，在低光图像增强中能有效抑制噪声和增强纹理细节。
本发明采用的技术方案如下：
一种融合高低频特征信息的低光图像增强方法，其特征在于，包括如下步骤：
S1：采集RGB格式的正常光-低光图像对，图像信息分别记为
Figure SMS_1
、/>
Figure SMS_2
；
S2：对采集到的低光图像
Figure SMS_3
分解为光照分量Ilow和反射分量Rlow；
S3：对分解得到的光照分量I和反射分量R进一步分解为三级拉普拉斯金字塔，分别记为
Figure SMS_4
、/>
Figure SMS_5
；
S4：分别将光照分量I和反射分量R的三级拉普拉斯金字塔
Figure SMS_6
、
Figure SMS_7
输入到带有LRMSDA模块的三个U-Net分支网络N1、N2、N3中，得到增强后的光照分量/>
Figure SMS_8
和反射分量/>
Figure SMS_9
；/>
S5：对增强后的光照分量
Figure SMS_10
和反射分量/>
Figure SMS_11
进行逐通道逐像素相乘操作得到低光增强后的正常光图像。
在一种实施方式中，所述S2是使用经典Retinex-Net分解。经典Retinex-Net分解网络是一个以Sigmoid层结束的两分支全卷积神经网络，这两个分支分别用于估计正常光照图与低光图像的光照分量I和反射分量R。
在一种实施方式中，所述S3中对分解得到的光照分量Ilow和反射分量Rlow进一步分解为三级拉普拉斯金字塔的公式为：
Figure SMS_12
、/>
Figure SMS_13
；其中Ik、Rk分别表示原始输入的光照分量I或反射分量R下采样调整到/>
Figure SMS_14
比例的版本；/>
Figure SMS_15
表示对图像进行两倍上采样。
在一种实施方式中，所述S4中的三个U-Net分支网络N1、N2、N3包括编码器、LRMSDA模块、解码器。所述编码器、解码器为经典U-Net结构。
在一种实施方式中，所述LRMSDA模块包括拉普拉斯多尺度特征提取单元、双注意力单元。
在一种实施方式中，所述拉普拉斯多尺度特征提取单元首先将潜在特征进一步分解为3个拉普拉斯残差序列，对于每一个序列使用不同数量的卷积层来提取多尺度上下文信息。
在一种实施方式中，所述双注意力单元包括通道注意力分支和空间注意力分支。所述通道注意力分支首先将特征图
Figure SMS_32
通过全局平均池化对全局上下文进行编码从而得到特征描述子/>
Figure SMS_20
；特征描述子/>
Figure SMS_31
进一步通过两个卷积层、Sigmoid算子产生激活算子/>
Figure SMS_19
；最后使用激活算子/>
Figure SMS_29
重新标定输入特征图/>
Figure SMS_23
得到通道注意力分支的输出/>
Figure SMS_25
；所述空间注意力分支首先将特征图
Figure SMS_16
沿信道维度独立地应用全局平均池化和最大池化操作并将输出串联形成特征图/>
Figure SMS_24
，对特征图/>
Figure SMS_17
进行卷积和Sigmoid激活得到空间注意力映射
Figure SMS_28
，随后使用空间注意力映射/>
Figure SMS_18
重新标定输入特征图/>
Figure SMS_30
得到空间注意力分支的输出/>
Figure SMS_22
；最后将通道注意力分支的输出/>
Figure SMS_26
与空间注意力分支的输出/>
Figure SMS_21
进行通道拼接后经过卷积层再与原始输入特征图/>
Figure SMS_27
进行相加操作作为双注意力单元的最终输出。
在一种实施方式中，S4中带有LRMSDA模块的U-Net网络损失函数设计如下：
Figure SMS_33
其中，
Figure SMS_34
表示重建损失，/>
Figure SMS_37
、/>
Figure SMS_40
分别表示通过步骤S4和相应的正常光图像/>
Figure SMS_35
分解为光照分量Inormal和反射分量Rnormal后获得的第k个拉普拉斯金字塔中的增强组合结果输出，在每个金字塔级别计算的损失由Tk归一化，Tk表示/>
Figure SMS_39
中的像素总数，/>
Figure SMS_41
表示l2损失；/>
Figure SMS_43
表示拉普拉斯损失，目的是保持增强结果的局部清晰度，/>
Figure SMS_36
、/>
Figure SMS_38
分别表示通过步骤S4恢复的拉普拉斯残差图像和正常光图像/>
Figure SMS_42
分解为光照分量Inormal和反射分量Rnormal后在第k拉普拉斯金字塔层中的残差图像；
Figure SMS_44
表示颜色损失，目的是为了保证由预测增强结果的R、G、B通道组成的颜色向量与相应正常光图像的方向一致，其中Hk和Wk分别是第k个拉普拉斯金字塔增强结果的高度与宽度，i表示/>
Figure SMS_45
的像素位置，/>
Figure SMS_46
表示向量内积；wd、wl、wc表示每个损失项目的权重值。
在一种实施方式中，所述S4中对增强后的三级残差图像
Figure SMS_47
（k=1，2，3）进行跨金字塔层逐步组合得到增强后的图像金字塔，记为/>
Figure SMS_48
（k=1，2，3）；过程表示如下：
Figure SMS_49
，其中/>
Figure SMS_50
为最终增强图像。
在一种实施方式中，推理步骤包括上述步骤S2-S5。
本发明还提供一种融合高低频特征信息的低光图像增强装置，包括如下模块：
图像采集模块，用于采集正常光-低光图像对；
基于Retinex的图像分解模块，用于将所述图像采集模块采集到的低光图像分解为光照分量和反射分量；
基于拉普拉斯残差的图像分解模块，用于将光照分量和反射分量分解为三级拉普拉斯金字塔；
低光增强网络模块，用于将所述光照分量和反射分量的三级拉普拉斯金字塔图像输入并跨金字塔层逐步组合得到增强后的光照分量
Figure SMS_51
和反射分量/>
Figure SMS_52
；
重构模块，用于将所述增强后的光照分量
Figure SMS_53
和反射分量/>
Figure SMS_54
进行逐通道逐像素相乘操作得到低光增强后的正常光图像。
所述融合高低频特征信息的低光图像增强装置，能够实施上述融合高低频特征信息的低光图像增强方法。
本发明具有以下有益效果：
（1）本发明充分考虑低光图像的性质，将传统方法Retinex理论与深度神经网络进行结合恢复出正常曝光的高质量图像。
（2）在图像空间和特征空间中利用拉普拉斯金字塔来分别调整低频全局光照与恢复高频局部细节。将拉普拉斯金字塔应用于特征空间使得基于多尺度结构中高阶残差间丰富联系的优化变得更加容易，从而在网络训练阶段得以相对较小的损失稳定收敛。
（3）针对低光图像增强的任务，在传统的U-Net结构上提出了改进，其在编码器和解码器阶段均增加了额外的基于双通道注意力下的拉普拉斯多尺度特征提取块LRMSDA，丰富了不同分辨率图像中的上下文信息。
附图说明
图1是本发明一种融合高低频特征信息的低光图像增强装置的结构示意图；
图2是本发明一种融合高低频特征信息的低光图像增强方法的流程示意图；
图3是本发明一种融合高低频特征信息的低光图像增强网络的总体结构示意图；
图4是本发明带有LRMSDA模块的U-Net网络结构示意图；
图5是本发明LRMSDA模块结构示意图。
具体实施方式
以下结合附图对本发明方案进行详细说明。
如图1所示，本实施例提供一种融合高低频特征信息的低光图像增强装置，包括以下模块：
图像采集模块，用于采集同个场景下的正常光-低光图像对，得到的图像格式为PNG，排列方式为RGB；
基于Retinex的图像分解模块，用于将采集到的低光图像分解为光照分量和反射分量；
基于拉普拉斯残差的图像分解模块，用于将光照分量和反射分量分解为三级拉普拉斯金字塔
Figure SMS_55
、/>
Figure SMS_56
。
低光增强网络模块，用于将三级拉普拉斯金字塔图像
Figure SMS_57
、/>
Figure SMS_58
分别进行低光增强恢复并逐步组合得到增强后的光照分量/>
Figure SMS_59
和反射分量/>
Figure SMS_60
；
重构模块，用于将增强后的光照分量
Figure SMS_61
和反射分量/>
Figure SMS_62
进行逐通道逐像素相乘操作得到低光增强后的正常光图像。
如图2所示，本实施例提供一种融合高低频特征信息的低光图像增强方法，包括如下步骤：
S1：采集RGB格式的正常光-低光图像对，该正常光图像具有高细节度、高对比度、高清晰度等特点，图像信息分别记为
Figure SMS_63
、/>
Figure SMS_64
。
S2：对采集到的低光图像
Figure SMS_67
使用经典Retinex-Net分解为光照分量Ilow和反射分量Rlow；其中Retinex-Net网络是一个以Sigmoid层结束的两分支全卷积神经网络，这两个分支分别用于估计正常光照图与低光图像的光照分量I和反射分量R，分别记为（/>
Figure SMS_68
、
Figure SMS_70
）与（/>
Figure SMS_66
、/>
Figure SMS_69
）。其均由4个Conv-ReLU与1个Conv-Sigmoid堆叠组成，输入尺寸为
Figure SMS_71
的正常光照图与低光图像，输出尺寸为/>
Figure SMS_72
的光照分量与尺寸为
Figure SMS_65
的反射分量。所述Retinex-Net网络的损失函数为：
Figure SMS_73
其中
Figure SMS_74
为重建损失，N表示像素个数，
Figure SMS_76
表示正常光照图像在像素i点的反射分量和光照分量，/>
Figure SMS_79
表示低光图像在像素i点的反射分量和光照分量，该损失函数表征分解后重建图像与真实图像之间逐像素的平方误差；/>
Figure SMS_80
为反射率损失，该损失函数根据Retinex理论约束反射率一致性；/>
Figure SMS_77
为反射率的初始化先验条件，其中/>
Figure SMS_78
表示取正常光照图/>
Figure SMS_81
的RGB三个颜色通道之间的最大值；/>
Figure SMS_82
为颜色损失，用来确保预测的反射分量R的RGB通道组成的颜色向量与相应的真实图具有相同的方向，其中k=1，2，3表示RGB三通道，/>
Figure SMS_75
分别表示损失函数的权重值。
S3：对分解得到的光照分量I和反射分量R进一步分解为三级拉普拉斯金字塔，分别记为
Figure SMS_83
、/>
Figure SMS_84
。对分解得到的光照分量Ilow和反射分量Rlow进一步分解为三级拉普拉斯金字塔的公式为：/>
Figure SMS_85
、/>
Figure SMS_86
。其中Ik、Rk分别表示原始输入光照分量Ilow和反射分量Rlow通过torch.nn.functional.interpolate API使用双线性采样模式将图像下采样调整到/>
Figure SMS_87
比例的版本。/>
Figure SMS_88
表示通过torch.nn.functional.interpolate API使用双线性采样模式对图像分量进行两倍上采样。
S4：分别将光照分量I和反射分量R的三级拉普拉斯金字塔
Figure SMS_95
、
Figure SMS_101
依次输入到三个U-Net分支网络N1、N2、N3中得到增强后的光照分量/>
Figure SMS_107
和反射分量/>
Figure SMS_98
。对于分支网络N1，首先将/>
Figure SMS_105
与/>
Figure SMS_113
输入进带有LRMSDA模块的U-Net网络中得到增强后的/>
Figure SMS_120
与/>
Figure SMS_93
，随后对/>
Figure SMS_104
与/>
Figure SMS_111
进行双线性上采样操作得到/>
Figure SMS_119
与/>
Figure SMS_96
，进而对
Figure SMS_100
与/>
Figure SMS_106
进行拉普拉斯操作得到/>
Figure SMS_114
与/>
Figure SMS_125
并与/>
Figure SMS_129
、/>
Figure SMS_133
进行通道拼接以此将较粗层次的信息传递到下一个分支，用于更精细的特征重构，最后对/>
Figure SMS_135
与
Figure SMS_91
再次进行双线性上采样与拉普拉斯操作得到/>
Figure SMS_97
与/>
Figure SMS_110
。对于分支网络N2，输入/>
Figure SMS_118
与/>
Figure SMS_115
、/>
Figure SMS_121
与/>
Figure SMS_126
通道拼接后的特征图得到增强后的/>
Figure SMS_130
与/>
Figure SMS_123
，随后对/>
Figure SMS_127
与/>
Figure SMS_131
进行双线性上采样操作得到/>
Figure SMS_134
与/>
Figure SMS_94
。对于分支N3，输入/>
Figure SMS_99
、
Figure SMS_109
、/>
Figure SMS_117
以及/>
Figure SMS_124
、/>
Figure SMS_128
、/>
Figure SMS_132
通道拼接后的特征图得到增强后的/>
Figure SMS_136
与/>
Figure SMS_89
。对增强后的/>
Figure SMS_102
、/>
Figure SMS_108
、/>
Figure SMS_116
、/>
Figure SMS_90
、/>
Figure SMS_103
、/>
Figure SMS_112
进行金字塔逐步组合得到增强后的光照分量/>
Figure SMS_122
和反射分量/>
Figure SMS_92
。
具体地，所述LRMSDA模块包括拉普拉斯多尺度特征提取单元、双注意力单元。
所述拉普拉斯多尺度特征提取单元首先将潜在特征进一步分解为3个拉普拉斯残差序列，对于每一个序列使用不同数量的卷积层来提取多尺度上下文信息。
在一种实施方式中，所述双注意力单元包括通道注意力分支和空间注意力分支。所述通道注意力分支首先将特征图
Figure SMS_144
通过全局平均池化对全局上下文进行编码从而得到特征描述子/>
Figure SMS_139
；特征描述子/>
Figure SMS_152
进一步通过两个卷积层、Sigmoid算子产生激活算子/>
Figure SMS_143
；最后使用激活算子/>
Figure SMS_148
重新标定输入特征图/>
Figure SMS_145
得到通道注意力分支的输出/>
Figure SMS_153
；所述空间注意力分支首先将特征图
Figure SMS_141
沿信道维度独立地应用全局平均池化和最大池化操作并将输出串联形成特征图/>
Figure SMS_146
，对特征图/>
Figure SMS_137
进行卷积和Sigmoid激活得到空间注意力映射
Figure SMS_149
，随后使用空间注意力映射/>
Figure SMS_140
重新标定输入特征图/>
Figure SMS_147
得到空间注意力分支的输出/>
Figure SMS_142
；最后将通道注意力分支的输出/>
Figure SMS_150
与空间注意力分支的输出/>
Figure SMS_138
进行通道拼接后经过卷积层再与原始输入特征图/>
Figure SMS_151
进行相加操作作为双注意力单元的最终输出。
S4中带有LRMSDA模块的U-Net网络损失函数设计如下：
Figure SMS_154
其中，
Figure SMS_157
表示重建损失，/>
Figure SMS_159
、/>
Figure SMS_162
分别表示通过步骤S4和相应的正常光图像/>
Figure SMS_155
分解为光照分量Inormal和反射分量Rnormal后获得的第k个拉普拉斯金字塔中的增强组合结果输出，在每个金字塔级别计算的损失由Tk归一化，Tk表示/>
Figure SMS_160
中的像素总数，/>
Figure SMS_161
表示l2损失；/>
Figure SMS_164
表示拉普拉斯损失，目的是保持增强结果的局部清晰度，/>
Figure SMS_156
、/>
Figure SMS_158
分别表示通过步骤S4恢复的拉普拉斯残差图像和正常光图像/>
Figure SMS_163
分解为光照分量Inormal和反射分量Rnormal后在第k拉普拉斯金字塔层中的残差图像；
Figure SMS_165
表示颜色损失，目的是为了保证由预测增强结果的R、G、B通道组成的颜色向量与相应正常光图像的方向一致，其中Hk和Wk分别是第k个拉普拉斯金字塔增强结果的高度与宽度，i表示/>
Figure SMS_166
的像素位置，/>
Figure SMS_167
表示向量内积；wd、wl、wc表示每个损失项目的权重值。
所述S4中对增强后的三级残差图像
Figure SMS_168
（k=1，2，3）进行跨金字塔层逐步组合得到增强后的图像金字塔，记为/>
Figure SMS_169
（k=1，2，3）；过程表示如下：/>
Figure SMS_170
，其中
Figure SMS_171
为最终增强图像。
S5：对增强后的光照分量
Figure SMS_172
和反射分量/>
Figure SMS_173
进行逐通道逐像素相乘操作得到低光增强后的正常光图像。
如图4所示，本实施例提供带有LRMSDA模块的U-Net网络结构，其由编码器、LRMSDA模块、解码器组成。具体包括编码器的4个下采样层、解码器的4个上采样层、7个LRMSDA模块。经典的U-Net模型首先采用4个下采样层的编码器将尺寸为
Figure SMS_174
的反射分量（C=3）或光照分量（C=1）编码为尺寸为/>
Figure SMS_175
的特征图；然后采用4个上采样层的解码器将尺寸为/>
Figure SMS_176
的特征图解码为尺寸为/>
Figure SMS_177
的增强后的反射分量（C=3）或光照分量（C=1）。而带有LRMSDA模块的U-Net网络结构在每次下采样与下采样之前将特征图输入进LRMSDA模块，LRMSDA模块输入与输出的特征图尺寸一致。
如图5所示，本实施例提供LRMSDA模块，包括拉普拉斯多尺度特征提取单元、双注意力单元。其中拉普拉斯多尺度特征提取单元将输入特征图分解为三级拉普拉斯金字塔，分解公式与步骤S3一致。分别对三级拉普拉斯金字塔特征图从大尺度到小尺度依次进行1个、2个、3个卷积核为3*3的卷积操作，得到三个输出的特征图并进行两倍上采样以及相加操作重构为一个特征图。此特征图依次经过两个卷积层、PReLU激活函数后分别输入到通道注意力分支与空间注意力分支。其中通道注意力分支首先对输入特征图进行并行的全局平均池化与全局最大池化操作后将二者的输出进行通道拼接后依次经过卷积层、Sigmoid激活函数最后与原始输入通道注意力分支的特征图进行相乘操作得到通道注意力分支的输出Out1。其中空间注意力分支首先对输入特征图进行全局平均池化操作并以此经过卷积层、PReLU激活函数、卷积层、Sigmoid激活函数得到的输出与原始输入空间注意力分支的特征图进行相乘操作得到空间注意力分支的输出Out2。最后将Out1与Our2进行通道拼接后经过卷积层并与拉普拉斯分解前的特征图进行相加操作得到最终LRMSDA模块的输出。
定量实验检测：本发明中，对低光图像增强常用的经典模型在LOL数据集上进行了并行实验来验证本发明的图像处理效果。采用图像增强领域常用的峰值信噪比（PSNR）和结构相似性（SSIM）来作为评价指标。PSNR用于比较所需信号强度与背景噪声的强度，其值越大图像噪音越小，图像质量越高；SSIM反应的是两幅图像间的相似度，SSIM值越高，说明两幅图像越相似。其中参与对比的包括经典的LIME、Retinex-Net、EnlightenGAN、MBLLEN模型，结果如表1所示。
表1
Figure SMS_178
综上所述，本实施例提供的方法，将传统Retinex理论与深度神经网络进行结合，使用多尺度深度堆叠拉普拉斯分离低频照度特征和高频纹理特征，在UNet上使用基于双通道注意力下的拉普拉斯多尺度特征提取块LRMSDA更进一步增强网络对低频照度特征和高频纹理信息的感知与融合，实现能有效抑制噪声和增强纹理细节的高质量低光图像增强。
以上所述，仅为本发明的具体实施方式，并非对本发明做任何形式上的限制。应当指出，所用的正常光图像采集设备不对本发明构成限制，图像分辨率不对本发明构成限制，图像内容不对本发明构成限制。本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明公开的保护范围之内。

Claims (10)

1.一种融合高低频特征信息的低光图像增强方法，其特征在于，包括如下步骤：
S1：采集RGB格式的正常光-低光图像对，图像信息分别记为
Figure QLYQS_1
、/>
Figure QLYQS_2
；
S2：对采集到的低光图像
Figure QLYQS_3
分解为光照分量Ilow和反射分量Rlow；
S3：对分解得到的光照分量I和反射分量R进一步分解为三级拉普拉斯金字塔，分别记为
Figure QLYQS_4
、/>
Figure QLYQS_5
；
S4：分别将光照分量I和反射分量R的三级拉普拉斯金字塔
Figure QLYQS_6
、/>
Figure QLYQS_7
输入到带有LRMSDA模块的三个U-Net分支网络N1、N2、N3中，得到增强后的光照分量/>
Figure QLYQS_8
和反射分量/>
Figure QLYQS_9
；其中三个U-Net分支网络N1、N2、N3包括编码器、LRMSDA模块、解码器；LRMSDA模块包括拉普拉斯多尺度特征提取单元、双注意力单元；所述双注意力单元包括通道注意力分支和空间注意力分支；
S5：对增强后的光照分量
Figure QLYQS_10
和反射分量/>
Figure QLYQS_11
进行逐通道逐像素相乘操作得到低光增强后的正常光图像。
2.根据权利要求1所述的低光图像增强方法，其特征在于，所述S2是使用经典Retinex-Net分解；经典Retinex-Net分解网络是一个以Sigmoid层结束的两分支全卷积神经网络，这两个分支分别用于估计正常光照图与低光图像的光照分量I和反射分量R。
3.根据权利要求1所述的低光图像增强方法，其特征在于，所述S3中对分解得到的光照分量Ilow和反射分量Rlow进一步分解为三级拉普拉斯金字塔的公式为：
Figure QLYQS_12
、/>
Figure QLYQS_13
；其中Ik、Rk分别表示原始输入的光照分量I或反射分量R下采样调整到/>
Figure QLYQS_14
比例的版本；/>
Figure QLYQS_15
表示对图像进行两倍上采样。
4.根据权利要求1所述的低光图像增强方法，其特征在于，所述拉普拉斯多尺度特征提取单元首先将潜在特征进一步分解为3个拉普拉斯残差序列，对于每一个序列使用不同数量的卷积层来提取多尺度上下文信息。
5.根据权利要求1所述的低光图像增强方法，其特征在于，所述通道注意力分支首先将特征图
Figure QLYQS_16
通过全局平均池化对全局上下文进行编码从而得到特征描述子
Figure QLYQS_17
；特征描述子/>
Figure QLYQS_18
进一步通过两个卷积层、Sigmoid算子产生激活算子
Figure QLYQS_19
；最后使用激活算子/>
Figure QLYQS_20
重新标定输入特征图/>
Figure QLYQS_21
得到通道注意力分支的输出/>
Figure QLYQS_22
。
6.根据权利要求1所述的低光图像增强方法，其特征在于，所述空间注意力分支首先将特征图
Figure QLYQS_25
沿信道维度独立地应用全局平均池化和最大池化操作并将输出串联形成特征图/>
Figure QLYQS_26
，对特征图/>
Figure QLYQS_29
进行卷积和Sigmoid激活得到空间注意力映射/>
Figure QLYQS_24
，随后使用空间注意力映射/>
Figure QLYQS_27
重新标定输入特征图
Figure QLYQS_31
得到空间注意力分支的输出/>
Figure QLYQS_32
；最后将通道注意力分支的输出/>
Figure QLYQS_23
与空间注意力分支的输出/>
Figure QLYQS_28
进行通道拼接后经过卷积层再与原始输入特征图/>
Figure QLYQS_30
进行相加操作作为双注意力单元的最终输出。
7.根据权利要求1所述的低光图像增强方法，其特征在于，所述S4中带有LRMSDA模块的U-Net网络损失函数设计如下：
Figure QLYQS_33
；
其中，
Figure QLYQS_35
表示重建损失，/>
Figure QLYQS_38
、/>
Figure QLYQS_41
分别表示通过步骤S4和相应的正常光图像/>
Figure QLYQS_36
分解为光照分量Inormal和反射分量Rnormal后获得的第k个拉普拉斯金字塔中的增强组合结果输出，在每个金字塔级别计算的损失由Tk归一化，Tk表示/>
Figure QLYQS_37
中的像素总数，
Figure QLYQS_40
表示l2损失；/>
Figure QLYQS_43
表示拉普拉斯损失，目的是保持增强结果的局部清晰度，/>
Figure QLYQS_34
、/>
Figure QLYQS_39
分别表示通过步骤S4恢复的拉普拉斯残差图像和正常光图像/>
Figure QLYQS_42
分解为光照分量Inormal和反射分量Rnormal后在第k拉普拉斯金字塔层中的残差图像；
Figure QLYQS_44
表示颜色损失，目的是为了保证由预测增强结果的R、G、B通道组成的颜色向量与相应正常光图像的方向一致，其中Hk和Wk分别是第k个拉普拉斯金字塔增强结果的高度与宽度，i表示/>
Figure QLYQS_45
的像素位置，/>
Figure QLYQS_46
表示向量内积；wd、wl、wc表示每个损失项目的权重值。
8.根据权利要求1所述的低光图像增强方法，其特征在于，所述S4中对增强后的三级残差图像
Figure QLYQS_47
（k=1，2，3）进行跨金字塔层逐步组合得到增强后的图像金字塔，记为/>
Figure QLYQS_48
（k=1，2，3）；过程表示如下：/>
Figure QLYQS_49
，其中/>
Figure QLYQS_50
为最终增强图像。
9.一种融合高低频特征信息的低光图像增强装置，其特征在于，包括如下模块：
图像采集模块，用于采集正常光-低光图像对；
基于Retinex的图像分解模块，用于将所述图像采集模块采集到的低光图像分解为光照分量和反射分量；
基于拉普拉斯残差的图像分解模块，用于将光照分量和反射分量分解为三级拉普拉斯金字塔；
低光增强网络模块，用于将所述光照分量和反射分量的三级拉普拉斯金字塔图像输入并跨金字塔层逐步组合得到增强后的光照分量
Figure QLYQS_51
和反射分量/>
Figure QLYQS_52
；
重构模块，用于将所述增强后的光照分量
Figure QLYQS_53
和反射分量/>
Figure QLYQS_54
进行逐通道逐像素相乘操作得到低光增强后的正常光图像。
10.根据权利要求9所述的低光图像增强装置，其特征在于，所述低光图像增强装置，能够实施权利要求1-8任一所述的低光图像增强方法。
CN202310426401.2A 2023-04-20 2023-04-20 一种融合高低频特征信息的低光图像增强方法及装置 Active CN116152120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310426401.2A CN116152120B (zh) 2023-04-20 2023-04-20 一种融合高低频特征信息的低光图像增强方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310426401.2A CN116152120B (zh) 2023-04-20 2023-04-20 一种融合高低频特征信息的低光图像增强方法及装置

Publications (2)

Publication Number Publication Date
CN116152120A true CN116152120A (zh) 2023-05-23
CN116152120B CN116152120B (zh) 2023-07-21

Family

ID=86374025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310426401.2A Active CN116152120B (zh) 2023-04-20 2023-04-20 一种融合高低频特征信息的低光图像增强方法及装置

Country Status (1)

Country Link
CN (1) CN116152120B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116844053A (zh) * 2023-07-19 2023-10-03 北京师范大学 一种小麦种植区域识别方法、***、电子设备及存储介质
CN117011194A (zh) * 2023-10-07 2023-11-07 暨南大学 一种基于多尺度双通道注意力网络的低光图像增强方法
CN117372307A (zh) * 2023-12-01 2024-01-09 南京航空航天大学 一种多无人机协同探测分布式图像增强方法
CN117496160A (zh) * 2023-12-29 2024-02-02 中国民用航空飞行学院 一种面向室内场景的无人机拍摄低光照图像语义分割方法
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN112927160A (zh) * 2021-03-12 2021-06-08 郑州轻工业大学 一种基于深度Retinex的单张低光图像增强方法
CN113256510A (zh) * 2021-04-21 2021-08-13 浙江工业大学 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法
CN114266707A (zh) * 2021-11-24 2022-04-01 重庆理工大学 一种结合注意力机制和Retinex模型的低光图像增强方法
CN115063318A (zh) * 2022-06-29 2022-09-16 深圳市安软慧视科技有限公司 自适应频率分解的低光照图像增强方法与相关设备
CN115393227A (zh) * 2022-09-23 2022-11-25 南京大学 基于深度学习的微光全彩视频图像自适应增强方法及***
CN115841438A (zh) * 2022-10-24 2023-03-24 中国科学院长春光学精密机械与物理研究所 基于改进gan网络的红外图像与可见光图像融合方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047515A (zh) * 2019-12-29 2020-04-21 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN112927160A (zh) * 2021-03-12 2021-06-08 郑州轻工业大学 一种基于深度Retinex的单张低光图像增强方法
CN113256510A (zh) * 2021-04-21 2021-08-13 浙江工业大学 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法
CN114266707A (zh) * 2021-11-24 2022-04-01 重庆理工大学 一种结合注意力机制和Retinex模型的低光图像增强方法
CN115063318A (zh) * 2022-06-29 2022-09-16 深圳市安软慧视科技有限公司 自适应频率分解的低光照图像增强方法与相关设备
CN115393227A (zh) * 2022-09-23 2022-11-25 南京大学 基于深度学习的微光全彩视频图像自适应增强方法及***
CN115841438A (zh) * 2022-10-24 2023-03-24 中国科学院长春光学精密机械与物理研究所 基于改进gan网络的红外图像与可见光图像融合方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116844053A (zh) * 2023-07-19 2023-10-03 北京师范大学 一种小麦种植区域识别方法、***、电子设备及存储介质
CN117011194A (zh) * 2023-10-07 2023-11-07 暨南大学 一种基于多尺度双通道注意力网络的低光图像增强方法
CN117011194B (zh) * 2023-10-07 2024-01-30 暨南大学 一种基于多尺度双通道注意力网络的低光图像增强方法
CN117372307A (zh) * 2023-12-01 2024-01-09 南京航空航天大学 一种多无人机协同探测分布式图像增强方法
CN117372307B (zh) * 2023-12-01 2024-02-23 南京航空航天大学 一种多无人机协同探测分布式图像增强方法
CN117496160A (zh) * 2023-12-29 2024-02-02 中国民用航空飞行学院 一种面向室内场景的无人机拍摄低光照图像语义分割方法
CN117496160B (zh) * 2023-12-29 2024-03-19 中国民用航空飞行学院 一种面向室内场景的无人机拍摄低光照图像语义分割方法
CN117893413A (zh) * 2024-03-15 2024-04-16 博创联动科技股份有限公司 基于图像增强的车载终端人机交互方法

Also Published As

Publication number Publication date
CN116152120B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN116152120B (zh) 一种融合高低频特征信息的低光图像增强方法及装置
Yang et al. Deep edge guided recurrent residual learning for image super-resolution
Yang et al. Scale-free single image deraining via visibility-enhanced recurrent wavelet learning
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
Guo et al. Dense scene information estimation network for dehazing
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
CN111784582B (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN111028177A (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN111179167A (zh) 一种基于多阶段注意力增强网络的图像超分辨方法
Shen et al. Convolutional neural pyramid for image processing
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN113034413B (zh) 一种基于多尺度融合残差编解码器的低照度图像增强方法
CN112767283A (zh) 一种基于多图像块划分的非均匀图像去雾方法
CN114881871A (zh) 一种融合注意力单幅图像去雨方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其***
Ke et al. Edllie-net: Enhanced deep convolutional networks for low-light image enhancement
CN115035011A (zh) 一种融合策略下自适应RetinexNet的低照度图像增强方法
Tan et al. Low-light image enhancement with geometrical sparse representation
Ancuti et al. NTIRE 2023 HR nonhomogeneous dehazing challenge report
CN117689592A (zh) 一种基于级联自适应网络的水下图像增强方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant