CN114219722A - 一种利用时频域层级处理的低光照图像增强方法 - Google Patents
一种利用时频域层级处理的低光照图像增强方法 Download PDFInfo
- Publication number
- CN114219722A CN114219722A CN202111336761.0A CN202111336761A CN114219722A CN 114219722 A CN114219722 A CN 114219722A CN 202111336761 A CN202111336761 A CN 202111336761A CN 114219722 A CN114219722 A CN 114219722A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- module
- enhancement
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005286 illumination Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 18
- 230000001629 suppression Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 230000011514 reflex Effects 0.000 claims description 2
- 230000020411 cell activation Effects 0.000 claims 1
- 238000011084 recovery Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 4
- 206010013883 Dwarfism Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000003710 cerebral cortex Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种利用时频域层级处理的低光照图像增强方法，包括步骤：S1、构建低光照图像数据集，包括低光照图像数据集的采集和标注，合理划分训练数据集和测试数据集；S2、建立低光照图像增强网络框架，使用深度学习中的卷积神经网络搭建整个网络框架；S3、进行模型训练，利用步骤S1划分好的训练数据集对步骤S2构建的低光照图像增强网络框架进行迭代训练；S4、进行模型测试，利用步骤S3训练后保存的模型对步骤S1划分好的测试数据集进行检测。本发明在深度学习框架下，结合时域与频域构建网络框架，利用数据驱动方式对低光照图像进行层级处理，实现图像亮度拉伸，生成清晰、低噪声的结果图像，使得低光照图像增强任务更高效。
Description
技术领域
本发明涉及低光照图像增强技术领域，尤其涉及一种利用时频域层级处理的低光照图像增强方法。
背景技术
随着生活水平的逐步改善和高科技技术的发展，人们常以拍摄的方式记录生活的点滴，同时在工业上智能设备通过捕获各种图像高效处理视觉任务，取得比手工操作更高的效率，因此，图像成为了人类生活必不可少的一部分。但由于低光照环境和有限且昂贵的摄像设备，人们常捕获到一些低质量的图像，如低光照图像。而这种暗光照图像通常具有亮度低，对比度不高，噪声大等缺点，这不仅影响图像的美感，人类的视觉感知，而且还会挑战许多依赖于计算机视觉算法的智能***，如全天自动驾驶和生物特征识别，目标检测等，导致其性能受限。
为了有效改善低光图像质量，出现了许多低光照图像增强算法，这些算法可以分为三大类：基于传统理论的方法、基于视网膜皮层(Retinex)的方法和基于深度学习的方法。传统的经典方法是直方图均衡，该方法根据图像直方图统计像素的灰度值，再对其进行像素均衡，从而使得亮度有所提升，但这种方法并未考虑邻域像素的关系，仅对图像像素进行单一处理，所以得到的图像往往看起来是不自然的。Retinex理论认为任何图像都可以分解为反映物体内在属性的反射分量和受环境影响的光照分量。人眼感受外界物体的明暗程度通常是由物体的反射分量决定的，但由于反射分量与光照分量的分解过程是不适定问题，因此，基于Retinex的方法很难完全将这两分量分离开并对其进行有效增强。而基于深度学习的方法通过从大规模数据中捕获自然图像统计信息，灵活地进行学习，对现实中图像具有一定的适用性，泛化能力高，且成本低。因此，可通过深度学习的框架，进一步研发一种图像亮度提升与噪声抑制的技术方案。
发明内容
为解决现有技术所存在的技术问题，本发明提供一种利用时频域层级处理的低光照图像增强方法，在深度学习框架下，结合时域与频域构建网络框架，利用数据驱动方式对低光照图像进行层级处理，实现拉伸图像亮度范围的同时，生成自然的、清晰的、低噪声的结果图像，使得低光照图像增强任务更高效。
本发明采用以下技术方案来实现：一种利用时频域层级处理的低光照图像增强方法，包括以下步骤：
S1、构建低光照图像数据集，包括低光照图像数据集的采集和标注，合理划分训练数据集和测试数据集；
S2、建立低光照图像增强网络框架，使用深度学习中的卷积神经网络搭建整个网络框架，针对低光照图像存在的问题设计相应的模块，构建一个基于深度学习的低光照图像增强网络；
S3、进行模型训练，利用步骤S1划分好的训练数据集对步骤S2构建的低光照图像增强网络框架进行迭代训练；
S4、进行模型测试，利用步骤S3训练后保存的模型对步骤S1划分好的测试数据集进行检测。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明通过利用自然低光图像以及人工合成的暗光图像混合而成的数据集进行训练以获得通用的低光图像增强网络模型，不仅能处理自然场景产生的暗光图像，而且考虑了更复杂的光照情况，能够很好地增强亮度的同时，显著地抑制噪声和恢复细节，具有较高的鲁棒性和通用性。
2、本发明构建的网络模型基于深度学习技术处理图像，速度快，输出结果自然且清晰。
3、本发明构建的网络是端到端训练的，对运行设备要求不高，成本低，占用资源小，因此，在目标检测、数字监控、自动驾驶等多个领域都有明显的应用价值，既可提升生活质量，也可进一步提高视觉任务的精度，推动人工智能技术的发展。
附图说明
图1是本发明方法的流程图；
图2是本发明低光照图像增强网络框架图；
图3是本发明动态增强单元网络结构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例一种利用时频域层级处理的低光照图像增强方法，包括以下步骤：
S1、构建低光照图像数据集，包括低光照图像数据集的采集和标注，合理划分训练数据集和测试数据集；
S2、建立低光照图像增强网络框架，使用深度学习中的卷积神经网络搭建整个网络框架，针对低光照图像存在的问题设计相应的模块，构建一个基于深度学习的低光照图像增强网络；
S3、进行模型训练，利用步骤S1划分好的训练数据集对步骤S2构建的低光照图像增强网络框架进行迭代训练；
S4、进行模型测试，利用步骤S3训练后保存的模型对步骤S1划分好的测试数据集进行检测。
本实施例中，步骤S1中构建低光照图像数据集的具体步骤如下：
S11、进行图像收集，通过两种途径获取暗光图像，包括从各个摄影学网站收集的低光照图像和利用现有的单反摄像设备、多种品牌的手机，在现实的白天及夜晚场景中人工采集图像；具体地，在白天场景中，通过调节摄像设备光圈可以分别采集到同一场景的两种类型图像，分别是正常光照图像以及低光照图像；在夜晚及暗光环境中，将摄像设备光圈置于正常范围，直接对物体进行拍摄，采集低光图像；
S12、进行数据集标注，对所获得的图像进行分类，利用人工对从网站上收集的以及夜晚条件下拍摄的图像进行人工标注，将同一场景的低光图像和与其对应的正常光照图像称为一组图像对，并将图像对的文件名按照自然数顺序重命名；
S13、进行数据集划分标注，将收集的所有图像按照7:3的比例随机划分为训练数据集和测试数据集。
如图2所示，本实施例中，步骤S2中低光照图像增强网络框架，包括：
时域亮度增强模块，用于提升暗光图像的亮度水平；
频域噪声抑制模块，用于滤除图像的噪声；
时域细节重构模块，由于经过频域噪声抑制模块的滤除作用，图像变得平滑的同时细节会丢失，因此，时域细节重构模块主要用于恢复图像的结构，纹理等细节部分；
各个模块均由动态增强单元(Dynamic Enhancement Unit，DEU)作为基本的元素，利用不同的构建方法组成，并使用L1正则化损失、总变分差(Total Variation,TV)损失和拉普拉斯损失组合为一组约束条件用作网络的总损失函数。
具体地，本实施例中，时域亮度增强模块的具体实现过程如下：
S211、将输入图像经过一层核3×3的卷积操作获得一组特征；
S212、将该特征输入类人眼机制工作的DEU增强特征，使其更能表征图像的亮度水平并利用统计特性增强亮度；
S213、利用一层核3×3的卷积与Tanh激活操作将图像编码后输出，完成初步的亮度提升。
具体地，本实施例中，频域噪声抑制模块的具体实现过程如下：
S221、将时域亮度增强模块得到的图像利用小波变换(Discrete WaveletTransform,DWT)将图像特征变换到频域；
S222、利用DEU以及基本的卷积对特征进行处理；
S223、通过对处理后的图像逐渐小波逆变换(Discrete Inverse WaveletTransform,IDWT)使其变换回时域图像，再进入时域细节重构模块的处理。
具体地，本实施例中，时域细节重构模块的具体实现过程如下：
S231、将时域亮度增强模块和频域噪声抑制模块的输出结果图级联，并输入到时域细节重构模块；
S232、对该图像经过数层卷积层以及多个动态增强单元DEU，进行图像边缘增强，颜色恢复等细节信息的重构；
S233、输出最终整个网络的增强图像。
本实施例中，步骤S211的具体过程为：将图像大小为H×W，通道数为3的输入图像S∈RH×W×3，利用一层核为3×3的卷积层及带泄露的修正线性单元(Leaky Rectified LinearUnit,LReLU)激活操作提取一组大小为[8,64,256,256]的特征，该特征包含图像的亮度，颜色，细节等信息。
如图3所示，本实施例中，步骤S212中动态增强单元DEU主要采用类视网膜的工作处理机制，以并行通道的方式进一步处理输入特征。对于输入的视觉信号，人类的视网膜会运用两种细胞共同作用，分别是侏儒细胞和阳伞细胞。其中，侏儒细胞感受野较小，用于编码高频信息，如场景中的细节和边缘等；而阳伞细胞善于处理视觉信息中的低频部分，包括场景的全局结构等，它的主要特点是感受野较大。因此，根据此原理，动态增强单元DEU分别采用核为3×3和5×5的卷积表示侏儒细胞以及阳伞细胞构成两条处理通路对特征进行增强，这两条并行通道可以提取到不同感受野的特征信息。然后，利用特征相加操作融合两条通路的输出特征，该过程模拟的是人脑的视交叉神经工作机制，通过相加运算可以聚合不同的信息，使得特征更能表征图像。接着，将融合后的特征以并行的方式分别输入到由卷积层构成的网络通路中，增强学***衡融合后的特征使之更平滑以及信息交流更充分，整个过程定量可表示为：
f＝Rconv3(Xdeu)+Rconv5(Xdeu) (1)
其中，Xdeu表示动态增强单元DEU的输入特征；RconvN(.)是结合核为N×N卷积运算和LReLU激活运算的顺序操作；Fdam(·)是动态注意力机制模块(Dynamic AttentionModule，DAM)操作；
是级联操作；
是逐像素相加操作；f是中间输出量；fdeu是最终动态增强单元DEU的输出结果。
具体地，Fdam(·)模拟了人体大脑皮层的选择性工作机制。在人类捕获外界场景信息后，经过眼睛传入大脑皮层，而控制中心大脑中枢会根据需求筛选出有用的信息而丢弃无关部分。因此，根据此机制，动态增强单元DEU后续部分加入了动态注意力机制模块DAM，其作用是对特征进行筛选，使网络关注对任务有益的部分，如对于时域亮度增强模块的亮度增强任务，更关注亮度信息；频域噪声抑制模块主要作用于噪声区域；而时域细节重构模块，需关注图像的边缘结构细节。动态注意力机制模块DAM的结构如图3所示，其结构由并行的三分支组成，按从上到下的顺序依次是通道注意力分支、筛选分支、像素注意力分支。具体地，通道注意力分支由全局平均池化、1×1卷积、ReLU激活函数、1×1卷积以及Sigmoid激活操作顺序组成；而与通道注意力分支相比，像素注意力分支去掉全局平均池化操作，使其处理层面为图像像素点。对于筛选分支，主要是利用线性层和Softmax操作构成分类处理***，该分支的输出结果为一组分类得分数值(x，y)。因此，动态注意力机制模块DAM的工作过程可表示为：
其中，Xdam为动态注意力机制模块DAM的输入特征；
表示动态注意力机制模块DAM的通道注意力分支；
表示动态注意力机制模块DAM的像素注意力分支；而x，y为筛选分支的输出得分；fdam则为输出特征。
本实施例中，步骤S213初步的亮度提升过程可表示为：
Sl＝Tanh(Rconv3(Fdeu(Rconv3(S)))) (5)
其中，S表示输入图像；Fdeu(·)为动态增强单元DEU的操作；Tanh(·)是双曲正切激活函数；Sl表示输出特征，即为经过亮度增强的输出图像。
本实施例中，步骤S221中小波变换DWT主要是通过一维滤波函数和小波函数对图像的每行每列进行滤波，同时水平和垂直方向降采样。由此，可以计算出4个子图像ILL，ILH，IHL，IHH。对于输入图像S(x，y)，二维小波变换输出的4个子图像可以表示如下：
ILL＝φ(x)φ(y) (6)
其中，x为图像水平方向像素值；y为垂直方向像素值；φ(·)和
分别是一维尺度函数和小波函数；ILL为图像低频分量，包含基本的场景信息，如颜色，亮度，内容等；ILH，IHL，IHH为高频分量，经过低通滤波后，这些分量保留了图像的细节信息，比如噪声、边缘。相比之下，小波逆变换使用相同的滤波器和上采样方法将四个子图像合并到原始图像。由于小波变换DWT和小波逆变换IDWT涉及下采样和上采样，每经过一次DWT操作图像大小会缩小成原来四分之一，通道数相应增大四倍；相反地，小波逆变换IDWT使图像大小扩大四倍，通道数减少四分之一。
如图2所示，本实施例中，在频域噪声抑制模块中，图像分别按顺序经过小波变换DWT、卷积层和动态增强单元DEU操作后，可依次获得特征{x1，x2，x3}，其大小分别为{256，128，64}，按照自底向上的顺序先将x3输入到卷积层和动态增强单元DEU中，可对其中的噪声进行第一次抑制。再经过小波逆变换IDWT上采样到与x2相同的大小并与其进行级联，接着同样运用卷积层和动态增强单元DEU对其进行第二次噪声抑制。同理地，x2小波逆变换后与x1级联作为第三次噪声抑制操作的输入，经过处理后最终将得到图像大小与原图一样的增强图像Sd。
本实施例中，特征进入时域细节重构模块后，按顺序经过1×1卷积，3×3卷积，三个动态增强单元DEU以及3×3卷积操作。尽管网络仅有5层，但是在损失函数的驱动下，细节可以很好地被恢复。因此，在时域细节重构模块的输出结果Ss就是整个网络最终的增强图像。
具体地，损失函数采用如下定义：
Ltotal＝l1+l2+l3 (10)
l1＝||Sl-Snormal||1 (11)
l2＝||Sd-Snormal||1+||ΔSd||1 (12)
l3＝||Ss-Snormal||1+||Flap(ss)-Flap(Snormal)||1 (13)
其中，Ltotal表示低光照增强网络的总损失；l1，l2，l3分别为时域亮度增强模块、频域噪声抑制模块、时域细节重构模块的损失；Sl，Sd，Ss分别为时域亮度增强模块、频域噪声抑制模块、时域细节重构模块的输出结果图；Snormoal为标签图像，即对应的正常光照图像；‖·‖1是L1正则化函数；Δ表示图像水平和垂直梯度和；Flap(·是拉普拉斯变换函数。
本实施例中，步骤S3的具体过程如下：
S31、进行模型训练时将输入图像尺寸调整为256×256，使用自适应矩估计优化器以运行平均值系数为(0.9，0.999)和0.000008的权重衰减训练网络，训练的迭代次数为150，批量化大小为8，初始学习率为0.0002，采用学习计划策略，在迭代次数到达60后学习率下降10％；
S32、每迭代训练10次保存一次模型。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种利用时频域层级处理的低光照图像增强方法，其特征在于，包括以下步骤：
S1、构建低光照图像数据集，包括低光照图像数据集的采集和标注，合理划分训练数据集和测试数据集；
S2、建立低光照图像增强网络框架，使用深度学习中的卷积神经网络搭建整个网络框架，针对低光照图像存在的问题设计相应的模块，构建一个基于深度学习的低光照图像增强网络；
S3、进行模型训练，利用步骤S1划分好的训练数据集对步骤S2构建的低光照图像增强网络框架进行迭代训练；
S4、进行模型测试，利用步骤S3训练后保存的模型对步骤S1划分好的测试数据集进行检测。
2.根据权利要求1所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，步骤S1中构建低光照图像数据集的具体步骤如下：
S11、进行图像收集，通过两种途径获取暗光图像，包括从各个摄影学网站收集的低光照图像和利用现有的单反摄像设备、多种品牌的手机，在现实的白天及夜晚场景中人工采集图像；在白天场景中，通过调节摄像设备光圈分别采集同一场景的两种类型图像，分别是正常光照图像以及低光照图像；在夜晚及暗光环境中，将摄像设备光圈置于正常范围，对物体进行拍摄，采集低光图像；
S12、进行数据集标注，对所获得的图像进行分类，利用人工对从网站上收集的以及夜晚条件下拍摄的图像进行人工标注，将同一场景的低光图像和与其对应的正常光照图像称为一组图像对，并将图像对的文件名按照自然数顺序重命名；
S13、进行数据集划分标注，将收集的所有图像按照7:3的比例随机划分为训练数据集和测试数据集。
3.根据权利要求1所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，步骤S2中低光照图像增强网络框架，包括：
时域亮度增强模块，用于提升暗光图像的亮度水平；
频域噪声抑制模块，用于滤除图像的噪声；
时域细节重构模块，用于恢复图像的细节部分，包含图像的结构和纹理；
各个模块均由动态增强单元DEU作为基本的元素，利用多种构建方法组成，并使用L1正则化损失、总变分差TV损失和拉普拉斯损失组合为一组约束条件用作网络的总损失函数。
4.根据权利要求3所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，时域亮度增强模块的具体实现过程如下：
S211、将输入图像经过一层核3x3的卷积操作获得一组特征；
S212、将该特征输入类人眼机制工作的动态增强单元DEU增强特征，使其更能表征图像的亮度水平并利用统计特性增强亮度；
S213、利用一层核3x3的卷积与Tanh激活操作将图像编码后输出，完成初步的亮度提升；
频域噪声抑制模块的具体实现过程如下：
S221、将时域亮度增强模块得到的图像利用小波变换DWT将图像特征变换到频域；
S222、利用动态增强单元DEU以及基本的卷积对特征进行处理；
S223、通过对处理后的图像逐渐小波逆变换IDWT使其变换回时域图像，再进入时域细节重构模块的处理；
时域细节重构模块的具体实现过程如下：
S231、将时域亮度增强模块和频域噪声抑制模块的输出结果图级联，并输入到时域细节重构模块；
S232、对该输入图像经过数层卷积层以及多个动态增强单元DEU，进行图像边缘增强，颜色恢复以及细节信息重构；
S233、输出最终整个网络的增强图像。
5.根据权利要求4所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，步骤S211的具体过程为：将图像大小为H×W，通道数为3的输入图像S∈RH×W×3，利用一层核为3×3的卷积层及带泄露的修正线性单元激活操作提取一组大小为[8，64，256，256]的包含图像的亮度，颜色，细节信息的特征。
6.根据权利要求4所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，步骤S212中动态增强单元DEU分别采用核为3×3和5×5的卷积构成两条处理通路对特征进行增强，利用这两条处理通路提取特征信息；再利用特征相加操作融合两条通路的输出特征，将融合后的特征以并行的方式分别输入到由卷积层构成的网络通路中，增强学***衡融合后的特征，整个过程定量可表示为：
f＝Rconv3(Xdeu)+Rconv5(Xdeu) (1)
其中，Xdeu表示动态增强单元DEU的输入特征；RconvN(.)是结合核为N×N卷积运算和LReLU激活运算的顺序操作；Fdam(·)是动态注意力机制模块DAM操作；
是级联操作；
是逐像素相加操作；f是中间输出量；fdeu是动态增强单元DEU的最终输出结果。
7.根据权利要求6所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，动态注意力机制模块DAM由并行的三分支组成，按从上到下的顺序依次是通道注意力分支、筛选分支、像素注意力分支；其中，通道注意力分支由全局平均池化、1×1卷积、ReLU激活函数、1×1卷积以及Sigmoid激活操作顺序组成；筛选分支，通过利用线性层和Softmax操作构成分类处理***，该分支的输出结果为一组分类得分数值(x，y)；像素注意力分支由1×1卷积、ReLU激活函数、1×1卷积以及Sigmoid激活操作顺序组成；动态注意力机制模块DAM的工作过程可表示为：
其中，Xdam为动态注意力机制模块DAM的输入特征；
表示动态注意力机制模块DAM的通道注意力分支；
表示动态注意力机制模块DAM的像素注意力分支；而x，y为筛选分支的输出得分；fdam则为输出特征。
8.根据权利要求4所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，步骤S213初步的亮度提升过程可表示为：
Sl＝Tanh(Rconv3(Fdeu(Rconv3(S)))) (5)
其中，S表示输入图像；Fdeu(·)为动态增强单元DEU的操作；Tanh(·)是双曲正切激活函数；Sl表示输出特征。
9.根据权利要求4所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，特征进入时域细节重构模块后，按顺序经过1×1卷积，3×3卷积，三个动态增强单元DEU以及3×3卷积操作，并利用损失函数驱动；其中，损失函数采用如下定义：
Ltotal＝l1+l2+l3 (10)
l1＝||Sl-Snormal||1 (11)
l2＝||Sd-Snormal||1+||ΔSd||1 (12)
l3＝||Ss-Snotmal||1+||Flap(Ss)-Flap(Snormal)||1 (13)
其中，Ltotal表示低光照增强网络的总损失；l1，l2，l3分别为时域亮度增强模块、频域噪声抑制模块、时域细节重构模块的损失；Sl，Sd，Ss分别为时域亮度增强模块、频域噪声抑制模块、时域细节重构模块的输出结果图；Snormal为标签图像；||·||1是L1正则化函数；Δ表示图像水平和垂直梯度和；Flap(·)是拉普拉斯变换函数。
10.根据权利要求1所述的一种利用时频域层级处理的低光照图像增强方法，其特征在于，步骤S3的具体过程如下：
S31、进行模型训练时将输入图像尺寸调整为256×256，使用自适应矩估计优化器以运行平均值系数为(0.9，0.999)和0.000008的权重衰减训练网络，训练的迭代次数为150，批量化大小为8，初始学习率为0.0002，采用学习计划策略，在迭代次数到达60后学习率下降10％；
S32、每迭代训练10次保存一次模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111336761.0A CN114219722A (zh) | 2021-11-12 | 2021-11-12 | 一种利用时频域层级处理的低光照图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111336761.0A CN114219722A (zh) | 2021-11-12 | 2021-11-12 | 一种利用时频域层级处理的低光照图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114219722A true CN114219722A (zh) | 2022-03-22 |
Family
ID=80696966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111336761.0A Pending CN114219722A (zh) | 2021-11-12 | 2021-11-12 | 一种利用时频域层级处理的低光照图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114219722A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908190A (zh) * | 2022-12-08 | 2023-04-04 | 南京图格医疗科技有限公司 | 一种用于视频图像画质增强的方法及*** |
| CN116071268A (zh) * | 2023-03-01 | 2023-05-05 | 中国民用航空飞行学院 | 基于对比学习的图像去光照模型及其训练方法 |
| CN116664463A (zh) * | 2023-05-29 | 2023-08-29 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
| CN117974509A (zh) * | 2024-04-02 | 2024-05-03 | 中国海洋大学 | 基于目标检测感知特征融合的两阶段水下图像增强方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968044A (zh) * | 2020-07-16 | 2020-11-20 | 中国科学院沈阳自动化研究所 | 基于Retinex和深度学习的低照度图像增强方法 |
| CN112435191A (zh) * | 2020-11-25 | 2021-03-02 | 西安交通大学 | 一种基于多个神经网络结构融合的低照度图像增强方法 |
| CN113313657A (zh) * | 2021-07-29 | 2021-08-27 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和*** |
-
2021
- 2021-11-12 CN CN202111336761.0A patent/CN114219722A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968044A (zh) * | 2020-07-16 | 2020-11-20 | 中国科学院沈阳自动化研究所 | 基于Retinex和深度学习的低照度图像增强方法 |
| CN112435191A (zh) * | 2020-11-25 | 2021-03-02 | 西安交通大学 | 一种基于多个神经网络结构融合的低照度图像增强方法 |
| CN113313657A (zh) * | 2021-07-29 | 2021-08-27 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和*** |
Non-Patent Citations (3)
| Title |
|---|
| YONG CHEN等: "Low-light image enhancement based on deep convolutional neural networks", 《PROCEEDINGS OF SPIE》, vol. 11848, 1 June 2021 (2021-06-01), pages 1 - 6, XP060144026, DOI: 10.1117/12.2600383 * |
| 周腾威: "基于深度学习的图像增强算法研究", 《CNKI中国优秀硕士毕业论文全文库（信息科技辑）》, no. 2, 15 February 2021 (2021-02-15), pages 138 - 2343 * |
| 欧嘉敏等: "类视觉处理的低光照图像增强算法研究", 《CNKI中国优秀硕士毕业论文全文库（信息科技辑）》, no. 11, 15 November 2022 (2022-11-15), pages 138 - 244 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908190A (zh) * | 2022-12-08 | 2023-04-04 | 南京图格医疗科技有限公司 | 一种用于视频图像画质增强的方法及*** |
| CN115908190B (zh) * | 2022-12-08 | 2023-10-13 | 南京图格医疗科技有限公司 | 一种用于视频图像画质增强的方法及*** |
| CN116071268A (zh) * | 2023-03-01 | 2023-05-05 | 中国民用航空飞行学院 | 基于对比学习的图像去光照模型及其训练方法 |
| CN116664463A (zh) * | 2023-05-29 | 2023-08-29 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
| CN116664463B (zh) * | 2023-05-29 | 2024-01-30 | 中兴协力(山东)数字科技集团有限公司 | 两阶段的低照度图像增强方法 |
| CN117974509A (zh) * | 2024-04-02 | 2024-05-03 | 中国海洋大学 | 基于目标检测感知特征融合的两阶段水下图像增强方法 |
| CN117974509B (zh) * | 2024-04-02 | 2024-06-18 | 中国海洋大学 | 基于目标检测感知特征融合的两阶段水下图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028163B (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN114219722A (zh) | 一种利用时频域层级处理的低光照图像增强方法 | |
| CN111127336B (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
| WO2021164234A1 (zh) | 图像处理方法以及图像处理装置 | |
| CN109035189B (zh) | 基于柯西模糊函数的红外与弱可见光图像融合方法 | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| Wang et al. | MAGAN: Unsupervised low-light image enhancement guided by mixed-attention | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、***及设备 | |
| CN116152120A (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| CN113129236A (zh) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及*** | |
| CN116051428A (zh) | 一种基于深度学习的联合去噪与超分的低光照图像增强方法 | |
| Zhao et al. | A simple and robust deep convolutional approach to blind image denoising | |
| Zhao et al. | Deep pyramid generative adversarial network with local and nonlocal similarity features for natural motion image deblurring | |
| CN113379861B (zh) | 基于色彩恢复块的彩色微光图像重建方法 | |
| Ahn et al. | Block-matching convolutional neural network (BMCNN): improving CNN-based denoising by block-matched inputs | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| Oh et al. | Residual dilated u-net with spatially adaptive normalization for the restoration of under display camera images | |
| CN117058019A (zh) | 一种基于金字塔增强网络的低光照下目标检测方法 | |
| CN116596799A (zh) | 一种基于通道空间复合注意力的低照度图像增强方法 | |
| CN116579940A (zh) | 一种基于卷积神经网络的实时低照度图像增强方法 | |
| CN116645281A (zh) | 一种基于多阶段拉普拉斯特征融合的微光图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |