WO2023236445A1 - 一种使用长曝光补偿的低光照图像增强方法 - Google Patents

一种使用长曝光补偿的低光照图像增强方法 Download PDF

Info

Publication number
WO2023236445A1
WO2023236445A1 PCT/CN2022/131018 CN2022131018W WO2023236445A1 WO 2023236445 A1 WO2023236445 A1 WO 2023236445A1 CN 2022131018 W CN2022131018 W CN 2022131018W WO 2023236445 A1 WO2023236445 A1 WO 2023236445A1
Authority
WO
WIPO (PCT)
Prior art keywords
low
image
exposure
long
feature
Prior art date
Application number
PCT/CN2022/131018
Other languages
English (en)
French (fr)
Inventor
刘家瑛
匡浩玮
郑书泓
黄浩峰
郭宗明
Original Assignee
北京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学 filed Critical 北京大学
Publication of WO2023236445A1 publication Critical patent/WO2023236445A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the invention belongs to the field of low-light image enhancement of digital images, and relates to a low-light image enhancement method using long exposure compensation.
  • Low light is a common image degradation. Insufficient light is usually caused by low-light shooting environment, camera failure, wrong parameter settings, etc. The enhancement of low-light images has always attracted attention from industry and academia.
  • Low-light image enhancement methods can be divided into three categories. Based on the method of uniformly adjusting image brightness, low-light images can be brightened by uniformly adjusting the global brightness of the entire image. Based on the method of retinal cerebral cortex theory, the image is decomposed into two parts, the reflectance layer and the illumination layer, and prior knowledge is used to manually set constraints and adjust to achieve the purpose of enhancing low-light images. Based on the deep learning method, a data-driven convolution model is designed and trained end-to-end on a large data set. Only one parameter forward pass of the low-light image is required during inference.
  • each training sample in the low-light training data set includes low-light images and normal illumination images of the same scene; generate a set of corresponding short-exposure images, long-exposure images according to each training sample images and real illumination images to obtain a synthetic data set S;
  • the low-light enhancement model includes M-1 feature alignment modules and M-1 brightening modules; where, for the same group in the synthetic data set S The photo long exposure image I long and the short exposure image I short in the image are respectively mapped to the feature space by the low -light enhancement model to obtain the corresponding short exposure features. and long exposure characteristics And input it into the first feature alignment module;
  • the low-light enhancement model also includes a detail removal module, which is used to eliminate the detailed features of the long-exposure image I long and then map them to the feature space to obtain the long-exposure features.
  • a real-shot data set R is obtained.
  • Each group of images in the real-shot data set R includes three images taken of the same scene, namely a short exposure image, a long exposure image and a real illumination image; using the The real-shot data set R is used to evaluate the trained low-light enhancement model.
  • the long-exposure images in the synthetic data set S are synthesized according to the normal illumination images in the training samples; the short-exposure images in the synthetic data set S are low-light images in the training samples.
  • the synthetic data set The real illumination image in S is the normal illumination image of the training sample.
  • L rec ⁇ I normal -I GT ⁇
  • L a ⁇ I assist -I GT ⁇ .
  • ⁇ l (I normal ) represents the l-th layer feature of the image I normal extracted by the VGG network
  • H l and W l represent the width and height of ⁇ l (I normal ) respectively.
  • the present invention also provides a server, including a memory and a processor.
  • the memory stores a computer program.
  • the computer program is configured to be executed by the processor.
  • the computer program includes instructions for executing each step in the above method. .
  • the present invention also provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the steps of the above method are implemented.
  • the alignment module and the brightening module in step 2 of the "Detailed Implementation" below can effectively utilize the long-exposure features to achieve feature interaction between long-exposure images and short-exposure images. , thereby performing a brightening operation on low-light images with a more specific brightness target.
  • This design alleviates the problem of unclear brightening targets encountered by other low-light enhancement technologies, allowing the present invention to significantly improve performance.
  • This invention significantly improves the performance of low-light image enhancement.
  • it can increase the peak signal-to-noise ratio (Peak Signal to Noise Ratio) of the general low-light enhancement model AGLLNet from 14.93 to 25.15.
  • Figure 1 shows the training framework diagram of the low-light image enhancement network using long exposure compensation.
  • Figure 2 is the framework diagram of the feature alignment sub-module.
  • Figure 3 is a frame diagram of the brightening sub-module.
  • Figure 4 is a comparison picture before and after enhancement according to the method of the present invention, in which (1) is a low-light image, (2) is a long-exposure blurred image, and (3) is an enhanced image.
  • This embodiment discloses a low-light enhancement method for long exposure compensation.
  • the specific description is as follows:
  • Step 1 Collect the low-light training data set. For each low-light/normal-light image data pair, use the blur kernel space model to synthesize multiple different long-exposure blur images to build a combination of normal illumination/short exposure/synthetic long-exposure.
  • the long-exposure compensated low-light enhanced synthetic data set S composed of image pairs is used for training and testing of the network; among them, the short-exposure/real-light images are obtained directly from the collected low-light/normal-light image pairs, that is, the collected low-light images
  • the image is a short exposure image in the set S
  • the collected normal illumination image is a real illumination image in the set S.
  • the synthetic data set S collected in this step can be used for the training of this method and other subsequent methods, and the real shot data set R collected can be used for the evaluation and comparison of various low-light enhancement methods.
  • the following takes the long exposure image I long and the short exposure image I short of a pair of photos in the data set S as an example to introduce the network framework.
  • the long exposure image I long and the short exposure image I short first pass through the convolution layer, followed by a normalization layer and linear rectification function (ReLU) to map the image to the feature space to obtain the initial short exposure feature. and long exposure characteristics
  • ReLU linear rectification function
  • long exposure characteristics because long exposure pictures provide brightness and illumination information, we do not want the detailed information of long exposure to interfere with the model.
  • a 16x downsampling and 16x downsampling are added before the long exposure is input into the long exposure feature decoding module.
  • Upsampling module DRP to eliminate detailed features. This operation enhances the robustness of the method and allows it to adapt to various blur forms of long-exposure images.
  • the feature alignment module S2L is added to the model.
  • the structure of the feature alignment module is shown in Figure 2.
  • Short exposure features First pass through a convolution layer to obtain an attention map. Then use this attention map A i to compare the long exposure features Perform soft threshold filtering operation to get where " ⁇ " represents element-wise multiplication. This operation selectively utilizes features extracted from long-exposure images in the spatial dimension, effectively alleviating the impact of interference information in long-exposure images on this method. after, and Together, they downsample and pass into the convolutional layer to predict the next long exposure feature. Downsample separately and pass it into the convolutional layer to predict the next short exposure feature The next feature is half the size of the previous feature in the spatial dimension, but twice the size of the previous feature in the channel dimension.
  • Step 3 Use the constructed data set S to train the model, use the output of the model in the short-exposure decoding module as the optimization target I normal , and use the output of the long-exposure decoding module as the auxiliary output I assist to train the model.
  • the total loss function term of the low-light image enhancement model using long exposure compensation is:
  • L L rec + ⁇ SSIM L SSIM + ⁇ LPIPS L LPIPS + ⁇ a L a
  • ⁇ SSIM , ⁇ LPIPS and ⁇ a are weight items.
  • ⁇ SSIM is set to 0.4
  • ⁇ LPIPS is set to 1
  • ⁇ a is set to 1.
  • the gradient value in gradient backpropagation will be truncated in the [-0.1, 0.1] interval.
  • 256 ⁇ 256 pixel patches are randomly cropped and a two-stage training strategy is used. In the first stage, 1.5 ⁇ 10 5 iterations are trained without adding the attention mechanism of the feature alignment module S2L. Afterwards, the attention mechanism is added and then 3 ⁇ 10 4 iterations are trained with an initial learning rate of 1 ⁇ 10 -5 .
  • L rec is the average absolute error loss function between the optimization target I normal and the real value I GT under normal lighting:
  • L a is the average absolute error loss function between the auxiliary output I assist and the real value I GT under normal lighting:

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种使用长曝光补偿的低光照图像增强方法。本方法为：1)收集低光照训练数据集，其中所述低光照训练数据集中的每一训练样本包括同一场景的低光照图像和正常光照图像；根据每一训练样本生成一组对应的短曝光图像、长曝光图像和真实光照图像，得到一合成数据集S；2)利用所述合成数据集S训练低光照增强模型，所述低光照增强模型包括M-1个特征对齐模块和M-1个提亮模块；3)将待提亮的短曝光图像和对应的模糊长曝光图像输入训练后的低光照增强模型，得到对应的低光照增强图像。本发明能够显著提升低光照图片增强性能。

Description

一种使用长曝光补偿的低光照图像增强方法 技术领域
本发明属于数字图像低光照增强领域，涉及一种使用长曝光补偿的低光照图像增强方法。
背景技术
低光照是一种常见的图像降质，光照不足通常由低光照拍摄环境、相机故障、参数设置错误等原因造成。低光照图像的增强一直受到工业界和学术界的关注。
传统的低光照图像增强方法可以分为三类。基于均匀调整图像亮度的方法，通过均匀调整整个图像的全局亮度，从而提亮低光图像。基于视网膜大脑皮层理论的方法，将图像分解为反射率层和照明层两个部分，利用先验知识手动设置约束进行调整来达到增强低光图像的目的。基于深度学习的方法，设计数据驱动的卷积模型，在大型数据集上进行端到端的训练，推理时只需要低光照图像的一次参数前传。
但是，低光照图像的增强是一个多解问题，一张低光照图像可以与多张理想的正常光图像相对应，这种优化目标的不确定性为准确而灵活的低光照图像增强造成了挑战。基于均匀调整图像亮度的方法无法解决局部过曝和信号噪声的问题，基于视网膜大脑皮层理论的方法无法满足通用化自动化的要求，基于深度学习的方法难以推广到处理各种照明条件的图像。因此，传统的低光照图 像增强方法均很难推广到处理各种照明条件下的低光照图片，无法满足实际应用的需求。
发明内容
针对上述问题，本发明的目的在于提供一种使用长曝光补偿的低光照图像增强方法，通过引入容易获得的模糊长曝光图像，利用模糊长曝光图像的亮度、色彩等信息对低光照增强问题添加约束，减少低光照图像增强问题的不确定性，使得优化目标更加明确，综合地提升低光照增强性能。
本发明采用的技术方案如下：
一种使用长曝光补偿的低光照图像增强方法，其步骤包括：
1)收集低光照训练数据集，其中所述低光照训练数据集中的每一训练样本包括同一场景的低光照图像和正常光照图像；根据每一训练样本生成一组对应的短曝光图像、长曝光图像和真实光照图像，得到一合成数据集S；
2)利用所述合成数据集S训练低光照增强模型，所述低光照增强模型包括M-1个特征对齐模块和M-1个提亮模块；其中，对于所述合成数据集S中同一组图像内的照片长曝光图像I long和短曝光图像I short，所述低光照增强模型将长曝光图像I long和短曝光图像I short分别映射到特征空间，获得对应的短曝光特征
Figure PCTCN2022131018-appb-000001
及长曝光特征
Figure PCTCN2022131018-appb-000002
并将其输入第一特征对齐模块；
3)第i特征对齐模块对输入的第i尺度长曝光特征
Figure PCTCN2022131018-appb-000003
与第i尺度短曝光特征
Figure PCTCN2022131018-appb-000004
进行对齐；其中，第i特征对齐模块将第i尺度短曝光特征
Figure PCTCN2022131018-appb-000005
进行卷积处理，得到一张注意力图A i，然后用注意力图A i对第i尺度长曝光特征
Figure PCTCN2022131018-appb-000006
进 行软阈值滤波操作，得到
Figure PCTCN2022131018-appb-000007
其中“⊙”表示逐元素的乘法；然后将
Figure PCTCN2022131018-appb-000008
与
Figure PCTCN2022131018-appb-000009
共同进行降采样并传入卷积层，预测输出第i+1尺度长曝光特征
Figure PCTCN2022131018-appb-000010
以及将
Figure PCTCN2022131018-appb-000011
单独进行降采样并传入卷积层，预测输出第i+1尺度短曝光特征
Figure PCTCN2022131018-appb-000012
将第M-1个特征对齐模块预测输出的第M尺度长曝光特征
Figure PCTCN2022131018-appb-000013
第M尺度短曝光特征
Figure PCTCN2022131018-appb-000014
进行拼接作为特征第M+1尺度长曝光特征
Figure PCTCN2022131018-appb-000015
第M+1尺度短曝光特征
Figure PCTCN2022131018-appb-000016
其中，i＝1～M-1，
Figure PCTCN2022131018-appb-000017
4)第i提亮模块将第M+i尺度长曝光特征
Figure PCTCN2022131018-appb-000018
第M+i尺度短曝光特征
Figure PCTCN2022131018-appb-000019
进行拼接，并对拼接特征进行上采样，然后将上采样所得特征与第M-i尺度短曝光特征
Figure PCTCN2022131018-appb-000020
相连后通过卷积层得到第M+i+1尺度短曝光特征
Figure PCTCN2022131018-appb-000021
对
Figure PCTCN2022131018-appb-000022
进行上采样所得特征与第M-i尺度长曝光特征
Figure PCTCN2022131018-appb-000023
相连后通过卷积层得到得到第M+i+1尺度长曝光特征
Figure PCTCN2022131018-appb-000024
以第M-1提亮模块输出的第2M尺度短曝光特征
Figure PCTCN2022131018-appb-000025
作为优化目标I normal、第2M尺度长曝光特征
Figure PCTCN2022131018-appb-000026
作为辅助，优化所述低光照增强模型；其中，训练优化所述低光照增强模型的总损失函数为L＝L rec+λ SSIML SSIM+λ LPIPSL LPIPS+λ aL a；λ SSIM、λ LPIPS和λ a为权重项，L rec为优化目标I normal和正常光照下真实值I GT间的平均绝对误差损失函数；L SSIM为优化目标I normal和正常光照下真实值I GT间的结构相似性损失函数；L LPIPS为感知图像块相似度学习损失函数；L a为辅助输出I assist和正常光照下真实值I GT间的平均绝对误差损失函数；
5)将待提亮的短曝光图像和对应的模糊长曝光图像输入训练后的低光照增强模型，得到对应的低光照增强图像。
进一步的，所述搭建低光照增强模型还包括细节去除模块，用于消除长曝光图像I long的细节特征后映射到特征空间，获得长曝光特征
Figure PCTCN2022131018-appb-000027
进一步的，获取一实拍数据集R，所述实拍数据集R中的每一组图像包括对同一场景拍摄的三张图像，即短曝光图像、长曝光图像和真实光照图像；利用所述实拍数据集R对训练后的低光照增强模型进行评测。
进一步的，根据训练样本中的正常光照图像合成得到所述合成数据集S中的长曝光图像；所述合成数据集S中的短曝光图像为训练样本中的低光照图像，所述合成数据集S中的真实光照图像为训练样本的正常光照图像。
进一步的，利用模糊核空间模型对训练样本中的正常光照图像进行处理得到所述合成数据集S中的长曝光图像。
进一步的，L rec＝‖I normal-I GT‖；L a＝‖I assist-I GT‖。
进一步的，L SSIM＝1-SSIM(I normal,I GT)；其中，SSIM(x,y)表示两张图像x和y的结构相似性；
Figure PCTCN2022131018-appb-000028
μ x是x的平均值，μ y是y的平均值，
Figure PCTCN2022131018-appb-000029
是x的方差，
Figure PCTCN2022131018-appb-000030
是y的方差，σ xy是x和y的协方差，c 1、c 2是用来维持稳定的常数。
进一步的，
Figure PCTCN2022131018-appb-000031
其中，φ l(I normal)表示VGG网络提取的图像I normal的第l层特征，H l和W l分别表示φ l(I normal)的宽和高。
本发明还提供一种服务器，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于 执行上述方法中各步骤的指令。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
与现有技术相比，本发明的积极效果为：
由于本发明使用了长曝光图像作为光照补偿，因此在下文“具体实施方式”步骤2中的对齐模块和提亮模块能够有效利用长曝光特征，实现长曝光图像和短曝光图像之间的特征交互，从而对低光照图像进行亮度目标更明确的提亮操作。这一设计缓解其它低光照增强技术遇到的提亮目标不明确的问题，使得本发明有明显的性能提升。
本发明显著提升低光照图片增强性能，在LEC-LOL-Real低光照增强基准数据集上，能够将通用低光照增强模型AGLLNet的峰值信噪比(Peak Signal to Noise Ratio)由14.93提升至25.15。
附图说明
图1为使用长曝光补偿的低光照图像增强网络的训练框架图。
图2为特征对齐子模块的框架图。
图3为提亮子模块的框架图。
图4按本发明方法增强前后对比图，其中(1)为低光照图像，(2)为长曝光模糊图像，(3)为增强后的图像。
具体实施方式
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所 附图作详细说明如下。需说明的是，以下实施例所给出的具体层数、模块数、函数数量以及对某些层的设置等都仅是一种较佳的实施方式，而不用于限制，本领域技术人员可以根据实际需要来选取数量和设置某些层，应可理解。
本实施例公开一种长曝光补偿的低光照增强方法，具体说明如下：
步骤1：搜集低光照训练数据集，对于其中的每一个低光照/正常光照图像数据对，运用模糊核空间模型合成多张不同的长曝光模糊图像，搭建由正常光照/短曝光/合成长曝光图像对组成的长曝光补偿低光照增强合成数据集S，用于网络的训练和测试；其中，短曝光/真实光照图像直接从收集的低光照/正常光照图像对中获取，即收集的低光照图像为集合S中的短曝光图像，收集的正常光照图像为集合S中的真实光照图像。对于与训练数据集S场景不同的同一场景拍摄短曝光/长曝光/正常光照三张图像，组成数据对，搭建长曝光补偿低光增强实拍数据集R，用于网络的测试。该步骤收集的合成数据集S可用于该方法以及后续其它方法的训练，收集的实拍数据集R可用于各类低光照增强方法的评测与比较。
步骤2：搭建低光照增强训练框架。
网络的结构如图1所示，包含特征对齐模块S2L、提亮模块L2S和细节去除模块DRP。
下面以数据集S中的一对照片长曝光图像I long和短曝光图像I short为例对网络框架进行介绍。长曝光图像I long和短曝光图像I short先各自经过卷积层，后跟随一个归一化层和线性整流函数(ReLU)，将图像映射到特征空间，获得初始 短曝光特征
Figure PCTCN2022131018-appb-000032
及长曝光特征
Figure PCTCN2022131018-appb-000033
特别的，因为长曝光图片提供的是亮度、光照的信息，因此不希望长曝光的细节信息对模型产生干扰，在长曝光输入长曝光的特征解码模块之前，添加一个16倍下采样和16倍上采样模块DRP来消除细节特征。该操作增强了本方法的鲁棒性，让本方法能适应各种不同的长曝光图像的模糊形式。
为了让每层中的长曝光图像的亮度特征
Figure PCTCN2022131018-appb-000034
与短曝光图像的细节特征
Figure PCTCN2022131018-appb-000035
对齐，实现有效的特征交互，模型中添加了特征对齐模块S2L。特征对齐模块的结构如图2所示，短曝光特征
Figure PCTCN2022131018-appb-000036
先经过一个卷积层，得到一张注意力图
Figure PCTCN2022131018-appb-000037
之后用这张注意力图A i对长曝光特征
Figure PCTCN2022131018-appb-000038
进行软阈值滤波操作，得到
Figure PCTCN2022131018-appb-000039
其中“⊙”表示逐元素的乘法。该操作在空间维度上选择性地利用从长曝光图像提取得到特征，有效缓解长曝光图像中的干扰信息对本方法的影响。之后，
Figure PCTCN2022131018-appb-000040
与
Figure PCTCN2022131018-appb-000041
共同进行降采样并传入卷积层，预测下一个长曝光特征
Figure PCTCN2022131018-appb-000042
单独进行降采样并传入卷积层，预测下一个短曝光特征
Figure PCTCN2022131018-appb-000043
下一个特征在空间维度上是上一个特征的一半，但通道维度上是上一个特征的两倍。
经过了(M-1)个特征对齐模块，我们得到了多尺度的短曝光特征
Figure PCTCN2022131018-appb-000044
和长曝光特征
Figure PCTCN2022131018-appb-000045
下面，模型通过特征解码阶段将它们从特征空间解码到图像空间。在特征解码阶段，引导在相反方向进行。长曝光特征
Figure PCTCN2022131018-appb-000046
将引导短曝光特征
Figure PCTCN2022131018-appb-000047
的解码，因为我们需要亮度特征引导短曝光图像的增强，M为大于2的整数。
与特征对齐模块S2L类似，模型中同样添加了提亮模块L2S，其结构如图3所示。提亮模块输入上一个尺寸的长曝光特征
Figure PCTCN2022131018-appb-000048
和短曝光特征
Figure PCTCN2022131018-appb-000049
以及通过跳跃连接相连的与输入特征
Figure PCTCN2022131018-appb-000050
尺寸相当编码阶段的长短曝光特征
Figure PCTCN2022131018-appb-000051
更具体地说，长曝光特征
Figure PCTCN2022131018-appb-000052
首先与短曝光特征
Figure PCTCN2022131018-appb-000053
相连。然后，通过上采样模块将上采样得到的特征与跳跃连接的特征
Figure PCTCN2022131018-appb-000054
相连并通过卷积层，得到下一个尺度的特征
Figure PCTCN2022131018-appb-000055
单独进行上采样，将上采样得到的特征与跳跃连接的特征
Figure PCTCN2022131018-appb-000056
相连并通过卷积层，得到下一个尺度的特征
Figure PCTCN2022131018-appb-000057
下一个尺度的特征和上一个尺度相比，在空间维度是原来的两倍，但在通道维度上是原来的一半。
步骤3：利用构建的数据集S训练模型，以模型在短曝光解码模块的输出为优化目标I normal，以长曝光解码模块的输出为辅助输出I assist来训练模型。使用长曝光补偿的低光照图像增强模型的总损失函数项为：
L＝L rec+λ SSIML SSIM+λ LPIPSL LPIPS+λ aL a
其中，λ SSIM、λ LPIPS和λ a是权重项，通常λ SSIM设置为0.4，λ LPIPS设置为1，λ a设置为1。模型的训练批大小为16，使用Adam优化器，初始学习速率为1×10 -4，优化器超参数设置为β 1＝0.9,β 2＝0.999，权重衰减参数为1×10 -4。此外，为了避免梯度***，梯度反传中梯度值将被截断在[-0.1,0.1]区间中。训练过程中随机裁剪256×256像素的块并使用两阶段的训练策略。第一阶段在不加入特征对齐模块S2L的注意力机制的情况下训练1.5×10 5次迭代，之后添加注意力机制后再用1×10 -5的初始学习速率训练3×10 4次迭代。
1)L rec为优化目标I normal和正常光照下真实值I GT间的平均绝对误差损失函数：
L rec＝‖I normal-I GT‖,
2)L SSIM为优化目标I normal和正常光照下真实值I GT间的结构相似性损失函数：
L SSIM＝1-SSIM(I normal,I GT)，
其中，SSIM(x,y)表示两张图像x和y的结构相似性，可根据以下方式求出：
Figure PCTCN2022131018-appb-000058
其中μ x是x的平均值，μ y是y的平均值，
Figure PCTCN2022131018-appb-000059
是x的方差，
Figure PCTCN2022131018-appb-000060
是y的方差，σ xy是x和y的协方差。c 1＝(k 1L) 2，c 2＝(k 2L) 2是用来维持稳定的常数。L是像素值的动态范围。k 1＝0.01,k 2＝0.03。
3)L LPIPS为感知图像块相似度学习损失函数：
Figure PCTCN2022131018-appb-000061
这里计算L LPIPS使用的图像特征是采用ImageNet上预训练的VGG网络来提取的。通过将网络的输出结果I normal和图像对中正常光照的图片I GT分别输入预训练的VGG网络模型得到图像特征。其中φ l(I)表示VGG网络提取的图像I的第l层特征，H l和W l分别表示φ l(I)的宽和高。上述三个损失函数的设计对该方法的提亮结果在绝对误差、图像结构以及图像感知相似性三个方法进行约束，使得提亮结果接近用户的预期。
4)L a为辅助输出I assist和正常光照下真实值I GT间的平均绝对误差损失函数：
L a＝‖I assist-I GT‖。
该损失函数在网络中找到一条参数优化的捷径，使得网络训练过程中参数优化更高效。
步骤4：利用实拍数据集R对训练后的低光照增强模型进行评测。
步骤5：推理阶段，输入待提亮的短曝光图像和对应的模糊长曝光图像，最终输出想要的低光照增强结果。
在实际应用中，若需要在光照不足的室内或夜间的户外环境中拍摄图像，可以先用相机的短曝光模式拍摄一张短曝光图像，如图4(1)所示低光照图像；再用相机的长曝光模式拍摄一张长曝光图像。这张短曝光图像会有亮度不足的问题，而这张长曝光图像会有模糊的问题，如图4(2)所示长曝光模糊图像。此时，使用本发明提出的技术方案，输入待提亮的短曝光图像和对应的模糊长曝光图像，就可以得到清晰的低光照增强结果，如图4(3)所示增强后的图像。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

  1. 一种使用长曝光补偿的低光照图像增强方法，其步骤包括：
    1)收集低光照训练数据集，其中所述低光照训练数据集中的每一训练样本包括同一场景的低光照图像和正常光照图像；根据每一训练样本生成一组对应的短曝光图像、长曝光图像和真实光照图像，得到一合成数据集S；
    2)利用所述合成数据集S训练低光照增强模型，所述低光照增强模型包括M-1个特征对齐模块和M-1个提亮模块；其中，对于所述合成数据集S中同一组图像内的照片长曝光图像I long和短曝光图像I short，所述低光照增强模型将长曝光图像I long和短曝光图像I short分别映射到特征空间，获得对应的短曝光特征
    Figure PCTCN2022131018-appb-100001
    及长曝光特征
    Figure PCTCN2022131018-appb-100002
    并将其输入第一特征对齐模块；
    3)第i特征对齐模块对输入的第i尺度长曝光特征
    Figure PCTCN2022131018-appb-100003
    与第i尺度短曝光特征
    Figure PCTCN2022131018-appb-100004
    进行对齐；其中，第i特征对齐模块将第i尺度短曝光特征
    Figure PCTCN2022131018-appb-100005
    进行卷积处理，得到一张注意力图A i，然后用注意力图A i对第i尺度长曝光特征
    Figure PCTCN2022131018-appb-100006
    进行软阈值滤波操作，得到
    Figure PCTCN2022131018-appb-100007
    其中“⊙”表示逐元素的乘法；然后将
    Figure PCTCN2022131018-appb-100008
    与
    Figure PCTCN2022131018-appb-100009
    共同进行降采样并传入卷积层，预测输出第i+1尺度长曝光特征
    Figure PCTCN2022131018-appb-100010
    以及将
    Figure PCTCN2022131018-appb-100011
    单独进行降采样并传入卷积层，预测输出第i+1尺度短曝光特征
    Figure PCTCN2022131018-appb-100012
    将第M-1个特征对齐模块预测输出的第M尺度长曝光特征
    Figure PCTCN2022131018-appb-100013
    第M尺度短曝光特征
    Figure PCTCN2022131018-appb-100014
    进行拼接作为特征第M+1尺度长曝光特征
    Figure PCTCN2022131018-appb-100015
    第M+1尺度短曝光特征
    Figure PCTCN2022131018-appb-100016
    其中，i＝1～M-1，
    Figure PCTCN2022131018-appb-100017
    4)第i提亮模块将第M+i尺度长曝光特征
    Figure PCTCN2022131018-appb-100018
    第M+i尺度短曝光特征
    Figure PCTCN2022131018-appb-100019
    进 行拼接，并对拼接特征进行上采样，然后将上采样所得特征与第M-i尺度短曝光特征
    Figure PCTCN2022131018-appb-100020
    相连后通过卷积层得到第M+i+1尺度短曝光特征
    Figure PCTCN2022131018-appb-100021
    对
    Figure PCTCN2022131018-appb-100022
    进行上采样所得特征与第M-i尺度长曝光特征
    Figure PCTCN2022131018-appb-100023
    相连后通过卷积层得到得到第M+i+1尺度长曝光特征
    Figure PCTCN2022131018-appb-100024
    以第M-1提亮模块输出的第2M尺度短曝光特征
    Figure PCTCN2022131018-appb-100025
    作为优化目标I normal、第2M尺度长曝光特征
    Figure PCTCN2022131018-appb-100026
    作为辅助，优化所述低光照增强模型；其中，训练优化所述低光照增强模型的总损失函数为L＝L rec+λ SSIML SSIM+λ LPIPSL LPIPS+λ aL a；λ SSIM、λ LPIPS和λ a为权重项，L rec为优化目标I normal和正常光照下真实值I GT间的平均绝对误差损失函数；L SSIM为优化目标I normal和正常光照下真实值L GT间的结构相似性损失函数；L LPIPS为感知图像块相似度学习损失函数；L a为辅助输出I assist和正常光照下真实值I GT间的平均绝对误差损失函数；
    5)将待提亮的短曝光图像和对应的模糊长曝光图像输入训练后的低光照增强模型，得到对应的低光照增强图像。
  2. 根据权利要求1所述的方法，其特征在于，所述搭建低光照增强模型还包括细节去除模块，用于消除长曝光图像I long的细节特征后映射到特征空间，获得长曝光特征
    Figure PCTCN2022131018-appb-100027
  3. 根据权利要求1所述的方法，其特征在于，获取一实拍数据集R，所述实拍数据集R中的每一组图像包括对同一场景拍摄的三张图像，即短曝光图像、长曝光图像和真实光照图像；利用所述实拍数据集R对训练后的低光照增强模型进行评测。
  4. 根据权利要求1或2或3所述的方法，其特征在于，根据训练样本中的正常光照图像合成得到所述合成数据集S中的长曝光图像；所述合成数据集S中的短曝光图像为训练样本中的低光照图像，所述合成数据集S中的真实光照图像为训练样本的正常光照图像。
  5. 根据权利要求1或2或3所述的方法，其特征在于，利用模糊核空间模型对训练样本中的正常光照图像进行处理得到所述合成数据集S中的长曝光图像。
  6. 根据权利要求1或2或3所述的方法，其特征在于，L rec＝‖I normal-I GT‖；L a＝‖I assist-I GT‖。
  7. 根据权利要求1所述的方法，其特征在于，L SSIM＝1-SSIM(I normal,I GT)；其中，SSIM(x,y)表示两张图像x和y的结构相似性；
    Figure PCTCN2022131018-appb-100028
    μ x是x的平均值，μ y是y的平均值，
    Figure PCTCN2022131018-appb-100029
    是x的方差，
    Figure PCTCN2022131018-appb-100030
    是y的方差，σ xy是x和y的协方差，c 1、c 2是用来维持稳定的常数。
  8. 根据权利要求1所述的方法，其特征在于，
    Figure PCTCN2022131018-appb-100031
    Figure PCTCN2022131018-appb-100032
    其中，φ l(I normal)表示VGG网络提取的图像I normal的第l层特征，H l和W l分别表示φ l(I normal)的宽和高。
  9. 一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至8任一所述方法中各步骤的指令。
  10. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一所述方法的步骤。
PCT/CN2022/131018 2022-06-09 2022-11-10 一种使用长曝光补偿的低光照图像增强方法 WO2023236445A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210651629.7 2022-06-09
CN202210651629.7A CN115240022A (zh) 2022-06-09 2022-06-09 一种使用长曝光补偿的低光照图像增强方法

Publications (1)

Publication Number Publication Date
WO2023236445A1 true WO2023236445A1 (zh) 2023-12-14

Family

ID=83669630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/131018 WO2023236445A1 (zh) 2022-06-09 2022-11-10 一种使用长曝光补偿的低光照图像增强方法

Country Status (2)

Country Link
CN (1) CN115240022A (zh)
WO (1) WO2023236445A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499779A (zh) * 2023-12-27 2024-02-02 荣耀终端有限公司 一种图像预览方法、设备以及存储介质
CN117611486A (zh) * 2024-01-24 2024-02-27 深圳大学 一种非正则自监督的低光图像增强方法
CN117635478A (zh) * 2024-01-23 2024-03-01 中国科学技术大学 一种基于空间通道注意力的低光照图像增强方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240022A (zh) * 2022-06-09 2022-10-25 北京大学 一种使用长曝光补偿的低光照图像增强方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190333198A1 (en) * 2018-04-25 2019-10-31 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN111064904A (zh) * 2019-12-26 2020-04-24 深圳深知未来智能有限公司 一种暗光图像增强方法
CN111798400A (zh) * 2020-07-20 2020-10-20 福州大学 基于生成对抗网络的无参考低光照图像增强方法及***
CN111915526A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN115240022A (zh) * 2022-06-09 2022-10-25 北京大学 一种使用长曝光补偿的低光照图像增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190333198A1 (en) * 2018-04-25 2019-10-31 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN111064904A (zh) * 2019-12-26 2020-04-24 深圳深知未来智能有限公司 一种暗光图像增强方法
CN111798400A (zh) * 2020-07-20 2020-10-20 福州大学 基于生成对抗网络的无参考低光照图像增强方法及***
CN111915526A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN115240022A (zh) * 2022-06-09 2022-10-25 北京大学 一种使用长曝光补偿的低光照图像增强方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499779A (zh) * 2023-12-27 2024-02-02 荣耀终端有限公司 一种图像预览方法、设备以及存储介质
CN117499779B (zh) * 2023-12-27 2024-05-10 荣耀终端有限公司 一种图像预览方法、设备以及存储介质
CN117635478A (zh) * 2024-01-23 2024-03-01 中国科学技术大学 一种基于空间通道注意力的低光照图像增强方法
CN117635478B (zh) * 2024-01-23 2024-05-17 中国科学技术大学 一种基于空间通道注意力的低光照图像增强方法
CN117611486A (zh) * 2024-01-24 2024-02-27 深圳大学 一种非正则自监督的低光图像增强方法
CN117611486B (zh) * 2024-01-24 2024-04-02 深圳大学 一种非正则自监督的低光图像增强方法

Also Published As

Publication number Publication date
CN115240022A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
WO2023236445A1 (zh) 一种使用长曝光补偿的低光照图像增强方法
Chen et al. Real-world single image super-resolution: A brief review
US11037278B2 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
Zhou et al. Cross-view enhancement network for underwater images
EP3937481A1 (en) Image display method and device
EP4198875A1 (en) Image fusion method, and training method and apparatus for image fusion model
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
Jinno et al. Multiple exposure fusion for high dynamic range image acquisition
CN111669514B (zh) 高动态范围成像方法和装置
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN113052210A (zh) 一种基于卷积神经网络的快速低光照目标检测方法
WO2022000397A1 (zh) 低照度图像增强方法、装置及计算机设备
US20230074180A1 (en) Method and apparatus for generating super night scene image, and electronic device and storage medium
Tan et al. A real-time video denoising algorithm with FPGA implementation for Poisson–Gaussian noise
WO2023045627A1 (zh) 图像超分方法、装置、设备及存储介质
CN116433516A (zh) 一种基于注意力机制的低照度图像去噪增强方法
WO2023110880A1 (en) Image processing methods and systems for low-light image enhancement using machine learning models
He et al. Low-light image enhancement with multi-scale attention and frequency-domain optimization
CN112991236B (zh) 一种基于模板的图像增强方法及装置
CN111402153B (zh) 一种图像处理方法及***
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
Wang et al. BrightFormer: A transformer to brighten the image
Deng et al. Colour Variation Minimization Retinex Decomposition and Enhancement with a Multi-Branch Decomposition Network
CN112287998B (zh) 一种低光照条件下进行目标检测的方法
Cui et al. Contrastive Learning for Low-light Raw Denoising

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945574

Country of ref document: EP

Kind code of ref document: A1