CN111835983A - 一种基于生成对抗网络的多曝光图高动态范围成像方法及*** - Google Patents
一种基于生成对抗网络的多曝光图高动态范围成像方法及*** Download PDFInfo
- Publication number
- CN111835983A CN111835983A CN202010719702.0A CN202010719702A CN111835983A CN 111835983 A CN111835983 A CN 111835983A CN 202010719702 A CN202010719702 A CN 202010719702A CN 111835983 A CN111835983 A CN 111835983A
- Authority
- CN
- China
- Prior art keywords
- exposure
- network
- dynamic range
- image block
- exposure image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 2
- 238000000926 separation method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于生成对抗网络的多曝光图高动态范围成像方法及***,首先对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理,得到用于训练的成组的低曝光、正常曝光、高曝光和高动态范围图像块;设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络;使用成组的低曝光、正常曝光、高曝光和高动态范围图像块交替训练生成器网络和判别器网络收敛到纳什平衡;最后将用于测试的原始分辨率的低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。本发明能提升多曝光图像间具有明显背景移动或物体运动时生成的高动态范围图像的质量。
Description
技术领域
本发明涉及图像和视频处理技术领域,特别是一种基于生成对抗网络的多曝光图高动态范围成像方法及***。
背景技术
在不同的场景中,自然亮度的动态范围往往是不同的,但大多数现成的数码相机在拍摄时只能捕获到场景内有限的动态范围。有一些专门的硬件设备可用于直接拍摄场景的高动态范围图像,但这些设备通常过于昂贵而无法广泛使用。近年来,随着移动设备的盛行,人们非常期望使用轻量化和低成本的单目移动相机来捕捉场景中的高动态范围,以制作出覆盖广泛照度范围的满意照片。
完成高动态范围成像的一种流行方法是将几张以不同曝光度拍摄的低动态范围图像合并成一张高动态范围图像。在最近的高动态范围成像方法中,通常将其中一张中等曝光的低动态范围图像作为参考图像,其余的图像将被用来补偿参考图中由于局部区域曝光过度或曝光不足而导致的细节缺失。当这组低动态范围图像的像素是完全对齐时,这些方法可以很好地解决这个问题。但在实际应用中,由于相机运动或物体运动的原因,经常会出现前景和背景错位的现象,这样制作出来的高动态范围图像就会出现模糊和鬼影的伪影。之前的一些方法在预处理阶段对低动态范围图像进行对齐,如利用光流进行对齐。但光流往往是不准确的,特别是对于不同曝光级别拍摄的图像。因此仍然存在由于光流的估计误差造成的伪影问题。由于对于运动的物体来说,像素级的对齐精度很难达到,所以伪影还是很难克服的。
随着深度学习技术的进步,有人提出利用深度卷积神经网络来完成多曝光图的高动态范围成像。而多数方法在预处理阶段仍需要使用光流操作对输入的低动态范围图像进行对齐。此外,当低动态范围图像之间存在较大的运动或明显的错位,且运动区域存在较大的饱和区时,这些模型无法很好地还原其缺失的细节。
发明内容
有鉴于此,本发明的目的是提出一种基于生成对抗网络的多曝光图高动态范围成像方法及***,能够提升多曝光图像间具有明显背景移动或物体运动时生成的高动态范围图像的质量。
本发明采用以下方案实现:一种基于生成对抗网络的多曝光图高动态范围成像方法,包括以下步骤:
步骤S1:对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理,得到用于训练的成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块;
步骤S2:设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络;
步骤S3:使用成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块交替训练生成器网络和判别器网络直至收敛到纳什平衡,得到并保存训练好的生成器网络和判别器网络;
步骤S4:将用于测试的原始低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。
进一步地,所述步骤S1具体包括以下步骤:
步骤S11:将每组原始分辨率的低曝光图像、正常曝光图像、高曝光图像和参考高动态范围图像进行统一的随机位置上的切块,得到多组低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块;
步骤S12:将得到的每组图像块进行统一的随机旋转和翻转,对数据进行增强,得到用于训练的成组的低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块数据集,其中每组中的低曝光图像块、正常曝光图像块和高曝光图像块是输入,高动态范围图像块是标签。
进一步地,步骤S2中所述设计用于多曝光图高动态范围成像的生成器网络具体包括以下内容:
所述生成器网络可分为三个部分,分别是编码器部分、特征融合部分和解码器部分;
编码器部分含有三路结构相同的分支,分别用于提取低曝光图像块、正常曝光图像块和高曝光图像块的多尺度特征,每路分支由三个串联的编码单元组成。编码单元是一个含有两层卷积核为3×3、步长为1的卷积的残差模块,编码单元之间由卷积核为3×3、步长为2的下采样卷积层连接。编码器部分的两次下采样将网络划分为3个不同的尺度;
对应编码器部分的三个尺度,特征融合部分由三个尺度的融合模块组成,分别是和每个融合模块使用编码器中三路分支上对应尺度的编码器单元输出特征作为输入,每个融合模块由四个串联的卷积核为3×3、步长为1且空洞因子为2的空洞卷积组成,并且通过逐元素加法操作将第四个卷积的输出特征与编码器部分中正常曝光分支上对应尺度的编码器单元输出特征相加,形成基于正常曝光图特征的残差结构;
解码器部分总共由三个解码器单元组成,分别是和其中和对应编码器中的第一个尺度,对应编码器中的第二个尺度。解码器单元和的输入由三部分特征在通道维度上拼接组成,分别为其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征和其对应下一尺度融合模块输出特征的上采样结果。解码器单元的输入由四部分特征在通道维度上拼接组成,具体包括其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征、解码器单元的输出特征和解码器单元输出特征的上采样结果。每个解码器单元的结构与编码器单元相同,是一个含有两层卷积核为3×3、步长为1的卷积的残差模块。解码器部分的上采样操作由最近邻插值完成;
生成器的编码器部分、特征融合部分和解码器部分的卷积层使用了普归一化,且卷积层后使用ReLU函数激活。对解码器单元和的输出特征使用卷积核为1×1、步长为1的卷积层输出通道数为3的高动态范围图像结果,故生成器总共输出两个预测的高动态范围图像结果和其中作为最终的高动态范围图像结果。
进一步地,步骤S2中所述设计用于进行对抗训练的判别器网络的具体内容为:
判别器网络由串联的五层卷积层组成,其中前三层卷积层的卷积核大小为4×4、步长为2,后两层卷积层的卷积核大小为4×4、步长为1,所有的卷积层使用普归一化且卷积层之间使用Leaky ReLU函数激活;判别器网络的输出为判别结果矩阵M;判别结果矩阵M中每个值Mi,j对应了输入图像上以(10i,10j)为左上角、大小为70×70的方形区域,代表该区域的判别结果。
进一步地,所述步骤S3具体包括以下步骤:
步骤S31:将成组的低曝光、正常曝光、高曝光和高动态范围图像块随机划分为多个批次,每个批次包含N个图像块;
步骤S32:使用伽马校正和各个输入图像块Li的曝光时间将图像块转到高动态范围图像域,公式如下:
其中Li(i={1,2,3})是输入的图像块,L1、L2、L3分别对应高曝光、中曝光、低曝光图像块;γ是系数,取值为2.2,ti(i={1,2,3})是图像块Li的曝光时间,Hi是图像块Li转成高动态范围域的结果;
步骤S36:根据生成器网络的总目标损失函数,使用反向传播方法计算生成器网络中各参数的梯度,并利用随机梯度下降方法更新生成器网络的参数;
步骤S37:根据判别器网络的目标损失函数,使用反向传播方法计算判别器网络中各参数的梯度,并利用随机梯度下降方法更新判别器网络的参数;
步骤S38:以批次为单位重复进行上述步骤S32至步骤S37的生成器网络和判别器网络训练步骤,直至生成器网络的目标损失函数数值和判别器网络的目标损失函数数值收敛到纳什平衡,保存网络参数,完成生成器网络和判别器网络的训练过程。
进一步地,所述生成器网络的总目标损失函数计算如下:
其中X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果,D和G分别表示判别器网络和生成器网络,G(X1,X2,X3)表示输入为X1、X2和X3时,生成器生成的高动态范围图像,D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵,且该判别结果矩阵被进一步展平为一个一维向量 表示计算均值,N是参考点ds(.,.)为计算两个一维向量在超球空间上的距离,为距离ds(.,.)的r阶矩。假设和为两个一维向量,ds(q1,q2)的计算公式如下:
其中,q1和q2为一维向量,||.||2表示计算欧几里得范数的平方,·为一维向量的点积运算。
进一步地,所述判别器网络的目标损失函数计算如下:
与生成器网络的对抗损失相似,是利用超球空间来计算的生成对抗网络中判别器的损失,其中n为超球空间的维度,即判别器网络输出的判别结果矩阵的总维度。z为参考高动态图像块,其中X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果,D和G分别表示判别器网络和生成器网络,G(X1,X2,X3)表示输入为X1、X2和X3时,生成器生成的高动态范围图像,D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵,且该判别结果矩阵被进一步展平为一个一维向量D(z)表示判别器网络对参考高动态图像块z的判别结果矩阵,且该判别结果矩阵被进一步展平为一个一维向量表示计算均值,N是参考点ds(.,.)为计算两个一维向量在超球空间上的距离,为距离ds(.,.)的r阶矩。假设和为两个一维向量,ds(q1,q2)的计算公式如下:
其中,q1和q2为一维向量,||.||2表示计算欧几里得范数的平方,·为一维向量的点积运算。
进一步地,本发明还提供了一种基于生成对抗网络的多曝光图高动态范围成像***,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现如上文所述的方法。
与现有技术相比,本发明有以下有益效果:
本发明使用独立的多尺度编码器和多尺度的特征融合模块,能够有效地将低曝光图和高曝光图的特征对齐到正常曝光图的特征,通过使用深度监督训练进一步强化了特征的对齐且促进网络训练。通过使用生成对抗网络的训练方式,使得模型生成的高动态范围图像更加真实,有效抑制了由于未对齐的多曝光图像导致的伪影,且能够恢复图像包和区域的结构和细节,具有较高地使用价值。
附图说明
图1为本发明实施例的方法流程示意图。
图2为本发明实施例的生成器网络和判别器网络结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种基于生成对抗网络的多曝光图高动态范围成像方法,包括以下步骤:
步骤S1:对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理,得到用于训练的成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块;
步骤S2:设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络;
步骤S3:使用成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块交替训练生成器网络和判别器网络直至收敛到纳什平衡,得到并保存训练好的生成器网络和判别器网络;
步骤S4:将用于测试的原始低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。
本实施例使用成组的低曝光图像、正常曝光图像和高曝光图像作为输入,通过设计独立的多尺度编码器用于提取各个曝光图像的多尺度特征,并且以正常曝光图为参考设计基于参考图特征的特征融合模块,将高曝光图和低曝光图的特征对齐到正常曝光图,再使用解码器网络输出高动态范围图像。并且通过引入深度监督和生成对抗网络的训练方式,进一步促进了特征图的对齐和网络的训练。对比现有多曝光图像的高动态范围成像方法,本实施例能够显著提升多曝光图像间具有明显背景移动或物体运动时生成的高动态范围图像的质量。
在本实施例中,所述步骤S1具体包括以下步骤:
步骤S11:将每组原始分辨率的低曝光图像、正常曝光图像、高曝光图像和参考高动态范围图像进行统一的随机位置上的切块,得到多组低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块;
步骤S12:将得到的每组图像块进行统一的随机旋转和翻转,对数据进行增强,得到用于训练的成组的低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块数据集,其中每组中的低曝光图像块、正常曝光图像块和高曝光图像块是输入,高动态范围图像块是标签。
在本实施例中,步骤S2中所述设计用于多曝光图高动态范围成像的生成器网络具体包括以下内容:
生成器网络可分为三个部分,如图2所示,分别是编码器部分、特征融合部分和解码器部分;
编码器部分含有三路结构相同的分支,分别用于提取低曝光图像块、正常曝光图像块和高曝光图像块的多尺度特征,每路分支由三个串联的编码单元组成。编码单元是一个含有两层卷积核为3×3、步长为1的卷积的残差模块,编码单元之间由卷积核为3×3、步长为2的下采样卷积层连接。编码器部分的两次下采样将网络划分为3个不同的尺度;
对应编码器部分的三个尺度,特征融合部分由三个尺度的融合模块组成,分别是和每个融合模块使用编码器中三路分支上对应尺度的编码器单元输出特征作为输入,每个融合模块由四个串联的卷积核为3×3、步长为1且空洞因子为2的空洞卷积组成,并且通过逐元素加法操作将第四个卷积的输出特征与编码器部分中正常曝光分支上对应尺度的编码器单元输出特征相加,形成基于正常曝光图特征的残差结构;
解码器部分总共由三个解码器单元组成,分别是和其中和对应编码器中的第一个尺度,对应编码器中的第二个尺度。解码器单元和的输入由三部分特征在通道维度上拼接组成,分别为其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征和其对应下一尺度融合模块输出特征的上采样结果。解码器单元的输入由四部分特征在通道维度上拼接组成,具体包括其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征、解码器单元的输出特征和解码器单元输出特征的上采样结果。每个解码器单元的结构与编码器单元相同,是一个含有两层卷积核为3×3、步长为1的卷积的残差模块。解码器部分的上采样操作由最近邻插值完成;
生成器的编码器部分、特征融合部分和解码器部分的卷积层使用了普归一化,且卷积层后使用ReLU函数激活。如图2所示,解码器单元和的输出特征分别使用卷积核为1×1、步长为1的卷积层输出通道数为3的高动态范围图像结果,故生成器总共输出两个预测的高动态范围图像结果和其中作为最终的高动态范围图像结果。
在本实施例中,步骤S2中所述设计用于进行对抗训练的判别器网络的具体内容为:
如图2所示,判别器网络由串联的五层卷积层组成,其中前三层卷积层的卷积核大小为4×4、步长为2,后两层卷积层的卷积核大小为4×4、步长为1,所有的卷积层使用普归一化且卷积层之间使用Leaky ReLU函数激活。判别器网络的输出为判别结果矩阵M;判别结果矩阵M中每个值Mi,j对应了输入图像上以(10i,10j)为左上角、大小为70×70的方形区域,代表该区域的判别结果。
在本实施例中,所述步骤S3具体包括以下步骤:
步骤S31:将成对的低曝光、正常曝光和高曝光图像块随机划分为多个批次,每个批次包含N个图像块;
步骤S32:使用伽马校正和各个输入图像块Li的曝光时间将图像块转到高动态范围图像域,公式如下:
其中Li(i={1,2,3})是输入的图像块,L1、L2、L3分别对应高曝光、中曝光、低曝光图像块;γ是系数,取值为2.2,ti(i={1,2,3})是图像块Li的曝光时间,Hi是图像块Li转成高动态范围域的结果;
步骤S36:根据生成器网络的总目标损失函数,使用反向传播方法计算生成器网络中各参数的梯度,并利用随机梯度下降方法更新生成器网络的参数;
步骤S37:根据判别器网络的目标损失函数,使用反向传播方法计算判别器网络中各参数的梯度,并利用随机梯度下降方法更新判别器网络的参数;
步骤S38:以批次为单位重复进行上述步骤S32至步骤S37的生成器网络和判别器网络训练步骤,直至生成器网络的目标损失函数数值和判别器网络的目标损失函数数值收敛到纳什平衡,保存网络参数,完成生成器网络和判别器网络的训练过程。
在本实施例中,所述生成器网络的总目标损失函数计算如下:
其中X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果,D和G分别表示判别器网络和生成器网络,G(X1,X2,X3)表示输入为X1、X2和X3时,生成器生成的高动态范围图像,D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵,且该判别结果矩阵被进一步展平为一个一维向量 表示计算均值,N是参考点ds(.,.)为计算两个一维向量在超球空间上的距离,为距离ds(.,.)的r阶矩。假设和为两个一维向量,ds(q1,q2)的计算公式如下:
其中,q1和q2为一维向量,||.||2表示计算欧几里得范数的平方,·为一维向量的点积运算。
本实施例中,所述判别器网络的目标损失函数计算如下:
与生成器网络的对抗损失相似,是利用超球空间来计算的生成对抗网络中判别器的损失,其中n为超球空间的维度,即判别器网络输出的判别结果矩阵的总维度。z为参考高动态图像块,其中X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果,D和G分别表示判别器网络和生成器网络,G(X1,X2,X3)表示输入为X1、X2和X3时,生成器生成的高动态范围图像,D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵,且该判别结果矩阵被进一步展平为一个一维向量D(z)表示判别器网络对参考高动态图像块z的判别结果矩阵,且该判别结果矩阵被进一步展平为一个一维向量表示计算均值,N是参考点ds(.,.)为计算两个一维向量在超球空间上的距离,为距离ds(.,.)的r阶矩。假设和为两个一维向量,ds(q1,q2)的计算公式如下:
其中,q1和q2为一维向量,||.||2表示计算欧几里得范数的平方,·为一维向量的点积运算。
较佳的,本实施例还提供了一种基于生成对抗网络的多曝光图高动态范围成像***,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现如上文所述的方法步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (8)
1.一种基于生成对抗网络的多曝光图高动态范围成像方法,其特征在于,包括以下步骤:
步骤S1:对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理,得到用于训练的成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块;
步骤S2:设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络;
步骤S3:使用成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块交替训练生成器网络和判别器网络直至收敛到纳什平衡,得到并保存训练好的生成器网络和判别器网络;
步骤S4:将用于测试的原始低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。
2.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法,其特征在于:所述步骤S1具体包括以下步骤:
步骤S11:将每组原始分辨率的低曝光图像、正常曝光图像、高曝光图像和参考高动态范围图像进行统一的随机位置上的切块,得到多组低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块;
步骤S12:将得到的每组图像块进行统一的随机旋转和翻转,对数据进行增强,得到用于训练的成组的低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块数据集,其中每组中的低曝光图像块、正常曝光图像块和高曝光图像块是输入,高动态范围图像块是标签。
3.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法,其特征在于:步骤S2中所述设计用于多曝光图高动态范围成像的生成器网络具体包括以下内容:
所述生成器网络分为三个部分,分别是编码器部分、特征融合部分和解码器部分;
编码器部分含有三路结构相同的分支,分别用于提取低曝光图像块、正常曝光图像块和高曝光图像块的多尺度特征;每路分支由三个串联的编码单元组成,编码单元是一个含有两层卷积核为3×3、步长为1的卷积的残差模块,编码单元之间由卷积核为3×3、步长为2的下采样卷积层连接;编码器部分的两次下采样将网络划分为3个不同的尺度;
对应编码器部分的三个尺度,特征融合部分由三个尺度的融合模块组成,分别是和每个融合模块使用编码器中三路分支上对应尺度的编码器单元输出特征作为输入,每个融合模块由四个串联的卷积核为3×3、步长为1且空洞因子为2的空洞卷积组成,并且通过逐元素加法操作将第四个卷积的输出特征与编码器部分中正常曝光分支上对应尺度的编码器单元输出特征相加,形成基于正常曝光图特征的残差结构;
解码器部分总共由三个解码器单元组成,分别是和其中和对应编码器中的第一个尺度,对应编码器中的第二个尺度;解码器单元和的输入由三部分特征在通道维度上拼接组成,分别为其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征和其对应下一尺度融合模块输出特征的上采样结果;解码器单元的输入由四部分特征在通道维度上拼接组成,具体包括其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征、解码器单元的输出特征和解码器单元输出特征的上采样结果;每个解码器单元的结构与编码器单元相同,是一个含有两层卷积核为3×3、步长为1的卷积的残差模块;解码器部分的上采样操作由最近邻插值完成;
4.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法,其特征在于:步骤S2中所述设计用于进行对抗训练的判别器网络的具体内容为:
判别器网络由串联的五层卷积层组成,其中前三层卷积层的卷积核大小为4×4、步长为2,后两层卷积层的卷积核大小为4×4、步长为1,所有的卷积层使用普归一化且卷积层之间使用LeakyReLU函数激活;判别器网络的输出为判别结果矩阵M;判别结果矩阵M中每个值Mi,j对应了输入图像上以(10i,10j)为左上角、大小为70×70的方形区域,代表该区域的判别结果。
5.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法,其特征在于,所述步骤S3具体包括以下步骤:
步骤S31:将成组的低曝光、正常曝光、高曝光和高动态范围图像块随机划分为多个批次,每个批次包含N个图像块;
步骤S32:使用伽马校正和各个输入图像块Li的曝光时间将图像块转到高动态范围图像域,公式如下:
其中Li(i={1,2,3})是输入的图像块,L1、L2、L3分别对应高曝光、中曝光、低曝光图像块;γ是系数,取值为2.2,ti(i={1,2,3})是图像块Li的曝光时间,Hi是图像块Li转成高动态范围域的结果;
步骤S36:根据生成器网络的总目标损失函数,使用反向传播方法计算生成器网络中各参数的梯度,并利用随机梯度下降方法更新生成器网络的参数;
步骤S37:根据判别器网络的目标损失函数,使用反向传播方法计算判别器网络中各参数的梯度,并利用随机梯度下降方法更新判别器网络的参数;
步骤S38:以批次为单位重复进行上述步骤S32至步骤S37的生成器网络和判别器网络训练步骤,直至生成器网络的目标损失函数数值和判别器网络的目标损失函数数值收敛到纳什平衡,保存网络参数,完成生成器网络和判别器网络的训练过程。
6.根据权利要求5所述的一种基于生成对抗网络的多曝光图高动态范围成像方法,其特征在于,所述生成器网络的总目标损失函数计算如下:
其中和Tgt分别是生成器网络的预测结果和参考高动态图像Hgt使用色调映射后的结果,||.||1是取绝对值操作;是利用超球空间来计算的生成对抗网络中生成器的损失,其中n为超球空间的维度,即判别器网络输出的判别结果矩阵的总维度;使用如下公式计算生成器的对抗损失
其中,X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果,D和G分别表示判别器网络和生成器网络,G(X1,X2,X3)表示输入为X1、X2和X3时,生成器生成的高动态范围图像,D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵,且该判别结果矩阵被进一步展平为一个一维向量表示计算均值,N是参考点ds(.,.)为计算两个一维向量在超球空间上的距离,为距离ds(.,.)的r阶矩;假设和为两个一维向量,ds(q1,q2)的计算公式如下:
其中,q1和q2为一维向量,||.||2表示计算欧几里得范数的平方,·为一维向量的点积运算。
7.根据权利要求5所述的一种基于生成对抗网络的多曝光图高动态范围成像方法,其特征在于,所述判别器网络的目标损失函数计算如下:
与生成器网络的对抗损失相似,是利用超球空间来计算的生成对抗网络中判别器的损失,其中n为超球空间的维度,即判别器网络输出的判别结果矩阵的总维度;z为参考高动态图像块,其中X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果,D和G分别表示判别器网络和生成器网络,G(X1,X2,X3)表示输入为X1、X2和X3时,生成器生成的高动态范围图像,D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵,且该判别结果矩阵被进一步展平为一个一维向量D(z)表示判别器网络对参考高动态图像块z的判别结果矩阵,且该判别结果矩阵被进一步展平为一个一维向量 表示计算均值,N是参考点ds(.,.)为计算两个一维向量在超球空间上的距离,为距离ds(.,.)的r阶矩;假设和为两个一维向量,ds(q1,q2)的计算公式如下:
其中,q1和q2为一维向量,||.||2表示计算欧几里得范数的平方,·为一维向量的点积运算。
8.一种基于生成对抗网络的多曝光图高动态范围成像***,其特征在于,包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序,当处理器运行该计算机程序时,实现如权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010719702.0A CN111835983B (zh) | 2020-07-23 | 2020-07-23 | 一种基于生成对抗网络的多曝光图高动态范围成像方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010719702.0A CN111835983B (zh) | 2020-07-23 | 2020-07-23 | 一种基于生成对抗网络的多曝光图高动态范围成像方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111835983A true CN111835983A (zh) | 2020-10-27 |
CN111835983B CN111835983B (zh) | 2021-06-29 |
Family
ID=72925350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010719702.0A Active CN111835983B (zh) | 2020-07-23 | 2020-07-23 | 一种基于生成对抗网络的多曝光图高动态范围成像方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111835983B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112381716A (zh) * | 2020-11-18 | 2021-02-19 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
CN112950497A (zh) * | 2021-02-22 | 2021-06-11 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113132655A (zh) * | 2021-03-09 | 2021-07-16 | 浙江工业大学 | 一种基于深度学习的hdr视频合成方法 |
CN113643214A (zh) * | 2021-10-12 | 2021-11-12 | 江苏维沛通信科技发展有限公司 | 一种基于人工智能的图像曝光校正方法及*** |
CN113689344A (zh) * | 2021-06-30 | 2021-11-23 | 中国矿业大学 | 基于特征解耦学习的低曝光图像增强方法 |
CN113852765A (zh) * | 2021-05-31 | 2021-12-28 | 天翼智慧家庭科技有限公司 | 一种基于自编码机的hdr单帧合成方法 |
CN117274083A (zh) * | 2023-09-18 | 2023-12-22 | 哈尔滨工业大学 | 基于多曝光图像的自监督高动态范围图像重建方法 |
CN117274083B (zh) * | 2023-09-18 | 2024-07-26 | 哈尔滨工业大学 | 基于多曝光图像的自监督高动态范围图像重建方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110211203A (zh) * | 2019-06-10 | 2019-09-06 | 大连民族大学 | 基于条件生成对抗网络的汉字字体的方法 |
WO2019199699A1 (en) * | 2018-04-13 | 2019-10-17 | Elekta, Inc. | Image synthesis using adversarial networks |
CN110728633A (zh) * | 2019-09-06 | 2020-01-24 | 上海交通大学 | 多曝光度高动态范围反色调映射模型构建方法及装置 |
CN110889813A (zh) * | 2019-11-15 | 2020-03-17 | 安徽大学 | 基于红外信息的低光图像增强方法 |
CN111402179A (zh) * | 2020-03-12 | 2020-07-10 | 南昌航空大学 | 结合对抗自编码器和生成对抗网络的图像合成方法及*** |
-
2020
- 2020-07-23 CN CN202010719702.0A patent/CN111835983B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019199699A1 (en) * | 2018-04-13 | 2019-10-17 | Elekta, Inc. | Image synthesis using adversarial networks |
CN110211203A (zh) * | 2019-06-10 | 2019-09-06 | 大连民族大学 | 基于条件生成对抗网络的汉字字体的方法 |
CN110728633A (zh) * | 2019-09-06 | 2020-01-24 | 上海交通大学 | 多曝光度高动态范围反色调映射模型构建方法及装置 |
CN110889813A (zh) * | 2019-11-15 | 2020-03-17 | 安徽大学 | 基于红外信息的低光图像增强方法 |
CN111402179A (zh) * | 2020-03-12 | 2020-07-10 | 南昌航空大学 | 结合对抗自编码器和生成对抗网络的图像合成方法及*** |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112381716A (zh) * | 2020-11-18 | 2021-02-19 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
CN112381716B (zh) * | 2020-11-18 | 2023-08-18 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
CN112950497A (zh) * | 2021-02-22 | 2021-06-11 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113132655A (zh) * | 2021-03-09 | 2021-07-16 | 浙江工业大学 | 一种基于深度学习的hdr视频合成方法 |
CN113852765A (zh) * | 2021-05-31 | 2021-12-28 | 天翼智慧家庭科技有限公司 | 一种基于自编码机的hdr单帧合成方法 |
CN113689344A (zh) * | 2021-06-30 | 2021-11-23 | 中国矿业大学 | 基于特征解耦学习的低曝光图像增强方法 |
CN113643214A (zh) * | 2021-10-12 | 2021-11-12 | 江苏维沛通信科技发展有限公司 | 一种基于人工智能的图像曝光校正方法及*** |
CN113643214B (zh) * | 2021-10-12 | 2022-02-11 | 江苏维沛通信科技发展有限公司 | 一种基于人工智能的图像曝光校正方法及*** |
CN117274083A (zh) * | 2023-09-18 | 2023-12-22 | 哈尔滨工业大学 | 基于多曝光图像的自监督高动态范围图像重建方法 |
CN117274083B (zh) * | 2023-09-18 | 2024-07-26 | 哈尔滨工业大学 | 基于多曝光图像的自监督高动态范围图像重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111835983B (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111835983B (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及*** | |
Niu et al. | Hdr-gan: Hdr image reconstruction from multi-exposed ldr images with large motions | |
CN111798400B (zh) | 基于生成对抗网络的无参考低光照图像增强方法及*** | |
CN111741211B (zh) | 图像显示方法和设备 | |
CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
CN111669514B (zh) | 高动态范围成像方法和装置 | |
CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、***、设备及介质 | |
CN109389667B (zh) | 一种基于深度学习的高效全局光照明绘制方法 | |
CN111428575A (zh) | 一种基于孪生网络的针对模糊目标的跟踪方法 | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
US20230209029A1 (en) | Apparatus and method for white balance editing | |
CN111612722A (zh) | 基于简化Unet全卷积神经网络的低照度图像处理方法 | |
US20220156891A1 (en) | Methods and systems for deblurring blurry images | |
WO2021057091A1 (zh) | 视点图像处理方法及相关设备 | |
KS et al. | Deep multi-stage learning for hdr with large object motions | |
CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
WO2023246392A1 (zh) | 图像获取方法、装置、设备和非瞬态计算机存储介质 | |
CN114885144B (zh) | 基于数据融合的高帧率3d视频生成方法及装置 | |
CN111861877A (zh) | 视频超分变率的方法和装置 | |
Wang et al. | Exposure fusion using a relative generative adversarial network | |
CN115409721A (zh) | 暗光视频增强方法及装置 | |
CN114119428A (zh) | 一种图像去模糊方法和装置 | |
CN114581316A (zh) | 图像重建方法、电子设备、存储介质及程序产品 | |
CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230621 Address after: 350028 workshop 13b, Taijiang Park, Pushang Pian, Jinshan Industrial Zone, Cangshan District, Fuzhou City, Fujian Province (No. 27, Yangzhou Road, Jianxin town) Patentee after: FUJIAN JIEYU COMPUTER TECHNOLOGY Co.,Ltd. Address before: Fuzhou University, No.2, wulongjiang North Avenue, Fuzhou University Town, Minhou County, Fuzhou City, Fujian Province Patentee before: FUZHOU University |