CN113554567B - 一种基于小波变换的鲁棒去重影***及方法 - Google Patents

一种基于小波变换的鲁棒去重影***及方法 Download PDF

Info

Publication number
CN113554567B
CN113554567B CN202110865456.4A CN202110865456A CN113554567B CN 113554567 B CN113554567 B CN 113554567B CN 202110865456 A CN202110865456 A CN 202110865456A CN 113554567 B CN113554567 B CN 113554567B
Authority
CN
China
Prior art keywords
ghost
mapping
input
feature
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110865456.4A
Other languages
English (en)
Other versions
CN113554567A (zh
Inventor
潘潇恺
郑博仑
颜成钢
孙垚棋
张继勇
李宗鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110865456.4A priority Critical patent/CN113554567B/zh
Publication of CN113554567A publication Critical patent/CN113554567A/zh
Application granted granted Critical
Publication of CN113554567B publication Critical patent/CN113554567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于小波变换的鲁棒去重影***及方法。从低动态范围图像输入中提取多尺度特征图,并生成相应的空间注意图,以引导无参考图像识别未对准部分,从而减轻合并阶段的重影效应。在空间注意力映射的帮助下,融合模块融合LDR图像的特征映射,并最终从不同尺度重建高动态范围输出。本发明提出了一种新的跨变换域学习体系结构,由离散小波变换和离散余弦变换两种变换构成,即离散小波变换首先将特征分解为不同的频率分量,然后引入基于离散余弦变换的可学习带通滤波器生成与分解分量一致的局部特征。

Description

一种基于小波变换的鲁棒去重影***及方法
技术领域
本发明属于图像处理技术领域,是基于小波变换的去重影方法,主要是涉及离散余弦变换域可学习带通滤波器的去重影纹方法。
背景技术
从动态范围有限的传感器重建高动态范围(HDR)场景是信号处理和计算机视觉领域的一个基本问题。为了克服传感器的限制,一般的方法是捕获不同曝光时间的多个低动态范围(LDR)图像,然后将它们合并成HDR图像。估计相机响应函数和映射LDR图像的色调是获得HDR图像的另一种方法。尽管这些算法肯定能产生视觉上令人满意的结果,但在那些曝光不足或曝光过度的区域中的扫描信息永远无法恢复。近年来,多曝光图像融合得到了很好的研究,并在商业应用中得到广泛应用。这些方法通常指定一幅LDR图像作为参考,并用来自其他LDR图像的信息对其进行补偿。然而,这些方法总是要求相机和场景是完全静态的,否则它们显然会遭受重影效应,这大大限制了这些方法在动态场景中的应用。未对准是合并多个曝光图像的主要挑战。近年来的研究主要集中在基于融合的方法和基于运动补偿的方法,用于从非参考像素块中拒绝未对齐的像素块,并使用剩余的非参考像素块和强度渲染像素块重建HDR图像。由于剔除仅由局部像素块决定,而忽略了相邻像素块的一致性,因此参考图像的过曝光区域和欠曝光区域周围总是会出现误差。基于运动补偿的方法在合并之前在参考图像和其他曝光图像之间进行像素或拼接对准。然而,对准总是受到由不同曝光时间引起的亮度间隙和不可预测的噪声的影响。此外,图像分辨率的大幅提高也使得像素级对准的计算变得难以负担。
随着深度神经网络的巨大成功,提出了几种基于深度神经网络的方法来解决动态场景中的HDR成像。Kalantari等人[1]提出了一种浅层卷积神经网络来自适应估计不同曝光图像的对齐像素和合并系数。然而,浅层CNN不能处理复杂的运动,并且不可避免地遭受光流和合并系数的估计误差。严[2]等人提出了一种注意力机制,引导CNN学习动态场景对重影效果的强调特征。虽然基于卷积神经网络的注意力模块可以比传统的拒绝策略做出更精确的强调,但差的感受野限制了注意力模块的性能。Lee[3]等人引入中枢神经***对输入图像进行预配准,减少了运动补偿中出现的误差。这种预配准需要额外的训练数据集,并且当输入图像增加时效率相当低。
发明内容
针对现有技术中存在的不足,本发明提供了一种基于小波变换的鲁棒去重影***及方法。
在这项工作中,我们重点研究了局部结构表示在注意力和融合方向上的一致性,并提出了一种新的跨变换域学习体系结构。主要由离散小波变换(DWT)和离散余弦变换(DCT)两种变换构成,即离散小波变换首先将特征分解为不同的频率分量,然后引入基于离散余弦变换的可学习带通滤波器生成与分解分量一致的局部特征。此外,还提出了多尺度融合注意力、多尺度重构和结构损失函数来构造网络。
实现步骤:
一种基于小波变换的鲁棒去重影***,包括注意力模块和融合模块。
所述的注意力模块包括解码子网络和注意力提取模块通过解码子网络对输入的图片进行处理得到四个尺度的输出特征映射,然后通过注意力提取模块对输出特征映射进行注意力提取,获得最终输出特征映射。
所述的融合模块包含重影消除模块和转置卷积,首先通过重影消除模块对注意力模块输出的最终输出特征映射进行重影校正,再通过转置卷积将特征映射上采样到原始比例,得到高动态范围图像。
注意力提取模块:
(1)为非参考特征映射,/>为参考特征映射,将3个特征映射作为输入,分别按照通道数连接,在经过3x3的卷积层和Sigmoid激活函数,得到特征映射A1,A3
(2)将A1,A3分别与按照1-α和α的比例进行点乘,α为运算前决定的超参数,得到特征映射/>
(3)将与参考输入特征映射/>按照通道数进行连接获得最终输出特征映射。
重影消除模块(DPBs):
(1)将输入特征映射进行小波变换得到特征映射Fshallow
(2)将特征映射Fshallow输入到3x3的卷积层和LeakyReLU激活函数中,再输入到密集块中。密集块由n个膨胀卷积和LeakyReLU激活函数组成。
(3)再将密集块输出的特征映射分别输入到4个可学习带通滤波器(LBF)中,将4个可学习带通滤波器的输出按照通道数进行连接,再与特征映射Fshallow相加,得到输出特征映射Fdeep
解码子网络:
将输入的图片经过3次下采样得到4个不同尺度的特征映射,再输入到3x3卷积层和LeakyReLU激活函数中得到四个尺度的输出特征映射。
一种基于小波变换的鲁棒去重影方法,步骤如下:
步骤(1)将三张不同曝光的低动态范围图像输入到解码子网络中,得到4组不同尺度的特征映射。
步骤(2)将4组特征映射分别输入到注意力提取模块中,得到4个最终输出特征映射
步骤(3)将4个特征映射输入到重影消除模块(DPBs)中,然后分别经过0,1,2,3组4x4的反卷积层和LeakyReLU激活函数,再分别经过一个3x3的卷积层后相加,得到特征映射/>最后经过Sigmoid激活函数得到最终的输出高动态图像/>
本发明有益效果如下:
优点一:从低动态范围图像输入中提取多尺度特征图,并生成相应的空间注意图,以引导无参考图像识别未对准部分,从而减轻合并阶段的重影效应。在空间注意力映射的帮助下,融合模块融合LDR图像的特征映射,并最终从不同尺度重建高动态范围输出。
优点二:注意力模块首先使用解码子网络通过不同的尺度提取特征映射。因为解码子网络作为基本特征提取器工作,所以编码网络的权重对于三个输入是完全共享的。然后注意力提取模块从最高尺度到原始尺度逐步提取空间注意力映射。
优点三:融合模块将注意力模块输出的多尺度特征映射作为输入。首先引入重影消除模块,用于校正输入中存在的重影伪影,该重影消除模块是通过在不同尺度中堆叠剩余残差块而构建的。然后经过转置卷积将校正后的特征映射上采样到原始比例,并最终输出无重影的高动态范围图像。
附图说明
图1:基于小波变换的鲁棒去重影***结构示意图;
图2:重影消除模块(DPBs)结构示意图;
图3:解码子网络结构示意图;
图4:本发明实施例与其他相关工作的比较结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明湖进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明首先进行以下定义及说明:
特征映射:特征映射用于制造非线性回归复杂属性。通过循环将原本的输入值矩阵扩展成多项展开式的形式。这样做能够获得不同于线性回归的更加复杂、合理的目标函数。
LeakyReLU激活函数:是经典的ReLu激活函数的变体,该函数输出对负值输入有很小的坡度。由于导数总是不为零,这能减少静默神经元的出现,允许基于梯度的学习,解决了Relu函数进入负区间后,导致神经元不学习的问题。
L1损失:L1 Loss也称为平均绝对值误差(MAE),是指模型预测值f(x)和真实值y之间绝对差值的平均值。
残差块:密集块是由1*1的卷积层和LeakyReLU激活函数组成,可以充分获得稠密的局部特征。充分利用了所有卷积层的层次信息,通过密集连接卷积层提取吩咐的卷积特征,更有效地从先前和当前局部特征中学习更有效地特征,并稳定更广泛地网络训练。
离散余弦变换:离散余弦变换,尤其是它的第二种类型,经常被信号处理和图像处理使用,用于对信号和图像(包括静止图像和运动图像)进行有损数据压缩。这是由于离散余弦变换具有很强的"能量集中"特性:大多数的自然信号(包括声音和图像)的能量都集中在离散余弦变换后的低频部分,而且当信号具有接近马尔可夫过程的统计特性时,离散余弦变换的去相关性接近于KL变换的性能。
小波变换:正交小波分解具有时-频局部分解的能力,在进行信号处理时,小波分量表现的幅度较大,与噪声在高频部分的均匀变现正好形成明显的对比。经小波分解后,幅值比较大的小波系数绝大多数是有用信号,而幅值较小的系数一般都是噪声,即可以认为有用信号的小波变换系数要大于噪声的小波变换系数。阈值去噪法就是找到一个合适的阈值,保留大于阈值的小波系数,将小于阈值的小波系数做相应的处理,然后,根据处理后的小波系数还原出有用信号。
PSNR:峰值信噪比,是用于衡量图像质量的指标,比如在图像压缩、超分辨率重建图像等领域,其是一种重要的指标.
SSIM:结构相似性,结构相似性的基本原理是,认为自然图像时高度结构化的,即相邻像素间具有很强的关联性,而这种关联性表达了场景中物体的结构信息.人类视觉***对于图像已经具有很强的理解与信息抽取能力,所以在衡量图像质量时,结构性失真是很重要的考量。
HDR-VDP-2:可以应用到真实世界全范围亮度,即可以进行HDR的质量评价;其次,它对可见性和质量进行分别预测,这两个标准适用于不同目的且不相关;HDR-VDP-2经过了严格测试和校准用于保证高精确度。
一种基于小波变换的鲁棒去重影***,包括注意力模块和融合模块。
所述的注意力模块包括解码子网络和注意力提取模块,通过解码子网络对输入的图片进行处理得到四个尺度的输出特征映射,然后通过注意力提取模块对输出特征映射进行注意力提取,获得最终输出特征映射。该模块可以突出与参考图像互补的特征,来排除运动和严重饱和的区域。
所述的融合模块包含重影消除模块和转置卷积,首先通过重影消除模块来校正重影,再通过转置卷积将特征映射上采样到原始比例,得到高动态范围图像。该模块将浅层特征和深层特征结合,并学习了剩余特征,更有效地消除了重影。
注意力提取模块:
(1)为非参考特征映射,/>为参考特征映射,将3个特征映射作为输入,分别按照通道数连接,在经过3x3的卷积层和Sigmoid激活函数,得到特征映射A1,A3
(2)将A1,A3分别与按照1-α和α的比例进行点乘,α为运算前决定的超参数,得到特征映射/>
(3)将与参考输入特征映射/>按照通道数进行连接获得最终输出特征映射。
重影消除模块(DPBs):
(1)将输入特征映射进行小波变换得到特征映射Fshallow
(2)将特征映射Fshallow输入到3x3的卷积层和LeakyReLU激活函数中,再输入到密集块中。密集块由n个膨胀卷积和LeakyReLU激活函数组成,采用膨胀卷积的目的是扩大密集区域的感受野。
(3)再将密集块输出的特征映射分别输入到4个可学习带通滤波器(LBF)中,将4个可学习带通滤波器的输出按照通道数进行连接,再与特征映射Fshallow相加,得到输出特征映射Fdeep
图2:重影消除模块(DPBs)结构示意图;
解码子网络:
将输入的图片经过3次下采样得到4个不同尺度的特征映射,再输入到3x3卷积层和LeakyReLU激活函数中得到四个尺度的输出特征映射。
图3为解码子网络结构示意图;
如图1所示,一种基于小波变换的鲁棒去重影方法,步骤如下:
步骤(1)将三张不同曝光的低动态范围图像输入到解码子网络中,得到4组不同尺度的特征映射。
步骤(2)将4组特征映射分别输入到注意力提取模块中,得到4个最终输出特征映射
步骤(3)将4个特征映射输入到重影消除模块(DPBs)中,然后分别经过0,1,2,3组4x4的反卷积层和LeakyReLU激活函数,再分别经过一个3x3的卷积层后相加,得到特征映射/>最后经过Sigmoid激活函数得到最终的输出高动态图像/>
图4:本发明实施例与其他相关工作的比较结果图。

Claims (4)

1.一种基于小波变换的鲁棒去重影***,其特征在于,包括注意力模块和融合模块;
所述的注意力模块包括解码子网络和注意力提取模块,通过解码子网络对输入的图片进行处理得到四个尺度的输出特征映射,然后通过注意力提取模块对输出特征映射进行注意力提取,获得最终输出特征映射;
所述的融合模块包含重影消除模块和转置卷积,首先通过重影消除模块对注意力模块输出的最终输出特征映射进行重影校正,再通过转置卷积将特征映射上采样到原始比例,得到高动态范围图像;
所述的重影消除模块具体如下:
(1)将输入特征映射进行小波变换得到特征映射Fshallow
(2)将特征映射Fshallow输入到3x3的卷积层和LeakyReLU激活函数中,再输入到密集块中;密集块由n个膨胀卷积和LeakyReLU激活函数组成;
(3)再将密集块输出的特征映射分别输入到4个可学习带通滤波器LBF中,将4个可学习带通滤波器的输出按照通道数进行连接,再与特征映射Fshallow相加,得到输出特征映射Fdeep
2.根据权利要求1所述的一种基于小波变换的鲁棒去重影***,其特征在于,所述的注意力提取模块具体如下:
(1)f1 nr为非参考特征映射,f1 r,/>为参考特征映射,将3个特征映射作为输入,分别按照通道数连接,在经过3x3的卷积层和Sigmoid激活函数,得到特征映射A1,A3
(2)将A1,A3分别与f1 nr按照1-α和α的比例进行点乘,α为运算前决定的超参数,得到特征映射/>
(3)将与参考输入特征映射f1 r,/>按照通道数进行连接获得最终输出特征映射。
3.根据权利要求2所述的一种基于小波变换的鲁棒去重影***,其特征在于,所述的解码子网络具体如下:
将输入的图片经过3次下采样得到4个不同尺度的特征映射,再输入到3x3卷积层和LeakyReLU激活函数中得到四个尺度的输出特征映射。
4.一种基于小波变换的鲁棒去重影方法,其特征在于,步骤如下:
步骤(1)将三张不同曝光的低动态范围图像输入到解码子网络中,得到4组不同尺度的特征映射;
步骤(2)将4组特征映射分别输入到注意力提取模块中,得到4个最终输出特征映射
步骤(3)将4个特征映射输入到重影消除模块中,然后分别经过0,1,2,3组4x4的反卷积层和LeakyReLU激活函数,再分别经过一个3x3的卷积层后相加,得到特征映射最后经过Sigmoid激活函数得到最终的输出高动态图像/>
CN202110865456.4A 2021-07-29 2021-07-29 一种基于小波变换的鲁棒去重影***及方法 Active CN113554567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110865456.4A CN113554567B (zh) 2021-07-29 2021-07-29 一种基于小波变换的鲁棒去重影***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110865456.4A CN113554567B (zh) 2021-07-29 2021-07-29 一种基于小波变换的鲁棒去重影***及方法

Publications (2)

Publication Number Publication Date
CN113554567A CN113554567A (zh) 2021-10-26
CN113554567B true CN113554567B (zh) 2024-04-02

Family

ID=78133361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110865456.4A Active CN113554567B (zh) 2021-07-29 2021-07-29 一种基于小波变换的鲁棒去重影***及方法

Country Status (1)

Country Link
CN (1) CN113554567B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439384A (zh) * 2022-09-05 2022-12-06 中国科学院长春光学精密机械与物理研究所 一种无鬼影多曝光图像融合方法、装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275640A (zh) * 2020-01-17 2020-06-12 天津大学 一种融合二维离散小波变换和生成对抗网络的图像增强方法
CN113160178A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于注意力模块的高动态范围去重影成像***及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123141B2 (en) * 2013-07-30 2015-09-01 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processing using multi-level median threshold bitmaps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275640A (zh) * 2020-01-17 2020-06-12 天津大学 一种融合二维离散小波变换和生成对抗网络的图像增强方法
CN113160178A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于注意力模块的高动态范围去重影成像***及方法

Also Published As

Publication number Publication date
CN113554567A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
Dong et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization
CN111539879A (zh) 基于深度学习的视频盲去噪方法及装置
CN111583123A (zh) 一种基于小波变换的融合高低频信息的图像增强算法
CN111462019A (zh) 基于深度神经网络参数估计的图像去模糊方法及***
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN110246088B (zh) 基于小波变换的图像亮度降噪方法及其图像降噪***
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN111260591A (zh) 一种基于注意力机制的图像自适应去噪方法
CN111105357B (zh) 一种失真图像的去失真方法、装置及电子设备
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
CN113554567B (zh) 一种基于小波变换的鲁棒去重影***及方法
Zhao et al. A simple and robust deep convolutional approach to blind image denoising
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
CN116596792A (zh) 一种面向智能船舶的内河雾天场景恢复方法、***及设备
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN116152103A (zh) 基于多头交叉注意机制的神经网络光场图像去模糊方法
CN114549361A (zh) 一种基于改进U-Net模型的去图像运动模糊方法
CN110648291B (zh) 一种基于深度学习的无人机运动模糊图像的复原方法
Yi et al. Attention-model guided image enhancement for robotic vision applications
CN111553860A (zh) 水色遥感影像的深度学习非邻域均值化处理方法及***
CN115456903B (zh) 一种基于深度学习的全彩夜视增强方法和***
CN114998138B (zh) 一种基于注意力机制的高动态范围图像去伪影方法
US20230237627A1 (en) Wavelet transform based deep high dynamic range imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant