CN113012069B - 小波变换域下结合深度学习的光学遥感图像质量提升方法 - Google Patents

小波变换域下结合深度学习的光学遥感图像质量提升方法 Download PDF

Info

Publication number
CN113012069B
CN113012069B CN202110285261.2A CN202110285261A CN113012069B CN 113012069 B CN113012069 B CN 113012069B CN 202110285261 A CN202110285261 A CN 202110285261A CN 113012069 B CN113012069 B CN 113012069B
Authority
CN
China
Prior art keywords
remote sensing
optical remote
image
wavelet transform
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110285261.2A
Other languages
English (en)
Other versions
CN113012069A (zh
Inventor
冯旭斌
谢梅林
苏秀琴
李治国
韩俊锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN202110285261.2A priority Critical patent/CN113012069B/zh
Publication of CN113012069A publication Critical patent/CN113012069A/zh
Application granted granted Critical
Publication of CN113012069B publication Critical patent/CN113012069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了小波变换域下结合深度学习的光学遥感图像质量提升方法，可用于高质量光学遥感图像的获取，解决了现有技术中，在对遥感图像处理时，无法同时采用去噪或超分辨率重建技术来获取高质量光学遥感图像的问题。本发明方法包括：1、训练阶段，将光学遥感图像进行小波变换、同时去噪与超分辨率重建，再进行小波逆变换，得到光学遥感重建图像，采用相对损失函数进行判别处理，得到理想网络参数；2、使用阶段，使用理想网络参数对***进行初始化，将光学遥感图像进行小波变换、去噪与超分辨率重建，再进行小波逆变换，最终得到光学遥感重建图像，实现了对光学遥感图像质量的进一步提升。

Description

小波变换域下结合深度学习的光学遥感图像质量提升方法
技术领域
本发明属于光学遥感图像处理领域，具体涉及一种小波变换域下结合深度学习的光学遥感图像质量提升方法，可用于光学遥感图像的高质量获取。
背景技术
高质量光学遥感图像在目标检测、目标识别和图像分类方面非常有用。由于受成像设备的精度和大气环境的影响，高质量光学遥感图像很难获得。在现有技术中，大多采用去噪或超分辨率重建二者其一的技术来获取高质量光学遥感图像，如图1所示的ESRGAN图像处理方法(参见Wang X,Yu K,Wu S,et al.ESRGAN:Enhanced Super-ResolutionGenerative Adversarial Networks[C]European Conference on ComputerVision.Springer,Cham, 2018.)，基于深度学习，可实现对图像的超分辨率重建，但无法实现对图像进行去噪处理；如图2所示的DnCNN图像处理方法(参见Zhang K,Zuo W,Chen Y,etal.Beyond a Gaussian Denoiser:Residual Learning of Deep CNN for ImageDenoising[J].IEEE Transactions on Image Processing,2016, 26(7):3142-3155.)，是一个层数较深的基于深度学习的图像去噪方法，基于残差网络，结合了批归一化，实现对图像的去噪处理，但却无法实现对图像的超分辨率重建；由于遥感图像结构复杂、噪声大，仅采用去噪或超分辨率重建方法获得的光学遥感图像质量并不能满足实际中的需要，进而无法获得更高质量的光学遥感图像。
发明内容
本发明为解决现有技术中，对光学遥感图像进行处理时，通常采用的方法不能同时对光学遥感图像进行去噪和超分辨率重建的问题，提出了一种小波变换域下结合深度学习的光学遥感图像质量提升方法，此方法可用于任意需要提升质量的图像类型，具有可同时对光学遥感图像进行去噪和超分辨率重建，实现了对高质量光学遥感图像的获取。
本发明的技术解决方案是：小波变换域下结合深度学习的光学遥感图像质量提升方法，包括以下步骤：
步骤1、训练阶段：
1.1)将训练集中的光学遥感图像进行小波变换处理，得到不同频率子带信号；
1.2)将频率子带信号通过密集块网络同时进行去噪与超分辨率重建处理，得到频率子带重建信号；
1.3)将频率子带重建信号进行小波逆变换后得到光学遥感重建图像；
1.4)将光学遥感重建图像与对应的高质量真值图像进行判别处理，经生成器模块的相对损失与全变分损失函数运算，及判别器模块的相对损失函数运算，得到本次循环的损失情况，本次循环结束；
1.5)重复步骤1.1)-1.4)，直至训练集中所有光学遥感图像循环一次后，本次迭代结束，根据本次迭代的综合损失情况，更新网络参数；
1.6)重复步骤1.1)-1.5)，直至迭代次数到达设定值，训练结束，得到理想网络参数；
步骤2、使用阶段：
2.1)使用训练阶段得到的理想网络参数对***进行初始化；
2.2)将待提升质量的光学遥感图像进行小波变换处理，得到不同频率子带信号；
2.3)将频率子带信号通过密集块网络同时进行去噪与超分辨率重建处理，得到频率子带重建信号；
2.4)将频率子带重建信号进行小波逆变换后得到光学遥感重建图像。
进一步地，步骤1.2和步骤2.3中，所述密集块网络采用全局残差算法、局部残差算法和密集连接算法。
进一步地，密集块网络使用瓶颈结构，包含一个1×1卷积核、一个3×3 卷积核和一个1×1卷积核。
进一步地，步骤1.1和步骤2.2中，所述小波变换为哈尔小波变换；步骤 1.3和步骤2.4中，所述小波逆变换为哈尔小波逆变换。
进一步地，步骤1.1和步骤2.2中，所述频率子带信号为原始图像的低频子带、垂直方向的高频子带，水平方向的高频子带及对角方向的高频子带信号。
进一步地，步骤1.1-1.4采用生成对抗网络或传统的卷积神经网络实现。
本发明与现有技术相比，其有益效果如下：
1)、本发明提供的小波变换域下结合深度学习的光学遥感图像质量提升方法，可对光学遥感图像同时进行去噪与超分辨率重建，实现了对高质量光学遥感图像的获取。
2)本发明提供的小波变换域下结合深度学习的光学遥感图像质量提升方法，扩展了遥感图像在目标检测、目标识别和图像分类中的应用范围，为获取高质量的遥感图像提供有效途径。
3)本发明提供的小波变换域下结合深度学习的光学遥感图像质量提升方法，有效地降低高质量遥感图像的获取成本，高效、快速的实现高质量遥感图像的迭代和实现。
4)本发明小波变换域下结合深度学习的光学遥感图像质量提升方法，其生成器模型运行在小波变换域下，并且损失函数中增加了全变分损失以进一步增强重建效果；同时判别器模型使用了相对损失代替了传统的像素级损失，使整个网络更好地收敛，最终提升了光学遥感图像重建的效果。
附图说明
图1为现有ESRGAN图像处理方法原理示意图；
图2为现有DnCNN图像处理方法原理示意图；
图3为本发明小波变换域下结合深度学习的光学遥感图像质量提升方法中训练阶段架构示意图；
图4为本发明方法中，哈尔小波变换流程图；
图5为本发明方法中，生成对抗网络原理示意图；
图6为本发明方法中，残差算法原理示意图；
图7为本发明方法中，密集块网络示意图。
附图标记说明：
1-生成器模型，2-判别器模型，101-小波变换模块，102-密集残差学习模块，103-小波逆变换模块。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细说明。
如图3所示，本发明一种小波变换域下结合深度学习的光学遥感图像质量提升方法，采用了生成对抗网络的架构，包括生成器模型1和判别器模型2。所述生成器模型1包括小波变换模块101、密集残差学习模块102及小波逆变换模块103；所述判别器模型2包括VGG-54网络。
本发明提出了小波变换域下结合深度学习的光学遥感图像质量提升方法。将光学遥感图像去噪和超分辨率重建融合到一个统一的框架中，可以获得更好的图像质量。具体过程为：为了获得更多地重建细节信息，首先采用了生成对抗网络的架构，然后为了使最终重建的图像能在峰值信噪比和结构相似度等客观评价指标上有良好的表现，在其生成部分结合了残差网络(局部残差网络和全局残差网络)。在损失函数方面，生成部分的损失函数结合了全变分损失，进一步增强了重建的细节信息；判别部分使用了相对损失来代替传统的判别损失计算方法，目的是为了使整个网络更好的收敛。最后，在小波变换域下将原图像的不同频率分量进行分开执行。
小波变换已经被证明是一种非常有效的图像恢复方法。通过小波变换可以将图像变换为一系列大小相同的系数。利用稀疏编码算法对小波系数进行预测，最后对预测细节后的子带进行重建得到最终的高质量光学图像。哈尔小波变换操作如图4所示，原始图像的低频子带，表示全局拓扑,其他三个子带分别在垂直、水平和对角方向上代表高频部分。另外，利用小波变换的逆实现，可以得到这四个子带系数的最终图像。去噪和超分辨率重建算法可以对这四个子带系数分别进行处理，最后将处理后的四个子带再通过哈尔小波逆变换得到最终的图像。
如图5所示，本发明生成对抗生成网络的主要结构包括一个生成器模型和一个判别器模型。其中生成器模型1和判别器模型2都是卷积神经网络。
残差网络按照图6的结构来解决退化问题：残差网络包含恒等映射和残差映射。恒等映射指的是图中“弯线”部分，残差映射指的是非“弯线”的剩余部分，F(x)是求和前网络映射。
密集块网络与残差网路相比，密集块网络的机制更为激进：即将所有层进行互相连接。也就是说每个层都会接受其前面所有层作为其额外的输入，如图 7所示，H(x)是输入到求和后的网络映射。如果用公式表示的话，传统的网络在l层的恒等映射xl为：
xl＝Hl(xl-1) …(2)
而对于残差网络，增加了来自上一层输入的恒等映射xl-1：
xl＝Hl(xl-1)+xl-1 …(3)
在密集块网络中，会连接前面所有层作为输入：
xl＝Hl([x0,x1,...,xl-1]) …(4)
式中Hl(xl-1)表示对第l-1层的恒等映射，进行第l层的Hl函数运算；Hl ([x0，x1，。。。。。，xl-1])表示从第0层到第l-1层的输出。
在本发明的训练阶段，生成器模型1与判别器模型2都参与光学遥感图像的处理；在本发明的使用阶段，只有生成器模型1参与光学遥感图像的处理。在本发明中，残差网络与密集网络两个并行通道，对图像完成去噪和超分辨率重建处理。
训练阶段包括以下步骤：
1.1)将训练集中的光学遥感图像进行小波变换处理，得到不同频率子带信号；将高质量真值图像降采样后加入噪声得到训练集；
1.2)将频率子带信号通过密集块网络同时进行去噪与超分辨率重建处理，得到频率子带重建信号；
1.3)将频率子带重建信号进行小波逆变换后得到光学遥感重建图像；
1.4)将光学遥感重建图像与对应的高质量真值图像进行判别处理，经生成器模块的相对损失与全变分损失函数运算，及判别器模块的相对损失函数运算，得到本次循环的损失情况，本次循环结束；
1.5)重复步骤1.1)-1.4)，直至训练集中所有光学遥感图像循环一次后，本次迭代结束，根据本次迭代的综合损失情况，更新网络参数；
1.6)重复步骤1.1)-1.5)，直至迭代次数到达设定值，训练结束，得到理想网络参数；
所述使用阶段包括以下步骤：
步骤1、使用训练阶段得到的理想网络参数对***进行初始化；
步骤2、将待提升质量的光学遥感图像进行小波变换处理，得到不同的频率子带信号；
步骤3、将频率子带信号通过密集块网络同时进行去噪与超分辨率重建处理，得到频率子带重建信号；
步骤4、将频率子带重建信号进行小波逆变换后得到光学遥感重建图像。
以上公开的仅为本发明的具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (6)

1.一种小波变换域下结合深度学习的光学遥感图像质量提升方法，其特征在于，包括以下步骤：
步骤1、训练阶段：
1.1)将训练集中的光学遥感图像进行小波变换处理，得到不同频率子带信号；
1.2)将频率子带信号通过密集块网络同时进行去噪与超分辨率重建处理，得到频率子带重建信号；
1.3)将频率子带重建信号进行小波逆变换后得到光学遥感重建图像；
1.4)将光学遥感重建图像与对应的高质量真值图像进行判别处理，经生成器模块的相对损失与全变分损失函数运算，及判别器模块的相对损失函数运算,得到本次循环的损失情况，本次循环结束；
1.5)重复步骤1.1)-1.4)，直至训练集中所有光学遥感图像循环一次后，本次迭代结束，根据本次迭代的综合损失情况，更新网络参数；
1.6)重复步骤1.1)-1.5)，直至迭代次数到达设定值，训练结束，得到理想网络参数；
步骤2、使用阶段：
2.1)使用训练阶段得到的理想网络参数对***进行初始化；
2.2)将待提升质量的光学遥感图像进行小波变换处理，得到不同频率子带信号；
2.3)将频率子带信号通过密集块网络同时进行去噪与超分辨率重建处理，得到频率子带重建信号；
2.4)将频率子带重建信号进行小波逆变换后得到光学遥感重建图像。
2.根据权利要求1所述的一种小波变换域下结合深度学习的光学遥感图像质量提升方法，其特征在于：
步骤1.2和步骤2.3中，所述密集块网络采用全局残差算法、局部残差算法和密集连接算法。
3.根据权利要求2所述的一种小波变换域下结合深度学习的光学遥感图像质量提升方法，其特征在于：所述密集块网络使用瓶颈结构，包含一个1×1卷积核、一个3×3卷积核和一个1×1卷积核。
4.根据权利要求1或2或3所述的一种小波变换域下结合深度学习的光学遥感图像质量提升方法，其特征在于：
步骤1.1和步骤2.2中，所述小波变换为哈尔小波变换；
步骤1.3和步骤2.4中，所述小波逆变换为哈尔小波逆变换。
5.根据权利要求4所述的一种小波变换域下结合深度学习的光学遥感图像质量提升方法，其特征在于：
步骤1.1和步骤2.2中，所述频率子带信号为原始图像的低频子带、垂直方向的高频子带，水平方向的高频子带及对角方向的高频子带信号。
6.根据权利要求5所述的一种小波变换域下结合深度学习的光学遥感图像质量提升方法，其特征在于：
步骤1.1-1.4采用生成对抗网络或传统的卷积神经网络实现。
CN202110285261.2A 2021-03-17 2021-03-17 小波变换域下结合深度学习的光学遥感图像质量提升方法 Active CN113012069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110285261.2A CN113012069B (zh) 2021-03-17 2021-03-17 小波变换域下结合深度学习的光学遥感图像质量提升方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110285261.2A CN113012069B (zh) 2021-03-17 2021-03-17 小波变换域下结合深度学习的光学遥感图像质量提升方法

Publications (2)

Publication Number Publication Date
CN113012069A CN113012069A (zh) 2021-06-22
CN113012069B true CN113012069B (zh) 2023-09-05

Family

ID=76409100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110285261.2A Active CN113012069B (zh) 2021-03-17 2021-03-17 小波变换域下结合深度学习的光学遥感图像质量提升方法

Country Status (1)

Country Link
CN (1) CN113012069B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11422217B2 (en) * 2019-06-26 2022-08-23 Siemens Healthcare Gmbh Progressive generative adversarial network in medical image reconstruction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537742A (zh) * 2018-03-09 2018-09-14 天津大学 一种基于生成对抗网络的遥感图像全色锐化方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毕晓君 ; 潘梦迪 ; .基于生成对抗网络的机载遥感图像超分辨率重建.智能***学报.2020,(第01期),全文. *

Also Published As

Publication number Publication date
CN113012069A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
Phung et al. Wavelet diffusion models are fast and scalable image generators
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN106780338B (zh) 基于各向异性的快速超分辨率重建方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
Xiu et al. Composite convolutional neural network for noise deduction
Manimala et al. Convolutional neural network for sparse reconstruction of MR images interposed with gaussian noise
Cherian et al. A Novel AlphaSRGAN for Underwater Image Super Resolution.
CN114998107A (zh) 一种图像盲超分辨网络模型、方法、设备及存储介质
Thakur et al. Gradient and multi scale feature inspired deep blind gaussian denoiser
Wu et al. Dcanet: Dual convolutional neural network with attention for image blind denoising
CN113509165B (zh) 基于CAR2UNet网络的复数快速磁共振成像方法
CN117726540A (zh) 一种增强门控Transformer的图像去噪方法
CN113012069B (zh) 小波变换域下结合深度学习的光学遥感图像质量提升方法
Song et al. Unsupervised denoising for satellite imagery using wavelet subband cyclegan
Balasubramanian et al. MRI super-resolution using generative adversarial network and discrete wavelet transform
Kuzhali et al. Automated image denoising model: Contribution towards optimized internal and external basis
CN112927169A (zh) 一种基于小波变换和改进的加权核范数最小化的遥感影像去噪方法
Yu et al. SAR image despeckling based on U-shaped transformer from a single noisy image
Li et al. Visual encoding and decoding of the human brain based on shared features
Liu et al. Synthetic aperture radar image despeckling using convolutional neural networks in wavelet domain
Gao et al. High-quality image interpolation via local autoregressive and nonlocal 3-D sparse regularization
Tsai et al. Unsupervised cross domain learning for noise removal from a single image
CN115797183B (zh) 一种图像超分辨率重建方法
Alimagadov et al. Wavelet-Based Loss Function for Image Denoising by Neural Networks
Christopher et al. ADMM based Deep Denoiser Prior for Enhancing Single Coil Magnitude MR images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant