CN112330562B - 一种异构遥感图像变换方法及*** - Google Patents
一种异构遥感图像变换方法及*** Download PDFInfo
- Publication number
- CN112330562B CN112330562B CN202011236018.3A CN202011236018A CN112330562B CN 112330562 B CN112330562 B CN 112330562B CN 202011236018 A CN202011236018 A CN 202011236018A CN 112330562 B CN112330562 B CN 112330562B
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- generator
- sar
- noise reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011426 transformation method Methods 0.000 title claims abstract description 21
- 230000009467 reduction Effects 0.000 claims abstract description 95
- 230000009466 transformation Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims description 69
- 239000010410 layer Substances 0.000 claims description 34
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 230000014759 maintenance of location Effects 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000002356 single layer Substances 0.000 claims description 7
- 230000006870 function Effects 0.000 description 22
- 238000000034 method Methods 0.000 description 21
- 238000013507 mapping Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000209202 Bromus secalinus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
- G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种异构遥感图像变换方法及***，设置了可见光灰度图像作为SAR图像到可见光彩色图像的中间态，通过SAR图像降噪声生成器将SAR图像生成可见光灰度图像，并通过第一鉴别器进行鉴别，通过可见光图像生成器将可见光灰度图像生成可见光彩色图像，并通过第二鉴别器进行鉴别，降低了SAR图像到可见光彩色图像变换的失真率，提高了遥感图像变换的质量和效率。
Description
技术领域
本发明涉及图像变换技术领域，特别是涉及一种异构遥感图像变换方法及***。
背景技术
随着信息感知技术的不断发展，对遥感图像的处理和运用日渐由单模态转向多模态。这是由于单一传感器获取的图像已经无法满足某些特定场景的需求，在暂时无法有效提升传感器性能的情况下，将多种类型传感器获取的异构图像进行关联融合成为一条可行的途径。
以光学与合成孔径雷达(SAR)图像为例，光学图像对天气尤其是云层敏感，这严重限制了光学图像用于地面目标的观测和监视。一种可行的替代方法是利用对天气不敏感的SAR图像作为弥补，将同一时间不同模态传感器获取的图像进行关联。在这一方面，基于深度学习的方法提供了很好的解决方案。在耦合时间序列的异构图像驱动下，基于深度学习的方法可以学习从SAR图像到可见光图像的映射，并将其用于由已知SAR图像到未知可将光图像的变换。以此获得的结果即具有可见光图像的光谱信息，也可获得SAR图像全天时、全天候的观测优点。
遥感图像的异构变换可以归类为一个图像风格变换问题，而在图像风格变换方面又可以分为基于特征的方法和基于生成对抗网络GAN的方法。基于特征的方法采用的思路是利用人工神经网络的特征提取能力，对原始图像的风格和语义内容分别进行提取，考虑一定的风格和内容的失真，限制从输入到输出的变换在色彩空间中是局部仿射的，并将此约束表示为自定义的完全可微分的能量项，然后进行组合重构，生成一幅新的风格图像。风格变换的另一思路是基于生成对抗网络GAN的方法。这种方法的思路是采用条件生成对抗网络cGAN对图像进行条件生成和变换，使得生成的图像既具有原图像域的语义信息，又具有目标图像域的风格特征。
对于现有的两类方法，尽管基于特征的方法在艺术图像风格变换上取得了不错的效果，但在生成新的风格照片时，需多次对损失函数求导，因此在用于遥感图像的异构变换时，参数计算量较大，处理实时性不佳。相比之下基于条件生成对抗网络cGAN的方法较前者计算开销小，灵活性更大，在一般的结构清晰、信息对称的图像之间变换结果较为理想，但用于遥感图像异构变换时，也存在纹理损失和失真严重，这将影响最终决策和判别。
目前，基于条件生成对抗网络的异构遥感图像变换存在以下技术难点：一是由于SAR图像与可见光图像采集传感器的原理差异，相互之间存在信息不对称的特点，利用现有的pix2pix、Cycle-GAN等图像变换模型进行实验发现，由SAR图像生成的RGB可见光图像存在严重的特征丢失等失真现象，使得最终变换结果的可解释性和可信度不高，影响后续的研究和决策。因此需要降低SAR图像受乘性伽马噪声污染对图像跨模态变换的影响，提高模型对SAR图像主要特征的保留和恢复能力，使得最终变换出来的可见光图像既具有原始SAR图像的语义信息，又具有一定的光谱信息，这样为地质灾害监测、现场勘察、海域监控等提供更为可靠的图像信息；二是可见光图像的信息存在于多个通道之中，而SAR图像为灰度图像，其信息存在于一个通道，二者之间存在通道差异和语义鸿沟，直接采用一个生成器和一个鉴别器的条件生成对抗网络进行异构变换存在光谱信息和语义信息映射不准确等问题。
在基于条件生成对抗网络的异构图像变换方面，目前还没有针对SAR图像到可见光图像(RGB)的变换模型能很好地解决上述问题。在异构变换的准确性和实时性方面，现有的方法都不能满足遥感图像的复杂化和多样化需求，因此这一问题亟待解决。
发明内容
基于此，本发明的目的是提供一种异构遥感图像变换方法及***，提高了遥感图像变换的质量和效率。
为实现上述目的，本发明提供了如下方案：
一种异构遥感图像变换方法，所述方法包括：
对多张所述SAR图像去噪获得各所述SAR图像的可见光灰度图像；
获得各所述SAR图像的可见光彩色图像；
以所述SAR图像为SAR图像降噪声生成器的输入，以所述可见光灰度图像为所述SAR图像降噪声生成器的输出，并用第一梯度鉴别器对所述SAR图像降噪声生成器输出的可见光灰度图像进行鉴别，训练所述SAR图像降噪声生成器和所述第一梯度鉴别器；
以所述可见光灰度图像为可见光图像生成器的输入，以所述可见光彩色图像为所述可见光图像生成器的输出，并用第二梯度鉴别器对所述可见光图像生成器输出的可见光彩色图像进行鉴别，训练所述可见光图像生成器和所述第二梯度鉴别器；
将待变换SAR图像输入训练后的所述SAR图像降噪声生成器获得待变换可见光灰度图像，将所述待变换可见光灰度图像输入训练后的可见光图像生成器获得变换后的可见光彩色图像。
可选地，所述SAR图像降噪声生成器为改进型的U-Net网络结构，所述SAR图像降噪声生成器的输入层和输出层均为单通道，所述SAR图像降噪声生成器中每相邻的单层卷积层之间采用残差块和跳跃连接连接。
可选地，所述可见光图像生成器为改进型的U-Net网络结构，所述可见光图像生成器的输出层通道数为3。
可选地，所述第一梯度鉴别器和所述第二梯度鉴别器均为马尔科夫判别器。
可选地，所述训练所述SAR图像降噪声生成器和所述第一梯度鉴别器的第一训练损失函数为：
其中，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的条件生成-对抗网络损失；
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的重建损失，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的纹理保留损失；
表示所述SAR图像降噪声生成器，x(i)表示所述SAR图像的集合，y(i)表示可见光灰度图像的集合；
所述训练所述可见光图像生成器和所述第二梯度鉴别器的第二训练损失函数为：
其中，
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的条件生成-对抗网络损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的重建损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的纹理保留损失；
表示可见光图像生成器，z(i)表示可见光彩色图像的集合；
α1表示第一权值参数，β1表示第二权值参数，α2表示第三权值参数，β2表示第四权值参数；
当所述第一训练损失函数和所述第二训练损失函数之和小于设定阈值时，停止训练所述SAR图像降噪声生成器、所述第一梯度鉴别器、所述可见光图像生成器和所述第二梯度鉴别器。
本发明还公开了一种异构遥感图像变换***，所述***包括：
可见光灰度图像获取模块，用于对多张所述SAR图像去噪获得各所述SAR图像的可见光灰度图像。
可见光彩色图像获取模块，用于获得各所述SAR图像的可见光彩色图像；
第一训练模块，用于以所述SAR图像为SAR图像降噪声生成器的输入，以所述可见光灰度图像为所述SAR图像降噪声生成器的输出，并用第一梯度鉴别器对所述SAR图像降噪声生成器输出的可见光灰度图像进行鉴别，训练所述SAR图像降噪声生成器和所述第一梯度鉴别器；
第二训练模块，以所述可见光灰度图像为可见光图像生成器的输入，以所述可见光彩色图像为所述可见光图像生成器的输出，并用第二梯度鉴别器对所述可见光图像生成器输出的可见光彩色图像进行鉴别，训练所述可见光图像生成器和所述第二梯度鉴别器；
SAR图像变换模块，用于将待变换SAR图像输入训练后的所述SAR图像降噪声生成器获得待变换可见光灰度图像，将所述待变换可见光灰度图像输入训练后的可见光图像生成器获得变换后的可见光彩色图像。
可选地，所述SAR图像降噪声生成器为改进型的U-Net网络结构，所述SAR图像降噪声生成器的输入层和输出层均为单通道，所述SAR图像降噪声生成器中每相邻的单层卷积层之间采用残差块和跳跃连接连接。
可选地，所述可见光图像生成器为改进型的U-Net网络结构，所述可见光图像生成器的输出层通道数为3。
可选地，所述第一梯度鉴别器和所述第二梯度鉴别器均为马尔科夫判别器。
可选地，所述训练所述SAR图像降噪声生成器和所述第一梯度鉴别器的第一训练损失函数为：
其中，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的条件生成-对抗网络损失；
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的重建损失，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的纹理保留损失；
表示所述SAR图像降噪声生成器，x(i)表示所述SAR图像的集合，y(i)表示可见光灰度图像的集合，
所述训练所述可见光图像生成器和所述第二梯度鉴别器的第二训练损失函数为：
其中，
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的条件生成-对抗网络损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的重建损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的纹理保留损失；
表示可见光图像生成器，z(i)表示可见光彩色图像的集合；
α1表示第一权值参数，β1表示第二权值参数，α2表示第三权值参数，β2表示第四权值参数；
当所述第一训练损失函数和所述第二训练损失函数之和小于设定阈值时，停止训练所述SAR图像降噪声生成器、所述第一梯度鉴别器、所述可见光图像生成器和所述第二梯度鉴别器。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种异构遥感图像变换方法及***，设置了可见光灰度图像作为SAR图像到可见光彩色图像的中间态，通过SAR图像降噪声生成器将SAR图像生成可见光灰度图像，并通过第一鉴别器进行鉴别，通过可见光图像生成器将可见光灰度图像生成可见光彩色图像，并通过第二鉴别器进行鉴别，降低了SAR图像到可见光彩色图像变换的失真率，提高了遥感图像变换的质量和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种异构遥感图像变换方法流程示意图；
图2为本发明从SAR图像到可见光彩色图像的异构图像变换示意图；
图3为本发明SAR图像降噪声生成器的网络结构示意图；
图4为本发明可见光图像生成器的网络结构示意图；
图5为本发明第一鉴别器网络结构图；
图6为本发明第二鉴别器网络结构图；
图7为本发明一种异构遥感图像变换***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种异构遥感图像变换方法及***，提高了遥感图像变换的质量和效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种异构遥感图像变换方法流程示意图，如图1所示，一种异构遥感图像变换方法，所述方法包括：
步骤101：对多张所述SAR图像去噪获得各所述SAR图像的可见光灰度图像。
步骤102：获得各所述SAR图像的可见光彩色图像。
步骤103：以所述SAR图像为SAR图像降噪声生成器的输入，以所述可见光灰度图像为所述SAR图像降噪声生成器的输出，并用第一梯度鉴别器对所述SAR图像降噪声生成器输出的可见光灰度图像进行鉴别，训练所述SAR图像降噪声生成器和所述第一梯度鉴别器。
步骤104：以所述可见光灰度图像为可见光图像生成器的输入，以所述可见光彩色图像为所述可见光图像生成器的输出，并用第二梯度鉴别器对所述可见光图像生成器输出的可见光彩色图像进行鉴别，训练所述可见光图像生成器和所述第二梯度鉴别器。
步骤105：将待变换SAR图像输入训练后的所述SAR图像降噪声生成器获得待变换可见光灰度图像，将所述待变换可见光灰度图像输入训练后的可见光图像生成器获得变换后的可见光彩色图像。
其中，所述SAR图像降噪声生成器为改进型的U-Net网络结构，所述SAR图像降噪声生成器的输入层和输出层均为单通道，所述SAR图像降噪声生成器中每相邻的单层卷积层之间采用残差块和跳跃连接连接。
所述可见光图像生成器为改进型的U-Net网络结构，所述可见光图像生成器的输出层通道数为3。
所述第一梯度鉴别器和所述第二梯度鉴别器均为马尔科夫判别器。
所述训练所述SAR图像降噪声生成器和所述第一梯度鉴别器的第一训练损失函数为：
其中，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的条件生成-对抗网络损失；
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的重建损失，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的纹理保留损失；
表示所述SAR图像降噪声生成器，x(i)表示所述SAR图像的集合，y(i)表示可见光灰度图像的集合。
所述训练所述可见光图像生成器和所述第二梯度鉴别器的第二训练损失函数为：
其中，
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的条件生成-对抗网络损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的重建损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的纹理保留损失；
表示可见光图像生成器，z(i)表示可见光彩色图像的集合。
α1表示第一权值参数，β1表示第二权值参数，α2表示第三权值参数，β2表示第四权值参数。
当所述第一训练损失函数和所述第二训练损失函数之和小于设定阈值时，停止训练所述SAR图像降噪声生成器、所述第一梯度鉴别器、所述可见光图像生成器和所述第二梯度鉴别器。
以下是本发明一种异构遥感图像变换方法的详细说明。
如图2所示，为了便于阐述，做以下约定：设X、Y、Z分别表示SAR图像域、可见光灰度图像域(中间态可见光图像域)和可见光彩色图像域，x(i)∈X、y(i)∈Y、z(i)∈Z分别为对应图像域的数据集样本(i＝1,2,…,N，N表示数据集的总样本数)。因此，可以把SAR图像到可见光灰度图像(中间态可见光图像)的变换定义为源域X到目标域Y的映射变换
假设x(i)为取自SAR图像域X的一个随机样本，其分布函数为
x(i)映射到可见光图像域的随机样本为y(i)。本发明提出的遥感图像变换网络最终实现的是
最终z(i)的分布函数由深度学习网络从x(i)生成获得：
遥感图像变换网络包括两个生成器和两个鉴别器，分别为SAR图像降噪声生成器
可见光图像生成器
梯度鉴别器
(第一梯度鉴别器)和梯度鉴别器
(第二梯度鉴别器)。SAR图像降噪声生成器
简称生成器
可见光图像生成器
简称生成器
生成器
将SAR图像变换为可见光灰度图像，从而恢复SAR图像的高频细节和低频语义信息，减少直接由SAR图像到可见光图像的语义鸿沟；生成器
则将可见光灰度图像变换为带有光谱信息的可见光彩色图像，这样恢复得到的可见光彩色图像既具有原SAR图像域的语义信息又具有了可见光图像的光谱细节；鉴别器
利用数据集Y中可见光灰度图像的梯度细节进行鉴别，这样生成器
将获得更强的SAR图像降噪声能力，同时保留原始SAR图像中的语义信息；鉴别器
与鉴别器
类似，利用可见光彩色图像的梯度信息进行鉴别，这样生成器
生成的图像能在保留细节信息的同时更好地恢复光谱信息。
如图3所示，生成器
采用改进型的U-Net网络结构，输入层与输出层均为单通道，每相邻的单层卷积层之间采用残差块(Residual Block)和跳跃连接(Skip Connection)连接，在扩展网络深度的同时可以充分增强生成器的学习能力。同时，不同于通过输入的对数转换将乘性散斑模型转换为加性散斑模型，在此采用与SAR-DRN(SAR-DualRegressionNetworks，SAR图像对偶回归网络)相同的残差学习策略，生成器
的输出层为从输入图像中提取到的Gamma噪声，输入图像与输出图像做差即可得到清晰的可见光灰度图像。
如图4所示，生成器
与生成器
的结构类似，采用改进型的U-Net网络结构，输入层为单通道，不同的是网络的输出层通道数为3(Channel＝3)，而且其输入层为生成器
生成的可见光灰度图像。从原理上讲，生成器
学习的是从受Gamma噪声污染的SAR图像到可见光灰度图像的映射，它的本质是图像的降噪，而生成器
学习的是从可见光灰度图像到可见光彩色图像的映射。这样渐进式的跨模态变换可以获得更好的变换效果，通过增加网络的层数来增强模型从信息量少的SAR图像重构到可见光彩色图像的表达能力，实现图像的异构变换。
如图5-6所示，鉴别器D1和鉴别器D2采用的均是马尔科夫判别器，它完全由卷积层构成，最后输出的是一个n*n的矩阵。马尔科夫鉴别器的输入为256×256进行随机裁剪得到的70×70的图像Patch，它的输出为输出矩阵(4×4)的均值，最终的判别结果为True/False，“True”代表生成器生成的图片“欺骗”过了鉴别器，达到了预期效果，生成器训练结束；“False”代表生成器生成的图片未“欺骗”过鉴别器，生成图片不符合预期，生成器需要继续训练。输出矩阵中的每一个输出，代表着原图中一个感受野，对应了原图的一片(patch)，因此这样结构的GAN又可称为PatchGAN。不同的是，鉴别器
是为了判别生成器
所生成的图像(True/False)，而鉴别器
是为了判别生成器
最终生成的图像(True/False)。在异构图像变换过程中，包括内容部分和纹理部分的迁移变换。内容部分是指生成图像和原图像在内容(语义)上的相似性，纹理部分是指生成图像和目标图像在纹理上的相似性。理论表明，采用PatchGAN，可以维持纹理细节。
在遥感图像变换网络训练阶段，先训练生成器
和鉴别器
生成器
从成对的SAR与可见光灰度图像中学***衡后，再进行生成器
和鉴别器
的训练。
测试阶段，输入的SAR图像经由生成器
生成去噪声的中间态可见光灰度图像，然后输入生成器
经由生成器
生成可见光彩色图像，完成由SAR图像到可见光图像的转换。
对于损失函数的设计
1)cGAN(Conditional GenerativeAdversarialNets，条件生成-对抗网络)损失
在已有成对训练数据的前提下，本发明采用cGAN来提高生成器的性能。通过生成对抗网络，生成器
将学习从X到Y的映射，并欺骗鉴别器
生成器
将学习从Y到Z的映射，并欺骗鉴别器
鉴别器的网络结构具有区分伪造图像和真实图像的功能。因此，由X到Y和由Y到Z的cGAN损失分别为：
在前半段训练中，当鉴别器
学***衡)；在后半段训练中，当鉴别器
学***衡)，
表示数学期望，数学期望越小越好，数学期望越小，损失越小。
2)重建损失
由于本发明采用了改进的U-Net结构，引入的残差块和跳跃连接增大了网络深度，因此在重建损失设计上采用L1损失来最小化重建图像与原始图像之间的距离，两个训练阶段的重建损失分别为：
3)纹理保留损失
如图2所示，在最佳变换状态
下，网络的输出
应近似于可见光图像y(i)。本发明在传统重建损失的基础上，提出了梯度引导的纹理保留损失。假设M(·)表示图像求取梯度操作，那么两个训练阶段的纹理保留损失分别为：
对于图像I，M(·)提取图像梯度的操作，其计算方式如下：
Ix(x,y)＝I(x+1,y)-I(x-1,y),
Iy(x,y)＝I(x,y+1)-I(x,y-1),
具体实现上，M(·)操作通过与固定卷积核卷积来实现，(x,y)表示像素点坐标。
因此，前半个模型训练阶段，生成器
和鉴别器
组成生成对抗网络GAN1，总的训练损失为：
后半个模型训练阶段，生成器
和鉴别器
组成生成对抗网络GAN2，总的训练损失为：
其中，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的条件生成-对抗网络损失；
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的重建损失，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的纹理保留损失；
表示所述SAR图像降噪声生成器，x(i)表示所述SAR图像的集合，y(i)表示可见光灰度图像的集合。
α1表示第一权值参数，β1表示第二权值参数，α2表示第三权值参数，β2表示第四权值参数。
本发明一种异构遥感图像变换方法的技术效果包括以下几点：
1.一种异构遥感图像变换方法，构建了以重建损失、cGAN损失和纹理保留梯度损失加权的目标函数，通过加权综合语义信息、风格特征以及一维梯度特征这三项约束条件，实现了SAR图像到可见光图像的自然变换，在克服噪声和失真方面均具有显著优势，且具有适应性强、应用范围广及较强的鲁棒牲。
2.一种异构遥感图像变换方法，首次将残差块(ResidualBlock)和跳跃连接(SkipConnection)用于改进U-Net并用于SAR图像到可见光灰度图像的生成器，以及可见光灰度图像到可见光彩色图像的生成器，增加了网络深度和多尺度特征提取能力与映射能力，显著改善了单通道的灰度遥感图像到RGB通道遥感图像的映射变换能力，极大降低了光谱映射失真。
3.一种异构遥感图像变换方法，优化设计了总体目标函数，在传统方法的基础上，以一维梯度特征约束生成的结果，保留了原始SAR图像的细节特征，提高了异构变换的质量。
4.一种异构遥感图像变换方法，针对SAR图像与可见光彩色图像之间信息不对称的特点，通过调整网络结构约束最终的变换效果，克服了SAR图像到RGB可见光图像变换的失真现象。
图7为本发明一种异构遥感图像变换***结构示意图，如图7所示，一种异构遥感图像变换***包括：
可见光灰度图像获取模块201，用于对多张所述SAR图像去噪获得各所述SAR图像的可见光灰度图像；
可见光彩色图像获取模块202，用于获得各所述SAR图像的可见光彩色图像；
第一训练模块203，用于以所述SAR图像为SAR图像降噪声生成器的输入，以所述可见光灰度图像为所述SAR图像降噪声生成器的输出，并用第一梯度鉴别器对所述SAR图像降噪声生成器输出的可见光灰度图像进行鉴别，训练所述SAR图像降噪声生成器和所述第一梯度鉴别器；
第二训练模块204，用于以所述可见光灰度图像为可见光图像生成器的输入，以所述可见光彩色图像为所述可见光图像生成器的输出，并用第二梯度鉴别器对所述可见光图像生成器输出的可见光彩色图像进行鉴别，训练所述可见光图像生成器和所述第二梯度鉴别器；
SAR图像变换模块205，用于将待变换SAR图像输入训练后的所述SAR图像降噪声生成器获得待变换可见光灰度图像，将所述待变换可见光灰度图像输入训练后的可见光图像生成器获得变换后的可见光彩色图像。
所述SAR图像降噪声生成器为改进型的U-Net网络结构，所述SAR图像降噪声生成器的输入层和输出层均为单通道，所述SAR图像降噪声生成器中每相邻的单层卷积层之间采用残差块和跳跃连接连接。
所述可见光图像生成器为改进型的U-Net网络结构，所述可见光图像生成器的输出层通道数为3。
所述第一梯度鉴别器和所述第二梯度鉴别器均为马尔科夫判别器。
所述训练所述SAR图像降噪声生成器和所述第一梯度鉴别器的第一训练损失函数为：
其中，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的条件生成-对抗网络损失；
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的重建损失，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的纹理保留损失；
表示所述SAR图像降噪声生成器，x(i)表示所述SAR图像的集合，y(i)表示可见光灰度图像的集合，
所述训练所述可见光图像生成器和所述第二梯度鉴别器的第二训练损失函数为：
其中，
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的条件生成-对抗网络损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的重建损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的纹理保留损失；
表示可见光图像生成器，z(i)表示可见光彩色图像的集合；
α1表示第一权值参数，β1表示第二权值参数，α2表示第三权值参数，β2表示第四权值参数；
当所述第一训练损失函数和所述第二训练损失函数之和小于设定阈值时，停止训练所述SAR图像降噪声生成器、所述第一梯度鉴别器、所述可见光图像生成器和所述第二梯度鉴别器。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种异构遥感图像变换方法，其特征在于，所述方法包括：
对多张SAR图像去噪获得各所述SAR图像的可见光灰度图像；
获得各所述SAR图像的可见光彩色图像；
以所述SAR图像为SAR图像降噪声生成器的输入，以所述可见光灰度图像为所述SAR图像降噪声生成器的输出，并用第一梯度鉴别器对所述SAR图像降噪声生成器输出的可见光灰度图像进行鉴别，训练所述SAR图像降噪声生成器和所述第一梯度鉴别器；
以所述可见光灰度图像为可见光图像生成器的输入，以所述可见光彩色图像为所述可见光图像生成器的输出，并用第二梯度鉴别器对所述可见光图像生成器输出的可见光彩色图像进行鉴别，训练所述可见光图像生成器和所述第二梯度鉴别器；
将待变换SAR图像输入训练后的所述SAR图像降噪声生成器获得待变换可见光灰度图像，将所述待变换可见光灰度图像输入训练后的可见光图像生成器获得变换后的可见光彩色图像；
所述训练所述SAR图像降噪声生成器和所述第一梯度鉴别器的第一训练损失函数为：
其中，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的条件生成-对抗网络损失；
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的重建损失，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的纹理保留损失；
表示所述SAR图像降噪声生成器，x(i)表示所述SAR图像的集合，y(i)表示可见光灰度图像的集合，
所述训练所述可见光图像生成器和所述第二梯度鉴别器的第二训练损失函数为：
其中，
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的条件生成-对抗网络损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的重建损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的纹理保留损失；
表示可见光图像生成器，z(i)表示可见光彩色图像的集合；
α1表示第一权值参数，β1表示第二权值参数，α2表示第三权值参数，β2表示第四权值参数；
当所述第一训练损失函数和所述第二训练损失函数之和小于设定阈值时，停止训练所述SAR图像降噪声生成器、所述第一梯度鉴别器、所述可见光图像生成器和所述第二梯度鉴别器。
2.根据权利要求1所述的异构遥感图像变换方法，其特征在于，所述SAR图像降噪声生成器为改进型的U-Net网络结构，所述SAR图像降噪声生成器的输入层和输出层均为单通道，所述SAR图像降噪声生成器中每相邻的单层卷积层之间采用残差块和跳跃连接连接。
3.根据权利要求1所述的异构遥感图像变换方法，其特征在于，所述可见光图像生成器为改进型的U-Net网络结构，所述可见光图像生成器的输出层通道数为3。
4.根据权利要求1所述的异构遥感图像变换方法，其特征在于，所述第一梯度鉴别器和所述第二梯度鉴别器均为马尔科夫判别器。
5.一种异构遥感图像变换***，其特征在于，所述***包括：
可见光灰度图像获取模块，用于对多张SAR图像去噪获得各所述SAR图像的可见光灰度图像；
可见光彩色图像获取模块，用于获得各所述SAR图像的可见光彩色图像；
第一训练模块，用于以所述SAR图像为SAR图像降噪声生成器的输入，以所述可见光灰度图像为所述SAR图像降噪声生成器的输出，并用第一梯度鉴别器对所述SAR图像降噪声生成器输出的可见光灰度图像进行鉴别，训练所述SAR图像降噪声生成器和所述第一梯度鉴别器；
第二训练模块，用于以所述可见光灰度图像为可见光图像生成器的输入，以所述可见光彩色图像为所述可见光图像生成器的输出，并用第二梯度鉴别器对所述可见光图像生成器输出的可见光彩色图像进行鉴别，训练所述可见光图像生成器和所述第二梯度鉴别器；
SAR图像变换模块，用于将待变换SAR图像输入训练后的所述SAR图像降噪声生成器获得待变换可见光灰度图像，将所述待变换可见光灰度图像输入训练后的可见光图像生成器获得变换后的可见光彩色图像；
所述训练所述SAR图像降噪声生成器和所述第一梯度鉴别器的第一训练损失函数为：
其中，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的条件生成-对抗网络损失；
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的重建损失，
表示所述SAR图像降噪声生成器从输入所述SAR图像到输出可见光灰度图像的纹理保留损失；
表示所述SAR图像降噪声生成器，x(i)表示所述SAR图像的集合，y(i)表示可见光灰度图像的集合，
所述训练所述可见光图像生成器和所述第二梯度鉴别器的第二训练损失函数为：
其中，
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的条件生成-对抗网络损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的重建损失；
表示所述可见光图像生成器从输入所述可见光灰度图像到输出可见光彩色图像的纹理保留损失；
表示可见光图像生成器，z(i)表示可见光彩色图像的集合；
α1表示第一权值参数，β1表示第二权值参数，α2表示第三权值参数，β2表示第四权值参数；
当所述第一训练损失函数和所述第二训练损失函数之和小于设定阈值时，停止训练所述SAR图像降噪声生成器、所述第一梯度鉴别器、所述可见光图像生成器和所述第二梯度鉴别器。
6.根据权利要求5所述的异构遥感图像变换***，其特征在于，所述SAR图像降噪声生成器为改进型的U-Net网络结构，所述SAR图像降噪声生成器的输入层和输出层均为单通道，所述SAR图像降噪声生成器中每相邻的单层卷积层之间采用残差块和跳跃连接连接。
7.根据权利要求5所述的异构遥感图像变换***，其特征在于，所述可见光图像生成器为改进型的U-Net网络结构，所述可见光图像生成器的输出层通道数为3。
8.根据权利要求5所述的异构遥感图像变换***，其特征在于，所述第一梯度鉴别器和所述第二梯度鉴别器均为马尔科夫判别器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011236018.3A CN112330562B (zh) | 2020-11-09 | 2020-11-09 | 一种异构遥感图像变换方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011236018.3A CN112330562B (zh) | 2020-11-09 | 2020-11-09 | 一种异构遥感图像变换方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112330562A CN112330562A (zh) | 2021-02-05 |
| CN112330562B true CN112330562B (zh) | 2022-11-15 |
Family
ID=74316926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011236018.3A Active CN112330562B (zh) | 2020-11-09 | 2020-11-09 | 一种异构遥感图像变换方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330562B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012251B (zh) * | 2021-03-17 | 2022-05-03 | 厦门大学 | 基于生成对抗网络的sar图像自动彩色化方法 |
| CN113554671B (zh) * | 2021-06-23 | 2024-06-14 | 西安电子科技大学 | 基于轮廓增强的sar图像到可见光图像的转换方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976345A (zh) * | 2016-04-27 | 2016-09-28 | 北京航空航天大学 | 一种可见光遥感图像合成方法 |
| CN109636742A (zh) * | 2018-11-23 | 2019-04-16 | 中国人民解放军空军研究院航空兵研究所 | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 |
| CN110473142A (zh) * | 2019-05-22 | 2019-11-19 | 南京理工大学 | 基于深度学习的单幅图像超分辨率重建方法 |
| CN110751699A (zh) * | 2019-10-15 | 2020-02-04 | 西安电子科技大学 | 基于卷积神经网络的光学遥感图像的色彩重建方法 |
-
2020
- 2020-11-09 CN CN202011236018.3A patent/CN112330562B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976345A (zh) * | 2016-04-27 | 2016-09-28 | 北京航空航天大学 | 一种可见光遥感图像合成方法 |
| CN109636742A (zh) * | 2018-11-23 | 2019-04-16 | 中国人民解放军空军研究院航空兵研究所 | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 |
| CN110473142A (zh) * | 2019-05-22 | 2019-11-19 | 南京理工大学 | 基于深度学习的单幅图像超分辨率重建方法 |
| CN110751699A (zh) * | 2019-10-15 | 2020-02-04 | 西安电子科技大学 | 基于卷积神经网络的光学遥感图像的色彩重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| "Generating high quality visible images from SAR";Puyang Wang et al.;《IEEE》;20180611;第1-8页 * |
| "Gray Scale Image Coloring Method Based on GAN";Long Guo et al.;《DSIT 2020: Proceedings of the 3rd International Conference on Data Science and Information》;20200826;第1-6页 * |
| "Image-to-Image Translation with Conditional Adversarial Networks";Phillip Isola et al.;《IEEE》;20171109;第1125-1134页 * |
| "Structure-Preserving Super Resolution with Gradient Guidance";Cheng Ma et al.;《arxiv》;20200329;第1-16页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112330562A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539316B (zh) | 基于双注意力孪生网络的高分遥感影像变化检测方法 | |
| CN110956094B (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
| Yin et al. | Hot region selection based on selective search and modified fuzzy C-means in remote sensing images | |
| CN109871902B (zh) | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 | |
| CN109558806B (zh) | 高分遥感图像变化的检测方法 | |
| Liu et al. | Remote sensing image change detection based on information transmission and attention mechanism | |
| CN110853009B (zh) | 基于机器学习的视网膜病理图像分析*** | |
| CN110309781B (zh) | 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN109741340B (zh) | 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法 | |
| CN112561876B (zh) | 基于图像的池塘和水库的水质检测方法及*** | |
| CN109902618A (zh) | 一种海面船只识别方法和装置 | |
| Wang et al. | The poor generalization of deep convolutional networks to aerial imagery from new geographic locations: an empirical study with solar array detection | |
| CN112330562B (zh) | 一种异构遥感图像变换方法及*** | |
| CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及*** | |
| CN115049841A (zh) | 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法 | |
| Talal et al. | Detection of water-bodies using semantic segmentation | |
| CN109977968A (zh) | 一种深度学习分类后比较的sar变化检测方法 | |
| CN105512622A (zh) | 一种基于图分割和监督学习的可见光遥感图像海陆分割方法 | |
| Ge et al. | Coarse-to-fine foraminifera image segmentation through 3D and deep features | |
| Ye et al. | Adjacent-level feature cross-fusion with 3D CNN for remote sensing image change detection | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| He et al. | Object‐Based Distinction between Building Shadow and Water in High‐Resolution Imagery Using Fuzzy‐Rule Classification and Artificial Bee Colony Optimization | |
| CN112784777B (zh) | 基于对抗学习的无监督高光谱图像变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |