CN114792349A - 基于半监督生成对抗网络的遥感影像转换地图迁移方法 - Google Patents
基于半监督生成对抗网络的遥感影像转换地图迁移方法 Download PDFInfo
- Publication number
- CN114792349A CN114792349A CN202210735253.8A CN202210735253A CN114792349A CN 114792349 A CN114792349 A CN 114792349A CN 202210735253 A CN202210735253 A CN 202210735253A CN 114792349 A CN114792349 A CN 114792349A
- Authority
- CN
- China
- Prior art keywords
- training
- generator
- loss
- map
- expansion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于半监督生成对抗网络的遥感影像转换地图迁移方法。所述方法包括:构建半监督地图生成模型;根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练,在预训练生成器中添加变换一致性正则化损失,再对预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器;利用预训练判别器的权值初始化无监督判别器,根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。采用本方法能够提高遥感影像生成地图的几何精度和视觉质量。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种基于半监督生成对抗网络的遥感影像转换地图迁移方法、装置、计算机设备和存储介质。
背景技术
随着信息技术和多媒体技术在地图学领域的迅速渗透,高精度在线地图服务已成为人们日常生活中不可缺少的一部分。由于遥感影像的适应性强、成本低,基于遥感影像的在线地图生成得到了广泛的应用。在深度学***并不高。生成模式采用基于生成对抗网络GAN的图像到图像的转换方法,将遥感图像和对应的地图看作两个不同的域,旨在将遥感图像域直接转换为地图图像域。该方法不需要对数据进行人工标注,自动化程度高,适用范围广。
然而,目前的基于GAN的图像到图像技术在地图生成方面存在一些缺陷。第一,配对的遥感影像和地图样本比较难以获取,由于从遥感影像到在线地图的制作过程复杂而漫长,在线地图服务发布的地图信息与及时更新的遥感影像相比相对落后。另一方面,其他方法获取的地图样本可能没有相应的遥感影像。然而,在没有监督信息约束的情况下,仅使用未配对的样本可能会导致一些问题,如训练不足,生成的地图精度低等,第二,一些研究人员使用条件生成对抗网络(cGAN)和L1距离学习从输入到生成图像的映射函数,为遥感影像到地图的转换提供了一个可使用的框架。但是,仅使用简单的损失函数约束针对与地图生成的模型,其训练结果往往存在地图元素畸变、几何失真、细节模糊等问题。通用的图像到图像的转换模型不适用于遥感影像到地图的生成任务,存在数据采集的压力大、遥感影像生成地图的几何精度和视觉质量低等问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高遥感影像生成地图的几何精度和视觉质量的基于半监督生成对抗网络的遥感影像转换地图迁移方法、装置、计算机设备和存储介质。
一种基于半监督生成对抗网络的遥感影像转换地图迁移方法,所述方法包括:
获取配对训练数据集和非配对数据集;配对训练数据集为配对的遥感影像和地图;
构建半监督地图生成模型;半监督地图生成模型包括生成器和判别器;
根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练,得到预训练生成器和预训练判别器;
在预训练生成器中添加变换一致性正则化损失,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器;
根据非配对数据集对扩展生成器进行无监督训练,得到训练后的扩展生成器;
利用预训练判别器的权值初始化无监督判别器,根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,得到训练好的半监督地图生成模型;
根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
在其中一个实施例中,预先设置的损失函数包括对抗损失和重建损失;
所述对抗损失的损失函数为
所述重建损失的损失函数为
在其中一个实施例中,变换一致性正则化损失为
在其中一个实施例中,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器,包括:
将添加变换一致性正则化损失后的预训练生成器中的卷积层的每个通道乘以通道扩展因子,再添加扩展损失和通道损失进行训练,得到扩展生成器。
在其中一个实施例中,扩展损失包括结构相似性损失和特征损失;
所述结构相似性损失为,其中表示预训练生成器输出的图像的平均亮度,表示扩展生成器输出的图像的平均亮度,表示预训练生成器输出的图像的对比度,表示扩展生成器输出的图像的对比度,表示预训练生成器输出的图像和扩展生成器输出的图像的对比相似度,和表示正值常数,用于防止公式出现除0异常;
在其中一个实施例中,通道损失为
在其中一个实施例中,预先设置的无监督对抗损失为
一种基于半监督生成对抗网络的遥感影像转换地图迁移装置,所述装置包括:
模型构建模块,用于获取配对训练数据集和非配对数据集;配对训练数据集为配对的遥感影像和地图;构建半监督地图生成模型;半监督地图生成模型包括生成器和判别器;
预训练模块,用于根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练,得到预训练生成器和预训练判别器;
生成器扩展模块,用于在预训练生成器中添加变换一致性正则化损失,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器;
对抗性训练模块,用于根据非配对数据集对扩展生成器进行无监督训练,得到训练后的扩展生成器;利用预训练判别器的权值初始化无监督判别器,根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,得到训练好的半监督地图生成模型;
遥感影像转换模块,用于根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取配对训练数据集和非配对数据集;配对训练数据集为配对的遥感影像和地图;
构建半监督地图生成模型;半监督地图生成模型包括生成器和判别器;
根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练,得到预训练生成器和预训练判别器;
在预训练生成器中添加变换一致性正则化损失,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器;
根据非配对数据集对扩展生成器进行无监督训练,得到训练后的扩展生成器;
利用预训练判别器的权值初始化无监督判别器,根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,得到训练好的半监督地图生成模型;
根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取配对训练数据集和非配对数据集;配对训练数据集为配对的遥感影像和地图;
构建半监督地图生成模型;半监督地图生成模型包括生成器和判别器;
根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练,得到预训练生成器和预训练判别器;
在预训练生成器中添加变换一致性正则化损失,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器;
根据非配对数据集对扩展生成器进行无监督训练,得到训练后的扩展生成器;
利用预训练判别器的权值初始化无监督判别器,根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,得到训练好的半监督地图生成模型;
根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
上述基于半监督生成对抗网络的遥感影像转换地图迁移方法、装置、计算机设备和存储介质,首先获取配对训练数据集和非配对数据集;配对训练数据集为配对的遥感影像和地图;构建半监督地图生成模型;半监督地图生成模型包括生成器和判别器,根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练,可以得到更加接近真实地图的地图,在预训练生成器中添加变换一致性正则化损失以提高学习到的映射函数准确性,使得后续利用非配对数据集对扩展生成器进行训练时,提高训练结果的准确性,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器,扩展生成器的目的是直接从预训练生成器学习概念,并模仿预训练生成器的训练过程进行渐进学习,有助于捕获更多的图像低层信息线索,提高地图生成性能,在训练扩展生成器的过程中添加扩展损失和通道损失,扩展损失可以使得扩展生成器生成的图像的几何精度更高,提高人类视觉感受,并使得图像特征更加明显,清晰度更高,提高了视觉质量,通道损失可以将注意力信息从预训练生成器转移到扩展生成器上,提高半监督地图生成模型的可靠性,使得模型学习到每个通道的权值,然后将权值乘回原始通道,增强了重要通道的特征,弱化了非重要通道的特征,从而提取到更多的有方向性的特征,模型预测效果更好。根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换,本申请通过预训练生成器指导扩展生成器如何逐步学习信息,并通过最小化预训练生成器和扩展生成器输出之间的扩展损失,逐步指导优化方向,同时通过通道损失从两个生成器的中间层挖掘知识概念,从不同维度提供全面的概念来提高视觉保真度。
附图说明
图1为一个实施例中一种基于半监督生成对抗网络的遥感影像转换地图迁移方法的流程示意图;
图2为一个实施例中基于半监督生成对抗网络的遥感影像转换地图迁移方法的框架示意图;
图3为一个实施例中无监督模块的示意图;
图4为一个实施例中一种基于半监督生成对抗网络的遥感影像转换地图迁移装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种基于半监督生成对抗网络的遥感影像转换地图迁移方法,包括以下步骤:
步骤102,获取配对训练数据集和非配对数据集;配对训练数据集为配对的遥感影像和地图;构建半监督地图生成模型;半监督地图生成模型包括生成器和判别器。
非配对训练数据集为不是配对的遥感影像和地图,半监督地图生成模型分为监督学习模块和无监督学习模块;
步骤104,根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练,得到预训练生成器和预训练判别器。
在监督学习模块中利用配对训练数据集对生成器和判别器进行监督训练,使得生成器可以通过遥感图像生成地图,通过训练判别器区别生成的地图的真伪,预先设置的损失函数包括对抗损失和重建损失,利用对抗损失和重建损失对生成器和判别器进行训练,可以得到更加接近真实地图的地图影像。
步骤106,在预训练生成器中添加变换一致性正则化损失,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器。
如图2所示,在无监督学习模块,引入变换一致性正则化损失,通过旋转和翻转等操作对非配对样本进行一系列几何变换,以提高学习到的映射函数准确性,使得利用非配对数据集对扩展生成器进行训练时,提高训练结果的准确性。
对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展,得到初始的扩展生成器,扩展生成器的目的是直接从预训练生成器学习概念,并模仿预训练生成器的训练过程进行渐进学习,有助于捕获更多的图像低层信息线索,提高地图生成性能,在训练扩展生成器的过程中添加扩展损失和通道损失,扩展损失包括结构相似度损失和特征损失,结构相似度损失可以使得扩展生成器生成的图像的几何精度更高,提高人类视觉感受,特征损失可以使得图像特征更加明显,清晰度更高,提高了视觉质量。
通道损失可以将注意力信息从预训练生成器转移到扩展生成器上,提高半监督地图生成模型的可靠性,使得模型学习到每个通道的权值,然后将权值乘回原始通道,增强了重要通道的特征,弱化了非重要通道的特征,从而提取到更多的有方向性的特征,模型预测效果更好。
步骤108,根据非配对数据集对扩展生成器进行无监督训练,得到训练后的扩展生成器;利用预训练判别器的权值初始化无监督判别器,根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,得到训练好的半监督地图生成模型。
步骤110,根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,预训练生成器指导扩展生成器如何逐步学习信息,并通过最小化预训练生成器和扩展生成器输出之间的扩展损失,逐步指导优化方向,同时通过通道损失从两个生成器的中间层挖掘知识概念,从不同维度提供全面的概念来提高视觉保真度。
上述基于半监督生成对抗网络的遥感影像转换地图迁移方法中,首先获取配对训练数据集和非配对数据集;配对训练数据集为配对的遥感影像和地图;构建半监督地图生成模型;半监督地图生成模型包括生成器和判别器,根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练,可以得到更加接近真实地图的地图,在预训练生成器中添加变换一致性正则化损失以提高学习到的映射函数准确性,使得后续利用非配对数据集对扩展生成器进行训练时,提高训练结果的准确性,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器,扩展生成器的目的是直接从预训练生成器学习概念,并模仿预训练生成器的训练过程进行渐进学习,有助于捕获更多的图像低层信息线索,提高地图生成性能,在训练扩展生成器的过程中添加扩展损失和通道损失,扩展损失可以使得扩展生成器生成的图像的几何精度更高,提高人类视觉感受,并使得图像特征更加明显,清晰度更高,提高了视觉质量,通道损失可以将注意力信息从预训练生成器转移到扩展生成器上,提高半监督地图生成模型的可靠性,使得模型学习到每个通道的权值,然后将权值乘回原始通道,增强了重要通道的特征,弱化了非重要通道的特征,从而提取到更多的有方向性的特征,模型预测效果更好。根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换,本申请通过预训练生成器指导扩展生成器如何逐步学习信息,并通过最小化预训练生成器和扩展生成器输出之间的扩展损失,逐步指导优化方向,同时通过通道损失从两个生成器的中间层挖掘知识概念,从不同维度提供全面的概念来提高视觉保真度。
在其中一个实施例中,预先设置的损失函数包括对抗损失和重建损失;
所述对抗损失的损失函数为
所述重建损失的损失函数为
在具体实施例中,在配对样本上训练pix2pix[10]模型,从而初始化监督生成器GS和鉴别器DS的权值。GS的目标是学习从遥感影像域X到地图域Y的映射。表示遥感影像域X中的训练样本为{x1,x2,...,xk}及Y中对应的地图样本为{y1,y2,...,yk}。训练生成器GS学习从xi到yi的映射(GS: X→Y),而判别器DS试图区分生成的地图yi是假地图还是真实地图。在有监督训练阶段,仅考虑GAN的对抗损失,损失函数表示为:
在其中一个实施例中,变换一致性正则化损失为
在具体实施例中,应用变换一致性正则化的正则项(TCR),它确保模型对图像样本的几何变换的预测与模型对该图像的重建的几何变换一致。在非配对的遥感影像和地图样本上使用TCR可以有效地重建更精确、更吸引人的地图。具体来说,给定K对成对的遥感影像和地图样本的集合中,采样于遥感影像样本分布,采样于地图样本分布。给定一组非配对的遥感影像和地图样本的集合,其中是半监督训练中每批使用的非配对样本与配对样本的比例。应用于预训练生成器GS上的变换一致性正则化损失为:
在其中一个实施例中,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器,包括:
将添加变换一致性正则化损失后的预训练生成器中的卷积层的每个通道乘以通道扩展因子,再添加扩展损失和通道损失进行训练,得到扩展生成器。
在其中一个实施例中,扩展损失包括结构相似性损失和特征损失;
所述结构相似性损失为,其中表示预训练生成器输出的图像的平均亮度,表示扩展生成器输出的图像的平均亮度,表示预训练生成器输出的图像的对比度,表示扩展生成器输出的图像的对比度,表示预训练生成器输出的图像和扩展生成器输出的图像的对比相似度,和表示正值常数,用于防止公式出现除0异常;
在其中一个实施例中,通道损失为
在具体实施例中,如图3所示,将预训练生成器GS的卷积层的每个通道乘以一个通道扩展因子η,得到一个扩展的生成器GU。扩展生成器GU的目的是直接从预先训练的监督生成器GS学习概念,并模仿GS的训练过程进行渐进学习。预训练生成器在更新自己的参数时,也会指导扩展生成器优化的方向。优化知识的直接方法是最小化两个生成器生成的地图之间的欧氏距离。GU的优化不需要ground truth,只学习具有相似结构的GS的输出。为了使GU模拟GS的训练过程,在每个迭代步骤中,在两个生成器的输出之间反向传播扩展损失(EPloss)。扩展损失包括结构相似性损失(SSIM loss)和特征损失(feature loss),分别描述如下:
(1)结构相似性损失(SSIM loss)
结构相似度(SSIM)可以度量两幅图像的失真度和相似度,是一个感知模型,更符合人类视觉***的直观感受。SSIM主要考虑图像的三个方面:亮度、对比度和结构。具体实施中,将GS和GU的输出记为GS(x)和GU(x)。如果输出的图像GS(x)有N个像素点,每个像素点的像素值为si,则计算图像的平均亮度为:
GU输出的平均亮度µu的计算方法与此相同,两者的亮度相似度输为:
对比度衡量图像明暗变化的强度,即像素值的标准偏差。GS(x)的对比度公式为:
GS和GU输出的余弦相似度为:
使C3=C2/2,最终GS(x)和GU(x)的结构相似度损失(SSIM loss)为:
其中,和表示正值常数,用于防止公式出现除0异常, =(K1*L)*(K1*L),=(K2*L)*(K2*L),默认K1=0.01,K2=0.03,L=2B-1,B是比特深度,目前常用的是8bit,所以L值一般是255。这个SSIM计算是已有的通用方法。
(2)特征损失(feature loss)
然而,仅考虑结构相似度的优化问题会导致图像纹理过于平滑。本申请使用判别器DS从GU和GS的输出图像中提取特征,并引入判别器引导的特征损失函数来训练GS和GU,公式如下:
其中n表示非配对数据集中不配对的遥感影像和地图样本的总对数,是监督判别器DS的前四层。DS可以捕获地图域的多种信息,因为监督判别器DS是用成对的遥感影像和地图样本进行训练的。上述特征损失函数不直接匹配无监督模块中两个生成器产生的输出,对经过预训练的生成器GS的知识迁移更加灵活。将上述两个损失函数结合起来称为扩展损失,使扩展生成器和预训练生成器相互学习低级和高级信息。因此,无监督训练阶段的扩展损失为:
其中λ是超参数,以平衡LSSIM和LFeature损失。
(3)通道损失
扩展生成器GU是将预训练生成器GS卷积层的每个通道与通道扩展因子η相乘得到的,这有助于捕获更多的图像低层信息线索,提高地图生成性能。本申请将通道粒度信息作为额外的监督信息传递给扩展生成器,提高无监督网络的可靠性进而提高半监督地图生成模型的可靠性。通道级的注意力可以使模型学习到每个通道的权值,然后将权值乘回原始通道。增强了重要通道的特征,弱化了非重要通道的特征,从而提取到更多的有方向性的特征,模型预测效果更好。基于通道的注意权值来衡量特征图中每个通道的重要性定义每个通道的注意权值为:
其中,H,W为特征图的空间维数,为激活函数,为第c个通道的权重。特征图的每个通道对应一个视觉模式,但视觉模式的重要性在每个通道中有所不同。由于GS是在监督设置下进行的预训练,因此视觉模式更准确。本申请根据每个通道的特征图计算预先训练的生成器和扩展生成器的注意力信息。如果两个网络的通道数不匹配,本申请采用FitNets中的方法通过1×1卷积对维度进行扩展。将GS的特征图升级到与GU相同的通道数后,利用中间的通道损失将注意力信息从预先训练的生成器转移到扩展生成器上。信道损失公式定义为:
在其中一个实施例中,预先设置的无监督对抗损失为
在一个实施例中,从谷歌地图中获取三个城市的地图数据集用于对比实验,分别是被广泛使用的纽约市数据集(通用数据集),以及洛杉矶和多伦多的遥感影像和相应的地图数据集:①纽约数据集;纽约数据集的层级(缩放级别)为16级,其中包含2194对遥感影像及其对应的地图。所有样本都覆盖了纽约市及其周边地区。图像尺寸为256 × 256。②洛杉矶数据集;洛杉矶数据集为收集了4791对美国洛杉矶(LA)市区的遥感影像和地图,缩放级别为17,空间分辨率为每像素2.15米。③多伦多数据集;多伦多数据集的缩放级别为17,空间分辨率为每像素2.15米,包含4828幅配对遥感影像和地图,大小为256 × 256。
在对比实验中,本申请使用四种图像质量评价指标来比较本申请的半监督地图生成模型(Semi-MapGen)与其他模型。表1、表2、表3列出了使用每种方法训练纽约市数据集、洛杉矶数据集和多伦多数据集的定量结果,最高分用粗体表示,第二用下划线表示,可以知道用半监督策略训练的模型得到了比其他基于半监督和无监督学习的方法更好的结果,证明了本文提出的半监督策略的有效性。半监督方法利用配对数据为训练提供更可靠的信息。面向知识扩展的训练方案使预先训练的和扩展的生成器能够逐步学习更有效的信息。
首先,对于纽约数据集,本申请在SSIM上得分最高,在其他三个评估指标中,除了pix2pix,本申请优于其他方法。其次,本申请在多伦多数据集的RMSE、PSNR和ACC指标上取得了最好的性能,在SSIM指标上略低于pix2pix。第三,对于洛杉矶的数据集,可以知道Semi-MapGen在SSIM和ACC评估中优于其他方法,特别是在ACC中达到56%。
表1
表2
表3
总体上,Semi-MapGen在识别绿地的颜色以及生成的道路和建筑物的规整性方面略逊于pix2pix。但是,与其他4种半监督和无监督方法相比,Semi-MapGen在区分不同特征和填充颜色方面做得更好。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种基于半监督生成对抗网络的遥感影像转换地图迁移装置,包括:模型构建模块402、预训练模块404、生成器扩展模块406、对抗性训练模块408和遥感影像转换模块410,其中:
模型构建模块402,用于获取配对训练数据集和非配对数据集;配对训练数据集为配对的遥感影像和地图;构建半监督地图生成模型;半监督地图生成模型包括生成器和判别器;
预训练模块404,用于根据配对训练数据集和预先设置的损失函数对生成器和判别器进行监督训练,得到预训练生成器和预训练判别器;
生成器扩展模块406,用于在预训练生成器中添加变换一致性正则化损失,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器;
对抗性训练模块408,用于根据非配对数据集对扩展生成器进行无监督训练,得到训练后的扩展生成器;利用预训练判别器的权值初始化无监督判别器,根据预先设置的无监督对抗损失对训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,得到训练好的半监督地图生成模型;
遥感影像转换模块410,用于根据训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
在其中一个实施例中,预先设置的损失函数包括对抗损失和重建损失;
所述对抗损失的损失函数为
所述重建损失的损失函数为
在其中一个实施例中,变换一致性正则化损失为
在其中一个实施例中,生成器扩展模块406还用于对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器,包括:
将添加变换一致性正则化损失后的预训练生成器中的卷积层的每个通道乘以通道扩展因子,再添加扩展损失和通道损失进行训练,得到扩展生成器。
在其中一个实施例中,扩展损失包括结构相似性损失和特征损失;
所述结构相似性损失为,其中表示预训练生成器输出的图像的平均亮度,表示扩展生成器输出的图像的平均亮度,表示预训练生成器输出的图像的对比度,表示扩展生成器输出的图像的对比度,表示预训练生成器输出的图像和扩展生成器输出的图像的对比相似度,和表示正值常数,用于防止公式出现除0异常;
在其中一个实施例中,通道损失为
在其中一个实施例中,预先设置的无监督对抗损失为
关于基于半监督生成对抗网络的遥感影像转换地图迁移装置的具体限定可以参见上文中对于基于半监督生成对抗网络的遥感影像转换地图迁移方法的限定,在此不再赘述。上述基于半监督生成对抗网络的遥感影像转换地图迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于半监督生成对抗网络的遥感影像转换地图迁移方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中,提供了一种计算机存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于半监督生成对抗网络的遥感影像转换地图迁移方法,其特征在于,所述方法包括:
获取配对训练数据集和非配对数据集;所述配对训练数据集为配对的遥感影像和地图;
构建半监督地图生成模型;所述半监督地图生成模型包括生成器和判别器;
根据所述配对训练数据集和预先设置的损失函数对所述生成器和判别器进行监督训练,得到预训练生成器和预训练判别器;
在所述预训练生成器中添加变换一致性正则化损失,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器;
根据所述非配对数据集对所述扩展生成器进行无监督训练,得到训练后的扩展生成器;
利用所述预训练判别器的权值初始化无监督判别器,根据预先设置的无监督对抗损失对所述训练后的扩展生成器、无监督判别器、预训练生成器和预训练判别器进行对抗性训练,得到训练好的半监督地图生成模型;
根据所述训练好的半监督地图生成模型对输入的遥感影像进行地图转换。
4.根据权利要求1至3任意一项所述的方法,其特征在于,对添加变换一致性正则化损失后的预训练生成器进行通道宽度扩展并添加扩展损失和通道损失进行训练,得到扩展生成器,包括:
将添加变换一致性正则化损失后的预训练生成器中的卷积层的每个通道乘以通道扩展因子,再添加扩展损失和通道损失进行训练,得到扩展生成器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210735253.8A CN114792349B (zh) | 2022-06-27 | 2022-06-27 | 基于半监督生成对抗网络的遥感影像转换地图迁移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210735253.8A CN114792349B (zh) | 2022-06-27 | 2022-06-27 | 基于半监督生成对抗网络的遥感影像转换地图迁移方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114792349A true CN114792349A (zh) | 2022-07-26 |
CN114792349B CN114792349B (zh) | 2022-09-06 |
Family
ID=82463846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210735253.8A Active CN114792349B (zh) | 2022-06-27 | 2022-06-27 | 基于半监督生成对抗网络的遥感影像转换地图迁移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114792349B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117422787A (zh) * | 2023-12-18 | 2024-01-19 | 中国人民解放军国防科技大学 | 一种融合判别式和生成式模型的遥感影像转换地图方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110689086A (zh) * | 2019-10-08 | 2020-01-14 | 郑州轻工业学院 | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 |
US20210158109A1 (en) * | 2019-11-25 | 2021-05-27 | Jacob Daniel Brumleve | Audio-visual simulation-generating neural network system |
CN113076806A (zh) * | 2021-03-10 | 2021-07-06 | 湖北星地智链科技有限公司 | 一种结构增强的半监督在线地图生成方法 |
CN113378736A (zh) * | 2021-06-18 | 2021-09-10 | 武汉大学 | 一种基于变换一致性正则化的遥感影像深度网络半监督语义分割方法 |
-
2022
- 2022-06-27 CN CN202210735253.8A patent/CN114792349B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110689086A (zh) * | 2019-10-08 | 2020-01-14 | 郑州轻工业学院 | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 |
US20210158109A1 (en) * | 2019-11-25 | 2021-05-27 | Jacob Daniel Brumleve | Audio-visual simulation-generating neural network system |
CN113076806A (zh) * | 2021-03-10 | 2021-07-06 | 湖北星地智链科技有限公司 | 一种结构增强的半监督在线地图生成方法 |
CN113378736A (zh) * | 2021-06-18 | 2021-09-10 | 武汉大学 | 一种基于变换一致性正则化的遥感影像深度网络半监督语义分割方法 |
Non-Patent Citations (6)
Title |
---|
JIEQIONG SONG ET AL.: ""MapGen-GAN: A Fast Translator for Remote Sensing Image to Map Via Unsupervised Adversarial Learning"", 《 IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 * |
刘雨溪等: "基于生成式对抗网络的遥感图像半监督语义分割", 《红外与毫米波学报》 * |
杜泽星等: "基于半监督学习的遥感飞机图像检测方法", 《激光与光电子学进展》 * |
王玉龙等: "基于生成对抗网络的地面新增建筑检测", 《计算机应用》 * |
范宝杰等: "基于卷积对抗网络的多通道图像修复方法", 《计算机应用与软件》 * |
谢源等: "基于半监督深度卷积生成对抗网络的注塑瓶表面缺陷检测模型", 《计算机科学》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117422787A (zh) * | 2023-12-18 | 2024-01-19 | 中国人民解放军国防科技大学 | 一种融合判别式和生成式模型的遥感影像转换地图方法 |
CN117422787B (zh) * | 2023-12-18 | 2024-03-08 | 中国人民解放军国防科技大学 | 一种融合判别式和生成式模型的遥感影像转换地图方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114792349B (zh) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
CN112766244B (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
US11468262B2 (en) | Deep network embedding with adversarial regularization | |
CN114299380A (zh) | 对比一致性学习的遥感图像语义分割模型训练方法及装置 | |
CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
CN113065060B (zh) | 基于深度学***台课程推荐方法及*** | |
CN114169442B (zh) | 基于双原型网络的遥感图像小样本场景分类方法 | |
Tian et al. | Drought prediction based on feature-based transfer learning and time series imaging | |
CN114792349B (zh) | 基于半监督生成对抗网络的遥感影像转换地图迁移方法 | |
CN114419351A (zh) | 图文预训练模型训练、图文预测模型训练方法和装置 | |
CN111310623B (zh) | 基于遥感数据与机器学习对泥石流敏感性地图分析的方法 | |
Mu et al. | A climate downscaling deep learning model considering the multiscale spatial correlations and chaos of meteorological events | |
CN113888399B (zh) | 一种基于风格融合与域选结构的人脸年龄合成方法 | |
CN115660041A (zh) | 海浪高度预测及模型训练方法、电子设备及存储介质 | |
CN112967227B (zh) | 基于病灶感知建模的糖尿病视网膜病变自动评估*** | |
CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
CN117079276B (zh) | 一种基于知识蒸馏的语义分割方法、***、设备及介质 | |
CN110866866B (zh) | 图像仿色处理方法、装置、电子设备及存储介质 | |
CN113052121A (zh) | 一种基于遥感影像的多层级网络地图智能生成方法 | |
CN110532868B (zh) | 一种预测自由空间语义边界的方法 | |
CN116823782A (zh) | 一种基于图卷积和多尺度特征的无参考图像质量评价方法 | |
CN113962332B (zh) | 基于自优化融合反馈的显著目标识别方法 | |
CN115861930A (zh) | 一种基于层级差异特征聚合的人群计数网络建模方法 | |
Bosma et al. | Estimating solar and wind power production using computer vision deep learning techniques on weather maps | |
CN114283051A (zh) | 人脸图像处理方法、装置、计算机设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |