CN115797163A - 一种基于遥感影像的目标数据跨域反演增广方法 - Google Patents
一种基于遥感影像的目标数据跨域反演增广方法 Download PDFInfo
- Publication number
- CN115797163A CN115797163A CN202310101406.8A CN202310101406A CN115797163A CN 115797163 A CN115797163 A CN 115797163A CN 202310101406 A CN202310101406 A CN 202310101406A CN 115797163 A CN115797163 A CN 115797163A
- Authority
- CN
- China
- Prior art keywords
- image
- domain
- data
- representing
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于遥感影像的目标数据跨域反演增广方法,该方法包括以下步骤:步骤1,基于循环生成对抗网络的图像数据多域转换;步骤2,基于对比学习的多域数据增广;步骤3,图像迁移合成得到多域增广数据集。本发明的方法以生成对抗网络为框架,引入了基于循环生成对抗网络的图像数据多域转换方法以及基于对比学习的多域数据增广方法,将可见光遥感图像迁移为红外图像和SAR图像,将合成数据集作为无人巡飞器的匹配基准图,从而实现无人巡飞器利用多源传感器中的多域图像进行导航定位任务;本发明的方法具有良好的性能,提高了定位匹配算法的精度。
Description
技术领域
本发明属于图像数据集制备技术领域,涉及目标数据,具体涉及一种基于遥感影像的目标数据跨域反演增广方法。
背景技术
近些年,无人驾驶巡飞器发展迅速,并逐渐应用于军事侦察打击、测绘勘探、消防救援、电力巡线等多个领域,巡飞器利用自身携带的多源图像传感器实现智能视觉导航、定位技术也成为当下的研究热点。
随着技术的进步,光学遥感图像分辨率不断提高。利用光学遥感图像进行远距离目标及周围环境信息获取,从而实现无人巡飞器的导航定位侦察打击等任务。
随着人工智能技术日趋完善,未来人类社会必然是高速化、智能化发展的大数据时代而智能景象匹配技术则成为导航定位的重要途径之一。基于深度学习的智能匹配算法模型是通过训练数据集并分析挖掘数据不同的差异化信息而获得,因此在前期的模型训练进程中需要大量多域异源图像作为数据支撑,数据集的质量将直接影响人工智能算法模型的能力。绝大多数的研究主要聚焦于人工智能的算法模型当中,但却忽略了智能算法需要大量数据作为驱动以获得更好的算法效能。
由于缺乏其它域图像样本,利用多源成像传感器进行导航定位是一项困难的任务,因此开展基于遥感影像的目标数据跨域反演增广方法是一项极具现实意义且难度较高的任务。
发明内容
针对现有技术存在的不足,本发明的目的在于,提供一种基于遥感影像的目标数据跨域反演增广方法,解决现有技术中的无人巡飞器导航定位任务中存在多种成像技术的定位精度有待进一步提升的技术问题。
为了解决上述技术问题,本发明采用如下技术方案予以实现:
一种基于遥感影像的目标数据跨域反演增广方法,该方法包括以下步骤:
步骤1,基于循环生成对抗网络的图像数据多域转换:
步骤101,基于循环生成对抗网络的图像生成。
步骤102,基于循环生成对抗网络的生成图像判别。
步骤103,设计生成图像与真值之间的总损失函数。
步骤2,基于对比学习的多域数据增广。
步骤3,图像迁移合成得到多域增广数据集:
步骤4,相似度计算和匹配测试:
将步骤3中得到的多域增广数据集作为基准图,通过PSNR算法和LPIPS算法计算图像的相似度。
将步骤3中得到的多域增广数据集作为基准图,通过ORB算法和LoFTR算法进行匹配测试。
本发明与现有技术相比,具有如下技术效果:
(Ⅰ)本发明的方法以生成对抗网络为框架,引入了基于循环生成对抗网络的图像数据多域转换方法以及基于对比学习的多域数据增广方法,将可见光遥感图像迁移为红外图像和SAR图像,将合成数据集作为无人巡飞器的匹配基准图,从而实现无人巡飞器利用多源传感器中的多域图像进行导航定位任务;本发明的方法具有良好的性能,提高了定位匹配算法的精度。
(Ⅱ)本发明的方法基于循环生成对抗网络和基于对比学习的多域数据增广方法在模型训练的过程中不需要基于图像对的训练数据集,极大地降低了训练前的数据准备工作难度,提升了图像转换效率。
(Ⅲ)本发明的方法将单域图像转换到多域当中,减小了无人巡飞器在视觉导航中的单一传感器限制,利用多源传感器中的多域图像进行导航定位,有效提升了飞行器的定位精度。
(Ⅳ)本发明的方法进行大量的数据生成及实验对比。通过传统匹配算法和现有的智能匹配算法进行比对,本方法生成的多域数据集提升了图像匹配的概率,有效性得到较好验证。
(Ⅴ)本发明的方法通过增加数据集,从而防止深度学习训练中经常出现的过拟合问题,提高模型的精度以及泛化能力,同时丰富了异源数据集种类,从而实现了多域图像视觉导航定位。
附图说明
图1为循环生成对抗网络架构示意图。
图2为对比学习生成器框架图。
图3(a)和图3(b)均为可见光遥感图像/红外图像转换效果示意图。
图4(a)和图4(b)均为可见光遥感图像/SAR图像转换效果示意图。
图5为原始可见光遥感图像/原始红外图像匹配结果示意图。
图6为转换后红外图像/原始红外匹配结果示意图。
图7为原始可见光遥感图像/原始SAR匹配结果示意图。
图8为转换后SAR/原始SAR匹配结果示意图。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
需要说明的是,本发明中的所有设备和算法,如无特殊说明,全部均采用现有技术中已知的设备和算法。
本发明中“/”表示“和”的意思,例如“可见光遥感图像/SAR图像”表示可见光遥感图像和SAR图像。
SAR,全称为Synthetic Aperture Radar,即合成孔径雷达。
本发明设计的基于遥感影像的目标数据跨域反演增广方法,提出了一种由单一域扩充为多域的数据增广方法来解决基于深度学习的多源景像匹配导航定位问题。该方法通过增加数据集,从而防止深度学习训练中经常出现的过拟合问题,提高模型的精度以及泛化能力。
本发明考虑到无人巡飞器导航定位任务中的多种成像技术,为满足导航定位需求,设计的基于遥感影像的目标数据跨域反演增广方法丰富了异源数据集种类,从而实现了多域图像视觉导航定位。
以下给出本发明的具体实施例,需要说明的是本发明并不局限于以下具体实施例,凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例:
本实施例给出一种基于遥感影像的目标数据跨域反演增广方法,该方法包括以下步骤:
步骤1,基于循环生成对抗网络的图像数据多域转换:
循环生成对抗网络架构如图1所示,所述的循环生成对抗网络包含三个部分,分别为特征提取(即编码)、图像域转换以及图像重建(即解码)。
步骤101,基于循环生成对抗网络的图像生成:
步骤10101,针对原始图像进行初始化卷积操作,图像尺寸不变,但图像的featuremap由3转换为64。
步骤10102,采用两个卷积层对输入图像的抽象特征进行提取,最终输入图像的维度由256×256×64转换为64×64×256。
步骤102,基于循环生成对抗网络的生成图像判别:
所述的生成图像判别的判别器为基于四层卷积层的分类器,利用卷积层将输入图像的feature map由3维提取为512维为,然后通过全连接层和平均池化层判别该图的置信率。
步骤103,设计生成图像与真值之间的总损失函数:
式中:
A表示A域;
B表示B域;
D A 表示A域对应的判别器;
式中:
a表示图像;
b表示真值;
Pdata( )表示数据的概率密度。
式中:
‖‖表示范数。
式中:
步骤2,基于对比学习的多域数据增广:
式中:
H表示图像的高;
W表示图像的宽;
C表示图像的通道数;
A表示输入域对应的未配对的数据集;
B表示输出域对应的未配对的数据集;
a表示数据集A中的数据;
b表示数据集B中的数据。
所述的图像生成的生成器分为两个部分编码器和解码器从而产生输出图像;本实施例中,所述的图像生成的生成器的框架如图2所示。利用编码器获取高维度的特征向量,通过总对比损失函数进行迭代训练,实现多域数据增广。
所述的总对比损失函数为:
式中:
G表示生成器;
D表示判别器;
A表示输入域对应的未配对的数据集;
B表示输出域对应的未配对的数据集;
M表示多层感知机网络。
步骤3,图像迁移合成得到多域增广数据集:
本实施例中,可见光遥感图像转换效果如图3(a)、图3(b)、图4(a)和图4(b)所示。
步骤4,相似度计算和匹配测试:
将步骤3中得到的多域增广数据集作为基准图,通过PSNR(peaksignal-to-noiseratio,峰值信噪比)算法和LPIPS(learning perceptual imagepatch similarity, 学习感知图像块相似度)算法计算图像的相似度。
本步骤中,通过相似度从而对可见光遥感图像/红外图像以及可见光遥感图像/SAR图像的生成效果进行评估,其中,PSNR越大以及LPIPS越小,代表图像相似度越高。
本实施例中,评估结果如表1和表2所示。
表1 可见光遥感图像/红外图像转换效果对比
表2 可见光遥感图像/SAR图像转换效果对比
将步骤3中得到的多域增广数据集作为基准图,通过ORB(简要特征点描述)算法和LoFTR(局部特征匹配)算法进行匹配测试。
本实施例中,测试结果如图5、图6、图7和图8所示。
仿真例:
本发明的效果通过以下仿真进一步说明:
1、仿真条件:
为了验证本发明的有效性,对多组数据集进行多域增广,得到了相应红外、SAR图像结果。实验环境:操作***为Ubuntu18.04,处理器为2.9GHz IntelXeon E5-2667的笔记本电脑。
2、仿真实验:
利用本发明进行大量的数据生成及实验对比。通过传统匹配算法和现有的智能匹配算法进行比对,本方法生成的多域数据集提升了图像匹配的精度,对无人飞行器的导航定位具有较好的效果。
图5为原始可见光遥感图像/原始红外图像匹配结果。图6为转换后红外图像/原始红外匹配结果。图7为原始可见光遥感图像/原始SAR匹配结果。图8为转换后SAR/原始SAR匹配结果。从上图中可以看出多域数据增广方法解决了误匹配、导航定位不准确等问题,实现了多源传感器中的多域图像进行导航定位,有效提升了飞行器的定位精度。
对比例1:
本对比例给出了一种目标数据跨域反演增广方法,该方法的其它步骤与实施例基本相同,区别仅仅在于步骤一不同。本对比例中,具体的:
步骤一,损失函数调整:
算法的损失函数为二值交叉熵损失函数,也就是利用二值交叉熵与Sigmoid激活函数相结合的损失函数进行训练。
对比例2:
本对比例给出了一种目标数据跨域反演增广方法,该方法的其它步骤与实施例基本相同,区别仅仅在于步骤一不同。本对比例中,具体的:
步骤一,损失函数调整:
算法的损失函数为Smooth L1损失函数,也就是利用在0点附近使用平方函数使得它更加平滑的损失函数进行训练。
对实施例、对比例1和对比例2进行对比分析,可以发现本方法的网络收敛速度更快,网络稳定性更高,图3(a)、图3(b)、图4(a)和图4(b)是模型训练后的转换效果,匹配实验结果表明本发明使用的损失函数具有更好的转换效果。
对比例3:
本对比例给出了一种目标数据跨域反演增广方法,该方法采用styleGAN模型对遥感可见光遥感图像进行跨域反演。
对比例4:
本对比例给出了一种目标数据跨域反演增广方法,该方法采用Pix2Pix模型对遥感可见光遥感图像进行跨域反演。
对实施例、对比例3和对比例4进行对比分析,可以发现本方法所生成的红外及SAR图像具有更好的模态一致性,在保证图像内容细节不变的基础上更接近于真实的红外以及SAR图像,而对比例3和对比例4则存在部分失真情况。
Claims (6)
1.一种基于遥感影像的目标数据跨域反演增广方法,其特征在于,该方法包括以下步骤:
步骤1,基于循环生成对抗网络的图像数据多域转换:
步骤101,基于循环生成对抗网络的图像生成;
步骤102,基于循环生成对抗网络的生成图像判别;
步骤103,设计生成图像与真值之间的总损失函数;
步骤2,基于对比学习的多域数据增广;
步骤3,图像迁移合成得到多域增广数据集:
3.如权利要求2所述的基于遥感影像的目标数据跨域反演增广方法,其特征在于,步骤102中包括以下步骤:所述的生成图像判别的判别器为基于四层卷积层的分类器,利用卷积层将输入图像的feature map由3维提取为512维为,然后通过全连接层和平均池化层判别该图的置信率。
5.如权利要求1所述的基于遥感影像的目标数据跨域反演增广方法,其特征在于,步骤2中包括以下步骤:
式中:
H表示图像的高;
W表示图像的宽;
C表示图像的通道数;
A表示输入域对应的未配对的数据集;
B表示输出域对应的未配对的数据集;
a表示数据集A中的数据;
b表示数据集B中的数据;
所述的总对比损失函数为:
式中:
G表示生成器;
D表示判别器;
A表示输入域对应的未配对的数据集;
B表示输出域对应的未配对的数据集;
M表示多层感知机网络。
6.如权利要求1所述的基于遥感影像的目标数据跨域反演增广方法,其特征在于,还包括步骤4,相似度计算和匹配测试:
将步骤3中得到的多域增广数据集作为基准图,通过PSNR算法和LPIPS算法计算图像的相似度;
将步骤3中得到的多域增广数据集作为基准图,通过ORB算法和LoFTR算法进行匹配测试。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310101406.8A CN115797163B (zh) | 2023-02-13 | 2023-02-13 | 一种基于遥感影像的目标数据跨域反演增广方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310101406.8A CN115797163B (zh) | 2023-02-13 | 2023-02-13 | 一种基于遥感影像的目标数据跨域反演增广方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115797163A true CN115797163A (zh) | 2023-03-14 |
CN115797163B CN115797163B (zh) | 2023-04-28 |
Family
ID=85430897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310101406.8A Active CN115797163B (zh) | 2023-02-13 | 2023-02-13 | 一种基于遥感影像的目标数据跨域反演增广方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797163B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113283444A (zh) * | 2021-03-30 | 2021-08-20 | 电子科技大学 | 一种基于生成对抗网络的异源图像迁移方法 |
CN113298056A (zh) * | 2021-07-27 | 2021-08-24 | 自然资源部国土卫星遥感应用中心 | 多模态遥感影像变化检测方法、模型生成方法和终端设备 |
WO2022105308A1 (zh) * | 2020-11-20 | 2022-05-27 | 南京大学 | 一种基于生成对抗级联网络增广图像的方法 |
CN115310515A (zh) * | 2022-07-06 | 2022-11-08 | 山东科技大学 | 一种基于生成对抗网络的含断层标记地震数据样本集增广方法 |
-
2023
- 2023-02-13 CN CN202310101406.8A patent/CN115797163B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022105308A1 (zh) * | 2020-11-20 | 2022-05-27 | 南京大学 | 一种基于生成对抗级联网络增广图像的方法 |
CN113283444A (zh) * | 2021-03-30 | 2021-08-20 | 电子科技大学 | 一种基于生成对抗网络的异源图像迁移方法 |
CN113298056A (zh) * | 2021-07-27 | 2021-08-24 | 自然资源部国土卫星遥感应用中心 | 多模态遥感影像变化检测方法、模型生成方法和终端设备 |
CN115310515A (zh) * | 2022-07-06 | 2022-11-08 | 山东科技大学 | 一种基于生成对抗网络的含断层标记地震数据样本集增广方法 |
Non-Patent Citations (3)
Title |
---|
TIYASHA TIYASHA等: "Functionalization of remote sensing and on-site data for simulating surface water dissolved oxygen: Development of hybrid tree-based artificial intelligence models" * |
王舒洋;慕晓冬;贺浩;杨东方;马晨晖;: "航拍图像跨数据域特征迁移道路提取方法" * |
郭炜炜;张增辉;郁文贤;孙效华;: "SAR图像目标识别的可解释性问题探讨" * |
Also Published As
Publication number | Publication date |
---|---|
CN115797163B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | Towards accurate high resolution satellite image semantic segmentation | |
CN110263912B (zh) | 一种基于多目标关联深度推理的图像问答方法 | |
Li et al. | Traffic scene segmentation based on RGB-D image and deep learning | |
CN112434628B (zh) | 基于主动学习和协同表示的小样本图像分类方法 | |
CN111986108A (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及*** | |
CN114612660A (zh) | 一种基于多特征融合点云分割的三维建模方法 | |
Shajahan et al. | Roof classification from 3-D LiDAR point clouds using multiview CNN with self-attention | |
CN111489405B (zh) | 基于条件增强生成对抗网络的人脸草图合成*** | |
Zhou et al. | Graph attention guidance network with knowledge distillation for semantic segmentation of remote sensing images | |
CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
CN112766217A (zh) | 基于解纠缠和特征级差异学习的跨模态行人重识别方法 | |
Wang et al. | Generative partial multi-view clustering | |
CN114463235A (zh) | 一种红外与可见光图像融合方法、装置及存储介质 | |
CN117593666A (zh) | 一种极光图像的地磁台站数据预测方法及*** | |
CN115797163B (zh) | 一种基于遥感影像的目标数据跨域反演增广方法 | |
Zhao et al. | Label freedom: Stable diffusion for remote sensing image semantic segmentation data generation | |
Zhao et al. | Adaptive Dual-Stream Sparse Transformer Network for Salient Object Detection in Optical Remote Sensing Images | |
Wang et al. | MLAN: Multi-Level Attention Network | |
CN111126310A (zh) | 一种基于场景迁移的行人性别识别方法 | |
Wei et al. | An efficient point cloud-based 3d single stage object detector | |
An et al. | Network adaptation for color image semantic segmentation | |
CN111724467B (zh) | 一种用于3d打印的体素模型生成方法及*** | |
CN115496910B (zh) | 基于全连接图编码及双重扩张残差的点云语义分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |