CN115797163B - 一种基于遥感影像的目标数据跨域反演增广方法 - Google Patents

Abstract

本发明提供了一种基于遥感影像的目标数据跨域反演增广方法，该方法包括以下步骤：步骤1，基于循环生成对抗网络的图像数据多域转换；步骤2，基于对比学习的多域数据增广；步骤3，图像迁移合成得到多域增广数据集。本发明的方法以生成对抗网络为框架，引入了基于循环生成对抗网络的图像数据多域转换方法以及基于对比学习的多域数据增广方法，将可见光遥感图像迁移为红外图像和SAR图像，将合成数据集作为无人巡飞器的匹配基准图，从而实现无人巡飞器利用多源传感器中的多域图像进行导航定位任务；本发明的方法具有良好的性能，提高了定位匹配算法的精度。

Description

一种基于遥感影像的目标数据跨域反演增广方法

技术领域

本发明属于图像数据集制备技术领域，涉及目标数据，具体涉及一种基于遥感影像的目标数据跨域反演增广方法。

背景技术

近些年，无人驾驶巡飞器发展迅速，并逐渐应用于军事侦察打击、测绘勘探、消防救援、电力巡线等多个领域，巡飞器利用自身携带的多源图像传感器实现智能视觉导航、定位技术也成为当下的研究热点。

随着技术的进步，光学遥感图像分辨率不断提高。利用光学遥感图像进行远距离目标及周围环境信息获取，从而实现无人巡飞器的导航定位侦察打击等任务。

随着人工智能技术日趋完善，未来人类社会必然是高速化、智能化发展的大数据时代而智能景象匹配技术则成为导航定位的重要途径之一。基于深度学习的智能匹配算法模型是通过训练数据集并分析挖掘数据不同的差异化信息而获得，因此在前期的模型训练进程中需要大量多域异源图像作为数据支撑，数据集的质量将直接影响人工智能算法模型的能力。绝大多数的研究主要聚焦于人工智能的算法模型当中，但却忽略了智能算法需要大量数据作为驱动以获得更好的算法效能。

由于缺乏其它域图像样本，利用多源成像传感器进行导航定位是一项困难的任务，因此开展基于遥感影像的目标数据跨域反演增广方法是一项极具现实意义且难度较高的任务。

发明内容

针对现有技术存在的不足，本发明的目的在于，提供一种基于遥感影像的目标数据跨域反演增广方法，解决现有技术中的无人巡飞器导航定位任务中存在多种成像技术的定位精度有待进一步提升的技术问题。

为了解决上述技术问题，本发明采用如下技术方案予以实现：

一种基于遥感影像的目标数据跨域反演增广方法，该方法包括以下步骤：

步骤1，基于循环生成对抗网络的图像数据多域转换：

步骤101，基于循环生成对抗网络的图像生成。

步骤102，基于循环生成对抗网络的生成图像判别。

步骤103，设计生成图像与真值之间的总损失函数。

步骤2，基于对比学习的多域数据增广。

步骤3，图像迁移合成得到多域增广数据集：

步骤301，给定一组可见光遥感图像/红外图像非配对数据集分别用和表示，以及一组可见光遥感图像/SAR图像非配对数据集分别用和表示，给定待转换可见光遥感图像数据集用于作为验证集；

步骤302，通过步骤1中的基于循环生成对抗网络的图像数据多域转换的方法分别对步骤301中给定的两组数据进行训练，通过模型推理实现可见光遥感图像转换为相应的红外图像数据集以及SAR图像数据集；

步骤303，通过步骤2中的基于对比学习的多域数据增广的方法分别对步骤301中给定的两组数据进行训练，通过模型推理实现可见光遥感图像转换为相应的红外图像数据集以及SAR图像数据集；

步骤304，将步骤302与步骤303中得到的数据集分别融合，形成融合红外图像数据集，以及融合SAR图像数据集，从而形成多域增广数据集。

步骤4，相似度计算和匹配测试：

将步骤3中得到的多域增广数据集作为基准图，通过PSNR算法和LPIPS算法计算图像的相似度。

将步骤3中得到的多域增广数据集作为基准图，通过ORB算法和LoFTR算法进行匹配测试。

本发明与现有技术相比，具有如下技术效果：

（Ⅰ）本发明的方法以生成对抗网络为框架，引入了基于循环生成对抗网络的图像数据多域转换方法以及基于对比学习的多域数据增广方法，将可见光遥感图像迁移为红外图像和SAR图像，将合成数据集作为无人巡飞器的匹配基准图，从而实现无人巡飞器利用多源传感器中的多域图像进行导航定位任务；本发明的方法具有良好的性能，提高了定位匹配算法的精度。

（Ⅱ）本发明的方法基于循环生成对抗网络和基于对比学习的多域数据增广方法在模型训练的过程中不需要基于图像对的训练数据集，极大地降低了训练前的数据准备工作难度，提升了图像转换效率。

（Ⅲ）本发明的方法将单域图像转换到多域当中，减小了无人巡飞器在视觉导航中的单一传感器限制，利用多源传感器中的多域图像进行导航定位，有效提升了飞行器的定位精度。

（Ⅳ）本发明的方法进行大量的数据生成及实验对比。通过传统匹配算法和现有的智能匹配算法进行比对，本方法生成的多域数据集提升了图像匹配的概率，有效性得到较好验证。

（Ⅴ）本发明的方法通过增加数据集，从而防止深度学习训练中经常出现的过拟合问题，提高模型的精度以及泛化能力，同时丰富了异源数据集种类，从而实现了多域图像视觉导航定位。

附图说明

图1为循环生成对抗网络架构示意图。

图2为对比学习生成器框架图。

图3（a）和图3（b）均为可见光遥感图像/红外图像转换效果示意图。

图4（a）和图4（b）均为可见光遥感图像/SAR图像转换效果示意图。

图5为原始可见光遥感图像/原始红外图像匹配结果示意图。

图6为转换后红外图像/原始红外匹配结果示意图。

图7为原始可见光遥感图像/原始SAR匹配结果示意图。

图8为转换后SAR/原始SAR匹配结果示意图。

以下结合实施例对本发明的具体内容作进一步详细解释说明。

具体实施方式

需要说明的是，本发明中的所有设备和算法，如无特殊说明，全部均采用现有技术中已知的设备和算法。

本发明中“/”表示“和”的意思，例如“可见光遥感图像/SAR图像”表示可见光遥感图像和SAR图像。

SAR，全称为Synthetic Aperture Radar，即合成孔径雷达。

本发明设计的基于遥感影像的目标数据跨域反演增广方法，提出了一种由单一域扩充为多域的数据增广方法来解决基于深度学习的多源景像匹配导航定位问题。该方法通过增加数据集，从而防止深度学习训练中经常出现的过拟合问题，提高模型的精度以及泛化能力。

本发明考虑到无人巡飞器导航定位任务中的多种成像技术，为满足导航定位需求，设计的基于遥感影像的目标数据跨域反演增广方法丰富了异源数据集种类，从而实现了多域图像视觉导航定位。

以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例：

本实施例给出一种基于遥感影像的目标数据跨域反演增广方法，该方法包括以下步骤：

步骤1，基于循环生成对抗网络的图像数据多域转换：

循环生成对抗网络架构如图1所示，所述的循环生成对抗网络包含三个部分，分别为特征提取（即编码）、图像域转换以及图像重建（即解码）。

步骤101，基于循环生成对抗网络的图像生成：

本步骤旨在学习给定训练样本的两个域与之间的映射关系，其中，，且本方法包含两种生成映射关系和，一是利用生成器使得样本由域转换为域，然后利用生成器使得样本由域转换为域。

步骤10101，针对原始图像进行初始化卷积操作，图像尺寸不变，但图像的featuremap由3转换为64。

步骤10102，采用两个卷积层对输入图像的抽象特征进行提取，最终输入图像的维度由256×256×64转换为64×64×256。

步骤10103，采用多个残差模块将特征由域转换为域。

步骤10104，最后利用两层反卷积进行解码，实现将图像域到域的转换。

步骤102，基于循环生成对抗网络的生成图像判别：

所述的生成图像判别的判别器为基于四层卷积层的分类器，利用卷积层将输入图像的feature map由3维提取为512维为，然后通过全连接层和平均池化层判别该图的置信率。

步骤103，设计生成图像与真值之间的总损失函数：

步骤10301，将对抗损失函数应用于映射函数以及相应的判别器；将对抗损失函数应用于映射函数以及相应的判别器 D _A 。

式中：

A表示 A域；

B表示 B域；

表示 A域对应的生成器；

表示 B域对应的生成器；

D _A 表示 A域对应的判别器；

表示 B域对应的判别器。

的表述为：

式中：

a表示图像；

b表示真值；

表示b分布于P_data(b)的期望；

表示a分布于P_data(a)的期望；

表示数学期望；

表示分布于；

P_data( )表示数据的概率密度。

本步骤中，用于生成类似于域的图像，用于区分转换后图像样本与真实样本。

本步骤对映射函数以及对应的判别器 D _A 引入了类似的对抗性损失。

步骤10302，对于每一张来自于域的图像，采用循环一致性损失函数对图像进行处理，图像循环一圈应当满足将图像还原成原始图像，例如。

所述的循环一致性损失函数表述为：

式中：

‖‖表示范数。

步骤10303，生成图像与真值之间的总损失函数表示为：

式中：

表示循环损失函数的参数。

本实施例中，控制了这两个目标的相关重要性。

步骤2，基于对比学习的多域数据增广：

基于编解码器进行图像生成，所述的图像生成的生成器的输入域为，输出域为，给出未配对的数据集；

式中：

表示输入域；

表示输出域；

表示实数集；

H表示图像的高；

W表示图像的宽；

C表示图像的通道数；

A表示输入域对应的未配对的数据集；

B表示输出域对应的未配对的数据集；

a表示数据集 A中的数据；

b表示数据集 B中的数据。

所述的图像生成的生成器分为两个部分编码器和解码器从而产生输出图像；本实施例中，所述的图像生成的生成器的框架如图2所示。利用编码器获取高维度的特征向量，通过总对比损失函数进行迭代训练，实现多域数据增广。

所述的总对比损失函数为：

式中：

表示对抗损失函数；

表示最大化互信息损失函数；

表示外部损失函数；

表示最大化互信息损失参数；

表示外部损失参数；

G表示生成器；

D表示判别器；

A表示输入域对应的未配对的数据集；

B表示输出域对应的未配对的数据集；

M表示多层感知机网络。

本实施例中，当，联合训练时本方法可以看做轻量版的CycleGan网络。

本实施例中，对抗损失函数、最大化互信息损失函数和外部损失函数均采用本领域已知常用的计算方法进行计算获得。

步骤3，图像迁移合成得到多域增广数据集：

步骤301，给定一组可见光遥感图像/红外图像非配对数据集分别用和表示，以及一组可见光遥感图像/SAR图像非配对数据集分别用和表示，给定待转换可见光遥感图像数据集用于作为验证集；

步骤302，通过步骤1中的基于循环生成对抗网络的图像数据多域转换的方法分别对步骤301中给定的两组数据进行训练，通过模型推理实现可见光遥感图像转换为相应的红外图像数据集以及SAR图像数据集；

步骤303，通过步骤2中的基于对比学习的多域数据增广的方法分别对步骤301中给定的两组数据进行训练，通过模型推理实现可见光遥感图像转换为相应的红外图像数据集以及SAR图像数据集；

步骤304，将步骤302与步骤303中得到的数据集分别融合，形成融合红外图像数据集，以及融合SAR图像数据集，从而形成多域增广数据集。

本实施例中，可见光遥感图像转换效果如图3（a）、图3（b）、图4（a）和图4（b）所示。

步骤4，相似度计算和匹配测试：

将步骤3中得到的多域增广数据集作为基准图，通过PSNR（peaksignal-to-noiseratio，峰值信噪比）算法和LPIPS（learning perceptual imagepatch similarity, 学习感知图像块相似度）算法计算图像的相似度。

本步骤中，通过相似度从而对可见光遥感图像/红外图像以及可见光遥感图像/SAR图像的生成效果进行评估，其中，PSNR越大以及LPIPS越小，代表图像相似度越高。

本实施例中，评估结果如表1和表2所示。

表1 可见光遥感图像/红外图像转换效果对比

表2 可见光遥感图像/SAR图像转换效果对比

将步骤3中得到的多域增广数据集作为基准图，通过ORB（简要特征点描述）算法和LoFTR（局部特征匹配）算法进行匹配测试。

本实施例中，测试结果如图5、图6、图7和图8所示。

仿真例：

本发明的效果通过以下仿真进一步说明：

1、仿真条件：

为了验证本发明的有效性，对多组数据集进行多域增广，得到了相应红外、SAR图像结果。实验环境：操作***为Ubuntu18.04，处理器为2.9GHz IntelXeon E5-2667的笔记本电脑。

2、仿真实验：

利用本发明进行大量的数据生成及实验对比。通过传统匹配算法和现有的智能匹配算法进行比对，本方法生成的多域数据集提升了图像匹配的精度，对无人飞行器的导航定位具有较好的效果。

图5为原始可见光遥感图像/原始红外图像匹配结果。图6为转换后红外图像/原始红外匹配结果。图7为原始可见光遥感图像/原始SAR匹配结果。图8为转换后SAR/原始SAR匹配结果。从上图中可以看出多域数据增广方法解决了误匹配、导航定位不准确等问题，实现了多源传感器中的多域图像进行导航定位，有效提升了飞行器的定位精度。

对比例1：

本对比例给出了一种目标数据跨域反演增广方法，该方法的其它步骤与实施例基本相同，区别仅仅在于步骤一不同。本对比例中，具体的：

步骤一，损失函数调整：

算法的损失函数为二值交叉熵损失函数，也就是利用二值交叉熵与Sigmoid激活函数相结合的损失函数进行训练。

对比例2：

本对比例给出了一种目标数据跨域反演增广方法，该方法的其它步骤与实施例基本相同，区别仅仅在于步骤一不同。本对比例中，具体的：

步骤一，损失函数调整：

算法的损失函数为Smooth L1损失函数，也就是利用在0点附近使用平方函数使得它更加平滑的损失函数进行训练。

对实施例、对比例1和对比例2进行对比分析，可以发现本方法的网络收敛速度更快，网络稳定性更高，图3（a）、图3（b）、图4（a）和图4（b）是模型训练后的转换效果，匹配实验结果表明本发明使用的损失函数具有更好的转换效果。

对比例3：

本对比例给出了一种目标数据跨域反演增广方法，该方法采用styleGAN模型对遥感可见光遥感图像进行跨域反演。

对比例4：

本对比例给出了一种目标数据跨域反演增广方法，该方法采用Pix2Pix模型对遥感可见光遥感图像进行跨域反演。

对实施例、对比例3和对比例4进行对比分析，可以发现本方法所生成的红外及SAR图像具有更好的模态一致性，在保证图像内容细节不变的基础上更接近于真实的红外以及SAR图像，而对比例3和对比例4则存在部分失真情况。

Claims (2)

1.一种基于遥感影像的目标数据跨域反演增广方法，其特征在于，该方法包括以下步骤：

步骤1，基于循环生成对抗网络的图像数据多域转换：

步骤101，基于循环生成对抗网络的图像生成；

步骤101中包括以下步骤：

步骤10101，针对原始图像进行初始化卷积操作，图像尺寸不变，但图像的feature map由3转换为64；

步骤10102，采用两个卷积层对输入图像的抽象特征进行提取，最终输入图像的维度由256×256×64转换为64×64×256；

步骤10103，采用多个残差模块将特征由域转换为域；

步骤10104，最后利用两层反卷积进行解码，实现将图像域到域的转换；

步骤102，基于循环生成对抗网络的生成图像判别；

步骤102中包括以下步骤：

所述的生成图像判别的判别器为基于四层卷积层的分类器，利用卷积层将输入图像的feature map由3维提取为512维，然后通过全连接层和平均池化层判别该图的置信率；

步骤103，设计生成图像与真值之间的总损失函数；

步骤103中包括以下步骤：

步骤10301，将B域对应的对抗损失函数应用于从A域到B域的基于B域对应的生成器的映射函数以及相应的判别器；将A域对应的对抗损失函数应用于从B域到A域的基于A域对应的生成器的映射函数以及相应的判别器D _A；

式中：

A表示A域；

B表示B域；

表示A域对应的生成器；

表示B域对应的生成器；

D _A表示A域对应的判别器；

表示B域对应的判别器；

步骤10302，对于每一张来自于域的图像，采用循环一致性损失函数对图像进行处理，图像循环一圈应当满足将图像还原成原始图像；

步骤10303，生成图像与真值之间的总损失函数表示为：

式中：

表示循环损失函数的参数；

步骤2，基于对比学习的多域数据增广；

步骤2中包括以下步骤：

基于编解码器进行图像生成，所述的图像生成的生成器的输入域为，输出域为，给出未配对的数据集；

式中：

表示输入域；

表示输出域；

表示实数集；

H表示图像的高；

W表示图像的宽；

C表示图像的通道数；

A表示输入域对应的未配对的数据集；

B表示输出域对应的未配对的数据集；

a表示数据集A中的数据；

b表示数据集B中的数据；

所述的图像生成的生成器分为两个部分编码器和解码器从而产生输出图像；利用编码器获取高维度的特征向量，通过总对比损失函数进行迭代训练，实现多域数据增广；

所述的总对比损失函数为：

式中：

表示对抗损失函数；

表示最大化互信息损失函数；

表示外部损失函数；

表示最大化互信息损失参数；

表示外部损失参数；

G表示生成器；

D表示判别器；

A表示输入域对应的未配对的数据集；

B表示输出域对应的未配对的数据集；

M表示多层感知机网络；

步骤3，图像迁移合成得到多域增广数据集：

步骤301，给定一组可见光遥感图像/红外图像非配对数据集分别用和表示，以及一组可见光遥感图像/SAR图像非配对数据集分别用和表示，给定待转换可见光遥感图像数据集用于作为验证集；

步骤302，通过步骤1中的基于循环生成对抗网络的图像数据多域转换的方法分别对步骤301中给定的两组数据进行训练，通过模型推理实现可见光遥感图像转换为相应的红外图像数据集以及SAR图像数据集；

步骤303，通过步骤2中的基于对比学习的多域数据增广的方法分别对步骤301中给定的两组数据进行训练，通过模型推理实现可见光遥感图像转换为相应的红外图像数据集以及SAR图像数据集；

步骤304，将步骤302与步骤303中得到的数据集分别融合，形成融合红外图像数据集，以及融合SAR图像数据集，从而形成多域增广数据集。

2.如权利要求1所述的基于遥感影像的目标数据跨域反演增广方法，其特征在于，还包括步骤4，相似度计算和匹配测试：

将步骤3中得到的多域增广数据集作为基准图，通过PSNR算法和LPIPS算法计算图像的相似度；

将步骤3中得到的多域增广数据集作为基准图，通过ORB算法和LoFTR算法进行匹配测试。

Images