CN115830597B - 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法 - Google Patents
一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法 Download PDFInfo
- Publication number
- CN115830597B CN115830597B CN202310014291.9A CN202310014291A CN115830597B CN 115830597 B CN115830597 B CN 115830597B CN 202310014291 A CN202310014291 A CN 202310014291A CN 115830597 B CN115830597 B CN 115830597B
- Authority
- CN
- China
- Prior art keywords
- domain
- remote sensing
- image
- adaptive
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法,所述方法包括以下步骤:基于伪标签生成的从局部到全局的域自适应遥感影像语义分割准备工作、构建与训练基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型、对基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型求解和验证。与现有技术相比通过构建从局部到全局的域自适应遥感影像语义分割网络,解决了超高分辨率遥感影像难以自适应的问题,并从局部语义特征差异到全局结构特征差异进行特征对齐,得到局部以及全局的特征表示,使超高分辨率遥感影像域自适应的语义分割精度得到提升。
Description
技术领域
本发明涉及遥感影像处理技术领域,具体来说是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法。
背景技术
遥感影像是指通过安装在遥感平台上的遥感仪器对地球表面摄影或扫描获得的影像,包括光学摄影成像的航空影像、紫外和近红外影像;以及用各种类型扫描仪成像的单波段影像和多波段扫描影像。由于遥感影像的语义分割标签制作费时费力,有些影像还需要领域专家才能做出标记。基于有标签的遥感影像进行训练,从而适应到没有标签的影像,并为其生成效果良好的语义分割标注,也就是领域自适应技术,能够节省大量时间成本和人力成本。
领域自适应是指在已有标记的源域数据集上进行语义分割训练,训练得到的模型能够适应其他域的影像,能在其他域上得到好的分割结果。伪标签技术是利用已标注数据所训练的模型在未标注的数据上进行预测,根据预测结果对样本进行筛选,再次输入模型中进行训练的一个过程。而传统的伪标签过度依赖在源域数据集上训练的模型,存在较多的噪声,会影响训练效果。
由于遥感影像的地表覆盖面积大、地物类别多、局部块数据分布差异较大、且不同的传感器即使在相同的地理位置也会存在较大的数据分布差异。导致在相同域的影像内部数据分布差异大尤其是纹理特征,不同域间的影像存在巨大的外部结构差异尤其是空间特征。本文设计了一种既能够保证目标域特征表示的局部细节一致性,又能保证全局结构的一致性的域适应分割网络,并且基于伪标签进行训练,从而获得良好的训练效果。
发明内容
本发明的目的是为了解决超高分辨率遥感影像难以进行域自适应,设计了一种从局部域自适应到全局域自适应的方法,能够从易域自适应的影像块生成噪声足够小的伪标签,同时在网络模型特征提取器与域分类器之间引入了梯度反转层,在反向传播过程中,域分类器的域分类损失的梯度反向传播到特征提取器的参数之前会自动取反,进而实现了类似与GAN的对抗损失。最后将精度足够高的易适配的目标域图片以及标签加入到源域训练集中,共同训练目标域,为目标域生成高精度的预测。
为了实现上述目的,本发明的技术方案如下:
一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法,包括以下步骤:
11)基于伪标签生成的从局部到全局的域自适应遥感影像语义分割准备工作:获取到源域遥感卫星影像以及目标域遥感卫星影像,对遥感影像数据进行裁剪,对标签影像进行裁剪并把像素值规划到类别数等预处理操作得到处理后的遥感影像以及标签;
12)构建与训练基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型:构建一个用于分类的卷积神经网络模型,一个用于域判别的全卷积的判别器网络模型。将预处理后的遥感影像数据以及标签数据输入网络模型中进行训练,得到训练好的基于伪标签生成的从局部到全局的域自适应网络模型;
13)对基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型求解和验证:将未标记的目标域影像输入到训练好的基于伪标签生成的从局部到全局的域自适应网络模型中进行模型测试并得到目标域影像地物语义分割结果;
所述基于伪标签生成的从局部到全局的域自适应遥感影像语义分割准备工作包括以下步骤:
21)读取原始Tif格式的源域以及目标域遥感影像;将影像进行不重叠裁剪到256×256像素的固定大小,将原始Tif格式的遥感影像导出成.jpg格式,对标签影像像素进行归一化,把像素值归一化到类别号;
22)筛选去除标记有误的影像块。
所述构建与训练基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型包括以下步骤:
31)其中构建伪标签生成的从局部到全局的遥感影像语义分割域自适应模型的具体步骤如下:
311)构建用于域判别的语义级域判别器,其域判别器结构包括一个Kernel size为3,stride为1的卷积层,一个LeakyRelu层,一个线性激活单元;
312)构建用于域判别的熵级域判别器,其域判别器结构包括一个Kernel size为3,stride为2的卷积层,一个LeakyRelu层,一个线性激活单元;
313)构建用于特征提取的下采样结构,其结构包括一个普通卷积层,一个实例归一化层,一个LeakyReLu激活单元,一个最大池化层;
314)构建用于使用低层特征为高层特征补充细节信息的跳跃连接结构,其跳跃连接结构为拼接两个输入为一个输出;
32)其中训练伪标签生成的从局部到全局的遥感影像语义分割域自适应模型的具体步骤如下:
321)将预处理后的源域影像以及标签数据输入卷积神经网络中,训练一个有监督的源域分割模型;
322)通过正向传播,得到分割概率;
323)使用交叉熵损失函数作为网络模型的损失函数对分割概率进行计算得到分割损失;
324)通过分割损失反向传播确定梯度向量;
325)重复上述过程直到设定次数或误差损失的平均值不再下降,训练完成,得到有监督的源域分割模型;
326)用有监督的源域分割模型对目标域进行预测输出,并计算其熵值按值排序,获取到容易域适应的目标域影像和粗略的伪标签,以及难以域适应的目标域影像;
327)先忽略难以域适应的目标域影像,把容易域适应的目标域影像当作目标域,将其和源域以及源域标签输入到域自适应网络中训练;
328)通过正向传播,得到分割概率;
329)使用交叉熵损失函数作为基础分割模型的损失函数对分割概率进行计算得到分割损失。使用BCE损失函数作为特征对齐的对抗损失函数,对得到的分割图是源域还是目标域进行计算得到对抗损失;
3210)通过分割损失和对抗损失反向传播确定梯度向量;
3211)重复上述过程直到设定次数或误差损失的平均值不再下降,训练完成,得到容易域适应的目标域分割模型;
3212)用此模型重新预测目标域影像,并基于熵值按值排序重新获取容易域适应的目标域影像和其细致的伪标签,以及难以适应的目标域影像;
3213)把容易域适应的目标域影像以及其细致的伪标签加入到源域训练集中去,目标域为难以适应的影像;
3214)将组织后的源域影像和标签,难以适应的目标域影像输入到域自适应网络中训练,得到最终的域自适应分割网络模型。
所述对基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型求解和验证包括以下步骤:
41)读取目标域影像,把影像输出为.jpg格式;
42)将影像进行不重叠裁剪到256×256像素的固定大小;
43)对目标域标签影像像素进行归一化,把像素值归一化到类别号,用来计算分割精度;
44)将预处理后的目标域影像输入到训练好的卷积神经网络域自适应模型中进行地物语义分割;
45)得到分割好的遥感影像地物分割图。
有益效果
本发明涉及基于伪标签生成的从局部到全局的领域自适应方法,与现有技术相比通过从局部到全局的训练方法,先让容易适应的目标域进行域自适应再综合训练难以适应的目标域影像,能够获取良好的局部特征和全局结构信息,通过对抗训练把源域特征迁移到目标域,以解决很难直接对目标域进行域自适应的问题,并在特征提取网络与域分类网络之间添加梯度反转层(GRL),反向传播过程中实现梯度取反,进而构造出了类似于GAN的对抗损失,又通过该层避免了GAN的两阶段训练过程。此外,由于超高分辨率的大尺度遥感影像,预适应难度大,且不同卫星、不同时相、不同地区的影像存在较大的域偏移,本发明提供的方法从易到难逐步进行域适应,大大提高了分割精度。应用于无标签的遥感影像可以不必花费大量人力物力制作标签。
附图说明
图1是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法流程图。
图2是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法的训练流程图。
图3是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法的网络模型图。
图4是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法判别器模型图。
图5 是一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法的实验结果与原影像及其标签的对比图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法,包括以下步骤:
第一步,基于伪标签生成的从局部到全局的域自适应遥感影像语义分割准备工作:
获取到源域以及目标域遥感卫星影像,对遥感影像数据进行裁剪,对标签影像进行裁剪并把像素值规划到类别数,筛选剔除标记有误的数据,得到处理后的遥感影像以及标签。
其具体步骤如下:
(1)读取原始Tif格式的源域以及目标域遥感影像;将影像进行不重叠裁剪到256×256像素的固定大小;将原始Tif格式的遥感影像导出成.jpg格式;对标签影像像素进行归一化,把像素值归一化到类别号;
(2)筛选去除标记有误的影像块。
第二步,构建与训练基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型:
构建一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型,将预处理后的源域遥感卫星影像以及标签数据和目标域遥感卫星影像输入到从局部到全局的域自适应遥感影像中,得到训练好的地物语义分割网络模型,其训练流程如图2所示,由易到难对目标域遥感卫星影像进行逐步适应,其域自适应框架结构的输入特征图来自于图3所示的用于遥感影像地物语义分割的卷积神经网络,在分割网络中对多个尺度的特征图进行拼接融合,得到遥感影像的局部和全局特征表示,其用于对抗训练的域判别器网络如图4所示,与语义分割网络进行对抗训练以减少跨域特征差异。
其具体步骤如下;
(1)其中构建伪标签生成的从局部到全局的遥感影像语义分割域自适应模型的具体步骤如下:
(1-1)构建用于域判别的语义级域判别器,其域判别器结构包括一个Kernel size为3,stride为1的卷积层,一个LeakyRelu层,一个线性激活单元;
(1-2)构建用于域判别的熵级域判别器,其域判别器结构包括一个Kernel size为3,stride为2的卷积层,一个LeakyRelu层,一个线性激活单元;
(1-3)构建用于特征提取的下采样结构,其结构包括一个普通卷积层,一个实例归一化层,一个LeakyReLu激活单元,一个最大池化层;
(1-4)构建用于使用低层特征为高层特征补充细节信息的跳跃连接结构,其跳跃连接结构为拼接两个输入为一个输出;
(2)其中训练伪标签生成的从局部到全局的遥感影像语义分割域自适应模型的具体步骤如下:
(2-1)将预处理后的源域影像以及标签数据输入卷积神经网络中,训练一个有监督的源域分割模型;
(2-2)执行一次卷积核大小为1x1的普通卷积层,执行一次编码器结构,得到5个下采样输出;
(2-2-1)执行一个卷积核为3×3的普通卷积,一个实例归一化一个LeakyReLu,一个最大池化,得到第一个下采样输出;
(2-2-2)对第一个下采样输出执行一次3×3的普通卷积,一个实例归一化一个LeakyReLu,一个最大池化,得到第二个下采样输出;
(2-2-3)对第二个下采样输出执行一次3×3的普通卷积,一个实例归一化一个LeakyReLu,一个最大池化,得到第三个下采样输出;
(2-2-4)对第三个下采样输出执行一次3×3的普通卷积,一个实例归一化一个LeakyReLu,一个最大池化,得到第四个下采样输出;
(2-2-5)对第五个下采样输出执行一次3×3的普通卷积,一个实例归一化一个LeakyReLu,一个最大池化,得到第五个下采样输出;
(2-3)对第五个下采样输出执行一次1×1的普通卷积改变其通道数;
(2-4)执行一次解码器,其中解码器的各层输出如下;
(2-4-1)第一条路径对编码器的第一个输出执行一次卷积核为1的卷积层,得到第一个输出;
(2-4-2)第二条路径对编码器的第二个输出执行一次卷积核为1的卷积层,得到第二个输出;
(2-4-3)第三条路径对编码器的第三个输出执行一次卷积核为1的卷积层,得到第三个输出;
(2-4-4)第四条路径对编码器的第四个输出执行一次卷积核为1的卷积层,得到第四个输出;
(2-4-5)第五条路径对编码器的第五个输出执行一次卷积核为1的卷积层,得到第五个输出;
(2-5)将五条路径输出的结果进行上采样恢复图像的分辨率;
(2-6)将编码器的第五个输出与第一条路径的输出进行拼接;
(2-6-1)执行一次卷积核为3的普通卷积、一个实例归一化、一个LeakyReLu、一个倍数为2的上采样;
(2-7)将编码器的第四个输出与第二条路径的输出进行拼接;
(2-7-1)执行一次卷积核为3的普通卷积、一个实例归一化、一个LeakyReLu、一个倍数为2的上采样;
(2-8)将编码器的第三个输出与第三条路径的输出进行拼接;
(2-8-1)执行一次卷积核为3的普通卷积、一个实例归一化、一个LeakyReLu、一个倍数为2的上采样;
(2-9)将编码器的第二个输出与第四条路径的输出进行拼接;
(2-9-1)执行一次卷积核为3的普通卷积、一个实例归一化、一个LeakyReLu、一个倍数为2的上采样;
(2-10)将编码器的第一个输出与第五条路径的输出进行拼接;
(2-10-1)执行一次卷积核为3的普通卷积、一个实例归一化、一个LeakyReLu、一个倍数为2的上采样;
(2-11)将编码器的第二个输出与第四条路径的输出拼接后,执行一次卷积核为1的普通卷积;
(2-12)执行一次上采样,将尺寸扩大二倍作为第一个特征图输出;
(2-13)将编码器的第一个输出与第五条路径的输出拼接后执行一次卷积核为3的普通卷积、一个实例归一化、一个LeakyReLu、一个倍数为2的上采样,作为第二个特征图输出;
(2-14)正向传播,得到最终的分割概率;
(2-15)使用交叉熵损失函数作为网络模型的损失函数对分割概率进行计算得到分割损失;
(2-16)通过分割损失反向传播确定梯度向量;
(2-17)判断是否达到设定的轮数,是则得到训练好的分割模型,否则返回(2-1)重新加载数据继续训练;
(2-18)用有监督的源域分割模型对目标域进行预测输出,并计算其熵值按值排序,获取到容易域适应的目标域影像和粗略的伪标签,以及难以域适应的目标域影像;
(2-18-1)先忽略难以域适应的目标域影像,把容易域适应的目标域影像当作目标域,将其和源域以及源域标签输入到域自适应网络中训练;
(2-18-2)通过正向传播,得到分割概率;
(2-18-3)使用交叉熵损失函数作为基础分割模型的损失函数对分割概率进行计算得到分割损失。使用BCE损失函数作为特征对齐的对抗损失函数,对得到的分割图是源域还是目标域进行计算得到对抗损失;
(2-18-4)通过分割损失和对抗损失反向传播确定梯度向量;
(2-18-5)重复上述过程直到设定次数或误差损失的平均值不再下降,训练完成,得到容易域适应的目标域分割模型;
(2-19)用此模型重新预测目标域影像,并基于熵值按值排序重新获取容易域适应的目标域影像和其细致的伪标签,以及难以适应的目标域影像;
(2-19-1)把容易域适应的目标域影像以及其细致的伪标签加入到源域训练集中去,目标域为难以适应的影像;
(2-19-2)将组织后的源域影像和标签,难以适应的目标域影像输入到域自适应网络中训练,得到最终的域自适应分割网络模型;
(2-20)通过正向传播,得到分割概率;
(2-21)使用交叉熵损失函数作为基础分割模型的损失函数对分割概率进行计算得到分割损失。使用BCE损失函数作为特征对齐的对抗损失函数,对得到的分割图是源域还是目标域进行计算得到对抗损失;
(2-22)反向传播确定梯度向量,更新模型参数;
(2-23)判断是否达到设定的轮数,是则得到训练好的分割模型,否则返回(2-1)重新加载数据继续训练。
第三步,对基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型求解和验证:
(1)读取目标域影像,把影像输出为.jpg格式;
(2)将影像进行不重叠裁剪到256×256像素的固定大小;
(3)对目标域标签影像像素进行归一化,把像素值归一化到类别号,用来计算分割精度;
(4)将预处理后的目标域影像输入到训练好的卷积神经网络域自适应模型中进行地物语义分割;
(5)得到分割好的遥感影像地物分割图;
下面以ISPRS遥感Vaihingen数据集及Potsdam数据集为例对本发明提出的方法进行说明:
ISPRS Potsdam数据集作为源域数据集,由38幅高分遥感航空影像组成,图像分辨率为6000×6000像素,标签为手动标注的像素级标签,质量很高,共有6个类别:不透水面、建筑物、低矮植被、树木、汽车、背景。ISPRS Vaihingen数据集作为目标域数据集,由33幅不同大小的高分航空影像组成,每幅图像都是从一个更大的顶层正射影像图片提取的,图像选择的过程避免了出现没有数据的情况,标记方式、类别数与Potsdam数据集相同。为了训练和评估网络,选择ISPRS Potsdam部分影像作为源域训练集,ISPRS Vaihingen中20幅作为目标域训练集,13幅作为测试集,对数据集进行滑动裁剪为256×256大小的图像块。最终产生5000张影像作为源域训练集,1700张影像作为目标域训练集,446张测试集。利用本发明所述的方法训练卷积神经网络模型,并与其它基于伪标签生成的域自适应网络模型对比,本发明从局部到全局逐步适应目标域影像可以有效的对不同卫星、不同时相、不同地区的超高分辨率遥感卫星影像做域自适应,在一定程度上弥补了现有域自适应技术对超高分辨率遥感影像难以进行域适应的缺点。如图5所示,其为ISPRS Vaihingen高分航空影像及其标签与本发明模型分割结果对比图,其中A为ISPRS Vaihingen影像、B为ISPRSVaihingen影像标签、C为本专利所述的方法所获得的分割结果,与标签基本无异,达到了满足实际应用的效果。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (3)
1.一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法,包括以下步骤:
11)基于伪标签生成的从局部到全局的域自适应遥感影像语义分割准备工作:获取源域遥感卫星影像以及目标域遥感卫星影像,对源域遥感卫星影像和目标域遥感卫星影像以及源域遥感卫星影像的标签数据进行裁剪,所述标签数据为类别标签,将标签数据的像素值归一化为0到类别数,得到处理后的源域遥感卫星影像和目标域遥感卫星影像以及源域遥感卫星影像的标签数据;
12)构建与训练基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型,包括以下步骤:
(1)构建基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型的具体步骤如下:(1-1)构建用于域判别的语义级域判别器,其域判别器结构包括一个卷积核大小为3×3和stride为1的卷积层,一个LeakyRelu层;
(1-2)构建用于域判别的熵级域判别器,其域判别器结构包括一个卷积核大小为3×3和stride为2的卷积层,一个LeakyRelu层;
(1-3)构建用于特征提取的编码器结构,其结构包括一个普通卷积层,一个实例归一化层,一个LeakyReLu层,一个最大池化层;
(1-4)构建用于恢复分辨率的解码器结构,其结构包括一个普通卷积层,一个实例归一化层,一个LeakyReLu层,一个倍数为2的上采样;
(1-5)构建用于使用低层特征为高层特征补充细节信息的跳跃连接结构;
(2)训练基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型的具体步骤如下:(2-1)将预处理后的源域遥感卫星影像以及标签数据输入基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型中,训练一个有监督的源域分割模型;包括:
(2-2)执行一次卷积核大小为1×1的普通卷积,执行一次编码器结构,得到5个下采样输出;执行一次卷积核大小为3×3的普通卷积,一次实例归一化,一次LeakyReLu线性激活,一次最大池化,得到第一个下采样输出;
对第一个下采样输出执行一次卷积核大小为3×3的普通卷积,一次实例归一化,一次LeakyReLu线性激活,一次最大池化,得到第二个下采样输出;
对第二个下采样输出执行一次卷积核大小为3×3的普通卷积,一次实例归一化,一次LeakyReLu线性激活,一次最大池化,得到第三个下采样输出;
对第三个下采样输出执行一次卷积核大小为3×3的普通卷积,一次实例归一化,一次LeakyReLu线性激活,一次最大池化,得到第四个下采样输出;
对第四个下采样输出执行一次卷积核大小为3×3的普通卷积,一次实例归一化,一次LeakyReLu线性激活,一次最大池化,得到第五个下采样输出;
(2-3)对第五个下采样输出执行一次卷积核大小为1×1的普通卷积改变其通道数;
(2-4)执行解码器,其中解码器的各路径输出如下;
第一条路径对编码器的第一个下采样输出执行一次卷积核大小为1×1的普通卷积,得到第一条路径的输出;
第二条路径对编码器的第二个下采样输出执行一次卷积核大小为1×1的普通卷积,得到第二条路径的输出;
第三条路径对编码器的第三个下采样输出执行一次卷积核大小为1×1的普通卷积,得到第三条路径的输出;
第四条路径对编码器的第四个下采样输出执行一次卷积核大小为1×1的普通卷积,得到第四条路径的输出;
第五条路径对编码器的第五个下采样输出执行一次卷积核大小为1×1的普通卷积,得到第五条路径的输出;
(2-5)将五条路径的输出结果进行上采样恢复图像的分辨率;
(2-6)将编码器的第五个下采样输出与解码器的第一条路径的输出进行拼接;
执行一次卷积核大小为3×3的普通卷积、一次实例归一化、一次LeakyReLu线性激活和一次倍数为2的上采样;
(2-7)将编码器的第四个下采样输出与解码器的第二条路径的输出进行拼接;
执行一次卷积核大小为3×3的普通卷积、一次实例归一化、一次LeakyReLu线性激活和一次倍数为2的上采样;
(2-8)将编码器的第三个下采样输出与解码器的第三条路径的输出进行拼接;
执行一次卷积核大小为3×3的普通卷积、一次实例归一化、一次LeakyReLu线性激活和一次倍数为2的上采样;
(2-9)将编码器的第二个下采样输出与解码器的第四条路径的输出进行拼接,
执行一次卷积核大小为1×1的普通卷积,执行一次上采样,将尺寸扩大二倍作为第一个特征图输出;
同时将上述编码器的第二个下采样输出与解码器的第四条路径的输出进行拼接的结果执行一次卷积核大小为3×3的普通卷积、一次实例归一化、一次LeakyReLu线性激活和一次倍数为2的上采样;
(2-10)将编码器的第一个输出与第五条路径的输出进行拼接;
执行一次卷积核大小为3×3的普通卷积、一次实例归一化、一次LeakyReLu线性激活和一次倍数为2的上采样,作为第二个特征图输出;
(2-11)正向传播,得到分割概率;
(2-12)使用交叉熵损失函数作为基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型的损失函数对分割概率进行计算得到分割损失;
(2-13)通过分割损失反向传播确定梯度向量,更新基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型参数;
(2-14)使用二元交叉熵损失函数作为熵级域判别器的损失函数对源域遥感卫星影像和目标域遥感卫星影像的判别结果进行计算得到对抗损失;
(2-15)用有监督的源域分割模型对目标域遥感卫星影像进行预测输出,用分割预测的熵映射来表示目标域遥感卫星影像的每个影像块的不确定性,对其不确定性值从小到大排序,前百分之五十为容易域自适应的目标域遥感卫星影像,后百分之五十为难以域自适应的目标域遥感卫星影像,获取容易域自适应的目标域遥感卫星影像和其预测图作为伪标签,并获取难以域自适应的目标域遥感卫星影像;
(2-16)先忽略难以域自适应的目标域遥感卫星影像,把容易域自适应的目标域遥感卫星影像当作输入,将其和源域遥感卫星影像以及源域遥感卫星影像的标签数据输入到基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型中训练;
(2-17)通过正向传播,得到分割概率;
(2-18)使用交叉熵损失函数作为基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型的损失函数对分割概率进行计算得到分割损失,使用二元交叉熵损失函数作为语义级域判别器的损失函数,对得到的分割图计算对抗损失;
(2-19)通过分割损失和对抗损失的反向传播,确定梯度向量,更新基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型参数;
(2-20)重复上述过程直到设定次数或误差损失的平均值不再下降,训练完成,得到容易域自适应的目标域分割模型;
(2-21)用容易域自适应的目标域分割模型重新预测目标域遥感卫星影像,用分割预测的熵映射来表示目标域遥感卫星影像的每个影像块的不确定性,对其不确定性值从小到大排序,前百分之五十为容易域自适应的目标域遥感卫星影像,后百分之五十为难以域自适应的目标域遥感卫星影像,获取到第二次的容易域自适应的目标域遥感卫星影像和其预测图作为伪标签,并获取第二次的难以域自适应的目标域遥感卫星影像;
(2-22)把第二次的容易域自适应的目标域遥感卫星影像以及其预测图加入到源域训练集中去,目标域为第二次的难以域自适应的目标域遥感卫星影像;
(2-23)将源域训练集和第二次的难以域自适应的目标域遥感卫星影像输入到基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型中训练;
(2-24)通过正向传播,得到分割概率;
(2-25)使用交叉熵损失函数作为基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型的损失函数对分割概率进行计算得到分割损失,使用二元交叉熵损失函数作为语义级域判别器的对抗损失函数,对得到的分割图计算对抗损失;
(2-26)反向传播确定梯度向量,更新模型参数;
(2-27)判断是否达到设定的次数,若是则得到最终的基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型,否则继续训练;
13)对基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型求解和验证:将未标记的目标域遥感卫星影像输入到训练好的基于伪标签生成的从局部到全局的域自适应网络模型中进行模型测试并得到目标域影像地物语义分割结果。
2.根据权利要求1所述的一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法,其特征在于,所述基于伪标签生成的从局部到全局的域自适应遥感影像语义分割准备工作包括以下步骤:
21)读取原始Tif格式的源域遥感卫星影像以及目标域遥感卫星影像;对源域遥感卫星影像以及目标域遥感卫星影像进行不重叠的连续裁剪,生成多个256×256像素的固定大小影像块,以便于输入到基于伪标签生成的从局部到全局的域自适应网络模型中,将原始Tif格式的源域遥感卫星影像以及目标域遥感卫星影像导出为.jpg格式;
22)对上述处理好的影像块进行筛选,去除标记有误的影像块。
3.根据权利要求1所述的种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法,其特征在于,所述对基于伪标签生成的从局部到全局的域自适应遥感影像语义分割模型求解和验证包括以下步骤:
31)读取目标域遥感卫星影像,把目标域遥感卫星影像输出为.jpg格式;
32)将目标域遥感卫星影像进行不重叠的连续裁剪,生成多个256×256像素的固定大小影像块,以便于输入到基于伪标签生成的从局部到全局的域自适应网络模型中进行模型验证;
33)将预处理后的目标域遥感卫星影像输入到训练好的基于伪标签生成的从局部到全局的域自适应网络模型中进行地物语义分割;
34)得到分割好的域自适应的遥感卫星影像地物分割图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310014291.9A CN115830597B (zh) | 2023-01-05 | 2023-01-05 | 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310014291.9A CN115830597B (zh) | 2023-01-05 | 2023-01-05 | 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115830597A CN115830597A (zh) | 2023-03-21 |
CN115830597B true CN115830597B (zh) | 2023-07-07 |
Family
ID=85520197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310014291.9A Active CN115830597B (zh) | 2023-01-05 | 2023-01-05 | 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115830597B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117934519B (zh) * | 2024-03-21 | 2024-06-07 | 安徽大学 | 一种非配对增强合成的食管肿瘤ct图像自适应分割方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242134A (zh) * | 2020-01-15 | 2020-06-05 | 武汉科技大学 | 一种基于特征自适应学习的遥感影像地物分割方法 |
CN114708434A (zh) * | 2022-04-18 | 2022-07-05 | 浙江大学 | 基于迭代域内适应和自训练的跨域遥感图像语义分割方法 |
CN115049841A (zh) * | 2022-06-14 | 2022-09-13 | 西安电子科技大学 | 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018126664A1 (de) * | 2017-10-27 | 2019-05-02 | GM Global Technology Operations LLC | Domänenanpassung durch klassenausgeglichenes selbsttraining mit räumlichen prioren |
CN111199550B (zh) * | 2020-04-09 | 2020-08-11 | 腾讯科技(深圳)有限公司 | 图像分割网络的训练方法、分割方法、装置和存储介质 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
CN113378906B (zh) * | 2021-06-04 | 2022-05-13 | 武汉大学 | 一种特征自适应对齐的无监督域适应遥感图像语义分割方法 |
CN114120110B (zh) * | 2021-11-22 | 2022-08-05 | 中国科学院紫金山天文台 | 一种混杂场景机载激光点云分类的多粒度计算方法 |
CN115019104A (zh) * | 2022-06-23 | 2022-09-06 | 中山大学 | 基于多源域自注意力的小样本遥感图像分类方法及*** |
-
2023
- 2023-01-05 CN CN202310014291.9A patent/CN115830597B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242134A (zh) * | 2020-01-15 | 2020-06-05 | 武汉科技大学 | 一种基于特征自适应学习的遥感影像地物分割方法 |
CN114708434A (zh) * | 2022-04-18 | 2022-07-05 | 浙江大学 | 基于迭代域内适应和自训练的跨域遥感图像语义分割方法 |
CN115049841A (zh) * | 2022-06-14 | 2022-09-13 | 西安电子科技大学 | 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115830597A (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934163B (zh) | 一种基于场景先验和特征再融合的航空图像车辆检测方法 | |
CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
CN108460764A (zh) | 基于自动上下文和数据增强的超声图像智能分割方法 | |
CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及*** | |
Li et al. | Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing | |
KR102346676B1 (ko) | 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법 | |
US20230005278A1 (en) | Lane extraction method using projection transformation of three-dimensional point cloud map | |
CN112419512B (zh) | 一种基于语义信息的空中三维模型修复***及方法 | |
CN112101309A (zh) | 基于深度学习分割网络的地物目标识别方法和装置 | |
CN115830597B (zh) | 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法 | |
CN114092439A (zh) | 一种多器官实例分割方法及*** | |
CN115830471B (zh) | 一种多尺度特征融合和对齐的域自适应云检测方法 | |
CN114049356B (zh) | 一种结构表观裂缝检测方法、装置及*** | |
CN114119480A (zh) | 一种基于深度学习的裂纹缺陷检测*** | |
CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
CN112991364A (zh) | 基于卷积神经网络跨模态融合的道路场景语义分割方法 | |
CN116994140A (zh) | 基于遥感影像的耕地提取方法、装置、设备和介质 | |
CN115294541A (zh) | 一种局部特征增强Transformer道路裂缝检测方法 | |
CN116597270A (zh) | 基于注意力机制集成学习网络的道路损毁目标检测方法 | |
CN116612280A (zh) | 车辆分割方法、装置、计算机设备和计算机可读存储介质 | |
Jiang et al. | Automatic pixel-level detection and measurement of corrosion-related damages in dim steel box girders using Fusion-Attention-U-net | |
CN112215301B (zh) | 基于卷积神经网络的影像直线探测方法 | |
US20230281877A1 (en) | Systems and methods for 3d point cloud densification | |
CN116452556A (zh) | 基于交叉特征融合的金属膜片表面缺陷检测方法 | |
CN115861713A (zh) | 一种基于多任务学习的颈动脉斑块超声图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |