CN116486408A - 遥感图像跨域语义分割方法及装置 - Google Patents
遥感图像跨域语义分割方法及装置 Download PDFInfo
- Publication number
- CN116486408A CN116486408A CN202310538944.3A CN202310538944A CN116486408A CN 116486408 A CN116486408 A CN 116486408A CN 202310538944 A CN202310538944 A CN 202310538944A CN 116486408 A CN116486408 A CN 116486408A
- Authority
- CN
- China
- Prior art keywords
- domain
- network
- semantic segmentation
- style
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000006978 adaptation Effects 0.000 claims abstract description 71
- 230000005012 migration Effects 0.000 claims abstract description 68
- 238000013508 migration Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000002372 labelling Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 26
- 230000008447 perception Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000036039 immunity Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 8
- 238000003709 image segmentation Methods 0.000 abstract description 7
- 125000004122 cyclic group Chemical group 0.000 abstract description 6
- 238000004590 computer program Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种遥感图像跨域语义分割方法及装置，所述方法包括构建DeeplabV3语义分割网络，采用源域有标注数据对DeeplabV3语义分割网络进行预训练；构建CycleGAN风格迁移网络，进行像素级域适应和特征级域适应，得到域适应CycleGAN风格迁移网络；利用域适应CycleGAN风格迁移网络将目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；利用预训练后的DeeplabV3语义分割网络对源域风格的目标域遥感图像进行语义分割，得到分割结果。本发明将循环一致性对抗网络应用于遥感图像的不同数据域的风格迁移，利用位置注意力增强的DeepLabV3语义分割网络用于遥感图像的跨域语义分割，在目标域缺乏标注信息且具有较大分布差异的情况下，能够有效提高目标域的遥感图像分割效果。
Description
技术领域
本发明属于计算机技术领域，具体涉及一种遥感图像跨域语义分割方法及装置。
背景技术
卫星遥感技术因其客观、快速、准确获取数据的特点，已成为自然资源监测工作中不可或缺的技术手段。作为自然资源管理的先决条件，如何从海量遥感图像中自动识别和提取影像中的各类地物对自然资源调查监测意义重大。
相关技术中，遥感图像语义分割能够自动实现图像分类标注，获取有效的地表空间结构信息和几何信息，精准识别各类自然资源要素，使得遥感图像自动解译成为可能。特别是近年来以卷积神经网络(Convolutional Neural Networks，CNN)为代表的深度学习方法，具有强大的特征抽取能力，极大提高了遥感图像语义分割的精度。在已有研究中，SegNet、U-Net、PSPNets、DeepLab等CNN模型已经展示了它们在遥感语义分割任务的有效性。在数据集存在高质量语义标注的情况下，训练一个最先进的模型可以很容易地获得超过80％的分割准确率。
然而，这些基于CNN的方法只有在训练集(源域)和测试集(目标域)的分布相似时才能够较好地泛化至测试图像。由于CNN对不同数据的分布敏感性较高，直接将源域数据训练的模型应用于分布差异较大的目标域时无法给出令人满意的分割效果。而在实际场景中，由于光照条件、成像传感器、地理位置等多种因素的影响，导致不同的遥感图像具有较大的数据偏移。例如，从不同卫星传感器获取的图像可能具有不同的颜色，在不同季节拍摄的同一农作物具有不同的光谱特征。对目标域图像进行语义标注是提高模型分割精度的有效手段，然而手动标记每个数据集需要昂贵的人力成本和时间成本。
为了在不对目标域进行重新标注的前提下提高分割效果，作为迁移学习的一个分支，域适应通过最小化源域和目标域之间的分布差异来提高模型在目标域的泛化能力。在域适应中，主要采用分布差异最小化或对抗学习的方式以实现深层级特征的语义对齐。但是，深层特征的语义对齐可能无法保持对图像低层级外观变化的鲁棒性，容易导致前景目标与背景混淆，造成边界模糊，导致分割效果差。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种遥感图像跨域语义分割方法及装置，以解决现有技术无法保持对图像低层级外观变化的鲁棒性，容易导致前景目标与背景混淆，造成边界模糊，导致分割效果差的问题。
为实现以上目的，本发明采用如下技术方案：一种遥感图像跨域语义分割方法，包括：
构建用于位置注意力增强的DeeplabV3语义分割网络，采用源域有标注数据对所述DeeplabV3语义分割网络进行预训练，得到预训练后的DeeplabV3语义分割网络；
构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，对所述CycleGAN风格迁移网络进行像素级域适应和特征级域适应，得到域适应CycleGAN风格迁移网络；
获取目标域遥感图像，利用所述域适应CycleGAN风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；
利用所述预训练后的DeeplabV3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
进一步的，所述构建用于位置注意力增强的DeeplabV3语义分割网络，包括：
构建位置注意力模块；
构建编码器网络；所述编码器网络采用具有ResNet101残差结构的ResNet101网络；
将所述位置注意力模块嵌入至所述ResNet101残差结构中，得到DeeplabV3语义分割网络。
进一步的，采用源域有标注数据对所述DeeplabV3语义分割网络进行预训练，包括：
获取源域数据和目标域数据，对所述源域数据进行标注，得到源域标签数据；
将所述源域数据输入所述DeeplabV3语义分割网络的编码器网络，进行位置注意力细化，得到分割结果；
计算所述分割结果与源域标签数据之间的像素分类损失函数；
利用所述分类损失函数对所述DeeplabV3语义分割网络进行训练。
进一步的，所述将所述源域数据输入所述DeeplabV3语义分割网络的编码器网络，进行位置注意力细化，包括：
将编码器网络中间层的特征张量输入位置注意力模块对其进行位置信息编码，得到方向感知特征图；所述方向感知特征图包括纵向感知特征图和横向感知特征图；
连接所述纵向感知特征图和横向感知特征图并进行卷积变换，得到中间特征图；
沿空间维度将所述中间特征图分解为第一张量和第二张量；
对所述第一张量和第二张量进行卷积变换，得到所述源域数据相同大小的原始特征张量，得到注意力权重；
基于所述注意力权重和原始特征张量，获取位置注意力增强的特征表示。
进一步的，所述像素分类损失函数为：
其中，σ表示softmax函数，I表示所述语义分割网络，1[.]为指示函数，若k＝ys为1，反之为0。
进一步的，所述构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，包括：
构建由目标域转换至源域的第一生成器网络，及由源域转换至目标域的第二生成器网络；
利用PatchGAN网络构建源域判别器网络和目标域判别器网络；
基于所述第一生成器网络、第二生成器网络、源域判别器网络和目标域判别器网络得到用于循环一致性对抗域适应的CycleGAN风格迁移网络。
进一步的，对所述CycleGAN风格迁移网络进行像素级域适应，包括：
将源域数据输入所述第二生成器网络，经过从源域到目标域的映射，得到转换为目标域风格的源域图像；
将所述目标域风格的源域图像输入目标域判别器网络，得到源域图像的第一判别输出；
将目标域数据输入目标域判别器网络，得到目标域图像的第二判别输出；
利用所述第一判别输出和第二判别输出，计算目标域对抗损失；
将目标域数据数据输入第一生成器网络，经过从目标域到源域的映射，得到转换为源域风格的目标域图像；
将所述源域风格的目标域图像输入源域判别器网络，得到目标域图像的第三判别输出；
将源域图像输入源域判别器网络，得到源域图像的第四判别输出；
利用第三判别器输出和第四判别器输出计算源域对抗损失；
其中，所述目标对抗损失和所述源域对抗损失均设有循环一致性约束。
进一步的，对所述CycleGAN风格迁移网络进行特征级域适应，包括：
将目标域风格的源域图像输入预设的遥感语义分割网络，获取最后一层的第一特征输出；
将目标域图像输入所述遥感语义分割网络，获取最后一层的第二特征输出；
利用所述第一特征和第二特征输出计算特征级的对抗损失函数；
利用所述对抗损失函数计算CycleGAN风格迁移网络的总损失，以优化模型参数。
本申请实施例提供一种遥感图像跨域语义分割装置，包括：
第一构建模块，用于构建用于位置注意力增强的DeeplabV3语义分割网络，采用源域有标注数据对所述DeeplabV3语义分割网络进行预训练，得到预训练后的DeeplabV3语义分割网络；
第二构建模块，用于构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，对所述CycleGAN风格迁移网络进行像素级域适应和特征级域适应，得到域适应CycleGAN风格迁移网络；
转换模块，用于获取目标域遥感图像，利用所述域适应CycleGAN风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；
分割模块，用于利用所述预训练后的DeeplabV3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种遥感图像跨域语义分割方法及装置，本申请通过构建位置注意力增强的DeepLabV3语义分割网络，并采用源域有标注数据对所述语义分割网络模型进行遥感语义分割预训练；然后构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，通过对CycleGAN风格迁移网络进行像素级域适应和特征级域适应；利用域适应完成的CycleGAN风格迁移网络将目标域图像转换为源域风格；利用预训练完成的DeepLabV3语义分割网络对转换为源域风格的目标域遥感图像进行语义分割。本申请将循环一致性对抗网络应用于遥感图像的不同数据域的风格迁移，利用位置注意力增强的DeepLabV3语义分割网络用于遥感图像的跨域语义分割，在目标域缺乏标注信息且具有较大分布差异的情况下，能够有效提高目标域的遥感图像分割效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明遥感图像跨域语义分割方法的步骤示意图；
图2为本发明遥感图像跨域语义分割装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的遥感图像跨域语义分割方法及装置。
首先，定义源域数据为XS，目标域数据为XT，源域标签数据为YS，目标域数据没有标签信息。其中，源域与目标域图像的像元类别数为K，(xs,ys)～(XS,YS)表示源域中的采样数据，xt～XT表示目标域中的采样数据。本文方法旨在利用有标注源域数据和无标注目标域数据联合训练一个风格迁移网络，使得目标域图像可以经由该网络转换至源域风格，从而缩小目标域图像与源域图像
′的数据偏移。我们定义经由风格迁移后源域风格的目标域数据为Ys。这样，源域数据训练的位置注意力增强的遥感语义分割网络可以准确识别目标域数据′
Ys上的自然资源要素。
如图1所示，本申请实施例中提供的遥感图像跨域语义分割方法，包括：
S101，构建用于位置注意力增强的DeeplabV3语义分割网络，采用源域有标注数据对所述DeeplabV3语义分割网络进行预训练，得到预训练后的DeeplabV3语义分割网络；
一些实施例中，所述构建用于位置注意力增强的DeeplabV3语义分割网络，包括：
构建位置注意力模块；
构建编码器网络；所述编码器网络采用具有ResNet101残差结构的ResNet101网络；
将所述位置注意力模块嵌入至所述ResNet101残差结构中，得到DeeplabV3语义分割网络。
作为一种优选的实施方式，采用源域有标注数据对所述DeeplabV3语义分割网络进行预训练，包括：
获取源域数据和目标域数据，对所述源域数据进行标注，得到源域标签数据；
将所述源域数据输入所述DeeplabV3语义分割网络的编码器网络，进行位置注意力细化，得到分割结果；
计算所述分割结果与源域标签数据之间的像素分类损失函数；
利用所述分类损失函数对所述DeeplabV3语义分割网络进行训练。
作为一个实施例，所述将所述源域数据输入所述DeeplabV3语义分割网络的编码器网络，进行位置注意力细化，包括：
将编码器网络中间层的特征张量输入位置注意力模块对其进行位置信息编码，得到方向感知特征图；所述方向感知特征图包括纵向感知特征图和横向感知特征图；
连接所述纵向感知特征图和横向感知特征图并进行卷积变换，得到中间特征图；
沿空间维度将所述中间特征图分解为第一张量和第二张量；
对所述第一张量和第二张量进行卷积变换，得到所述源域数据相同大小的原始特征张量，得到注意力权重；
基于所述注意力权重和原始特征张量，获取位置注意力增强的特征表示。
具体的，本申请中将位置注意力机制与DeepLabV3+网络相融合，提出一种基于改进的DeepLabV3+遥感影像语义分割模型。主要包括：在特征编码器部分，使用ResNet101残差网络抽取遥感图像的高维特征进行训练，位置注意力模块被嵌入至ResNet101残差网络的残差结构中。由于残差网络是由多个残差结构堆叠构成，不同层级的残差结构中的位置注意力模块可以对不同尺度的特征图进行细化，因此，位置注意力模块不仅细化了重要的空间特征表示，同时顾及了遥感图像的多尺度特征，可以更好地获取不同形状大小的地物目标信息。具体地，位置注意力细化的过程为：
在一个残差结构内，输入位置注意力模块的特征张量定义为F＝[f1,f2,…,fc]∈RC×H×W，其中C表示特征图的通道数，H表示特征图的高度，W表示特征图的高度。首先，使用两个空间范围的池化核(H,1)和(1,W)来分别沿着水平坐标和垂直坐标编码每个通道。其中，第c个通道在高度h处的输出为：
由此得到纵向感知特征图。类似的，在宽度为w处的第c个通道的输出为：
由此得到横向感知特征图。上述两种变换分别沿两个空间方向聚合特征，产生一对方向感知特征图。之后，计算位置注意力权重，对于上述产生的方向感知特征图，首先连接纵向感知特征图与横向感知特征图，之后对其进行1×1卷积变换(Conv1×1)，产生中间特征图：
fmid＝δ(Conv1×1([zh,zw]))
其中，[·,·]表示沿着空间维度的连接操作，δ表示非线性激活函数，表示是在纵向和横向编码空间信息的中间特征图，r表示用于控制通道数量的缩减率。之后，沿空间维度把fmid分解两个独立的张量/>和进而采用1×1卷积将/>和/>变换为与输入特征张量F具有相同大小的张量，得到对应的注意力权重：
其中，σ是sigmoid函数。r表示用于控制通道数量的缩减率以降低模型计算的复杂度。之后，利用位置注意力权重与原始特征张量F获取位置注意力细化的特征表示F′：
其中，c表示特征图的通道索引，i,j分别表示特征图空间位置的水平与垂直索引。位置注意力可以沿着一个空间方向捕获长程相关性，同时可以沿着另一个空间方向保留精确的位置信息。然后，将得到的特征图分别编码成一对方向感知和位置敏感的注意力图，它们可以互补地应用于输入特征图，以增强感兴趣对象的表示。
为了保证上述遥感影像中的各类自然资源要素可以被准确识别，首先利用有标注的源域数据对上述遥感语义分割网络进行有监督预训练。具体地，将源域图像输入预先构建的DeeplabV3语义分割网络的编码器网络，得到其预测分割结果。进一步地，利用源域的标签信息，计算源域图像的像素分类损失：
其中，σ表示softmax函数，I表示所述语义分割网络，为指示函数，若k＝ys为1，反之为0。
S102，构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，对所述CycleGAN风格迁移网络进行像素级域适应和特征级域适应，得到域适应CycleGAN风格迁移网络；
一些实施例中，所述构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，包括：
构建由目标域转换至源域的第一生成器网络，及由源域转换至目标域的第二生成器网络；
利用PatchGAN网络构建源域判别器网络和目标域判别器网络；
基于所述第一生成器网络、第二生成器网络、源域判别器网络和目标域判别器网络得到用于循环一致性对抗域适应的CycleGAN风格迁移网络。
作为一个实施例，对所述CycleGAN风格迁移网络进行像素级域适应，包括：
将源域数据输入所述第二生成器网络，经过从源域到目标域的映射，得到转换为目标域风格的源域图像；
将所述目标域风格的源域图像输入目标域判别器网络，得到源域图像的第一判别输出；
将目标域数据输入目标域判别器网络，得到目标域图像的第二判别输出；
利用所述第一判别输出和第二判别输出，计算目标域对抗损失；
将目标域数据数据输入第一生成器网络，经过从目标域到源域的映射，得到转换为源域风格的目标域图像；
将所述源域风格的目标域图像输入源域判别器网络，得到目标域图像的第三判别输出；
将源域图像输入源域判别器网络，得到源域图像的第四判别输出；
利用第三判别器输出和第四判别器输出计算源域对抗损失；
其中，所述目标对抗损失和所述源域对抗损失均设有循环一致性约束。
作为一个实施例，对所述CycleGAN风格迁移网络进行特征级域适应，包括：
将目标域风格的源域图像输入预设的遥感语义分割网络，获取最后一层的第一特征输出；
将目标域图像输入所述遥感语义分割网络，获取最后一层的第二特征输出；
利用所述第一特征和第二特征输出计算特征级的对抗损失函数；
利用所述对抗损失函数计算CycleGAN风格迁移网络的总损失，以优化模型参数。
具体的，本申请中考虑到不同来源的遥感图像具有较大的外观变化，为了提高语义分割模型在无标注目标域数据集的泛化能力，基于风格迁移的思想，采用CycleGAN网络进行域间对抗训练，以学习域间不变特征表示。这样，目标域的图像可以转换至源域风格，从而使得语义分割网络泛化至无标注的目标域。
本文采用的循环一致性对抗域适应作为一类用于无监督机器学习的算法，能够生成服从真实数据概率分布的数据。生成对抗网络由生成器和判别器两部分构成，其中生成器生成试图欺骗判别器的样本数据，而判别器被训练来辨别所生成的样本数据与真实数据之间的相关性。两者之间的对抗关系使得生成器和判别器在连续的迭代训练中促进对方完成训练。当判别器无法辨别样本来源时，则表明生成器能够生成符合真实数据分布的样本，即对抗训练任务完成。
需要说明的是，CycleGAN内部包含两个生成器和判别器，来实现两个不同图像之间的相互映射。本申请中，定义GT→S表示由目标域图像映射至源域图像的第一生成器，GS→T表示由源域图像映射至目标域图像的第二生成器，Ds为源域判别器网络，用于判断生成图像是否为源域图像；DT为目标域判别器网络，用于判断生成图像是否为目标域图像，Dfeat为特征级判别器。本申请采用U-Net构建生成器网络，采用PatchGAN构建判别器网络。基于上述CycleGAN网络，本文采用联合像素级域适应与特征级域适应的多层次域适应方法，对该网络进行对抗训练。
其中，像素级域适应具体如下：
(1)源域迁移至目标域的对抗学习：将源域图像xs输入CycleGAN的第一生成器GS→T中，得到转换为目标域风格的源域图像GS→T(xs)。之后将目标域风格的源域图像GS→T(xs)输入CycleGAN的目标域判别器网络DT，得到该图像的判别输出DT(GS→T(xs))；同时，将目标域图像xt输入CycleGAN的目标域判别器网络DT，得到目标域图像的判别输出DT(xt)。源域迁移至目标域的对抗损失为：
(2)目标域迁移至源域的对抗学习：将目标域图像xt输入CycleGAN的第一生成器GT→S中，得到转换为源域风格的目标域图像GT→S(xs)。之后将源域风格的目标域图像GT→S(xs)输入CycleGAN的源域判别器网络DS，得到该图像的判别输出DS(GT→S(xt))；同时，我们将源域图像xs输入CycleGAN的目标域判别器网络DS，得到目标域图像的判别输出DS(xs)。目标域迁移至源域的对抗损失为：
为了在转换过程中保存单个域的有效信息，要求将输入图像的风格转换从原始域迁移为另一域图像的风格后可以再映射回原始的域，以重建原始样本，从而实现循环一致性。对此施加循环一致性约束为：
其中，特征级域适应具体为：
像素级域适应将源域和目标域在风格上映射为同一外观类型，缩小了不同数据分布的差异。但像素级域适应是由CycleGAN网络实现，遥感语义分割网络提取不同域的特征可能仍存在一定程度的偏移，因此需要进行遥感语义分割网络的特征对齐。具体地，将目标域风格的源域图像输入遥感语义分割网络I，获取I最后一层的特征输出I(GS→T(XS))。同时，将目标域图像输入遥感语义分割网络I，获取I最后一层的特征输出I(XT)。利用CycleGAN网络的特征判别器对上述特征进行判别，特征级域适应的对抗损失为：
最后，联合优化以上各项损失，模型的总损失为：
S103，获取目标域遥感图像，利用所述域适应CycleGAN风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；
然后通过域适应CycleGAN风格迁移网络就能够将待转换的目标域遥感图像转换为源域风格，从而得到源域风格的目标域遥感图像。
S104，利用所述预训练后的DeeplabV3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
最后利用训练好的DeeplabV3语义分割网络对源域风格的目标域遥感图像进行语义分割，得到分割结果。
遥感图像跨域语义分割方法的工作原理为：本申请通过构建位置注意力增强的DeepLabV3语义分割网络，并采用源域有标注数据对所述语义分割网络模型进行遥感语义分割预训练；然后构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，通过对CycleGAN风格迁移网络进行像素级域适应和特征级域适应；利用域适应完成的CycleGAN风格迁移网络将目标域图像转换为源域风格；利用预训练完成的DeepLabV3语义分割网络对转换为源域风格的目标域遥感图像进行语义分割。本申请将循环一致性对抗网络应用于遥感图像的不同数据域的风格迁移，利用位置注意力增强的DeepLabV3语义分割网络用于遥感图像的跨域语义分割，在目标域缺乏标注信息且具有较大分布差异的情况下，能够有效提高目标域的遥感图像分割效果。
本申请为了捕获重要自然资源要素的鉴别性特征，采用设置了位置注意力增强的遥感语义分割网络。具体地，将位置注意力模块嵌入至DeepLabV3+语义分割网络的特征编码网络中，沿着不同的空间方向细化图像特征表示。考虑到不同来源的遥感图像具有较大的外观变化，为了提高语义分割模型在无标注目标域数据集的泛化能力，采用联合像素级域适应和特征级域适应的CycleGAN网络进行域间对抗训练，以学习域间不变特征表示。之后，利用CyCleGAN网络将目标域的图像被转换至源域风格，使得语义分割网络可以作用于无标注的目标域。
如图2所示，本申请实施例提供一种遥感图像跨域语义分割装置，包括：
第一构建模块201，用于构建用于位置注意力增强的DeeplabV3语义分割网络，采用源域有标注数据对所述DeeplabV3语义分割网络进行预训练，得到预训练后的DeeplabV3语义分割网络；
第二构建模块202，用于构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，对所述CycleGAN风格迁移网络进行像素级域适应和特征级域适应，得到域适应CycleGAN风格迁移网络；
转换模块203，用于获取目标域遥感图像，利用所述域适应CycleGAN风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；
分割模块204，用于利用所述预训练后的DeeplabV3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
本申请实施例提供的遥感图像跨域语义分割装置的工作原理为，第一构建模块201构建用于位置注意力增强的DeeplabV3语义分割网络，采用源域有标注数据对所述DeeplabV3语义分割网络进行预训练，得到预训练后的DeeplabV3语义分割网络；第二构建模块202构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，对所述CycleGAN风格迁移网络进行像素级域适应和特征级域适应，得到域适应CycleGAN风格迁移网络；转换模块203获取目标域遥感图像，利用所述域适应CycleGAN风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；分割模块204利用所述预训练后的DeeplabV3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
综上所述，本发明提供一种遥感图像跨域语义分割方法及装置，本申请通过构建位置注意力增强的DeepLabV3语义分割网络，并采用源域有标注数据对所述语义分割网络模型进行遥感语义分割预训练；然后构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，通过对CycleGAN风格迁移网络进行像素级域适应和特征级域适应；利用域适应完成的CycleGAN风格迁移网络将目标域图像转换为源域风格；利用预训练完成的DeepLabV3语义分割网络对转换为源域风格的目标域遥感图像进行语义分割。本申请将循环一致性对抗网络应用于遥感图像的不同数据域的风格迁移，利用位置注意力增强的DeepLabV3语义分割网络用于遥感图像的跨域语义分割，在目标域缺乏标注信息且具有较大分布差异的情况下，能够有效提高目标域的遥感图像分割效果。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种遥感图像跨域语义分割方法，其特征在于，包括：
构建用于位置注意力增强的DeeplabV3语义分割网络，采用源域有标注数据对所述DeeplabV3语义分割网络进行预训练，得到预训练后的DeeplabV3语义分割网络；
构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，对所述CycleGAN风格迁移网络进行像素级域适应和特征级域适应，得到域适应CycleGAN风格迁移网络；
获取目标域遥感图像，利用所述域适应CycleGAN风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；
利用所述预训练后的DeeplabV3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
2.根据权利要求1所述的方法，其特征在于，所述构建用于位置注意力增强的DeeplabV3语义分割网络，包括：
构建位置注意力模块；
构建编码器网络；所述编码器网络采用具有ResNet101残差结构的ResNet101网络；
将所述位置注意力模块嵌入至所述ResNet101残差结构中，得到DeeplabV3语义分割网络。
3.根据权利要求2所述的方法，其特征在于，采用源域有标注数据对所述DeeplabV3语义分割网络进行预训练，包括：
获取源域数据和目标域数据，对所述源域数据进行标注，得到源域标签数据；
将所述源域数据输入所述DeeplabV3语义分割网络的编码器网络，进行位置注意力细化，得到分割结果；
计算所述分割结果与源域标签数据之间的像素分类损失函数；
利用所述分类损失函数对所述DeeplabV3语义分割网络进行训练。
4.根据权利要求2所述的方法，其特征在于，所述将所述源域数据输入所述DeeplabV3语义分割网络的编码器网络，进行位置注意力细化，包括：
将编码器网络中间层的特征张量输入位置注意力模块对其进行位置信息编码，得到方向感知特征图；所述方向感知特征图包括纵向感知特征图和横向感知特征图；
连接所述纵向感知特征图和横向感知特征图并进行卷积变换，得到中间特征图；
沿空间维度将所述中间特征图分解为第一张量和第二张量；
对所述第一张量和第二张量进行卷积变换，得到所述源域数据相同大小的原始特征张量，得到注意力权重；
基于所述注意力权重和原始特征张量，获取位置注意力增强的特征表示。
5.根据权利要求3所述的方法，其特征在于，所述像素分类损失函数为：
其中，σ表示softmax函数，I表示所述语义分割网络，1[.]为指示函数，若k＝ys为1，反之为0。
6.根据权利要求1所述的方法，其特征在于，所述构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，包括：
构建由目标域转换至源域的第一生成器网络，及由源域转换至目标域的第二生成器网络；
利用PatchGAN网络构建源域判别器网络和目标域判别器网络；
基于所述第一生成器网络、第二生成器网络、源域判别器网络和目标域判别器网络得到用于循环一致性对抗域适应的CycleGAN风格迁移网络。
7.根据权利要求6所述的方法，其特征在于，对所述CycleGAN风格迁移网络进行像素级域适应，包括：
将源域数据输入所述第二生成器网络，经过从源域到目标域的映射，得到转换为目标域风格的源域图像；
将所述目标域风格的源域图像输入目标域判别器网络，得到源域图像的第一判别输出；
将目标域数据输入目标域判别器网络，得到目标域图像的第二判别输出；
利用所述第一判别输出和第二判别输出，计算目标域对抗损失；
将目标域数据数据输入第一生成器网络，经过从目标域到源域的映射，得到转换为源域风格的目标域图像；
将所述源域风格的目标域图像输入源域判别器网络，得到目标域图像的第三判别输出；
将源域图像输入源域判别器网络，得到源域图像的第四判别输出；
利用第三判别器输出和第四判别器输出计算源域对抗损失；
其中，所述目标对抗损失和所述源域对抗损失均设有循环一致性约束。
8.根据权利要求7所述的方法，其特征在于，对所述CycleGAN风格迁移网络进行特征级域适应，包括：
将目标域风格的源域图像输入预设的遥感语义分割网络，获取最后一层的第一特征输出；
将目标域图像输入所述遥感语义分割网络，获取最后一层的第二特征输出；
利用所述第一特征和第二特征输出计算特征级的对抗损失函数；
利用所述对抗损失函数计算CycleGAN风格迁移网络的总损失，以优化模型参数。
9.一种遥感图像跨域语义分割装置，其特征在于，包括：
第一构建模块，用于构建用于位置注意力增强的DeeplabV3语义分割网络，采用源域有标注数据对所述DeeplabV3语义分割网络进行预训练，得到预训练后的DeeplabV3语义分割网络；
第二构建模块，用于构建用于循环一致性对抗域适应的CycleGAN风格迁移网络，对所述CycleGAN风格迁移网络进行像素级域适应和特征级域适应，得到域适应CycleGAN风格迁移网络；
转换模块，用于获取目标域遥感图像，利用所述域适应CycleGAN风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；
分割模块，用于利用所述预训练后的DeeplabV3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310538944.3A CN116486408B (zh) | 2023-05-12 | 2023-05-12 | 遥感图像跨域语义分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310538944.3A CN116486408B (zh) | 2023-05-12 | 2023-05-12 | 遥感图像跨域语义分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116486408A true CN116486408A (zh) | 2023-07-25 |
| CN116486408B CN116486408B (zh) | 2024-04-05 |
Family
ID=87217817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310538944.3A Active CN116486408B (zh) | 2023-05-12 | 2023-05-12 | 遥感图像跨域语义分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486408B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094430A (zh) * | 2023-07-19 | 2023-11-21 | 青海师范大学 | 一种农作物分布预测方法、***、设备及介质 |
| CN118037755A (zh) * | 2024-04-11 | 2024-05-14 | 苏州大学 | 一种基于双重空间约束的病灶分割域泛化方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275713A (zh) * | 2020-02-03 | 2020-06-12 | 武汉大学 | 一种基于对抗自集成网络的跨域语义分割方法 |
| CN112991353A (zh) * | 2021-03-12 | 2021-06-18 | 北京航空航天大学 | 一种跨域遥感图像的无监督语义分割方法 |
| CN113378906A (zh) * | 2021-06-04 | 2021-09-10 | 武汉大学 | 一种特征自适应对齐的无监督域适应遥感图像语义分割方法 |
| US20220084173A1 (en) * | 2020-09-17 | 2022-03-17 | Arizona Board of Regents on behalf on Arizona State University | Systems, methods, and apparatuses for implementing fixed-point image-to-image translation using improved generative adversarial networks (gans) |
| US20220148191A1 (en) * | 2020-02-10 | 2022-05-12 | Tencent Technology (Shenzhen) Company Limited | Image segmentation method and apparatus and storage medium |
| CN115496904A (zh) * | 2022-09-22 | 2022-12-20 | 北京工业大学 | 基于像素域适应的红外舰船图像语义分割方法 |
-
2023
- 2023-05-12 CN CN202310538944.3A patent/CN116486408B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275713A (zh) * | 2020-02-03 | 2020-06-12 | 武汉大学 | 一种基于对抗自集成网络的跨域语义分割方法 |
| US20220148191A1 (en) * | 2020-02-10 | 2022-05-12 | Tencent Technology (Shenzhen) Company Limited | Image segmentation method and apparatus and storage medium |
| US20220084173A1 (en) * | 2020-09-17 | 2022-03-17 | Arizona Board of Regents on behalf on Arizona State University | Systems, methods, and apparatuses for implementing fixed-point image-to-image translation using improved generative adversarial networks (gans) |
| CN112991353A (zh) * | 2021-03-12 | 2021-06-18 | 北京航空航天大学 | 一种跨域遥感图像的无监督语义分割方法 |
| CN113378906A (zh) * | 2021-06-04 | 2021-09-10 | 武汉大学 | 一种特征自适应对齐的无监督域适应遥感图像语义分割方法 |
| CN115496904A (zh) * | 2022-09-22 | 2022-12-20 | 北京工业大学 | 基于像素域适应的红外舰船图像语义分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| EFSTATHIOS BRANIKAS等: "A Novel Data Augmentation Method for Improved Visual Crack Detection Using Generative Adversarial Networks", 《IEEE ACCESS》, pages 22051 * |
| 张惊雷;厚雅伟;: "基于改进循环生成式对抗网络的图像风格迁移", 电子与信息学报, no. 05, pages 1216 - 1222 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094430A (zh) * | 2023-07-19 | 2023-11-21 | 青海师范大学 | 一种农作物分布预测方法、***、设备及介质 |
| CN117094430B (zh) * | 2023-07-19 | 2024-04-26 | 青海师范大学 | 一种农作物分布预测方法、***、设备及介质 |
| CN118037755A (zh) * | 2024-04-11 | 2024-05-14 | 苏州大学 | 一种基于双重空间约束的病灶分割域泛化方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116486408B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | A geometry-attentional network for ALS point cloud classification | |
| CN116486408B (zh) | 遥感图像跨域语义分割方法及装置 | |
| CN115601549B (zh) | 基于可变形卷积和自注意力模型的河湖遥感图像分割方法 | |
| Zhou et al. | BOMSC-Net: Boundary optimization and multi-scale context awareness based building extraction from high-resolution remote sensing imagery | |
| CN114255238A (zh) | 一种融合图像特征的三维点云场景分割方法及*** | |
| CN111915618B (zh) | 基于峰值响应增强的实例分割算法、计算设备 | |
| CN113297988B (zh) | 一种基于域迁移和深度补全的物体姿态估计方法 | |
| CN113111716B (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| JP2024513596A (ja) | 画像処理方法および装置、ならびにコンピュータ可読ストレージ媒体 | |
| CN114612660A (zh) | 一种基于多特征融合点云分割的三维建模方法 | |
| CN116434033A (zh) | 面向rgb-d图像稠密预测任务的跨模态对比学习方法及*** | |
| Jiang et al. | Local and global structure for urban ALS point cloud semantic segmentation with ground-aware attention | |
| CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、***、设备及存储介质 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN115588237A (zh) | 一种基于单目rgb图像的三维手部姿态估计方法 | |
| CN113723294B (zh) | 数据处理方法、装置及对象识别方法、装置 | |
| Meng et al. | Physical knowledge-enhanced deep neural network for sea surface temperature prediction | |
| Bi et al. | Critical direction projection networks for few-shot learning | |
| CN114358249A (zh) | 目标识别模型训练、目标识别方法及装置 | |
| Wang et al. | Self-supervised learning for high-resolution remote sensing images change detection with variational information bottleneck | |
| CN117078956A (zh) | 一种基于点云多尺度并行特征提取和注意力机制的点云分类分割网络 | |
| CN116452793A (zh) | 一种基于多视角和多层级的绿色编解码显著目标检测方法 | |
| CN116977265A (zh) | 缺陷检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN116630610A (zh) | 基于语义分割模型和条件随机场的roi区域提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |