CN114663439A - 一种遥感影像海陆分割方法 - Google Patents

一种遥感影像海陆分割方法 Download PDF

Info

Publication number
CN114663439A
CN114663439A CN202210280187.XA CN202210280187A CN114663439A CN 114663439 A CN114663439 A CN 114663439A CN 202210280187 A CN202210280187 A CN 202210280187A CN 114663439 A CN114663439 A CN 114663439A
Authority
CN
China
Prior art keywords
sea
land
sensing image
remote sensing
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210280187.XA
Other languages
English (en)
Inventor
郭海涛
卢俊
龚志辉
阎晓东
张衡
林雨准
刘相云
高慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202210280187.XA priority Critical patent/CN114663439A/zh
Publication of CN114663439A publication Critical patent/CN114663439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种遥感影像海陆分割方法,属于遥感影像处理技术领域。本发明采用编码器和解码器的架构模式,利用Res2Net网络的多层编码模块来实现不同尺寸特征的提取,并利用压缩和注意力模块对不同尺度的特征图进行特征增强,以加强海陆弱边界信息;训练过程中使用深度监督策略,通过对不同解码模块的输出结果分别训练,增强了网络学习目标边界信息的能力,进而提高了遥感影像海陆边界分割的准确性。并选取了两组包含不同海岸类型的遥感影像数据集进行实验,结果表明,本发明能够得到更准确的海陆分割结果以及更加清晰完整的海陆边界。

Description

一种遥感影像海陆分割方法
技术领域
本发明涉及一种遥感影像海陆分割方法,属于遥感影像处理技术领域。
背景技术
随着遥感技术的快速发展,遥感数据获取手段更加多样化,遥感影像的空间分辨率、时间分辨率、光谱分辨率以及辐射分辨率也在不断提高,为大范围海岸地区的研究提供充足的数据支撑。在遥感影像上,将海洋区域和陆地区域进行有效的区分,实现快速高精度的海陆分割,对于海岸线提取、海岛礁识别及近岸目标检测等具有重要应用价值。传统的海陆分割包括阈值分割法、活动轮廓模型法、区域生长法以及基于马尔科夫随机场法等,主要依靠影像中陆地和海域在灰度、纹理等方面的差异进行分割,在水陆交界灰度差异明显、水边线形状简单的情况下能够取得较好的分割结果,但是容易受噪声干扰,需要人为设置参数来调控结果,鲁棒性较差。
深度学习特别是卷积神经网络(Convolutional Neural Networks,CNNs)在图像分类、目标检测以及语义分割等领域取得了超越传统方法的优异成绩,全卷积神经网络(Fully Convolutional Networks,FCN)的出现使得基于CNNs的语义分割技术得到关注。近年来提出的语义分割网络大多是基于FCN的设计原理进行改进,代表网络有SegNet、U-Net及其变体(UNet++、ResUNet)等,这些网络采用了编码-解码结构,由用于特征提取的编码路径和恢复特征图分辨率的解码路径构成,能够充分利用各层的语义信息,得到更为精细的语义分割结果。PSPNet利用金字塔池化模块(Spatial Pyramid Pooling,SPP)提取影像的多尺度信息,Deeplabv3+将空洞卷积应用于语义分割领域,提出了空洞空间金字塔池化模块(Atrous Spatial Pyramid Pooling,ASPP),通过不同采样率的空洞卷积并行采样,以更好地提取影像的多尺度信息。双重注意力网络(DANet)、十字交叉注意力网络(Criss-CrossNetwork,CCNet)等在语义分割网络中引入注意力机制,通过相关性度量计算使影像中特征相似的区域有了相同的响应,从而加强语义分割网络对特定区域特征的学习和有效信息的利用。此外,双边分割网络(Bilateral Segmentation Network,BiseNet)、BiseNet v2等用来权衡语义分割网络的速度和精度,以达到实时分割的目的。
语义分割网络的快速发展为利用CNNs进行遥感影像海陆分割提供了充足的理论支撑,目前有学者以编码-解码架构为基础构建了深层次的网络,同时结合后处理的方法来消除预测结果中出现的孔洞现象。有人利用ResNet的残差块(Res_Block)构建了一种比U-Net更深的DeepUNet网络,设计了DownBlock和UpBlock模块代替编码-解码结构中的卷积层,在光学遥感影像海陆分割任务中取得了比原始U-Net更好的分割结果。也有人同样利用Res_Block构建了Res-UNet,同时利用全连通条件随机场(Conditional Random Field,CRF)模型和形态学运算对分割结果进行后处理。Pourya等基于标准的U型网络结构,使用密集连接的残差块***的聚合多尺度上下文信息,构建了一个深度合适的网络以实现端到端的海陆分割。此外,海陆分割任务同样关注海陆边界分割的准确性,有学者针对这一问题提出了多任务框架,通过扩展网络分支来提高海陆分割精度。例如有人提出多任务网络SeNet,同时进行海陆分割和边缘检测,但是SeNet网络中存在大量标准卷积,占用了大量的存储空间,消耗了大量的运行时间。还有人提出一种结合边缘信息的多任务网络FusionNet,该网络从编码-解码结构中扩展了一个分支构造边缘网络的输出,并与分割网络并行训练学习边界语义信息,以获得空间一致、边界定位良好的分割结果。戴牧宸等针对SAR图像的特点减少BiSeNet网络中空间路径的卷积层数,同时提出边缘增强损失函数策略提升模型的分割能力。
我国海岸线类型复杂多样,不同类型海岸带内地物的光谱、纹理、形状特征各不相同,弱边界(淤泥岸线)和强边界(人工岸线)交替分布,现有研究能够在海陆边界简单的情况下获得较好的分割结果,但是无法实现复杂场景下的海陆分割任务;此外,遥感影像海陆分割任务同样关注边界分割结果,遥感影像中海陆交界处像素占比较低,存在着样本不平衡的问题。因此,现有网络在海陆边界处分割结果准确性难以保证,并且研究中仅对区域分割结果进行评价,难以体现网络对边界的提取能力。
发明内容
本发明的目的是提供一种遥感影像海陆分割方法,以解决目前遥感影像海陆边界处分割不准确的问题。
本发明为解决上述技术问题而提供一种遥感影像海陆分割方法,该分割方法包括以下步骤:
1)获取遥感影像,对遥感影像数据集进行标签制作,形成相应的训练集数据;
2)建立遥感影像海陆分割模型,该海陆分割模型采用编码器和解码器结构,其中编码器采用多层编码模块,每层编码模块用于对遥感影像进行不同尺度特征的提取;所述的解码器包括与多层编码模块对应的多层解码模块,各层解码模块用于对相应层编码模块的输出特征以及上一层编码模块的输出特征上采样至原始影像大小,并将各层解码模块处理后的特征进行融合,对融合后的特征影像进行边缘检测;
3)利用所述训练集数据对建立的遥感影像海陆分割模型进行训练,训练时采用深度监督策略分别对各层解码模块进行训练,并根据各层解码模块的损失函数构建遥感影像海陆分割模型总的损失函数;
4)获取待分割的遥感影像,将其输入到已训练的遥感影像海陆分割模型中,以实现对待分割遥感影像的海陆分割。
本发明采用编码器和解码器的架构模式,利用多层编码模块来实现不同尺寸特征的提取,通过不同尺寸特征的提取来提高遥感影像的表达;训练过程中使用深度监督策略,通过对不同解码模块的输出结果分别训练,增强了网络学习目标边界信息的能力,进而提高遥感影像海陆边界分割的准确性。
进一步地,所述的多层编码模块采用Res2Net网络,包括有5层编码模块,第一层编码模块包括有卷积层和最大池化层,用于对输入的遥感影像进行特征提取,其他各层编码模块均采用残差块,用于对其前一层编码模块的输出结果进行处理。
进一步地,所述的残差块采用Res2_Block。
本发明将Res2_Block残差块内的特征映射分成多个通道组,并在不同的通道组之间设计一个类似残差的连接,使得网络在更细粒度的层次上提高多尺度表达能力。
进一步地,所述的遥感影像海陆分割模型还包括压缩与注意力模块,每层编码模块的输出结果通过对应的压缩与注意力模块处理。
本发明利用压缩与注意力模块来提升有用的特征并抑制对当前任务用处不大的特征,通过对弱海陆边界处的特征图赋予更大的权重,以增强网络对弱边界特征的提取能力。
进一步地,每层解码模块包括一个Res2_Block和一个Upsample,用于逐步恢复特征图至原始输入图像大小。
进一步地,所述遥感影像海陆分割模型训练时的损失函数为:
Figure BDA0003556536620000041
其中M等于解码模块的层数,也是编码模块的层数;
Figure BDA0003556536620000042
表示第m层解码模块的损失函数;lfuse表示各层解码模块融合后的损失函数;
Figure BDA0003556536620000043
和Wfuse分别表示第m层解码模块的损失函数的权重和融合后损失函数的权重。
进一步地,各层解码模块的损失函数以及融合后的损失函数均采用语义分割二分类任务的BCE损失函数。
进一步地,所述BCE损失函数为:
Figure BDA0003556536620000051
其中(r,c)表示像素点的坐标,H、W分别表示影像的高、宽,PG(r,c)和PS(r,c)分别表示该像素点的真值和预测值。
附图说明
图1是本发明所采用的遥感影像的海陆分割模型结构示意图;
图2a是ResNet的残差块的结构图;
图2b是本发明所采用的Res2Net的残差块的结构图;
图3a是SE模块的结构图;
图3b是本发明所采用的SE模块的结构图;
图4a是本发明试验例中Data1中第一场景的训练数据及对应的样本标签;
图4b是本发明试验例中Data1中第二场景的训练数据及对应的样本标签;
图4c是本发明试验例中Data2中第一场景的训练数据及对应的样本标签;
图4d是本发明试验例中Data2中第二场景的训练数据及对应的样本标签;
图5是试验例中本发明与现有其他分割模型的分割结果比较示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步地说明。
本发明采用编码-解码结构的网络模型作为遥感影像的海陆分割模型,其中采用新型骨干网络Res2Net作为编码器进行影像多尺度特征的提取,并在每层特征提取后通过压缩与注意力模块进行处理,以加强网络对弱边界的提取能力;解码时将各特征图上采样(Upsample)作为网络的侧边输出,将各侧边输出进行组合以实现多层次特征融合,并对各特征融合结果使用深度监督策略,最后对网络输出的海陆分割结果进行边缘检测,从而获得水边线,以实现对遥感影像的海陆分割。
1.获取遥感影像数据集,对遥感影像数据集进行标签制作,形成相应的训练集数据。
对本实施例而言,可以将数据集中遥感影像的海陆类别按照像素进行标记,生成对应标签遥感图像,将生成的标签遥感影像作为训练集。
2.建立遥感影像海陆分割模型。
本发明建立遥感影像海陆分割模型如图1所示,该模型为多尺度深度监督U型网络(Multi-Scale Deep Supervision UNet,MSDSUNet),包括有编码器和解码器,其中编码器采用Res2Net网络和压缩与注意力模块;解码器包括5层解码模块,分别对应编码器5层不同尺度的输出特征,每层解码模块分别由一个Res2_Block和一个Upsample组成。
卷积神经网络能够通过不断增加网络的深度和参数来提取更加抽象的特征,而网络层数的加深会导致梯度消失、***以及网络退化等问题,导致网络难以收敛,为此,有人采用ResNet网络来克服这种情况。ResNet网络采用的残差块结构如图2a所示,通过在输入和输出之间增加一条跳跃连接,使得输入信息能够直接传输到后面的层,简化了网络学习的难度。在此基础上,为了能够在更细粒度的层次上提高多尺度表达能力,本发明采用Res2Net网络进行多尺度特征提取。
本实施例中的编码器使用的是Res2Net-50网络,以输入影像大小为512×512×3为例,各层详细信息如表1所示,包括5层编码模块和5个压缩与注意力模块,一层编码模块出对应一个压缩与注意力模块。其中五层编码模块分别为Encoder_1、Encoder_2、Encoder_3、Encoder_4和Encoder_5,5个压缩与注意力模块分别为SA_1、SA_2、SA_3、SA_4和SA_5。Encoder_1包括有卷积层和最大池化层,Encoder_2、Encoder_3、Encoder_4和Encoder_5均采用Res2_Block。
表1
Figure BDA0003556536620000071
其中的残差单元结构(Res2_Block)如图2b所示,该结构在在1×1的卷积层之后将特征图分为s个子集,分别用xi表示,其中i∈{1,2,3,…,s}。每个特征图子集xi具有相同的空间大小,但通道数是原输入特征图的1/s,除x1外每个xi都有其对应的3×3卷积层,分别用Ki表示,xi经过卷积层Ki后输出设为yi,将特征图子集xi和经过Ki-1的特征图子集xi-1相加后输入Ki得到输出yi,其中yi表达式定义如下:
Figure BDA0003556536620000072
从中可以看出Res2_Block中每一个3×3的卷积核Ki都可以接收到此前所有的特征图子集的信息,即{xj,j≤i}的特征信息,使得特征图子集xj经过一个3×3的卷积后就可以得到一个比xj感受野更大的输出结果;为了让不同尺度的信息融合,将所有yi并联并采用1×1的卷积进行融合。这种分组、合并的策略使得卷积层能够更有效的处理特征图,使得Res2_Block输出特征图包含不同感受野,有利于进行多尺度特征的提取,从而使网络可以在更加细粒度的水平上捕捉局部或者全局的图像特征。
输入图像先经过Encoder_1的卷积层和最大池化层的处理后依次进入到Encoder_2、Encoder_3、Encoder_4和Encoder_5四个编码层,每个编码层的输出结果分别进入对应的压缩与注意力模块。
SENet(Squeeze-and-Excitation Networks是最早提出的通道注意力机制,分为压缩(Squeeze)和激励(Excitation)两部分。如图3a所示,已知输入特征图X∈RC*H*W,C、H、W分别为输入特征图的通道数、宽度以及高度,首先使用一个全局平均池化(Avg.Pool)操作压缩X,然后利用两个全连接层(FC)捕获各特征通道之间的相互依赖关系,从而得到激励权重ω,最后将其输出与X的卷积输出Xres逐通道相乘,以实现对特征图的通道重标定。SE模块的输出Xout可以表述为:
Figure BDA0003556536620000081
Xout=ω*Xres+Xres (3)
其中,
Figure BDA0003556536620000082
为sigmoid函数,σ(·)为ReLU激活函数,ω1、ω2为两个全连接层的参数,AvP(X)表示对X的全局平均池化操作。
SA模块扩展了SE模块的重新加权通道,分为压缩(Squeeze)和注意力(Attention)两部分,如图3b所示,其中Squeeze部分与SE模块一致,Attention部分引入两个卷积核大小为3×3的卷积层来聚集非局部特征,然后依据每个特征通道的重要程度,提升有用的特征并抑制对当前任务用处不大的特征。特征图X经过加权通道的两个卷积层的输出为
Figure BDA0003556536620000083
对其进行上采样至Xres大小得到Xattn,将Xattn和Xres逐通道相乘,并与Xattn逐通道相加,得到输出Xout定义如下:
Figure BDA0003556536620000084
Xout=Xattn*Xres+Xattn (5)
其中,
Figure BDA0003556536620000085
表示加权卷积层Conv1、Conv2的输出,Up(·)表示上采样函数。本发明的压缩与注意力模块采用SA模块,以实现对弱海陆边界处的特征图赋予更大的权重,来增强网络对弱边界特征的提取能力。
与编码器中的5个编码层对应,本实施例中的解码器同样采用5个解码模块,每个解码模块分别由一个Res2_Block和一个Upsample组成,用于逐步恢复特征图至原始输入图像大小,特征图每经过一个Upsample层,尺寸增大一倍。其中,每一个解码层与对应层级SA输出的特征图融合,以更好地利用浅层特征图的细节信息和深层特征图的语义信息,从而产生更加精确的海陆分割结果。本实施例将解码阶段每层特征图上采样至原图大小作为侧边输出(Side-Output),并将各特征图进行维度上的叠加(Concat)作为网络最终输出结果,用以实现多层次的特征融合,提高海陆分割的准确性。MSDSUNet解码层结构详细信息如表2所示。
表2
Figure BDA0003556536620000091
3.采用深度监督策略对构建的遥感影像海陆分割模型进行训练。
本发明采用深度监督策略(Deep Supervised,DS),分别对每个侧向输出进行一次损失计算,即分别对每个解码模块的输出进行训练,并将各侧向输出的损失反映在最终的损失函数中,用以对网络的训练过程进行监督,计算公式定义为:
Figure BDA0003556536620000092
其中,
Figure BDA0003556536620000101
表示侧向输出的损失,lfuse表示最终输出总损失,
Figure BDA0003556536620000102
和Wfuse表示每个损失的权重,其中损失函数选择用于语义分割二分类任务的BCE损失函数,定义如下:
Figure BDA0003556536620000103
其中(r,c)表示像素点的坐标,H,W表示影像的高、宽,PG(r,c)和PS(r,c)分别表示该像素点的真值和预测值。训练过程中通过不断学习网络权值参数,使得l的值趋于最低,从而达到网络收敛的目的。
利用步骤1中形成的训练集,采用上述方式对本发明的海陆分割模型进行训练,即可得到训练后的海陆分割模型。
4.利用训练后的对待分割遥感影像进行分割处理。
通过上述过程,可以得到经过训练的海陆分割模型,获取包含有海陆边界的待分割的遥感影像,将获取的遥感影像输入到上述海陆分割模型中进行分割处理,即可得到该遥感影像的海陆边界的分割结果。
为了验证本发明所采用的海陆分割网络的有效性,选取两组公开的遥感影像海陆分割数据集进行实验,分别为A区域的遥感影像记为数据集1(Data1),B地区的遥感影像记为数据集2(Data2)。由于遥感影像覆盖范围广,语义分割等密集预测任务对计算资源要求较高,因此在训练和预测时,两数据集的大幅遥感影像被切分成若干瓦片,这两组数据集的详细信息如表3所示。
表3
Figure BDA0003556536620000104
Figure BDA0003556536620000111
两组数据集部分训练数据和样本标签如图4a、图4b、图4c和图4d所示,其中图4a、图4b是Data1中两种场景下的训练数据及对应的样本标签,图4c和图4d是Data2中两种场景下的训练数据及对应的样本标签,标签中的黑色像素代表陆地区域,灰色代表海洋区域,陆地上的河流、湖泊均被视为陆地类别。此外,对训练标签进行边缘检测,得到1个像素宽的海陆水边线,为下一步评价边缘检测的精度做准备。
下面分别从区域分割和边界检测两个方面评价本发明和现有各网络在海陆分割数据集上的性。将F1分数(F1-score)、平均交并比(Mean Intersection Over Union,MIOU)和平均绝对误差(Mean Absolute Error,MAE)作为区域分割的评价指标,将边缘F1分数(F1-score of boundary,F1-score-b)作为边界检测的评价指标。
(1)F1-score;F1-score是精确率和召回率的调和均值,F1值越高,表明网络海陆分割的准确度越高,这里的F1指的是海、陆两类别的平均值,其表达式如下:
Figure BDA0003556536620000112
Figure BDA0003556536620000113
Figure BDA0003556536620000114
式中TP(True Positive)表示正类被判定为正类,FP(False Positive)表示负类被判定为正类,FN(False Negative)表示负类被判定为负类,TN(True Negative)表示负类被判定为负类,P和R为精确率和召回率,n为分割类别,本试验中n设为2。
(2)MIOU;IOU表示目标实际位置与预测位置的交集与并集的比值,MIOU为各类别IOU的平均值,其表达式如下:
Figure BDA0003556536620000121
(3)MAE是以像素点为单位计算预测结果与真值标签之间的平均绝对误差,能够更好地反映预测误差的实际情况,MAE值越小网络得到的预测结果与真值标签图越接近,如下式所示:
Figure BDA0003556536620000122
式中,Pi表示像素点i处网络输出的分割结果,yi为该处标记的真值。
(4)F1-score-b定义为预测边界像素与标记真值边界像素在β像素内的准确率,计算公式如下所示:
Figure BDA0003556536620000123
式中Pβ和Rβ分别代表边界像素在β像素内的精确率和召回率,本试验β值设为3。F1-score-b可作为边界分割质量的评价标准,对分割结果和标记真值进行边缘提取得到像素宽为1的分割边界。
为了验证本本发明所采用的分割网络的有效性,将其与U-Net、Deeplabv3+、U2-Net和RAUNet进行对比。其中,U-Net、Deeplabv3+为经典的语义分割方法;RAUNet采用编码-解码结构,设计了增强注意力模块(Augmented Attention Module,AAM)以融合多层次特征并捕获全局上下文信息;U2-Net利用两级嵌套的U型结构和设计的残差U型模块(ReSidualU-blocks,RSU),使网络能够从浅层和深层捕获到更丰富的特征信息。实验过程中,U-Net等对比模型均使用已公开的源代码实现,并将所有模型在两个海陆分割数据集上重新训练,以进行比较。
实验采用Windows下的Pytorch机器学习框架,硬件环境为CPU Inter(R)XeonE2176G,GPU GTX 2080Ti,11G显存。各网络实验均在相同的环境中进行,各训练参数保持一致,选择Adam优化器,批大小(batch size)设置为4,初始学习率设为0.0001,共训练50次。
下面对本发明所提出分割网络与所对比网络在两组数据集上的预测结果进行比较。为了更加全面地比较各种方法对海陆的分割能力,从数据集1(Data1)中选出两个典型场景进行分析,分别记为场景1和场景2;从数据集2(Data2)中选出两个典型场景进行分析,分别记为场景3和场景4。每种场景影像、标签以及各网络预测结果如图5所示,从左至右分别为场景1、场景2、场景3和场景4。此外,将本发明网络海陆分割的边界与原始影像叠加,以更加直观的展示本发明网络在海陆分割任务中的有效性。
场景1用来探究各网络在泥沙、河口等弱海陆边界处的提取能力,如图5最左侧的一列影像,上方白色框所示的存在着大量泥沙的海陆边界,U-Net、Deeplabv3+、U2-Net和RAUNet均无法将其正确分类,本发明的分割网络克服了泥沙的干扰,在弱海陆边界处得到了准确的分割结果。下方白色框中包含了大量河口,按照惯例定义河口与第一座桥之间的部分为海域,U-Net、Deeplabv3+、U2-Net将此区域完全错分为陆地,RAUNet仅将部分海域正确分类,本发明的分割网络在该河口处的海陆分割结果更加符合惯例。场景2包含港口、防波堤等结构细长的水工建筑,用来检测网络对边界复杂的人工海岸的海陆分割能力,如图5左侧的第二列影像,从其中白色框可以看出,U-Net和RAUNet能够对部分防波堤区域进行提取,但是分割结果仍然不够准确,而U2-Net和Deeplabv3+完全将防波堤错分为海域,说明融合高低级语义信息能够在一定程度上地提高网络的分割性能,但是对边界和细节处理不够理想。本发明网络在训练过程中使用深度监督策略,有效地保留了防波堤的边缘细节信息,在边界复杂的人工海岸区域提取到了相对完整、连续的海陆边界,分割结果明显优于其他网络。特别是图5左侧的第二列影像的左边白色框区域海水被港口包围,导致U-Net、Deeplabv3+等网络忽略此区域海域特征将其错分为陆地,而本发明的分割网络能够区分出港口、海域类别,得到了更为准确的海陆分割结果。
场景3为岩石海岸区域,用来探究各网络在陆地背景复杂下的海陆分割能力,如图5左侧的第三列影像白色圈区域所示,该区域陆地上包含岩石、植被等干扰因素,使得海陆分割背景复杂,由于U-Net等对比网络无法提取到更深层次的语义信息,造成此区域的分割结果中出现粘连现象;本发明的分割网络引入注意力机制加强海陆边界处的特征,在背景环境复杂的海岸区域得到了完整、准确的海陆分割结果。场景4为包含多个岛屿的海岸影像,用来检测网络在水边线形状复杂下的海陆分割能力。如图5最右侧影像所示,岛屿的海陆边界通常较为明显,各网络在此类型影像的分割结果明显优于其他场景,但是岛屿形状、大小不规则,容易造成水边线严重凹陷边缘的现象(白色圈区域),各对比网络难以处理此区域复杂的边界信息,均出现分类错误的现象。本发明的网络利用Res2Net提取影像的多尺度信息,弥补了局部区域信息不足造成的歧义,克服水边线凹陷带来的干扰,得到的海陆分割结果更加准确,提取的海陆边界也更加清晰、连续。
各网络在两个数据集上的评价结果如表4所示,在数据集1中,U-Net和U2-Net得到的F1-score等区域分割精度较低,而U2-Net采用深度监督策略,使得F1-score-b值高于U-Net。Deeplabv3+区域分割精度均高于U-Net和U2-Net,但由于Deeplabv3+没有充分利用浅层特征图的细节信息,导致其F1-score-b较低。RAUNet在数据集1中F1-score、MIOU以及MAE分别为98.38%、96.82%、0.016,F1-score-b为69.25%,达到了各网络分割结果的次优值。本发明的分割网络在数据集1中各评价指标均优于其他网络,F1-score、MIOU比RAUNet得到的次优值提高了0.71%、1.37%,MAE减小为0.009,另外本文网络在数据集1中F1-score-b值达到80.14%,较次优值提高了10.89%。
在数据集2中,U-Net和U2-Net的区域分割精度较低,不及其他网络。Deeplabv3+在数据集2中F1-score、MIOU和F1-score-b均达到次优值,而RAUNet对该数据集的边缘分割能力较差,F1-score-b仅为49.77%,远低于其他网络。本发明的分割网络在数据集2中各评价指标均达到最优,F1-score、MIOU相比于次优值提高了0.42%、0.83%,MAE减小了0.187,边缘F值精度达到72.86%,较次优值提高了17.81%。
表4
Figure BDA0003556536620000151
为了进一步研究本发明的分割模型中的各模块的效果,现将本发明的分割模型进行拆分,通过消融实验分别验证模型中的Res2Net模块、深度监督策略(DS)和SA模块的作用,表5为在数据集1上进行消融实验时的F1-score-b值,其中基本网络为编码-解码(En_Decoder)网络结构,对Res2Net消融时卷积层替换为ResNet模块。
表5
Figure BDA0003556536620000152
Figure BDA0003556536620000161
结果表明,当本发明的分割网络使用Res2Net模块时相比于使用ResNet模块边界分割精度提高了10.45%;采用深度监督策略后,分割边界精度提高了1.03%;加入SA模块后的网络(MSDSUNet),分割边界精度为80.14%,提高了5.03%,达到了各结构精度最优值,因此证明了本发明各模块在海陆分割任务中的必要性。
通过以上分析,可以看出:注意力模块能够提高弱海陆边界处的特征响应,在弱海陆边界提取中具有优势;深度监督策略能够增强网络学习目标边界信息的能力,提高边缘分割的精度。因此本发明网络能够适用于不同类型的遥感影像海陆分割,并且在区域和边缘检测结果中均能得到最优结果。

Claims (8)

1.一种遥感影像海陆分割方法,其特征在于,该分割方法包括以下步骤:
1)获取遥感影像,对遥感影像数据集进行标签制作,形成相应的训练集数据;
2)建立遥感影像海陆分割模型,该海陆分割模型采用编码器和解码器结构,其中编码器采用多层编码模块,每层编码模块用于对遥感影像进行不同尺度特征的提取;所述的解码器包括与多层编码模块对应的多层解码模块,各层解码模块用于对相应层编码模块的输出特征以及上一层编码模块的输出特征上采样至原始影像大小,并将各层解码模块处理后的特征进行融合,对融合后的特征影像进行边缘检测;
3)利用所述训练集数据对建立的遥感影像海陆分割模型进行训练,训练时采用深度监督策略分别对各层解码模块进行训练,并根据各层解码模块的损失函数构建遥感影像海陆分割模型总的损失函数;
4)获取待分割的遥感影像,将其输入到已训练的遥感影像海陆分割模型中,以实现对待分割遥感影像的海陆分割。
2.根据权利要求1所述的遥感影像海陆分割方法,其特征在于,所述的多层编码模块采用Res2Net网络,包括有5层编码模块,第一层编码模块包括有卷积层和最大池化层,用于对输入的遥感影像进行特征提取,其他各层编码模块均采用残差块,用于对其前一层编码模块的输出结果进行处理。
3.根据权利要求2所述的遥感影像海陆分割方法,其特征在于,所述的残差块采用Res2_Block。
4.根据权利要求2所述的遥感影像海陆分割方法,其特征在于,所述的遥感影像海陆分割模型还包括压缩与注意力模块,每层编码模块的输出结果通过对应的压缩与注意力模块处理。
5.根据权利要求2所述的遥感影像海陆分割方法,其特征在于,每层解码模块包括一个Res2_Block和一个Upsample,用于逐步恢复特征图至原始输入图像大小。
6.根据权利要求1-5中任一项所述的遥感影像海陆分割方法,其特征在于,所述遥感影像海陆分割模型训练时的损失函数为:
Figure FDA0003556536610000021
其中M等于解码模块的层数,也是编码模块的层数;
Figure FDA0003556536610000022
表示第m层解码模块的损失函数;lfuse表示各层解码模块融合后的损失函数;
Figure FDA0003556536610000023
和Wfuse分别表示第m层解码模块的损失函数的权重和融合后损失函数的权重。
7.根据权利要求6所述的遥感影像海陆分割方法,其特征在于,各层解码模块的损失函数以及融合后的损失函数均采用语义分割二分类任务的BCE损失函数。
8.根据权利要求7所述的遥感影像海陆分割方法,其特征在于,所述BCE损失函数为:
Figure FDA0003556536610000024
其中(r,c)表示像素点的坐标,H、W分别表示影像的高、宽,PG(r,c)和PS(r,c)分别表示该像素点的真值和预测值。
CN202210280187.XA 2022-03-21 2022-03-21 一种遥感影像海陆分割方法 Pending CN114663439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210280187.XA CN114663439A (zh) 2022-03-21 2022-03-21 一种遥感影像海陆分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210280187.XA CN114663439A (zh) 2022-03-21 2022-03-21 一种遥感影像海陆分割方法

Publications (1)

Publication Number Publication Date
CN114663439A true CN114663439A (zh) 2022-06-24

Family

ID=82031286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210280187.XA Pending CN114663439A (zh) 2022-03-21 2022-03-21 一种遥感影像海陆分割方法

Country Status (1)

Country Link
CN (1) CN114663439A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342616A (zh) * 2023-03-15 2023-06-27 大连海事大学 一种基于双分支集成学习的遥感图像海陆分割方法
CN116594061A (zh) * 2023-07-18 2023-08-15 吉林大学 一种基于多尺度u形注意网络的地震数据去噪方法
CN116844053A (zh) * 2023-07-19 2023-10-03 北京师范大学 一种小麦种植区域识别方法、***、电子设备及存储介质
CN117312471A (zh) * 2023-09-26 2023-12-29 中国人民解放军91977 部队 海量位置点的海陆属性判断方法及装置
CN117635628A (zh) * 2024-01-23 2024-03-01 武汉理工大学三亚科教创新园 一种基于上下文注意力和边界感知引导的海陆分割方法
CN117994657A (zh) * 2024-01-31 2024-05-07 海南师范大学 一种基于深度学习模型的海陆分割方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342616A (zh) * 2023-03-15 2023-06-27 大连海事大学 一种基于双分支集成学习的遥感图像海陆分割方法
CN116342616B (zh) * 2023-03-15 2023-10-27 大连海事大学 一种基于双分支集成学习的遥感图像海陆分割方法
CN116594061A (zh) * 2023-07-18 2023-08-15 吉林大学 一种基于多尺度u形注意网络的地震数据去噪方法
CN116594061B (zh) * 2023-07-18 2023-09-22 吉林大学 一种基于多尺度u形注意网络的地震数据去噪方法
CN116844053A (zh) * 2023-07-19 2023-10-03 北京师范大学 一种小麦种植区域识别方法、***、电子设备及存储介质
CN117312471A (zh) * 2023-09-26 2023-12-29 中国人民解放军91977 部队 海量位置点的海陆属性判断方法及装置
CN117312471B (zh) * 2023-09-26 2024-05-28 中国人民解放军91977部队 海量位置点的海陆属性判断方法及装置
CN117635628A (zh) * 2024-01-23 2024-03-01 武汉理工大学三亚科教创新园 一种基于上下文注意力和边界感知引导的海陆分割方法
CN117635628B (zh) * 2024-01-23 2024-04-09 武汉理工大学三亚科教创新园 一种基于上下文注意力和边界感知引导的海陆分割方法
CN117994657A (zh) * 2024-01-31 2024-05-07 海南师范大学 一种基于深度学习模型的海陆分割方法
CN117994657B (zh) * 2024-01-31 2024-07-23 海南师范大学 一种基于深度学习模型的海陆分割方法

Similar Documents

Publication Publication Date Title
CN114663439A (zh) 一种遥感影像海陆分割方法
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及***
CN112183258A (zh) 一种基于上下文信息和注意力机制的遥感图像道路分割方法
CN112766087A (zh) 一种基于知识蒸馏的光学遥感图像舰船检测方法
CN112489054A (zh) 一种基于深度学习的遥感图像语义分割方法
CN116721112B (zh) 基于双分支解码器网络的水下伪装物体图像分割方法
CN112560865B (zh) 一种室外大场景下点云的语义分割方法
CN113205018B (zh) 一种基于多尺度残差网络模型的高分影像建筑物提取方法
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
CN116343045B (zh) 基于YOLO v5的轻量化SAR图像舰船目标检测方法
CN115512103A (zh) 多尺度融合遥感图像语义分割方法及***
CN114973011A (zh) 一种基于深度学习的高分辨率遥感影像建筑物提取方法
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及***
CN112037225A (zh) 一种基于卷积神经的海洋船舶图像分割方法
Liu et al. Two-stage underwater object detection network using swin transformer
CN114067162A (zh) 一种基于多尺度多粒度特征解耦的图像重构方法及***
CN115457568A (zh) 一种基于生成对抗网络的历史文档图像降噪方法及***
CN112330562A (zh) 一种异构遥感图像变换方法及***
CN114937154B (zh) 一种基于递归解码器的显著性检测方法
CN116503755A (zh) 一种基于云平台和深度学习的岸线遥感自动识别分析方法
CN116091918A (zh) 一种基于数据增强的土地利用分类方法及***
CN113344005B (zh) 一种基于优化小尺度特征的图像边缘检测方法
CN115578645A (zh) 一种半监督循环一致性生成对抗网络的sar影像浮筏养殖信息提取方法
Liu et al. A Deep Learning Method for Offshore Raft Aquaculture Extraction Based on Medium Resolution Remote Sensing Images
CN114998587A (zh) 一种遥感影像建筑物语义分割方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination