CN114998363A - 一种高分辨率遥感影像渐进式分割方法 - Google Patents
一种高分辨率遥感影像渐进式分割方法 Download PDFInfo
- Publication number
- CN114998363A CN114998363A CN202210924746.6A CN202210924746A CN114998363A CN 114998363 A CN114998363 A CN 114998363A CN 202210924746 A CN202210924746 A CN 202210924746A CN 114998363 A CN114998363 A CN 114998363A
- Authority
- CN
- China
- Prior art keywords
- scale
- segmentation
- remote sensing
- resolution remote
- subnets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了图像信息处理技术领域的一种高分辨率遥感影像渐进式分割方法,包括以下步骤:首先构建三个负责处理不同尺度对象的级联子网;然后以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息;再得到三个不同尺度的分割结果;接着得到三个不同尺度的位置贡献图;最后将得到的不同尺度分割结果与得到的位置贡献图进行加权求和推导最终的分割结果。本发明高分辨率遥感影像渐进式分割方法使用引入尺度关系的级联子网以小尺度、大尺度和其他尺度逐步地对目标进行分割,并且充分衡量不同子网对每个空间位置的重要性,这样能够更好地应对高分辨率遥感影像的尺度差异挑战,提高分割精确度。
Description
技术领域
本发明属于图像信息处理技术领域,具体涉及一种高分辨率遥感影像渐进式分割方法。
背景技术
语义分割是遥感影像解译和理解领域长期以来的研究课题。它的主要目的是识别图像中每个像素的类别。随着成像技术和传感器技术的快速发展,高分辨率遥感影像在环境评价、林业测量、精细农业、城市规划等领域具有广泛的应用。然而,高分辨率遥感影像也给精确的目标分割带来了一些挑战。例如,影像中同类物体变化大、不同类型物体差异性小等问题,给网络的鲁棒性以及学习鉴别特征带来了困难。
近年来,卷积神经网络在从自然图像中学习高级语义特征方面取得了突破性的进展。因此,卷积神经网络成为解决上述问题的一个直观选择。作为卷积神经网络的一种,全卷积网络用于准确、高效的自然图像分割,在语义分割领域取得了巨大的成功。它通过神经网络自适应地学习任务相关的图像特征并将传统网络最后的全连接层转化为卷积层,再使用反卷积进行上采样得到和输入图像尺寸一致的分割结果,实现了图像到图像的端到端分割任务。受此启发,很多工作将全卷积网络模型扩展到分割高分辨率遥感影像,取得了更好的性能。
但是,与自然图像相比,高分辨率遥感图像的尺寸要大得多,分割对象也更加复杂。以International Society for Photogrammetry and Remote Sensing(ISPRS)委员会提供的Potsdam数据集为例,每幅影像的空间大小为6000×6000。它们涵盖了尺度变化很大的各种类型物体,例如同一场景下存在汽车和大型建筑,与大型建筑相比,汽车所占的空间位置非常少。对于基于全卷积网络的模型来说,不同尺度的目标对网络有不同的要求。以上述场景为例,深层网络能够提供更大的感受野,这有利于提取丰富的全局信息对大型建筑进行分割。但是,这也会带来汽车的空间信息损失严重的问题。相反,在浅层网络中,较小的感受野提供的局部信息可能足以对汽车进行分割,但这些局部信息可能只覆盖大型建筑中的一小部分。因此,如何处理场景中不同尺度的目标成为了高分辨率遥感影像分割的关键问题。
为了解决上述问题,已有的工作探索了许多策略。这些策略主要包括:聚合来自不同卷积层的多个卷积特征,提取同一个卷积层中的多尺度卷积特征,以及通过构建多个卷积分支融合多分支卷积特征。前两类策略试图构建一个能够同时分割不同尺度目标的网络。但是,由于单个网络的学习能力有限,这类模型往往需要在不同尺度的对象之间进行权衡,导致分割结果不理想,尤其是对于小尺度或大尺度对象,第三类策略是一种利用多个子网来缓解这一问题的潜在方法。如果能够对多个网络进行充分利用,其学习能力与单个网络相比会更强大。然而,这类策略在设计和融合不同网络方面仍存在一些问题。
发明内容
针对现有技术的不足,本发明的目的在于提供一种高分辨率遥感影像渐进式分割方法,以解决上述背景技术中提出的问题。
本发明的目的可以通过以下技术方案实现:
一种高分辨率遥感影像渐进式分割方法,包括以下步骤:
首先构建三个负责处理不同尺度对象的级联子网;
然后将原始的高分辨率遥感影像裁剪成块,依次输入到三条级联的子网中,以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息;
再构建两个尺度引导模块,将尺度关系编码到后两条子网的卷积特征中去,并基于此得到三个不同尺度的分割结果;
接着将在尺度关系引导下得到的三个不同尺度分割结果,输入到位置敏感模块中,自适应地学习它们对每个空间位置的重要性,得到三个不同尺度的位置贡献图;
最后将得到的不同尺度分割结果与得到的位置贡献图进行加权求和推导最终的分割结果。
优选地,所述三个级联子网包括处理小尺度对象的小尺度子网、处理大尺度对象的大尺度子网和应对其他尺度对象的第三子网,三个子网均由5个卷积块组成。
调整为:
调整为:
优选地,监督方式如下:
本发明的有益效果:
1、本发明高分辨率遥感影像渐进式分割方法与全卷积网络(FCN-8s)、U形网络(UNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、特征解耦网络(CGFDN)相比,在各种准确指标上都有很大的提升;
2、本发明高分辨率遥感影像渐进式分割方法使用引入尺度关系的级联子网以小尺度、大尺度和其他尺度逐步地对目标进行分割,并且充分衡量不同子网对每个空间位置的重要性,这样能够更好地应对高分辨率遥感影像的尺度差异挑战,提高分割精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明高分辨率遥感影像渐进式分割方法流程图;
图2是本发明中两种尺度引导模块流程图;
图3是本发明中位置敏感模块流程图;
图4是本发明方法与全卷积网络、U形网络、金字塔场景分割网络、空洞可分卷积网络、特征解耦网络在Vaihingen高分辨率遥感影像上的分割可视化结果图;
图5是本发明方法与全卷积网络、U形网络、金字塔场景分割网络、空洞可分卷积网络、特征解耦网络在Potsdam高分辨率遥感影像上的分割可视化结果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1至图5所示,一种高分辨率遥感影像渐进式分割方法,包括以下步骤:
步骤一:构建三个负责处理不同尺度对象的级联子网;
由于影像中常常存在尺度变化非常大的各种物体,而小尺度和大尺度对象通常比其他尺度对象更难分割,因此,设计两条子网来处理小尺度和大尺度对象,另一条子网来应对其他尺度对象,如图1所示,每条子网由5个卷积块组成,表1给出了三条子网卷积块的详细配置,其中,和用于代表影像或特征图的高度,宽度和通道个数。“卷积操作”表示该卷积块所使用的卷积层数(为简单起见,在此表中省略了批归一化和ReLU激活操作),而“卷积步长”表示每层卷积所使用的步长。
表1 子网卷积块详细配置
对于小尺度子网,它的第一个卷积块在表1中命名为Block0,该卷积块包含两层大小为的卷积层,每个卷积层的步长为2,卷积核个数为,小尺度子网的其他卷积块,本发明采用相同的结构,每个卷积块都包含四层大小为的卷积层,为了保留分割小尺度目标所需的空间信息,将每个卷积层步长设为1,卷积核个数为。
对于大尺度子网,它的前两个卷积块(即Block0和Block1)与小尺度子网相同,它之后的三个卷积块通过步长卷积进行连续的下采样,以此增加特征图的感受野,提取丰富的全局信息以对大尺度对象进行分割,每一个卷积块都包含四层大小为的卷积层,每个卷积层的步长为2,Block2到Block4的卷积核个数依次设置为、、。
步骤二:将原始的高分辨率遥感影像裁剪成块,依次输入到三条级联的子网中,以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息;
由于高分辨率遥感影像本身空间分辨率非常大,所以需要对原始影像进行裁剪,使用裁剪后的影像块作为输入,其中表示输入影像块的通道个数,首先,将输入到小尺度子网,以此捕获小尺度对象的空间上下文信息,得到小尺度卷积特征,接下来,输入到大尺度子网,以此捕获大尺度对象的空间上下文信息,得到大尺度卷积特征,最后,输入到其他尺度子网,以此捕获其他尺度对象的空间上下文信息,得到其他尺度卷积特征。
步骤三:构建两个尺度引导模块,将尺度关系编码到后两条子网的卷积特征中去,并基于此得到三个不同尺度的分割结果;
为了使大尺度子网和其他尺度子网都能正确地执行对应尺度对象的分割,设计两种尺度引导模块,其流程图如图2所示。
假设小尺度子网性能良好,其分割结果可以作为定位小尺度对象位置的指标,而其分割结果可以通过使用大小为的卷积层将的特征通道数映射为类别数,并利用双线性插值进行4倍上采样得到,其中表示要分割的地物覆盖类别数,由于大尺度子网不需要太关注小尺度对象的位置,因此我们可以利用构造第一个尺度引导模块,如图2中a所示,首先,采用对进行归一化,接下来,对于归一化后的中的每个空间位置,在个通道中找到它的最大值,该值表示该像素点属于小尺度对象的概率,最后,尺度引导图可以通过下面的公式的得到:
式中,表示两个矩阵对应位置元素进行乘积,而表示预处理操作符,它由两个步骤组成:第一个步骤是对进行下采样,使其具有与相同的空间大小;第二个步骤是沿着通道维度复制下采样后的,以获得与相同的通道数量,大尺度子网的特征经过尺度引导图细化后,使用大小为的卷积层将的特征通道数映射为类别数,并利用双线性插值进行32倍上采样,得到大尺度分割结果。
步骤四:将在尺度关系引导下得到的三个不同尺度分割结果,输入到位置敏感模块中,自适应地学习它们对每个空间位置的重要性,得到三个对应不同尺度的位置贡献图;
来自不同子网的分割结果,和在每个位置上的贡献应根据被分割对象的尺度不同而不同,为此,提出一个位置敏感模块,它旨在自适应学习三个位置贡献图,每个位置贡献图对应一个特定尺度的分割结果,位置敏感模块的流程如图3所示,它首先将,和串联在一起,然后使用两个卷积层生成位置贡献图,这个过程可以表示为:
步骤五:将步骤三得到的不同尺度分割结果与步骤4得到的位置贡献图进行加权求和推导最终的分割结果;
为了使三条子网和位置敏感模块有足够的判别能力,根据这四个结果采用如下组合损失函数,对整体学习过程进行监督:
实施例一:
将本发明所提供的技术方案应用在Vaihingen高分辨率遥感影像分割中,影像由ISPRS组委会提供,数据集包含33幅影像,平均尺寸是,影像的空间分辨率是,每幅影像由3个通道(近红外、红、绿)构成,还提供了相应的数字地表模型(DSM)和归一化数字地表模型(nDSM),影像的包含6种地物覆盖类别:地面,大楼,低植被,树木,车和背景。
利用本发明对影像中有着较大尺度差异的场景,在引入尺度关系的基础上进行逐级分割,生成三个不同尺度的分割结果,并对这些分割结果进行自适应组合,以此来得到一个高分辨率遥感影像分割结果。
为了验证本发明的有效性,分类结果分别与全卷积网络(FCN-8s)、U形网络(UNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、特征解耦网络(CGFDN)进行对比。
首先,本发明构建三个级联的子网,以小尺度、大尺度和其他尺度逐步地捕获影像的空间上下文信息;紧接着,本发明设计了两个尺度模块,利用前一条子网的分割结果生成的尺度关系,指导后一条子网的特征学习,并基于此得到三个不同尺度的分割结果;最后,将在尺度关系引导下得到的分割结果输入到位置敏感模块中,为每个空间位置分配对应不同尺度的权重,通过加权求和推导出最终的分割结果。此外,本发明方法设置为端到端的网络结构,以高效地处理高分辨率遥感影像。
分类过程具体如下:
(1)利用三个级联的子网,以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息:
按照ISPRS组委会公布的Vaihingen影像分割任务的训练/测试集设置方式,使用16幅影像作为训练集,剩余的作为测试集,训练集用于调整模型的参数,测试集在最后一步中来评估整个网络的分类性能。同时,考虑到归一化植被指数(NDVI)是植被分割的有效指标,我们对每幅影像进行如下计算:
式中,和分别表示影像的近红外通道和红色通道。由此,本发明构造了一个由近红外、红、绿、DSM、nDSM、NDVI组成的复合输入图像,三个子网通过不同的网络感受野来捕获复合输入图像中不同尺度的空间上下文信息,每个子网中相邻的特征块之间都使用了残差连接,以更好地结合浅层特征,网络中的卷积核参数根据经验设置为。为了能够充分的使用GPU以及生成尽可能多的训练样本,本发明使用一个滑动窗口以为步长将原始的训练样本裁剪成影像块。测试的时候也是采用一样的滑动窗口方案,得到每一个影像块的测试结果后,以与滑动窗口裁剪相对应的方式将影像块分割结果进行拼接,重叠的部分采用均值代替,完成对原始影像的分割。
(2)利用两个尺度引导模块为后两条子网引入尺度关系,并基于此得到三个不同尺度的分割结果:
本发明利用第一条子网(即小尺度子网)的分割结果,构造第一个尺度引导模块,将尺度关系编码到第二条子网(即大尺度子网),使其更关注大尺度信息;并且通过第一条子网和第二条子网的分割结果,构造第二个尺度引导模块,将尺度关系编码到第三条子网(即其他尺度子网),使其更关注其他尺度信息。其中,三条子网的分割结果都通过下述方法得到:将子网最后的输出特征经过一层卷积层,得到一个特征通道数和类别个数一样的输出结果,并对这个结果使用双线性插值恢复到和输入影像一样大小的尺寸,得到对应尺度的分割结果。
(3)将在尺度关系引导下得到的分割结果输入到位置敏感模块中,为每个空间位置分配对应不同尺度的权重,并与不同尺度分割结果进行加权求和得到最终的分割结果:
位置敏感模块能够自适应地学习不同尺度分割结果对于每个空间位置的贡献,它将生成的三个位置贡献图,每个位置贡献图对应一个特定的尺度分割结果并作为其权重,以加权求和的方式推导出最终的分割结果,然后使用三个不同尺度分割结果和最终分割结果对真实值计算分割损失,公式7中的取。
为了验证本发明方法的效果,将MPSegNet模型与全卷积网络(FCN-8s)、U形网络(UNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、特征解耦网络(CGFDN)进行比较。
图4为本发明方法与全卷积网络(FCN-8s)、U形网络(UNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、特征解耦网络(CGFDN)在Vaihingen数据集上的分割图,从图中可以看出,和其他方法相比,本发明能够同时处理好不同尺度对象,得到一个更加完整、均匀的分割图,本方法可以获得更高的分割准确率,表2给出了6种分割方法在Vaihingen数据集上的分割准确率的比较。
表2 Vaihingen数据集分割准确率对比
Impervious surface | Building | Low vegetation | Tree | Car | OA | Mean-F1 | mIoU | |
FCN-8s | 90.7 | 94.3 | 80.5 | 88.0 | 79.7 | 89.6 | 86.6 | 77.0 |
UNet | 90.7 | 94.5 | 80.8 | 88.2 | 82.9 | 89.9 | 87.4 | 78.3 |
PSPNet | 91.2 | 94.8 | 81.5 | 88.5 | 77.2 | 90.2 | 86.6 | 77.0 |
DeepLabv3+ | 91.4 | 95.1 | 81.2 | 88.3 | 83.9 | 90.3 | 88.0 | 79.0 |
CGFDN | 91.8 | 94.7 | 83.1 | 89.7 | 82.9 | 91.0 | 88.4 | 79.4 |
MPSegNet | 92.4 | 95.7 | 83.4 | 89.5 | 84.6 | 91.6 | 89.1 | 80.5 |
从表2可以看出,本发明方法的总体准确率(OA)、平均F1分数(Mean-F1)和均交并比(mIoU)明显高于其他5种分类方法,其中,CGFDN通过引入共生关系,与其他4种方法相比有着更好的分割准确度,MPSegNet通过设计引入尺度关系的多重子网能够取得更好的分割结果。
综上可知,和全卷积网络(FCN-8s)、U形网络(UNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、特征解耦网络(CGFDN)相比,本发明方法无论是从分割性能还是从分割精确度上来看,都具有明显的优势。
实施例二:
将本发明所提供的技术方案应用在Potsdam高分辨率遥感影像分割中,影像由ISPRS组委会提供,这个数据集包含38幅影像,每幅影像的尺寸是,影像的空间分辨率是,每幅影像由3个通道(近红外、红、绿)构成,还提供了相应的数字地表模型(DSM)和归一化数字地表模型(nDSM),影像的包含6种地物覆盖类别:地面,大楼,低植被,树木,车和背景。
利用本发明对影像中有着较大尺度差异的场景,在引入尺度关系的基础上进行逐级分割,生成三个不同尺度的分割结果,并对这些分割结果进行自适应组合,以此来得到一个高分辨率遥感影像分割结果。
为了验证本发明的有效性,分类结果分别与全卷积网络(FCN-8s)、U形网络(UNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、特征解耦网络(CGFDN)进行对比。
首先,本发明构建三个级联的子网,以小尺度、大尺度和其他尺度逐步地捕获影像的空间上下文信息,紧接着,本发明设计了两个尺度模块,利用前一条子网的分割结果生成的尺度关系,指导后一条子网的特征学习,并基于此得到三个不同尺度的分割结果,最后,将在尺度关系引导下得到的分割结果输入到位置敏感模块中,为每个空间位置分配对应不同尺度的权重,通过加权求和推导出最终的分割结果。此外,本发明方法设置为端到端的网络结构,以高效地处理高分辨率遥感影像。
分类过程具体如下:
(1)利用三个级联的子网,以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息:
按照ISPRS组委会公布的Potsdam影像分割任务的训练/测试集设置方式,使用幅影像作为训练集,剩余的作为测试集,训练集用于调整模型的参数,测试集在最后一步中来评估整个网络的分类性能,同时,考虑到归一化植被指数(NDVI)是植被分割的有效指标,对每幅影像进行如下计算:
式中,和分别表示影像的近红外通道和红色通道,由此构造了一个由近红外、红、绿、DSM、nDSM、NDVI组成的复合输入图像,三个子网通过不同的网络感受野来捕获复合输入图像中不同尺度的空间上下文信息,每个子网中相邻的特征块之间都使用了残差连接,以更好地结合浅层特征,网络中的卷积核参数根据经验设置为。为了能够充分的使用GPU以及生成尽可能多的训练样本,使用一个滑动窗口以为步长将原始的训练样本裁剪成影像块,测试的时候也是采用一样的滑动窗口方案,得到每一个影像块的测试结果后,以与滑动窗口裁剪相对应的方式将影像块分割结果进行拼接,重叠的部分采用均值代替,完成对原始影像的分割。
(2)利用两个尺度引导模块为后两条子网引入尺度关系,并基于此得到三个不同尺度的分割结果:
本发明利用第一条子网(即小尺度子网)的分割结果,构造第一个尺度引导模块,将尺度关系编码到第二条子网(即大尺度子网),使其更关注大尺度信息;并且通过第一条子网和第二条子网的分割结果,构造第二个尺度引导模块,将尺度关系编码到第三条子网(即其他尺度子网),使其更关注其他尺度信息,其中,三条子网的分割结果都通过下述方法得到:将子网最后的输出特征经过一层卷积层,得到一个特征通道数和类别个数一样的输出结果,并对这个结果使用双线性插值恢复到和输入图像一样大小的尺寸,得到对应尺度的分割结果。
(3)将在尺度关系引导下得到的分割结果输入到位置敏感模块中,为每个空间位置分配对应不同尺度的权重,并与不同尺度分割结果进行加权求和得到最终的分割结果:
位置敏感模块能够自适应地学习不同尺度分割结果对于每个空间位置的贡献,它将生成的三个位置贡献图,每个位置贡献图对应一个特定的尺度分割结果并作为其权重,以加权求和的方式推导出最终的分割结果,然后使用三个不同尺度分割结果和最终分割结果对真实值计算分割损失,公式7中的取。
为了验证本发明方法的效果,将MPSegNet模型与全卷积网络(FCN-8s)、U形网络(UNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、特征解耦网络(CGFDN)进行比较。
图4为本发明方法与全卷积网络(FCN-8s)、U形网络(UNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、特征解耦网络(CGFDN)在在Potsdam数据集上的分割图,从图中可以看出,和其他方法相比,本发明能够同时处理好不同尺度对象,得到一个更加完整、均匀的分割图。这说明,本发明方法可以获得更高的分割准确率,表3给出了6种分割方法在Potsdam数据集上的分割准确率的比较。
表3 Potsdam数据集分割准确率对比
Impervious surface | Building | Low vegetation | Tree | Car | OA | Mean-F1 | mIoU | |
FCN-8s | 91.6 | 96.2 | 84.7 | 86.3 | 94.4 | 89.6 | 90.6 | 74.7 |
UNet | 92.0 | 96.2 | 84.8 | 86.2 | 95.4 | 89.6 | 90.9 | 75.3 |
PSPNet | 91.9 | 96.6 | 85.4 | 85.8 | 95.1 | 89.9 | 91.0 | 75.4 |
DeepLabv3+ | 92.2 | 96.5 | 85.3 | 87.3 | 95.6 | 90.3 | 91.4 | 76.8 |
CGFDN | 92.6 | 97.0 | 86.8 | 87.6 | 94.9 | 90.8 | 91.8 | 76.3 |
MPSegNet | 93.2 | 97.5 | 86.9 | 88.3 | 96.2 | 91.4 | 92.4 | 77.9 |
从表3得出本发明方法的总体准确率(OA)、平均F1分数(Mean-F1)和均交并比(mIoU)明显高于其他5种分类方法,其中,CGFDN通过引入共生关系,与其他4种方法相比有着更好的分割准确度,MPSegNet通过设计引入尺度关系的多重子网能够取得更好的分割结果。
综上可知,和全卷积网络(FCN-8s)、U形网络(UNet)、金字塔场景分割网络(PSPNet)、空洞可分卷积网络(DeepLabv3+)、特征解耦网络(CGFDN)相比,本发明方法无论是从分割性能还是从分割精确度上来看,都具有明显的优势。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。
Claims (7)
1.一种高分辨率遥感影像渐进式分割方法,其特征在于,包括以下步骤:
首先构建三个负责处理不同尺度对象的级联子网;
然后将原始的高分辨率遥感影像裁剪成块,依次输入到三条级联的子网中,以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息;
再构建两个尺度引导模块,将尺度关系编码到后两条子网的卷积特征中去,并基于此得到三个不同尺度的分割结果;
接着将在尺度关系引导下得到的三个不同尺度分割结果,输入到位置敏感模块中,自适应地学习它们对每个空间位置的重要性,得到三个不同尺度的位置贡献图;
最后将得到的不同尺度分割结果与得到的位置贡献图进行加权求和推导最终的分割结果。
2.根据权利要求1所述的一种高分辨率遥感影像渐进式分割方法,其特征在于,所述三个级联子网包括处理小尺度对象的小尺度子网、处理大尺度对象的大尺度子网和应对其他尺度对象的第三子网,三个子网均由5个卷积块组成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210924746.6A CN114998363B (zh) | 2022-08-03 | 2022-08-03 | 一种高分辨率遥感影像渐进式分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210924746.6A CN114998363B (zh) | 2022-08-03 | 2022-08-03 | 一种高分辨率遥感影像渐进式分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114998363A true CN114998363A (zh) | 2022-09-02 |
CN114998363B CN114998363B (zh) | 2022-10-11 |
Family
ID=83022319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210924746.6A Active CN114998363B (zh) | 2022-08-03 | 2022-08-03 | 一种高分辨率遥感影像渐进式分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998363B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140185958A1 (en) * | 2012-02-07 | 2014-07-03 | Linea Photosharing Llc | Mosaic generating platform methods, apparatuses and media |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
CN114723631A (zh) * | 2022-04-01 | 2022-07-08 | 西安交通大学 | 基于深度上下文先验与多尺度重建子网络的图像去噪方法、***及装置 |
-
2022
- 2022-08-03 CN CN202210924746.6A patent/CN114998363B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140185958A1 (en) * | 2012-02-07 | 2014-07-03 | Linea Photosharing Llc | Mosaic generating platform methods, apparatuses and media |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
CN114723631A (zh) * | 2022-04-01 | 2022-07-08 | 西安交通大学 | 基于深度上下文先验与多尺度重建子网络的图像去噪方法、***及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114998363B (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及*** | |
CN111738111A (zh) | 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法 | |
CN111860233B (zh) | 基于选择注意力网络的sar图像复杂建筑物提取方法及*** | |
CN111291826B (zh) | 基于相关性融合网络的多源遥感图像的逐像素分类方法 | |
CN113609889B (zh) | 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法 | |
CN111325165A (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
CN114187450A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
CN112232328A (zh) | 基于卷积神经网络的遥感影像建筑区提取方法、装置 | |
CN113034506B (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
CN110807485B (zh) | 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法 | |
CN111814685A (zh) | 基于双支路卷积自编码器的高光谱图像分类方法 | |
CN113673556B (zh) | 一种基于多尺度密集卷积网络的高光谱图像分类方法 | |
CN112381144B (zh) | 非欧与欧氏域空谱特征学习的异构深度网络方法 | |
CN111860683A (zh) | 一种基于特征融合的目标检测方法 | |
CN112950780A (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
CN110570402A (zh) | 基于边界感知神经网络的双目显著物体检测方法 | |
CN115240072A (zh) | 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法 | |
CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
CN115601236A (zh) | 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法 | |
CN115908946A (zh) | 基于多种注意力语义分割的土地利用分类方法 | |
Shen et al. | An image enhancement algorithm of video surveillance scene based on deep learning | |
CN114445442B (zh) | 基于非对称交叉融合的多光谱图像语义分割方法 | |
CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
CN114821074B (zh) | 机载liDAR点云语义分割方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |