CN114998363A - 一种高分辨率遥感影像渐进式分割方法 - Google Patents

一种高分辨率遥感影像渐进式分割方法 Download PDF

Info

Publication number
CN114998363A
CN114998363A CN202210924746.6A CN202210924746A CN114998363A CN 114998363 A CN114998363 A CN 114998363A CN 202210924746 A CN202210924746 A CN 202210924746A CN 114998363 A CN114998363 A CN 114998363A
Authority
CN
China
Prior art keywords
scale
segmentation
remote sensing
resolution remote
subnets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210924746.6A
Other languages
English (en)
Other versions
CN114998363B (zh
Inventor
杭仁龙
杨平
刘青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210924746.6A priority Critical patent/CN114998363B/zh
Publication of CN114998363A publication Critical patent/CN114998363A/zh
Application granted granted Critical
Publication of CN114998363B publication Critical patent/CN114998363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像信息处理技术领域的一种高分辨率遥感影像渐进式分割方法，包括以下步骤：首先构建三个负责处理不同尺度对象的级联子网；然后以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息；再得到三个不同尺度的分割结果；接着得到三个不同尺度的位置贡献图；最后将得到的不同尺度分割结果与得到的位置贡献图进行加权求和推导最终的分割结果。本发明高分辨率遥感影像渐进式分割方法使用引入尺度关系的级联子网以小尺度、大尺度和其他尺度逐步地对目标进行分割，并且充分衡量不同子网对每个空间位置的重要性，这样能够更好地应对高分辨率遥感影像的尺度差异挑战，提高分割精确度。

Description

一种高分辨率遥感影像渐进式分割方法
技术领域
本发明属于图像信息处理技术领域，具体涉及一种高分辨率遥感影像渐进式分割方法。
背景技术
语义分割是遥感影像解译和理解领域长期以来的研究课题。它的主要目的是识别图像中每个像素的类别。随着成像技术和传感器技术的快速发展，高分辨率遥感影像在环境评价、林业测量、精细农业、城市规划等领域具有广泛的应用。然而，高分辨率遥感影像也给精确的目标分割带来了一些挑战。例如，影像中同类物体变化大、不同类型物体差异性小等问题，给网络的鲁棒性以及学习鉴别特征带来了困难。
近年来，卷积神经网络在从自然图像中学习高级语义特征方面取得了突破性的进展。因此，卷积神经网络成为解决上述问题的一个直观选择。作为卷积神经网络的一种，全卷积网络用于准确、高效的自然图像分割，在语义分割领域取得了巨大的成功。它通过神经网络自适应地学习任务相关的图像特征并将传统网络最后的全连接层转化为卷积层，再使用反卷积进行上采样得到和输入图像尺寸一致的分割结果，实现了图像到图像的端到端分割任务。受此启发，很多工作将全卷积网络模型扩展到分割高分辨率遥感影像，取得了更好的性能。
但是，与自然图像相比，高分辨率遥感图像的尺寸要大得多，分割对象也更加复杂。以International Society for Photogrammetry and Remote Sensing（ISPRS）委员会提供的Potsdam数据集为例，每幅影像的空间大小为6000×6000。它们涵盖了尺度变化很大的各种类型物体，例如同一场景下存在汽车和大型建筑，与大型建筑相比，汽车所占的空间位置非常少。对于基于全卷积网络的模型来说，不同尺度的目标对网络有不同的要求。以上述场景为例，深层网络能够提供更大的感受野，这有利于提取丰富的全局信息对大型建筑进行分割。但是，这也会带来汽车的空间信息损失严重的问题。相反，在浅层网络中，较小的感受野提供的局部信息可能足以对汽车进行分割，但这些局部信息可能只覆盖大型建筑中的一小部分。因此，如何处理场景中不同尺度的目标成为了高分辨率遥感影像分割的关键问题。
为了解决上述问题，已有的工作探索了许多策略。这些策略主要包括：聚合来自不同卷积层的多个卷积特征，提取同一个卷积层中的多尺度卷积特征，以及通过构建多个卷积分支融合多分支卷积特征。前两类策略试图构建一个能够同时分割不同尺度目标的网络。但是，由于单个网络的学习能力有限，这类模型往往需要在不同尺度的对象之间进行权衡，导致分割结果不理想，尤其是对于小尺度或大尺度对象，第三类策略是一种利用多个子网来缓解这一问题的潜在方法。如果能够对多个网络进行充分利用，其学习能力与单个网络相比会更强大。然而，这类策略在设计和融合不同网络方面仍存在一些问题。
发明内容
针对现有技术的不足，本发明的目的在于提供一种高分辨率遥感影像渐进式分割方法，以解决上述背景技术中提出的问题。
本发明的目的可以通过以下技术方案实现：
一种高分辨率遥感影像渐进式分割方法，包括以下步骤：
首先构建三个负责处理不同尺度对象的级联子网；
然后将原始的高分辨率遥感影像裁剪成块，依次输入到三条级联的子网中，以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息；
再构建两个尺度引导模块，将尺度关系编码到后两条子网的卷积特征中去，并基于此得到三个不同尺度的分割结果；
接着将在尺度关系引导下得到的三个不同尺度分割结果，输入到位置敏感模块中，自适应地学习它们对每个空间位置的重要性，得到三个不同尺度的位置贡献图；
最后将得到的不同尺度分割结果与得到的位置贡献图进行加权求和推导最终的分割结果。
优选地，所述三个级联子网包括处理小尺度对象的小尺度子网、处理大尺度对象的大尺度子网和应对其他尺度对象的第三子网，三个子网均由5个卷积块组成。
优选地，所述原始的高分辨率遥感影像裁剪后影像块使用
Figure 100002_DEST_PATH_IMAGE001
作为输入，得到的小尺度卷积特征为
Figure 100002_DEST_PATH_IMAGE002
，大尺度卷积特征为
Figure 100002_DEST_PATH_IMAGE003
，其他尺度卷积特征为
Figure 100002_DEST_PATH_IMAGE004
。
优选地，利用
Figure 100002_DEST_PATH_IMAGE005
构造第一个所述尺度引导模块，采用
Figure 100002_DEST_PATH_IMAGE006
对
Figure 639320DEST_PATH_IMAGE005
进行归一化，尺度引导图
Figure 100002_DEST_PATH_IMAGE007
通过如下公式的得到:
Figure 100002_DEST_PATH_IMAGE008
调整为：
Figure 100002_DEST_PATH_IMAGE009
第二个所述尺度引导模块将
Figure 196203DEST_PATH_IMAGE005
和
Figure 100002_DEST_PATH_IMAGE010
都作为输入，
Figure 100002_DEST_PATH_IMAGE011
通过如下公式的得到:
Figure 100002_DEST_PATH_IMAGE012
调整为:
Figure 100002_DEST_PATH_IMAGE013
其他尺度子网的特征经过尺度引导图
Figure 100002_DEST_PATH_IMAGE014
微调后，得到其他尺度分割结果
Figure 100002_DEST_PATH_IMAGE015
。
优选地，所述位置敏感模块首先将
Figure 119029DEST_PATH_IMAGE005
，
Figure 521191DEST_PATH_IMAGE010
和
Figure 100002_DEST_PATH_IMAGE016
串联在一起，然后使用两个卷积层生成位置贡献图，定义如下:
Figure 100002_DEST_PATH_IMAGE017
。
优选地，所述三个不同尺度分割结果与三个不同尺度的位置贡献图进行加权求和得到最终的分割结果
Figure 100002_DEST_PATH_IMAGE018
，定义如下：
Figure 100002_DEST_PATH_IMAGE019
。
优选地，监督方式如下:
Figure 100002_DEST_PATH_IMAGE020
。
本发明的有益效果：
1、本发明高分辨率遥感影像渐进式分割方法与全卷积网络（FCN-8s）、U形网络（UNet）、金字塔场景分割网络（PSPNet）、空洞可分卷积网络（DeepLabv3+）、特征解耦网络（CGFDN）相比，在各种准确指标上都有很大的提升；
2、本发明高分辨率遥感影像渐进式分割方法使用引入尺度关系的级联子网以小尺度、大尺度和其他尺度逐步地对目标进行分割，并且充分衡量不同子网对每个空间位置的重要性，这样能够更好地应对高分辨率遥感影像的尺度差异挑战，提高分割精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明高分辨率遥感影像渐进式分割方法流程图；
图2是本发明中两种尺度引导模块流程图；
图3是本发明中位置敏感模块流程图；
图4是本发明方法与全卷积网络、U形网络、金字塔场景分割网络、空洞可分卷积网络、特征解耦网络在Vaihingen高分辨率遥感影像上的分割可视化结果图；
图5是本发明方法与全卷积网络、U形网络、金字塔场景分割网络、空洞可分卷积网络、特征解耦网络在Potsdam高分辨率遥感影像上的分割可视化结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1至图5所示，一种高分辨率遥感影像渐进式分割方法，包括以下步骤：
步骤一：构建三个负责处理不同尺度对象的级联子网；
由于影像中常常存在尺度变化非常大的各种物体，而小尺度和大尺度对象通常比其他尺度对象更难分割，因此，设计两条子网来处理小尺度和大尺度对象，另一条子网来应对其他尺度对象，如图1所示，每条子网由5个卷积块组成，表1给出了三条子网卷积块的详细配置，其中
Figure DEST_PATH_IMAGE021
，
Figure DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
用于代表影像或特征图的高度，宽度和通道个数。“卷积操作”表示该卷积块所使用的卷积层数（为简单起见，在此表中省略了批归一化和ReLU激活操作)，而“卷积步长”表示每层卷积所使用的步长。
表1 子网卷积块详细配置
Figure DEST_PATH_IMAGE025
对于小尺度子网，它的第一个卷积块在表1中命名为Block0，该卷积块包含两层大小为
Figure DEST_PATH_IMAGE026
的卷积层，每个卷积层的步长为2，卷积核个数为
Figure 32813DEST_PATH_IMAGE023
，小尺度子网的其他卷积块，本发明采用相同的结构，每个卷积块都包含四层大小为
Figure DEST_PATH_IMAGE027
的卷积层，为了保留分割小尺度目标所需的空间信息，将每个卷积层步长设为1，卷积核个数为
Figure 495018DEST_PATH_IMAGE023
。
对于大尺度子网，它的前两个卷积块（即Block0和Block1）与小尺度子网相同，它之后的三个卷积块通过步长卷积进行连续的下采样，以此增加特征图的感受野，提取丰富的全局信息以对大尺度对象进行分割，每一个卷积块都包含四层大小为
Figure 514927DEST_PATH_IMAGE027
的卷积层，每个卷积层的步长为2，Block2到Block4的卷积核个数依次设置为
Figure DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE029
、
Figure DEST_PATH_IMAGE030
。
对于其他尺度子网，它的前三个卷积块（即Block0，Block1和Block2）与大尺度子网相同，它的最后两个卷积块，都包含了四层大小为
Figure 48676DEST_PATH_IMAGE027
的卷积层，每个卷积层的步长为1，卷积核个数为
Figure 837641DEST_PATH_IMAGE028
。
步骤二：将原始的高分辨率遥感影像裁剪成块，依次输入到三条级联的子网中，以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息；
由于高分辨率遥感影像本身空间分辨率非常大，所以需要对原始影像进行裁剪，使用裁剪后的影像块
Figure 595381DEST_PATH_IMAGE001
作为输入，其中
Figure DEST_PATH_IMAGE031
表示输入影像块的通道个数，首先，
Figure DEST_PATH_IMAGE032
将输入到小尺度子网，以此捕获小尺度对象的空间上下文信息，得到小尺度卷积特征
Figure 571427DEST_PATH_IMAGE002
，接下来，
Figure 174447DEST_PATH_IMAGE032
输入到大尺度子网，以此捕获大尺度对象的空间上下文信息，得到大尺度卷积特征
Figure 83497DEST_PATH_IMAGE003
，最后，
Figure 418664DEST_PATH_IMAGE032
输入到其他尺度子网，以此捕获其他尺度对象的空间上下文信息，得到其他尺度卷积特征
Figure 350848DEST_PATH_IMAGE004
。
步骤三：构建两个尺度引导模块，将尺度关系编码到后两条子网的卷积特征中去，并基于此得到三个不同尺度的分割结果；
为了使大尺度子网和其他尺度子网都能正确地执行对应尺度对象的分割，设计两种尺度引导模块，其流程图如图2所示。
假设小尺度子网性能良好，其分割结果可以作为定位小尺度对象位置的指标，而其分割结果
Figure DEST_PATH_IMAGE033
可以通过使用大小为
Figure DEST_PATH_IMAGE034
的卷积层将
Figure DEST_PATH_IMAGE035
的特征通道数映射为类别数，并利用双线性插值进行4倍上采样得到，其中
Figure DEST_PATH_IMAGE036
表示要分割的地物覆盖类别数，由于大尺度子网不需要太关注小尺度对象的位置，因此我们可以利用
Figure 757558DEST_PATH_IMAGE005
构造第一个尺度引导模块，如图2中a所示，首先，采用
Figure 583432DEST_PATH_IMAGE006
对
Figure 355079DEST_PATH_IMAGE005
进行归一化，接下来，对于归一化后的
Figure 571296DEST_PATH_IMAGE005
中的每个空间位置，在
Figure 657064DEST_PATH_IMAGE036
个通道中找到它的最大值，该值表示该像素点属于小尺度对象的概率，最后，尺度引导图
Figure 275127DEST_PATH_IMAGE007
可以通过下面的公式的得到:
Figure 545571DEST_PATH_IMAGE008
式中，
Figure DEST_PATH_IMAGE037
函数用于计算输入张量中，每个位置的最大值，得到
Figure DEST_PATH_IMAGE038
后，利用它细化大尺度子网中每个卷积块的输出特征，以大尺度子网中Block2的输出特征
Figure DEST_PATH_IMAGE039
为例，它将被细化为：
Figure DEST_PATH_IMAGE040
式中，
Figure DEST_PATH_IMAGE041
表示两个矩阵对应位置元素进行乘积，而
Figure DEST_PATH_IMAGE042
表示预处理操作符，它由两个步骤组成：第一个步骤是对
Figure 514664DEST_PATH_IMAGE038
进行下采样，使其具有与
Figure DEST_PATH_IMAGE043
相同的空间大小；第二个步骤是沿着通道维度复制下采样后的
Figure 528757DEST_PATH_IMAGE038
，以获得与
Figure 266906DEST_PATH_IMAGE043
相同的通道数量，大尺度子网的特征经过尺度引导图
Figure 583618DEST_PATH_IMAGE038
细化后，使用大小为
Figure 508848DEST_PATH_IMAGE034
的卷积层将
Figure DEST_PATH_IMAGE044
的特征通道数映射为类别数，并利用双线性插值进行32倍上采样，得到大尺度分割结果
Figure DEST_PATH_IMAGE045
。
不同于第一个尺度引导模块，第二个尺度引导模块将
Figure 592211DEST_PATH_IMAGE005
和
Figure 856970DEST_PATH_IMAGE010
都作为输入，它的目的是帮助其他尺度子网减少对小尺度目标和大尺度目标的关注度，图2中b是尺度引导图
Figure 406900DEST_PATH_IMAGE011
的推导流程图，如下定义:
Figure DEST_PATH_IMAGE046
式中，
Figure DEST_PATH_IMAGE047
函数用于从两个输入矩阵中查找每个元素的最大值，
Figure 412902DEST_PATH_IMAGE014
将被应用于其他尺度子网的每个卷积块中提取的特征，假设其他尺度子网的Block2的输出是
Figure 644163DEST_PATH_IMAGE039
，该特征将微调为:
Figure DEST_PATH_IMAGE048
其他尺度子网的特征经过尺度引导图
Figure 419221DEST_PATH_IMAGE014
微调后，使用大小为
Figure 874473DEST_PATH_IMAGE034
的卷积层将
Figure DEST_PATH_IMAGE049
的特征通道数映射为类别数，并利用双线性插值进行8倍上采样，得到其他尺度分割结果
Figure 243138DEST_PATH_IMAGE015
。
步骤四：将在尺度关系引导下得到的三个不同尺度分割结果，输入到位置敏感模块中，自适应地学习它们对每个空间位置的重要性，得到三个对应不同尺度的位置贡献图；
来自不同子网的分割结果
Figure 809248DEST_PATH_IMAGE005
，
Figure 438813DEST_PATH_IMAGE010
和
Figure 64966DEST_PATH_IMAGE016
在每个位置上的贡献应根据被分割对象的尺度不同而不同，为此，提出一个位置敏感模块，它旨在自适应学习三个位置贡献图，每个位置贡献图对应一个特定尺度的分割结果，位置敏感模块的流程如图3所示，它首先将
Figure 655348DEST_PATH_IMAGE005
，
Figure 290728DEST_PATH_IMAGE010
和
Figure 509220DEST_PATH_IMAGE016
串联在一起，然后使用两个卷积层生成位置贡献图，这个过程可以表示为:
Figure DEST_PATH_IMAGE050
式中，
Figure DEST_PATH_IMAGE051
是生成的位置贡献图，[
Figure DEST_PATH_IMAGE052
]表示一个沿着通道维度进行特征串联运算符，
Figure DEST_PATH_IMAGE053
是一个卷积运算符，其卷积核大小为
Figure 368592DEST_PATH_IMAGE027
，卷积核个数为
Figure 243007DEST_PATH_IMAGE036
。
Figure DEST_PATH_IMAGE054
是一个卷积运算符，其卷积核大小为
Figure 885341DEST_PATH_IMAGE027
，卷积核个数为3，
Figure DEST_PATH_IMAGE055
表示位置贡献图
Figure DEST_PATH_IMAGE056
的第
Figure DEST_PATH_IMAGE057
个通道，即第
Figure 958339DEST_PATH_IMAGE057
张位置贡献图，它的值描述了
Figure DEST_PATH_IMAGE058
对最终分割结果的贡献。
步骤五：将步骤三得到的不同尺度分割结果与步骤4得到的位置贡献图进行加权求和推导最终的分割结果；
由步骤三得到的三个分割结果，与步骤四得到的
Figure DEST_PATH_IMAGE059
进行加权求和得到最终的分割结果
Figure 519770DEST_PATH_IMAGE018
，这个过程可以定义为：
Figure DEST_PATH_IMAGE060
式中，
Figure DEST_PATH_IMAGE061
表示将输入矩阵沿通道维度复制
Figure 412640DEST_PATH_IMAGE036
次。
为了使三条子网和位置敏感模块有足够的判别能力，根据这四个结果采用如下组合损失函数，对整体学习过程进行监督:
Figure DEST_PATH_IMAGE062
式中，
Figure DEST_PATH_IMAGE063
是从整个训练样本计算的损失值，
Figure DEST_PATH_IMAGE064
是训练样本的数量，
Figure DEST_PATH_IMAGE065
表示交叉熵损失函数，
Figure DEST_PATH_IMAGE066
，
Figure DEST_PATH_IMAGE067
和
Figure DEST_PATH_IMAGE068
分别为第
Figure DEST_PATH_IMAGE069
个训练样本的真实标签，中间结果和最终预测结果，
Figure DEST_PATH_IMAGE070
用于平衡两个损失函数。
实施例一：
将本发明所提供的技术方案应用在Vaihingen高分辨率遥感影像分割中，影像由ISPRS组委会提供，数据集包含33幅影像，平均尺寸是
Figure DEST_PATH_IMAGE071
，影像的空间分辨率是
Figure DEST_PATH_IMAGE072
，每幅影像由3个通道（近红外、红、绿）构成，还提供了相应的数字地表模型（DSM）和归一化数字地表模型（nDSM），影像的包含6种地物覆盖类别：地面，大楼，低植被，树木，车和背景。
利用本发明对影像中有着较大尺度差异的场景，在引入尺度关系的基础上进行逐级分割，生成三个不同尺度的分割结果，并对这些分割结果进行自适应组合，以此来得到一个高分辨率遥感影像分割结果。
为了验证本发明的有效性，分类结果分别与全卷积网络（FCN-8s）、U形网络（UNet）、金字塔场景分割网络（PSPNet）、空洞可分卷积网络（DeepLabv3+）、特征解耦网络（CGFDN）进行对比。
首先，本发明构建三个级联的子网，以小尺度、大尺度和其他尺度逐步地捕获影像的空间上下文信息；紧接着，本发明设计了两个尺度模块，利用前一条子网的分割结果生成的尺度关系，指导后一条子网的特征学习，并基于此得到三个不同尺度的分割结果；最后，将在尺度关系引导下得到的分割结果输入到位置敏感模块中，为每个空间位置分配对应不同尺度的权重，通过加权求和推导出最终的分割结果。此外，本发明方法设置为端到端的网络结构，以高效地处理高分辨率遥感影像。
分类过程具体如下：
（1）利用三个级联的子网，以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息：
按照ISPRS组委会公布的Vaihingen影像分割任务的训练/测试集设置方式，使用16幅影像作为训练集，剩余的作为测试集，训练集用于调整模型的参数，测试集在最后一步中来评估整个网络的分类性能。同时，考虑到归一化植被指数（NDVI）是植被分割的有效指标，我们对每幅影像进行如下计算：
Figure DEST_PATH_IMAGE073
式中，
Figure DEST_PATH_IMAGE074
和
Figure DEST_PATH_IMAGE075
分别表示影像的近红外通道和红色通道。由此，本发明构造了一个由近红外、红、绿、DSM、nDSM、NDVI组成的复合输入图像，三个子网通过不同的网络感受野来捕获复合输入图像中不同尺度的空间上下文信息，每个子网中相邻的特征块之间都使用了残差连接，以更好地结合浅层特征，网络中的卷积核参数
Figure 576774DEST_PATH_IMAGE023
根据经验设置为
Figure DEST_PATH_IMAGE076
。为了能够充分的使用GPU以及生成尽可能多的训练样本，本发明使用一个
Figure DEST_PATH_IMAGE077
滑动窗口以
Figure 238699DEST_PATH_IMAGE076
为步长将原始的训练样本裁剪成影像块。测试的时候也是采用一样的滑动窗口方案，得到每一个影像块的测试结果后，以与滑动窗口裁剪相对应的方式将影像块分割结果进行拼接，重叠的部分采用均值代替，完成对原始影像的分割。
（2）利用两个尺度引导模块为后两条子网引入尺度关系，并基于此得到三个不同尺度的分割结果：
本发明利用第一条子网（即小尺度子网）的分割结果，构造第一个尺度引导模块，将尺度关系编码到第二条子网（即大尺度子网），使其更关注大尺度信息；并且通过第一条子网和第二条子网的分割结果，构造第二个尺度引导模块，将尺度关系编码到第三条子网（即其他尺度子网），使其更关注其他尺度信息。其中，三条子网的分割结果都通过下述方法得到：将子网最后的输出特征经过一层
Figure 643136DEST_PATH_IMAGE034
卷积层，得到一个特征通道数和类别个数一样的输出结果，并对这个结果使用双线性插值恢复到和输入影像一样大小的尺寸，得到对应尺度的分割结果。
（3）将在尺度关系引导下得到的分割结果输入到位置敏感模块中，为每个空间位置分配对应不同尺度的权重，并与不同尺度分割结果进行加权求和得到最终的分割结果：
位置敏感模块能够自适应地学习不同尺度分割结果对于每个空间位置的贡献，它将生成的三个位置贡献图，每个位置贡献图对应一个特定的尺度分割结果并作为其权重，以加权求和的方式推导出最终的分割结果，然后使用三个不同尺度分割结果和最终分割结果对真实值计算分割损失，公式7中的
Figure 429826DEST_PATH_IMAGE070
取
Figure DEST_PATH_IMAGE078
。
为了验证本发明方法的效果，将MPSegNet模型与全卷积网络（FCN-8s）、U形网络（UNet）、金字塔场景分割网络（PSPNet）、空洞可分卷积网络（DeepLabv3+）、特征解耦网络（CGFDN）进行比较。
图4为本发明方法与全卷积网络（FCN-8s）、U形网络（UNet）、金字塔场景分割网络（PSPNet）、空洞可分卷积网络（DeepLabv3+）、特征解耦网络（CGFDN）在Vaihingen数据集上的分割图，从图中可以看出，和其他方法相比，本发明能够同时处理好不同尺度对象，得到一个更加完整、均匀的分割图，本方法可以获得更高的分割准确率，表2给出了6种分割方法在Vaihingen数据集上的分割准确率的比较。
表2 Vaihingen数据集分割准确率对比
Impervious surface Building Low vegetation Tree Car OA Mean-F1 mIoU
FCN-8s 90.7 94.3 80.5 88.0 79.7 89.6 86.6 77.0
UNet 90.7 94.5 80.8 88.2 82.9 89.9 87.4 78.3
PSPNet 91.2 94.8 81.5 88.5 77.2 90.2 86.6 77.0
DeepLabv3+ 91.4 95.1 81.2 88.3 83.9 90.3 88.0 79.0
CGFDN 91.8 94.7 83.1 89.7 82.9 91.0 88.4 79.4
MPSegNet 92.4 95.7 83.4 89.5 84.6 91.6 89.1 80.5
从表2可以看出，本发明方法的总体准确率（OA）、平均F1分数（Mean-F1）和均交并比（mIoU）明显高于其他5种分类方法，其中，CGFDN通过引入共生关系，与其他4种方法相比有着更好的分割准确度，MPSegNet通过设计引入尺度关系的多重子网能够取得更好的分割结果。
综上可知，和全卷积网络（FCN-8s）、U形网络（UNet）、金字塔场景分割网络（PSPNet）、空洞可分卷积网络（DeepLabv3+）、特征解耦网络（CGFDN）相比，本发明方法无论是从分割性能还是从分割精确度上来看，都具有明显的优势。
实施例二：
将本发明所提供的技术方案应用在Potsdam高分辨率遥感影像分割中，影像由ISPRS组委会提供，这个数据集包含38幅影像，每幅影像的尺寸是
Figure DEST_PATH_IMAGE079
，影像的空间分辨率是
Figure DEST_PATH_IMAGE080
，每幅影像由3个通道（近红外、红、绿）构成，还提供了相应的数字地表模型（DSM）和归一化数字地表模型（nDSM），影像的包含6种地物覆盖类别：地面，大楼，低植被，树木，车和背景。
利用本发明对影像中有着较大尺度差异的场景，在引入尺度关系的基础上进行逐级分割，生成三个不同尺度的分割结果，并对这些分割结果进行自适应组合，以此来得到一个高分辨率遥感影像分割结果。
为了验证本发明的有效性，分类结果分别与全卷积网络（FCN-8s）、U形网络（UNet）、金字塔场景分割网络（PSPNet）、空洞可分卷积网络（DeepLabv3+）、特征解耦网络（CGFDN）进行对比。
首先，本发明构建三个级联的子网，以小尺度、大尺度和其他尺度逐步地捕获影像的空间上下文信息，紧接着，本发明设计了两个尺度模块，利用前一条子网的分割结果生成的尺度关系，指导后一条子网的特征学习，并基于此得到三个不同尺度的分割结果，最后，将在尺度关系引导下得到的分割结果输入到位置敏感模块中，为每个空间位置分配对应不同尺度的权重，通过加权求和推导出最终的分割结果。此外，本发明方法设置为端到端的网络结构，以高效地处理高分辨率遥感影像。
分类过程具体如下：
（1）利用三个级联的子网，以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息：
按照ISPRS组委会公布的Potsdam影像分割任务的训练/测试集设置方式，使用
Figure DEST_PATH_IMAGE081
幅影像作为训练集，剩余的作为测试集，训练集用于调整模型的参数，测试集在最后一步中来评估整个网络的分类性能，同时，考虑到归一化植被指数（NDVI）是植被分割的有效指标，对每幅影像进行如下计算：
Figure 741859DEST_PATH_IMAGE073
式中，
Figure 992712DEST_PATH_IMAGE074
和
Figure 630366DEST_PATH_IMAGE075
分别表示影像的近红外通道和红色通道，由此构造了一个由近红外、红、绿、DSM、nDSM、NDVI组成的复合输入图像，三个子网通过不同的网络感受野来捕获复合输入图像中不同尺度的空间上下文信息，每个子网中相邻的特征块之间都使用了残差连接，以更好地结合浅层特征，网络中的卷积核参数
Figure 966670DEST_PATH_IMAGE023
根据经验设置为
Figure 223339DEST_PATH_IMAGE076
。为了能够充分的使用GPU以及生成尽可能多的训练样本，使用一个
Figure 328698DEST_PATH_IMAGE077
滑动窗口以
Figure 137254DEST_PATH_IMAGE076
为步长将原始的训练样本裁剪成影像块，测试的时候也是采用一样的滑动窗口方案，得到每一个影像块的测试结果后，以与滑动窗口裁剪相对应的方式将影像块分割结果进行拼接，重叠的部分采用均值代替，完成对原始影像的分割。
（2）利用两个尺度引导模块为后两条子网引入尺度关系，并基于此得到三个不同尺度的分割结果：
本发明利用第一条子网（即小尺度子网）的分割结果，构造第一个尺度引导模块，将尺度关系编码到第二条子网（即大尺度子网），使其更关注大尺度信息；并且通过第一条子网和第二条子网的分割结果，构造第二个尺度引导模块，将尺度关系编码到第三条子网（即其他尺度子网），使其更关注其他尺度信息，其中，三条子网的分割结果都通过下述方法得到：将子网最后的输出特征经过一层
Figure 695274DEST_PATH_IMAGE034
卷积层，得到一个特征通道数和类别个数一样的输出结果，并对这个结果使用双线性插值恢复到和输入图像一样大小的尺寸，得到对应尺度的分割结果。
（3）将在尺度关系引导下得到的分割结果输入到位置敏感模块中，为每个空间位置分配对应不同尺度的权重，并与不同尺度分割结果进行加权求和得到最终的分割结果：
位置敏感模块能够自适应地学习不同尺度分割结果对于每个空间位置的贡献，它将生成的三个位置贡献图，每个位置贡献图对应一个特定的尺度分割结果并作为其权重，以加权求和的方式推导出最终的分割结果，然后使用三个不同尺度分割结果和最终分割结果对真实值计算分割损失，公式7中的
Figure 755634DEST_PATH_IMAGE070
取
Figure DEST_PATH_IMAGE082
。
为了验证本发明方法的效果，将MPSegNet模型与全卷积网络（FCN-8s）、U形网络（UNet）、金字塔场景分割网络（PSPNet）、空洞可分卷积网络（DeepLabv3+）、特征解耦网络（CGFDN）进行比较。
图4为本发明方法与全卷积网络（FCN-8s）、U形网络（UNet）、金字塔场景分割网络（PSPNet）、空洞可分卷积网络（DeepLabv3+）、特征解耦网络（CGFDN）在在Potsdam数据集上的分割图，从图中可以看出，和其他方法相比，本发明能够同时处理好不同尺度对象，得到一个更加完整、均匀的分割图。这说明，本发明方法可以获得更高的分割准确率，表3给出了6种分割方法在Potsdam数据集上的分割准确率的比较。
表3 Potsdam数据集分割准确率对比
Impervious surface Building Low vegetation Tree Car OA Mean-F1 mIoU
FCN-8s 91.6 96.2 84.7 86.3 94.4 89.6 90.6 74.7
UNet 92.0 96.2 84.8 86.2 95.4 89.6 90.9 75.3
PSPNet 91.9 96.6 85.4 85.8 95.1 89.9 91.0 75.4
DeepLabv3+ 92.2 96.5 85.3 87.3 95.6 90.3 91.4 76.8
CGFDN 92.6 97.0 86.8 87.6 94.9 90.8 91.8 76.3
MPSegNet 93.2 97.5 86.9 88.3 96.2 91.4 92.4 77.9
从表3得出本发明方法的总体准确率（OA）、平均F1分数（Mean-F1）和均交并比（mIoU）明显高于其他5种分类方法，其中，CGFDN通过引入共生关系，与其他4种方法相比有着更好的分割准确度，MPSegNet通过设计引入尺度关系的多重子网能够取得更好的分割结果。
综上可知，和全卷积网络（FCN-8s）、U形网络（UNet）、金字塔场景分割网络（PSPNet）、空洞可分卷积网络（DeepLabv3+）、特征解耦网络（CGFDN）相比，本发明方法无论是从分割性能还是从分割精确度上来看，都具有明显的优势。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (7)

1.一种高分辨率遥感影像渐进式分割方法，其特征在于，包括以下步骤：
首先构建三个负责处理不同尺度对象的级联子网；
然后将原始的高分辨率遥感影像裁剪成块，依次输入到三条级联的子网中，以小尺度、大尺度和其他尺度逐步地捕获输入影像的空间上下文信息；
再构建两个尺度引导模块，将尺度关系编码到后两条子网的卷积特征中去，并基于此得到三个不同尺度的分割结果；
接着将在尺度关系引导下得到的三个不同尺度分割结果，输入到位置敏感模块中，自适应地学习它们对每个空间位置的重要性，得到三个不同尺度的位置贡献图；
最后将得到的不同尺度分割结果与得到的位置贡献图进行加权求和推导最终的分割结果。
2.根据权利要求1所述的一种高分辨率遥感影像渐进式分割方法，其特征在于，所述三个级联子网包括处理小尺度对象的小尺度子网、处理大尺度对象的大尺度子网和应对其他尺度对象的第三子网，三个子网均由5个卷积块组成。
3.根据权利要求1所述的一种高分辨率遥感影像渐进式分割方法，其特征在于，所述原始的高分辨率遥感影像裁剪后影像块使用
Figure DEST_PATH_IMAGE001
作为输入，得到的小尺度卷积特征为
Figure DEST_PATH_IMAGE002
，大尺度卷积特征为
Figure DEST_PATH_IMAGE003
，其他尺度卷积特征为
Figure DEST_PATH_IMAGE004
。
4.根据权利要求1所述的一种高分辨率遥感影像渐进式分割方法，其特征在于，利用
Figure DEST_PATH_IMAGE005
构造第一个所述尺度引导模块，采用
Figure DEST_PATH_IMAGE006
对
Figure 340374DEST_PATH_IMAGE005
进行归一化，尺度引导图
Figure DEST_PATH_IMAGE007
通过如下公式的得到:
Figure DEST_PATH_IMAGE008
调整为：
Figure DEST_PATH_IMAGE009
第二个所述尺度引导模块将
Figure 319831DEST_PATH_IMAGE005
和
Figure DEST_PATH_IMAGE010
都作为输入，
Figure DEST_PATH_IMAGE011
通过如下公式的得到:
Figure DEST_PATH_IMAGE012
调整为:
Figure DEST_PATH_IMAGE013
其他尺度子网的特征经过尺度引导图
Figure DEST_PATH_IMAGE014
微调后，得到其他尺度分割结果
Figure DEST_PATH_IMAGE015
。
5.根据权利要求1所述的一种高分辨率遥感影像渐进式分割方法，其特征在于，所述位置敏感模块首先将
Figure 427465DEST_PATH_IMAGE005
，
Figure 150570DEST_PATH_IMAGE010
和
Figure DEST_PATH_IMAGE016
串联在一起，然后使用两个卷积层生成位置贡献图，定义如下:
Figure DEST_PATH_IMAGE017
。
6.根据权利要求1所述的一种高分辨率遥感影像渐进式分割方法，其特征在于，所述三个不同尺度分割结果与三个不同尺度的位置贡献图进行加权求和得到最终的分割结果
Figure DEST_PATH_IMAGE018
，定义如下：
Figure DEST_PATH_IMAGE019
。
7.根据权利要求1所述的一种高分辨率遥感影像渐进式分割方法，其特征在于，监督方式如下:
Figure DEST_PATH_IMAGE020
。
CN202210924746.6A 2022-08-03 2022-08-03 一种高分辨率遥感影像渐进式分割方法 Active CN114998363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210924746.6A CN114998363B (zh) 2022-08-03 2022-08-03 一种高分辨率遥感影像渐进式分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210924746.6A CN114998363B (zh) 2022-08-03 2022-08-03 一种高分辨率遥感影像渐进式分割方法

Publications (2)

Publication Number Publication Date
CN114998363A true CN114998363A (zh) 2022-09-02
CN114998363B CN114998363B (zh) 2022-10-11

Family

ID=83022319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210924746.6A Active CN114998363B (zh) 2022-08-03 2022-08-03 一种高分辨率遥感影像渐进式分割方法

Country Status (1)

Country Link
CN (1) CN114998363B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140185958A1 (en) * 2012-02-07 2014-07-03 Linea Photosharing Llc Mosaic generating platform methods, apparatuses and media
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN114723631A (zh) * 2022-04-01 2022-07-08 西安交通大学 基于深度上下文先验与多尺度重建子网络的图像去噪方法、***及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140185958A1 (en) * 2012-02-07 2014-07-03 Linea Photosharing Llc Mosaic generating platform methods, apparatuses and media
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法
CN114723631A (zh) * 2022-04-01 2022-07-08 西安交通大学 基于深度上下文先验与多尺度重建子网络的图像去噪方法、***及装置

Also Published As

Publication number Publication date
CN114998363B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及***
CN111738111A (zh) 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法
CN111860233B (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及***
CN111291826B (zh) 基于相关性融合网络的多源遥感图像的逐像素分类方法
CN113609889B (zh) 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN111325165A (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN111814685A (zh) 基于双支路卷积自编码器的高光谱图像分类方法
CN113673556B (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN112381144B (zh) 非欧与欧氏域空谱特征学习的异构深度网络方法
CN111860683A (zh) 一种基于特征融合的目标检测方法
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN110570402A (zh) 基于边界感知神经网络的双目显著物体检测方法
CN115240072A (zh) 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN115601236A (zh) 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法
CN115908946A (zh) 基于多种注意力语义分割的土地利用分类方法
Shen et al. An image enhancement algorithm of video surveillance scene based on deep learning
CN114445442B (zh) 基于非对称交叉融合的多光谱图像语义分割方法
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法
CN114821074B (zh) 机载liDAR点云语义分割方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant