CN110009637A

CN110009637A - 一种基于树形结构的遥感图像分割网络

Info

Publication number: CN110009637A
Application number: CN201910280400.5A
Authority: CN
Inventors: 岳凯; 李瑞瑞
Original assignee: Beijing University of Chemical Technology
Current assignee: Beijing University of Chemical Technology
Priority date: 2019-04-09
Filing date: 2019-04-09
Publication date: 2019-07-12
Anticipated expiration: 2039-04-09
Also published as: CN110009637B

Abstract

本发明涉及一种基于树形结构的遥感图像分割网络，属于计算机视觉技术领域。所述遥感图像分割网络为DeepLab V3+结构化的树形网络模型，所述树形网络模型包括依次连接的分割模块和树形处理模块；其中所述分割模块为DeepLab V3+网络模型，且所述DeepLab V3+网络模型包括编码器部分和解码器部分。所述树形处理模块的构建方法包括构建混淆矩阵、计算下三角矩阵、建立混淆无向完全图、对所述混淆无向完全图进行迭代的割边操作及得到所示其中树形处理模块。本发明能够对易混淆的像素更好地区分，得到更准确的分割结果，有效提升了高分辨率遥感图像语义分割整体精度，其中易混淆类别数据的分割准确率提高显著。

Description

一种基于树形结构的遥感图像分割网络

技术领域

本发明涉及一种基于树形结构的遥感图像分割网络，具体为一种混合DeepLab V3+和树形结构的遥感图像分割网络，属于计算机视觉技术领域。

背景技术

高分辨率遥感图像语义分割是指为图像中的每一个像素分配语义标签的任务。近年来，随着遥感测绘技术的高速发展，我们已经可以轻而易举地获得地面采样间隔(GSD)为5至10厘米的超高分辨率的光学遥感图像。以此为基础，如何准确高效地对这些图像进行分割成为遥感图像分割领域中的研究热点。对于超高分辨率分遥感图像的数据，大多数传统方法依赖以人工设计特征的受监督分类器来进行分割处理。而人工设计的特征往往只能表达低级的语义信息，深度学习技术则可以充分挖掘图像中的高级语义信息特征。深度学习技术已经在计算机视觉领域中取得了巨大的成功，例如图片分类、目标检测、语义分割等。深度卷积神经网络接收原始数据输入，以端到端的结构通过学习，最终根据特定任务得到输出结果。

对于多分类的遥感图像分割任务，由于易被混淆的类别数据在空间分布上通常是相邻分布的，如图4所示，因为一般的网络模型很难学习到有效的特征表示，因此分割的准确率并不高。遥感图像语义分割的本质是对房屋、车辆、道路、植被、海洋冰等地表形态进行像素级分类。遥感图像来源于航空无人机或光谱传感器的图像。早期遥感图像分割研究主要以图论为基础。例如传统方法中的将最小生成树算法与MumfordShah理论相结合的遥感图像分割方法。对于监督学习，大多数分割方法都是基于人工手工选择特征的。这些特征通常很复杂，但是也只能表达低级或中级的语义信息描述。

随着遥感技术的发展，我们现在可以方便地获取大量的高超分辨率(VHR，very-high-resolution)遥感图像。这些图像通常具有丰富的上下文信息，使得大多数传统的分割方法都不适用。卷积神经网络(CNN，Convolution neural network)最初通过基于区域的训练来学习像素的语义表示。完全卷积网络(FCN)是最先应用于图像分割的网络模型，它用卷积层替换所有的全连接层，以允许任意大小的图像作为输入进行分割。此后，反卷积网络((DeconvNet))、SegNet、RefineNet、U-Net等网络模型接连被引入遥感图像分割领域，用来解决超高分立案率遥感图像的分割精度不高的难题。虽然整体的分割准确率已经相比传统方法大大提高，但是对于易混淆的数据类别，例如灌木与树木、建筑和不透水表面还是会存在分割相互错乱的情况。

发明内容

为解决易混淆类别数据分割准确率低的问题，本发明的目的在于提供一种混合DeepLab V3+和树形结构的遥感图像分割网络，针对超高分辨率遥感图像中的易混淆类别数据的分割问题，提高其分割精度。

本发明的目的是通过以下技术方案实现的：

一种基于树形结构的遥感图像分割网络，所述遥感图像分割网络为DeepLab V3+结构化的树形网络模型，所述树形网络模型包括依次连接的分割模块和树形处理模块；其中所述分割模块为DeepLab V3+网络模型，且所述DeepLab V3+网络模型包括编码器部分和解码器部分；

所述树形处理模块的构建方法包括以下步骤：

步骤1，利用先验的分割结果，计算分割图中的所有像素，构建混淆矩阵A，混淆矩阵A中a_ij表示第i行第j列的像素数据，其中所述混淆矩阵A的第i行表示该像素数据被预测的类别，第j列表示该像素数据实际的类别；

步骤2，将混淆矩阵A中相应行列的元素a_ij与a_ji相加，得到相对应的下三角矩阵B，b_ij表示的是第i类和第j类数据的混淆度；

步骤3，建立混淆无向完全图：将下三角矩阵B看作一个无向图的关联矩阵，在无向图中，每个节点表示一个类别，节点与节点之间边的权值表示两个节点的混淆程度，将下三角矩阵B中b_ij的值作为混淆无向完全图节点i与节点j之间的边的权值；

步骤4，对所述混淆无向完全图进行迭代的割边操作：每次遍历图中所有未被割去的边，选中其中权值最小的一条将其割去，并检查无向图是否被分割为两个子图；若原图没有被分成两个子图，则在剩余未选择的边中继续选择权值最小的一条将其割去并重复操作该步骤4；若原图被分为了两个子图，则对每一个子图重复操作该步骤4；

步骤5，得到树形处理模块：对于步骤4中每一次分为两个子图时，将两个子图的点集分别作为树形结构原先根节点的两个子节点，当所有的节点都被分离出来，树形处理模块构建完成。

进一步的，所述DeepLab V3+网络模型中的编码器部分的Middle Flow块包含两个Xception单元。

进一步的，所述树形处理模块为一个具有6个叶子节点的二叉树状模型，且每一个节点均为一个ResNeXt单元。

进一步的，所述树形处理模块的构建方法中步骤1中混淆矩阵A为6*6的矩阵；步骤3中所述混淆无向完全图中共有6个顶点。

进一步的，所述遥感图像分割网络为全卷积网络，不存在全连接层；在树形处理模块之后，所有特征图被送入一个1*1的卷积层，并通过SoftMax函数进行输出。

本发明的有益效果如下：

本发明不仅对DeepLab V3+做出了修改，使其适用于多尺度、多模态的数据，并在之后添加和连接树形神经网络处理模块。所述树形处理模块是通过建立混淆矩阵、提取混淆图、图分割构建出来的，能够对易混淆的像素更好地区分，得到更准确的分割结果。本发明在ISPRS(国际摄影测量与遥感学会)委员会提供的两个不同城市的遥感影像集分别进行了实验，实验结果表明我们所提出的结合DeepLab V3+和树形结构的网络，有效提升了高分辨率遥感图像语义分割整体精度，其中易混淆类别数据的分割准确率提高显著。

附图说明

图1为本发明所述基于树形结构的遥感图像分割网络结构示意图；

图2为本发明所述DeepLab V3+网络模型示意图；

图3为本发明所述树形处理模块示意图；

图4为光学遥感图像实例；

图5为树形处理模块构建方法示意图；

图6为实施例中迭代割边处理的图割算法示意图；

图7为树形处理模块构建实例图；

图8为实施例中ISPRS数据集示意图；

图9为实施例中影像重叠策略示意图；

图10位实施例中测试集图片的全局和局部分割结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种基于树形结构的遥感图像分割网络，所述遥感图像分割网络为DeepLab V3+结构化的树形网络模型，所述树形网络模型包括依次连接的分割模块和树形处理模块。

分割模块选用的是沙漏状的编码-解码模型(encoder-decoder networks)，如图2所示，本发明选用DeepLab V3+网络模型作为分割模块，且所述DeepLab V3+网络模型主要由两部分组成：编码器部分和解码器部分。相比于原来的DeepLab V3+结构，因为训练所用的图像数据和计算资源有限，本发明将编码器部分的Middle Flow块中的Xception单元由16个降为了2个。

由于ISPRS遥感数据集一共包含6类数据，所述树形处理模块为一个具有6个叶子节点的二叉树状模型，且每一个节点均为一个ResNeXt单元，其结构如图3所示。ResNeXt单元可以不仅避免训练中出现梯度消失的现象，而且通过减少超参数的数量来减小显存的训练开销。

所述树形处理模块的构建方法共有五个中间结果，分布是(a)混淆矩阵、(b)下三角矩阵、(c)混淆无向完全图、(d)割边后的混淆图、(e)混淆树形结构，参考图5，其中序号1～6分别表示的是遥感图像分割任务重的6种数据类别：不透水表面、建筑、低灌木植被、树木、汽车以及杂波层。具体包括以下步骤：

步骤1，利用先验的分割结果，计算分割图中的所有像素，构建混淆矩阵A，所述混淆矩阵A为6*6的矩阵；混淆矩阵A中a_ij表示第i行第j列的像素数据，其中所述混淆矩阵A的第i行表示该像素数据被预测的类别，第j列表示该像素数据实际的类别。

步骤3，建立混淆无向完全图：将下三角矩阵B看作一个无向图的关联矩阵，在无向图中，每个节点表示一个类别，节点与节点之间边的权值表示两个节点的混淆程度，将下三角矩阵B中b_ij的值作为混淆无向完全图节点i与节点j之间的边的权值。所述混淆无向完全图中共有6个顶点，代表了ISPRS数据集中六个类别。

步骤4，对所述混淆无向完全图进行迭代的割边操作：每次遍历图中所有未被割去的边，选中其中权值最小的一条将其割去，并检查无向图是否被分割为两个子图；若原图没有被分成两个子图，则在剩余未选择的边中继续选择权值最小的一条将其割去并重复操作该步骤4；若原图被分为了两个子图，则对每一个子图重复操作该步骤4。该步骤的伪代码如图6所示。

图7给出了一个割边操作的示例图。最左侧一列是下三角矩阵，灰色的元素表示已被割去的边，黑色的元素表示即将割去的边。中间一列则是混淆图的状态，虚线表示到此步骤被割去的边，而实线则表示尚未被选择的边。最右侧是所构建的树形结构的状态。

本发明所提供的遥感图像分割网络为全卷积网络，不存在全连接层；在树形处理模块之后，所有特征图被送入一个1*1的卷积层，并通过SoftMax函数进行输出。

本发明在两个ISPRS Vaihingen和Potsdam遥感数据集上进行了试验，并且公布了实验结果，数据集如图8所示。ISPRS遥感数据集是一个在网上公开的遥感高分辨率图像数据集，主要包含了城市市中心和周围的环境情况，它包含遥感图像中最常见的土地覆盖类别：非渗透表面(impervious surfaces)、建筑(building)、低灌木植被(low_veg)、树木(tree)、车辆(car)和杂波层(clutter)。

(1)Vaihingen数据集

该数据集共包含33张由无人机摄影机在德国Vaihingen镇上空拍摄的高分辨率图片，这组数据共有IRRG格式、DSM格式和数据标注。每张图片的平均尺寸为2494*2046像素，空间分辨率为9厘米。本组实验以11张图片为训练集、5张为验证集以及17张测试集。

(2)Potsdam数据集

Potsdam数据集共包含38张俯拍高分辨率遥感图片，图片尺寸均为6000*6000像素，空间分辨率为5厘米。这组数据有RGB格式、DSM格式、IRRG格式和数据标注。由于数据集中有一张图像存在大量错误标注(编号7_10)，本组实验使用17张图片为训练集、5张验证集和15张测试集。

实验评价标准

分割实验的评价标准为整体准确率(OA，overall accuracy)。对于每一类数据的分割表现，本实施例使用F1值来评价，由精确率(precision值)和召回率(recall值)计算得来。本实施例还使用了类别间的平均F1值来评价整体类别分割表现，因为整体准确率(OA)对于不平衡分布的数据的评价并不敏感。整体准确率和F1值的计算公式如下：

其中tp(True Positive)表示将正类预测为正类数即真正率，tn(True Negative)表示将负类预测为负类数即真负率，fp(False Positive)表示将负类预测为正类数即假正率；fn(False Negative)表示将正类预测为负类数即假负率。

实验环境及数据预处理

本实施例分割网络基于MXNet框架实现，使用2块Nvidia GeForce GTX1080 Ti显卡进行加速训练。由于显存的限制，训练中输入的图像块大小为640*640像素大小，批量大小为4.训练一共80个迭代(epoch)，设置动量(momentum)为0.9，初始学习率被设置为0.01，当训练到达一半时调整学习率为0.001，训练到达3/4再次调整为0.0001。

ISPRS遥感数据集中数据量较小，需要进行数据增强来扩充训练数据。本实施例所使用的方法为：对于每张原始数据，以图像中心每次旋转10°，并截取出最大的正方形图快。这样，每张训练图像可以在旋转后得到36组图片。

另外，因为原始训练图像的尺寸非常大，不能直接将整张图像放入网络中进行训练，需要裁剪为640*640像素大小的图像块。为了保证在拼接后的分割结果图中不会出现明显的裂痕，需要使用影像重叠策略(Overlap-tile strategy)。影像重叠策略是在原始影像内部切割的时候进行重叠，在原始影像边缘部分进行镜像反射外推，示意图如图9所示，细体白色实线为训练图像的边界，粗体白色实线区域为切割图像时的大小，而粗体白色虚线区域为实际分割是有效的区域大小。

实验结果分析

本实施例的实验分别在Vaihingen和Potsdam两个数据集上进行了实验，实验结果请见表1和表2。其中SVL为ISPRS主办方所提供的基准结果，DST方法为全卷积网络FCN并且加入CRF单元的结果，UZ方法则是反卷积网络的分割结果。

表1不同模型在Vaihingen测试数据集上的分割结果对比

表2不同模型在Potsdam测试数据集上的分割结果对比

(1)实验整体结果分析

由表1和表2可以看出，本实施例模型均在整体准确率(OA)这一项表现最好，在Vaihingen和Potsdam数据集上分别达到了90.4％和90.7％，说明了该模型具有较强的分割精度。另外，在低灌木植被(low_veg)和树木(tree)这两个相互易被混淆的类别的表现上，相比较于其他网络模型，F1值均有提升。在Vaihingen数据集的实验中，本实施例模型的低灌木植被和树木类别的F1值分别为83.6％和89.6％；在Potsdam数据集的实验中，本实施例模型的低灌木植被和树木类别的F1值分别为86.8％和87.1％。在平均F1值这一指标上，本实施例模型在Vaihingen和Potsdam数据集上的分数分别是89.3％和92.0％，远远高于其他三种方法，说明本实施例模型对于遥感图像的分割，在每一个类别上的平均表现也是最好的。

(2)树状模块性能分析

本实施例模型的一个创新点就是提出了一种树形的模块，可以进一步提高遥感图像数据中易被混淆的类别的分割精度。在这一部分，我们对网络是否带有树形模块进行了对照实验，实验结果如表3所示。

表3是否加入树形结构的对照实验结果

加上树形结构的网络模型相比于没有该结构的模型，在每个类别上分割的准曲率均得到不同程度的提升。在Vaihingen数据集上，树形结构在整体准确率(OA)提升了1.1％，平均F1值提升了0.6％；而在Potsdam数据集上，整体准确率和平均F1值分别提升了1.3％和0.9％。由此说明树形结构对于网络的提升并不针对于某一个类别，而是全面的分割精度提升。精细比较每个类别，其中低灌木植被(low_veg)和树木(tree)是一对易被相互混淆的类别

对照试验的结果示例如图10所示，第一行全局图像分割，第二行是局部的分割结果；自左向右，第一列为原始图像，第二列为真实标注，第三列为无树形结构模型，第四列为有树形结构模型。从图中可以看出，本实施例模型加入了树形结构后，分割结果精度明显提升，并且分割的边缘更加顺滑，没有产生气泡化的现象。

综上，在包含复杂语义信息的高分辨率遥感图像中，得益于易混淆类别的像素的错误减少，(混合树形结构和不混合树形结构相比)使用了树形结构的如本实施例所提供网络模型的整体分割准确率有较大提升。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于树形结构的遥感图像分割网络，其特征在于，所述遥感图像分割网络为DeepLab V3+结构化的树形网络模型，所述树形网络模型包括依次连接的分割模块和树形处理模块；其中所述分割模块为DeepLab V3+网络模型，且所述DeepLab V3+网络模型包括编码器部分和解码器部分；

所述树形处理模块的构建方法包括以下步骤：

2.根据权利要求1所述的基于树形结构的遥感图像分割网络，其特征在于，所述DeepLab V3+网络模型中的编码器部分的Middle Flow块包含两个Xception单元。

3.根据权利要求1所述的基于树形结构的遥感图像分割网络，其特征在于，所述树形处理模块为一个具有6个叶子节点的二叉树状模型，且每一个节点均为一个ResNeXt单元。

4.根据权利要求3所述的基于树形结构的遥感图像分割网络，其特征在于，所述树形处理模块的构建方法中步骤1中混淆矩阵A为6*6的矩阵；步骤3中所述混淆无向完全图中共有6个顶点。

5.根据权利要求1所述的基于树形结构的遥感图像分割网络，其特征在于，所述遥感图像分割网络为全卷积网络，不存在全连接层；在树形处理模块之后，所有特征图被送入一个1*1的卷积层，并通过SoftMax函数进行输出。