CN113361662B - 一种城市轨道交通遥感图像数据的处理***及方法 - Google Patents

Abstract

本发明涉及城市轨道交通遥感图像数据处理技术领域，特别涉及一种城市轨道交通遥感图像数据的处理***及方法。其***包括遥感影像特征提取模块、区域推荐模块、对象预测类语义分割模块，本发明融合卷积神经网络与语义分割算法实现建筑物对象化提取，解决现有基于深度学习在遥感图像提取建筑物精度低、速度慢等问题。

Description

一种城市轨道交通遥感图像数据的处理***及方法

技术领域

本发明涉及城市轨道交通遥感图像数据处理技术领域，特别涉及一种城市轨道交通遥感图像数据的处理***及方法。

背景技术

现有使用深度学习算法在遥感图像提取建筑物的方法主要是卷积神经网络(CNN)。卷积神经网络是全连接神经网络的改进型算法，它将神经网络的输入节点由图像像素改为由图像卷积、池化提取到的特征，减少了神经网络输入节点数，缩小了网络规模，适合处理二维图像数据。

现有使用卷积神经网络在遥感图像提取建筑物主要分两阶段，第一阶段训练模型，从遥感图像裁剪典型建筑物作为训练数据，设计卷积层、池化层和全连接层，利用训练数据训练神经网络参数，前向传播计算误差，后向传播回归收敛，使得模型学习到建筑物特征；第二步预测数据，输入一幅遥感影像，按照设计的窗口在遥感影像上滑动，将滑动窗口范围内的图像输入卷积神经网络，前向传播预测是否存在建筑物，存在建筑物就在原遥感影像标识记录，以此实现建筑物识别。

现有技术中，R-CNN算法(Region-CNN)与本方法最接近，该算法分为四个模块，首先是区域建议算法模块(selective search)，是一种根据图像自身信息产生推荐兴趣区的方法，通过该模块会在一幅图片推荐约1000-2000个潜在建筑物区域框；接着是特征提取模块，使用经典卷积神经网络AlexNet提取每个潜在建筑物区域图像的特征；然后将提取特征送入一个线性分类器，使用支持向量机(SVM)根据卷积神经网络提取的高维特征分类,根据每个潜在建筑物区域特征在支持向量机得分，通过阈值(0.5)过滤，将符合要求的建筑物区域送到边界框修正回归模块，通过对边界框四套参数的回归，精准定位到建筑物外边框矩形。R-CNN模型训练方法与其他卷积神经网络相同，构建建筑物训练数据集，根据前向传播误差调节网络参数。

但是R-CNN算法普遍存在以下不足：

1、R-CNN仅支持单尺度遥感图片的输入，由于遥感数据分辨率、图像质量都不一，因此现方法无法对比多源、多尺寸遥感影像对模型的影响；

2、R-CNN虽可以较高精度的提取遥感影像建筑物，但预选框由速度较慢的selective search算法完成以及重复卷积网络计算，导致模型训练速度很慢且内存占用大；

3、R-CNN四个模块相互独立串联而成，无法并行运算，难以完全利用计算资源；

4、使用分类器为支持向量机，使得要对多少种对象进行检测就需要训练多少分类器，训练过程复杂；

5、没有融合实例分割，使得R-CNN只能提取建筑物外边框，无法完成建筑物对象化实例分割。

发明内容

为了解决现有技术的问题，本发明提供了一种城市轨道交通遥感图像数据的处理***及方法，其融合卷积神经网络与语义分割算法实现建筑物对象化提取，解决现有基于深度学习在遥感图像提取建筑物精度低、速度慢等问题。

本发明所采用的技术方案如下：

一种城市轨道交通遥感图像数据的处理***，包括遥感影像特征提取模块、区域推荐模块、对象预测类语义分割模块，

所述的遥感影像特征提取模块用于对城市轨道交通遥感影像进行主干特征提取，并构建特征金字塔；

所述的区域推荐模块用于将所述的特征金字塔利用共享卷积进行特征提取，生成建议框；

所述的对象预测类语义分割模块用于将所述建议框提取出的局部特征，经过卷积后生成预测框，并从共享特征图和所述的预测框中截取预测框的局部特征，生成对象掩膜。

所述的遥感影像特征提取模块包括主干特征提取单元，特征金字塔构建单元和特征金字塔单元，其中，

所述的主干特征提取单元用于使用多层残差卷积神经网络提取遥感影像不同层次的特征，生成通道为256的四个层级特征图；

所述的特征金字塔构建单元用于从维度最低的特征图开始卷积、上采样，与维度高一级特征图叠加构建五层特征图，形成共享的特征金字塔单元。

所述的区域推荐模块包括区域推荐卷积网络单元、物体预测单元、边框调整单元和生成建议框模块单元，其中，

所述的区域推荐卷积网络单元用于使用一层共享卷积提取特征金字塔的特征；

所述的物体预测单元用于两支特有卷积分别预测位于每个特征点的滑动窗口内是否包含物体及相对于滑动窗口的调整参数，使用阈值对预测特征点的滑动窗口是否包含物体过滤，通过阈值的滑动窗口即为预选框；

所述的边框调整单元使用边框调整参数对所述的预选框窗口调整，使得生成建议框模块单元生成建议框。

所述的对象预测类语义分割模块包括特征截取单元、对象分类预测单元、边框调整预测单元、掩膜特征提取单元和掩膜预测单元，其中，

所述的特征截取单元用于将建议框截取的局部特征经双线性插值为7*7特征图；

所述的对象分类预测单元用于经两层卷积后使用两支全连接分别预测分类结果和边框调整参数；

边框调整预测单元用于将分类结果高于阈值的对象使用边框调整参数调整边框为预测框；

掩膜特征提取单元用于从共享特征图截取出预测框的局部特征；

所述的掩膜预测单元用于使用双线性插值统一特征图尺寸为14*14，经两层卷积和一层反卷积后再插值预测出对象掩膜。

一种城市轨道交通遥感图像数据的处理方法，包括以下步骤：

A、输入高分遥感影像，使用特征截取网络提取出主干特征，构建特征金字塔；

B、将所述的主干特征输入区域推荐网络预测出可能包含建筑物的建议框；

C、根据所述的建议框截取主干特征，先将所述的主干特征输入全连接网络预测对象类型，使用同步预测的边框调整参数调整建议框作为预测框，再根据预测框从主干特征截取局部特征图，输入到语义分割模块的卷积网络预测出建筑物掩膜；

D、将得到的对象预测框及其建筑物掩膜在影像上标注。

步骤A具体包括：

A1、首先使用多层残差卷积神经网络提取遥感影像不同层次的特征，生成通道为256的四个层级特征图；

A2、从维度最低的特征图开始卷积、上采样，与维度高一级的特征图叠加，构建五层特征图，作为共享特征金字塔。

步骤B具体包括：

使用一层共享卷积提取所述特征金字塔的特征点，两支特有卷积分别预测位于每个特征点的滑动窗口内是否包含物体及相对于滑动窗口的调整参数，使用阈值对预测特征点的滑动窗口是否包含物体过滤，通过阈值的滑动窗口即为预选框，使用边框调整参数对预选框窗口调整即得到建议框。

步骤C具体包括：

C1、将所述建议框截取的局部特征经双线性插值为7*7特征图，经两层卷积后使用两支全连接分别预测分类结果和边框调整参数；

C2、将分类结果高于阈值的对象使用边框调整参数调整边框为预测框；

C3、再从共享特征图截取出预测框的局部特征，使用双线性插值统一特征图尺寸为14*14，经两层卷积和一层反卷积后再插值预测出对象掩膜。

本发明提供的技术方案带来的有益效果是：

(1)融合多源、多尺寸遥感影像来对比模型训练的效果，使得算法模型在应对多源遥感影像拥有较好的鲁棒性和泛化性；

(2)采用共享卷积层极大简化了训练和应用算法的速度，每张图片只需一次卷积即可，无需对每个待选框单独卷积计算；

(3)采用卷积神经网络方法确定候选区域，使得预选目标框可以通过训练学习规则，提升了预选框提取效率；

(4)采用多任务全连接网络，类型预测、角点偏移共享同一套参数，极大提示处理速度的同时提升预测精准度；

(5)将语义分割模块添加到卷积神经网络对象分类，对象化识别建筑物同时预测建筑物详细轮廓。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种城市轨道交通遥感图像数据的处理方法的方法流程图。

图2为本发明的一种城市轨道交通遥感图像数据的处理***的遥感影像特征提取模块的结构框图。

图3为本发明的一种城市轨道交通遥感图像数据的处理***的区域推荐模块的结构框图。

图4为本发明的一种城市轨道交通遥感图像数据的处理***的对象预测类语义分割模块的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

如附图1所示，一种城市轨道交通遥感图像数据的处理方法，包括以下步骤：

A、输入高分遥感影像，使用特征截取网络提取出主干特征，构建特征金字塔；

B、将所述的主干特征输入区域推荐网络预测出可能包含建筑物的建议框；

C、根据所述的建议框截取主干特征，先将所述的主干特征输入全连接网络预测对象类型，使用同步预测的边框调整参数调整建议框作为预测框，再根据预测框从主干特征截取局部特征图，输入到语义分割模块的卷积网络预测出建筑物掩膜；

D、将得到的对象预测框及其建筑物掩膜在影像上标注。

步骤A具体包括：

A1、首先使用多层残差卷积神经网络提取遥感影像不同层次的特征，生成通道为256的四个层级特征图；

A2、从维度最低的特征图开始卷积、上采样，与维度高一级的特征图叠加，构建五层特征图，作为共享特征金字塔。

步骤B具体包括：

使用一层共享卷积提取所述特征金字塔的特征点，两支特有卷积分别预测位于每个特征点的滑动窗口内是否包含物体及相对于滑动窗口的调整参数，使用阈值对预测特征点的滑动窗口是否包含物体过滤，通过阈值的滑动窗口即为预选框，使用边框调整参数对预选框窗口调整即得到建议框。

步骤C具体包括：

C1、将所述建议框截取的局部特征经双线性插值为7*7特征图，经两层卷积后使用两支全连接分别预测分类结果和边框调整参数；

C2、将分类结果高于阈值的对象使用边框调整参数调整边框为预测框；

C3、再从共享特征图截取出预测框的局部特征，使用双线性插值统一特征图尺寸为14*14，经两层卷积和一层反卷积后再插值预测出对象掩膜。

下面给出一个具体事例进行说明：

模型输入为一张RGB三通道高分遥感影像切片，维度为：1024×1024×3(长×宽×通道)。

①先进入特征提取模块，该模块目的是获得图像的主干特征(模块结构见2)，首先经过主干特征提取卷积网络获得四层主干特征(维度分别为：256*256*256，128*128*256，64*64*256，32*32*256)，再将获得的四层主干特征输入金字塔构建卷积网络获得五层特征图(P2、P3、P4、P5、P6，维度分别为：256*256*256，128*128*256，64*64*256，32*32*256，16*16*256)，将这五层特征图作为主干特征用于之后处理。

②然后进入区域推荐模型，该模块目的是根据主干特征预测图片上那些可能存在建筑物区域的建议框(模块结构见图3)，五张主干特征图P2-P6依次输入区域推荐卷积网络，以P6(维度：16*16*256)为例说明区域推荐网络运行过程，P6的长宽为16*16，实际上就是将原图(长宽：1024*1024)分割为16×16个小区域，每个小区域长宽为64*64，因此特征图P6长宽上每个点就对应着原图上64*64大小的区域，区域推荐卷积网络的第一个任务就是预测特征图上每个点对应原图区域内是否包含建筑物，特征图P6第一个任务输出结果为16*16个值，特征图P6上每个点对应一个输出值，每个输出值范围为0-1，当值大于0.5说明该点对应的原图区域包含建筑物，当值小于0.5说明该点对应的原图区域不包含建筑物，直接忽略；由于特征图上每个点对应原图区域是固定的，但是建筑物不一定恰好落入对应原图区域，有可能出现偏差，因此区域推荐卷积网络第二个任务就是预测特征图上每个点对应原图区域如何调整才能恰好包含建筑物，特征图P6第二任务输出结果为：16*16*4，特征图上每个点对应四个预测值，分别为点对应着原图区域左上角和右下角长宽调整参数，使用调整参数调整包含建筑物的特征点对应原图区域的范围，这样就获得了特征图P6的建议框，考虑到建筑物大小不同，特征图P6每个点对应原图64*64大下的区域，而特征图P2每个点则对应原图4*4区域，可以看作特征图P6用于大建筑物预测，P2用于小建筑物预测，五层特征图依次输入区域推荐卷积网络获得五层特征的建议框，每个建议框使用四个数值表示，分别为左上角坐标和右下角坐标。

③接着进入对象预测模块，目的是预测建议框内部是否真的包含建筑物以及建议框角点的调整参数(模块结构见图4)，上一个模块只是粗略预测特征图每个点是否包含建筑物，结果并不精确，在这一模块截取建议框代表的原图区域的局部特征使用全连接神经网络精确预测，由于全连接神经网络需要有统一的输入维度，而建议框大小不一，局部特征内部特征点个数不一(例如两个建议框，一个截取的局部特征长宽为8*9，另一个截取的局部特征长宽为11*6，那么第一个局部特征有72个点，第二个局部特征有66个点，维度不一无法统一输入全连接神经网络)，因此使用双线性内插法将原局部特征统一插值为长宽为7*7大小的特征然后输入全连接网络，这样根据每个建议框就可以获得一个维度为7*7*256的局部特征图，全连接神经网络输入节点个数就统一为7*7*256，第一个全连接网络包含一层隐含层共1024个节点，输出为1个值，输出值范围为0-1，当预测值大于0.7则预测该建议框包含建筑物，反之预测其不包含建筑物；第二个全连接网络包含一层隐含层共1024个节点，输出为4个值，预测建议框左上角和右下角调整参数，再使用预测的调整参数调整包含建筑物的建议框角点即获得预测框，预测框就是对象预测模块的结果。

④最后进入语义分割模块，目的是获得预测框内部建筑物的掩膜(模块结构见图4)，第三步对象预测模块获得了预测框，截取预测框对应主干特征图区域作为预测框的局部特征，同样使用双线性内插法将局部特征统一到维度为14*14*256，再通过反卷积将长宽放大一倍为28*28，通道数卷积为1，即语义分割卷积网络输出图像尺寸为28*28*1，最后一个维度值只有0和1，当值为1时代表该像素为建筑物，最后将其插值为预测框原局部特征大小作为建筑物掩膜结果。至此完成算法全部流程，所有预测框即为建筑物对象检测结果，每个预测框的语义分割模型结果即为建筑物语义分割结果。

实施例二

本实施例提供一种城市轨道交通遥感图像数据的处理***，包括遥感影像特征提取模块、区域推荐模块、对象预测类语义分割模块，

所述的遥感影像特征提取模块用于对城市轨道交通遥感影像进行主干特征提取，并构建特征金字塔；

所述的区域推荐模块用于将所述的特征金字塔利用共享卷积进行特征提取，生成建议框；

所述的对象预测类语义分割模块用于将所述建议框提取出的局部特征，经过卷积后生成预测框，并从共享特征图和所述的预测框中截取预测框的局部特征，生成对象掩膜。

如附图2所示，遥感影像特征提取模块包括主干特征提取单元，特征金字塔构建单元和特征金字塔单元，其中，

所述的主干特征提取单元用于使用多层残差卷积神经网络提取遥感影像不同层次的特征，生成通道为256的四个层级特征图；

所述的特征金字塔构建单元用于从维度最低的特征图开始卷积、上采样，与维度高一级特征图叠加构建五层特征图，形成共享的特征金字塔单元。

如附图3所示，区域推荐模块包括区域推荐卷积网络单元、物体预测单元、边框调整单元和生成建议框模块单元，其中，

所述的区域推荐卷积网络单元用于使用一层共享卷积提取特征金字塔的特征；

所述的物体预测单元用于两支特有卷积分别预测位于每个特征点的滑动窗口内是否包含物体及相对于滑动窗口的调整参数，使用阈值对预测特征点的滑动窗口是否包含物体过滤，通过阈值的滑动窗口即为预选框；

所述的边框调整单元使用边框调整参数对所述的预选框窗口调整，使得生成建议框模块单元生成建议框。

如附图4所示，对象预测类语义分割模块包括特征截取单元、对象分类预测单元、边框调整预测单元、掩膜特征提取单元和掩膜预测单元，其中，

所述的特征截取单元用于将建议框截取的局部特征经双线性插值为7*7特征图；

所述的对象分类预测单元用于经两层卷积后使用两支全连接分别预测分类结果和边框调整参数；

边框调整预测单元用于将分类结果高于阈值的对象使用边框调整参数调整边框为预测框；

掩膜特征提取单元用于从共享特征图截取出预测框的局部特征；

所述的掩膜预测单元用于使用双线性插值统一特征图尺寸为14*14，经两层卷积和一层反卷积后再插值预测出对象掩膜。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种城市轨道交通遥感图像数据的处理***，包括遥感影像特征提取模块、区域推荐

模块、对象预测类语义分割模块，其特征在于：

所述的遥感影像特征提取模块用于对城市轨道交通遥感影像进行主干特征提取，并构建

特征金字塔；

所述的区域推荐模块用于将所述的特征金字塔利用共享卷积进行特征提取，生成建议框；

所述的对象预测类语义分割模块用于将所述建议框提取出的局部特征，经过卷积后生成

预测框，并从共享特征图和所述的预测框中截取预测框的局部特征，生成对象掩膜；

所述的遥感影像特征提取模块包括主干特征提取单元，特征金字塔构建单元和特征金字

塔单元，其中，

所述的主干特征提取单元用于使用多层残差卷积神经网络提取遥感影像不同层次的特

征，生成通道为 256 的四个层级特征图；

所述的特征金字塔构建单元用于从维度最低的特征图开始卷积、上采样，与维度高一级

特征图叠加构建五层特征图，形成共享的特征金字塔单元；

所述的区域推荐模块包括区域推荐卷积网络单元、物体预测单元、边框调整单元和生成建议框模块单元，其中，

所述的区域推荐卷积网络单元用于使用一层共享卷积提取特征金字塔的特征；

所述的物体预测单元用于两支特有卷积分别预测位于每个特征点的滑动窗口内是否包含

物体及相对于滑动窗口的调整参数，使用阈值对预测特征点的滑动窗口是否包含物体过滤，

通过阈值的滑动窗口即为预选框；

所述的边框调整单元使用边框调整参数对所述的预选框窗口调整，使得生成建议框模块

单元生成建议框；

所述的对象预测类语义分割模块包括特征截取单元、对象分类预测单元、边框调整预测单元、掩膜特征提取单元和掩膜预测单元，其中，

所述的特征截取单元用于将建议框截取的局部特征经双线性插值为7*7 特征图；

所述的对象分类预测单元用于经两层卷积后使用两支全连接分别预测分类结果和边框调

整参数；

所述的边框调整预测单元用于将分类结果高于阈值的对象使用边框调整参数调整边框为预测

框；

所述的掩膜特征提取单元用于从共享特征图截取出预测框的局部特征；

所述的掩膜预测单元用于使用双线性插值统一特征图尺寸为14*14，经两层卷积和一层

反卷积后再插值预测出对象掩膜。

2.一种城市轨道交通遥感图像数据的处理方法，包括以下步骤：

A、输入高分遥感影像，使用特征截取网络提取出主干特征，构建特征金字塔；

B、将所述的主干特征输入区域推荐网络预测出可能包含建筑物的建议框；

C、根据所述的建议框截取主干特征，先将所述的主干特征输入全连接网络预测对象类型，使用同步预测的边框调整参数调整建议框作为预测框，再根据预测框从主干特征截取局部特征图，输入到语义分割模块的卷积网络预测出建筑物掩膜；

D、将得到的对象预测框及其建筑物掩膜在影像上标注；

所述步骤A 具体包括：

A1、首先使用多层残差卷积神经网络提取遥感影像不同层次的特征，生成通道为256的

四个层级特征图；

A2、从维度最低的特征图开始卷积、上采样，与维度高一级的特征图叠加，构建五层特

征图，作为共享特征金字塔；

所述步骤B具体包括：

使用一层共享卷积提取所述特征金字塔的特征点，两支特有卷积分别预测位于每个特征

点的滑动窗口内是否包含物体及相对于滑动窗口的调整参数，使用阈值对预测特征点的滑动

窗口是否包含物体过滤，通过阈值的滑动窗口即为预选框，使用边框调整参数对预选框窗口

调整即得到建议框；

所述步骤C具体包括：

C1、将所述建议框截取的局部特征经双线性插值为7*7特征图，经两层卷积后使用两支

全连接分别预测分类结果和边框调整参数；

C2、将分类结果高于阈值的对象使用边框调整参数调整边框为预测框；

C3、再从共享特征图截取出预测框的局部特征，使用双线性插值统一特征图尺寸为14*14，经两层卷积和一层反卷积后再插值预测出对象掩膜。