CN112926482A - 一种基于多尺度残差卷积神经网络的道路提取方法 - Google Patents

Abstract

本发明公开了一种基于多尺度残差卷积神经网络的道路提取方法，包括：输入带标签的遥感影像训练数据集；利用改进神经网络对带标签的道路数据集进行卷积训练；网络训练。本发明的基于多尺度残差卷积神经网络的道路提取方法主要通过利用多尺度卷积替代单一尺度卷积扩宽网络宽度，提升网络获取影像初级特征的能力，丰富不同阶段的影像分层特征，达到缓解特征层分辨率降低的目的；凭借残差连接的“捷径”功能，避免反向传播阶段的梯度过度更新，提升网络训练效率；为了降低多尺度卷积导致的训练参数激增的影响，使用全局均值池化精简网络参数数量。

Description

一种基于多尺度残差卷积神经网络的道路提取方法

技术领域

本发明属于遥感影像信息提取的技术领域，尤其涉及一种基于多尺度残差卷积神经网络的道路提取方法。

背景技术

道路信息是重要的地理信息，在应急管理、交通管理、自动车辆导航和城市规划等领域有着广泛的应用。遥感影像不仅具有宏观性、多源性、真实性、实时性、海量性等一系列优点，而且能够以较高的空间分辨率对目标地物进行精细化解译，其提取的目标信息具有严格的地理坐标，可为不同行业用户提供了统一的表达模式，故遥感影像已成为实际应用中道路信息采集的主要数据源。因而基于遥感影像的道路提取研究受到广泛的关注。但受到场景变化、成像机理等复杂问题的影响，从遥感影像中准确提取道路信息难度很大。

虽然传统方法研究已经开展了很多年的研究，但由于场景的变化以及成像机理的差异，自动提取道路迄今仍然停留在理论研究和验证阶段，尚未出现具有良好普适性和实用性的算法及***。相对而言，深度学习方法本身所独有的特性(如：泛化性高、非线性拟合能力强和稳定性高等)，使其可以有效的规避传统方法的不足。但如何优化网络结构，仍然是限制网络性能的桎梏。但道路提取结果中仍然存在大量漏提取和错误提取区域，并且大量的使用全连接层也会导致网络训练效率降低。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种基于多尺度残差卷积神经网络的道路提取方法，通过利用多尺度卷积替代单一尺度卷积扩宽网络宽度，提升网络获取影像初级特征的能力，丰富不同阶段的影像分层特征，达到缓解特征层分辨率降低的目的。

为了解决上述技术问题，本发明提供一种基于多尺度残差卷积神经网络的道路提取方法，包括以下步骤：

步骤1：输入带标签的遥感影像训练数据集；

步骤2：利用改进神经网络对带标签的道路数据集进行卷积训练；

步骤2.1：对于给定的输入训练样本，采用多尺度卷积；

步骤2.2：由步骤2.1得到的多尺度分层特征进行残差连接，得到新的特征层；

步骤2.3：对步骤2.2得到的特征层进行全局均值池化：

步骤3：网络训练；

步骤3.1：数据扩充；

步骤3.2：参数设置，采用Adam优化算法，交叉熵损失函数和Sigmoid激活函数训练网络。本发明设置迭代次数为20次，设置学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，其他参数选择函数默认值。

可选的，所述步骤2.1包括：

步骤2.1.1：初始化模型参数：

θ_s＝θ₀,s∈{1,2,…N}

其中，θ_s为网络模型内部初始参数，θ₀为模型的初始化参数；

步骤2.1.2：对原始影像进行多尺度卷积学习，得到多尺度分层特征；在S种尺度中，对于由L个阶段组成的多尺度卷积神经网络f_S，其公式如下：

f_s(X_s,θ_s)＝Pool(Relu(BN(W_L×H_L+b_L)))

其中，Pool为最大池化函数；Relu表示激活函数；BN函数为Batch Normalsize；W_L表示第L个阶段的权值矩阵，H_L-1为第L-1个阶段的输出，且H₀＝X_S；b_L为卷积核中的偏置参数；由W_l和b_l共同完成对网络模型中训练参数s的更新，各隐藏阶段l之间的计算输出表示为：

H＝Relu(BN(W*H+b)),l∈{1,2,…，L-1}

步骤2.1.3：将S种卷积神经网络的输出特征图融合在一起，生成3维特征矩阵F。

可选的，所述步骤2.3包括：

步骤2.3.1：将步骤2.2中得到的特征图以一维特征点的形式输出；

步骤2.3.2：将步骤2.3.1得到的特征点作为全连接层的输入数据，对特征信息进行重新拟合，并利用分类函数对像素进行分类，得到道路提取结果。

进一步的，所述步骤3.1包括：

步骤3.1.1：通过随机多角度旋转(90，180，270)和镜像映射(水平镜像和垂直镜像)扩充数据；

步骤3.1.2：将扩充边界后的影像(1536×1536)按照96×96的尺寸裁剪；

步骤3.1.3：根据训练样本中二值图计算正负样本所占比例，对正负样本比失调的训练集，应用过采样方法将步幅设置为2个像素检测是否为道路区域，均衡正负样本比例，经数据集扩充之后，训练数据量至少在6倍以上。

由上，本发明的基于多尺度残差卷积神经网络的道路提取方法具有如下有益效果：

1、提出了一种多尺度卷积的方法，主要通过利用多尺度卷积替代单一尺度卷积扩宽网络宽度，提升网络获取影像初级特征的能力，丰富不同阶段的影像分层特征，达到缓解特征层分辨率降低的目的。

2、使用了残差连接的方法，凭借残差连接的“捷径”功能，避免反向传播阶段的梯度过度更新，提升网络训练效率。

3、使用了全局均值化的方法，为了降低多尺度卷积导致的训练参数激增的影响，使用全局均值池化精简网络参数数量。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1为本发明的多尺度残差卷积神经网络(Multiscale residual convolutionneural network，MRCNN)流程图；

图2为本发明的多尺度卷积学习流程图；

图3为本发明的多尺度卷积图成果，其中，(a)为采用3×3单一尺寸卷积核的影像实验结果示意图，(b)为利用三种卷积核的实验结果示意图；

图4为本发明的残差连接流程图；

图5为本发明的全局均值池化输出特征点和道路提取示意图；

图6为本发明的实验1的结果对比图，其中，(a)为过拟合实验结果示意图，(b)为加入残差连接和全局均值池化方法的道路提取结果示意图；

图7为本发明的使用的高分2号数据集郊区和城市影像实验对比结果。其中，(a)为测试影像示意图，(b)为CNN网络道路提取结果示意图，(c)为U-Net网络道路提取实验结果示意图，(d)为GL-Dense-U-Net网络实验道路提取结果示意图，(e)为本发明提出的MRCNN网络道路提取结果示意图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。

如图1所示，本发明提出了一种基于多尺度残差卷积神经网络的道路提取方法，包括如下步骤：

步骤1：输入带标签的遥感影像训练数据集；

步骤2：利用改进神经网络对带标签的道路数据集进行卷积训练；

步骤2.1：对于给定的输入训练样本，采用多尺度卷积，如图2所示，本发明对于给定的输入训练样本，采用多尺度卷积，以提高目标影像的细节信息。其中X₁-X₃分别为应用三种卷积核的滤波影像(与输入影像统一尺寸)；θ_s为网络模型内部初始参数，同时卷积网络中所有参数可实现跨尺度共享。

步骤2.1.1：

初始化模型参数：

θ_s＝θ₀,s∈{1,2,…N}

其中，θ_s为网络模型内部初始参数，θ₀为模型的初始化参数；

步骤2.1.2：对原始影像进行多尺度卷积学习，得到多尺度分层特征。在S种尺度中，对于由L个阶段组成的多尺度卷积神经网络f_S，其公式如下：

f_s(X_s,θ_s)＝Pool(Relu(BN(W_L×H_L+b_L)))

其中，Pool为最大池化函数；Relu表示激活函数；BN函数为Batch Normalsize；W_L表示第L个阶段的权值矩阵，H_L-1为第L-1个阶段的输出，且H₀＝X_S；b_L为卷积核中的偏置参数；由W_l和b_l共同完成对网络模型中训练参数s的更新，各隐藏阶段l之间的计算输出表示为：

H＝Relu(BN(W*H+b)),l∈{1,2,…，L-1}

步骤2.1.3：将S种卷积神经网络的输出特征图融合在一起，生成3维特征矩阵F：

F＝[f₃₁,f₃₂,f₃₃]

步骤2.2：由步骤2.1得到的多尺度分层特征进行残差连接，得到新的特征层。残差连接的内部传递方式如图4所示，Con表示卷积操作；DCP表示在两次卷积处理后使用最大池化。在前向传播过程中，残差连接将上一层的输入X通过激活函数F(x)的计算传递到下一层，并同时将X直接映射至下一层。

步骤2.3：对步骤2.2得到的特征层进行全局均值池化，全局均值池化的流程如图5所示：

步骤2.3.1：将步骤2.2中得到的特征图以一维特征点的形式输出；

步骤2.3.2：将步骤2.3.1得到的特征点作为全连接层的输入数据，对特征信息进行重新拟合，并利用分类函数对像素进行分类，得到道路提取结果；

步骤3：网络训练。

步骤3.1：数据扩充。

步骤3.1.1：通过随机多角度旋转(90，180，270)和镜像映射(水平镜像和垂直镜像)扩充数据；

步骤3.1.2：将扩充边界后的影像(1536×1536)按照96×96的尺寸裁剪；

步骤3.1.3：根据训练样本中二值图计算正负样本所占比例，对正负样本比失调的训练集，应用过采样方法将步幅设置为2个像素检测是否为道路区域，均衡正负样本比例。经数据集扩充之后，训练数据量至少在6倍以上。

步骤3.2：参数设置。本发明采用了Adam优化算法，交叉熵损失函数和Sigmoid激活函数训练网络。本发明设置迭代次数为20次，设置学习率为0.001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，其他参数选择函数默认值。

以下通过实验验证本发明所提方法的性能，并与现有经典神经网络进行比较，选取高分2号影像卫星影像数据集，以验证本发明算法结果的可靠性。

图3为在高分2号影像中单尺度的实验结果以及本发明网络中利用三种卷积核的实验结果。其中，图3(a)为采用3×3单一尺寸卷积核的影像实验结果，图3(b)为利用三种卷积核的实验结果。如图3掩膜区域所示，两种网络模型均可实现大部分道路的提取。但在图3(a)矩形框中，可以发现大量误提取区域，原因在于单一尺度卷积核特征学习不充分，同时连续的池化操作也将降低每层特征图的分辨率，极大的限制了网络的学习能力。

图6为高分2号影像使用残差连接和全局均值池化结合的实验结果。图6(b)为加入残差连接和全局均值池化方法的道路提取结果，对比图6(a)矩形框内存在的道路断裂问题，图6(b)中矩形框内道路断裂问题已大部分得到解决。通过方法效率对比统计分析，图6(a)所用神经网络的首个全连接层有3072个神经元，共计达到3千万次的计算量；而在图6(b)中的首个全连接层中仅有1024个神经元，相对于前者本文改进卷积网络模型计算量大幅降低。因此，全局均值池化和残差连接与多尺度学习的结合，不仅可以解决道路提取结果过程中的误提取和断裂问题，并且也降低了网络训练时间。

图7为高分2号数据集郊区和城市影像实验对比结果。该数据集来自于GF-2卫星影像。GF-2卫星提供了低分辨率的多光谱影像和高分辨率的全色影像，因此本发明使pan-sharp算法将其融合为高分辨率的彩色影像，实验区域为中国沈阳地区，面积317.465km²。本发明制作的GF-2数据集中包括郊区和城市区域，利用Photoshop软件对道路区域进行勾画。原影像尺寸为24750×20042像素，空间分辨率为0.8米/像素。其中，图7(a)为本发明使用的高分2号测试影像，图7(b)为CNN网络道路提取结果，图7(c)为U-Net网络道路提取结果，图7(d)为GL-Dense U-Net道路提取结果，图7(e)为本发明网络道路提取结果。在四种神经网络的对比实验中，结果显示本发明提出的网络模型对于类别边界(道路和非道路)较为模糊的影像，其分类效果更好。CNN在本组实验中尽管只使用了单一的卷积核，但却表现出良好的识别效果，如表1所示，其F1值评价指标高于U-Net和GL-Dense-U-Net约2-4个百分点。主要原因在于上文中提到的，后两者在最终得到的特征图上分辨率较低，对干扰性较强的影像，不能准确识别。而本发明网络在CNN的基础上利用多尺度卷积和残差连接，将更多的初级特征和高级的语义信息传递到网络训练中，从深度和宽度上进行处理，不仅保证了网络获取特征信息的能力，同时也增强了网络对于特征的理解能力。结合表1，本发明网络在道路识别方面存在巨大的优势，不论是在准确率还是误检率还是漏检率方面，均优于其他三种网络，F1值都达到了85％以上的成绩，较其他网络模型平均提升5.2个百分点。

表1

道路信息是重要的地理信息，在应急管理、交通管理、自动车辆导航和城市规划等领域有着广泛的应用。但受到场景变化、成像机理等复杂问题的影响，从遥感影像中准确提取道路信息难度很大。为了解决神经网络训练过程中，特征图分辨率不断降低和梯度消失的问题，本发明针对性的设计了多尺度残差卷积神经网络(Multiscale residualconvolution neural network,MRCNN)对道路进行提取，提高了传统深度学习方法进行道路提取的准确性。本发明网络模型主要由三个单元组成：多尺度卷积、残差连接、全局均值池化。为了对提出方法进行评估，我们选择了高分2号遥感影像数据集作为实验数据。通过定量与定性分析的实验结果表明，我们提出的道路提取方法优于其他深度学习道路提取提取方法，并且本发明提出的相比于其他深度网络模型，道路提取结果精度提高了2-8个百分点。

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims (4)

1.一种基于多尺度残差卷积神经网络的道路提取方法，其特征在于，包括以下步骤：

步骤1：输入带标签的遥感影像训练数据集；

步骤2：利用改进神经网络对带标签的道路数据集进行卷积训练；

步骤2.1：对于给定的输入训练样本，采用多尺度卷积；

步骤2.2：由步骤2.1得到的多尺度分层特征进行残差连接，得到新的特征层；

步骤2.3：对步骤2.2得到的特征层进行全局均值池化：

步骤3：网络训练；

步骤3.1：数据扩充；

步骤3.2：参数设置，采用Adam优化算法，交叉熵损失函数和Sigmoid激活函数训练网络。

2.如权利要求1所述的基于多尺度残差卷积神经网络的道路提取方法，其特征在于，所述步骤2.1包括：

步骤2.1.1：初始化模型参数：

θ_s＝θ₀,s∈{1,2,…N}

其中，θ_s为网络模型内部初始参数，θ₀为模型的初始化参数；

步骤2.1.2：对原始影像进行多尺度卷积学习，得到多尺度分层特征；在S种尺度中，对于由L个阶段组成的多尺度卷积神经网络f_S，其公式如下：

f_s(X_s,θ_s)＝Pool(Relu(BN(W_L×H_L+b_L)))

其中，Pool为最大池化函数；Relu表示激活函数；BN函数为Batch Normalsize；W_L表示第L个阶段的权值矩阵，H_L-1为第L-1个阶段的输出，且H₀＝X_S；b_L为卷积核中的偏置参数；由W_l和b_l共同完成对网络模型中训练参数s的更新，各隐藏阶段l之间的计算输出表示为：

H＝Relu(BN(W*H+b)),l∈{1,2,…，L-1}

步骤2.1.3：将S种卷积神经网络的输出特征图融合在一起，生成3维特征矩阵F。

3.如权利要求1所述的基于多尺度残差卷积神经网络的道路提取方法，其特征在于，所述步骤2.3包括：

步骤2.3.1：将步骤2.2中得到的特征图以一维特征点的形式输出；

步骤2.3.2：将步骤2.3.1得到的特征点作为全连接层的输入数据，对特征信息进行重新拟合，并利用分类函数对像素进行分类，得到道路提取结果。

4.如权利要求1所述的基于多尺度残差卷积神经网络的道路提取方法，其特征在于，所述步骤3.1包括：

步骤3.1.1：通过随机多角度旋转(90，180，270)和镜像映射(水平镜像和垂直镜像)扩充数据；

步骤3.1.2：将扩充边界后的影像(1536×1536)按照96×96的尺寸裁剪；

步骤3.1.3：根据训练样本中二值图计算正负样本所占比例，对正负样本比失调的训练集，应用过采样方法将步幅设置为2个像素检测是否为道路区域，均衡正负样本比例，经数据集扩充之后，训练数据量至少在6倍以上。

Images