CN113688808B - 一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法 - Google Patents

Abstract

本发明公开了一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法，包括步骤：先对提取的遥感影像局部特征和全局特征，通过拉普拉斯金字塔融合模块重建原始遥感影像，生成融合图像；再通过语义分割网络，构建深度学习语义分割模型；然后通过图片标记工具，对融合图像中发生滑坡灾害的地方和未发生滑坡灾害的地方分别进行标记，得到滑坡灾害标签图数据集；最后用数据集训练深度学习语义分割模型，通过修改语义分割网络结构和调整模型参数，直至模型的损失曲线达到拟合、识别遥感影像中滑坡体的精度满足要求时，则保存该模型。本发明结合基于拉普拉斯金字塔的图像融合模型，能高效、精准地为滑坡灾害的防灾减灾提供有效的决策依据。

Description

一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法

技术领域

本发明涉及滑坡体识别方法，尤其涉及一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法。

背景技术

滑坡作为危害性极强的自然灾害之一，一般被定义为斜坡上的土体或者岩体受河流冲刷、地震等因素影响，在重力作用下顺坡向下滑动的自然现象，常发生在山区、丘陵等地区。滑坡灾害破坏力强，对生态环境、交通运输和建筑用地等构成巨大威胁，所导致的人员伤亡和财产损失数量巨大，因此有必要对滑坡进行实时监测以减少损失。由于其发生时往往是不可预见的，加上分布较为分散且灾区地形复杂，因此很难***地对滑坡进行识别。近些年随着遥感技术高速发展，越来越多的卫星遥感影像可应用于滑坡灾害的识别当中。但是很多遥感卫星受限于时间、空间分辨率的限制，使得无法准确得到滑坡特征。例如时效性强的卫星很难满足获得高空间分辨率的影像的要求；常规光学遥感卫星穿透性弱，不能精准获取灾区地表情况。因此多源遥感卫星图像融合技术能够将不同来源的遥感影像综合利用，对多源影像进行融合提高空间分辨率，以实现更精准的观测地球表面。然而针对滑坡灾害监测，目前常用的手段就是专家对遥感影像中的滑坡点进行解译，以及利用图像分类算法对影像进行自动分类从而识别滑坡位置。

然而目前上述技术中仍存在以下缺点：1、传统遥感滑坡识别方法精确度不高，很难超过90%，且受限于可用数据等因素；2、多源遥感由于观测维度不同，影像的时间、空间和光谱分辨率有差异性，使得信息具有冗余性，无法充分利用多源数据的优势，并且基于图像融合的算法普遍存在严重的空间失真和光谱失真问题。

发明内容

发明目的：本发明的目的是提供一种能充分利用遥感影像的时空信息提高滑坡识别准确率的基于拉普拉斯金字塔的遥感图像融合与滑坡体识别方法。

技术方案：本发明的滑坡体识别方法，包括步骤：

S1，对提取的遥感影像局部特征和遥感影像全局特征，通过拉普拉斯金字塔融合模块重建原始遥感影像，生成融合图像；

S2，通过基于并行结构的语义分割网络，构建深度学习语义分割模型；

S3，通过图片标记工具，对融合图像中发生滑坡灾害的地方和未发生滑坡灾害的地方分别进行标记，得到滑坡灾害标签图数据集；

S4,用步骤S3得到的数据集训练深度学习语义分割模型，通过修改语义分割网络结构和调整深度学习语义分割模型参数，直至深度学习语义分割模型的损失曲线达到拟合、识别遥感影像中滑坡体的精度满足要求时，则保存该深度学习语义分割模型。

进一步，所述步骤S1的具体实现过程如下：

S11，根据遥感影像的尺寸设计图像分块特征提取器，将遥感影像分割成一系列子图片后输入所述特征提取器，对每个子图片执行特征提取，完成遥感影像局部特征提取；

S12，对输入的两张非同源遥感影像进行一次降采样，将图像大小变成原始图像的四分之一；然后对降尺度后的图像执行编码；在重复降尺度并执行编码操作后，直到图像与步骤S11中子图片的大小相同；最后将不同尺度对应的特征上采样到原始大小；

S13，将步骤S11所提取的遥感影像局部特征和步骤S12所提取的遥感影像全局特征输入到拉普拉斯金字塔融合模块，通过图像重建自编码网络重建原始遥感影像。

进一步，所述步骤S2中，所述语义分割网络的主体包含了四个阶段，每次阶段扩展时，都会在底部添加一个流；语义分割网络的一个流表示已经操作了高分辨率到低分辨率的处理，下一级由先前的流和减小到一半大小的另一个流组成；在每次下采样操作之前，进行多分辨率融合、交换信息；

所有低分辨率特征将被上采样到与第一个流相同的分辨率，并将上采样后的特征连接起来，得到用于语义分割的特征图；实现过程如下：

S21，用步长为2的卷积将输入图像分辨率缩小到1/4大小，为第一阶段的输入；在经过随后的三次降低分辨率后，最底层流的分辨率变为原始输入大小的1/32；则第四阶段包括4个不同分辨率的特征图，分别率分别为1/4、1/8、1/16和1/32；

S22，在第四阶段，融合4种不同分辨率的特征表示，以增强图像特征；然后通过上采样将4种不同分辨率的特征表示恢复到第一阶段的相同分辨率，为原始输入尺寸的1/4；

S23, 通过1×1卷积将第四阶段中恢复后的4个相同分辨率的特征表示串联起来，再通过四次上采样得到与整个网络输入大小相同的分割结果。

进一步，所述步骤S3的实现过程如下：

S31，对选取的遥感影像对进行辐射定标、几何校正、对数转换的预处理工作；

S32，使用图片标记工具对融合图像进行标记，将融合图像中发生滑坡灾害的地方和未发生滑坡部分分别进行标记，获得与原始影像同样大小的滑坡标签图；

S33，根据语义分割网络通道尺寸，将标记后的滑坡灾害标签图进行裁切；并删除滑坡标签图中不包括滑坡的标签，得到滑坡灾害标签图数据集。

本发明与现有技术相比，其显著效果如下：1、本发明结合深度学习中基于拉普拉斯金字塔的图像融合、语义分割模型以及高空间分辨率高分二号数据和不受时间、天气影响且穿透能力强的哨兵一号数据，能解决滑坡发生时数据难获取和识别精度不高等问题；2、本发明提供了一种基于拉普拉斯金字塔的多源遥感图像融合与滑坡识别方法，能高效、精准地为滑坡灾害的防灾减灾提供有效的决策依据。

附图说明

图1为本发明的金字塔结构全局特征提取示意图；

图2为本发明遥感影像融合模型框架图；

图3为本发明基于深度学习语义分割模型框架；

图4为本发明遥感滑坡数据集示意图，第一行是原始遥感影像，第二行是对应的滑坡标签；

图5为本发明的基于训练好的深度学习语义分割模型对某一滑坡灾害的识别结果图。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步详细描述。

本发明的滑坡识别方法，通过有效地对多源遥感影像进行融合以增强图像，然后利用深度学习语义分割网络对滑坡灾害进行精准监测。本发明采用深度学习中图像融合与语义分割技术作为研究框架，其中包括了多源遥感影像融合模块和滑坡识别模块：首先用多源遥感影像融合模块从整个图像中提取非局部信息以获取原始图像的多尺度、多维、多角度的特征，利用这些特征重建输入图像以增强原始影像中相邻地物的差异性，获得能更好区分地物的高分辨率图像；其次，滑坡识别模块利用语义分割技术可有效学习高分辨率遥感影像中目标物的变化以及充分利用时空信息，从而达到精准识别滑坡灾害的目的。

本发明的方法实现主要分为以下三部分：基于拉普拉斯金字塔的哨兵一号微波图像与高分二号可见光图像融合；基于高分辨率融合遥感影像的滑坡灾害标签制作；基于深度学习语义分割模型的滑坡快速识别。具体步骤如下：

步骤1，基于拉普拉斯金字塔的多源遥感图像融合

（11）遥感影像局部特征提取

为了提取高分二号影像和哨兵一号影像中局部的特征，将图像分成几个适当大小的子图，然后计算所有像素在这个子图中的相关特征，得到切块后遥感影像的局部特征，这些局部特征可以用于重建原始影像。

由于遥感影像数据量庞大，直接获取影像特征比较困难。为了提取遥感影像低级的局部视觉特征表示，首先根据影像的尺寸设计一个图像分块特征提取器，将输入的高分二号影像和哨兵一号影像分别切割成一系列小尺寸的子图片，并对其中每个子图片执行特征提取，计算每张子图片中所有像素与对应子图片的相关性，以提取遥感影像的局部特征表示，见公式（1）；并且这些局部特征表示后续可以用来重建原始遥感影像。

其中，F为遥感影像特征；f0，…,fi为子图片特征。

（12）遥感影像全局特征提取

设计一个拉普拉斯金字塔融合模块获取输入影像局部到全局特征信息，实现过程为：通过对原始输入遥感影像进行降尺度操作，每进行一次下采样，图片尺寸就变成原始影像的四分之一，利用金字塔结构对这些下采样后的不同大小的图片编码，获取整张影像的非局部特征，即得到一系列多尺度、多维度和多角度的原始影像全局特征；并将这些下采样后不同尺度所对应的影像特征通过上采样统一整合成原始影像大小的全局特征，如图1所示为金字塔结构全局特征提取示意图。

如图2所示为遥感影像融合模型框架图，利用降尺度金字塔模块来实现遥感影像局部到全局的特征提取：首先对输入的两张非同源遥感影像进行一次下采样（即降采样），因此大小变成了原始图像的四分之一；然后对降尺度后的图像执行编码；在重复降尺度并执行编码操作后，直到图像与步骤11中子图大小相同；最后将不同尺度对应的特征上采样到原始大小。

（13）重建输入遥感影像特征

通过一个图像重建自编码网络将步骤11和步骤12所提取的遥感影像局部信息以及全局特征来重建原始遥感影像。图像融合任务的主要目的是利用高分二号影像和哨兵一号影像生成一个包含尽可能多的有用信息的融合图像。

将高分二号影像和哨兵一号影像所提取的局部与全局特征输入到拉普拉斯金字塔融合模块后，使用具有相同编码器模块的孪生网络结构提取该原始遥感影像的一系列高维特征，这些高维特征包括原始影像的边缘、纹理、颜色、语义等信息。最后利用这些高维特征融合并重建原始影像，使其得到结合光学与微波的高分辨率遥感影像。

步骤2，基于深度学习语义分割模型构建

如图3所示为构建的基于并行结构的语义分割网络HRNet框架示意图。HRNet主体包含了四个下采样阶段，每次阶段扩展时，都会在底部添加一个流。网络的一个流表示已经操作了高分辨率到低分辨率的处理，因此下一级由先前的流和减小到一半大小的另一个流组成。在每次下采样操作之前，都会进行多分辨率特征融合，交换信息，提高相应的分辨率特征。最后的四个流组成第四阶段，在最后一个多分辨率融合中充分融合，生成更好的特征图；所有低分辨率特征将被上采样到与第一个流相同的分辨率，并将上采样后的特征（即四个相同分辨率的特征）连接起来，得到用于语义分割的最终特征图；详细实现过程如下：

（21）先用步长为2的卷积将输入图像分辨率缩小到1/4大小，即HRNet第一阶段的输入。在随后的三次降低分辨率后，最底层流的分辨率变为原始输入大小的1/32。因此，第四阶段包括4个不同分辨率的特征图，分别是1/4、1/8、1/16和1/32。

（22）在每两个阶段之间，采用多分辨率特征融合交换来自多分辨率特征的信息。在第四阶段，融合了4种不同分辨率的特征表示，通过最后一次多分辨率特征融合来增强图像特征，然后通过上采样将这4种不同分辨率的特征表示统一恢复到第一阶段的相同分辨率，即原始输入尺寸的1/4。

（23）通过1×1卷积将第四阶段中恢复后的4个相同分辨率的特征表示串联起来，得到最终的遥感影像特征图，生成分割结果。最终，通过四次上采样得到与整个网络输入大小相同的分割结果。

步骤3，基于高分辨率融合遥感影像的滑坡灾害标签制作

为提高本发明满足多种应用场景，以监测不同地区不同时间的滑坡灾害，选取空间范围广、时间跨度长的遥感影像对来制作泛化能力强的滑坡灾害标签。首先对融合前遥感影像对进行辐射定标、几何校正、对数转换等预处理工作，然后使用图片标记工具对融合后的高质量遥感影像进行标记，将影像中发生滑坡灾害的地方标记为白色，未发生滑坡部分标记为黑色，如图4所示，最终获得与原始影像同样大小的滑坡标签图。详细实现过程如下：

（31）为了满足数据样本具有良好的时间与空间泛化性，能应用到不同地区、不同季节的滑坡识别中。选取空间范围广、时间跨度长的高分二号和哨兵一号遥感影像，并对其进行预处理，包括辐射定标、几何校正、对数转换等工作。

（32）根据滑坡发生时在遥感影像中变化特征，利用目视解译，人工标注出影像中滑坡区域，利用PS等图片处理软件将融合后的高质量遥感影像（即重建原始影像后得到的结合光学与微波的高分辨率遥感影像）进行标记，将遥感影像中发生滑坡灾害的地方标记为白色，未发生滑坡部分标记为黑色，最终获得与原图同样大小的滑坡灾害标签图。

（33）根据语义分割网络通道尺寸，将标记后的滑坡灾害标签图进行裁切；并对高分辨率滑坡灾害标签集（即滑坡灾害标签图组成的数据集）进行筛选以提高模型训练效率，将不包括滑坡的标签删除，减少网络训练时加载数据的时间。

本发明利用拉普拉斯金字塔的图像融合技术将高分二号与哨兵一号数据进行结合，以提高原始影像空间分辨率、影像信息增强和加强影像中相邻地物差异性，使得能更好地区分影像中地物目标。通过结合高分辨率地光学遥感数据以及穿透能力强地微波遥感数据，能有效突出滑坡在遥感影像中的特点，从而为滑坡灾害识别与监测提供研究数据。

步骤4，基于深度学习语义分割模型的滑坡识别

采用基于高分辨率滑坡灾害标签集来训练基于深度学习语义分割模型，通过修改语义分割网络框架结构，不断调整深度学习网络模型的学习率、正则化和迭代周期等参数，直至模型的损失曲线达到拟合并接近于0，同时识别遥感影像中滑坡体的精度达到95%以上，则认为该模型具有高效、精准识别滑坡能力。

根据步骤3所高分辨率滑坡灾害标签集来训练深度学习语义分割模型，可应用在不同地区、不同时相的滑坡灾害识别上。步骤32所制作的高分辨率滑坡灾害标签集成了光学遥感与微波遥感的优势，既有光学遥感的高空间分辨率，又有微波遥感的强穿透能力，能更好的凸显遥感影像中相邻目标差异性，以突出滑坡的特征。如图5所示，为基于训练好的深度学习语义分割模型对某一滑坡灾害的识别结果图。

综上所述，本发明能够快速且高精度地定位出遥感影像中滑坡发生位置，获取该地区滑坡发生后所造成的受灾面积。可为监测滑坡灾害提供方法与数据，同时为防灾救灾提供决策依据；结合灾区土地覆盖图，可以得到的灾区不同地表类型受滑坡造成的损失面积，从而可以定量分析滑坡灾害带来的损失。由步骤4所得到受灾地区滑坡分布图，结合灾区地表覆盖类型数据分析滑坡灾情，可以得到不同地表类型受滑坡造成的损失面积，从而定量分析滑坡灾害带来的损失，为防灾救灾提供决策依据。

Claims (2)

1.一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法，其特征在于，包括步骤：

S1，对提取的遥感影像局部特征和遥感影像全局特征，通过拉普拉斯金字塔融合模块重建原始遥感影像，生成融合图像；具体实现过程如下：

S11，根据遥感影像的尺寸设计图像分块特征提取器，将遥感影像分割成一系列子图片后输入所述特征提取器，对每个子图片执行特征提取，完成遥感影像局部特征提取；

S12，对输入的两张非同源遥感影像进行一次降采样，将图像大小变成原始图像的四分之一；然后对降尺度后的图像执行编码；在重复降尺度并执行编码操作后，直到图像与步骤S11中子图片的大小相同；最后将不同尺度对应的特征上采样到原始大小；

S13，将步骤S11所提取的遥感影像局部特征和步骤S12所提取的遥感影像全局特征输入到拉普拉斯金字塔融合模块，通过图像重建自编码网络重建原始遥感影像；

S2，通过基于并行结构的语义分割网络，构建深度学习语义分割模型；

所述语义分割网络的主体包含了四个阶段，每次阶段扩展时，都会在底部添加一个流；语义分割网络的一个流表示已经操作了高分辨率到低分辨率的处理，下一级由先前的流和减小到一半大小的另一个流组成；在每次下采样操作之前，进行多分辨率融合、交换信息；

所有低分辨率特征将被上采样到与第一个流相同的分辨率，并将上采样后的特征连接起来，得到用于语义分割的特征图；实现过程如下：

S21，用步长为2的卷积将输入图像分辨率缩小到1/4大小，为第一阶段的输入；在经过随后的三次降低分辨率后，最底层流的分辨率变为原始输入大小的1/32；则第四阶段包括4个不同分辨率的特征图，分别率分别为1/4、1/8、1/16和1/32；

S22，在第四阶段，融合4种不同分辨率的特征表示，以增强图像特征；然后通过上采样将4种不同分辨率的特征表示恢复到第一阶段的相同分辨率，为原始输入尺寸的1/4；

S23,通过1×1卷积将第四阶段中恢复后的4个相同分辨率的特征表示串联起来，再通过四次上采样得到与整个网络输入大小相同的分割结果；

S3，通过图片标记工具，对融合图像中发生滑坡灾害的地方和未发生滑坡灾害的地方分别进行标记，得到滑坡灾害标签图数据集；

S4,用步骤S3得到的数据集训练深度学习语义分割模型，通过修改语义分割网络结构和调整深度学习语义分割模型参数，直至深度学习语义分割模型的损失曲线达到拟合、识别遥感影像中滑坡体的精度满足要求时，则保存该深度学习语义分割模型。

2.根据权利要求1所述的基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法，其特征在于，所述步骤S3的实现过程如下：

S31，对选取的遥感影像对进行辐射定标、几何校正、对数转换的预处理工作；

S32，使用图片标记工具对融合图像进行标记，将融合图像中发生滑坡灾害的地方和未发生滑坡部分分别进行标记，获得与原始影像同样大小的滑坡标签图；

S33，根据语义分割网络通道尺寸，将标记后的滑坡灾害标签图进行裁切；并删除滑坡标签图中不包括滑坡的标签，得到滑坡灾害标签图数据集。

Images