CN113569810A - 一种基于深度学习的遥感影像建筑物变化检测***及方法 - Google Patents
一种基于深度学习的遥感影像建筑物变化检测***及方法 Download PDFInfo
- Publication number
- CN113569810A CN113569810A CN202111001922.0A CN202111001922A CN113569810A CN 113569810 A CN113569810 A CN 113569810A CN 202111001922 A CN202111001922 A CN 202111001922A CN 113569810 A CN113569810 A CN 113569810A
- Authority
- CN
- China
- Prior art keywords
- module
- remote sensing
- sensing image
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度学习的遥感影像建筑物变化检测***及方法,本发明提供***包括影像数据获取模块,预处理模块,标签图模块,训练模块,变化检测模块;影像数据获取模块,预处理模块,标签图模块,训练模块,变化检测模块依次连接;影像数据获取模块用于获取初始影像;预处理模块用于对初始影像进行预处理;标签图模块基于预处理后的初始影像,获取标签图;训练模块基于预处理后的初始影像及标签图,获取训练样本;变化检测模块用于通过训练样本对检测模型进行训练,并通过训练好的检测模型对待测数据进行检测。本发明通过上述技术方案能够充分利用地物之间丰富的逻辑信息进行自我纠错,不依赖数据学习,并且能够获取高精度检测结果。
Description
技术领域
本发明涉及遥感影像智能解译技术领域,特别涉及一种基于深度学习的遥感影像建筑物变化检测***及方法。
背景技术
随着遥感对地观测技术的不断进步,遥感影像的空间分辨率不断提高。光学高分辨率遥感影像因其半富的纹理和空间结构信息以及获取方式的愈加便捷,逐渐成为了遥感地物信息解译的重要数据支撑。
伴随着社会经济快速发展,土地利用类型变化的速度日益加快,幅度日益加大,如何快捷高效地监测并更新土地利用类型称为遥感学科亟待解决的问题。土地利用类型更新最重要的环节是变化区域提取,即变化检测。目前土地利用变化检测的方式主要为人工目视解译,不仅耗费大量的人力,而且时间长,效果差,缺漏严重。随着土地变化速度的加剧,环境复杂性的加深以及遥感数据多样性的增加,传统的方法已经不能很好适应变化检测的需求。
为了解决上述问题,近年来使用机器学习的方法对高分辨率遥感影像进行地物变化检测的研究不断深入,使用机器学习的方法一般先根据专家设定的特征描述子提取遥感影像的光谱、纹理和结构特征,然后进行特征分类(特征分类方法包括最大似然法、决策树和支持向量机等基于浅层特征判别的有监督分类方法),这种方法一般需要人工确定特征值及核函数,很难跨越底层图像数据与高层逻辑信息的语义鸿沟,分类精度往往较差。
传统的基于深度学习(如全卷积网络、分割网络、U型网络等)的方法能够通过端到端地学习机制从数据中自动学习特征提取与特征分类模型,从而自适应地提取遥感影像的特征并进行分类。在具有充足有标记训练样本保障的前提下往往可以取得比较好的分类精度。然而,深度学习神经网络高度依赖数据学习,无法充分利用地物之间丰富的逻辑信息(如空间关系)进行自我纠错,其结果的可解释性较差(深度网络的黑盒特性仍然十分显著)及精度有待提高。
发明内容
为解决上述现有技术中所存在高度依赖数据学习及精度有待提高等问题,本发明提供一种基于深度学习的遥感影像建筑物变化检测***及方法,能够有效充分利用地物之间丰富的逻辑信息进行自我纠错,不依赖数据学习并且能够获取高精度检测结果。
为实现上述技术效果,本发明提供了如下技术方案:
一种基于深度学习的遥感影像建筑物变化检测***,包括:
影像数据获取模块,预处理模块,标签图模块,训练模块,变化检测模块,
影像数据获取模块,预处理模块,标签图模块,训练模块,变化检测模块依次连接;
影像数据获取模块用于获取初始遥感影像;
预处理模块用于对初始遥感影像进行预处理;
标签图模块用于基于预处理后的初始遥感影像,获取标签图;
训练模块用于对预处理后的初始遥感影像及标签图进行分块处理,并将分块处理结果划分为训练样本及验证样本;
变化检测模块用于构建检测模型,并通过训练样本及验证样本对检测模型进行训练,变化检测模块还用于获取待测遥感数据,并通过训练好的检测模型对待测遥感数据进行建筑物变化检测,得到建筑物变化检测结果。
可选的,影像数据获取模块包括第一遥感影像获取模块及第二遥感影像获取模块;
第一遥感影像获取模块,第二遥感影像获取模块分别与预处理模块连接;
第一遥感影像获取模块用于获取第一遥感影像;
第二遥感影像获取模块用于获取第二遥感影像;
其中,第一遥感影像与第二遥感影像的拍摄区域相同,拍摄时间不同。
可选的,预处理模块包括辐射校正模块,几何校正模块,图像增强模块;
辐射校正模块,几何校正模块,图像增强模块依次连接;
辐射校正模块基于第一遥感影像,对第二遥感影像进行辐射校正,获取辐射校正后的第二遥感影像;
几何校正模块基于第一遥感影像,对校正后的第二遥感影像进行几何校正,获取几何校正后的第二遥感影像;
图像增强模块用于对第一遥感影像及几何校正后的第二遥感影像进行灰度拉伸,获取预处理后的遥感影像;
其中,预处理后的遥感影像包括预处理后的第一遥感影像、预处理后的第二遥感影像。
可选的,标签图模块包括加载模块,解译模块;
加载模块与解译模块连接;
加载模块用于获取预处理后的遥感影像,并对预处理后的遥感影像进行加载;
解译模块基于加载结果,通过人工目视解译方法进行变化图斑绘制,获取标签图。
可选的,训练模块包括分块处理模块,分割模块;
分块处理模块与分割模块连接;
分块处理模块用于对预处理后的遥感影像及标签图进行分块处理;
分割模块用于对分块处理结果进行划分,得到训练样本和测试样本。
可选的,变化检测模块包括模型构建模块,模型优化模块,模型检测模块;
模型构建模块,模型训练模块,模型检测模块依次连接;
模型构建模型用于构建检测模型;
模型训练模块用于通过训练样本及测试样本对检测模型进行训练;
模型检测模块用于获取待测遥感数据,并通过训练好的检测模型对待测遥感数据进行建筑物变化检测,得到建筑物变化检测结果。
可选的,模型构建模块包括初始模块,改进模块;
初始模块与改进模块连接;
改进模块与模型训练模块连接;
初始模块用于构建U-net模型,其中,U-net模型包括下采样结构,上采样结构及跳跃连接层,下采样结构与上采样结构连接,下采样结构通过若干个卷积层依次连接构成,上采样结构通过若干个卷积层依次连接构成,下采样结构中的卷积层与对应的上采样结构中的卷积层通过跳跃连接层连接;
改进模块用于将U-net模型中的卷积层替换为二次循环残差卷积模块,在U-net模型中的下采样结构与上采样结构连接处添加ASSP模块,对U-net模型中的跳跃连接层添加注意力机制,得到检测模型。
可选的,检测模块包括待测数据获取模块,输出模块;
待测数据获取模块与输出模型连接;
输出模块与模型优化模块连接;
待测数据获取模块用于获取待测遥感数据;
输出模块用于存储训练好的检测模型,并通过训练好的检测模型对待测遥感数据进行建筑物变化检测,得到建筑物变化检测结果。
本发明还提供了一种基于深度学习的遥感影像建筑物变化检测方法,包括,
获取初始遥感影像,对初始遥感影像进行预处理;
基于预处理后的初始遥感影像,获取标签图;
对预处理后的初始遥感影像及标签图进行分块处理,对预处理后的初始遥感影像及标签图进行分块处理,并将分块处理结果划分为训练样本及验证样本;
构建检测模型,通过训练样本及验证样本对检测模型进行训练;获取待测遥感影像,基于训练好的检测模型对待测遥感影像进行建筑物变化检测,得到建筑物变化检测结果。
本发明具有如下技术效果:
(1)本发明通过影像数据获取模块获取初始遥感数据,其次通过预处理模块对初始遥感数据进行预处理,通过标签图模块生成遥感数据相关的标签图,并通过训练模块将标签图与上述预处理后的初始遥感数据划分为训练样本及验证样本,最后通过训练样本及验证样本对变化检测模块进行训练和验证,将训练好的变化检测模块对待测遥感图像进行遥感影像建筑物变化检测,通过上述技术方案能够有效充分利用地物之间丰富的逻辑信息进行自我纠错,不依赖数据学习,并且能够获取高精度检测结果;
(2)本发明检测模型在上采样和下采样过程中的使用二次循环残差卷积模块,对提取到的特征进行重复利用,充分学习图像的特征,提高特征图的使用效率;引入残差卷积模块可以使模型有效地训练更加深层的网络结构,防止由于网络加深而出现的模型退化等问题;
(3)引入ASPP模块在不降低空间维度的情况下,利用不同的空洞率来扩大感受野,从而获取多尺度的上下文的图像特征,提高变化检测模块分割性能;
(4)跳跃连接模块在未使用注意力机制之前,是将低级特征和高级特征在波段维度进行拼接,实现特征融合,但是并没用充分考虑空间一致性,导致预测的图像存在边缘细节丢失等问题。因此,本发明在跳跃连接的过程中引入了注意力机制,注意力机制可以对特征图中的每一个分量的权重进行调节,通过减小与任务无关特征图的权重来抑制对该类特征的学习,增大与任务相关的特征权重来加强对该类特征的学习。在高分辨率遥感影像的变化检测任务中,其重点是从两期影像中提取变化区域,因此通过引入注意力机制来,增大变化类型的信息权重从而使得重点对变化区域进行学习,同时减少未变化类型的权重,提高检测模型对变化类型的敏感性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的***示意图;
图2为本发明实施例提供的方法流程示意图;
图3为本发明实施例提供的初始遥感影像示意图;
图4为本发明实施例提供的U-Net模型示意图;
图5为本发明实施例提供的检测模型示意图;
图6为本发明实施例提供的前后遥感图像对比示意图;
图7为本发明实施例提供的检测结果示意图;
图8为本发明实施例提供的不同方法结果对比示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决在现有技术中存在高度依赖数据学习及精度有待提高等问题,本发明提供了如下方案:
如图1,本发明提供了一种基于深度学习的遥感影像建筑物变化检测***,包括:
影像数据获取模块,预处理模块,标签图模块,训练模块,变化检测模块,影像数据获取模块,预处理模块,标签图模块,训练模块,变化检测模块依次连接;
影像数据获取模块用于获取初始遥感影像;影像数据获取模块包括第一遥感影像获取模块及第二遥感影像获取模块;第一遥感影像获取模块,第二遥感影像获取模块分别与预处理模块连接;
第一遥感影像获取模块用于获取第一遥感影像;第二遥感影像获取模块用于获取第二遥感影像;其中,第一遥感影像与第二遥感影像的拍摄区域相同,拍摄时间不同。第一影像获取模块连接有云数据库,可以直接从数据库中获取需要检测的高分辨率遥感影像,由于***在运行过程中,需要对两期图像变化进行检测,及在辐射校正模块,几何校正模块都需要用到不同时间,同一区域的两期图像,所以获取以两期影像中的一期影像为参考影像即第一遥感影像,另一期影像为待校正影像即第二遥感影像。
预处理模块用于对初始遥感影像进行预处理;预处理模块包括辐射校正模块,几何校正模块,图像增强模块;辐射校正模块,几何校正模块,图像增强模块依次连接;
辐射校正模块基于第一遥感影像,对第二遥感影像进行辐射校正,获取辐射校正后的第二遥感影像;辐射校正采用相对辐射校正,即以第一遥感影像为参考,校正第二遥感影像,对两期影像的灰度值建立线性或者非线性的数学模型,来消除两期影像之间的辐射差异,使得同一地物在两期影像具有相同的辐射亮度值,实现光谱值的归一化。
几何校正模块基于第一遥感影像,对校正后的第二遥感影像进行几何校正,获取几何校正后的第二遥感影像;几何校正对两期影像中的某类信息在规定的图像投影参考***时,相同地物的几何位置、形状大小、空间位置等特征产生的几何形变误差进行校正。
图像增强模块用于对第一遥感影像及几何校正后的第二遥感影像进行灰度拉伸,获取预处理后的遥感影像;其中,预处理后的遥感影像包括预处理后的第一遥感影像、预处理后的第二遥感影像。
标签图模块用于基于预处理后的初始遥感影像,获取标签图;标签图模块包括加载模块,解译模块;加载模块与解译模块连接;加载模块用于获取预处理后的遥感影像,并对预处理后的遥感影像进行加载;解译模块基于加载结果,通过人工目视解译方法进行变化图斑绘制,获取标签图。
训练模块用于对预处理后的初始遥感影像及标签图进行分块处理,并将分块处理结果划分为训练样本及验证样本;训练模块包括分块处理模块,分割模块;分块处理模块与分割模块连接;分块处理模块用于对预处理后的遥感影像及标签图进行分块处理;分割模块用于对分块处理结果进行划分,得到训练样本和测试样本。
变化检测模块用于构建检测模型,并通过训练样本及验证样本对检测模型进行训练,变化检测模块还用于获取待测遥感数据,并通过训练好的检测模型对待测遥感数据进行建筑物变化检测,得到建筑物变化检测结果。变化检测模块包括模型构建模块,模型优化模块,模型检测模块;模型构建模块,模型训练模块,模型检测模块依次连接;
模型构建模型用于构建检测模型;模型训练模块用于通过训练样本及测试样本对检测模型进行训练;模型检测模块用于获取待测遥感数据,并通过训练好的检测模型对待测遥感数据进行建筑物变化检测,得到建筑物变化检测结果。
模型构建模块包括初始模块,改进模块;初始模块与改进模块连接;改进模块与模型训练模块连接;初始模块用于构建U-net模型;其中,U-net模型包括下采样结构,上采样结构及跳跃连接层,下采样结构与上采样结构连接,下采样结构通过若干个卷积层依次连接构成,上采样结构通过若干个卷积层依次连接构成,下采样结构中的卷积层与对应的上采样结构中的卷积层通过跳跃连接层连接;
改进模块用于将U-net模型中的卷积层替换为二次循环残差卷积模块,并在U-net模型中的下采样结构输出位置添加ASSP模块,对U-net模型中的跳跃连接层添加注意力机制,得到检测模型,通过上述方案获取的检测模型为ASPP ArrU-Net模型。
本发明所提供的ASPP ArrU-Net模型与U-Net模型结构相似,都是编码器、解码器和跳跃连接三部分组成。在编码器及下采样结构部分,ASPP ArrU-Net模型是由4个卷积层和下采样层组成,其中卷积层部分采用上述提到的二次循环残差卷积模块,以改善由于网络层数的加深而导致的模型退化的问题,对提取到的特征图进行重复利用,加强特征的传播,使得提取更加复杂的特征。在编码器部分最底部及下采样结构与上采样结构连接处引入了ASPP模块,采用四个空洞率不同的空洞卷积来扩大感受野,提取影像目标的多尺度信息。解码器及上采样结构部分是由4组卷积层和上采样层组成的,其卷积层部分与编码器相同。在每层编码器和解码器之间都采用合并注意力模块的跳跃连接,共4层。跳跃连接可以将浅层特征与深层特征在波段维度上进行拼接,添加的注意力模块可以对增加变化信息的特征权重,提升了模型的抗噪能力。
检测模块包括待测数据获取模块,输出模块;待测数据获取模块与输出模型连接;输出模块与模型优化模块连接;待测数据获取模块用于获取待测遥感数据;输出模块用于存储训练好的检测模型,并通过训练好的检测模型对待测遥感数据进行建筑物变化检测,得到建筑物变化检测结果。
如图2所示,本发明还提供了一种基于深度学习的遥感影像建筑物变化检测方法:包括以下步骤;
S1.获取初始遥感影像,对初始遥感影像进行预处理;
如图3所示,获取初始遥感影像,初始遥感影像采用高分辨率遥感影像,对初始遥感影像进行预处理,主要包括对影像进行辐射校正和几何校正。卫星在成像过程中,由于不同时刻所处的轨道位置、太阳高度角以及传感器的瞬时视场角不同,可能会导致获取到的遥感影像存在位置上的几何畸变,不能直接使用。因此,遥感影像解译的第一步就是对获取的影像进行预处理。预处理一般包括辐射校正、几何校正、图像增强等,通过对影像进行预处理,消除由于外部因素导致的“伪变化”,减弱对遥感影像变化检测的影响。
辐射校正是修正或消除传感器在接收来自地表物体发射的电磁波辐射能量时,由于受到大气作用以及光照条件等因素的影响,使得传感器接收到的探测值于地表物体实际发出的光谱辐射率不一致,从而导致影像灰度失真的现象,即辐射误差。本发明实验在对GF-1号的两期影像进行辐射校正时,仅考虑由于传感器自身因素产生的辐射误差,不再考虑其余因素而导致的辐射误差。辐射校正又分为绝对辐射校正和相对辐射校正。绝对辐射校正是在不同范围的波谱间,对各种标准的辐射源,建立数学模型来定量描述卫星成像光谱仪处的光谱辐射亮度值和输出的数字量化之间的关系,使遥感数据能够真实反映地物电磁波信息的强度。相对辐射校正是在两期影像中选择其中的一幅影像为参考影像,另外一幅影像为待校正影像,对两期影像的灰度值建立线性或者非线性的数学模型,来消除两期影像之间的辐射差异,使得同一地物在两期影像具有相同的辐射亮度值,实现光谱值的归一化。其中,辐射校正采用相对辐射校正,即以两期影像中的一期影像为参考影像即第一遥感影像,另一期影像为待校正影像即第二遥感影像,采用回归分析方法建立两期影像之间的线性映射公式:
yi=ki*xi+bi
其中的yi表示后一期待校正影像的在辐射校正后第i波段像元辐射亮度值,xi为待校正影像在第i波段的像元辐射亮度值,ki、bi为第i波段线性回归方程的斜率和截距。采用迭代加权多元算法在两期影像中选取伪不变特征点,经过多次迭代后选取阈值和权重值,采用最小二乘法对伪不变特征点进行计算,进而求得上述公式中的斜率ki和截距bi。
影像的几何误差是由于传感器平台的高度、地球曲率、空气折射的变化、地形变化等一系列因素造成的。几何校正就是对两期影像中的某类信息在规定的图像投影参考***时,相同地物的几何位置、形状大小、空间位置等特征产生的几何形变误差进行校正。本发明利用控制点对影像进行几何校正,控制点选择的数量与几何校正使用多项式模型的次数有关,对于n阶多项式,理论上至少需要(n+1)*(n+2)/2个控制点,在实际选择控制点的过程中,控制点的数量至少要大于最低理论值。控制点的选择主要遵循以下原则:(1)控制点应选取在影像容易分辨、永久性并且比较精细的特征点,如房屋拐角处、道路交叉口、机场等;(2)图像上特征变化较大的区域应该多选择一些控制点;(3)图像边缘区域一定要选择控制点,避免造成经过校正的影像外推;(4)控制点的选择应在影像上分布均匀。本发明以第一遥感影像即前一期影像为参考影像,第二遥感影像为后一期影像为待校正影像,几何校正采用二阶多项式模型进行校正,其公式为:
其中,xl、yl为校正后的后一期影像的像元坐标,x1和y1为前一期影像像元坐标。ki 1和ki 2为二阶多项式校正模型的系数,是由人工选取的控制点通过最小二乘方法得到的。
遥感影像中的图像增强的方法有很多,比如彩色增强、辐射增强等,不同的方法得到最后的结果是不同的。本发明主要针对获取的两期影像进行灰度拉伸。灰度拉伸是一种简单、高效的线性图像增强方法。其中,分段线性灰度拉伸可以抑制图像中的低频部分,提升高频部分的对比度和亮度,提高图像的视觉效果更加明显,在对影像进行目视解译时,可以从影像中提取到对当前任务更加有用的信息。对实验所采用的两幅影像进行2%的线性拉伸,即对图像灰度值在2%和98%之间的像素灰度值进行线性拉伸,将小于2%和大于98%的灰度值设置为0,这样可以舍弃部分异常值,将剩余范围内的像素值重新拉伸至0-255的灰度值范围内,其公式为:
S2.基于预处理后的初始遥感影像,获取标签图;
绘制标签图。将两期影像分别加载,采取人工目视解译的方式对绘制变化图斑,作为模型的训练样本,如图6所示,其中,第一张为前一期影像,第二张为后一期影像,第三张为勾绘标签图,通过对前一期影像及后一期影像进行上述处理,可获取勾绘标签图。
S3.对预处理后的初始遥感影像及标签图进行分块处理,对预处理后的初始遥感影像及标签图进行分块处理,并将分块处理结果划分为训练样本及验证样本;
制作数据集,将经过预处理的两期影像以及标签图按照一定大小的尺寸进行分块处理,将分块后的影像按照一定的比例划分为训练样本和验证样本。
S4.构建检测模型,通过训练样本及验证样本对检测模型进行训练;获取待测遥感影像,基于训练好的检测模型对待测遥感影像进行进行建筑物变化检测,得到建筑物变化检测结果。
如图4,图5所示,首先调用深度学习框架pytorch中的卷积操作对输入的影像进行特征提取,由于一个卷积核只能提取一张特征图,不能将整个图像的不同特征全部提取出来,因此,每个卷积层都由若干个不同的卷积核来提取不同类型的特征,其中,低层的卷积层主要提取到图像的浅层特征,如边界、轮廓等信息,而高层的卷积层则是将低层卷积提取到的信息进行叠加综合从而提取图像的高级特征,如图像的几何关系、空间关系等。其次,调用pytorch中的池化操作。由于输入的图像经过卷积层后的特征图维度较高,且包含着一些不重要的高频信息,若将这些高维特征图直接输入到下一个卷积层的话,会导致模型的计算量变大、维数过高,从而出现过拟合的现象。因此,需要对经过卷积后的特征图进行聚合处理,即采用一种较小维度的特征来描述大面积区域的方法,这种方法可以降低特征图的维度,并且很好的保留特征图的主要特征,有效的降低参数的数量,防止发生过拟合现象。然而,上述的卷积操作仅对输入的图像进行了线性变换,无论神经网络中有多少隐含层进行叠加,输出的结果都是线性变换的组合,只能表达简单的映射关系。面对遥感影像等复杂的任务场景时,线性变换的模型表达能力不足,泛化能力也十分有限。因此,为了提高模型的表达能力和泛化能力,就需要引入激活函数将卷积层提取的线性特征映射为非线性特征,增强模型的泛化能力。
针对U-Net模型在高分影像的变化检测中存在漏检、错检等现象,本发明对其改进。在原始U-Net模型的上下采样阶段,引入了二次循环残差卷积模块,加强特征的传播,对特征图进行重复利用,提高特征图的利用效率。二次循环模块是将上一层卷积运算的结果与本层的卷积结果累加,作为下一层的输入。特征映射xi是在i-1网络层依次经过线性变换和非线性激活函数计算,得到最终的输出像素值,若该输入通过二次循环模块,其输出yi可以表示为:
yi=Hi(WiT*xi+Wi-1T*xi-1,b)
上述公式中,Hi(·)表示第i层的非线性网络映射,Wi和Wi-1分别代表输入的特征在i-1卷积层的权重和第i层的权重,b为偏置项。这种二次循环模块可以提取不同感受野的多尺度特征,将前后两层的特征进行合并,对特征图进行重复利用,有利于小数据样本集的特征提取。在二次循环模块中加入残差学习可以进一步提高特征使用的效率,解决了由于网络层数过多导致的退化问题,加快了网络模型的收敛速度。
在U-Net模型底部引入ASPP模块来获取特征图多尺度的上下文信息。空洞卷积(Atrous Convolution)最早是在Deeplab v1模型中被提出的。传统的卷积操作提取的是排列紧密的影像像素点特征,而空洞卷积在标准的卷积模快中通过添加0值的方式来加入空洞,假设空洞率为r的空洞卷积,将大小为m×m卷积核扩大为Nm×Nm,感受野为RF。则Nm和RF的计算公式如下所示,
Nm=m+(m-1)*(r-1);
RFk=RFk-1+(mk-1)*Sk;
式中的RFk表示第k层的感受野大小,Sk为第k层卷积的步长大小,RFk-1为第k-1层的感受野大小,mk表示第k层卷积核的大小。这种方式可以在没有增加计算量的同时扩大上下文感受野,使得卷积层输出的特征图包含更大范围的特征信息。在之后的Deeplab v2模型中,空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块被提出。针对影像中的地物存在多尺度特征,ASPP模块采用空洞率为6、12、18、24的空洞卷积模块来获取不同尺度下的感受野信息,在影像的特征提取中可以获得不同尺度的上下文信息。
在原始的跳跃连接中,加入注意力机制,在增加变化区域信息权重的同时减小非变化区域特征信息的权重,使得变化检测的结果更加准确。通过上述对于U-Net模型进行改进,本发明构建遥感影像变化检测模型ASPP ArrU-Net模型,将训练样本输入到ASPP ArrU-Net模型进行训练,经过若干次迭代后,当训练集的损失值不再减少时,即模型训练完成。基于上述训练好的模型,对待测遥感影像进行进行建筑物变化检测,得到建筑物变化检测结果。如图7所示,图7中为不同区域的区域变化检测特征,可清楚展示不同区域之间区域的变化特征;同时,从图8可看出,使用不同的深度学习模型进行检测,通过使用Deeplabv3模型,FCN模型,FC-Siam-diff模型,SegNet模型,U-net模型,及本发明所使用的ASPP ArrU-net模型的检测结果进行比对,可以看出其他的网络容易将未变化区域特征进行额外提取,影响最终变化检测检测,而本发明所使用的ASPP ArrU-net网络对于区域间的细节即特征提取的更加有效及清晰,能够重点提取变化特征,减少对于不变化特征的提取,保证最终检测结果的准确性。
本发明具有以下优点:
(1)将模型在上采样和下采样过程中的卷积层改为二次循环残差卷积层,对卷积层提取到的特征进行重复利用,充分学习图像的特征,提高特征图的使用效率;引入残差模块可以使模型有效地训练更加深层的网络结构,防止由于网络加深而出现的模型退化等问题;
(2)引入ASPP模块在不降低空间维度的情况下,利用不同的空洞率来扩大感受野,从而获取多尺度的上下文的图像特征,提高网络模型分割性能。
(3)U-Net模型的原始的跳跃连接是在是将低级特征和高级特征在波段维度进行拼接,实现特征融合,但是并没用充分考虑空间一致性,导致预测的图像存在边缘细节丢失等问题。因此,本发明将改变了U-Net模型原始的跳跃连接,在跳跃连接的过程中引入了注意力机制,注意力机制可以对特征图中的每一个分量的权重进行调节,通过减小与任务无关特征图的权重来抑制对该类特征的学习,增大与任务相关的特征权重来加强对该类特征的学习。在高分辨率遥感影像的变化检测任务中,其重点是从两期影像中提取变化区域,因此通过引入注意力机制来,增大变化类型的信息权重从而使得模型重点对变化区域进行学习,同时减少未变化类型的权重,提高模型对变化类型的敏感性。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种基于深度学习的遥感影像建筑物变化检测***,其特征在于,包括:
影像数据获取模块,预处理模块,标签图模块,训练模块,变化检测模块;
所述影像数据获取模块,所述预处理模块,所述标签图模块,所述训练模块,所述变化检测模块依次连接;
所述影像数据获取模块用于获取初始遥感影像;
所述预处理模块用于对初始遥感影像进行预处理;
所述标签图模块用于基于预处理后的初始遥感影像,获取标签图;
所述训练模块用于对预处理后的初始遥感影像及标签图进行分块处理,并将分块处理结果划分为训练样本及验证样本;
所述变化检测模块用于构建检测模型,并通过训练样本及验证样本对检测模型进行训练,所述变化检测模块还用于获取待测遥感数据,并通过训练好的检测模型对待测遥感数据进行建筑物变化检测,得到建筑物变化检测结果。
2.根据权利要求1所述的基于深度学习的遥感影像建筑物变化检测***,其特征在于:
所述影像数据获取模块包括第一遥感影像获取模块及第二遥感影像获取模块;
所述第一遥感影像获取模块,所述第二遥感影像获取模块分别与预处理模块连接;
所述第一遥感影像获取模块用于获取第一遥感影像;
所述第二遥感影像获取模块用于获取第二遥感影像;
其中,所述第一遥感影像与所述第二遥感影像的拍摄区域相同,拍摄时间不同。
3.根据权利要求2所述的基于深度学习的遥感影像建筑物变化检测***,其特征在于:
所述预处理模块包括辐射校正模块,几何校正模块,图像增强模块;
所述辐射校正模块,所述几何校正模块,所述图像增强模块依次连接;
所述辐射校正模块基于所述第一遥感影像,对第二遥感影像进行辐射校正,获取辐射校正后的第二遥感影像;
所述几何校正模块基于所述第一遥感影像,对辐射校正后的第二遥感影像进行几何校正,获取几何校正后的第二遥感影像;
所述图像增强模块用于对所述第一遥感影像及几何校正后的第二遥感影像进行灰度拉伸,获取预处理后的遥感影像;
其中,预处理后的遥感影像包括所述预处理后的第一遥感影像、所述预处理后的第二遥感影像。
4.根据权利要求1所述的基于深度学习的遥感影像建筑物变化检测***,其特征在于:
所述标签图模块包括加载模块,解译模块;
所述加载模块与所述解译模块连接;
所述加载模块用于获取预处理后的遥感影像,并对预处理后的遥感影像进行加载;
所述解译模块基于加载结果,通过人工目视解译方法进行变化图斑绘制,获取标签图。
5.根据权利要求1所述的基于深度学习的遥感影像建筑物变化检测***,其特征在于:
所述训练模块包括分块处理模块,分割模块;
所述分块处理模块与所述分割模块连接;
所述分块处理模块用于对预处理后的遥感影像及标签图进行分块处理;
所述分割模块用于对分块处理结果进行划分,得到训练样本和测试样本。
6.根据权利要求1所述的基于深度学习的遥感影像建筑物变化检测***,其特征在于:
所述变化检测模块包括模型构建模块,模型优化模块,模型检测模块;
所述模型构建模块,所述模型训练模块,所述模型检测模块依次连接;
所述模型构建模型用于构建检测模型;
所述模型训练模块用于通过训练样本及测试样本对检测模型进行训练;
所述模型检测模块用于获取待测遥感数据,并通过训练好的检测模型对待测遥感数据进行建筑物变化检测,得到建筑物变化检测结果。
7.根据权利要求6所述的基于深度学习的遥感影像建筑物变化检测***,其特征在于:
所述模型构建模块包括初始模块,改进模块;
所述初始模块与所述改进模块连接;
所述改进模块与所述模型训练模块连接;
所述初始模块用于构建U-net模型,其中,U-net模型包括下采样结构,上采样结构及跳跃连接层,下采样结构与上采样结构连接,下采样结构通过若干个卷积层依次连接构成,上采样结构通过若干个卷积层依次连接构成,下采样结构中的卷积层与对应的上采样结构中的卷积层通过跳跃连接层连接;
所述改进模块用于将所述U-net模型中的卷积层替换为二次循环残差卷积模块,在U-net模型中的下采样结构与上采样结构连接处添加ASSP模块,对U-net模型中的跳跃连接层添加注意力机制,得到检测模型。
8.根据权利要求6所述的基于深度学习的遥感影像建筑物变化检测***,其特征在于:
所述检测模块包括待测数据获取模块,输出模块;
所述待测数据获取模块与所述输出模型连接;
所述输出模块与所述模型优化模块连接;
所述待测数据获取模块用于获取待测遥感数据;
所述输出模块用于存储训练好的检测模型,并通过训练好的检测模型对待测遥感数据进行建筑物变化检测,得到建筑物变化检测结果。
9.一种基于深度学习的遥感影像建筑物变化检测方法,其特征在于:包括,
获取初始遥感影像,对初始遥感影像进行预处理;
基于预处理后的初始遥感影像,获取标签图;
对预处理后的初始遥感影像及标签图进行分块处理,对预处理后的初始遥感影像及标签图进行分块处理,并将分块处理结果划分为训练样本及验证样本;
构建检测模型,通过训练样本及验证样本对检测模型进行训练;获取待测遥感影像,基于训练好的检测模型对待测遥感影像进行建筑物变化检测,得到建筑物变化检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111001922.0A CN113569810A (zh) | 2021-08-30 | 2021-08-30 | 一种基于深度学习的遥感影像建筑物变化检测***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111001922.0A CN113569810A (zh) | 2021-08-30 | 2021-08-30 | 一种基于深度学习的遥感影像建筑物变化检测***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113569810A true CN113569810A (zh) | 2021-10-29 |
Family
ID=78173049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111001922.0A Pending CN113569810A (zh) | 2021-08-30 | 2021-08-30 | 一种基于深度学习的遥感影像建筑物变化检测***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113569810A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115456957A (zh) * | 2022-08-19 | 2022-12-09 | 广州大学 | 一种全尺度特征聚合的遥感影像变化检测的方法 |
CN117152637A (zh) * | 2023-10-30 | 2023-12-01 | 中国海洋大学 | 基于fy-4a卫星云图预测序列的强对流云识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886106A (zh) * | 2019-01-15 | 2019-06-14 | 浙江大学 | 一种基于深度学习的遥感图像建筑物变化检测方法 |
CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
CN112418049A (zh) * | 2020-11-17 | 2021-02-26 | 浙江大学德清先进技术与产业研究院 | 一种基于高分遥感影像的水体变化检测方法 |
CN112949549A (zh) * | 2021-03-19 | 2021-06-11 | 中山大学 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
-
2021
- 2021-08-30 CN CN202111001922.0A patent/CN113569810A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886106A (zh) * | 2019-01-15 | 2019-06-14 | 浙江大学 | 一种基于深度学习的遥感图像建筑物变化检测方法 |
CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
CN112418049A (zh) * | 2020-11-17 | 2021-02-26 | 浙江大学德清先进技术与产业研究院 | 一种基于高分遥感影像的水体变化检测方法 |
CN112949549A (zh) * | 2021-03-19 | 2021-06-11 | 中山大学 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115456957A (zh) * | 2022-08-19 | 2022-12-09 | 广州大学 | 一种全尺度特征聚合的遥感影像变化检测的方法 |
CN115456957B (zh) * | 2022-08-19 | 2023-09-01 | 广州大学 | 一种全尺度特征聚合的遥感影像变化检测的方法 |
CN117152637A (zh) * | 2023-10-30 | 2023-12-01 | 中国海洋大学 | 基于fy-4a卫星云图预测序列的强对流云识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960143B (zh) | 一种高分辨率可见光遥感图像中的舰船检测深度学习方法 | |
CN109934200B (zh) | 一种基于改进M-Net的RGB彩色遥感图像云检测方法及*** | |
WO2021244079A1 (zh) | 智能家居环境中图像目标检测方法 | |
CN111507271B (zh) | 一种机载光电视频目标智能化检测与识别方法 | |
CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
CN108428220B (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
CN110766058B (zh) | 一种基于优化rpn网络的战场目标检测方法 | |
CN113239830B (zh) | 一种基于全尺度特征融合的遥感图像云检测方法 | |
CN113569810A (zh) | 一种基于深度学习的遥感影像建筑物变化检测***及方法 | |
CN114187450A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
Cui et al. | Improved swin transformer-based semantic segmentation of postearthquake dense buildings in urban areas using remote sensing images | |
CN115147731A (zh) | 一种基于全空间编码注意力模块的sar图像目标检测方法 | |
CN114494821B (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
CN114821315B (zh) | 结合边缘检测和多任务学习的遥感影像耕地地块提取方法 | |
CN113705538A (zh) | 基于深度学习的高分遥感影像道路变化检测装置及方法 | |
CN115457396B (zh) | 一种基于遥感影像的地表目标地物检测方法 | |
CN113486819A (zh) | 一种基于YOLOv4算法的船舶目标检测方法 | |
CN113205103A (zh) | 一种轻量级的文身检测方法 | |
CN114120036A (zh) | 一种轻量化的遥感图像云检测方法 | |
CN116977311A (zh) | 一种洪涝灾害区域检测方法、***、电子设备及存储介质 | |
CN114972748A (zh) | 一种可解释边缘注意力和灰度量化网络的红外语义分割方法 | |
CN113850761B (zh) | 一种基于多角度检测框的遥感图像目标检测方法 | |
CN113971764B (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
CN113869262A (zh) | 一种基于Unet模型的目标区域用地信息的预测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |