CN113657351A - 基于深度学习的高分遥感影像林草变化检测装置及方法 - Google Patents
基于深度学习的高分遥感影像林草变化检测装置及方法 Download PDFInfo
- Publication number
- CN113657351A CN113657351A CN202111140640.9A CN202111140640A CN113657351A CN 113657351 A CN113657351 A CN 113657351A CN 202111140640 A CN202111140640 A CN 202111140640A CN 113657351 A CN113657351 A CN 113657351A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- forest
- grass
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 244000025254 Cannabis sativa Species 0.000 title claims abstract description 85
- 230000008859 change Effects 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 238000004891 communication Methods 0.000 claims abstract description 41
- 238000012937 correction Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000003702 image correction Methods 0.000 claims abstract description 14
- 238000010276 construction Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 abstract description 5
- 230000005855 radiation Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000006116 polymerization reaction Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012627 multivariate algorithm Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开基于深度学习的高分遥感影像林草变化检测装置,包括:影像校正单元、影像绘制单元、数据处理单元、注意力模型构建单元、通信单元、终端设备;影像校正单元用于采集林草的高分辨率遥感影像,并获得林草校正影像;影像绘制单元用于绘制标签图;数据处理单元用于对林草校正影像和标签图进行分割处理;注意力模型构建单元用于通过注意力学习处理构建特征模型,获取林草的变化结果;通信单元用于将林草的变化结果传输至终端设备中。本发明通过采用注意力模块能够在特征维度融合时增加变化区域信息的权重,同时对非变化区域特征信息的抑制,忽略输入中的噪声和冗余,提升了模型的抗噪能力。
Description
技术领域
本发明涉及遥感影像智能解译技术领域,特别涉及基于深度学习的高分遥感影像林草变化检测装置及方法。
背景技术
随着遥感卫星的技术不断进步,对地观测获取高空间分辨率遥感影像也越来越容易,因高分辨率遥感影像内各地物的各种纹理、色彩、空间等特征信息比较明显,所以高分辨率遥感影像逐渐成为遥感地物信息处理的重要影像数据。
伴随着城乡建设快速发展,人类活动逐渐加剧,土地利用类型变化的速度日益加快,幅度日益加大,如何快捷高效地监测并更新土地利用类型成为遥感学科亟待解决的问题。土地利用类型更新最重要的环节是变化区域提取,即变化检测。目前土地利用变化检测的方式主要为人工目视解译,不仅耗费大量的人力,而且时间长,效果差,缺漏严重。随着土地变化速度的加剧,环境复杂性的加深以及遥感数据多样性的增加,传统的方法已经不能很好适应变化检测的需求。
为了解决上述问题,近年来使用机器学习的方法对高分辨率遥感影像进行地物变化检测的研究不断深入,使用机器学习的方法一般先根据专家设定的特征描述子提取遥感影像的光谱、纹理和结构特征,然后进行特征分类(特征分类方法包括最大似然法、决策树和支持向量机等基于浅层特征判别的有监督分类方法),这种方法一般需要人工确定特征值及核函数,很难跨越底层图像数据与高层逻辑信息的语义鸿沟,分类精度往往较差。
传统的基于深度学习(如全卷积网络、SegNet网络、U型网络等)的方法能够通过端到端地学习机制从数据中自动学习特征提取与特征分类模型,从而自适应地提取遥感影像的特征并进行分类。在具有充足有标记训练样本保障的前提下往往可以取得比较好的分类精度。然而,深度学习神经网络高度依赖数据学习,无法充分利用地物之间丰富的逻辑信息(如空间关系)进行自我纠错,其获取林草变化结果的可解释性较差(深度网络的黑盒特性仍然十分显著),且精度有待提高。
发明内容
针对上述问题,本发明提出基于深度学习的高分遥感影像林草变化检测方法及装置,以解决现有技术中存在的技术问题,能够通过采用注意力模块能够在特征维度融合时增加变化区域信息的权重,同时对非变化区域特征信息的抑制,忽略输入中的噪声和冗余,提升了模型的抗噪能力。
为实现上述目的,本发明提供了如下方案:本发明提供基于深度学习的高分遥感影像林草变化检测装置,包括:影像校正单元、影像绘制单元、数据处理单元、注意力模型构建单元、通信单元、终端设备;
所述影像校正单元、影像绘制单元、数据处理单元、注意力模型构建单元、通信单元、终端设备依次相连;
所述影像校正单元用于采集林草的高分辨率遥感影像,并对所述高分辨率遥感影像进行预处理,获得林草校正影像;
所述影像绘制单元基于所述林草校正影像绘制标签图;
所述数据处理单元用于对所述林草校正影像和所述标签图进行分割处理,获取分割数据集;
所述注意力模型构建单元用于对所述分割数据集进行卷积操作,提取所述分割数据集的特征,并通过注意力学习处理构建特征模型,基于特征模型获取所述林草的变化结果;
所述通信单元用于将所述林草的变化结果传输至所述终端设备中。
优选地,所述影像校正单元包括采集模块和校正模块;所述采集模块、校正模块、影像绘制单元依次相连;
所述采集模块用于采集林草的高分辨率遥感影像;
所述校正模块用于对所述高分辨率遥感影像进行预处理,获得林草校正影像。
优选地,所述影像绘制单元包括解译模块和勾绘模块;所述校正模块、解译模块、勾绘模块、数据处理单元依次相连;
所述解译模块用于对所述林草校正影像进行加载和人工目视解译,获得解译影像;
所述勾绘模块用于对所述解译影像中林草变化的图斑进行勾绘,获得标签图。
优选地,所述数据处理单元包括分割模块和集合模块;所述解译模块和所述勾绘模块均与所述分割模块相连;所述分割模块、集合模块、注意力模型构建单元依次相连;
所述分割模块用于对所述林草校正影像和所述标签图进行分割处理,获取若干个影像分割图;
所述集合模块用于将所有所述影像分割图进行集合,获得分割数据集。
优选地,所述注意力模型构建单元包括特征提取模块、注意力模块、模型构建模块;所述集合模块、特征提取模块、注意力模块、模型构建模块、通信单元依次相连;
所述特征提取模块用于对所述分割数据集进行卷积操作,提取所述分割数据集的特征;
所述注意力模块用于对所述分割数据集的特征进行注意力学习处理;
所述模型构建模块基于经过所述注意力学习处理的所述特征构建特征模型,并基于所述特征模型获取所述林草的变化结果。
优选地,所述通信单元包括第一通信模块和第二通信模块;所述第一通信模块置于所述注意力模型构建单元中;所述第二通信模块置于所述终端设备中;
所述第一通信模块用于传输所述林草变化的结果;
所述第二通信模块用于接收所述林草变化的结果。
优选地,所述第一通信模块和所述第二通信模块之间通过2.4g无线连接。
基于深度学习的高分遥感影像林草变化检测方法,包括以下步骤:
S1、采集林草的高分辨率遥感影像,并对所述高分辨率遥感影像进行预处理,获得林草校正影像;
S2、基于所述林草校正影像绘制标签图;
S3、对所述林草校正影像和所述标签图进行分割处理,获取分割数据集;
S4、对所述分割数据集进行卷积操作,提取所述分割数据集的特征,并通过注意力学习处理构建特征模型,基于特征模型获取所述林草的变化结果。
本发明公开了以下技术效果:
(1)将模型在上采样和下采样过程中的卷积层改为聚合残差卷积层,将特征提取通道由单通道提取变为多通道提取,使网络充分学习图像的特征;引入残差模块可以使模型有效地训练更加深层的网络结构,防止由于网络加深而出现的模型退化等问题;采用注意力模块能够在特征维度融合时增加变化区域信息的权重,同时对非变化区域特征信息的抑制,忽略输入中的噪声和冗余,提升了模型的抗噪能力。
(2)本发明改变了U-Net模型原始的跳跃连接,在跳跃连接的过程中引入了注意力机制,注意力机制可以对特征图中的每一个分量的权重进行调节,通过减小与任务无关特征图的权重来抑制对该类特征的学习,增大与任务相关的特征权重来加强对该类特征的学习。在高分辨率遥感影像的变化检测任务中,其重点是从两期影像中提取变化区域,因此通过引入注意力机制来,增大变化类型的信息权重从而使得模型重点对变化区域进行学习,同时减少未变化类型的权重,提高模型对变化类型的敏感性,能够获得更为精确的林草变化情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的装置模块图;
图2为本发明的方法流程图;
图3为本发明实施例中的注意力模型结构示意图;
图4为本发明实施例中的总体流程图;
图5为本发明实施例中前后影像的样本区域图;其中,(a)为前一期影像图;(b)为后一期影像图;
图6为本发明实施例中的神经网络结构图;
图7为本发明实施例中的关键结构图;
图8为本发明实施例中的影像前后对比图;其中,(a)为前一期影像图;(b)为后一期影像图;(c)为勾绘标签图;
图9为本发明实施例中的不同区域模型检测结果图;其中,(a)为区域1的模型检测结果图;(b)为区域2的模型检测结果图;(c)为区域3的模型检测结果图;
图10为本发明实施例中采用不同方法的检测结果对比图;其中,(a)为采用FCN方法的检测结果图;(b)为采用SegNet方法的检测结果图;(c)为采用SiamUnetdiff方法的检测结果图;(d)为采用U-net方法的检测结果图;(e)为采用ResNeXtAttUnet方法的检测结果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1所示,本实施例提供基于深度学习的高分遥感影像林草变化检测装置,包括:影像校正单元、影像绘制单元、数据处理单元、注意力模型构建单元、通信单元、终端设备;影像校正单元、影像绘制单元、数据处理单元、注意力模型构建单元、通信单元、终端设备依次相连。
影像校正单元用于采集林草的高分辨率遥感影像,并对高分辨率遥感影像进行预处理,获得林草校正影像;影像绘制单元基于林草校正影像绘制标签图;数据处理单元用于对林草校正影像和标签图进行分割处理,获取分割数据集;注意力模型构建单元用于对分割数据集进行卷积操作,提取分割数据集的特征,并通过注意力学习处理构建ResNeXtAttU-Net特征模型,基于ResNeXtAttU-Net特征模型获取林草的变化结果;通信单元用于将林草的变化结果传输至终端设备中;所述终端设备用于储存并查看林草的变化结果。
其中,影像校正单元包括采集模块和校正模块;采集模块、校正模块、影像绘制单元依次相连;采集模块用于采集林草的高分辨率遥感影像;校正模块用于对高分辨率遥感影像进行预处理,获得林草校正影像。
影像绘制单元包括解译模块和勾绘模块;校正模块、解译模块、勾绘模块、数据处理单元依次相连;解译模块用于对林草校正影像进行加载和人工目视解译,获得解译影像;勾绘模块用于对解译影像中林草变化的图斑进行勾绘,获得标签图。
数据处理单元包括分割模块和集合模块;解译模块和勾绘模块均与分割模块相连;分割模块、集合模块、注意力模型构建单元依次相连;分割模块用于对林草校正影像和标签图进行分割处理,获取若干个影像分割图;集合模块用于将所有影像分割图进行集合,获得分割数据集。
注意力模型构建单元包括特征提取模块、聚合残差模块、特征提取模块;集合模块、特征提取模块、聚合残差模块、模型构建模块、通信单元依次相连;特征提取模块用于对分割数据集进行卷积操作,提取分割数据集的特征;聚合残差模块用于对分割数据集的特征进行聚合残差处理;特征提取模块基于经过聚合残差处理的特征构建ResNeXtAttU-Net模型,并基于ResNeXtAttU-Net模型获取林草变化的结果。
通信单元包括第一通信模块和第二通信模块;第一通信模块置于注意力模型构建单元中;第二通信模块置于所述终端设备中;第一通信模块用于传输林草变化的结果;第二通信模块用于接收林草变化的结果。第一通信模块和所述第二通信模块之间通过2.4g无线连接。
参照图2-10所示,本实施例提供基于深度学习的高分遥感影像林草变化检测方法,包括以下步骤:
S1、采集林草的高分辨率遥感影像,并对高分辨率遥感影像进行预处理,获得林草校正影像。
卫星在成像过程中,由于不同时刻所处的轨道位置、太阳高度角以及传感器的瞬时视场角不同,可能会导致获取到的遥感影像存在位置上的几何畸变,不能直接使用。因此,遥感影像解译的第一步就是对获取的影像进行预处理。预处理一般包括辐射校正、几何校正、图像增强等,通过对影像进行预处理,消除由于外部因素导致的“伪变化”,减弱对遥感影像变化检测的影响。
辐射校正是修正或消除传感器在接收来自地表物体发射的电磁波辐射能量时,由于受到大气作用以及光照条件等因素的影响,使得传感器接收到的探测值与地表物体实际发出的光谱辐射率不一致,从而导致影像灰度失真的现象,即辐射误差。
辐射校正又分为绝对辐射校正和相对辐射校正。其中,辐射校正采用相对辐射校正,即以两期影像中的一期影像为参考影像,另一期影像为待校正影像,采用回归分析方法建立两期影像之间的线性映射yi公式如下:
yi=ki*xi+bi
式中,yi表示后一期待校正影像的在辐射校正后第i波段像元辐射亮度值,xi为待校正影像在第i波段的像元辐射亮度值,ki、bi为第i波段线性回归方程的斜率和截距。采用迭代加权多元算法在两期影像中选取伪不变特征点,经过多次迭代后选取阈值和权重值,采用最小二乘法对伪不变特征点进行计算,进而求得上述公式中的斜率ki和截距bi。
影像的几何误差是由于传感器平台的高度、地球曲率、空气折射的变化、地形变化等一系列因素造成的。几何校正就是对两期影像中的某类信息在规定的图像投影参考***时,相同地物的几何位置、形状大小、空间位置等特征产生的几何形变误差。本申请利用控制点对影像进行几何校正,控制点选择的数量与几何校正使用多项式模型的次数有关,对于n阶多项式,理论上至少需要(n+1)*(n+2)/2个控制点,在实际选择控制点的过程中,控制点的数量至少要大于最低理论值。控制点的选择主要遵循以下原则:(1)控制点应选取在影像容易分辨、永久性并且比较精细的特征点,如房屋拐角处、道路交叉口、机场等;(2)图像上特征变化较大的区域应该多选择一些控制点;(3)图像边缘区域一定要选择控制点,避免造成经过校正的影像外推;(4)控制点的选择应在影像上分布均匀。本申请实施例以前一期影像为参考影像,后一期影像为待校正影像,几何校正采用二阶多项式模型进行校正,其公式为:
遥感影像中的图像增强的方法有很多,比如彩色增强、辐射增强等,不同的方法得到最后的结果是不同的。本申请实施例主要针对获取的两期影像进行灰度拉伸。灰度拉伸是一种简单、高效的线性图像增强方法。其中,分段线性灰度拉伸可以抑制图像中的低频部分,提升高频部分的对比度和亮度,提高图像的视觉效果更加明显,在对影像进行目视解译时,可以从影像中提取到对当前任务更加有用的信息。对实验所采用的两幅影像进行2%的线性拉伸,即对图像灰度值在2%和98%之间的像素灰度值进行线性拉伸,将小于2%和大于98%的灰度值设置为0,这样可以舍弃部分异常值,将剩余范围内的像素值重新拉伸至0-255的灰度值范围内,其公式为:
式中,g(x,y)表示处理后的图像,f(x,y)为输入图像,V为图像像素灰度值。
S2、基于林草校正影像绘制标签图。
利用遥感影像处理软件将两期影像分别加载,采取人工目视解译的方式,勾绘两期影像中林草变化的图斑,作为模型的训练样本。
S3、对林草校正影像和标签图进行分割处理,获取分割数据集。
将S1和S2中得到的处理后的两期影像以及人工目视解译勾绘的标签图按照同一尺寸进行分割处理,将分割后的影像和标签图按照一定的比例划分为训练样本和验证样本。
S4、对分割数据集进行卷积操作,提取分割数据集的特征,并通过注意力学习处理构建ResNeXtAttU-Net特征模型,基于ResNeXt AttU-Net特征模型获取林草的变化结果。
首先调用深度学习框架pytorch中的卷积操作对输入的影像进行特征提取,由于一个卷积核只能提取一张特征图,不能将整个图像的不同特征全部提取出来,因此,每个卷积层都由若干个不同的卷积核来提取不同类型的特征,其中,低层的卷积层主要提取到图像的浅层特征,如边界、轮廓等信息,而高层的卷积层则是将低层卷积提取到的信息进行叠加综合从而提取图像的高级特征,如图像的几何关系、空间关系等。其次,调用pytorch中的池化操作。由于输入的图像经过卷积层后的特征图维度较高,且包含着一些不重要的高频信息,若将这些高维特征图直接输入到下一个卷积层的话,会导致模型的计算量变大、维数过高,从而出现过拟合的现象。因此,需要对经过卷积后的特征图进行聚合处理,即采用一种较小维度的特征来描述大面积区域的方法,这种方法可以降低特征图的维度,并且很好的保留特征图的主要特征,有效的降低参数的数量,防止发生过拟合现象。然而,上述的卷积操作仅对输入的图像进行了线性变换,无论神经网络中有多少隐含层进行叠加,输出的结果都是线性变换的组合,只能表达简单的映射关系。面对遥感影像等复杂的任务场景时,线性变换的模型表达能力不足,泛化能力也十分有限。因此,为了提高模型的表达能力和泛化能力,就需要引入激活函数将卷积层提取的线性特征映射为非线性特征,增强模型的泛化能力。
针对U-Net模型在高分影像的变化检测中存在漏检、错检等现象,本发明对其改进。在原始U-Net模型的上下采样阶段,引入了聚合残差模块,要提高模型的准确率,传统方法都是加深或加宽网络,但是随着超参数数量的增加,网络设计的难度和计算开销也会增加。ResNeXt结构可以在不增加参数复杂度的前提下提高准确率,同时还减少了超参数的数量。ResNeXt处理相同尺寸的特征图时,采用相同大小、数量的卷积核,当特征图分辨率长宽降低两倍时,特征通道数翻倍,block中各分支采用相同结构,特征通道数的增加可以充分提取图像的特征信息,节省特征提取时间,提高检测精度(如图3所示)。在跳跃连接层增加注意力模块,由于低级特征图包含更多的位置信息,而高级特征图包含丰富的类别信息,该模块利用高级特征图中的语义信息来加强低级特征图中林草变化区域的特征权重,从而为低级特征图增加更多的细节信息,以此来增强模型对待分割区域的学习能力,从而提高模型的分割精度,另外注意力权重可以对低级特征图起到选取作用,使得低级特征图在拥有丰富类别信息的同时也能拥有更为精准的位置信息。
ResNeXtAttU-Net模型与U-Net模型结构相似,都是编码器、解码器和跳跃连接三部分组成。在编码器部分,ResNeXtAttU-Net模型是由4个卷积层和下采样层组成,其中卷积层部分加入了上述提到的聚合残差模块,残差模块可以改善由于网络层数的加深而导致的模型退化的问题,传统残差的改进版聚合残差,不仅可以缩减网络迭代次数,还可以减少超参数,同时多通道分组卷积提取图像的特征信息,可以减少特征计算时间,节省网络训练时间,提高变化检测精度;在每层编码器和解码器之间都采用合并注意力模块的跳跃连接;用跳跃连接方式将深层和浅层特征图进行低维和高维融合,保留了图像更多的维度位置信息,从而改善图像边缘细节模糊的问题,注意力模块可以在特征维度融合时增加变化区域信息的权重,同时对非变化区域特征信息的抑制,忽略输入中的噪声和冗余,提升了模型的抗噪能力。
针对U-Net模型在高分辨率遥感影像变化检测中存在地物细节丢失、欠分割等问题,在U-Net模型的上采样和下采样阶段引入了聚合残差卷积模块,将特征由单通道提取变为多通道提取,还包含一个直接将输入进行恒等映射的快捷结构,避免了因梯度消失而造成模型预测精度下降的问题;将注意力模块引入到U-Net模型的跳跃连接中,注意力模块通过跳跃连接层结合了编码器中得到的特征图和解码器中得到的特征图,相当于将经过多次卷积层将提取到的低维特征与高维特征相结合,使得特征图含有更多的位置信息和类别信息,同时也能拥有较高的分辨率,最后通过卷积和分类器得到输出。
本发明公开了以下技术效果:
(1)将模型在上采样和下采样过程中的卷积层改为聚合残差卷积层,将特征提取通道由单通道提取变为多通道提取,使网络充分学习图像的特征;引入残差模块可以使模型有效地训练更加深层的网络结构,防止由于网络加深而出现的模型退化等问题;并且采用注意力模块能够在特征维度融合时增加变化区域信息的权重,同时对非变化区域特征信息的抑制,忽略输入中的噪声和冗余,提升了模型的抗噪能力。
(2)本发明改变了U-Net模型原始的跳跃连接,在跳跃连接的过程中引入了注意力机制,注意力机制可以对特征图中的每一个分量的权重进行调节,通过减小与任务无关特征图的权重来抑制对该类特征的学习,增大与任务相关的特征权重来加强对该类特征的学习。在高分辨率遥感影像的变化检测任务中,其重点是从两期影像中提取变化区域,因此通过引入注意力机制来,增大变化类型的信息权重从而使得模型重点对变化区域进行学习,同时减少未变化类型的权重,提高模型对变化类型的敏感性,能够获得更为精确的林草变化情况。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.基于深度学习的高分遥感影像林草变化检测装置,其特征在于,包括:影像校正单元、影像绘制单元、数据处理单元、注意力模型构建单元、通信单元、终端设备;
所述影像校正单元、影像绘制单元、数据处理单元、注意力模型构建单元、通信单元、终端设备依次相连;
所述影像校正单元用于采集林草的高分辨率遥感影像,并对所述高分辨率遥感影像进行预处理,获得林草校正影像;
所述影像绘制单元基于所述林草校正影像绘制标签图;
所述数据处理单元用于对所述林草校正影像和所述标签图进行分割处理,获取分割数据集;
所述注意力模型构建单元用于对所述分割数据集进行卷积操作,提取所述分割数据集的特征,并通过注意力学习处理构建特征模型,基于特征模型获取所述林草的变化结果;
所述通信单元用于将所述林草的变化结果传输至所述终端设备中。
2.根据权利要求1所述的基于深度学习的高分遥感影像林草变化检测装置,其特征在于,所述影像校正单元包括采集模块和校正模块;所述采集模块、校正模块、影像绘制单元依次相连;
所述采集模块用于采集林草的高分辨率遥感影像;
所述校正模块用于对所述高分辨率遥感影像进行预处理,获得林草校正影像。
3.根据权利要求2所述的基于深度学习的高分遥感影像林草变化检测装置,其特征在于,所述影像绘制单元包括解译模块和勾绘模块;所述校正模块、解译模块、勾绘模块、数据处理单元依次相连;
所述解译模块用于对所述林草校正影像进行加载和人工目视解译,获得解译影像;
所述勾绘模块用于对所述解译影像中林草变化的图斑进行勾绘,获得标签图。
4.根据权利要求3所述的基于深度学习的高分遥感影像林草变化检测装置,其特征在于,所述数据处理单元包括分割模块和集合模块;所述解译模块和所述勾绘模块均与所述分割模块相连;所述分割模块、集合模块、注意力模型构建单元依次相连;
所述分割模块用于对所述林草校正影像和所述标签图进行分割处理,获取若干个影像分割图;
所述集合模块用于将所有所述影像分割图进行集合,获得分割数据集。
5.根据权利要求4所述的基于深度学习的高分遥感影像林草变化检测装置,其特征在于,所述注意力模型构建单元包括特征提取模块、注意力模块、模型构建模块;所述集合模块、特征提取模块、注意力模块、模型构建模块、通信单元依次相连;
所述特征提取模块用于对所述分割数据集进行卷积操作,提取所述分割数据集的特征;
所述注意力模块用于对所述分割数据集的特征进行注意力学习处理;
所述模型构建模块基于经过所述注意力学习处理的所述特征构建特征模型,并基于所述特征模型获取所述林草的变化结果。
6.根据权利要求1所述的基于深度学习的高分遥感影像林草变化检测装置,其特征在于,所述通信单元包括第一通信模块和第二通信模块;所述第一通信模块置于所述注意力模型构建单元中;所述第二通信模块置于所述终端设备中;
所述第一通信模块用于传输所述林草变化的结果;
所述第二通信模块用于接收所述林草变化的结果。
7.根据权利要求6所述的基于深度学习的高分遥感影像林草变化检测装置,其特征在于,所述第一通信模块和所述第二通信模块之间通过2.4g无线连接。
8.基于深度学习的高分遥感影像林草变化检测方法,其特征在于,包括以下步骤:
S1、采集林草的高分辨率遥感影像,并对所述高分辨率遥感影像进行预处理,获得林草校正影像;
S2、基于所述林草校正影像绘制标签图;
S3、对所述林草校正影像和所述标签图进行分割处理,获取分割数据集;
S4、对所述分割数据集进行卷积操作,提取所述分割数据集的特征,并通过注意力学习处理构建特征模型,基于特征模型获取所述林草的变化结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111140640.9A CN113657351A (zh) | 2021-09-28 | 2021-09-28 | 基于深度学习的高分遥感影像林草变化检测装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111140640.9A CN113657351A (zh) | 2021-09-28 | 2021-09-28 | 基于深度学习的高分遥感影像林草变化检测装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113657351A true CN113657351A (zh) | 2021-11-16 |
Family
ID=78494479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111140640.9A Pending CN113657351A (zh) | 2021-09-28 | 2021-09-28 | 基于深度学习的高分遥感影像林草变化检测装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113657351A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114937211A (zh) * | 2022-07-25 | 2022-08-23 | 北京数慧时空信息技术有限公司 | 基于不变对象的遥感影像变化检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
CN112949549A (zh) * | 2021-03-19 | 2021-06-11 | 中山大学 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
-
2021
- 2021-09-28 CN CN202111140640.9A patent/CN113657351A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
CN112949549A (zh) * | 2021-03-19 | 2021-06-11 | 中山大学 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
Non-Patent Citations (2)
Title |
---|
徐风等: "基于卷积注意力模块的端到端遥感图像分类", 林业工程学报, no. 4 * |
李道纪等: "遥感影像地物分类多注意力融和U型网络法", 测绘学报, no. 8 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114937211A (zh) * | 2022-07-25 | 2022-08-23 | 北京数慧时空信息技术有限公司 | 基于不变对象的遥感影像变化检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934200B (zh) | 一种基于改进M-Net的RGB彩色遥感图像云检测方法及*** | |
CN109102469B (zh) | 一种基于卷积神经网络的遥感图像全色锐化方法 | |
CN107392130A (zh) | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 | |
CN107967474A (zh) | 一种基于卷积神经网络的海面目标显著性检测方法 | |
CN114187450A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
CN114494821B (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
CN114972885B (zh) | 基于模型压缩的多模态遥感图像分类方法 | |
CN113705538A (zh) | 基于深度学习的高分遥感影像道路变化检测装置及方法 | |
CN112818920B (zh) | 一种双时相高光谱图像空谱联合变化检测方法 | |
CN105405138A (zh) | 基于显著性检测的水面目标跟踪方法 | |
CN112950780A (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
CN112560717A (zh) | 一种基于深度学习的车道线检测方法 | |
CN113569810A (zh) | 一种基于深度学习的遥感影像建筑物变化检测***及方法 | |
CN112733736A (zh) | 基于增强过采样的类别不平衡高光谱图像分类方法 | |
CN114120036A (zh) | 一种轻量化的遥感图像云检测方法 | |
CN115457396A (zh) | 一种基于遥感影像的地表目标地物检测方法 | |
CN115861823A (zh) | 一种基于自监督深度学习的遥感变化检测方法和装置 | |
CN116977311A (zh) | 一种洪涝灾害区域检测方法、***、电子设备及存储介质 | |
CN106407975B (zh) | 基于空间-光谱结构约束的多尺度分层目标检测方法 | |
CN113657351A (zh) | 基于深度学习的高分遥感影像林草变化检测装置及方法 | |
CN112560719B (zh) | 基于多尺度卷积-多核池化的高分辨率影像水体提取方法 | |
CN116879192B (zh) | 基于卫星遥感数据的水华预测方法、装置、设备及介质 | |
CN113743373A (zh) | 基于深度学习的高分遥感影像耕地变化检测装置及方法 | |
CN110084203B (zh) | 基于上下文关联的全卷积网络飞机层级检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |