CN117765361A - 一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法 - Google Patents
一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法 Download PDFInfo
- Publication number
- CN117765361A CN117765361A CN202311808119.7A CN202311808119A CN117765361A CN 117765361 A CN117765361 A CN 117765361A CN 202311808119 A CN202311808119 A CN 202311808119A CN 117765361 A CN117765361 A CN 117765361A
- Authority
- CN
- China
- Prior art keywords
- layer
- feature map
- convolution layer
- convolution
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 197
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 21
- 230000005284 excitation Effects 0.000 claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 238000001125 extrusion Methods 0.000 claims abstract description 70
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 238000012795 verification Methods 0.000 claims abstract description 15
- 238000011176 pooling Methods 0.000 claims description 87
- 230000004913 activation Effects 0.000 claims description 86
- 238000005070 sampling Methods 0.000 claims description 79
- 238000010586 diagram Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 22
- 241000282326 Felis catus Species 0.000 claims description 11
- 230000001965 increasing effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000011068 loading method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 56
- 238000010606 normalization Methods 0.000 description 46
- 238000011049 filling Methods 0.000 description 34
- 230000003213 activating effect Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000002708 enhancing effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 108091026890 Coding region Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，包括以下步骤：构建遥感影像建筑物变化的输入子网络；构建遥感影像建筑物变化的特征提取子网络；构建遥感影像建筑物变化的特征融合子网络；构建遥感影像建筑物变化的预测子网络；构建遥感影像建筑物变化检测网络；生成训练集、验证集和测试集；训练遥感影像建筑物变化检测网络；检测遥感影像建筑物变化范围；本发明通过联合挤压激励和残差卷积，构建挤压激励的残差卷积代替原始卷积，能够选择性地强调变化区域特征,抑制没有变化的建筑物特征，具有特征突出便于变化特征提取的技术效果。
Description
技术领域
本发明属于遥感影像检测技术领域，具体涉及一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法。
背景技术
地表建筑物的变化是人类社会活动动态演变的重要部分之一，是人与自然和谐相处的重要因素，为土地利用监测、城市规划、环境评估、城市扩张、灾前监测、灾后评估与治理等方面的决策提供了必要的基础数据和专题信息。随着城市化进程的加快，区域建筑物变化不断更新，同时伴有建筑物私自改建、扩建、拆除等现象，对区域资源利用和环境改善产生了深远的影响。精准、高效、易于星上部署的建筑物变化检测技术，对区域自然资源优化管理、城乡发展等业务管理具有重要的意义。
遥感影像由于幅宽大、易于获取、全天时、全天候等特点，使得基于遥感影像的建筑物变化检测技术，逐渐代替了传统的实地调查与筛选的方法、以及基于图像的人工勾勒的变化检测方法，减少了人工、时间和财力的成本。基于遥感影像的建筑物变化检测技术依赖遥感影像上建筑物的形状、大小和纹理等特征来判断建筑物是否发生变化，并圈定变化的范围。但随着社会的不断进步，这种基于遥感影像的建筑物变化检测技术也逐渐难以满足当前数字城市和智慧城市发展的基本要求。近年来，随着遥感影像分辨率和计算机设备算力的提升，以及深度学习技术的发展，研究人员将变化检测任务转变成图像语义分割问题，将双时相的遥感影像批量输入到深度学习模型中，经过模型不断的训练获得权重结果，可以快速精准地检测双时相遥感影像中的建筑物变化区域，提高建筑物变化范围的检测效率。
尹美杰和倪翠等作者在其发表的论文“基于语义分割的遥感影像建筑变化检测”(应用科学学报2023年第41卷第3期448-460页)中提出了一种基于Unet的遥感影像建筑物变化检测方法。该方法的具体步骤如下：首先，将轻量级高效通道注意力机制模块(Efficient channel attention network，ECANet)，引入到原UNet网络模型，调整原始Unet网络结构中的跳跃链接结构，提升建筑物变化区域影像分割的准确度；然后改进挤压激励注意力模块(Squeeze and Excitationattention module，SENet)参数，提高遥感影像中的建筑物变化检测的精度；最后使用通过卷积块将特征图恢复到原始影像尺寸，作为建筑物变化检测的结果。该方法的不足之处是，ECAnet主要关注局部跨信道交互和卷积核的自适应选择，因此权重向量和输入之间的对应关系仍存在一定缺陷，尽管考虑了通道与周围近邻的交互，降低了模型的复杂度，但同时降低了模型的特征表达能力；分类时采用的SENet中的降维会给通道注意力机制带来副作用，且没必要采用效率低的方式捕获所有通道之间的依存关系。
Huiwei Jiang和Xiangyun Hu等作者在其发表的论文“PGA-SiamNet:PyramidFeature-Based Attention-Guided Siamese Network for RemoteSensingOrthoimagery Building Change Detection”(Remote Sensing 2020年第12卷484页)中提出了一种基于特征金字塔注意力引导的孪生卷积网络PGA-SiamNet来检测遥感影像中建筑物变化的方法。该方法的具体步骤如下：使用特征金字塔卷积神经网络对网络进行训练，使得网络捕捉建筑物变化区域的特征，增强多尺度变化特征的表达能力；引入全局共同注意力机制来强调输入特征之间相关性的重要性，使得网络更加关注遥感影像中建筑物变化的部分，改善特征的长程依赖性，便于获得更丰富的变化信息；最后通过卷积生成分割结果图像，获得建筑物变化区域。该方法存在的不足是，该模型参数多、模型大、依赖于样本标注的可靠性和质量，对于不同尺寸的遥感影像的检测能力不一，样本的标注成本大，导致该方法的变化检测效率不高。
朱节中和陈永等作者在其发表的论文“基于Siam-UNet++的高分辨率遥感影像建筑物变化检测”(计算机应用研究2021年第38卷第4期3460-3465页)中提出了一种基于Siam-Unet++的深度神经网络算法来检测高分辨率遥感影像中建筑物变化范围。该方法的具体步骤如下：首先，在Unet++网络编码器中应用Siam-diff(Siamese-difference)结构提取前后两时序遥感影像上的建筑物变化特征，在解码器中上采样和跳跃链接路径之后引入注意力机制(TripletAttention，TA)，使网络更关注建筑物的变化部分，抑制对其他类别的特征的学习；其次，使用多边输出融合(Multiple side-output fusion，MSOF)策略加权融合不同语义层次的变化特征信息；最后，采取滑窗的方法对整幅大尺度的遥感影像进行建筑物变化检测，降低传统算法在拼接结果时造成的图像空洞和错位问题。该方法存在的不足之处是，TA模块通过使用残差变换建立维度间的依存关系，消除了通道和权重之间的间接对应关系，降低了计算量，但检测效果弱于其他以往模型，特别是对于尺度差异大的建筑物变化数据集，该模型仍存在漏检和误检的现象。
现有对遥感影像中建筑物变化检测的方法存在以下几方面缺点：
一、当双时相遥感影像拍摄时间不同步，直接引入变化检测模型中，容易受到光谱和纹理等差异的影响，特别是高亮云雪等的干扰，导致变化检测结果中仍存在较多的误检。
二、遥感影像中包含丰富的地物光谱信息及纹理特征，建筑物本身也存在多样性结构，因此传统基于图像处理的变化检测算法，遇到多层次、多尺度、都类别特征提取时，并不能取得很精准的检测效果。
三、基于编码-解码神经网络的建筑物变化检测方法，因为下采样过程会导致分辨率降低，对于大的建筑物变化区域的分割效果不佳；同时当数据集类别不平衡时，模型易偏向于数量较多的类别；在边缘分割时，反卷积会导致像素之间的重叠和混叠，从而导致边缘出现毛刺。
四、基于孪生卷积神经网络的建筑物变化检测方法，相对于常规神经网络，需要计算两个输入的相似度，因此训练的计算量更大，需要的时间更长。输出结果是两个类间的距离，而不是概率，要得到最终的变化检测结果还需进行更多的处理。难以处理完全遮挡和超出视野的问题。在推理时，需要使用最近邻搜索，而这种方式容易忽略背景信息的干扰。
发明内容
为了克服上述现有技术的不足，本发明的目的在于提供一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，通过联合挤压激励和残差卷积，构建挤压激励的残差卷积代替原始卷积，能够选择性地强调变化区域特征,抑制没有变化的建筑物特征，本发明用于解决检测双时相遥感影像中建筑物变化范围的方法存在变化范围检测精度不足和边缘粗糙、建筑物小型变化识别效果差、存在较多的建筑物变化范围漏检和错检的问题，本发明设计的建筑物变化检测网络，精度高、效果好，可快速输出两幅遥感影像中的建筑物变化的范围信息，具有特征突出便于变化特征提取的技术效果。
为了实现上述目的，本发明采取的技术方案是：
一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，包括以下步骤：
步骤1，构建遥感影像建筑物变化的输入子网络，用于输入双时相的遥感影像数据；
步骤2，构建遥感影像建筑物变化的特征提取子网络，对步骤1输入的双时相的遥感影像数据提取建筑物变化区域的特征；
步骤3，构建遥感影像建筑物变化的特征融合子网络，对步骤2提取的建筑物变化区域特征进行融合，得到不同层提取的建筑物变化特征图；
步骤4，构建遥感影像建筑物变化的预测子网络，将步骤3中得到的建筑物变化特征图恢复到原始特征图大小，得到最终的建筑物变化区域；
步骤5，基于步骤1构建的输入子网络、步骤2构建的特征提取子网络、步骤3构建的特征融合子网络以及步骤4构建的预测子网络，构建遥感影像建筑物变化检测网络；
步骤6，生成训练集、验证集和测试集；
步骤7，使用步骤6生成的训练集和验证集训练步骤5构建的遥感影像建筑物变化检测网络，得到模型权重文件；
步骤8，使用步骤7训练得到的模型权重文件，检测步骤6生成的测试集中的遥感影像建筑物变化范围。
所述步骤1的具体方法为：
搭建用于对双时相的遥感影像数据进行预处理的输入子网络，输入子网络输入图像包括两个时刻：T1时刻和T2时刻，其中，T1是第一个时刻，T2是第二个时刻，根据T1时刻的遥感影像直方图，对T2时刻的遥感影像进行直方图匹配，直方图匹配使用match_histograms函数实现，得到直方图匹配后的T2时刻遥感影像T2′，将直方图匹配后遥感影像T2′和T1时刻遥感影像执行通道合并操作，其中通道合并使用cat函数，并在第一维度执行合并，得到合并后的双时相遥感影像。
所述步骤2的具体方法为：
搭建一个具有5个下采样模块的特征提取子网络，其结构依次为：下采样块1、下采样块2、下采样块3、下采样块4和下采样块5；
步骤2.1，构建遥感影像建筑物变化的特征提取子网络中的下采样块1模块；
所述下采样块1包括3个卷积层,分别是第一卷积层、第二卷积层和挤压激励层，其中，第一卷积层用于提取输入双时相的遥感影像数据的基本特征；第二卷积层用于处理和组合第一卷积层提取的基本特征，生成更深层次的变化特征；挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，所述挤压激励层包括：挤压、激励和比例操作，挤压操作采用全局平均池化，激励操作包括两个全连接层，两个全连接层的偏置都为False，比例操作为相乘函数，即输入特征图和激励操作的结果相，得到最终相乘后的特征图；
步骤2.2，构建遥感影像建筑物变化的特征提取子网络中的下采样块2模块；
所述下采样块2包括：最大池化层、第一卷积层、第二卷积层和挤压激励层，其中，最大池化层用于将特征图长宽采样到下采样块1的特征图长宽的一半；第一卷积层用于提取最大池化层特征图的基本特征；第二卷积层用于处理和组合第一卷积层提取的基本特征，生成更深层次的变化特征；挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，所述挤压激励层包括：挤压、激励和比例操作，挤压操作采用全局平均池化，激励操作包括两个全连接层，两个全连接层的偏置都为False，比例操作为相乘函数，即输入特征图和激励操作的结果相，得到最终相乘后的特征图；
步骤2.3，构建遥感影像建筑物变化的特征提取子网络中的下采样块3模块；
所述下采样块3包括：最大池化层、第一卷积层、第二卷积层和挤压激励层，其中，最大池化层用于将特征图长宽采样到下采样块2的特征图长宽的一半；第一卷积层用于提取最大池化层特征图的基本特征；第二卷积层用于处理和组合第一卷积层提取的基本特征，生成更深层次的变化特征；挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，所述挤压激励层包括：挤压、激励和比例操作，挤压操作采用全局平均池化，激励操作包括两个全连接层，两个全连接层的偏置都为False，比例操作为相乘函数，即输入特征图和激励操作的结果相，得到最终相乘后的特征图；
步骤2.4，构建遥感影像建筑物变化的特征提取子网络中的下采样块4模块；
所述下采样块4包括：最大池化层、第一卷积层、第二卷积层和挤压激励层，其中，最大池化层用于将特征图长宽采样到下采样块3的特征图长宽的一半；第一卷积层用于提取最大池化层特征图的基本特征；第二卷积层用于处理和组合第一卷积层提取的基本特征，生成更深层次的变化特征；挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，所述挤压激励层包括：挤压、激励和比例操作，挤压操作采用全局平均池化，激励操作包括两个全连接层，两个全连接层的偏置都为False，比例操作为相乘函数，即输入特征图和激励操作的结果相，得到最终相乘后的特征图；
步骤2.5，构建遥感影像建筑物变化的特征提取子网络中的下采样块5模块；
所述下采样块5包括：最大池化层、第一卷积层、第二卷积层和挤压激励层，其中，最大池化层用于将特征图长宽采样到下采样块4的特征图长宽的一半；第一卷积层用于提取最大池化层特征图的基本特征；第二卷积层用于处理和组合第一卷积层提取的基本特征，生成更深层次的变化特征；挤压激励层用于对不同的通道相乘不同的权重系数，使得模型更加关注信息量大的通道，所述挤压激励层包括：挤压、激励和比例操作，挤压操作采用全局平均池化，激励操作包括两个全连接层，两个全连接层的偏置都为False，比例操作为相乘函数，即输入特征图和激励操作的结果相，得到最终相乘后的特征图。
所述步骤3的具体方法为：
所述特征融合子网络包括特征金字塔注意力模块、上采样块1、上采样块2、上采样块3、上采样块4和注意力门控结构；
步骤3.1，构建特征融合子网络的特征金字塔注意力模块；
所述特征金字塔注意力模块，其结构包括：第一卷积层、全局平均池化层、第二卷积层、双线性上采样层、第一平均池化层、第三卷积层、第四卷积层、第一膨胀卷积层、第二膨胀卷积层、第二平均池化层、第五卷积层、第六卷积层、第三膨胀卷积层和第四膨胀卷积层；
第一卷积层用于将输入数据的维度降低；全局平均池化层用于把输入层的每个像素点降采样为指定尺寸，实现特征提取；第二卷积层用于降低全局平均池化特征图的维度，降低模型参数量；双线性上采样层用于将特征图的尺寸放大，增加像素点的密度，提高图像的分辨率；第一平均池化层用于减少特征图的大小，通过求特征图的平均值以减少过拟合的风险；第三卷积层用于提取第一平均池化层特征图的基本特征；第四卷积层用于整合第三卷积层的特征图，生成更深层次特征图；第一膨胀卷积层用于增大卷积核的大小以扩大提取第二平均池化层特征的范围；第二膨胀卷积层保持第一膨胀卷积特征图分辨率的同时，捕捉变化特征的细节；第二平均池化层用于减少第一平均池化层特征图的大小，通过求特征图的平均值以减少过拟合的风险；第五卷积层用于提取第二平均池化层特征图的基本特征；第六卷积层用于整合第五卷积层的特征图，生成更深层次特征图；第三膨胀卷积层用于增大卷积核的大小以扩大提取第二平均池化层特征的范围；第四膨胀卷积层保持第三膨胀卷积特征图分辨率的同时，捕捉变化特征的细节；
步骤3.2，构建特征融合子网络的上采样块1；
所述上采样块1的结构包括：第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
第一卷积层用于提取步骤3.1中特征金字塔注意力模块特征图的基本特征；
注意力门控层包括门卷积层、L卷积层、ReLU激活层、简单卷积层和Sigmodi激活层；其中，门卷积用于将第一卷积层特征图通道数变为一半，而不改变特征图大小；L卷积用于将下采样块4特征图通道数变为一半，而不改变特征图大小；ReLU激活层用于将门卷积层特征图和L卷积层特征图相加，特征图负值被直接置为零，正值部分保持不变；简单卷积层的作用是提取ReLU激活层的基本特征；Sigmoid激活层用于将简单卷积层特征图映射到0到1的范围，将下采样块特征图和Sigmoid激活层特征图相乘，作为输出特征图；
拼接层用于将第一卷积层特征图和注意力门控层特征图执行通道合并操作，其中，通道合并使用cat函数，并在第一维度执行合并，得到通道合并后的特征图；
第二卷积层用于提取拼接层通道合并后的基本特征；
第三卷积层用于处理和整合第二卷积层提取的基本特征，生成更深层次的特征图；
挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，生成特征图；
步骤3.3，构建特征融合子网络的上采样块2；
所述上采样块2的结构包括：第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
第一卷积层用于提取步骤3.2中上采样块1特征图的基本特征；
注意力门控层包括门卷积层、L卷积层、ReLU激活层、简单卷积层和Sigmodi激活层；其中，门卷积用于将第一卷积层特征图通道数变为一半，而不改变特征图大小；L卷积用于将下采样块3特征图通道数变为一半，而不改变特征图大小；ReLU激活层用于将门卷积层特征图和L卷积层特征图相加，特征图负值被直接置为零，正值部分保持不变；简单卷积层的作用是提取ReLU激活层的基本特征；Sigmoid激活层用于将简单卷积层特征图映射到0到1的范围，将下采样块特征图和Sigmoid激活层特征图相乘，作为输出特征图；
拼接层用于将第一卷积层特征图和注意力门控层特征图执行通道合并操作，其中，通道合并使用cat函数，并在第一维度执行合并，得到通道合并后的特征图；
第二卷积层用于提取拼接层通道合并后的基本特征；
第三卷积层用于处理和整合第二卷积层提取的基本特征，生成更深层次的特征图；
挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，生成特征图；
步骤3.4，构建特征融合子网络的上采样块3；
所述上采样块3的结构包括：第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
第一卷积层用于提取步骤3.3中上采样块2特征图的基本特征；
注意力门控层包括门卷积层、L卷积层、ReLU激活层、简单卷积层和Sigmodi激活层；其中，门卷积用于将第一卷积层特征图通道数变为一半，而不改变特征图大小；L卷积用于将下采样块2特征图通道数变为一半，而不改变特征图大小；ReLU激活层用于将门卷积层特征图和L卷积层特征图相加，特征图负值被直接置为零，正值部分保持不变；简单卷积层的作用是提取ReLU激活层的基本特征；Sigmoid激活层用于将简单卷积层特征图映射到0到1的范围，将下采样块特征图和Sigmoid激活层特征图相乘，作为输出特征图；
拼接层用于将第一卷积层特征图和注意力门控层特征图执行通道合并操作，其中，通道合并使用cat函数，并在第一维度执行合并，得到通道合并后的特征图；
第二卷积层用于提取拼接层通道合并后的基本特征；
第三卷积层用于处理和整合第二卷积层提取的基本特征，生成更深层次的特征图；
挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，生成特征图；
步骤3.5，构建特征融合子网络的上采样块4；
所述上采样块4的结构包括：第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
第一卷积层用于提取步骤3.4中上采样块3特征图的基本特征；
注意力门控层包括门卷积层、L卷积层、ReLU激活层、简单卷积层和Sigmodi激活层；其中，门卷积用于将第一卷积层特征图通道数变为一半，而不改变特征图大小；L卷积用于将下采样块1特征图通道数变为一半，而不改变特征图大小；ReLU激活层用于将门卷积层特征图和L卷积层特征图相加，特征图负值被直接置为零，正值部分保持不变；简单卷积层的作用是提取ReLU激活层的基本特征；Sigmoid激活层用于将简单卷积层特征图映射到0到1的范围，将下采样块特征图和Sigmoid激活层特征图相乘，作为输出特征图；
拼接层用于将第一卷积层特征图和注意力门控层特征图执行通道合并操作，其中，通道合并使用cat函数，并在第一维度执行合并，得到通道合并后的特征图；
第二卷积层用于提取拼接层通道合并后的基本特征；
第三卷积层用于处理和整合第二卷积层提取的基本特征，生成更深层次的特征图；
挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，生成特征图。
步骤4，构建遥感影像建筑物变化的预测子网络；
预测子网络由一个卷积层组成，用于将特征融合子网络特征图恢复到双时相遥感影像特征图大小。
所述步骤5的具体方法为：
步骤5.1，将步骤1构建的输入子网络和步骤2构建的特征提取子网络的下采样块1进行串联；
步骤5.2，将步骤2提取的建筑物变化区域的特征图和步骤3上采样块提取的建筑物变化区域特征图通过注意力门控单元进行级联；
步骤5.3，将步骤3上采样块提取的建筑物变化区域特征图和步骤4构建的预测子网络进行串联。
所述步骤6的具体方法为：
步骤6.1，获取遥感影像建筑物变化检测公开数据集LEVIR-CD；
步骤6.2，对步骤6.1获取的数据集中的影像进行裁剪；
步骤6.3，将步骤6.2裁剪后的影像数据集按比例划分为训练集、验证集和测试集。
所述步骤7的具体方法为：
步骤7.1，设置训练参数，每次从训练集中随机且不重复的选择前后2个时期获取的遥感影像输入到网络中，损失函数使用带有Sigmoid的二分类交叉熵损失函数BCEWithLogitsLoss；
所述带有Sigmoid的二分类交叉熵损失函数BCEWithLogitsLoss如下：
其中，是Sigmoid函数，log是自然对数，pi表示样本xi被预测为正例的概率，yi表示样本xi的真实标签，在二分类问题中，yi通常为0或1，表示样本xi是否属于正例的类别；
步骤7.2，将步骤6生成的训练集和验证集依次输入到步骤5构建的遥感影像建筑物变化检测网络；具体步骤为：首先，根据输入到输入子网络中的T1时刻的遥感影像的直方图，匹配T2时刻的遥感影像，并实现通道合并；其次，利用输入数据，输入到特征提取子网络，进行下采样特征提取；再次，将特征提取子网络的输出结果输入到特征融合子网络，得到特征融合后的特征图；最后，利用预测子网络，将特征融合后的特征图恢复到原始图像大小。
所述步骤8的具体方法为：
步骤8.1，将步骤6生成的测试集输入到步骤7训练好的遥感影像建筑物变化检测网络中，加载步骤7.1训练好的遥感影像建筑物变化检测网络参数文件“best_loss.pth”；
步骤8.2，对测试集中的图像进行遥感影像建筑物变化检测，获得建筑物的变化范围；
步骤8.3，输出遥感影像建筑物变化检测网络的检测结果并保存为“.png”格式的标签文件。
与现有技术相比，本发明的有益效果为：
(1)本发明设计的建筑物变化检测神经网络，在模型的编码器和解码器中引入挤压激励模块，挤压激励模块是一种通道注意力模块，用于提取建筑物变化信息的特征图，在通道上对特征图进行加强，且可以不改变特征图的大小。通过学习通道特征，使得模型更关注通道信息，与输入特征图进行结合，最终得到具有通道注意力的特征图，提高模型检测建筑物变化信息的能力和精度，且这种残差结构具有更多的非线性，可更好地拟合通道间复杂的相关性，使模型轻量化。
(2)由于传统Unet网络在跳跃链接时需要合并不同大小的研究对象，注意力门控单元允许模型学习关注不同尺度大小的建筑物变化目标，比直接上采样恢复的图像更精细，模型参数量更小，便于部署在其他基于编码-解码结构的图像分割模型中；为此，本发明对跳跃链接模式进行改进，在合并下采样和上采样的特征图时，引入注意力门控单元，使得模型更关注建筑物通道特征图上的建筑物变化信息，该注意力门控机制允许模型在单个特征层上提取不同尺度的特征，并可以在通道维度实现注意感知；通过引入注意力门控单元，能够提升模型对不同尺度建筑物变化特征图的融合能力，提高模型对多尺度建筑物变化信息的提取精度以及模型检测建筑物变化信息的性能，同时也能降低计算的成本。
(3)现有技术中，当不同尺度的特征图进行特征跳跃连接时，编码区的低层次特征与解码区的高层次特征进行直接拼接，常常伴随语义上的较大差异；而本发明通过在编码器末端引入特征金字塔注意力机制，融合多尺度信息，将更多的关注点放在建筑物变化的高维特征上，挖掘建筑物变化图像的特征信息；通过使用特征金字塔注意力机制，可有助于网络还原下采样所带来的信息损失，很好的解决编码区的低层次特征与解码区的高层次特征进行直接拼接所产生的语义差异和信息损失。
综上，与现有针对遥感影像的建筑物变化检测最好的技术相比，本发明设计的挤压激励注意力和注意力门控的残差神经网络，降低了大型建筑物变化信息的漏检和错检，提高了建筑物变化检测的精确度和准确度。
附图说明
图1是本发明具体实施方式中的方法流程示意图。
图2是本发明具体实施方式中的网络模型结构示意图。
图3是本发明具体实施方式中下采样块未叠加最大池化层的结构示意图。
图4是本发明具体实施方式中挤压激励层结构示意图。
图5是本发明具体实施方式中下采样块叠加最大池化层的结构示意图。
图6是本发明具体实施方式中的特征金字塔结构示意图。
图7是本发明具体实施方式中的跳跃连接示意图，其中，图7(a)是下采样块和特征金字塔的跳跃连接示意图，图7(b)是上采样块和下采样块的跳跃连接示意图。
图8是本发明具体实施方式中的注意力门控结构示意图。
图9是本发明具体实施方式中的建筑物检测结果对比示意图，其中，图9(a)是T1时刻遥感影像，图9(b)是T2时刻遥感影像，图9(c)是标签影像，图9(d)是本发明方法检测结果图。
具体实施方式
下面结合附图对本发明的技术方案和效果做进一步的详细描述。
参照图1，对本发明实施例的实现步骤做进一步的描述。
本发明构建的遥感影像建筑物变化检测网络包含四个主要部分，分别为：输入子网络、特征提取子网络、特征融合子网络和预测子网络，参照图2，输入子网络负责将前后两个时期获取的遥感影像进行直方图匹配，并通道合并作为输入图像，实现训练前的预处理操作。特征提取子网络负责提取特征，获取建筑物在两个时相上的遥感影像上的丰富特征信息；特征融合子网络负责恢复图像，将建筑物变化特征图恢复到原始分辨率大小。其中，跳跃链接模块负责将特征提取子网络每层提取得到的特征图与特征融合子网络上采样得到的特征图进行特征融合，其中特征提取子网络最后一个下采样得到的特征图后，使用特征金字塔注意力模块，而其他跳跃链接模块使用注意力门控结构。预测网络负责将特征图恢复到原始图像的大小。
步骤1，构建遥感影像建筑物变化的输入子网络，用于输入双时相的遥感影像数据；
搭建用于对双时相的遥感影像数据进行预处理的输入子网络，输入子网络输入图像包括两个时刻：T1时刻和T2时刻，其中T1是第一个时刻，T2是第二个时刻，该输入子网络前后两个时刻的遥感影像输入尺寸都是256×256×3，根据T1时刻的遥感影像直方图，对T2时刻的遥感影像进行直方图匹配，解决遥感影像灰度差异大的问题，直方图匹配使用match_histograms函数实现，得到直方图匹配后的T2时刻遥感影像T2′，将直方图匹配后遥感影像T2′和T1时刻遥感影像执行通道合并操作，作为后续特征提取网络的输入数据，其中通道合并使用cat函数，并在第一维度执行合并,得到合并后的双时相遥感影像，尺寸为256×256×6。
步骤2，构建遥感影像建筑物变化的特征提取子网络，对步骤1输入的双时相的遥感影像数据提取建筑物变化区域的特征；
搭建一个具有5个下采样模块的特征提取自网络，其结构依次为：下采样块1、下采样块2、下采样块3、下采样块4和下采样块5模块；
其中，下采样块2、下采样块3、下采样块4和下采样块5模块结构与下采样块1的整体结构相似，唯一的区别是在第一卷积层前加了最大池化层，将上一个下采样块的输出作为当前下采样块的输入。
步骤2.1，构建遥感影像建筑物变化的特征提取子网络中的下采样块1模块；
参照图3，对本发明构建的遥感影像建筑物变化的特征提取子网络结构中的下采样块1模块做进一步的描述。
图3为下采样块1结构示意图，输入图像尺寸为256×256×6，其中，下采样块1模块主要包括3个卷积层,分别是第一卷积层、第二卷积层和挤压激励层，其中，第一卷积层输入通道数为6，输出通道数为64，卷积核大小设置为3×3，步长设置为1，填充设置为1，对输出结果进行BN层归一化，其中输出通道数为64，为增强模型的非线性表达能力，使用ReLU层激活函数，第一卷积层用于提取输入双时相的遥感影像数据的基本特征，例如边缘、纹理等；第二卷积层卷积核大小设置为3×3，步长设置为1，填充设置为1，输入通道数为64，输出通道数为64，对输出结果进行BN层归一化，其中输出通道数为64，为增强模型的非线性表达能力，使用ReLU层激活函数；将第二卷积层结果与原输入数据进行相加处理，其中，输入和输出通道分别是6和64，卷积核大小设置为1×1，步长设置为1，偏置设置为False，使用BN层进行数据归一化，输出通道数为64。
参照图4，对本发明构建的遥感影像建筑物变化的特征提取子网络结构中的挤压激励层做进一步的描述。
图4是挤压激励层示意图，主要包括三个操作部分，挤压、激励和比例；挤压操作采用全局平均池化，输入数据大小为256×256×64，输出大小为1×1×64；激励操作主要包括两个全连接层，比例因子为16，第一个全连接层的输入和输出通道为64和4，第二个全连接层的比例输入和输出通道为4和64，两个全连接层的偏置都为False，第一个全连接层和第二个全连接层后分别加入ReLU和Sigmoid激活函数，增加模型的表达能力，输出大小为1×1×64；比例操作主要为相乘函数，主要是输入特征图和激励操作的结果相乘，得到最终的输出大小为256×256×64。
参照图5，对本发明构建的遥感影像建筑物变化的特征提取子网络结构中的下采样块做进一步的描述。
步骤2.2，构建遥感影像建筑物变化的特征提取子网络中的下采样块2模块；
下采样块2中的最大池化层输入大小为256×256×64，卷积核大小为2×2，步长为2；第一卷积层输入大小为128×128×64，输入和输出通道为64和128，卷积核大小为3×3，填充为1，偏置为True，对输出结果进行BN层归一化，其中输出通道数为128，为增强模型的非线性表达能力，使用ReLU层激活函数；第二卷积层输入大小为128×128×128，输入和输出通道均为128，卷积核大小为3×3，填充为1，偏置为True，对输出结果进行BN层归一化，其中输出通道数为128，为增强模型的非线性表达能力，使用ReLU层激活函数，输出大小为128×128×128；将第二卷积层结果与原输入数据进行相加处理，其中，输入和输出通道分别是64和128，卷积核大小设置为1×1，步长设置为1，挤压激励层的输入通道为128，采用全局平均池化，输出大小为1×1×128，采用2个全连接层，比例因子为16，第一个全连接层的输入和输出通道为128和8，第二个全连接层的比例输入和输出通道为8和128，两个全连接层的偏置都为False，第一个全连接层和第二个全连接层后分别加入ReLU和Sigmoid激活函数，增加模型的表达能力，输出大小为1×1×128，将输入特征图和激励操作的结果相乘，得到最终的输出大小为128×128×128。
步骤2.3，构建遥感影像建筑物变化的特征提取子网络中的下采样块3模块；
下采样块3中最大池化层输入大小为128×128×128，卷积核大小为2×2，步长为2；第一卷积层输入大小为64×64×128，输入和输出通道为128和256，卷积核大小为3×3，填充为1，偏置为True，对输出结果进行BN层归一化，输出通道数为256，为增强模型的非线性表达能力，使用ReLU层激活函数；第二卷积层输入大小为64×64×256，输入和输出通道均为256，卷积核大小为3×3，填充为1，偏置为True，对输出结果进行BN层归一化，其中输出通道数为256，为增强模型的非线性表达能力，使用ReLU层激活函数，输出大小为64×64×256；挤压激励层的输入通道为256，采用全局平均池化，输出大小为1×1×256，采用2个全连接层，比例因子为16，第一个全连接层的输入和输出通道为256和16，第二个全连接层的比例输入和输出通道为16和256，两个全连接层的偏置都为False，第一个全连接层和第二个全连接层后分别加入ReLU和Sigmoid激活函数，输出大小为1×1×256，将输入特征图和激励操作的结果相乘，得到最终的输出大小为64×64×256。
步骤2.4，构建遥感影像建筑物变化的特征提取子网络中的下采样块4模块；
下采样块4中最大池化层输入大小为64×64×256，卷积核大小为2×2，步长为2；第一卷积层输入大小为32×32×256，输入和输出通道为256和512，卷积核大小为3×3，填充为1，偏置为True，对输出结果进行BN层归一化，输出通道数为512，为增强模型的非线性表达能力，使用ReLU层激活函数；第二卷积层输入大小为32×32×512，输入和输出通道均为512，卷积核大小为3×3，填充为1，偏置为True，对输出结果进行BN层归一化，其中输出通道数为512，为增强模型的非线性表达能力，使用ReLU层激活函数，输出大小为32×32×512；挤压激励层的输入通道为512，采用全局平均池化，输出大小为1×1×512，采用2个全连接层，比例因子为16，第一个全连接层的输入和输出通道为512和32，第二个全连接层的比例输入和输出通道为32和512，两个全连接层的偏置都为False，第一个全连接层和第二个全连接层后分别加入ReLU和Sigmoid激活函数，输出大小为1×1×512，将输入特征图和激励操作的结果相乘，得到最终的输出大小为32×32×512。
步骤2.5，构建遥感影像建筑物变化的特征提取子网络中的下采样块5模块；
下采样块5中最大池化层输入大小为32×32×512，卷积核大小为2×2，步长为2；第一卷积层输入大小为16×16×512，输入和输出通道为512和1024，卷积核大小为3×3，填充为1，偏置为True，对输出结果进行BN层归一化，输出通道数为1024，为增强模型的非线性表达能力，使用ReLU层激活函数；第二卷积层输入大小为16×16×1024，输入和输出通道均为1024，卷积核大小为3×3，填充为1，偏置为True，对输出结果进行BN层归一化，其中输出通道数为1024，为增强模型的非线性表达能力，使用ReLU层激活函数，输出大小为16×16×1024；挤压激励层的输入通道为1024，采用全局平均池化，输出大小为1×1×1024，采用2个全连接层，比例因子为16，第一个全连接层的输入和输出通道为1024和64，第二个全连接层的比例输入和输出通道为64和1024，两个全连接层的偏置都为False，第一个全连接层和第二个全连接层后分别加入ReLU和Sigmoid激活函数，输出大小为1×1×1024，将输入特征图和激励操作的结果相乘，得到最终的输出大小为16×16×1024。
步骤3，构建遥感影像建筑物变化的特征融合子网络，对步骤2提取的建筑物变化区域特征进行融合，得到不同层提取的建筑物变化特征图；
参照图2，特征融合子网络包括特征金字塔注意力模块、上采样块1、上采样块2、上采样块3、上采样块4和注意力门控结构。
步骤3.1，构建特征融合子网络的特征金字塔注意力模块；
其结构包括：第一卷积层、全局平均池化层、第二卷积层、双线性上采样层、第一平均池化层、第三卷积层、第四卷积层、第一膨胀卷积层、第二膨胀卷积层、第二平均池化层、第五卷积层、第六卷积层、第三膨胀卷积层和第四膨胀卷积层。
参照图6，对本发明构建遥感影像建筑物变化的特征融合子网络中的特征金字塔注意力模块做进一步的描述。
将下采样块5输出的特征图经过第一卷积层，输入和输出通道均是1024，卷积核大小为1×1，步长为1，填充为0，输出结果大小为16×16×1024，所述第一卷积层用于将输入数据的维度降低，从而减少模型中的参数数量，降低模型的复杂度；
将下采样块5输出的特征图经过全局平均池化层，尺寸为1×1，并将其输入第二卷积层，卷积输入和输出均是1024，卷积核大小为1×1，步长为1，填充为0，将输出结果进行双线性上采样层，拐角对齐为True，输出结果大小为1×1×1024；
将下采样块5输出的特征图经过第一平均池化层，该池化层卷积核大小为2×2，将该池化结果输入第三卷积层，第三卷积层用于提取第一平均池化层特征图的基本特征，如边缘和纹理，输入和输出通道分别为1024和256，卷积核大小为5×5，步长为2，填充为2，使用BN层归一化和ReLU激活，再将结果输入第四卷积层，输入和输出通道均为256，卷积核大小为5×5，步长为1，填充为2，使用BN层归一化；将第一平均池化层得到的结果输入第一膨胀卷积层，输入和输出通道分别为1024和256，卷积核大小为3×3，填充为2，膨胀率为3，使用BN层归一化和ReLU激活，再将第一膨胀卷积结果输入第二膨胀卷积层，输入和输出通道均为256，卷积核大小为3×3，填充为2，膨胀率为3，使用BN层归一化，输出结果大小为4×4×256；
将第一平均池化层输出的特征图经过第二平均池化层，该池化层卷积核大小为2×2，将第二平均池化层特征图输入第五卷积层，输入和输出通道分别为1024和256，卷积核大小为3×3，填充为2，偏置为False，使用BN层归一化和ReLU激活，再将第五卷积层特征图输入第六卷积层，输入和输出通道均为256，卷积核大小为3×3，步长为2，填充为2，偏置为False，使用BN层归一化；将第二平均池化层特征图输入第三膨胀卷积，输入和输出通道分别为1024和256，卷积核大小为3×3，填充为5，膨胀率为5，使用BN层归一化和ReLU激活，再将第一膨胀卷积结果输入第四膨胀卷积，输入和输出通道均为256，卷积核大小为3×3，填充为5，膨胀率为5，使用BN层归一化，输出结果大小为4×4×256；
将第四卷积层、第二膨胀卷积、第六卷积层和第四膨胀卷积结果通过反卷积得到相加结果H(X)，输入和输出通道均为256，卷积核大小为4，步长为2，填充为1，偏置为False，使用BN层归一化和ReLU激活，得到输出结果大小为8×8×256；将相加结果与第一卷积层结果X1进行相乘，即通过反卷积，输入和输出通道分别为256和1024，卷积核大小为4，步长为2，填充为1，偏置为False，使用BN层归一化和ReLU激活，得到输出结果大小为16×16×256。将结果与双线性上采样结果X2相加，其公式表示为：
使用ReLU激活相加结果，得到的输出特征图F为16×16×1024。
步骤3.2，构建遥感影像建筑物变化的特征融合子网络中的上采样块1模块。
参照图7(a)，对本发明构建遥感影像建筑物变化的特征融合子网络中的上采样块做进一步的描述。
上采样块1的主要结构包括第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
所述上采样块1中的第一卷积层为：将步骤3.1得到的输出特征图F输入第一卷积层，进行简单上采样，比例因子为2，使用简单二维卷积，输入和输出通道分别为1024和512，卷积核大小为3，步长为1，填充为1，偏置为True，使用BN层归一化和ReLU激活；
参照图8，对本发明构建遥感影像建筑物变化的特征融合子网络的上采样块1中的注意力门控层做进一步的描述。
所述上采样块1中的注意力门控层为：将上采样块1第一卷积层的结果输入注意力门控层，执行门卷积，输入和输出通道分别为512和256，卷积核大小为1×1，步长为1，填充为0，偏置为True，并使用BN层进行归一化，输入通道为256，结果记作A；如图8所示，将下采样块4的输出结果输入到L卷积层，执行L卷积，输入和输出通道分别为512和256，卷积核大小为1×1，步长为1，填充为0，偏置为True，并使用BN层进行归一化，输入通道为256，结果记作B；将A和B进行叠加，结果记作C；使用ReLU激活函数进行激活，结果记作D；将D输入简单卷积层，其中，输入和输出通道分别是256和1，卷积核大小为1×1，步长为1，填充为0，偏置为True，使用BN层进行归一化，输入通道为1，结果记作E；使用Sigmoid函数进行激活，得到权重矩阵，将结果记作F，并与上采样块1的结果进行相乘；
将注意力层门控结果，并与上采样块1中的第一卷积层结果，在第1维度上进行拼接；
参照图7(a)，将拼接层结果输入第二卷积层，输入和输出通道分别是1024和512，卷积核大小为3×3，填充为1，使用BN层归一化，输出通道为512，并使用ReLU函数激活；将第二卷积层结果输入第三卷积层，输入和输出通道均为512，卷积核为3×3，填充为1，使用BN层归一化，输出通道为512，并使用ReLU函数激活；将拼接层结果和第三卷积层结果进行叠加，输入和输出通道分别为1024和512，卷积核大小为1×1，步长为1，偏置为False，使用BN层进行归一化，输出结果大小为32×32×512；
将叠加结果输入挤压激励层，图4为挤压激励层示意图，挤压激励层的输入通道为512，采用全局平均池化，输出大小为1×1×512；采用2个全连接层，比例因子为16，第一个全连接层的输入和输出通道为512和32，第二个全连接层的比例输入和输出通道为32和512，两个全连接层的偏置都为False；第一个全连接层和第二个全连接层后分别加入ReLU和Sigmoid激活函数，增加模型的表达能力，输出大小为1×1×512；将输入特征图和激励操作的结果相乘，得到最终的输出大小为32×32×512。
步骤3.3，构建遥感影像建筑物变化的特征融合子网络中的上采样块2模块；
上采样块2的主要结构包括第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
参照图7(b)，将上采样块1提取的建筑物变化区域特征图输入第一卷积层，进行简单上采样，比例因子为2，使用简单二维卷积，输入和输出通道分别为512和256，卷积核大小为3，步长为1，填充为1，偏置为True，使用BN层归一化和ReLU激活；将第一卷积层提取的建筑物变化区域的特征图输入注意力门控层，执行门卷积，输入和输出通道分别为256和128，卷积核大小为1×1，步长为1，填充为0，偏置为True，并使用BN层进行归一化，输入通道为128，结果记作A；如图8所示，将下采样块3的提取的建筑物变化区域特征图输入到注意力门控结构的L卷积层，执行L卷积，输入和输出通道分别为256和128，卷积核大小为1×1，步长为1，填充为0，偏置为True，并使用BN层进行归一化，输入通道为128，结果记作B；将A和B进行叠加，结果记作C；使用ReLU激活函数进行激活，结果记作D；将D输入简单卷积层，其中，输入和输出通道分别是128和1，卷积核大小为1×1，步长为1，填充为0，偏置为True，使用BN层进行归一化，输入通道为1，结果记作E；使用Sigmoid函数进行激活，得到权重矩阵，将结果记作F，并与上采样块1的结果进行相乘；将注意力层门控结果，并与上采样块2中的第一卷积层结果，在第1维度上进行拼接，将拼接层结果输入第二卷积层，输入和输出通道分别是512和256，卷积核大小为3×3，填充为1，使用BN层归一化，输出通道为256，并使用ReLU函数激活；将第二卷积层结果输入第三卷积层，输入和输出通道均为256，卷积核为3×3，填充为1，使用BN层归一化，输出通道为256，并使用ReLU函数激活。将拼接层结果和第三卷积层结果进行叠加，输入和输出通道分别为512和256，卷积核大小为1×1，步长为1，偏置为False，使用BN层进行归一化，输出结果大小为64×64×256；将叠加结果输入挤压激励层，挤压激励层的输入通道为256，采用全局平均池化，输出大小为1×1×256；采用2个全连接层，比例因子为16，第一个全连接层的输入和输出通道为256和16，第二个全连接层的比例输入和输出通道为16和256，两个全连接层的偏置都为False。第一个全连接层和第二个全连接层后分别加入ReLU和Sigmoid激活函数，增加模型的表达能力，输出大小为1×1×256。将输入特征图和激励操作的结果相乘，得到最终的输出大小为64×64×256；
步骤3.4，构建遥感影像建筑物变化的特征融合子网络中的上采样块3模块；
上采样块3的主要结构包括第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
将上采样块2提取的建筑物变化区域特征图输入第一卷积层，进行简单上采样，比例因子为2，使用简单二维卷积，输入和输出通道分别为256和128，卷积核大小为3，步长为1，填充为1，偏置为True，使用BN层归一化和ReLU激活；将上采样块2第一卷积层的结果输入注意力门控层，执行门卷积，输入和输出通道分别为128和64，卷积核大小为1×1，步长为1，填充为0，偏置为True，并使用BN层进行归一化，输入通道为64，结果记作A；如图8所示，将下采样块2的输出结果输入到L卷积层，执行L卷积，输入和输出通道分别为128和64，卷积核大小为1×1，步长为1，填充为0，偏置为True，并使用BN层进行归一化，输入通道为64，结果记作B；将A和B进行叠加，结果记作C；使用ReLU激活函数进行激活，结果记作D；将D输入简单卷积层，其中，输入和输出通道分别是64和1，卷积核大小为1×1，步长为1，填充为0，偏置为True，使用BN层进行归一化，输入通道为1，结果记作E；使用Sigmoid函数进行激活，得到权重矩阵，将结果记作F，并与下采样块2的结果进行相乘；将注意力层门控结果，并与上采样块2中的第一卷积层结果，在第1维度上进行拼接，将拼接层结果输入第二卷积层，输入和输出通道分别是256和128，卷积核大小为3×3，填充为1，使用BN层归一化，输出通道为128，并使用ReLU函数激活；将第二卷积层结果输入第三卷积层，输入和输出通道均为128，卷积核为3×3，填充为1，使用BN层归一化，输出通道为128，并使用ReLU函数激活。将拼接层结果和第三卷积层结果进行叠加，输入和输出通道分别为256和128，卷积核大小为1×1，步长为1，偏置为False，使用BN层进行归一化，输出结果大小为128×128×128；将叠加结果输入挤压激励层，挤压激励层的输入通道为128，采用全局平均池化，输出大小为1×1×128；采用2个全连接层，比例因子为16，第一个全连接层的输入和输出通道为128和8，第二个全连接层的比例输入和输出通道为8和128，两个全连接层的偏置都为False。第一个全连接层和第二个全连接层后分别加入ReLU和Sigmoid激活函数，增加模型的表达能力，输出大小为1×1×128。将输入特征图和激励操作的结果相乘，得到最终的输出大小为128×128×128；
步骤3.5，构建遥感影像建筑物变化的特征融合子网络中的上采样块4模块；
上采样块4的主要结构包括第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
将上采样块3提取的建筑物变化区域特征图输入第一卷积层，进行简单上采样，比例因子为2，使用简单二维卷积，输入和输出通道分别为128和64，卷积核大小为3，步长为1，填充为1，偏置为True，使用BN层归一化和ReLU激活，将上采样块3第一卷积层的特征图输入注意力门控层，执行门卷积，输入和输出通道分别为64和32，卷积核大小为1×1，步长为1，填充为0，偏置为True，并使用BN层进行归一化，输入通道为32，结果记作A；如图8所示，将下采样块1的提取的建筑物变化区域特征图输入到L卷积层，执行L卷积，输入和输出通道分别为64和32，卷积核大小为1×1，步长为1，填充为0，偏置为True，并使用BN层进行归一化，输入通道为32，结果记作B；将A和B进行叠加，结果记作C；使用ReLU激活函数进行激活，结果记作D；将D输入简单卷积层，其中，输入和输出通道分别是32和1，卷积核大小为1×1，步长为1，填充为0，偏置为True，使用BN层进行归一化，输入通道为1，结果记作E；使用Sigmoid函数进行激活，得到权重矩阵；将结果记作F，并与下采样块1的结果进行相乘。将注意力层门控结果，并与上采样块3中的第一卷积层结果，在第1维度上进行拼接。将拼接层结果输入第二卷积层，输入和输出通道分别是128和64，卷积核大小为3×3，填充为1。使用BN层归一化，输出通道为64，并使用ReLU函数激活。将第二卷积层结果输入第三卷积层，输入和输出通道均为64，卷积核为3×3，填充为1。使用BN层归一化，输出通道为64，并使用ReLU函数激活。将拼接层结果和第三卷积层结果进行叠加，输入和输出通道分别为128和64，卷积核大小为1×1，步长为1，偏置为False，使用BN层进行归一化，输出结果大小为256×256×64。
步骤4，构建遥感影像建筑物变化的预测子网络，将步骤3中得到的建筑物变化特征图恢复到原始特征图大小，得到最终的建筑物变化区域；
预测子网络有一个卷积层组成，卷积层输入和输出通道数为64和2，卷积核大小为1×1，步长为1，填充为0，输出结果大小为256×256×2。
步骤5，基于步骤1构建的输入子网络、步骤2构建的特征提取子网络、步骤3构建的特征融合子网络以及步骤4构建的预测子网络，构建遥感影像建筑物变化检测网络；
步骤5.1，将步骤1构建的输入子网络和步骤2构建的特征提取子网络的下采样块1进行串联；
步骤5.2，将步骤2提取的特征图和上采样后的特征图通过注意力门控单元进行级联；
步骤5.3，将上采样块处理后的结果和步骤4构建的预测子网络进行串联。
步骤6，生成训练集、验证集和测试集。
步骤6.1，收集遥感影像建筑物变化检测公开数据集LEVIR-CD，包括637对2个年份的同一地区的谷歌遥感影像，影像大小为1024×1024；
步骤6.2，考虑到计算机的算力，对对步骤6.1获取的数据集中的影像进行裁剪，裁剪后影像大小为256×256；
步骤6.3，将步骤6.2裁剪后的影像数据集以7：1：2的比例划分为训练集、验证集和测试集，其中，包含7120张训练集、1024验证集和2048张测试集。
步骤7，使用步骤6生成的训练集和验证集训练步骤5构建的遥感影像建筑物变化检测网络，得到模型权重文件；
步骤7.1，设置训练参数，batch-size设置为16，训练150轮，初始学习率为0.0001，每次从训练集中随机且不重复的选择16对前后2个时期获取的遥感影像输入到网络中，权重参数文件保存为“best_loss.pth”，损失函数使用带有Sigmoid的二分类交叉熵损失函数BCEWithLogitsLoss；
所述的带有Sigmoid的二分类交叉熵损失函数BCEWithLogitsLoss如下：
其中，是Sigmoid函数，log是自然对数，pi表示样本xi被预测为正例的概率，yi表示样本xi的真实标签。在二分类问题中，yi通常为0或1，表示样本xi是否属于正例的类别；
步骤7.2，将步骤6生成的训练集和验证集依次输入到步骤5构建的遥感影像建筑物变化检测网络；具体步骤为：首先，根据输入到输入子网络中的T1时刻的遥感影像的直方图，匹配T2时刻的遥感影像，并实现通道合并；其次，利用输入数据，输入到特征提取子网络，进行下采样特征提取；再次，将特征提取子网络的输出结果输入到特征融合子网络，得到特征融合后的特征图；最后，利用预测子网络，将特征融合后的特征图恢复到原始图像大小。
步骤8，使用步骤7训练得到的模型权重文件，检测步骤6生成的测试集中的遥感影像建筑物变化范围。
步骤8.1，将步骤6生成的测试集输入到步骤7训练好的遥感影像建筑物变化检测网络中，加载步骤7.1训练好的遥感影像建筑物变化检测网络参数文件“best_loss.pth”；
步骤8.2，对测试集中的图像进行遥感影像建筑物变化检测，获得建筑物的变化范围；
步骤8.3，输出遥感影像建筑物变化检测网络的检测结果并保存为“.png”格式的标签文件。
参照图9，对本发明构建遥感影像建筑物变化检测网络的预测结果做进一步的描述。
如图9所示，其中，图9(a)为T1时刻遥感影像，图9(b)为T2时刻遥感影像，图9(c)为标签影像，图9(d)为检测结果；可以看出，由于增加了挤压激励和特征金字塔注意力模块，模型更关注建筑物变化的边缘细节；经过注意力门控模块，能够选择性地强调变化区域特征,抑制没有变化的建筑物特征，具有特征突出便于变化特征提取的技术效果。
本发明的应用前景
建筑物变化检测是城市规划与国土资源管理的重要内容之一。随着城市化进程的加快，城市逐渐向周缘郊区农村扩展，因此，市内建筑也不断更新、扩建、改建。及时地监测城市建筑物的变化情况，可为区域土地利用管理及评估提供可靠的基础数据和决策建议。
建筑物的变化，往往会导致区域土地资源管理和勘测缓慢，影响城市土地规划进度。特别是违章建筑，给人民生命安全带来极大隐患。在建筑物发生变化后，利用前后时期拍摄的遥感卫星影像及计算机图像处理技术。确定建筑物变化的位置、范围和分布等情况，对区域城市发展进度、土地利用、资源管理等具有十分重要的实际意义和研究价值。
由此可见，本发明提出的一种基于挤压激励注意力和注意力门控的残差神经网络检测双时相遥感影像中建筑物变化区域的方法，能够解决检测双时相遥感影像中建筑物变化范围的方法存在变化范围检测精度不足和边缘粗糙、建筑物小型变化识别效果差、存在较多的建筑物变化范围漏检和错检的问题。本发明设计的建筑物变化检测网络，精度高、效果好，可快速输出两幅遥感影像中的建筑物变化的范围信息。
Claims (9)
1.一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，其特征在于：包括以下步骤：
步骤1，构建遥感影像建筑物变化的输入子网络，用于输入双时相的遥感影像数据；
步骤2，构建遥感影像建筑物变化的特征提取子网络，对步骤1输入的双时相的遥感影像数据提取建筑物变化区域的特征；
步骤3，构建遥感影像建筑物变化的特征融合子网络，对步骤2提取的建筑物变化区域特征进行融合，得到不同层提取的建筑物变化特征图；
步骤4，构建遥感影像建筑物变化的预测子网络，将步骤3中得到的建筑物变化特征图恢复到原始特征图大小，得到最终的建筑物变化区域；
步骤5，基于步骤1构建的输入子网络、步骤2构建的特征提取子网络、步骤3构建的特征融合子网络以及步骤4构建的预测子网络，构建遥感影像建筑物变化检测网络；
步骤6，生成训练集、验证集和测试集；
步骤7，使用步骤6生成的训练集和验证集训练步骤5构建的遥感影像建筑物变化检测网络，得到模型权重文件；
步骤8，使用步骤7训练得到的模型权重文件，检测步骤6生成的测试集中的遥感影像建筑物变化范围。
2.根据权利要求1所述的一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，其特征在于：所述步骤1的具体方法为：
搭建用于对双时相的遥感影像数据进行预处理的输入子网络，输入子网络输入图像包括两个时刻：T1时刻和T2时刻，其中，T1是第一个时刻，T2是第二个时刻，根据T1时刻的遥感影像直方图，对T2时刻的遥感影像进行直方图匹配，直方图匹配使用match_histograms函数实现，得到直方图匹配后的T2时刻遥感影像T2′，将直方图匹配后遥感影像T2′和T1时刻遥感影像执行通道合并操作，其中通道合并使用cat函数，并在第一维度执行合并，得到合并后的双时相遥感影像。
3.根据权利要求1所述的一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，其特征在于：所述步骤2的具体方法为：
搭建一个具有5个下采样模块的特征提取子网络，其结构依次为：下采样块1、下采样块2、下采样块3、下采样块4和下采样块5；
步骤2.1，构建遥感影像建筑物变化的特征提取子网络中的下采样块1模块；
所述下采样块1包括3个卷积层,分别是第一卷积层、第二卷积层和挤压激励层，其中，第一卷积层用于提取输入双时相的遥感影像数据的基本特征；第二卷积层用于处理和组合第一卷积层提取的基本特征，生成更深层次的变化特征；挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，所述挤压激励层包括：挤压、激励和比例操作，挤压操作采用全局平均池化，激励操作包括两个全连接层，两个全连接层的偏置都为False，比例操作为相乘函数，即输入特征图和激励操作的结果相，得到最终相乘后的特征图；
步骤2.2，构建遥感影像建筑物变化的特征提取子网络中的下采样块2模块；
所述下采样块2包括：最大池化层、第一卷积层、第二卷积层和挤压激励层，其中，最大池化层用于将特征图长宽采样到下采样块1的特征图长宽的一半；第一卷积层用于提取最大池化层特征图的基本特征；第二卷积层用于处理和组合第一卷积层提取的基本特征，生成更深层次的变化特征；挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，所述挤压激励层包括：挤压、激励和比例操作，挤压操作采用全局平均池化，激励操作包括两个全连接层，两个全连接层的偏置都为False，比例操作为相乘函数，即输入特征图和激励操作的结果相，得到最终相乘后的特征图；
步骤2.3，构建遥感影像建筑物变化的特征提取子网络中的下采样块3模块；
所述下采样块3包括：最大池化层、第一卷积层、第二卷积层和挤压激励层，其中，最大池化层用于将特征图长宽采样到下采样块2的特征图长宽的一半；第一卷积层用于提取最大池化层特征图的基本特征；第二卷积层用于处理和组合第一卷积层提取的基本特征，生成更深层次的变化特征；挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，所述挤压激励层包括：挤压、激励和比例操作，挤压操作采用全局平均池化，激励操作包括两个全连接层，两个全连接层的偏置都为False，比例操作为相乘函数，即输入特征图和激励操作的结果相，得到最终相乘后的特征图；
步骤2.4，构建遥感影像建筑物变化的特征提取子网络中的下采样块4模块；
所述下采样块4包括：最大池化层、第一卷积层、第二卷积层和挤压激励层，其中，最大池化层用于将特征图长宽采样到下采样块3的特征图长宽的一半；第一卷积层用于提取最大池化层特征图的基本特征；第二卷积层用于处理和组合第一卷积层提取的基本特征，生成更深层次的变化特征；挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，所述挤压激励层包括：挤压、激励和比例操作，挤压操作采用全局平均池化，激励操作包括两个全连接层，两个全连接层的偏置都为False，比例操作为相乘函数，即输入特征图和激励操作的结果相，得到最终相乘后的特征图；
步骤2.5，构建遥感影像建筑物变化的特征提取子网络中的下采样块5模块；
所述下采样块5包括：最大池化层、第一卷积层、第二卷积层和挤压激励层，其中，最大池化层用于将特征图长宽采样到下采样块4的特征图长宽的一半；第一卷积层用于提取最大池化层特征图的基本特征；第二卷积层用于处理和组合第一卷积层提取的基本特征，生成更深层次的变化特征；挤压激励层用于对不同的通道相乘不同的权重系数，使得模型更加关注信息量大的通道，所述挤压激励层包括：挤压、激励和比例操作，挤压操作采用全局平均池化，激励操作包括两个全连接层，两个全连接层的偏置都为False，比例操作为相乘函数，即输入特征图和激励操作的结果相，得到最终相乘后的特征图。
4.根据权利要求1所述的一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，其特征在于：所述步骤3的具体方法为：
所述特征融合子网络包括特征金字塔注意力模块、上采样块1、上采样块2、上采样块3、上采样块4和注意力门控结构；
步骤3.1，构建特征融合子网络的特征金字塔注意力模块；
所述特征金字塔注意力模块，其结构包括：第一卷积层、全局平均池化层、第二卷积层、双线性上采样层、第一平均池化层、第三卷积层、第四卷积层、第一膨胀卷积层、第二膨胀卷积层、第二平均池化层、第五卷积层、第六卷积层、第三膨胀卷积层和第四膨胀卷积层；
第一卷积层用于将输入数据的维度降低；全局平均池化层用于把输入层的每个像素点降采样为指定尺寸，实现特征提取；第二卷积层用于降低全局平均池化特征图的维度，降低模型参数量；双线性上采样层用于将特征图的尺寸放大，增加像素点的密度，提高图像的分辨率；第一平均池化层用于减少特征图的大小，通过求特征图的平均值以减少过拟合的风险；第三卷积层用于提取第一平均池化层特征图的基本特征；第四卷积层用于整合第三卷积层的特征图，生成更深层次特征图；第一膨胀卷积层用于增大卷积核的大小以扩大提取第二平均池化层特征的范围；第二膨胀卷积层保持第一膨胀卷积特征图分辨率的同时，捕捉变化特征的细节；第二平均池化层用于减少第一平均池化层特征图的大小，通过求特征图的平均值以减少过拟合的风险；第五卷积层用于提取第二平均池化层特征图的基本特征；第六卷积层用于整合第五卷积层的特征图，生成更深层次特征图；第三膨胀卷积层用于增大卷积核的大小以扩大提取第二平均池化层特征的范围；第四膨胀卷积层保持第三膨胀卷积特征图分辨率的同时，捕捉变化特征的细节；
步骤3.2，构建特征融合子网络的上采样块1；
所述上采样块1的结构包括：第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
第一卷积层用于提取步骤3.1中特征金字塔注意力模块特征图的基本特征；
注意力门控层包括门卷积层、L卷积层、ReLU激活层、简单卷积层和Sigmodi激活层；其中，门卷积用于将第一卷积层特征图通道数变为一半，而不改变特征图大小；L卷积用于将下采样块4特征图通道数变为一半，而不改变特征图大小；ReLU激活层用于将门卷积层特征图和L卷积层特征图相加，特征图负值被直接置为零，正值部分保持不变；简单卷积层的作用是提取ReLU激活层的基本特征；Sigmoid激活层用于将简单卷积层特征图映射到0到1的范围，将下采样块特征图和Sigmoid激活层特征图相乘，作为输出特征图；
拼接层用于将第一卷积层特征图和注意力门控层特征图执行通道合并操作，其中，通道合并使用cat函数，并在第一维度执行合并，得到通道合并后的特征图；
第二卷积层用于提取拼接层通道合并后的基本特征；
第三卷积层用于处理和整合第二卷积层提取的基本特征，生成更深层次的特征图；
挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，生成特征图；
步骤3.3，构建特征融合子网络的上采样块2；
所述上采样块2的结构包括：第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
第一卷积层用于提取步骤3.2中上采样块1特征图的基本特征；
注意力门控层包括门卷积层、L卷积层、ReLU激活层、简单卷积层和Sigmodi激活层；其中，门卷积用于将第一卷积层特征图通道数变为一半，而不改变特征图大小；L卷积用于将下采样块3特征图通道数变为一半，而不改变特征图大小；ReLU激活层用于将门卷积层特征图和L卷积层特征图相加，特征图负值被直接置为零，正值部分保持不变；简单卷积层的作用是提取ReLU激活层的基本特征；Sigmoid激活层用于将简单卷积层特征图映射到0到1的范围，将下采样块特征图和Sigmoid激活层特征图相乘，作为输出特征图；
拼接层用于将第一卷积层特征图和注意力门控层特征图执行通道合并操作，其中，通道合并使用cat函数，并在第一维度执行合并，得到通道合并后的特征图；
第二卷积层用于提取拼接层通道合并后的基本特征；
第三卷积层用于处理和整合第二卷积层提取的基本特征，生成更深层次的特征图；
挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，生成特征图；
步骤3.4，构建特征融合子网络的上采样块3；
所述上采样块3的结构包括：第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
第一卷积层用于提取步骤3.3中上采样块2特征图的基本特征；
注意力门控层包括门卷积层、L卷积层、ReLU激活层、简单卷积层和Sigmodi激活层；其中，门卷积用于将第一卷积层特征图通道数变为一半，而不改变特征图大小；L卷积用于将下采样块2特征图通道数变为一半，而不改变特征图大小；ReLU激活层用于将门卷积层特征图和L卷积层特征图相加，特征图负值被直接置为零，正值部分保持不变；简单卷积层的作用是提取ReLU激活层的基本特征；Sigmoid激活层用于将简单卷积层特征图映射到0到1的范围，将下采样块特征图和Sigmoid激活层特征图相乘，作为输出特征图；
拼接层用于将第一卷积层特征图和注意力门控层特征图执行通道合并操作，其中，通道合并使用cat函数，并在第一维度执行合并，得到通道合并后的特征图；
第二卷积层用于提取拼接层通道合并后的基本特征；
第三卷积层用于处理和整合第二卷积层提取的基本特征，生成更深层次的特征图；
挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，生成特征图；
步骤3.5，构建特征融合子网络的上采样块4；
所述上采样块4的结构包括：第一卷积层、注意力门控层、拼接层、第二卷积层、第三卷积层和挤压激励层；
第一卷积层用于提取步骤3.4中上采样块3特征图的基本特征；
注意力门控层包括门卷积层、L卷积层、ReLU激活层、简单卷积层和Sigmodi激活层；其中，门卷积用于将第一卷积层特征图通道数变为一半，而不改变特征图大小；L卷积用于将下采样块1特征图通道数变为一半，而不改变特征图大小；ReLU激活层用于将门卷积层特征图和L卷积层特征图相加，特征图负值被直接置为零，正值部分保持不变；简单卷积层的作用是提取ReLU激活层的基本特征；Sigmoid激活层用于将简单卷积层特征图映射到0到1的范围，将下采样块特征图和Sigmoid激活层特征图相乘，作为输出特征图；
拼接层用于将第一卷积层特征图和注意力门控层特征图执行通道合并操作，其中，通道合并使用cat函数，并在第一维度执行合并，得到通道合并后的特征图；
第二卷积层用于提取拼接层通道合并后的基本特征；
第三卷积层用于处理和整合第二卷积层提取的基本特征，生成更深层次的特征图；
挤压激励层用于对不同的通道相乘不同的权重系数，以使模型更加关注信息量大的通道，生成特征图。
5.根据权利要求1所述的一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，其特征在于：步骤4所述的构建遥感影像建筑物变化的预测子网络；
预测子网络由一个卷积层组成，用于将特征融合子网络特征图恢复到双时相遥感影像特征图大小。
6.根据权利要求1所述的一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，其特征在于：所述步骤5的具体方法为：
步骤5.1，将步骤1构建的输入子网络和步骤2构建的特征提取子网络的下采样块1进行串联；
步骤5.2，将步骤2提取的建筑物变化区域的特征图和步骤3上采样块提取的建筑物变化区域特征图通过注意力门控单元进行级联；
步骤5.3，将步骤3上采样块提取的建筑物变化区域特征图和步骤4构建的预测子网络进行串联。
7.根据权利要求1所述的一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，其特征在于：所述步骤6的具体方法为：
步骤6.1，获取遥感影像建筑物变化检测公开数据集LEVIR-CD；
步骤6.2，对步骤6.1获取的数据集中的影像进行裁剪；
步骤6.3，将步骤6.2裁剪后的影像数据集按比例划分为训练集、验证集和测试集。
8.根据权利要求1所述的一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，其特征在于：所述步骤7的具体方法为：
步骤7.1，设置训练参数，每次从训练集中随机且不重复的选择前后2个时期获取的遥感影像输入到网络中，损失函数使用带有Sigmoid的二分类交叉熵损失函数BCEWithLogitsLoss；
所述带有Sigmoid的二分类交叉熵损失函数BCEWithLogitsLoss如下：
其中，是Sigmoid函数，log是自然对数，pi表示样本xi被预测为正例的概率，yi表示样本xi的真实标签，在二分类问题中，yi通常为0或1，表示样本xi是否属于正例的类别；
步骤7.2，将步骤6生成的训练集和验证集依次输入到步骤5构建的遥感影像建筑物变化检测网络；具体步骤为：首先，根据输入到输入子网络中的T1时刻的遥感影像的直方图，匹配T2时刻的遥感影像，并实现通道合并；其次，利用输入数据，输入到特征提取子网络，进行下采样特征提取；再次，将特征提取子网络的输出结果输入到特征融合子网络，得到特征融合后的特征图；最后，利用预测子网络，将特征融合后的特征图恢复到原始图像大小。
9.根据权利要求1所述的一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法，其特征在于：所述步骤8的具体方法为：
步骤8.1，将步骤6生成的测试集输入到步骤7训练好的遥感影像建筑物变化检测网络中，加载步骤7.1训练好的遥感影像建筑物变化检测网络参数文件“best_loss.pth”；
步骤8.2，对测试集中的图像进行遥感影像建筑物变化检测，获得建筑物的变化范围；
步骤8.3，输出遥感影像建筑物变化检测网络的检测结果并保存为“.png”格式的标签文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311808119.7A CN117765361B (zh) | 2023-12-26 | 2023-12-26 | 一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311808119.7A CN117765361B (zh) | 2023-12-26 | 2023-12-26 | 一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117765361A true CN117765361A (zh) | 2024-03-26 |
| CN117765361B CN117765361B (zh) | 2024-06-11 |
Family
ID=90323885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311808119.7A Active CN117765361B (zh) | 2023-12-26 | 2023-12-26 | 一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765361B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118135405A (zh) * | 2024-04-30 | 2024-06-04 | 湖南省第二测绘院 | 基于自注意力机制的光学遥感影像道路提取方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015042772A1 (zh) * | 2013-09-24 | 2015-04-02 | 中国科学院自动化研究所 | 一种遥感图像显著目标变化检测方法 |
| CN109767412A (zh) * | 2018-12-28 | 2019-05-17 | 珠海大横琴科技发展有限公司 | 一种基于深度残差神经网络的遥感影像融合方法及*** |
| CN111104850A (zh) * | 2019-10-30 | 2020-05-05 | 中国资源卫星应用中心 | 一种基于残差网络的遥感影像建筑物自动提取方法和*** |
| CN116402766A (zh) * | 2023-03-20 | 2023-07-07 | 南京信息工程大学 | 一种结合卷积神经网络和Transformer的遥感影像变化检测方法 |
| CN116958800A (zh) * | 2022-04-02 | 2023-10-27 | 新疆大学 | 基于层次注意力残差UNet++的遥感影像变化检测方法 |
-
2023
- 2023-12-26 CN CN202311808119.7A patent/CN117765361B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015042772A1 (zh) * | 2013-09-24 | 2015-04-02 | 中国科学院自动化研究所 | 一种遥感图像显著目标变化检测方法 |
| CN109767412A (zh) * | 2018-12-28 | 2019-05-17 | 珠海大横琴科技发展有限公司 | 一种基于深度残差神经网络的遥感影像融合方法及*** |
| CN111104850A (zh) * | 2019-10-30 | 2020-05-05 | 中国资源卫星应用中心 | 一种基于残差网络的遥感影像建筑物自动提取方法和*** |
| CN116958800A (zh) * | 2022-04-02 | 2023-10-27 | 新疆大学 | 基于层次注意力残差UNet++的遥感影像变化检测方法 |
| CN116402766A (zh) * | 2023-03-20 | 2023-07-07 | 南京信息工程大学 | 一种结合卷积神经网络和Transformer的遥感影像变化检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| JINGYU YANG 等: "CDnet: CNN-Based Cloud Detection for Remote Sensing Imagery", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, vol. 57, no. 8, 31 August 2019 (2019-08-31), pages 6193 - 6211, XP011735740, DOI: 10.1109/TGRS.2019.2904868 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118135405A (zh) * | 2024-04-30 | 2024-06-04 | 湖南省第二测绘院 | 基于自注意力机制的光学遥感影像道路提取方法及*** |
| CN118135405B (zh) * | 2024-04-30 | 2024-07-16 | 湖南省第二测绘院 | 基于自注意力机制的光学遥感影像道路提取方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117765361B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112287940B (zh) | 一种基于深度学习的注意力机制的语义分割的方法 | |
| CN112966684B (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| Gong et al. | Superpixel-based difference representation learning for change detection in multispectral remote sensing images | |
| CN112668494A (zh) | 基于多尺度特征提取的小样本变化检测方法 | |
| CN111274892B (zh) | 一种鲁棒的遥感影像变化检测方法及*** | |
| CN111047551A (zh) | 一种基于U-net改进算法的遥感影像变化检测方法及*** | |
| CN113052210A (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN113486897A (zh) | 一种卷积注意力机制上采样解码的语义分割方法 | |
| CN117765361B (zh) | 一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法 | |
| CN113435411B (zh) | 一种基于改进DeepLabV3+的露天矿区土地利用识别方法 | |
| CN113887459A (zh) | 一种基于改进Unet++的露天矿区采场变化区域检测方法 | |
| CN112163496B (zh) | 一种基于语义分割的嵌入式终端水库水位预警方法 | |
| CN113487576B (zh) | 一种基于通道注意力机制的虫害图像检测方法 | |
| CN111353544A (zh) | 一种基于改进的Mixed Pooling-YOLOV3目标检测方法 | |
| CN113239736A (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及*** | |
| Duan et al. | Multi-scale convolutional neural network for SAR image semantic segmentation | |
| Chen et al. | A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface | |
| Hu et al. | Supervised multi-scale attention-guided ship detection in optical remote sensing images | |
| CN112330562B (zh) | 一种异构遥感图像变换方法及*** | |
| CN113688826A (zh) | 基于特征融合的花粉图像检测方法及*** | |
| Ai et al. | MPGSE-D-LinkNet: Multiple-Parameters-Guided Squeeze-and-Excitation Integrated D-LinkNet for Road Extraction in Remote Sensing Imagery | |
| Tian et al. | Recognition of geological legends on a geological profile via an improved deep learning method with augmented data using transfer learning strategies | |
| Zhang et al. | A cross-channel multi-scale gated fusion network for recognizing construction and demolition waste from high-resolution remote sensing images | |
| CN115456957B (zh) | 一种全尺度特征聚合的遥感影像变化检测的方法 | |
| Mehta et al. | An ensemble learning approach for resampling forgery detection using Markov process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |