CN115601661A - 一种用于城市动态监测的建筑物变化检测方法 - Google Patents
一种用于城市动态监测的建筑物变化检测方法 Download PDFInfo
- Publication number
- CN115601661A CN115601661A CN202211344397.7A CN202211344397A CN115601661A CN 115601661 A CN115601661 A CN 115601661A CN 202211344397 A CN202211344397 A CN 202211344397A CN 115601661 A CN115601661 A CN 115601661A
- Authority
- CN
- China
- Prior art keywords
- image
- representing
- output
- loss
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 230000008859 change Effects 0.000 title claims abstract description 69
- 238000012544 monitoring process Methods 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 230000000750 progressive effect Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 241000932075 Priacanthus hamrur Species 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Astronomy & Astrophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
Abstract
本发明公开了一种用于城市动态监测的建筑物变化检测方法，该方法通过卫星技术接收遥感卫星检测到的城市表面双时相影像，对原始影像进行裁减，然后输入到城市建筑物自动化检测模型中，输出得到双时相影像中建筑物的变化检测结果；其中，城市建筑物自动化检测模型包含编码阶段和解码阶段。编码阶段采用权重共享的孪生网络对输入的双时相影像进行下采样操作，提取丰富的多尺度特征信息，同时利用孪生交叉注意力机制加强特征信息的表示；解码阶段采用多尺度特征融合模块将提取到的多尺度特征进行渐进式地融合；利用差分上下文判别模块推动检测结果更接近实际变化情况。本发明方法能够高效地进行多特征判别与融合，从而提高城市建筑物变化检测准确度。
Description
技术领域
本发明属于城市动态监测领域，更具体地，涉及一种用于城市动态监测的建筑物变化检测方法。
背景技术
目前大部分的城市建筑物自动化监测***需要在城市周围铺设大规模的检测设备以及电缆，而设备的供电和维护需要很高的成本，同时，受到信号干扰，拍摄角度变化，光照影响等因素较大，会导致检测***发生误监和漏监等问题。遥感技术能够以固定的时间间隔获取地球表面的信息，并提取同一表面在多个时间段的动态变化。城市建筑物自动化检测模型基于遥感变化检测技术，其任务是观察同一目标在不同时期的差异变化，并对每个影像像素点进行标签分类，即标签0(不变)和标签1(变化)。到目前为止，研究人员在遥感变化检测的理论和应用方面做了大量的工作。这些贡献对土地资源管理、城市建设和规划、违章施工管理等方面具有重要意义。
在过去的几十年里，许多算法被提出用于遥感影像变化检测的模型。这些算法可以大致分为两类：传统方法和基于深度学习的方法。对于传统方法，一开始受限于遥感影像的分辨率，多采用基于像素的方法进行变化检测，利用变化向量分析(change vectoranalysis,CVA)和主成分分析(principal component analysis, PCA)对每个像素点的光谱特征进行分析，从而进行变化检测。随着航空航天和遥感技术的快速发展，获取高分辨率遥感影像的能力得到了增强。学者们在变化检测领域引入对象的概念，主要使用基于对象层次的的光谱、纹理和空间背景信息进行变化检测。虽然这些方法在当时能够取得较好的效果，但传统方法需要人工设计特征且规定阈值来保证最终的检测效果，并且只能提取浅层特征，无法充分表征高分辨率遥感影像中建筑物的变化，因而难以满足现实中对精度的要求。
另一方面，随着计算能力的发展和海量数据的积累，基于深度学习的变化检测算法因为其强大的性能，已经成为了主流。目前，基于深度学习的变化检测方法大多是在对比学习和分割任务上具有较好效果的网络发展而来。部分学者采用聚焦对比损失进行变化检测，减少了类内方差，增加了类间差异，最终通过阈值限制得到二值化检测结果。分割网络以图像分割的思想进行变化检测，代表性的例子有U形网络(UNet)和全卷积神经网络(Fully Convolutional Networks,FCN) 以及DeepLab系列网络。
尽管这些方法也达到了很高的性能，但仍存在以下问题：首先，当有的前后时序影像中存在大量的伪变化时，当前的注意力机制无法高效且有针对性的关注于无变化区域和变化区域，这会导致严重的错误检测现象的发生。其次，现有网络中存在大量的下采样和上采样操作导致前后时序影像中特征信息的丢失，粗暴的融合策略更是加深了这一问题，这使得网络在最后的变化检测时无法很好地恢复影像原有的特征，最终的检测结果会存在漏检和变化边缘不整齐等问题。最终，当前算法无法很好的对上下文信息进行差分处理，因此对于存在很多伪变化的城市建筑物影像的检测效果并不好。
发明内容
针对现有技术的缺陷以及改进需求，本发明提供了一种用于城市动态检测的建筑物变化检测方法，可以精准地实现城市建筑物自动化检测。包括如下步骤：
S1，采用遥感卫星采集到的城市建筑物影像作为数据集，获取数据集中各个建筑物对应的实际变化影像，将实际变化影像与对应的双时相影像划分为训练集和测试集；
S2，构建由编码器和解码器组成的建筑物自动化检测模型，所述编码器包括权重共享的双通道孪生网络和孪生交叉注意力模块，所述解码器包括多尺度特征融合以及差分上下文判别模块；
所述权重共享的双通道孪生网络包括批归一化层和多个上采样块，输入双时相影像，用于获取不同尺度的特征图；
所述孪生交叉注意力模块首先对不同尺度的特征图进行嵌入操作，然后利用多头交叉注意力机制提取更深层次的变化特征语义信息，提高对特征信息的全局关注度；
所述多尺度特征融合模块采用重建与上采样块的双重渐进式融合策略，将提取到的含有丰富多尺度语义信息的特征进行融合；
所述差分上下文判别模块的输入为多尺度融合模块的输出影像以及前后时序差分影像，目的是结合影像中的上下文信息，提高网络的判别能力，使得检测结果影像更加趋近于真实变化影像，从而提高检测准确度；
S3，利用S1中的训练集对S2中的建筑物自动化检测模型进行训练，利用训练好的模型实现建筑物变化检测。
在一些可选的实施方案中，步骤S1包括：
采用人工制作城市建筑物变化影像作为数据集，根据数据集中的前后时序影像来制作实际变化影像，其中，实际变化影像是前后时序影像中的变化区域，前后时序影像中的每个像素代表一种类别(未变化或变化)。
将各前后时序影像以及其对应的实际变化影像组成城市建筑物自动化检测影像数据集，在该数据集中按照8∶2的比例划分训练集和测试集。
在一些可选的实施方案中，所述编码器包括权重共享的双通道孪生网络和孪生交叉注意力模块，所述解码器包括多尺度特征融合以及差分上下文判别模块。
在本实施方案中，编码器中的权重共享的双通道孪生网络采用多尺度密集连接UNet进行实现，该网络包含跳跃连接，能够充分提取低级特征和高级特征。编码器中的孪生交叉注意力模块结合Transformer多头注意力机制，孪生交叉注意力模块首先独立地对双时相影像进行嵌入操作，获取到对应的多阶段嵌入式令牌。通过多头注意力机制将特征信息进一步划分为查询队列、查询向量以及查询值，Sigmoid函数进一步激活关注到的特征信息，多层感知机块有效地降低网络的时间复杂度，最终使得注意力通道分别关注于影像中的变化区域以及未变化区域，同时将影像信息划分为滑动窗口进行自注意力计算，提高网络对全局信息的建模能力。
所述解码器中的多尺度融合模块利用多尺度特征融合技术将编码器中提取到的多阶段嵌入式令牌与富含上下文信息的通道注意力输出进行融合，再使用上采样操作融合特征，这使得网络能够最大程度地还原原始影像信息，降低网络的漏检率。其次，利用多尺度特征融合技术将嵌入式令牌与信道变压器的富上下文输出进行融合。然后，对提取的多尺度信息内容进行上采样融合，最大限度地恢复原始影像信息；所述解码器中的差分上下文判别模块输入为所述解码器中的多尺度融合模块的输出影像以及前后时序差分影像，目的是结合影像中的上下文信息，提高网络的判别能力，使得检测结果影像更加趋近于真实变化影像，从而提高检测准确度。
在一些可选的实施方案中，步骤S2中权重共享的双通道孪生网络对输入双时相影像进行批处理归一化操作，包括卷积核3、步长为1的二维卷积、二维 BatchNorm和输出通道数为64的ReLU激活函数，然后通过3个下采样块提取特征信息，定义xi，j为下采样块的输出节点，下采样块的目标函数为：
其中，N(·)表示嵌套的卷积函数，D(·)表示下采样层，U(·)表示上采样层， []表示特征连接函数，xi，j代表输出特征图，i代表层数，j代表该层的第j个卷积层，k代表第k个连接层；最终，孪生网络通道输出四种多尺度特征信息。
在一些可选的实施方案中，步骤S2中的孪生交叉注意力模块对双通道孪生网络的四个输出进行嵌入操作，首先进行一次2D卷积提取特征，然后将特征展开成二维序列T1，T2，T3以及T4，其patch大小分别为32、16、8和4，将T1-T4进行合并得到T∑，然后利用多头交叉注意力机制进行处理，第一阶段的目标函数为：
其中，
WK和WV为不同输入的权重系数，Tl表示特征信息令牌，l表示第l个尺度的特征信息，T∑表示四个令牌的特征联合，得到查询向量Qu，查询键 K，查询值V，l＝1，2，3，4，u＝1，2，3，4；
第二阶段的目标函数为：
其中，σ(·)和
分别表示softmax函数和实例规范化函数，C∑表示通道数的总和；
多头交叉注意力第三阶段的目标函数为：
其中，CAh表示多头交叉注意力第二阶段的输出，h表示第h个注意力头的输出，N为注意力头的个数；
多头交叉注意力最终阶段的目标函数为：
Or＝MCAp+MLP(Qu+MCAp)
确定多头交叉注意力最终的输出，其中，MCAp表示多头交叉注意力第三阶段的输出，p表示第p个输出，MLP(·)为多层感知机函数，Qu表示查询向量， u表示第u个查询向量。
在一些可选的实施方案中，步骤S2中，多尺度特征融合模块的目标函数为：
Mi＝W1·V(Tl)+W2·V(Or)
其中，W1和W2是两个线性层的权重参数，Tl表示特征信息令牌，l表示第l个尺度的特征信息，Or表示多头交叉注意力模块的输出，r表示第r个注意力头的输出。
在一些可选的实施方案中，步骤S2中，所述差分上下文判别模块包含生成器和判别器，生成器中接收两个输入，多尺度特征融合模块最后一层的得到的检测影像以及第一和第二时相做差分运算得到的生成影像，计算二者的损失以推动结果更加接近于实际变化影像，在生成器中采用SCAD和最小二乘LSGAN损失函数的加权和作为损失函数，降低模型的误监率；在判别器中采用最小二乘 LSGAN损失函数，改善检测精度，将生成器和判别器的损失函数累加得到最终的概率损失。
在一些可选的实施方案中，步骤S2中，所述差分上下文判别模块的目标函数为：
L(P)＝L(D)+L(G)
L(D)＝LLSGAN(D)
L(G)＝LLSGAN(D)+αLSCAD
其中，L(P)表示概率损失，L(D)表示判别器损失，L(G)表示生成器损失， LLSGAN(D)表示判别器的最小二乘LSGAN损失，LLSGAN(G)表示生成器的最小二乘LSGAN损失，LSCAD表示SCAD损失。
在一些可选的实施方案中，定义SCAD损失为：
其中，C表示检测种类，v(c)表示检测种类的像素误差值，JC为损失项，ρ为连续优化的参数，v(c)的定义如下：
其中，yi为实际变化影像，sg(c)为检测分数，g表示第g个像素。
在一些可选的实施方案中，最小二乘LSGAN损失为：
其中，D(x1，y)及D(x1，G(x1))表示判别器对第一时相影像的输出，G(x1)表示生成器对第一时相影像的输出，D(x2，y)及D(x2，G(x2))表示判别器对第二时相影像的输出，G(x2)表示生成器对第二时相影像的输出，
及
表示第一时相影像的检测期望，
及
表示第二时相影像的检测期望，x1，x2分别表示判别器输入的第一和第二时相影像，y表示实际变化影像。
在一些可选的实施方案中，最小二乘LSGAN损失为：
其中，
表示第一时相影像的检测期望，
表示第二时相影像的检测期望，D(x1，G(x1))表示判别器对第一时相影像的输出，G(x1)表示生成器对第一时相影像的输出，D(x2，G(x2))表示判别器对第二时相影像的输出， G(x2)表示生成器对第二时相影像的输出，x1，x2分别表示判别器输入的第一和第二时相影像。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：以深度卷积神经网络为基础，构造由编码器和解码器所组成的建筑物自动化检测模型，能够有效地判别和融合双时相影像中的多尺度特征信息，有效地提高了建筑物变化检测准确度。最终，只需要将双时相影像输入到训练好的模型中，即可自动检测城市建筑物的变化情况。
附图说明
图1是本发明实施例提供的一种城市建筑物自动化检测***及方法的流程示意图；
图2是本发明实施例提供的一种建筑物自动化检测模型示意图；
图3是本发明实施例提供的一种多头交叉注意力机制网络结构图；
图4是本发明实施例提供的一种不同方法的检测对比图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细的说明。
采用多尺度密集连接UNet网络提取双时相影像中的丰富地特征信息；孪生注意力机制分别关注与双时相影像中的变化区域以及未变化区域，加强特征信息的表示，并提升信息的全局关注性；采用多尺度特征融合模块渐进式地融合各个尺度的特征信息；同时，通过差分上下文判别模块计算生成器与判别器的加权和作为概率损失，从而推动检测结果接近于真实变化影像。并采用8个评价指标来评价本发明的性能，包括精确率(Precision)，召回率(Recall)，综合评价指标(F1-score)，交集(IOU)，未变化交集(IOU_0)，变化交集(IOU_1)，总体精度(OA)，Kappa系数(Kappa)作为评价指标。下面结合附图和实施例对本发明作进一步详细的说明。
图1所示是本发明实施例提供的一种用于城市建筑物自动化检测***及方法的流程示意图，具体包含以下步骤：
S1：数据集构建：采用遥感卫星采集到的城市建筑物影像构建数据集,获取数据集中各个建筑物对应的实际变化影像，将实际变化影像与对应的双时相影像作为数据集；
构建合理的建筑物变化检测数据集能够有效提升模型的检测精度。在本发明实施例的实验中，使用LEVIR-CD数据集，其包含来自20个地区的各种各样的建筑影像。每张影像的原始尺寸为1024×1024像素，空间分辨率为0.5m。考虑到GPU内存容量的限制，采用图像分割算法将每张影像切割成16个大小为256 ×256像素的区域影像，最终获得4450幅前后时序影像对。本发明采用专业的计算机视觉标注软件，对城市建筑物影像进行标注。对于每一对前后时序影像，获取其对应的实际变化影像ground truth，实际变化影像中的每一个像素点代表一种类别，其中，实际变化影像中的类标签用0和1表示，0代表未变化区域(可以显示为黑色)，1代表变化区域(可以显示为白色)。
经过以上处理得到前后时序影像以及其对应的实际变化影像，将各前后时序影像以及其对应的实际变化影像组成城市建筑物自动化检测影像数据集，在该数据集中按照8∶2的比例划分训练集(共3560幅影像)和测试集(共890幅影像)。
S2：建筑物自动化检测模型构建：构建由编码器和解码器组成的孪生交叉注意力判别网络作为建筑物自动化检测模型；
如图2所示，本发明实施例的建筑物自动化检测模型包括两个主要模块：编码器和解码器。其中，编码器包含权重共享的双通道孪生网络和孪生交叉注意力模块，解码器包含多尺度特征融合以及差分上下文判别模块。
编码器负责提取输入影像中的多尺度特征信息以及高层语义信息。解码器将提取到多尺度特征进行渐进式融合，并且结合上下文差分信息计算概率损失，不断推进结果图接近于Ground Truth。
如图2中(a)所示，首先采用权重共享的双通道孪生网络对输入双时相影像进行批处理归一化操作，包括卷积核3、步长为1的二维卷积、二维BatchNorm 和输出通道数为64的ReLU激活函数。然后通过下采样块提取特征信息，定义xi，j为下采样块的输出节点，下采样块的目标函数为：
其中，N(·)表示嵌套的卷积函数，D(·)表示下采样层，U(·)表示上采样层，[]表示特征连接函数，xi，j代表输出特征图，i代表层数，j代表该层的第j个卷积层， k代表第k个连接层。为了更好地描述网络参数，定义三个下采样块的输出通道数分别为128、256和512。最终，孪生网络通道输出四种多尺度特征信息。
如图2中(b)所示，孪生交叉注意力模块对权重共享的双通道孪生网络的四个输出进行嵌入操作，首先进行一次2D卷积提取特征，然后将特征展开成二维序列T1，T2，T3以及T4，其patch大小分别为32、16、8和4。将T1-T4进行合并得到T∑。
如图3所示，孪生交叉注意力模块模块中利用多头交叉注意力机制提取更深层次的变化特征语义信息，提高对特征信息的全局关注度。多头交叉注意力第一阶段的目标函数为：
Qu＝TlWQi，K＝T∑WK，V＝T∑WV
其中，
WK和WV为不同输入的权重系数，Tl表示特征信息令牌，l表示第 l个尺度的特征信息，T∑表示四个令牌的特征联合。得到查询向量Qu(u＝1，2，3，4)，查询键K，查询值V。四个查询向量的通道数分别为[64，128，256，512]。
由于全局注意力机制会导致网络的时间复杂度较大，采用转置注意力机制降低网络的计算量。其中
和VT分别为查询向量Qu和查询值V的转置。因此多头交叉注意力第二阶段的目标函数为：
确定多头交叉注意力第二阶段的输出，其中，σ(·)和
分别表示softmax 函数和实例规范化函数，
WK和
为不同输入的权重系数，
表示特征信息令牌，l表示第l个尺度的特征信息，T∑表示四个令牌的特征联合。C∑表示通道数的总和。
多头交叉注意力第三阶段的目标函数为：
其中，CAh表示多头交叉注意力第二阶段的输出(h＝1，2，3，4)，h表示第h个注意力头的输出，N为注意力头的个数，经过实验证明，当设置N为4时网络的检测效果最好。
多头交叉注意力最终阶段的目标函数为：
Or＝MCAp+MLP(Qu+MCAp)
确定多头交叉注意力最终的输出，其中，MCAp表示多头交叉注意力第三阶段的输出，p表示第p个输出，MLP(·)为多层感知机函数，Qu表示查询向量，u表示第u个查询向量(u＝1，2，3，4)。最终得到四个输出O1，O2，O3和O4。
如图2(c)所示，所述多尺度特征融合模块采用重建与上采样块的双重渐进式融合策略，将提取到的含有丰富多尺度语义信息的特征进行融合。重建策略首先将孪生交叉注意力模块中的四个嵌入式令牌T1，T2，T3和T4以及多头交叉注意力机制中的四个输出O1，O2，O3和O4进行融合。
重建策略中的目标函数为：
Mi＝W1·V(Tl)+W2·V(Or)
其中，W1和W2是两个线性层的权重参数，Tl表示特征信息令牌，l表示第l个尺度的特征信息，Or表示多头交叉注意力模块的输出，r表示第r个注意力头的输出(r＝1，2，3，4)。得到四个输出M1，M2，M3和M4。
为了更好地融合多尺度特征信息，对上述四个输出进行上采样块操作，四个上采样块的输出通道分别为256、128、64、64。上采样块包含卷积核大小为2 的二维卷积，平均池化层以及激活函数ReLu。最后，我们对第四个上采样块的输出结果进行一次卷积核为1，步长为1的一维卷积，得到检测影像。
如图2(d)所示，所述差分上下文判别模块包含生成器和判别器。生成器中接收两个输入，多尺度特征融合模块最后一层的得到的检测影像以及第一和第二时相做差分运算得到的生成影像。计算二者的损失以推动结果更加接近于实际变化影像。在生成器中采用SCAD和最小二乘LSGAN损失函数的加权和作为损失函数，降低模型的误监率。在判别器中采用最小二乘LSGAN损失函数，改善检测精度。将生成器和判别器的损失函数累加得到最终的概率损失。差分上下文判别模块的目标函数为：
L(P)＝L(D)+L(G)
L(D)＝LLSGAN(D)
L(G)＝LLSGAN(D)+αLSCAD
定义SCAD损失为：
确定SCAD损失，其中，C表示检测种类，v(c)表示检测种类的像素误差值， JC为损失项，ρ为连续优化的参数。v(c)的定义如下：
其中，yi为实际变化影像，sg(c)为检测分数，g表示第g个像素。
本发明中的所述的判别器最小二乘LSGAN损失为：
确定判别器的最小二乘LSGAN损失，其中，D(x1，y)及D(x1，G(x1))表示判别器对第一时相影像的输出，G(x1)表示生成器对第一时相影像的输出，D(x2，y)及 D(x2，G(x2))表示判别器对第二时相影像的输出，G(x2)表示生成器对第二时相影像的输出，
及
表示第一时相影像的检测期望，
及
表示第二时相影像的检测期望，x1，x2分别表示判别器输入的第一和第二时相影像，y表示实际变化影像。
本发明中的所述的生成器最小二乘LSGAN损失为：
确定生成器的最小二乘LSGAN损失，其中，
表示第一时相影像的检测期望，
表示第二时相影像的检测期望，D(x1，G(x1))表示判别器对第一时相影像的输出，G(x1)表示生成器对第一时相影像的输出，D(x2，G(x2)) 表示判别器对第二时相影像的输出，G(x2)表示生成器对第二时相影像的输出， x1，x2分别表示判别器输入的第一和第二时相影像。
因此，差分上下文判别模块的目标函数为：
L(P)＝L(D)+L(G)
L(D)＝LLSGAN(D)
L(G)＝LLSGAN(D)+αLSCAD
其中，L(P)表示概率损失，L(D)表示判别器损失，L(G)表示生成器损失，LLSGAN(D)表示判别器的最小二乘LSGAN损失，LLSGAN(G)表示生成器的最小二乘LSGAN损失，LSCAD表示SCAD损失。α为权重参数，控制两种损失之间的相对重要性。在该目标函数的辅助下，生成器和判别器循环迭代产生概率损失，直到概率损失低于设定阈值后输出检测结果。
S3：利用S1中的训练集对S2中的建筑物自动化检测模型进行训练，利用训练好的模型实现建筑物变化检测，最后利用建筑物自动化检测模型评价指标对检测结果进行评价；
使用本发明所提出的网络结构在所述S1步骤中构建的LEVIR-CD数据集上进行训练，获得模型权重用于模型评价。训练过程基于PyTorch深度学习框架，软件环境为Ubuntu20.04，硬件环境为3090显卡、显存为24GB。将batchsize设置为8，总共训练次数为100epoch。每次输入包含三幅影像：第一时相影像、第二时相影像以及实际变化影像，一次训练后进行一次测试，网络训练过程中不断学习双时相影像以及真实变化影像中的城市建筑物变化信息。循环迭代直到 epoch达到100，则训练结束。
选取精确率(Precision)，召回率(Recall)，综合评价指标(F1-score)交集(IOU)，未变化交集(IOU_0)，总体精度(OA)变化交集(IOU_1)，Kappa 系数(Kappa)作为评价指标，及其评价指标计算公式如下：
为了验证本发明所提的建筑物自动化检测模型的性能，本发明给出了最终的实验结果，图4为各种方法的视觉对比图，表1为各种方法的量化指标。
其中，图4表示各种方法得到的建筑物检测结果影像。(a)为前序影像，(b) 为后序影像，(c)为实际变化影像(Ground Truth,GT)，(d)-(g)为不同方法的检测结果影像。通过比较实际变化影像，黑色代表未变化区域，白色代表变化区域，红色代表误检测区域，绿色代表漏检测区域。
表1：各种方法在LEVIR-CD数据集建筑物检测精度
请注意，所有指标的单位均为百分比，且数值越大，效果越好。为了便于观察，将最好的结果进行加粗表示。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而以，并不以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种用于城市动态监测的建筑物变化检测方法，其特征在于，包括以下步骤：
S1，采用遥感卫星采集到的城市建筑物影像作为数据集，获取数据集中各个建筑物对应的实际变化影像，将实际变化影像与对应的双时相影像划分为训练集和测试集；
S2，构建由编码器和解码器组成的建筑物自动化检测模型，所述编码器包括权重共享的双通道孪生网络和孪生交叉注意力模块，所述解码器包括多尺度特征融合以及差分上下文判别模块；
所述权重共享的双通道孪生网络包括批归一化层和多个上采样块，输入双时相影像，用于获取不同尺度的特征图；
所述孪生交叉注意力模块首先对不同尺度的特征图进行嵌入操作，然后利用多头交叉注意力机制提取更深层次的变化特征语义信息，提高对特征信息的全局关注度；
所述多尺度特征融合模块采用重建与上采样块的双重渐进式融合策略，将提取到的含有丰富多尺度语义信息的特征进行融合；
所述差分上下文判别模块的输入为多尺度融合模块的输出影像以及前后时序差分影像，目的是结合影像中的上下文信息，提高网络的判别能力，使得检测结果影像更加趋近于真实变化影像，从而提高检测准确度；
S3，利用S1中的训练集对S2中的建筑物自动化检测模型进行训练，利用训练好的模型实现建筑物变化检测。
2.根据权利要求1所述的方法，其特征在于，步骤S1包括：
采用人工制作的城市建筑物变化影像作为数据集，根据数据集中的双时相影像来制作实际变化影像，其中，实际变化影像是双时相影像中的变化区域，实际变化影像中的每个像素代表一种类别，为未变化或变化；
将各前后时序影像以及其对应的实际变化影像组成城市建筑物自动化检测影像数据集，在该数据集中按照8：2的比例划分训练集和测试集。
3.根据权利要求1所述的方法，其特征在于：步骤S2中权重共享的双通道孪生网络对输入双时相影像进行批处理归一化操作，包括卷积核3、步长为1的二维卷积、二维BatchNorm和输出通道数为64的ReLU激活函数，然后通过3个下采样块提取特征信息，定义xi,j为下采样块的输出节点，下采样块的目标函数为：
其中，N(·)表示嵌套的卷积函数，D(·)表示下采样层，U(·)表示上采样层，[]表示特征连接函数，xi,j代表输出特征图，i代表层数，j代表该层的第j个卷积层，k代表第k个连接层；最终，孪生网络通道输出四种多尺度特征信息。
4.根据权利要求1所述的方法，其特征在于：步骤S2中的孪生交叉注意力模块对双通道孪生网络的四个输出进行嵌入操作，首先进行一次2D卷积提取特征，然后将特征展开成二维序列T1，T2，T3以及T4，其patch大小分别为32、16、8和4，将T1-T4进行合并得到T∑，然后利用多头交叉注意力机制进行处理，第一阶段的目标函数为：
其中，
WK和WV为不同输入的权重系数，Tl表示特征信息令牌，l表示第l个尺度的特征信息，T∑表示四个令牌的特征联合，得到查询向量Qu，查询键K，查询值V，l＝1,2,3,4，u＝1,2,3,4；
第二阶段的目标函数为：
其中，σ(·)和
分别表示softmax函数和实例规范化函数，C∑表示通道数的总和；
多头交叉注意力第三阶段的目标函数为：
其中，CAh表示多头交叉注意力第二阶段的输出，h表示第h个注意力头的输出，N为注意力头的个数；
多头交叉注意力最终阶段的目标函数为：
Or＝MCAp+MLP(Qu+MCAp)
确定多头交叉注意力最终的输出，其中，MCAp表示多头交叉注意力第三阶段的输出，p表示第p个输出，MLP(·)为多层感知机函数，Qu表示查询向量，u表示第u个查询向量。
5.根据权利要求4所述的方法，其特征在于：步骤S2中，多尺度特征融合模块的目标函数为：
Mi＝W1·V(Tl)+W2·V(Or)
其中，W1和W2是两个线性层的权重参数，Tl表示特征信息令牌，l表示第l个尺度的特征信息，Or表示多头交叉注意力模块的输出，r表示第r个注意力头的输出。
6.根据权利要求1所述的方法，其特征在于：步骤S2中，所述差分上下文判别模块包含生成器和判别器，生成器中接收两个输入，多尺度特征融合模块最后一层的得到的检测影像以及第一和第二时相做差分运算得到的生成影像，计算二者的损失以推动结果更加接近于实际变化影像，在生成器中采用SCAD和最小二乘LSGAN损失函数的加权和作为损失函数，降低模型的误监率；在判别器中采用最小二乘LSGAN损失函数，改善检测精度，将生成器和判别器的损失函数累加得到最终的概率损失。
7.根据权利要求6所述的方法，其特征在于：步骤S2中，所述差分上下文判别模块的目标函数为：
L(P)＝L(D)+L(G)
L(D)＝LLSGAN(D)
L(G)＝LLSGAN(D)+αLSCAD
其中，L(P)表示概率损失，L(D)表示判别器损失，L(G)表示生成器损失，LLSGAN(D)表示判别器的最小二乘LSGAN损失，LLSGAN(G)表示生成器的最小二乘LSGAN损失，LSCAD表示SCAD损失。
8.根据权利要求7所述的方法，其特征在于：定义SCAD损失为：
其中，C表示检测种类，v(c)表示检测种类的像素误差值，JC为损失项，ρ为连续优化的参数，v(c)的定义如下：
其中，yi为实际变化影像，sg(c)为检测分数，g表示第g个像素。
9.根据权利要求7所述的方法，其特征在于：最小二乘LSGAN损失为：
其中，D(x1,y)及D(x1,G(x1))表示判别器对第一时相影像的输出，G(x1)表示生成器对第一时相影像的输出，D(x2,y)及D(x2,G(x2))表示判别器对第二时相影像的输出，G(x2)表示生成器对第二时相影像的输出，
及
表示第一时相影像的检测期望，
及
表示第二时相影像的检测期望，x1,x2分别表示判别器输入的第一和第二时相影像，y表示实际变化影像。
10.根据权利要求7所述的方法，其特征在于：最小二乘LSGAN损失为：
其中，
表示第一时相影像的检测期望，
表示第二时相影像的检测期望，D(x1,G(x1))表示判别器对第一时相影像的输出，G(x1)表示生成器对第一时相影像的输出，D(x2,G(x2))表示判别器对第二时相影像的输出，G(x2)表示生成器对第二时相影像的输出，x1,x2分别表示判别器输入的第一和第二时相影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211344397.7A CN115601661A (zh) | 2022-10-31 | 2022-10-31 | 一种用于城市动态监测的建筑物变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211344397.7A CN115601661A (zh) | 2022-10-31 | 2022-10-31 | 一种用于城市动态监测的建筑物变化检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115601661A true CN115601661A (zh) | 2023-01-13 |
Family
ID=84850193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211344397.7A Pending CN115601661A (zh) | 2022-10-31 | 2022-10-31 | 一种用于城市动态监测的建筑物变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115601661A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051519A (zh) * | 2023-02-02 | 2023-05-02 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
| CN116091492A (zh) * | 2023-04-06 | 2023-05-09 | 中国科学技术大学 | 一种图像变化像素级检测方法与*** |
| CN116343052A (zh) * | 2023-05-30 | 2023-06-27 | 华东交通大学 | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 |
| CN116862252A (zh) * | 2023-06-13 | 2023-10-10 | 河海大学 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
| CN117576574A (zh) * | 2024-01-19 | 2024-02-20 | 湖北工业大学 | 一种电力设施地物变化检测方法、装置、电子设备及介质 |
-
2022
- 2022-10-31 CN CN202211344397.7A patent/CN115601661A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051519A (zh) * | 2023-02-02 | 2023-05-02 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
| CN116051519B (zh) * | 2023-02-02 | 2023-08-22 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
| CN116091492A (zh) * | 2023-04-06 | 2023-05-09 | 中国科学技术大学 | 一种图像变化像素级检测方法与*** |
| CN116091492B (zh) * | 2023-04-06 | 2023-07-14 | 中国科学技术大学 | 一种图像变化像素级检测方法与*** |
| CN116343052A (zh) * | 2023-05-30 | 2023-06-27 | 华东交通大学 | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 |
| CN116343052B (zh) * | 2023-05-30 | 2023-08-01 | 华东交通大学 | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 |
| CN116862252A (zh) * | 2023-06-13 | 2023-10-10 | 河海大学 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
| CN116862252B (zh) * | 2023-06-13 | 2024-04-26 | 河海大学 | 一种基于复合卷积算子的城市建筑物损失应急评估方法 |
| CN117576574A (zh) * | 2024-01-19 | 2024-02-20 | 湖北工业大学 | 一种电力设施地物变化检测方法、装置、电子设备及介质 |
| CN117576574B (zh) * | 2024-01-19 | 2024-04-05 | 湖北工业大学 | 一种电力设施地物变化检测方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126202B (zh) | 基于空洞特征金字塔网络的光学遥感图像目标检测方法 | |
| CN115601661A (zh) | 一种用于城市动态监测的建筑物变化检测方法 | |
| CN111723732B (zh) | 一种光学遥感图像变化检测方法、存储介质及计算设备 | |
| CN112668494A (zh) | 基于多尺度特征提取的小样本变化检测方法 | |
| CN109741328A (zh) | 一种基于生成式对抗网络的汽车表观质量检测方法 | |
| CN108399248A (zh) | 一种时序数据预测方法、装置及设备 | |
| Liu et al. | An attention-based multiscale transformer network for remote sensing image change detection | |
| CN103714148B (zh) | 基于稀疏编码分类的sar图像检索方法 | |
| CN113569788B (zh) | 一种建筑物语义分割网络模型训练方法、***及应用方法 | |
| CN116524361A (zh) | 基于双孪生分支的遥感图像变化检测网络及检测方法 | |
| Eftekhari et al. | Building change detection using the parallel spatial-channel attention block and edge-guided deep network | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| CN116823664B (zh) | 一种遥感图像云去除方法及*** | |
| CN115937697A (zh) | 一种遥感影像变化检测方法 | |
| Chen et al. | Changemamba: Remote sensing change detection with spatio-temporal state space model | |
| CN115937774A (zh) | 一种基于特征融合和语义交互的安检违禁品检测方法 | |
| CN114565594A (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
| CN116434069A (zh) | 一种基于局部-全局Transformer网络的遥感图像变化检测方法 | |
| CN116703885A (zh) | 一种基于Swin Transformer的表面缺陷检测方法及*** | |
| Fan et al. | Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects | |
| CN114972882A (zh) | 基于多注意力机制的磨损表面损伤深度估计方法及*** | |
| Seydi et al. | BDD-Net+: A building damage detection framework based on modified coat-net | |
| CN115456957B (zh) | 一种全尺度特征聚合的遥感影像变化检测的方法 | |
| Zhang et al. | CDMamba: Remote Sensing Image Change Detection with Mamba | |
| Mo et al. | SAUNet3+ CD: A Siamese-attentive UNet3+ for change detection in remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |