CN113609896A - 基于对偶相关注意力的对象级遥感变化检测方法及*** - Google Patents
基于对偶相关注意力的对象级遥感变化检测方法及*** Download PDFInfo
- Publication number
- CN113609896A CN113609896A CN202110692812.7A CN202110692812A CN113609896A CN 113609896 A CN113609896 A CN 113609896A CN 202110692812 A CN202110692812 A CN 202110692812A CN 113609896 A CN113609896 A CN 113609896A
- Authority
- CN
- China
- Prior art keywords
- dual
- attention
- features
- correlation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 120
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000009977 dual effect Effects 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 230000002776 aggregation Effects 0.000 claims abstract description 18
- 238000004220 aggregation Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 11
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 8
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001342 constant potential amperometry Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于对偶相关注意力的对象级遥感变化检测方法及***，进行用于变化检测的数据增强，生成双输入流；设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺度特征；设置对偶相关注意力引导的特征融合颈，关注同尺度的双时相特征在空间层次与通道层次的相关性，来获取细化的差异特征，并设置细化路径聚合金字塔模块对不同尺度层间的特征进行融合；最后将不同尺度的差异特征送入变化检测头，以边界框的形式预测变化地物的位置、大小和变化置信度。本发明专用于变化检测的数据增强方法可以加快模型训练与提升模型性能，经对偶相关注意力机制引导，能有效抵抗影像对中的伪变化干扰，具有较高准确性和鲁棒性。
Description
技术领域
本发明属于遥感影像自动变化检测领域，具体涉及一种基于对偶相关注意力的对象级遥 感变化检测方法及***。
背景技术
变化检测是通过观察和识别不同时期的对象或现象的状态来检测差异的过程。更准确地 说，变化检测的目的是在过滤掉无关的变化信息的干扰下，找到特定感兴趣的语义类别的变 化信息。它一直是遥感领域中最重要的问题之一。目前变化检测已广泛用于各种应用中，例 如城市规划，土地资源管理，环境监测，农业调查，灾害评估和其他应用，具有极大的研究 价值。
目前，根据所使用的基本单元的粒度，变化检测方法可分为像素级的变化检测方法、对 象级的变化检测方法和场景级的变化检测方法。像素级方法通常通过提取地面变化的特征， 在输入尺寸上逐像素分类为变化或不变，输出像素级的二值掩膜预测。对于对象级的变化检 测,通常通过分割或检测的方式来获取对象，并通过提取和比较对象的多时相特征来确定对象 是否发生了变化，输出对象级的预测，如对象实例的二值掩膜或者对象的边界框。场景级方 法是指从语义层面分析对应场景的类别是否发生了变化，不同时间发生了什么样的变化，它 对影像或者影像切片进行分类，提供图像级标签的预测。由于变化检测大多数时候需要确定 特定类别的区域或目标的变化，因此像素级和对象级方法使用得更多。
对于像素级的变化检测方法，代表性的传统方法有主成分分析(PCA)，变化向量分析 (CVA)等等。鉴于手工设计的特征对高分辨率图像的适应性差的问题，以及深度学***移不是严格不变的。因 此，在“像素标签”模式的监督下，具有像素对应效应的像素级方法很难避免这种伪变化。
传统的基于对象的变化检测方法使用“对象”作为分析单元在一定程度上可以减少对伪变 化区域的误判。值得注意的是，基于对象的方法中的“对象”通常是一组局部像素簇，通过使 用光谱纹理特征、几何特征(例如形状和面积)以及其他信息对图像进行分割而获得的。但 是，由于传统的手工设计特征提取方法的局限性，这些分割后的区域通常依赖于阈值，让“对 象”易于过度分割和边界碎片化，不具有语义完整性，并且无法真正模拟实际的地理实体目标。
发明内容
为了克服以上技术问题，本发明利用深度学习技术，提出了一种基于对偶相关注意力的 对象级遥感变化检测方案，用于检测变化的地理实体(比如新增的建筑物，变化的人工地物)。 相比像素级方法和传统的基于对象的方法，本发明更关注变化的地理实体的整体信息和上下 文联系，并能有效抵抗影像中的伪变化干扰。
本发明提供一种基于对偶相关注意力的对象级遥感变化检测方法，包括以下步骤，
步骤1，进行用于变化检测的数据增强，生成双输入流，实现方式包括对四对影像对进行 随机的时序交换和组合，得到一对合成影像对，对其中合成影像之一进行增强操作，包括随 机的几何变换、亮度变换、增加高斯噪声和色彩变换，对于另一个合成影像仅进行相应的几 何变换；
步骤2，设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺度特征；
步骤3，在骨干网络的基础上设置对偶相关注意力引导的特征融合颈，所述特征融合颈 中设置对偶相关注意力模块引导网络关注同尺度的双时相特征在空间层次与通道层次的相关 性，来获取细化的差异特征，并设置细化路径聚合金字塔模块对不同尺度层间的特征进行融 合；
步骤4，最后将不同尺度的差异特征送入变化检测头，以边界框的形式预测变化地物的 位置、大小和变化置信度。
而且，所述共享权重的骨干网络中，通过分层特征融合策略实现特征重用，并截断过度 重复的梯度信息，用于提取双时相影像的不同尺度的并行特征。
而且，使用CSPDarkNet-53网络构建孪生网络作为共享权重的骨干网络，提取五个尺度 的特征，从顶层到底层依次标记为C1-C5层。
而且，双重协同注意力引导的特征融合颈对采用三个对偶相关注意力模块来自孪生 CSPDarknet-53网络的C3-C5层的特征进行融合生成P3-P5层特征，然后采用细化路径聚合 金字塔模块对不同尺度层间的差异特征进行融合。
而且，所述对偶相关注意力模块中包括空间相关注意力模块、通道相关注意力模块和变 化差异模块，设来自同尺度层的并行特征Fa,b进行串联获得特征Fab，将空间相关注意力引导 的差异特征FP，通道相关注意力引导的差异特征FC和特征Fab进行进一步融合获得最终的变化 差异特征F。
而且，变化检测头共分为三层，检测头-S，检测头-M，检测头-L，分别对应来自细化路 径聚合金字塔模块的N3-N5层特征，根据监督信息并行地学习变化对象的变化置信度和坐标， 并使用先验框学习变化对象的边界框的回归；使用多任务损失函数，根据训练样本标签，对 整体网络模型进行训练；将待检测的双时相影像对输入训练好的网络，获得准确的变化检测 结果。
另一方面，本发明还提供一种基于对偶相关注意力的对象级遥感变化检测***，用于实 现如上所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
而且，包括以下模块，
第一模块，用于进行用于变化检测的数据增强，生成双输入流，实现方式包括对四对影 像对进行随机的时序交换和组合，得到一对合成影像对，对其中合成影像之一进行增强操作， 包括随机的几何变换、亮度变换、增加高斯噪声和色彩变换，对于另一个合成影像仅进行相 应的几何变换；
第二模块，用于设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺 度特征；
第三模块，用于在骨干网络的基础上设置对偶相关注意力引导的特征融合颈，所述特征 融合颈中设置对偶相关注意力模块引导网络关注同尺度的双时相特征在空间层次与通道层次 的相关性，来获取细化的差异特征，并设置细化路径聚合金字塔模块对不同尺度层间的特征 进行融合。
第四模块，用于最后将不同尺度的差异特征送入变化检测头，以边界框的形式预测变化 地物的位置、大小和变化置信度。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存 储指令执行如上所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执 行时，实现如上所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
本发明与现有技术相比，具有以下三个优点：
1)专用于变化检测的数据增强方式能加速模型训练，提升模型性能。
本发明提出的数据增强方法通过在线随机交换前期图像和后期图像，帮助网络更加关注 变化的本质，而不是在特定的输入模式下过拟合。将四对双时相影像对随机组合成一对合成 影像对，这一方式有助于隐式地增加批处理大小，丰富变化场景，帮助模型更稳定、更快地 收敛。通过对于合成影像对的缩放，隐式增加变化的小目标的占比，引导网络关注小目标的 变化检测，有效提升模型性能。
2)使用特征相关性去捕捉差异特征，加快模型收敛。
本发明设计的对偶相关注意力模块，从通道和空间层次建立并行特征的相关性注意力， 引导网络从特征的通道和空间层次进一步细化与变化相关的特征，抑制无关的特征，有利于 网络的快速收敛。
3)具有优越性和鲁棒性，变化检测效果较好，并可以有效抵抗伪变化干扰。
本发明通过网络结构设计和损失函数设计，让构建的端到端变化检测网络更注重于变化 对象的整体特征和上下文关联，避免视角变化以及投影差引起的伪变化干扰。整体训练过程 无需设计人工特征引导，网络可以自适应学习所需特征，具备较好泛化性。在复杂变化场景 下，也有较佳稳定表现。
附图说明
图1为本发明实施例的专用于变化检测的数据增强方法的流程图。
图2为本发明实施例的对偶相关注意力引导的变化检测网络的总体框架示意图。
图3为本发明实施例的对偶相关注意力模块的结构示意图，其中，图3(a)为对偶相关 注意力模块的总体架构，图3(b)为空间相关注意力模块的具体架构，图3(c)为通道相关注意力模块的具体架构，图3(d)为变化差异模块的具体架构。
具体实施方式
以下结合附图和实施例具体说明本发明的技术方案。
在数据层面，该框架设计了一种专用于变化检测的数据增强方法，可以有效地加快模型 的训练速度，并提高模型的性能。在模型层面，该框架构建了一种对偶相关注意力引导的变 化检测网络，可以有效提取变化对象的整体特征和上下文关联。该框架最终以边界框的形式 表示检测到的变化地理实体(如新增的建筑物、人工构筑物等)。
本发明实施例提供了一种基于对偶相关注意力的对象级遥感变化检测方法，包括专用于 变化检测的数据增强过程(如图1所示)和对偶相关注意力引导的变化检测网络(如图2所示)。 所述对偶相关注意力引导的变化检测网络依次包括共享权重的骨干网络、双重协同注意力引 导的特征融合颈和变化检测头，双重协同注意力引导的特征融合颈包括和骨干网络相应的若 干对偶相关注意力模块和细化路径聚合金字塔模块。另外，图3说明了网络中的对偶相关注 意力模块的架构细节。具体包括以下步骤：
步骤1：专用于变化检测的数据增强方式对四对影像对进行随机组合与变换，生成双输入 流。
实施例采用专用于变化检测的数据增强方式对四对影像对进行随机的时序交换和组合， 并进行随机的几何变换和颜色变换等操作，生成双输入流。
包括以下子步骤：
步骤1.1，从训练集中随机选择四对不同区域的双时相图像，并随机交换前时相影像和后 时相影像。
步骤1.2，将处理后的四对图像以随机顺序拼接组合为一对合成影像对。
例如，区域1T0时相影像、区域2T0时相影像、区域3T0时相影像、区域4T0时相影像、区域1T1时相影像、区域2T1时相影像、区域3T1时相影像、区域4T1时相影像，随机交换 后，区域1T1时相影像、区域2T0时相影像、区域3T1时相影像和区域4T0时相影像合成影 像1，区域1T0时相影像、区域2T1时相影像、区域3T0时相影像和区域4T1时相影像合成 影像2。
步骤1.3，对于合成影像之一，实施例执行以下增强功能：
(1)几何变换：随机变换，包括裁剪，缩放，平移，翻转和旋转；
(2)亮度变换；
(3)增加高斯噪声；
(4)色彩变换。
为了确保网络的通用性和鲁棒性，对于另一个合成影像，实施例仅进行相同的几何变换 方法。经过以上步骤，使用这一对合成影像生成双输入影像流。
步骤2：设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺度特征。
实施例使用CSPDarkNet-53网络构建孪生网络作为共享权重的骨干网络接收双输入流， 通过分层特征融合策略实现特征重用，并截断过度重复的梯度信息，用于提取双时相影像的 不同尺度的并行特征(图2中从顶层到底层的C1-C5层对应五个相应的尺度的特征)。
步骤3：双重协同注意力引导的特征融合颈对采用三个对偶相关注意力模块来自孪生 CSPDarknet-53网络的C3-C5层的特征进行融合生成P3-P5层特征，然后采用细化路径聚合 金字塔模块对不同尺度层间的差异特征进行融合。包括以下子步骤：
步骤3.1，对偶相关注意力模块对同尺度层的并行特征使用空间层次与通道层次的特征相 关性来获取精化的差异特征，其中包括空间相关注意力模块、通道相关注意力模块和变化差 异模块，具体细节如图3所示，包括以下子步骤：
步骤3.1.1，来自同尺度层的并行特征Fa,b被送入空间相关注意力模块。首先计算它们的 空间相关图CP，如图3(b)所示，计算如下：
其中，
是通过Fa转置和变形操作获得的结果，Fb ′是由Fb变形操作获得的结果，
表示 矩阵乘法。根据空间相关图CP，对Fa与Fb中变化相关的空间局部特征进行增强，与变化无关 的空间局部特征进行抑制，根据空间相关图CP的softmax归一化结果并与变形的Fa进行矩阵 相乘可获得增强的特征FPa，根据转置的空间相关图CP的softmax归一化结果并与变形的Fb进 行矩阵相乘可获得增强的特征FPb。最后，融合特征FPa和FPb去生成空间相关注意力权重WP， 融合过程包括使用将特征FPa和FPb进行连接(图3(b)中的C符号)、sigmoid变换获得特征 FPab，再经过1*1卷积和3*3卷积将通道数由2C压缩到C获得W′p，最终再经过sigmoid变 换。
步骤3.1.2，来自同尺度层的并行特征Fa,Fb被送入通道相关注意力模块。首先计算它们的 通道相关图CC，如图3(c)所示，计算如下：
其中，
是通过Fb转置和变形操作获得的结果，F′a是由Fa变形操作获得的结果，
表示 矩阵乘法。根据通道相关图CC，对Fa与Fb中变化相关的通道进行增强，其中与变化无关的通 道进行抑制，获得根据通道相关图CC进行增强的特征FCa和FCb。最后，融合特征FCa和FCb去生 成通道相关注意力权重WC。融合过程包括使用将特征FCa和FCb进行连接(图3(c)中的C符 号)、sigmoid变换获得特征FCab，再经过1*1卷积和3*3卷积将通道数由2C压缩到C获得 W′C，最终再经过sigmoid变换。
步骤3.1.3，来自同尺度层的并行特征Fa,Fb被送入变化差异模块。变化差异模块通过绝对 差分操作和串联操作两个分支来分别提取差异特征，最后将两个分支提取的差异特征进行融 合获得最终的差异特征FD,如图3(d)所示。Fd1由Fa,Fb进行绝对差分获得，Fab由Fa,Fb进行特 征连接获得，再经过1*1卷积可获得特征Fd2，最终Fd1和Fd2进行特征连接、1*1卷积、批次 归一化以及LeakyReLU变换获得最终的特征FD。
LeakyReLU(x)＝max(αx,x)
步骤3.1.4，来自同尺度层的并行特征Fa,Fb进行串联获得特征Fab。
步骤3.1.5，FD分别在WP,WC的引导下进行特征增强，获得由空间相关注意力引导的差异 特征FP和通道相关注意力引导的差异特征FC，如图3(a)所示，计算方式如下：
F′p＝WP⊙FD
F′c＝WC⊙FD
其中⊙表示逐元素点积操作，
表示逐元素加法操作。
将空间相关注意力引导的差异特征FP，通道相关注意力引导的差异特征FC和特征Fab进行 进一步融合获得最终的变化差异特征F。
步骤3.2，细化路径聚合金字塔模块对不同尺度层间的差异特征进行融合。
路径聚合金字塔网络在常规的top-down路径外增加bottom-up路径，在特征融合中可以 有效增强低层特征的表达。本发明提出的细化路径聚合金字塔模块在进行不同尺度特征的融 合时使用串联操作，而不是逐元素相加操作，这样可以自适应地融合低层与高层的特征，更 有效地捕捉不同尺度地物的语义变化。
C3-C5层的特征经过对偶相关注意力模块完成不同时相的特征融合，再经过top-down路 径完成不同尺度的特征融合。具体而言，以P4层特征的生成为例。C5层特征经过对偶相关 注意力模块直接获得P5层特征。P5层的特征经过上采样放大到与C4层特征相同的分辨率， 与C4层特征经过对偶相关注意力模块获得的特征进行融合获得P4层特征。具体方式是进行 特征连接并经过1*1卷积、3*3卷积、批次归一化和LeakyReLU变换。P3层的特征生成与P4 层特征生成方式相同。
之后，P3-P5层的特征经过bottom-up路径进一步进行特征融合生成特征N3～N5。具体而 言，以N4层特征的生成为例，N3层特征由P3层特征经过1*1卷积、3*3卷积、批次归一化 和LeakyReLU变换获得，N3层特征经过上采样缩小到P4层特征分辨率，与P4特征进行特征融合获得N4层特征，具体方式是进行特征连接并经过1*1卷积、3*3卷积、批次归一化和LeakyReLU变换。N5层的特征生成与N4层特征生成方式相同。
步骤4，来自细化路径聚合金字塔模块的不同尺度的特征(N3-N5)送入变化检测头以输出 边界框形式的变化对象预测。
对偶相关注意力引导的变化检测网络中，最后将不同尺度的差异特征送入网络的变化检 测头，以边界框的形式表示检测到的变化地理实体(如新增的建筑物、人工构筑物等)。
实施例中，步骤4包括以下子步骤：
步骤4.1，变化检测头共分为三层，检测头-S，检测头-M，检测头-L，分别对应来自细化 路径聚合金字塔模块的N3～N5层特征，根据监督信息并行地学习变化对象的变化置信度 Confchanged和坐标(x,y,w,h)。并使用先验框来快速而高效地学习变化对象的边界框的回归， 默认三个检测层上的先验框数都为3，所有先验框的长宽根据训练集数据进行kmeans聚类获 得。A是先验框数，C为特征通道数，W为特征图宽度，H为特征图高度。
步骤4.2，使用多任务损失函数，根据训练样本标签，对模型进行训练。损失函数Loss包 括边界框回归损失Lreg和变化置信预测损失LConf：
Loss＝λreg×Lreg+λConf×LConf
其中λreg表示回归损失在总损失中的权重，λConf表示变化置信预测损失对总损失的贡献。取 λreg＝1，λConf＝2.5。
包括以下子步骤：
步骤4.2.1，正负样本生成。
计算地面真值框尺寸与anchor尺寸之比。如果比率在设定的阈值(1/4～4)内，本发明将 anchor视为正样本(置信度为1)；否则，视为负样本(置信度为0)。
步骤4.2.2，计算边界框回归损失。使用CIoU损失函数作为边界框回归损失函数。
其中，b代表预测边界框的中心点坐标，
代表真值框的中心点坐标，IoU为交并比因子， 由预测框与真值框交集面积除去两者的并集面积，
是指预测边界框的中心点和地面 真值框的中心点之间的欧氏距离，c表示同时包含预测框和地面真值框的最小封闭矩形的对角 线距离，用v度量预测边界盒与地面真值盒的宽高比的相似性，
和
代表真值框的宽和长， w和h代表预测框的宽和长，α为权重系数，
步骤4.2.3，计算变化置信度预测损失。使用Focal损失函数作为变化置信度损失函数。
其中y′表示预测的变化置信度，y表示真正的置信度，α用于控制正样本和负样本对损失 的贡献，γ用于控制困难样本和简单样本对损失的贡献。在本发明的实验中，默认使用 α＝0.25和γ＝1.5。
步骤4.2.4，利用多任务损失，对于对偶相关注意力引导的对象级变化检测网络进行训 练，直到整个网络收敛至最优精度为止。
步骤4.3，将待检测的双时相影像对输入训练步骤4.2中训练好的网络，可以获得准确的 变化检测结果。待检测的双时相影像对的生成，和之前步骤对训练集的处理方式一致。
本发明对部分实验数据进行变化检测的预测结果可以看出，本发明能准确、鲁棒地对不 同场景下的遥感影像进行变化检测。实验结果可以证明，本发明专用于变化检测的数据增强 方法可以加快模型训练与提升模型性能，基于对偶相关注意力的检测网络通过对变化影像对 训练集进行端到端学习与训练，经对偶相关注意力机制引导，能有效抵抗影像对中的伪变化 干扰，具有较高的准确性和鲁棒性。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现 自动运行流程，实现方法的***装置例如存储本发明技术方案相应计算机程序的计算机可读 存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于对偶相关注意力的对象级遥感变化检测***，包 括以下模块，
第一模块，用于进行用于变化检测的数据增强，生成双输入流，实现方式包括对四对影 像对进行随机的时序交换和组合，得到一对合成影像对，对其中合成影像之一进行增强操作， 包括随机的几何变换、亮度变换、增加高斯噪声和色彩变换，对于另一个合成影像仅进行相 应的几何变换；
第二模块，用于设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺 度特征；
第三模块，用于在骨干网络的基础上设置对偶相关注意力引导的特征融合颈，所述特征 融合颈中设置对偶相关注意力模块引导网络关注同尺度的双时相特征在空间层次与通道层次 的相关性，来获取细化的差异特征，并设置细化路径聚合金字塔模块对不同尺度层间的特征 进行融合。
第四模块，用于最后将不同尺度的差异特征送入变化检测头，以边界框的形式预测变化 地物的位置、大小和变化置信度。
在一些可能的实施例中，提供一种基于对偶相关注意力的对象级遥感变化检测***，包 括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如 上所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
在一些可能的实施例中，提供一种基于对偶相关注意力的对象级遥感变化检测***，包 括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如 上所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技 术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不 会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种基于对偶相关注意力的对象级遥感变化检测方法，其特征在于：包括以下步骤，
步骤1，进行用于变化检测的数据增强，生成双输入流，实现方式包括对四对影像对进行随机的时序交换和组合，得到一对合成影像对，对其中合成影像之一进行增强操作，包括随机的几何变换、亮度变换、增加高斯噪声和色彩变换，对于另一个合成影像仅进行相应的几何变换；
步骤2，设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺度特征；
步骤3，在骨干网络的基础上设置对偶相关注意力引导的特征融合颈，所述特征融合颈中设置对偶相关注意力模块引导网络关注同尺度的双时相特征在空间层次与通道层次的相关性，来获取细化的差异特征，并设置细化路径聚合金字塔模块对不同尺度层间的特征进行融合；
步骤4，最后将不同尺度的差异特征送入变化检测头，以边界框的形式预测变化地物的位置、大小和变化置信度。
2.根据权利要求1所述基于对偶相关注意力的对象级遥感变化检测方法，其特征在于：所述共享权重的骨干网络中，通过分层特征融合策略实现特征重用，并截断过度重复的梯度信息，用于提取双时相影像的不同尺度的并行特征。
3.根据权利要求2所述基于对偶相关注意力的对象级遥感变化检测方法，其特征在于：使用CSPDarkNet-53网络构建孪生网络作为共享权重的骨干网络，提取五个尺度的特征，从顶层到底层依次标记为C1-C5层。
4.根据权利要求3所述基于对偶相关注意力的对象级遥感变化检测方法，其特征在于：双重协同注意力引导的特征融合颈对采用三个对偶相关注意力模块来自孪生CSPDarknet-53网络的C3-C5层的特征进行融合生成P3-P5层特征，然后采用细化路径聚合金字塔模块对不同尺度层间的差异特征进行融合。
5.根据权利要求1或2或3或4所述基于对偶相关注意力的对象级遥感变化检测方法，其特征在于：所述对偶相关注意力模块中包括空间相关注意力模块、通道相关注意力模块和变化差异模块，设来自同尺度层的并行特征Fa,Fb进行串联获得特征Fab，将空间相关注意力引导的差异特征FP，通道相关注意力引导的差异特征FC和特征Fab进行进一步融合获得最终的变化差异特征F。
6.根据权利要求4所述基于对偶相关注意力的对象级遥感变化检测方法，其特征在于：变化检测头共分为三层，检测头-S，检测头-M，检测头-L，分别对应来自细化路径聚合金字塔模块的N3-N5层特征，根据监督信息并行地学习变化对象的变化置信度和坐标，并使用先验框学习变化对象的边界框的回归；使用多任务损失函数，根据训练样本标签，对整体网络模型进行训练；将待检测的双时相影像对输入训练好的网络，获得准确的变化检测结果。
7.一种基于对偶相关注意力的对象级遥感变化检测***，其特征在于：用于实现如权利要求1-6任一项所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
8.根据权利要求7所述基于对偶相关注意力的对象级遥感变化检测***，其特征在于：包括以下模块，
第一模块，用于进行用于变化检测的数据增强，生成双输入流，实现方式包括对四对影像对进行随机的时序交换和组合，得到一对合成影像对，对其中合成影像之一进行增强操作，包括随机的几何变换、亮度变换、增加高斯噪声和色彩变换，对于另一个合成影像仅进行相应的几何变换；
第二模块，用于设置共享权重的骨干网络用于接收双输入流，提取双时相影像的不同尺度特征；
第三模块，用于在骨干网络的基础上设置对偶相关注意力引导的特征融合颈，所述特征融合颈中设置对偶相关注意力模块引导网络关注同尺度的双时相特征在空间层次与通道层次的相关性，来获取细化的差异特征，并设置细化路径聚合金字塔模块对不同尺度层间的特征进行融合。
第四模块，用于最后将不同尺度的差异特征送入变化检测头，以边界框的形式预测变化地物的位置、大小和变化置信度。
9.根据权利要求7所述基于对偶相关注意力的对象级遥感变化检测***，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-6任一项所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
10.根据权利要求7所述基于对偶相关注意力的对象级遥感变化检测***，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种基于对偶相关注意力的对象级遥感变化检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110692812.7A CN113609896B (zh) | 2021-06-22 | 2021-06-22 | 基于对偶相关注意力的对象级遥感变化检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110692812.7A CN113609896B (zh) | 2021-06-22 | 2021-06-22 | 基于对偶相关注意力的对象级遥感变化检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113609896A true CN113609896A (zh) | 2021-11-05 |
| CN113609896B CN113609896B (zh) | 2023-09-01 |
Family
ID=78336707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110692812.7A Active CN113609896B (zh) | 2021-06-22 | 2021-06-22 | 基于对偶相关注意力的对象级遥感变化检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113609896B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037912A (zh) * | 2022-01-07 | 2022-02-11 | 成都国星宇航科技有限公司 | 遥感图像的变化检测方法、装置及计算机可读存储介质 |
| CN114155200A (zh) * | 2021-11-09 | 2022-03-08 | 二十一世纪空间技术应用股份有限公司 | 基于卷积神经网络的遥感影像变化检测方法 |
| CN114821354A (zh) * | 2022-04-19 | 2022-07-29 | 福州大学 | 一种基于孪生多任务网络的城市建筑物变化遥感检测方法 |
| CN114937204A (zh) * | 2022-04-29 | 2022-08-23 | 南京信息工程大学 | 一种轻量级多特征聚合的神经网络遥感变化检测方法 |
| CN115114395A (zh) * | 2022-04-15 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 内容检索及模型训练方法、装置、电子设备和存储介质 |
| CN115601318A (zh) * | 2022-10-10 | 2023-01-13 | 广东昱升个人护理用品股份有限公司（Cn） | 快吸收低反渗纸尿裤智能生产方法及其*** |
| CN116385881A (zh) * | 2023-04-10 | 2023-07-04 | 北京卫星信息工程研究所 | 遥感图像地物变化检测方法及装置 |
| CN117574259A (zh) * | 2023-10-12 | 2024-02-20 | 南京工业大学 | 适用于高端装备的注意力孪生智能迁移可解释性诊断方法 |
| CN117671437A (zh) * | 2023-10-19 | 2024-03-08 | 中国矿业大学(北京) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
| CN111091712A (zh) * | 2019-12-25 | 2020-05-01 | 浙江大学 | 一种基于循环注意力对偶图卷积网络的交通流量预测方法 |
| CN112287123A (zh) * | 2020-11-19 | 2021-01-29 | 国网湖南省电力有限公司 | 一种基于边类型注意力机制的实体对齐方法及装置 |
| CN112949549A (zh) * | 2021-03-19 | 2021-06-11 | 中山大学 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
-
2021
- 2021-06-22 CN CN202110692812.7A patent/CN113609896B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
| CN111091712A (zh) * | 2019-12-25 | 2020-05-01 | 浙江大学 | 一种基于循环注意力对偶图卷积网络的交通流量预测方法 |
| CN112287123A (zh) * | 2020-11-19 | 2021-01-29 | 国网湖南省电力有限公司 | 一种基于边类型注意力机制的实体对齐方法及装置 |
| CN112949549A (zh) * | 2021-03-19 | 2021-06-11 | 中山大学 | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| YIFENG WANG 等: "Attention Modulated Multiple Object Tracking with Motion Enhancement and Dual Correlation", MDPI * |
| 张涵 等: "注意力引导的三维卷积网络用于遥感场景变化检测", 应用科学学报, vol. 39, no. 2 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155200A (zh) * | 2021-11-09 | 2022-03-08 | 二十一世纪空间技术应用股份有限公司 | 基于卷积神经网络的遥感影像变化检测方法 |
| CN114155200B (zh) * | 2021-11-09 | 2022-08-26 | 二十一世纪空间技术应用股份有限公司 | 基于卷积神经网络的遥感影像变化检测方法 |
| CN114037912A (zh) * | 2022-01-07 | 2022-02-11 | 成都国星宇航科技有限公司 | 遥感图像的变化检测方法、装置及计算机可读存储介质 |
| CN115114395B (zh) * | 2022-04-15 | 2024-03-19 | 腾讯科技（深圳）有限公司 | 内容检索及模型训练方法、装置、电子设备和存储介质 |
| CN115114395A (zh) * | 2022-04-15 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 内容检索及模型训练方法、装置、电子设备和存储介质 |
| CN114821354A (zh) * | 2022-04-19 | 2022-07-29 | 福州大学 | 一种基于孪生多任务网络的城市建筑物变化遥感检测方法 |
| CN114821354B (zh) * | 2022-04-19 | 2024-06-07 | 福州大学 | 一种基于孪生多任务网络的城市建筑物变化遥感检测方法 |
| CN114937204A (zh) * | 2022-04-29 | 2022-08-23 | 南京信息工程大学 | 一种轻量级多特征聚合的神经网络遥感变化检测方法 |
| CN115601318A (zh) * | 2022-10-10 | 2023-01-13 | 广东昱升个人护理用品股份有限公司（Cn） | 快吸收低反渗纸尿裤智能生产方法及其*** |
| CN116385881B (zh) * | 2023-04-10 | 2023-11-14 | 北京卫星信息工程研究所 | 遥感图像地物变化检测方法及装置 |
| CN116385881A (zh) * | 2023-04-10 | 2023-07-04 | 北京卫星信息工程研究所 | 遥感图像地物变化检测方法及装置 |
| CN117574259A (zh) * | 2023-10-12 | 2024-02-20 | 南京工业大学 | 适用于高端装备的注意力孪生智能迁移可解释性诊断方法 |
| CN117574259B (zh) * | 2023-10-12 | 2024-05-07 | 南京工业大学 | 适用于高端装备的注意力孪生智能迁移可解释性诊断方法 |
| CN117671437A (zh) * | 2023-10-19 | 2024-03-08 | 中国矿业大学(北京) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113609896B (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113609896B (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及*** | |
| CN112966684B (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| CN106547880B (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
| CN110598610B (zh) | 一种基于神经选择注意的目标显著性检测方法 | |
| Zhang et al. | Object-level change detection with a dual correlation attention-guided detector | |
| CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
| CN111783590A (zh) | 一种基于度量学习的多类别小目标检测方法 | |
| CN111401293B (zh) | 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法 | |
| CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
| WO2023019875A1 (zh) | 车辆损失检测方法、装置、电子设备及存储介质 | |
| CN115512103A (zh) | 多尺度融合遥感图像语义分割方法及*** | |
| CN113191204B (zh) | 一种多尺度遮挡行人检测方法及*** | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN114724155A (zh) | 基于深度卷积神经网络的场景文本检测方法、***及设备 | |
| Chen et al. | ASF-Net: Adaptive screening feature network for building footprint extraction from remote-sensing images | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、***、设备及存储介质 | |
| Huang et al. | Attention-guided label refinement network for semantic segmentation of very high resolution aerial orthoimages | |
| CN116645592A (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| Song et al. | PSTNet: Progressive sampling transformer network for remote sensing image change detection | |
| CN113361496B (zh) | 一种基于U-Net的城市建成区统计方法 | |
| CN113657225B (zh) | 一种目标检测方法 | |
| CN116311353A (zh) | 基于特征融合的密集行人多目标跟踪方法、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |