CN115376019A - 一种异源遥感影像对象级变化检测方法 - Google Patents

Abstract

本发明公开了一种异源遥感影像对象级变化检测方法，通过设计一种多尺度特征提取差分模块实现多尺度特征差分图的提取，并作为UNet++的补充输入，以提高网络对变化区域特征的学习能力；在此基础上，为实现像素级结果到地理对象的映射，设计不同尺度的自适应证据置信度指标，进而构建一种基于DS证据理论的WDSEF识别策略，实现像素级检测结果到对象的跨越。通过对ZY‑3/GF‑2以及GF‑1/GF‑2两个多时相异源影像数据集进行实验，并与多种深度学习方法进行对比，结果表明本发明能够显著提高对变化区域的识别能力，并有效减少“伪变化”影响，OA和F1分别可达95%和63.31%以上，且目视分析和定量评价均显著优于对比方法。

Description

一种异源遥感影像对象级变化检测方法

技术领域

本发明涉及一种异源遥感影像对象级变化检测方法，属于遥感影像变化检测技术领域。

背景技术

遥感影像变化检测通过对多时相图像进行对比分析从而获得变化的地理对象，目前已广泛应用于土地利用规划、灾害评估等领域。相较于单源影像方法，基于异源遥感影像的变化检测方法通过利用多模式数据的差异性与互补性有助于发现隐藏的知识和规律，同时具有更高的数据选择灵活性及方法可用性。近年来，随着不同对地观测平台的日益丰富，面向异源遥感影像的变化检测技术已成为遥感技术与应用领域中的研究热点。

与此同时，不同传感器带来的光谱、纹理及成像视角等差异降低了对象内部像素的空间一致性，导致变化检测过程面临的“伪变化”问题更为突出，即跨多传感器实现变化检测比单传感器更具挑战性。为此，学者们已经开展了广泛的研究工作并取得了诸多成果。Touati R等提出A Reliable Mixed-Norm-Based Multiresolution Change Detector inHeterogeneous Remote Sensing Images，将成像模态不变算子与多尺度特征相结合，以应对异源卫星图像中各结构区域高频特征的差异；WAN Ling等提出Object-based methodfor optical and SAR images change detection，先通过分割将图像划分为均匀的图像目标集合，再根据分类对象的隶属度定义判别准则对图像进行分类，进而获得异源图像的变化检测结果；杨进一等则联合视觉与语义特征，提出了一种基于词袋(Bag-Of-Words，BOW)模型和主动学习的变化检测方法，有助于减少由于异源影像成像差异而造成的“伪变化”。尽管如此，以上方法均采用用户定义的变化特征，检测性能容易受到先验知识、成像环境差异等制约因素的影响。

近年来，基于深度学习的遥感影像处理技术获得了学者们的广泛关注，并已在异源遥感影像变化检测任务中展现出了优异的性能。基于深度学习的变化检测方法从影像自身出发，利用神经网络强大的抽象化表示能力，自动提取多层次、多维度深层变化特征。LIUJia等提出了一种面向光学和SAR影像的深度卷积耦合网络，该网络由对称的卷积层和耦合层组成，通过将多时相图像分别转换到特征空间，从而得到更一致的特征表示。WANGMoyang等则提出了一种基于深度Siamese卷积网络与混合卷积特征提取模块(HybridConvolutional Feature Extraction Module，HCFEM)的异源图像监督变化检测方法，其具有的扩张卷积网络结构能够有效地提取深度变化特征。此外，采用UNet及其改进模型UNet++等分割网络的变化检测模型由于提取的特征与输入图像尺寸具有很好的一致性，且具有很强的细节特征提取能力，受到了学者们的广泛重视。PENG Xueli等新设计了一种面向光学影像变化检测的差分增强密集注意卷积神经网络(Difference-enhancement Dense-attention Convolutional Neural Network，DDCNN)，其使用UNet++结构作为主干，有效模拟高、低级特征之间的内在相关性，并结合差分增强(Difference Enhancement，DE)单元实现了聚合特征的加权提取。ZHENG Zhi等提出了一种基于UNet的跨层卷积神经网络(Cross-layer Network，CLNet)，其通过嵌入所设计的跨层块(Cross-Layer Block，CLB)以合并多尺度特征和多级上下文信息，在异源变化检测中取得了很好的效果。

尽管如此，在异源变化检测任务中，变化区域通常分布更加离散且表现形式差异显著，因而对变化信息的准确提取提出了更高要求。另一方面，传统UNet结构忽略了对变化区域的自主定位及变化特征的强化学习。此外，UNet作为一种语义分割网络，其输出的像素级变化检测结果与真实地理对象之间存在着显著的语义鸿沟，限制了其在变化检测领域中的实际应用。

发明内容

本发明所要解决的技术问题是：提供一种异源遥感影像对象级变化检测方法，设计一种多尺度特征提取差分模块实现多尺度特征差分图的提取，在此基础上，结合深度网络输出的像素级变化检测结果，提出一种加权DS证据融合策略，从而实现像素级检测结果到对象的跨越。

本发明为解决上述技术问题采用以下技术方案：

一种异源遥感影像对象级变化检测方法，包括如下步骤：

步骤1，对于待检测区域，获取两个不同时相下的遥感影像T1和T2，且T1和T2的分辨率不相同，以分辨率较低的遥感影像为基准，对分辨率较高的遥感影像进行重采样，获得相同分辨率的双时相遥感影像，并对双时相遥感影像进行配准处理；

步骤2，对配准后的双时相遥感影像进行影像分割，根据分割结果提取分割对象集合；

步骤3，采用UNet++_MSOF作为基础网络进行语义分割，在UNet++_MSOF的编码器部分设计多尺度特征提取差分模块MFED，所述多尺度特征提取差分模块包括第一和第二多尺度特征提取模块，通过第一和第二多尺度特征提取模块分别对配准后的双时相遥感影像进行差分后得到原始差分特征图D⁰，对D⁰执行下采样和卷积运算，得到差分特征图D¹，对D¹执行下采样和卷积运算，得到差分特征图D²，对D²执行下采样和卷积运算，得到差分特征图D³，对D³执行下采样和卷积运算，得到差分特征图D⁴，即得到与UNet++_MSOF编码器部分的五个卷积层分别对应的差分特征图，D⁰、D¹、D²、D³、D⁴对应作为UNet++_MSOF编码器部分第0、1、2、3、4个下采样层中第0个卷积单元的输入，从而得到MFED-UNet++五层像素级变化检测结果；

步骤4，当MFED-UNet++训练收敛后，得到MFED-UNet++各个卷积层的预测精度和损失函数值，利用预测精度和损失函数值设计自适应证据置信度指标；

步骤5，对于步骤2得到的分割对象集合中的任一分割对象，结合自适应证据置信度指标，采用加权DS证据融合策略进行变化对象的识别。

作为本发明的一种优选方案，所述步骤1中，采用遥感图像处理平台ENVI进行重采样并进行配准处理，为保证配准精度，通过调整和删除不符合要求的控制点，使均方根误差不超过0.5。

作为本发明的一种优选方案，所述步骤2中，采用智能化影像分析软件eCognition进行影像分割，基于双时相遥感影像中采集时间较晚的遥感影像进行目视解译调参，根据配准得到的坐标关系将分割边界投影到采集时间较早的遥感影像，从而获得包含N个对象的集合R_all。

作为本发明的一种优选方案，所述步骤3中，第一和第二多尺度特征提取模块结构相同，且经过第一和第二多尺度特征提取模块得到原始差分特征图D⁰的过程如下：对于配准后的双时相遥感影像，将其中一个遥感影像依次经过4个通道，第1通道分别对遥感影像进行最大池化和平均池化后，将最大池化和平均池化结果输入1×1卷积层，1×1卷积层的结果输入第一卷积注意力模块得到第1通道的结果；第2通道对遥感影像进行扩张率为1的3×3卷积后进入第二卷积注意力模块得到第2通道的结果；第3通道分别对遥感影像进行扩张率为1和2的3×3卷积后，利用Add函数融合扩张率为1和2的3×3卷积的结果，将融合得到的结果进入第三卷积注意力模块得到第3通道的结果；第4通道分别对遥感影像进行扩张率为2和5的3×3卷积后，利用Add函数融合扩张率为2和5的3×3卷积的结果，将融合得到的结果进入第四卷积注意力模块得到第4通道的结果；最后将第1至第4通道的结果进行合并后再经过1×1卷积层得到第一特征图；对另一个遥感影像进行上述相同的操作，得到第二特征图，将第一特征图和第二特征图做差，即得到原始差分特征图D⁰；

UNet++_MSOF编码器部分各卷积单元的输出特征映射，如下式所示：

其中，x_MFED ^i,j表示X^i,j的输出特征映射，X^i,j表示卷积单元，i表示第i个下采样层，j表示跳跃方向上的第j个卷积单元，C(·)表示卷积运算，后面跟着一个激活函数，▽(·)表示下采样操作，Δ(·)表示上采样操作，[·]表示串联操作；当j＝0时，该卷积单元仅接收来自上一个下采样层的一个输入；当j＞0时，该卷积单元接收来自跳跃连接层和上采样层的总共j+1个输入，

表示第i个下采样层路径中第k＝0,…,j-1个卷积层组成的密集跳跃连接特征图；

在此基础上，MSOF令四个输出节点{X^0,1,X^0,2,X^0,3,X^0,4}经过sigmoid层获得四个侧输出{Y⁰,Y¹,Y²,Y³}，然后通过连接四个侧输出的结果生成第五个输出节点：

其中，

表示串联操作，X^0,5通过sigmoid层生成第五个输出Y⁴，从而获得MFED-UNet++的五个输出{Y⁰,Y¹,Y²,Y³,Y⁴}。

作为本发明的一种优选方案，步骤4所述自适应证据置信度指标，具体表示如下：

其中，s＝1,2,…,5代表不同层次的网络深度，AECI_s表示第s层的自适应证据置信度指标，VA_s和L_s分别表示第s层的预测精度和损失函数值。

作为本发明的一种优选方案，所述步骤5的具体过程如下：

对于分割对象集合R_all中的任一分割对象R_n，n＝1,2,3…,N，N为集合中分割对象的数量，定义识别框架Θ：{P,Q}，其中，P和Q分别代表变化和未变化，则Θ的非空子集A包括{P}、{Q}和{P，Q}，在此基础上，定义基本概率分配函数公式为m:2^Θ→[0,1]，且满足以下约束条件：

则基于上述约束条件的合成规则如下：

其中，K为归一化常数，其反映证据间的冲突程度，

A'为集合；当K越小，即证据间的冲突越小，上述合成规则中的

起主要作用，合成结果近似于DS证据理论；当K→1时，即证据间高度冲突时，上述合成规则中的

起主要作用，AECI_s表示第s层的自适应证据置信度指标，最终，若m(P)≥m(Q)，则判定为变化对象；否则为未变化对象；遍历所有对象，得到对象级变化检测结果。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明通过设计一种多尺度特征提取差分模块实现多尺度特征差分图的提取，并作为UNet++的补充输入，以提高网络对变化区域特征的学习能力，有效减少“伪变化”；在此基础上，为实现像素级结果到地理对象的映射，设计一种不同尺度的自适应证据置信度指标，进而构建一种基于DS证据理论的WDSEF识别策略，从而最终实现了像素级检测结果到对象的跨越。

2、本发明方法在异源高分遥感影像变化检测上表现出比其他先进的方法更优异的性能，在两个异源数据集中总体精度(Overall Accuracy，OA)均达95％以上，F1分数(F1-score，F1)则分别达到63.31％、68.30％。

附图说明

图1是本发明一种异源遥感影像对象级变化检测方法的总体流程图；

图2是数据集，其中，(a)是数据集1，(b)是数据集2；

图3是一个样本对应的原始影像、影像分割以及标注结果；

图4是基于MFED-UNet++的像素级变化检测框架；

图5是MFEM模块展示；

图6是不同网络对数据集1的实验结果，其中，(a)是T1影像，(b)是T2影像，(c)是真值图，(d)是本发明方法，(e)是UNet++_MSOF，(f)是CLNet，(g)是OB-DSCNH，(h)是MPFF_CNN；

图7是不同网络对数据集2的实验结果，其中，(a)是T1影像，(b)是T2影像，(c)是真值图，(d)是本发明方法，(e)是UNet++_MSOF，(f)是CLNet，(g)是OB-DSCNH，(h)是MPFF_CNN；

图8是基于不同尺度输出的像素转对象的评价结果；

图9是影像空间分辨率对变化检测精度的影响，其中，(a)是数据集1下采样倍率，(b)是数据集1不同分辨率下的精度曲线，(c)是数据集2下采样倍率，(d)是数据集2不同分辨率下的精度曲线；

图10是数据扩增的有效性分析，其中，(a)是数据集1扩增后的效果，(b)是数据集2扩增后的效果。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明提出的异源遥感影像变化检测主要包括三个部分：①数据预处理；②基于MFED-UNet++的像素级变化检测；③联合多尺度证据融合的变化对象识别。具体流程如图1所示，T1和T2分别代表不同时相的影像。

1流程方法

1.1数据预处理

1.1.1异源影像配准与对象集合提取

由于双时相异源遥感影像通常存在着空间分辨率差异，为此本发明采用商业软件ENVI进行重采样并进行配准处理。其中，两个数据集均以低分辨率影像为基准，对高分辨率影像进行重采样。为保证配准精度，通过调整和删除不符合要求的控制点，确保均方根误差(Root Mean Square Error，RMSE)不超过0.5。

由于对象级变化检测要求在多时相影像中提取统一的对象集合，因此本发明对已配准影像进行进一步的影像分割。分割采用目前流行的商业软件eCognition中的多分辨率分割，其由分形网络演化算法(Fractal Network Evolution Algorithm，FNEA)发展而来。基于采集时间较晚的影像进行目视解译调参后，两组数据集中尺度参数，形状参数和紧致度参数分别设置为[35,0.5,0.3]和[34,0.6,0.3]。最后根据坐标对应关系将分割边界投影到另一时相影像中，从而获得包含N个对象的集合R_all。

1.1.2数据集标注

为验证所提出方法的精度及可靠性，实验采用两组异源高分遥感影像数据集。面对分辨率差异，采用1.1.1节中的策略，从而获得相同分辨率的多时相影像。其中，数据集1均采用南京和银川地区不同时相的高分一号(GF-1)和高分二号(GF-2)异源影像，空间分辨率分别为2m，0.81m，具体如图2的(a)所示；数据集2均采用南京和银川地区不同时相的资源3号(ZY-3)和GF-2异源影像，空间分辨率分别为2.1m，0.81m，具体如图2的(b)所示。

在此基础上，将原始影像裁剪为128×128像素的子图像集合，将每个子图像视为一个样本作为后续深度网络的输入。在样本标注中，结合目视分析和Google Earth对每个样本进行人工解译，并将该样本中的每个对象标注为“变化”或“未变化”。最终，数据集1共取得1232个样本，数据集2共取得1280个样本。如图3的(a)-(d)所示，分别展示了一个样本对应的T1时相原始影像、T2时相原始影像、影像分割结果以及标注结果(其中黑色为“未变化”，白色为“变化”)。

1.2基于MFED-UNet++的像素级变化检测

异源变化检测任务其实质是图像的二分类问题，为此本发明采用UNet++_MSOF作为基础网络进行语义分割。UNet++是一种编码器-解码器结构类型的网络，采用密集的跳跃连接结构，具有很强的特征提取和细节保留能力。在此基础上，通过采用多边输出融合策略(Multiple Side-output Fusion，MSOF)将高级语义信息和低级纹理特征结合起来，能更好地保留细节边缘，避免混淆效应。尽管如此，面对更加复杂的异源影像变化特征提取，UNet++并未专门强化对差分信息的学习，导致模型难以有效应对突出的“伪变化”问题。为此，本发明在编码器部分设计了一种新颖的多尺度特征提取差分模块MFED来增强对变化类特征的学习，从而提高模型对真实变化信息的鉴别能力。MFED-UNet++的基本框架如图4所示，其中MFEM(Multi-scale Feature Extraction Module)是多尺度特征提取模块，Y⁰,Y¹，…，Y⁴对应的5个输出结果分别代表了MFED-UNet++在不同深度网络中所提取的变化特征。

1.2.1 UNet++_MSOF的基本框架

如图4所示，UNet++由卷积单元、下采样模块、上采样模块以及卷积单元之间密集的跳跃连接组成。其中，卷积单元X^i,j采用VGG16中的块结构，x^i,j表示X^i,j的输出特征映射，i表示第i个下采样层，j表示跳跃方向上的第j个卷积单元，如公式(1)所示。

C(·)表示一个卷积运算，后面跟着一个激活函数，▽(·)表示下采样操作，Δ(·)表示上采样操作，[·]表示串联操作。当j＝0时，该卷积单元仅接收来自上一个下采样层的一个输入；当j＞0时，该卷积单元接收来自跳跃连接层和上采样层的总共j+1个输入。其中，

表示第i层路径中第k＝0,…,j-1个卷积层组成的密集跳跃连接特征图。以卷积模块X^0,4为例，x^0,4＝C([x^0,0,x^0,1,x^0,2,x^0,3,Δ(x^1,3)])表示将x^0,0,x^0,1,x^0,2,x^0,3和x^1,3的上采样结果串接，然后通过卷积运算和激活函数生成x^0,4。

在此基础上，MSOF令四个输出节点{X^0,1,X^0,2,X^0,3,X^0,4}经过sigmoid层获得四个侧输出{Y⁰,Y¹,Y²,Y³}，然后通过连接四个侧输出的结果生成第五个输出节点：

其中

表示串联操作。X^0,5通过sigmoid层生成第五个输出Y⁴，从而获得UNet++_MSOF的五个输出{Y⁰,Y¹,Y²,Y³,Y⁴}。

1.2.2 MFED模块

本发明所设计的MFED模块由MFEM以及多级差分模块构成，MFEM如图5所示。

MFEM联合了四个不同卷积层组成的通道：通道1通过将最大池化和平均池化并联在1×1卷积层之前，以增加对全局信息的感知；通道2采用了扩张率为1的3×3卷积模块；通道3通过Add函数融合扩张率为1和2的3×3卷积模块的输出结果；通道4通过Add函数融合扩张率为2和5的3×3卷积模块的输出结果，由此可获得通道2、3、4所提供的不同深度的抽象特征。在此基础上，在四条通道的输出位置加入了卷积注意力模块(Convolutional BlockAttention Module，CBAM)，从而使模型能够聚焦对异源影像关键特征的学习。

在MFED模块中，通过对多尺度特征进行差分后可获得原始差分特征图，并执行下采样和卷积单元运算，从而得到与UNet++_MSOF编码器部分的五个卷积层分别对应的差分特征Dⁱ:{D⁰,D¹,D²,D³,D⁴}。此时，公式(1)中的x^i,j在添加了设计的MFED模块后更新为x_MFED ^{i ,j}，如公式(3)所示。

当j＝0时，差分特征映射Dⁱ作为编码器部分卷积单元输入的一部分。由此可得到MFED-UNet++所输出的五层像素级变化检测结果。

1.3联合多尺度证据融合的变化对象识别

MFED-UNet++的输出反映了每个像素在不同网络深度中的多尺度变化信息。尽管如此，由于其来源于不同深度网络的学习结果，因此其可信程度(即置信度)也不尽相同。为此，首先设计了一种自适应证据置信度指标(Adaptive Evidence CredibilityIndicators，AECI)，以定量每层输出结果的可信程度。在此基础上，结合影像分割所提取的对象集合与DS证据理论，提出了一种联合多尺度证据融合的变化对象识别WDSEF。

1.3.1证据置信度指标AECI自适应提取

在MFED-UNet++训练过程中，通过对预测结果与验证集进行比较能够获得不同卷积层的预测精度和损失函数值。当深度学习模型收敛后，若某层对应的预测精度越高或损失函数越小，通常其输出结果的可信程度越高；此外，随着网络深度的增加，通常也意味着更好的非线性表达能力，从而能够学习更加复杂的变化特征。为此，综合预测精度、损失函数值及网络深度，提出了一种面向DS融合的证据置信度指标AECI，如公式(4)所示。

式中，s＝1,2,…,5代表不同层次的网络深度；训练过程中，本发明采用基于验证集的损失函数值取得最小作为模型收敛的依据，此时记录第s层的预测精度和损失函数值并分别用VA_s和L_s表示。由此可见，作为一种归一化指标，AECI可根据模型训练结果自适应确定。AECI越大，则预测结果的可信程度越高。

1.3.2基于DS理论的识别框架

令R_all中的任一对象为R_n(n＝1,2,3…,N)，定义识别框架Θ：{P,Q}，其中P和Q分别代表变化和未变化，则Θ的非空子集A包括{P}，{Q}和{P，Q}。在此基础上，定义基本概率分配函数公式(Basic Probability Assignment Functions，BPAF)为m:2^Θ→[0,1]，且满足以下条件：

则基于这个约束条件的合成规则如下：

其中，归一化常数

其反映了证据间的冲突程度。当K较小时，即证据间的冲突较小，公式(6)中的

起主要作用，合成结果近似于经典DS证据理论。当K→1时，即证据间高度冲突时，合成结果主要由

决定，AECI_s即为1.3.1节自适应提取的证据置信度。最终，若m(P)≥m(Q)，则判定为变化对象；否则为未变化对象。遍历所有对象，则可得到对象级变化检测结果。

2实验与结果分析

2.1实验设置与对比方法

本发明采用1.1.2节中的两组异源高分遥感影像数据集开展实验，每组数据集按照6：1：3的样本比例划分为训练集，验证集和测试集。此外，实验采用Keras实现，TensorFlow作为后端，采用基于交叉熵的损失函数^[24]，所有卷积层的卷积核大小均设置为3×3像素。

在此基础上，本发明选择了4种先进的对比方法进行比较实验，具体包括：①UNet++_MSOF，该框架在UNet++的特征融合阶段采用了一种MSOF策略，能够有效地捕获复杂场景中不同尺度的变化信息^[23]。②CLNet，通过在UNet结构中嵌入CLB模块，能够有效融合多尺度特征和多级上下文信息。③MPFF-CNN，该框架通过融合不同尺度输入下得到的特征，充分利用样本的空间特征信息，结合影像分割和投票法得到变化检测结果。④OB-DSCNH，该框架面向异源遥感影像变化检测，提出了基于Siamese网络和混合卷积的特征提取模块。其中，前两种是像素级的变化检测方法，本发明依据像素内比例占优的像素类别确定对象级变化检测结果；后两者则可以直接获得对象级变化检测结果。此外，四种对比方法均采用本发明所提取的对象集合，作为开展对象级精度评价的基本单元。

2.2不同网络的性能比较

2.2.1实验结果与目视分析

为便于目视分析，在数据集1和数据集2实验中各选择了2块具有代表性的区域进行展示。两组数据集中，区域1主要是建筑物密集区中个别建筑物的新建或拆除，对应了建成区中开展的部分区域更新改造应用场景；区域2主要是由大面积的荒地与变为整齐排列的密集建筑物区域，对应城市快速发展过程中对荒地的原始开发场景。在此基础上，进一步采用橙色框代表真实变化区域，紫色框代表未变化但光谱、纹理等存在较大差异的区域，如图6的(a)-(h)和图7的(a)-(h)所示。

由图6-7可见，本发明方法在两种常见的实际应用场景中，变化检测效果显著优于其他4种对比方法。与本发明方法相比，UNet++_MSOF，CLNet和MPFF_CNN均属于单源影像的变化检测方法，这些方法将多时相影像进行通道合并输进网络进行训练，而没有针对性的加强对图像中的可能变化区域的特征提取能力，因此会很容易受到异源影像中“伪变化”的影响。如图6的(f)和(h)的区域1以及区域2的浅灰色框区域所示，CLNet和MPFF_CNN存在明显的漏检；而在图7的(e)的两个区域以及图7(h)的区域1的深灰色框区域中，UNet++_MSOF和MPFF_CNN则出现了误检，主要是将阴影检测为变化区域。OB-DSCNH与本发明方法均属于异源检测方法，利用前后时相的图像分别进行多尺度特征提取后得到的差分特征，来应对异源影像中“伪变化”严重的问题。尽管如此，OB-DSCNH仅依赖图像之间的差分特征，而忽视了原始单时相影像的抽象特征，所以容易在变化特征不明显的区域出现漏检，如图6的(g)以及图7的(g)的区域2中的深灰色框区域所示。与之相比，本发明的MFED模块在特征提取阶段引入了注意力机制，且差分特征仅作为判别变化与否的辅助信息，因此效果更好。

2.2.2定量评价

为了验证提出方法的有效性，本发明采用准确率(Precision，P)、召回率(Recall，R)、F1、OA和Kappa系数进行了精度评价。其中，P和R反映了变化对象检测结果的单类精度，P越大则虚警率越低，R越大则漏检率越低；F1反映了P和R的均衡评价结果，OA和Kappa系数则揭示了变化检测的整体性能，它们的值越大则检测精度越高。定义分别如下：

其中

其中TP、TN、FP、FN分别代表真阳性、真阴性、假阳性、假阴性。以变化对象为例，TP为变化被正确预测为变化概率；TN为非变化预测为非变化概率；FP为非变化预测为变化概率；FN为变化预测为非变化概率。结合上述评价指标与本发明所提取的对象集合R_all，对不同方法的对象级变化检测结果进行定量评价，如表1所示：

表1不同方法的对象级变化检测结果定量评价

如上表所示，在两组数据集中，本发明方法的OA分别达到了95.74％和95.67％，Kappa系数则分别达到了0.5593和0.6593，显著优于其他对比方法。同时，由于在两组数据集中非变化对象的比例分别达到了94％和92％，导致了精度指标存在一定程度的虚高。为此，基于P、R进一步评价本发明方法对变化对象的检测性能。在第一组数据集中分别为60.91％和65.90％，在第二组数据集中分别为63.25％和74.23％，相较于OB-DSCNH分别提高了9％、3％以上。此外，相较于本发明方法，三种单源影像方法UNet++_MSOF、CLNet和MPFF_CNN的F1分别下降了9％、5％和8％以上。因此，本发明方法的检测精度显著优于其他对比方法，与目视分析结论一致。

3验证

3.1 MFED模块嵌入效果分析

为单独验证MFED模块的有效性，在均采用WDSEF的条件下，本发明分别对基础网络UNet++_MSOF在嵌入MFED模块前后的检测效果进行了对比实验，结果如表2所示。

表2 MFED模块的嵌入效果分析，“√”和“-”分别表示该模块被使用和未使用

由此可见，在嵌入MFED模块后，两组数据集实验中的OA提高了1％以上，Kappa和F1都提高了8％以上，P分别提高了5.8％、1.8％，R则提高了10％以上。因此，在UNet++语义分割网络中，通过引入多尺度特征差分机制，有助于提高其对变化区域的特征提取能力，证明了所构建MFED模块是可行且有效的。

3.2深度网络输出像素级结果对比分析

为单独验证所构建模型中深度网络部分的性能，在采用相同训练设置基础上，对不同网络的像素级预测结果进行定量评价，结果如表3所示。其中，本发明方法采用最深层网络的输出结果进行评价。

表3不同方法的像素级预测结果定量评价

由表3可见，与对象级检测结果分析结论类似，本发明方法的深度网络输出结果依然显著优于4种对比方法。其中，OA在两组数据集实验中分别达到了95.73％和95.01％，F1分别达到60.06％和63.74％。由此可看出在都不采用像素到对象的映射的情况下，本发明设计的网络能更准确地识别出异源遥感影像中的变化区域。另一方面，对比表1和表3可以看出，经过像素到对象映射后，所有方法的各类精度评价指标都有所提升，这说明，以对象作为分析基元有助于提高对变化区域的分类精度。

3.3多尺度差分特征有效性分析

为了进一步验证所提取的多尺度差分特征的必要性，基于WDSEF，分别对全部尺度和每个尺度的对象级输出结果采用F1进行精度评价，结果如图8所示。

图8中，Y⁰,Y¹,Y²,Y³,Y⁴分别代表不同尺度，Y^0～4代表全部尺度的集合。由图可知，预测精度并不一定随着网络深度的增加而提高(如Y³的精度略低于Y²)，但Y⁰～Y⁴整体上呈现出逐渐上升的趋势。此外，本发明基于WDSEF综合利用了不同尺度的变化特征，预测精度显著优于单一尺度。因此，各个尺度的差分特征之间具有互补性，即联合多尺度特征的策略是可行且必要的。

3.4AECI有效性分析

在本发明提出的WDSEF中，自适应提取的AECI作为一个关键参数，反映了每个尺度差分特征的可信程度。为了证明其有效性，本发明对所有尺度直接赋予一致的可信程度，并与采用AECI的效果进行对比，结果如表4所示。

表4 AECI有效性分析，“√”和“-”分别表示该模块被使用和未使用

结果如表4所示，采用AECI后各项精度都有一定的提高，尤其是在数据集1中，F1提高了1.5％。因此，尽管采用不同尺度有助于从多个角度刻画差分特征，但其可靠程度存在差异。另一方面也说明，本发明结合验证集的损失函数和精度来确定AECI的策略是合理且有效的。

3.5图像分辨率

当影像的空间分辨率越高时，同一个地物对象内包含更多像素，因此包含更多的细节变化信息。为了分析不同分辨率的训练样本对网络训练效果的影响，本发明对原始影像分别按照0.4，0.6和0.8倍进行了下采样。在此基础上，利用两组异源数据集进行训练，并进行精度评价。空间分辨率与变化检测精度的关系曲线如图9(a)、(b)、(c)和(d)所示。

由图可见，随着分辨率的上升，采用本发明方法的P、R、F1都呈逐渐上升趋势。和原始影像相比，在两组数据集中，0.4倍下采样后的P分别下降了10.83％，13.91％；R分别下降了5.61％，8.94％；F1分别下降了8.6％，12.03％。因此，更加丰富的细节信息有助于提高变化区域的检测精度，在数据集的分辨率越高则网络训练效果越好。

3.6数据集扩增

为了进一步分析数据集扩增对模型性能的影响，在原始数据集基础上，采用旋转、镜像和平移操作来增加训练样本。经过扩增，两个数据集分别包含2864和3920个样本。精度评价结果如图10的(a)和(b)所示。

如图10所示，随着标记样本数量的增加，P、R、F1、OA和Kappa均有显著提高，在数据集1中分别提高了0.1％、6％、2.14％、0.28％、2.43％，在数据集2中分别提高了1.41％、2.85％、1.98％、0.87％、3.12％。因此，通过样本集扩容有助于进一步提高所提出模型的性能。

面向对象级的异源遥感影像变化检测，本发明提出了一种联合UNet++和多级差分模块的异源遥感影像变化检测方法。其中，通过设计一种MFED模块实现了多尺度特征差分图的提取，并作为UNet++的补充输入，以提高网络对变化区域特征的学习能力，从而有效减少“伪变化”；在此基础上，为实现像素级结果到地理对象的映射，设计了一种不同尺度的自适应置信度指标AECI，进而构建了一种基于DS证据理论的WDSEF识别策略。通过对ZY-3/GF-2以及GF-1/GF-2两个多时相高分异源影像数据集进行实验，并与多种先进的深度学习方法进行对比分析，结果表明所提出方法能够显著提高对变化区域的识别能力，同时有效减少“伪变化”的影响，OA和F1分别可达95％和63.31％以上，且目视分析和定量评价均显著优于对比方法。尽管如此，本发明仅研究了成像差异相对较小的异源光学遥感影像，未来将围绕更加复杂的光学与SAR影像变化检测展开研究。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种异源遥感影像对象级变化检测方法，其特征在于，包括如下步骤：

步骤1，对于待检测区域，获取两个不同时相下的遥感影像T1和T2，且T1和T2的分辨率不相同，以分辨率较低的遥感影像为基准，对分辨率较高的遥感影像进行重采样，获得相同分辨率的双时相遥感影像，并对双时相遥感影像进行配准处理；

步骤2，对配准后的双时相遥感影像进行影像分割，根据分割结果提取分割对象集合；

步骤3，采用UNet++_MSOF作为基础网络进行语义分割，在UNet++_MSOF的编码器部分设计多尺度特征提取差分模块MFED，所述多尺度特征提取差分模块包括第一和第二多尺度特征提取模块，通过第一和第二多尺度特征提取模块分别对配准后的双时相遥感影像进行差分后得到原始差分特征图D⁰，对D⁰执行下采样和卷积运算，得到差分特征图D¹，对D¹执行下采样和卷积运算，得到差分特征图D²，对D²执行下采样和卷积运算，得到差分特征图D³，对D³执行下采样和卷积运算，得到差分特征图D⁴，即得到与UNet++_MSOF编码器部分的五个卷积层分别对应的差分特征图，D⁰、D¹、D²、D³、D⁴对应作为UNet++_MSOF编码器部分第0、1、2、3、4个下采样层中第0个卷积单元的输入，从而得到MFED-UNet++五层像素级变化检测结果；

步骤4，当MFED-UNet++训练收敛后，得到MFED-UNet++各个卷积层的预测精度和损失函数值，利用预测精度和损失函数值设计自适应证据置信度指标；

步骤5，对于步骤2得到的分割对象集合中的任一分割对象，结合自适应证据置信度指标，采用加权DS证据融合策略进行变化对象的识别。

2.根据权利要求1所述的异源遥感影像对象级变化检测方法，其特征在于，所述步骤1中，采用遥感图像处理平台ENVI进行重采样并进行配准处理，为保证配准精度，通过调整和删除不符合要求的控制点，使均方根误差不超过0.5。

3.根据权利要求1所述的异源遥感影像对象级变化检测方法，其特征在于，所述步骤2中，采用智能化影像分析软件eCognition进行影像分割，基于双时相遥感影像中采集时间较晚的遥感影像进行目视解译调参，根据配准得到的坐标关系将分割边界投影到采集时间较早的遥感影像，从而获得包含N个对象的集合R_all。

4.根据权利要求1所述的异源遥感影像对象级变化检测方法，其特征在于，所述步骤3中，第一和第二多尺度特征提取模块结构相同，且经过第一和第二多尺度特征提取模块得到原始差分特征图D⁰的过程如下：对于配准后的双时相遥感影像，将其中一个遥感影像依次经过4个通道，第1通道分别对遥感影像进行最大池化和平均池化后，将最大池化和平均池化结果输入1×1卷积层，1×1卷积层的结果输入第一卷积注意力模块得到第1通道的结果；第2通道对遥感影像进行扩张率为1的3×3卷积后进入第二卷积注意力模块得到第2通道的结果；第3通道分别对遥感影像进行扩张率为1和2的3×3卷积后，利用Add函数融合扩张率为1和2的3×3卷积的结果，将融合得到的结果进入第三卷积注意力模块得到第3通道的结果；第4通道分别对遥感影像进行扩张率为2和5的3×3卷积后，利用Add函数融合扩张率为2和5的3×3卷积的结果，将融合得到的结果进入第四卷积注意力模块得到第4通道的结果；最后将第1至第4通道的结果进行合并后再经过1×1卷积层得到第一特征图；对另一个遥感影像进行上述相同的操作，得到第二特征图，将第一特征图和第二特征图做差，即得到原始差分特征图D⁰；

UNet++_MSOF编码器部分各卷积单元的输出特征映射，如下式所示：

其中，x_MFED ^i,j表示X^i,j的输出特征映射，X^i,j表示卷积单元，i表示第i个下采样层，j表示跳跃方向上的第j个卷积单元，C(·)表示卷积运算，后面跟着一个激活函数，

表示下采样操作，Δ(·)表示上采样操作，[·]表示串联操作；当j＝0时，该卷积单元仅接收来自上一个下采样层的一个输入；当j＞0时，该卷积单元接收来自跳跃连接层和上采样层的总共j+1个输入，

表示第i个下采样层路径中第k＝0,…,j-1个卷积层组成的密集跳跃连接特征图；

在此基础上，MSOF令四个输出节点{X^0,1,X^0,2,X^0,3,X^0,4}经过sigmoid层获得四个侧输出{Y⁰,Y¹,Y²,Y³}，然后通过连接四个侧输出的结果生成第五个输出节点：

其中，

表示串联操作，X^0,5通过sigmoid层生成第五个输出Y⁴，从而获得MFED-UNet++的五个输出{Y⁰,Y¹,Y²,Y³,Y⁴}。

5.根据权利要求1所述的异源遥感影像对象级变化检测方法，其特征在于，步骤4所述自适应证据置信度指标，具体表示如下：

其中，s＝1,2,…,5代表不同层次的网络深度，AECI_s表示第s层的自适应证据置信度指标，VA_s和L_s分别表示第s层的预测精度和损失函数值。

6.根据权利要求1所述的异源遥感影像对象级变化检测方法，其特征在于，所述步骤5的具体过程如下：

对于分割对象集合R_all中的任一分割对象R_n，n＝1,2,3…,N，N为集合中分割对象的数量，定义识别框架Θ：{P,Q}，其中，P和Q分别代表变化和未变化，则Θ的非空子集A包括{P}、{Q}和{P，Q}，在此基础上，定义基本概率分配函数公式为m:2^Θ→[0,1]，且满足以下约束条件：

则基于上述约束条件的合成规则如下：

其中，K为归一化常数，其反映证据间的冲突程度，

A'为集合；当K越小，即证据间的冲突越小，上述合成规则中的

起主要作用，合成结果近似于DS证据理论；当K→1时，即证据间高度冲突时，上述合成规则中的

起主要作用，AECI_s表示第s层的自适应证据置信度指标，最终，若m(P)≥m(Q)，则判定为变化对象；否则为未变化对象；遍历所有对象，得到对象级变化检测结果。

Images