CN114022793A - 一种基于孪生网络的光学遥感图像变化检测方法 - Google Patents

Abstract

本发明公开一种基于孪生网络的光学遥感图像变化检测方法，由边界可感知的孪生卷积神经网络处理实现，该网络包括双流深度残差模块、多尺度配对特征融合模块、位置引导模块以及多尺度特征聚合模块。本发明通过有效地融合配对特征以及引入位置信息，精确的预测了多时相遥感图像的差异区域，进一步提高了模型的性能。

Description

一种基于孪生网络的光学遥感图像变化检测方法

技术领域

本发明涉及光学遥感图像变化检测技术领域，特别是涉及一种基于孪生网络的光学遥感图像变化检测方法。

背景技术

遥感技术是人类科技史上的重大成就，它通过各种传感仪器收集地球表面的信息，极大地提高了人类对地球的认识和监测。变化检测是遥感领域最重要的研究课题之一，它旨在识别同一地理位置的多时相遥感图像的差异区域。变化检测技术广泛应用于环境监测、城市扩张调查、土地覆盖测绘和自然灾害评估等任务。近年来，遥感图像的分辨率的不断提高和数据量的持续增长给遥感图像处理带来了新的机遇和挑战，高效的自动变化检测技术变得越来越重要。传统的遥感图像变化检测方法不仅运算速度慢，而且需要丰富的经验和大量的时间来针对性地设计模型，难以适应当今日益增长的需求。因此，探索计算高效和预测准确的变化检测模型十分有必要，需要进一步找到具有良好表现的解决方案。

在城市化进程快速发展的今天，土地利用信息在不断变化，而人工实地调研过于繁琐，不仅需要耗费大量的人力物力财力，而且难以满足当前时代的基本需求。传统的变化检测算法大致分为三个步骤：首先是图像预处理阶段，主要包括图像配准、去噪等操作，目的是消除各种其他因素带来的图像差异。然后通过基于像素或基于对象的方法来分析多时相遥感图像，采用图像差值或者特征提取技术来构建有用的特征表示。最后，采用基于学习的方法或者手动设计一个分类模型对提取到的特征进行分类以判断变化类别，常用的分类模型包括决策树、支持向量机、马尔可夫随机场等。简而言之，传统方法通过提取多时相遥感图像的浅层特征特征并使用传统的分类模型对特征进行分类，最终实现二值变化图的预测。尽管它在过去十几年内取得了一些成功，但它高度依赖于经验设计的特征提取算法和分类算法，这非常耗时且泛化性能差。

随着深度学习技术的飞速发展，基于深度学习的变化检测算法在遥感领域取得了显著的成果。深度卷积神经网络是应用最广泛的深度学习模型之一，具有强大的表示能力，以纯数据驱动的方式学习多时相遥感图像与二值变化图之间的端到端映射。孪生卷积网络作为一种特殊的卷积神经网络，在视频语义分割、视频目标检测、对比学习等领域取得了巨大的成功。受到孪生卷积网络在上述领域成功应用的启发，研究人员对其网络架构加以改进以适用于遥感图像变化检测任务，并展示出了比传统方法更强大的性能。在多数情况下，孪生卷积网络比其他架构的卷积神经网络具有更加强大检测性能，主要原因是它能独立地提取多时相遥感图像的深度特征。在当前的研究中，基于孪生卷积网络的变化检测方法主要包括两种：第一种方法以特征度量为核心，首先通过孪生卷积网络提取原始图像的特征，然后度量特征之间的距离来判断变化类别(距离近的特征表示该位置没有发生变化，距离远的特征表示该位置发生变化)；第二种方法以特征分类为核心，首先采用孪生卷积网络独立提取原始图像的深度特征，然后设计一个判别网络对特征进行解码并判断每个像素的变化类别。

从整体上看，以特征分类为核心的孪生卷积网络要优于以特征度量为核心的孪生卷积网络。以特征分类为核心的的孪生卷积网络主要由两个部分组成，分别是双流特征提取网络以及特征判别网络。首先由双流特征提取网络分别提取多时相遥感图像的深度配对特征，然后对深度配对特征进行融合，最后由特征判别网络对特征进行分类判别以实现变化类别的预测。

近年来，研究人员对孪生卷积网络模型进行了大量的研究，特征提取网络通常采用相似的方法且已经趋于成熟，因此如何有效地融合配对特征和判别特征成为了提升模型性能的关键。近期的一些研究尝试引入注意力机制来促进多时相遥感图像的特征融合并提升网络的判别能力。然而，引入注意力机制并不能充分地融合特征和提升判别能力。此外，引入注意力机制极大地增加了计算量，并且性能提升十分有限。

为了实现高效且准确的遥感图像变化检测，需要进一步探索高效的特征融合模块和准确的特征判别模块。其中高效的特征融合模块将来自特征提取网络的配对特征融合成更具区分度的特征表示；特征判别模块对融合后的特征进行解码并判断每个像素的变化类别。然而，当前的变化检测模型缺乏对特征融合模块和特征判别模块的深入研究，这严重影响了检测结果的准确性，阻碍了模型检测能力的提高。因此，如何设计高效的特征融合模块和准确的特征判别模块是提高模型性能的关键。

发明内容

本发明的目的是针对现有技术中存在的技术缺陷，提出了一种基于孪生网络的光学遥感图像变化检测方法，旨在通过提升模型的特征提取、融合以及判别能力，实现对多时相遥感图像差异区域的精准预测；该方法准确地预测了多时相遥感图像中的变化区域，同时获得了清晰的边界。

为实现本发明的目的所采用的技术方案是：

一种光学遥感图像变化检测方法，由边界可感知的孪生卷积神经网络处理实现，该生卷积神经网络包括双流深度残差模块、多尺度配对特征融合模块、位置引导模块以及多尺度特征聚合模块；

处理步骤如下：

由多个卷积模块提取同一地理区域不同时间段的光学遥感图像X_t0和X_t1的浅层特征

和

将浅层特征

和

送入权重共享的双流深度残差模块分别进行逐层特征提取来获取K个不同尺度的深层配对特征

与

将同一尺度的深层配对特征

与

送入多尺度配对特征融合模块进行融合，并采用跳过连接构建单个的更高层次的多尺度特征

将多尺度特征

被送入位置引导模块进行特征解码，形成多尺度特征

将多尺度特征

送入多尺度配对特征聚合模块精炼特征，最终精确预测二值变化图M。

作为一优选的技术方案，所述的双流深度残差模块具体处理步骤如下：

卷积模块提取光学遥感图像X_t0和X_t1的浅层特征

和

其中，f(·)表示卷积模块；

通过权重共享的双流深度残差网络提取多个不同尺度的深层配对特征

与

其中r^k(·)表示深度残差网络的第k阶段，

与

分别表示t₀和t₁时间段的遥感图像的第k层深度特征，k＝1,...,K表示一共有K层。

作为一个优选技术方案，所述多尺度配对特征融合模块步骤如下：

对同一尺度的深层配对特征

和

进行逐通道相加操作，然后进行通道重构操作，实现特征图在通道维度上的均匀混合；重构后的特征将会被送入多个卷积模块融合以获取更高层次的特征表示：

其中，[·]表示逐通道相加的操作，shuffle(·)表示通道重构操作，

表示第k层重构后的特征，f_res表示残差卷积模块，

表示第k层融合后的特征；

通过跳过连接及最大池化操作对融合后特征组合，得到多尺度特征

其中，MP(·)表示最大池化操作,

表示第k层的多尺度特征。

作为一优选的技术方案，所述位置引导模块包括空间金字塔池化模块和一系列的引导流，所述空间金字塔池化模块包括一系列不同核大小的池化操作和卷积模块，用于构建全局位置特征F^g以实现变化区域精确定位；所述引导流则用于将全局位置特征F^g传递给解码器的每一个阶段，作用于第K层的深层配对特征

和深层配对特征

其步骤如下：

由一个卷积模块初步融合配对特征，并减少其通道数；表示如下:

其中，

与

表示来自双流深度残差模块的第K层特征；

使用最大池化操作对融合后的特征

进行处理，获得不同尺度的特征

并通过卷积模块处理不同尺度的特征

以捕获不同感受野；之后通过逐通道相加操作将多个特征合并成一含位置信息的全局位置特征F^g：

其中，MP_m(·)表示核大小随着m变化的最大池化操作，m＝1,...,M表示一共获得了M个不同尺度的特征；

通过一系列的引导流将全局位置特征F_g传递给解码器的每一个阶段处理，形成多尺度特征

表示如下:

其中，fⁿ(·)表示n个连续的卷积模块，

表示来自多尺度配对特征融合模块的特征，UP(·)表示双线性插值上采样。

作为优选的技术方案，所述多尺度特征聚合模块的具体步骤如下：

所述多尺度特征聚合模块的具体步骤如下：

双线性插值上采样模块将多尺度特征

上采样到相同尺寸，并通过逐通道相加操作合并成新的特征F_r0：

将新的特征F_r0送入多个连续卷积模块，逐步融合得到融合特征F_r1：

F_r1＝fⁿ(F_r0).

对融合特征F_r1进行双线性插值上采样以恢复原始尺寸，得到精炼特征F_r2：

F_r2＝UP(F_r1).

使用一卷积层和Sigmoid函数对精炼特征F_r2进行非线性映射以实现变化图M的预测：

M＝Sig(g(F_r2)),

其中g(·)表示核大小为1×1或3×3的卷积层，用于减少精炼特征F_r2的通道数，使其通道数降低为1，Sig(·)表示Sigmoid函数，用于将输出值转换为0到1之间的概率值；

通过预选的阈值s将变化图M每个像素的概率转化为0或1，其中0代表该像素没有变化，1代表该像素发生了变化：

其中，P_k表示变化图M的第k个像素的概率。

作为一优化的技术方案，该孪生卷积神经网络的处理过程中，使用混合损失函数监督每个像素及其周围局部区域帮助网络训练，该混合损失函数包括二分类交叉熵损失函数、结构相似性损失函数；二分类交叉熵损失函数用于约束单个像素的解空间，结构相似性损失函数作用于像素的局部区域和变化区域的边缘；

混合损失函数表示如下：

其中，

表示混合损失函数，l^(k)表示第k层的输出，l_bce、l_ssim分别表示二分类交叉熵损失函数和结构相似性损失函数，λ表示结构相似性损失函数的权重；

二分类交叉熵损失函数平等地惩罚图像的每个像素，计算公式如下：

其中，G(i,j)表示二维空间坐标为(i,j)的像素的真实值，取值为0或1；P(i,j)表示二维空间坐标为(i,j)的像素的预测概率，取值在0到1之间；

结构相似性损失函数作用于每个像素的局部区域，计算公式如下：

其中，x＝{x_j:j＝1,...,N²}和y＝{y_j:j＝1,...,N²}分别表示标签和预测结果的局部图像块的像素值，μ_x,μ_y分别表示x和y的均值，σ_x,σ_y分别表示x和y的标准差，σ_xy表示x和y的协方差，C₁和C₂为数值小的常数项。

本发明首先利用双流深度残差模块来分别提取多时相遥感图像的深层特征，然后利用多尺度配对特征融合模块实现配对特征的融合，并通过位置引导模块来构建位置信息以实现变化区域的精确定位，同时逐渐解码融合后的特征，最后使用多尺度特征聚合模块融合并精炼解码后的特征，最终实现变化图的预测。此外本发明提出的混合损失函数，进一步提高了网络的检测能力，获得了结构完整且边缘清晰的变化图。

附图说明

图1为本发明实施例的边界可感知的孪生卷积神经网络的结构图。

图2为本发明实施例的多尺度配对特征融合模块的结构图。

图3为本发明实施例的空间金字塔池化模块的结构图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明首先利用双流深度残差模块提取多时相遥感图像的深度配对特征，然后通过多尺度特征融合模块进行配对特征的融合，最后利用位置引导模块和多尺度特征聚合模块对融合后的特征进行解码以及分类。

具体的，如图1所示，本发明提出的边界可感知的孪生卷积神经网络结构，包括双流深度残差模块、多尺度配对特征融合模块(Multi-Scale Paired Fusion Module，MPFM)、位置引导模块(Location Guidance Module,LGM)以及多尺度特征聚合模块(Multi-LevelFeature Aggregation Module,MFAM)。

首先由卷积模块提取光学遥感图像X_t0和X_t1的浅层特征

和

其中，f(·)表示卷积模块，由卷积层、批量归一化与线性整流激活函数组成。

然后通过权重共享的双流深度残差模块提取多个不同尺度的深层配对特征

与

其中r^k(·)表示深度残差网络的第k阶段，

与

分别表示t₀和t₁时间段的遥感图像的第k层深度特征，k＝1,...,K表示一共有K层。

所述的双流深度残差模块，通过堆叠多个残差卷积模块逐渐提取多时相遥感图像的配对特征，将低维图像数据逐渐转换到高维特征空间，保证了能够提取出有效的深度特征。

本发明实施例中，通过多尺度配对特征融合模块(MPFM)融合所获得的多个不同尺度的配对特征，显著提升了模型的检测性能。其具体结构如图1所示，其处理步骤如下：

首先对同一尺度的配对特征

和

进行逐通道相加操作，然后进行通道重构操作，实现特征图在通道维度上的均匀混合。重构后的特征将会被送入多个卷积模块进一步融合以获取更高层次的特征表示：

其中，[·]表示逐通道相加的操作，shuffle(·)表示通道重构操作，

表示第k层重构后的特征。其中，f_res表示残差卷积模块，由卷积模块和跳过连接组成。

表示第k层融合后的特征。

然后通过跳过连接及最大池化操作对融合后的特征进行组合，得到多尺度的特征表示：

其中，MP(·)表示最大池化操作,

表示第k层的多尺度特征。

所述多尺度配对特征融合模块来融合深度配对特征，通过多个卷积模块逐渐融合配对特征，并采用跳过连接构建多尺度特征，实现了特征的高效融合，有效地提升了模型的检测性能。

本发明实施例中，提出一个位置引导模块(LGM)来精确定位变化区域，位置引导模块由空间金字塔池化模块和一系列的引导流组成，空间金字塔池化模块的结构如图2所示。

具体来说，第K层配对特征被进一步送入空间金字塔池化模块进行全局特征提取。空间金字塔池化模块由最大池化操作和卷积模块组成，通过池化操作的灵活运用来获得不同感受野。

空间金字塔池化模块由多个不同核大小的最大池化操作和卷积模块组成，作用于最后一层(即第K层)深度配对特征

和

步骤如下：

首先由一个卷积模块初步融合配对特征，并减少其通道数，表示如下:

其中，

与

表示来自双流深度残差模块的第K层特征。

然后使用一系列的最大池化操作对融合后的特征

进行处理，以获得不同尺度的特征

通过卷积模块进一步处理不同尺度的特征

以捕获不同感受野。最后，通过逐通道相加操作将多个特征合并成一个含有位置信息的全局特征F^g：

其中，MP_m(·)表示核大小随着m变化的最大池化操作，m＝1,...,M表示一共获得了M个不同尺度的特征。

最后，一系列的引导流将F_g传递给解码器的每一个阶段。解码器由多个的卷积模块和双线性插值上采样组成，表示如下:

其中，fⁿ(·)表示n个连续的卷积模块，

表示来自多尺度配对特征融合模块的特征，UP(·)表示双线性插值上采样。

所述位置引导模块来构建位置信息，并通过传递位置信息来引导解码特征。首先利用空间金字塔池化模块构建全局位置信息，然后使用全局引导流将位置信息传递给解码器的每一阶段，进一步增强了模型对变化区域精准定位的能力。

本发明实施例中，通过多尺度特征聚合模块(MFAM)来融合并精炼解码后的特征，多尺度特征聚合模块(MFAM)的结构如图3所示。

首先由双线性插值上采样将多尺度特征

上采样到相同尺寸，并通过逐通道相加操作合并成新的特征F_r0：

然后F_r0被送入多个连续卷积模块，逐步融合得到特征F_r1：

F_r1＝fⁿ(F_r0). (9)

然后对特征F_r1进行双线性插值上采样以恢复原始尺寸：

F_r2＝UP(F_r1). (10)

此时，特征F_r2已恢复到原始尺寸。最后使用一个卷积层(核大小通常为1×1或3×3)和Sigmoid函数对精炼特征F_r2进行非线性映射以实现变化图M的预测：

M＝Sig(g(F_r2)), (11)

其中g(·)表示核大小为1×1或3×3的卷积层，用于减少特征F_r2的通道数，使其通道数降低为1。Sig(·)表示Sigmoid函数，用于将输出值转换为0到1之间的概率值。

最后，通过选择合适的阈值s(通常设置为0.5或0.7)将变化图M每个像素的概率转化为0或1，其中0代表该像素没有变化，1代表该像素发生了变化：

其中，P_k表示变化图M的第k个像素的概率。

所述多尺度特征聚合模块，通过逐渐融合多尺度特征来精炼特征，最终实现二值变化图的准确预测。同时设计了混合损失函数用于监督每个像素及其周围局部区域，有效地提高了二值变化图中变化区域边界的质量。

为了获得结构工整和边缘完整的变化图，本发明设计混合损失函数来帮助网络训练。混合损失函数由二分类交叉熵损失函数、结构相似性损失函数组成。二分类交叉熵损失函数用于约束单个像素的解空间，结构相似性损失函数则关注像素的相邻局部区域和变化区域的边缘。混合损失函数表示如下：

其中，

表示混合损失函数，l^(k)表示第k层的输出，l_bce、l_ssim分别表示二分类交叉熵损失函数和结构相似性损失函数，λ表示结构相似性损失函数的权重。

二分类交叉熵损失函数平等地惩罚图像的每个像素，计算公式如下：

其中，G(i,j)表示二维空间坐标为(i,j)的像素的真实值，取值为0或1；P(i,j)表示二维空间坐标为(i,j)的像素的预测概率，取值在0到1之间。

结构相似性损失函数关注每个像素的局部区域，计算公式如下：

其中，x＝{x_j:j＝1,...,N²}和y＝{y_j:j＝1,...,N²}分别表示标签和预测结果的局部图像块的像素值，μ_x,μ_y分别表示x和y的均值，σ_x,σ_y分别表示x和y的标准差，σ_xy表示它们的协方差，C₁和C₂为数值很小的常数项(如0.0001和0.0009)，用于避免出现分母为零的情况。

本发明设计的孪生卷积网络更加有针对性的关注变化区域的边缘，通过传递位置信息实现更精确的预测，并采用多尺度特征聚合模块来精炼特征，进一步提升了差异区域的边缘质量。

以上所述仅是本发明的优化后的实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.基于孪生网络的光学遥感图像变化检测方法，其特征在于，由边界可感知的孪生卷积神经网络处理实现，该生卷积神经网络包括双流深度残差模块、多尺度配对特征融合模块、位置引导模块以及多尺度特征聚合模块；

处理步骤如下：

由多个卷积模块提取同一地理区域不同时间段的光学遥感图像X_t0和X_t1的浅层特征

和

将浅层特征

和

送入权重共享的双流深度残差模块分别进行逐层特征提取来获取K个不同尺度的深层配对特征

与

将同一尺度的深层配对特征

与

送入多尺度配对特征融合模块进行融合，并采用跳过连接构建单个的更高层次的多尺度特征

将多尺度特征

被送入位置引导模块进行特征解码，形成多尺度特征

将多尺度特征

送入多尺度配对特征聚合模块精炼特征，最终精确预测二值变化图M。

2.根据权利要求1所述基于孪生网络的光学遥感图像变化检测方法，其特征在于，所述双流深度残差模块的处理步骤如下：

卷积模块提取光学遥感图像X_t0和X_t1的浅层特征

和

其中，f(·)表示卷积模块；

通过权重共享的双流深度残差网络提取多个不同尺度的深层配对特征

与

其中r^k(·)表示深度残差网络的第k阶段，

与

分别表示t₀和t₁时间段的遥感图像的第k层深度特征，k＝1,...,K表示一共有K层。

3.根据权利要求2所述基于孪生网络的光学遥感图像变化检测方法，其特征在于，所述的多尺度配对特征融合模块的处理步骤如下：

对同一尺度的深层配对特征

和

进行逐通道相加操作，然后进行通道重构操作，实现特征图在通道维度上的均匀混合；重构后的特征将会被送入多个卷积模块融合以获取更高层次的特征表示：

其中，[·]表示逐通道相加的操作，shuffle(·)表示通道重构操作，

表示第k层重构后的特征，f_res表示残差卷积模块，

表示第k层融合后的特征；

通过跳过连接及最大池化操作对融合后特征组合，得到多尺度特征

其中，MP(·)表示最大池化操作,

表示第k层的多尺度特征。

4.根据权利要求3所述基于孪生网络的光学遥感图像变化检测方法，其特征在于，所述位置引导模块包括空间金字塔池化模块和一系列的引导流，所述空间金字塔池化模块包括一系列不同核大小的池化操作和卷积模块，用于构建全局位置特征F^g以实现变化区域精确定位；所述引导流则用于将全局位置特征F^g传递给解码器的每一个阶段，作用于第K层的深层配对特征

和深层配对特征

其步骤如下：

由一个卷积模块初步融合配对特征，并减少其通道数；表示如下:

其中，

与

表示来自双流深度残差模块的第K层特征；

使用最大池化操作对融合后的特征

进行处理，获得不同尺度的特征

并通过卷积模块处理不同尺度的特征

以捕获不同感受野；之后通过逐通道相加操作将多个特征合并成一含位置信息的全局位置特征F^g：

其中，MP_m(·)表示核大小随着m变化的最大池化操作，m＝1,...,M表示一共获得了M个不同尺度的特征；

通过一系列的引导流将全局位置特征F_g传递给解码器的每一个阶段处理，形成多尺度特征

表示如下:

其中，fⁿ(·)表示n个连续的卷积模块，

表示来自多尺度配对特征融合模块的特征，UP(·)表示双线性插值上采样。

5.根据权利要求4所述基于孪生网络的光学遥感图像变化检测方法，其特征在于，所述多尺度特征聚合模块的具体步骤如下：

双线性插值上采样模块将多尺度特征

上采样到相同尺寸，并通过逐通道相加操作合并成新的特征F_r0：

将新的特征F_r0送入多个连续卷积模块，逐步融合得到融合特征F_r1：

F_r1＝fⁿ(F_r0).

对融合特征F_r1进行双线性插值上采样以恢复原始尺寸，得到精炼特征F_r2：

F_r2＝UP(F_r1).

使用一卷积层和Sigmoid函数对精炼特征F_r2进行非线性映射以实现变化图M的预测：

M＝Sig(g(F_r2)),

其中g(·)表示核大小为1×1或3×3的卷积层，用于减少精炼特征F_r2的通道数，使其通道数降低为1，Sig(·)表示Sigmoid函数，用于将输出值转换为0到1之间的概率值；

通过预选的阈值s将变化图M每个像素的概率转化为0或1，其中0代表该像素没有变化，1代表该像素发生了变化：

其中，P_k表示变化图M的第k个像素的概率。

6.根据权利要求5所述基于孪生网络的光学遥感图像变化检测方法，其特征在于，该孪生卷积神经网络的处理过程中，使用混合损失函数监督每个像素及其周围局部区域帮助网络训练，该混合损失函数包括二分类交叉熵损失函数、结构相似性损失函数；二分类交叉熵损失函数用于约束单个像素的解空间，结构相似性损失函数作用于像素的局部区域和变化区域的边缘；

混合损失函数表示如下：

其中，

表示混合损失函数，l^(k)表示第k层的输出，l_bce、l_ssim分别表示二分类交叉熵损失函数和结构相似性损失函数，λ表示结构相似性损失函数的权重；

二分类交叉熵损失函数平等地惩罚图像的每个像素，计算公式如下：

其中，G(i,j)表示二维空间坐标为(i,j)的像素的真实值，取值为0或1；P(i,j)表示二维空间坐标为(i,j)的像素的预测概率，取值在0到1之间；

结构相似性损失函数作用于每个像素的局部区域，计算公式如下：

其中，x＝{x_j:j＝1,...,N²}和y＝{y_j:j＝1,...,N²}分别表示标签和预测结果的局部图像块的像素值，μ_x,μ_y分别表示x和y的均值，σ_x,σ_y分别表示x和y的标准差，σ_xy表示x和y的协方差，C₁和C₂为数值小的常数项。

Images