CN116778207A - 一种基于空间频域的无监督深度多尺度sar图像变化检测方法 - Google Patents

Abstract

本发明提出一种基于空间频域的无监督深度多尺度SAR图像变化检测方法。所述方法通过分层模糊C均值聚类对根据检测地区SAR图像生成的差异图像进行伪标签提取，解决了标签不足的问题。让SAR图像变化检测的方法适用于更多场景。本发明利用输入SAR图像的空间信息和频域信息，并提出了空间多区域多尺度深层特征提取，以这种方式捕获到的图像特征更利于检测。本发明分别在空间域和频域引入注意力机制和门控线性单元，以此来提高本发明对变化细节的灵敏程度并且降低SAR图像固有散斑噪声的影响，提高检测精度。

Description

一种基于空间频域的无监督深度多尺度SAR图像变化检测 方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及合成孔径雷达(SyntheticAperture Radar,SAR)图像变化检测的方法，特别是涉及一种基于空间频域的无监督深度多尺度SAR图像变化检测方法。

背景技术

遥感图像变化检测是通过对不同时间同一场景的遥感图像进行分析获得变化信息的过程。合成孔径雷达(SAR)作为遥感技术之一，由于其微波成像原理，在成像过程中不受阳光、云层和天气的影响，为变化检测提供了独特的优势。然而，由于SAR成像***基本单元的随机后向散射使相位角失去连续性，导致SAR图像中存在散斑噪声。这些固有的散斑噪声使检测技术难以准确的检测出变化区域。

传统的检测技术采用阈值分割和聚类作为获取变化信息的主要方法，但阈值的微小变动会导致结果出现较大的误差使检测精度较差，而聚类方法对噪声比较敏感，SAR图像中固有的散斑噪声降低了聚类方法的检测精度。随着深度学***。因此，标签的不足和散斑噪声的干扰是SAR图像变化检测面临的两个重要挑战。

发明内容

本发明目的是为了解决标签不足和散斑噪声干扰的问题，提出了一种基于空间频域的无监督深度多尺度SAR图像变化检测方法，以提高SAR图像变化检测的检测精度。

本发明是通过以下技术方案实现的，本发明提出一种基于空间频域的无监督深度多尺度SAR图像变化检测方法，所述方法包括：

步骤1：对已获得的同一地区不同时间的两幅SAR图像I₁和I₂进行对数比操作，得到差异图像I_d；

步骤2：利用伪标签生成器对差异图像I_d进行伪标签提取，以此构建训练和测试数据集；

步骤3：将生成的训练数据集输入到空间频域的无监督深度多尺度网络中进行训练；

步骤4：计算交叉熵损失，进行反向传播；

步骤5：将测试数据集输入到训练后的无监督深度多尺度网络中，对测试数据集中的像素点进行标签预测；

步骤6：将获得的预测标签与训练数据集中的伪标签进行结合获得最终关于输入地区的变化信息。

进一步地，在步骤1中，对数比操作的计算过程为：

其中log代表以e为底的对数运算，|·|代表进行绝对值运算。

进一步地，所述步骤2具体为：

步骤2.1：对差异图像I_d进行分层模糊C均值聚类，将差异图像I_d中的像素划分为3个类别，即变化类、不变类与不确定类；像素点对应的类别信息即为该像素点的伪标签；

步骤2.2：从变化类和不变类中选取部分像素点，以选中像素点为中心从两幅输入SAR图像I₁、I₂和差异图像I_d中分别提取r×r大小的图像块并进行拼接，将拼接后的图像块与图像块中心像素点的伪标签共同作为训练数据集；

步骤2.3：以不确定类中的像素为中心，从两幅输入SAR图像I₁、I₂和差异图像I_d中分别提取r×r大小的图像块并进行拼接构成测试数据集。

进一步地，所述的空间频域的无监督深度多尺度网络对输入数据分别进行空间特征和频域特征的提取，将提取到的特征拼接后判断其变化或没变的可能性，根据可能性的高低得到其对应的像素类别。

进一步地，所述步骤3具体为：

步骤3.1：对输入数据进行卷积升维操作；

对输入执行卷积操作，其卷积核的大小为n×1×1，得到尺寸为n×r×r大小的卷积特征；

步骤3.2：对特征进行多区域选择；

将得到的特征分为P₁、P₂和P₃三个部分，每个部分尺寸大小均为

选取P₁的水平区域，即忽略P₁水平上方和下方的边缘区域，保留P₁的水平中心区域得到尺寸大小为的水平区域；

选取P₂的垂直区域，即忽略P₂垂直方向上左侧和右侧的边缘区域，保留P₂的垂直中心区域得到尺寸大小为的垂直区域；

保留P₃完整区域得到尺寸大小为的全区域；

步骤3.3：进行深层多尺度特征提取；

步骤3.4：将生成的图像块执行快速傅里叶变换得到频域特征，将频域特征通过三个门控线性单元，第三个门控单元输出的特征即为频域特征；

其中一个门控线性单元计算过程为：

其中D_l是第l个门控线性单元的输出，X_l是第l个门控线性单元的输入，W₁和W₂是权重矩阵，a和b是偏置；

步骤3.5：将获得的最终的空间特征与频域特征进行拼接后送入全连接层，得到对应的预测标签。

进一步地，所述步骤3.3具体为：

步骤3.3.1：将步骤3.1得到的水平区域、垂直区域和全区域首先与大小为的卷积核进行卷积，分别得到第一层水平特征/>第一层垂直特征/>和第一层全区域特征/>

步骤3.3.2：将第一层水平特征和第一层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为/>的第一层填充水平特征/>和第一层填充垂直特征/>将第一层全区域特征/>通过通道-空间注意力机制后得到第一层关键特征/>将第一层填充水平特征/>第一层填充垂直特征/>和第一层关键特征/>进行相加得到第一层空间特征F₁；

第一层空间特征F₁计算过程为：

步骤3.3.3：将得到的第一层空间特征F₁再次进行多区域选择；

步骤3.3.4：将步骤3.3.3得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k₂＞k₁，分别得到第二层水平特征/>第二层垂直特征/>和第二层全区域特征/>

步骤3.3.5：将第二层水平特征和第二层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为/>的第二层填充水平特征/>和第二层填充垂直特征/>将第二层全区域特征/>通过通道-空间注意力机制后得到第二层关键特征/>将第二层填充水平特征/>第二层填充垂直特征/>和第二层关键特征/>进行相加得到第二层空间特征F₂；

第二层空间特征F₂计算过程为：

步骤3.3.6：将得到的第二层空间特征F₂进行多区域选择；

步骤3.3.7：将步骤3.3.6得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k₃＞k₂，分别得到第三层水平特征/>第三层垂直特征/>和第三层全区域特征/>

步骤3.3.8：将第三层水平特征和第三层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为/>的第三层填充水平特征/>和第三层填充垂直特征/>将第三层全区域特征/>通过通道-空间注意力机制后得到第三层关键特征/>将第三层填充水平特征/>第三层填充垂直特征/>和第三层关键特征/>进行相加得到第三层空间特征F₃；

第三层空间特征F₃计算过程为：

步骤3.3.9：将步骤3.3.2、步骤3.3.5和步骤3.3.8得到的空间特征进行多尺度融合得到最终的空间特征；

将步骤3.3.5和步骤3.3.8得到的第二层空间特征F₂与第三层空间特征F₃执行转置卷积操作，分别得到大小为和/>的特征；将尺寸为的特征通过零元素将其填充为尺寸为/>的特征；最后将步骤3.3.2的第一层空间特征F₁和步骤3.3.9中尺寸均为/>的特征进行拼接后进行卷积运算，得到最终的空间特征。

进一步地，所述交叉熵损失函数计算过程如下：

其中l_i是第i个样本通过为标签生成器获得的伪标签，p_i是第i个样本的预测标签，T₁是训练样本的数量。

进一步地，步骤3.3.2、步骤3.3.5、步骤3.3.8中通道-空间注意力机制按照以下方法实施：

将获得的第l层特征分别通过全局平均池化和全局最大池化得到平滑特征/>和尖锐特征/>再此之后将平滑特征/>和尖锐特征/>分别送入具有一个隐藏层的多层感知机中，通过元素求和的方式得到通道注意力映射M_C；

通道注意力映射M_C的计算过程为：

其中σ表示Sigmoid函数，MLP(·)表示多层感知机，Avg(·)表示平均池化层，Max(·)表示最大池化层；

将得到的通道注意力映射M_C与获得的第l层全区域特征逐元素相乘，让注意力值在空间维度得到传播得到，得到第l层通道加权特征/>

第l层通道加权特征计算过程为：

其中表示逐元素相乘；

将得到的第l层通道加权特征沿着通道维度上执行平均池化和最大池化操作，分别得到空间平滑特征/>和空间尖锐特征/>并沿着通道维度将上述两个特征进行拼接，最后通过卷积运算生成空间注意力映射M_s；

空间注意力映射M_s的计算过程为：

其中[；]表示通道串联；

将得到的空间注意力映射M_s与第l层通道加权特征逐元素相乘得到第l层关键特征/>

第l层关键特征计算过程为：

本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于空间频域的无监督深度多尺度SAR图像变化检测方法的步骤。

本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于空间频域的无监督深度多尺度SAR图像变化检测方法的步骤。

与现有技术相比，本发明的有益效果是：

1、通过分层模糊C均值聚类对根据检测地区SAR图像生成的差异图像进行伪标签提取，解决了标签不足的问题。让SAR图像变化检测的方法适用于更多场景。

2、本发明利用输入SAR图像的空间信息和频域信息，并提出了空间多区域多尺度深层特征提取，以这种方式捕获到的图像特征更利于检测。

3、本发明分别在空间域和频域引入注意力机制和门控线性单元，以此来提高本发明对变化细节的灵敏程度并且降低SAR图像固有散斑噪声的影响，提高检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明所述一种基于空间频域的无监督深度多尺度SAR图像变化检测方法的流程框图。

图2是本发明图像处理过程的示意图。

图3是通道-空间注意力机制的示意图。

图4是本发明输入数据的示意图。

图5是本发明与现有方法的效果比较图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种基于空间频域的无监督深度多尺度SAR图像变化检测方法，所述方法包括：

步骤1：对已获得的同一地区不同时间的两幅SAR图像I₁和I₂进行对数比操作，得到差异图像I_d；

步骤2：利用伪标签生成器对差异图像I_d进行伪标签提取，以此构建训练和测试数据集；

步骤3：将生成的训练数据集输入到空间频域的无监督深度多尺度网络中进行训练；

步骤4：计算交叉熵损失，进行反向传播；

步骤5：将测试数据集输入到训练后的无监督深度多尺度网络中，对测试数据集中的像素点进行标签预测；

步骤6：将获得的预测标签与训练数据集中的伪标签进行结合获得最终关于输入地区的变化信息。

在步骤1中，对数比操作的计算过程为：

其中log代表以e为底的对数运算，|·|代表进行绝对值运算。

所述步骤2具体为：

步骤2.1：对差异图像I_d进行分层模糊C均值聚类，将差异图像I_d中的像素划分为3个类别，即变化类、不变类与不确定类；像素点对应的类别信息即为该像素点的伪标签；

步骤2.2：从变化类和不变类中选取部分像素点，以选中像素点为中心从两幅输入SAR图像I₁、I₂和差异图像I_d中分别提取r×r大小的图像块并进行拼接，将拼接后的图像块与图像块中心像素点的伪标签共同作为训练数据集；

步骤2.3：以不确定类中的像素为中心，从两幅输入SAR图像I₁、I₂和差异图像I_d中分别提取r×r大小的图像块并进行拼接构成测试数据集。

所述的空间频域的无监督深度多尺度网络对输入数据分别进行空间特征和频域特征的提取，将提取到的特征拼接后判断其变化或没变的可能性，根据可能性的高低得到其对应的像素类别。

所述步骤3具体为：

步骤3.1：对输入数据进行卷积升维操作；

对输入执行卷积操作，其卷积核的大小为n×1×1，得到尺寸为n×r×r大小的卷积特征；

步骤3.2：对特征进行多区域选择；

将得到的特征分为P₁、P₂和P₃三个部分，每个部分尺寸大小均为

选取P₁的水平区域，即忽略P₁水平上方和下方的边缘区域，保留P₁的水平中心区域得到尺寸大小为的水平区域；

选取P₂的垂直区域，即忽略P₂垂直方向上左侧和右侧的边缘区域，保留P₂的垂直中心区域得到尺寸大小为的垂直区域；

保留P₃完整区域得到尺寸大小为的全区域；

步骤3.3：进行深层多尺度特征提取；

步骤3.4：将生成的图像块执行快速傅里叶变换得到频域特征，将频域特征通过三个门控线性单元，第三个门控单元输出的特征即为频域特征；

其中一个门控线性单元计算过程为：

其中D_l是第l个门控线性单元的输出，X_l是第l个门控线性单元的输入，W₁和W₂是权重矩阵，a和b是偏置；

步骤3.5：将获得的最终的空间特征与频域特征进行拼接后送入全连接层，得到对应的预测标签。

所述步骤3.3具体为：

步骤3.3.1：将步骤3.1得到的水平区域、垂直区域和全区域首先与大小为的卷积核进行卷积，分别得到第一层水平特征/>第一层垂直特征/>和第一层全区域特征/>

步骤3.3.2：将第一层水平特征和第一层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为/>的第一层填充水平特征/>和第一层填充垂直特征/>将第一层全区域特征/>通过通道-空间注意力机制后得到第一层关键特征/>将第一层填充水平特征/>第一层填充垂直特征/>和第一层关键特征/>进行相加得到第一层空间特征F₁；

第一层空间特征F₁计算过程为：

步骤3.3.3：将得到的第一层空间特征F₁再次进行多区域选择；

步骤3.3.4：将步骤3.3.3得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k₂＞k₁，分别得到第二层水平特征/>第二层垂直特征/>和第二层全区域特征/>

步骤3.3.5：将第二层水平特征和第二层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为/>的第二层填充水平特征/>和第二层填充垂直特征/>将第二层全区域特征/>通过通道-空间注意力机制后得到第二层关键特征/>将第二层填充水平特征/>第二层填充垂直特征/>和第二层关键特征/>进行相加得到第二层空间特征F₂；

第二层空间特征F₂计算过程为：

步骤3.3.6：将得到的第二层空间特征F₂进行多区域选择；

步骤3.3.7：将步骤3.3.6得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k₃＞k₂，分别得到第三层水平特征/>第三层垂直特征/>和第三层全区域特征/>

步骤3.3.8：将第三层水平特征和第三层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为/>的第三层填充水平特征/>和第三层填充垂直特征/>将第三层全区域特征/>通过通道-空间注意力机制后得到第三层关键特征/>将第三层填充水平特征/>第三层填充垂直特征/>和第三层关键特征/>进行相加得到第三层空间特征F₃；

第三层空间特征F₃计算过程为：

步骤3.3.9：将步骤3.3.2、步骤3.3.5和步骤3.3.8得到的空间特征进行多尺度融合得到最终的空间特征；

将步骤3.3.5和步骤3.3.8得到的第二层空间特征F₂与第三层空间特征F₃执行转置卷积操作，分别得到大小为和/>的特征；将尺寸为的特征通过零元素将其填充为尺寸为/>的特征；最后将步骤3.3.2的第一层空间特征F₁和步骤3.3.9中尺寸均为/>的特征进行拼接后进行卷积运算，得到最终的空间特征。

所述交叉熵损失函数计算过程如下：

其中l_i是第i个样本通过为标签生成器获得的伪标签，p_i是第i个样本预测标签，T₁是训练样本的数量。

步骤3.3.2、步骤3.3.5、步骤3.3.8中通道-空间注意力机制按照以下方法实施：

将获得的第l层特征分别通过全局平均池化和全局最大池化得到平滑特征/>和尖锐特征/>再此之后将平滑特征/>和尖锐特征/>分别送入具有一个隐藏层的多层感知机中，通过元素求和的方式得到通道注意力映射M_C；

通道注意力映射M_C的计算过程为：

其中σ表示Sigmoid函数，MLP(·)表示多层感知机，Avg(·)表示平均池化层，Max(·)表示最大池化层；

将得到的通道注意力映射M_C与获得的第l层全区域特征逐元素相乘，让注意力值在空间维度得到传播得到，得到第l层通道加权特征/>

第l层通道加权特征计算过程为：

其中表示逐元素相乘；

将得到的第l层通道加权特征沿着通道维度上执行平均池化和最大池化操作，分别得到空间平滑特征/>和空间尖锐特征/>并沿着通道维度将上述两个特征进行拼接，最后通过卷积运算生成空间注意力映射M_s；

空间注意力映射M_s的计算过程为：

其中[；]表示通道串联；

将得到的空间注意力映射M_s与第l层通道加权特征逐元素相乘得到第l层关键特征/>

第l层关键特征计算过程为：

以下是结合具体实例，对本发明进行了详细说明。

本发明提出一种基于空间频域的无监督深度多尺度SAR图像变化检测方法，所述方法包括：

步骤1：对已获得的同一地区不同时间的两幅SAR图像I₁和I₂进行对数比操作，得到差异图像I_d；

对数比操作的计算过程为：

其中log代表以e为底的对数运算，|·|代表进行绝对值运算；

步骤2：利用伪标签生成器对差异图像I_d进行伪标签提取，以此构建训练和测试数据集；

步骤2.1：对差异图像I_d进行分层模糊C均值聚类，将差异图像I_d中的像素划分为3个类别，即变化类、不变类与不确定类。像素点对应的类别信息即为该像素点的伪标签；

步骤2.2：从全部变化类像素点中选取三分之一的像素点，从全部不变类像素点中选取十分之一的像素点，以选中像素点为中心从两幅输入SAR图像I₁、I₂和差异图像I_d中提取15×15大小的图像块并进行拼接组成大小为的3×15×15图像块。将拼接后的图像块与图像块中心像素点的伪标签作为训练数据集；

步骤2.3：以不确定类中的像素为中心，从两幅输入SAR图像I₁、I₂和差异图像I_d中提取15×15大小的图像块并进行拼接组成大小为3×15×15的图像块构成测试数据集；

步骤3：将步骤2.2中生成的训练数据集输入到空间频域的无监督深度多尺度网络中进行训练；

所提出空间频域的无监督深度多尺度网络对输入数据分别进行空间特征和频域特征的提取，将提取到的特征拼接后判断其变化或没变的可能性，根据可能性的高低得到其对应的像素类别。

步骤3.1：对输入数据进行卷积升维操作；

对输入执行卷积操作，其卷积核的大小为15×1×1。得到尺寸为15×15×15大小的卷积特征。

步骤3.2：对特征进行进行多区域选择；

将得到的特征分为P₁、P₂和P₃三个部分，每个部分尺寸大小均为5×15×15；

选取P₁的水平区域，即忽略P₁水平上方和下方的边缘区域，保留P₁的水平中心区域得到尺寸大小为5×3×15的水平区域；

选取P₂的垂直区域，即忽略P₂垂直方向上左侧和右侧的边缘区域，保留P₂的垂直中心区域得到尺寸大小为5×15×3的垂直区域；

保留P₃完整区域得到尺寸大小为5×15×15的全区域；

步骤3.3：进行深层多尺度特征提取；

步骤3.3.1：将步骤3.1得到的水平区域、垂直区域和全区域首先与大小为5×3×3的卷积核进行卷积，分别得到第一层水平特征第一层垂直特征/>和第一层全区域特征

步骤3.3.2：将第一层水平特征第一层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为5×15×15的第一层填充水平特征/>和第一层填充垂直特征/>将第一层全区域特征/>通过通道-空间注意力机制后得到第一层关键特征/>将第一层填充水平特征/>和第一层填充垂直特征/>和第一层关键特征/>进行相加得到第一层空间特征F₁；

第一层空间特征F₁计算过程为：

步骤3.3.3：将步骤3.3.2中得到的第一层空间特征F₁按照步骤3.2所示，再次进行多区域选择；

步骤3.3.4：将步骤3.3.3得到的水平区域、垂直区域和全区域与大小为5×5×5的卷积核进行卷积，分别得到第二层水平特征第二层垂直特征/>和第二层全区域特征

步骤3.3.5：将第二层水平特征第二层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为5×13×13的第二层填充水平特征/>和第二层填充垂直特征/>将第二层全区域特征/>通过通道-空间注意力机制后得到第二层关键特征/>将第二层填充水平特征/>和第二层填充垂直特征/>和第二层关键特征/>进行相加得到第二层空间特征F₂；

第二层空间特征F₂计算过程为：

步骤3.3.6：将步骤3.3.5得到的第二层空间特征按照步骤3.2所示进行多区域选择；

步骤3.3.7：将步骤3.3.6得到的水平区域、垂直区域和全区域与大小为5×7×7的卷积核进行卷积，分别得到第三层水平特征第三层垂直特征/>和第三层全区域特征

步骤3.3.8：将第三层水平特征第三层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为5×9×9的第三层填充水平特征/>和第三层填充垂直特征/>将第三层全区域特征/>通过通道-空间注意力机制后得到第三层关键特征/>将第三层填充水平特征/>和第三层填充垂直特征/>和第三层关键特征/>进行相加得到第三层空间特征F₃；

第三层空间特征F₃计算过程为：

步骤3.3.9：将步骤3.3.2、步骤3.3.5和步骤3.3.8得到的空间特征进行多尺度融合得到最终的空间特征；

将步骤3.3.5和步骤3.3.8得到的第二层空间特征F₂第三层空间特征F₃执行转置卷积操作分别得到大小为5×15×15和5×13×13的特征。将尺寸为5×13×13的特征通过零元素将其填充为尺寸为5×15×15的特征。最后将步骤3.3.2的第一层空间特征F₁和步骤3.3.9中尺寸均为5×15×15的特征进行拼接后进行卷积运算，得到最终的空间特征；

步骤3.4：将步骤2.2中生成的图像块执行快速傅里叶变换得到频域特征，将频域特征通过三个门控线性单元，第三个门控单元输出的特征即为频域特征；

其中一个门控线性单元计算过程为：

其中D_l是第l个门控线性单元的输出，X_l是第l个门控线性单元的输入，W₁和W₂是权重矩阵，a和b是偏置。

步骤3.5：将步骤3.3.9和步骤3.4获得的空间特征与频域特征进行拼接后送入全连接层，得到对应的预测标签；

步骤4：计算交叉熵损失，进行反向传播；

交叉熵损失函数计算过程如下：

其中l_i是第i个样本通过为标签生成器获得的伪标签，p_i是第i个样本预测标签，T₁是训练样本的数量。

步骤5：将经过步骤3之后的网络中输入步骤2.3的测试数据集，依照步骤3中的过程对测试数据集中的像素点进行标签预测；

步骤6：将步骤5获得的预测标签与步骤2.2中训练数据集中的伪标签进行结合获得最终的关于输入地区的变化信息。

步骤3.3.2、步骤3.3.5、步骤3.3.8中通道-空间注意力机制按照以下方法实施：

将获得的第l层特征分别通过全局平均池化和全局最大池化得到平滑特征/>和尖锐特征/>再此之后将平滑特征/>和尖锐特征/>分别送入具有一个隐藏层的多层感知机中，通过元素求和的方式得到通道注意力映射M_C；

通道注意力映射M_C的计算过程为：

其中σ表示Sigmoid函数，MLP(·)表示多层感知机，Avg(·)表示平均池化层，Max(·)表示最大池化层；

将得到的通道注意力映射M_C与获得的第l层全区域特征逐元素相乘，让注意力值在空间维度得到传播得到，得到第l层通道加权特征/>

第l层通道加权特征计算过程为：

其中表示逐元素相乘；

将得到的第l层通道加权特征沿着通道维度上执行平均池化和最大池化操作，分别得到空间平滑特征/>和空间尖锐特征/>并沿着通道维度将上述两个特征进行拼接，最后通过卷积运算生成空间注意力映射M_s；

空间注意力映射M_s的计算过程为：

其中[；]表示通道串联；

将得到的空间注意力映射M_s与第l层通道加权特征F_l ^w逐元素相乘得到第l层关键特征

第l层关键特征计算过程为：

下面通过仿真实验进一步对本发明进行阐述：

通过4组同一地区不同时间拍摄获得的四组SAR图像对本发明的检测效果进行验证。图4第一行所示是Ottawa数据集，是由Radarsat-1SAR传感器于1997年5月和8月在加拿大渥太华拍摄捕获的，其图像大小为290×350。图4第二行是Sulzberger数据集，是由Envisat卫星于2011年3月11日和16日在苏兹伯格冰架区拍摄获得。原始图片大小为2263×264，这里选取256×256的像素大小。图4的第三行和第四行分别是黄河C数据集和黄河D数据集，这两个数据集分别于2008年和2009年由Radarsat-2捕获，原始尺寸为7666×7692，分别截取291×444和306×291构成黄河C数据集和黄河D数据集。图4中(c)列代表真实变化区域。

本发明与其他现有关于SAR图像变化检测算法的对比实验结果图如图5所示。对比实验中convolutional-wavelet neural networks(简称为CWNN)是由文章”Sea icechange detection in SAR images based on convolutional-wavelet neuralnetworks”提出的。Garbor principal component analysis(简称为GarborPCA)是由文章”Automatic change detection in synthetic aperture radar images based onPCANet”提出的。Extreme learning machine(简称为ELM)是由文章”Change detectionfrom synthetic aperture radar images based on neighborhood-based ratio andextreme learning machine”提出的。Dual-domain network(简称为DDNet)是由文章”Change detection in synthetic aperture radar images using a dual-domainnetwork”提出的。Layer attention-based noise-tolerant network(简称为LANTNet)是由文章”Synthetic aperture radar image change detection via layer attention-based noise-tolerant network”提出的。图5中黑色像素点代表实际没变化检测为没变化的像素点，白色像素点代表实际变化检测为变化的像素点，红色代表实际没变化检测为变化的像素点，绿色代表实际变化检测为未变化的像素点。从图5中可以看出，本发明在四个数据集上误检像素点(红色和绿色像素点)均少于其他方法，能够更精确的提取到图像中的变化信息。

从图5的前6列可以看出对于图像变化边界处，本发明绿色像素点较少，对于未变化变化区域，本发明的红色像素点少于其他算法，说明本发明能够更好的捕获变化细节，降低噪声对检测的干扰，提高检测精度。

本发明通过假阳性(FP)、假阴性(FN)、总误检数(OE)、分类准确率(PCC)和Kappa系数(KC)在客观评价指标上与其他方法的对比，评价指标具体含义如下：

假阳性(FP)：实际未发生变化但检测为变化的像素点个数；

假阴性(FN)：实际发生变化但检测为未变化的像素点个数；

总误检数(OE)：总共错检的像素点数；

OE＝FP+FN

分类准确率(PCC)：总体正确检测数与总像素数的比值

其中TP表示实际发生变化检测为变化的像素点个数，TN为实际未发生变化检测为未发生变化的像素点个数。

Kappa系数(KC)：衡量检测结果与真实值的一致性

其中

其中N为像素总数。

可以通过的OE的大小判断检测结果中错误检测的像素点数的多少，较低的OE、较高的PCC和KC可以说明检测的准确度较高。表1、表2、表3和表4分别列出了本发明在四组不同数据集上与上述对比方法的检测结果。

表1本发明与其他对比方法在Ottawa数据集上的检测结果

/>

表2本发明与其他对比方法在Sulzberger数据集上的检测结果

表3本发明与其他对比方法在黄河C数据集上的检测结果

表4本发明与其他对比方法在黄河D数据集上的检测结果

/>

综上所述，本发明可以在不同场景下检测出变化区域，并且检测结果优于其他算法，实现对SAR图像变化区域的检测，且具有较好的检测精度。

本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于空间频域的无监督深度多尺度SAR图像变化检测方法的步骤。

本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于空间频域的无监督深度多尺度SAR图像变化检测方法的步骤。

本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambusRAM，DRRAM)。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disc，SSD))等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

应注意，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

以上对本发明所提出的一种基于空间频域的无监督深度多尺度SAR图像变化检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于空间频域的无监督深度多尺度SAR图像变化检测方法，其特征在于：所述方法包括：

步骤1：对已获得的同一地区不同时间的两幅SAR图像I₁和I₂进行对数比操作，得到差异图像I_d；

步骤2：利用伪标签生成器对差异图像I_d进行伪标签提取，以此构建训练和测试数据集；

步骤3：将生成的训练数据集输入到空间频域的无监督深度多尺度网络中进行训练；

步骤4：计算交叉熵损失，进行反向传播；

步骤5：将测试数据集输入到训练后的无监督深度多尺度网络中，对测试数据集中的像素点进行标签预测；

步骤6：将获得的预测标签与训练数据集中的伪标签进行结合获得最终关于输入地区的变化信息。

2.根据权利要求1所述的方法，其特征在于：在步骤1中，对数比操作的计算过程为：

其中log代表以e为底的对数运算，|·|代表进行绝对值运算。

3.根据权利要求2所述的方法，其特征在于：所述步骤2具体为：

步骤2.1：对差异图像I_d进行分层模糊C均值聚类，将差异图像I_d中的像素划分为3个类别，即变化类、不变类与不确定类；像素点对应的类别信息即为该像素点的伪标签；

步骤2.2：从变化类和不变类中选取部分像素点，以选中像素点为中心从两幅输入SAR图像I₁、I₂和差异图像I_d中分别提取r×r大小的图像块并进行拼接，将拼接后的图像块与图像块中心像素点的伪标签共同作为训练数据集；

步骤2.3：以不确定类中的像素为中心，从两幅输入SAR图像I₁、I₂和差异图像I_d中分别提取r×r大小的图像块并进行拼接构成测试数据集。

4.根据权利要求3所述的方法，其特征在于：所述的空间频域的无监督深度多尺度网络对输入数据分别进行空间特征和频域特征的提取，将提取到的特征拼接后判断其变化或没变的可能性，根据可能性的高低得到其对应的像素类别。

5.根据权利要求4所述的方法，其特征在于：所述步骤3具体为：

步骤3.1：对输入数据进行卷积升维操作；

对输入执行卷积操作，其卷积核的大小为n×1×1，得到尺寸为n×r×r大小的卷积特征；

步骤3.2：对特征进行多区域选择；

将得到的特征分为P₁、P₂和P₃三个部分，每个部分尺寸大小均为

选取P₁的水平区域，即忽略P₁水平上方和下方的边缘区域，保留P₁的水平中心区域得到尺寸大小为的水平区域；

选取P₂的垂直区域，即忽略P₂垂直方向上左侧和右侧的边缘区域，保留P₂的垂直中心区域得到尺寸大小为的垂直区域；

保留P₃完整区域得到尺寸大小为的全区域；

步骤3.3：进行深层多尺度特征提取；

步骤3.4：将生成的图像块执行快速傅里叶变换得到频域特征，将频域特征通过三个门控线性单元，第三个门控单元输出的特征即为频域特征；

其中一个门控线性单元计算过程为：

其中D_l是第l个门控线性单元的输出，X_l是第l个门控线性单元的输入，W₁和W₂是权重矩阵，a和b是偏置；

步骤3.5：将获得的最终的空间特征与频域特征进行拼接后送入全连接层，得到对应的预测标签。

6.根据权利要求5所述的方法，其特征在于：所述步骤3.3具体为：

步骤3.3.1：将步骤3.1得到的水平区域、垂直区域和全区域首先与大小为的卷积核进行卷积，分别得到第一层水平特征F₁ ^h、第一层垂直特征F₁ ^v和第一层全区域特征F₁ ^a；

步骤3.3.2：将第一层水平特征F₁ ^h和第一层垂直特征F₁ ^v忽略的边缘部分用0元素进行填充得到尺寸均为的第一层填充水平特征F₁ ^hz和第一层填充垂直特征F₁ ^vz，将第一层全区域特征F₁ ^a通过通道-空间注意力机制后得到第一层关键特征F₁ ^k；将第一层填充水平特征F₁ ^hz、第一层填充垂直特征F₁ ^vz和第一层关键特征F₁ ^k进行相加得到第一层空间特征F₁；

第一层空间特征F₁计算过程为：

F₁＝F₁ ^hz+F₁ ^vz+F₁ ^k

步骤3.3.3：将得到的第一层空间特征F₁再次进行多区域选择；

步骤3.3.4：将步骤3.3.3得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k₂＞k₁，分别得到第二层水平特征/>第二层垂直特征/>和第二层全区域特征/>

步骤3.3.5：将第二层水平特征和第二层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为/>的第二层填充水平特征/>和第二层填充垂直特征/>将第二层全区域特征/>通过通道-空间注意力机制后得到第二层关键特征/>将第二层填充水平特征/>第二层填充垂直特征/>和第二层关键特征/>进行相加得到第二层空间特征F₂；

第二层空间特征F₂计算过程为：

步骤3.3.6：将得到的第二层空间特征F₂进行多区域选择；

步骤3.3.7：将步骤3.3.6得到的水平区域、垂直区域和全区域与大小为的卷积核进行卷积，其中k₃＞k₂，分别得到第三层水平特征/>第三层垂直特征/>和第三层全区域特征/>

步骤3.3.8：将第三层水平特征和第三层垂直特征/>忽略的边缘部分用0元素进行填充得到尺寸均为/>的第三层填充水平特征/>和第三层填充垂直特征/>将第三层全区域特征/>通过通道-空间注意力机制后得到第三层关键特征将第三层填充水平特征/>第三层填充垂直特征/>和第三层关键特征/>进行相加得到第三层空间特征F₃；

第三层空间特征F₃计算过程为：

步骤3.3.9：将步骤3.3.2、步骤3.3.5和步骤3.3.8得到的空间特征进行多尺度融合得到最终的空间特征；

将步骤3.3.5和步骤3.3.8得到的第二层空间特征F₂与第三层空间特征F₃执行转置卷积操作，分别得到大小为和/>的特征；将尺寸为的特征通过零元素将其填充为尺寸为/>的特征；最后将步骤3.3.2的第一层空间特征F₁和步骤3.3.9中尺寸均为/>的特征进行拼接后进行卷积运算，得到最终的空间特征。

7.根据权利要求6所述的方法，其特征在于：所述交叉熵损失函数计算过程如下：

其中l_i是第i个样本通过为标签生成器获得的伪标签，p_i是第i个样本预测标签，T₁是训练样本的数量。

8.根据权利要求7所述的方法，其特征在于：步骤3.3.2、步骤3.3.5、步骤3.3.8中通道-空间注意力机制按照以下方法实施：

将获得的第l层特征F_l ^a分别通过全局平均池化和全局最大池化得到平滑特征F_l ^cavg和尖锐特征F_l ^cmax；再此之后将平滑特征F_l ^cavg和尖锐特征F_l ^cmax分别送入具有一个隐藏层的多层感知机中，通过元素求和的方式得到通道注意力映射M_C；

通道注意力映射M_C的计算过程为：

M_c＝σ(MLP(Avg(F_l ^cavg))+MLP(Max(F_l ^cmax)))

其中σ表示Sigmoid函数，MLP(·)表示多层感知机，Avg(·)表示平均池化层，Max(·)表示最大池化层；

将得到的通道注意力映射M_C与获得的第l层全区域特征F_l ^a逐元素相乘，让注意力值在空间维度得到传播得到，得到第l层通道加权特征F_l ^w；

第l层通道加权特征F_l ^w计算过程为：

其中表示逐元素相乘；

将得到的第l层通道加权特征F_l ^w沿着通道维度上执行平均池化和最大池化操作，分别得到空间平滑特征F_l ^savg和空间尖锐特征F_l ^smax，并沿着通道维度将上述两个特征进行拼接，最后通过卷积运算生成空间注意力映射M_s；

空间注意力映射M_s的计算过程为：

M_s＝σ(Conv([Avg(F_l ^a)；Max(F_l ^a)]))

其中[；]表示通道串联；

将得到的空间注意力映射M_s与第l层通道加权特征F_l ^w逐元素相乘得到第l层关键特征F_l ^k；

第l层关键特征F_l ^k计算过程为：

9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述方法的步骤。

10.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-8任一项所述方法的步骤。