CN114241314A - 一种基于CenterNet的遥感影像建筑物变化检测模型及算法 - Google Patents

Abstract

本发明公开了一种基于CenterNet的遥感影像建筑物变化检测模型及算法，模型包括特征提取模块、建筑物语义分割模块、变化检测模块；所述特征提取模块由两个共享参数的CenterNet网络构成，CenterNet网络的Encoder模块采用基于ImageNet数据集预训练的ResNet18网络作为骨干网络，分别将两期图像输入所述特征提取模块，得到对应特征图；所述建筑物语义分割模块，经两期图像提取出的特征图经过空间金字塔池化后，采用softmax分类器逐像元预测，形成变化区域语义分割图；所述变化检测模块计算两期图像提取出的特征图的绝对差值，得到差异特征图，经过空间金字塔池化后，采用Sigmoid分类器逐像元预测，形成建筑物变化图；模型的损失函数为联合代价损失函数L＝L_ss1+L_ss2+2*L_wbce，其中L_ss1、L_ss2分别为预测值与真实值之间的交叉熵损失；L_wbce为预测值与真实值之间的加权二元交叉熵损失。

Description

一种基于CenterNet的遥感影像建筑物变化检测模型及算法

技术领域

本发明涉及建筑变化检测技术领域，尤其是一种基于CenterNet的遥感影像建筑物变化检测模型及算法。

背景技术

建筑物是人类居住生活、生产工作的主要环境，占据了城镇、乡村大量的土地。因此，高效、准确的建筑物变化检测对城市规划、农用地调查等应用场景均具有重要作用。遥感以其宏观、大尺度、时效性、周期性以及综合性等特点，成为监测地球表面的重要手段。利用遥感影像进行建筑物变化检测旨在利用多时相的遥感影像识别相同地表区域内建筑物的空间、属性变化情况，且已经成为检测建筑物变化的重要手段。

传统的遥感影像变化检测方法大致可分为三类：基于图像代数运算的方法、基于图像变换的方法，以及分类后处理法。

基于图像代数运算的方法直接比较多时相图像中的对应像元值，生成图像差分图，在此基础上应用阈值将像元分为变化类或不变类。基于图像变换的方法对图像光谱进行变换，将光谱组合由原始特征空间变换到特定特征空间，以更好地区分变化的像元。这两种方法都是典型的非监督方法，高度依赖于经验设计的判别特征提取算法，在高空间分辨率影像上无法获得令人满意的结果。

采用监督方法进行遥感影像变化检测能够有效提高变化检测的精度，其中最常用的方法是分类后处理法。该方法首先采用监督分类对多时相遥感影像进行地物分类，进而比较多期地物分类图中各类别地物变化情况，从而得到地物变化图，绕过了直接从不同时间的原始影像中检测变化的困难，但是该方法的精度严重依赖于分类结果的精度。在高空间分辨率遥感影像中，精细的图像细节和复杂的纹理特征为变化检测任务带来了新的挑战。

随着计算机技术的快速发展，人类进入大数据时代，深度学习在各种领域都展现了极大的潜力。因此，许多基于深度学习的变化检测方法被提出，使得图像变化检测更加高效、准确。这些神经网络包括自编码器(Autoencoder，AE)、深度置信网络(Deep BeliefNetwork，DBN)、卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)以及生成对抗网络(Generative AdversarialNetwork，GAN)，其中卷积神经网络由于其在处理图像上的独特优势，被广泛应用于计算机视觉领域，在人脸识别、目标检测、语义分割和图像分类等任务中都得到成功应用。遥感影像建筑物变化检测属于计算机视觉任务，因此，利用卷积神经网络进行遥感影像建筑物变化检测具有重要的研究意义和应用价值。

CenterNet是一个在当前计算机视觉领域比较流行的卷积神经网络，常用于目标检测、语义分割等任务中，主要特点是能够直接预测物体的边界框(Bounding Box)的中心点和尺寸。相比其他目标检测方法，该方法在预测阶段不需要非极大值抑制(Non-MaximumSuppression)操作，极大地简化了网络训练和推理过程，并且CenterNet网络的结构非常简洁，模型参数量较小，训练速度快，对算力较小的平台较为友好。但是，现有的CenterNet网络用于遥感影像建筑物变化检测仍然存在以下问题：1、C5特征感受野不足，无法覆盖足够多的大目标；2、利用反卷积进行上采样，由于卷积核大小不能被步长整除，导致特征图出现“棋盘效应”，采用普通双线性插值进行上采样又会产生对不齐的问题。

此外，在建筑物变化检测任务中，大多数样本标签中未发生建筑物变化的像元远大于发生建筑物变化的像元，存在严重的类别不平衡问题。

发明内容

针对现有遥感影像建筑物变化检测技术存在的问题，本发明提供了一种基于CenterNet的遥感影像建筑物变化检测模型，以及基于该模型的遥感影像建筑物变化检测算法，有效提高高空间分辨率遥感影像建筑物变化检测的精度。

本发明保护一种基于CenterNet的遥感影像建筑物变化检测模型，包括特征提取模块、建筑物语义分割模块、变化检测模块；

所述特征提取模块由两个共享参数的CenterNet网络构成，CenterNet网络的Encoder模块采用基于ImageNet数据集预训练的ResNet18网络作为骨干网络，分别将两期图像输入所述特征提取模块，得到对应特征图；

所述建筑物语义分割模块包括金字塔池化模块和softmax分类器，经两期图像提取出的特征图经过空间金字塔池化后，采用softmax分类器逐像元预测，形成变化区域语义分割图；

所述变化检测模块包括金字塔池化模块和Sigmoid分类器，计算两期图像提取出的特征图的绝对差值，得到差异特征图，经过空间金字塔池化后，采用Sigmoid分类器逐像元预测，形成建筑物变化图；

模型的损失函数为联合代价损失函数L＝L_ss1+L_ss2+2*L_wbce，其中L_ss1、L_ss2分别为两期建筑物语义分割代价函数，即预测值与真实值之间的交叉熵损失；L_wbce为建筑物变化检测代价函数，即预测值与真实值之间的加权二元交叉熵损失。

进一步的，加权二元交叉熵损失L_wbce＝-(g_i·log(p_i)·ω_c+(1-g_i)·log(1-p_i)·ω_u)，其中，g_i表示像元i的真实类别标签值，当像元i内建筑物发生变化时，g_i＝1，否则g_i＝0；p_i表示像元i内建筑物发生变化的概率，1-p_i表示像元i内建筑物未发生变化的概率；ω_c、ω_u分别表示变化像元和未变化像元的损失权重，ω_c＝0.5/f_c，ω_u＝0.5/f_u，f_c、f_u分别为样本中建筑物变化像元和未变化像元所占比例。

进一步的，所述空间金字塔包含四种不同的金字塔尺度，对特征图进行池化操作，得到四种尺度的特征图，再采用“插值+1×1卷积”作为上采样结构，将特征图恢复到初始大小，最后在通道维上进行连接。

进一步的，所述CenterNet网络采用改进CenterNet，引入Dilate Encoder模块，采用“插值+1×1卷积”作为上采样结构。

本发明还保护一种基于CenterNet的遥感影像建筑物变化检测算法，使用上述遥感影像建筑物变化检测模型对两期图像中的建筑物变化进行检测，具体包括以下步骤：

步骤1，利用样本数据集对模型进行训练，更新网络权重至模型验证精度不再提升；

步骤2，将待测两期图像输入训练好的模型，得到预测的建筑物变化模型概率图；

步骤4，按照设定阈值进行分割，概率值大于等于阈值则判定为发生变化的像元，将对应像元重分类为255，概率值小于阈值则判定为未发生变化的像元，将对应像元重分类为0；

步骤5，依据裁剪分块顺序对结果进行拼接，得出建筑物变化图。

进一步的，样本数据集中的每组样本包含5张图像，分别为T₁时期的image1和T₂时期的image2，image1和image2为三波段真彩色合成图像；image1和image2变化区域的建筑物标签图label1和label2，像元取值为0、1、2，分别对应未变化区域、变化区域内的非建筑物和建筑物；两期建筑物变化图label3，像元取值为0、1，分别对应像元所覆盖区域内建筑物未发生变化和发生变化。

进一步的，模型训练方法包括以下步骤：

步骤a，将一组样本输入模型，形成变化区域语义分割图和建筑物变化图；

步骤b，将变化区域语义分割图分别与该组样本中的label1和label2计算交叉熵损失L_ss1、L_ss2；

步骤c，将建筑物变化图与label3计算加权二元交叉熵损失L_wbce；

步骤d，基于L_ss1、L_ss2和L_wbce，计算联合代价损失函数L，然后采用Adam优化器，进行反向传播，更新网络权重。

本发明的有益效果：1、采用加权二元交叉熵损失构建建筑物变化检测联合代价损失函数，降低了类别不平衡对模型训练的影响，加快了模型收敛速度和检测精度；2、空间金字塔四种不同的金字塔尺度，有效地保留了全局上下文信息，提升了对不同尺度建筑物的检测效果；3、引入Dilate Encoder模块，通过堆叠若干个空洞卷积来提升感受野，提升对大型建筑物的检测能力；4、采用“插值+1×1卷积”作为上采样结构，取代传统的反卷积操作，有效减弱了棋盘效应，同时解决了普通双线性插值进行上采样产生的对不齐问题，提高了特征提取的准确性。

附图说明

图1是模型结构示意图；

图2是金字塔池化模块结构示意图；

图3是改进CenterNet的结构示意图；

图4是离线建筑物变化检测流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

实施例1

一种基于CenterNet的遥感影像建筑物变化检测模型，如图1所示，该模型包括特征提取模块、变化检测模块、建筑物语义分割模块。

所述特征提取模块由两个共享参数的CenterNet网络构成，CenterNet网络的Encoder模块采用基于ImageNet数据集预训练的ResNet18网络作为骨干网络，分别将两期图像输入所述特征提取模块，得到对应特征图。

所述建筑物语义分割模块包括金字塔池化模块和softmax分类器，对两期图像提取出的特征图中发生地物类别变化的区域进行建筑物语义分割，经过空间金字塔池化后，采用softmax分类器逐像元预测，形成变化区域建筑物语义分割图。

所述变化检测模块包括金字塔池化模块和Sigmoid分类器，计算两期图像提取出的特征图的绝对差值，得到差异特征图，经过空间金字塔池化后，采用Sigmoid分类器逐像元预测，形成建筑物变化图。

模型的损失函数为联合代价损失函数L＝L_ss1+L_ss2+2*L_wbce，其中L_ss1、L_ss2分别为两期建筑物语义分割代价函数，即预测值与真实值之间的交叉熵损失；L_wbce为建筑物变化检测代价函数，即预测值与真实值之间的加权二元交叉熵损失。

二元交叉熵损失通常被用于二分类问题的代价函数，而在建筑物变化检测任务中，输出结果变化图中只有变化和未变化两类，因此，可被视作二分类问题。对于变化检测任务，一般而言，label中变化和未变化像元比例十分悬殊，因此，有必要根据真实类别标签对损失函数进行加权，削弱类别不平衡的影响。

本实施例采用的加权二元交叉熵损失定义为

L_wbce＝-(g_i·log(p_i)·ω_c+(1-g_i)·log(1-p_i)·ω_u)

其中，g_i表示像元i的真实类别标签值，当像元i内建筑物发生变化时，g_i＝1，否则g_i＝0；p_i表示像元i内建筑物发生变化的概率，1-p_i表示像元i内建筑物未发生变化的概率；ω_c、ω_u分别表示变化像元和未变化像元的损失权重，ω_c＝0.5/i_c，ω_u＝0.5/f_u，f_c、f_u分别为样本中建筑物变化像元和未变化像元所占比例。因此，如果label中发生建筑物变化的像元少于未变化像元，则权重大于1，使得变化像元对损失值的贡献更大。

所述空间金字塔包含四种不同的金字塔尺度，如图2所示，对特征图进行池化操作，得到四种尺度的特征图，再采用“插值+1×1卷积”作为上采样结构，将特征图恢复到初始大小，最后在通道维上进行连接，有效地保留了全局上下文信息，提升了对不同尺度建筑物的检测效果。

针对现有CenterNet网络运用于遥感影像建筑物变化检测存在的技术问题，本实施例采用改进CenterNet，引入Dilate Encoder模块，采用“插值+1×1卷积”作为上采样结构，如图3所示。引入Dilate Encoder模块，通过堆叠若干个空洞卷积来提升感受野，提升对大型建筑物的检测能力；采用“插值+1×1卷积”作为上采样结构，取代传统的反卷积操作，有效减弱了棋盘效应，提高了特征提取的准确性。

实施例2

一种基于CenterNet的遥感影像建筑物变化检测算法，使用实施例1所述的遥感影像建筑物变化检测模型对两期图像中的建筑物变化进行检测。

一、样本集构建及划分

样本集由公开数据集和自制数据集构成，公开数据集为SECOND语义变化检测数据集，图像尺寸为512×512，并在像素级进行标注。为了提高模型训练效果，本实施例对数据集进行进一步扩充，利用两期位于同一地区的高空间分辨率遥感影像制作样本，制作样本所使用的软件为ArcGIS。本文中提及的两期均表达同一区域两个不同时期的含义。

最终样本数据集共包含6813组样本，每组样本包含5张图像，分别是T1时期的image1和T2时期的image2，大小为512×512×3，为三波段真彩色合成图像；image1和image2变化区域的建筑物标签图label1和label2，大小为512×512，像元取值为0、1、2，分别对应未变化区域、变化区域内的非建筑物和建筑物；两期建筑物变化图label3，大小为512×512，像元取值为0、1，分别对应像元所覆盖区域内建筑物未发生变化和发生变化。

将样本数据集按照9_∶0.5_∶0.5的比例划分为训练集、验证集和测试集。

二、一组样本的模型训练过程为：

1、读取image1和image2，输入特征提取模块中进行特征提取，输出两个特征图。

2、在建筑物语义分割模块，经两期图像提取出的特征图经过空间金字塔池化后进行插值，将特征图大小恢复至512×512，然后采用softmax分类器逐像元预测，再分别与label1和label2计算交叉熵损L_ss1、L_ss2。

3、在建筑物变化检测模块，计算两期图像提取出的特征图的绝对差值，得到差异特征图，经过空间金字塔池化后进行插值，将特征图大小恢复至512×512，然后采用sigmoid分类器中逐像元预测，再与label3计算加权二元交叉熵损失L_wbce。

4、基于L_ss1、L_ss2和L_wbce，计算联合代价损失函数L，然后采用Adam优化器，进行反向传播，更新网络权重。

三、离线建筑物变化检测

1、将待测两期遥感影像经过预处理之后，得到真彩色合成的三波段切片图像，图像大小为512×512×3。

2、将两期图像输入模型，即可得到预测的建筑物变化概率图，若设置分割阈值为0.5，则概率值大于等于0.5的像元为发生建筑物变化的像元，将对应像元值重分类为255，概率值小于0.5的像元为未发生建筑物变化的像元，将像元值重分类为0。

3、依据裁剪分块顺序对结果进行拼接，得到检测后的建筑物变化图，如图4所示。

显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (7)

1.一种基于CenterNet的遥感影像建筑物变化检测模型，其特征在于，该模型包括特征提取模块、建筑物语义分割模块、变化检测模块；

所述特征提取模块由两个共享参数的CenterNet网络构成，CenterNet网络的Encoder模块采用基于ImageNet数据集预训练的ResNet18网络作为骨干网络，分别将两期图像输入所述特征提取模块，得到对应特征图；

所述建筑物语义分割模块包括金字塔池化模块和softmax分类器，经两期图像提取出的特征图经过空间金字塔池化后，采用softmax分类器逐像元预测，形成变化区域建筑物语义分割图；

所述变化检测模块包括金字塔池化模块和Sigmoid分类器，计算两期图像提取出的特征图的绝对差值，得到差异特征图，经过空间金字塔池化后，采用Sigmoid分类器逐像元预测，形成建筑物变化图；

模型的损失函数为联合代价损失函数L＝L_ss1+L_ss2+2*L_wbce，其中L_ss1、L_ss2分别为两期建筑物语义分割代价函数，即预测值与真实值之间的交叉熵损失；L_wbce为建筑物变化检测代价函数，即预测值与真实值之间的加权二元交叉熵损失。

2.根据权利要求1所述的基于CenterNet的遥感影像建筑物变化检测模型，其特征在于，加权二元交叉熵损失L_wbce＝-(g_i·log(p_i)·ω_c+(1-g_i)·log(1-p_i)·ω_u)，其中g_i表示像元i的真实类别标签值，当像元i内建筑物发生变化时，g_i＝1，否则g_i＝0；p_i表示像元i内建筑物发生变化的概率，1-p_i表示像元i内建筑物未发生变化的概率；ω_c、ω_u分别表示变化像元和未变化像元的损失权重，ω_c＝0.5/f_c，ω_u＝0.5/f_u，f_c、f_u分别为样本中建筑物变化像元和未变化像元所占比例。

3.根据权利要求1所述的基于CenterNet的遥感影像建筑物变化检测模型，其特征在于，所述空间金字塔包含四种不同的金字塔尺度，对特征图进行池化操作，得到四种尺度的特征图，再采用“插值+1×1卷积”作为上采样结构，将特征图恢复到初始大小，最后在通道维上进行连接。

4.根据权利要求3所述的基于CenterNet的遥感影像建筑物变化检测模型，其特征在于，所述CenterNet网络采用改进CenterNet，引入Dilate Encoder模块，采用“插值+1×1卷积”作为上采样结构。

5.一种基于CenterNet的遥感影像建筑物变化检测算法，其特征在于，使用权利要求1所述的遥感影像建筑物变化检测模型对两期图像中的建筑物变化进行检测，具体包括以下步骤：

步骤1，利用样本数据集对模型进行训练，更新网络权重至模型验证精度不再提升；

步骤2，将待测两期图像输入训练好的模型，得到预测的建筑物变化模型概率图；

步骤4，按照设定阈值进行分割，概率值大于等于阈值则判定为发生变化的像元，将对应像元重分类为255，概率值小于阈值则判定为未发生变化的像元，将对应像元重分类为0；

步骤5，依据裁剪分块顺序对结果进行拼接，得出建筑物变化图。

6.根据权利要求5所述的基于CenterNet的遥感影像建筑物变化检测算法，其特征在于，样本数据集中的每组样本包含5张图像，分别为T₁时期的image1和T₂时期的image2，image1和image2为三波段真彩色合成图像；image1和image2变化区域的建筑物标签图label1和label2，像元取值为0、1、2，分别对应未变化区域、变化区域内的非建筑物和建筑物；两期建筑物变化图label3，像元取值为0、1，分别对应像元所覆盖区域内建筑物未发生变化和发生变化。

7.根据权利要求6所述的基于CenterNet的遥感影像建筑物变化检测算法，其特征在于，模型训练方法包括以下步骤：

步骤a，将一组样本输入模型，形成变化区域语义分割图和建筑物变化图；

步骤b，将变化区域语义分割图分别与该组样本中的label1和label2计算交叉熵损失L_ss1、L_ss2；

步骤c，将建筑物变化图与label3计算加权二元交叉熵损失L_wbce；

步骤d，基于L_ss1、L_ss2和L_wbce，计算联合代价损失函数L，然后采用Adam优化器，进行反向传播，更新网络权重。

Images