CN113378912B - 一种基于深度学习目标检测的林区非法开垦地块检测方法 - Google Patents

Abstract

本发明是一种基于深度学习目标检测的林区非法开垦地块检测方法。本发明涉及林区非法开垦地块检测技术领域，本发明基于专家知识，构建深度学习训练的样本数据集；输入样本图像，建立多尺度特征金字塔识别网络；基于连续学习模式，进行训练模型精调；根据精调后的训练模型，应用至测试图像中，对林区非法开垦地块进行检测。本发明为提升检测模型识别的召回率，大幅提升机器解译的精度，本发明方法采用基于连续学习方式进行两阶段模型训练，可以避免光谱与纹理类似的裸地地块被误分。

Description

一种基于深度学习目标检测的林区非法开垦地块检测方法

技术领域

本发明涉及林区非法开垦地块检测技术领域，是一种基于深度学习目标检测的林区非法开垦地块检测方法。

背景技术

林区非法开垦地块大多分布于人迹罕至的山区、密林和丘陵地区，地块分散而且面积较小，具有较强的隐蔽性，使得发现与举报难度很大。林区非法开垦地块的遥感监测可以快速获取毁林开垦的情况，为林业管理部门开展林木采伐管理提供切实有效的帮助。

目前基于高分辨率卫星遥感影像最常见的林区非法开垦地块识别方法有人机交互解译和定量遥感模型分类识别。人机交互解译方法主观性强，工作效率低并且精度往往会受个人主观解译知识影响。没有充分挖掘影像各种空间特征以及地物的其它属性特征。定量遥感模型识别方法依赖植物的光谱特性，识别效果相对较好，但是一方面由于对卫星影像辐射校正精度要求高使得模型通用性较差；另一方面林区非法开垦地块范围比较小，多/高光谱影像的分辨率较低很难准确定位地块边界。上述问题造成了传统遥感解译手段精度低，时效性差的问题。

发明内容

本发明针对待识别目标背景环境复杂、非法开垦地块较小的特点，综合考虑开垦地块地表光谱特性、纹理特性、以及环境特性，对林区高分辨率遥感影像遥中疑似非法开垦地块进行自动识别与提取。本发明提供了一种基于深度学习目标检测的林区非法开垦地块检测方法，本发明提供了以下技术方案：

一种基于深度学习目标检测的林区非法开垦地块检测方法，包括以下步骤：

步骤1：基于专家知识，构建深度学习训练的样本数据集；

步骤2：输入样本图像，建立多尺度特征金字塔识别网络；

步骤3：基于连续学习模式，进行训练模型精调；

步骤4：根据精调后的训练模型，应用至测试图像中，对林区非法开垦地块进行检测。

优选地，所述步骤1具体为：

获取分辨率优于0.8米的高分辨率遥感影像进行辐射定标，并计算地表反射率，得到具有地表反射率的影像,待所有训练影像目标信息标注完毕后，需要将影像进行分块及对应的标注文件进行数据增强处理；增强方法由水平翻转、竖直翻转、随机裁剪、随机旋转、仿射变换、高斯模糊、均值模糊、中值模糊、对比度变换等方式随机组合。

优选地，增强方法由水平翻转、竖直翻转、随机裁剪、随机旋转、仿射变换、高斯模糊、均值模糊、中值模糊、对比度变换方式随机组合。

优选地，所述步骤2具体为：

步骤2.1：初始特征提取,输入样本影像四波段影像I，尺寸为1024×1024×4作为网络的输入,利用基础特征网络B₁进行特征初始提取，网络包括Conv卷积层，BN批量归一化层，ReLU正线性单元层以及MaxPool最大池化层,卷积核为7×7，stride为2，padding为3,经过B₁网络后输出特征图尺寸为256×256×64；

步骤2.2：特征残差块结构，经过四个层次的残差块网络结构，对卷积前特征与一系列卷积后的特征进行特征融合，以保证特征层次的丰富性；

第一个层次H₁基于B1输出的特征图进行特征提取，经过三个残差子网络得到特征图尺寸为256×256×256；

第二个层次的残差块结构H₂，以H₁输出的特征图为输入，经过三个残差子网络得到特征图尺寸为128×128×512；

第三个层次的残差块结构H₃，以H₂输出的特征图为输入，经过三个残差子网络得到特征图尺寸为64×64×1024；

第四个层次的残差块结构H₄，以H₄输出的特征图为输入，经过三个残差子网络得到特征图尺寸为32×32×2048；

步骤2.3：特征金字塔网络，在不同级别下的特征层检测不同尺寸的目标，联合H₂、H₃以及H₄残差块的输出特征进行特征金字塔提取，得到五种尺度的特征集L；其中，L₄特征为原尺度下H₄特征进行特征降维，输出特征图尺寸为32×32×256；L₃特征为L₄上采样特征后与H₃特征的融合,输出特征图尺寸为64×64×256；L₂特征为L₃上采样特征后与H₂特征的融合,输出特征图尺寸为128×128×256；L₅特征通过L₄进行尺度下采样得到，输出特征图尺寸为16×16×256；L₆特征由L₅特征进行尺度下采样得到，输出特征图尺寸为8×8×256；

对特征金字塔融合后的五层特征{L₂，L₃，L₄，L₅，L₆}进行RPN网络回归目标框与类别，类别个数为2，分别为非法开垦地块目标与负样本目标。

优选地，为更准确地的识别出目标，加入中心点度量，进行区域建议网络多级预测得到目标框类别以及边框位置；

t_x,y＝(l_x,y,t_x,y,r_x,y,b_x,y)                        (2)

t^* _x,y＝(l^* _x,y,t^* _x,y,r^* _x,y,b^* _x,y)                     (3)

其中，L_cls为类别损失，L_reg为目标边框交并比的损失；N_pos为正样本的数量，p_x,y为当前影像位置x,y处的像元点处的预测标签，c^* _x,y,为影像像元x,y处的像元真实标签，t_x,y为预测得到的目标框位置，t^* _x,y为目标框真实位置，(l_x,y,t_x,y,r_x,y,b_x,y)为目标框位置的四参数表示，l_x,y,t_x,y,r_x,y,b_x,y分别为预测中心点到边框的左侧距离、上侧距离、右侧距离以及下侧距离，l^* _x,y,t^* _x,y,r^* _x,y,b^* _x,y分别为真实中心点到边框的左侧距离、上侧距离、右侧距离以及下侧距离：

由于中心度可以降低远离对象中心的边界框的权重，减少冗余框的生成，在计算上式(2)过程已加入中心度，取值为[0,1]之间，整体损失函数为交叉熵损失，优化函数为随机梯度下降SGD算法。

优选地，所述步骤3具体为：

在分辨率为0.8米的遥感影像中，面积大小在60m²的疑似地块，像元大小约为10×10；因此仅依赖光谱特征制约下，林区开垦地块会与植被覆盖度较低的草地，梯田或裸地进行识别混淆；

第一阶段训练模型结束后，模型在当前数据下参数空间达到局部最优；利用第一阶段训练结束后的模型对测试影像进行预测，并对解译结果中与开垦地块纹理、形状特征相似但不是的目标判定为负样本；将负样本加入训练集中，并开展第二阶段的模型精调。

优选地，所述步骤4具体为：

将特征图中每个位置对应原图的边框都进行回归，最大程度减少目标的漏检；将精调训练后的网络模型应用到测试影像中，从特征金字塔的多个尺度特征中获得预测的结果，将预测的中心度与相应的分类分数相乘，计算得分，并使用非极大值抑制后处理操作获得最终的结果，并根据专家知识对识别地块面积大小进行筛选，得到符合条件的带有置信值地块，并输出成的矢量格式成果。

本发明具有以下有益效果：

本发明为提升检测模型识别的召回率，大幅提升机器解译的精度，本发明方法采用基于连续学习方式进行两阶段模型训练，可以避免光谱与纹理类似的裸地地块被误分。

基于深度学习目标检测方法从待检测区域遥感影像中识别出疑似非法林地开垦地块，并根据专家知识对识别地块面积大小进行筛选。最终可以得到符合条件的带有置信值地块，并输出成的矢量格式成果。

在训练过程中参与训练疑似地块影像2723幅，验证影像362幅，测试影像544幅。如下图3所示为训练过程中验证集损失函数下降曲线图。可以看出验证集在2.5万次迭代后曲线趋于平稳，损失值处于局部波动状态。此时基本可以达到模型参数全局最优。

测试过程中平均每个测试样本预测时间为0.119秒。并用不同的IoU阈值来进行检测器的整体的性能评估AP50为0.9656；AP75为0.95318。下图4展示在测试集中用IoU＝0.75为阈值，以precision(精准率)和recall(召回率)这两个为变量而做出的曲线。曲线闭合的面积即为AP75，可以看出本发明针对林区非法开垦地块检测的性能的优越性。

附图说明

图1基于深度学习目标检测的森林开垦地块检测流程图；

图2多尺度金字塔特征网络结构示意图；

图3验证集损失函数下降曲线图；

图4为测试数据Precision-Recall(P-R)曲线；

图5基于深度学习林区非法开垦地块检测结果真彩色影像图。

具体实施方式

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

根据图1至图5所示，本发明提供一种基于深度学习目标检测的林区非法开垦地块检测方法，包括以下步骤：

本发明研发可迁移、泛化性能强的深度卷积神经网络，并联合网络中的特征金字塔提取模式达到待检测目标多种尺度特征的表达，实现复杂环境下的高分辨率遥感影像中林区非法开垦地块识别。

首先，利用专家知识构建适用深度学习训练的样本数据集。构建原则包括：(1)非法开垦的林区地块位于密林和丘陵中的林区中，有人工开垦痕迹，地块面积一般不大；(2)非法开垦的林区地块通常距离村庄和公路2公里以上，具用较强隐蔽性；(3)非法开垦的林区地块在假彩色影像中为暗粉色，与裸土有较明显区别。

然后，构建多尺度特征金字塔识别网络。其为多层次多尺度体系架构下的识别网络，包括特征骨干提取网络、特征金字塔网络以及区域建议网络。与一般识别网络相比，本发明考虑遥感影像光谱特性，可支持多光谱影像作为输入。

再次，基于连续学习方式进行模型训练。第一阶段训练完毕后，进行成果专家校验。若目标识别结果判断为错分，则该目标样本作为负样本数据进行负样本学习，并融合上一步得到的正样本进行模型精调。

最后，基于训练好的多尺度特征金字塔网络模型，对林区范围内的覆盖影像进行自动识别解译。并根据专家知识对识别地块面积大小进行筛选。最终可以得到符合条件的带有置信值地块，并输出成的矢量格式成果。

下面详细介绍本发明实施步骤：

步骤1：利用专家知识构建训练样本数据集

获取分辨率优于0.8米的高分辨率遥感影像进行辐射定标，并计算地表反射率，得到具有地表反射率的影像。为保证检测算法的鲁棒性与泛化性，待所有训练影像目标信息标注完毕后，需要将影像进行分块及其对应的标注文件进行数据增强处理。增强方法由水平翻转、竖直翻转、随机裁剪、随机旋转、仿射变换、高斯模糊、均值模糊、中值模糊、对比度变换等方式随机组合。

步骤2：多尺度特征金字塔识别网络

2.1初始特征提取

下图2为多尺度金字塔特征网络结构示意图。输入样本影像，以四波段影像I为例，其尺寸为1024×1024×4(即：影像长×影像宽×通道数)作为网络的输入。首先利用基础特征网络B₁进行特征初始提取，网络包括Conv(Convolutional layer)卷积层，BN(BatchNormalization)批量归一化层，ReLU(Rectified Linear Unit)为正线性单元层以及MaxPool(Max Pooling layer)为最大池化层。其中卷积核为7×7，stride为2，padding为3。经过B₁网络后输出特征图尺寸为256×256×64。

2.2特征残差块结构

接下来经过四个层次的残差块网络结构。其特点是对卷积前特征与一系列卷积后的特征进行特征融合，以保证特征层次的丰富性。

第一个层次H₁基于B1输出的特征图进行特征提取，经过三个残差子网络得到特征图尺寸为256×256×256；

第二个层次的残差块结构H₂，以H₁输出的特征图为输入，经过三个残差子网络得到特征图尺寸为128×128×512；

第三个层次的残差块结构H₃，以H₂输出的特征图为输入，经过三个残差子网络得到特征图尺寸为64×64×1024；

第四个层次的残差块结构H₄，以H₄输出的特征图为输入，经过三个残差子网络得到特征图尺寸为32×32×2048；

2.3特征金字塔网络

考虑遥感影像中的目标尺度性差异大的问题，在不同级别下的特征层检测不同尺寸的目标。联合H₂、H₃以及H₄残差块的输出特征进行特征金字塔提取，得到五种尺度的特征集L。

其中L₄特征为原尺度下H₄特征进行特征降维，输出特征图尺寸为32×32×256；

L₃特征为L₄上采样特征后与H₃特征的融合,输出特征图尺寸为64×64×256；

L₂特征为L₃上采样特征后与H₂特征的融合,输出特征图尺寸为128×128×256；

L₅特征通过L₄进行尺度下采样得到，输出特征图尺寸为16×16×256；

L₆特征由L₅特征进行尺度下采样得到，输出特征图尺寸为8×8×256。

对特征金字塔融合后的五层特征{L₂，L₃，L₄，L₅，L₆}进行RPN网络回归目标框与类别，本发明类别个数为2(分别为非法开垦地块目标与负样本目标)。

为更准确地的识别出目标，并加入中心点度量。最终进行区域建议网络多级预测得到目标框类别以及边框位置。

t_x,y＝(l_x,y,t_x,y,r_x,y,b_x,y)                       (2)

t^* _x,y＝(l^* _x,y,t^* _x,y,r^* _x,y,b^* _x,y)                    (3)

上式1)中L_cls为类别损失，L_reg为目标边框交并比的损失。N_pos为正样本的数量。p_x,y为当前影像位置x,y处的像元点处的预测标签。c^* _x,y,为影像像元x,y处的像元真实标签。t_x,y为预测得到的目标框位置，t^* _x,y为目标框真实位置。(l_x,y,t_x,y,r_x,y,b_x,y)为目标框位置的四参数表示，l_x,y,t_x,y,r_x,y,b_x,y分别为预测中心点到边框的左侧距离、上侧距离、右侧距离以及下侧距离。l^* _x,y,t^* _x,y,r^* _x,y,b^* _x,y分别为真实中心点到边框的左侧距离、上侧距离、右侧距离以及下侧距离。

由于中心度可以降低远离对象中心的边界框的权重，减少冗余框的生成。在计算上式2)过程已加入中心度，其取值为[0,1]之间。整体损失函数为交叉熵损失，优化函数为随机梯度下降(SGD)算法。

步骤3：基于连续学习模式进行模型精调

林区非法开垦的地块往往面积较小，在分辨率为0.8米的遥感影像中，面积大小在60m²左右的疑似地块，像元大小约为10×10；因此仅依赖光谱特征制约下，林区开垦地块会与植被覆盖度较低的草地，梯田或裸地进行识别混淆。

第一阶段训练模型结束后，模型在当前数据下参数空间达到局部最优。接下来利用第一阶段训练结束后的模型对测试影像进行预测，并对解译结果中与开垦地块纹理、形状特征相似但不是的目标判定为负样本。将负样本加入训练集中，并开展第二阶段的模型精调。

步骤4：未知数据推理优化

与其他深度学习目标检测不同，针对遥感影像中非法开垦地块目标小的特点。以逐像素预测的方式解决目标检测问题。本发明提出的方法不是基于传统基于锚点检测的，而是将特征图中每个位置对应原图的边框都进行回归，最大程度减少目标的漏检。

将精调训练后的网络模型应用到测试影像中，从特征金字塔的多个尺度特征中获得预测的结果。将预测的中心度与相应的分类分数相乘，计算得分。并使用非极大值抑制后处理操作获得最终的结果。并根据专家知识对识别地块面积大小进行筛选。最终可以得到符合条件的带有置信值地块，并输出成的矢量格式成果。根据图5所示，是基于影像分辨率为0.72米的非法开垦地块检测结果，检测的置信度分别是0.982、0.992、0.941和0.965。

以上所述仅是一种基于深度学习目标检测的林区非法开垦地块检测方法的优选实施方式，一种基于深度学习目标检测的林区非法开垦地块检测方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (3)

1.一种基于深度学习目标检测的林区非法开垦地块检测方法，其特征是：包括以下步骤：

步骤1：基于专家知识，构建深度学习训练的样本数据集；

步骤2：输入样本图像，建立多尺度特征金字塔识别网络；

所述步骤2具体为：

步骤2.1：初始特征提取,输入样本影像四波段影像I，尺寸为1024×1024×4作为网络的输入,利用基础特征网络B₁进行特征初始提取，网络包括Conv卷积层，BN批量归一化层，ReLU正线性单元层以及MaxPool最大池化层,卷积核为7×7，stride为2，padding为3,经过B₁网络后输出特征图尺寸为256×256×64；

步骤2.2：特征残差块结构，经过四个层次的残差块网络结构，对卷积前特征与一系列卷积后的特征进行特征融合，以保证特征层次的丰富性；

第一个层次H₁基于B1输出的特征图进行特征提取，经过三个残差子网络得到特征图尺寸为256×256×256；

第二个层次的残差块结构H₂，以H₁输出的特征图为输入，经过三个残差子网络得到特征图尺寸为128×128×512；

第三个层次的残差块结构H₃，以H₂输出的特征图为输入，经过三个残差子网络得到特征图尺寸为64×64×1024；

第四个层次的残差块结构H₄，以H₄输出的特征图为输入，经过三个残差子网络得到特征图尺寸为32×32×2048；

步骤2.3：特征金字塔网络，在不同级别下的特征层检测不同尺寸的目标，联合H₂、H₃以及H₄残差块的输出特征进行特征金字塔提取，得到五种尺度的特征集L；其中，L₄特征为原尺度下H₄特征进行特征降维，输出特征图尺寸为32×32×256；L₃特征为L₄上采样特征后与H₃特征的融合,输出特征图尺寸为64×64×256；L₂特征为L₃上采样特征后与H₂特征的融合,输出特征图尺寸为128×128×256；L₅特征通过L₄进行尺度下采样得到，输出特征图尺寸为16×16×256；L₆特征由L₅特征进行尺度下采样得到，输出特征图尺寸为8×8×256；

对特征金字塔融合后的五层特征{L₂，L₃，L₄，L₅，L₆}进行RPN网络回归目标框与类别，类别个数为2，分别为非法开垦地块目标与负样本目标；

为更准确地的识别出目标，加入中心点度量，进行区域建议网络多级预测得到目标框类别以及边框位置；

t_x,y＝(l_x,y,t_x,y,r_x,y,b_x,y)             (2)

t^* _x,y＝(l^* _x,y,t^* _x,y,r^* _x,y,b^* _x,y)          (3)

其中，L_cls为类别损失，L_reg为目标边框交并比的损失；N_pos为正样本的数量，p_x,y为当前影像位置x,y处的像元点处的预测标签，c^* _x，y，为影像像元x,y处的像元真实标签，t_x,y为预测得到的目标框位置，t^* _x,y为目标框真实位置，(l_x,y,t_x,y,r_x,y,b_x,y)为目标框位置的四参数表示，l_x,y,t_x,y,r_x,y,b_x,y分别为预测中心点到边框的左侧距离、上侧距离、右侧距离以及下侧距离，l^* _x,y,t^* _x,y,r^* _x,y,b^* _x,y分别为真实中心点到边框的左侧距离、上侧距离、右侧距离以及下侧距离：

由于中心度可以降低远离对象中心的边界框的权重，减少冗余框的生成，在计算上式(2)过程已加入中心度，取值为[0,1]之间，整体损失函数为交叉熵损失，优化函数为随机梯度下降SGD算法；

步骤3：基于连续学习模式，进行训练模型精调；

所述步骤3具体为：

第一阶段训练模型结束后，模型在当前数据下参数空间达到局部最优；利用第一阶段训练结束后的模型对测试影像进行预测，并对解译结果中与开垦地块纹理、形状特征相似但不是的目标判定为负样本；将负样本加入训练集中，并开展第二阶段的模型精调；

步骤4：根据精调后的训练模型，应用至测试图像中，对林区非法开垦地块进行检测。

2.根据权利要求1所述的一种基于深度学习目标检测的林区非法开垦地块检测方法，其特征是：所述步骤1具体为：

获取分辨率优于0.8米的高分辨率遥感影像进行辐射定标，并计算地表反射率，得到具有地表反射率的影像,待所有训练影像目标信息标注完毕后，需要将影像进行分块及对应的标注文件进行数据增强处理；增强方法由水平翻转、竖直翻转、随机裁剪、随机旋转、仿射变换、高斯模糊、均值模糊、中值模糊、对比度变换方式随机组合。

3.根据权利要求1所述的一种基于深度学习目标检测的林区非法开垦地块检测方法，其特征是：所述步骤4具体为：

将特征图中每个位置对应原图的边框都进行回归，最大程度减少目标的漏检；将精调训练后的网络模型应用到测试影像中，从特征金字塔的多个尺度特征中获得预测的结果，将预测的中心度与相应的分类分数相乘，计算得分，并使用非极大值抑制后处理操作获得最终的结果，并根据专家知识对识别地块面积大小进行筛选，得到符合条件的带有置信值地块，并输出成的矢量格式成果。

Images