CN112861720B - 基于原型卷积神经网络的遥感图像小样本目标检测方法 - Google Patents

Abstract

本发明提供了一种基于原型卷积神经网络的遥感图像小样本目标检测方法。构建了主要包括特征提取与类别原型获取模块、原型引导RPN模块、重定向特征图模块和检测器模块的目标检测网络，并先在包含大量标注样本的基类数据集上进行网络模型基础学***衡的子数据集上对网络模型进行微调，最后经过非极大值抑制等后处理操作实现小样本遥感图像的多类目标检测。本发明能够利用少量新类标注数据从复杂背景的光学遥感图像中快速、准确地检测出不同类型的目标，具有较高的检测精度和较快的检测速度。

Description

基于原型卷积神经网络的遥感图像小样本目标检测方法

技术领域

本发明属遥感图像处理技术领域，具体涉及一种基于原型卷积神经网络的遥感图像小样本目标检测方法，可以应用于标注样本数据极少的小样本情况下的遥感图像目标检测。

背景技术

随着卫星遥感技术的不断发展，海量的遥感图像的获取已经变得越来越容易。然而，遥感图像的标注工作需要耗费大量的人力和财力。此外，有些类别的目标比较稀有，存在数据难以获取的问题。因此，如何利用少量标注样本，实现遥感图像的目标检测成为目前亟待解决的问题之一。

目前已有的小样本目标检测方法，概括起来可以分为基于元学***衡的数据集对初始模型的参数进行微调，从而实现小样本目标检测。然而，遥感图像除了存在尺度变化大、密集排布等特点外，还受到光照、云层、目标形态以及复杂的背景环境的影响，使得遥感图像和自然场景图像有较大的差异。这些问题给光学遥感图像的小样本目标检测任务带来了巨大的挑战。目前已有的小样本目标检测方法难以直接应用于遥感图像。

发明内容

为了克服现有技术的不足，本发明提供一种基于原型卷积神经网络的遥感图像小样本目标检测方法。构建了主要包括特征提取与类别原型获取模块、原型引导RPN模块、重定向特征图模块和检测器模块的目标检测网络，其中，特征提取与类别原型获取模块利用参数共享的深度卷积神经网络分别提取支持集图像和查询集图像特征，并对支持集图像的特征图进行全局平均池化操作获取类别原型；原型引导RPN模块利用获取到的类别原型对区域建议网络生成的感兴趣区域的过程进行引导；重定向特征图模块采用通道注意力机制对前景目标候选框特征的通道信息进行重新建模；检测模块利用分类网络和回归网络对重建模后的特征进行检测，输出得到包含目标预测类别和位置的检测框。本发明首先在基类数据集上进行网络模型基础学***衡的子数据集上对网络模型进行微调，该子数据集同时包含基类和新类样本，最后经过非极大值抑制等后处理操作实现小样本遥感图像的多类目标检测。本发明能够利用少量新类标注数据从复杂背景的光学遥感图像中快速、准确地检测出不同类型的目标，具有较高的检测精度和较快的检测速度。

一种基于原型卷积神经网络的遥感图像小样本目标检测方法，其特征在于步骤如下：

步骤1，基类训练数据准备：以基类训练图像数据集D_base中所有类别的目标实例图像构成支持集图像，其中，目标实例图像为图像中目标实例包围框内的图像块；从基类训练图像数据集D_base中随机抽取包含任意类别和数量目标实例的整幅图像作为查询集图像；然后，对所有支持集图像和查询集图像进行预处理操作，预处理后的图像作为训练数据；所述的预处理操作包括对所有图像进行归一化处理、将支持集中的图像的长宽调整为M×M、将查询集中的图像的长宽调整为M′×M′；M′的取值为基类训练图像尺寸的0.8倍至1.2倍，M的取值为M′的0.28倍；所述的基类训练图像数据集为遥感图像目标检测DIOR数据集；

步骤2，构建目标检测网络：目标检测网络主要包括特征提取与类别原型获取模块、原型引导RPN模块、重定向特征图模块和检测器模块；

所述的特征提取与类别原型获取模块的具体实现过程为：首先，输入支持集图像和查询集图像，利用特征提取骨干网络B分别对其进行特征提取，得到其对应的特征图，记支持集图像的特征图为{F_s,1,F_s,2,...,F_s,C}，查询集图像的特征图为F_q，其中，特征提取骨干网络B采用的是ResNet-101网络的前四个阶段的卷积层，F_s,i表示第i个类别的支持图像的特征图，i＝1,2,…,C，C为类别数；然后，对支持集图像的特征图{F_s,1,F_s,2,...,F_s,C}进行全局平均池化操作，得到每个类别的原型向量{p₁,p₂,...,p_C}，p_i表示第i个类别的原型向量，i＝1,2,…,C；

所述的原型引导RPN模块用于生成可能包含目标的感兴趣区域，具体实现过程为：将特征提取与类别原型获取模块得到的类别原型向量{p₁,p₂,...,p_C}输入到一个三层的全连接网络，输出一个长度和RPN分类器所有卷积核展开后长度相同的向量，将该向量按照和RPN分类器的卷积核相同的形状进行重组，构成一组新的卷积核参数，以该参数作为辅助分类器的参数，利用辅助分类器和RPN分类器分别对查询集图像的特征图中的锚点进行前-背景打分，并将得到的两个分数相加作为锚点的前景目标得分；然后，按照RPN的锚点划分规则确定每个锚点的标签，包括前景类别、背景类别和忽略样例；将前景目标得分从高到低排序，利用RPN回归器对得分较高的r个锚点进行调整，得到r个感兴趣区域；

所述的重定向特征图模块利用Mask R-CNN网络的RoI Align操作对原型引导RPN模块得到的感兴趣区域进行特征提取，得到感兴趣区域的特征图{F₁,F₂,...,F_r}，其中，F_i表示第i个感兴趣区域的特征图，i＝1,2,…,r，r为感兴趣区域的数量；然后，将类别原型向量和感兴趣区域的特征图进行逐通道相乘，得到重定向的特征图；

所述的检测器模块利用Faster R-CNN网络的第二阶段检测器对重定向特征图模块输出的重定向特征图进行检测操作，输出包含目标预测类别和位置的检测框；其中，检测器模块的分类损失采用交叉熵损失函数，检测器模块的回归损失采用SmoothL1损失函数；

步骤3，训练目标检测网络：将步骤1得到的预处理后的支持集图像和查询集图像输入到步骤2构建的目标检测网络进行训练，得到经过基类数据集训练后的目标检测网络；

步骤4，微调训练数据准备：首先，从基类训练图像数据集D_base中随机抽取每个类别的标注样本图像3N个，将其和新类训练图像数据集D_novel合并，构成微调训练图像数据集D_few；所述的新类图像数据集包含的标注样本数量不超过30个，N为其每个类别的标注样本数量；

然后，将微调训练图像数据集D_few代替基类训练图像数据集D_base执行步骤1中的处理，得到微调训练数据；

步骤5，进行目标检测网络微调：将步骤4得到的微调训练数据的支持集图像和查询集图像输入到步骤3得到的训练后的目标检测网络，再次对网络进行训练，得到经过微调数据集训练后的目标检测网络；

然后，将步骤4构建的数据集D_few中的每类标注样本分别输入到训练后的特征提取骨干网络B，再经由全局平均池化操作，得到其特征代表向量，计算所有特征代表向量的平均向量作为该类别的原型向量；如此处理，每个类别获得一个原型向量，得到C_few个原型向量，C_few为数据集D_few中包含的图像类别数；

步骤6，目标检测：将预处理后的待检测数据作为查询集图像输入到步骤5训练后的特征提取骨干网络B，得到其查询集图像特征，将步骤5得到的C_few个类别原型向量和该查询集图像特征输入到训练后的原型引导RPN模块，再经训练后的重定向特征图模块、检测器模块，得到包含目标预测类别和位置的检测框，采用非极大值抑制的方法过滤掉冗余的检测框，剩余检测框即为待检测数据最终的目标检测结果。

本发明的有益效果是：由于采用了共享骨干网络的特征提取与类别原型获取模块，能够有效缓解过拟合问题同时节约内存，提高计算速度；由于采用了原型引导RPN，使得获取的感兴趣区域的质量更高，有助于后续检测器的检测；由于采用了对特征重定向的处理方式，可以进一步提高检测精度；由于分别依次采用基类训练数据和微调训练数据对目标检测网络进行训练，使得目标检测网络能够在只含少量新类标签样本的情况下，实现复杂背景遥感图像目标检测任务，具有较高的检测精度和较好的鲁棒性。

附图说明

图1是本发明的基于原型卷积神经网络的遥感图像小样本目标检测方法流程图；

图2是本发明方法的两阶段训练示意图；

图3是本发明方法的检测结果示例图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

用于实施的硬件环境是：Intel(R)Core(TM)i3-8100 CPU计算机、8.0GB内存，运行的软件环境是：Ubuntu16.04.5LTS和Pycharm2018。本实验使用大规模遥感图像公开数据库DIOR Dataset，该数据集共有23463幅图像，其中，5862幅图像被划分到训练集，5863幅图像被划分到验证集，剩余的11738幅图像划分到测试集。涵盖20类常见的遥感图像目标。每个类别包含大约1200张图像，图像大小为800×800像素，空间分辨率范围从0.5米/像素到30米/像素。为了验证上述提出方案的有效性，将棒球场、篮球场、桥梁、烟囱、船舶、飞机、机场、高速公路收费站、码头、田径场、水坝、高尔夫球场、储油罐、网球场和车辆作为基类，将高速公路服务区、立交桥、体育场、火车站和风车作为新类。将训练集和验证集的11725幅图像用于训练，根据基类和新类的划分，将11725幅图像中包含新类的图像去除，剩余的8573幅图像作为基类训练数据集D_base。新类的标注样本数目为每类10个，将这些新类标注样本连同基类中每类随机抽取的10个标注样本共同构造小样本数据集D_few。最后，将剩余的11738幅图像用作测试集进行测试。

如图1所示，本发明的基于原型卷积神经网络的遥感图像小样本目标检测方法具体实现过程如下：

1、基类训练数据准备

首先，以基类训练图像数据集D_base为基础，分别构建得到支持集图像和查询集图像。其中，查询集图像直接从D_base中随机抽取得到，即随机抽取包含任意类别和数量目标实例的整幅图像作为查询集图像。支持集图像由基类训练图像数据集D_base中所有类别的目标实例图像构成，其中，目标实例图像为图像中目标实例包围框内的图像块，可以利用图像的真实标签框将目标实例从整张遥感图像中抠取出来得到。

然后，分别对支持集图像和查询集图像进行预处理，包括：(1)利用每张图像RGB三个通道分量的均值R_mean、G_mean、B_mean和标准差R_std、G_std、B_std，对图像进行归一化处理：

其中，I_p,c表示归一化处理前图像的c通道分量，I'_p,c表示归一化处理后图像的c通道分量，Mean_c代表图像c通道的均值，Std_c代表图像c通道的标准差。

(2)将支持集中的图像的长宽调整为M×M、将查询集中的图像的长宽调整为M′×M′，其中，M′的取值为D_base中原始图像尺寸的0.8倍至1.2倍，M的取值为M′的0.28倍。

2、构建目标检测网络

目标检测网络主要包括特征提取与类别原型获取模块、原型引导RPN模块、重定向特征图模块和检测器模块。

(1)特征提取与类别原型获取模块

本发明采用ResNet-101网络的前四个阶段的卷积层作为特征提取骨干网络B。所述的ResNet-101网络结构记载在文献“K.He,X.Zhang,S.Ren,and J.Sun,"Deep residuallearning for image recognition,"in Proceedings of the IEEE conference oncomputer vision and pattern recognition,2016,pp.770-778.”中。

首先，输入支持集图像和查询集图像，利用特征提取骨干网络B分别对其进行特征提取，得到其对应的特征图，记支持集图像的特征图为{F_s,1,F_s,2,...,F_s,C}，查询集图像的特征图为F_q，其中，F_s,i表示第i个类别的支持图像的特征图，i＝1,2,…,C，C为支持集图像包含的类别数；然后，对支持集图像的特征图{F_s,1,F_s,2,...,F_s,C}进行全局平均池化操作，得到每个类别的原型向量{p₁,p₂,...,p_C}，p_i表示第i个类别的原型向量，i＝1,2,…,C。

(2)原型引导RPN模块

原型引导RPN模块用于生成可能包含目标的感兴趣区域，具体实现过程为：将特征提取与类别原型获取模块得到的类别原型向量{p₁,p₂,...,p_C}输入到一个三层的全连接网络，输出一个长度和RPN分类器所有卷积核展开后长度相同的向量，将该向量按照和RPN分类器的卷积核相同的形状进行重组，构成一组新的卷积核参数，以该参数作为辅助分类器的参数，利用辅助分类器和RPN分类器分别对查询集图像的特征图中的锚点进行前-背景打分，并将得到的两个分数相加作为锚点的前景目标得分；然后，按照RPN的锚点划分规则确定每个锚点的标签，包括前景类别、背景类别和忽略样例；将前景目标得分从高到低排序，利用RPN回归器对得分较高的r个锚点进行调整，得到r个感兴趣区域，本实施例中r为256。

其中，RPN方法记载在文献“S.Ren,R.Girshick,R.Girshick,and J.Sun,"FasterR-CNN:Towards Real-Time Object Detection with Region Proposal Networks,"IEEETransactions on Pattern Analysis&Machine Intelligence,vol.39,no.6,pp.1137-1149,2017.”中。

(3)重定向特征图模块

重定向特征图模块首先利用Kaiming He在2017年所提出的Mask R-CNN网络中提出的RoI Align操作对上述原型引导RPN模块得到的感兴趣区域进行特征提取，得到感兴趣区域的特征图{F₁,F₂,...,F_r}，其中，F_i表示第i个感兴趣区域的特征图，i＝1,2,…,r，r为感兴趣区域的数量；然后，将类别原型向量和感兴趣区域的特征图进行逐通道相乘，得到重定向的特征图{F_1c1,F_1c2,...,F_1c,F_2c1,F_2c2,...,F_2c,...,F_rc1,F_rc2...,F_rc}，其中，F_i,j表示第i个感兴趣区域的特征图与类别为j的原型向量进行逐通道乘法的重定向特征图。

(4)检测器模块

利用Faster R-CNN网络的第二阶段检测器对重定向特征图模块输出的重定向特征图进行检测操作，输出包含目标预测类别和位置的检测框；其中，检测器模块的分类损失采用交叉熵损失函数，检测器模块的回归损失采用SmoothL1损失函数。

所述的Faster R-CNN记载在文献“S.Ren,R.Girshick,R.Girshick,and J.Sun,"Faster R-CNN:Towards Real-Time Object Detection with Region ProposalNetworks,"IEEE Transactions on Pattern Analysis&Machine Intelligence,vol.39,no.6,pp.1137-1149,2017.7.”中。

3、训练目标检测网络

将步骤1得到的预处理后的支持集图像和查询集图像输入到步骤2构建的目标检测网络进行训练，得到经过基类数据集训练后的目标检测网络。

4、微调训练数据准备

构建一个同时包含基类标注样本和新类标注样本的数据集D_few，即：从基类训练图像数据集D_base中随机抽取每个类别的标注样本图像3N个，将其和新类训练图像数据集D_novel合并，构成微调训练图像数据集D_few；所述的新类图像数据集包含少的标注样本，其标注样本数量不超过30个，N为其每个类别的标注样本数量，在本实施例中，N＝10。

然后，将微调训练图像数据集D_few代替基类训练图像数据集D_base执行步骤1中的处理，得到微调训练数据。

5、对目标检测网络进行微调

经过步骤4处理得到微调训练数据也包括预处理后的支持集图像和查询集图像，分别将其输入到步骤3得到的在基类数据集上训练后的目标检测网络，再次对网络进行训练，以进行网络微调，得到经过微调数据集训练后的目标检测网络。如图2所示。

然后，将数据集D_few中的每类标注样本分别输入到再次训练后的特征提取骨干网络B，再经由全局平均池化操作，得到其特征代表向量，计算所有特征代表向量的平均向量作为该类别的原型向量；如此处理，每个类别获得一个原型向量，得到C_few个原型向量，C_few为数据集D_few中包含的图像类别数，本实施例中C_few为20。

6、目标检测

将按照步骤1方法预处理后的待检测数据作为查询集图像送入经再次训练后的骨干网络B，再结合步骤5得到的20个类别原型向量，通过经再次训练后的原型引导RPN模块、重定向特征图模块、检测器模块，得到预测查询集图像中目标的类别和位置的检测框。采用非极大值抑制的方法来过滤掉冗余的检测框，给出每张图片最终的检测结果，其中，设置得分阈值为0.3，使用NMS重合阈值为0.5来过滤冗余的检测框。

所述的NMS方法记载在文献“A.Neubeck and L.Gool,“Efficient Non-MaximumSuppression.”18th International Conference on Pattern Recognition,2006,pp.850-855.”中。

图3给出了采用本发明得到的检测结果示例图。同时，为了验证本发明方法的有效性，选用mAP值对检测结果进行衡量，其值在0至1之间，数值越大，说明检测效果越好。mAP的计算方法记载在文献“M.Everingham,SMA.Eslami and L Van Gool,"The pascal visualobject classes challenge:A retrospective."International journal of computervision,2015,pp.98-136.”中。

将本发明所得的检测结果与小样本目标检测方法Meta R-CNN方法进行了对比，对比结果如表1所示，可以看出本发明方法在基类和新类上都具有更高的mAP值，具有更高的检测精度。

表1

	基类mAP	新类mAP
			Meta R-CNN方法	52.3％	17.0％
本发明方法	52.6％	18.6％

Claims (1)

1.一种基于原型卷积神经网络的遥感图像小样本目标检测方法，其特征在于步骤如下：

步骤1，基类训练数据准备：以基类训练图像数据集D_base中所有类别的目标实例图像构成支持集图像，其中，目标实例图像为图像中目标实例包围框内的图像块；从基类训练图像数据集D_base中随机抽取包含任意类别和数量目标实例的整幅图像作为查询集图像；然后，对所有支持集图像和查询集图像进行预处理操作，预处理后的图像作为训练数据；所述的预处理操作包括对所有图像进行归一化处理、将支持集中的图像的长宽调整为M×M、将查询集中的图像的长宽调整为M′×M′；M′的取值为基类训练图像尺寸的0.8倍至1.2倍，M的取值为M′的0.28倍；所述的基类训练图像数据集为遥感图像目标检测DIOR数据集；

步骤2，构建目标检测网络：目标检测网络主要包括特征提取与类别原型获取模块、原型引导RPN模块、重定向特征图模块和检测器模块；

所述的特征提取与类别原型获取模块的具体实现过程为：首先，输入支持集图像和查询集图像，利用特征提取骨干网络B分别对其进行特征提取，得到其对应的特征图，记支持集图像的特征图为{F_s,1,F_s,2,...,F_s,C}，查询集图像的特征图为F_q，其中，特征提取骨干网络B采用的是ResNet-101网络的前四个阶段的卷积层，F_s,i表示第i个类别的支持图像的特征图，i＝1,2,…,C，C为类别数；然后，对支持集图像的特征图{F_s,1,F_s,2,...,F_s,C}进行全局平均池化操作，得到每个类别的原型向量{p₁,p₂,...,p_C}，p_i表示第i个类别的原型向量，i＝1,2,…,C；

所述的原型引导RPN模块用于生成可能包含目标的感兴趣区域，具体实现过程为：将特征提取与类别原型获取模块得到的类别原型向量{p₁,p₂,...,p_C}输入到一个三层的全连接网络，输出一个长度和RPN分类器所有卷积核展开后长度相同的向量，将该向量按照和RPN分类器的卷积核相同的形状进行重组，构成一组新的卷积核参数，以该参数作为辅助分类器的参数，利用辅助分类器和RPN分类器分别对查询集图像的特征图中的锚点进行前-背景打分，并将得到的两个分数相加作为锚点的前景目标得分；然后，按照RPN的锚点划分规则确定每个锚点的标签，包括前景类别、背景类别和忽略样例；将前景目标得分从高到低排序，利用RPN回归器对得分较高的r个锚点进行调整，得到r个感兴趣区域；

所述的重定向特征图模块利用Mask R-CNN网络的RoI Align操作对原型引导RPN模块得到的感兴趣区域进行特征提取，得到感兴趣区域的特征图{F₁,F₂,...,F_r}，其中，F_i表示第i个感兴趣区域的特征图，i＝1,2,…,r，r为感兴趣区域的数量；然后，将类别原型向量和感兴趣区域的特征图进行逐通道相乘，得到重定向的特征图；

所述的检测器模块利用Faster R-CNN网络的第二阶段检测器对重定向特征图模块输出的重定向特征图进行检测操作，输出包含目标预测类别和位置的检测框；其中，检测器模块的分类损失采用交叉熵损失函数，检测器模块的回归损失采用SmoothL1损失函数；

步骤3，训练目标检测网络：将步骤1得到的预处理后的支持集图像和查询集图像输入到步骤2构建的目标检测网络进行训练，得到经过基类数据集训练后的目标检测网络；

步骤4，微调训练数据准备：首先，从基类训练图像数据集D_base中随机抽取每个类别的标注样本图像3N个，将其和新类训练图像数据集D_novel合并，构成微调训练图像数据集D_few；所述的新类图像数据集包含的标注样本数量不超过30个，N为其每个类别的标注样本数量；

然后，将微调训练图像数据集D_few代替基类训练图像数据集D_base执行步骤1中的处理，得到微调训练数据；

步骤5，进行目标检测网络微调：将步骤4得到的微调训练数据的支持集图像和查询集图像输入到步骤3得到的训练后的目标检测网络，再次对网络进行训练，得到经过微调数据集训练后的目标检测网络；

然后，将步骤4构建的数据集D_few中的每类标注样本分别输入到训练后的特征提取骨干网络B，再经由全局平均池化操作，得到其特征代表向量，计算所有特征代表向量的平均向量作为该类别的原型向量；如此处理，每个类别获得一个原型向量，得到C_few个原型向量，C_few为数据集D_few中包含的图像类别数；

步骤6，目标检测：将预处理后的待检测数据作为查询集图像输入到步骤5训练后的特征提取骨干网络B，得到其查询集图像特征，将步骤5得到的C_few个类别原型向量和该查询集图像特征输入到训练后的原型引导RPN模块，再经训练后的重定向特征图模块、检测器模块，得到包含目标预测类别和位置的检测框，采用非极大值抑制的方法过滤掉冗余的检测框，剩余检测框即为待检测数据最终的目标检测结果。