CN113468968A - 一种基于无锚框的遥感图像旋转目标检测方法 - Google Patents

Abstract

本发明提供一种基于无锚框的遥感图像旋转目标检测方法，首先对遥感图像进行四倍下采样操作，获得特征丰富且尺寸合适的图像；构建无锚框的遥感图像旋转目标检测模型，将获得的图像作为输入，利用骨干网络提取浅层和深层特征图；利用提取出的不同尺度特征使用特征金字塔进行特征融合，获得四倍下采样的特征图；设计目标检测head模块，将得到的特征图作为head模块的输入，head模块检测特征图中每个像素点的类别和位置，设计损失函数，计算输出预测框相对边界框的损失函数：更新模型参数，完成模型的训练；利用所述训练完成的目标检测模型进行遥感图像目标检测。本发明提高了模型的检测精度，简化模型的结构复杂度。

Description

一种基于无锚框的遥感图像旋转目标检测方法

技术领域

本发明涉及遥感图像目标检测技术领域，尤其涉及一种基于无锚框的遥感图像旋转目标检测方法。

背景技术

目标检测的任务是判断图像中指定目标的位置和类别信息，并用检测框将目标包围。目标检测中亟待解决的核心问题是目标定位、分类的准确性以及高效性。随着遥感技术的发展，遥感图像的相关研究更受重视，由于遥感图像扫描仪器的研究不断推进，遥感图像的获取方式越来越容易，遥感图像广泛用于智能交通、城市规划、地质勘探、国防安全以及智慧农业等领域，并且发挥着至关重要的作用。因此，目标检测在遥感图像上的应用也越来越丰富，但是遥感图像的目标类别多样、目标方向多样、目标尺度变化大等特点，导致目标检测的精度和效率等性能指标受到了极大影响，因此遥感图像目标检测任务是一项十分重要也极具挑战性的任务。

目前基于深度学***边界框来检测目标，针对于遥感图像目标密集排列而言，预测框会相对增大，导致定位不准确，而且相邻预测框会产生大量重叠，导致引入冗余背景信息，阻碍目标检测模型性能的提升。

遥感图像目标检测性能提高的关键之处是提高预测框的定位准确性和分类置信度。现存遥感图像目标检测方法主要基于锚框来检测目标，并且利用水平框来预测目标，忽略了锚框引入的超参数难以调节、目标旋转放置和模型冗余计算量大等问题，因此减少超参数的数量、减少模型复杂度并对任意方向目标进行精准检测，从而提升检测的精度和速度，这是目前亟待解决且充满挑战的遥感图像目标检测任务。

陈延伟等2020年发明一种基于无锚框的多期相肝脏病灶检测方法及***，首次使用无锚框的方法来检测肝脏病灶的多期相，避免了锚框相关超参数的调节问题，并充分结合深层和浅层信息，提升网络对于多尺度病灶的学习能力，同时提出循环特征连接模块，结合多相期每个尺度的特征，获取特征的动态变化，进一步提升病灶的检测能力。包括如下步骤：1)使用全尺度连接循环深层聚合检测网络和循环特征连接模块构成特征提取网络；2)特征提取网络使用密集跳跃连接将浅层特征传递给深层特征，实现多尺度特征的融合；3)将各相期图像经过步骤2)来获得同尺度的特征，接着通过循环特征提取模块各节点的相互连接来合成不同特征；4)将步骤3)的每个连接节点进行上采样卷积，最后一个连接节点输出特征提取模块获得的特征；5)输入肝脏病灶数据集对特征提取网络和检测分支进行训练，并且获得病灶位置，实现自动检测多相期肝脏病灶功能。

史静等2020年发明一种基于边界优化神经网络的舰船遥感目标检测方法，提取更多目标便阿姐特征，实现对任意旋转方向的遥感舰船目标的定位进行优化，同时提高遥感舰船目标的检测准确性。包括以下步骤：1)高分辨率卫星影像舰船数据的标注；2)将步骤1)进行训练样本数据的生成和数据增广；3)设计基于边界优化神经网络的舰船目标检测模型，将步骤2)增广后的数据输入至舰船目标检测模型，获得检测目标区域；4)采用NMS算法去除重叠框，获取最后的舰船遥感目标检测结果。

杨健峰等2020年发明一种基于无锚框的遥感图像目标检测方法，使用无锚框的方法、多尺度来获得特征丰富的特征图，设计新的损失函数来融合多指标，利用损失函数来优化模型训练，建立一个超参数量少、模型复杂度低、检测精度高的遥感图像目标检测模型。包括如下步骤：1)建立无锚框的特征提取网络、特征金字塔和无锚框检测器；2)获取遥感图像，并对遥感图像进行分分割得到小尺寸图像；3)将步骤2)获得的图像输入到所述特征提取网络中，利用所述特征金字塔结构，得到三个不同尺度的特征图；4)将步骤3)的特征图分别输入到无锚框检测器中进行预测，得到目标预测结果；5)设计多指标融合的损失函数，并优化步骤4)的预测结果；6)完成目标检测模型的建立并进行遥感图像目标检测。

冯婕等在2019年发明了基于边界约束CenterNet的遥感目标检测方法，用于解决现有技术中存在密集小目标的检测精度和召回率较低的问题，在CenterNet的基础上利用边界约束来使预测框更为更精准，进一步提高目标的检测精度。包括如下步骤：1)从光学遥感图像数据集中随机获取训练样本；2)构建特征提取网络、边界约束卷积网络和关键点生成网络，将特征提取网络的输出作为边界约束卷积网络和关键点生成网络的输入，边界约束卷积网络的输出作为关键点生成网络的角点约束池化层的池化核，得到边界约束CenterNet网络；3)获取步骤1)的预测标签和嵌入向量；4)计算步骤2)的边界约束CenterNet网络的损失，对网络的参数进行训练、调节，获得训练完成的边界约束CenterNet网络；5)利用步骤4)中训练好的边界约束CenterNet网络获取目标检测结果。

上述发明中，提出的目标检测方法对于指定目标的检测精度都有所提升，并且大部分都利用无锚框思想来降低与锚框相关超参数量，以及解决锚框带来的正负样本不均衡、复杂后处理等问题，能够建立或改进无锚框遥感图像目标检测算法。但是上述方法并未解决遥感图像中目标摆放角度多变的检测问题，这会导致相邻预测框重叠度高，背景冗余信息相互干扰，目标预测框定位不准确等问题。杨健峰在遥感图像船舰目标检测方法中使用了旋转框来解决目标摆放多角度的问题，但是该方法仍需要使用最大池化作为后处理操作来去除重叠度高的预测框，这不仅增大了模型计算复杂度，还无法提高预测框的分类准确性。

本发明提出一种基于无锚框的遥感图像旋转目标检测方法。通过对基于锚框的遥感图像目标检测方法进行分析和总结得出锚框带来的超参数量大、模型复杂度高和影响模型检测性能等问题，通过引入无锚框的思想，利用目标的关键点代替锚框来对目标边界框进行预测，建立超参数量少、模型复杂度低、冗余信息少的遥感图像目标检测模型。在无锚框目标检测的基础上，利用遥感图像中目标排列角度任意、尺度不一等特点，分析水平框会导致目标边界框重叠度高、冗余背景信息多的缺点，在分类和回归分支上增加一个角度预测分支，提出利用旋转框代替水平框来检测旋转目标。除此之外，由于目标检测模型使用后处理操作来去除重叠度高的预测框，这使计算复杂度增大，浪费硬件资源，因此提出新的损失函数来去除冗余框，实现无需后处理的遥感图像旋转目标检测，提高模型分类准确度。

发明内容

有鉴于此，本发明目的是提供一种基于无锚框的遥感图像旋转目标检测方法，包括以下步骤：

S1、对遥感图像进行四倍下采样操作，获得特征丰富且尺寸合适的图像；

S2、构建无锚框的遥感图像旋转目标检测模型，将S1中处理之后的图像作为输入，利用骨干网络提取浅层和深层特征图；

S3、利用S2中提取出的不同尺度特征使用特征金字塔FPN进行特征融合，获得四倍下采样的特征图；

S4、设计目标检测head模块，将S3得到的特征图作为head模块的输入，head模块检测特征图中每个像素点的类别和位置，类别输出选取K个目标的类别损失最小的top-K个中心点位置，利用上述K个中心点位置预测出目标边界框的一个极半径和两个极角，即极坐标下的预测框位置信息；

S5、设计损失函数，计算输出预测框相对边界框的损失函数：计算极半径和极角的角度损失函数，计算预测框的偏置损失函数，中心点类别损失函数，更新无锚框的遥感图像旋转目标检测模型参数，完成模型的训练；

S6、利用所述训练完成的目标检测模型进行遥感图像目标检测。

本发明提供的技术方案带来的有益效果是：本发明建立一个基于中心点检测的无锚框遥感图像目标检测模型，无需使用锚框，减少锚框引入的超参数，减少计算复杂度，简化模型；然后针对于正负样本点判断复杂度高的问题，提出加入分类损失，对每个目标只生成一个正样本，无需额外的计算量；最后针对水平框检测容易预测框重叠的问题，产生目标漏检，无法实现旋转目标检测的有效性的问题，提出极坐标加旋转框的检测方法，减少反向传播的参数。综上所述，本发明提高模型的检测精度，简化模型的结构复杂度，提高目标检测的精度和速度。

附图说明

图1是本发明一种基于无锚框的遥感图像旋转目标检测方法流程图；

图2是遥感图像旋转目标检测整体检测框架；

图3是基于锚框的目标检测方法框架；

图4是基于无锚框的目标检测方法(以OneNet为例)；

图5是极坐标、极角获取示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，本发明提供了一种基于无锚框的遥感图像旋转目标检测方法，包括以下步骤：

S1、对遥感图像进行四倍下采样操作，获得特征丰富且尺寸合适的图像；

遥感图像的尺寸很大，部分高分辨率的遥感图像的尺寸甚至达到了十万*十万级，遥感图像因其尺寸大、信息丰富导致模型训练参数量过大、模型复杂度高和硬件资源消耗极大，因此遥感图像无法直接输入到模型中训练。

为了能更好的训练遥感图像，本发明首先对遥感图像进行预处理操作：将任意尺寸的遥感图像分割成子图，为了保证所有的目标能够放入子图中，将子图以重叠率为15％的方式分割遥感图像；为了保证子图能够映射到原图，将每个子图的中心点坐标按照该图片名加分割位置进行命名；由于子图映射到原图会产生重叠检测目标，为了不使用后处理操作来去除重叠目标，本发明对于一个边界框只选择一个定位及分类可信度最高的预测框；最后将进行检测结果有效性评估和可视化。

目标检测需要提取有效目标特征，并且对特征进行筛选和检测，尤其是遥感图像包含丰富的信息，因此提取有效的目标特征，剔除冗余背景信息十分必要。本发明利用多层卷积网络来提取深层和浅层特征，并且通过特征金字塔网络将不同尺寸的特征图进行特征融合，对于融合后的特征图进行预测。

S2、构建无锚框的遥感图像旋转目标检测模型，将S1中获得的图像作为输入，利用骨干网络提取浅层和深层特征图；选取ResNet、Hourglass和DLA等网络作为骨干网络来提取特征，请参考图2；

请参考图3，基于锚框的目标检测方法,，经过图像预处理后的输入图像经过骨干网络得到一个特征图；然后在特征图上对每个像素点生成尺寸、宽高比不同的锚框；接着将每个锚框放入head模块中，生成一个相对边界框的位置偏移量和锚框所属各个类别的概率，例如如果一个锚框与边界框重合度较高且锚框分类类别与边界框类别相同，则锚框匹配到该边界框，锚框的类别就是边界框的类被，然后计算锚框相对边界框的中心点偏移量和尺寸偏移量。如果一个锚框没有与任何一个边界框匹配，则将锚框的类别设置为背景类，类别为背景的锚框通常称为负样本，其余的锚框视作正样本；最后通过回归来计算输出图片与训练图片的损失函数，通过反向传播的方式提高模型检测精度。

上面详细介绍了基于锚框的目标检测方法，尽管使用锚框能找到与边界框匹配程度高的锚框，提高目标检测模型的检测精度。但是锚框会带来大量难以调节的超参数，增加模型训练复杂度；锚框设计需要较强的先验信息，导致形状特殊的目标难以设计锚框，出现漏检目标的问题；由于图像中目标的个数远少于生成的锚框个数，因此训练过程产生的正样本数量远小于负样本，造成严重的正负样本不均衡问题。

请参考图4，本发明提出基于无锚框的目标检测方法(以OneNet为例)，并针对于遥感图像的特点提出旋转目标检测方法，直接在特征图上预测目标关键点(例如中心点、角点)，根据关键点与目标中心点的偏移来预测目标，该方法无需在特征图上生成锚框，减少了锚框带来的额外超参数，降低了模型计算复杂度和结构复杂度；

S3、利用S2中提取出的不同尺度特征使用特征金字塔(FPN)进行特征融合，获得四倍下采样的特征图；

S4、设计目标检测head模块，将S3得到的特征图作为head模块的输入，head模块检测特征图中每个像素点的类别和位置，类别输出选取K个目标的类别损失最小的top-K个中心点位置，即对每个目标预测一个中心点位置，利用上述K个中心点位置预测出目标边界框的一个极半径和两个极角，即极坐标下的预测框位置信息；

在无锚框检测器的基础上，针对遥感图像目标方向多变和密集目标边界框重叠的问题，本发明设计一种基于极坐标的损失函数，将直角坐标系替换成到极坐标系，利用极半径ρ替代宽、高(w、h)，使用极角θ₁、θ₂替代水平框进行旋转目标检测；在head模块的回归和分类分支上加入角度分支，利用输入的特征图来检测输出的一个极半径ρ和两个极角θ₁、θ₂，请参考图5。

利用中心点回归目标尺寸获得预测框的顶点坐标，极半径的计算公式如下：

其中预测框的顶点坐标为(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)，极点坐标为(x_p,y_p)，计算公式为：

ρ为极半径。

利用预测框的四个顶点和中心点计算所有极角的大小，然后按逆时针方向获取最小的的两个极角θ₁、θ₂作为角度预测输出，极角的计算公式为：

其中，x_p,y_p为极点坐标；x_i,y_i为顶点坐标。

S5、设计损失函数，计算输出预测框相对边界框的损失函数：计算极半径和极角的角度损失函数，计算预测框的偏置损失函数，中心点类别损失函数，更新无锚框的遥感图像旋转目标检测模型参数，完成模型的训练；

由于旋转检测方法中预测框和边界框之间会存在一定的偏移，而且相交区域可能是多边形，无法获得梯度，因此本发明使用PIoU Loss来计算预测框的偏差，以逐像素判断的方式来计算预测框和边界框的IoU位置偏移，预测中心点位置判断公式如下：

其中，s∈w，h

p_i，j为预测框中心点，w、h为边界框的宽和高，w'、h'为预测框的宽和高，

为预测中心点到边界框宽和高的距离，K为3×3卷积核，F(p_i,j|b)用来判断预测中心点是否在边界框内，k用于控制每个像素点的权重，本文取10、50、100，s为0.5或0.7的可调参数。

S_b∩b'，S_b∪b'分别为预测框和边界框的相交区域面积和相并区域面积，计算公式如下：

S_b∪b'＝w×h+w'×h'-S_b∩b'

PIoU的计算公式为：

PIoU-Loss计算公式为：

其中，M为正样本，PIoU-Loss可以计算无重叠部分预测框和边界框的损失，尤其针对遥感图像目标分布不均匀的情况，使用PIoU Loss能够使目标检测效果能够进一步提升。

综上所述，位置损失函数如下：

L_loc＝L_loc'+L_PIoU

所述损失函数L包括类别损失函数和位置损失函数；所述位置损失函数包括角度损失函数和预测框的偏置损失函数，损失函数L计算公式如下：

L＝L_class+λ_locL_loc

这里，L_class、L_loc分别为类别损失函数、位置损失损失函数(包括偏置损失和角度损失)，λ_loc是调节系数。

所述L_loc｀计算公式如下：

其中，u表示预测值，u^*表示真实值，当预测值和真实值相等时，损失函数L_loc｀为零，Smooth-L1损失函数解决了L1损失不光滑的问题，而且解决了距离中心点教员点的梯度***问题。

S6、利用所述训练完成的目标检测模型进行遥感图像目标检测。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于无锚框的遥感图像旋转目标检测方法，其特征在于，包括以下步骤：

S1、对遥感图像进行四倍下采样操作，获得特征丰富且尺寸合适的图像；

S2、构建无锚框的遥感图像旋转目标检测模型，将S1中处理之后的图像作为输入，利用骨干网络提取浅层和深层特征图；

S3、利用S2中提取出的不同尺度特征使用特征金字塔FPN进行特征融合，获得四倍下采样的特征图；

S4、设计目标检测head模块，将S3得到的特征图作为head模块的输入，head模块检测特征图中每个像素点的类别和位置，类别输出选取K个目标的类别损失最小的top-K个中心点位置，利用上述K个中心点位置预测出目标边界框的一个极半径和两个极角，即极坐标下的预测框位置信息；

S5、设计损失函数，计算输出预测框相对边界框的损失函数：计算极半径和极角的角度损失函数，计算预测框的偏置损失函数，中心点类别损失函数，更新无锚框的遥感图像旋转目标检测模型参数，完成模型的训练；

S6、利用所述训练完成的目标检测模型进行遥感图像目标检测。

2.根据权利要求1所述的一种基于无锚框的遥感图像旋转目标检测方法，其特征在于，所述极半径的计算公式如下：

其中，预测框的顶点坐标为(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)，极点坐标为(x_p,y_p)，计算公式为：

ρ为极半径。

3.根据权利要求1所述的一种基于无锚框的遥感图像旋转目标检测方法，其特征在于，利用预测框的四个顶点和中心点计算所有极角的大小，然后按逆时针方向获取最小的的两个极角θ₁、θ₂作为角度预测输出，极角的计算公式为：

其中，x_p,y_p为预测框的极点坐标；x_i,y_i为预测框的顶点坐标。

4.根据权利要求1所述的一种基于无锚框的遥感图像旋转目标检测方法，其特征在于，所述损失函数L包括类别损失函数和位置损失函数；所述位置损失函数包括角度损失函数和预测框的偏置损失函数，损失函数L计算公式如下：

L＝L_class+λ_locL_loc

其中，L_class、L_loc分别为类别损失函数、位置损失函数，λ_loc是调节系数。

5.根据权利要求4所述的一种基于无锚框的遥感图像旋转目标检测方法，其特征在于，所述类别损失函数L_class如下：

其中，N表示目标的总数量，p_t表示对每个像素点预测的类别概率，反映了预测类别与真实类别的接近程度，p_t越大分类越准确；γ是超参数，用来控制样本的权重，当γ越大时，易分样本的权重小。

6.根据权利要求4所述的一种基于无锚框的遥感图像旋转目标检测方法，其特征在于，所述位置损失函数如下：

L_loc＝L_loc'+L_PIoU

其中，B_bb'为包围边界框b和预测框b'的最小正方形，L_loc为位置损失函数，包括偏置损失和角度损失，L_loc`为极半径ρ和两个极角θ₁、θ₂的角度损失函数，L_PIoU为预测框的偏置损失函数，λ_loc是调节系数，M为所有正样本，S_b∩b'，S_b∪b'分别为预测框和边界框的相交区域面积和相并区域面积，计算公式如下：

S_b∪b'＝w×h+w'×h'-S_b∩b'

其中，s∈w，h

p_i，j为预测框中心点，w、h为边界框的宽和高，w'、h'为预测框的宽和高，

为预测中心点到边界框宽和高的距离，K为3×3卷积核，F(p_i,j|b)用来判断预测中心点是否在边界框内，k用于控制每个像素点的权重，s为可调参数。

7.根据权利要求6所述的一种基于无锚框的遥感图像旋转目标检测方法，其特征在于，L_loc`计算公式如下：

其中，L_loc`为极半径ρ和两个极角θ<sub>1</sub>、θ<sub>2</sub>的角度损失函数，u表示预测值，u<sup>*</sup>表示真实值，当预测值和真实值相等时，损失函数L<sub>loc</sub>`为零。

Images