CN115115601A - 一种基于形变注意金字塔的遥感舰船目标检测方法 - Google Patents

Abstract

一种基于形变注意金字塔的遥感舰船目标检测方法，属于遥感检测技术领域。分别是：形变注意金字塔网络、多尺度特征增强网络、多尺度自适应池化网络和旋转预测网络。被检测图像依次经过上述子网络，逐步实现特征提取、特征增强、生成感兴趣区域和标记舰船。优点：形变注意金字塔网络从多个尺度抑制了遥感图像的背景噪声，降低了模型受不相关特征的干扰。多尺度特征增强网络使用并行的拉普拉斯卷积核和空洞卷积核实现对弱小目标特征的锐化，增强了模型对小目标舰船的特征描述。多尺度自适应池化网络使用多尺度自适应池化策略获取到了更为精准的检测感兴趣区域。旋转预测网络基于回归策略生成旋转预测框，用于精准地标记任意方向的舰船。

Description

一种基于形变注意金字塔的遥感舰船目标检测方法

技术领域

本发明属于遥感检测技术领域，特别是一种基于形变注意金字塔的遥感舰船目标检测方法。

背景技术

舰船的自动化检测在海上交通管理，海上救援，以及国防安全应用中具有重要的意义和价值。近年来，随着遥感技术的快速发展，研究人员能够以合理的成本从星载或机载传感器中获取高质量的光学遥感图像。因此，光学遥感图像成为舰船检测的主流图像来源。这使得基于光学遥感图像的舰船目标检测技术成为一个研究热点。

目前有关于遥感图像的舰船检测方法主要分为两大类：传统检测方法和基于深度学习的舰船检测方法。在深度学习的舰船检测方法出现之前，许多研究人员将机器学习技术应用到舰船检测领域。但由于遥感图像中的舰船受光照、云层以及大气中的颗粒等背景噪声的影响，且舰船本身通常存在目标小、任意指向、拥挤排列的特点。因此，传统方法往往很难对各种成像条件下的舰船特征进行准确概括。导致传统检测方法的准确率较低，并缺乏泛化能力。

随着卷积神经网络的广泛应用，其凭借着出众的特征提取能力在目标检测领域中表现出强大的性能。诞生了许多基于深度学***边界框检测舰船，导致检测结果存在较多冗余信息，且无法进行多尺度舰船检测。随后一些学者提出了一种旋转Libra R-CNN方法。该方法的思想是平衡神经网络的三个层次，首先，使用平衡金字塔提取多尺度舰船特征；然后，使用交并比平衡采样生成区域建议；最后，在旋转分支中引入balanced L1 Loss，大幅提升了拥挤场景下的舰船检测性能。但该方法仍受背景噪声的干扰，且对小目标舰船存在较高的漏检率。如何最大程度地提取大纵横比、拥挤场景下任意形状尺寸、任意方向的舰船特征并有效地抑制背景噪声是目前存在的问题。

发明内容

针对上述存在的问题或不足，本发明提供一种基于形变注意金字塔的遥感舰船目标检测方法，解决光学遥感图像中的舰船受背景噪声的干扰，且舰船通常存在目标小、大纵横比、排列拥挤以及任意方向特点导致现存的目标检测方法无法精准检测舰船的问题。

本发明的目的是这样实现的：遥感舰船目标检测方法包括：以下四个子网络，分别是：形变注意金字塔网络、多尺度特征增强网络、多尺度自适应池化网络和旋转预测网络；被检测图像依次经过上述子网络，逐步实现特征提取、特征增强、生成感兴趣区域和标记舰船；

首先，在形变注意金字塔网络中集成舰船形变卷积单元和舰船注意模块，以充分提取任意方向舰船的特征；

舰船形变卷积单元能够使原本固定位置的卷积采样点分布于舰船内部；舰船注意模块能够有效地分配多尺度特征图中不同成分的权重，使模型关注不同尺度的舰船，抑制多尺度背景噪声。

再次，在多尺度特征增强网络中采用多尺度特征增强模块对舰船进行特征提取，用以增强不同尺度的舰船特征，使舰船目标特征增强；

所述的多尺度特征增强模块使用并行的拉普拉斯卷积核和空洞卷积核，通过拉普拉斯卷积核增强了不同尺度特征图中的舰船目标，使网络的检测性能进一步提升；通过空洞卷积核提取小尺度目标的背景信息，有利于提升网络对小目标舰船的检测性能；

然后，在多尺度自适应池化网络中采用多尺度自适应池化策略，精准地获取大纵横比舰船的感兴趣区域并学习舰船的多尺度上下文信息；

所述多尺度自适应池化策略基于双线性插值方法，能够根据区域建议自适应地获取横向和纵向采样点，使得模型对舰船目标的采样更均匀，以获取更有效的舰船特征描述，并在一定程度上实现对临近未知目标的推理。

最后，旋转预测网络通过五参数回归和前后景分类生成基于舰船目标的RBB用于精准地标记任意方向的舰船。

具体步骤如下：

步骤S1、将需要检测的图像输入形变注意金字塔网络处理，该网络使用舰船形变卷积单元作为基础的特征提取模块，并使用舰船注意模块抑制背景噪声；

步骤S2、将经形变注意金字塔网络处理后的多尺度特征图输入至多尺度特征增强网络，并使用其中的多尺度特征增强模块对其进行特征增强；

步骤S3、将多尺度特征增强网络增强后的数据输入多尺度自适应池化网络，多尺度自适应池化网络先使用Oriented RPN生成多尺度旋转区域建议，后使用多尺度自适应池化策略获取更为精准的感兴趣区域；所述的Oriented RPN是一种基于锚策略的方法，能够生成多种尺度，任意方向的区域建议；

步骤S4、旋转预测网络在感兴趣区域的基础上进一步识别遥感图像中的舰船，首先生成旋转边界框来标记任意方向的舰船；再使用skew IoU策略计算旋转边界框的交并比值，从而更好地区分正负样本；最后使用soft-roate-NMS策略合理地选择旋转预测框；所述的skew IoU策略，其基于三角剖分思想，能够精准的计算旋转边界框的交并比值；所述的soft-roate-NMS策略先根据重叠面积来更新剩余相邻旋转预测框的置信度，然后合理地选择旋转预测框；

步骤S5、采用多任务损失函数来训练上述舰船检测网络，包含回归损失和分类损失，回归损失用于调整旋转边界框的位置，分类损失用于判定待测目标是否为舰船；逐步训练优化参数以实现对遥感舰船目标的检测。

在步骤S1中，形变注意金字塔网络处理采用自底向上和自顶向下两个处理过程；

自底向上的处理过程是：使用SDC单元对输入图像进行充分地特征提取，形成一个维度递增、分辨率递减的特征金字塔{C₂,C₃,C₄,C₅}；

自顶向下的处理过程是：以{C₂,C₃,C₄,C₅}为输入，通过上采样和横向连接的方式构建自顶向下的特征金字塔{P₂,P₃,P₄,P₅}；在所述的两个处理过程中，融入了舰船注意模块，抑制不同尺度特征图中的背景噪声；

当对复杂尺寸的舰船进行识别时，进行如下处理：

针对较小尺寸舰船的检测采用分辨率较高的特征图，利用多尺度特征融合的形式将低分辨率特征图{P₄,P₅}中的语义信息融入高分辨率特征图{P₂,P₃}；

针对较大尺寸的舰船，在高维特征图P₅的基础上执行步长为2的下采样操作生成P₆特征图，将其专门用于大型舰船的检测。

所述的SDC单元的特征提取过程为：

先使用1×1传统卷积调整输入特征图的通道数，并使用3×3传统卷积自适应地获取二维偏移量；然后，基于二维偏移量，使用3×3形变卷积提取任意形状、尺寸、方向的舰船特征；最后，使用1×1传统卷积进行降维，并使用线性激活函数激活特征，生成输出特征图；

所述舰船形变卷积单元为：

遥感图像具备较高的分辨率，导致模型对该类图像进行训练时需要占用较大的显存资源；如果batch size设置过大，导致计算机显存溢出而无法训练；相比批量归一化，分组归一化的计算方式进行了优化；所述的分组归一化操作不依赖于batch size的大小，其计算的是通道方向上每个组的均值和方差；分组归一化更适合用于遥感图像的训练；所述batch size表示单次训练所选取的样本数量；

舰船形变卷积单元中使用线性激活函数，保证模型保留更完整的特征信息；如果输入特征位于输入空间的非低维子空间，非线性激活函数会破坏提取的特征，影响检测性能；

所述的舰船注意模块为：

舰船注意模块从多个尺度抑制遥感图像的背景噪声，降低模型受不相关特征的干扰，最大程度地抑制背景噪声；

舰船注意模块基于形变注意金字塔网络本身固有的多尺度架构，包括SA₂、SA₃和SA₄模块；SA₂模块调节注意力的过程表述如下：

V₃＝Flatten(Conv(F₃))

A₃＝Grid(Sigmoid(V₃))

其中，

表示将尺寸相同的特征图进行融合；F₃表示融合后的特征图；Flatten表示展平操作，能够将特征图变为一维向量V₃；Sigmoid是激活函数，其能够获取V₃各特征点的注意力系数；Grid表示网格化操作，将一维注意力系数变为与P₃具备相同尺寸的注意力系数图A3；

表示两个矩阵的对应元素相乘；

SA₃和SA₄的注意力调节过程与SA₂模块调节注意力的过程相同。

在步骤S2中，采用多尺度特征增强网络中的多尺度特征增强模块，多尺度特征增强模块使用了并行的拉普拉斯卷积核和空洞卷积核；其中，拉普拉斯卷积核用以实现对弱小目标特征的锐化；空洞卷积核用以提升弱小目标的感受野，所述感受野为网络可感知输入特征图的区域，使多尺度特征增强网络增强了模型对小目标舰船的特征描述；对所得特征图进行特征增强，经形变注意金字塔网络对遥感图像中的舰船目标进行充分地特征提取后，精准检测多尺度舰船，并消除对小目标舰船的漏检率；

多尺度特征增强模块的增强过程如下：

其中，GN(·)表示分组归一化；LConv_3×3表示尺寸为3×3的拉普拉斯卷积核，其作用是通过拉普拉斯特征对不同尺度的舰船目标进行锐化；Conv_1×1表示尺寸为1×1的标准卷积核，用于调整通道数；DConv_3×3表示尺寸为3×3的空洞卷积，通过扩大感受野的方式提取小尺度目标的背景信息，以提升模型对弱小目标舰船的特征描述；

表示特征融合操作。

步骤S3中，使用Oriented RPN生成多种尺度、任意方向的区域建议；再执行池化操作生成k×k固定尺寸的ROI区域；

所述的多尺度自适应池化策略基于双线性插值方法，能自适应地均匀地获取横向和纵向采样点，并将它们聚合成多个闭合循环的矩形，构成一种紧凑的特征表示；

在多尺度自适应池化网络中，深层特征图分辨率低，感受野大，几何信息表示能力弱，更容易突出舰船的轮廓特征，有利于提升模型的定位能力；深层特征表示为靠近中心点的闭合循环矩形；

浅层特征图分辨率高，相应的感受野也小，几何信息的表示能力强，有利于提升模型的分类能力；浅层特征表示为远离中心点的闭合循环矩形；

最后，多尺度自适应池化网络通过这些闭合循环矩形生成涵盖深浅层特征信息的固定尺寸的特征图。

步骤S4中，旋转预测网络在感兴趣区域的基础上进一步识别遥感图像中的舰船，并生成旋转边界框进行标记任意方向的舰船。

所述旋转边界框可由五个参数表示，分别为x,y,w,h,θ。(x,y)表示旋转边界框的中心点坐标；w和h分别表示旋转边界框的宽和高；θ表示旋转边界框的w相对于x轴的角度。该角度范围为[-90°,0°]；旋转边界框的回归过程如下：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a,t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝θ-θ_a

t′_x＝(x′-x_a)/w_a,t′_y＝(y′-y_a)/h_a,t′_w＝log(w′/w_a),t′_h＝log(h′/h_a),t′_θ＝θ′-θ_a

在上式中，x,y,w,h,θ表示标签边界框的参数；x_a,y_a,w_a,h_a,θ_a表示根据区域建议标出的辅助边界框的参数；x',y',w',h',θ'表示旋转预测框的参数。

旋转边界框生成后，为了更好地区分正负样本，使用skewIoU策略计算旋转边界框的交并比值；所述skewIoU策略基于三角剖分思想，能够更准确地计算交并比值；

最后使用soft-rotate-NMS策略去除冗余的旋转预测框；在选取最高置信度的旋转预测框时，soft-rotate-NMS策略根据重叠面积来更新剩余相邻旋转预测框的置信度，合理地选择旋转预测框，准确地标记舰船。

步骤S5中，训练上述舰船检测网络优化参数实现遥感舰船目标检测：采用多任务损失函数，包含回归损失和分类损失；

回归损失用于调整旋转边界框的位置，分类损失用于判定待测目标是否为舰船；定义如下：

其中，i指第i个辅助边界框；L_cls为前景和后景的对数损失，其中，前景是舰船，后景是非舰船的目标；L_reg表示为目标候选框的回归损失，为了提升模型的鲁棒性，并有效地解决正负样本不均衡地问题，本发明将balanced L1 Loss作为回归损失；P_i指每一个辅助边界框属于目标舰船的概率；t_i表示样本的预测候选框的坐标参数；

表示样本的真实候选框的坐标参数；λ为权重的平衡参数；

分类L_cls和回归L_reg的损失具体表示为：

L_cls＝-(1-y_i)log(1-p_i)-(y_i)log(p_i)

其中，y_i表示样本的正负，当y_i为1时代表对应样本为正样本，当y_i为0时代表对应样本为负样本。特别地，当y_i为0时，此时不存在回归损失。|x|表示

γ被定义为

有益效果，由于采用了上述方案，由形变注意金字塔网络、多尺度特征增强网络、多尺度自适应池化网络和旋转预测网络组成。首先，形变注意金字塔网络集成了自主设计的舰船形变卷积单元和舰船注意模块，以充分提取任意方向舰船的特征并引导网络关注不同尺度的舰船区域。再次，设计了多尺度特征增强模块，该模块使用并行的拉普拉斯卷积核和空洞卷积核对舰船进行特征提取，用以增强不同尺度的舰船特征。然后，设计了多尺度特征增强网络，用于精准地获取大纵横比舰船的感兴趣区域，并学习舰船的多尺度上下文信息。最后，通过旋转预测网络生成旋转检测框，用于精准地标记任意方向的舰船。相比其他主流的目标检测算法，具备明显的优势。

解决了光学遥感图像中的舰船受背景噪声的干扰，且舰船通常存在目标小、大纵横比、排列拥挤以及任意方向特点导致现存的目标检测方法无法精准检测舰船的问题，达到了本发明的目的。

优点：形变注意金字塔网络解决了其他先进目标检测模型无法充分地提取舰船特征的问题，并且从多个尺度抑制了遥感图像的背景噪声，降低了模型受不相关特征的干扰。

多尺度特征增强网络使用并行的拉普拉斯卷积核和空洞卷积核实现对弱小目标特征的锐化，且提升了弱小目标的感受野，所述感受野为网络可感知输入特征图的区域，增强了模型对小目标舰船的特征描述；

多尺度自适应池化网络使用其中的多尺度自适应池化策略获取到了更为精准的检测感兴趣区域。

旋转预测网络基于回归策略生成旋转预测框精准的标记了遥感图像中任意方向的舰船。

附图说明：

图1为本发明的流程图。

图2为本发明的遥感舰船目标检测结构图。

图3为本发明的形变注意金字塔网络结构图。

图4为本发明的多尺度特征增强网络结构图。

图5为本发明的多尺度自适应池化网络结构图。

图6为本发明的多尺度自适应池化的工作原理。

图7为本发明的旋转边界框表示方式。

图8为本发明的检测结果图。

具体实施方式

遥感舰船目标检测方法包括：以下四个子网络，分别是：形变注意金字塔网络、多尺度特征增强网络、多尺度自适应池化网络和旋转预测网络；被检测图像依次经过上述子网络，逐步实现特征提取、特征增强、生成感兴趣区域和标记舰船；

首先，在形变注意金字塔网络中集成舰船形变卷积单元和舰船注意模块，抑制多尺度背景噪声；

舰船形变卷积单元能够使原本固定位置的卷积采样点分布于舰船内部；舰船注意模块能够有效地分配多尺度特征图中不同成分的权重，使模型关注不同尺度的舰船，抑制多尺度背景噪声。

然后，在多尺度特征增强网络中采用多尺度特征增强模块对舰船进行特征提取，用以增强不同尺度的舰船特征，使舰船目标特征增强；

所述的多尺度特征增强模块使用并行的拉普拉斯卷积核和空洞卷积核，通过拉普拉斯卷积核增强了不同尺度特征图中的舰船目标，使网络的检测性能进一步提升；通过空洞卷积核提取小尺度目标的背景信息，有利于提升网络对小目标舰船的检测性能；

再次，在多尺度自适应池化网络中采用多尺度自适应池化策略，从而精准地获取大纵横比舰船的感兴趣区域并学习舰船的多尺度上下文信息；

所述多尺度自适应池化策略基于双线性插值方法，其能够根据区域建议自适应地获取横向和纵向采样点，使得模型对舰船目标的采样更均匀，以获取更有效的舰船特征描述，并在一定程度上实现对临近未知目标的推理。

最后，通过旋转预测网络生成旋转检测框，其通过五参数回归和前后景分类生成基于舰船目标的旋转边界框用于精准地标记任意方向的舰船。

所述的形变注意金字塔网络英文表示为Deformable Attention PyramidNetwork，简写为DAPNet；所述的多尺度特征增强网络英文表示为Multiscale FeatureEnhancement Network，简写为MFENet；所述的多尺度自适应池化网络英文表示为Multiscale Adaptive Pooling Network，简写为MAPNet；所述旋转预测网络英文表示为Rotation Prediction Network，简写为RPNet。

具体步骤如下：

步骤S1、将需要检测的图像输入DAPNet处理，该网络使用舰船形变卷积单元作为基础的特征提取模块，并使用舰船注意模块抑制背景噪声；所述的舰船形变卷积英文表示为Ship Deformation Convolution，简写为SDC；所述的舰船注意英文表示为ShipAttention，简写为SA；

步骤S2、将经DAPNet处理后的多尺度特征图输入至MFENet，并使用其中的多尺度特征增强模块对其进行特征增强；所述的多尺度特征增强模块英文表示为MultiscaleFeature Enhancement，简写为MFE；

步骤S3、数据输入MAPNet，MAPNet先使用Oriented RPN生成多尺度旋转区域建议，后使用多尺度自适应池化策略获取更为精准的感兴趣区域；所述的Oriented RPN是一种基于锚策略的方法，能够生成多种尺度，任意方向的区域建议；所述的多尺度自适应池化英文表示为Multiscale Adaptive Pooling，简写为MA pooling；所述的感兴趣区域英文表示为Region of Interest，简写为ROI；

步骤S4、RPNet在ROI区域的基础上进一步识别遥感图像中的舰船，首先生成旋转边界框来标记任意方向的舰船；再使用skew IoU策略计算旋转边界框的交并比值，从而更好地区分正负样本；最后使用soft-roate-NMS策略合理地选择旋转预测框；所述的旋转边界框英文表示为Rotating Bounding Box，简写为RBB；所述的交并比值英文表示为Intersection over Union，简写为IoU；所述的skew IoU策略，其基于三角剖分思想，能够精准的计算旋转边界框的交并比值；所述的soft-roate-NMS策略先根据重叠面积来更新剩余相邻旋转预测框的置信度，然后合理地选择旋转预测框；

步骤S5、采用多任务损失函数来训练上述舰船检测网络，包含回归损失和分类损失，回归损失用于调整RBB的位置，分类损失用于判定待测目标是否为舰船；逐步训练优化参数以实现对遥感舰船目标的检测。

在步骤S1中，DAPNet处理采用自底向上和自顶向下两个处理过程；

自底向上的处理过程是：使用SDC单元对输入图像进行充分地特征提取，形成一个维度递增、分辨率递减的特征金字塔{C₂,C₃,C₄,C₅}；

自顶向下的处理过程是：以{C₂,C₃,C₄,C₅}为输入，通过上采样和横向连接的方式构建自顶向下的特征金字塔{P₂,P₃,P₄,P₅}；在所述的两个处理过程中，融入了SA模块，抑制不同尺度特征图中的背景噪声；

当对复杂尺寸的舰船进行识别时，进行如下处理：

针对较小尺寸舰船的检测采用分辨率较高的特征图，利用多尺度特征融合的形式将低分辨率特征图{P₄,P₅}中的语义信息融入高分辨率特征图{P₂,P₃}；

针对较大尺寸的舰船，在高维特征图P₅的基础上执行步长为2的下采样操作生成P₆特征图，将其专门用于大型舰船的检测。

所述的SDC单元的特征提取过程：

先使用1×1传统卷积调整输入特征图的通道数，并使用3×3传统卷积自适应地获取二维偏移量；然后，基于二维偏移量，使用3×3形变卷积提取任意形状、尺寸、方向的舰船特征；最后，使用1×1传统卷积进行降维，并使用线性激活函数激活特征，生成输出特征图；

所述SDC单元为：

遥感图像具备较高的分辨率，导致模型对该类图像进行训练时需要占用较大的显存资源；如果batch size设置过大，导致计算机显存溢出而无法训练；相比批量归一化，分组归一化的计算方式进行了优化；所述的分组归一化操作不依赖于batch size的大小，其计算的是通道方向上每个组的均值和方差；分组归一化更适合用于遥感图像的训练；所述batch size表示单次训练所选取的样本数量；所述的批量归一化英文表示为BatchNormalization，简写为BN；所述的分组归一化英文表示为Group Normalization，简写为GN；

SDC单元中使用线性激活函数，保证模型保留更完整的特征信息；如果输入特征位于输入空间的非低维子空间，非线性激活函数会破坏提取的特征，影响检测性能；

所述的SA模块为：

SA模块从多个尺度抑制遥感图像的背景噪声，降低模型受不相关特征的干扰，最大程度地抑制背景噪声；

SA模块基于DAPNet本身固有的多尺度架构，包括SA₂、SA₃和SA₄模块；SA₂模块调节注意力的过程表述如下：

V₃＝Flatten(Conv(F₃))

A₃＝Grid(Sigmoid(V₃))

其中，

表示将尺寸相同的特征图进行融合；F₃表示融合后的特征图；Flatten表示展平操作，能够将特征图变为一维向量V₃；Sigmoid是激活函数，其能够获取V₃各特征点的注意力系数；Grid表示网格化操作，将一维注意力系数变为与P₃具备相同尺寸的注意力系数图A₃；

表示两个矩阵的对应元素相乘；

SA₃和SA₄的注意力调节过程与SA₂模块调节注意力的过程相同。

在步骤S2中，采用MFENet中的MFE模块，MFE模块使用了并行的拉普拉斯卷积核和空洞卷积核；其中，拉普拉斯卷积核用以实现对弱小目标特征的锐化；空洞卷积核用以提升弱小目标的感受野，所述感受野为网络可感知输入特征图的区域，使MFENet增强了模型对小目标舰船的特征描述；实现经DAPNet对遥感图像中的舰船目标进行充分地特征提取后，对所得特征图进行特征增强，精准检测多尺度舰船，并消除对小目标舰船的漏检率；

MFE模块的增强过程如下：

其中，GN(·)表示分组归一化；LConv_3×3表示尺寸为3×3的拉普拉斯卷积核，其作用是通过拉普拉斯特征对不同尺度的舰船目标进行锐化；Conv_1×1表示尺寸为1×1的标准卷积核，用于调整通道数；DConv_3×3表示尺寸为3×3的空洞卷积，通过扩大感受野的方式提取小尺度目标的背景信息，以提升模型对弱小目标舰船的特征描述；

表示特征融合操作。

步骤S3中，使用Oriented RPN生成多种尺度、任意方向的区域建议；再执行池化操作生成k×k固定尺寸的ROI区域；

所述的MApooling策略基于双线性插值方法，能自适应地均匀地获取横向和纵向采样点，并将它们聚合成多个闭合循环的矩形，构成一种紧凑的特征表示。

在MAPNet中，深层特征图分辨率低，感受野大，几何信息表示能力弱，更容易突出舰船的轮廓特征，有利于提升模型的定位能力；深层特征表示为靠近中心点的闭合循环矩形；

浅层特征图分辨率高，相应的感受野也小，几何信息的表示能力强，有利于提升模型的分类能力；浅层特征表示为远离中心点的闭合循环矩形；

最后，MAPNet通过这些闭合循环矩形生成涵盖深浅层特征信息的固定尺寸的特征图。

步骤S4中，RPNet在ROI区域的基础上进一步识别遥感图像中的舰船，并生成RBB进行标记任意方向的舰船；

所述RBB可由五个参数表示，分别为x,y,w,h,θ。(x,y)表示RBB的中心点坐标；w和h分别表示RBB的宽和高；θ表示RBB的w相对于x轴的角度。该角度范围为[-90°,0°]；RBB的回归过程如下：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a,t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝θ-θ_a

t′_x＝(x′-x_a)/w_a,t′_y＝(y′-y_a)/h_a,t′_w＝log(w′/w_a),t′_h＝log(h′/h_a),t′_θ＝θ′-θ_a

在上式中，x,y,w,h,θ表示标签边界框的参数；x_a,y_a,w_a,h_a,θ_a表示根据区域建议标出的辅助边界框的参数；x',y',w',h',θ'表示旋转预测框的参数；

RBB生成后，为了更好地区分正负样本，使用skewIoU策略计算旋转边界框的交并比值；所述skewIoU策略基于三角剖分思想，能够更准确地计算交并比值；

最后使用soft-rotate-NMS策略去除冗余的旋转预测框；在选取最高置信度的旋转预测框时，soft-rotate-NMS策略根据重叠面积来更新剩余相邻旋转预测框的置信度，合理地选择旋转预测框，准确地标记舰船。

步骤S5中，训练上述舰船检测网络优化参数实现遥感舰船目标检测：采用多任务损失函数，包含回归损失和分类损失；

回归损失用于调整RBB的位置，分类损失用于判定待测目标是否为舰船；定义如下：

其中，i指第i个辅助边界框；L_cls为前景和后景的对数损失(前景是舰船，后景是非舰船的目标)；L_reg表示为目标候选框的回归损失，为了提升模型的鲁棒性，并有效地解决正负样本不均衡地问题，本发明将balanced L1 Loss作为回归损失；P_i指每一个辅助边界框属于目标舰船的概率；t_i表示样本的预测候选框的坐标参数；

表示样本的真实候选框的坐标参数；λ为权重的平衡参数；

分类L_cls和回归L_reg的损失具体表示为：

L_cls＝-(1-y_i)log(1-p_i)-(y_i)log(p_i)

其中，y_i表示样本的正负，当y_i为1时代表对应样本为正样本，当y_i为0时代表对应样本为负样本。特别地，当y_i为0时，此时不存在回归损失。|x|表示

γ被定义为

实施例1：

下面结合附图1-8对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

一种基于形变注意金字塔的遥感舰船目标检测方法在DOTA数据集的实施例，包括以下步骤：

S1、DOTA数据集是用于遥感目标检测领域最大的公开数据集之一，其遥感图像来源于Google Earth、GF-2和JL-1卫星。该数据集包含15类目标(舰船、港口、直升机等)，图像的分辨率范围约为800×800～4000×4000。

由于DOTA中包含舰船的图像有限，因此本发明使用数据增强技术对其进行扩充。共计获得13624张图像(约165K个舰船目标)，并随机抽取1/2作为训练集，1/3作为测试集，1/6作为验证集。最后，为了公平地比较HBB检测器和RBB检测器的性能，本发明分别使用HBB和RBB标注训练集，所使用的标注工具分别是LabelImg和RoLabelImg，目标标签为ship。

S2、将需要处理过的DOTA数据集输入DAPNet处理，该网络使用自主设计的舰船形变卷积单元作为基础的特征提取模块，并使用舰船注意模块抑制背景噪声。DAPNet结构图如图3所示。

S3、将经DAPNet处理后的多尺度特征图输入至MFENet，并使用其中的多尺度特征增强模块对其进行特征的增强处理。MFENet结构图如图4所示。

S4、随后数据输入MAPNet，MAPNet先使用Oriented RPN生成多尺度旋转区域建议，后使用MA pooling策略获取更为精准的感兴趣区域。MAPNet结构图如图5所示，MA pooling策略工作原理如图6所示。

S5、最后，RPNet通过生成RBB用于标记任意方向的舰船，如图7所示。

S6、实验环境及超参数设定：

模型使用的基础骨干网为融入SDC单元和SA模块的ResNet101，名为SS-ResNet101，所依赖的深度学习框架为PyTorch 1.1.0，编程语言为Python 3.6。所有实验均在搭载NVIDIA GeForce RTX 3080Ti的计算机上进行，其深度学习加速环境为CUDA 10.0，cuDNN7.0。在训练期间，本发明使用MomentumOptimizer进行优化训练，batch size为16，权重衰减为0.0001，动量为0.9。训练的总迭代次数为160K次，初始学习率为0.003，学习率会经迭代次数的增加而衰减，以便模型充分学习目标特征。

模型检测结果如图8所示。(a)～(b)为舰船拥挤分布的场景；(e)～(h)为小目标舰船的场景；(i)～(l)为多尺度舰船的场景；(m)～(p)为存在背景噪声的场景。

Claims (8)

1.一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：包括以下四个子网络，分别是：形变注意金字塔网络、多尺度特征增强网络、多尺度自适应池化网络和旋转预测网络；被检测图像依次经过上述子网络，逐步实现特征提取、特征增强、生成感兴趣区域和标记舰船；

首先，在形变注意金字塔网络中集成舰船形变卷积单元和舰船注意模块，以充分提取任意方向舰船的特征；

然后，在多尺度特征增强网络中采用多尺度特征增强模块对舰船进行特征提取，用以增强不同尺度的舰船特征，使舰船目标特征增强；

再次，在多尺度自适应池化网络中采用多尺度自适应池化策略，从而精准地获取大纵横比舰船的感兴趣区域并学习舰船的多尺度上下文信息；

最后，通过旋转预测网络生成旋转检测框，其通过参数回归和前后景分类生成基于舰船目标的旋转边界框，用于精准地标记任意方向的舰船。

2.根据权利要求1所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：具体步骤如下：

步骤S1、将需要检测的图像输入形变注意金字塔网络处理，该网络使用舰船形变卷积单元作为基础的特征提取模块，并使用舰船注意模块抑制背景噪声；

步骤S2、将经形变注意金字塔网络处理后的多尺度特征图输入至多尺度特征增强网络，并使用其中的多尺度特征增强模块对其进行特征增强；

步骤S3、将多尺度特征增强网络增强后的数据输入多尺度自适应池化网络，多尺度自适应池化网络先使用OrientedRPN生成多尺度旋转区域建议，后使用多尺度自适应池化策略获取更为精准的感兴趣区域；

步骤S4、旋转预测网络在感兴趣区域的基础上进一步识别遥感图像中的舰船，先生成旋转边界框来标记任意方向的舰船；再使用skewIoU策略计算旋转边界框的交并比值，从而更好地区分正负样本；最后使用soft-roate-NMS策略合理地选择旋转预测框；

步骤S5、采用多任务损失函数来训练上述舰船检测网络，包含回归损失和分类损失，回归损失用于调整旋转边界框的位置，分类损失用于判定待测目标是否为舰船；逐步训练优化参数以实现对遥感舰船目标的检测。

3.根据权利要求2所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：在步骤S1中，形变注意金字塔网络处理采用自底向上和自顶向下两个处理过程；

自底向上的处理过程是：使用舰船形变卷积单元对输入图像进行充分地特征提取，形成一个维度递增、分辨率递减的特征金字塔{C₂,C₃,C₄,C₅}；

自顶向下的处理过程是：以{C₂,C₃,C₄,C₅}为输入，通过上采样和横向连接的方式构建自顶向下的特征金字塔{P₂,P₃,P₄,P₅}；在所述的两个处理过程中，融入了舰船注意模块，抑制不同尺度特征图中的背景噪声；

当对复杂尺寸的舰船进行识别时，进行如下处理：

针对较小尺寸舰船的检测采用分辨率较高的特征图，利用多尺度特征融合的形式将低分辨率特征图{P₄,P₅}中的语义信息融入高分辨率特征图{P₂,P₃}；

针对较大尺寸的舰船，在高维特征图P₅的基础上执行步长为2的下采样操作生成P₆特征图，将其专门用于大型舰船的检测。

4.根据权利要求3所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：所述的舰船形变卷积单元的特征提取过程：

先使用1×1传统卷积调整输入特征图的通道数，并使用3×3传统卷积自适应地获取二维偏移量；然后，基于二维偏移量，使用3×3形变卷积提取任意形状、尺寸、方向的舰船特征；最后，使用1×1传统卷积进行降维，并使用线性激活函数激活特征，生成输出特征图；

所述舰船形变卷积单元为：

遥感图像具备较高的分辨率，导致模型对该类图像进行训练时需要占用较大的显存资源；如果batch size设置过大，导致计算机显存溢出而无法训练；相比批量归一化，分组归一化的计算方式进行了优化；所述的分组归一化操作不依赖于batch size的大小，其计算的是通道方向上每个组的均值和方差；分组归一化更适合用于遥感图像的训练；

舰船形变卷积单元中使用线性激活函数，保证模型保留更完整的特征信息；如果输入特征位于输入空间的非低维子空间，非线性激活函数会破坏提取的特征，影响检测性能；

所述的舰船注意模块为：

舰船注意模块从多个尺度抑制遥感图像的背景噪声，降低模型受不相关特征的干扰，最大程度地抑制背景噪声；

舰船注意模块基于形变注意金字塔网络本身固有的多尺度架构，包括SA₂、SA₃和SA₄模块；SA₂模块调节注意力的过程表述如下：

V₃＝Flatten(Conv(F₃))

A₃＝Grid(Sigmoid(V₃))

其中，

表示将尺寸相同的特征图进行融合；F₃表示融合后的特征图；Flatten表示展平操作，能够将特征图变为一维向量V₃；Sigmoid是激活函数，其能够获取V₃各特征点的注意力系数；Grid表示网格化操作，将一维注意力系数变为与P₃具备相同尺寸的注意力系数图A₃；

表示两个矩阵的对应元素相乘；

SA₃和SA₄的注意力调节过程与SA₂模块调节注意力的过程相同。

5.根据权利要求2所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：在步骤S2中，采用多尺度特征增强网络中的多尺度特征增强模块，多尺度特征增强模块使用了并行的拉普拉斯卷积核和空洞卷积核；其中，拉普拉斯卷积核用以实现对弱小目标特征的锐化；空洞卷积核用以提升弱小目标的感受野，使多尺度特征增强网络增强了模型对小目标舰船的特征描述；实现经形变注意金字塔网络对遥感图像中的舰船目标进行充分地特征提取后，对所得特征图进行特征增强，精准检测多尺度舰船，并消除对小目标舰船的漏检率；

多尺度特征增强模块的增强过程如下：

其中，GN(·)表示分组归一化；LConv_3×3表示尺寸为3×3的拉普拉斯卷积核，其作用是通过拉普拉斯特征对不同尺度的舰船目标进行锐化；Conv_1×1表示尺寸为1×1的标准卷积核，用于调整通道数；DConv_3×3表示尺寸为3×3的空洞卷积，通过扩大感受野的方式提取小尺度目标的背景信息，以提升模型对弱小目标舰船的特征描述；

表示特征融合操作。

6.根据权利要求2所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：步骤S3中，使用OrientedRPN生成多种尺度、任意方向的区域建议；再执行池化操作生成k×k固定尺寸的感兴趣区域；

所述的多尺度自适应池化策略基于双线性插值方法，能自适应地均匀地获取横向和纵向采样点，并将它们聚合成多个闭合循环的矩形，构成一种紧凑的特征表示；

在多尺度自适应池化网络中，深层特征图分辨率低，感受野大，几何信息表示能力弱，更容易突出舰船的轮廓特征，有利于提升模型的定位能力；深层特征表示为靠近中心点的闭合循环矩形；

浅层特征图分辨率高，相应的感受野也小，几何信息的表示能力强，有利于提升模型的分类能力；浅层特征表示为远离中心点的闭合循环矩形；

多尺度自适应池化网络通过这些闭合循环矩形生成涵盖深浅层特征信息的固定尺寸的特征图。

7.根据权利要求2所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：步骤S4中，旋转预测网络在感兴趣区域的基础上进一步识别遥感图像中的舰船，并生成旋转边界框进行标记任意方向的舰船；

所述旋转边界框可由五个参数表示，分别为x,y,w,h,θ；(x,y)表示旋转边界框的中心点坐标；w和h分别表示旋转边界框的宽和高；θ表示旋转边界框的w相对于x轴的角度；该角度范围为[-90°,0°]；旋转边界框的回归过程如下：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a,t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝θ-θ_a

t′_x＝(x′-x_a)/w_a,t′_y＝(y′-y_a)/h_a,t′_w＝log(w′/w_a),t′_h＝log(h′/h_a),t′_θ＝θ′-θ_a

在上式中，x,y,w,h,θ表示标签边界框的参数；x_a,y_a,w_a,h_a,θ_a表示根据区域建议标出的辅助边界框的参数；x',y',w',h',θ'表示旋转预测框的参数；

旋转边界框生成后，为了更好地区分正负样本，使用skewIoU策略计算旋转边界框的交并比值；所述skewIoU策略基于三角剖分思想，能够更准确地计算交并比值；

最后使用soft-rotate-NMS策略去除冗余的旋转预测框；在选取最高置信度的旋转预测框时，soft-rotate-NMS策略根据重叠面积来更新剩余相邻旋转预测框的置信度，合理地选择旋转预测框，准确地标记舰船。

8.根据权利要求2所述的一种基于形变注意金字塔的遥感舰船目标检测方法，其特征在于：步骤S5中，训练上述舰船检测网络优化参数实现遥感舰船目标检测：采用多任务损失函数，包含回归损失和分类损失；

回归损失用于调整旋转边界框的位置，分类损失用于判定待测目标是否为舰船；定义如下：

其中，i指第i个辅助边界框；L_cls为前景和后景的对数损失，本方法中，前景是舰船，后景是非舰船的目标；L_reg表示为目标候选框的回归损失；P_i指每一个辅助边界框属于目标舰船的概率；t_i表示样本的预测候选框的坐标参数；

表示样本的真实候选框的坐标参数；λ为权重的平衡参数；分类L_cls和回归L_reg的损失具体表示为：

L_cls＝-(1-y_i)log(1-p_i)-(y_i)log(p_i)

其中，y_i表示样本的正负，当y_i为1时代表对应样本为正样本，当y_i为0时代表对应样本为负样本；特别地，当y_i为0时，此时不存在回归损失。|x|表示

γ被定义为

Images