CN112395969B - 一种基于特征金字塔的遥感图像旋转舰船检测方法 - Google Patents

Abstract

本发明公开了一种基于特征金字塔的遥感图像旋转舰船检测方法，针对传统方法特征提取能力不足和舰船多方向、大小不同、分布密集等特殊性问题，本发明利用特征提取能力更强的卷积神经网络来提取特征；采用特征金字塔来进行多尺度检测；本发明的关键在于直接利用旋转框检测不同方向的舰船目标。

Description

一种基于特征金字塔的遥感图像旋转舰船检测方法

技术领域

本发明涉及深度学习技术领域，具体涉及一种针对光学遥感图像 中舰船目标的旋转检测方法。

背景技术

随着遥感技术与传感器平台的不断发展，遥感图像的分别率和数 量不断提高和增加，对其中有价值的目标进行自主检测是备受关注的 问题，是监视与侦察技术领域的一个研究热点。舰船自动检测作为环 境保护、海上安全和国防领域的关键问题，近年来越来越受到人们的 关注。作为一项如此重要的任务，其目的是对图像中的每一艘舰船进 行分类和定位。

传统的舰船检测方法主要利用机器学习算法，这些算法主要依赖 于人类预定义的特征或海上杂波的统计分布。这些人工设计的特征难 以***全面地对图像中目标进行有效鲁棒描述，从而导致在复杂背景、 旋转以及尺度变化等条件下的目标检测率不高。近年来，深度学习模 型中卷积神经网络的高分辨能力大大提高了目标检测的精度，主要分为两类：单阶段目标检测算法和两阶段目标检测算法。代表性单阶段 算法有SSD、RetinaNet等。代表性的两阶段算法有Faster R-CNN、 Mask R-CNN等。基于深度学习的目标检测方法对舰船检测有很大影 响。目前，一些研究者开始将目标检测算法应用到舰船检测中。然而， 尽管已经做了很多努力，但由于舰船检测的特殊性，如多方向、大小 不同、分布密集等，仍然存在一些难以解决的难题。

发明内容

针对现有技术的不足，本发明旨在提供一种基于特征金字塔的遥 感图像旋转舰船检测方法，该方法基于特征金字塔网络和旋转目标检 测，适用于光学遥感图像中舰船目标的自主旋转检测。

为了实现上述目的，本发明采用如下技术方案：

一种基于特征金字塔的遥感图像旋转舰船检测方法，包括如下步 骤：

S1、图像数据预处理：

利用图像标注软件对图像中待检测的舰船目标进行标注，每个目 标均分别由一个四边形进行标注并设定类别标签；随机将所有图像按 设定比例分成训练集和测试集；

S2、使用特征金字塔网络FPN对步骤S1中预处理得到的训练集 的图像进行特征提取，FPN输出不同的金字塔层级；

S3、在不同的金字塔层级上分别生成旋转锚：

定义旋转锚为(x_a,y_a,w_a,h_a,θ_a)θ_a∈[-π/2,0)，其中x_a,y_a,w_a,h_a分别代表旋 转锚的中心点横坐标、中心点纵坐标、宽和高，θ_a表示旋转锚的宽边 与x轴之间的夹角角度；步骤S2输出的金字塔层级分别使用不同大 小的旋转锚；每个金字塔层级上均使用不同宽高比、不同尺度和不同 角度的旋转锚，则每个金字塔层级上的空间位置分别生成多个旋转锚；

S4、对步骤S1中得到的预处理后的训练集进行训练：

使用动量优化法进行网络训练，训练直到损失函数收敛不再下降， 最后保留权重文件；训练过程中，分别预测5个偏移量：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a；

t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝θ-θ_a；

t′_x＝(x′-x_a)/w_a,t′_y＝(y′-y_a)/h_a；

t′_w＝log(w′/w_a),t′_h＝log(h′/h_a),t′_θ＝θ′-θ_a；

其中，t′_x、t′_y、t′_w、t′_h和t′_θ为5个预测的偏移量，t_x、t_y、t_w、t_h和t_θ则是相对应的真实的偏移量；(x,y,w,h,θ)分别代表真实框的中心点横 坐标、中心点纵坐标、宽、高以及框的宽边与x轴的夹角角度， (x',y',w',h',θ')分别表示预测框的中心点横坐标、中心点纵坐标、宽、高以 及框的宽边与x轴的夹角角度；

损失函数具体定义如下所示：

L_cls＝-0.25(1-p_t)²log(p_t)

IoU＝A∩B/A∪B

其中，n代表旋转锚的索引值，N代表旋转锚的数量；p′_n是利用 sigmoid函数计算的各个类别的概率分布，p_n表示目标的真实标签；

是一个二进制值，/>

代表前景，而/>

代表背景；t′_ni,t_ni(i＝{x,y,w,h,θ})分 别代表旋转锚n的预测的偏移量和真实的偏移量，z为t′_ni,t_ni(i＝{x,y,w,h,θ}) 的差值；分类损失L_cls和回归损失L_reg分别由焦点损失和平滑L1损失实 现；A代表预测框，B代表真实框，而IoU代表两者的交集与并集的 比值；p_t代表每个类别的预测概率；两个超参数λ₁,λ₂默认设置为1；

S5、使用步骤S4训练得到的网络对步骤S1中得到的测试集进行 测试。

进一步地，步骤S1中，将所有图像按数量比7：3分成训练集和 测试集。

进一步地，步骤S1中，还包括：将训练集和预测集的图像逐像 素切割成600pixel×600pixel大小的图像，移动步长为450pixel， 然后尺度统一放大为800pixel×800pixel。

进一步地，步骤S2中，以深度残差网络ResNet-50为基础搭建 特征金字塔网络FPN，ResNet-50的权重来源于ImageNet数据集上预 训练得到的权重文件。

更进一步地，给定ResNet-50每个卷积阶段最后的输出为 {C₁,C₂,C₃,C₄,C₅}，FPN通过自上而下的路径和横向连接输出不同尺度的 金字塔层级{P₃,P₄,P₅}，{P₃,P₄,P₅}分别对应{C₃,C₄,C₅}；除此之外，C₅通过一 个3×3的卷积输出特征层P₆，紧接着特征层P₆通过一个3×3的卷积 和ReLU激活函数输出特征层P₇，因此最终FPN输出的不同金字塔层 级分别为{P₃,P₄,P₅,P₆,P₇}。

再进一步地，步骤S3中，步骤S2输出的金字塔层级{P₃,P₄,P₅,P₆,P₇} 分别使用大小为{32²,64²,128²,256²,512²}的旋转锚。

进一步地，步骤S3中，不同的金字塔层级均使用7个宽高比 {1:1,1:3,3:1,1:5,5:1,1:7,7:1}、3个尺度{2⁰，2^1/3，2^2/3}和4个角度 {-15°，-45°，-60°，-90°}的旋转锚，则每个金字塔层级上的空间位置分别生 成84个旋转锚。

进一步地，步骤S8中，网络总迭代次数为100k，前60k迭代的 初始学习率为0.0005，后面两个20k迭代的初始学习率分别为 0.00005和0.000005；权值衰减和动量因子分别为0.0001和0.9。

本发明的有益效果在于：不同于以往方法依赖于人工设计特征或 海上杂波的统计分布，本发明利用特征提取能力更强的卷积神经网络 来提取特征，其获得的卷积特征语义性，鲁棒性和普适性更强；不同 于以往方法利用图像金字塔或者单一尺度进行目标检测，本发明通过 利用特征金字塔可以融合不同卷积层特征来实现多尺度目标检测，从 而解决舰船检测面临的尺度多样性问题；本发明的关键在于直接利用 旋转框检测具有不同方向的舰船目标，相比于以往方法中的水平框， 旋转框能够真实反映舰船目标的物理大小，包含更少的背景像素和能 有效分离密集分布的舰船目标且目标之间没有重叠区域，从而有效提 高了舰船检测的准确性。

附图说明

图1为本发明实施例中的方法流程示意图；

图2为本发明实施例中锚和x轴之间的夹角示意图，(a)和(b) 分别表示不同宽高比的锚的夹角示意图。

图3为本发明实施例中不同尺度的锚的示意图；

图4为本发明实施例中不同宽高比的锚的示意图；

图5为本发明实施例中不同角度的锚的示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实 施例以本技术方案为前提，给出了详细的实施方式和具体的操作过 程，但本发明的保护范围并不限于本实施例。

本实施例提供一种基于特征金字塔的遥感图像旋转舰船检测方 法，如图1所示，包括如下步骤：

S1、图像数据预处理。

利用图像标注软件对图像中待检测的舰船目标进行标注，每个目 标均分别由一个四边形进行标注，类别标签为“ship”。四边形的左 上角、右上角、右下角和左下角四个顶点坐标分别为(x₁,y₁)、(x₂,y₂)、 (x₃,y₃)、(x₄,y₄)。随机将所有图像按数量比7：3的比例分成训练集和 测试集。将训练集和预测集的图像逐像素切割成600pixel×600pixel 大小的图像，移动步长为450pixel，然后尺度统一放大为800pixel ×800pixel。

S2、使用特征金字塔网络FPN对步骤S1中预处理得到的训练集 的图像进行特征提取。

以深度残差网络ResNet-50为基础搭建特征金字塔网络 FPN(Feature PyramidNetwork，FPN)，ResNet-50的权重来源于ImageNet数据集上预训练得到的权重文件；给定ResNet-50每个卷 积阶段最后的输出为{C₁,C₂,C₃,C₄,C₅}，FPN通过自上而下的路径和横向连接输出不同尺度的金字塔层级{P₃,P₄,P₅}(对应{C₃,C₄,C₅})。除此之外， C₅通过一个3×3的卷积输出特征层P₆，紧接着特征层P₆通过一个3× 3的卷积和ReLU激活函数输出特征层P₇，因此最终FPN输出的不同金 字塔层级分别为{P₃,P₄,P₅,P₆,P₇}。

S3、在不同的金字塔层级上分别生成旋转锚。

定义旋转锚(rotated anchors)为(x_a,y_a,w_a,h_a,θ_a)θ_a∈[-π/2,0)，其 中x_a,y_a,w_a,h_a分别代表旋转锚的中心点横坐标、中心点纵坐标、宽和 高，θ_a表示旋转锚的宽边与x轴之间的夹角角度，图2(a)和图2 (b)所示，图2(a)和图2(b)分别表示两种宽高比情况。步骤 S2输出的金字塔层级{P₃,P₄,P₅,P₆,P₇}分别使用大小为 {32²,64²,128²,256²,512²}的旋转锚。为了实现旋转检测和更密集的比例覆 盖，在步骤S2输出的每个金字塔层级{P₃,P₄,P₅,P₆,P₇}上均使用7个宽高 比{1:1,1:3,3:1,1:5,5:1,1:7,7:1}(图4)、3个尺度{2⁰，2^1/3，2^2/3}(图3)和4 个角度{-15°，-45°，-60°，-90°}(图5)的旋转锚，则每个金字塔层级上的 空间位置分别生成84个旋转锚。

S4、对步骤S1中得到的预处理后的训练集进行训练。

使用动量优化法(MomentumOptimizer)进行网络训练，训练直 到损失函数收敛不再下降，最后保留权重文件。网络总迭代次数为 100k，前60k迭代的初始学习率为0.0005，后面两个20k迭代的初 始学习率分别为0.00005和0.000005。权值衰减(weight decay) 和动量因子(momentum)分别为0.0001和0.9。训练过程中，分别 预测5个偏移量：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a；

t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝θ-θ_a；

t′_x＝(x′-x_a)/w_a,t′_y＝(y′-y_a)/h_a；

t′_w＝log(w′/w_a),t′_h＝log(h′/h_a),t′_θ＝θ′-θ_a；

其中，t′_x、t′_y、t′_w、t′_h和t′_θ为5个预测的偏移量，t_x、t_y、t_w、t_h和t_θ则是相对应的真实的偏移量；(x,y,w,h,θ)分别代表真实框的中心点横 坐标、中心点纵坐标、宽、高以及框的宽边与x轴的夹角角度， (x',y',w',h',θ')分别表示预测框的中心点横坐标、中心点纵坐标、宽、高以 及框的宽边与x轴的夹角角度。

损失函数具体定义如下所示：

L_cls＝-0.25(1-p_t)²log(p_t)

IoU＝A∩B/A∪B

其中，n代表旋转锚的索引值，N代表旋转锚的数量。p′_n是利用 sigmoid函数计算的各个类别的概率分布，p_n表示目标的真实标签。

是一个二进制值，/>

代表前景，而/>

代表背景。t′_ni,t_ni(i＝{x,y,w,h,θ})分 别代表旋转锚n的预测的偏移量和真实的偏移量，z为t′_ni,t_ni(i＝{x,y,w,h,θ}) 的差值。分类损失L_cls和回归损失L_reg分别由焦点损失(Focal loss) 和平滑L1损失(Smooth L1 loss)实现。A代表预测框，B代表真 实框，而IoU代表两者的交集与并集的比值。p_t代表每个类别的预测 概率。为了控制权衡，两个超参数λ₁,λ₂默认设置为1。

S5、使用步骤S4训练得到的网络对步骤S1中得到的测试集进行 测试。

利用步骤S4得到的权重文件，对测试集的图像进行测试。

对于本领域的技术人员来说，可以根据以上的技术方案和构思， 给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括 在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于特征金字塔的遥感图像旋转舰船检测方法，其特征在于，包括如下步骤：

S1、图像数据预处理：

利用图像标注软件对图像中待检测的舰船目标进行标注，每个目标均分别由一个四边形进行标注并设定类别标签；随机将所有图像按设定比例分成训练集和测试集；

S2、使用特征金字塔网络FPN对步骤S1中预处理得到的训练集的图像进行特征提取，FPN输出不同的金字塔层级；

S3、在不同的金字塔层级上分别生成旋转锚：

定义旋转锚为(x_a,y_a,w_a,h_a,θ_a)θ_a∈[-π/2,0)，其中x_a,y_a,w_a,h_a分别代表旋转锚的中心点横坐标、中心点纵坐标、宽和高，θ_a表示旋转锚的宽边与x轴之间的夹角角度；步骤S2输出的金字塔层级分别使用不同大小的旋转锚；每个金字塔层级上均使用不同宽高比、不同尺度和不同角度的旋转锚，则每个金字塔层级上的空间位置分别生成多个旋转锚；

S4、对步骤S1中得到的预处理后的训练集进行训练：

使用动量优化法进行网络训练，训练直到损失函数收敛不再下降，最后保留权重文件；训练过程中，分别预测5个偏移量：

t_x＝(x-x_a)/w_a,t_y＝(y-y_a)/h_a；

t_w＝log(w/w_a),t_h＝log(h/h_a),t_θ＝θ-θ_a；

t′_x＝(x′-x_a)/w_a,t′_y＝(y′-y_a)/h_a；

t′_w＝log(w′/w_a),t′_h＝log(h′/h_a),t′_θ＝θ′-θ_a；

其中，t′_x、t′_y、t′_w、t′_h和t′_θ为5个预测的偏移量，t_x、t_y、t_w、t_h和t_θ则是相对应的真实的偏移量；(x,y,w,h,θ)分别代表真实框的中心点横坐标、中心点纵坐标、宽、高以及框的宽边与x轴的夹角角度，(x',y',w',h',θ')分别表示预测框的中心点横坐标、中心点纵坐标、宽、高以及框的宽边与x轴的夹角角度；

损失函数具体定义如下所示：

L_cls＝-0.25(1-p_t)²log(p_t)

IoU＝A∩B/A∪B

其中，n代表旋转锚的索引值，N代表旋转锚的数量；p′_n是利用sigmoid函数计算的各个类别的概率分布，p_n表示目标的真实标签；

是一个二进制值，/>

代表前景，而/>

代表背景；t′_ni和t_ni，i＝{x,y,w,h,θ}分别代表旋转锚n的预测的偏移量和真实的偏移量，z为t′_ni和t_ni的差值；分类损失L_cls和回归损失L_reg分别由焦点损失和平滑L1损失实现；A代表预测框，B代表真实框，而IoU代表两者的交集与并集的比值；p_t代表每个类别的预测概率；两个超参数λ₁,λ₂默认设置为1；

S5、使用步骤S4训练得到的网络对步骤S1中得到的测试集进行测试。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，将所有图像按数量比7：3分成训练集和测试集。

3.根据权利要求1所述的方法，其特征在于，步骤S1中，还包括：将训练集和预测集的图像逐像素切割成600pixel×600pixel大小的图像，移动步长为450pixel，然后尺度统一放大为800pixel×800pixel。

4.根据权利要求1所述的方法，其特征在于，步骤S2中，以深度残差网络ResNet-50为基础搭建特征金字塔网络FPN，ResNet-50的权重来源于ImageNet数据集上预训练得到的权重文件。

5.根据权利要求4所述的方法，其特征在于，给定ResNet-50每个卷积阶段最后的输出为{C₁,C₂,C₃,C₄,C₅}，FPN通过自上而下的路径和横向连接输出不同尺度的金字塔层级{P₃,P₄,P₅}，{P₃,P₄,P₅}分别对应{C₃,C₄,C₅}；除此之外，C₅通过一个3×3的卷积输出特征层P₆，紧接着特征层P₆通过一个3×3的卷积和ReLU激活函数输出特征层P₇，因此最终FPN输出的不同金字塔层级分别为{P₃,P₄,P₅,P₆,P₇}。

6.根据权利要求5所述的方法，其特征在于，步骤S3中，步骤S2输出的金字塔层级{P₃,P₄,P₅,P₆,P₇}分别使用大小为{32²,64²,128²,256²,512²}的旋转锚。

7.根据权利要求1所述的方法，其特征在于，步骤S3中，不同的金字塔层级均使用7个宽高比{1:1,1:3,3:1,1:5,5:1,1:7,7:1}、3个尺度{2⁰，2^1/3，2^2/3}和4个角度{-15°，-45°，-60°，-90°}的旋转锚，则每个金字塔层级上的空间位置分别生成84个旋转锚。

8.根据权利要求1所述的方法，其特征在于，步骤S8中，网络总迭代次数为100k，前60k迭代的初始学习率为0.0005，后面两个20k迭代的初始学习率分别为0.00005和0.000005；权值衰减和动量因子分别为0.0001和0.9。

Images