CN110084210A - 基于注意力金字塔网络的sar图像多尺度舰船检测方法 - Google Patents

Abstract

本发明属于雷达遥感技术领域，涉及一种基于注意力金字塔网络的SAR图像多尺度舰船检测方法。本发明在现有的特征金字塔网络上基础上，提出了一种具有自适应选择显著特征的多尺度特征提取方法：基于密集注意力机制的特征金字塔网络，并应用于SAR图像多尺度舰船目标检测中。通过通道注意力模型和空间注意力模型分别从全局和局部范围突出显著特征，获得更好的检测性能；同时注意力机制应用于各层的多尺度融合过程中，可逐层增强特征，有效剔除虚警目标，提高了检测精度。

Description

基于注意力金字塔网络的SAR图像多尺度舰船检测方法

技术领域

本发明属于雷达遥感技术领域，涉及一种基于注意力金字塔网络的SAR图像多尺度舰船 检测方法。

背景技术

近年来，利用合成孔径雷达(SAR)图像进行海面舰船目标检测已经成为世界各国研究 的热点。我国作为一个海洋大国，拥有漫长的海岸线和广袤的海域，利用SAR对海洋进行实 时监测，开展基于SAR图像的舰船目标检测研究对保障国家安全、维护我国海洋权益具有重 要意义。

目前，舰船目标的种类多种多样，尺寸大小也各不相同。由于不同尺度的舰船相差较大， 大尺度舰船在SAR图像中占据了较多的像素，而小尺度舰船目标在高分辨率SAR图像中所 占的像素非常少，且对比度较低，增加了检测难度。传统舰船检测算法对小尺度舰船目标不 敏感，因此针对SAR图像多尺度舰船检测的性能较差，不能同时检测出SAR图像中不同尺 度的舰船。

近年来，卷积神经网络(CNN)凭借其强大的表征能力及自动提取特征的特点在计算机 视觉领域取得了巨大的成功。各国学者将CNN推广到SAR图像的舰船检测方法的研究中， 展现了基于CNN的检测器在复杂海面坏境中优越的检测性能，但目前适用于SAR图像多尺 度舰船检测的CNN检测器极少。针对多数基于CNN的检测器只利用最后一层特征图进行检 测，丢失了空间分辨率信息的问题，特征金字塔网络(FPN)通过“自顶而下”和“横向连接”的操作同时融合了空间分辨率信息和语义信息，并利用得到的融合特征图进行检测，初步展现了CNN对SAR图像中多尺度舰船的检测性能。虽然FPN提取了同时融合空间分辨率 信息和语义信息的特征，但由于提取的特征不够丰富，且没有突出显著性特征，因此FPN对 多尺度舰船的检测准确率较差，容易造成漏检。随后一些学者提出密集连接FPN的方法，通 过密集连接的方式提取了丰富的目标特征，但面对巨量的特征会存在检测速度变慢、虚警率变高的问题。如何在丰富的目标提取特征中自适应地选择显著特征，突出不同尺度舰船目标 的特性，提高对SAR图像中多尺度舰船检测的准确度，是目前存在的问题。

发明内容

针对上述存在问题或不足，为了克服现有SAR图像舰船检测方法在面对提取的海量特征， 无法自适应地在丰富的全局特征中选择显著的目标特征，检测准确率也随之降低的缺陷，使 SAR图像多尺度舰船检测中的特征提取环节具有自适应选择显著特征，突出不同尺度舰船的 特性的能力。本发明提供了一种基于密集注意力金字塔网络(DAPN)的SAR图像多尺度舰 船检测方法。

本发明由以下步骤实现，其舰船检测算法整体流程见附图1。

步骤1、将需要检测的SAR图像送入检测网络，通过共享卷积层获得金字塔网络中自上 而下的前向网络分支中的各层特征图{C₂、C₃、C₄、C₅}，提取不同尺度下未经模糊的全局特 征。

此过程通过自底而上的前向网络对原始的SAR图像提取了不同尺度下的全局未模糊特 征。

本发明的基础网络采用了ResNet101网络，并将具有相同尺寸特征图的结构称为一个阶 段，使用ResNet101中每个阶段中最后一个残差块的输出{C₂、C₃、C₄、C₅}组成自底向上的 前向网络。

在自底向上的前向网络中，高层特征图具有更丰富的语义信息，但却缺少空间分辨率信 息，适合用于检测大尺度舰船。低层特征图恰恰相反，具有较高的分辨率，却只包含浅层特 征，适于检测小尺度舰船。因此针对多尺度舰船的检测，有效融合空间分辨率信息和语义信 息非常重要。DAPN中的自底向上前向网络的特征图{C₂、C₃、C₄、C₅}，主要用于提供未经 后续上采样和卷积块注意力机制(CBAM)操作模糊的全局特征，这些未经模糊的全局特征 可用于检测所有疑似舰船目标的粗略位置，减少漏检。

步骤2、{C₂、C₃、C₄、C₅}分别经过1×1卷积来缩减通道向的维度，并与相同尺寸的密集连接CBAM的各层融合特征图进行横向连接，得到自顶而下的网络分支{P₂、P₃、P₄、P₅}。

(1)缩减{C₂、C₃、C₄、C₅}通道数

利用256个1×1卷积核缩减自底向上前向网络的特征图{C₂、C₃、C₄、C₅}的通道数，将 {C₂、C₃、C₄、C₅}分别对应的256、512、1024、2048通道数，均缩减为256个通道，得到缩 减通道后的特征图{C_R2、C_R3、C_R4、C_R5}，计算过程如下：

C_Ri＝Conv_1×1(C_i)，i＝2,3,4,5

(2){C_R2、C_R3、C_R4、C_R5}与密集连接CBAM的融合特征图横向连接，得到{P₂、P₃、 P₄、P₅}。

此过程利用CBAM在丰富的特征中提取显著的局部特征，实现了逐层特征图的增强，有 效剔除虚警目标。CBAM于2018年提出，主要由通道注意力机制和空间注意力机制构成。 输入特征图的通道数为C、每个通道图像的宽度和高度分别为W和H。CBAM首先将输入特征图F通过通道注意力机制得到通道注意力图F与AC像素级相乘后得到通过通道注意力机制的特征图然后FC通过空间注意力机制得到空间注意力图 最后FC与AS像素级相乘后得到显著特征图CBAM的计算过程总结为：

其中，代表像素级相乘。

通道注意力机制同时利用最大池化和平均池化操作聚合空间信息，然后通过多层感知器 (MLP)减少参数，最后得到通道注意力图AC，计算过程如下式所示：

A_C(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F))),

其中，σ代表激活函数，AvgPool和MaxPool分别表示平均池化和最大池化操作。

空间注意力机制首先在通道向使用最大池化和平均池化，并将结果进行拼接，最后在拼 接特征图上使用一个7×7卷积，得到空间注意力图A_S，计算过程可总结为下式：

A_S(F_C)＝σ(Conv_7×7([AvgPool(F_C)；MaxPool(F_C)]))

其中，Conv_7×7表示7×7卷积操作。

CBAM的整体结构图见附图2。

自顶而下的网络分支{P₂、P₃、P₄、P₅}的计算过程如下：

1)顶层的特征图P₅由缩减通道数后的特征图C_R5直接获得，根据公式：

P₅＝C_R5＝Conv_1×1(C₅)

求解，其中Conv_1×1(.)代表1×1卷积；

2)密集连接：所有层数高于当前层P_i的特征图{P_i+1,…,P₅}上采样到本层特征图大小， 进行像素级相加得到密集连接后的特征图F_Di，根据公式：

求解，其中Upsample(.)代表上采样操作；

3)CBAM：密集连接后的特征图F_Di作为输入特征图进行CBAM操作，得到每层的显著特征图A_i，根据公式：

A_i＝A(F_Di)

求解，其中A(.)代表CBAM操作；

CBAM由通道注意力机制和空间注意力机制构成，输入密集连接后的特征图的通道数为C、每个通道图像的宽度和高度分别为W和H，CBAM首先将输入特征图F_Di通 过通道注意力机制得到通道注意力图F_Di与A_C像素级相乘后得到通过通道注意力 机制的特征图然后F_C通过空间注意力机制得到空间注意力图最后 F_C与A_S像素级相乘后得到每层的显著特征图CBAM的计算过程为：

其中，代表像素级相乘；

通道注意力机制同时利用最大池化和平均池化操作聚合空间信息，然后通过多层感知器 减少参数，得到通道注意力图A_C，计算过程如下式所示：

A_C(F_Di)＝σ(MLP(AvgPool(F_Di))+MLP(MaxPool(F_Di))),

其中，σ代表激活函数，AvgPool和MaxPool分别表示平均池化和最大池化操作，MLP表示多层感知器；

空间注意力机制首先在通道向使用最大池化和平均池化，并将结果进行拼接，最后在拼 接特征图上使用一个7×7卷积，得到空间注意力图A_S，计算过程为下式：

A_S(F_C)＝σ(Conv_7×7([AvgPool(F_C)；MaxPool(F_C)]))

其中，Conv_7×7表示7×7卷积操作；

4)横向连接：{C_R2、C_R3、C_R4}与对应的{A₂、A₃、A₄}进行像素级相加，并通过3×3卷 积减少由上采样操作带来的混叠效应，得到{P₂、P₃、P₄}，根据公式：

求解，其中Conv_3×3(.)代表3×3卷积，表示像素级相加。

经过上述操作，可获得DAPN的自顶而下的网络分支{P₂、P₃、P₄、P₅}。

自顶而下网络中的高层特征图通过上采样操作，得到了蕴含丰富语义信息的高分辨率特 征图，然后通过不同层融合特征图的密集相加得到足够丰富的多尺度特征图，之后通过CBAM 在丰富的特征中提取显著的局部特征，可用于精细鉴别SAR图像中的多尺度舰船目标。未经 模糊的全局特征通过横向连接与提取的显著局部特征融合，可在多尺度舰船检测漏检较少的 前提下，精确鉴别目标，有效减少虚警目标，提高SAR图像多尺度舰船检测的准确率。

密集注意力金字塔网络(DAPN)主要由自底向上的前向网络、横向连接和自顶而下的 CBAM密集连接网络三部分组成。DAPN的结构图见附图3。

步骤3、将各层不同尺度的最终融合特征图送入区域建议网络(RPN)，利用FasterR-CNN 进行SAR图像多尺度舰船目标的检测。

本发明在现有的特征金字塔网络上基础上，提出了一种具有自适应选择显著特征的多尺 度特征提取方法：基于密集注意力机制的特征金字塔网络，并应用于SAR图像多尺度舰船目 标检测中。通过通道注意力模型和空间注意力模型分别从全局和局部范围突出显著特征，获 得更好的检测性能；同时注意力机制应用于各层的多尺度融合过程中，可逐层增强特征，有 效剔除虚警目标，提高了检测精度。

综上所述，较现有的SAR图像多尺度舰船目标检测方法，本发明具有了提取针对不同尺 度舰船目标丰富特征的能力，提高了对小尺度舰船的检测能力；可通过密集注意力金字塔网 络自适应地选择不同尺度显著特征的能力，有效剔除虚警目标，检测精度大幅提高；在能准 确检测小尺度舰船目标的基础上，比传统方法的检测精确度更高。

附图说明

图1为本发明多尺度舰船目标检测方法流程；

图2为卷积块注意力机制(CBAM)的流程；

图3为密集注意力金字塔网络(DAPN)的结构；

图4为本发明SAR图像多尺度舰船的检测结果示意图。

具体实施方式

下面利用中国解放军海军航空大学提出的舰船数据集SSDD进行多尺度舰船检测，对本 发明做进一步说明。

实验所用数据集为SAR图像舰船检测数据集(SSDD)，包括不同种类的SAR舰船图像。表1为SSDD中的SAR图像种类。

表1 SSDD中的SAR图像种类

实验以7:2:1的比例构建训练集、验证集和测试集。学习率初始值设置为0.001，并以0.1 的衰减率每2000步衰减一次；权重衰减率为0.0001；动量值设为0.9；设置anchors的尺度为 {16²,24²,40²,60²,80²}，每个尺度设置七个比例{1:1,1:2,1:3,2:1,2:3,3:1,3:2}以应对不同尺度 舰船检测的需求。实验通过训练过程得到具有自适应选择不同尺度显著特征的多尺度舰船检 测模型，首先输入原始图片进行裁剪、数据增强等预处理工作；后将预处理后的图片和真实 地物标签文件送入ResNet101基础网络中，获得DAPN自底向上前向网络中的特征图{C₂、 C₃、C₄、C₅}，这些特征图分别通过1×1卷积和上采样操作，进行密集相加和CBAM，得到 显著特征图，并通过像素级相加横向连接{C₂、C₃、C₄、C₅}和显著特征图，得到最终的融合 特征图{P₂、P₃、P₄、P₅}；最后检测网络利用Faster R-CNN，将得到的最终融合特征图{P₂、 P₃、P₄、P₅}送入Faster R-CNN中，得到最终的舰船检测结果。

表2舰船检测精度比较

本发明的舰船检测方法与现有的舰船检测方法相比较，本发明的舰船检测精度提高10％ 以上，表2为本发明方法与其他现有SAR图像舰船检测精度比较，多尺度舰船检测结果比较 见附图4。从图中可以看出，基于密集注意力金字塔网络的多尺度舰船检测方法DAPN检测 精度优于改进的Faster R-CNN和SSD检测方法，本发明不仅能检测到一张SAR图像中的不 同尺度的舰船，还能有效剔除虚警，提高检测精度。

Claims (1)

1.基于注意力金字塔网络的SAR图像多尺度舰船检测方法，其特征在于，采用密集注意力金字塔网络DAPN，提取合成孔径雷达SAR图像的特征，实现对多尺度舰船的检测，所述DAPN包括自底向上的前向网络、横向连接和自顶而下的卷积块注意力机制CBAM密集连接网络；具体方法为：

S1、通过共享卷积层获得DAPN中自上而下的前向网络分支中的各层特征图{C₂、C₃、C₄、C₅}，提取不同尺度下未经模糊的全局特征；

S2、{C₂、C₃、C₄、C₅}分别经过1×1卷积来缩减通道向的维度，并与相同尺寸的密集连接CBAM的各层融合特征图进行横向连接，得到自顶而下的网络分支{P₂、P₃、P₄、P₅}，具体包括：

S21、缩减{C₂、C₃、C₄、C₅}通道数：

利用256个1×1卷积核缩减自底向上前向网络的特征图{C₂、C₃、C₄、C₅}的通道数，将{C₂、C₃、C₄、C₅}分别对应的256、512、1024、2048通道数，均缩减为256个通道，得到缩减通道后的特征图{C_R2、C_R3、C_R4、C_R5}，计算过程如下：

C_Ri＝Conv_1×1(C_i)，i＝2,3,4,5

S22、顶层的特征图P₅由缩减通道数后的特征图C_R5直接获得，根据公式：

P₅＝C_R5＝Conv_1×1(C₅)

求解，其中Conv_1×1(.)代表1×1卷积；

S23、密集连接：所有层数高于当前层P_i的特征图{P_i+1,…,P₅}上采样到本层特征图大小，进行像素级相加得到密集连接后的特征图F_Di，根据公式：

求解，其中Upsample(.)代表上采样操作；

S24、CBAM：对每层得到的密集连接后的特征图F_Di进行CBAM操作，得到各层的显著特征图A_i，具体如下：

CBAM由通道注意力机制和空间注意力机制构成，输入密集连接后的特征图的通道数为C、每个通道图像的宽度和高度分别为W和H，CBAM首先将输入特征图F_Di通过通道注意力机制得到通道注意力图F_Di与A_C像素级相乘后得到通过通道注意力机制的特征图然后F_C通过空间注意力机制得到空间注意力图最后F_C与A_S像素级相乘后得到每层的显著特征图CBAM的计算过程为：

其中，代表像素级相乘，A_C为通道注意力图，A_S为空间注意力图；

通道注意力机制同时利用最大池化和平均池化操作聚合空间信息，然后通过多层感知器减少参数，得到通道注意力图A_C，计算过程如下式所示：

A_C(F_Di)＝σ(MLP(AvgPool(F_Di))+MLP(MaxPool(F_Di))),

其中，σ代表激活函数，AvgPool和MaxPool分别表示平均池化和最大池化操作，MLP表示多层感知器；

空间注意力机制首先在通道向使用最大池化和平均池化，并将结果进行拼接，最后在拼接特征图上使用一个7×7卷积，得到空间注意力图A_S，计算过程为下式：

A_S(F_C)＝σ(Conv_7×7([AvgPool(F_C)；MaxPool(F_C)]))

其中，Conv_7×7表示7×7卷积操作；

S25、横向连接：{CR2、CR3、CR4}与对应的{A2、A3、A4}进行像素级相加，并通过3×3卷积减少由上采样操作带来的混叠效应，得到{P2、P3、P4}，根据公式：

求解，其中Conv3×3(.)代表3×3卷积，经过上述操作，获得DAPN的自顶而下的网络分支{P₂、P₃、P₄、P₅}；

S3、将各层不同尺度的最终融合特征图{P₂、P₃、P₄、P₅}送入区域建议网络，生成建议区域，最后利用Faster R-CNN进行SAR图像多尺度舰船目标的检测。