CN115841629A - 一种基于卷积神经网络的sar图像舰船检测方法 - Google Patents

Abstract

本发明提供了一种基于卷积神经网络的SAR图像舰船检测方法，包括：步骤S1，获取至少一合成孔径雷达输出的包含多个海洋舰船的一高分辨率SAR图像；步骤S2，对各高分辨率SAR图像分别进行预处理得到对应的一预处理后SAR图像；步骤S3，针对每个预处理后SAR图像，将预处理后SAR图像输入至预先构建得到的一多尺度特征金字塔网络模型中进行多尺度海洋舰船的检测和实例分割，并得到包含不同尺度的海洋舰船的一特征结果图。有益效果是本发明提出一种多尺度特征金字塔模型，能够从复杂背景中检测和实例分割小物体，并能够自适应选择重要的多尺度特征图，用于检测和分割得到多尺度海洋舰船。

Description

一种基于卷积神经网络的SAR图像舰船检测方法

技术领域

本发明涉及雷达遥感技术领域，具体而言，涉及一种基于卷积神经网络的SAR图像舰船检测方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)是一种能够全天时、全天候工作的主动式微波遥感成像雷达，在海域监控、资源勘测、重点区域监测、海上态势感知等军事和民用领域有广泛且重要的应用，发挥着光学、红外等其他遥感手段无可替代的作用。

近年来，卷积神经网络(Convolutional Neural Network,CNN)已经成为解决SAR图像复杂的多尺度检测问题的潜在解决方案，因为它有能力在多尺度层面上表示和学习特征，一些基于CNN的海洋船舶检测方法在SAR图像上表现出良好的性能，2017年，Lin等人提出了特征金字塔网络FPN，这已经成为SAR图像中多尺度海洋船舶检测的标准解决方案，FPN可以利用其骨干网络提取的一些合理的语义特征检测具有不同尺寸、不同分辨率成像的船舶，导致性能良好，因此受到广泛关注。

但是FPN不能自适应地学习和选择突出的特征尺度用于SAR图像中的多尺度船舶检测，导致一些错误和漏检，只对单一尺度的输入特征图进行了权重重新校正，单一尺度的注意机制不能有效地捕获所有具有不同尺度的重要特征结果图。

发明内容

本发明要解决的问题是：提供一种能对多尺度特征图进行权重重新校正、通过多尺度注意机制捕获所有尺度特征结果图的基于卷积神经网络的SAR图像舰船检测方法。

为解决上述问题，本发明提供一种基于卷积神经网络的SAR图像舰船检测方法，包括：

步骤S1，获取至少一合成孔径雷达输出的包含多个海洋舰船的一高分辨率SAR图像；

步骤S2，对各所述高分辨率SAR图像分别进行预处理得到对应的一预处理后SAR图像；

步骤S3，针对每个所述预处理后SAR图像，将所述预处理后SAR图像输入至预先构建得到的一多尺度特征金字塔网络模型中进行多尺度海洋舰船的检测和实例分割，并得到包含不同尺度的海洋舰船的一特征结果图。

优选的，所述步骤S2中的预处理方法为数据清洗和数据降噪。

优选的，执行所述步骤S3之前还包括一模型构建过程，所述模型构建过程通过将多个卷积金字塔模块和多个多尺度注意机制模块嵌入至特征金字塔网络中得到所述多尺度特征金字塔网络模型，所述模型构建过程包括：

步骤A1，设置四个所述卷积金字塔模块以对所述预处理后SAR图像进行第一阶段至第四阶段的特征提取得到对应的特征信息；

步骤A2，将四个所述卷积金字塔模块的输出通道与所述特征金字塔网络相连接以使所述特征金字塔网络对各所述特征信息进行特征融合得到特征融合图像；

步骤A3，设置四个所述多尺度注意机制模块并将四个所述多尺度注意机制模块的输出通道均与所述特征金字塔网络的输出通道相连接，以对所述特征融合图像进行多尺度海洋舰船的检测和实例分割，并得到包含不同尺度的海洋舰船的所述特征结果图。

优选的，所述步骤A1中，各所述卷积金字塔模块的输入通道分别设置为256、512、1024和2048以进行不同阶段的特征提取，各所述卷积金字塔模块的输出通道均设置为256以使各所述卷积金字塔模块的输出通道与所述特征金字塔网络的输入通道对齐。

优选的，每个所述卷积金字塔模块均包含三个平行的3×3卷积层和一个1×1卷积层，各所述卷积层的扩张率分别为1、2和4以达到不同的感受野，则所述步骤S3中，所述多尺度特征金字塔网络模型通过最上层的所述卷积金字塔模块内的各所述3×3卷积层对所述预处理后SAR图像进行不同感受野下的特征提取得到对应的所述特征信息，并经由所述1×1卷积层进行通道降维后输入至下层的所述卷积金字塔模块内进行下一步特征提取，待各所述卷积金字塔模块均完成特征提取后，将各所述特征信息输入至所述特征金字塔网络内进行特征融合。

优选的，所述步骤A3中，每个所述多尺度注意机制模块内均包含不同数量的级联3×3卷积层，将原先具有n个通道的级联3×3卷积层分成多个具有w个通道的级联小卷积组且各所述级联小卷积组之间以分层残差的方式连接，各所述级联小卷积组的输出通道连接依次连接两个全连接层，则所述步骤S3中，所述多尺度特征金字塔模型通过各所述级联小卷积组对所述特征融合图像进行实例分割和特征提取得到不同尺度的一特征图，随后通过两个所述全连接层和池化方法重新校准每个所述级联小卷积组的所述特征图的注意力权重，并基于所述注意力权重得到多个不同尺度的校准后特征图，对各所述校准后特征图进行拼接得到包含不同尺度的海洋舰船的所述特征结果图。

优选的，所述步骤S3中，还包括：

针对每个所述级联小卷积组，对所述级联小卷积组得到的所述特征图分别进行平均池化和全局池化得到对应的平均池化结果和全局池化结果，通过两个所述全连接层和行为函数进行非线性转换后相加得到所述级联小卷积组对应的所述注意力权重。

优选的，通过以下计算公式得到所述平均池化结果和所述全局池化结果：

其中，

avg_i表示所述平均池化结果；

max_i表示所述全局池化结果；

y_i表示第i个所述级联小卷积组输出的所述特征图；

H表示所述特征图的宽度；

W表示所述特征图的高度；

m表示预设参数；

n表示预设参数。

优选的，通过以下计算公式得到所述注意力权重和所述校准后特征图：

att_i＝w_avgi+w_maxi

Y_i＝y_i×att_i

其中，

att_i表示第i组所述级联小卷积组的所述注意力权重；

w_avgi表示所述平均池化结果的非线性转换结果；

w_maxi表示所述全局池化结果的非线性转换结果；

Y_i表示第i组所述级联小卷积组的所述校准后特征图；

y_i表示第i个所述级联小卷积组输出的所述特征图。

本发明具有以下有益效果：本发明在FPN模型的基础上，加入卷积金字塔模块和多尺度关注机制模块形成全新的多尺度特征金字塔模型，通过卷积金字塔模块来对预处理后SAR图像进行浅层的多尺度的特征图提取，通过多尺度机制模块对特征图进行检测和实例分割，并基于多尺度的注意力权重自适应选择重要的特征图以用于拼接得到最终的特征结果图，该特征结果图内能够清晰且准确的显示出不同尺度的海洋舰船

附图说明

图1为本发明的步骤流程图；

图2为本发明的模型构建过程的步骤流程图；

图3为本发明的两个级联的3×3卷积层的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种基于卷积神经网络的SAR图像舰船检测方法，如图1所示，包括：

步骤S1，获取至少一合成孔径雷达输出的包含多个海洋舰船的一高分辨率SAR图像；

步骤S2，对各高分辨率SAR图像分别进行预处理得到对应的一预处理后SAR图像；

步骤S3，针对每个预处理后SAR图像，将预处理后SAR图像输入至预先构建得到的一多尺度特征金字塔网络模型中进行多尺度海洋舰船的检测和实例分割，并得到包含不同尺度的海洋舰船的一特征结果图。

具体地，本实施例中，考虑到合成孔径雷达(SAR)是一种重要的雷达形式，被广泛应用于遥感领域，用于捕捉二维图像或创建物体的三维重建，如海洋船舶和自然景观，作为一种使用微波的主动成像传感器类型，SAR成像从许多方面都优于传统的被动成像传感器，如红外和光学传感器，因为它受天气、可见光和云层等环境因素的影响较小，在海洋事务管理中，SAR成像发挥着重要的作用，因为它具有探测隐藏物体的能力，并能在全天和全天候的环境下工作，随着空间和机载SAR的快速发展，例如TerraSAR-X和RADARSAT-2，SAR成像已被常规用于海洋监测、渔业管理、海洋交通控制、海洋紧急救援等，所有这些都不可避免地必须有海洋船舶参与，因此，与海洋船舶相关的SAR数据分析，特别是海洋船舶的探测和分割，已成为遥感领域的一个重要研究方向，近年来正在积极研究中。

优选的，从SAR图像中检测和分割海船，分别检测其位置和勾勒其准确形状，是一项具有挑战性的任务，这一挑战主要来自于SAR数据集中的船舶的多尺度特性和伴随的复杂背景，SAR数据集中的海洋船舶可能非常小，并且有不同的尺寸，这是由于它们的不同类别和尺寸，以及SAR成像的固有成像参数，如分辨率和入射角，两张SAR图像中存在的海洋船舶的数量也会有很大不同，此外，由于近岸建筑物的存在，一些SAR图像中的背景有时非常复杂，这使得近岸海洋船舶的分析比近岸海洋船舶更具挑战性，此外，在一些著名的SAR数据集中，小尺寸的海洋船舶占大多数，该图来自高分辨率SAR图像数据集，因此，检测和分割小型海洋船舶的性能至关重要。

优选的，为了提高对多尺度海洋船舶的检测，一些先驱性的工作采用了实例分割来帮助船舶检测，Su等人提出了一个高分辨率的特征提取网络，该网络最初是为一般遥感图像的实例分割而设计的，而SAR图像仅被用作测试数据，在分割海洋船舶方面取得了相对较好的性能，然而，这个模型并不是专门为SAR图像分析而设计的，因此它没有考虑到海洋船舶的多尺度特性，无法从复杂的背景中准确地分割出多尺度的海洋船舶，Wei等人展示了一个高分辨率SAR图像数据集(HRSID)用于检测和分割海洋船舶，但没有配套的实例分割方法，为了提高多尺度船舶的分割性能，注意力机制也被应用到SAR图像分割中，Gao等人在FPN的特征融合过程中引入CBAM模块，提取不同尺度的突出特征，从而增强了特征表示能力，降低了复杂背景中不相关信息的干扰，虽然CBAM可以通过对输入特征施加不同的权重来提高分割性能，但如前，CBAM是一种单尺度关注机制，不能有效解决SAR图像的多尺度船舶分割问题。

优选的，一些先驱性的工作试图解决SAR图像中多尺度海洋船舶的同步检测和分割问题，但仍有很大的空间来进一步解决这个问题，具体来说,zhang等人提出了一个专门用于SAR图像的船舶检测和实例分割的模型,通过在FPN中嵌入上下文SENet模块来捕捉不同层次背景的突出的上下文信息，然而，有两个方面限制了这个模型和其他现有模型在多尺度海洋船舶的同步检测和实例分割方面的性能，首先，如前，SENet是一个单尺度的注意机制，其次，这些基于FPN的模型主要使用深层语义信息，而浅层的高分辨率特征图包含更丰富的细节，这对检测复杂背景中的小船至关重要，因此，本实施例中，构建出一种全新的多尺度特征金字塔网络模型，能够有效地提取浅层和深层的特征信息，结合起来实现海洋船舶的多尺度表示，并且具有新颖的多尺度注意机制，能够自适应地学习和选择重要的特征，这将大大促进SAR图像的多尺度海洋船舶的检测和分割。

优选的，本发明中的MS-FPN(多尺度特征金字塔网络)模型是FPN模型的一个变体模型，FPN模型是以自上而下的方式设计的，通过使用横向连接来获取细粒度的特征金字塔，由于其融合骨干网络的多层次特征的能力，FPN模型的架构已被广泛用于许多计算机视觉应用，包括海洋船舶检测和SAR图像的分割，然而，FPN和现有的基于FPN的模型的一个重要弱点是，深层语义特征比浅层特征使用得更彻底，使得对小船的检测不准确，因为小物体的特征已经被池化操作在深层中抹去，与深层提取的抽象特征相比，浅层过滤器提取的特征包含更多具体的特征信息，如边缘、纹理和斑点，这对检测和分割小船更有用，此外，小型船舶在浅层特征图中的像素比在深层中的多，这意味着小型船舶的更多特征可用于分析，因此，本发明中通过MS-FPN模型将浅层高分辨率特征图与深层低分辨率特征图结合起来，对SAR图像中大小船舶的检测和分割具有重要意义。

本发明的较佳的实施例中，步骤S2中的预处理方法为数据清洗和数据降噪。

本发明的较佳的实施例中，执行步骤S3之前还包括一模型构建过程，模型构建过程通过将多个卷积金字塔模块和多个多尺度注意机制模块嵌入至特征金字塔网络中得到多尺度特征金字塔网络模型，模型构建过程如图2所示，包括：

步骤A1，设置四个卷积金字塔模块以对预处理后SAR图像进行第一阶段至第四阶段的特征提取得到对应的特征信息；

步骤A2，将四个卷积金字塔模块的输出通道与特征金字塔网络相连接以使特征金字塔网络对各特征信息进行特征融合得到特征融合图像；

步骤A3，设置四个多尺度注意机制模块并将四个多尺度注意机制模块的输出通道均与特征金字塔网络的输出通道相连接，以对特征融合图像进行多尺度海洋舰船的检测和实例分割，并得到包含不同尺度的海洋舰船的特征结果图。

本发明的较佳的实施例中，步骤A1中，各卷积金字塔模块的输入通道分别设置为256、512、1024和2048以进行不同阶段的特征提取，各卷积金字塔模块的输出通道均设置为256以使各卷积金字塔模块的输出通道与特征金字塔网络的输入通道对齐。

具体地，本实施例中，本发明中的MS-FPN模型旨在结合浅层和深层特征图，并从多尺度特征图中自适应地选择重要的特征图，专门用于SAR图像中多尺度船舶的精确探测和分离，MS-FPN模型由卷积金字塔(ACP)模块和多尺度注意机制(MSAM)模块组成，通过ACP模块来提取第1阶段和第4阶段之间的各阶段的特征信息，将ACP模块各阶段的输入通道设置为[256,512,1024,2048]，用于骨干网络的各阶段，输入通道的数量是对齐的，输出通道的num-ber被设置为256，用于自上而下FPN模型的输入通道对齐。

优选的，将各卷积金字塔模块提取的特征信息加入到自上而下的FPN模型中进行特征融合，最后将MSAM模块的输入和输出通道设置为256，以便与自上而下的FPN模型的输出通道保持一致，例如，使用ACP模块提取第二阶段的shal-low特征图，在特征金字塔中对第二层进行上采样后，在第一层尺度上进行加法融合，然后用MSAM模块进行最终预测。

优选的，MS-FPN模型相比较FPN模型有三个优势：首先，利用具有提取多尺度特征能力的ACP模块，能够从浅层高分辨率图像中提取尽可能多的特征信息，以提高小型船舶的检测和分割；第二，通过MSAM模块可以为某些对船舶检测和分割比较重要的特征图分配更大的权重，从而有利于消除SAR图像中复杂背景的干扰；第三，ACP模块和MSAM模块都是多尺度模块，可以更好地处理尺度变换等几何问题，这将进一步提高多尺度船舶检测和分割的能力。

本发明的较佳的实施例中，每个卷积金字塔模块均包含三个平行的3×3卷积层和一个1×1卷积层，各卷积层的扩张率分别为1、2和4以达到不同的感受野，则步骤S3中，多尺度特征金字塔网络模型通过最上层的卷积金字塔模块内的各3×3卷积层对预处理后SAR图像进行不同感受野下的特征提取得到对应的特征信息，并经由1×1卷积层进行通道降维后输入至下层的卷积金字塔模块内进行下一步特征提取，待各卷积金字塔模块均完成特征提取后，将各特征信息输入至特征金字塔网络内进行特征融合。

具体地，本实施例中，由于FPN模型只使用1×1卷积层来提取浅层特征图，所以视觉视野不够大，浅层特征得不到充分的利用，而本实施例中，ACP模块被用来从每个阶段的最后一层获得复杂的上下文信息，用于检测小船，这是通过使用不同扩张率的卷积核实现的，ACP模块的核心思想是使用多尺度感受野的平行分支，用不同的扩张率表示，以提取多尺度的上下文信息，ACP模块有三个平行的3×3卷积层，其扩张率分别为1、2和4，意味着不同的感受野，它们为检测小物体增加了多尺度的背景信息，根据SAR图像中小船的特点，使用不同的扩张率，将减少只使用一个大的扩张率可能带来的背景噪声。

优选的，这三个平行的3×3卷积层可以表示为以下几点：

out＝Conv_1×1,d＝1(y)

其中，d代表扩张率，

是串联操作，x去掉输入图像，out代表输出图像，由于使用了三个不同扩张率的平行3×3卷积层，ACP模块可以增加所提出的模型的再感知场，这可以显著提高检测小型海洋船舶的性能，然后，将这些特征合并在一起，通过三个平行3×3卷积层的元素相加进行特征再精化，最后的1×1卷积层进行通道降维，以保持输出与下一步的输入具有相同的通道维度。

优选的，由上述内容可知，使用ACP模块有两个优点：(1)在不牺牲任何细节信息的情况下增加了感受野；(2)使用三个平行通道可以重新完善低层次的特征表示，并将背景信息从骨干转移到FPN模型，这对检测和分割小船是很有用的。

本发明的较佳的实施例中，步骤A3中，每个多尺度注意机制模块内均包含不同数量的级联3×3卷积层，将原先具有n个通道的级联3×3卷积层分成多个具有w个通道的级联小卷积组且各级联小卷积组之间以分层残差的方式连接，各级联小卷积组的输出通道连接依次连接两个全连接层，则步骤S3中，多尺度特征金字塔模型通过各级联小卷积组对特征融合图像进行实例分割和特征提取得到不同尺度的一特征图，随后通过两个全连接层和池化方法重新校准每个级联小卷积组的特征图的注意力权重，并基于注意力权重得到多个不同尺度的校准后特征图，对各校准后特征图进行拼接得到包含不同尺度的海洋舰船的特征结果图。

具体地，本实施例中，基于FPN模型的另一个问题是，在提取得到多尺度的特征信息后，还不清楚哪些层的特征图对检测和分割多尺度海洋舰船更有用，单一尺度的注意机制模型，如SENet和CBAM不能区分从不同尺度获得的特征图，而多尺度特征图对于SAR图像中多尺度船舶的检测和分割又非常重要，多尺度特征图可用于从两个方面提高船舶定量的性能：1)通过使用较大的感受野将舰船从背景中区分出来；2)通过使用较小的感受野来感知小型舰船的信息，例如，海洋是一个有用的背景，含有背景信息，可用于确定放置在海洋上方的较小规模的物体是一艘船还是一栋建筑，因此，为了从多尺度特征图中学习和选择最重要的特征，设计一个多尺度注意机制对SAR图像中的海洋船舶的检测和分割特别重要。

具体地，本实施例中，为了解决SAR图像中复杂背景下多尺度船舶的分割问题以及目前单一的注意力机制模型对多尺度信息的利用效率不高的问题，本实施例中提出了MSAM模块，一种多尺度注意力机制模块，通过采用类似残差的层次结构和两个全连接层，有效利用多尺度空间信息，提高对多尺度船舶的检测和分割。

优选的，如图3所示，单个5×5卷积的感受野相当于两个级联的3×3卷积的感受野，比较这两种卷积的参数数量，它是由以下因素决定的：

params＝C_in×k²×C_out

其中C_out表示输出通道的数量，C_in表示输入通道的数量，k表示卷积核的大小，对于相同的感受野，两个3×3卷积的参数数量要比5×5卷积的参数数量少得多，因此可以使用级联的3×3卷积而不是大的卷积核来获得相同的感受野，与两个串联的3×3卷积相似，三个串联的3×3卷积的感受野相当于一个7×7卷积的感受野。

本发明的较佳的实施例中，步骤S3中，还包括：

针对每个级联小卷积组，对级联小卷积组得到的特征图分别进行平均池化和全局池化得到对应的平均池化结果和全局池化结果，通过两个全连接层和行为函数进行非线性转换后相加得到级联小卷积组对应的注意力权重。

本发明的较佳的实施例中，通过以下计算公式得到平均池化结果和全局池化结果：

其中，

avg_i表示平均池化结果；

max_i表示全局池化结果；

y_i表示第i个级联小卷积组输出的特征图；

H表示特征图的宽度；

W表示特征图的高度；

m表示预设参数；

n表示预设参数。

本发明的较佳的实施例中，通过以下计算公式得到注意力权重和校准后特征图：

att_i＝w_avgi+w_maxi

Y_i＝y_i×att_i

其中，

att_i表示第i组级联小卷积组的注意力权重；

w_avgi表示平均池化结果的非线性转换结果；

w_maxi表示全局池化结果的非线性转换结果；

Y_i表示第i组级联小卷积组的校准后特征图；

y_i表示第i个级联小卷积组输出的特征图。

具体地，本实施例中，在具体操作时分三步操作：

第一步，通过使用不同数量的级联小卷积组来提取多尺度特征图，把原来的n个通道的3×3卷积层分成几个具有w个通道的级联小卷积组(如n＝s×w)，这些级联小卷积组以分层残差的方式连接，每个级联小卷积组的输出可以表示为：

其中，y_i表示第i组级联小卷积组输出的特征图，x_i表示第i组级联小卷积组的输入，k_i表示第i组级联小卷积组的卷积核大小，在每个级联小卷积组中，由于3×3卷积核的数量不同，同一感受野的输入特征图最终会产生等值的多尺度特征图；

第二步，通过两个全连接层和池化方法重新校准每个级联小卷积组的特征图的权重，用于获得多尺度特征间的通道相关性，对每个级联小卷积组的特征图进行平均池化和全局池化，以获得全局感受场，并最终得到校准后特征图；

第三步，拼接多尺度特征图得到包含不同尺度的海洋舰船的特征结果图，可以按以下方式来表达：

out＝concat([Y₀,Y₁,...,Y_s-1]).

通过MSAM模块的使用，不同尺度的特征图的提取可以获得更多关于多尺度海洋船舶的背景信息。

实施例一：

使用已经被准确注释的公共数据集HRSID，来训练和测试MS-FPN模型在船舶检测和实例分割上的性能，选择HRSID是因为它是第一个支持站内分割的海洋船舶的SAR数据集，在这个数据集中，有136张全景SAR图像，分辨率在1米和5米之间，来自三个不同的卫星：Sentinel-1B、Ter-raSAR-X和TanDEM，这些全景SAR图像被裁剪成800x 800pix-el的图像，重叠率为25％，该数据集共包含5604张裁剪过的合成孔径雷达图像和16,951个注释的船只。

实施例二：

将MS-FPN模型的性能与几个经典模型进行比较，包括FPN模型、FPN-carafe模型、HRFPN模型和PAFPN模型，使用相同的环境配置以保证比较的公平性，表1中总结了检测和分割性能的定量比较结果，从这些结果中，我们发现FPN模型在多尺度海洋船舶的检测和分割方面的性能都是最差的，深度高分辨率表示学习的HRFPN模型、路径增强的PAFPN模型和内容感知重组算法的CARAFE模型在船舶检测和分割方面表现出有限的改进，而且它们不能纳入来自不同层的语义信息，MS-FPN模型的整体性能优于其他模型，这是因为MS-FPN模型可以充分使用比某一层更深的所有层的语义信息和细节信息，可以获得具有更详细语义信息的高分辨率特征图。

从视觉上看，所提出的MS-FPN模型在SAR HRSID数据集上检测和分割复杂背景中的多尺度海洋船舶方面也有最佳表现，与地面实况相比FPN模型会显示出一些错误的检测、漏检和不良的分割，FPN-CARAFE模型也显示了合理数量的漏检，陆地杂波被错误地检测为一艘海船，同样，在HRFPN模型和PAFPN模型的结果中也出现了错误检测、漏检和不完美分割，与其他模型相比，提议的MS-FPN模型的错误检测、漏检较少，而且分割更准确，轮廓更平滑，只有MS-FPN模型能够检测到船舶的位置并正确地分割船舶的轮廓，因此，所提出的MS-FPN模型不仅在检测和分割大型海洋船舶方面有更好的表现，而且在检测和分割被复杂背景包围的小型船舶方面也有更好的表现，MS-FPN模型性能的提高是由于ACP模块对低层特征图的有效提取，以及MSAM模块对这些特征图的融合，这些特征图可以与深层特征图相结合，从而达到明显的改善。

表1FPN模型、FPN-carafe模型、HRFPN模型、DAFPN模型和MS-FPN模型的检测和分割性能表

实施例三：

为了进一步评估哪个模块(ACP或MSAM)对所提出的MS-FPN模型的改进贡献更大，使用Mask R-CNN作为基本模型，并比较了不使用ACP模块和MSAM模块、只使用ACP模块、只使用MSAM模块和同时使用ACP模块、MSAM模块的模型的性能，表2总结了对海船的探测和分割的定量比较结果，与既不使用ACP模块也不使用MSAM模块的模型相比，只使用ACP模块或MSAM模块的模型在检测和分割方面都表现出更好的性能，此外，同时使用ACP模块和MSAM模块的模型显示出比上述其他三个模型更好的性能，这一结果表明，单独使用ACP模块或MSAM模块可以提高模型的性能，MSAM模块对所提出的MS-FPN模型的贡献略大，而它们的组合可以充分利用浅层特征信息，选择相对更有利于船舶检测和分割的多尺度特征图，因此可以进一步提高模型的性能。

为了直观地比较每个模块的有效性，在ACP模块、MSAM模块和ACP模块&MSAM模块上进行了消融实验，与地面实况相比，只使用ACP模块的模型显示了错误检测和漏检，只使用MSAM模块的模型显示了合理数量的错误检测和不准确的分割，同时使用ACP模块和MSAM模块的模型有较少的误检和漏检，分割也更准确，轮廓更平滑。综合来看，这些结果证明了ACP模块和MSAM模块的组合可以更好地利用网络的多尺度特征图。

表2具有MSAM模块或ACP模块的模型性能

实施例四：

对每个模块(ACP模块和MSAM模块)的性能进行详细评估，首先将ACP模块与经典的多尺度特征提取结构ASPP进行比较，结果总结在表3中，可以看出，ASPP的AP值在检测和隔离方面都低于ACP，同时，ACP模块和ASPP的AP值比基础模型Mask R-CNN的AP值要高，这一比较表明：1)浅层高分辨率特征对SAR图像中多尺度船舶的检测和分割是有用的；2)ACP比ASPP有更好的性能，其根本原因是ASPP使用了比ACP更大的扩张率，所以ASPP有更大的感受野，这可能会导致更高的背景噪声水平，这也证实，尽管接受域的增加可以提高基础模型的性能，但过大的接受域会导致对SAR图像中多尺度船舶检测和分割的性能产生负面影响。

表3ACP和ASPP模块的比较

实施例五：

将提出的MSAM模块与几个经典的注意机制进行比较，包括ECA-Net、SENet、CBAM和CA，表4总结了海洋船舶检测和分割的定量比较结果，与不使用注意机制的模型相比，使用四种注意机制之一(ECA-Net、SENet、CBAM和CA)的模型在检测和分割方面表现出了改进的性能，使用MSAM的模型比使用其他注意机制的模型表现出更好的性能，这种比较得出两个结论，首先，将衰减机制连接到金字塔网络对于检测SAR图像中的多尺度船舶是有效的，其次，与上述单尺度关注机制相比，多尺度关注机制MSAM在SAR图像中多尺度海洋船舶的检测和实例分割方面更强大。

表4MSAM与经典注意机制的比较

实施例六：

为了探索感受野对模型检测和分割性能的影响，使用不同的尺度因子测试了性能，这些尺度因子可以在卷积过程中获得特定大小的感受野，如表5所示，感受野的大小对于模型检测和分割很重要，尺度为4的船舶检测和分割效果最好，分别为0.4AP和0.2AP，高于尺度为2的情况，分别为0.6AP和0.2AP，仍高于基线，与尺度为4相比，尺度为8表现出较少的改善，这可能是由于SAR图像中过大的接收场引入了额外的噪声。

表5尺度变化对模型性能的影响

实施例七：

由于池化是MSAM模块的重要组成部分，因此使用了几种不同类型的池化函数来进一步研究池化对模型性能的影响，如表6所示，池化功能对于模型性能很重要，因为具有池化功能的模型或多或少地表现出性能改进，与既没有注意机制也没有池化函数的基础模型相比，使用最大池化函数没有明显的改进，但使用平均池化函数在检测和分割方面分别提高了1.4AP和0.9AP，最大和平均函数的混合池具有最高的检测和分割改进，分别为1.4AP和1.0AP，这一比较表明，混合池化比单一池化可以获得更多关于多尺度船舶的有用信息。

表6池化函数对模型性能的影响

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员，在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (9)

1.一种基于卷积神经网络的SAR图像舰船检测方法，其特征在于，包括：

步骤S1，获取至少一合成孔径雷达输出的包含多个海洋舰船的一高分辨率SAR图像；

步骤S2，对各所述高分辨率SAR图像分别进行预处理得到对应的一预处理后SAR图像；

步骤S3，针对每个所述预处理后SAR图像，将所述预处理后SAR图像输入至预先构建得到的一多尺度特征金字塔网络模型中进行多尺度海洋舰船的检测和实例分割，并得到包含不同尺度的海洋舰船的一特征结果图。

2.根据权利要求1所述的SAR图像舰船检测方法，其特征在于，所述步骤S2中的预处理方法为数据清洗和数据降噪。

3.根据权利要求1所述的SAR图像舰船检测方法，其特征在于，执行所述步骤S3之前还包括一模型构建过程，所述模型构建过程通过将多个卷积金字塔模块和多个多尺度注意机制模块嵌入至特征金字塔网络中得到所述多尺度特征金字塔网络模型，所述模型构建过程包括：

步骤A1，设置四个所述卷积金字塔模块以对所述预处理后SAR图像进行第一阶段至第四阶段的特征提取得到对应的特征信息；

步骤A2，将四个所述卷积金字塔模块的输出通道与所述特征金字塔网络相连接以使所述特征金字塔网络对各所述特征信息进行特征融合得到特征融合图像；

步骤A3，设置四个所述多尺度注意机制模块并将四个所述多尺度注意机制模块的输出通道均与所述特征金字塔网络的输出通道相连接，以对所述特征融合图像进行多尺度海洋舰船的检测和实例分割，并得到包含不同尺度的海洋舰船的所述特征结果图。

4.根据权利要求3所述的SAR图像舰船检测方法，其特征在于，所述步骤A1中，各所述卷积金字塔模块的输入通道分别设置为256、512、1024和2048以进行不同阶段的特征提取，各所述卷积金字塔模块的输出通道均设置为256以使各所述卷积金字塔模块的输出通道与所述特征金字塔网络的输入通道对齐。

5.根据权利要求3所述的SAR图像舰船检测方法，其特征在于，每个所述卷积金字塔模块均包含三个平行的3×3卷积层和一个1×1卷积层，各所述卷积层的扩张率分别为1、2和4以达到不同的感受野，则所述步骤S3中，所述多尺度特征金字塔网络模型通过最上层的所述卷积金字塔模块内的各所述3×3卷积层对所述预处理后SAR图像进行不同感受野下的特征提取得到对应的所述特征信息，并经由所述1×1卷积层进行通道降维后输入至下层的所述卷积金字塔模块内进行下一步特征提取，待各所述卷积金字塔模块均完成特征提取后，将各所述特征信息输入至所述特征金字塔网络内进行特征融合。

6.根据权利要求3所述的SAR图像舰船检测方法，其特征在于，所述步骤A3中，每个所述多尺度注意机制模块内均包含不同数量的级联3×3卷积层，将原先具有n个通道的级联3×3卷积层分成多个具有w个通道的级联小卷积组且各所述级联小卷积组之间以分层残差的方式连接，各所述级联小卷积组的输出通道连接依次连接两个全连接层，则所述步骤S3中，所述多尺度特征金字塔模型通过各所述级联小卷积组对所述特征融合图像进行实例分割和特征提取得到不同尺度的一特征图，随后通过两个所述全连接层和池化方法重新校准每个所述级联小卷积组的所述特征图的注意力权重，并基于所述注意力权重得到多个不同尺度的校准后特征图，对各所述校准后特征图进行拼接得到包含不同尺度的海洋舰船的所述特征结果图。

7.根据权利要求6所述的SAR图像舰船检测方法，其特征在于，所述步骤S3中，还包括：

针对每个所述级联小卷积组，对所述级联小卷积组得到的所述特征图分别进行平均池化和全局池化得到对应的平均池化结果和全局池化结果，通过两个所述全连接层和行为函数进行非线性转换后相加得到所述级联小卷积组对应的所述注意力权重。

8.根据权利要求7所述的SAR图像舰船检测方法，其特征在于，通过以下计算公式得到所述平均池化结果和所述全局池化结果：

其中，

avg_i表示所述平均池化结果；

max_i表示所述全局池化结果；

y_i表示第i个所述级联小卷积组输出的所述特征图；

H表示所述特征图的宽度；

W表示所述特征图的高度；

m表示预设参数；

n表示预设参数。

9.根据权利要求7所述的SAR图像舰船检测方法，其特征在于，通过以下计算公式得到所述注意力权重和所述校准后特征图：

att_i＝w_avgi+w_maxi

Y_i＝y_i×att_i

其中，

att_i表示第i组所述级联小卷积组的所述注意力权重；

w_avgi表示所述平均池化结果的非线性转换结果；

w_maxi表示所述全局池化结果的非线性转换结果；

Y_i表示第i组所述级联小卷积组的所述校准后特征图；

y_i表示第i个所述级联小卷积组输出的所述特征图。

Images