CN114119582B - 一种合成孔径雷达图像目标检测方法 - Google Patents

Abstract

本发明公开了一种合成孔径雷达图像目标检测方法，涉及目标检测技术领域，采用无锚框目标检测算法YOLOX作为基本框架，从轻量级的角度重构了特征提取骨干网络，将MobilenetV2中的深度可分离卷积替换成1个普通卷积和一个深度可分离卷积。特征图经过普通卷积通道数降为原来的一半，深度可分离卷积进一步提取普通卷积输入的特征，最后两者相拼接。此外通过设置注意增强CSEMPAN模块，采用整合通道和空间注意机制来突出SAR目标独特的强散射特性。并针对SAR目标的多尺度和强稀疏特性，设计不同扩张率的卷积增强接受域，使用ESPHead提高模型从不同尺度目标中提取重要信息的能力，进一步提高检测性能。

Description

一种合成孔径雷达图像目标检测方法

技术领域

本发明涉及目标检测技术领域，特别涉及一种合成孔径雷达图像目标检测方法。

背景技术

合成孔径雷达(SAR)是一种有源微波成像传感器。SAR具有全天候特性，在恶劣环境下能保持较高的观测能力。随着SAR成像技术的成熟，SAR在军事侦察、地形测绘、环境和自然灾害监测中得到了广泛的应用。用SAR目标检测的目的是定位图像中目标的位置和目标类别。SAR目标检测的军事应用包括军事侦察、区域监视、精确打击、损害评估和核***探测。SAR目标检测的民用领域包括农业规划、林业监测、水利调查、城市管理、环境保护、地质矿产勘探、生态环境和自然灾害预测。

传统的SAR目标检测主要是基于人工设计特征的方法和CFAR，CFAR技术是一种给检测策略设定检测阀值，并且使得杂波和干扰对***的恒虚警概率影响最小化的信号处理方法。基于人工设计特征的方法依赖手动设计的特性，随着目标特性的变化，检测性能急剧下降，泛化性能较差。基于CFAR的方法严重依赖于杂乱的统计数据。随着SAR图像分辨率越大，背景越来越复杂，目标的分布参数可能会估计不正确，从而导致检测性能严重下降。

近年来，随着深度学习的发展，基于卷积神经网络的方法通过卷积层的连续堆叠，从大量数据中自动学习目标的一般特征，避免了人工设计，提高了算法的泛化性能。因此，许多研究者基于深度学习开发很多SAR图像检测算法。

但发明人发现，目前的基于深度学习的SAR目标检测任务仍存在以下问题：

(1)目前大多数基于深度学习的SAR目标检测直接将光学图像场中成熟的目标检测网络迁移到SAR目标检测任务，而没有具体考虑SAR图像的特点设计检测方法。

(2)在追求更高的检测精度时，大多数SAR目标检测研究忽略了模型的高体量，导致许多模型参数量太大且实时推理速度慢。因此，很难将SAR目标探测模型部署到边缘设备上进行实际应用，从而极大地限制了该模型的研究价值。

(3)由于SAR图像的成像角度大、分辨率高、目标尺度可变，基于锚框的SAR目标检测算法对锚框的尺寸和长宽比非常敏感。调整超参数需要相当大的时间和精力，并且由于人工参数调整经验对模型性能影响较大，导致模型性能不稳定。此外，基于锚框的检测算法需要生成许多候选锚，从而大大增加了模型的计算量。基于锚框的算法使用目标轮廓和纹理信息作为目标检测的学习指南。然而，由于SAR目标本身表现出极强的散射和稀疏性，在大多数情况下，目标的边缘轮廓信息都不够明显。导致使用基于锚框方法进行目标特征学习，很难获得良好的结果。

基于此现有的问题，本申请提供了一种合成孔径雷达图像目标检测方法，本方法基于无锚框目标检测算法YOLOX，重构特征提取骨干网络，通过降低模型的计算复杂度，有效地提取和保留SAR目标的多尺度显著特征信息，并通过注意增强模块CSEMPAN整合通道和空间注意机制突出SAR目标独特的强散射特性，提高检测性能。

发明内容

本发明的目的在于提供一种合成孔径雷达图像目标检测方法，基于无锚框目标检测算法YOLOX，重构特征提取骨干网络，通过降低模型的计算复杂度，有效地提取和保留SAR目标的多尺度显著特征信息，并通过注意增强模块CSEMPAN整合通道和空间注意机制突出SAR目标独特的强散射特性，提高检测性能。

本发明提供了一种合成孔径雷达图像目标检测方法，包括以下步骤：

利用特征提取骨干网络对合成孔径雷达图像进行特征提取；

将特征提取结果输入金字塔注意力网络CSEMPAN；

金字塔注意力网络CSEMPAN利用不同尺度的特征进行参数聚合，提取合成孔径雷达图像中目标物体的多尺度信息；

目标检测头ESPHead通过不同膨胀率对目标物体的多尺度信息进行不同感受野的进行空间层级化信息提取。

进一步地，还包括：

采用轻量化网络mobilenetV2S作为特征提取的基本网络；

基于特征提取的基本网络，采用无锚框目标检测算法YOLOX，构建特征提取骨干网络。

进一步地，所述基于特征提取的基本网络，采用无锚框目标检测算法YOLOX，构建特征提取骨干网络的步骤，包括：

将轻量化网络MobilenetV2中的深度可分离卷积替换为一个普通卷积和一个深度可分离卷积；

普通卷积将特征图的通道数降为原通道数的一半，深度可分离卷积用于提取普通卷积输出的特征图的特征；

获得特征提取骨干网络。

进一步地，所述金字塔注意力网络CSEMPAN利用不同尺度的特征进行参数聚合，提取合成孔径雷达图像中目标物体的多尺度信息的步骤，包括：

选取SE模块作为金字塔注意力网络CSEMPAN中的通道注意力模块；

特征提取结果经过通道注意力模块，对输入特征图不同通道进行差异化加权；

提取合成孔径雷达图像中目标物体的多尺度信息。

进一步地，所述特征提取结果经过通道注意力模块，对输入特征图不同通道进行差异化加权的步骤，包括：

将特征提取结果中的特征图映射为1*1*c的大小，其中c为通道数；

使用两个卷积核大小为1*1卷积层学习各个通道的权重系数；

将各个通道的权重系数乘以原始特征；

并且采用1*1的卷积层对乘以原始特征的各个通道的权重系数进行卷积。

进一步地，所述提取合成孔径雷达图像中目标物体的多尺度信息的步骤，包括：

通过分组卷积将输入的特征提取结果分为g组；

分组后的每组通过全球平均池Global Average Pooling将特征图映射为1*1大小，并和每组特征图做点积运算；

点积运算结果沿着channel维度对特征进行求和，获得大小和原特征图一样通道数为1的空间注意力掩膜；

空间注意力掩膜通过sigmoid操作将空间上的每个像素的权值映射到0～1之间并且和原特征图相乘；

通过concat操作将g组特征重新拼接为原始特征图的大小；

采用一个卷积核大小为3*3的卷积对拼接结果进行提取特征；

使用卷积核大小相同，空洞率分别为1，2，4，8，16的卷积改变卷积的receptionfield，获得目标的多尺度空间信息。

进一步地，还包括：

利用Decoupled head预测合成孔径雷达图像中目标物体的类别信息和位置回归信息。

与现有技术相比，本发明具有如下显著优点：

本发明提供了一种合成孔径雷达图像目标检测方法，采用无锚框目标检测算法YOLOX作为基本框架，从轻量级的角度重构了特征提取骨干网络，将MobilenetV2中的深度可分离卷积替换成1个普通卷积和一个深度可分离卷积。特征图经过普通卷积通道数降为原来的一半，深度可分离卷积进一步提取普通卷积输入的特征，最后两者相拼接。通过设置注意增强CSEMPAN模块，采用整合通道和空间注意机制来突出SAR目标独特的强散射特性。并针对SAR目标的多尺度和强稀疏特性，设计不同扩张率的卷积增强接受域，使用ESPHead提高模型从不同尺度目标中提取重要信息的能力，进一步提高检测性能。本申请根据合成孔径雷达图像目标的特点进行优化设计，采用无锚框体系结构更好地满足了SAR目标的独特特性，避免了与锚框相关的一系列超参数设置和体系结构设计，从而大大减少了计算量；通过降低模型的计算复杂度，尽可能有效地提取和保留SAR目标的多尺度显著特征信息。

附图说明

图1为本发明实施例提供的一种合成孔径雷达图像目标检测方法的检测流程图；

图2为本发明实施例提供的一种合成孔径雷达图像目标检测方法的整体框架图；

图3为本发明实施例提供的mobilenetV2S轻量化网络结构图；

图4为本发明实施例提供的CSEM模块图；

图5为本发明实施例提供的通道注意力模块图；

图6为本发明实施例提供的SPPCSP模块图；

图7为本发明实施例提供的空间注意力模块图；

图8为本发明实施例提供的ESPHead目标检测头模块图。

具体实施方式

下面结合本发明中的附图，对本发明实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

针对SAR图像具有独特的样本少、散射强、稀疏性、多尺度、干扰和背景复杂、目标边缘轮廓信息不明显等特点。目前多数SAR图像目标检测方法大多数是基于锚框的算法，为了克服基于锚框算法在训练过程中超参数设置对训练造成不稳定的性能影响，本发明基于yolox提出了一种无锚框的SAR图像目标检测方法，即AFSar。首先，对于SAR目标的少数样本和多尺度特征，为了降低模型的计算复杂度，提高多尺度特征提取的能力，我们重新设计了轻量级骨干，即MobileNetV2S。此外，我们提出了一种注意增强CSEMPAN模块，称为CSEMPAN，它通过整合通道和空间注意机制来突出SAR目标独特的强散射特性。最后，针对SAR目标的多尺度和强稀疏特性，我们提出了一种新的目标检测头，即ESPHead，设计不同扩张率的卷积增强接受域，提高模型从不同尺度目标中提取重要信息的能力，进一步提高检测性能。

由于目前基于锚框的SAR目标检测算法难以解决由于SAR图像目标的多尺度、强散射和稀疏性特征所引起的问题，本发明提出了一种无锚框的SAR目标检测算法。引入最新的无锚框目标检测算法YOLOX作为基本框架，然后根据SAR目标的特点进行了一系列的优化设计。无锚框体系结构的引入更好地满足了SAR目标的独特特性，避免了与锚框相关的一系列超参数设置和体系结构设计，从而大大减少了计算量。

为了适应SAR目标的多尺度和少样本特征，满足实际需求，进一步降低复杂性，提高实时推理速度，本发明从轻量级的角度重构了特征提取骨干网络。首先引入了MobileNetV2作为特征提取的基本网络；此外，我们将MobilenetV2中的深度可分离卷积替换成1个普通卷积和一个深度可分离卷积。特征图经过普通卷积通道数降为原来的一半，深度可分离卷积进一步提取普通卷积输入的特征，最后两者相拼接。我们的目标是通过降低模型的计算复杂度，尽可能有效地提取和保留SAR目标的多尺度显著特征信息。

针对SAR目标的强散射特性，为了突出SAR目标的显著和强散射特性信息，本发明提出了注意力增强CSEMPAN模块，称为CSEMPAN。该模块通过信道和空间注意的融合，进一步增强了特征聚合和提取能力，从而突出了SAR目标特征，抑制了背景信息，提高了分类和定位精度。

针对SAR目标的多尺度和强稀疏特征，提取不同尺度SAR稀疏目标的显著信息，本发明提出了一种新的目标检测头，即ESPHead。ESPHead通过不同空洞率的空洞卷积模块，获得不同尺度卷积感受野，提取目标空间的层次化特征信息，通过add操作对特征进行合并，提高网络定位不同尺度目标的能力。

现有的YOLOX的backbone大多采用大规模的网络架构，如DarkNet53，CSPNet等，此类backbone通常具有较高的检测精度，但是由于模型体量较大，其推理速度较慢。

参照图1-图8，本发明提供了一种合成孔径雷达图像目标检测方法，包括以下步骤：

步骤S1：采用轻量化网络mobilenetV2S作为特征提取的基本网络backbone，如图2所示；

步骤S2：如图3所示，基于特征提取的基本网络，采用无锚框目标检测算法YOLOX，构建特征提取骨干网络，引入最新的无锚框目标检测框架-yolox作为基础架构，yolox作为最近提出的一种anchor-free检测算法避免了anchor参数的设置和大量基于anchor的计算；具体包括：

步骤S201：将轻量化网络MobilenetV2中的深度可分离卷积替换为一个普通卷积和一个深度可分离卷积；

步骤S202：普通卷积将特征图的通道数降为原通道数的一半，深度可分离卷积用于提取普通卷积输出的特征图的特征；

步骤S203：将两个卷积的卷积结果相拼接，获得特征提取骨干网络，相比只用一组深度可分离卷积更能获取数据的语义信息，进一步提升了模型的建模能力增加了分类和定位准确性。

步骤S3：利用特征提取骨干网络对合成孔径雷达图像进行特征提取；

步骤S4：将特征提取结果输入金字塔注意力网络CSEMPAN，注意力增强CSEMPAN利用不同尺度的特征进行参数聚合，更好的提取SAR图像中物体的多尺度信息；

步骤S5：金字塔注意力网络CSEMPAN利用不同尺度的特征进行参数聚合，提取合成孔径雷达图像中目标物体的多尺度信息；具体包括：

步骤S501：选取SE模块作为金字塔注意力网络CSEMPAN中的通道注意力模块；

步骤S502：特征提取结果经过通道注意力模块，对输入特征图不同通道进行差异化加权；具体包括：

步骤S5021：将特征提取结果中的特征图映射为1*1*c的大小，其中c为通道数；

步骤S5022：使用两个卷积核大小为1*1卷积层学习各个通道的权重系数；

步骤S5023：将各个通道的权重系数乘以原始特征；

步骤S5024：并且采用1*1的卷积层对乘以原始特征的各个通道的权重系数进行卷积。

步骤S503：提取合成孔径雷达图像中目标物体的多尺度信息，具体包括：

步骤S5031：通过分组卷积将输入的特征提取结果分为g组；

步骤S5032：分组后的每组通过全球平均池Global Average Pooling将特征图映射为1*1大小，并和每组特征图做点积运算；

步骤S5033：点积运算结果沿着channel维度对特征进行求和，获得大小和原特征图一样通道数为1的空间注意力掩膜；

步骤S5034：空间注意力掩膜通过sigmoid操作将空间上的每个像素的权值映射到0～1之间并且和原特征图相乘；

步骤S5035：通过concat操作将g组特征重新拼接为原始特征图的大小；

步骤S5036：采用一个卷积核大小为3*3的卷积对拼接结果进行提取特征；

步骤S5037：使用卷积核大小相同，空洞率分别为1，2，4，8，16的卷积改变卷积的reception field，获得目标的多尺度空间信息。

考虑CNN的机理特性，卷积层堆叠的越多特征图的感受野就越大，特征图中包含的语义信息就越多，空间信息则较少。目标的分类主要依赖CNN获得的语义信息，目标的定位则依赖特征图的感受野，浅层特征图的感受野较小适合小目标的定位，深层特征图的感受野较大适合大目标的定位。CSEMPAN操作为了平衡分类，小目标和大目标的定位准确性采用自顶向下和自下向上的多尺度特征聚合策略以融合浅层和深层特征图信息。由于SAR图像成像的散射特性，目标和背景区分度不高，传统的CSEMPAN没有考虑提取目标的显著信息，导致背景被检测成目标的概率较高。为了解决这个问题，本发明设计了一种注意力增强模块CSEM以抑制背景信息，突出目标的显著性信息。

如图4所示，CSEM模块可分为3个部分：通道注意力，SPPCSP和空间注意力。CSEM的工作原理可总结为如下：

P_x+1＝Conv(C_x+1) (1)

C_{x_s}＝Concat(CA(C_x),Upsample(P_x+1)) (2)

C_{x_f}＝SPPCSP(SPPCSP(C_{x_s})) (3)

P_x＝SA(C_{x_f}) (4)

其中，CA代表通道注意力，SA代表空间注意力。

经骨干网络提取的特征C_x首先经过通道注意力，对输入特征图不同通道进行差异化加权以突出通道的不同重要程度。考虑SAR图像数据集的大小，为了防止过拟合我们选择最常用并且参数最少的SE模块作为通道注意力加强特征提取，如图5所示，SE模块主要分为3个步骤Squeeze，Excitation和Scale。输入特征经过Squeeze操作将特征图映射为1*1*c大小(c为通道数)，然后Excitation操作使用两个卷积核大小为1*1卷积层学习各个通道的权重系数，最后Scale将学习到的各个通道的权值(0～1之间)乘以原始特征，在SE的基础上添加了原始特征和经过SE注意力之后相加并且最后用1*1的卷积层再次卷积的操作，通道注意力模块的工作原理可总结为如下：

s_c＝F_ex(z,W)＝σ(B(W₂B(δ(W₁z)))) (6)

特征C_x的下层特征C_x+1的分辨率比C_x小一倍，两者相concat之前需要对C_x+1的特征进行2倍的上采样操作，经过上采样后特征C_x和C_x+1相concat，concat后的特征再经过两次SPPCSP的提取。如图6所示，SPPCSP比普通的CSP模块多了一个SPP模块，即3个卷积核大小为{5，9，13}的maxpool操作。SAR图像中存在不同尺寸的目标，引入SPP模块，通过3不同卷积核maxpool可以提取大小不同目标的空间特征信息，以适应多尺度的目标信息。

特征的空间信息直接决定着目标的定位是否准确，为了抑制背景信息并显著性的提取目标信息，在SPPCSP操作之后加入空间注意力模块以突出目标的空间信息。如图7所示，空间注意力模块通过分组卷积首先将输入特征分成g组，设定g为8，分组后每组通过Global Average Pooling将特征图映射为1*1大小并和每组特征图做点积运算，点积运算之后沿着channel维度对特征进行求和操作获得大小和原特征图一样通道数为1的空间注意力掩膜，空间注意力掩膜通过sigmoid操作将空间上的每个像素的权值映射到0～1之间并且和原特征图相乘以此突出目标的显著性特征，最后通过concat操作将g组特征重新拼接到原始特征图的大小。空间注意力的工作原理可总结为如下：

x₁,x₂......x_g＝split(x) (8)

c_i＝sum(n_i·x_i) (10)

x＝concat(c_i·x_i)i＝1,2....g (11)

其中，split为分组卷积，F_GAP代表全局平均池化，sum为沿着channel方向求和操作，concat代表拼接。

步骤S6：目标检测头ESPHead通过不同膨胀率dilation rate对目标物体的多尺度信息进行不同感受野的进行空间层级化信息提取；

为了获得不同尺度目标的信息，在特征进入head前加入了一个ESP模块，如图8所示，特征输入到ESP模块先用一个卷积核大小为3*3的卷积进一步提取特征，随后使用卷积核大小相同(3*3)但是空洞率分别为1，2，4，8，16的卷积改变卷积的reception field获得目标的多尺度空间信息。由于通道数不一定是5的倍数，将通道数除以5取整并得到通道数为C"的特征作为空洞率为1的卷积输出，剩余特征被平等分成4份通过空洞率为2，4，8，16的卷积输出。特征经过空洞卷积输出后空洞率为1和2的输出特征先相加，其次和空洞率为4的卷积输出特征再相加，以此类推相加。最后通过concat操作进行特征融合。这种多尺度和多层特征融合策略更符合SAR图像空间特征的提取。

步骤S7：利用加入ESP模块的Decoupled head预测合成孔径雷达图像中目标物体的类别信息和位置回归信息。

步骤S8：后处理采用simOTA算法匹配正负样本计算loss，特征提取下采样操作确定目标真值框GT在特征图上的中心点，simOTA将中心3*3区域都认为是正样本，即每个gt有1个正样本扩展到9个正样本，然后simOTA计算正样本与GT的Iou并且计算损失以确定每个gt的dynamic_k，为每个gt取损失排名最小的前dynamic_k个anchor作为正样本，其余为负样本计算loss以监督模型训练。

损失函数用来表现预测与实际数据的差距程度，一个合适的损失函数对优化模型的训练至关重要，我们的训练损失函数由3部分组成：

L＝λ₁L_cls+λ₂L_obj+λ₃L_bbox (12)

其中λ₁，λ₂，λ₃为权重系数(设定λ₁＝1，λ₂＝2，λ₃＝5)，L_cls，L_obj，L_bbox分别代表分类损失，目标损失，回归损失。

目标损失和类别损失采用交叉熵损失函数：

L(p_i,p_i ^*)＝-[p_ilog(p_i ^*)+(1-p_i)log(1-p_i ^*)] (13)

其中，p_i代表真实值，p_i ^*代表预测值。

回归损失使用IOU损失函数，IOU损失表示预测框和真实框之间交并比的差值，反映预测检测框的检测效果，定义如下：

L＝1-IOU (14)

其中IOU代表预测框和真实框之间交并比。

本发明提出的新的无锚框SAR图像目标检测方法，以取得更类人的智能化水平。此模型可以在极低的Flops下取得了SOTA性能。

以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (2)

1.一种合成孔径雷达图像目标检测方法，其特征在于，包括以下步骤：

采用轻量化网络mobilenetV2S作为特征提取的基本网络；

基于特征提取的基本网络，采用无锚框目标检测算法YOLOX，构建特征提取骨干网络；所述基于特征提取的基本网络，采用无锚框目标检测算法YOLOX，构建特征提取骨干网络的步骤，包括：

将轻量化网络MobilenetV2中的深度可分离卷积替换为一个普通卷积和一个深度可分离卷积；

普通卷积将特征图的通道数降为原通道数的一半，深度可分离卷积用于提取普通卷积输出的特征图的特征；

获得特征提取骨干网络；

利用特征提取骨干网络对合成孔径雷达图像进行特征提取；

将特征提取结果输入金字塔注意力网络CSEMPAN；

金字塔注意力网络CSEMPAN利用不同尺度的特征进行参数聚合，提取合成孔径雷达图像中目标物体的多尺度信息；所述金字塔注意力网络CSEMPAN利用不同尺度的特征进行参数聚合，提取合成孔径雷达图像中目标物体的多尺度信息的步骤，包括：

选取SE模块作为金字塔注意力网络CSEMPAN中的通道注意力模块；

特征提取结果经过通道注意力模块，对输入特征图不同通道进行差异化加权；所述特征提取结果经过通道注意力模块，对输入特征图不同通道进行差异化加权的步骤，包括：

将特征提取结果中的特征图映射为1*1*c的大小，其中c为通道数；

使用两个卷积核大小为1*1卷积层学习各个通道的权重系数；

将各个通道的权重系数乘以原始特征；

并且采用1*1的卷积层对乘以原始特征的各个通道的权重系数进行卷积；

提取合成孔径雷达图像中目标物体的多尺度信息；所述提取合成孔径雷达图像中目标物体的多尺度信息的步骤，包括：

通过分组卷积将输入的特征提取结果分为g组；

分组后的每组通过全局平均池化GlobalAveragePooling将特征图映射为1*1大小，并和每组特征图做点积运算；

点积运算结果沿着channel维度对特征进行求和，获得大小和原特征图一样通道数为1的空间注意力掩膜；

空间注意力掩膜通过sigmoid操作将空间上的每个像素的权值映射到0～1之间并且和原特征图相乘；

通过concat操作将g组特征重新拼接为原始特征图的大小；

采用一个卷积核大小为3*3的卷积对拼接结果进行提取特征；

使用卷积核大小相同，空洞率分别为1，2，4，8，16的卷积改变卷积的reception field，获得目标的多尺度空间信息；

目标检测头ESPHead通过不同膨胀率对目标物体的多尺度信息进行不同感受野的空间层级化信息提。

2.如权利要求1所述的一种合成孔径雷达图像目标检测方法，其特征在于，还包括：

利用Decoupled head预测合成孔径雷达图像中目标物体的类别信息和位置回归信息。