CN113567984A - 一种sar图像中人造小目标的检测方法及*** - Google Patents

一种sar图像中人造小目标的检测方法及*** Download PDF

Info

Publication number
CN113567984A
CN113567984A CN202110871429.8A CN202110871429A CN113567984A CN 113567984 A CN113567984 A CN 113567984A CN 202110871429 A CN202110871429 A CN 202110871429A CN 113567984 A CN113567984 A CN 113567984A
Authority
CN
China
Prior art keywords
convolution
module
feature map
pyramid
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110871429.8A
Other languages
English (en)
Other versions
CN113567984B (zh
Inventor
陈立福
罗汝
袁志辉
邢进
李振洪
谭思雨
蔡兴敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202110871429.8A priority Critical patent/CN113567984B/zh
Publication of CN113567984A publication Critical patent/CN113567984A/zh
Application granted granted Critical
Publication of CN113567984B publication Critical patent/CN113567984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/904SAR modes
    • G01S13/9052Spotlight mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种SAR图像中人造小目标的检测方法及***,本发明包括采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果,MGCAN包括:特征提取骨干网络,用于提取特征图P1~P3;高效金字塔卷积注意力融合模块,用于进行高效金字塔卷积注意力融合增强多尺度上下文信息以提高不同尺度目标的检测精度,获得特征图C1~C3;并行残差空间注意力模块,用于筛选有效的目标空间信息以提高对有效特征的辨别能力;检测层,用于预测输出带有分数的预测边界框。本发明能够高效地捕获SAR图像中人造小目标的不同姿态,充分提取目标本质特征,实现从高分辨率大场景SAR图像中快速准确的检测到小目标。

Description

一种SAR图像中人造小目标的检测方法及***
技术领域
本发明涉及面向SAR影像的飞机检测技术,具体涉及一种SAR图像中人造小目标的检测方法及***。
背景技术
合成孔径雷达(synthetic aperture radar,SAR)是一种覆盖范围广的主动式微波成像雷达,具有穿透云雾、全天时和全天候的对地观测能力,这使其成为对地观测***中不可或缺的重要探测技术。基于大尺度SAR影像复杂背景的小目标的自动检测(如飞机、车辆、舰船、坦克等)军用和民用中都具有重要的应用价值。在战前,对对方阵地高分辨率SAR图像中典型军事目标的检测识别,可深入掌握对方阵地部署情况,为本方战斗部署、调整及作战方案提供重要指导信息;在战斗过程中,可以利用检测识别结果,再结合三维地形图,实现目标的精准精确打击;在战后,可根据检测识别结果,对敌方损失进行评估,进而确定下次战斗计划。此外,对这些SAR图像中小目标(如飞机)的自动检测识别,可及时掌握现场(如机场)情况,为小目标的调度、运行和现场维护提供重要信息。目前随着各种体制SAR***的快速发展,获取SAR图像的数据越来充足丰富、分辨率越来越高,这些都为舰船、车辆、飞机等SAR图像小目标的检测提供了强大且可靠的数据支持。然而,由于SAR图像相干斑噪声、小目标的多尺度问题、复杂背景干扰等,使得这些小目标检测仍面临着巨大挑战。从大尺度SAR图像中检测人造小目标面临的巨大挑战主要来自于以下几个方面:
1、SAR图像中人造小目标的多尺度差异问题。
在大尺度SAR图像中,由于人造小目标的尺寸差异较大造成在用同一个窗口进行特征提取时目标特征不能同时较好的提取出来的问题,如图1中的(a)图和(b)图中左侧大飞机和右侧两个小飞机,(c)和(d)中最下面的飞机和最上面的飞机都存在尺度差异,尤其是(a)中的大飞机和(c)中的小飞机尺度相差较大。分辨率不同导致同一人造小目标尺寸相差较大,或为了不同用途制造后的尺寸相差较大,如飞机。小目标本身携带的信息较少,其代表性特征容易随着网络的深度增加而被淹没,导致检测率低。
2、SAR图像中人造小目标的姿态变化问题。
在SAR图像中,由于人造小目标的姿态不同,导致接收到的目标散射特性不同,从而使同一个目标在SAR图像中呈现不同的特点,这也为目标检测带来了很大难度。如图2中所示,飞机的停放方向不同,由于SAR侧视成像,获取的飞机电磁散射特性也有很大不同,从而各个不同姿态的飞机在SAR强度图中的呈现的特点差异较大,这也造成飞机特征提取难度加大,易出现漏检的问题。
3、SAR图像中人造小目标的复杂背景干扰严重。
在SAR图像中,背景过于复杂,会给人造小目标检测造成很大影响。如图2中的(b)、(d)、(f)和(h)中,登机桥和舷梯具有强散射,和飞机有类似的散射特性和纹理,易造成虚警;机场中的一些建筑物易在SAR图像中造成强散射形成类似飞机的散射特性,造成虚警,如图3中的(b)的房屋和(d)的体育馆的屋顶等。还有不少停放的或运行中的多个车辆引起的强反射形成了和飞机类似的形状,如图3中的(f)、(g)、(h)、(l)。
4、SAR图像中相干斑噪声的干扰。
SAR***中雷达发生的电磁波照射到地表,每个单元内包含很多与波长相当的散射体。这使得每个单元内存在大量散射中心,每个都产生一个子回波,每个子回波都有独立相位和振幅,所有子回波矢量就形成总回波。由于这些子回波与接收机的相对距离在几个波长和几十个波长内变化,导致各散射回波存在相位差。在矢量求和时振幅会相互抵消或叠加,总回波强度与子回波平均强度存在偏差。当接收机在移动中对同一地表区域进行连续观测时,这些具有相同后向散射系数的均质区域在SAR图像中会出现明暗不同的灰度或斑点现象,呈现颗粒状起伏,这种现象称为相干斑效应。这种现象虽和图像中的椒盐噪声类似,但在形成的物理过程中却有本质不同。相干斑噪声是由于SAR的成像原理在雷达回波信号中产生的乘性噪声,而数字图像中的椒盐噪声却是在图像的处理过程中产生的。如图4中所示,对于(a)中的很多同质区域,在SAR图像中仍呈现出不同强度的特征。这对SAR图像中的目标(尤其是小目标)的检测有较大影响,容易使这些小目标(如飞机)的本来较为明显的特点不能很好的呈现(如图4中的飞机),从而使本质特征提取效果不佳,影响最终目标检测性能。
由此可知,目前从大尺度SAR影像复杂背景中自动检测人造小目标依旧是一项极具挑战性的任务,其中飞机是大尺度SAR图像中极具代表性的人造小目标。近几年,不少专家学者专注SAR飞机检测的研究,并取得了较大成果。
传统的SAR图像目标检测方法侧重以手动设计特征为主,非常依赖特征设计者先验知识,得到的特征表征能力非常有限、效率较低,鲁棒性和泛化能力较差,这也限制了它的进一步应用。自2006年深度学***衡检测精度和速度的一阶段检测算法(如SSD、YOLO系列等),该类算法将目标检测问题简化为回归问题,使用卷积神经网络直接预测不同目标的类别和位置。
随着深度学***移、加噪、对比度增强和小角度旋转。Chu等人(2018)结合飞机头部和尾部具有不同姿态,对YOLO算法的前20个卷积采用了迁移学习提取飞机特征,再采用KNN(K-NearestNeighbor)算法,实现了飞机检测和与飞机部件的良好匹配。Diao等人(2018)提出用CFAR(Contant false alarm rate,传统恒虚警率)算法进行飞机目标预定位来降低背景杂波影响,再结合Faster R-CNN在目标检测和残差单元特征提取方面的优势,实现了高分辨率SAR图像中的飞机检测,但网络在速度方面还有待提升。Li等人(2019)引入相邻线连接改进LSD实现在大场景中粗略定位机场,再将迁移学习和Faster-RCNN有效结合在机场候选区域内进行飞机检测,取得了较好的飞机检测结果。该方法有效地减小了飞机检测的范围,提升了飞机检测的效率。在此基础上,Zhang等人(2020)提出了基于Faster-RCNN的级联三视点网络(cascaded three-look network),取得了较高的飞机检测精度,但该方法的实现较为复杂且测试时间偏长。Guo等人(2020)采用传统的自适应鉴别算子提取机场,充分利用SAR图像中飞机不同部位的散射信息增强(SIE,Scattering Information Enhancement),结合注意力金字塔网络(APN,Attention Pyramid Network)实现SAR图像飞机目标检测。该方法主要存在的问题是深度学习应用在SAR数据中的通病,样本不足,网络泛化能力弱等。Wang等人(2019)采用DenseNet结构实现多层特征的串联,达到增强底层高分辨率特征的传播和重用小目标特征信息的能力,提出三种用于学习多尺度特征的紧凑型密集卷积神经网络结构体系,即MS-DenseNet-41、MS-DenseNet-65和MS-DenseNet-77,其中MS-DenseNet-65在检测小型飞机方面获得了显著的提升。但DenseNet结构的引入,使得网络需要较高的GPU内存占用量和更多的训练时间。Zhao等人(2021)结合飞机离散特征之间的关系,构建了一个扩张注意力模块DAB(Dilated AttentionBlock),取得了较高的检测精度。
虽然目前以飞机为代表的SAR图像人造小目标检测取得了一定的进展,但目前在泛化能力、检测精度、检测速度、自动化程度等诸多方面仍存在很大问题。不同于光学遥感影像中的飞机目标具有更清晰的纹理等特征(机身机翼明显),在SAR图像中的飞机呈现为多个离散的散射中心组成的亮斑形态,可利用的纹理和轮廓等细节特征非常有限,且背景中存在严重干扰,因此造成检测难度很大。
发明内容
本发明要解决的技术问题:针对SAR图像中人造小目标检测的难点,提供一种SAR图像中人造小目标的检测方法及***,本发明充分考虑SAR图像中目标的地理空间上下文信息和多尺度信息,能够高效地捕获高分辨率大场景SAR图像中人造小目标的不同姿态,充分提取目标本质特征,实现从高分辨率大场景SAR图像中快速准确的检测到人造小目标。
为了解决上述技术问题,本发明采用的技术方案为:
一种SAR图像中人造小目标的检测方法,包括采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果,且所述多尺度地理空间上下文注意力网络MGCAN包括:
特征提取骨干网络,用于对输入图像提取多层次的特征图P1~P3;
高效金字塔卷积注意力融合模块,用于对特征图P1~P3进行高效金字塔卷积注意力融合增强多尺度上下文信息以提高不同尺度目标的检测精度,获得不同尺度的特征图C1~C3;
并行残差空间注意力模块,用于分别对不同尺度的特征图C1~C3筛选有效的目标空间信息以提高对有效特征的辨别能力;
检测层,用于接收并行残差空间注意力模块输出的三个不同大小的特征,进行多尺度的预测输出带有分数的预测边界框。
可选地,所述特征提取骨干网络包括:
聚焦模块,用于针对输入图像通过四种不同的Slice操作重构成4份低分辨率图像,然后在通道维度进行拼接,最后通过卷积操作进行通道信息融合得到特征图F1,从而实现聚焦图像宽高维度信息到通道空间、最大程度地减少原始图片信息损失;
第一特征图提取单元,用于将特征图F1依次通过卷积核大小为3×3跨度为2的卷积模块、金字塔卷积残差层被堆叠1次的跨阶段金字塔卷积模块CSPP_N、卷积核大小为3×3跨度为2的卷积模块、金字塔卷积残差层被堆叠3次的跨阶段金字塔卷积模块CSPP_N模块得到特征图P1;
第二特征图提取单元,用于将特征图P1依次通过卷积核大小为3×3跨度为2的卷积模块、金字塔卷积残差层被堆叠3次的跨阶段金字塔卷积模块CSPP_N得到特征图P2;
第三特征图提取单元,用于将特征图P2依次通过卷积核大小为3×3跨度为2的卷积模块、空间金字塔池模块SPP、金字塔卷积残差层被堆叠1次的跨阶段金字塔卷积模块CSPP_N得到特征图P3,所述空间金字塔池模块SPP中采用大小分别为13×13,9×9,5×5和1×1的池化核进行多尺度池化操作以聚合不同区域上下文信息、扩大感受野的同时丰富特征的表征能力提高网络特征提取性能;
所述跨阶段金字塔卷积模块CSPP_N对输入特征图的处理步骤包括:将输入特征图分别生成两路特征图A1和A2,一路特征图A1依次通过1×1的卷积模块、被堆叠指定数量N次的金字塔卷积残差层、1×1的二维卷积后得到输出特征A1out,另一路特征图A2通过1×1的卷积模块后首先与输出特征A1out通过连接层相连,然后再依次通过批处理一致化层BN、leakyRelu激活、1×1的卷积后得到最终输出的特征图。
可选地,所述金字塔卷积残差层包括:
1×1的卷积模块,用于对输入特征图进行1×1的卷积以增加网络的非线性;
金字塔卷积模块,包括并行的多个卷积层和一个通道拼接模块,每一个卷积层采用组卷积的方式并行接收1×1的卷积模块输出的特征映射并在多个不同大小的感受野上构建高级特征映射,所述通道拼接模块将所有卷积层的输出通过通道拼接融合得到特征XP
跳跃连接模块,将金字塔卷积残差层原始的输入特征图添加到与输出特征XP中得到金字塔卷积残差层最终的输出特征图。
可选地,所述高效金字塔卷积注意力融合模块包括:
多尺度上下文信息融合模块,用于将特征图P3通过上采样后与特征图P2连接,再通过金字塔卷积模块CSPP得到特征图A1,特征图A1通过1×1的卷积模块并上采样后与特征图P1连接,再通过金字塔卷积模块CSPP得到特征图C1;
二次语义增强模块,用于将特征图P3经上采样并通过金字塔卷积模块CSPP后与特征图A1连接,再通过1×1的卷积模块得到特征图C2;
通道注意力引导融合模块,用于将特征图C1通过卷积模块后与特征图C2连接,再通过金字塔卷积模块CSPP得到特征图B1,将特征图B1依次通过高效通道注意力模块ECA、卷积模块后得到特征图C3;
所述金字塔卷积模块CSPP对输入特征图的处理步骤包括:将输入特征图分别生成两路特征图A1和A2,一路特征图A1依次通过1×1的卷积模块、无跳跃的金字塔卷积残差层、1×1的二维卷积后得到输出特征A1out,另一路特征图A2通过1×1的卷积模块后首先与输出特征A1out通过连接层相连,然后再依次通过批处理一致化层BN、leakyRelu激活、1×1的卷积后得到最终输出的特征图;所述无跳跃的金字塔卷积残差层对输入特征图的处理步骤包括:将输入特征图通过1×1的卷积模块增加网络的非线性,再通过金字塔卷积并行接收特征映射,所述金字塔卷积由多个卷积层并行组成且在每一个层级内采用组卷积的方式在多个不同大小的感受野上构建高级特征映射,金字塔卷积所有卷积层的输出通过通道拼接融合得到特征X作为无跳跃的金字塔卷积残差层最终的输出特征图;
所述高效通道注意力模块ECA对输入特征图的处理步骤包括:针对输入特征图X首先通过通道信息的全局平均池化FGAP从空间维度上将输入特征图X由尺寸H×W×C压缩为1×1×C,再通过3×3大小的一维卷积捕获跨通道交互信息δ,再通过Sigmoid激活函数得到归一化后的通道权重向量Aeca,再将通道权重向量Aeca与输入特征图X相乘以对输入的特征图X进行逐通道调整突出有效特征最终得到增强后的输出特征Xout
可选地,所述并行残差空间注意力模块包括:
平均池化模块,用于对输入的特征图X进行平均池化操作;
最大池化模块,用于对输入的特征图X进行最大池化操作;
通道连接模块,用于基于通道的连接方式将平均池化操作、最大池化操作的输出特征进行融合得到特征图XP
卷积模块,用于对特征图XP进行7×7卷积操作;
权重提取模块,用于利用Sigmoid函数对7×7卷积操作输出的特征进行处理得到学习到的空间注意力特征权重Asam
空间注意力增强模块,用于将空间注意力特征权重Asam与输入特征图X相乘作为空间注意力增强后的输出特征;
跳跃连接模块,用于通过跳跃连接方式将原始的输入特征图X与增强后的输出特征进行逐像素相加融合粗粒度特征和细腻度特征;
激活模块,用于针对融合粗粒度特征和细腻度特征后的特征通过ReLU激活函数增强网络的非线性能力得,到最终的特征图Xout
可选地,所述检测层包括与并行残差空间注意力模块输出的三个不同大小的特征一一对应的三个检测模块和一个虚检筛选策略模块,所述检测模块包括用于基于三个先验框采用1×1平面卷积进行分类回归预测,获得边界框的位置、置信度和所属类别,其中先验框为预先通过对数据集中目标物体边框尺寸的真实值进行聚类得出;所述虚检筛选策略模块用于针对三个检测模块输出的边界框基于DIoU损失函数筛选出最优的目标框。
可选地,所述采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果之前还包括针对原始SAR影像基于包含指定大小、相邻两个窗口跨度的滑动窗口来生成多尺度地理空间上下文注意力网络MGCAN的输入图像的步骤。
可选地,所述采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果之后还包括将多尺度地理空间上下文注意力网络MGCAN针对各个滑动窗口对应的输入图像的初步检测结果进行坐标聚合,从而得到最终的检测结果的步骤。
此外,本发明还提供一种SAR图像中人造小目标的检测方法***,包括相互连接的微处理器和存储器,该微处理器被编程或配置以执行所述SAR图像中人造小目标的检测方法的步骤。此外,本发明还提供一种计算机可读存储介质,该计算机可读存储介质中存储有被编程或配置以执行所述SAR图像中人造小目标的检测方法的计算机程序。
和现有技术相比,本发明具有下述优点:
1、本发明包括采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果,MGCAN包括:特征提取骨干网络,用于提取特征图P1~P3;高效金字塔卷积注意力融合模块,用于进行高效金字塔卷积注意力融合增强多尺度上下文信息以提高不同尺度目标的检测精度,获得特征图C1~C3;并行残差空间注意力模块,用于筛选有效的目标空间信息以提高对有效特征的辨别能力;检测层,用于预测输出带有分数的预测边界框。本发明能够高效地捕获SAR图像中小目标的不同姿态,充分提取目标本质特征,实现从高分辨率大场景SAR图像中快速准确的检测到小目标。
2、人造小目标(飞机、舰船、坦克、车辆等)的强电磁散射特性,在SAR图像中这些目标的主要部分都表现为高亮的特点,因此都会存在多尺度差异问题、姿态变化问题、复杂背景干扰严重、相干斑噪声的干扰,因此本发明方法能够适用于飞机、舰船、坦克、车辆等各类人造小目标的检测,具有通用性好的优点。
附图说明
图1为人造小目标多尺度差异的图例。
图2为人造小目标的不同姿态在光学和SAR图像中的图例。
图3为人造小目标的复杂背景图例。
图4为SAR图像相干斑示例图片,其中(a)为光学遥感影像,(b)为SAR图像。
图5为本发明实施例中多尺度地理空间上下文注意力网络MGCAN的结构示意图。
图6为本发明实施例中特征提取骨干网络的结构示意图。
图7为本发明实施例中跨阶段金字塔卷积模块CSPP_N的结构示意图。
图8为本发明实施例中金字塔卷积残差层的结构示意图。
图9为本发明实施例中高效金字塔卷积注意力融合模块的结构示意图。
图10为本发明实施例中高效通道注意力模块ECA的结构示意图。
图11为本发明实施例中残差空间注意力(RSAM)模块的结构示意图。
图12为本发明实施例中CD-NMS工作流程图。
图13为本发明实施例中NMS和Cluster-Diou-NMS算法的简单示意图。
图14为本发明实施例中数据集中的区域面积和长宽比分布直方图,其中(a)为飞机目标的矩形框面积分布,(b)为飞机目标的长宽比分布。
具体实施方式
如图5所示,本实施例SAR图像中人造小目标的检测方法包括采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果,且所述多尺度地理空间上下文注意力网络MGCAN包括:
特征提取骨干网络,用于对输入图像提取多层次的特征图P1~P3;
高效金字塔卷积注意力融合模块,用于对特征图P1~P3进行高效金字塔卷积注意力融合增强多尺度上下文信息以提高不同尺度目标的检测精度,获得不同尺度的特征图C1~C3;
并行残差空间注意力模块,用于分别对不同尺度的特征图C1~C3筛选有效的目标空间信息以提高对有效特征的辨别能力;
检测层,用于接收并行残差空间注意力模块输出的三个不同大小的特征,进行多尺度的预测输出带有分数的预测边界框。
众所周知,网络深度和宽度与网络性能并不成正比关系。过宽或过深的网络容易导致较粗层中较小对象的一些信息被淹没,降低检测性能。Darknet网络被广泛应用于YOLO中,较好地兼顾了运行速度和对特征的超强表达。本实施例中特征借鉴Darknet网络搭建思想,提出了一种新的特征提取骨干网络,记为PyCSPDarknet。如图6所示,特征提取骨干网络PyCSPDarknet包括:
聚焦模块(Focus),用于针对输入图像通过四种不同的Slice操作重构成4份低分辨率图像,然后在通道维度进行拼接,最后通过卷积操作进行通道信息融合得到特征图F1,从而实现聚焦图像宽高维度信息到通道空间、最大程度地减少原始图片信息损失;
第一特征图提取单元,用于将特征图F1依次通过卷积核大小为3×3跨度为2的卷积模块、金字塔卷积残差层被堆叠1次的跨阶段金字塔卷积模块CSPP_N、卷积核大小为3×3跨度为2的卷积模块、金字塔卷积残差层被堆叠3次的跨阶段金字塔卷积模块CSPP_N模块得到特征图P1;
第二特征图提取单元,用于将特征图P1依次通过卷积核大小为3×3跨度为2的卷积模块、金字塔卷积残差层被堆叠3次的跨阶段金字塔卷积模块CSPP_N得到特征图P2;
第三特征图提取单元,用于将特征图P2依次通过卷积核大小为3×3跨度为2的卷积模块、空间金字塔池模块SPP、金字塔卷积残差层被堆叠1次的跨阶段金字塔卷积模块CSPP_N得到特征图P3,所述空间金字塔池模块SPP中采用大小分别为13×13,9×9,5×5和1×1的池化核进行多尺度池化操作以聚合不同区域上下文信息、扩大感受野的同时丰富特征的表征能力提高网络特征提取性能;
本实施例中将金字塔卷积残差层被堆叠1次的跨阶段金字塔卷积模块CSPP_N记为CSPP_1,金字塔卷积残差层被堆叠3次的跨阶段金字塔卷积模块CSPP_N记为CSPP_3,特征提取骨干网络PyCSPDarknet采用CSPP_1和CSPP_3两种结构作为特征提取模块,有效地学***衡网络的计算量。首先采用聚焦模块代替了3×3卷积层完成初始下采样,进而通过4个卷积核大小为3×3、跨度为2的卷积完成其他几次下采样。Fcous结构(如图6中(a)所示)是亚像素卷积层的反向操作,通过Slice操作重构成4份低分辨率图像,然后在channel维度进行拼接,最后通过卷积操作进行通道信息融合,从而实现聚焦图像宽高维度信息到通道空间,最大程度地减少原始图片信息损失。为了进一步增强CNN的学习能力,在主干网络顶层输出模块中加入了空间金字塔池模块SPP,并结合两个1×1卷积分别实现降维和升维操作,减少网络的计算量(如图6中(b)所示)。空间金字塔池模块SPP中采用大小分别为13×13,9×9,5×5和1×1的池化核进行Multi-scale Maxpooling(多尺度池化)操作,聚合不同区域上下文信息,能够扩大感受野的同时丰富特征的表征能力,提高网络特征提取性能。
CSPNet网络可支持特征的跨阶段传播,鼓励网络重用特征,能够有效减少小目标特征随着网络深度的加深而丢失。在这一点上,CSPNet网络与DenseNet网络结构有异曲同工之妙。但不同于DenseNet网络结构通过接收前向多层特征的通道串联获取更高的特征,带来的需要较高的GPU内存消耗和更多的训练时间成本,CSPNet网络的另一显著优势是它能够压缩网络计算量和参数量,起到轻量化网络的作用。因此,本实施例结合PRL(金字塔卷积残差层)和CSPNet网络思想形成了跨阶段金字塔卷积模块CSPP_N。此外,跨阶段金字塔卷积模块CSPP_N中支持多次堆叠PRL结构,形成CSPP的各种变体(PRL结构被堆叠N次形成的CSPP_N,如图7所示),用以构建更宽更深的网络。如图7所示,跨阶段金字塔卷积模块CSPP_N对输入特征图的处理步骤包括:将输入特征图分别生成两路特征图A1和A2,一路特征图A1依次通过1×1的卷积模块、被堆叠指定数量N次的金字塔卷积残差层、1×1的二维卷积后得到输出特征A1out,另一路特征图A2通过1×1的卷积模块后首先与输出特征A1out通过连接层相连,然后再依次通过批处理一致化层BN、leakyRelu激活、1×1的卷积后得到最终输出的特征图。参见图7,本实施例中的跨阶段金字塔卷积模块CSPP_N很容易复现,有利于捕捉不同尺度的细节信息,以更好地应对SAR图像特征的多变性,非常适用于搭建目标检测网络。本实施例中将金字塔卷积残差层被堆叠1次的跨阶段金字塔卷积模块CSPP_N记为CSPP_1,金字塔卷积残差层被堆叠3次的跨阶段金字塔卷积模块CSPP_N记为CSPP_3,特征提取骨干网络PyCSPDarknet采用CSPP_1和CSPP_3两种结构作为特征提取模块,CSPP_1模块内部只有一个PRL结构(金字塔卷积残差层),且pyconv模块的层数为1层;而CSPP_3模块内部有3个PRL结构(金字塔卷积残差层),且pyconv模块的层数为2层。
为了平衡参数量和计算量,常用的特征提取结构单元中采用单一尺寸3×3卷积核实现特征提取。单一尺寸卷积拥有的感受野单一,不能够充分地学习不同尺寸目标的多尺度散射特性。为了解决这一问题,本实施例中引入了金字塔卷积(PyConv),结合1×1的卷积模块,构建了一种新型的金字塔卷积残差层(Pyconv Residual Layers,PRL)作为特征学习单元,更好地应对SAR图像中不同尺寸目标的视觉模式,如图8所示,金字塔卷积残差层包括:
1×1的卷积模块,用于对输入特征图进行1×1的卷积以增加网络的非线性;
金字塔卷积模块,包括并行的多个卷积层和一个通道拼接模块,每一个卷积层采用组卷积的方式并行接收1×1的卷积模块输出的特征映射并在多个不同大小的感受野上构建高级特征映射,所述通道拼接模块将所有卷积层的输出通过通道拼接融合得到特征XP
跳跃连接模块,将金字塔卷积残差层原始的输入特征图添加到与输出特征XP中得到金字塔卷积残差层最终的输出特征图。
本实施例的金字塔卷积残差层中,输入特征首先通过1×1的卷积模块增加网络的非线性,再通过金字塔卷积并行接收特征映射。PyConv内部由多个卷积层并行组成的金字塔结构(图8展示3层的pyconv结构),在对应层级内采用组卷积的方式在多个不同大小的感受野上构建高级特征映射,再通过通道拼接融合,得到特征XP。最后,通过跳跃连接(shortcut),将初始输入的粗粒度特征添加到与输出特征XP中,得到整个模块的最终输出。
特征提取主干网络对输入样本进行特征提取后,形成包含丰富目标细节信息的浅层特征和语义信息丰富的深层特征。本实施例中构建了高效金字塔卷积注意力融合(EPCAF)模块,如图9所示,高效金字塔卷积注意力融合(EPCAF)模块包括:
多尺度上下文信息融合模块,用于将特征图P3通过上采样后与特征图P2连接,再通过金字塔卷积模块CSPP得到特征图A1,特征图A1通过1×1的卷积模块并上采样后与特征图P1连接,再通过金字塔卷积模块CSPP得到特征图C1;
二次语义增强模块,用于将特征图P3经上采样并通过金字塔卷积模块CSPP后与特征图A1连接,再通过1×1的卷积模块得到特征图C2;
通道注意力引导融合模块,用于将特征图C1通过卷积模块后与特征图C2连接,再通过金字塔卷积模块CSPP得到特征图B1,将特征图B1依次通过高效通道注意力模块ECA、卷积模块后得到特征图C3;
高效金字塔卷积注意力融合(EPCAF)模块将不同分辨率的特征进行深度融合,增强网络的多尺度上下文信息。它集成了多尺度上下文信息融合模块(如图9中的(a)和(b)部分)、二次语义增强模块(如图9中的(c)部分)和通道注意力引导融合模块(如图9中的(d)部分)。
其中金字塔卷积模块CSPP用作特征细化,其结构与特征提取主干网络中使用CSPP_1结构略有不同,在该CSPP中的PRL结构中没有使用跳跃连接,仅通过以1x1模块和pyconv卷积串联组成。具体地,金字塔卷积模块CSPP对输入特征图的处理步骤包括:将输入特征图分别生成两路特征图A1和A2,一路特征图A1依次通过1×1的卷积模块、无跳跃的金字塔卷积残差层、1×1的二维卷积后得到输出特征A1out,另一路特征图A2通过1×1的卷积模块后首先与输出特征A1out通过连接层相连,然后再依次通过批处理一致化层BN、leakyRelu激活、1×1的卷积后得到最终输出的特征图;所述无跳跃的金字塔卷积残差层对输入特征图的处理步骤包括:将输入特征图通过1×1的卷积模块增加网络的非线性,再通过金字塔卷积并行接收特征映射,所述金字塔卷积由多个卷积层并行组成且在每一个层级内采用组卷积的方式在多个不同大小的感受野上构建高级特征映射,金字塔卷积所有卷积层的输出通过通道拼接融合得到特征X作为无跳跃的金字塔卷积残差层最终的输出特征图。
多尺度上下文信息融合模块(图9中的(a)和(b)部分)是继承了特征金字塔融合FPN的优势,它在主干网络输出的三个不同尺度上(P1、P2和P3)构建高级特征映射,将深层的语义信息添加到具有丰富目标细节信息的浅层特征图中,提高目标的分类精度。为了保证特征的空间信息,将主干网络顶层的输出特征图尺寸为16×16×512的P3通过1×1卷积调整通道数为256,在进行2倍上采样与中间层特征图P2进行融合。融合后的特征经过CSPP模块去细化特征,起到消除上采样的重叠效应,得到中尺度特征图A1。用同样的融合方式,将语义增强后的中尺度特征图A1与主干网络的浅层特征图P1进行融合得到大尺度特征图C1。在小目标检测中,目标的语义信息会影响检测器对该区域是目标还是背景(background)进行判断的精确度。为进一步加强网络对小目标检测的精度,本文构建了二次语义增强模块(图9中的(c)部分)。它将主干网络顶层特征图P3经过2倍上采样和CSPP模块细化特征后,和语义增强后的中尺度特征图A1进行反向融合构成倒残差结构,传播强语义信息。最后通过1×1卷积调整通道数后得到二次语义信息增强的中尺度特征图C2。而浅层特征包含的丰富细节信息有利于目标的定位。为此,本文构建的通道注意力引导融合模块(图9中的(d)部分),将含有丰富细节信息的浅层特征图C1通过一个卷积下采样(卷积核大小为3×3,stride为2)和中尺度特征图C2进行融合,进一步增强特征对细节的感知能力。再通过CSPP模块细化特征后得到特征图B1。此时特征图B1包含丰富的通道特征信息,但并不是所有信息都会对目标检测精度有提升。如能有效突显有用特征,增强特征的可分辨性,可明显提升网络性能。因此,本文采用内置的高效通道注意力ECA模块从通道维度上筛选有用信息。最后通过CSPP模块和3×3卷积降采样,学习特征并扩大感受野,形成小尺度特征图C3。
如图10所示,高效通道注意力模块ECA对输入特征图的处理步骤包括:针对输入特征图X首先通过通道信息的全局平均池化FGAP从空间维度上将输入特征图X由尺寸H×W×C压缩为1×1×C,再通过3×3大小的一维卷积捕获跨通道交互信息δ,再通过Sigmoid激活函数得到归一化后的通道权重向量Aeca,再将通道权重向量Aeca与输入特征图X相乘以对输入的特征图X进行逐通道调整突出有效特征最终得到增强后的输出特征Xout。高效通道注意力模块ECA利用3×3大小的一维卷积和Sigmoid激活函数组成的门限机制来高效地捕获通道之间复杂的相关性,自适应地重用有用特征,抑制无用特征。其中,3×3的一维卷积的优势是能够不降维的方式充分利用各通道信息,学习通道之间的相互依赖关系,它有效避免了经典的SE通道注意力在预测FC全连接层中降维操作带来的通道信息流失的问题。本实施例中,设输入特征图为X,经过高效通道注意力模块ECA生成输出特征Xout的函数表达式为:
Aeca=δ(Vonv1d(FGAP(X))),
Figure BDA0003188975890000121
其中,FGAP表示全局平均池化,Conv1d表示3×3大小的一维卷积层,δ表示Sigmoid激活函数,Aeca是归一化后的各通道权重系数。高效通道注意力模块ECA首先通过通道信息的全局平均池化FGAP操作,从空间维度上压缩(shrinking)特征图(H×W×C)到尺寸1×1×C,再通过3×3大小的一维卷积捕获跨通道交互的信息。
本实施例中,并行残差空间注意力(Parallel Residual Spatial Attention,PRSA)模块包括:
平均池化模块,用于对输入的特征图X进行平均池化操作;
最大池化模块,用于对输入的特征图X进行最大池化操作;
通道连接模块,用于基于通道的连接方式将平均池化操作、最大池化操作的输出特征进行融合得到特征图XP
卷积模块,用于对特征图XP进行7×7卷积操作;
权重提取模块,用于利用Sigmoid函数对7×7卷积操作输出的特征进行处理得到学习到的空间注意力特征权重Asam
空间注意力增强模块,用于将空间注意力特征权重Asam与输入特征图X相乘作为空间注意力增强后的输出特征;
跳跃连接模块,用于通过跳跃连接方式将原始的输入特征图X与增强后的输出特征进行逐像素相加融合粗粒度特征和细腻度特征;
激活模块,用于针对融合粗粒度特征和细腻度特征后的特征通过ReLU激活函数增强网络的非线性能力得,到最终的特征图Xout
PRSA模块本实施例中提出的并行残差空间注意力模块自适应的关注有用特征空间信息,提高了网络对目标空间位置的感知能力。由图5可知,并行残差空间注意力模块由3个并行的相同结构的残差空间注意力模块(Residual Spatial Attention Module,RSAM)组成。RSAM具体结构如图11所示,它是本文在SAM的基础上,借鉴残差模块的思想提出的。残差模块的思想的加入能够有效地缓解网络训练梯度消失的问题,使得网络训练更稳定。RSAM的函数表达式如下式所示:
XP=concat[Favg(X);Fmax(X)],
ASam=δ(f7x7(XP)),
Figure BDA0003188975890000131
其中Favg和Fmax分别表示空间信息的平均池化和最大池化,δ是Sigmoid函数,f7x7表示7×7的卷积操作。输入X是来自EPCAF模块输出的特征图。首先将输入X分别进行平均池化和最大池化操作,进而将这两个结果基于通道的连接方式进行融合得到XP。对XP进行7x7卷积操作,继续利用Sigmoid函数处理,得到学习到的空间注意力特征权重ASam(X)。将ASam(X)与输入特征X相乘作为空间注意力增强后的输出特征。最后通过跳跃连接方式,原始特征X与增强后的输出特征进行逐像素相加,融合粗粒度特征和细腻度特征。再通过ReLU激活函数增强网络的非线性能力,得到最终特征增强后的特征图Xout
参见图5,本实施例中检测层(Prediction layer)包括与并行残差空间注意力模块输出的三个不同大小的特征一一对应的三个检测模块和一个虚检筛选策略模块(Cluster-Diou-NMS),所述检测模块包括用于基于三个先验框采用1×1平面卷积进行分类回归预测,获得边界框的位置、置信度和所属类别,其中先验框为预先通过对数据集中目标物体边框尺寸的真实值进行聚类得出;所述虚检筛选策略模块用于针对三个检测模块输出的边界框基于DIoU损失函数筛选出最优的目标框。PRSA模块输出三个不同尺度的有效特征图,检测层首先在每个尺度的有效特征层上产生网格区域,分别为16×16,32×32和64×64,并在每个网格区域下预设了3个先验框。再采用1x1的卷积进行分类回归预测,获取边界框的位置、置信度(confidence)和所属类别。其中先验框(anchor box)的生成是通过对数据集中目标物体边框尺寸的真实值进行聚类得出,总共聚类出9种尺寸的先验框。之后的边界框定位预测只需要在Anchor box的基础上进行位置回归微调操作。为了使目标的定位更准确,本文采用了CIOU Loss作为位置回归损失,而置信度损失和分类损失采用二元交叉熵损失。网络总损失是分类损失、置信度损失和位置回归损失之和,可以通过调整参数使损失最小去优化网络。
针对分类回归网输出的大量无方向的目标框(un-oriented bounding boxes),本实施例中引入Cluster-DIoU-NMS(CD-NMS)来获得最优目标框。CD-NMS是cluster-NMS与DIoU-NMS的有效结合,可以在几乎不降低网络速度的条件下提升网络性能。其中,DIoU-NMS是基于NMS发展起来的,加入了距离信息筛选冗余预测框。DIoU-NMS通过对所有目标框按分数排序后,计算得分最高的预测框M和其它预测框Bi的DIoU值。DIoU值小于NMS阈值则保留该预测框及其分数,否则删除该预测框,使得网络在目标小而密集情况下的预测结果更合理。
其中DIoU计算公式为:
Figure BDA0003188975890000141
Figure BDA0003188975890000142
DIoU(Bi,M)=IoU-λ*RDIoU
其中,λ为惩罚因子,d2(·)是Bi与M中心点之间的欧氏距离的平方(SquaredEuclidean distance),C为B与M最小外接矩形框对角线的长度。由于DIoU-NMS添加了距离信息的计算,增加了算法的时间复杂度,从而不可避免地会延长网络的测试时间。CD-NMS算法将cluster-NMS和DIoU-NMS相结合,提高DIoU-NMS算法处理速度。CD-NMS算法具体的工作流程图如图12所示,步骤包括:
S1、首先对每一类的预测框按照分数降序排序后,根据每一类中预测框与预测框之间的DIoU来产生DIoU矩阵X。预测框M和预测框Bi的DIoU值DIOU(Bi,M)、预测框Bi和其它预测框M的DIoU值DIOU(M,Bi)两者是一样的,使得DIOU矩阵X自身具有对称性。
S2、将DIOU矩阵X进行矩阵上三角化得到转换后的矩阵Xi
S3、对转换后的矩阵Xi中按列取最大值,经过NMS阈值二值化后,再将其矩阵对角化得到对角矩阵Ei,再通过矩阵左乘(即行变换方式)筛选冗余框。若前后两次矩阵左乘值不变后,输出筛选后的预测框;否则,将迭代变量i加1以遍历下一个预测框i,跳转步骤S2。其中矩阵左乘的函数表达式为:Xi=Xi×Ei;前后两次矩阵左乘值不变是指:假定上一次的矩阵左乘值Xi赋值给临时变量C,然后执行矩阵左乘更新矩阵左乘值Xi,若更新后的矩阵左乘值Xi等于临时变量C,则判定前后两次矩阵左乘值不变。图12中,Bbox_i(i=1,2,…,n)表示网络输出的n个预测框,Xij表示预测框i和预测框j计算的DIoU数值,Xi表示上三角矩阵,Ei表示对角矩阵。本实施例中为了提高收敛速度,若迭代变量i大于200,则直接结束并退出。
传统NMS采用迭代顺序处理每一个预测框的集合,而CD-NMS则是对图片上所有预测框的集合并行处理,即利用获取的对角矩阵Ei左乘上三角化的DIoU矩阵Xi,实现冗余框的剔除。这样处理的好处是降低了算法的时间复杂度,特别是对于密集型检测,产生的检测框越多,算法带来的速度优势越显著。
为了能直观阐述CD-NMS的作用,图13给出了CD-NMS和NMS算法的示意图。图中两个物体相隔较为紧促,检测层输出多个不同置信度的预测框。传统的NMS算法通过将预测框按照按置信度排序,只要其他检测框与最高分数框的重叠(交并比)超过阈值(通常阈值设置为0.5),则删除该检测框。依次迭代顺序处理每一个预测框。从图13中(a)图中可以看出,置信度为0.89的框、0.65和0.70的框均和置信度最高为0.9的框的重叠区域大于NMS阈值(通常取0.5)。利用传统NMS算法会将这三个框去除,得到如图13中(b)的预测结果,使得相近目标存在漏检的情况。而在CD-NMS中,由于添加了预测框中心点之间的距离进行筛选,置信度为0.89的框和置信度最高为0.9的框的中心点之间距离相对较远,因此置信度为0.89的框更容易被有效保留(如图13中(c)所示),能够更好定位目标的实际位置,减少漏检现象。
参见图5,本实施例中采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果之前还包括针对原始SAR影像基于包含指定大小、相邻两个窗口跨度的滑动窗口来生成多尺度地理空间上下文注意力网络MGCAN的输入图像的步骤。针对大尺度高分辨率SAR影像人造小目标的检测,本实施例首先对大尺度高分辨率SAR影像采用滑动窗口尺寸为512×512像素(本文以1m分辨率Gaofen-3的SAR影像中的飞机目标为例)、相邻两个窗口跨度为450进行滑窗切片产生测试集,用以减少网络的计算量和对内存的高成本占用。其中滑动窗口尺寸设置为512×512,是为了使样本中小目标信息占比更多,有利于网络对目标特征的提取。进而,将滑窗裁剪得到的测试样本数据集输入多尺度地理空间上下文注意力网络MGCAN进行目标检测,产生多组滑窗切片的原始检测结果。
参见图5,本实施例中采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果之后还包括将多尺度地理空间上下文注意力网络MGCAN针对各个滑动窗口对应的输入图像的初步检测结果进行坐标聚合,从而得到最终的检测结果的步骤。将原始检测结果输入坐标聚合部分,采用坐标映射和外部Fast-NMS算法进行处理,去除滑窗检测重叠区域的重复预测冗余框,产生原始高分辨率大场景SAR图像人造小目标的最终检测结果。
下文将以飞机座位人造小目标实例,对本实施例方法进行验证。
本文实验中使用的数据是Gaofen-3***1m分辨率的十几景包含机场与飞机的大尺度SAR影像。首先,使用RSlabel工具在SAR图像上手工标注飞机样本,并经SAR解译专家确认。从中保留4幅不同时间获取的SAR影像用作独立测试,以评估网络在飞机检测领域的性能。然后,利用生成的标签文件与SAR图像进行切片自动生成数据集样本。对于手工标注有限的图像,我们分别采用了90度旋转、平移(宽和高两个方向的数据增强)、翻转、镜像数据扩充。最终得到4396张尺寸500×500大小的图像数据集,并将训练集与验证集设为4:1。此外,我们对数据集中所有飞机目标的矩形框的面积和长宽比进行了统计并绘制了直方图,如图14所示。由图14中(a)可知,飞机目标的尺寸相差较大,其中最小的面积为300像素,最大为23214个像素,平均约5702个像素。其中尺寸为1600像素左右的飞机目标最多,其次3000像素—5000像素的飞机较多。由图14中(b)可知,飞机标注矩形框的长宽比范围变化较大,最小的为0.33,最大为3.15,平均为1.05,绝大多数集中在)0.5至1.7之间。因此,本文数据集中的飞机目标存在较大的多尺度差异性。
实验平台是CPU Inter至强金牌5120,GPU(单)NVIDIARTX 2080Ti。为了公平起见,在实验中我们保持使用滑窗-检测-坐标聚合的三步式测试策略不变,仅更改检测网络为Faster R-CNN、SSD300、EfficientDet-D0以及YOLOv5s算法这四个主流检测网络展开对比实验。所有网络都是在Ubuntu操作***下,基于pytorch框架,采用SGD优化器,使用相同的数据集训练了100epoch,将最优权重数据(optimal weight)保存用作测试集测试。本文方法与EfficientDet-D0、SSD、Faster R-CNN和YOLOv5s的学习率依次设置为3-e4,1-e4,1-e4,1-e2,,1-e3。此外,我们的算法的批次大小为16,先验框是采用聚类的方式计算得出,分别为[30,41,38,29,51,61],[55,48,65,75,73,62],[86,90,111,126,117,99],用于飞机目标检测。
本文使用检测率(DR)、虚检率false positive rate(FPR)、网络训练时间和测试时间四个客观指标综合评估网络性能。
Figure BDA0003188975890000161
Figure BDA0003188975890000162
其中Ncd和Nfd表示正确检测和虚警的目标数量,Ntr表示场景中目标的真实数量,Ntd表示检测到的目标总量。
在指标计算中,网络正确检测的目标判定依据是网络检测到的目标位置(detected bounding box)与原始标签(ground truth bounding box,)之间的IoU大小。由于飞机等人造小目标的尺寸小且较密集,实验中将IoU重叠比设为0.4作为判定阈值。若IoU大于0.4,则认为是正确检测,否则视为错误检测。为了验证本文框架对大尺度SAR图像中人造小目标的检测性能,本文选用了4组1m分辨率的Gaofen-3大尺度SAR图像进行飞机目标的检测实验,分别为大小9600×9600像素的机场Ⅰ、11400×11990像素的机场Ⅱ、12000×14400像素的机场Ⅲ和14400×16800像素的机场Ⅳ。这些机场在图像数据集制作过程中未使用,从而保证算法的测试有效性。为了更直观有效的评价网络性能,表1给出了不同网络对四组机场的飞机检测算法评价参数。
表1不同SAR图像飞机检测算法评价参数。
Figure BDA0003188975890000163
Figure BDA0003188975890000171
根据表1可知:首先,综合检测率和虚警率两个指标来看,EfficientDet-D0的整体虚检率偏高(达到了38.40%),说明EfficientDet-D0网络对背景抑制较差,不能有效提取飞机特征。SSD网络的平均检测率为86.99%,平均虚警率为22.08%,与EfficientDet-D0相比平均性能有所提升,尤其是虚警率有了较大降低,说明该网络对复杂背景抑制的能力有了较大改进。Faster-RCNN在几个网络中检测率最低,仅为77.46%,说明该网络对于多尺度和多方向的飞机目标的本质特征提取的能力不强,Faster-RCNN的RPN生成的anchor与检测目标尺度匹配度不高,容易造成漏检;这一现象也正好验证了直接将现有来自与光学图像的主流目标检测网络用于SAR图像检测的不足之处。Faster R-CNN网络的虚警率为12.63%,比EfficientDet-D0和SSD都有明显降低,说明该网络对背景抑制效果较好。ZhangL等人(2020)改进了Faster-RCNN中RPN网络来筛选正负样本,对anchor进行参数优化用于SAR图像中的飞机目标检测,取得了优于Faster R-CNN网络的检测结果。YOLOV5s是Yolo系列中2021年新提出的目标检测网络,目标检测性能优异。该网络在本文4个机场中的检测中,检测率为81.79%,比Faster R-CNN稍好,比EfficientDet-D0和SSD都低,表明该网络对于飞机这种人造小目标的特征提取方面仍有欠缺,鲁棒性不高;虚警率为7.91%,说明该网络对复杂背景的抑制能力比较强,比现有比较的三个网络都好。本文提出的网络MGCAN的检测率和虚警率分别为93.58%,相比EfficientDet-D0、YOLOv5s、SSD和Faster-RCNN均有显著提升;平均虚警率为5.34%,跟其他网络相比也有明显降低。这表明本文设计的网络在飞机这种多尺度和多方向小目标的本质特征提取及对复杂背景干扰抑制方面的优异性能。从5个网络对相同数据集的训练时间和4个SAR机场独立测试的平均时间来看,Faster-RCNN的训练时间和测试时间都是最长的。SSD的训练时间为20.67hours,平均测试时间11.07s;而EfficientDet-D0的训练时间为5.097hours,平均测试时间为18.08s。YOLOv5s和MGCAN网络的训练时间均约为0.7hours,平均测试时间相差不大,分别为7.83s和8.11s;但MGCAN网络的检测性能却有了显著提升。综合来看,本文提出网络在飞机目标检测方面具有较高的检测精度和极低的虚警率,且训练和测试时间均很短,具有实时、高效的特点,能够更好的应用于实际工程应用。
本实施例SAR图像中人造小目标的检测方法提出了一种三步式目标检测框架,即滑窗、目标检测和坐标聚合,可为大尺度高分辨率SAR影像的自动、快速检测提供一种通用方法;此外,本实施例SAR图像中人造小目标的检测方法将金字塔卷积与残差思想融合,构建了一个新型的特征学习单元——PRL。并以该单元为基础,融合CSPNet,构建了可支持多次堆叠PRL结构的跨阶段金字塔卷积CSPP模块。该模块可很好的捕捉不同尺度的细节信息,更好应对SAR图像人造小目标的多变性。CSPP模块是本文目标检测网络的基础单元,在多个模块中都进行了应用,并取得了满意的效果。本实施例SAR图像中人造小目标的检测方法提出了一个大尺度高分辨率SAR图像的人造小目标检测网络架构MGCAN,该框架包括提出的PyCSPDarknet主干网络、EFPCF模块和PRSA模块以及预测层。其中PyCSPDarknet提高了网络对小目标特征和上下文特征的提取能力;提出的EFPCF模块和PRSA模块提高了对目标地理空间上下文信息的提取,以及对背景无用特征的抑制能力,从而降低了虚警,提高了目标检测性能。本文引入了金字塔卷积(池化)、注意力机制、残差思想等,将深度学习与SAR地理空间信息有效融合,很大程度上解决了大尺度SAR图像中人造小目标的本质特征提取的问题。MGCAN网络在针对尺度相差较大、方向多变、形状差异明显、背景复杂且干扰大的飞机等人造小目标时,能有效提取本质特征,并抑制背景干扰,取得满意的检测结果。本实施例SAR图像中人造小目标的检测方法在坐标聚合阶段引入了CD-NMS对目标进行更准确的定位,减少漏警,并加快了定位速度,在SAR图像飞机目标检测中验证了该算法的有效性。
综上所述,大尺度SAR影像中人造小目标的尺度、方向和形态差异较大,制约着目标的检测精度。同时SAR图像携带的固有的相干斑噪声以及复杂多变的背景信息干扰,也非常考验网络对目标本质特征的提取与辨别能力。针对大尺度SAR影像中的人造小目标检测,本实施例方法提出了一种多尺度地理空间上下文注意力网络MGCAN来实现人造小目标的检测。多尺度地理空间上下文注意力网络MGCAN包括提出的几个部分:骨干网络PyCSPDarknet、高效金字塔卷积注意力融合(Efficient Pyramid Convolution AttentionFusion,EPCAF)模块和并行残差空间注意力(Parallel Residual Spatial Attention,PRSA)模块以及检测层。首先,采用特征提取骨干网络对输入样本进行特征初步提取形成多层次特征。将主干网络的特征层P1、P2和P3输入到精心设计的EPCAF模块进行处理,增强网络的多尺度上下文信息,进而提高不同尺度目标的检测精度。在EPCAF模块处理后,得到三个不同尺度的输出特征图C1、C2,和C3。本文采用三个残差空间注意力模块(ResidualSpatial Attention Module,RSAM)并行接收他们,去筛选有效的目标空间信息,提高网络对有效特征的辨别能力。接着,检测层接收并行残差空间注意力模块输出的三个不同大小的特征映射分支进行多尺度预测输出大量带有分数的预测边界框。再结合Cluster-Diou-NMS筛选冗余预测边界框,得到MGCAN网络输出的多组滑窗切片原始检测结果。整个多尺度地理空间上下文注意力网络MGCAN是以本文提出的跨阶段金字塔卷积模块(CSPP)为基础模块构建而成。该检测网络通过精心设计的PyCSPDarknet提取多尺度特征,加强小目标细腻度特征的表征;进而将提出的EFPCF和PRSA两个模块巧妙融合,很好的解决了复杂多变的背景信息下产生的虚警问题,能使网络有效捕获目标的多尺度上下文信息和姿态信息。针对SAR图像中目标分布密集的特点,在在后处理阶段采用CD-NMS虚检筛选策略,综合考虑置信度、IOU阈值和预测框中心点之间的距离,对检测结果进行筛选,从而产生最终的检测结果。对提出的网络框架MGCAN,以飞机这种典型的人造小目标,利用4景Gaofen-3数据进行了独立检测实验,获得了比目前检测性能优秀的几个网络都有显著提升的检测结果,充分地验证了该框架对于人造小目标检测的优异性能。该框架也可扩展到其他的人造小目标的检测中,如舰船、车辆、坦克等小目标。本文提出的网络框架MGCAN将深度学习与SAR图像人造小目标特性有效结合,为其他研究学者提供了一个通用的小目标检测框架,并有助于进一步推动将深度学习与SAR特性结合的应用研究,并最终实现SAR图像目标的智能解译。
此外,本实施例还提供一种SAR图像中人造小目标的检测方法***,包括相互连接的微处理器和存储器,该微处理器被编程或配置以执行前述SAR图像中人造小目标的检测方法的步骤。此外,本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有被编程或配置以执行前述SAR图像中人造小目标的检测方法的计算机程序。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种SAR图像中人造小目标的检测方法,其特征在于,包括采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果,且所述多尺度地理空间上下文注意力网络MGCAN包括:
特征提取骨干网络,用于对输入图像提取多层次的特征图P1~P3;
高效金字塔卷积注意力融合模块,用于对特征图P1~P3进行高效金字塔卷积注意力融合增强多尺度上下文信息以提高不同尺度目标的检测精度,获得不同尺度的特征图C1~C3;
并行残差空间注意力模块,用于分别对不同尺度的特征图C1~C3筛选有效的目标空间信息以提高对有效特征的辨别能力;
检测层,用于接收并行残差空间注意力模块输出的三个不同大小的特征,进行多尺度的预测输出带有分数的预测边界框。
2.根据权利要求1所述的SAR图像中人造小目标的检测方法,其特征在于,所述特征提取骨干网络包括:
聚焦模块,用于针对输入图像通过四种不同的Slice操作重构成4份低分辨率图像,然后在通道维度进行拼接,最后通过卷积操作进行通道信息融合得到特征图F1,从而实现聚焦图像宽高维度信息到通道空间、最大程度地减少原始图片信息损失;
第一特征图提取单元,用于将特征图F1依次通过卷积核大小为3×3跨度为2的卷积模块、金字塔卷积残差层被堆叠1次的跨阶段金字塔卷积模块CSPP_N、卷积核大小为3×3跨度为2的卷积模块、金字塔卷积残差层被堆叠3次的跨阶段金字塔卷积模块CSPP_N模块得到特征图P1;
第二特征图提取单元,用于将特征图P1依次通过卷积核大小为3×3跨度为2的卷积模块、金字塔卷积残差层被堆叠3次的跨阶段金字塔卷积模块CSPP_N得到特征图P2;
第三特征图提取单元,用于将特征图P2依次通过卷积核大小为3×3跨度为2的卷积模块、空间金字塔池模块SPP、金字塔卷积残差层被堆叠1次的跨阶段金字塔卷积模块CSPP_N得到特征图P3,所述空间金字塔池模块SPP中采用大小分别为13×13,9×9,5×5和1×1的池化核进行多尺度池化操作以聚合不同区域上下文信息、扩大感受野的同时丰富特征的表征能力提高网络特征提取性能;
所述跨阶段金字塔卷积模块CSPP_N对输入特征图的处理步骤包括:将输入特征图分别生成两路特征图A1和A2,一路特征图A1依次通过1×1的卷积模块、被堆叠指定数量N次的金字塔卷积残差层、1×1的二维卷积后得到输出特征A1out,另一路特征图A2通过1×1的卷积模块后首先与输出特征A1out通过连接层相连,然后再依次通过批处理一致化层BN、leakyRelu激活、1×1的卷积后得到最终输出的特征图。
3.根据权利要求2所述的SAR图像中人造小目标的检测方法,其特征在于,所述金字塔卷积残差层包括:
1×1的卷积模块,用于对输入特征图进行1×1的卷积以增加网络的非线性;
金字塔卷积模块,包括并行的多个卷积层和一个通道拼接模块,每一个卷积层采用组卷积的方式并行接收1×1的卷积模块输出的特征映射并在多个不同大小的感受野上构建高级特征映射,所述通道拼接模块将所有卷积层的输出通过通道拼接融合得到特征XP
跳跃连接模块,将金字塔卷积残差层原始的输入特征图添加到与输出特征XP中得到金字塔卷积残差层最终的输出特征图。
4.根据权利要求1所述的SAR图像中人造小目标的检测方法,其特征在于,所述高效金字塔卷积注意力融合模块包括:
多尺度上下文信息融合模块,用于将特征图P3通过上采样后与特征图P2连接,再通过金字塔卷积模块CSPP得到特征图A1,特征图A1通过1×1的卷积模块并上采样后与特征图P1连接,再通过金字塔卷积模块CSPP得到特征图C1;
二次语义增强模块,用于将特征图P3经上采样并通过金字塔卷积模块CSPP后与特征图A1连接,再通过1×1的卷积模块得到特征图C2;
通道注意力引导融合模块,用于将特征图C1通过卷积模块后与特征图C2连接,再通过金字塔卷积模块CSPP得到特征图B1,将特征图B1依次通过高效通道注意力模块ECA、卷积模块后得到特征图C3;
所述金字塔卷积模块CSPP对输入特征图的处理步骤包括:将输入特征图分别生成两路特征图A1和A2,一路特征图A1依次通过1×1的卷积模块、无跳跃的金字塔卷积残差层、1×1的二维卷积后得到输出特征A1out,另一路特征图A2通过1×1的卷积模块后首先与输出特征A1out通过连接层相连,然后再依次通过批处理一致化层BN、leakyRelu激活、1×1的卷积后得到最终输出的特征图;所述无跳跃的金字塔卷积残差层对输入特征图的处理步骤包括:将输入特征图通过1×1的卷积模块增加网络的非线性,再通过金字塔卷积并行接收特征映射,所述金字塔卷积由多个卷积层并行组成且在每一个层级内采用组卷积的方式在多个不同大小的感受野上构建高级特征映射,金字塔卷积所有卷积层的输出通过通道拼接融合得到特征X作为无跳跃的金字塔卷积残差层最终的输出特征图;
所述高效通道注意力模块ECA对输入特征图的处理步骤包括:针对输入特征图X首先通过通道信息的全局平均池化FGAP从空间维度上将输入特征图X由尺寸H×W×C压缩为1×1×C,再通过3×3大小的一维卷积捕获跨通道交互信息δ,再通过Sigmoid激活函数得到归一化后的通道权重向量Aeca,再将通道权重向量Aeca与输入特征图X相乘以对输入的特征图X进行逐通道调整突出有效特征最终得到增强后的输出特征Xout
5.根据权利要求1所述的SAR图像中人造小目标的检测方法,其特征在于,所述并行残差空间注意力模块包括:
平均池化模块,用于对输入的特征图X进行平均池化操作;
最大池化模块,用于对输入的特征图X进行最大池化操作;
通道连接模块,用于基于通道的连接方式将平均池化操作、最大池化操作的输出特征进行融合得到特征图XP
卷积模块,用于对特征图XP进行7×7卷积操作;
权重提取模块,用于利用Sigmoid函数对7×7卷积操作输出的特征进行处理得到学习到的空间注意力特征权重Asam
空间注意力增强模块,用于将空间注意力特征权重Asam与输入特征图X相乘作为空间注意力增强后的输出特征;
跳跃连接模块,用于通过跳跃连接方式将原始的输入特征图X与增强后的输出特征进行逐像素相加融合粗粒度特征和细腻度特征;
激活模块,用于针对融合粗粒度特征和细腻度特征后的特征通过ReLU激活函数增强网络的非线性能力得,到最终的特征图Xout
6.根据权利要求1所述的SAR图像中人造小目标的检测方法,其特征在于,所述检测层包括与并行残差空间注意力模块输出的三个不同大小的特征一一对应的三个检测模块和一个虚检筛选策略模块,所述检测模块包括用于基于三个先验框采用1×1平面卷积进行分类回归预测,获得边界框的位置、置信度和所属类别,其中先验框为预先通过对数据集中目标物体边框尺寸的真实值进行聚类得出;所述虚检筛选策略模块用于针对三个检测模块输出的边界框基于DIoU损失函数筛选出最优的目标框。
7.根据权利要求1所述的SAR图像中人造小目标的检测方法,所述采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果之前还包括针对原始SAR影像基于包含指定大小、相邻两个窗口跨度的滑动窗口来生成多尺度地理空间上下文注意力网络MGCAN的输入图像的步骤。
8.根据权利要求7所述的SAR图像中人造小目标的检测方法,所述采用多尺度地理空间上下文注意力网络MGCAN来对输入图像获取预测结果之后还包括将多尺度地理空间上下文注意力网络MGCAN针对各个滑动窗口对应的输入图像的初步检测结果进行坐标聚合,从而得到最终的检测结果的步骤。
9.一种SAR图像中人造小目标的检测***,包括相互连接的微处理器和存储器,其特征在于,该微处理器被编程或配置以执行权利要求1~8中任意一项所述SAR图像中人造小目标的检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有被编程或配置以执行权利要求1~8中任意一项所述SAR图像中人造小目标的检测方法的计算机程序。
CN202110871429.8A 2021-07-30 2021-07-30 一种sar图像中人造小目标的检测方法及*** Active CN113567984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110871429.8A CN113567984B (zh) 2021-07-30 2021-07-30 一种sar图像中人造小目标的检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110871429.8A CN113567984B (zh) 2021-07-30 2021-07-30 一种sar图像中人造小目标的检测方法及***

Publications (2)

Publication Number Publication Date
CN113567984A true CN113567984A (zh) 2021-10-29
CN113567984B CN113567984B (zh) 2023-08-22

Family

ID=78169456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110871429.8A Active CN113567984B (zh) 2021-07-30 2021-07-30 一种sar图像中人造小目标的检测方法及***

Country Status (1)

Country Link
CN (1) CN113567984B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822286A (zh) * 2021-11-22 2021-12-21 北京东方国信科技股份有限公司 设备视觉检测方法、电子设备、存储介质和程序产品
CN114022787A (zh) * 2022-01-04 2022-02-08 江苏思远集成电路与智能技术研究院有限公司 一种基于大尺度遥感图像机库识别方法
CN114067125A (zh) * 2021-11-16 2022-02-18 杭州欣禾圣世科技有限公司 基于全推理神经网络的目标检测方法、***及装置
CN114078230A (zh) * 2021-11-19 2022-02-22 西南交通大学 一种自适应特征融合冗余优化的小目标检测方法
CN114119582A (zh) * 2021-12-01 2022-03-01 安徽大学 一种合成孔径雷达图像目标检测方法
CN114170497A (zh) * 2021-11-03 2022-03-11 中国农业大学 一种基于注意力模块的多尺度水下鱼群检测方法
CN114202696A (zh) * 2021-12-15 2022-03-18 安徽大学 基于上下文视觉的sar目标检测方法、装置和存储介质
CN114359283A (zh) * 2022-03-18 2022-04-15 华东交通大学 基于Transformer的缺陷检测方法和电子设备
CN114373118A (zh) * 2021-12-30 2022-04-19 华南理工大学 基于改进yolov4的水下目标检测方法
CN114494893A (zh) * 2022-04-18 2022-05-13 成都理工大学 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN114494884A (zh) * 2022-02-10 2022-05-13 北京工业大学 一种垃圾自动分拣多目标检测方法
CN114529836A (zh) * 2022-02-23 2022-05-24 安徽大学 一种sar图像目标检测方法
CN114581318A (zh) * 2022-01-24 2022-06-03 广东省科学院智能制造研究所 一种低照明度图像增强方法及***
CN114693930A (zh) * 2022-03-31 2022-07-01 福州大学 基于多尺度特征和上下文注意力的实例分割方法及***
CN114926734A (zh) * 2022-05-16 2022-08-19 河南大学 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN114972851A (zh) * 2022-05-12 2022-08-30 北京理工大学 一种基于遥感影像的船只目标智能检测方法
CN115272685A (zh) * 2022-06-21 2022-11-01 北京科技大学 一种小样本sar舰船目标识别方法及装置
CN115410060A (zh) * 2022-11-01 2022-11-29 山东省人工智能研究院 面向公共安全视频的全局感知小目标智能检测方法
CN115690675A (zh) * 2022-10-12 2023-02-03 大连海洋大学 基于通道非降维注意力机制与改进YOLOv5的ESB-YOLO模型养殖鱼群检测方法
CN115761552A (zh) * 2023-01-08 2023-03-07 石家庄铁道大学 面向无人机机载平台的目标检测方法、***、设备及介质
CN115861855A (zh) * 2022-12-15 2023-03-28 福建亿山能源管理有限公司 一种光伏电站的运维监测方法及***
CN115984661A (zh) * 2023-03-20 2023-04-18 北京龙智数科科技服务有限公司 目标检测中的多尺度特征图融合方法、装置、设备及介质
CN116012364A (zh) * 2023-01-28 2023-04-25 北京建筑大学 Sar图像变化检测方法和装置
CN116052026A (zh) * 2023-03-28 2023-05-02 石家庄铁道大学 一种无人机航拍图像目标检测方法、***及存储介质
CN116579616A (zh) * 2023-07-10 2023-08-11 武汉纺织大学 一种基于深度学习的风险识别方法
CN117809294A (zh) * 2023-12-29 2024-04-02 天津大学 一种基于特征校正和差异指导注意力的文本检测方法
CN117974960A (zh) * 2024-03-28 2024-05-03 临沂大学 一种双光融合动态超分辨率分层感知方法
CN114926734B (zh) * 2022-05-16 2024-06-28 河南大学 基于特征聚合和注意融合的固体废弃物检测装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401201A (zh) * 2020-03-10 2020-07-10 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN111797717A (zh) * 2020-06-17 2020-10-20 电子科技大学 一种高速高精度的sar图像船只检测方法
CN112084901A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及***
AU2020104006A4 (en) * 2020-12-10 2021-02-18 Naval Aviation University Radar target recognition method based on feature pyramid lightweight convolutional neural network
CN112528896A (zh) * 2020-12-17 2021-03-19 长沙理工大学 一种面向sar图像的飞机目标自动检测方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401201A (zh) * 2020-03-10 2020-07-10 南京信息工程大学 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN111797717A (zh) * 2020-06-17 2020-10-20 电子科技大学 一种高速高精度的sar图像船只检测方法
CN112084901A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及***
AU2020104006A4 (en) * 2020-12-10 2021-02-18 Naval Aviation University Radar target recognition method based on feature pyramid lightweight convolutional neural network
CN112528896A (zh) * 2020-12-17 2021-03-19 长沙理工大学 一种面向sar图像的飞机目标自动检测方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SIYU TAN, ET AL: "Geospatial Contextual Attention Mechanism for Automatic and Fast Airport Detection in SAR Imagery", 《IEEE ACCESS》, pages 17627 - 17640 *
YAN ZHAO, ET AL: "Attention Receptive Pyramid Network for Ship Detection in SAR Images", IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING,, pages 2738 - 2756 *
周幸等: "基于双注意力机制的遥感图像目标检测", 计算机与现代化, pages 1 - 7 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170497A (zh) * 2021-11-03 2022-03-11 中国农业大学 一种基于注意力模块的多尺度水下鱼群检测方法
CN114067125A (zh) * 2021-11-16 2022-02-18 杭州欣禾圣世科技有限公司 基于全推理神经网络的目标检测方法、***及装置
CN114078230A (zh) * 2021-11-19 2022-02-22 西南交通大学 一种自适应特征融合冗余优化的小目标检测方法
CN114078230B (zh) * 2021-11-19 2023-08-25 西南交通大学 一种自适应特征融合冗余优化的小目标检测方法
CN113822286A (zh) * 2021-11-22 2021-12-21 北京东方国信科技股份有限公司 设备视觉检测方法、电子设备、存储介质和程序产品
CN114119582B (zh) * 2021-12-01 2024-04-26 安徽大学 一种合成孔径雷达图像目标检测方法
CN114119582A (zh) * 2021-12-01 2022-03-01 安徽大学 一种合成孔径雷达图像目标检测方法
CN114202696A (zh) * 2021-12-15 2022-03-18 安徽大学 基于上下文视觉的sar目标检测方法、装置和存储介质
CN114202696B (zh) * 2021-12-15 2023-01-24 安徽大学 基于上下文视觉的sar目标检测方法、装置和存储介质
CN114373118A (zh) * 2021-12-30 2022-04-19 华南理工大学 基于改进yolov4的水下目标检测方法
CN114373118B (zh) * 2021-12-30 2024-04-05 华南理工大学 基于改进yolov4的水下目标检测方法
CN114022787B (zh) * 2022-01-04 2022-04-15 江苏思远集成电路与智能技术研究院有限公司 一种基于大尺度遥感图像机库识别方法
CN114022787A (zh) * 2022-01-04 2022-02-08 江苏思远集成电路与智能技术研究院有限公司 一种基于大尺度遥感图像机库识别方法
CN114581318A (zh) * 2022-01-24 2022-06-03 广东省科学院智能制造研究所 一种低照明度图像增强方法及***
CN114494884A (zh) * 2022-02-10 2022-05-13 北京工业大学 一种垃圾自动分拣多目标检测方法
CN114494884B (zh) * 2022-02-10 2024-06-07 北京工业大学 一种垃圾自动分拣多目标检测方法
CN114529836A (zh) * 2022-02-23 2022-05-24 安徽大学 一种sar图像目标检测方法
CN114529836B (zh) * 2022-02-23 2022-11-08 安徽大学 一种sar图像目标检测方法
CN114359283A (zh) * 2022-03-18 2022-04-15 华东交通大学 基于Transformer的缺陷检测方法和电子设备
CN114359283B (zh) * 2022-03-18 2022-07-05 华东交通大学 基于Transformer的缺陷检测方法和电子设备
CN114693930A (zh) * 2022-03-31 2022-07-01 福州大学 基于多尺度特征和上下文注意力的实例分割方法及***
CN114494893A (zh) * 2022-04-18 2022-05-13 成都理工大学 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN114972851A (zh) * 2022-05-12 2022-08-30 北京理工大学 一种基于遥感影像的船只目标智能检测方法
CN114926734A (zh) * 2022-05-16 2022-08-19 河南大学 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN114926734B (zh) * 2022-05-16 2024-06-28 河南大学 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN115272685A (zh) * 2022-06-21 2022-11-01 北京科技大学 一种小样本sar舰船目标识别方法及装置
CN115690675A (zh) * 2022-10-12 2023-02-03 大连海洋大学 基于通道非降维注意力机制与改进YOLOv5的ESB-YOLO模型养殖鱼群检测方法
CN115690675B (zh) * 2022-10-12 2024-02-23 大连海洋大学 基于通道非降维注意力机制与改进YOLOv5的ESB-YOLO模型养殖鱼群检测方法
CN115410060A (zh) * 2022-11-01 2022-11-29 山东省人工智能研究院 面向公共安全视频的全局感知小目标智能检测方法
CN115410060B (zh) * 2022-11-01 2023-02-28 山东省人工智能研究院 面向公共安全视频的全局感知小目标智能检测方法
CN115861855A (zh) * 2022-12-15 2023-03-28 福建亿山能源管理有限公司 一种光伏电站的运维监测方法及***
CN115861855B (zh) * 2022-12-15 2023-10-24 福建亿山能源管理有限公司 一种光伏电站的运维监测方法及***
CN115761552A (zh) * 2023-01-08 2023-03-07 石家庄铁道大学 面向无人机机载平台的目标检测方法、***、设备及介质
CN115761552B (zh) * 2023-01-08 2023-05-26 石家庄铁道大学 面向无人机机载平台的目标检测方法、设备及介质
CN116012364A (zh) * 2023-01-28 2023-04-25 北京建筑大学 Sar图像变化检测方法和装置
CN116012364B (zh) * 2023-01-28 2024-01-16 北京建筑大学 Sar图像变化检测方法和装置
CN115984661B (zh) * 2023-03-20 2023-08-29 北京龙智数科科技服务有限公司 目标检测中的多尺度特征图融合方法、装置、设备及介质
CN115984661A (zh) * 2023-03-20 2023-04-18 北京龙智数科科技服务有限公司 目标检测中的多尺度特征图融合方法、装置、设备及介质
CN116052026A (zh) * 2023-03-28 2023-05-02 石家庄铁道大学 一种无人机航拍图像目标检测方法、***及存储介质
CN116579616B (zh) * 2023-07-10 2023-09-29 武汉纺织大学 一种基于深度学习的风险识别方法
CN116579616A (zh) * 2023-07-10 2023-08-11 武汉纺织大学 一种基于深度学习的风险识别方法
CN117809294A (zh) * 2023-12-29 2024-04-02 天津大学 一种基于特征校正和差异指导注意力的文本检测方法
CN117974960A (zh) * 2024-03-28 2024-05-03 临沂大学 一种双光融合动态超分辨率分层感知方法

Also Published As

Publication number Publication date
CN113567984B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN113567984B (zh) 一种sar图像中人造小目标的检测方法及***
CN109932730B (zh) 基于多尺度单极三维检测网络的激光雷达目标检测方法
CN107341488A (zh) 一种sar图像目标检测识别一体化方法
CN110189304B (zh) 基于人工智能的光学遥感图像目标在线快速检测方法
CN105550701A (zh) 实时图像提取识别方法及装置
CN111914924B (zh) 一种快速舰船目标检测方法、存储介质及计算设备
CN110009010A (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN113111727B (zh) 一种基于特征对齐的遥感场景下旋转目标检测方法
CN113538347B (zh) 基于高效双向路径聚合注意力网络的图像检测方法及***
CN112528896A (zh) 一种面向sar图像的飞机目标自动检测方法及***
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及***
CN113569667A (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及***
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
Nguyen et al. Satellite image classification using convolutional learning
CN114241250A (zh) 一种级联回归目标检测方法、装置及计算机可读存储介质
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及***
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
CN115995042A (zh) 一种视频sar运动目标检测方法及装置
CN110991305B (zh) 一种遥感图像下的飞机检测方法及存储介质
CN113963178A (zh) 地空背景下红外弱小目标检测方法、装置、设备及介质
Thiyagarajan Performance Comparison of Hybrid CNN-SVM and CNN-XGBoost models in Concrete Crack Detection
Fritsch Deep Neural Networks for Object Detection in Satellite Imagery
Schwaiger et al. Ultrafast object detection on high resolution sar images
Busson et al. Seismic shot gather noise localization using a multi-scale feature-fusion-based neural network
Nobis Autonomous driving: Radar sensor noise filtering and multimodal sensor fusion for object detection with artificial neural net-works

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant