CN116704342A - 一种基于多尺度sar图像的舰船快速检测方法与*** - Google Patents
一种基于多尺度sar图像的舰船快速检测方法与*** Download PDFInfo
- Publication number
- CN116704342A CN116704342A CN202310653902.4A CN202310653902A CN116704342A CN 116704342 A CN116704342 A CN 116704342A CN 202310653902 A CN202310653902 A CN 202310653902A CN 116704342 A CN116704342 A CN 116704342A
- Authority
- CN
- China
- Prior art keywords
- sar image
- ship
- detection
- scale
- sar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
- G01S13/9021—SAR image post-processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于多尺度SAR图像的舰船快速检测方法和***，本发明涉及遥感目标检测领域，该方法包括：获取用于舰船检测的SAR图像数据集，使用随机裁剪、翻转、和/或调整对比度的三种方式对该SAR图像数据集进行增强和扩充；构建单阶段检测网络，该单阶段检测网络包括：特征提取模块、多尺度特征自适应融合模块、空间注意力模块(FCOS)、以及FCOS中的检测模块；使用该SAR图像训练数据集对该单阶段检测网络进行训练，用以完成该单阶段检测网络的训练；将用于舰船检测的测试数据集输入到该单阶段检测网络，完成基于多尺度SAR图像的舰船检测。通过本发明，同时提升了检测速度和精度，兼容了多尺度的SAR图像。
Description
技术领域
本发明属于遥感目标检测技术领域，尤其涉及一种基于多尺度SAR图像的舰船快速检测方法与***。
背景技术
合成孔径雷达(synthetic aperture radar,SAR)是一种能够全天时、全天候工作的主动式传感器，对大气层有着极其强的穿透力，能够在外界天气环境恶劣的情况下获取高分辨率图像，广泛应用于航空遥感、海洋观测等领域。利用SAR图像对海上舰船目标进行检测是近年来的研究热点问题。作为海洋资源丰富、海面辽阔的超级大国，舰船检测和识别对我国经济、政治、军事的发展有着至关重要的意义。然而，由于SAR特殊的成像机理，导致SAR舰船检测在内陆地区会出现过多虚警，因此复杂场景下的SAR舰船检测是一项富有挑战性的工作。
目前舰船检测的方法主要分为基于特征工程的方法和基于深度学习的方法。在基于特征工程的方法中，常用的恒虚警率(constant false-alarm rate,CFAR)算法可以对潜在区域进行提取，但是其需要预先进行海陆分割并且严重依赖于杂波的统计分布，使得近岸舰船检测精度受到限制。
近年来，随着深度学习的迅速发展，卷积神经网络被广泛应用于物体识别、目标检测等多种计算机视觉领域，并取得了卓越的效果。深度学习的优势在于其强大的判断能力和特征自提取能力，相比于传统人工设计特征的方法，深度学习的核心思想在于数据驱动，尽可能减少人为干预和假设。在基于深度学习的SAR舰船检测研究中，为了保证检测精度，通常选用双阶段检测网络，而该网络一定程度上限制了舰船的检测速度；相比之下，一般单阶段网络在检测速度上占有优势，但是由于没有区域候选网络(RPN网络)对候选检测框进行精炼，导致检测精度通常情况下低于双阶段的方法。
发明内容
为解决上述技术问题，本发明提出一种基于多尺度SAR图像的舰船快速检测的技术方案。
本发明第一方面公开了一种基于多尺度SAR图像的舰船快速检测方法；该方法包括：
获取用于舰船检测的SAR图像数据集，该SAR图像数据集包括SAR图像训练数据集、SAR图像验证数据集、和SAR图像测试数据集，该SAR图像数据集包括多尺度SAR图像，该多尺度SAR图像为不同尺寸和不同分辨率的舰船SAR图像；
使用随机裁剪、翻转、和/或调整对比度的三种方式对该SAR图像数据集进行增强和扩充；
构建单阶段检测网络，该单阶段检测网络包括：特征提取模块、多尺度特征自适应融合模块、空间注意力模块(FCOS)、以及FCOS中的检测模块；
使用该SAR图像训练数据集对该单阶段检测网络进行训练，用以完成该单阶段检测网络的训练；使用该SAR图像验证数据集对该单阶段检测网络进行验证，用以完成该单阶段检测网络的验证；
将用于舰船检测的测试数据集输入到该单阶段检测网络，完成基于多尺度SAR图像的舰船检测。
根据本发明第一方面的方法，在该单阶段检测网络中的特征提取模块：通过单阶段检测网络中的主干网络以及特征金字塔结构对输入的不同尺度SAR图像进行特征提取，获得不同尺度SAR图像的特征；
在该单阶段检测网络中的多尺度特征自适应融合模块，对不同尺度SAR图像的特征进行自适应融合，获得融合后的SAR图像特征；
在该单阶段检测网络中的空间注意力模块对获得融合后的SAR图像特征进行增强，并对该单阶段检测网络中的特征金字塔进行均衡；
通过该单阶段检测网络的FCOS中的检测模块获得多尺度SAR图像的舰船检测结果。
根据本发明第一方面的方法，在该特征提取模块的特征提取的过程中，主干网络各层特征图{C2，C3，C4，C5}通过特征金字塔结构得到多层特征图{P2，P3，P4，P5}，其中P5通过卷积层得到特征图P6。
根据本发明第一方面的方法，在该多尺度特征自适应融合过程中，为不同层特征{P2，P3，P4，P5，P6}设置可学习的权重参数(a2，a3，a4，a5，a6)，将{P2，P3，P5，P6}调整到与特征图P4一样的大小后，融合的特征F的计算过程为：
其中，0＜ε≤0.0001，用以防止出现数值不稳定问题。
根据本发明第一方面的方法，在该空间注意力模块中，对融合后的SAR图像特征F∈RC×H×W进行增强，其中，通道数为C、每个通道图像的高度和宽度分别为H和W，沿着F的通道维度进行最大池化和平均池化后得到Pmax，Pavg∈R1×H×W，将Pmax和Pavg拼接后经过3×3卷积得到Fsa，进而输出显著特征图其中/>代表像素级相乘；将F′各维度大小分别调整到与{P2，P3，P4，P5，P6}中的P2、P3、P4、P5、P6一致的维度后分别相加，分别得到P′i(i＝2，...，6)，获得融合与均衡后的SAR图像特征，将融合与均衡后的SAR图像特征输入到FCOS模块。
根据本发明第一方面的方法，获取用于舰船检测的SAR图像数据集的过程为：
获取大尺寸场景的SAR图像舰船数据集，分别截取SAR图像舰船数据集中的每个SAR图像中包含有舰船高度和舰船宽度的固定区域，获得截取后的SAR图像舰船数据集，将截取后的SAR图像舰船数据集转存为栅格图像，以三通道形式进行存储；对截取后的SAR图像舰船数据集进行标签同步：将截取后的SAR图像舰船数据集中的每个包含舰船矩形框的左上角坐标和右下角坐标进行存储。
根据本发明第一方面的方法，对单阶段检测网络的训练损失函数包括分类损失函数和回归损失函数，分类损失函数采用focal loss，回归损失函数采用IoU loss。
根据本发明第一方面的方法，采用非极大值抑制算法对该单阶段检测网络输出的大量检测框进行抑制，得到最终的多尺度SAR图像的舰船检测结果。
本发明第二方面公开了一种基于多尺度SAR图像的舰船快速检测***；该***包括：
第一处理模块，被配置为，获取用于舰船检测的SAR图像数据集，该SAR图像数据集包括SAR图像训练数据集、SAR图像验证数据集、和SAR图像测试数据集，该SAR图像数据集包括多尺度SAR图像，该多尺度SAR图像为不同尺寸和不同分辨率的舰船SAR图像；
第二处理模块，被配置为，使用随机裁剪、翻转、和/或调整对比度的三种方式对该SAR图像数据集进行增强和扩充；
第三处理模块，被配置为，构建单阶段检测网络，该单阶段检测网络包括：特征提取模块、多尺度特征自适应融合模块、空间注意力模块(FCOS)、以及FCOS中的检测模块；
第四处理模块，被配置为，使用该SAR图像训练数据集对该单阶段检测网络进行训练，用以完成该单阶段检测网络的训练；使用该SAR图像验证数据集对该单阶段检测网络进行验证，用以完成该单阶段检测网络的验证；
第五处理模块，被配置为，将用于舰船检测的测试数据集输入到该单阶段检测网络，完成基于多尺度SAR图像的舰船检测。
根据本发明第二方面的***，用于实现本公开第一方面中任一项的一种基于多尺度SAR图像的舰船快速检测方法中的步骤。
本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本公开第一方面中任一项的一种基于多尺度SAR图像的舰船快速检测方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本公开第一方面中任一项的一种基于多尺度SAR图像的舰船快速检测方法中的步骤。
综上，本发明提出的方案具备如下技术效果：本发明设计的单阶段网络结构，比双阶段检测方法具有更高的检测精度和速度。通过采用FCOS中直接对检测框回归的方式，提升了检测速度，并同时消除人为设计的先验锚框对检测结果的影响；提出的多尺度自适应特征融合方式，对特征金字塔中不同层级的特征信息进行了平衡，提高了对多尺度舰船的检测能力；同时，空间注意力模块对目标特征进行增强，减少了内陆地区中的虚警目标，提高了检测精度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种基于多尺度SAR图像的舰船快速检测方法的流程图；
图2为根据本发明实施例的一种基于多尺度SAR图像的舰船快速检测整体结构图；
图3为根据本发明实施例的一种基于多尺度SAR图像的舰船快速检测中单阶段检测网络的特征提取模块和空间注意力模块图；
图4为根据本发明实施例的一种基于多尺度SAR图像的舰船快速检测的多尺度特征融合与池化及均衡过程图；
图5为根据本发明实施例的一种基于多尺度SAR图像的舰船快速检测***的结构图；
图6为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一方面公开了一种基于多尺度SAR图像的舰船快速检测方法。图1为根据本发明实施例的一种用于基于多尺度SAR图像的舰船快速检测方法的流程图，如图1所示，所述方法包括：
步骤S1、获取用于舰船检测的SAR图像数据集，该SAR图像数据集包括SAR图像训练数据集、SAR图像验证数据集、和SAR图像测试数据集，该SAR图像数据集包括多尺度SAR图像，该多尺度SAR图像为不同尺寸和不同分辨率的舰船SAR图像；
步骤S2、使用随机裁剪、翻转、和/或调整对比度的三种方式对该SAR图像数据集进行增强和扩充；
步骤S3、构建单阶段检测网络，该单阶段检测网络包括：特征提取模块、多尺度特征自适应融合模块、空间注意力模块(FCOS)、以及FCOS中的检测模块；
步骤S4、使用该SAR图像训练数据集对该单阶段检测网络进行训练，用以完成该单阶段检测网络的训练；使用该SAR图像验证数据集对该单阶段检测网络进行验证，用以完成该单阶段检测网络的验证；
步骤S5、将用于舰船检测的测试数据集输入到该单阶段检测网络，完成基于多尺度SAR图像的舰船检测。
根据本发明第一方面的方法，在步骤S3中：
在该单阶段检测网络中的特征提取模块中：通过单阶段检测网络中的主干网络以及特征金字塔结构对输入的不同尺度SAR图像进行特征提取，获得不同尺度SAR图像的特征；
在该单阶段检测网络中的多尺度特征自适应融合模块中：对不同尺度SAR图像的特征进行自适应融合，获得融合后的SAR图像特征；
在该单阶段检测网络中的空间注意力模块对获得融合后的SAR图像特征进行增强，并对该单阶段检测网络中的特征金字塔进行均衡；
通过该单阶段检测网络的FCOS中的检测模块获得多尺度SAR图像的舰船检测结果。
具体地，通过不同尺度的SAR图像的特征提取和自适应融合、以及在特征金字塔，能够进行均衡，能够兼容不同尺度图像的特征处理，同时采用自适应特征融合方式，对特征金字塔中不同层级的特征信息进行了平衡，因此，能够同时实现舰船检测过程中的SAR图像多尺度处理、自适应特征融合、信息均衡，提高了对多尺度舰船SAR图像的检测能力，本发明设计的单阶段网络结构，比双阶段检测方法具有更高的检测精度和速度。
图2为根据本发明实施例的一种基于多尺度SAR图像的舰船快速检测整体结构图；如图2所示，在所述基于多尺度SAR图像的舰船快速检测整体结构图中，包括数据预处理、网络构建及训练、和检测三大部分，其中数据预处理部分涉及随机裁剪、翻转、调整对比度三种方式；网络构建及训练部分涉及特征提取模块、多尺度加权特征融合模块、空间注意力模块、FCOS检测模块，检测部分涉及检测速度和检测精度两个模块。
根据本发明第一方面的方法，在该特征提取模块的特征提取的过程中，主干网络各层特征图{C2，C3，C4，C5}通过特征金字塔结构得到多尺度特征图{P2，P3，P4，P5}，其中P5通过卷积层得到特征图P6。
根据本发明第一方面的方法，在该多尺度特征自适应融合过程中，为不同层特征{P2，P3，P4，P5，P6}设置可学习的权重参数(a2，a3，a4，a5，a6)，将{P2，P3，P5，P6}调整到与特征图P4一样的大小后，融合后的多尺度SAR图像特征F的计算过程为：
其中，0＜ε≤0.0001用以防止出现数值不稳定问题。
图3为根据本发明实施例的一种基于多尺度SAR图像的舰船快速检测中单阶段检测网络的特征提取模块和空间注意力模块图；如图3所示，在所述特征提取模块中：输入图像首先通过主干网络以及特征金字塔(FPN)结构进行特征提取，主干网络采用ResNet101，每个阶段输出的特征图为{C2，C3，C4，C5}，通过特征金字塔结构后得到多层特征图{P2，P3，P4，P5}，P5通过步长为2的卷积层得到特征图P6。
在前向传播网络中，高层具有较大的感受野，能够学***衡问题，使用自适应多层融合后的特征对FPN进行平衡。由于不同分辨率层级对输出的特征贡献不同，本发明为FPN不同层特征{P2，P3，P4，P5，P6}设置可学习的权重参数(a2，a3，a4，a5，a6)，将{P2，P3，P5，P6}调整到与特征图P4一样的大小后，融合的特征F能够实现深度特征的多尺度条件下的自适应。
在空间注意力模块中：对融合的特征F进行增强，并对该单阶段检测网络中的特征金字塔进行均衡。
提出的自适应特征平衡金字塔结构，对多尺度舰船尤其是小型船舶具有良好的检测效果。
根据本发明第一方面的方法，在该空间注意力模块中，对融合后的多尺度SAR图像特征F∈RC×H×W进行增强，其中，通道数为C、每个通道图像的高度和宽度分别为H和W，沿着F的通道维度进行最大池化和平均池化后得到Pmax，Pavg∈R1×H×W，将Pmax和Pavg拼接后经过3×3卷积得到Fsa，进而输出显著特征图其中/>代表像素级相乘；将F′分别调整到与{P2，P3，P4，P5，P6}中的P2、P3、P4、P5、P6一致的维度后分别相加，分别得到P′i(i＝2，...，6)，获得融合与均衡后的SAR图像特征，将融合与均衡后的SAR图像特征输入到FCOS模块。
具体地，将融合后的多尺度SAR图像特征F进行最大池化和平均池化后获得Pmax，Pavg∈R1×H×W，将Pmax，Pavg∈R1×H×W进行拼接后的向量经过3×3卷积得到Fsa，进而输出显著特征图将F′分别调整到{P2，P3，P4，P5，P6}中P2、P3、P4、P5、P6一样的大小后，获得P′i(i＝2，...，6)。
通过最大池化和平均池化的两种池化操作，最大限度地保留了SAR图像特征中的有用信息，同时消除了图像处理过程中大量的冗余信息，能够高速且精确地获取显著特征图在此基础上，将F′分别调整到与{P2，P3，P4，P5，P6}中P2、P3、P4、P5、P6一样的大小后，获得P′i(i＝2，...，6)，从而获得融合与均衡后的SAR图像特征。
此外，将得到的上述空间注意力特征P′i(i＝2，...，6)输入到全卷积目标检测网络(FCOS)中，由于该单阶段网络无需预测候选框，可以直接通过检测头输出分类、中心度和回归位置的预测结果，实现对舰船编码后的位置的快速预测，通过在空间注意力模块FCOS对目标特征进行增强，减少了内陆地区中的虚警目标，提高了检测的精度。
图4为根据本发明实施例的一种基于多尺度SAR图像的舰船快速检测的多尺度特征融合与池化及均衡过程图；如图4所示，在所述多尺度特征融合与池化及均衡过程中：
将融合后的多尺度SAR图像特征F最大池化(MaxPooling)和平均池化(AveragePooling)后分别得到Pmax，Pavg∈RC×H×W，其中，通道数为C、每个通道图像的高度和宽度分别为H和W，将Pmax和Pavg拼接后经过3×3卷积得到池化显著特征Fsa，最后输出的显著特征图其中/>代表逐像素(element-wise)相乘；将显著特征图F′分别调整到与金字塔特征图Pi(i＝2，...，6)一样的大小后，获得P′i(i＝2，...，6)，获得融合与均衡后的SAR图像特征，因此，能够在不同层级的特征上增加显著性的影响，从而实现特征金字塔不同层级之间的平衡。
根据本发明第一方面的方法，获取用于舰船检测的SAR图像数据集的过程为：
获取大尺寸场景的SAR图像舰船数据集，分别截取SAR图像舰船数据集中的每个SAR图像中包含有舰船高度和舰船宽度的固定区域，获得截取后的SAR图像舰船数据集，将截取后的SAR图像舰船数据集转存为栅格图像，以三通道形式进行存储；对截取后的SAR图像舰船数据集进行标签同步：将截取后的SAR图像舰船数据集中的每个包含舰船矩形框的左上角坐标和右下角坐标进行存储。
本实施例所用的数据为SAR图像舰船检测数据集(SSDD)以及未公开的大尺寸场景SAR舰船数据集：
SSDD是国内外公开的第一个专门用于SAR图像舰船目标检测的数据集，模仿经典目标检测领域数据集PASCAL VOC进行构建的，按照6：3：1的比例将数据集分成训练集、验证集以及测试集。该数据集包含了SAR领域舰船目标检测的公开数据集RadarSat-2,TerraSAR-X以及Sentinel-1收集到的分辨率在1m-15m之间的图像，在大片海域和近岸地区都有舰船目标，且舰船尺寸大小不等。
未公开的数据集来源于高分三号卫星，对于大尺寸场景图像数据的处理步骤为：从大尺寸SAR图像数据中截取包含有舰船的高度和宽度固定的区域，并转存为栅格图像，以RGB三通道形式存储；对标签进行同步，将包含舰船的矩形框的左上和右下角坐标保存到xml文件中。
根据本发明第一方面的方法，对单阶段检测网络的训练损失函数包括分类损失函数和回归损失函数，分类损失函数采用focal loss，回归损失函数采用IoU loss。
本发明的网络模型采用PyTorch1.0框架进行搭建，在一张NVIDIA Tesla K80 GPU上进行训练。训练中，采用ImageNet预训练模型对基础主干网络进行初始化，训练过程中分类损失函数采用focal loss，回归损失函数采用IoU loss(交并比损失函数)，使用随机梯度下降(Stochastic Gradient Descent)的方式优化目标损失函数,迭代4万次，初始学习率和衰减率分别为0.001和0.1，batchsize设置为为8，输入图像被调整为640×640像素的尺寸。
根据本发明第一方面的方法，采用非极大值抑制算法对该单阶段检测网络输出的大量检测框进行抑制，得到最终的多尺度SAR图像的舰船检测结果。
具体地，采用非极大值抑制算法对网络输出的大量检测框进行抑制，得到最终检测结果。具体方式为：将所有预测框B＝{t1,t2,…,tn}按照置信度从大到小进行排序，从B中取出置信度最高的检测框tk，依次遍历余下的检测框，当某检测框与置信度最高检测框tk的的交并比(IoU)值大于特定阈值时，说明该检测框与tk重叠度过高，实际意义较低，需要抑制，因而将其舍弃；对B中剩余的检测框重复上述操作，直至B为空集。
本发明第二方面公开了一种基于多尺度SAR图像的舰船快速检测***。图5为根据本发明实施例的一种基于多尺度SAR图像的舰船快速检测的***的结构图；如图5所示，所述***500包括：
第一处理模块501，被配置为，第一处理模块，被配置为，获取用于舰船检测的SAR图像数据集，该SAR图像数据集包括SAR图像训练数据集、SAR图像验证数据集、和SAR图像测试数据集，该SAR图像数据集包括多尺度SAR图像，该多尺度SAR图像为不同尺寸和不同分辨率的舰船SAR图像；
第二处理模块502，被配置为，使用随机裁剪、翻转、和/或调整对比度的三种方式对该SAR图像数据集进行增强和扩充；
第三处理模块503，被配置为，构建单阶段检测网络，该单阶段检测网络包括：特征提取模块、多尺度特征自适应融合模块、空间注意力模块(FCOS)、以及FCOS中的检测模块；
第四处理模块504，被配置为，使用该SAR图像训练数据集对该单阶段检测网络进行训练，用以完成该单阶段检测网络的训练；使用该SAR图像验证数据集对该单阶段检测网络进行验证，用以完成该单阶段检测网络的验证；
第五处理模块505，被配置为，将用于舰船检测的测试数据集输入到该单阶段检测网络，完成基于多尺度SAR图像的舰船检测。
本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本公开第一方面中任一项的一种基于多尺度SAR图像的舰船快速检测方法中的步骤。
图6为根据本发明实施例的一种电子设备的结构图，如图6所示，电子设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本公开第一方面中任一项的一种基于多尺度SAR图像的舰船快速检测的方法中的步骤中的步骤。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于多尺度SAR图像的舰船检测方法，其特征在于，所述方法包括：
获取用于舰船检测的SAR图像数据集，所述SAR图像数据集包括SAR图像训练数据集、SAR图像验证数据集、和SAR图像测试数据集；
所述SAR图像数据集包括多尺度SAR图像，所述多尺度SAR图像为不同尺寸和不同分辨率的舰船SAR图像；
对所述SAR图像数据集进行随机裁剪、翻转和调整对比度，以实现对所述SAR图像数据集的增强和扩充；
构建单阶段检测网络，所述单阶段检测网络包括：特征提取模块、多尺度特征自适应融合模块、空间注意力模块(FCOS)、以及FCOS中的检测模块；
使用经过增强和扩充的所述SAR图像训练数据集对所述单阶段检测网络进行训练；使用经过增强和扩充的所述SAR图像验证数据集对所述单阶段检测网络进行验证；
将用于舰船检测的经过增强和扩充的SAR图像测试数据集输入到所述单阶段检测网络，完成基于多尺度SAR图像的舰船检测。
2.根据权利要求1所述的一种基于多尺度SAR图像的舰船检测方法，其特征在于，
在所述单阶段检测网络中的特征提取模块，用以通过单阶段检测网络中的主干网络以及特征金字塔结构对输入的不同尺度SAR图像进行特征提取，获得不同尺度SAR图像的特征；
在所述单阶段检测网络中的多尺度特征自适应融合模块，用以对不同尺度SAR图像的特征进行自适应融合，获得融合后的SAR图像特征；
在所述单阶段检测网络中的空间注意力模块，用以对获得融合后的SAR图像特征进行增强，并对所述单阶段检测网络中的特征金字塔进行均衡；
通过所述单阶段检测网络的FCOS中的检测模块获得多尺度SAR图像的舰船检测结果。
3.根据权利要求2所述的一种基于多尺度SAR图像的舰船检测方法，其特征在于，在所述特征提取模块的特征提取的过程中，主干网络各层特征图{C2，C3，C4，C5}通过特征金字塔结构得到多层特征图{P2，P3，P4，P5}，其中P5通过卷积层得到特征图P6。
4.根据权利要求3所述的一种基于多尺度SAR图像的舰船检测方法，其特征在于，在多尺度特征自适应融合过程中，为不同层特征{P2，P3，P4，P5，P6}设置可学习的权重参数(a2，a3，a4，a5，a6)，将{P2，P3，P5，P6}调整到与特征图P4一样的大小后，融合的特征F的计算过程为：
其中，0＜ε≤0.0001，用以防止出现数值不稳定问题。
5.根据权利要求4所述的一种基于多尺度SAR图像的舰船检测方法，其特征在于，在所述空间注意力模块中，对融合后的SAR图像特征F∈RC×H×W进行增强，其中，通道数为C、每个通道图像的高度和宽度分别为H和W，沿着F的通道维度进行最大池化和平均池化后得到Pmax，Pavg∈R1×H×W，将Pmax和Pavg拼接后经过3×3卷积得到Fsa，进而输出显著特征图其中/>代表像素级相乘；将F′分别调整到与{P2，P3，P4，P5，P6}中的P2、P3、P4、P5、P6一致后分别相加，分别得到P′i(i＝2，...，6)，获得融合与均衡后的SAR图像特征，将融合与均衡后的SAR图像特征输入到FCOS模块。
6.根据权利要求1-5任一所述的一种基于多尺度SAR图像的舰船检测方法，其特征在于，获取用于舰船检测的SAR图像数据集的过程为：
获取大尺寸场景的SAR图像舰船数据集，分别截取SAR图像舰船数据集中的每个SAR图像中包含有舰船高度和舰船宽度的固定区域，获得截取后的SAR图像舰船数据集，将截取后的SAR图像舰船数据集转存为栅格图像，以三通道形式进行存储；对截取后的SAR图像舰船数据集进行标签同步：将截取后的SAR图像舰船数据集中的每个包含舰船矩形框的左上角坐标和右下角坐标进行存储。
7.根据权利要求6所述的一种基于多尺度SAR图像的舰船检测方法，其特征在于，对单阶段检测网络的训练损失函数包括分类损失函数和回归损失函数，分类损失函数采用focalloss，回归损失函数采用IoUloss。
8.根据权利要求7所述的一种基于多尺度SAR图像的舰船检测方法，其特征在于，采用非极大值抑制算法对所述单阶段检测网络输出的大量检测框进行抑制，得到最终的多尺度SAR图像的舰船检测结果。
9.一种基于多尺度SAR图像的舰船检测***，所述***实现权利要求1至8中任一项所述的一种基于多尺度SAR图像的舰船检测方法中的步骤，其特征在于，所述***包括：
第一处理模块，被配置为，获取用于舰船检测的SAR图像数据集，所述SAR图像数据集包括SAR图像训练数据集、SAR图像验证数据集、和SAR图像测试数据集，所述SAR图像数据集包括多尺度SAR图像，所述多尺度SAR图像为不同尺寸和不同分辨率的舰船SAR图像；
第二处理模块，被配置为，使用随机裁剪、翻转、和/或调整对比度的三种方式对所述SAR图像数据集进行增强和扩充；
第三处理模块，被配置为，构建单阶段检测网络，所述单阶段检测网络包括：特征提取模块、多尺度特征自适应融合模块、空间注意力模块(FCOS)、以及FCOS中的检测模块；
第四处理模块，被配置为，使用所述SAR图像训练数据集对所述单阶段检测网络进行训练，用以完成所述单阶段检测网络的训练；使用所述SAR图像验证数据集对所述单阶段检测网络进行验证，用以完成所述单阶段检测网络的验证；
第五处理模块，被配置为，将用于舰船检测的测试数据集输入到所述单阶段检测网络，完成基于多尺度SAR图像的舰船检测。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至8中任一项所述的一种基于多尺度SAR图像的舰船检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310653902.4A CN116704342A (zh) | 2023-06-05 | 2023-06-05 | 一种基于多尺度sar图像的舰船快速检测方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310653902.4A CN116704342A (zh) | 2023-06-05 | 2023-06-05 | 一种基于多尺度sar图像的舰船快速检测方法与*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116704342A true CN116704342A (zh) | 2023-09-05 |
Family
ID=87844483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310653902.4A Pending CN116704342A (zh) | 2023-06-05 | 2023-06-05 | 一种基于多尺度sar图像的舰船快速检测方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704342A (zh) |
-
2023
- 2023-06-05 CN CN202310653902.4A patent/CN116704342A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
| CN112288008B (zh) | 一种基于深度学习的马赛克多光谱图像伪装目标检测方法 | |
| CN110633661A (zh) | 一种融合语义分割的遥感图像目标检测方法 | |
| WO2022000862A1 (zh) | 鱼眼图像中的对象检测方法、装置及存储介质 | |
| CN113505792B (zh) | 面向非均衡遥感图像的多尺度语义分割方法及模型 | |
| CN111079739A (zh) | 一种多尺度注意力特征检测方法 | |
| Wang et al. | Ship detection based on fused features and rebuilt YOLOv3 networks in optical remote-sensing images | |
| CN111860398A (zh) | 遥感图像目标检测方法、***及终端设备 | |
| CN116563726A (zh) | 一种基于卷积神经网络的遥感图像舰船目标检测方法 | |
| CN111898693A (zh) | 能见度分类模型的训练方法、能见度估计方法、装置 | |
| CN113486819A (zh) | 一种基于YOLOv4算法的船舶目标检测方法 | |
| CN116363535A (zh) | 基于卷积神经网络的无人机航拍影像中的船舶检测方法 | |
| CN115841629A (zh) | 一种基于卷积神经网络的sar图像舰船检测方法 | |
| CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
| Kong et al. | Lightweight algorithm for multi-scale ship detection based on high-resolution SAR images | |
| Zhang et al. | Contextual squeeze-and-excitation mask r-cnn for sar ship instance segmentation | |
| CN114373110A (zh) | 对输入图像进行目标检测的检测方法、设备及其相关产品 | |
| CN116403115B (zh) | 一种大幅面遥感影像目标检测方法 | |
| CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
| CN117612153A (zh) | 基于图像与点云信息补全的三维目标识别与定位方法 | |
| CN112560907A (zh) | 基于混合域注意力的有限像素红外无人机目标检测方法 | |
| CN116704324A (zh) | 基于水下图像的目标检测方法、***、设备以及存储介质 | |
| Zhou et al. | Ship target detection in optical remote sensing images based on multiscale feature enhancement | |
| CN116310899A (zh) | 基于YOLOv5改进的目标检测方法及装置、训练方法 | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |