CN116206099B - 一种基于sar图像的船舶位置检测方法及存储介质 - Google Patents
一种基于sar图像的船舶位置检测方法及存储介质 Download PDFInfo
- Publication number
- CN116206099B CN116206099B CN202310501019.3A CN202310501019A CN116206099B CN 116206099 B CN116206099 B CN 116206099B CN 202310501019 A CN202310501019 A CN 202310501019A CN 116206099 B CN116206099 B CN 116206099B
- Authority
- CN
- China
- Prior art keywords
- feature
- ship
- sar
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000010586 diagram Methods 0.000 claims abstract description 22
- 108091008849 TRPN Proteins 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 18
- 238000002474 experimental method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于SAR图像的船舶位置检测方法及存储介质，涉及船舶检测技术领域，该方法包括以下步骤：获取SAR船舶图像；将SAR船舶图像输入至SAR图像船舶检测模型，在SAR船舶图像上生成多个建议框；多个建议框对SAR船舶图像中的船舶进行框选，得到船舶的位置。本发明使用可变性卷积扩大感受野再结合EA‑fusion策略和自注意力机制提出REAA主干特征提取网络，保留了更丰富的有效特征图，结合EA‑fusion策略设计了EAFPN网络，提高中大船舶目标特征的提取。其次，通过对RPN网络细粒度分析提出TRPN网络，提高了模型的检测粒度和预测框的准确性。
Description
技术领域
本发明涉及船舶检测技术领域，特别是涉及一种基于SAR图像的船舶位置检测方法及存储介质。
背景技术
基于SAR图像的船舶检测方法可以预测出SAR图片中每只船舶的位置。在民生安全和军事领域中起着至关重要的作用，近年来引起了广泛的研究兴趣。
可见光图像船舶检测任务不同，可见光图像仅可对白天的船舶图像进行检测，而SAR船舶图像可进行全天时、全天候以及多维度的检测。由于只对船舶一种类别进行检测，现有方法更多的是细粒度和网络结构的设计。例如，通过构建四特征金字塔网络（Quad-FPN）来提高船舶检测，通过设计HRSID模型实现了不同SAR图像像素下的船舶检测。这些方法足以证明可以通过不同的网络框架设计来实现基于SAR图像的船舶检测任务。
现有的方法都是采用小目标检测网络结构，网络层数较深，虽然能有效检测出SAR图像中的船舶元素，但是由环境和地理位置的干扰而引起船舶尺寸和形状变化较大，因此现有方法易导致漏检。同时与可见光图像目标识别不同，SAR图像是单一物体检测，现有方法更注重细粒度和网络结构设计，而非网络深度的扩建，从而会产生大量冗余计算量。
发明内容
本发明提出了一种基于SAR图像的船舶位置检测方法及存储介质，解决了现有技术中存在的目标船舶易被漏检以及网络层数过深产生的大计算量的问题。
本发明提供一种基于SAR图像的船舶位置检测方法，包括以下步骤：
获取SAR船舶图像；
将SAR船舶图像输入至SAR图像船舶检测模型，在SAR船舶图像上生成多个建议框；
多个所述建议框对SAR船舶图像中的船舶进行框选，得到船舶的位置；
所述将SAR船舶图像输入至SAR图像船舶检测模型，得到预测结果，包括：
基于REAA主干网络对SAR船舶图像进行多尺度特征提取，得到多个第一特征图；
基于EAFPA网络将多个第一特征图进行融合，得到可预测的第二特征图；
基于TRPN网络在第二特征图上生成多个建议框，将多个建议框映射至SAR船舶图像。
优选的，所述基于REAA主干网络对SAR船舶图像进行多尺度特征提取，得到多个第一特征图，包括以下步骤：
将ResNet网络中四个阶段特征层的普通卷积替换为可变性卷积；
在替换卷积后，通过EA-fusion策略结合自注意力机制Attention对第一阶段特征层和第三阶段特征层以及第二阶段特征层和第四阶段特征层进行融合；
将SAR船舶图像输入至融合后的四个阶段特征层，得到四个第一特征图。
优选的，所述EA-fusion策略采用add并行连接方式将两个特征向量组合成复合向量，通过下式进行表示：
式中，a和b表示待融合的输入特征，z表示融合后得到的复合向量，其中i为虚数单位。
优选的，通过下式得到多个第一特征图：通过下式得到多个第一特征图：
其中，
C(k)=256×k
D(k)=4×k
式中，k表示当前的阶段数，k∈{1,2,3,4}，表示第k阶段的第一特征图，R表示实数集，C(k)表示当前特征图的通道数，H表示当前特征图的长，W表示当前特征图的宽，D(k)表示当前特征图的长宽比SAR船舶图像的长宽减少的倍数。
优选的，所述基于EAFPA网络将多个第一特征图进行融合，得到可预测的第二特征图，包括以下步骤：
使用EA-fusion策略将四个第一特征图依次进行向下特征融合；
将向下特征融合后的四个第一特征图进行卷积操作，将四个第一特征图的通道数均归为同一通道；
将归为同一通道后的四个第一特征图依次进行上采样操作，在上采样操作中与对应的向下特征融合后的四个第一特征图进行向上特征融合；
使用3×3标准卷积将向上特征融合后的四个第一特征图进行卷积，生成可预测的第二特征图。
优选的，将归为同一通道后的四个第一特征图依次进行上采样操作，对应的输入特征图和输出特征图的关系如下所示：
式中，表示输入特征图的高，/>表示输出特征图的高，/>表示输入特征图的宽，/>表示输出特征图的宽，scale_factor指定输出特征图为输入特征图的倍数。
优选的，所述基于TRPN网络在第二特征图上生成多个建议框，具体包括以下步骤：
将第二特征图输入至第一个RPN网络，通过滑动窗口在第二特征图上的每个像素点处均生成9种不同大小比例的第一目标框；
将多个像素点进行标准卷积操作，对多个像素点上的9种第一目标框进行判断；
若该第一目标框为物体，则对该第一目标框进行回归预测，计算第一目标框与物体之间的总偏移量，得到多个第一预测框；
计算多个第一预测框的分数，得到分数大于0.6的多个特征框；
将第二特征图输入至第二个RPN网络，通过滑动窗口在第二特征图上的每个像素点处均生成种不同大小比例的第二目标框；
将多个像素点进行膨胀卷积操作，对多个像素点上的种第二目标框进行判断；
若该第二目标框为物体，则对该第二目标框进行回归预测，计算第二目标框与物体之间的总偏移量，得到多个第二预测框；
计算多个第二预测框的分数，得到分数大于0.7的多个建议框。
优选的，通过下式计算总偏移量：
式中，为中心点偏移量，/>是形状偏移量，o为总偏移量。
优选的，通过分类损失函数和回归损失函数对TRPN网络进行训练，通过下式计算分类损失函数：
式中，表示分类损失，/>表示真实值的集合，/>表示预测值的集合，j为当前样本，c表示类别数，/>表示当前样本的真实类别，/>表示当前样本的预测类别；
通过下式计算回归损失函数：
式中，表示回归损失，e表示预测值和真实值的差值。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行所述的基于SAR图像的船舶位置检测方法。
与现有技术相比，本发明的有益效果是：
本发明使用可变性卷积扩大感受野，再结合EA-fusion策略和自注意力机制提出REAA主干特征提取网络，保留了更丰富的有效特征图。结合EA-fusion策略设计了EAFPN网络，提高中大船舶目标特征的提取。其次，通过对RPN网络细粒度分析提出TRPN网络，提高了模型的检测粒度和预测框的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种基于SAR图像的船舶位置检测方法的流程图；
图2是本发明的SAR图像船舶检测模型的REAA主干网络和EAFPA网络结构图；
图3是本发明的SAR图像船舶检测模型的TRPN网络结构图；
图4是本发明数据集中不同尺寸下的船舶数量统计图；
图5是本发明数据集中每张图像包含的船舶数量统计图；
图6是本发明数据集中目标框的宽高尺度统计图；
图7是本发明数据集中目标框的宽高比率统计图；
图8是本发明数据集中SAR船舶图像的原图；
图9是本发明数据集中SAR船舶图像的水平翻转图；
图10是本发明数据集中SAR船舶图像的比例缩放变形图；
图11是本发明数据集中SAR船舶图像的高斯噪声图；
图12是本发明数据集中SAR船舶图像的中值滤波图；
图13是不同方法在不同尺寸船舶中的mAP值示意图；
图14是不同方法在不同尺寸船舶中的AR值示意图；
图15是在CE Loss分类损失函数下的模型性能示意图；
图16是在Focal loss分类损失函数下的模型性能示意图；
图17是在Balanced L1 loss回归损失函数下的模型性能示意图；
图18是在L1 loss回归损失函数下的模型性能示意图；
图19是在Smooth L1 loss回归损失函数下的模型性能示意图；
图20是在CE Loss结合Smooth L1 loss损失函数下的模型性能示意图；
图21是在Focal Loss结合Smooth L1 loss损失函数下的模型性能示意图；
图22是在密集型船舶目标的预测结果手动标记图；
图23是Cascade Rcnn模型在密集型船舶目标的预测结果图；
图24是Faster Rcnn模型在密集型船舶目标的预测结果图；
图25是RDET Rcnn模型在密集型船舶目标的预测结果图；
图26是在远海船舶目标的预测结果手动标记图；
图27是Cascade Rcnn模型在远海船舶目标的预测结果图；
图28是Faster Rcnn模型在远海船舶目标的预测结果图；
图29是RDET Rcnn模型在远海船舶目标的预测结果图；
图30是在大目标船舶目标的预测结果手动标记图；
图31是Cascade Rcnn模型在大目标船舶目标的预测结果图；
图32是Faster Rcnn模型在大目标船舶目标的预测结果图；
图33是RDET Rcnn模型在大目标船舶目标的预测结果图；
图34是在近海岸船舶目标的预测结果手动标记图；
图35是Cascade Rcnn模型在近海岸船舶目标的预测结果图；
图36是Faster Rcnn模型在近海岸船舶目标的预测结果图；
图37是RDET Rcnn模型在近海岸船舶目标的预测结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本发明提供了一种基于SAR图像的船舶位置检测方法，包括以下步骤：
第一步：获取SAR船舶图像。
获取SSDD数据集和SAR-Ship数据集，SSDD数据集数据集中共包含1160张图片，2456个舰船，平均每张图片的舰船数量为2.12。SAR-Ship数据集来自于多源、多模式的SAR图像，共包含43819张船舶切片。
参照图8-图12，为避免模型会出现大目标船舶样本欠拟合现象以及由于图像中船舶空间分布不均衡而出现漏检现象，本发明采用缩放、翻转、旋转以及添加各类噪声的方式对SSDD数据集进行了数据增强，从而平衡数据样本。
第二步：将数据增强后的SAR船舶图像输入至SAR图像船舶检测模型，得到预测结果。
参照图2和图3，本发明提供了一种SAR图像船舶检测模型RDET Rcnn，SAR图像船舶检测模型RDET Rcnn包括扩大感受野且增强深浅特征早融合的REAA主干网络、用于增强深浅特征晚融合的EAFPN网络和具有更高细粒度的候选区生成器TRPN网络。
底层特征分辨率更高，包含更多位置和细节信息，但相对卷积少，噪声更多。高层特征具有更强语义信息，但分辨率低，对细节的感知能力较差。融合不同尺度的特征是提高检测性能的一个重要手段。按照融合与预测的前后顺序可分为早融合和晚融合，本发明提出了EA-fusion早融合策略，通过add并行连接方式将两个特征向量组合成复合向量，对于输入特征a和b，输出特征如下所示：
（1）
式中，i为虚数单位。
本发明以ResNet为关键组件，首先使用可变性卷积代替原有的普通卷积来扩大特征图的感受野，获得更多特征信息。其次使用EA-fusion结合自注意力机制Attention对stage1特征层和stage3特征层以及stage2特征层和stage4特征层进行融合，从而实现增强深浅特征早融合的主干网络REAA。给定输入图像，通过下式得到多个第一特征图：
（2）
其中，
C(k)=256×k（3）
D(k)=4×k（4）
式中，k表示当前的阶段数，k∈{1,2,3,4}，表示第k阶段的第一特征图，R表示实数集，C(k)表示当前特征图的通道数，H表示当前特征图的长，W表示当前特征图的宽，D(k)表示当前特征图的长宽比SAR船舶图像的长宽减少的倍数。
在主干网络架构设计之后本发明构建了以FPN为基础的EAFPN特征融合网络层。FPN是典型的深浅特征晚融合策略。将从主干网络中提取到的多尺度特征信息进行融合，进而提高目标检测的精度。为尽可能多的提取到有效特征信息，本发明在晚融合操作前依次对stage2，stage3和stage4的输出特征层再进行了EA-fusion融合，实现了增强深浅特征晚融合的EAFPN网络。
EAFPN首先把REAA输出的4层第一特征图的通道数通过卷积操作都归256，特征图形状表现为，/>。
其次进行两倍的双线性插值上采样操作，上采样操作前后特征图的高和宽满足以下关系：
（5）
（6）
式中，表示输入特征图的高，/>表示输出特征图的高，/>表示输入特征图的宽，/>表示输出特征图的宽，scale_factor指定输出特征图为输入特征图的倍数。
最后结合EA-fusion策略进行横向连接将处理好的REAA输出结果与相同上采样得到的特征层进行融合，并使用3×3标准卷积消除混叠效应生成可预测的第二特征图。
再次参照图3，TRPN用于筛选出可能会存在目标的框。RPN依靠在共享特征图上一个滑动窗口，为每个位置生成9种anchor，并通过卷积回归当前anchor和真实框之间的差值来进行精调，但因为真实框与anchor是不对齐的，所以会出现大量回归误差。为了缓解对齐问题，本发明设计了TRPN网络，包括第一个RPN网络和第二个RPN网络，第一个RPN网络为T1部分为标准RPN网络。第二个PRN网络为T1部分为膨胀RPN网络，将标准RPN网络中的标准卷积替换为膨胀卷积。基于TRPN网络在第二特征图上生成建议框，具体包括以下步骤：
S1：将第二特征图输入至第一个RPN网络，通过滑动窗口在第二特征图上的每个像素点处均生成9种不同大小比例的第一目标框；
S2：通过第一个检测头H1将多个像素点进行标准卷积操作，对多个像素点上的9种第一目标框进行判断；
S3：若该第一目标框为物体，则通过预测回归B1对该第一目标框进行回归预测，通过分类预测C1计算第一目标框与物体之间的总偏移量，得到多个第一预测框；
S4：计算多个第一预测框的分数，得到分数大于0.6的多个特征框；
S5：将第二特征图输入至第二个RPN网络，通过滑动窗口在第二特征图上的每个像素点处均生成种不同大小比例的第二目标框；
S6：通过第二个检测头H2将多个像素点进行膨胀卷积操作，膨胀系数r由o的大小来决定，对多个像素点上的种第二目标框进行判断；
S7：若该第二目标框为物体，则通过预测回归B2对该第二目标框进行回归预测，通过分类预测C2计算第二目标框与物体之间的总偏移量，得到多个第二预测框；
S8：计算多个第二预测框的分数，得到分数大于0.7的多个建议框；
S9：将多个建议框映射到SAR船舶图像图，生成多个建议框，多个建议框对SAR船舶图像中的船舶进行框选，得到船舶的位置。
通过下式计算总偏移量：
（7）
式中，为中心点偏移量，/>是形状偏移量，由anchor的形状和卷积核大小决定。
TRPN网络的损失计算由两部分组成：船舶目标预测与真实目标之间的分类损失以及船舶目标检测框的回归损失/>计算。本发明的CE_S损失函数使用交叉熵分类损失和Smooth L1回归损失，如下式所示：
（8）
本发明使用交叉熵损失计算模型的分类损失。分类交叉熵损失函数公式如下式所示：
（9）
式中，表示分类损失，/>表示真实值的集合，/>表示预测值的集合，j为当前样本，c表示类别数，/>表示当前样本的真实类别，/>表示当前样本的预测类别。
对于预测框的回归损失，本发明采用Smooth L1损失函数。本发明的船舶检测属于单样本，定义e为预测值和真实值的差值，则对应的Smooth L1损失函数如下式所示：
（10）
实施例
本发明在SSDD数据集和SAR-Ship数据集上训练和测试船舶检测模型。SSDD数据集共1160张SAR船舶图像, SAR-Ship数据集共有43819张SAR船舶图像，本发明均按照8：1：1的比例划分出了训练集、验证集和测试集。SSDD数据集作为RDET Rcnn模型的训练及验证数据集，SAR-Ship则作为模型定量分析的实验数据集。为满足SSDD与SAR-Ship数据集格式相同，本发明统一将图像标签设置为COCO数据格式。
通过对SSDD数据集中的每张船舶图像进行统计分析，得出以下三点特点：
（1）如图4所示，数据集中大多数船舶均为小尺寸目标，也存在有少量的大尺寸船舶目标，即船舶尺寸分布不均衡，检测大尺寸的船舶目标模型会出现欠拟合现象。
（2）如图5所示，只存在1只船舶的图像数量最多，其余图像中平均存在2到3只船舶，也存在少数图像包含大量船舶元素，可以看出船舶空间分布不均衡，在检测含有大量船舶目标的图像时会出现漏检现象。
（3）如图6和图7所示，船舶目标框多为小方型和扁长型且anchor框的宽高比率集中在2上，由此可设置船舶检测模型中anchor比例初始值为[0.5, 1.0, 2.0]。
为了评估RDET Rcnn算法在SAR图像船舶检测方面的性能，本发明采用了准确率（P）、召回率（R）、平均精度（mAP）以及平均召回率（AR）作为评估指标，采用TP（真阳性）、FP（假阳性）和FN（假阴性）构成目标检测评价指标。TP表示预测阳性目标和实际是阳性目标的数量，即当且仅当RDET-rcnn准确的检测并定位船舶目标时，结果才被视为真阳性。FP表示预测阳性目标但实际是阴性目标的数量。FN表示预测的阴性目标但实际是阳性目标的数量。
实验采用ResNet-50作为基础组件，首先使用coco格式数据集训练初始化网络，其次使用batch_size为SGD优化器对模型进行了30轮的训练。其中，主干网络的初始学习率设为0.02，动能为0.9，数据集图像归一化后的均值为[0.1559097,0.15591368,0.15588938]，方差为[0.10875329,0.10876005,0.10869534]。本发明所有实验均在NVIDIA GeForce RTX3060 GPU上进行。
参照表1，显示了RDET Rcnn与各检测类型中SAR图像船舶检测方法的主要定量比较。具体来说，由于各大类目标检测算法的检测机制有所不同，因此本发明进行了分类比较。在anchor-free类型中使用FCOS和CornerNet模型作为基准模型的SAR船舶检测算法较多，其中CP-FCOS以FCOS框架为基础，重构建了网络层并加入类别位置（CP）模块层，用于优化网络中回归分支的特征，有效提升了模型性能，但同时也增加了模型层数。在单阶段检测类型中，CRAS-YOLO和FASC-Net基于一阶段算法思想下构建的网络模型在小目标检测任务上都有着出色的表现，但整体精度AP_0.5:0.95上并无明显增长。在两阶段检测类型中，多数研究使用Faster Rcnn和Cascade Rcnn为基准模型进行改进，CRTransSar以SwinTransfromer为基本框架提出了一种基于上下文联合表示学习的主干网络，但模型体积和参数量过于庞大。PVT-SAR的突出优势在于使用二阶段算法有效的提高了小目标检测的精度。与目前存在的多种目标检测方法相比，本发明的RDET Rcnn作为二阶段SAR图像船舶检测模型仍然具有较好的性能，能够在保持小目标检测效率的同时提高大目标检测模型。
表1与各类SAR图像船舶检测模型比较
增强深浅特征早融合的REAA主干网络具有有效保留更多信息并捕获长距离上下文信息的能力。本发明根据船舶的尺寸由小到大分为3类（小尺寸目标，中尺寸目标和大尺寸目标）。
由图13和图14可知，随着船舶尺寸的不断增大船舶的检测与定位也变得更加困难，而REAA相对其他流行主干网络的检测性能较好。造成此结果的原因是依赖于普通卷积有限的感受野进行操作，在捕捉较远距离的上下文信息方面能力较弱。相反地，REAA的特征提取更有效这得益于使用了可变性卷积增大感受野以及利用EA-fusion策略增强深浅特征早融合，从而得到更丰富范围更大的上下文特征信息。
将EAFPN与现有的各类主流Neck网络进行了对比实验，表2中显示了不同Neck网络在SSDD数据集上的表现。
表2 不同Neck网络的对比实验
特征金字塔FPN网络，主要用于提取不同尺度特征图并提供给后面的网络执行预测任务。由表2可知，本发明的EAFPN网络在SAR图像船舶检测任务中有较好的优势。其中使用主流改进的CARFPN和PAFPN都有明显的精度下降，导致此结果的原因是此类数据集属于单色简单目标类型，在进行特征晚融合过程中若进行过多卷积操作反而会丢失更多的有效特征信息。相反，EAFPN中通过结合EA-fusion策略丰富了输入特征信息，从而EAFPN可提取到更多的有效特征信息。
为细化RDET-rcnn模型的检测粒度，本发明提出的TRPN建议区间生成网络主要通过设计两个主从关系的RPN来生成较高质量的建议框。相同的，将TRPN与现有的各类主流RPN网络进行了对比实验，表3中显示的是不同RPN网络在SSDD数据集上的表现。
表3 不同RPN网络的对比实验
区域生成网络RPN主要用于筛选出可能会有目标的框。由表3可得，基于RPN改进的两类主流网络CRPN和GARPN在本实验中均有较好的表现。CRPN专注于强调anchor的对齐规则，使用自适应卷积来精调每个阶段的anchor。GARPN专注于判断目标点概率是否超出阈值进而调整anchor，GARPN相较于CRPN大尺寸船舶定位框更准确。本发明通过结合两者优点而设计的TRPN拥有两个主从关系的RPN，使用anchor对齐规则对预测框的位置进行精调，并将拥有更高阈值的船舶预测框送入第二个阶段再次进行细调。最终TRPN在SAR图像船舶检测任务中拥有更突出的表现。
为验证CE_S损失函数在RDET-rcnn模型上的有效性，本发明进行三组对比实验。参照图15和图16，在分类损失中使用Focal loss有显著优势，模型收敛速度也快。参照图17-图19，可以看出Smooth L1 loss在模型训练中充分发挥了其优势，参照图20和图21，将CELoss 和Focal Loss分别结合Smooth L1 loss进行了总图损失的比较，Focal Loss与Smooth L1 loss相结合的效果与CE Loss 与 Smooth L1 loss 结合的总体损失相似。
参照表4，Focal Loss虽然在样本分类损失计算中有较好的收敛性和表现，但精度却相较于用CE Loss训练模型的结果有明显的下降。在自然图像检测中，Focal Loss从样本难度分类角度出发，使得loss聚焦于难分样本，从而解决了样本非平衡的问题，同时提高了自然图像检测模型的整体性能。然而本发明数据集中有一个明显的特点，即船舶目标和非船舶目标物体差异较小，并且噪声干扰情况下船舶形状也会发生变化，在Focal Loss的训练中就会针对此类船舶样本进行过多解读，进而导致本发明的模型精度有所下降。因此本发明采用CE_S作为RDET-rcnn模型的损失函数。
表4 损失函数精度比较
在实际应用中，如拍摄高度、环境噪声和图片亮度是最常见的船舶信息变化，本发明在不同雷达卫星拍摄的图像中选取了几类不同场景复杂度的SAR船舶图像。如图22-图37所示，使用RDET Rcnn与Cascade Rcnn 和Faster Rcnn进行对比实验并分析RDET Rcnn模型预测结果的好坏。结果表示，由图22-图25和图34-图37可知，Cascade Rcnn擅长于检测中大型的船舶目标，面对小目标船舶容易出现漏检现象。在图22-图33中发现Faster Rcnn更适用于检测小目标船舶，但面对非船舶小目标以及大目标船舶时容易错检。在与CascadeRcnn和Faster Rcnn对比下，本文提出的RDET Rcnn船舶检测模型在不同复杂场景下具有更好的性能，在面对不同的尺寸大小和近岸干扰情况下船舶都有较好的检测能力。
本发明所提出的方法用于对海上船舶进行检测和定位。作为一项以船只为中心的检测任务，在现实中可于海上民生安全以及禁航区域的船舶监测相联系。在实际应用中会由于SAR拍摄的距离和环境不同而导致船舶尺寸和噪声等因素变化较大，使用RDET-rcnn不仅增强了船舶特征的提取同时细化了检测粒度，即在保证了有较高小目标检测率的同时增大了大目标检测的准确率。
本发明提出了一种新的细化检测粒度并增强深浅特征融合的SAR图像船舶检测模型RDET-rcnn。RDET-rcnn模型的设计用于不同SAR拍摄场景下船舶的检测与定位。该模型不受船舶尺度变化和较强噪声干扰的影响，具有较高的有效性。广泛的实验验证了模型强大的性能。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行上述的基于SAR图像的船舶位置检测方法。
尽管已描述了本发明的优选实施例，但本领 域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种基于SAR图像的船舶位置检测方法，其特征在于，包括以下步骤：
获取SAR船舶图像；
将SAR船舶图像输入至SAR图像船舶检测模型，在SAR船舶图像上生成多个建议框；
多个所述建议框对SAR船舶图像中的船舶进行框选，得到船舶的位置；
所述将SAR船舶图像输入至SAR图像船舶检测模型，在SAR船舶图像上生成多个建议框，包括：
基于REAA主干网络对SAR船舶图像进行多尺度特征提取，得到多个第一特征图；
基于EAFPA网络将多个第一特征图进行融合，得到预测的第二特征图；
基于TRPN网络在第二特征图上生成多个建议框，将多个建议框映射至SAR船舶图像；
所述基于REAA主干网络对SAR船舶图像进行多尺度特征提取，得到多个第一特征图，包括以下步骤：
将ResNet网络中四个阶段特征层的普通卷积替换为可变性卷积；
在替换卷积后，通过EA-fusion策略结合自注意力机制Attention对第一阶段特征层和第三阶段特征层以及第二阶段特征层和第四阶段特征层进行融合；
将SAR船舶图像输入至融合后的四个阶段特征层，得到四个第一特征图；
所述EA-fusion策略采用add并行连接方式将两个特征向量组合成复合向量，通过下式进行表示：
Z＝a+kb
式中，a和b表示待融合的输入特征，z表示融合后得到的复合向量，其中k为虚数单位；
所述基于EAFPA网络将多个第一特征图进行融合，得到预测的第二特征图，包括以下步骤：
使用EA-fusion策略将四个第一特征图依次进行向下特征融合；
将向下特征融合后的四个第一特征图进行卷积操作，将四个第一特征图的通道数均归为同一通道；
将归为同一通道后的四个第一特征图依次进行上采样操作，在上采样操作中与对应的向下特征融合后的四个第一特征图进行向上特征融合；
使用3×3标准卷积将向上特征融合后的四个第一特征图进行卷积，生成预测的第二特征图；
所述基于TRPN网络在第二特征图上生成多个建议框，具体包括以下步骤：
将第二特征图输入至第一个RPN网络，通过滑动窗口在第二特征图上的每个像素点处均生成9种不同大小比例的第一目标框；
将多个像素点进行标准卷积操作，对多个像素点上的9种第一目标框进行判断；
若该第一目标框为物体，则对该第一目标框进行回归预测，计算第一目标框与物体之间的总偏移量，得到多个第一预测框；
计算多个第一预测框的分数，得到分数大于0.6的多个特征框
将第二特征图输入至第二个RPN网络，通过滑动窗口在第二特征图上的每个像素点处均生成种不同大小比例的第二目标框；
将多个像素点进行膨胀卷积操作，对多个像素点上的种第二目标框进行判断；
若该第二目标框为物体，则对该第二目标框进行回归预测，计算第二目标框与物体之间的总偏移量，得到多个第二预测框；
计算多个第二预测框的分数，得到分数大于0.7的多个建议框
2.如权利要求1所述的一种基于SAR图像的船舶位置检测方法，其特征在于，通过下式得到多个第一特征图：
其中，
C(i)＝256×i
D(i)＝4×i
式中，i表示当前的阶段数，i∈{1,2,3,4}，表示第i阶段的第一特征图，R表示实数集，C(i)表示当前特征图的通道数，H表示当前特征图的长，W表示当前特征图的宽，D(i)表示当前特征图的长宽比SAR船舶图像的长宽减少的倍数。
3.如权利要求1所述的一种基于SAR图像的船舶位置检测方法，其特征在于，将归为同一通道后的四个第一特征图依次进行上采样操作，对应的输入特征图和输出特征图的关系如下所示：
式中，Hin表示输入特征图的高，Hout表示输出特征图的高，Win表示输入特征图的宽，Wout表示输出特征图的宽，scale_factor指定输出特征图为输入特征图的倍数。
4.如权利要求1所述的一种基于SAR图像的船舶位置检测方法，其特征在于，通过下式计算总偏移量：
o＝octr+oshp
式中，octr为中心点偏移量，oshp是形状偏移量，o为总偏移量。
5.如权利要求1所述的一种基于SAR图像的船舶位置检测方法，其特征在于，通过分类损失函数和回归损失函数对TRPN网络进行训练，通过下式计算分类损失函数：
式中，LCE表示分类损失，X＝{x}表示真实值的集合，Y＝{y}表示预测值的集合，j为当前样本，c表示类别数，xj表示当前样本的真实类别，yj表示当前样本的预测类别；
通过下式计算回归损失函数：
式中，LSmooth_L1表示回归损失，z表示预测值和真实值的差值。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5中任一所述的基于SAR图像的船舶位置检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310501019.3A CN116206099B (zh) | 2023-05-06 | 2023-05-06 | 一种基于sar图像的船舶位置检测方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310501019.3A CN116206099B (zh) | 2023-05-06 | 2023-05-06 | 一种基于sar图像的船舶位置检测方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116206099A CN116206099A (zh) | 2023-06-02 |
| CN116206099B true CN116206099B (zh) | 2023-08-15 |
Family
ID=86517737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310501019.3A Active CN116206099B (zh) | 2023-05-06 | 2023-05-06 | 一种基于sar图像的船舶位置检测方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116206099B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533084A (zh) * | 2019-08-12 | 2019-12-03 | 长安大学 | 一种基于自注意力机制的多尺度目标检测方法 |
| AU2020103715A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Method of monocular depth estimation based on joint self-attention mechanism |
| CN112464883A (zh) * | 2020-12-11 | 2021-03-09 | 武汉工程大学 | 一种自然场景下船舶目标自动检测识别方法与*** |
| CN114049561A (zh) * | 2021-11-25 | 2022-02-15 | 江苏科技大学 | 一种船舶目标检测模型及方法 |
| CN114202696A (zh) * | 2021-12-15 | 2022-03-18 | 安徽大学 | 基于上下文视觉的sar目标检测方法、装置和存储介质 |
| CN114299303A (zh) * | 2021-12-07 | 2022-04-08 | 集美大学 | 一种船舶目标检测方法、终端设备及存储介质 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| CN114821155A (zh) * | 2022-03-29 | 2022-07-29 | 国家电网有限公司大数据中心 | 一种基于可变形nts-net神经网络的多标签分类方法及*** |
| CN114973116A (zh) * | 2022-01-21 | 2022-08-30 | 昆明理工大学 | 一种自注意力特征嵌入夜间机场跑道异物检测方法与*** |
| CN115049923A (zh) * | 2022-05-30 | 2022-09-13 | 北京航空航天大学杭州创新研究院 | Sar图像舰船目标实例分割训练方法、***及装置 |
| CN115546555A (zh) * | 2022-10-18 | 2022-12-30 | 安徽大学 | 一种基于混合表征学习增强的轻量化sar目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11657230B2 (en) * | 2020-06-12 | 2023-05-23 | Adobe Inc. | Referring image segmentation |
-
2023
- 2023-05-06 CN CN202310501019.3A patent/CN116206099B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533084A (zh) * | 2019-08-12 | 2019-12-03 | 长安大学 | 一种基于自注意力机制的多尺度目标检测方法 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| AU2020103715A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Method of monocular depth estimation based on joint self-attention mechanism |
| CN112464883A (zh) * | 2020-12-11 | 2021-03-09 | 武汉工程大学 | 一种自然场景下船舶目标自动检测识别方法与*** |
| CN114049561A (zh) * | 2021-11-25 | 2022-02-15 | 江苏科技大学 | 一种船舶目标检测模型及方法 |
| CN114299303A (zh) * | 2021-12-07 | 2022-04-08 | 集美大学 | 一种船舶目标检测方法、终端设备及存储介质 |
| CN114202696A (zh) * | 2021-12-15 | 2022-03-18 | 安徽大学 | 基于上下文视觉的sar目标检测方法、装置和存储介质 |
| CN114973116A (zh) * | 2022-01-21 | 2022-08-30 | 昆明理工大学 | 一种自注意力特征嵌入夜间机场跑道异物检测方法与*** |
| CN114821155A (zh) * | 2022-03-29 | 2022-07-29 | 国家电网有限公司大数据中心 | 一种基于可变形nts-net神经网络的多标签分类方法及*** |
| CN115049923A (zh) * | 2022-05-30 | 2022-09-13 | 北京航空航天大学杭州创新研究院 | Sar图像舰船目标实例分割训练方法、***及装置 |
| CN115546555A (zh) * | 2022-10-18 | 2022-12-30 | 安徽大学 | 一种基于混合表征学习增强的轻量化sar目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于低层特征融合多核卷积神经网络的管道缺陷漏磁图像识别方法;米亚鑫;《当代化工》;第52卷(第03期);677-681 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116206099A (zh) | 2023-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN111652321B (zh) | 一种基于改进yolov3算法的海上船舶检测方法 | |
| CN112766087A (zh) | 一种基于知识蒸馏的光学遥感图像舰船检测方法 | |
| CN109492529A (zh) | 一种多尺度特征提取及全局特征融合的人脸表情识别方法 | |
| CN113052210A (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| CN111242061B (zh) | 一种基于注意力机制的合成孔径雷达舰船目标检测方法 | |
| CN115526935A (zh) | 基于全局和局部信息的像素级抓取位姿检测方法及*** | |
| CN116863539A (zh) | 一种基于优化YOLOv8s网络结构的跌倒人物目标检测方法 | |
| CN115546555B (zh) | 一种基于混合表征学习增强的轻量化sar目标检测方法 | |
| Wang et al. | Ship detection based on deep learning | |
| CN113743505A (zh) | 基于自注意力和特征融合的改进ssd目标检测方法 | |
| CN109190456A (zh) | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 | |
| Dai et al. | GCD-YOLOv5: An armored target recognition algorithm in complex environments based on array lidar | |
| CN115661754A (zh) | 一种基于维度融合注意力的行人重识别方法 | |
| CN114926826A (zh) | 场景文本检测*** | |
| Fan et al. | An improved yolov5 marine biological object detection algorithm | |
| CN113610178A (zh) | 一种基于视频监控图像的内河船舶目标检测方法和装置 | |
| Li et al. | PCViT: A Pyramid Convolutional Vision Transformer Detector for Object Detection in Remote Sensing Imagery | |
| CN116206099B (zh) | 一种基于sar图像的船舶位置检测方法及存储介质 | |
| CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
| Li et al. | Target detection in color sonar image based on YOLOV5 network | |
| CN114821356B (zh) | 一种精确定位的光学遥感目标检测方法 | |
| CN116403133A (zh) | 一种基于YOLO v7改进的车辆检测算法 | |
| Lei et al. | Ship detection based on deep learning under complex lighting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |