CN115294452B - 基于双向特征金字塔网络的旋转sar舰船目标检测方法 - Google Patents
基于双向特征金字塔网络的旋转sar舰船目标检测方法 Download PDFInfo
- Publication number
- CN115294452B CN115294452B CN202210946133.2A CN202210946133A CN115294452B CN 115294452 B CN115294452 B CN 115294452B CN 202210946133 A CN202210946133 A CN 202210946133A CN 115294452 B CN115294452 B CN 115294452B
- Authority
- CN
- China
- Prior art keywords
- network
- detection
- target
- frame
- rotating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 150
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 59
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000001629 suppression Effects 0.000 claims abstract description 9
- 238000009432 framing Methods 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 7
- 230000005764 inhibitory process Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 8
- 230000008901 benefit Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双向特征金字塔网络的旋转SAR舰船目标检测方法，包括步骤：一、设计双向特征金字塔网络；二、设计旋转边界框；三、利用旋转边界框对SAR舰船检测数据集SSDD中的舰船目标进行了旋转标注；四、设计旋转锚框；五、确定损失函数；六、构建目标检测网络；七、目标检测网络的训练与测试；八、确定最终的目标检测网络；九、对实际SAR舰船目标图像进行目标检测；十、对框选结果进行滤波。本发明设计了旋转锚框来更好的匹配旋转目标并提出了用于旋转目标检测的损失函数，改进了改进非极大值抑制算法用于解决检测框重叠率较大的问题，提出的目标检测网络结合了旋转检测的定位优势与单阶段框架的速度优势。
Description
技术领域
本发明属于旋转SAR舰船目标检测技术领域，具体涉及一种基于双向特征金字塔网络的旋转SAR舰船目标检测方法。
背景技术
SAR(Synthetic Aperture Radar)合成孔径雷达由于具有全天时、全天候、不受光照、天气等环境因素影响的优势，在海面舰船检测任务上有着广泛的应用。因此，SAR图像解译在舰船目标检测中扮演着重要的角色。近年来，研究人员将基于深度卷积神经网络的检测算法运用到SAR图像舰船目标检测任务中，提出的算法虽然在多种场景下提高了舰船目标的检测效果，但是仍存在诸多问题。首先，SAR图像中舰船目标具有较大的长宽比以及任意的方向性，传统检测算法易造成检测区域的冗余，影响了算法对复杂场景下舰船目标的准确定位；其次，港口内舰船往往是密集排列的，准确地区分密集排列的舰船目标仍然存在一定的困难；最后，由于多分辨率成像模式和舰船形状的多样性，SAR图像舰船目标具有明显的尺度多样性，传统的检测算法虽然可以对舰船目标进行检测，但是不能表达舰船目标的真实尺寸，这为舰船目标的精确定位和识别带来了挑战。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于双向特征金字塔网络的旋转SAR舰船目标检测方法，双向特征金字塔网络具有轻量化的优势，可以大大的减小模型体积，提高检测速度，同时设计了旋转锚框来更好的匹配旋转目标并提出了用于旋转目标检测的损失函数，改进非极大值抑制算法，用于解决检测框重叠率较大的问题，提出的目标检测网络结合了旋转检测的定位优势与单阶段框架的速度优势，便于推广使用。
为解决上述技术问题，本发明采用的技术方案是：基于双向特征金字塔网络的旋转SAR舰船目标检测方法，其特征在于，该方法包括以下步骤：
步骤一、设计双向特征金字塔网络，过程如下：
步骤101、在原始的特征金字塔网络的基础上，增加一条由浅至深的并行特征通道，并通过横向连接与原始的特征金字塔网络FPN的浅层特征相连，形成双向通道的特征金字塔网络FPN；
步骤102、简化双向通道的特征金字塔网络FPN，首先，在双向通道的特征金字塔网络FPN的基础上，去除只有一个输入源的网络节点；其次，采用ResNet中跳跃连接的方式，将每层原始的特征金字塔网络的特征图与特征通道中的特征图进行相加，得到简化后的双向通道的特征金字塔网络FPN；
步骤103、根据正则化公式
对简化后的双向通道的特征金字塔网络FPN的不同层的特征进行融合，其中，i为网络节点的编号，Ini为简化后的双向通道的特征金字塔网络FPN中第i个网络节点的输入特征，wi为Ini的权重参数，λ为第一超参数，Conv(·)为卷积运算，Out为简化后的双向通道的特征金字塔网络FPN特征融合后网络节点的输出特征；
步骤104、将步骤102中简化后的双向通道的特征金字塔网络FPN作为基本单元进行堆叠，搭建双向特征金字塔网络；
步骤二、设计旋转边界框：设计旋转边界框对待检测舰船目标在图像中的位置进行标注，旋转边界框通过(x，y，w，h，θ)五个参数进行表示，其中，(x，y)为旋转边界框的中心点坐标，w和h分别表示旋转边界框的宽和高，θ表示旋转边界框的旋转角度，旋转角度表示水平轴x轴方向逆时针旋转时与所遇到矩形的第一条边的夹角，旋转角度的范围为[-90°，0°]；
步骤三、利用旋转边界框对SAR舰船检测数据集SSDD中的舰船目标进行了旋转标注，将旋转标注后的SAR舰船检测数据集SSDD按9:1的比例分为训练集和测试集；
步骤四、设计旋转锚框：根据SAR舰船检测数据集SSDD中图像的尺度分布选取三个最优尺度，所述三个最优尺度分别为80、50和30；
当图像的尺度为80时，旋转锚框的旋转角度选取六种角度，该六种角度分别为-10°、-25°、-40°、-55°、-70°和-85°；旋转锚框的长宽比选取六种比例，该六种比例分别为1:7、1:6、1:5、5:1、6:1和7:1；
当图像的尺度为50时，旋转锚框的旋转角度选取六种角度，该六种角度分别为-15°、-30°、-45°、-60°、-75°和-90°；旋转锚框的长宽比选取六种比例，该六种比例分别为1:6、1:5、1:4、4:1、5:1和6:1；
当图像的尺度为30时，旋转锚框的旋转角度选取六种角度，该六种角度分别为-5°、-20°、-35°、-50°、-65°和-80°；旋转锚框的长宽比选取六种比例，该六种比例分别为1:4、1:3、1:2、2:1、3:1和4:1；
步骤五、确定损失函数
其中，P为特征图被划分的总网格数，p为特征图中网格的编号且p＝1,2,...,P，Q为每个网格中包含的预测的旋转边界框总数，q为每个网格的预测的旋转边界框编号且q＝1,2,...,Q，
表示预测的旋转边界框包含目标且
表示预测的旋转边界框不包含目标且
λloc为位置损失权重，λ1为置信度分数权重，λ2为惩罚权重，λreg为角度损失的权重，(xpq,ypq)为特征图中第p个网格中第q个预测的旋转边界框的中心点坐标，
为特征图中第p个网格中第q个预测的旋转边界框的中心点坐标标签，(wpq,hpq)为特征图中第p个网格中第q个预测的旋转边界框的宽和高，
为特征图中第p个网格中第q个预测的旋转边界框的宽和高的标签，Cpq为特征图中第p个网格中第q个预测的旋转边界框的置信度分数，
为特征图中第p个网格中第q个预测的旋转边界框的置信度分数标签，θpq为特征图中第p个网格中第q个预测的旋转边界框的旋转角度，
为特征图中第p个网格中第q个预测的旋转边界框的旋转角度标签，f(·)为交叉熵函数，μ为平衡因子；
其中，
S(·)为Sigmoid函数，
为特征图中第p个网格中第q个预测的旋转边界框与对应旋转锚框之间的中心点坐标偏差，
为(xpq,ypq)在特征图上对应网格的左上角坐标；
其中，
为特征图中第p个网格中第q个预测的旋转边界框与对应旋转锚框之间的宽和高的偏差，
为特征图中第p个网格中第q个旋转锚框的宽和高；
其中，
为特征图中第p个网格中第q个预测的旋转边界框与对应旋转锚框之间的角度偏移，
为特征图中第p个网格中第q个真实旋转边界框与对应旋转锚框之间的角度偏移，
为特征图中第p个网格中第q个预测的旋转边界框的对应旋转锚框的旋转角度，k为整数；
步骤六、构建目标检测网络：采用EfficientNet作为骨干网络，并采用双向特征金字塔网络的结构模式，进行特征融合，构建目标检测网络；
步骤七、目标检测网络的训练与测试：将损失函数Loss送入Adam优化器，对步骤六的目标检测网络训练与测试，更新目标检测网络的权重参数集合；
步骤八、调取旋转标注后的SAR舰船检测数据集SSDD中一张新的SAR舰船图像送入目标检测网络，循环步骤七，直到训练达到预设训练步数或者损失值不再下降即停止训练，此时，得到目标检测网络的最终权重参数集合，并确定最终的目标检测网络；
步骤九、利用最终的目标检测网络对实际SAR舰船目标图像进行目标检测，输出SAR舰船目标带有预测的旋转边界框的框选结果；
步骤十、利用改进非极大值抑制算法对框选结果进行滤波，过程如下：
步骤1001、利用Sigmoid函数对步骤九中输出的每个预测的旋转边界框进行打分，按照分数由高到低的顺序对预测的旋转边界框进行排序，根据设置的打分阈值获取结果大于打分阈值的预测的旋转边界框，并将这些预测的旋转边界框视为初级筛选检测框Bn，其中，n为初级筛选检测框编号且n＝1，2，...，N，N为初级筛选检测框总数，将初级筛选检测框中得分最高的初级筛选检测框视为得分最高检测框BM，将初级筛选检测框中其余的初级筛选检测框视为候选检测框Bm，其中，m为候选检测框编号且m＝1，2，...，N-1；
步骤1002、获取候选检测框Bm和得分最高检测框BM之间的角度差，当候选检测框Bm和得分最高检测框BM之间的角度差的绝对值大于15°时，删除候选检测框Bm；否则，利用SkewIoU计算候选检测框Bm和得分最高检测框BM之间的交并比SIoU；
当候选检测框Bm和得分最高检测框BM之间的交并比SIoU大于非极大值抑制负向阈值时，对候选检测框Bm重打分，执行步骤1003；
当候选检测框Bm和得分最高检测框BM之间的交并比SIoU不大于非极大值抑制负向阈值时，保留对应的候选检测框Bm，框选出SAR舰船目标；
步骤1003、根据公式
计算候选检测框Bm的重打分Sm，其中，
为惩罚函数，
为候选检测框Bm利用Sigmoid函数获取的打分结果，σ为第二超参数，θM为得分最高检测框BM的角度，θm为候选检测框Bm的角度，F(·)为惩罚因子且
当候选检测框Bm的重打分Sm小于非极大值抑制正向阈值时，删除候选检测框Bm；否则，保留对应的候选检测框Bm，框选出SAR舰船目标。
上述的基于双向特征金字塔网络的旋转SAR舰船目标检测方法，其特征在于：所述第一超参数λ取0.0001～0.0005。
上述的基于双向特征金字塔网络的旋转SAR舰船目标检测方法，其特征在于：所述Ini的权重参数wi通过修正线性单元ReLU修正wi的数据值为非负。
上述的基于双向特征金字塔网络的旋转SAR舰船目标检测方法，其特征在于：步骤104中所述基本单元的堆叠次数为3～10次。
上述的基于双向特征金字塔网络的旋转SAR舰船目标检测方法，其特征在于：所述骨干网络EfficientNet包括七个阶段，每个阶段均包括卷积块和残差块。
本发明的有益效果是，首先，在原始特征金字塔网络的基础上，引入双通道模式，来保留浅层网络中更多的目标位置信息，增强网络对目标的准确定位能力；其次，对双通道模式下金字塔网络进行简化，减少网络的参数数量，降低模型的复杂性；同时，采用规范化特征融合方法，对不同深度的特征进行融合，双向特征金字塔网络可以对不同尺度的特征进行融合，提升了网络对不同尺度目标的泛化能力；然后，通过堆叠双通道模块，搭建深层双向特征金字塔网络；最后，以EfficientNet模式为骨干网络，结合双向特征金字塔网络，对旋转舰船目标进行预测；此外，根据旋转SAR舰船目标特性，提出了包括旋转边界框设计、旋转锚框设计、损失函数设计、改进非极大值抑制算法，来提升旋转目标的检测效果，对复杂背景下多尺度和任意方向舰船目标进行检测，且可同时检测出多目标，便于推广使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明双向特征金字塔网络的设计改进灰度图。
图2为本发明双向通道的特征金字塔网络FPN的简化过程灰度图。
图3为本发明双向特征金字塔网络的结构拓扑灰度图。
图4为传统水平的矩形框对目标的框选效果灰度图。
图5为本发明的旋转边界框对目标的框选效果灰度图。
图6为本发明的方法流程框图。
具体实施方式
如图1至图6所示，本发明的基于双向特征金字塔网络的旋转SAR舰船目标检测方法，包括以下步骤：
步骤一、设计双向特征金字塔网络，过程如下：
步骤101、在原始的特征金字塔网络的基础上，增加一条由浅至深的并行特征通道，并通过横向连接与原始的特征金字塔网络FPN的浅层特征相连，形成双向通道的特征金字塔网络FPN；
需要说明的是，通常在卷积神经网络中，浅层网络包含的语义特征信息较少，但是目标位置准确；深层网络包含的特征语义信息比较丰富，但是目标位置比较粗略，特征金字塔网络采用了由浅至深、再自底向上的方法，将浅层的位置信息与深层语义信息进行融合，增强网络对目标的识别与定位能力。然而，在特征金字塔网络中，浅层的位置信息需要经过较多的网络层传递到深层网络中，造成了目标位置信息的丢失，对于不同深度的信息融合是极为不利的。因此设计双向特征金字塔网络，在原始特征金字塔网络的基础上，增加了一条由浅至深的并行特征通道，并通过横向连接与FPN的浅层特征相连，相比于原始FPN的主干通道，该通道采用较少的网络层数(小于10层)，减少了特征信息的损失；采用由浅至深的传递方式，可以更好地保留浅层网络中目标的位置特征信息；通过横向连接，可以实现与FPN的特征信息共享。
步骤102、简化双向通道的特征金字塔网络FPN，首先，在双向通道的特征金字塔网络FPN的基础上，去除只有一个输入源的网络节点；其次，采用ResNet中跳跃连接的方式，将每层原始的特征金字塔网络的特征图与特征通道中的特征图进行相加，得到简化后的双向通道的特征金字塔网络FPN；
需要说明的是，双通道模式使特征金字塔网络保留了更多的位置信息，同时也使网络结构变得更加复杂，相比于水平的目标检测方法，旋转目标检测需要网络预测更多的目标位置信息，复杂的网络的结构将消耗更多的计算资源与计算时间，这对于算法的移动部署与目标的快速检测是十分不利的。因此对双通道结构进行简化，首先，在双通道FPN的基础上，去除只有一个输入源的网络节点；单输入源的网络节点包含的信息量较少，对于特征融合贡献度较低；为了提高网络的运行效率，对单输入源的网络节点进行删除；其次，采用ResNet中跳跃连接的方式，将每层的原始特征图与通道中的特征图进行相加，得到简化后的双向FPN，跳跃连接可以在不增加计算量的前提下，融合更多的特征信息，实现特征增强。
步骤103、根据正则化公式
对简化后的双向通道的特征金字塔网络FPN的不同层的特征进行融合，其中，i为网络节点的编号，Ini为简化后的双向通道的特征金字塔网络FPN中第i个网络节点的输入特征，wi为Ini的权重参数，λ为第一超参数，Conv(·)为卷积运算，Out为简化后的双向通道的特征金字塔网络FPN特征融合后网络节点的输出特征；
步骤104、将步骤102中简化后的双向通道的特征金字塔网络FPN作为基本单元进行堆叠，搭建双向特征金字塔网络；
步骤二、设计旋转边界框：设计旋转边界框对待检测舰船目标在图像中的位置进行标注，旋转边界框通过(x，y，w，h，θ)五个参数进行表示，其中，(x，y)为旋转边界框的中心点坐标，w和h分别表示旋转边界框的宽和高，θ表示旋转边界框的旋转角度，旋转角度表示水平轴x轴方向逆时针旋转时与所遇到矩形的第一条边的夹角，旋转角度的范围为[-90°，0°]；
步骤三、利用旋转边界框对SAR舰船检测数据集SSDD中的舰船目标进行了旋转标注，将旋转标注后的SAR舰船检测数据集SSDD按9:1的比例分为训练集和测试集；
步骤四、设计旋转锚框：根据SAR舰船检测数据集SSDD中图像的尺度分布选取三个最优尺度，所述三个最优尺度分别为80、50和30；
当图像的尺度为80时，旋转锚框的旋转角度选取六种角度，该六种角度分别为-10°、-25°、-40°、-55°、-70°和-85°；旋转锚框的长宽比选取六种比例，该六种比例分别为1:7、1:6、1:5、5:1、6:1和7:1；
当图像的尺度为50时，旋转锚框的旋转角度选取六种角度，该六种角度分别为-15°、-30°、-45°、-60°、-75°和-90°；旋转锚框的长宽比选取六种比例，该六种比例分别为1:6、1:5、1:4、4:1、5:1和6:1；
当图像的尺度为30时，旋转锚框的旋转角度选取六种角度，该六种角度分别为-5°、-20°、-35°、-50°、-65°和-80°；旋转锚框的长宽比选取六种比例，该六种比例分别为1:4、1:3、1:2、2:1、3:1和4:1；
步骤五、确定损失函数
其中，P为特征图被划分的总网格数，p为特征图中网格的编号且p＝1,2,...,P，Q为每个网格中包含的预测的旋转边界框总数，q为每个网格的预测的旋转边界框编号且q＝1,2,...,Q，
表示预测的旋转边界框包含目标且
表示预测的旋转边界框不包含目标且
λloc为位置损失权重，λ1为置信度分数权重，λ2为惩罚权重，λreg为角度损失的权重，(xpq,ypq)为特征图中第p个网格中第q个预测的旋转边界框的中心点坐标，
为特征图中第p个网格中第q个预测的旋转边界框的中心点坐标标签，(wpq,hpq)为特征图中第p个网格中第q个预测的旋转边界框的宽和高，
为特征图中第p个网格中第q个预测的旋转边界框的宽和高的标签，Cpq为特征图中第p个网格中第q个预测的旋转边界框的置信度分数，
为特征图中第p个网格中第q个预测的旋转边界框的置信度分数标签，θpq为特征图中第p个网格中第q个预测的旋转边界框的旋转角度，
为特征图中第p个网格中第q个预测的旋转边界框的旋转角度标签，f(·)为交叉熵函数，μ为平衡因子；
其中，
S(·)为Sigmoid函数，
为特征图中第p个网格中第q个预测的旋转边界框与对应旋转锚框之间的中心点坐标偏差，
为(xpq,ypq)在特征图上对应网格的左上角坐标；
其中，
为特征图中第p个网格中第q个预测的旋转边界框与对应旋转锚框之间的宽和高的偏差，
为特征图中第p个网格中第q个旋转锚框的宽和高；
其中，
为特征图中第p个网格中第q个预测的旋转边界框与对应旋转锚框之间的角度偏移，
为特征图中第p个网格中第q个真实旋转边界框与对应旋转锚框之间的角度偏移，
为特征图中第p个网格中第q个预测的旋转边界框的对应旋转锚框的旋转角度，k为整数；
步骤六、构建目标检测网络：采用EfficientNet作为骨干网络，并采用双向特征金字塔网络的结构模式，进行特征融合，构建目标检测网络；
步骤七、目标检测网络的训练与测试：将损失函数Loss送入Adam优化器，对步骤六的目标检测网络训练与测试，更新目标检测网络的权重参数集合；
步骤八、调取旋转标注后的SAR舰船检测数据集SSDD中一张新的SAR舰船图像送入目标检测网络，循环步骤七，直到训练达到预设训练步数或者损失值不再下降即停止训练，此时，得到目标检测网络的最终权重参数集合，并确定最终的目标检测网络；
步骤九、利用最终的目标检测网络对实际SAR舰船目标图像进行目标检测，输出SAR舰船目标带有预测的旋转边界框的框选结果；
步骤十、利用改进非极大值抑制算法对框选结果进行滤波，过程如下：
步骤1001、利用Sigmoid函数对步骤九中输出的每个预测的旋转边界框进行打分，按照分数由高到低的顺序对预测的旋转边界框进行排序，根据设置的打分阈值获取结果大于打分阈值的预测的旋转边界框，并将这些预测的旋转边界框视为初级筛选检测框Bn，其中，n为初级筛选检测框编号且n＝1，2，...，N，N为初级筛选检测框总数，将初级筛选检测框中得分最高的初级筛选检测框视为得分最高检测框BM，将初级筛选检测框中其余的初级筛选检测框视为候选检测框Bm，其中，m为候选检测框编号且m＝1，2，...，N-1；
步骤1002、获取候选检测框Bm和得分最高检测框BM之间的角度差，当候选检测框Bm和得分最高检测框BM之间的角度差的绝对值大于15°时，删除候选检测框Bm；否则，利用SkewIoU计算候选检测框Bm和得分最高检测框BM之间的交并比SIoU；
当候选检测框Bm和得分最高检测框BM之间的交并比SIoU大于非极大值抑制负向阈值时，对候选检测框Bm重打分，执行步骤1003；
需要说明的是，通过得分与设定阈值进行比较来决定候选检测框是否保留，然而，当候选检测框的重叠比率较大时，这种刚性的阈值设置将会造成漏检，因此，引入了平滑机制，即重打分的方法对这种刚性的阈值设置进行优化，从而对重叠率较大的检测框进行保留，通过惩罚函数来衰减与得分最高检测框BM有较大重叠的检测盒的分数，而不是直接将这些候选检测框的分数置零，可以使保留下来的候选检测框与真实背景有更好地匹配程度，有效地去除了冗余的候选检测框；当目标密集排列时，可以通过降低分数来对可能包含目标的候选检测框进行保留，避免了对于排列紧密舰船目标的漏检，可同时检测出多目标。
当候选检测框Bm和得分最高检测框BM之间的交并比SIoU不大于非极大值抑制负向阈值时，保留对应的候选检测框Bm，框选出SAR舰船目标；
步骤1003、根据公式
计算候选检测框Bm的重打分Sm，其中，
为惩罚函数，
为候选检测框Bm利用Sigmoid函数获取的打分结果，σ为第二超参数，θM为得分最高检测框BM的角度，θm为候选检测框Bm的角度，F(·)为惩罚因子且
当候选检测框Bm的重打分Sm小于非极大值抑制正向阈值时，删除候选检测框Bm；否则，保留对应的候选检测框Bm，框选出SAR舰船目标。
本实施例中，所述第一超参数λ取0.0001～0.0005。
本实施例中，所述Ini的权重参数wi通过修正线性单元ReLU修正wi的数据值为非负。
本实施例中，步骤104中所述基本单元的堆叠次数为3～10次。
本实施例中，所述骨干网络EfficientNet包括七个阶段，每个阶段均包括卷积块和残差块。
本发明使用时，首先，在原始特征金字塔网络的基础上，引入双通道模式，来保留浅层网络中更多的目标位置信息，增强网络对目标的准确定位能力；其次，对双通道模式下金字塔网络进行简化，减少网络的参数数量，降低模型的复杂性；同时，采用规范化特征融合方法，对不同深度的特征进行融合，双向特征金字塔网络可以对不同尺度的特征进行融合，提升了网络对不同尺度目标的泛化能力；然后，通过堆叠双通道模块，搭建深层双向特征金字塔网络；最后，以EfficientNet模式为骨干网络，结合双向特征金字塔网络，对旋转舰船目标进行预测；此外，根据旋转SAR舰船目标特性，提出了包括旋转边界框设计、旋转锚框设计、损失函数设计、改进非极大值抑制算法，来提升旋转目标的检测效果，对复杂背景下多尺度和任意方向舰船目标进行检测，且可同时检测出多目标。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。
Claims (5)
1.基于双向特征金字塔网络的旋转SAR舰船目标检测方法，其特征在于，该方法包括以下步骤：
步骤一、设计双向特征金字塔网络，过程如下：
步骤101、在原始的特征金字塔网络的基础上，增加一条由浅至深的并行特征通道，并通过横向连接与原始的特征金字塔网络FPN的浅层特征相连，形成双向通道的特征金字塔网络FPN；
步骤102、简化双向通道的特征金字塔网络FPN，首先，在双向通道的特征金字塔网络FPN的基础上，去除只有一个输入源的网络节点；其次，采用ResNet中跳跃连接的方式，将每层原始的特征金字塔网络的特征图与特征通道中的特征图进行相加，得到简化后的双向通道的特征金字塔网络FPN；
步骤103、根据正则化公式
对简化后的双向通道的特征金字塔网络FPN的不同层的特征进行融合，其中，i为网络节点的编号，Ini为简化后的双向通道的特征金字塔网络FPN中第i个网络节点的输入特征，wi为Ini的权重参数，λ为第一超参数，Conv(·)为卷积运算，Out为简化后的双向通道的特征金字塔网络FPN特征融合后网络节点的输出特征；
步骤104、将步骤102中简化后的双向通道的特征金字塔网络FPN作为基本单元进行堆叠，搭建双向特征金字塔网络；
步骤二、设计旋转边界框：设计旋转边界框对待检测舰船目标在图像中的位置进行标注，旋转边界框通过(x，y，w，h，θ)五个参数进行表示，其中，(x，y)为旋转边界框的中心点坐标，w和h分别表示旋转边界框的宽和高，θ表示旋转边界框的旋转角度，旋转角度表示水平轴x轴方向逆时针旋转时与所遇到矩形的第一条边的夹角，旋转角度的范围为[-90°，0°]；
步骤三、利用旋转边界框对SAR舰船检测数据集SSDD中的舰船目标进行了旋转标注，将旋转标注后的SAR舰船检测数据集SSDD按9:1的比例分为训练集和测试集；
步骤四、设计旋转锚框：根据SAR舰船检测数据集SSDD中图像的尺度分布选取三个最优尺度，所述三个最优尺度分别为80、50和30；
当图像的尺度为80时，旋转锚框的旋转角度选取六种角度，该六种角度分别为-10°、-25°、-40°、-55°、-70°和-85°；旋转锚框的长宽比选取六种比例，该六种比例分别为1:7、1:6、1:5、5:1、6:1和7:1；
当图像的尺度为50时，旋转锚框的旋转角度选取六种角度，该六种角度分别为-15°、-30°、-45°、-60°、-75°和-90°；旋转锚框的长宽比选取六种比例，该六种比例分别为1:6、1:5、1:4、4:1、5:1和6:1；
当图像的尺度为30时，旋转锚框的旋转角度选取六种角度，该六种角度分别为-5°、-20°、-35°、-50°、-65°和-80°；旋转锚框的长宽比选取六种比例，该六种比例分别为1:4、1:3、1:2、2:1、3:1和4:1；
步骤五、确定损失函数
其中，P为特征图被划分的总网格数，p为特征图中网格的编号且p＝1,2,...,P，Q为每个网格中包含的预测的旋转边界框总数，q为每个网格的预测的旋转边界框编号且q＝1,2,...,Q，
表示预测的旋转边界框包含目标且
表示预测的旋转边界框不包含目标且
λloc为位置损失权重，λ1为置信度分数权重，λ2为惩罚权重，λreg为角度损失的权重，(xpq,ypq)为特征图中第p个网格中第q个预测的旋转边界框的中心点坐标，
为特征图中第p个网格中第q个预测的旋转边界框的中心点坐标标签，(wpq,hpq)为特征图中第p个网格中第q个预测的旋转边界框的宽和高，
为特征图中第p个网格中第q个预测的旋转边界框的宽和高的标签，Cpq为特征图中第p个网格中第q个预测的旋转边界框的置信度分数，
为特征图中第p个网格中第q个预测的旋转边界框的置信度分数标签，θpq为特征图中第p个网格中第q个预测的旋转边界框的旋转角度，
为特征图中第p个网格中第q个预测的旋转边界框的旋转角度标签，f(·)为交叉熵函数，μ为平衡因子；
其中，
S(·)为Sigmoid函数，
为特征图中第p个网格中第q个预测的旋转边界框与对应旋转锚框之间的中心点坐标偏差，
为(xpq,ypq)在特征图上对应网格的左上角坐标；
其中，
为特征图中第p个网格中第q个预测的旋转边界框与对应旋转锚框之间的宽和高的偏差，
为特征图中第p个网格中第q个旋转锚框的宽和高；
其中，
为特征图中第p个网格中第q个预测的旋转边界框与对应旋转锚框之间的角度偏移，
为特征图中第p个网格中第q个真实旋转边界框与对应旋转锚框之间的角度偏移，
为特征图中第p个网格中第q个预测的旋转边界框的对应旋转锚框的旋转角度，k为整数；
步骤六、构建目标检测网络：采用EfficientNet作为骨干网络，并采用双向特征金字塔网络的结构模式，进行特征融合，构建目标检测网络；
步骤七、目标检测网络的训练与测试：将损失函数Loss送入Adam优化器，对步骤六的目标检测网络训练与测试，更新目标检测网络的权重参数集合；
步骤八、调取旋转标注后的SAR舰船检测数据集SSDD中一张新的SAR舰船图像送入目标检测网络，循环步骤七，直到训练达到预设训练步数或者损失值不再下降即停止训练，此时，得到目标检测网络的最终权重参数集合，并确定最终的目标检测网络；
步骤九、利用最终的目标检测网络对实际SAR舰船目标图像进行目标检测，输出SAR舰船目标带有预测的旋转边界框的框选结果；
步骤十、利用改进非极大值抑制算法对框选结果进行滤波，过程如下：
步骤1001、利用Sigmoid函数对步骤九中输出的每个预测的旋转边界框进行打分，按照分数由高到低的顺序对预测的旋转边界框进行排序，根据设置的打分阈值获取结果大于打分阈值的预测的旋转边界框，并将这些预测的旋转边界框视为初级筛选检测框Bn，其中，n为初级筛选检测框编号且n＝1，2，...，N，N为初级筛选检测框总数，将初级筛选检测框中得分最高的初级筛选检测框视为得分最高检测框BM，将初级筛选检测框中其余的初级筛选检测框视为候选检测框Bm，其中，m为候选检测框编号且m＝1，2，...，N-1；
步骤1002、获取候选检测框Bm和得分最高检测框BM之间的角度差，当候选检测框Bm和得分最高检测框BM之间的角度差的绝对值大于15°时，删除候选检测框Bm；否则，利用Skew IoU计算候选检测框Bm和得分最高检测框BM之间的交并比SIoU；
当候选检测框Bm和得分最高检测框BM之间的交并比SIoU大于非极大值抑制负向阈值时，对候选检测框Bm重打分，执行步骤1003；
当候选检测框Bm和得分最高检测框BM之间的交并比SIoU不大于非极大值抑制负向阈值时，保留对应的候选检测框Bm，框选出SAR舰船目标；
步骤1003、根据公式
计算候选检测框Bm的重打分Sm，其中，
为惩罚函数，
为候选检测框Bm利用Sigmoid函数获取的打分结果，σ为第二超参数，θM为得分最高检测框BM的角度，θm为候选检测框Bm的角度，F(·)为惩罚因子且
当候选检测框Bm的重打分Sm小于非极大值抑制正向阈值时，删除候选检测框Bm；否则，保留对应的候选检测框Bm，框选出SAR舰船目标。
2.按照权利要求1所述的基于双向特征金字塔网络的旋转SAR舰船目标检测方法，其特征在于：所述第一超参数λ取0.0001～0.0005。
3.按照权利要求1所述的基于双向特征金字塔网络的旋转SAR舰船目标检测方法，其特征在于：所述Ini的权重参数wi通过修正线性单元ReLU修正wi的数据值为非负。
4.按照权利要求1所述的基于双向特征金字塔网络的旋转SAR舰船目标检测方法，其特征在于：步骤104中所述基本单元的堆叠次数为3～10次。
5.按照权利要求1所述的基于双向特征金字塔网络的旋转SAR舰船目标检测方法，其特征在于：所述骨干网络EfficientNet包括七个阶段，每个阶段均包括卷积块和残差块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210946133.2A CN115294452B (zh) | 2022-08-08 | 2022-08-08 | 基于双向特征金字塔网络的旋转sar舰船目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210946133.2A CN115294452B (zh) | 2022-08-08 | 2022-08-08 | 基于双向特征金字塔网络的旋转sar舰船目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115294452A CN115294452A (zh) | 2022-11-04 |
| CN115294452B true CN115294452B (zh) | 2023-04-07 |
Family
ID=83828717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210946133.2A Active CN115294452B (zh) | 2022-08-08 | 2022-08-08 | 基于双向特征金字塔网络的旋转sar舰船目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115294452B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116469014B (zh) * | 2023-01-10 | 2024-04-30 | 南京航空航天大学 | 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法 |
| CN116310837B (zh) * | 2023-04-11 | 2024-04-23 | 安徽大学 | 一种sar舰船目标旋转检测方法及*** |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881918B (zh) * | 2020-06-11 | 2022-10-04 | 中国人民解放军战略支援部队信息工程大学 | 一种多尺度旋转船舶目标检测算法 |
| CN111723748B (zh) * | 2020-06-22 | 2022-04-29 | 电子科技大学 | 一种红外遥感图像舰船检测方法 |
| CN112069910B (zh) * | 2020-08-11 | 2024-03-01 | 上海海事大学 | 一种遥感图像多方向舰船目标检测方法 |
| CN112800955A (zh) * | 2021-01-27 | 2021-05-14 | 中国人民解放军战略支援部队信息工程大学 | 基于加权双向特征金字塔的遥感影像旋转目标检测方法及*** |
| CN113191372B (zh) * | 2021-04-29 | 2022-05-20 | 华中科技大学 | 一种舰船目标有向检测模型的构建方法及应用 |
| CN113536936B (zh) * | 2021-06-17 | 2022-10-11 | 中国人民解放军海军航空大学航空作战勤务学院 | 一种舰船目标检测方法及*** |
| CN114821408A (zh) * | 2022-04-13 | 2022-07-29 | 华南理工大学 | 基于旋转目标检测的包裹位置实时检测方法、装置、设备和介质 |
-
2022
- 2022-08-08 CN CN202210946133.2A patent/CN115294452B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115294452A (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115294452B (zh) | 基于双向特征金字塔网络的旋转sar舰船目标检测方法 | |
| CN106127204B (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| Li et al. | Cross-layer attention network for small object detection in remote sensing imagery | |
| CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN111091095B (zh) | 一种遥感图像中船只目标的检测方法 | |
| CN109325504A (zh) | 一种水下海参识别方法及*** | |
| CN109145747A (zh) | 一种水面全景图像语义分割方法 | |
| CN115719338A (zh) | 一种基于改进YOLOv5的PCB板表面缺陷检测方法 | |
| CN113191372B (zh) | 一种舰船目标有向检测模型的构建方法及应用 | |
| CN111753677A (zh) | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 | |
| CN115546650A (zh) | 基于yolo-v网络的检测遥感影像中舰船方法 | |
| CN107731011A (zh) | 一种港口泊船监测方法、***及电子设备 | |
| CN109344774A (zh) | 遥感影像中的火力发电站目标识别方法 | |
| CN116994135A (zh) | 一种基于视觉与雷达融合的船舶目标检测方法 | |
| CN110427030B (zh) | 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法 | |
| Zhao et al. | Boundary regularized building footprint extraction from satellite images using deep neural network | |
| CN110069987B (zh) | 基于改进vgg网络的单阶段船舶检测算法及装置 | |
| CN114565824A (zh) | 基于全卷积网络的单阶段旋转舰船检测方法 | |
| CN116403007B (zh) | 基于目标向量的遥感影像变化检测方法 | |
| CN113505808A (zh) | 基于深度学习用于配电类设施开关检测识别算法 | |
| CN113435266A (zh) | 基于极值点特征增强的fcos智能目标检测方法 | |
| CN113284185A (zh) | 用于遥感目标检测的旋转目标检测方法 | |
| Zhang et al. | Recognition and detection of wolfberry in the natural background based on improved YOLOv5 network | |
| CN116630808A (zh) | 基于遥感图像特征提取的旋转舰船检测方法 | |
| CN114445572B (zh) | 一种基于DeeplabV3+的陌生海域中障碍物即时定位与地图构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |