CN111753677A - 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 - Google Patents

基于特征金字塔结构的多角度遥感船舶图像目标检测方法 Download PDF

Info

Publication number
CN111753677A
CN111753677A CN202010521967.XA CN202010521967A CN111753677A CN 111753677 A CN111753677 A CN 111753677A CN 202010521967 A CN202010521967 A CN 202010521967A CN 111753677 A CN111753677 A CN 111753677A
Authority
CN
China
Prior art keywords
ship
remote sensing
network
sample
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010521967.XA
Other languages
English (en)
Other versions
CN111753677B (zh
Inventor
李训根
李子璇
潘勉
吕帅帅
马琪
张战
门飞飞
刘爱林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010521967.XA priority Critical patent/CN111753677B/zh
Publication of CN111753677A publication Critical patent/CN111753677A/zh
Application granted granted Critical
Publication of CN111753677B publication Critical patent/CN111753677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于特征金字塔结构的多角度遥感船舶图像目标检测方法，包括以下步骤：S1，收集遥感卫星船舶图像数据集，并进行样本标注，得到标注目标；S2，对经过S1所提取的数据集中的样本进行数据预处理，形成完整的训练数据集；S3，用经过改进的特征金字塔网络对预处理后的样本进行特征提取，得到多层特征融合的特征金字塔；S4，经过RPN网络生成候选区域；S5，添加不同池化大小的ROI Pooling层；S6，搭建Fast R‑CNN网络；S7，对由S1采集到的测试数据进行训练阶段的步骤S2预处理操作；S8，将经过S7处理的样本送入S3、S4、S5和S6构建的模型中进行测试求得结果，即最后经过Fast R‑CNN输出分类与回归的结果。

Description

基于特征金字塔结构的多角度遥感船舶图像目标检测方法
技术领域
本发明涉及到遥感图片目标检测技术领域，具体来讲，涉及一种基于特征金字塔结构的多角度遥感船舶图像目标检测方法。
背景技术
近年来，随着世界经济贸易的全面发展，除陆运、空运等交通方式外，海洋、湖泊等水域交通也因其载货量大及成本低等独有的优势受到越来越多的重视和发展。除此之外，国家对海域的监管和对海洋权益的保护也愈加重视，因此，船舶监测的研究和发展，对军用、商用和民用领域以及国防建设、港口管理、货物运输和海上救援和打击违法船只方面都有着重要的意义。
现阶段，相关部门对海域船舶监测还集中在传统的近距离监测，现有的交通管理***也存在一些无法避免的局限性，目前越来越多的学者开始运用新兴技术对船舶动态监测手段进行研究。随着科技的发展，全球发射卫星数量的增多，高分辨率遥感图像目标检测技术也作为船舶目标检测的新兴技术。船舶卫星图像覆盖水域面积大，时间范围广，并且图像的分辨率清晰度等有了大幅度的提高。
传统的遥感船舶目标检测很多集中在灰度统计、阈值分割和边缘检测等。但是这些方法都适只用于简单、平静的海面，应用场景很单一。现阶段的遥感图像船舶检测也有很多模型和算法。比如词袋模型、稀疏表示、特征提取等。但是这些方法的计算量很大，而且往往会错过一些小型船只，不能够充分提取高分辨率图像中的高层次语义特征。
目前，深度学***边界框对于长宽比大的船舶时，会带来很多实际上不属于该船舶目标的多余像素；(4)复杂的背景。使得遥感船舶目标检测的难度加大。
发明内容
鉴于以上存在的技术问题，本发明用于提供一种基于多尺度深度神经结构的多角度遥感船舶图像目标检测框架，该方法首先对数据集进行预处理，提高了模型的泛化能力；再经过改进的特征金字塔网络提取进行特征提取，最大化网络所有层之间的信息流和并获取了最优的船舶特征；然后在Fast R-CNN网络中，将ROI Pooling层模块中添加两种池化大小的池化层，得到更准确包含遥感船舶的特征的特征图，最后对候选区域中目标的类别进行分类和对目标的坐标进行回归。
为解决上述技术问题，本发明采用如下的技术方案：
一种基于特征金字塔结构的多角度遥感船舶图像目标检测方法，包括以下步骤：
S1，收集遥感卫星船舶图像数据集，并进行样本标注，得到标注目标；
S2，对经过S1所提取的数据集中的样本进行数据预处理，形成完整的训练数据集；
S3，用经过改进的特征金字塔网络对预处理后的样本进行特征提取，得到多层特征融合的特征金字塔；
S4，经过RPN网络生成候选区域；
S5，添加不同池化大小的ROI Pooling层；
S6，搭建Fast R-CNN网络；
S7，对由S1采集到的测试数据进行训练阶段的步骤S2预处理的数据剪裁操作；
S8，将经过S7处理的样本送入S3、S4、S5和S6构建的模型中进行测试求得结果，即最后经过Fast R-CNN输出分类与回归的结果。
优选地，所述步骤S1进一步包括：
S101，从Google Earth卫星地图上收集含有船舶目标的港口、远海、码头和湖泊等地的遥感卫星图片，作为训练图像；
S102，标注训练图像中所有船舶目标的类别和位置坐标，得到标注目标。
优选地，所述步骤S2进一步包括：
S201，将训练图像剪裁为1000×1000大小的图片，重叠率为20％；
S202，去除剪裁后训练集中的负样本；
S203，对图片进行水平翻转、旋转处理，形成完整的训练数据集。
优选地，所述步骤S3进一步包括：
首先选用ResNet-101残差网络对输入遥感卫星图像进行特征提取，选择最后4个残差模块的最后一层的特征图构建自下而上的网络，通过横向连接和密集连接获得更高分辨率的特征图，搭建自上而下的网络，其中密集连接是指每层特征图的输入不仅包括相邻特征图下采样的输出，还包含其余上层特征图下采样的输出，所有的输入通过串联来合并；横向连接的输入是指与自下而上网络中对应特征图经过1×1的卷积的输出，最终通过自上而下网络的最下面的3层作为特征提取网络的输出，得到3层特征层过程表示为以下形式：
Figure BDA0002532456150000031
其中，Ck表示自下而上网络的第k层特征图，Pk表示第k层经过融合过的特征图(k由上往下递减)，f1×1和f3×3表示1×1和3×3的卷积层，Up表示上采样，2i表示上采样的大小，k+i的值不超过5，通过这个过程，得到多层特征融合的特征金字塔。
优选地，所述步骤S4进一步包括：
在3层特征图上分别搭建区域生成网络，通过3×3的卷积层，再连接两个1×1的卷积层进行前景和背景的分类预测和边界框的坐标回归，区域生成网络是全卷积网络，3个特征图的区域生成网络的参数相互独立，互不共享参数。
优选地，所述步骤S5进一步包括：
对于上一步输出的候选区域，添加两个ROI Pooling层，添加的两个ROI Pooling层的池化大小是10×3和3×10，ROI Pooling层的总数为3层，大小分别为7×7、10×3和3×10。每一个候选区域分别经过3层ROI Pooling层，最终输出得到固定大小是7×7×ConvDepth、10×3×ConvDepth和3×10×ConvDepth的特征图。
优选地，所述步骤S6进一步包括：
S601，对每个候选区域的特征图，拉平成为一维向量，经过ReLU函数，最后分别经过两个全连接层，一个经过Softmax对候选区域进行分类；另一个进行检测框坐标的更精确的回归；
S602，所述遥感船舶目标检测网络的损失函数表达式为：
Figure BDA0002532456150000041
其中，li表示物体的标签，pi表示由Softmax函数计算的各种类别的概率分布，ti表示预测的五个坐标矢量，
Figure BDA0002532456150000042
表示与预测区域对应的真值检测框的坐标，N表示类别的个数，本方法中只有船舶一类数据，即Ncls＝1，超参数λ控制两个损失之间的平衡，本方法均使用λ＝1，另外，函数Lcls和Lreg定义为：
Lcls(p,l)＝-logpl
Figure BDA0002532456150000043
Figure BDA0002532456150000044
S603，初始化上述模型中所有待训练的权重及偏置，设置训练参数，包括学习率、batch_size、RPN和Fast R-CNN网络各自的正负样本的阈值等，开启模型训练。
优选地，所述步骤S8进一步包括：
计算遥感船舶目标的召回率(Recall)、精准率(Precision)、平均精度(Ap)和F-measure。
S801，遥感船舶测试样本的召回率可计算为：
Figure BDA0002532456150000051
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶，P是所有真值样本；
S802，遥感船舶测试样本的精准率可计算为：
Figure BDA0002532456150000052
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶；FP(False positives)是假的正样本，即负样本被错误识别为正样本，船舶的图片被错误地识别成了其他类别；
S803，平均精度是在各种IoU阈值(0.5,0.55，...，0.95)下分别由每个类别计算的，首先要把结果按照置信度排序，通过在11个等距水平轴上召回率的平均内插精度，估算插值的准确率-召回率曲线下的面积，平均精度可计算为：
Figure BDA0002532456150000053
其中，r是召回率，c是给定的类别的数目，在本方法中c是船舶一类，t是IoU的阈值，另外，pinterp(r)可计算为：
Figure BDA0002532456150000054
通过将每次召回率r的准确率重新分配给更高召回率的最大精度，使该曲线单调递减；
S804，遥感船舶测试样本的F-measure计算为：
Figure BDA0002532456150000061
Precision和recall是上面说明的精准率和召回率。
采用本发明具有如下的有益效果：
(1)本发明实施和之前的基于特征金字塔结构建立的模型不同，特征金字塔是融合多级信息的有效多尺度方法，遥感船舶检测是一个大物体检测和小物体检测都要兼顾的任务，同时，还要考虑到遥感船舶图像中背景的复杂多样性。因此在原有的特征金字塔网络的基础上，对自上而下的网络中的下层中又添加了跨层连接来连通网络中前后层；使用密集连接，下层的输入不仅是相邻上层下采样，而包括跨层的下采样。这样提取的特征，不仅将增强了特征传播，还鼓励了特征重用，提取到的特征图最大化了网络中所有层之间的信息流和获取了最优的船舶特征。
(2)本发明实施在ROI Pooling层中添加两种不同长宽比的ROI Pooling层来捕捉更多遥感船舶特征。基于自然场景中目标物体的大小，传统的每个候选区域最后生成的池化长宽相同的固定大小的特征图。但是经过统计遥感船舶图片中的长宽比，长宽大小相同的特征图不适用于遥感船舶检测，考虑到大长宽比的船舶目标，最终生成其他的长宽比大小的特征图进行进一步检测。这样得到的池化后的特征图更准确的包含遥感船舶的特征，在下阶段的处理中，可以对特征图进行更准确的回归调整。
附图说明
图1为本发明实施例的基于特征金字塔结构的多角度遥感船舶图像目标检测方法的步骤流程图；
图2为本发明实施例的特征提取网络的结构图；
图3为本发明实施例的ROI Pooling层生成的不同池化大小特征图的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，为本发明公开了一种基于特征金字塔结构的多角度遥感船舶图像目标检测方法，具体实施步骤如下：
S1，在Google Earth卫星地图上公开收集的遥感卫星船舶图像，为了体现遥感船舶数据集场景的多样性和丰富性，在全球范围内选取了包含著名港口、民用码头、军事基地、近海岸区域、远海和湖泊等场景的船舶图片，并对每个船舶目标的类别和坐标进行样本标注。
S2，将大场景的数据集图片剪裁成重叠率为20％的1000×1000像素大小的图片，从而改善模型读入大图片困难的问题。对剪裁后的图片经过负样本处理，删除没有目标船舶的图片。为了提高模型的泛化能力，对数据集水平翻转、旋转进行数据扩增。在训练集和测试集的选取过程中，保证所选取的训练集样本和测试集样本涵盖各个遥感船舶场景。训练集和测试集样本数的比例为7:3。
S3，对样本进行多尺度特征提取。从卷积神经网络提取到的各层特征来看，层级越高语义信息越丰富，但是位置信息越少，适合大目标检测及复杂目标区分；而低层级的特征位置信息丰富，对目标定位和小目标检测更有利。针对遥感船舶中共存的大小目标，将高低层次的特征结合起来并在经过改进的特征金字塔结构的多个层级的特征图上做目标检测。最后输出的后序预测不共享的分类和回归的参数，每一层的输出都是独立的，这样生成的特征图可以生成更多信息。这样的特征提取网络具有平滑的特征传播和特征重用的特性，大大提高了检测性能。
S4，经过RPN网络生成候选区域；
S5，添加不同池化大小的ROI Pooling层；对于候选区域，通过重用卷积特征图，采用ROI Pooling层对每个区域提取固定尺寸的特征图，基于自然场景中目标物体的大小，最终每个区域得到7×7×ConvDepth的特征图。但是长宽相同的特征图并不是很适用于船舶目标，考虑到船舶目标的大长宽比，我们添加了两种不同的池化大小来捕捉更多遥感船舶特征，帮助检测宽度远大于其高度类水平样本和高度远远大于宽度类垂直样本。池化后的特征被连接在一起以便进一步检测，这样的特征图更准确的包含遥感船舶的特征。
S6，搭建Fast R-CNN网络；最后输出通过Softmax的分类结果和回归的坐标参数结果。
S7，对由S1采集到的测试数据进行训练阶段的步骤S2预处理的数据剪裁操作；测试的数据也是需要剪裁为1000*1000像素大小才能送入网络的。
S8，将经过S7处理的样本送入S3、S4、S5和S6构建的模型中进行测试求得结果，即最后经过Fast R-CNN输出分类与回归的结果。
经过上述8个步骤，即可得到本发明所提出的一种基于特征金字塔结构的多角度遥感船舶图像目标检测模型。
具体应用实例中，所述步骤S3进一步包括：
首先选用ResNet-101残差网络对输入遥感卫星图像进行特征提取，选择最后4个残差模块的最后一层的特征图构建自下而上的网络。通过横向连接和密集连接获得更高分辨率的特征图，搭建自上而下的网络，其中密集连接是指每层特征图的输入不仅包括相邻特征图下采样的输出，还包含其余上层特征图下采样的输出，所有的输入通过串联来合并；横向连接的输入是指与自下而上网络中对应特征图经过1×1的卷积的输出。最终我们通过自上而下网络的最下面的3层作为特征提取网络的输出。得到3层特征层过程可以表示为以下形式：
Figure BDA0002532456150000081
其中，Ck表示自下而上网络的第k层特征图，Pk表示第k层经过融合过的特征图(k由上往下递减)，f1×1和f3×3表示1×1和3×3的卷积层，Up表示上采样，2i表示上采样的大小，k+i的值不超过5。通过这个过程，我们可以得到多层特征融合的特征金字塔，如图2所示。
后序的预测每层之间不共享的分类和回归的参数，每一层的输出都是独立的，这样生成的特征图可以生成更多的多尺度信息。我们最大化了网络中所有层之间的信息流并获取了最优的船舶特征。
具体应用实例中，所述步骤S4进一步包括：
在3层特征图上分别搭建区域生成网络，通过3×3的卷积层，再连接两个1×1的卷积层进行前景和背景的分类预测和边界框的坐标回归，针对每一个锚点，都有两组不同的输出：(1)是否存在某种目标，即输出是背景和前景的预测值；(2)边界框回归输出4个预测值。区域生成网络是全卷积网络，3个特征图的区域生成网络的参数相互独立，互不共享参数。
具体应用实例中，所述步骤S5进一步包括：
对于上一步输出的候选区域，添加两个ROI Pooling层，添加两个池化大小是10×3和3×10的ROI Pooling层。ROI Pooling层的总数为3层，大小分别为7×7、10×3和3×10。3×10的池化大小可以捕获更多的水平特征，并有助于检测宽度远大于其高度的船舶目标；10×3的池化大小可以捕获更多的垂直特征，当高度大于宽度时，对于垂直船舶目标很有用。
每一个候选区域分别经过3层ROI Pooling层，最终输出得到固定大小是7×7×ConvDepth、10×3×ConvDepth和3×10×ConvDepth的特征图，如图3所示。ROI Pooling层将三层结果级联以进行进一步的分类和回归。
具体应用实例中，所述步骤S6进一步包括：
S601，对每个候选区域的特征图，拉平成为一维向量，经过ReLU函数，最后分别经过两个全连接层，一个经过Softmax对候选区域进行分类；另一个进行检测框坐标的更精确的回归。
S602，所述遥感船舶目标检测网络的损失函数表达式为：
Figure BDA0002532456150000091
其中，li表示物体的标签，pi表示由Softmax函数计算的各种类别的概率分布，ti表示预测的五个坐标矢量，
Figure BDA0002532456150000101
表示与预测区域对应的真值检测框的坐标。N表示类别的个数，本方法只有船舶一类数据，即Ncls＝1，超参数λ控制两个损失之间的平衡，本方法均使用λ＝1。另外，函数Lcls和Lreg定义为：
Lcls(p,l)＝-logpl
Figure BDA0002532456150000102
Figure BDA0002532456150000103
S603，初始化上述模型中所有待训练的权重及偏置，设置训练参数，包括学习率、batch_size、RPN和Fast R-CNN网络各自的正负样本的阈值等，开启模型训练。
具体应用实例中，所述步骤S8进一步包括：
计算遥感船舶目标的召回率(Recall)、精准率(Precision)、平均精度(Ap)和F-measure。
S801，遥感船舶测试样本的召回率可计算为：
Figure BDA0002532456150000104
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶。P是所有真值样本。
S802，遥感船舶测试样本的精准率可计算为：
Figure BDA0002532456150000105
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶。FP(False positives)是假的正样本，即负样本被错误识别为正样本，船舶的图片被错误地识别成了其他类别。
S803，平均精度是在各种IoU阈值(0.5,0.55，...，0.95)下分别由每个类别计算的，首先要把结果按照置信度排序，通过在11个等距水平轴上召回率的平均内插精度，估算插值的准确率-召回率曲线下的面积。平均精度可计算为：
Figure BDA0002532456150000111
其中，r是召回率，c是给定的类别的数目，在本方法中c是船舶一类，t是IoU的阈值。另外，pinterp(r)可计算为：
Figure BDA0002532456150000112
通过将每次召回率r的准确率重新分配给更高召回率的最大精度，使该曲线单调递减。
S804，遥感船舶测试样本的F-measure可计算为：
Figure BDA0002532456150000113
Precision和recall是上面说明的精准率和召回率。
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (8)

1.一种基于特征金字塔结构的多角度遥感船舶图像目标检测方法，其特征在于，包括以下步骤：
S1，收集遥感卫星船舶图像数据集，并进行样本标注，得到标注目标；
S2，对经过S1所提取的数据集中的样本进行数据预处理，形成完整的训练数据集；
S3，用经过改进的特征金字塔网络对预处理后的样本进行特征提取，得到多层特征融合的特征金字塔；
S4，经过RPN网络生成候选区域；
S5，添加不同池化大小的ROI Pooling层；
S6，搭建Fast R-CNN网络；
S7，对由S1采集到的测试数据进行训练阶段的步骤S2预处理的数据剪裁操作；
S8，将经过S7处理的样本送入S3、S4、S5和S6构建的模型中进行测试求得结果，即最后经过Fast R-CNN输出分类与回归的结果。
2.如权利要求1所述的基于特征金字塔结构的多角度遥感船舶图像目标检测方法，其特征在于，所述步骤S1进一步包括：
S101，从Google Earth卫星地图上收集含有船舶目标的港口、远海、码头和湖泊等地的遥感卫星图片，作为训练图像；
S102，标注训练图像中所有船舶目标的类别和位置坐标，得到标注目标。
3.如权利要求1所述的基于特征金字塔结构的多角度遥感船舶图像目标检测方法，其特征在于，所述步骤S2进一步包括：
S201，将训练图像剪裁为1000×1000大小的图片，重叠率为20％；
S202，去除剪裁后训练集中的负样本；
S203，对图片进行水平翻转、旋转处理，形成完整的训练数据集。
4.如权利要求3所述的基于特征金字塔结构的多角度遥感船舶图像目标检测方法，其特征在于，所述步骤S3进一步包括：
首先选用ResNet-101残差网络对输入遥感卫星图像进行特征提取，选择最后4个残差模块的最后一层的特征图构建自下而上的网络；
通过横向连接和密集连接获得更高分辨率的特征图，搭建自上而下的网络，其中密集连接是指每层特征图的输入不仅包括相邻特征图下采样的输出，还包含其余上层特征图下采样的输出，所有的输入通过串联来合并；
横向连接的输入是指与自下而上网络中对应特征图经过1×1的卷积的输出；通过自上而下网络的最下面的3层作为特征提取网络的输出，得到3层特征层过程表示为以下形式：
Figure FDA0002532456140000021
其中，Ck表示自下而上网络的第k层特征图，Pk表示第k层经过融合过的特征图(k由上往下递减)，f1×1和f3×3表示1×1和3×3的卷积层，Up表示上采样，2i表示上采样的大小，k+i的值不超过5，通过这个过程，得到多层特征融合的特征金字塔。
5.如权利要求1所述的基于特征金字塔结构的多角度遥感船舶图像目标检测方法，其特征在于，所述步骤S4进一步包括：
在3层特征图上分别搭建区域生成网络，通过3×3的卷积层，再连接两个1×1的卷积层进行前景和背景的分类预测和边界框的坐标回归，区域生成网络是全卷积网络，3个特征图的区域生成网络的参数相互独立，互不共享参数。
6.如权利要求1所述的基于特征金字塔结构的多角度遥感船舶图像目标检测方法，其特征在于，所述步骤S5进一步包括：
对于上一步输出的候选区域，添加两个ROI Pooling层，添加的两个ROI Pooling层的池化大小是10×3和3×10，ROI Pooling层的总数为3层，大小分别为7×7、10×3和3×10，每一个候选区域分别经过3层ROI Pooling层，最终输出得到固定大小是7×7×ConvDepth、10×3×ConvDepth和3×10×ConvDepth的特征图。
7.如权利要求1所述的基于特征金字塔结构的多角度遥感船舶图像目标检测方法，其特征在于，所述步骤S6进一步包括：
S601，对每个候选区域的特征图，拉平成为一维向量，经过ReLU函数，最后分别经过两个全连接层，一个经过Softmax对候选区域进行分类；另一个进行检测框坐标的更精确的回归；
S602，所述遥感船舶目标检测网络的损失函数表达式为：
Figure FDA0002532456140000031
其中，li表示物体的标签，pi表示由Softmax函数计算的各种类别的概率分布，ti表示预测的五个坐标矢量，
Figure FDA0002532456140000032
表示与预测区域对应的真值检测框的坐标，N表示类别的个数，此处只有船舶一类数据，即Ncls＝1，超参数λ控制两个损失之间的平衡，此处使用λ＝1，另外，函数Lcls和Lreg定义为：
Lcls(p,l)＝-logpl
Figure FDA0002532456140000033
Figure FDA0002532456140000034
S603，初始化上述模型中所有待训练的权重及偏置，设置训练参数，包括学习率、batch_size、RPN和Fast R-CNN网络各自的正负样本的阈值，开启模型训练。
8.如权利要求1所述的基于特征金字塔结构的多角度遥感船舶图像目标检测方法，其特征在于，所述步骤S8进一步包括：
计算遥感船舶目标的召回率(Recall)、精准率(Precision)、平均精度(Ap)和F-measure，
S801，遥感船舶测试样本的召回率可计算为：
Figure FDA0002532456140000041
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶，P是所有真值样本；
S802，遥感船舶测试样本的精准率可计算为：
Figure FDA0002532456140000042
其中，TP(True positives)是正样本被正确识别为正样本，船舶的图片被正确的识别成了船舶；FP(False positives)是假的正样本，即负样本被错误识别为正样本，船舶的图片被错误地识别成了其他类别；
S803，平均精度是在各种IoU阈值(0.5,0.55，...，0.95)下分别由每个类别计算的，首先要把结果按照置信度排序，通过在11个等距水平轴上召回率的平均内插精度，估算插值的准确率-召回率曲线下的面积，平均精度可计算为：
Figure FDA0002532456140000043
其中，r是召回率，c是给定的类别的数目，在本方法中c是船舶一类，t是IoU的阈值，另外，pinterp(r)计算为：
Figure FDA0002532456140000044
通过将每次召回率r的准确率重新分配给更高召回率的最大精度，使该曲线单调递减；
S804，遥感船舶测试样本的F-measure计算为：
Figure FDA0002532456140000045
Precision和recall为上述精准率和召回率。
CN202010521967.XA 2020-06-10 2020-06-10 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 Active CN111753677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010521967.XA CN111753677B (zh) 2020-06-10 2020-06-10 基于特征金字塔结构的多角度遥感船舶图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521967.XA CN111753677B (zh) 2020-06-10 2020-06-10 基于特征金字塔结构的多角度遥感船舶图像目标检测方法

Publications (2)

Publication Number Publication Date
CN111753677A true CN111753677A (zh) 2020-10-09
CN111753677B CN111753677B (zh) 2023-10-31

Family

ID=72675908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521967.XA Active CN111753677B (zh) 2020-06-10 2020-06-10 基于特征金字塔结构的多角度遥感船舶图像目标检测方法

Country Status (1)

Country Link
CN (1) CN111753677B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183463A (zh) * 2020-10-23 2021-01-05 珠海大横琴科技发展有限公司 基于雷达图像的船只识别模型的验证方法及装置
CN112233088A (zh) * 2020-10-14 2021-01-15 哈尔滨市科佳通用机电股份有限公司 基于改进的Faster-rcnn的制动软管丢失检测方法
CN112270280A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 一种基于深度学习的遥感图像中的露天矿场检测方法
CN112508848A (zh) * 2020-11-06 2021-03-16 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN113536986A (zh) * 2021-06-29 2021-10-22 南京逸智网络空间技术创新研究院有限公司 一种基于代表特征的遥感图像中的密集目标检测方法
CN113837199A (zh) * 2021-08-30 2021-12-24 武汉理工大学 一种基于跨层残差双路金字塔网络的图像特征提取方法
CN114220019A (zh) * 2021-11-10 2022-03-22 华南理工大学 一种轻量级沙漏式遥感图像目标检测方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711288A (zh) * 2018-12-13 2019-05-03 西安电子科技大学 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN109800716A (zh) * 2019-01-22 2019-05-24 华中科技大学 一种基于特征金字塔的海面遥感图像船舶检测方法
CN111126202A (zh) * 2019-12-12 2020-05-08 天津大学 基于空洞特征金字塔网络的光学遥感图像目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711288A (zh) * 2018-12-13 2019-05-03 西安电子科技大学 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN109800716A (zh) * 2019-01-22 2019-05-24 华中科技大学 一种基于特征金字塔的海面遥感图像船舶检测方法
CN111126202A (zh) * 2019-12-12 2020-05-08 天津大学 基于空洞特征金字塔网络的光学遥感图像目标检测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233088A (zh) * 2020-10-14 2021-01-15 哈尔滨市科佳通用机电股份有限公司 基于改进的Faster-rcnn的制动软管丢失检测方法
CN112233088B (zh) * 2020-10-14 2021-08-06 哈尔滨市科佳通用机电股份有限公司 基于改进的Faster-rcnn的制动软管丢失检测方法
CN112183463A (zh) * 2020-10-23 2021-01-05 珠海大横琴科技发展有限公司 基于雷达图像的船只识别模型的验证方法及装置
CN112183463B (zh) * 2020-10-23 2021-10-15 珠海大横琴科技发展有限公司 基于雷达图像的船只识别模型的验证方法及装置
CN112270280B (zh) * 2020-11-02 2022-10-14 重庆邮电大学 一种基于深度学习的遥感图像中的露天矿场检测方法
CN112270280A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 一种基于深度学习的遥感图像中的露天矿场检测方法
CN112508848A (zh) * 2020-11-06 2021-03-16 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN112508848B (zh) * 2020-11-06 2024-03-26 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN113536986A (zh) * 2021-06-29 2021-10-22 南京逸智网络空间技术创新研究院有限公司 一种基于代表特征的遥感图像中的密集目标检测方法
CN113837199A (zh) * 2021-08-30 2021-12-24 武汉理工大学 一种基于跨层残差双路金字塔网络的图像特征提取方法
CN113837199B (zh) * 2021-08-30 2024-01-09 武汉理工大学 一种基于跨层残差双路金字塔网络的图像特征提取方法
CN114220019A (zh) * 2021-11-10 2022-03-22 华南理工大学 一种轻量级沙漏式遥感图像目标检测方法及***
CN114220019B (zh) * 2021-11-10 2024-03-29 华南理工大学 一种轻量级沙漏式遥感图像目标检测方法及***

Also Published As

Publication number Publication date
CN111753677B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN111753677B (zh) 基于特征金字塔结构的多角度遥感船舶图像目标检测方法
CN112308019B (zh) 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
Liu et al. Multiscale U-shaped CNN building instance extraction framework with edge constraint for high-spatial-resolution remote sensing imagery
CN108805070A (zh) 一种基于嵌入式终端的深度学习行人检测方法
Gao et al. MLNet: Multichannel feature fusion lozenge network for land segmentation
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN108537824B (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN111898633A (zh) 一种基于高光谱图像的海上舰船目标检测方法
CN107731011B (zh) 一种港口泊船监测方法、***及电子设备
CN113591617B (zh) 基于深度学习的水面小目标检测与分类方法
Nurkarim et al. Building footprint extraction and counting on very high-resolution satellite imagery using object detection deep learning framework
CN115359366A (zh) 基于参数优化的遥感图像目标检测方法
Soloviev et al. Comparing cnn-based object detectors on two novel maritime datasets
CN113486819A (zh) 一种基于YOLOv4算法的船舶目标检测方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN114565824A (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN116935332A (zh) 一种基于动态视频的渔船目标检测与跟踪方法
CN116363526A (zh) MROCNet模型构建与多源遥感影像变化检测方法及***
Chang et al. Yolov3 based ship detection in visible and infrared images
CN116630808A (zh) 基于遥感图像特征提取的旋转舰船检测方法
CN116503602A (zh) 基于多层级边缘增强的非结构化环境三维点云语义分割方法
Chen et al. SAR ship detection under complex background based on attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant