CN110516605A - 基于级联神经网络的任意方向舰船目标检测方法 - Google Patents
基于级联神经网络的任意方向舰船目标检测方法 Download PDFInfo
- Publication number
- CN110516605A CN110516605A CN201910801199.0A CN201910801199A CN110516605A CN 110516605 A CN110516605 A CN 110516605A CN 201910801199 A CN201910801199 A CN 201910801199A CN 110516605 A CN110516605 A CN 110516605A
- Authority
- CN
- China
- Prior art keywords
- network
- ship target
- target detection
- neural network
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于级联神经网络的任意方向舰船目标检测方法,包括:将卫星影像输入到第一区域筛选网络,得到舰船目标候选区域图像;将舰船目标候选区域图像输入到预先训练好的级联神经网络舰船检测模型中进行目标检测,得到初步目标检测结果;利用NMS方法对初步目标检测结果进行去重,得到目标检测结果;其中,级联神经网络舰船检测模型包括依次级联的第二区域筛选网络、网络连接层和目标检测网络。本发明提供的基于级联神经网络的任意方向舰船目标检测方法,能够有效提高舰船目标检测准确性。
Description
技术领域
本发明涉及图像处理技术领域,更具体的说是涉及一种基于级联神经网 络的任意方向舰船目标检测方法。
背景技术
近年来,随着航空航天技术的进步,遥感影像获取的手段日益成熟,影 像的分辨率,包括时间分辨率、空间分辨率、辐射分辨率和光谱分辨率正在 不断提高。目前,遥感已突破数据获取的瓶颈,正在走向全面应用的新阶段, 为海洋近岸目标的提取奠定了数据基础。舰船作为重要的海洋目标,是海上 监测和战时打击的重点目标,实时有效的获取舰船的基本信息,在民用和军 事领域都有着巨大的意义。在民用领域,辅助遇难船只救援,打击走私、非 法倾倒油污、非法捕鱼和海盗等违法行为,监控特定港口或海域的海运交通 等都需要获取舰船信息;在军事领域,通过对重点港口和海域的舰船进行检 测、监视和识别,确定舰船的型号、种类、位置等重要信息,便于海战场环 境态势的分析,从而掌握对方的海上作战实力,评估战时海上打击效果,形 成海上作战情报等,为海战场决策支持提供依据。
早期的舰船检测主要是使用SAR图像,且已比较成熟,可见光遥感图 像的舰船目标研究较晚,相关资料也较少。而在光学图像中,海洋背景下的 舰船检测也已有广泛研究,靠岸舰船检测相对海上舰船检测起步较晚。
目前,舰船检测的方法主要分为两大类:传统方法和基于深度学习的方 法。传统的卫星影像目标检测方法主要采用从粗到细的多步骤策略,一般包 括影像预处理、海陆分割、区域特征提取、目标判别等步骤,传统方法需要 人工设计特征提取方法,适应性较差,导致检测结果不准确。
深度学习技术由于其强大的特征表示和端到端的训练学习能力使得其在 目标检测与识别领域应用广泛,并极大地提升了检测性能。基于深度学习的 目标检测方法首先也是从图像中提取候选区域,然后采用卷积神经网络(Convolution Neural Network,CNN)等深度神经网络对候选区域进行鉴别和边 界框回归,实现目标检测与识别。
现有舰船检测方法的不足主要包括:CNN的计算瓶颈主要在于高维全连 接层,其不仅参数多,计算复杂度高,容易导致过拟合,而且需要同样大小 的图像输入,且常用目标检测算法采用通用卷积核,大长宽比目标检测效果 较差,导致检测结果准确性较差。
因此,如何提供一种舰船目标检测结果准确性高的方法是本领域技术人 员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种基于级联神经网络的任意方向舰船目标检 测方法,能够有效提高舰船目标检测准确性。
为了实现上述目的,本发明采用如下技术方案:
一种基于级联神经网络的任意方向舰船目标检测方法,包括:
将卫星影像输入到第一区域筛选网络,得到舰船目标候选区域图像;
将舰船目标候选区域图像输入到预先训练好的级联神经网络舰船检测模 型中进行目标检测,得到初步目标检测结果;
利用NMS方法对初步目标检测结果进行去重,得到目标检测结果;
其中,级联神经网络舰船检测模型包括依次级联的第二区域筛选网络、 网络连接层和目标检测网络。
优选的,所述第二区域筛选网络和所述目标检测网络使用多尺度卷积层 进行检测,均采用VGG16作为骨干网络,保留conv1_1至conv5_3,将最后 两层全连接层替换为卷积层,另外增加conv6_1、conv6_2,conv7_1、conv7_2, conv8_1和conv8_2共6个卷积层以及一个3x5的长卷积核生成的用于检测的 卷积层;且第二区域筛选网络和目标检测网络对应各层结构之间分别通过网 络连接层进行连接,并且各个网络连接层通过反卷积操作使用高层网络连接 层的特征。
优选的,所述级联神经网络舰船检测模型的训练方法包括:
训练数据生成步骤:将预先标注好的高分辨率卫星影像裁剪成固定大小 的样本数据;
数据增广步骤:基于样本数据和超分辨率对抗生成网络生成多尺度高分 辨率影像,作为训练数据;采用旋转、翻转和亮度对比度调整方法进一步扩 充样本数据,作为训练数据;
长宽比聚类分析步骤:对样本数据进行舰船目标的长、宽以及长宽比聚 类分析,得到聚类结果,根据聚类结果设定长宽比参数;
训练步骤:基于长宽比参数和预设的默认框垂直偏移,将训练数据输入 到级联神经网络舰船检测模型中进行训练,并利用NMS算法进行去重,在训 练过程中基于损失函数进行收敛判断,最终得到训练好的级联神经网络舰船 检测模型。
优选的,训练数据生成步骤具体包括:
将深度学习网络输入图像大小作为滑动窗口的大小,有重叠的在卫星影 像上滑动;
若当前滑动窗口内包含有效舰船目标,则将当前滑动窗口对应的图像裁 剪出来,同时,将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前 滑动窗口内的坐标,并保存为裁剪出的图像对应的XML标注文件。
优选的,有效舰船目标的判别方法包括:
滑动窗口面积和舰船目标四边形区域重叠面积与舰船四边形区域面积之 比大于0.5,则判定为有效舰船目标。
优选的,训练步骤中所采用的损失函数为:
其中,i表示第几个默认框,表示与第i个默认框匹配的真实框的类别, 表示与第i个默认框匹配的真实框的位置和大小,pi表示置信度,xi表示第 二区域筛选网络中默认框的坐标,ci表示预测类别,ti表示目标检测网络中的 预测坐标信息;Nrpn和Nodn分别表示第二区域筛选网络和目标检测网络中的正 样本默认框数量;Lb表示二值分类损失,Lm表示多类别损失,Lr表示回归损 失,表示若负样本的置信度大于一个阈值,则返回1,否则返回0;若 Nrpn=0,设置和若Nodn=0,则设置和
优选的,多尺度高分辨率影像包括:原始影像2倍分辨率的影像数据和 原始影像4倍分辨率的影像数据。
优选的,所述第一区域筛选网络采用MTCNN模型中的PNet网络。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了基于级 联神经网络的任意方向舰船目标检测方法,具有如下技术优势:
第一,本发明采用一种端到端的目标检测框架,将传统目标检测的区域 筛选网络与目标检测网络级联形成一个端到端的网络,既保持了两阶段(区 域筛选网络与目标检测网络独立)目标检测方法的准确性,也保持了一阶段 (网络直接进行目标检测)目标检测方法的效率;
第二,标注大量舰船目标数据,并根据标注数据对舰船的长宽比进行聚 类分析,设计适合于舰船目标检测的长宽比参数;
第三,采用长卷积核方法,并在垂直方向增加默认框密度,以更好的适 应多方向检测,实现大长宽比任意方向舰船目标检测,预测目标区域的四个 点坐标位置偏移,采用四个点坐标更加精确地表示舰船目标位置。
综上所述,本发明提供的基于级联神经网络的任意方向舰船目标检测方 法能够有效提高舰船目标检测准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面 描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不 付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于级联神经网络的任意方向舰船目标检测方法的 流程图;
图2为本发明提供的级联神经网络舰船检测模型的结构示意图;
图3为本发明提供的网络连接层的结构示意图;
图4为本发明提供的默认框预测过程示意图;
图5为本发明提供的默认框垂直偏移示意图;
图6为本发明提供的MTCNN模型PNet网络结构示意图;
图7为本发明提供的舰船目标检测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而 不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见附图1,本发明实施例公开了一种基于级联神经网络的任意方向舰船 目标检测方法,包括:
将卫星影像输入到第一区域筛选网络,得到舰船目标候选区域图像;
将舰船目标候选区域图像输入到预先训练好的级联神经网络舰船检测模 型中进行目标检测,得到初步目标检测结果;
利用NMS方法对初步目标检测结果进行去重,得到目标检测结果;
其中,级联神经网络舰船检测模型包括依次级联的第二区域筛选网络、 网络连接层和目标检测网络。
优选的,所述第二区域筛选网络和所述目标检测网络使用多尺度卷积层 进行检测,均采用VGG16作为骨干网络,保留conv1_1至conv5_3,将最后 两层全连接层替换为卷积层,另外增加conv6_1、conv6_2,conv7_1、conv7_2, conv8_1和conv8_2共6个卷积层以及一个3x5的长卷积核生成的用于检测的 卷积层;且第二区域筛选网络和目标检测网络对应各层结构之间分别通过网 络连接层进行连接,并且各个网络连接层通过反卷积操作使用高层网络连接 层的特征。各卷积层参数如下表所示。
优选的,所述级联神经网络舰船检测模型的训练方法包括:
训练数据生成步骤:将预先标注好的高分辨率卫星影像裁剪成固定大小 的样本数据;
数据增广步骤:基于样本数据和超分辨率对抗生成网络生成多尺度高分 辨率影像,作为训练数据;采用旋转、翻转和亮度对比度调整方法进一步扩 充样本数据,作为训练数据;
本发明采用超分辨率对抗生成网络生成多尺度高分辨率图像,用于扩充 训练样本数据,降低模型对图像分辨率的要求,提高模型泛化能力。
长宽比聚类分析步骤:对样本数据进行舰船目标的长、宽以及长宽比聚 类分析,得到聚类结果,根据聚类结果设定长宽比参数;
训练步骤:基于长宽比参数和预设的默认框垂直偏移,将训练数据输入 到级联神经网络舰船检测模型中进行训练,并利用NMS算法进行去重,在训 练过程中基于损失函数进行收敛判断,最终得到训练好的级联神经网络舰船 检测模型。
优选的,训练数据生成步骤具体包括:
将深度学习网络输入图像大小作为滑动窗口的大小,有重叠的在卫星影 像上滑动;
若当前滑动窗口内包含有效舰船目标,则将当前滑动窗口对应的图像裁 剪出来,同时,将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前 滑动窗口内的坐标,并保存为裁剪出的图像对应的XML标注文件。
优选的,有效舰船目标的判别方法包括:
滑动窗口面积和舰船目标四边形区域重叠面积与舰船四边形区域面积之 比大于0.5,则判定为有效舰船目标。
优选的,训练步骤中所采用的损失函数为:
其中,i表示第几个默认框,表示与第i个默认框匹配的真实框的类别, 表示与第i个默认框匹配的真实框的位置和大小,pi表示置信度,xi表示第 二区域筛选网络中默认框的坐标,ci表示预测类别,ti表示目标检测网络中的 预测坐标信息;Nrpn和Nodn分别表示第二区域筛选网络和目标检测网络中的正 样本默认框数量;Lb表示二值分类损失,Lm表示多类别损失,Lr表示回归损 失,表示若负样本的置信度大于一个阈值,则返回1,否则返回0;若 Nrpn=0,设置和若Nodn=0,则设置和
优选的,多尺度高分辨率影像包括:原始影像2倍分辨率的影像数据和 原始影像4倍分辨率的影像数据。
优选的,所述第一区域筛选网络采用MTCNN模型中的PNet网络。
本发明提供的舰船目标检测方法设计了适合于舰船目标检测的长宽比参 数,采用长卷积核的检测层,构建全卷积检测网络,可进行多尺度目标检测, 能够实现任意方向舰船目标的检测,有效解决舰船目标的多方向、多尺度、 大长宽比以及尺度小等特性导致的检测准确率不高的问题。
下面结合具体技术细节对本发明的技术方案做进一步阐述。
1.卫星影像舰船数据的标注
利用四边形标注工具对高分辨率卫星影像中的舰船目标使用“四点法” 进行四边形标注,并将卫星影像中所有标注好的目标信息以XML文件的格式 存储到本地。存储的信息包括四边形四个点的坐标以及舰船类型等信息。
2.训练数据的生成和数据增广
2.1训练数据的生成
根据深度学习模型输入所需大小,结合标注的XML文件,将标注好的大 场景高分辨率卫星影像裁剪成固定大小的样本数据。具体方法如下:将深度 学习网络输入图像大小作为滑动窗口的大小,有重叠的在大幅卫星影像上滑 动。若当前滑动窗口中包含有效舰船目标,则将当前滑动窗口对应的图像裁 剪出来,同时,将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前 窗口内的坐标,并保存为该裁剪图像对应的XML标注文件。
舰船有效目标判别方式如下:以滑动窗口面积和舰船目标四边形区域重 叠面积与舰船四边形区域面积之比为判据,若面积之比大于0.5,则视为有效 舰船目标。
2.2数据增广
深度学习是数据驱动型的学习方式,为了满足学习训练要求、提高目标 检测模型的泛化能力,防止目标检测模型过度拟合,采取如下方法对训练数 据进行数据增广。
(1)采用基于超分辨率对抗生成网络(SRGAN)生成多尺度高分辨率影 像,生成2倍、4倍分辨率影像以扩充训练和验证数据。
(2)采用旋转、翻转、亮度对比度调整等方法,进一步扩充训练和验证 数据。其中,验证数据是指训练时,为了测试模型准确率的数据。
3.舰船目标长宽比聚类分析
通用目标检测算法长宽比参数设定简单,对于方向多变、长宽比较大的 舰船目标而言并不适合。因此,本发明经过上述数据标注,数据生成等步骤 获取舰船目标检测数据集之后,先对舰船目标的长、宽以及长宽比做聚类分 析,根据长宽比聚类结果设计适合于舰船目标的长宽比参数。根据数据聚类 结果将舰船目标检测长宽比参数设定为:3:1,5:1,7:1,9:1,11:1。
4.舰船目标检测模型设计与训练
4.1舰船目标检测模型设计思路
本发明采用一种端到端的目标检测框架,结合文字场景检测思路设计舰 船目标检测模型,该检测网络分为三个部分:第二区域筛选网络、网络连接 层以及目标检测网络,将传统目标检测的第二区域筛选网络与目标检测网络 级联形成一个端到端的网络,既保持了两阶段(第二区域筛选网络与目标检 测网络独立)目标检测方法的准确性,也保持了一阶段(网络直接进行目标 检测)目标检测方法的效率,同时,根据舰船的大长宽比、多方向、多尺度 特征,设计具体的网络结构与检测层,实现舰船目标的高效准确检测。基于 级联神经网络的舰船目标检测网络结构图如图2所示:
(1)第二区域筛选网络先第一次调整默认框的位置,使之为目标检测网 络提供修正后的默认框,为后续检测提供更好的初始化回归。采用VGG16作 为骨干网络,保留conv1_1至conv5_3,将最后两层全连接层用卷积层替换, 另外增加6层卷积层。选取conv4_3,fc7(已替换为卷积层),以及新增加 的conv6_2,conv7_2,conv8_2等5个卷积层,然后接一个3x5长卷积核生成的 用于检测的卷积层,输出每个默认框是否包含目标以及粗略的四边形的位置 偏置信息。
(2)网络连接部分是将第二区域筛选网络中的特征传输到目标检测网络 中用以预测目标位置、大小和类别标签。即将第二区域筛选网络的输出特征 图转换成目标检测网络的输入。采用如图3所示结构进行特征转换。
为了建立第二区域筛选网络和目标检测网络的联系,通过网络连接部分 来将第二区域筛选网络中的特征图转换到目标检测网络中,这样目标检测网 络可以共享第二区域筛选网络的特征。只在与默认框有联系的特征图上使用 网络连接。网络连接通过添加高级特征来整合大规模上下文,以改善检测精 度。为了匹配维度,使用反卷积操作来使高层的特征图变大,使用像素级的 方式相加,在求和之后添加卷积层以确保用于检测的特征的可辨别性。
(3)目标检测网络与第二区域筛选网络共享特征,目标检测网络采用第 二区域筛选网络产生的5层特征图进行转换作为输入,融合不同层的特征, 进一步改善回归和预测多类标签。
4.2舰船目标检测模型设计与实现
(1)采用300x300的VGG16网络作为骨干网络,保留conv1_1至 conv5_3,选取骨干网络的conv4_3,fc7(已替换为卷积层),以及新增加的 conv6_2,conv7_2,conv8_2等5个卷积层用于检测,每个不同检测层可以产生 不同尺度的特征图,产生的特征图供第二区域筛选网络以及目标检测网络共 用。
(2)在第二区域筛选网络中,将上述5个卷积层用于默认框二分类(有 /无目标)以及默认框位置调整;在目标检测中,通过网络连接将5个卷积层 特征进行转换,作为目标检测网络的输入,用于多类别预测与目标精确位置 回归。
为了检测大长宽比目标,使用3x5长卷积核生成用于检测的卷积层,在 上述5个卷积层之后接一个用于检测的卷积层,用于预测输出,获取每个默 认框的类别以及位置信息,该位置信息为舰船目标四个点的坐标的偏置信息。
检测层是网络的核心,默认框是矩形的,输出是四边形预测框,预测的 是相对于默认框的偏置信息。默认框学习过程如图4所示。白色实线是真实 框,白色虚线是匹配上的默认框,白色箭头表示学习过程。
具体过程如下:
1)首先假设b0={x0,y0,w0,h0}表示默认框,相应的四边形表示方法为其中,(x0,y0)表示默认框的中心点,(w0,h0)表 示默认框的宽度和高度,则四边形表示的计算方法如公式(1)所示。
2)在5个卷积层后的检测层将预测每个默认框的舰船目标概率以及位置 偏置,输出值为:(Δx,Δy,Δw,Δh,Δx1,Δy1,Δx2,Δy2,Δx3,Δy3,Δx4,Δy4,c),在训练阶段,默认框与标注四边形计算得到真实值,然后通过真实值与预测值的差值计算 损失值。
(3)设置垂直偏移,本发明默认框为细长形,这样可能导致默认框在水 平方向密集在垂直方向上稀疏,从而导致检测不准确。因此,在垂直方向上 设置默认框垂直偏移,使得默认框在垂直方向密集,没有垂直偏移的只有白 色实线框,就会漏掉很多连续的垂直方向目标。白色虚线框是加入了垂直偏 移后的,能把舰船目标信息都包围了进去,如图5所示。
(4)使用NMS(非极大值抑制)算法,对不同的特征层预测出的候选 目标区域进行去重,得到舰船目标位置和类别信息的最终预测结果。首先, 将所有检测结果按照概率大小排序,并从高到低的遍历预测框。对于每个预 测框,去除同一类别下与当前预测框IOU大于0.5的其他预测框,得到去重 后的检测结果。
4.3舰船目标检测损失函数
舰船目标检测损失函数如公式(2)所示。
其中,i表示第几个默认框,表示与第i个默认框匹配的真实框的类别, 表示与第i个默认框匹配的真实框的位置和大小,pi表示置信度,xi表示第 二区域筛选网络中默认框的坐标,ci表示预测类别,ti表示目标检测网络中的 预测坐标信息。Nrpn和Nodn分别表示第二区域筛选网络和目标检测网络中的正 样本默认框数量。Lb表示二值分类损失(有/无目标),Lm表示多类别损失, Lr表示回归损失,表示若负样本的置信度大于一个阈值,那么返回1, 否则返回0。若Nrpn=0,设置和若Nodn=0,那么设置 和
5.大幅卫星影像舰船目标检测
大幅卫星影像舰船目标检测的流程图如图1所示。
5.1候选区域筛选
传统的滑动窗口法在大幅卫星影像上有重叠的滑动,然后将滑动窗口区 域作为目标检测模型的输入,进行目标检测,需要遍历整幅影像,计算效率 低,因此本发明采用实时人脸检测MTCNN模型的PNet网络,作为第一区域 筛选网络,筛选舰船目标候选区域,加快搜索速度。其网络结构如图6所示。 MTCNN模型由三个不同尺度的小型卷积神经网络组成,分别为PNet、RNet 和ONet。PNet为区域建议网络,用来生成候选目标。PNet是一个浅层的全卷积网络,包含三个卷积层和一个池化层,输入图像大小为12像素×12像 素。全卷积神经网络不含全连接层,可以满足任意大小的图像输入,因此可 以实现大范围遥感影像的目标搜索。PNet本质上是一种利用GPU加速的滑 动窗口法,在选取候选窗口的同时对每个候选窗口进行分类判断。
5.2舰船目标检测与重复目标去除
(1)将区域筛选筛选网络获取的候选区域作为检测模型输入,检测该区 域内是否有舰船目标,若有,预测目标的四个坐标,并将舰船目标在该候选 区域的坐标映射到大幅卫星影像上,所有候选区域重复该过程。
(2)对所有候选区域检测完毕之后,在大幅卫星影像上获得的检测目标 区域可能会有重叠,因此为了得到唯一的目标检测区域,采用NMS算法进行 去重,获取最后的目标检测结果。舰船目标检测检测结果示意图如图7所示。
本发明提供的技术方案采用一种端到端的目标检测框架,将第二区域筛 选网络和目标检测网络通过网络连接,级联形成一个端到端的网络,既保持 了两阶段目标检测方法的准确性,也保持了一阶段目标检测方法的效率;同 时,采用四点法标注大量舰船目标数据,并进行聚类分析,获取舰船目标的 长宽比,设计适合于大长宽比舰船目标的默认框,提高舰船目标检测准确性; 借鉴文字检测方法,设计长卷积核、增加垂直方向默认框密度,实现任意方 向舰船目标检测,此外,采用四点法表示预测回归结果,能够更加精确的表 示目标位置。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都 是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述 的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下, 在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例, 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于级联神经网络的任意方向舰船目标检测方法,其特征在于,包括:
将卫星影像输入到第一区域筛选网络,得到舰船目标候选区域图像;
将舰船目标候选区域图像输入到预先训练好的级联神经网络舰船检测模型中进行目标检测,得到初步目标检测结果;
利用NMS方法对初步目标检测结果进行去重,得到目标检测结果;
其中,级联神经网络舰船检测模型包括依次级联的第二区域筛选网络、网络连接层和目标检测网络。
2.根据权利要求1所述的基于级联神经网络的任意方向舰船目标检测方法,其特征在于,所述第二区域筛选网络和所述目标检测网络使用多尺度卷积层进行检测,均采用VGG16作为骨干网络,保留conv1_1至conv5_3,将最后两层全连接层替换为卷积层,另外增加conv6_1、conv6_2,conv7_1、conv7_2,conv8_1和conv8_2共6个卷积层以及一个3x5的长卷积核生成的用于检测的卷积层;且第二区域筛选网络和目标检测网络对应各层结构之间分别通过网络连接层进行连接,并且各个网络连接层通过反卷积操作使用高层网络连接层的特征。
3.根据权利要求1所述的基于级联神经网络的任意方向舰船目标检测方法,其特征在于,所述级联神经网络舰船检测模型的训练方法包括:
训练数据生成步骤:将预先标注好的高分辨率卫星影像裁剪成固定大小的样本数据;
数据增广步骤:基于样本数据和超分辨率对抗生成网络生成多尺度高分辨率影像,作为训练数据;采用旋转、翻转和亮度对比度调整方法进一步扩充样本数据,作为训练数据;
长宽比聚类分析步骤:对样本数据进行舰船目标的长、宽以及长宽比聚类分析,得到聚类结果,根据聚类结果设定长宽比参数;
训练步骤:基于长宽比参数和预设的默认框垂直偏移,将训练数据输入到级联神经网络舰船检测模型中进行训练,并利用NMS算法进行去重,在训练过程中基于损失函数进行收敛判断,最终得到训练好的级联神经网络舰船检测模型。
4.根据权利要求3所述的基于级联神经网络的任意方向舰船目标检测方法,其特征在于,训练数据生成步骤具体包括:
将深度学习网络输入图像大小作为滑动窗口的大小,有重叠的在卫星影像上滑动;
若当前滑动窗口内包含有效舰船目标,则将当前滑动窗口对应的图像裁剪出来,同时,将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前滑动窗口内的坐标,并保存为裁剪出的图像对应的XML标注文件。
5.根据权利要求4所述的基于级联神经网络的任意方向舰船目标检测方法,其特征在于,有效舰船目标的判别方法包括:
滑动窗口面积和舰船目标四边形区域重叠面积与舰船四边形区域面积之比大于0.5,则判定为有效舰船目标。
6.根据权利要求3所述的基于级联神经网络的任意方向舰船目标检测方法,其特征在于,训练步骤中所采用的损失函数为:
其中,i表示第几个默认框,表示与第i个默认框匹配的真实框的类别,表示与第i个默认框匹配的真实框的位置和大小,pi表示置信度,xi表示第二区域筛选网络中默认框的坐标,ci表示预测类别,ti表示目标检测网络中的预测坐标信息;Nrpn和Nodn分别表示第二区域筛选网络和目标检测网络中的正样本默认框数量;Lb表示二值分类损失,Lm表示多类别损失,Lr表示回归损失,表示若负样本的置信度大于一个阈值,则返回1,否则返回0;若Nrpn=0,设置和若Nodn=0,则设置和
7.根据权利要求3所述的基于级联神经网络的任意方向舰船目标检测方法,其特征在于,多尺度高分辨率影像包括:原始影像2倍分辨率的影像数据和原始影像4倍分辨率的影像数据。
8.根据权利要求1~7任意一项所述的基于级联神经网络的任意方向舰船目标检测方法,其特征在于,所述第一区域筛选网络采用MTCNN模型中的PNet网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910801199.0A CN110516605A (zh) | 2019-08-28 | 2019-08-28 | 基于级联神经网络的任意方向舰船目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910801199.0A CN110516605A (zh) | 2019-08-28 | 2019-08-28 | 基于级联神经网络的任意方向舰船目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110516605A true CN110516605A (zh) | 2019-11-29 |
Family
ID=68628639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910801199.0A Pending CN110516605A (zh) | 2019-08-28 | 2019-08-28 | 基于级联神经网络的任意方向舰船目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110516605A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178267A (zh) * | 2019-12-30 | 2020-05-19 | 成都数之联科技有限公司 | 一种用于监测非法捕鱼的视频行为识别方法 |
CN111353459A (zh) * | 2020-03-10 | 2020-06-30 | 北京观微科技有限公司 | 一种资源受限条件下的舰船目标检测方法 |
CN111414821A (zh) * | 2020-03-11 | 2020-07-14 | 北京市商汤科技开发有限公司 | 目标检测方法及相关装置 |
CN112084869A (zh) * | 2020-08-10 | 2020-12-15 | 北京航空航天大学 | 一种基于紧致四边形表示的建筑物目标检测方法 |
CN112270259A (zh) * | 2020-10-28 | 2021-01-26 | 中国人民解放军战略支援部队航天工程大学 | 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法 |
CN112651671A (zh) * | 2021-01-18 | 2021-04-13 | 中国民航信息网络股份有限公司 | 一种航班舱位调整方法及相关设备 |
CN112735600A (zh) * | 2020-12-30 | 2021-04-30 | 华南师范大学 | 基于大数据监测和深度学习级联预测的提前预警方法 |
CN112766108A (zh) * | 2021-01-08 | 2021-05-07 | 西安电子科技大学 | 基于上下文信息的sar图像目标检测方法 |
CN113420745A (zh) * | 2021-08-25 | 2021-09-21 | 江西中业智能科技有限公司 | 基于图像的目标识别方法、***、存储介质及终端设备 |
CN114049478A (zh) * | 2022-01-13 | 2022-02-15 | 武汉理工大学 | 基于改进Cascade R-CNN的红外船舶图像快速识别方法及*** |
CN114898308A (zh) * | 2022-07-14 | 2022-08-12 | 上海鹰觉科技有限公司 | 基于深度卷积神经网络的舰船驾驶舱位置检测方法和*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460382A (zh) * | 2018-03-26 | 2018-08-28 | 西安电子科技大学 | 基于深度学习单步检测器的光学遥感图像舰船检测方法 |
CN108647665A (zh) * | 2018-05-18 | 2018-10-12 | 西安电子科技大学 | 基于深度学习的航拍车辆实时检测方法 |
CN108846446A (zh) * | 2018-07-04 | 2018-11-20 | 国家新闻出版广电总局广播科学研究院 | 基于多路径密集特征融合全卷积网络的目标检测方法 |
CN109447078A (zh) * | 2018-10-23 | 2019-03-08 | 四川大学 | 一种自然场景图像敏感文字的检测识别方法 |
CN110084292A (zh) * | 2019-04-18 | 2019-08-02 | 江南大学 | 基于DenseNet和多尺度特征融合的目标检测方法 |
-
2019
- 2019-08-28 CN CN201910801199.0A patent/CN110516605A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460382A (zh) * | 2018-03-26 | 2018-08-28 | 西安电子科技大学 | 基于深度学习单步检测器的光学遥感图像舰船检测方法 |
CN108647665A (zh) * | 2018-05-18 | 2018-10-12 | 西安电子科技大学 | 基于深度学习的航拍车辆实时检测方法 |
CN108846446A (zh) * | 2018-07-04 | 2018-11-20 | 国家新闻出版广电总局广播科学研究院 | 基于多路径密集特征融合全卷积网络的目标检测方法 |
CN109447078A (zh) * | 2018-10-23 | 2019-03-08 | 四川大学 | 一种自然场景图像敏感文字的检测识别方法 |
CN110084292A (zh) * | 2019-04-18 | 2019-08-02 | 江南大学 | 基于DenseNet和多尺度特征融合的目标检测方法 |
Non-Patent Citations (3)
Title |
---|
SHIFENG ZHANG ET AL: "Single-Shot Refinement Neural Network for Object Detection", 《HTTPS://ARXIV.ORG/ABS/1711.06897》 * |
李健伟等: "基于深度学习的SAR图像舰船检测数据集及性能分析", 《第五届高分辨率对地观测学术年会论文集》 * |
邱世赟: "基于深度学习的高分辨率光学遥感图像舰船检测", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178267A (zh) * | 2019-12-30 | 2020-05-19 | 成都数之联科技有限公司 | 一种用于监测非法捕鱼的视频行为识别方法 |
CN111353459A (zh) * | 2020-03-10 | 2020-06-30 | 北京观微科技有限公司 | 一种资源受限条件下的舰船目标检测方法 |
CN111414821A (zh) * | 2020-03-11 | 2020-07-14 | 北京市商汤科技开发有限公司 | 目标检测方法及相关装置 |
CN111414821B (zh) * | 2020-03-11 | 2023-12-19 | 北京市商汤科技开发有限公司 | 目标检测方法及相关装置 |
CN112084869B (zh) * | 2020-08-10 | 2023-04-07 | 北京航空航天大学 | 一种基于紧致四边形表示的建筑物目标检测方法 |
CN112084869A (zh) * | 2020-08-10 | 2020-12-15 | 北京航空航天大学 | 一种基于紧致四边形表示的建筑物目标检测方法 |
CN112270259A (zh) * | 2020-10-28 | 2021-01-26 | 中国人民解放军战略支援部队航天工程大学 | 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法 |
CN112270259B (zh) * | 2020-10-28 | 2023-09-15 | 中国人民解放军战略支援部队航天工程大学 | 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法 |
CN112735600A (zh) * | 2020-12-30 | 2021-04-30 | 华南师范大学 | 基于大数据监测和深度学习级联预测的提前预警方法 |
CN112766108A (zh) * | 2021-01-08 | 2021-05-07 | 西安电子科技大学 | 基于上下文信息的sar图像目标检测方法 |
CN112651671A (zh) * | 2021-01-18 | 2021-04-13 | 中国民航信息网络股份有限公司 | 一种航班舱位调整方法及相关设备 |
CN113420745B (zh) * | 2021-08-25 | 2021-12-24 | 江西中业智能科技有限公司 | 基于图像的目标识别方法、***、存储介质及终端设备 |
CN113420745A (zh) * | 2021-08-25 | 2021-09-21 | 江西中业智能科技有限公司 | 基于图像的目标识别方法、***、存储介质及终端设备 |
CN114049478A (zh) * | 2022-01-13 | 2022-02-15 | 武汉理工大学 | 基于改进Cascade R-CNN的红外船舶图像快速识别方法及*** |
CN114898308A (zh) * | 2022-07-14 | 2022-08-12 | 上海鹰觉科技有限公司 | 基于深度卷积神经网络的舰船驾驶舱位置检测方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110516605A (zh) | 基于级联神经网络的任意方向舰船目标检测方法 | |
CN110516606A (zh) | 高分辨率卫星影像任意方向舰船目标检测方法 | |
Cheng et al. | FusionNet: Edge aware deep convolutional networks for semantic segmentation of remote sensing harbor images | |
CN109711295B (zh) | 一种光学遥感图像近岸舰船检测方法 | |
CN109299688B (zh) | 基于可变形快速卷积神经网络的舰船检测方法 | |
CN110378308B (zh) | 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法 | |
CN102867196B (zh) | 基于Gist特征学习的复杂海面遥感影像舰船检测方法 | |
CN109271856A (zh) | 基于扩张残差卷积的光学遥感图像目标检测方法 | |
CN109740460B (zh) | 基于深度残差密集网络的光学遥感图像舰船检测方法 | |
CN109117802B (zh) | 面向大场景高分遥感影像的舰船检测方法 | |
CN107247930A (zh) | 基于cnn和选择性注意机制的sar图像目标检测方法 | |
CN109766830A (zh) | 一种基于人工智能图像处理的舰船目标识别***及方法 | |
CN108304873A (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其*** | |
CN109241913A (zh) | 结合显著性检测和深度学习的船只检测方法及*** | |
CN109427055B (zh) | 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法 | |
CN109657541A (zh) | 一种基于深度学习的无人机航拍图像中的船舶检测方法 | |
CN104331886B (zh) | 基于高分辨sar图像的港口区域舰船检测方法 | |
CN103020975A (zh) | 一种结合多源遥感图像特征的码头和船舶分割方法 | |
CN110008900B (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
CN108229342A (zh) | 一种海面舰船目标自动检测方法 | |
CN110414509A (zh) | 基于海陆分割和特征金字塔网络的港口停靠舰船检测方法 | |
CN107704865A (zh) | 基于结构森林边缘候选区域提取的舰船目标检测算法 | |
CN112149591A (zh) | 用于sar图像的ssd-aeff自动桥梁检测方法及*** | |
CN110516560A (zh) | 基于fpga异构深度学习的光学遥感图像目标检测方法 | |
CN108596952A (zh) | 基于候选区域筛选的快速深度学习遥感图像目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Wang Lei Inventor after: Yu Jintao Inventor after: Zhao Xiuyun Inventor before: Wang Lei Inventor before: Yu Jintao Inventor before: Guo Haitao Inventor before: Zhao Xiuyun |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |