CN110796037A - 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 - Google Patents
基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 Download PDFInfo
- Publication number
- CN110796037A CN110796037A CN201910976760.9A CN201910976760A CN110796037A CN 110796037 A CN110796037 A CN 110796037A CN 201910976760 A CN201910976760 A CN 201910976760A CN 110796037 A CN110796037 A CN 110796037A
- Authority
- CN
- China
- Prior art keywords
- size
- convolution
- frame
- layer
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
为了解决星载光学遥感图像舰船目标检测中舰船目标尺度变化大、星载平台计算量严重受限的问题,通过将引入轻量化的多尺度特征提取网络模块,可以有效提升深度学习网络对于舰船目标的检测效率。本发明公开了一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法,采取引入空洞卷积构建轻量级感受野金字塔的方法,根据感受野金字塔提取的多尺度特征构建多尺度特征融合检测模块,在限制网络规模的情况下,提高对光学遥感图像舰船目标特性的适应能力。
Description
技术领域
本发明属于遥感图像处理领域,尤其涉及光学遥感图像的目标检测方法。
背景技术
基于光学遥感图像的舰船检测一直是遥感目标识别领域的研究热点,在民用和军用领域,舰船均为十分重要的战略目标。随着深度学习的兴起,早期手工特征已逐渐不能满足逐渐复杂的光学遥感视觉识别任务,而深度学习在计算机视觉的广泛应用中显示出了较强的特征表示能力。如何设计适合光学遥感图像舰船目标特性的深度学习检测网络,成为了遥感图像舰船目标检测的重大挑战。
为了提升深度学习目标检测网络的各方面性能,研究学者们相继提出许多有价值的目标检测方法。基于深度学习的目标检测方法主要分为两大类:基于区域提名的两阶段检测和基于回归的单阶段检测。Girshick于2014年提出了一种两目标检测框架R-CNN,通过提取候选区域,训练CNN网络结合SVM和回归器进行目标检测,其对比传统目标检测算法在准确率上有突破性进展,但其识别过程划分为三部分,消耗大量的时间与存储资源用于三步之间的资源转存。后续提出SPP-Nets通过空间金字塔池化使网络输入图片没有尺寸限制,加快了训练网络的时间。R-CNN的后续衍生网络Fast R-CNN结合SPP-Nets和Overfeat的特点,引入ROI池化概念,同时合并CNN特征提取和分类回归两部分,取得更好地检测效果同时加快了网络的训练速度。之后的两阶段检测集大成之作Faster R-CNN将前两代算法中的区域提名整合到CNN中,实现了检测网络的端到端形式,进一步减少了时间的损耗。
另一类单阶段检测网络将检测任务表述成一个统一的、端到端的回归问题,不进行区域提名,只处理一次图片同时得到位置和分类。Joseph Redmon于2016年提出YOLO系列算法,其通过划分等分的网格分配预测的样本,相比于基于区域提名的检测方法,全局处理使得背景错误较少,但相对牺牲了小物体检测精度。单阶段网络检测速度相较两阶段网络有了突破性进展,已能做到实时检测。之后的SSD网络是单阶段模型早期的集大成者,引入两阶段模型的anchor box机制同时使用多尺度特征图,达到接近两阶段模型精度的同时,拥有比两阶段模型快一个数量级的速度。在YOLO的后续版本YOLOv2中,同样引入anchor机制,YOLOv3中则采用近似ResNet的特征提取网络并引入多尺度,在COCO数据集上mAP达到57.9%。
虽然基于深度学***台——星载平台的有限计算资源形成矛盾。目前的光学遥感图像目标检测方法很难保持对于多尺度目标高检测精度的同时满足星载平台对网络规模的制约。
发明内容
本发明针对现有技术的不足,提供一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法。
本发明的技术方案为一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法,包含以下步骤:
步骤1,构建特征提取模块,获得特征提取模块特征图;所述特征提取模块包含3个结构相同的子模块,每个子模块包括1个卷积层和1个最大池化层;
步骤2,根据步骤1所得特征提取模块特征图构建轻量级感受野金字塔模块,获得尺度目标特征图;所述轻量级感受野金字塔模块包括4个引入空洞卷积的卷积层支路、1个连接层和一个传统卷积层,其中4个卷积层支路的输入均为步骤1所得特征提取模块特征图,随后,将4个卷积层支路的输出特征图输入连接层,最后再通过一个传统卷积层进行多尺度特征融合,即获得对应4个尺度目标的特征图;
步骤3,根据步骤2所得多尺度目标特征图构建多尺度特征融合检测模块,多尺度特征融合检测模块分为三条检测支路,其中:
第一尺度支路包括4个支路子模块,分别记为支路子模块1、支路子模块2、支路子模块3、支路子模块4,前3个支路子模块包括1个传统卷积层和1个最大池化层,第4个支路子模块包括若干个传统卷积层,第一尺度支路以步骤2中轻量级感受野金字塔模块输出特征图作为输入,输出Np个检测结果参数,Np=3*(5+Nc),其中Nc为光学遥感图像舰船数据集舰船类别标注个数;
第二尺度支路分别以第一尺度支路中的支路子模块2的输出特征图,以及第一尺度支路中的支路子模块4的输出进行卷积和上采样之后的特征图作为输入,将两个特征图依次输入连接层、2个传统卷积层,输出Np个检测结果参数;
第三尺度支路分别以第一尺度支路中的支路子模块1的输出特征图,以及第二尺度支路的输出进行卷积和上采样之后的特征图作为输入,将两个特征图依次输入连接层、2个传统卷积层,输出Np个检测结果参数;
步骤4,结合步骤1,2,3中的3个模块,构造基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测网络;然后对输入训练集图片划分网格,在各网格内通过预设尺寸的候选框生成预测框,通过预测框参数和标注真实框参数计算损失函数,计算完训练集内所有图片得到本次迭代损失函数值,完成一次迭代,网络训练以网络损失值为依据,当损失值随迭代次数收敛时,获得网络权重值;最后利用训练好的目标检测网络对待检测图片进行舰船目标检测。
进一步的,步骤1中构建特征提取模块的具体实现过程如下,
子模块一卷积层通道数为16,将416*416尺寸的3通道输入图片进行卷积操作得到416*416尺寸的16通道的特征图,经过步长为2尺寸为2*2的最大值池化操作后,生成尺寸为208*208的16通道子模块一特征图;子模块二卷积层通道数为32,将208*208尺寸的16通道子模块一特征图进行卷积操作得到208*208尺寸的32通道的特征图,经过步长为2尺寸为2*2的最大值池化操作后,生成尺寸为104*104的32通道子模块二特征图;子模块三卷积层通道数为64,将104*104尺寸的32通道子模块二特征图进行卷积操作得到104*104尺寸的64通道的特征图,经过步长为2尺寸为2*2的最大值池化操作后,生成尺寸为52*52的64通道特征提取模块特征图。
进一步的,步骤2中轻量级感受野金字塔模块的具体实现过程如下,
引入空洞卷积,设置卷积稀释度Rc=1为默认状态,定义稀释度Rc与原始卷积尺寸kc和稀释后卷积尺寸ka关系为:ka=(kc-1)*Rc+1,新增的卷积核参数位置用0填充;当Rc=1时,空洞卷积层等效于传统卷积层,获得相同感受野大小的特征图;当Rc≠1时,空洞卷积层卷积核尺寸发生变化,获得相较于同卷积核尺寸的传统卷积层更大的感受野特征图;
四条卷积层支路设置如下:支路1由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为1*1的传统卷积层构成,此支路输出特征图对应最大的感受野信息;
支路2由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的传统卷积层构成,此支路输出特征图对应步骤1中特征提取网络输出特征图感受野信息,对应最小的感受野信息;
支路3由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成,其稀释度设置为2,实际卷积尺寸为5*5,此支路输出特征图对应中型的感受野信息;
支路4由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成,其稀释度设置为3,实际卷积尺寸为7*7,此支路输出特征图对应较大的感受野信息。
进一步的,步骤3中第一尺度支路的具体处理过程如下,
输入特征图为步骤2中轻量级感受野金字塔模块输出特征图;
第一尺度支路子模块1包含卷积核尺寸为3*3通道数为128的传统卷积层和尺寸为2*2,步长为2的最大池化层;子模块1输出特征图尺寸下降至26*26,特征图感受野进一步扩大;
第一尺度支路子模块2包含卷积核尺寸为3*3通道数为256的传统卷积层和尺寸为2*2,步长为2的最大池化层;子模块2输入特征图为子模块1输出特征图,子模块2输出特征图尺寸下降至13*13,特征图感受野达到最大;
第一尺度支路子模块3包含卷积核尺寸为3*3通道数为512的传统卷积层和尺寸为2*2,步长为1的最大池化层;子模块3输入特征图为子模块2输出特征图,子模块3输出特征图尺寸不变;子模块3输出特征图输入卷积核尺寸为3*3通道数为1024的传统卷积层,此时特征图通道数达到最大,特征图尺寸对应大型舰船特征;
第一尺度支路子模块4为检测头模块,包含卷积核尺寸为1*1通道数为256的传统卷积层,卷积核尺寸为3*3通道数为512的传统卷积层和卷积核尺寸为1*1通道数为Np的传统卷积层,输出Np个检测结果参数;子模块4输入特征图为卷积核尺寸为3*3通道数为1024的传统卷积层的输出特征图;
所述结果参数包括预测框的6种属性,分别为边框横坐标,边框纵坐标,边框宽,边框高,变框置信度和类别概率。
进一步的,步骤3中第二尺度支路的具体处理过程如下,
第二尺度支路的输入特征图1为第一尺度支路子模块2中卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图,其尺寸为26*26,通道数为256;输入特征图2为第一尺度支路子模块4中卷积核尺寸为1*1通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到,其尺寸为26*26,通道数为128;输入特征图1和2输入连接层,得到尺寸为26*26,通道数为384的连接层输出特征图,该特征图对应中型舰船特征,作为输入特征图输入由卷积核尺寸为3*3通道数为256的传统卷积层和卷积核尺寸为1*1通道数为Np的传统卷积层组成的检测头子模块,输出结果参数组成同第一尺度支路。
进一步的,步骤3中第三尺度支路的具体处理过程如下,
第三尺度支路的输入特征图1为第一尺度支路子模块1中卷积核尺寸为3*3通道数为128的传统卷积层的输出特征图,其尺寸为52*52,通道数为128;输入特征图2为第二尺度支路倒数第二层卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到,其尺寸为52*52,通道数为128;输入特征图1和2输入连接层,得到尺寸为52*52,通道数为256的连接层输出特征图,该特征图对应小型舰船特征,作为输入特征图输入由卷积核尺寸为3*3通道数为128的传统卷积层和卷积核尺寸为1*1通道数为Np的传统卷积层组成的检测头子模块,输出结果参数组成同第一尺度支路。
进一步的,步骤4中的损失函数分为四部分,分别为边框回归中心点坐标损失,边框回归长宽损失,边框置信度损失和类别预测损失,整体的损失函数由上述四部分加和得到,具体实现方式如下:
定义Sn 2为每张图片被网络划分网格数,Bn为每个网格产生的候选框数,为表示第i个网格的第j个候选框是否负责该物体的二值参数,若负责则否则所述负责,是指第i个网格的第j个候选框与该物体的标注框的重合度在所有候选框与该标注框的重合度中最大;表示第i个网格的第j个候选框是否不负责该物体的二值参数,若不负责则否则 为第i个网格的第j个预测框的置信度,为训练中的置信度标注真实值,其取值由网格候选框产生的预测框是否负责该物体决定,若负责则否则所述负责,是指第i个网格的第j个预测框与该物体的标注框的重合度在所有候选框与该标注框的重合度中最大;
第一部分为边框中心坐标损失lossxy,用式子计算得到,其中xi,yi为网络输出的预测框中心点横纵坐标归一化后的值,为目标标注框中心点横纵坐标归一化后的值;该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时,该候选框产生的预测框中心点坐标与真实目标的标注框中心点坐标的差距;
所述归一化,指将网络输出的预测框中心点对于网格相对值的横纵坐标和宽高对于候选框相对值转化为对于图像的真实坐标和预测框真实宽高的计算过程;预测框中心点真实横坐标其中tx为网络输出的预测框中心点对于网格的相对值横坐标,cx为中心点在特征图中的横坐标;预测框中心点真实纵坐标其中ty为网络输出的预测框中心点对于网格的相对值纵坐标,cy为中心点在特征图中的纵坐标;预测框真实宽 其中pw为候选框的宽,tw为网络输出的预测框宽对于网格的相对值;预测框真实高其中ph为候选框的高,th为网络输出的预测框高对于网格的相对值;
第二部分为边框宽高损失losswh,用式子计算得到,其中wi,hi为网络输出的预测框宽高归一化后的值,为目标标注框宽高归一化后的值;该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时,该候选框产生的预测框尺寸与真实目标的标注框尺寸的差距;
第四部分为类别损失losscon,用式子计算得到,其中为标注框真实类别概率,为预测框类别概率,该损失函数实质为第i个网格的第j个候选框负责一个真实目标时,该候选框产生的预测框类别概率与真实目标的标注框类别概率的差距。
进一步的,步骤1中的特征提取模块,步骤2中的轻量级感受野金字塔模块,以及步骤3中的多尺度特征融合检测模块中所有卷积操作后均引入非线性函数作为激励函数。
本发明针对星载光学遥感图像舰船目标检测对舰船目标多尺度变化和星载平台计算力制约的问题,利用空洞卷积参数量少,能根据参数设置不同提取不同尺度目标特征的特性,通过设计多尺度特征融合检测模块配合轻量级感受野金字塔特征提取模块,采用单阶段神经网络架构训练,提高了光学遥感图像舰船目标检测精度,并控制了网络参数量。
附图说明
图1是本发明实施例的舰船目标检测方法的流程图。
图2是本发明实施例的轻量级感受野金字塔结构示意图。
图3是本发明实施例的完整网络结构示意图。
图4是本发明实施例的网络训练损失函数计算流程图。
具体实施方式
本发明主要基于深度学***台计算设备的制约,提出的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测的实验方法及***。本方法充分考虑了不同舰船型号和不同图片分辨率的特征特性,通过引入空洞卷积构建轻量级感受野金字塔结构来在限制参数量情况下获取多尺度目标特征图。通过本发明获得的结果更加科学,更加精确。
本发明提供的方法能够用计算机软件技术实现流程。参见图1,实施例以单阶段目标检测框架为例对本发明的流程进行一个具体的阐述,如下:
步骤1,构建特征提取模块。特征提取模块包含3个结构相同的子模块,由尺寸为3*3卷积层和尺寸为2*2的最大池化层组成。
实施例具体的实施过程说明如下:
定义Ic为卷积层输入特征图尺寸,Oc为卷积层输出特征图尺寸,kc为卷积层卷积核尺寸,pc为卷积层衬垫大小,sc为卷积步长,fc为卷积层滤波器个数,nc为滤波器中卷积核个数。定义Im为池化层输入特征图尺寸,Om为池化层输出特征图尺寸,km为池化层池化尺寸,pm为池化层衬垫大小,sm为池化步长。
网络中卷积层对每个通道维度的特征图执行二维卷积操作,即将卷积核在二维数据上滑窗,对当前输入的卷积核尺寸部分的数据进行矩阵乘法,将结果汇为单个输出像素。输出特征为在输入数据相同位置上的加权和,权值为卷积核参数。为保证输出特征图与输入特征图尺寸相同,本发明使用衬垫算法,即用额外零像素填充边缘,保证滑动时的卷积核可以允许原始边缘像素位于其中心,同时延伸到边缘之外的零像素,从而产生与输入相同大小的输出。填充的零数量由衬垫大小pc决定,输入特征图尺寸填充后变为Ic+2*pc。卷积层输出特征图尺寸执行本发明技术方案时卷积步长恒为1。每层卷积层存在等同于输出特征图通道数的滤波器,每个滤波器中存在等同于输入特征图通道数的卷积核个数,每个滤波器中每个卷积核在各自对应的输入通道上进行二维卷积操作,得到的特征图对应位置相加再加上偏置,最终得到等同于滤波器个数的输出特征图。
为保证检测网络实际效果,本发明建议在步骤1构建的特征提取模块,后续步骤2构建的轻量级感受野金字塔模块,和步骤3构建的多尺度目标特征图构建的多尺度特征融合检测模块中所有卷积操作后均引入非线性函数作为激励函数,提高深层神经网络的特征表达能力,本实施例采用LeakyRelu函数作为激活函数,其函数计算公式为f(x)=max(0.01x,x)。同时为了保证检测网络在步骤4网络训练中能快速收敛,本发明建议在卷积操作后引入批量归一化,引入可学习重构参数β=E[x(k)],其中x(k)为k维卷积层输出特征图,k维批量归一化输出该操作主要针对步骤4网络训练进行优化,能改善网络梯度,允许更大的学习率,大幅提高训练速度并减少对初始化的强烈依赖。也可以采用小学习率和初始化训练权重优化步骤4,执行本发明技术方案时则无需进行批量归一化操作。
网络中最大池化层对每个通道维度的特征图进行最大池化操作,即将特征图不重叠地分割成若干个池化尺寸大小的小块,每个小块内只取最大的数字,再舍弃其他节点后,保持原有的平面结构得到输出特征图。最大池化层可对提取到的特征信息进行降维,一方面使特征图变小,简化网络计算复杂度并在一定程度上避免过拟合的出现,一方面进行特征压缩,提取主要特征,同时还能提供一定的旋转不变性。若池化步长为1,则为保证输出特征图与输入特征图尺寸相同,本发明使用与卷积层相同的衬垫算法,输入特征图尺寸填充后变为Im+2*pm。池化层输出特征图尺寸否则不采用衬垫算法。
实施例具体的实施方案如下:
子模块一卷积层通道数为16,将416*416尺寸的3通道输入图片进行卷积操作得到416*416尺寸的16通道的特征图,经过步长为2尺寸为2*2的最大值池化操作后,生成尺寸为208*208的16通道子模块一特征图。子模块二卷积层通道数为32,将208*208尺寸的16通道子模块一特征图进行卷积操作得到208*208尺寸的32通道的特征图,经过步长为2尺寸为2*2的最大值池化操作后,生成尺寸为104*104的32通道子模块二特征图。子模块三卷积层通道数为64,将104*104尺寸的32通道子模块二特征图进行卷积操作得到104*104尺寸的64通道的特征图,经过步长为2尺寸为2*2的最大值池化操作后,生成尺寸为52*52的64通道特征提取模块特征图。
步骤2,根据采用步骤1所得特征提取模块特征图构建轻量级感受野金字塔模块。
一般进行构建时,根据当前的数据集判断轻量级感受野金字塔模块构建于特征提取模块后还是检测模块中。实施例指定构建于特征提取模块后,构建时可以调整位置,构建者根据步骤3的多尺度特征融合检测模块设计,保证检测模块所采用的多张不同尺寸特征图在轻量级感受野金字塔模块之后即可。网络构建实现为现有技术,本发明的技术方案直接采用特征提取模块输出特征图作为轻量级感受野金字塔模块输入,轻量级感受野金字塔模块输出特征图直接作为后续步骤3多尺度特征融合检测模块输入。为便于实施参考起见,本发明进一步提供实施例的轻量级感受野金字塔构建具体方式如下:
本发明引入空洞卷积结构,设置卷积稀释度Rc=1为默认状态,定义稀释度Rc与原始卷积尺寸kc和稀释后卷积尺寸ka关系为:ka=(kc-1)*Rc+1。新增的卷积核参数位置用0填充。当Rc=1时,空洞卷积层等效于传统卷积层,获得相同感受野大小的特征图;当Rc≠1时,空洞卷积层卷积核尺寸发生变化,获得相较于同卷积核尺寸的传统卷积层更大的感受野特征图。
如图2所示,具体流程中轻量级感受野金字塔模块分为四条支路。支路1由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为1*1的传统卷积层构成,其等效于一个大稀释度的尺寸为3*3的空洞卷积。因为图像边界响应无法捕捉远距离信息,大稀释度的空洞卷积往往会退化为尺寸为1*1的常规卷积。此支路输出特征图对应最大的感受野信息,其提取的特征对于航母级舰船更为敏感。
支路2由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的传统卷积层构成,此支路输出特征图对应步骤1中特征提取网络输出特征图感受野信息,对应最小的感受野信息,其提取的特征对于小型渔船更为敏感。
支路3由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成,其稀释度设置为2,实际卷积尺寸为5*5,此支路输出特征图对应中型的感受野信息,其提取的特征对于中型货轮更为敏感。
支路4由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成,其稀释度设置为3,实际卷积尺寸为7*7,此支路输出特征图对应较大的感受野信息,其提取的特征对于军舰、大型货轮更为敏感。
4个卷积层输入均为步骤1所得特征提取模块特征图。随后,将4个卷积层的输出特征图输入连接层,即获得对应4个尺度目标的整合特征图。
所述连接层,是指将输入的特征图按先后顺序,在通道维度上拼接,即连接层输出特征图通道数等于输入特征图通道数之和,在本实施例代码实现中,直接进行特征图数组在通道维度上的合并。
通过该结构提取包含不同尺度信息的特征图时,由于没有有效的利用不同通道在相同空间位置上的特征信息,故在上述并行结构的连接层后补充一个通道数等于步骤1特征提取模块输出特征图通道数两倍的卷积核尺寸为3*3常规卷积层进行多尺度特征融合,增强浅层特征表达能力。
除航母外,为了适航,舰船多呈轴对称结构,且一般为舰首较尖的狭长形状;不同的舰船由于其用途不同,外形结构和大小也相应地有所差异,尺度差异超过20倍。该结构参数量小,且能有效适应海面舰船由于图像分辨率,船只型号和天气状况造成较大尺度变化。
步骤3,根据采用步骤2所得多尺度目标特征图构建多尺度特征融合检测模块。
在步骤2所得多尺度目标特征图之后构建多种尺度的卷积层用于分类和检测。本实施例采用3种尺度特征图(13*13,26*26,52*52),增强网络对多尺度船只目标的检测能力。
如图3所示,具体流程中多尺度特征融合检测模块分为三条检测支路。第一尺度支路的输入特征图为步骤2中轻量级感受野金字塔模块输出特征图。
第一尺度支路子模块1包含卷积核尺寸为3*3通道数为128的传统卷积层和尺寸为2*2,步长为2的最大池化层。子模块1输出特征图尺寸下降至26*26,特征图感受野进一步扩大。
第一尺度支路子模块2包含卷积核尺寸为3*3通道数为256的传统卷积层和尺寸为2*2,步长为2的最大池化层。子模块2输入特征图为子模块1输出特征图,子模块2输出特征图尺寸下降至13*13,特征图感受野达到最大。
第一尺度支路子模块3包含卷积核尺寸为3*3通道数为512的传统卷积层和尺寸为2*2,步长为1的最大池化层。子模块3输入特征图为子模块2输出特征图,子模块3输出特征图尺寸不变。子模块3输出特征图输入卷积核尺寸为3*3通道数为1024的传统卷积层,此时特征图通道数达到最大,特征图尺寸对应大型舰船特征。
第一尺度支路子模块4为检测头模块,包含卷积核尺寸为1*1通道数为256的传统卷积层,卷积核尺寸为3*3通道数为512的传统卷积层和卷积核尺寸为1*1通道数为18的传统卷积层,输出18个检测结果参数。子模块4输入特征图为卷积核尺寸为3*3通道数为1024的传统卷积层的输出特征图。
所述结果参数包括三个预测框的各6种属性,分别为边框横坐标,边框纵坐标,边框宽,边框高,变框置信度和类别概率共18个参数。本实施例将所有船只目标标注为类别1,也可以将船只目标标注为多个类别,执行本发明技术方案时则输出参数量根据类别数有所变化,输出检测结果参数个数Np通过Np=3*(5+Nc)式子获得,其中Nc为光学遥感图像舰船数据集舰船类别标注个数。本实施例中多尺度特征融合检测模块的卷积层除去最后一层卷积核尺寸为1*1,通道数为18的卷积层外,均采用LeakyRelu函数作为激活函数,并引入批量归一化操作。
第二尺度支路的输入特征图1为第一尺度支路子模块2中卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图,其尺寸为26*26,通道数为256。输入特征图2为第一尺度支路子模块4中卷积核尺寸为1*1通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到,其尺寸为26*26,通道数为128。输入特征图1和2输入连接层,得到尺寸为26*26,通道数为384的连接层输出特征图,该特征图对应中型舰船特征,作为输入特征图输入由卷积核尺寸为3*3通道数为256的传统卷积层和卷积核尺寸为1*1通道数为18的传统卷积层组成的检测头子模块,输出结果参数组成同第一尺度支路。
所述上采样层,是指对输入特征图,在像素点值之间采用合适的插值算法***新的元素。本实施例采用双线性插值法,本领域人员可自行根据具体情况设定插值方法。
第三尺度支路的输入特征图1为第一尺度支路子模块1中卷积核尺寸为3*3通道数为128的传统卷积层的输出特征图,其尺寸为52*52,通道数为128。输入特征图2为第二尺度支路倒数第二层卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到,其尺寸为52*52,通道数为128。输入特征图1和2输入连接层,得到尺寸为52*52,通道数为256的连接层输出特征图,该特征图对应小型舰船特征,作为输入特征图输入由卷积核尺寸为3*3通道数为128的传统卷积层和卷积核尺寸为1*1通道数为18的传统卷积层组成的检测头子模块,输出结果参数组成同第一尺度支路。
步骤4,根据采用步骤1,2,3构造的基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测构造的网络,对数据集进行网络训练。网络训练以网络损失值为依据,当损失值随迭代次数下降至不再大范围波动时,视为网络收敛,获得网络权重值。如图4所示,本发明损失函数分为四部分,具体计算方式如下:
定义Sn 2为每张图片被网络划分网格数,Bn为每个网格产生的候选框数,为表示第i个网格的第j个候选框是否负责该物体的二值参数,若负责则否则所述负责,指第i个网格的第j个候选框与该物体的标注框的重合度在所有候选框与该标注框的重合度中最大。表示第i个网格的第j个候选框是否不负责该物体的二值参数,若不负责则否则 为第i个网格的第j个预测框的置信度。为训练中的置信度标注真实值,其取值由网格候选框产生的预测框是否负责该物体决定,若负责则否则所述负责第i个网格的第j个预测框与该物体的标注框的重合度在所有候选框与该标注框的重合度中最大。
第一部分为边框中心坐标损失lossxy,其可用式子计算得到,其中xi,yi为网络输出的预测框中心点横纵坐标归一化后的值,为目标标注框中心点横纵坐标归一化后的值。该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时,该候选框产生的预测框中心点坐标与真实目标的标注框中心点坐标的差距。
所述归一化,指将网络输出的预测框中心点对于网格相对值的横纵坐标和宽高对于候选框相对值转化为对于图像的真实坐标和预测框真实宽高的计算过程。预测框中心点真实横坐标其中tx为网络输出的预测框中心点对于网格的相对值横坐标,cx为中心点在特征图中的横坐标;预测框中心点真实纵坐标其中ty为网络输出的预测框中心点对于网格的相对值纵坐标,cy为中心点在特征图中的纵坐标;预测框真实宽 其中pw为候选框的宽,tw为网络输出的预测框宽对于网格的相对值;预测框真实高其中ph为候选框的高,th为网络输出的预测框高对于网格的相对值。
第二部分为边框宽高损失losswh,其可用式子计算得到,其中wi,hi为网络输出的预测框宽高归一化后的值,为目标标注框宽高归一化后的值。该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时,该候选框产生的预测框尺寸与真实目标的标注框尺寸的差距。
第三部分为置信度损失losscon,其可用 式子计算得到,其中λnoobj预测框内不包含物体的置信度损失部分的权重系数。对于光学遥感图像,大部分内容不包含待检测物体,即没有物体的计算部分损失贡献会大于有物体的计算部分,这会导致网络倾向于预测单元格内不含物体。因此,本发明设计损失函数时减少不包含物体计算部分的贡献权重。
第四部分为类别损失losscon,其可用 式子计算得到,其中为标注框真实类别概率,为预测框类别概率。该损失函数实质为第i个网格的第j个候选框负责一个真实目标时,该候选框产生的预测框类别概率与真实目标的标注框类别概率的差距。
具体训练流程中,对输入训练集图片划分网格,在各网格内通过预设尺寸的候选框生成预测框,通过预测框参数和标注真实框参数计算损失函数,计算完训练集内所有图片得到本次迭代损失函数值,完成一次迭代。
实施例过程训练涉及参数如下表:
其中Batch与Subdivisions参数控制一次送入网络训练的图片张数,Resizewidth与Resize height为网络训练输入图片归一化后尺寸,Learning rate为网络训练学习率,决定网络收敛速度,Max batches为网络训练迭代最大次数,Policy为网络训练学习率下降策略,本实施例选择steps策略,即每训练到一定迭代次数,学习率变为自身的十分之一,设置10000次和20000次迭代时各下降一次学习率。本领域技术人员可以需要根据具体情况设定其他方式,或者参照本发明实施例提供的方式自行设置表中数值。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (8)
1.一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法,其特征在于,包含以下步骤:
步骤1,构建特征提取模块,获得特征提取模块特征图;所述特征提取模块包含3个结构相同的子模块,每个子模块包括1个卷积层和1个最大池化层;
步骤2,根据步骤1所得特征提取模块特征图构建轻量级感受野金字塔模块,获得尺度目标特征图;所述轻量级感受野金字塔模块包括4个引入空洞卷积的卷积层支路、1个连接层和一个传统卷积层,其中4个卷积层支路的输入均为步骤1所得特征提取模块特征图,随后,将4个卷积层支路的输出特征图输入连接层,最后再通过一个传统卷积层进行多尺度特征融合,即获得对应4个尺度目标的特征图;
步骤3,根据步骤2所得多尺度目标特征图构建多尺度特征融合检测模块,多尺度特征融合检测模块分为三条检测支路,其中:
第一尺度支路包括4个支路子模块,分别记为支路子模块1、支路子模块2、支路子模块3、支路子模块4,前3个支路子模块包括1个传统卷积层和1个最大池化层,第4个支路子模块包括若干个传统卷积层,第一尺度支路以步骤2中轻量级感受野金字塔模块输出特征图作为输入,输出Np个检测结果参数,Np=3*(5+Nc),其中Nc为光学遥感图像舰船数据集舰船类别标注个数;
第二尺度支路分别以第一尺度支路中的支路子模块2的输出特征图,以及第一尺度支路中的支路子模块4的输出进行卷积和上采样之后的特征图作为输入,将两个特征图依次输入连接层、2个传统卷积层,输出Np个检测结果参数;
第三尺度支路分别以第一尺度支路中的支路子模块1的输出特征图,以及第二尺度支路的输出进行卷积和上采样之后的特征图作为输入,将两个特征图依次输入连接层、2个传统卷积层,输出Np个检测结果参数;
步骤4,结合步骤1,2,3中的3个模块,构造基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测网络;然后对输入训练集图片划分网格,在各网格内通过预设尺寸的候选框生成预测框,通过预测框参数和标注真实框参数计算损失函数,计算完训练集内所有图片得到本次迭代损失函数值,完成一次迭代,网络训练以网络损失值为依据,当损失值随迭代次数收敛时,获得网络权重值;最后利用训练好的目标检测网络对待检测图片进行舰船目标检测。
2.如权利要求1所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法,其特征在于:步骤1中构建特征提取模块的具体实现过程如下,
子模块一卷积层通道数为16,将416*416尺寸的3通道输入图片进行卷积操作得到416*416尺寸的16通道的特征图,经过步长为2尺寸为2*2的最大值池化操作后,生成尺寸为208*208的16通道子模块一特征图;子模块二卷积层通道数为32,将208*208尺寸的16通道子模块一特征图进行卷积操作得到208*208尺寸的32通道的特征图,经过步长为2尺寸为2*2的最大值池化操作后,生成尺寸为104*104的32通道子模块二特征图;子模块三卷积层通道数为64,将104*104尺寸的32通道子模块二特征图进行卷积操作得到104*104尺寸的64通道的特征图,经过步长为2尺寸为2*2的最大值池化操作后,生成尺寸为52*52的64通道特征提取模块特征图。
3.如权利要求1所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法,其特征在于:步骤2中轻量级感受野金字塔模块的具体实现过程如下,
引入空洞卷积,设置卷积稀释度Rc=1为默认状态,定义稀释度Rc与原始卷积尺寸kc和稀释后卷积尺寸ka关系为:ka=(kc-1)*Rc+1,新增的卷积核参数位置用0填充;当Rc=1时,空洞卷积层等效于传统卷积层,获得相同感受野大小的特征图;当Rc≠1时,空洞卷积层卷积核尺寸发生变化,获得相较于同卷积核尺寸的传统卷积层更大的感受野特征图;
四条卷积层支路设置如下:支路1由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为1*1的传统卷积层构成,此支路输出特征图对应最大的感受野信息;
支路2由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的传统卷积层构成,此支路输出特征图对应步骤1中特征提取网络输出特征图感受野信息,对应最小的感受野信息;
支路3由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成,其稀释度设置为2,实际卷积尺寸为5*5,此支路输出特征图对应中型的感受野信息;
支路4由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成,其稀释度设置为3,实际卷积尺寸为7*7,此支路输出特征图对应较大的感受野信息。
4.如权利要求1所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法,其特征在于:步骤3中第一尺度支路的具体处理过程如下,
输入特征图为步骤2中轻量级感受野金字塔模块输出特征图;
第一尺度支路子模块1包含卷积核尺寸为3*3通道数为128的传统卷积层和尺寸为2*2,步长为2的最大池化层;子模块1输出特征图尺寸下降至26*26,特征图感受野进一步扩大;
第一尺度支路子模块2包含卷积核尺寸为3*3通道数为256的传统卷积层和尺寸为2*2,步长为2的最大池化层;子模块2输入特征图为子模块1输出特征图,子模块2输出特征图尺寸下降至13*13,特征图感受野达到最大;
第一尺度支路子模块3包含卷积核尺寸为3*3通道数为512的传统卷积层和尺寸为2*2,步长为1的最大池化层;子模块3输入特征图为子模块2输出特征图,子模块3输出特征图尺寸不变;子模块3输出特征图输入卷积核尺寸为3*3通道数为1024的传统卷积层,此时特征图通道数达到最大,特征图尺寸对应大型舰船特征;
第一尺度支路子模块4为检测头模块,包含卷积核尺寸为1*1通道数为256的传统卷积层,卷积核尺寸为3*3通道数为512的传统卷积层和卷积核尺寸为1*1通道数为Np的传统卷积层,输出Np个检测结果参数;子模块4输入特征图为卷积核尺寸为3*3通道数为1024的传统卷积层的输出特征图;
所述结果参数包括预测框的6种属性,分别为边框横坐标,边框纵坐标,边框宽,边框高,变框置信度和类别概率。
5.如权利要求4所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法,其特征在于:步骤3中第二尺度支路的具体处理过程如下,
第二尺度支路的输入特征图1为第一尺度支路子模块2中卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图,其尺寸为26*26,通道数为256;输入特征图2为第一尺度支路子模块4中卷积核尺寸为1*1通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到,其尺寸为26*26,通道数为128;输入特征图1和2输入连接层,得到尺寸为26*26,通道数为384的连接层输出特征图,该特征图对应中型舰船特征,作为输入特征图输入由卷积核尺寸为3*3通道数为256的传统卷积层和卷积核尺寸为1*1通道数为Np的传统卷积层组成的检测头子模块,输出结果参数组成同第一尺度支路。
6.如权利要求5所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法,其特征在于:步骤3中第三尺度支路的具体处理过程如下,
第三尺度支路的输入特征图1为第一尺度支路子模块1中卷积核尺寸为3*3通道数为128的传统卷积层的输出特征图,其尺寸为52*52,通道数为128;输入特征图2为第二尺度支路倒数第二层卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到,其尺寸为52*52,通道数为128;输入特征图1和2输入连接层,得到尺寸为52*52,通道数为256的连接层输出特征图,该特征图对应小型舰船特征,作为输入特征图输入由卷积核尺寸为3*3通道数为128的传统卷积层和卷积核尺寸为1*1通道数为Np的传统卷积层组成的检测头子模块,输出结果参数组成同第一尺度支路。
7.如权利要求1所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法,其特征在于:步骤4中的损失函数分为四部分,分别为边框回归中心点坐标损失,边框回归长宽损失,边框置信度损失和类别预测损失,整体的损失函数由上述四部分加和得到,具体实现方式如下:
定义Sn 2为每张图片被网络划分网格数,Bn为每个网格产生的候选框数,为表示第i个网格的第j个候选框是否负责该物体的二值参数,若负责则否则所述负责,是指第i个网格的第j个候选框与该物体的标注框的重合度在所有候选框与该标注框的重合度中最大;表示第i个网格的第j个候选框是否不负责该物体的二值参数,若不负责则否则 为第i个网格的第j个预测框的置信度,为训练中的置信度标注真实值,其取值由网格候选框产生的预测框是否负责该物体决定,若负责则否则所述负责,是指第i个网格的第j个预测框与该物体的标注框的重合度在所有候选框与该标注框的重合度中最大;
第一部分为边框中心坐标损失lossxy,用式子计算得到,其中xi,yi为网络输出的预测框中心点横纵坐标归一化后的值,为目标标注框中心点横纵坐标归一化后的值;该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时,该候选框产生的预测框中心点坐标与真实目标的标注框中心点坐标的差距;
所述归一化,指将网络输出的预测框中心点对于网格相对值的横纵坐标和宽高对于候选框相对值转化为对于图像的真实坐标和预测框真实宽高的计算过程;预测框中心点真实横坐标其中tx为网络输出的预测框中心点对于网格的相对值横坐标,cx为中心点在特征图中的横坐标;预测框中心点真实纵坐标其中ty为网络输出的预测框中心点对于网格的相对值纵坐标,cy为中心点在特征图中的纵坐标;预测框真实宽其中pw为候选框的宽,tw为网络输出的预测框宽对于网格的相对值;预测框真实高其中ph为候选框的高,th为网络输出的预测框高对于网格的相对值;
第二部分为边框宽高损失losswh,用式子计算得到,其中wi,hi为网络输出的预测框宽高归一化后的值,为目标标注框宽高归一化后的值;该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时,该候选框产生的预测框尺寸与真实目标的标注框尺寸的差距;
8.如权利要求1-7任一权利要求所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法,其特征在于:步骤1中的特征提取模块,步骤2中的轻量级感受野金字塔模块,以及步骤3中的多尺度特征融合检测模块中所有卷积操作后均引入非线性函数作为激励函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910976760.9A CN110796037B (zh) | 2019-10-15 | 2019-10-15 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910976760.9A CN110796037B (zh) | 2019-10-15 | 2019-10-15 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110796037A true CN110796037A (zh) | 2020-02-14 |
CN110796037B CN110796037B (zh) | 2022-03-15 |
Family
ID=69439168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910976760.9A Active CN110796037B (zh) | 2019-10-15 | 2019-10-15 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110796037B (zh) |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111339864A (zh) * | 2020-02-17 | 2020-06-26 | 北京百度网讯科技有限公司 | 异常行为报警方法和装置 |
CN111368769A (zh) * | 2020-03-10 | 2020-07-03 | 大连东软信息学院 | 基于改进锚点框生成模型的船舶多目标检测方法 |
CN111506759A (zh) * | 2020-03-04 | 2020-08-07 | 中国人民解放军战略支援部队信息工程大学 | 一种基于深度特征的影像匹配方法及装置 |
CN111507271A (zh) * | 2020-04-20 | 2020-08-07 | 北京理工大学 | 一种机载光电视频目标智能化检测与识别方法 |
CN111553204A (zh) * | 2020-04-10 | 2020-08-18 | 国网内蒙古东部电力有限公司 | 一种基于遥感影像的输电杆塔检测方法 |
CN111553934A (zh) * | 2020-04-24 | 2020-08-18 | 哈尔滨工程大学 | 一种采用多维度融合的多船舶跟踪方法 |
CN111563414A (zh) * | 2020-04-08 | 2020-08-21 | 西北工业大学 | 一种基于非局部特征增强的sar图像舰船目标检测方法 |
CN111626419A (zh) * | 2020-07-20 | 2020-09-04 | 成都安智杰科技有限公司 | 卷积神经网络结构、目标检测方法及装置 |
CN111667030A (zh) * | 2020-07-13 | 2020-09-15 | 华东理工大学 | 基于深度神经网络实现遥感图像目标检测的方法、***及其存储介质 |
CN111666822A (zh) * | 2020-05-13 | 2020-09-15 | 飒铂智能科技有限责任公司 | 一种基于深度学习的低空无人机目标检测方法及*** |
CN111666836A (zh) * | 2020-05-22 | 2020-09-15 | 北京工业大学 | M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 |
CN111724345A (zh) * | 2020-05-18 | 2020-09-29 | 天津大学 | 可自适应调节感受野大小的肺炎图片检定装置与方法 |
CN111797783A (zh) * | 2020-07-09 | 2020-10-20 | 兴义民族师范学院 | 一种基于双通道卷积神经网络的智能脉冲星筛查*** |
CN111814863A (zh) * | 2020-07-03 | 2020-10-23 | 南京信息工程大学 | 一种轻量级车辆与行人的检测方法 |
CN111914924A (zh) * | 2020-07-28 | 2020-11-10 | 西安电子科技大学 | 一种快速舰船目标检测方法、存储介质及计算设备 |
CN111967401A (zh) * | 2020-08-19 | 2020-11-20 | 上海眼控科技股份有限公司 | 目标检测方法、设备及存储介质 |
CN112101153A (zh) * | 2020-09-01 | 2020-12-18 | 北京航空航天大学 | 基于感受野模块与多重特征金字塔的遥感目标检测方法 |
CN112102241A (zh) * | 2020-08-11 | 2020-12-18 | 中山大学 | 一种单阶段遥感图像目标检测算法 |
CN112257794A (zh) * | 2020-10-27 | 2021-01-22 | 东南大学 | 一种基于yolo的轻量级的目标检测方法 |
CN112270265A (zh) * | 2020-10-28 | 2021-01-26 | 中国人民解放军战略支援部队航天工程大学 | 基于***-聚合卷积网络的sar图像舰船检测方法 |
CN112287962A (zh) * | 2020-08-10 | 2021-01-29 | 南京行者易智能交通科技有限公司 | 一种多尺度的目标检测模型的训练方法、检测方法、装置,及终端设备 |
CN112288084A (zh) * | 2020-10-23 | 2021-01-29 | 武汉大学 | 一种基于特征图通道重要性程度的深度学习目标检测网络压缩方法 |
CN112396002A (zh) * | 2020-11-20 | 2021-02-23 | 重庆邮电大学 | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 |
CN112435236A (zh) * | 2020-11-23 | 2021-03-02 | 河北工业大学 | 一种多阶段草莓果实检测方法 |
CN112464717A (zh) * | 2020-10-23 | 2021-03-09 | 西安电子科技大学 | 一种遥感图像目标检测方法、***、电子设备和存储介质 |
CN112651351A (zh) * | 2020-12-29 | 2021-04-13 | 珠海大横琴科技发展有限公司 | 一种数据处理的方法和装置 |
CN112651490A (zh) * | 2020-12-28 | 2021-04-13 | 深圳万兴软件有限公司 | 人脸关键点检测模型的训练方法及设备、可读存储介质 |
CN112801117A (zh) * | 2021-02-03 | 2021-05-14 | 四川中烟工业有限责任公司 | 多路感受野引导的特征金字塔小目标检测网络及检测方法 |
CN112818777A (zh) * | 2021-01-21 | 2021-05-18 | 上海电力大学 | 一种基于密集连接与特征增强的遥感图像目标检测方法 |
CN113177133A (zh) * | 2021-04-23 | 2021-07-27 | 深圳依时货拉拉科技有限公司 | 一种图像检索方法、装置、设备及存储介质 |
CN113516053A (zh) * | 2021-05-28 | 2021-10-19 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
CN113627310A (zh) * | 2021-08-04 | 2021-11-09 | 中国电子科技集团公司第十四研究所 | 一种背景与尺度感知的sar舰船目标检测方法 |
CN113705359A (zh) * | 2021-08-03 | 2021-11-26 | 江南大学 | 一种基于洗衣机滚筒图像的多尺度衣物检测***及方法 |
WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
CN113850259A (zh) * | 2021-09-27 | 2021-12-28 | 中国科学院光电技术研究所 | 一种基于多感受野特征的自主空中加油锥套识别方法 |
CN114005028A (zh) * | 2021-07-30 | 2022-02-01 | 北京航空航天大学 | 一种抗干扰的遥感图像目标检测轻量模型及其方法 |
CN114359739A (zh) * | 2022-03-18 | 2022-04-15 | 深圳市海清视讯科技有限公司 | 目标识别方法及装置 |
CN114445674A (zh) * | 2021-12-13 | 2022-05-06 | 上海悠络客电子科技股份有限公司 | 一种基于多尺度融合卷积的目标检测模型搜索方法 |
CN114494829A (zh) * | 2022-01-16 | 2022-05-13 | 西安电子科技大学 | 一种sar图像多尺度舰船目标检测方法 |
CN117058556A (zh) * | 2023-07-04 | 2023-11-14 | 南京航空航天大学 | 基于自监督蒸馏的边缘引导sar图像舰船检测方法 |
CN117611877A (zh) * | 2023-10-30 | 2024-02-27 | 西安电子科技大学 | 基于ls-yolo网络的遥感影像滑坡体检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657224A (zh) * | 2017-09-19 | 2018-02-02 | 武汉大学 | 一种基于部件的多层并行网络sar图像飞机目标检测方法 |
CN109271856A (zh) * | 2018-08-03 | 2019-01-25 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
CN109800716A (zh) * | 2019-01-22 | 2019-05-24 | 华中科技大学 | 一种基于特征金字塔的海面遥感图像船舶检测方法 |
CN110263732A (zh) * | 2019-06-24 | 2019-09-20 | 京东方科技集团股份有限公司 | 多尺度目标检测方法及装置 |
CN110321923A (zh) * | 2019-05-10 | 2019-10-11 | 上海大学 | 不同尺度感受野特征层融合的目标检测方法、***及介质 |
-
2019
- 2019-10-15 CN CN201910976760.9A patent/CN110796037B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657224A (zh) * | 2017-09-19 | 2018-02-02 | 武汉大学 | 一种基于部件的多层并行网络sar图像飞机目标检测方法 |
CN109271856A (zh) * | 2018-08-03 | 2019-01-25 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
CN109800716A (zh) * | 2019-01-22 | 2019-05-24 | 华中科技大学 | 一种基于特征金字塔的海面遥感图像船舶检测方法 |
CN110321923A (zh) * | 2019-05-10 | 2019-10-11 | 上海大学 | 不同尺度感受野特征层融合的目标检测方法、***及介质 |
CN110263732A (zh) * | 2019-06-24 | 2019-09-20 | 京东方科技集团股份有限公司 | 多尺度目标检测方法及装置 |
Non-Patent Citations (4)
Title |
---|
JIN CHEN等: "AtICNet: semantic segmentation with atrous spatial pyramid pooling in image cascade network", 《EURASIP JOURNAL ON WIRELESS COMMUNICATIONS AND NETWORKING》 * |
JUNJIEMA等: "Atrous convolutions spatial pyramid network for crowd counting and density estimation", 《NEUROCOMPUTING》 * |
何楚等: "基于多尺度压缩感知金字塔的极化干涉SAR图像分类", 《自动化学报》 * |
梁格颖等: "基于空洞卷积的语义图像分割算法研究", 《信息通信》 * |
Cited By (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111339864A (zh) * | 2020-02-17 | 2020-06-26 | 北京百度网讯科技有限公司 | 异常行为报警方法和装置 |
CN111339864B (zh) * | 2020-02-17 | 2023-11-10 | 北京百度网讯科技有限公司 | 异常行为报警方法和装置 |
CN111506759A (zh) * | 2020-03-04 | 2020-08-07 | 中国人民解放军战略支援部队信息工程大学 | 一种基于深度特征的影像匹配方法及装置 |
CN111506759B (zh) * | 2020-03-04 | 2023-10-24 | 中国人民解放军战略支援部队信息工程大学 | 一种基于深度特征的影像匹配方法及装置 |
CN111368769A (zh) * | 2020-03-10 | 2020-07-03 | 大连东软信息学院 | 基于改进锚点框生成模型的船舶多目标检测方法 |
CN111368769B (zh) * | 2020-03-10 | 2024-03-12 | 大连东软信息学院 | 基于改进锚点框生成模型的船舶多目标检测方法 |
CN111563414A (zh) * | 2020-04-08 | 2020-08-21 | 西北工业大学 | 一种基于非局部特征增强的sar图像舰船目标检测方法 |
CN111563414B (zh) * | 2020-04-08 | 2022-03-01 | 西北工业大学 | 一种基于非局部特征增强的sar图像舰船目标检测方法 |
CN111553204B (zh) * | 2020-04-10 | 2024-05-28 | 国网内蒙古东部电力有限公司 | 一种基于遥感影像的输电杆塔检测方法 |
CN111553204A (zh) * | 2020-04-10 | 2020-08-18 | 国网内蒙古东部电力有限公司 | 一种基于遥感影像的输电杆塔检测方法 |
CN111507271B (zh) * | 2020-04-20 | 2021-01-12 | 北京理工大学 | 一种机载光电视频目标智能化检测与识别方法 |
CN111507271A (zh) * | 2020-04-20 | 2020-08-07 | 北京理工大学 | 一种机载光电视频目标智能化检测与识别方法 |
CN111553934B (zh) * | 2020-04-24 | 2022-07-15 | 哈尔滨工程大学 | 一种采用多维度融合的多船舶跟踪方法 |
CN111553934A (zh) * | 2020-04-24 | 2020-08-18 | 哈尔滨工程大学 | 一种采用多维度融合的多船舶跟踪方法 |
CN111666822A (zh) * | 2020-05-13 | 2020-09-15 | 飒铂智能科技有限责任公司 | 一种基于深度学习的低空无人机目标检测方法及*** |
CN111724345A (zh) * | 2020-05-18 | 2020-09-29 | 天津大学 | 可自适应调节感受野大小的肺炎图片检定装置与方法 |
CN111666836B (zh) * | 2020-05-22 | 2023-05-02 | 北京工业大学 | M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 |
CN111666836A (zh) * | 2020-05-22 | 2020-09-15 | 北京工业大学 | M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法 |
WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
CN111814863A (zh) * | 2020-07-03 | 2020-10-23 | 南京信息工程大学 | 一种轻量级车辆与行人的检测方法 |
CN111797783A (zh) * | 2020-07-09 | 2020-10-20 | 兴义民族师范学院 | 一种基于双通道卷积神经网络的智能脉冲星筛查*** |
CN111667030A (zh) * | 2020-07-13 | 2020-09-15 | 华东理工大学 | 基于深度神经网络实现遥感图像目标检测的方法、***及其存储介质 |
CN111667030B (zh) * | 2020-07-13 | 2023-04-07 | 华东理工大学 | 基于深度神经网络实现遥感图像目标检测的方法、***及其存储介质 |
CN111626419A (zh) * | 2020-07-20 | 2020-09-04 | 成都安智杰科技有限公司 | 卷积神经网络结构、目标检测方法及装置 |
CN111914924A (zh) * | 2020-07-28 | 2020-11-10 | 西安电子科技大学 | 一种快速舰船目标检测方法、存储介质及计算设备 |
CN111914924B (zh) * | 2020-07-28 | 2024-02-06 | 西安电子科技大学 | 一种快速舰船目标检测方法、存储介质及计算设备 |
CN112287962B (zh) * | 2020-08-10 | 2023-06-09 | 南京行者易智能交通科技有限公司 | 一种多尺度的目标检测模型的训练方法、检测方法、装置,及终端设备 |
CN112287962A (zh) * | 2020-08-10 | 2021-01-29 | 南京行者易智能交通科技有限公司 | 一种多尺度的目标检测模型的训练方法、检测方法、装置,及终端设备 |
CN112102241B (zh) * | 2020-08-11 | 2023-10-20 | 中山大学 | 一种单阶段遥感图像目标检测算法 |
CN112102241A (zh) * | 2020-08-11 | 2020-12-18 | 中山大学 | 一种单阶段遥感图像目标检测算法 |
CN111967401A (zh) * | 2020-08-19 | 2020-11-20 | 上海眼控科技股份有限公司 | 目标检测方法、设备及存储介质 |
CN112101153A (zh) * | 2020-09-01 | 2020-12-18 | 北京航空航天大学 | 基于感受野模块与多重特征金字塔的遥感目标检测方法 |
CN112288084A (zh) * | 2020-10-23 | 2021-01-29 | 武汉大学 | 一种基于特征图通道重要性程度的深度学习目标检测网络压缩方法 |
CN112464717B (zh) * | 2020-10-23 | 2024-04-02 | 西安电子科技大学 | 一种遥感图像目标检测方法、***、电子设备和存储介质 |
CN112464717A (zh) * | 2020-10-23 | 2021-03-09 | 西安电子科技大学 | 一种遥感图像目标检测方法、***、电子设备和存储介质 |
CN112257794A (zh) * | 2020-10-27 | 2021-01-22 | 东南大学 | 一种基于yolo的轻量级的目标检测方法 |
CN112270265A (zh) * | 2020-10-28 | 2021-01-26 | 中国人民解放军战略支援部队航天工程大学 | 基于***-聚合卷积网络的sar图像舰船检测方法 |
CN112270265B (zh) * | 2020-10-28 | 2023-09-15 | 中国人民解放军战略支援部队航天工程大学 | 基于***-聚合卷积网络的sar图像舰船检测方法 |
CN112396002A (zh) * | 2020-11-20 | 2021-02-23 | 重庆邮电大学 | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 |
CN112396002B (zh) * | 2020-11-20 | 2023-05-30 | 重庆邮电大学 | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 |
CN112435236A (zh) * | 2020-11-23 | 2021-03-02 | 河北工业大学 | 一种多阶段草莓果实检测方法 |
CN112435236B (zh) * | 2020-11-23 | 2022-08-16 | 河北工业大学 | 一种多阶段草莓果实检测方法 |
CN112651490B (zh) * | 2020-12-28 | 2024-01-05 | 深圳万兴软件有限公司 | 人脸关键点检测模型的训练方法及设备、可读存储介质 |
CN112651490A (zh) * | 2020-12-28 | 2021-04-13 | 深圳万兴软件有限公司 | 人脸关键点检测模型的训练方法及设备、可读存储介质 |
CN112651351A (zh) * | 2020-12-29 | 2021-04-13 | 珠海大横琴科技发展有限公司 | 一种数据处理的方法和装置 |
CN112818777B (zh) * | 2021-01-21 | 2022-10-18 | 上海电力大学 | 一种基于密集连接与特征增强的遥感图像目标检测方法 |
CN112818777A (zh) * | 2021-01-21 | 2021-05-18 | 上海电力大学 | 一种基于密集连接与特征增强的遥感图像目标检测方法 |
CN112801117A (zh) * | 2021-02-03 | 2021-05-14 | 四川中烟工业有限责任公司 | 多路感受野引导的特征金字塔小目标检测网络及检测方法 |
CN112801117B (zh) * | 2021-02-03 | 2022-07-12 | 四川中烟工业有限责任公司 | 多路感受野引导的特征金字塔小目标检测网络及检测方法 |
CN113177133A (zh) * | 2021-04-23 | 2021-07-27 | 深圳依时货拉拉科技有限公司 | 一种图像检索方法、装置、设备及存储介质 |
CN113177133B (zh) * | 2021-04-23 | 2024-03-29 | 深圳依时货拉拉科技有限公司 | 一种图像检索方法、装置、设备及存储介质 |
CN113516053A (zh) * | 2021-05-28 | 2021-10-19 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
CN113516053B (zh) * | 2021-05-28 | 2024-05-14 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
CN114005028A (zh) * | 2021-07-30 | 2022-02-01 | 北京航空航天大学 | 一种抗干扰的遥感图像目标检测轻量模型及其方法 |
CN114005028B (zh) * | 2021-07-30 | 2023-02-17 | 北京航空航天大学 | 一种抗干扰的遥感图像目标检测轻量***及其方法 |
CN113705359A (zh) * | 2021-08-03 | 2021-11-26 | 江南大学 | 一种基于洗衣机滚筒图像的多尺度衣物检测***及方法 |
CN113705359B (zh) * | 2021-08-03 | 2024-05-03 | 江南大学 | 一种基于洗衣机滚筒图像的多尺度衣物检测***及方法 |
CN113627310B (zh) * | 2021-08-04 | 2023-11-24 | 中国电子科技集团公司第十四研究所 | 一种背景与尺度感知的sar舰船目标检测方法 |
CN113627310A (zh) * | 2021-08-04 | 2021-11-09 | 中国电子科技集团公司第十四研究所 | 一种背景与尺度感知的sar舰船目标检测方法 |
CN113850259A (zh) * | 2021-09-27 | 2021-12-28 | 中国科学院光电技术研究所 | 一种基于多感受野特征的自主空中加油锥套识别方法 |
CN114445674A (zh) * | 2021-12-13 | 2022-05-06 | 上海悠络客电子科技股份有限公司 | 一种基于多尺度融合卷积的目标检测模型搜索方法 |
CN114445674B (zh) * | 2021-12-13 | 2024-06-21 | 上海悠络客电子科技股份有限公司 | 一种基于多尺度融合卷积的目标检测模型搜索方法 |
CN114494829A (zh) * | 2022-01-16 | 2022-05-13 | 西安电子科技大学 | 一种sar图像多尺度舰船目标检测方法 |
CN114359739A (zh) * | 2022-03-18 | 2022-04-15 | 深圳市海清视讯科技有限公司 | 目标识别方法及装置 |
CN117058556B (zh) * | 2023-07-04 | 2024-03-22 | 南京航空航天大学 | 基于自监督蒸馏的边缘引导sar图像舰船检测方法 |
CN117058556A (zh) * | 2023-07-04 | 2023-11-14 | 南京航空航天大学 | 基于自监督蒸馏的边缘引导sar图像舰船检测方法 |
CN117611877A (zh) * | 2023-10-30 | 2024-02-27 | 西安电子科技大学 | 基于ls-yolo网络的遥感影像滑坡体检测方法 |
CN117611877B (zh) * | 2023-10-30 | 2024-05-14 | 西安电子科技大学 | 基于ls-yolo网络的遥感影像滑坡体检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110796037B (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110796037B (zh) | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 | |
CN110135267B (zh) | 一种大场景sar图像细微目标检测方法 | |
CN111507271B (zh) | 一种机载光电视频目标智能化检测与识别方法 | |
CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及*** | |
CN112396002A (zh) | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 | |
CN107731011B (zh) | 一种港口泊船监测方法、***及电子设备 | |
CN113298032A (zh) | 基于深度学习的无人机视角图像的车辆目标检测方法 | |
CN116665176B (zh) | 一种面向车辆自动驾驶的多任务网络道路目标检测方法 | |
CN112446381B (zh) | 一种利用全卷积网络驱动的基于测地线活动轮廓的混合语义分割方法 | |
CN113591617B (zh) | 基于深度学习的水面小目标检测与分类方法 | |
CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
CN114299303A (zh) | 一种船舶目标检测方法、终端设备及存储介质 | |
CN112733942A (zh) | 一种基于多级特征自适应融合的变尺度目标检测方法 | |
CN115047455A (zh) | 一种轻量化的sar图像舰船目标检测方法 | |
CN115527103A (zh) | 无人艇感知实验平台*** | |
Zeng et al. | Research on mosaic image data enhancement for overlapping ship targets | |
CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及*** | |
CN110069987B (zh) | 基于改进vgg网络的单阶段船舶检测算法及装置 | |
CN115272670A (zh) | 一种基于掩膜注意交互的sar图像舰船实例分割方法 | |
CN114511785A (zh) | 基于瓶颈注意力模块的遥感图像云检测方法及*** | |
CN113869262A (zh) | 一种基于Unet模型的目标区域用地信息的预测方法和装置 | |
CN111899278B (zh) | 基于移动端的无人机图像快速目标跟踪方法 | |
CN117456346A (zh) | 一种水下合成孔径声呐图像目标检测方法及*** | |
CN115661657A (zh) | 一种轻量化的无人艇目标检测方法 | |
Xu et al. | Compressed YOLOv5 for oriented object detection with integrated network slimming and knowledge distillation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |