CN108764063A - 一种基于特征金字塔的遥感影像时敏目标识别***及方法 - Google Patents

一种基于特征金字塔的遥感影像时敏目标识别***及方法 Download PDF

Info

Publication number
CN108764063A
CN108764063A CN201810427107.2A CN201810427107A CN108764063A CN 108764063 A CN108764063 A CN 108764063A CN 201810427107 A CN201810427107 A CN 201810427107A CN 108764063 A CN108764063 A CN 108764063A
Authority
CN
China
Prior art keywords
layer
characteristic layer
characteristic
network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810427107.2A
Other languages
English (en)
Other versions
CN108764063B (zh
Inventor
杨卫东
金俊波
王祯瑞
习思
黄竞辉
钟胜
陈俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avic Tianhai Wuhan Technology Co ltd
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810427107.2A priority Critical patent/CN108764063B/zh
Publication of CN108764063A publication Critical patent/CN108764063A/zh
Application granted granted Critical
Publication of CN108764063B publication Critical patent/CN108764063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征金字塔的遥感影像时敏目标识别***及方法,该***包括目标特征提取子网络、特征层子网络、候选区域生成子网络及分类回归子网络。目标特征提取子网络用于对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为一个特征层输出。特征层子网络将上一特征层和当前特征层叠加处理得到当前融合特征层,最顶层融合特征层为最顶层特征层。候选区域生成子网络用于从不同层级融合特征层提取出候选区域,分类回归子网络将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。利用特征金字塔层次结构,使得所有尺度的特征都具有丰富的语义信息。

Description

一种基于特征金字塔的遥感影像时敏目标识别***及方法
技术领域
本发明属于遥感图像处理领域,更具体地,涉及一种基于特征金字塔的遥感影像时敏目标识别***及方法。
背景技术
大幅面遥感图像移动目标检测是遥感图像分析领域的一个重要组成并且因其具有多尺度、幅面广、视角特殊等特性而极具挑战性,其基本任务就是对于给定的一幅航空或者卫星图像中确定其中是否包含一个或者多个类别目标对象以及每个类别对象目标的精确位置。大幅面遥感图像时敏目标检测作为计算机视觉领域以及遥感图像分析领域的重要组成部分,具有很高的研究意义。随着当代遥感技术、传感器技术和互联网技术的迅速发展,人们可以利用遥感技术实现大幅面的地面区域或者海洋区域探测,从而使得遥感获得的数据综合性越来越多,其中也包括地理、人文等诸多方面的信息。遥感技术在地面飞机目标以及海上舰船目标寻找与救助、非法移民、守卫领土、环境监控、军事情报搜集、地面资源调查等众多方面都具有广泛的应用。
目标检测有两个基本的任务,一是确定图像中是否存在目标,二是确定目标的位置。自然场景中的目标检测作为视觉与数字图像处理的核心研究领域,近几年来一直是学术界研究以及工业界应用的热点方向。自2012年以来,卷积神经网络在图像分类领域取得重大突破,深度学习强大的特征提取能力同样也为高精度目标检测带来可能,把目标检测问题转化为图片分类问题,将深度学习应用于目标检测,推动了目标检测技术领域的飞速发展,基于深度学习的目标检测方法也日新月异。
现有深度学习目标检测模型通常只利用上一层单尺度特征,虽然上一层特征语义信息很强,但位置信息很弱,对多尺度目标检测效果较差,同时,现有网络规模大参数多,对计算资源需求高。
发明内容
本发明针对大幅面遥感图像多尺度目标检测难题,提出一种基于特征金字塔的遥感影像时敏目标识别***及方法。将基于通道加权的特征金字塔网络SEM-FPN应用于遥感图像时敏目标检测,并根据网络模型实际应用中存在的问题进行改进,算法实现多尺度目标的检测,同时具有轻量化特点。
作为本发明的一方面,本发明提供一种基于特征金字塔的遥感影像时敏目标识别***,包括:
目标特征提取子网络,设有多个层次输出端,用于对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为一个特征层输出;
特征层子网络,设有多个层次输入端和多个层次输出端,一个层次输入端同目标特征提取子网络的一个层次输出端连接,用于将上一特征层和当前特征层叠加处理得到当前融合特征层,最顶层融合特征层为最顶层特征层;
候选区域生成子网络,设有多个层次输入端和多个层次输出端,一个层次输入端同特征层子网络的一个层次输出端连接,用于从不同层级融合特征层提取出候选区域;
分类回归子网络,设有多个层次输入端和RPN输入端,一个层次输入端同特征层子网络一个层次输出端连接,RPN输入端同候选区域生成子网络的输出端连接,用于将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。
优选地,特征层子网络包括多个特征层子模块,记为第一个特征层子模块、第二个特征层子模块、……、第i个特征层子模块、……、第N个特征层子模块;1≤i≤N-1;
第i个特征层子模块的一个输入端作为该特征层子网络的一个层次输入端,第i个特征层子模块的另一个输入端同第i+1个特征层子模块的输出端连接,第N个特征层子模块的输入端作为该特征层子网络的一个层次输入端;
前N-1个特征层子模块用于对上一层特征层和当前特征层叠加处理得到当前融合特征层;第N个特征层子模块用于将当前特征层作为当前融合特征层输出,其中,上一层特征层为通过对当前特征层进行卷积后获得。
优选地,前N-1个特征层子模块中任意一个特征层子模块包括:
上一层处理子单元、当前处理子单元及叠加单元,上一层处理子单元的输出端同叠加单元的第一输入端连接,当前处理子单元的输出端同叠加单元的第二输入端连接;
上一层处理子单元用于对上一层特征层进行上采样处理输出处理后上一层特征层,当前处理子单元用于对当前特征层进行卷积处理输出处理后当前特征层,叠加单元用于对处理后上一层特征层和处理后当前特征层进行叠加处理,输出当前融合特征层。
优选地,特征层子模块还包括混叠效应处理单元,其输入端同叠加单元的输出端连接,混叠效应处理单元用于对当前融合特征层进行卷积处理,输出最终当前融合特征层。
优选地,特征层子网络还包括第N+1个特征层子模块,候选区域生成子网络设有附加层次输入端;第N+1个特征层子模块输入端同第N个特征层子模块的输出端连接,第N+1个特征层子模块输出端同候选区域生成子网络的附加层次输入端连接;
第N+1个特征层子模块用于对第N个特征层子模块输出的融合特征层进行上采样输出第N+1个特征层,候选区域生成子网络同时从第N+1个特征层提取候选区域。
优选地,分类回归子网络包括依次连接的映射子模块、融合子模块及目标判定子模块,映射子模块用于将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,融合子模块用于对映射处理后的多个层级融合特征层进行融合处理获得目标判定特征层,目标判定子模块用于对目标判定特征层进行目标判定输出结果。
作为本发明的另一方面,本发明提供一种基于遥感影像时敏目标识别***的识别方法,包括如下步骤:
S110对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为金字塔特征层中该层级特征层;
S120将金字塔特征层中第i个层级特征层和第i+1个层级特征层叠加处理得到第i个层级融合特征层;并将i遍历金字塔特征层中前N-1个层级获得N-1个层级融合特征层;将金字塔特征层中第N个层级特征层作为第N个层级融合特征层;
S130从N个层级融合特征层提取出候选区域;
S140将候选区域映射至N个层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。
优选地,在步骤S110和步骤S120之间还包括如下步骤:
对第i层级特征层进行卷积处理使得第i层级特征层通道同对第i+1层级特征层通道相同;对第i+1层级特征层进行上采样处理使得第i层级特征层尺寸同对第i+1层级特征层尺寸相同;1≤i≤N-1。
优选地,步骤S140包括如下子步骤:
步骤S141:将候选区域映射至N个层级融合特征层获得映射处理后的N个层级融合特征层;
步骤S142:并对映射处理后的N个层级融合特征层进行融合处理获得目标判定特征层;
步骤S143:目标判定特征层进行目标判定输出结果。
总体来说,本发明与现有遥感图像多尺度目标检测技术相比,具有以下优势:
1、本发明提供了一种基于特征金字塔网络的遥感影像时敏目标识别方法,将特征金字塔结构思想引入遥感图像目标检测中,利用卷积神经网络的特征金字塔层次结构,并将各层级之间的信息进行融合运用,采用自上而下的侧边连接,将高层的语义信息向下传递,使得所有尺度的特征都具有丰富的语义信息,该方法取得优异的检测效果,且网络具有良好的适应能力;
2、本发明提供了一种基于特征金字塔网络的遥感影像时敏目标识别方法,提出多层次候选区域(RoI)池化特征图融合方法,将多层次RoI池化特征融合,该方法将网络参数量大幅降低,实现网络轻量化,提高训练与测试速度。
3、本发明提供了一种基于特征金字塔网络的遥感影像时敏目标识别方法,将SE结构融入目标检测网络结构单元之中,显式地建模通道之间的相互依赖关系,自适应地重新校准通道的特征响应,提升特征提取能力。
附图说明
图1为本发明提供的基于特征金字塔的遥感影像多尺度目标识别***的结构示意图;
图2为本发明提供的基于特征金字塔的遥感影像多尺度目标识别方法的流程图;
图3为本发明提供的遥感影像多尺度目标识别***中SE结构示意图;
图4为本发明提供的遥感影像多尺度目标识别***中多尺度特征信息融合示意图;
图5为本发明提供的遥感影像多尺度目标识别***中分类回归子网络构建特征金字塔结构示意图;
图6为本发明提供的遥感影像多尺度目标识别***中层次区域池化特征融合示意图;
图7为本发明数据集分析目标尺度分布示意图;
图8为本发明实施案例中遥感图像时敏目标检测结果;
图9(a1)为在识别场景一下采用Fast RCNN检测结果,图9(a2)为在识别场景一下采用R-FCN检测结果,图9(a3)为在识别场景一下采用FPN检测结果,图9(b1)为在识别场景二下采用Fast RCNN检测结果,图9(b2)为在识别场景二下采用R-FCN检测结果,图9(b3)为在识别场景二下采用FPN检测结果,图9(c1)为在识别场景三下采用Fast RCNN检测结果,图9(c2)为在识别场景三下采用R-FCN检测结果,图9(c3)为在识别场景三下采用FPN检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例案,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
本发明提供的一种基于特征金字塔的遥感影像时敏目标识别***,该图像识别***包括目标特征提取子网络、特征层子网络、候选区域生成子网络及分类回归子网络。其中,目标特征提取子网络设有多个层次输出端,分类回归子网络设有多个层次输入端和RPN输入端,特征层子网络和候选区域生成子网络均设有多个层次输入端和多个层次输出端,目标特征提取子网络的一个层次输出端同特征层子网络的一个层次输入端连接,特征层子网络的一个层次输出端同候选区域生成子网络的一个层次输入端连接,特征层子网络一个层次输出端同分类回归子网络一个层次输入端连接,候选区域生成子网络的输出端同分类回归子网络的RPN输入端连接。
目标特征提取子网络用于对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为一个特征层输出。特征层子网络将上一特征层和当前特征层叠加处理得到当前融合特征层,最顶层融合特征层为最顶层特征层。候选区域生成子网络用于从不同层级融合特征层提取出候选区域,分类回归子网络将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。
实施例二
在实施例一的基础之上,特征层子网络包括多个特征层子模块,记为第一个特征层子模块、第二个特征层子模块、……、第i个特征层子模块、……、第N个特征层子模块。其中,第i个特征层子模块的一个输入端作为该特征层子网络的一个层次输入端,第i个特征层子模块的另一个输入端同第i+1个特征层子模块的输出端连接,第N个特征层子模块的输入端作为该特征层子网络的一个层次输入端,1≤i≤N-1,前N-1个特征层子模块用于对上一层特征层和当前特征层叠加处理得到当前融合特征层;第N个特征层子模块用于将当前特征层作为当前融合特征层输出,上一层特征层为通过对当前特征层进行卷积后获得。
实施例三
如图2所示,在实施例二的基础之上,前N-1个特征层子模块中任意一个特征层子模块包括上一层处理子单元、当前处理子单元及叠加单元,上一层处理子单元的输出端同叠加单元的第一输入端连接,当前处理子单元的输出端同叠加单元的第二输入端连接,上一层处理子单元用于对上一层特征层进行上采样处理输出处理后上一层特征层T2,当前处理子单元用于对当前特征层进行1×1卷积处理输出处理后当前特征层S2,叠加单元用于对处理后上一层特征层和当前特征层进行叠加处理,输出当前融合特征层。
本发明实施例提供的特征层子模块,通过将上一层特征层进行上采样处理,使上一层特征层尺寸增大一倍,对当前特征层进行卷积处理,使得当前特征层的通道数量同上一层特征层的通道数量相同,通过叠加处理,获得的当前融合特征层,当前融合特征层同时拥有上一层特征层的特征信息强的特点,同时有当前特征层的位置信息强的特点。
实施例四
在实施例三基础之上,特征层子模块还包括混叠效应处理单元,其输入端同叠加单元的输出端连接,混叠效应处理单元用于对当前融合特征层进行卷积处理,输出最终当前融合特征层,实现去除上采样的混叠效应。
实施例五
在实施例二至实施例五任意一项的基础之上,特征层子网络还包括第N+1个特征层子模块,候选区域生成子网络设有附加层次输入端,其输入端同第N个特征层子模块的输出端连接,其输出端用于同候选区域生成子网络的附加层次输入端连接,用于对第N个特征层子模块输出的融合特征层进行上采样输出第N+1个特征层,候选区域生成子网络同时从第N+1个特征层提取候选区域。
实施例六
在实施例一至实施例五任意一项的基础之上,分类回归子网络包括依次连接的映射子模块、融合子模块及目标判定子模块,映射子模块用于将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,融合子模块用于对映射处理后的多个层级融合特征层进行融合处理获得目标判定特征层,目标判定子模块用于对目标判定特征层进行目标判定输出结果。
实施例七
如图3所示,一种基于特征金字塔的遥感影像时敏目标识别方法,包括如下步骤:
S110对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为金字塔特征层中该层级特征层;
S120将金字塔特征层中第i个层级特征层和第i+1个层级特征层叠加处理得到第i个层级融合特征层;并将i遍历金字塔特征层中前N-1个层级获得N-1个层级融合特征层;将金字塔特征层中第N个层级特征层作为第N个层级融合特征层;
S130从N个层级融合特征层提取出候选区域;
S140将候选区域映射至N个层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。
实施例八
在实施例六基础之上,在步骤S110和步骤S120之间还包括如下步骤:
对第i层级特征层进行卷积处理使得第i层级特征层通道同对第i+1层级特征层通道相同;对第i+1层级特征层进行上采样处理使得第i层级特征层尺寸同对第i+1层级特征层尺寸相同;1≤i≤N-1。
实施例九
在实施例六或实施例七基础之上,步骤S140包括如下子步骤:
步骤S141:将候选区域映射至N个层级融合特征层获得映射处理后的N个层级融合特征层;
步骤S142:并对映射处理后的N个层级融合特征层进行融合处理获得目标判定特征层;
步骤S143:目标判定特征层进行目标判定输出结果。
本发明首次提出的一种基于特征金字塔网络的遥感影像时敏目标识别方法,设计一种基于通道加权的特征金字塔目标检测网络模型,从空间及通道两个维度提升目标特征的立体化表达能力及尺度适应性,将分类回归网络中的多层次区域池化特征融合,使得网络模型规模大幅缩减,实现网络轻量化。
本发明提供的基于特征金字塔网络的遥感影像时敏目标识别方法实施例,该方法具体过程为:
步骤S110:提取图像中目标特征
如图4所示,以SE-MobileNet为特征提取网络,通过在MobileNet网络结构单元中添加SE结构实现对图像中目标特征提取。
步骤S111:Squeeze挤压操作
通过全局平均池化将输入的U个原始特征图缩成1*1*C的实数数列,U表示通道的全局空间特征表示,实数数列表示通道描述符,即特征在通道维度的表达,具体公式如下:
其中,W、H分别为特征图的长、宽,uc表示输入的特征图。
步骤S112:Excitation激励操作
挤压之后的实数数列经过Excitation操作的公式表示如下所示:
s=Fex(z,W)=σ(g(z,W))=δ(W2σ(W1z))
其中,δ指ReLU激活函数,g指sigmoid激活函数,
引入两个全连接(FC)层,即降维层参数为W1,降维比例为r,之后经过一个ReLU,然后是一个参数为W2的升维层。最后,将1*1*C的实数数列结合特征图U通过下列公式进行Scale操作得到最终的输出。
其中,X=[x1,x2,...,xc]和Fscale(uc,sc)指的是特征映射uc∈RW×H和标量sc之间对应通道乘积。
步骤S120:获得不同层级融合特征层
步骤S121:自下而上的路径
特征金字塔的构建是根据层级来进行划分,定义尺度相同的特征图为一个金字塔级别,并将每个层级的最后一张特征图作为该层金字塔的最终输出。使用每个层级的卷积层的最后一个特征图作为输出,以特征图尺度为基准定义金字塔结构的输出为{C2,C3,C4,C5},分别来自于卷积层conv2、conv3、conv4和conv5,并且这些特征层相对于输入图像具有{4,8,16,32}像素的步长。
步骤S122:自上而下的金字塔网络路径和横向连接
自上而下的金字塔网络路径通过连接构建信息流动通道,将高层特征与当前的特征融合。具体操作为将卷积网络的上一层特征进行上采样,然后通过横向连接与前一层的特征进行融合,低层次的语义信息也得到加强,横向连接的两个特征图之间的尺寸大小需要是相同的,才能更好的利用当前特征图的定位细节信息。
上一层的特征T1,首先把T1进行2倍上采样,得到特征图T2,然后将S1层特征经过一个1×1的卷积操作来调整通道数目,保持和T2特征的通道数目一致,最后将T2与调整通道数目后的S2层特征进行融合,融合方式是直接进行像素相加。
步骤S130:RPN网络构建特征金字塔结构,提取候选区域
在Faster RCNN中输入进RPN网络的特征图为固定的16×16这一个尺寸,为了实现多尺度的效果,需要多个尺度的特征图作为输入。为了将特征金字塔结构与RPN网络结合,我们将融合特征层{P2,P3,P4,P5}都作为RPN的输入,实现了多尺度的输入,并且为了让尺度信息更加丰富,对P5进行最大池化下采样,产生P6,所以RPN网络的输入为{P2,P3,P4,P5,P6}。RPN网络在Faster RCNN中有9种不同尺度的候选窗口(Anchors),分为三种尺度和三种长宽比,然而对于RPN网络的多尺度的输入来说,多尺度的意义不大,所以就保留了三种长宽比例。{P2,P3,P4,P5,P6}对应的尺度为{32×32,64×64,128×128,256×256,512×512},再加上三种长宽比例,所以基于FPN的RPN网络总共有15中不同的Anchors。
步骤S140:对多个层级融合特征层进行目标判定输出结果。
S141:根据RPN产生的候选框大小,把它们分别映射到各个尺度的特征图上。假设候选框的大小为w×h,可以通过下列计算它应该映射到Pk特征图上,其中,k从2取到5,具体流程如图5所示。
网络模型预训练时224×224为预训练的图像大小,所以基准候选框的大小设置为224,记为k0,由于在Faster RCNN中,将C4作为RoI池化的输入,所以k0=4。假设候选框的w×h分别为112×112,那么k=k0-1=3,候选框应该映射到P3这个特征图上,然后再做RoI池化。具体实现时只用P2-P5特征层,不包含P6特征层。
S142:在分类回归子网络中,将多层次特征RoI池化之后的结果进行融合,再输入分类回归预测网络,具体结构如图6所示,将减少网络参数,提升网络训练与测试速度,融合计算过程如下公式所示。
Op=K×N×C×H×W
其中,Op为融合后的输出,输入特征图为X={x1,x2,x3…,xK},xk=N×C×H×W,K为融合特征层的数量,本实施例中取值为4,H、W分别为特征图的长、宽,C为特征图通道数,N为特征图个数。
步骤S143:目标判定特征层进行目标判定输出结果。
本发明提供的实施例中,采用如下步骤对遥感影像时敏目标识别***进行训练:
步骤S210:数据集制作与分析
通过Google Earth卫星遥感图像软件下载世界各地飞机场0.6m分辨率下遥感图像1000张,图像大小2000×2000以上。并通过LabelImg图像标注工具对数据集中样本进行标注,仿照PASCAL VOC数据集格式。
数据集总共包含1000张2000×2000以上大小的遥感影像数据集,其中训练样本340张,测试样本330张,验证样本330张,飞机目标超过14000架。
通过对所有标注目标的尺寸大小进行分析,如图7所示。横坐标为K,纵坐标为目标个数。统计的计算公式为:
图7中Kr为1,2,3时表示的尺度大小分别为16×16,32×32,64×64。
步骤S220:根据步骤S210中数据集目标尺度分布统计设计***的尺度超参数,并针对***训练设计其他合理的超参数,将训练数据集输入遥感影像时敏目标识别***中进行训练。
步骤S230:将测试数据集输入遥感影像时敏目标识别***中进行前向计算,测试遥感影像时敏目标识别***检测性能与泛化能力。
为了验证提出的特征金字塔网络对于遥感图像飞机目标检测的有效性,与现有主流目标检测框架Faster RCNN和R-FCN进行对比分析,检测三种场景,检测图像尺寸大于1000×1000,本发明的飞机目标检测结果以及与其他方法的检测效果对比图如图8、图9(a1)至图9(a3)、图9(b1)至图9(b3)及图9(c1)至图9(c3)所示,上述方法使用的数据集与本发明一致,结果如表1所示。
采用平均准确率作为模型评价指标,其值越大表示检测性能越好,检测时间是大幅面遥感图像测试统计得来。
表1
本发明首先设计一种基于通道加权的特征金字塔目标检测网络模型SEM-FPN,包括基于通道加权的目标特征提取子网络SE-MobileNet、特征层子网络、候选区域生成子网络RPN及分类回归子网络四个子网络,分别在子网络RPN与分类回归子网络上构建特征金字塔结构,分类回归子网络中的采用多层次区域池化特征融合,减少网络参数;然后制作遥感影像数据集,并对数据集中目标尺度分布进行分析;在网络的训练层级,设置合适的训练超参数,将训练样本输入SEM-FPN中进行端到端的训练,得到时敏目标检测模型;在图像测试层级,将数据集中的测试样本输入时敏目标检测模型,进行前向预测计算。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于特征金字塔的遥感影像时敏目标识别***,其特征在于,包括:
目标特征提取子网络,设有多个层次输出端,用于对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为一个特征层输出;
特征层子网络,设有多个层次输入端和多个层次输出端,一个层次输入端同目标特征提取子网络的一个层次输出端连接,用于将上一特征层和当前特征层叠加处理得到当前融合特征层,最顶层融合特征层为最顶层特征层;
候选区域生成子网络,设有多个层次输入端和多个层次输出端,一个层次输入端同特征层子网络的一个层次输出端连接,用于从不同层级融合特征层提取出候选区域;
分类回归子网络,设有多个层次输入端和RPN输入端,一个层次输入端同特征层子网络一个层次输出端连接,RPN输入端同候选区域生成子网络的输出端连接,用于将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。
2.如权利要求1所述的遥感影像时敏目标识别***,其特征在于,特征层子网络包括多个特征层子模块,记为第一个特征层子模块、第二个特征层子模块、……、第i个特征层子模块、……、第N个特征层子模块;1≤i≤N-1;
第i个特征层子模块的一个输入端作为该特征层子网络的一个层次输入端,第i个特征层子模块的另一个输入端同第i+1个特征层子模块的输出端连接,第N个特征层子模块的输入端作为该特征层子网络的一个层次输入端;
前N-1个特征层子模块用于对上一层特征层和当前特征层叠加处理得到当前融合特征层;第N个特征层子模块用于将当前特征层作为当前融合特征层输出,其中,上一层特征层为通过对当前特征层进行卷积后获得。
3.如权利要求2所述的遥感影像时敏目标识别***,其特征在于,前N-1个特征层子模块中任意一个特征层子模块包括:
上一层处理子单元、当前处理子单元及叠加单元,上一层处理子单元的输出端同叠加单元的第一输入端连接,当前处理子单元的输出端同叠加单元的第二输入端连接;
上一层处理子单元用于对上一层特征层进行上采样处理输出处理后上一层特征层,当前处理子单元用于对当前特征层进行卷积处理输出处理后当前特征层,叠加单元用于对处理后上一层特征层和处理后当前特征层进行叠加处理,输出当前融合特征层。
4.如权利要求2或3所述的遥感影像时敏目标识别***,其特征在于,特征层子模块还包括混叠效应处理单元,其输入端同叠加单元的输出端连接,混叠效应处理单元用于对当前融合特征层进行卷积处理,输出最终当前融合特征层。
5.如权利要求2至4任一项所述的遥感影像时敏目标识别***,其特征在于,特征层子网络还包括第N+1个特征层子模块,候选区域生成子网络设有附加层次输入端;第N+1个特征层子模块输入端同第N个特征层子模块的输出端连接,第N+1个特征层子模块输出端同候选区域生成子网络的附加层次输入端连接;
第N+1个特征层子模块用于对第N个特征层子模块输出的融合特征层进行上采样输出第N+1个特征层,候选区域生成子网络同时从第N+1个特征层提取候选区域。
6.如权利要求1至5任一项所述的遥感影像时敏目标识别***,其特征在于,分类回归子网络包括依次连接的映射子模块、融合子模块及目标判定子模块,映射子模块用于将候选区域映射至不同层级融合特征层获得映射处理后的多个层级融合特征层,融合子模块用于对映射处理后的多个层级融合特征层进行融合处理获得目标判定特征层,目标判定子模块用于对目标判定特征层进行目标判定输出结果。
7.一种基于权利要求1所述的遥感影像时敏目标识别***的识别方法,其特征在于,包括如下步骤:
S110对待处理图像进行多层级卷积处理,并将每个层级卷积处理结果作为金字塔特征层中该层级特征层;
S120将金字塔特征层中第i个层级特征层和第i+1个层级特征层叠加处理得到第i个层级融合特征层;并将i遍历金字塔特征层中前N-1个层级获得N-1个层级融合特征层;将金字塔特征层中第N个层级特征层作为第N个层级融合特征层;
S130从N个层级融合特征层提取出候选区域;
S140将候选区域映射至N个层级融合特征层获得映射处理后的多个层级融合特征层,并对映射处理后的多个层级融合特征层进行目标判定输出结果。
8.如权利要求7所述的的识别方法,其特征在于,在步骤S110和步骤S120之间还包括如下步骤:
对第i层级特征层进行卷积处理使得第i层级特征层通道同对第i+1层级特征层通道相同;对第i+1层级特征层进行上采样处理使得第i层级特征层尺寸同对第i+1层级特征层尺寸相同;1≤i≤N-1。
9.如权利要求7或8所述的的识别方法,其特征在于,步骤S140包括如下子步骤:
步骤S141:将候选区域映射至N个层级融合特征层获得映射处理后的N个层级融合特征层;
步骤S142:并对映射处理后的N个层级融合特征层进行融合处理获得目标判定特征层;
步骤S143:目标判定特征层进行目标判定输出结果。
CN201810427107.2A 2018-05-07 2018-05-07 一种基于特征金字塔的遥感影像时敏目标识别***及方法 Active CN108764063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810427107.2A CN108764063B (zh) 2018-05-07 2018-05-07 一种基于特征金字塔的遥感影像时敏目标识别***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810427107.2A CN108764063B (zh) 2018-05-07 2018-05-07 一种基于特征金字塔的遥感影像时敏目标识别***及方法

Publications (2)

Publication Number Publication Date
CN108764063A true CN108764063A (zh) 2018-11-06
CN108764063B CN108764063B (zh) 2020-05-19

Family

ID=64010105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810427107.2A Active CN108764063B (zh) 2018-05-07 2018-05-07 一种基于特征金字塔的遥感影像时敏目标识别***及方法

Country Status (1)

Country Link
CN (1) CN108764063B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671070A (zh) * 2018-12-16 2019-04-23 华中科技大学 一种基于特征加权和特征相关性融合的目标检测方法
CN109800793A (zh) * 2018-12-28 2019-05-24 广州海昇教育科技有限责任公司 一种基于深度学习的目标检测方法和***
CN109816671A (zh) * 2019-01-31 2019-05-28 深兰科技(上海)有限公司 一种目标检测方法、装置及存储介质
CN109886286A (zh) * 2019-01-03 2019-06-14 武汉精测电子集团股份有限公司 基于级联检测器的目标检测方法、目标检测模型及***
CN109977963A (zh) * 2019-04-10 2019-07-05 京东方科技集团股份有限公司 图像处理方法、设备、装置以及计算机可读介质
CN109977956A (zh) * 2019-04-29 2019-07-05 腾讯科技(深圳)有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN110070072A (zh) * 2019-05-05 2019-07-30 厦门美图之家科技有限公司 一种生成物体检测模型的方法
CN110321805A (zh) * 2019-06-12 2019-10-11 华中科技大学 一种基于时序关系推理的动态表情识别方法
CN110348311A (zh) * 2019-06-13 2019-10-18 中国人民解放军战略支援部队信息工程大学 一种基于深度学习的道路交叉口识别***及方法
CN110378297A (zh) * 2019-07-23 2019-10-25 河北师范大学 一种基于深度学习的遥感图像目标检测方法
CN110490860A (zh) * 2019-08-21 2019-11-22 北京大恒普信医疗技术有限公司 糖尿病视网膜病变识别方法、装置及电子设备
CN110533105A (zh) * 2019-08-30 2019-12-03 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质
CN110909642A (zh) * 2019-11-13 2020-03-24 南京理工大学 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN111160293A (zh) * 2019-12-31 2020-05-15 珠海大横琴科技发展有限公司 基于特征金字塔网络的小目标船只检测方法及***
CN111191531A (zh) * 2019-12-17 2020-05-22 中南大学 一种快速行人检测方法及***
CN111488777A (zh) * 2019-01-28 2020-08-04 北京地平线机器人技术研发有限公司 对象识别方法、对象识别装置和电子设备
CN111882581A (zh) * 2020-07-21 2020-11-03 青岛科技大学 一种深度特征关联的多目标跟踪方法
CN112330664A (zh) * 2020-11-25 2021-02-05 腾讯科技(深圳)有限公司 路面病害检测方法、装置、电子设备及存储介质
CN113095356A (zh) * 2021-03-03 2021-07-09 北京邮电大学 一种轻量型神经网络及图像处理方法及装置
CN113361375A (zh) * 2021-06-02 2021-09-07 武汉理工大学 一种基于改进BiFPN的车辆目标识别方法
CN113658230A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 一种光流估计方法、终端以及存储介质
WO2021249255A1 (zh) * 2020-06-12 2021-12-16 青岛理工大学 一种基于RP-ResNet网络的抓取检测方法
CN114842365A (zh) * 2022-07-04 2022-08-02 中国科学院地理科学与资源研究所 一种无人机航拍目标检测识别方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046197A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于聚类的多模板行人检测方法
CN105894045A (zh) * 2016-05-06 2016-08-24 电子科技大学 一种基于空间金字塔池化的深度网络模型的车型识别方法
CN106683091A (zh) * 2017-01-06 2017-05-17 北京理工大学 一种基于深度卷积神经网络的目标分类及姿态检测方法
US20170364733A1 (en) * 2015-08-26 2017-12-21 Digitalglobe, Inc. System for simplified generation of systems for broad area geospatial object detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046197A (zh) * 2015-06-11 2015-11-11 西安电子科技大学 基于聚类的多模板行人检测方法
US20170364733A1 (en) * 2015-08-26 2017-12-21 Digitalglobe, Inc. System for simplified generation of systems for broad area geospatial object detection
CN105894045A (zh) * 2016-05-06 2016-08-24 电子科技大学 一种基于空间金字塔池化的深度网络模型的车型识别方法
CN106683091A (zh) * 2017-01-06 2017-05-17 北京理工大学 一种基于深度卷积神经网络的目标分类及姿态检测方法

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671070A (zh) * 2018-12-16 2019-04-23 华中科技大学 一种基于特征加权和特征相关性融合的目标检测方法
CN109671070B (zh) * 2018-12-16 2021-02-09 华中科技大学 一种基于特征加权和特征相关性融合的目标检测方法
CN109800793B (zh) * 2018-12-28 2023-12-22 广州海昇教育科技有限责任公司 一种基于深度学习的目标检测方法和***
CN109800793A (zh) * 2018-12-28 2019-05-24 广州海昇教育科技有限责任公司 一种基于深度学习的目标检测方法和***
CN109886286A (zh) * 2019-01-03 2019-06-14 武汉精测电子集团股份有限公司 基于级联检测器的目标检测方法、目标检测模型及***
CN111488777A (zh) * 2019-01-28 2020-08-04 北京地平线机器人技术研发有限公司 对象识别方法、对象识别装置和电子设备
CN109816671A (zh) * 2019-01-31 2019-05-28 深兰科技(上海)有限公司 一种目标检测方法、装置及存储介质
CN109977963B (zh) * 2019-04-10 2021-10-15 京东方科技集团股份有限公司 图像处理方法、设备、装置以及计算机可读介质
CN109977963A (zh) * 2019-04-10 2019-07-05 京东方科技集团股份有限公司 图像处理方法、设备、装置以及计算机可读介质
US20210271917A1 (en) * 2019-04-29 2021-09-02 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, electronic device, and storage medium
US11741688B2 (en) * 2019-04-29 2023-08-29 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, electronic device, and storage medium
CN109977956A (zh) * 2019-04-29 2019-07-05 腾讯科技(深圳)有限公司 一种图像处理方法、装置、电子设备以及存储介质
WO2020221013A1 (zh) * 2019-04-29 2020-11-05 腾讯科技(深圳)有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN109977956B (zh) * 2019-04-29 2022-11-18 腾讯科技(深圳)有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN110070072A (zh) * 2019-05-05 2019-07-30 厦门美图之家科技有限公司 一种生成物体检测模型的方法
CN110321805A (zh) * 2019-06-12 2019-10-11 华中科技大学 一种基于时序关系推理的动态表情识别方法
CN110348311B (zh) * 2019-06-13 2021-03-19 中国人民解放军战略支援部队信息工程大学 一种基于深度学习的道路交叉口识别***及方法
CN110348311A (zh) * 2019-06-13 2019-10-18 中国人民解放军战略支援部队信息工程大学 一种基于深度学习的道路交叉口识别***及方法
CN110378297B (zh) * 2019-07-23 2022-02-11 河北师范大学 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN110378297A (zh) * 2019-07-23 2019-10-25 河北师范大学 一种基于深度学习的遥感图像目标检测方法
CN110490860A (zh) * 2019-08-21 2019-11-22 北京大恒普信医疗技术有限公司 糖尿病视网膜病变识别方法、装置及电子设备
CN110533105B (zh) * 2019-08-30 2022-04-05 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质
CN110533105A (zh) * 2019-08-30 2019-12-03 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质
CN110909642A (zh) * 2019-11-13 2020-03-24 南京理工大学 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN111191531A (zh) * 2019-12-17 2020-05-22 中南大学 一种快速行人检测方法及***
CN111160293A (zh) * 2019-12-31 2020-05-15 珠海大横琴科技发展有限公司 基于特征金字塔网络的小目标船只检测方法及***
CN113658230A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 一种光流估计方法、终端以及存储介质
CN113658230B (zh) * 2020-05-12 2024-05-28 武汉Tcl集团工业研究院有限公司 一种光流估计方法、终端以及存储介质
WO2021249255A1 (zh) * 2020-06-12 2021-12-16 青岛理工大学 一种基于RP-ResNet网络的抓取检测方法
CN111882581A (zh) * 2020-07-21 2020-11-03 青岛科技大学 一种深度特征关联的多目标跟踪方法
CN111882581B (zh) * 2020-07-21 2022-10-28 青岛科技大学 一种深度特征关联的多目标跟踪方法
CN112330664A (zh) * 2020-11-25 2021-02-05 腾讯科技(深圳)有限公司 路面病害检测方法、装置、电子设备及存储介质
CN112330664B (zh) * 2020-11-25 2022-02-08 腾讯科技(深圳)有限公司 路面病害检测方法、装置、电子设备及存储介质
CN113095356B (zh) * 2021-03-03 2023-10-31 北京邮电大学 一种轻量型神经网络***及图像处理方法及装置
CN113095356A (zh) * 2021-03-03 2021-07-09 北京邮电大学 一种轻量型神经网络及图像处理方法及装置
CN113361375B (zh) * 2021-06-02 2022-06-07 武汉理工大学 一种基于改进BiFPN的车辆目标识别方法
CN113361375A (zh) * 2021-06-02 2021-09-07 武汉理工大学 一种基于改进BiFPN的车辆目标识别方法
CN114842365A (zh) * 2022-07-04 2022-08-02 中国科学院地理科学与资源研究所 一种无人机航拍目标检测识别方法和***

Also Published As

Publication number Publication date
CN108764063B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN108764063A (zh) 一种基于特征金字塔的遥感影像时敏目标识别***及方法
Peng et al. Detecting heads using feature refine net and cascaded multi-scale architecture
CN107944442B (zh) 基于改进卷积神经网络的对象检测装置及方法
CN103955702B (zh) 基于深度rbf网络的sar图像地物分类方法
CN108241871A (zh) 基于多特征的激光点云与影像融合数据分类方法
Xiao et al. Enhancing multiscale representations with transformer for remote sensing image semantic segmentation
Wang et al. Semantic segmentation of remote sensing ship image via a convolutional neural networks model
Zhang et al. Self-attention guidance and multiscale feature fusion-based UAV image object detection
CN108647695A (zh) 基于协方差卷积神经网络的低对比度图像显著性检测方法
Liu et al. Coastline extraction method based on convolutional neural networks—A case study of Jiaozhou Bay in Qingdao, China
CN109670555A (zh) 基于深度学习的实例级行人检测和行人重识别***
Tang et al. Integrated feature pyramid network with feature aggregation for traffic sign detection
Chen et al. ASF-Net: Adaptive screening feature network for building footprint extraction from remote-sensing images
Zang et al. Traffic lane detection using fully convolutional neural network
Tu et al. Hyperspectral image classification using a superpixel–pixel–subpixel multilevel network
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
Zhai et al. An improved faster R-CNN pedestrian detection algorithm based on feature fusion and context analysis
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与***
CN104463210B (zh) 基于面向对象和谱聚类的极化sar图像分类方法
Li et al. DSPCANet: Dual-channel scale-aware segmentation network with position and channel attentions for high-resolution aerial images
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及***
Wang et al. SAR-to-optical image translation with hierarchical latent features
Hu et al. Supervised multi-scale attention-guided ship detection in optical remote sensing images
Li et al. Adaptive mask sampling and manifold to Euclidean subspace learning with distance covariance representation for hyperspectral image classification
CN109284752A (zh) 一种车辆的快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240315

Address after: Room A348, 4th Floor, Building 1, Phase III, International Enterprise Center, No. 1 Guanggu Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430073 (Wuhan Free Trade Zone)

Patentee after: AVIC Tianhai (Wuhan) Technology Co.,Ltd.

Country or region after: China

Address before: 430074 Hubei Province, Wuhan city Hongshan District Luoyu Road No. 1037

Patentee before: HUAZHONG University OF SCIENCE AND TECHNOLOGY

Country or region before: China