CN110287927A - 基于深度多尺度和上下文学习的遥感影像目标检测方法 - Google Patents

基于深度多尺度和上下文学习的遥感影像目标检测方法 Download PDF

Info

Publication number
CN110287927A
CN110287927A CN201910583811.1A CN201910583811A CN110287927A CN 110287927 A CN110287927 A CN 110287927A CN 201910583811 A CN201910583811 A CN 201910583811A CN 110287927 A CN110287927 A CN 110287927A
Authority
CN
China
Prior art keywords
characteristic pattern
pyramid
target
scale
multiple dimensioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910583811.1A
Other languages
English (en)
Other versions
CN110287927B (zh
Inventor
张向荣
唐旭
王少娜
陈璞花
古晶
马文萍
马晶晶
侯彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910583811.1A priority Critical patent/CN110287927B/zh
Publication of CN110287927A publication Critical patent/CN110287927A/zh
Application granted granted Critical
Publication of CN110287927B publication Critical patent/CN110287927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度多尺度和上下文学***均精度，可用于获取一幅遥感影像里感兴趣的目标及目标的位置。

Description

基于深度多尺度和上下文学习的遥感影像目标检测方法
技术领域
本发明属于遥感影像技术领域，特别涉及一种遥感影像目标检测方法，可用于获得一幅遥感影像里感兴趣的目标及其目标的位置。
背景技术
遥感影像目标检测是遥感领域的重要研究内容之一，广泛应用于国土规划、灾情监测、军事侦察等领域。遥感影像目标检测的目的在于判定遥感影像中是否存在感兴趣的目标，并确定目标的位置。
传统的遥感影像目标检测方法有基于模板匹配的方法、基于知识的方法和基于检测对象的方法，这些方法极大程度上依赖于大量的特征工程来实现对遥感影像中目标的检测。然而，对于复杂多变的遥感影像背景环境，目标尺度差异明显等问题，这些方法的适应性并不强。近年来，遥感影像目标检测普遍采用基于深度学习的方法。深度卷积神经网络在目标检测问题上不需要手工设计特征，对遥感影像数据自行进行特征提取，性能表现超过传统算法。其中RetinaNet(Focal Loss for Dense Object Detection)模型具有无需生成候选区域，目标检测速度快，精度高等优点。然而RetinaNet模型仍然存在局限。由于RetinaNet采用的网络架构是特征金字塔网络，特征金字塔网络将当前层的特征图与相邻的更高级特征图相加融合得到的特征图用来检测目标。这种情况下，特征融合方式较为粗略，忽略了对高级特征图更有效的利用以及上下文信息的利用，这都制约着遥感影像目标检测精度的提高。
发明内容
本发明的目的在于针对克服现有技术的不足，提出一种基于深度多尺度和上下文学习的遥感影像目标检测方法，以提高遥感影像中的目标检测精度。
本发明的技术方案是：充分考虑更有效的特征图融合方式以及如何利用全局上下文特征信息的问题，在RetinaNet检测模型中引入多尺度特征增强模块以及上下文特征增强模块，构建多尺度和上下文特征增强的RetinaNet检测模型。其首先从RetinaNet检测模型的骨干网络和特征金字塔网络获取多个层级的特征图，接着引入多尺度特征增强模块，对于多个层级下的特征图，将每个相对高级特征图的语义信息引导到相邻的低级特征图中，丰富每个相对低级特征图的语义信息，然后，对融合多尺度增强后的金字塔特征图引入上下文特征增强模块，获取遥感影像场景的全局上下文特征，最后将增强后的金字塔特征图用在检测模型中，通过多任务学习实现多目标的类别确定和目标位置定位。具体实现步骤包括如下：
1.一种基于深度多尺度和上下文学习的遥感影像目标检测方法，其特征在于，包括如下：
(1)将遥感影像目标检测数据集中的75％作为训练样本，剩余的25％作为测试样本；
(2)构建多尺度和上下文特征增强的RetinaNet检测模型：
(2a)从RetinaNet检测模型的骨干网络ResNet-101中获得3个卷积特征图C3,C4，C5；
(2b)从RetinaNet检测模型的特征金字塔网络中获得4个金字塔特征图P3，P4，P5，P6；
(2c)构建一个由7个特征图组成的多尺度特征增强模块；
(2d)将3个卷积特征图C3，C4，C5和第四个金字塔特征图P6作为多尺度特征增强模块的输入，得到3个融合多尺度增强后的金字塔特征图F3，F4，F5；
(2e)构建一个由5个特征图组成的上下文特征增强模块；
(2f)将3个融合多尺度增强后的金字塔特征图F3，F4，F5作为上下文特征增强模块的输入，得到3个融合多尺度上下文特征增强后的金字塔特征图G3，G4，G5；
(3)设定多尺度和上下文特征增强的RetinaNet检测模型中目标分类与目标位置回归任务的整体损失函数L：
(3a)将现有Focal Loss函数设定为多尺度和上下文特征增强的RetinaNet检测模型中目标分类任务的损失函数，用Lcls表示；
(3b)将现有Smooth L1Loss函数设定为多尺度和上下文特征增强的RetinaNet检测模型中目标位置回归任务的损失函数，用Lreg表示：
(3c)由目标分类任务的损失函数Lcls和目标位置回归任务的损失函数Lreg，设定多尺度和上下文特征增强的RetinaNet检测模型整体损失函数L为：
L＝L({pi},{ti})，
其中，为目标检测任务和目标位置回归任务整体的损失函数，Ncls表示目标分类任务中正样本锚框的总数量，pi表示第i个锚框为预测目标的概率，表示第i个锚框为真实目标的概率，为多尺度和上下文特征增强的RetinaNet检测模型中目标分类任务的损失函数，λ表示目标分类任务与目标位置回归任务间的平衡权重参数，Nreg表示目标位置回归任务中正样本锚框的总数量，表示第i个锚框相对于真实目标边框的偏移量，ti表示第i个锚框相对于预测目标边框的偏移量，为多尺度和上下文特征增强的RetinaNet检测模型中目标位置回归任务的损失函数，i表示锚框的索引，其取值范围是从1到M，M为锚框总数；
(4)训练(2)构建的多尺度和上下文特征增强的RetinaNet检测模型：
(4a)设学习率为0.00001，优化器使用Adam，训练步数设为2000，训练轮数设为100，在ImageNet数据集上使用骨干网络ResNet-101预训练得到的分类模型参数，作为多尺度和上下文特征增强的RetinaNet检测模型的初始化参数；
(4b)将(1)中获得的训练样本输入到多尺度和上下文特征增强的RetinaNet检测模型中，使用优化器Adam优化(3c)中的整体损失函数L，更新权重参数，当训练轮数达到100时，得到包含权重参数的多尺度和上下文特征增强的RetinaNet检测模型；
(5)将测试样本输入到包含权重参数的多尺度和上下文特征增强的RetinaNet检测模型中，预测输出测试样本中目标边界框位置，目标类别及目标的置信度分数。
本发明与现有技术相比，具有以下优点：
第一，本发明在现有技术中，引入多尺度特征增强模块，其考虑高效利用高级特征图的语义信息，引导高级特征图与低级特征图进行融合，使得低级特征图在分辨率不变的前提下，具有丰富的语义信息，加强了低级特征图的表达，同时提升目标的分类置信度。
第二，本发明考虑到了全局上下文特征信息的利用，引入上下文特征增强模块，有效利用遥感影像场景复杂的特性，从特征层面建立当前位置与其它位置间的联系，获取遥感影像场景的全局上下文特征，从而提升目标检测精度。
附图说明
图1为本发明的实现流程图；
图2为用本发明和基准方法对棒球场进行检测的仿真结果图像；
图3为用本发明和基准方法对桥梁进行检测的仿真结果图像；
图4为用本发明和基准方法对飞机进行检测的仿真结果图像。
具体实施方式
下面结合附图对本发明的实施例及效果作进一步的详细描述。
参照图1，本实施例的实现步骤如下：
步骤1，获取训练样本和测试样本。
获取公开的遥感图像目标检测数据集NWPU VHR-10-v2，该数据集包括1172张400×400像素大小的遥感图像，以及遥感图像上相应的标注目标类别和目标位置数据，本实例将遥感影像目标检测数据集中75％的数据作为训练样本，剩余25％的数据作为测试样本，即将其中的879张样本图像作为训练样本，剩余的293张图像作为测试样本。
步骤2，构建多尺度和上下文特征增强的RetinaNet检测模型。
2.1)从RetinaNet检测模型的骨干网络获得3个卷积特征图C3,C4，C5:
RetinaNet检测模型的骨干网络包括有ResNet-50，ResNet-101，ResNet-152，本实施例中使用骨干网络ResNet-101，即从RetinaNet检测模型的骨干网络ResNet-101中获得3个卷积特征图C3,C4，C5；
2.2)从RetinaNet检测模型的特征金字塔网络中获得4个金字塔特征图P3，P4，P5，P6；
2.3)构建一个由7个特征图组成的多尺度特征增强模块：
2.3.1)构建2个特征图，其中第一个是高级特征图T1，第二个是低级特征图T2；
2.3.2)对第一个高级特征图T1采取并列的2个分支操作：
将第一个分支依次经过全局平均池化层，维度变换层，第一个步长为1的1×1卷积层和第一个上采样层，得到包含全局上下文信息的低级特征图T3；
将第二个分支依次经过第二个步长为1的1×1卷积层和第二个上采样层，得到上采样后的低级特征图T4；
2.3.3)将第二个低级特征图T2输入到步长为1的3×3卷积层，输出得到通道变换后的低级特征图T5；
2.3.4)将包含全局上下文信息的低级特征图T3和通道变换后的低级特征图T5输入到融合乘法层，得到融合相乘后的低级特征图T6；
2.3.5)将融合相乘后的低级特征图T6和上采样后的低级特征图T4输入到融合加法层，得到多尺度增强后的特征图T7；
2.4)将3个卷积特征图C3，C4，C5和第四个金字塔特征图P6作为多尺度特征增强模块的输入，得到3个融合多尺度增强后的金字塔特征图F3，F4，F5：
2.4.1)将第二个卷积特征图C4作为多尺度特征增强模块中的高级特征图T2输入，将第一个卷积特征图C3作为多尺度增强模块中的低级特征图T1输入，输出得到多尺度增强后的第一个特征图E3；
2.4.2)将多尺度增强后的第一个特征图E3与第一个金字塔特征图P3相加融合，得到融合多尺度增强后的第一个金字塔特征图F3；
2.4.3)将第三个卷积特征图C5作为多尺度特征增强模块中的高级特征图T2输入，将第二个卷积特征图C4作为多尺度特征增强模块中的低级特征图T1输入，输出得到多尺度增强后的第二个特征图E4；
2.4.4)将多尺度增强后的第二个特征图E4与第二个金字塔特征图P4相加融合，得到融合多尺度增强后的第二个金字塔特征图F4；
2.4.5)将第四个金字塔特征图P6作为多尺度特征增强模块中的高级特征图T2输入，将第三个卷积特征图C5作为多尺度特征增强模块中的低级特征图T1输入，输出得到多尺度增强后的第三个特征图E5；
2.4.6)将多尺度增强后的第三个特征图E5与第三个金字塔特征图P5相加融合，得到融合多尺度增强后的第三个金字塔特征图F5；
2.5)构建一个由5个特征图组成的上下文特征增强模块：
2.5.1)构建一个融合多尺度增强后的金字塔特征图S1，将其依次经过第一个步长为1的1×1卷积层和softmax层，得到激活后的金字塔特征图S2；
2.5.2)将激活后的金字塔特征图S2与融合多尺度增强后的金字塔特征图S1输入到第一个融合相乘层，得到融合相乘后的金字塔特征图S3；
2.5.3)将融合相乘后的金字塔特征图S3依次经过第二个步长为1的1×1卷积层、修正线性单元层和第三个步长为1的1×1卷积层，得到修正融合后的金字塔特征图S4；
2.5.4)将修正融合后的金字塔特征图S4与融合多尺度增强后的金字塔特征图S1输入到第二个融合相乘层，得到融合上下文特征增强后的金字塔特征图S5；
2.6)将3个融合多尺度增强后的金字塔特征图F3，F4，F5作为上下文特征增强模块的输入，得到3个融合多尺度上下文特征增强的金字塔特征图G3，G4，G5：
2.6.1)将融合多尺度增强后的第一个金字塔特征图F3作为上下文特征增强模块的特征图S1输入，得到融合上下文特征增强后的第一个金字塔特征图G3；
2.6.2)将融合多尺度增强后的第二个金字塔特征图F4作为上下文特征增强模块的特征图S1输入，得到融合上下文特征增强后的第二个金字塔特征图G4；
2.6.3)将融合多尺度增强后的第三个金字塔特征图F5作为上下文特征增强模块的特征图S1输入，得到融合上下文特征增强后的第三个金字塔特征图G5。
步骤3，设定构建的多尺度和上下文特征增强的RetinaNet检测模型中目标分类与目标位置回归任务的整体损失函数L。
3.1)将现有Focal Loss函数设定为多尺度和上下文特征增强的RetinaNet检测模型中目标分类任务的损失函数，用Lcls表示为：
Lcls＝FL(pi)，
其中，FL(pi)＝-α(1-pi)γ×log(pi)表示焦点损失函数，α表示正负样本的平衡参数，γ表示专注参数，pi表示第i个锚框为预测目标的概率，i表示锚框的索引，其取值范围是从1到M，M为锚框总数；
本实施例中，设定α为0.25，设定γ为2.0；
3.2)将现有Smooth L1Loss函数设定为多尺度和上下文特征增强的RetinaNet检测模型中目标位置回归任务的损失函数，用Lreg表示为：
Lreg＝SmoothL1(x)，
其中，SmoothL1(x)表示平滑L1平方损失函数， 表示第i个锚框相对于预测目标边框的偏移量ti与第i个锚框相对于真实目标边框的偏移量的差值；
3.3)由目标分类任务的损失函数Lcls和目标位置回归任务的损失函数Lreg，设定多尺度和上下文特征增强的RetinaNet检测模型整体损失函数L为：
L＝L({pi},{ti})，
其中，为目标检测任务和目标位置回归任务整体的损失函数，Ncls表示目标分类任务中正样本锚框的总数量，表示第i个锚框为真实目标的概率，为多尺度和上下文特征增强的RetinaNet检测模型中目标分类任务的损失函数，λ表示目标分类任务与目标位置回归任务间的平衡权重参数，Nreg表示目标位置回归任务中正样本锚框的总数量，表示第i个锚框相对于真实目标边框的偏移量，ti表示第i个锚框相对于预测目标边框的偏移量，为多尺度和上下文特征增强的RetinaNet检测模型中目标位置回归任务的损失函数；
本实施例中，λ取1。
步骤4，对步骤2构建的多尺度和上下文特征增强的RetinaNet检测模型进行训练。
4.1)设置训练参数：
在本实施例中，设学习率为0.00001，优化器使用Adam，训练步数设为2000，训练轮数设为100，在ImageNet数据集上使用骨干网络ResNet-101预训练得到的分类模型参数，作为多尺度和上下文特征增强的RetinaNet检测模型的初始化参数；
4.2)将步骤1中的训练样本输入到多尺度和上下文特征增强的RetinaNet检测模型中，并使用优化器Adam优化步骤3中的整体损失函数L，更新权重参数，当训练轮数达到100时，得到包含权重参数的多尺度和上下文特征增强的RetinaNet检测模型。
步骤5，将步骤1中的测试样本输入到包含权重参数的多尺度和上下文特征增强的RetinaNet检测模型中，预测输出测试样本图像中目标边界框的位置，目标类别及目标的置信度分数。
本发明的效果可通过以下仿真实验进一步说明：
一.仿真条件和内容
仿真采用公开且被广泛应用于遥感影像目标检测算法性能测评的NWPU VHR-10-v2数据集进行多尺度和上下文特征增强的RetinaNet检测模型的训练和测试，所用的基准方法为RetinaNet检测模型。
设NWPU VHR-10-v2数据集中包括10个目标类别，分别是：飞机，舰船，储油罐，棒球场，篮球场，网球场，操场，港口，车辆和桥梁。
仿真所用的处理器为Xeon(R)CPU [email protected]×40，内存为64.00GB，GPU为8G的GeForce GTX1080，仿真平台为Ubuntu16.04操作***，使用Keras深度学习框架，采用Python语言实现。
二.仿真内容
仿真1：使用本发明和现有的基准方法对棒球场进行检测仿真，结果如图2所示，从图2可见，基准方法棒球场的分类置信度分数为0.929，如图2(a)所示，本发明中棒球场的分类置信度分数达到1.000，如图2(b)所示，与基准方法相比，本发明对棒球场的分类性能有了相对明显的提升。
仿真2：使用本发明和现有的基准方法对桥梁进行检测仿真，结果如图3所示，从图3可见，基准方法2个桥梁的分类置信度分数分别为0.660，0.850，如图3(a)所示，本发明中2个桥梁的分类置信度分数分别达到0.974，0.927，如图3(b)所示，与基准方法相比，本发明对桥梁的分类置信度分数提升明显，其主要是由于桥梁对场景上下文信息依赖强，引入的上下文特征增强模块，加强了上下文特征的表达。
仿真3：使用本发明和现有基准方法对5架飞机进行检测仿真，结果如图4所示，从图4可见，基准方法中5架飞机的分类置信度分数都是1.000，如图4(a)所示，本发明中5架飞机的分类置信度分数都是1.000，如图4(b)所示，这表明基准方法和本发明对飞机分类都有良好的性能表现。
三.仿真实验结果对比及分析
为验证本发明的有效性，设置3个现有方法，其中：现有方法1为RetinaNet检测模型；现有方法2为旋转不敏感和上下文增强的遥感影像目标检测模型；现有方法3为多模型决策融合的遥感影像目标检测模型。
采用均值平均精度作为对所有目标类别检测时的评价指标，平均精度作为对单类别目标检测时的评价指标，使用本发明和3种现有方法在NWPU VHR-10-v2测试数据集上的目标进行检测仿真，对其检测的评价指标数值结果作对比，如表1所示。
表1本发明和3种现有方法检测的评价指标数值结果对比
在表1本发明和3种现有方法检测的评价指标数值结果对比中，多目标检测的均值平均精度和各类别平均精度的结果均为小数，粗体表示上述四种方法中检测该类别目标的最高平均精度。
根据表1本发明和3种现有方法检测的评价指标数值结果对比中，得出以下3个结论：
1)现有方法1的均值平均精度为0.9150，本发明的均值平均精度为0.9551，本发明比现有方法1的均值平均精度提升了0.0401；
2)本发明中有6类目标的平均精度比现有方法1中8类目标的平均精度高，尤其对于桥梁，和篮球场这两个类别，其平均精度有较明显的提升，主要是因为桥梁，篮球场对于上下文信息依赖较强，引入的上下文特征增强模块，加强了上下文特征的表达，舰船的检测平均精度也有提升，主要是因为舰船的尺度变化大，引入的多尺度特征增强模块增强了目标多尺度特征的表达；
3)对于现有方法2和现有方法3，其都属于两步目标检测模型，本发明属于单步目标检测模型，通常情况下，两步目标检测模型的均值平均精度比单步目标检测模型的均值平均精度高，而从检测的评价指标数值结果对比可知，本发明的均值平均精度皆高于现有方法2和现有方法3。
综上，本发明在现有RetinaNet检测模型的基础上，引入多尺度特征增强模块，将高级特征图上的语义信息引导到低级特征图，丰富低级特征图的语义信息，再进一步，引入上下文特征增强模块，最后，将引入多尺度和上下文特征增强模块的RetinaNet检测模型用于目标检测，输出检测结果，提高了遥感影像目标检测的精度。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域内的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于深度多尺度和上下文学习的遥感影像目标检测方法，其特征在于，包括如下：
(1)将遥感影像目标检测数据集中的75％作为训练样本，剩余的25％作为测试样本；
(2)构建多尺度和上下文特征增强的RetinaNet检测模型：
(2a)从RetinaNet检测模型的骨干网络ResNet-101中获得3个卷积特征图C3,C4，C5；
(2b)从RetinaNet检测模型的特征金字塔网络中获得4个金字塔特征图P3，P4，P5，P6；
(2c)构建一个由7个特征图组成的多尺度特征增强模块；
(2d)将3个卷积特征图C3，C4，C5和第四个金字塔特征图P6作为多尺度特征增强模块的输入，得到3个融合多尺度增强后的金字塔特征图F3，F4，F5；
(2e)构建一个由5个特征图组成的上下文特征增强模块；
(2f)将3个融合多尺度增强后的金字塔特征图F3，F4，F5作为上下文特征增强模块的输入，得到3个融合多尺度上下文特征增强后的金字塔特征图G3，G4，G5；
(3)设定多尺度和上下文特征增强的RetinaNet检测模型中目标分类与目标位置回归任务的整体损失函数L：
(3a)将现有Focal Loss函数设定为多尺度和上下文特征增强的RetinaNet检测模型中目标分类任务的损失函数，用Lcls表示；
(3b)将现有Smooth L1 Loss函数设定为多尺度和上下文特征增强的RetinaNet检测模型中目标位置回归任务的损失函数，用Lreg表示：
(3c)由目标分类任务的损失函数Lcls和目标位置回归任务的损失函数Lreg，设定多尺度和上下文特征增强的RetinaNet检测模型整体损失函数L为：
L＝L({pi},{ti})，
其中，为目标检测任务和目标位置回归任务整体的损失函数，Ncls表示目标分类任务中正样本锚框的总数量，pi表示第i个锚框为预测目标的概率，表示第i个锚框为真实目标的概率，为多尺度和上下文特征增强的RetinaNet检测模型中目标分类任务的损失函数，λ表示目标分类任务与目标位置回归任务间的平衡权重参数，Nreg表示目标位置回归任务中正样本锚框的总数量，表示第i个锚框相对于真实目标边框的偏移量，ti表示第i个锚框相对于预测目标边框的偏移量，为多尺度和上下文特征增强的RetinaNet检测模型中目标位置回归任务的损失函数，i表示锚框的索引，其取值范围是从1到M，M为锚框总数；
(4)训练(2)构建的多尺度和上下文特征增强的RetinaNet检测模型：
(4a)设学习率为0.00001，优化器使用Adam，训练步数设为2000，训练轮数设为100，在ImageNet数据集上使用骨干网络ResNet-101预训练得到的分类模型参数，作为多尺度和上下文特征增强的RetinaNet检测模型的初始化参数；
(4b)将(1)中获得的训练样本输入到多尺度和上下文特征增强的RetinaNet检测模型中，使用优化器Adam优化(3c)中的整体损失函数L，更新权重参数，当训练轮数达到100时，得到包含权重参数的多尺度和上下文特征增强的RetinaNet检测模型；
(5)将测试样本输入到包含权重参数的多尺度和上下文特征增强的RetinaNet检测模型中，预测输出测试样本中目标边界框位置，目标类别及目标的置信度分数。
2.根据权利要求1所述的方法，其特征在于，(2c)中所述的构建一个由7个特征图组成的多尺度特征增强模块，其实现如下：
(2c1)构建2个特征图，其中第一个是高级特征图T1，第二个是低级特征图T2；
(2c2)对第一个高级特征图采取并列的2个分支操作：
将第一个分支依次经过全局平均池化层、维度变换层、第一个步长为1的1×1卷积层和第一个上采样层，得到包含全局上下文信息的低级特征图T3；
将第二个分支依次经过第二个步长为1的1×1卷积层和第二个上采样层，得到上采样后的低级特征图T4；
(2c3)将第二个低级特征图T2输入到步长为1的3×3卷积层，输出得到通道变换后的低级特征图T5；
(2c4)将包含全局上下文信息的低级特征图T3和通道变换后的低级特征图T5输入到融合乘法层，得到融合相乘后的低级特征图T6，
(2c5)将融合相乘后的低级特征图T6和上采样后的低级特征图T4输入到融合加法层，得到多尺度增强后的特征图T7。
3.根据权利要求1或2所述的方法，其特征在于，(2d)中将3个卷积特征图C3，C4，C5和第四个金字塔特征图P6作为多尺度特征增强模块的输入，得到3个融合多尺度增强后的金字塔特征图F3，F4，F5，其实现如下：
(2d1)将第二个卷积特征图C4作为多尺度特征增强模块中的高级特征图T2输入，将第一个卷积特征图C3作为多尺度增强模块中的低级特征图T1输入，输出得到多尺度增强后的第一个特征图E3；
(2d2)将多尺度增强后的第一个特征图E3与第一个金字塔特征图P3相加融合，得到融合多尺度增强后的第一个金字塔特征图F3；
(2d3)将第三个卷积特征图C5作为多尺度特征增强模块中的高级特征图T2输入，将第二个卷积特征图C4作为多尺度特征增强模块中的低级特征图T1输入，输出得到多尺度增强后的第二个特征图E4；
(2d4)将多尺度增强后的第二个特征图E4与第二个金字塔特征图P4相加融合，得到融合多尺度增强后的第二个金字塔特征图F4；
(2d5)将第四个金字塔特征图P6作为多尺度特征增强模块中的高级特征图T2输入，将第三个卷积特征图C5作为多尺度特征增强模块中的低级特征图T1输入，输出得到多尺度增强后的第三个特征图E5；
(2d6)将多尺度增强后的第三个特征图E5与第三个金字塔特征图P5相加融合，得到融合多尺度增强后的第三个金字塔特征图F5。
4.根据权利要求1所述的方法，其特征在于，(2e)中构建一个由5个特征图组成的上下文特征增强模块，其实现如下：
(2e1)构建一个融合多尺度增强后的金字塔特征图S1，将其依次经过第一个步长为1的1×1卷积层和softmax层，得到激活后的金字塔特征图S2；
(2e2)将激活后的金字塔特征图S2与融合多尺度增强后的金字塔特征图S1输入到第一个融合相乘层，得到融合相乘后的金字塔特征图S3；
(2e3)将融合相乘后的金字塔特征图S3依次经过第二个步长为1的1×1卷积层、修正线性单元层和第三个步长为1的1×1卷积层，得到修正融合后的金字塔特征图S4；
(2e4)将修正融合后的金字塔特征图S4与融合多尺度增强后的金字塔特征图S1输入到第二个融合相乘层，得到融合上下文特征增强后的金字塔特征图S5。
5.根据权利要求1所述的方法，其特征在于，(2f)中将3个融合多尺度增强后的金字塔特征图F3，F4，F5作为上下文特征增强模块的输入，得到3个融合多尺度上下文特征增强后的金字塔特征图G3，G4，G5，其实现如下：
(2f1)将融合多尺度增强后的第一个金字塔特征图F3作为上下文特征增强模块的特征图S1输入，得到融合上下文特征增强后的第一个金字塔特征图G3；
(2f2)将融合多尺度增强后的第二个金字塔特征图F4作为上下文特征增强模块的特征图S1输入，得到融合上下文特征增强后的第二个金字塔特征图G4；
(2f3)将融合多尺度增强后的第三个金字塔特征图F5作为上下文特征增强模块的特征图S1输入，得到融合上下文特征增强后的第三个金字塔特征图G5。
6.根据权利要求1所述的方法，其特征在于，(3a)中将现有Focal Loss函数设定为多尺度和上下文特征增强的RetinaNet检测模型中目标分类任务的损失函数Lcls，其表示如下：
Lcls＝FL(pi)，
其中，FL(pi)＝-α(1-pi)γ×log(pi)表示焦点损失函数，α表示正负样本的平衡参数，γ表示专注参数，pi表示第i个锚框为预测目标的概率。
7.根据权利要求1所述的方法，其特征在于，(3b)中将现有Smooth L1 Loss函数设定为多尺度和上下文特征增强的RetinaNet检测模型中目标位置回归任务的损失函数Lreg，其表示如下：
Lreg＝SmoothL1(x)，
其中，SmoothL1(x)表示平滑L1平方损失函数，表示第i个锚框相对于预测目标边框的偏移量ti与第i个锚框相对于真实目标边框的偏移量的差值。
CN201910583811.1A 2019-07-01 2019-07-01 基于深度多尺度和上下文学习的遥感影像目标检测方法 Active CN110287927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910583811.1A CN110287927B (zh) 2019-07-01 2019-07-01 基于深度多尺度和上下文学习的遥感影像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910583811.1A CN110287927B (zh) 2019-07-01 2019-07-01 基于深度多尺度和上下文学习的遥感影像目标检测方法

Publications (2)

Publication Number Publication Date
CN110287927A true CN110287927A (zh) 2019-09-27
CN110287927B CN110287927B (zh) 2021-07-27

Family

ID=68021357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910583811.1A Active CN110287927B (zh) 2019-07-01 2019-07-01 基于深度多尺度和上下文学习的遥感影像目标检测方法

Country Status (1)

Country Link
CN (1) CN110287927B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782484A (zh) * 2019-10-25 2020-02-11 上海浦东临港智慧城市发展中心 一种无人机视频人员识别追踪的方法
CN110991359A (zh) * 2019-12-06 2020-04-10 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 基于多尺度深度卷积神经网络的卫星图像目标检测方法
CN111160249A (zh) * 2019-12-30 2020-05-15 西北工业大学深圳研究院 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN111242071A (zh) * 2020-01-17 2020-06-05 陕西师范大学 一种基于锚框的注意力遥感图像目标检测方法
CN111274981A (zh) * 2020-02-03 2020-06-12 中国人民解放军国防科技大学 目标检测网络构建方法及装置、目标检测方法
CN111310611A (zh) * 2020-01-22 2020-06-19 上海交通大学 细胞视野图的检测方法及存储介质
CN111325116A (zh) * 2020-02-05 2020-06-23 武汉大学 一种基于线下训练-线上学习深度可演化的遥感影像目标检测方法
CN111414931A (zh) * 2019-12-31 2020-07-14 杭州电子科技大学 一种基于图像深度的多分支多尺度小目标检测方法
CN111414880A (zh) * 2020-03-26 2020-07-14 电子科技大学 一种基于改进RetinaNet的显微图像中有型成分目标检测方法
CN111553303A (zh) * 2020-05-07 2020-08-18 武汉大势智慧科技有限公司 基于卷积神经网络的遥感正射影像密集建筑物提取方法
CN111833321A (zh) * 2020-07-07 2020-10-27 杭州电子科技大学 一种调窗优化增强的颅内出血检测模型及其构建方法
CN112053342A (zh) * 2020-09-02 2020-12-08 陈燕铭 基于人工智能的脑垂体磁共振图像的提取识别方法和装置
CN112183435A (zh) * 2020-10-12 2021-01-05 河南威虎智能科技有限公司 一种两阶段的手部目标检测方法
CN112200045A (zh) * 2020-09-30 2021-01-08 华中科技大学 基于上下文增强的遥感图像目标检测模型建立方法及应用
CN112287983A (zh) * 2020-10-15 2021-01-29 西安电子科技大学 一种基于深度学习的遥感图像目标提取***和方法
CN112418108A (zh) * 2020-11-25 2021-02-26 西北工业大学深圳研究院 一种基于样本重加权的遥感图像多类目标检测方法
CN112464743A (zh) * 2020-11-09 2021-03-09 西北工业大学 一种基于多尺度特征加权的小样本目标检测方法
CN112560956A (zh) * 2020-12-16 2021-03-26 珠海格力智能装备有限公司 目标检测方法及装置、非易失性存储介质、电子设备
CN112634174A (zh) * 2020-12-31 2021-04-09 上海明略人工智能(集团)有限公司 一种图像表示学习方法及***
CN113128564A (zh) * 2021-03-23 2021-07-16 武汉泰沃滋信息技术有限公司 一种基于深度学习的复杂背景下典型目标检测方法及***
CN113469088A (zh) * 2021-07-08 2021-10-01 西安电子科技大学 一种无源干扰场景下的sar图像舰船目标检测方法及***
CN113536986A (zh) * 2021-06-29 2021-10-22 南京逸智网络空间技术创新研究院有限公司 一种基于代表特征的遥感图像中的密集目标检测方法
CN116310850A (zh) * 2023-05-25 2023-06-23 南京信息工程大学 基于改进型RetinaNet的遥感图像目标检测方法
CN117612029A (zh) * 2023-12-21 2024-02-27 石家庄铁道大学 一种基于渐进特征平滑和尺度适应性膨胀卷积的遥感图像目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078273A1 (en) * 2014-07-25 2016-03-17 Digitalglobe, Inc. Global-scale damage detection using satellite imagery
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其***
CN109117876A (zh) * 2018-07-26 2019-01-01 成都快眼科技有限公司 一种稠密小目标检测模型构建方法、模型及检测方法
US20190050667A1 (en) * 2017-03-10 2019-02-14 TuSimple System and method for occluding contour detection
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109583340A (zh) * 2018-11-15 2019-04-05 中山大学 一种基于深度学习的视频目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078273A1 (en) * 2014-07-25 2016-03-17 Digitalglobe, Inc. Global-scale damage detection using satellite imagery
US20190050667A1 (en) * 2017-03-10 2019-02-14 TuSimple System and method for occluding contour detection
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其***
CN109117876A (zh) * 2018-07-26 2019-01-01 成都快眼科技有限公司 一种稠密小目标检测模型构建方法、模型及检测方法
CN109344821A (zh) * 2018-08-30 2019-02-15 西安电子科技大学 基于特征融合和深度学习的小目标检测方法
CN109583340A (zh) * 2018-11-15 2019-04-05 中山大学 一种基于深度学习的视频目标检测方法

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782484A (zh) * 2019-10-25 2020-02-11 上海浦东临港智慧城市发展中心 一种无人机视频人员识别追踪的方法
CN110991359A (zh) * 2019-12-06 2020-04-10 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 基于多尺度深度卷积神经网络的卫星图像目标检测方法
CN111160249A (zh) * 2019-12-30 2020-05-15 西北工业大学深圳研究院 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN111414931A (zh) * 2019-12-31 2020-07-14 杭州电子科技大学 一种基于图像深度的多分支多尺度小目标检测方法
CN111414931B (zh) * 2019-12-31 2023-04-25 杭州电子科技大学 一种基于图像深度的多分支多尺度小目标检测方法
CN111242071A (zh) * 2020-01-17 2020-06-05 陕西师范大学 一种基于锚框的注意力遥感图像目标检测方法
CN111242071B (zh) * 2020-01-17 2023-04-07 陕西师范大学 一种基于锚框的注意力遥感图像目标检测方法
CN111310611A (zh) * 2020-01-22 2020-06-19 上海交通大学 细胞视野图的检测方法及存储介质
CN111310611B (zh) * 2020-01-22 2023-06-06 上海交通大学 细胞视野图的检测方法及存储介质
CN111274981A (zh) * 2020-02-03 2020-06-12 中国人民解放军国防科技大学 目标检测网络构建方法及装置、目标检测方法
CN111325116A (zh) * 2020-02-05 2020-06-23 武汉大学 一种基于线下训练-线上学习深度可演化的遥感影像目标检测方法
CN111414880B (zh) * 2020-03-26 2022-10-14 电子科技大学 一种基于改进RetinaNet的显微图像中有型成分目标检测方法
CN111414880A (zh) * 2020-03-26 2020-07-14 电子科技大学 一种基于改进RetinaNet的显微图像中有型成分目标检测方法
CN111553303A (zh) * 2020-05-07 2020-08-18 武汉大势智慧科技有限公司 基于卷积神经网络的遥感正射影像密集建筑物提取方法
CN111553303B (zh) * 2020-05-07 2024-03-29 武汉大势智慧科技有限公司 基于卷积神经网络的遥感正射影像密集建筑物提取方法
CN111833321A (zh) * 2020-07-07 2020-10-27 杭州电子科技大学 一种调窗优化增强的颅内出血检测模型及其构建方法
CN111833321B (zh) * 2020-07-07 2023-10-20 杭州电子科技大学 一种调窗优化增强的颅内出血检测模型及其构建方法
CN112053342A (zh) * 2020-09-02 2020-12-08 陈燕铭 基于人工智能的脑垂体磁共振图像的提取识别方法和装置
CN112200045B (zh) * 2020-09-30 2024-03-19 华中科技大学 基于上下文增强的遥感图像目标检测模型建立方法及应用
CN112200045A (zh) * 2020-09-30 2021-01-08 华中科技大学 基于上下文增强的遥感图像目标检测模型建立方法及应用
CN112183435A (zh) * 2020-10-12 2021-01-05 河南威虎智能科技有限公司 一种两阶段的手部目标检测方法
CN112287983A (zh) * 2020-10-15 2021-01-29 西安电子科技大学 一种基于深度学习的遥感图像目标提取***和方法
CN112287983B (zh) * 2020-10-15 2023-10-10 西安电子科技大学 一种基于深度学习的遥感图像目标提取***和方法
CN112464743A (zh) * 2020-11-09 2021-03-09 西北工业大学 一种基于多尺度特征加权的小样本目标检测方法
CN112464743B (zh) * 2020-11-09 2023-06-02 西北工业大学 一种基于多尺度特征加权的小样本目标检测方法
CN112418108A (zh) * 2020-11-25 2021-02-26 西北工业大学深圳研究院 一种基于样本重加权的遥感图像多类目标检测方法
CN112560956A (zh) * 2020-12-16 2021-03-26 珠海格力智能装备有限公司 目标检测方法及装置、非易失性存储介质、电子设备
CN112634174A (zh) * 2020-12-31 2021-04-09 上海明略人工智能(集团)有限公司 一种图像表示学习方法及***
CN112634174B (zh) * 2020-12-31 2023-12-12 上海明略人工智能(集团)有限公司 一种图像表示学习方法及***
CN113128564A (zh) * 2021-03-23 2021-07-16 武汉泰沃滋信息技术有限公司 一种基于深度学习的复杂背景下典型目标检测方法及***
CN113536986A (zh) * 2021-06-29 2021-10-22 南京逸智网络空间技术创新研究院有限公司 一种基于代表特征的遥感图像中的密集目标检测方法
CN113469088A (zh) * 2021-07-08 2021-10-01 西安电子科技大学 一种无源干扰场景下的sar图像舰船目标检测方法及***
CN116310850B (zh) * 2023-05-25 2023-08-15 南京信息工程大学 基于改进型RetinaNet的遥感图像目标检测方法
CN116310850A (zh) * 2023-05-25 2023-06-23 南京信息工程大学 基于改进型RetinaNet的遥感图像目标检测方法
CN117612029A (zh) * 2023-12-21 2024-02-27 石家庄铁道大学 一种基于渐进特征平滑和尺度适应性膨胀卷积的遥感图像目标检测方法
CN117612029B (zh) * 2023-12-21 2024-05-24 石家庄铁道大学 一种基于渐进特征平滑和尺度适应性膨胀卷积的遥感图像目标检测方法

Also Published As

Publication number Publication date
CN110287927B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN110287927A (zh) 基于深度多尺度和上下文学习的遥感影像目标检测方法
Xie et al. A deep-learning-based real-time detector for grape leaf diseases using improved convolutional neural networks
CN110211097A (zh) 一种基于Faster R-CNN参数迁移的裂缝图像检测方法
Ying et al. Multi-attention object detection model in remote sensing images based on multi-scale
CN109614985A (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN110287960A (zh) 自然场景图像中曲线文字的检测识别方法
CN109934200A (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及***
CN107818302A (zh) 基于卷积神经网络的非刚性多尺度物体检测方法
CN108549893A (zh) 一种任意形状的场景文本端到端识别方法
CN110334705A (zh) 一种结合全局和局部信息的场景文本图像的语种识别方法
CN106845430A (zh) 基于加速区域卷积神经网络的行人检测与跟踪方法
CN109740676A (zh) 基于相似目标的物体检测迁移方法
CN110516539A (zh) 基于对抗网络的遥感影像建筑物提取方法、***、存储介质及设备
CN110321891A (zh) 一种联合深度神经网络与聚类算法的大输液药液异物目标检测方法
CN110502654A (zh) 一种适用于多源异构遥感数据的目标库生成***
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN110009010A (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
CN109784283A (zh) 基于场景识别任务下的遥感图像目标提取方法
Lu et al. P_SegNet and NP_SegNet: New neural network architectures for cloud recognition of remote sensing images
Wan et al. AFSar: An anchor-free SAR target detection algorithm based on multiscale enhancement representation learning
CN113033520A (zh) 一种基于深度学习的树木线虫病害木识别方法及***
CN110110599A (zh) 一种基于多尺度特征融合的遥感图像目标检测方法
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
CN114529819A (zh) 一种基于知识蒸馏学习的生活垃圾图像识别方法
CN112084860A (zh) 目标对象检测、火力发电厂检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant