CN111339950B - 一种遥感图像目标检测方法 - Google Patents

一种遥感图像目标检测方法 Download PDF

Info

Publication number
CN111339950B
CN111339950B CN202010122264.XA CN202010122264A CN111339950B CN 111339950 B CN111339950 B CN 111339950B CN 202010122264 A CN202010122264 A CN 202010122264A CN 111339950 B CN111339950 B CN 111339950B
Authority
CN
China
Prior art keywords
prediction
branch
scale
remote sensing
anchor frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010122264.XA
Other languages
English (en)
Other versions
CN111339950A (zh
Inventor
滕竹
段雅妮
张宝鹏
李芮
李浥东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202010122264.XA priority Critical patent/CN111339950B/zh
Publication of CN111339950A publication Critical patent/CN111339950A/zh
Application granted granted Critical
Publication of CN111339950B publication Critical patent/CN111339950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种遥感图像目标检测方法基于图像语义特征来设计锚框，借助特征的强大表达力来使锚框生成阶段既高效又精准。通过中心预测分支和形状预测分支预测锚框的位置及大小，所采用的瓶颈结构扩大特征相对于原图的感受野，增强小目标检测能力。本发明不仅解决了遥感图像目标多尺度问题，而且对小目标有较好的检测性能；本发明提供的方法基于图像语义特征来设计锚框，借助特征的强大表达力来使锚框生成阶段既高效又精准；通过中心预测分支和形状预测分支预测锚框的位置及大小，所采用的瓶颈结构扩大特征相对于原图的感受野，增强小目标检测能力；本发明中提供的模型提升了对多种数据集中多尺度目标的适应性，增强了泛化性。

Description

一种遥感图像目标检测方法
技术领域
本发明涉及遥感图像检测技术领域，尤其涉及一种遥感图像目标检测方法。
背景技术
近些年来，传统图像目标检测领域由于深度卷积神经网络的引入取得了重大突破，目前主要形成了以R-CNN系、R-FCN、Mask R-CNN等方法为代表的基于候选区域的方法和以SSD，YOLO系，RetinaNet等方法为代表的基于端到端的方法。随着遥感技术的不断发展，我们可以越来越容易地获取到遥感图像并对其进行分析和处理，而遥感图像目标检测是遥感图像处理和分析的基础问题之一。目前，绝大多数遥感图像目标检测方法都是直接从传统图像目标检测方法中迁移过来的。基于候选区域的遥感图像目标检测方法将检测过程分为两个阶段，首先基于原始图片生成一系列候选区域，并将特征图和候选区域一块送入感兴趣区域池化层(ROI Pooling)，然后对候选区域进行二次分类预测和回归预测产生最终预测结果。此类方法极大增加了计算成本，限制了遥感图像目标检测的速度。基于端到端的遥感图像目标检测方法直接将检测问题看作一个回归问题，注重整体性。此方法无需区域推荐阶段，直接产生目标物体的类别预测概率值和位置偏移量预测值。此类方法难以解决遥感图像中多尺度目标的问题，检测精度低。在遥感图像中目标物体尺度变化范围大、小目标物体聚簇、数据集多样的情况下，如何构造一个兼顾速度和精度，而且对遥感图像不同数据集中的目标物体尺度变化自适应性高的检测器成为重中之重。
目前现有技术按照传统图像目标检测做法达到了不错的效果，如图4所示，现有技术首先通过特征提取网络提取输入图片的特征，然后对于多个尺度的特征图，分别人为地预先设定好多组固定尺寸和比例的锚框，再将多尺度特征和锚框结合产生最后预测结果，从而提高目标物体的检测效果。但是由于现有技术常常是随机生成或者人为预先设定好锚框，这对于遥感图像中目标物体尺度变化大以及数据集种类多的特点而言，尤其不利，常常会导致效率低下、负锚框比例大、难以适应多种数据集的目标尺度变化的问题产生。
发明内容
本发明的实施例提供了一种遥感图像目标检测方法，用于解决现有技术中存在的如下技术问题：
针对遥感图像中多种数据集，采用人为预先设定锚框，需要对每种数据集设计单独的锚框策略，时间成本高、效率低；
由于遥感图像目标物体尺度变化范围大，需要人为设计很多组锚框，但实际上只有少部分是可用的，负锚框过多、错误率高；
针对遥感图像中多尺度目标检测问题，利用多尺度特征信息融合的方法只能对同一种数据集进行大小尺度目标的检测，难以实现多种数据集中大小尺度目标检测。
为了实现上述目的，本发明采取了如下技术方案。
一种遥感图像目标检测方法，基于尺度生成网络模型实施，具体包括：
基于原始遥感图像，通过特征提取网络，获得多尺度信息；
基于该多尺度信息，通过尺度生成网络的中心预测分支和形状预测分支，获得锚框；
基于该锚框和多尺度信息，通过区域生成网络的第一区域分类分支和第一区域回归分支，获得区域推荐；
基于区域推荐和多尺度信息，通过预测网络的类别标签预测操作和回归量预测操作，以及非极大值抑制操作，获得目标图像。
优选地，基于该多尺度信息，通过尺度生成网络的中心预测分支和形状预测分支，获得锚框包括：
基于多尺度信息，通过中心预测分支的中心预测操作获得中心预测值，通过形状预测操作获得形状预测偏移量；
通过中心预测分支对中心预测值进行筛选，获得大于预设阈值的中心预测位置；
通过形状预测分支对中心预测位值进行偏移量回归，获得尺度连续的锚框。
优选地，基于该锚框和多尺度信息，通过区域生成网络的第一区域分类分支和第一区域回归分支，获得区域推荐包括：
通过第一区域分类分支对多尺度信息进行前景得分筛选和锚框偏移量回归，获得锚框前景背景预测分数和锚框偏移量预测值；
通过第一区域回归分支对锚框前景背景预测分数和锚框偏移量预测值进行非极大值抑制，获得多个区域推荐。
优选地，基于区域推荐和多尺度信息，通过预测网络的类别标签预测操作和回归量预测操作，以及非极大值抑制操作，获得目标图像包括：
将区域推荐映射到多尺度信息上，通过感兴趣区域池化操作，获得等尺寸特征块；
基于等尺寸特征块，通过第二区域分类分支进行类别标签预测操作，以及通过第二区域回归分支进行回归量预测操作，获得区域推荐的每类标签的得分，以及区域推荐和多尺度信息相对于原目标框的偏移量；
基于区域推荐的每类标签的得分以及区域推荐和多尺度信息相对于原目标框的偏移量，通过非极大值抑制，获得目标图像。
优选地，还具有对尺度生成网络模型进行训练，具体包括：
分别通过尺度生成网络、区域生成网络和预测网络生成损失值，构建损失函数
(1)；
其中，α表示位置预测损失函数的权重，β表示形状预测损失函数的权重，θ
表示第几张图片(θ＝1,2,…,Θ),Θ表示总的图片张数；
通过损失函数(1)获得多任务损失结果，通过该多任务损失结果对尺度生成网络模型进行梯度反向传播，更新注意力网络参数。
优选地，基于原始遥感图像，通过特征提取网络，获得多尺度信息包括：
通过特征提取网络的ResNext分支，从原始遥感图像提取中的输入图像金字塔；
通过特征提取网络的FPN分支，对输入图像金字塔进行融合特征操作，获得多尺度信息。
优选地，还具有对原始遥感图像进行预处理的步骤，具体包括：
通过resize方法，对原始遥感图像进行尺寸固定；
对尺寸固定后的原始遥感图像进行去均值处理，获得预处理后的原始遥感图像。
由上述本发明的实施例提供的技术方案可以看出，本发明提供了一种遥感图像目标检测方法基于图像语义特征来设计锚框，借助特征的强大表达力来使锚框生成阶段既高效又精准。通过中心预测分支和形状预测分支预测锚框的位置及大小，所采用的瓶颈结构扩大特征相对于原图的感受野，增强小目标检测能力。本发明不仅解决了遥感图像目标多尺度问题，而且对小目标有较好的检测性能；本发明提供的方法基于图像语义特征来设计锚框，借助特征的强大表达力来使锚框生成阶段既高效又精准；通过中心预测分支和形状预测分支预测锚框的位置及大小，所采用的瓶颈结构扩大特征相对于原图的感受野，增强小目标检测能力；本发明中提供的模型提升了对多种数据集中多尺度目标的适应性，增强了泛化性。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种遥感图像目标检测方法的处理流程图；
图2为本发明提供的一种遥感图像目标检测方法的一种优选实施例的处理流程图；
图3为本发明提供的一种遥感图像目标检测方法的尺度生成网络模型的框架图；
图4为一种现有技术中提供的网络模型框架图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
实施例一；
参见图1和2，本发明提供的一种遥感图像目标检测方法，基于尺度生成网络模型实施，具体包括：
基于原始遥感图像，通过特征提取网络，获得多尺度信息；
基于该多尺度信息，通过尺度生成网络的中心预测分支和形状预测分支，获得锚框；
基于该锚框和多尺度信息，通过区域生成网络的第一区域分类分支和第一区域回归分支，获得区域推荐；
基于区域推荐和多尺度信息，通过预测网络的类别标签预测操作和回归量预测操作，以及非极大值抑制操作，获得目标图像。
在本发明提供的实施例中，多尺度信息为输入的原始遥感图片经过多个卷积操作和下采样操作后，特征图尺寸越来越小，形成类似金字塔形状的特征层，每一个特征图代表一个尺度信息。
进一步的，在本发明的实施例中，使用了一种基于语义特征生成连续尺度锚框的尺度生成网络，用于解决人工设计锚框机制的繁琐问题以及负样本错误率高的问题，具体过程为：
基于多尺度信息，通过中心预测分支的中心预测操作获得中心预测值，通过形状预测操作获得形状预测偏移量；
通过中心预测分支对中心预测值进行筛选，获得大于预设阈值的中心预测位置；
通过形状预测分支对中心预测位值进行偏移量回归，获得尺度连续的锚框；
在本实施例中，每个分支移入一个瓶颈(bottleneck)结构，用于增强特征图相对于原图的感受野，有助于提升小目标物体检测性能。
更进一步的，上述的基于该锚框和多尺度信息，通过区域生成网络的第一区域分类分支和第一区域回归分支，获得区域推荐包括：
通过第一区域分类分支对多尺度信息进行一轮前景得分筛选和锚框偏移量回归，获得锚框前景背景预测分数和锚框偏移量预测值；
通过第一区域回归分支对锚框前景背景预测分数和锚框偏移量预测值进行非极大值抑制，获得多个区域推荐；
在本实施例中，只进行一轮筛选作为最终预测的输入即为端到端的目标检测方法，亦称作一阶段方法，其作用是预测速度快。
更进一步的，上述的基于区域推荐和多尺度信息，通过预测网络的类别标签预测操作和回归量预测操作，以及非极大值抑制操作，获得目标图像包括：
将区域推荐映射到多尺度信息上，通过感兴趣区域池化操作，获得等尺寸特征块；
基于等尺寸特征块，通过第二区域分类分支进行类别标签预测操作，以及通过第二区域回归分支进行回归量预测操作，获得区域推荐的每类标签的得分，以及区域推荐和多尺度信息相对于原目标框的偏移量；
基于区域推荐的每类标签的得分以及区域推荐和多尺度信息相对于原目标框的偏移量，通过非极大值抑制，获得目标图像。
进一步的，本发明提供的方法，还具有对尺度生成网络模型进行训练，具体包括：
分别通过尺度生成网络、区域生成网络和预测网络中的总共6个分支网络，生成损失值，构建损失函数
(1)；
其中，α表示位置预测损失函数的权重，β表示形状预测损失函数的权重，θ
表示第几张图片(θ＝1,2,…,Θ),Θ表示总的图片张数；
通过损失函数(1)获得多任务损失结果，通过该多任务损失结果对尺度生成网络模型进行梯度反向传播，更新注意力网络参数。
本实施例中损失函数的作用是，通过6个损失函数的求和，进行端到端训练模型，通过不断调节网络模型参数，观察各个网络结构准确率，从而提高整体网络模型准确率。
进一步的，在本发明提供的优选实施例中，特征提取网络增加了特征金字塔网络融合高低语义特征信息，由于卷积神经网络的深层特征图对应原图更大的感受野，适合用于提取较大目标物体的特征，其浅层特征图对应原图更小的感受野，适合用于提取较小目标物体的特征，增加特征融合模块可增强多尺度信息的可表达力；具体过程为：
通过特征提取网络的ResNext分支，从原始遥感图像提取中的输入图像金字塔；
通过特征提取网络的FPN分支，对输入图像金字塔进行融合特征操作，获得多尺度信息。
进一步的，在本发明提供的优选实施例中，还具有对原始遥感图像进行预处理的步骤，具体包括：
通过resize方法，对原始遥感图像进行尺寸固定；
对尺寸固定后的原始遥感图像进行去均值处理，获得预处理后的原始遥感图像。
实施例二：
本发明提供了一种用于实现上述方法的尺度生成网络模型，如图3所示，包括：
特征提取模块；
图像输入到模型中，首先经过特征提取模块提取图片的多尺度特征信息，主要由ResNext101和FPN结构实现。经过FPN网络后，得到多层级feature maps。将每个featuremap送入尺度生成模块。
尺度生成模块；
尺度生成模块的输入为FPN得到的多层feature map，对于每个feature map，使其分别经过尺度生成模块的中心预测分支和形状预测分支，得到中心预测值和形状预测偏移量，筛选中心预测值中大于预先设定的某个阈值的那些位置，对它们进行偏移量回归操作，最后得到锚框。
区域生成模块；
区域生成模块的输入为尺度生成模块产生的锚框以及FPN得到的多层featuremap，将每个feature map送入区域分类分支和区域回归分支，得到锚框前景背景预测分数和锚框偏移量预测值，做NMS操作后，得到多个proposals。
最终预测模块；
最终预测模块的输入为区域生成模块产生的区域推荐以及FPN得到的多层feature maps。区域推荐映射到feature map上并经过ROI Pooling层，采样成相同大小的特征块。将特征块分别送入预测分类分支和预测回归分支，得到类别预测分数值和回归偏移量预测值，经过NMS操作后，得到最终预测结果。
综上所述，本发明提供的一种遥感图像目标检测方法，基于目标检测方法中的区域推荐方法(两阶段方法)，首先通过特征提取网络提取输入图片的多层特征信息，将其送入尺度生成网络生成尺度连续的锚框，再依次经过区域生成网络和预测网络预测最终结果。
特征提取网络由ResNext101和FPN网络构成，主要用于提取遥感图像的多尺度特征信息。尺度生成网络致力于改善锚框生成阶段，通过引入锚框中心预测分支和锚框形状预测分支来生成尺度连续的锚框。每个分支引入一个bottleneck结构，用于增强特征图相对于原图的感受野，有助于提升小目标物体检测性能。区域生成网络通过锚框前景背景分类网络和锚框位置偏移量预测网络，分别生成前景预测分数和偏移量预测值。之后，筛选前景分数并进行回归操作，执行非极大值抑制操作(NMS)操作后，得到筛选后的锚框，即Proposals。预测网络通过目标类别预测网络和目标位置预测网络，分别生成Proposal相对于每个既定类别的分数预测值和Proposal相对于实际标定框的位置偏移量，经过筛选、回归和NMS后，得到最终预测结果。
本发明提供的方法基于图像语义特征来设计锚框，借助特征的强大表达力来使锚框生成阶段既高效又精准。通过中心预测分支和形状预测分支预测锚框的位置及大小，所采用的bottleneck结构扩大特征相对于原图的感受野，增强小目标检测能力。本发明不仅解决了遥感图像目标多尺度问题，而且对小目标有较好的检测性能；本发明中提供的模型提升了对多种数据集中多尺度目标的适应性，增强了泛化性。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种遥感图像目标检测方法，其特征在于，基于尺度生成网络模型实施，具体包括：
基于原始遥感图像，通过特征提取网络，获得多尺度信息；
基于该多尺度信息，通过尺度生成网络的中心预测分支和形状预测分支，获得锚框；具体包括：
基于多尺度信息，通过中心预测分支的中心预测操作获得中心预测值，通过形状预测操作获得形状预测偏移量；
通过中心预测分支对中心预测值进行筛选，获得大于预设阈值的中心预测位置；
通过形状预测分支对中心预测位值进行偏移量回归，获得尺度连续的锚框；
基于该锚框和多尺度信息，通过区域生成网络的第一区域分类分支和第一区域回归分支，获得区域推荐；
基于区域推荐和多尺度信息，通过预测网络的类别标签预测操作和回归量预测操作，以及非极大值抑制操作，获得目标图像。
2.根据权利要求1所述的方法，其特征在于，所述的基于该锚框和多尺度信息，通过区域生成网络的第一区域分类分支和第一区域回归分支，获得区域推荐包括：
通过第一区域分类分支对多尺度信息进行前景得分筛选和锚框偏移量回归，获得锚框前景背景预测分数和锚框偏移量预测值；
通过第一区域回归分支对锚框前景背景预测分数和锚框偏移量预测值进行非极大值抑制，获得多个区域推荐。
3.根据权利要求2所述的方法，其特征在于，所述的基于区域推荐和多尺度信息，通过预测网络的类别标签预测操作和回归量预测操作，以及非极大值抑制操作，获得目标图像包括：
将区域推荐映射到多尺度信息上，通过感兴趣区域池化操作，获得等尺寸特征块；
基于等尺寸特征块，通过第二区域分类分支进行类别标签预测操作，以及通过第二区域回归分支进行回归量预测操作，获得区域推荐的每类标签的得分，以及区域推荐和多尺度信息相对于原目标框的偏移量；
基于区域推荐的每类标签的得分以及区域推荐和多尺度信息相对于原目标框的偏移量，通过非极大值抑制，获得目标图像。
4.根据权利要求1所述的方法，其特征在于，还具有对尺度生成网络模型进行训练，具体包括：
分别通过尺度生成网络、区域生成网络和预测网络生成损失值，构建损失函数
其中，α表示位置预测损失函数的权重，β表示形状预测损失函数的权重，θ
表示第几张图片(θ＝1,2,…,Θ),Θ表示总的图片张数；
通过损失函数(1)获得多任务损失结果，通过该多任务损失结果对尺度生成网络模型进行梯度反向传播，更新注意力网络参数。
5.根据权利要求1至4任一所述的方法，其特征在于，所述的基于原始遥感图像，通过特征提取网络，获得多尺度信息包括：
通过特征提取网络的ResNext分支，从原始遥感图像提取中的输入图像金字塔；
通过特征提取网络的FPN分支，对输入图像金字塔进行融合特征操作，获得多尺度信息。
6.根据权利要求1至4任一所述的方法，其特征在于，还具有对原始遥感图像进行预处理的步骤，具体包括：
通过resize方法，对原始遥感图像进行尺寸固定；
对尺寸固定后的原始遥感图像进行去均值处理，获得预处理后的原始遥感图像。
CN202010122264.XA 2020-02-27 2020-02-27 一种遥感图像目标检测方法 Active CN111339950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010122264.XA CN111339950B (zh) 2020-02-27 2020-02-27 一种遥感图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010122264.XA CN111339950B (zh) 2020-02-27 2020-02-27 一种遥感图像目标检测方法

Publications (2)

Publication Number Publication Date
CN111339950A CN111339950A (zh) 2020-06-26
CN111339950B true CN111339950B (zh) 2024-01-23

Family

ID=71185587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010122264.XA Active CN111339950B (zh) 2020-02-27 2020-02-27 一种遥感图像目标检测方法

Country Status (1)

Country Link
CN (1) CN111339950B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814889A (zh) * 2020-07-14 2020-10-23 大连理工大学人工智能大连研究院 一种使用无锚框模块和增强分类器的单阶段目标检测方法
CN112069910B (zh) * 2020-08-11 2024-03-01 上海海事大学 一种遥感图像多方向舰船目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013102797A1 (en) * 2012-01-06 2013-07-11 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi System and method for detecting targets in maritime surveillance applications
WO2016054778A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Generic object detection in images
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN110189255A (zh) * 2019-05-29 2019-08-30 电子科技大学 基于两级检测的人脸检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013102797A1 (en) * 2012-01-06 2013-07-11 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi System and method for detecting targets in maritime surveillance applications
WO2016054778A1 (en) * 2014-10-09 2016-04-14 Microsoft Technology Licensing, Llc Generic object detection in images
CN109086668A (zh) * 2018-07-02 2018-12-25 电子科技大学 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN110189255A (zh) * 2019-05-29 2019-08-30 电子科技大学 基于两级检测的人脸检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Class-Specific Ancor Based and Context-Guided Multi-Class Object Detection in High Resolution Remote Sensing Imagery with a Convolutional Neural Network;Nan Mo等;《Remote Sensing》;第11卷(第3期);全文 *
基于卷积神经网络的多尺度目标检测方法研究;王佳琪;《中国优秀硕士学位论文（电子期刊）工程科技II辑》;全文 *

Also Published As

Publication number Publication date
CN111339950A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN108416307B (zh) 一种航拍图像路面裂缝检测方法、装置及设备
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN104850865B (zh) 一种多特征迁移学习的实时压缩跟踪方法
CN108805070A (zh) 一种基于嵌入式终端的深度学习行人检测方法
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN112862849B (zh) 一种基于图像分割和全卷积神经网络的田间稻穗计数方法
CN112784756B (zh) 人体识别跟踪方法
CN111882620A (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN111339950B (zh) 一种遥感图像目标检测方法
CN116092179A (zh) 一种改进的yolox跌倒检测***
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN113191335A (zh) 基于深度学习的日用陶瓷类型识别方法
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
CN117710841A (zh) 一种无人机航拍图像的小目标检测方法、装置
CN113033371A (zh) 基于csp模型的多级特征融合行人检测方法
Zhang [Retracted] Sports Action Recognition Based on Particle Swarm Optimization Neural Networks
Zhao et al. Recognition and Classification of Concrete Cracks under Strong Interference Based on Convolutional Neural Network.
Yang et al. Automatic detection of bridge surface crack using improved Yolov5s
CN112541469B (zh) 基于自适应分类的人群计数方法及***
CN113192108B (zh) 一种针对视觉跟踪模型的人在回路训练方法及相关装置
CN116129158A (zh) 一种输电线路铁塔小部件图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant