CN114972737A - 基于原型对比学习的遥感图像目标检测***及方法 - Google Patents

基于原型对比学习的遥感图像目标检测***及方法 Download PDF

Info

Publication number
CN114972737A
CN114972737A CN202210643115.7A CN202210643115A CN114972737A CN 114972737 A CN114972737 A CN 114972737A CN 202210643115 A CN202210643115 A CN 202210643115A CN 114972737 A CN114972737 A CN 114972737A
Authority
CN
China
Prior art keywords
feature
class
loss function
remote sensing
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210643115.7A
Other languages
English (en)
Other versions
CN114972737B (zh
Inventor
方乐缘
郭广淼
刘强
李庆鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202210643115.7A priority Critical patent/CN114972737B/zh
Publication of CN114972737A publication Critical patent/CN114972737A/zh
Application granted granted Critical
Publication of CN114972737B publication Critical patent/CN114972737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

基于原型对比学习的遥感图像目标检测***及方法，所述***包括连接的特征图提取模块、区域特征提取模块以及与区域特征提取模块分别连接的类别对比模块、位置预测模块和类别预测模块；特征图提取模块用于在遥感图像中提取多尺度的特征图；区域特征提取模块用于在特征图内筛选多个感兴趣区域，并提取每个感兴趣区域的特征向量；类别对比模块用于将特征向量与对应的初始类别原型进行比对；位置预测模块用于对目标进行位置预测；类别预测模块用于对目标进行类别预测；本发明利用目标的高级语义特征进行对比学习，具有较强的泛化性和可移植性；同时本发明在不增加训练与测试成本的情况下，对目标的判别性特征进行重点关注，提升了遥感目标检测的精度。

Description

基于原型对比学习的遥感图像目标检测***及方法
技术领域
本发明涉及遥感图像处理技术领域，特别涉及一种基于原型对比学习的遥感图像目标检测***及方法。
背景技术
从覆盖数百万平方公里的卫星图像中快速、准确地定位和识别感兴趣目标是遥感图像智能解译领域的核心问题之一。随着遥感目标的细粒度检测在军事监测、智慧交通等应用领域的需求日益增长，通用的遥感目标检测算法越来越难以满足需求，遥感目标的细粒度检测成为亟待解决的问题。
随着深度学习技术的发展，基于深度神经网络的遥感目标检测方法能自适应的从数据中学习到更具表征能力高层语义信息，大幅提升了目标检测算法的精度。但现有方法大部分针对遥感目标难以精准定位的问题进行研究，仅对遥感目标进行粗略的分类，难以满足日益增长的对遥感目标细粒度检测的要求。现有对遥感目标进行细粒度分类的方法往往是先利用遥感目标检测算法对目标进行定位，再对目标区域进行细粒度分类。但这类方法重复提取遥感目标的特征故计算冗余度高，遥感图像目标检测***参数量大，检测速度慢，严重限制了遥感目标细粒度检测的应用。
对比学***衡性要求较高，然而遥感图像幅宽大，场景性强，目标耦合性强，一批次数据中难以覆盖所有目标类别。故难以构造对比样本对进行对比学习。
在无监督对比学习中，通过聚类算法经迭代初始化得到初始类别原型，进而利用各类别中心构造广义样本对，进而进行对比学习。不同于无监督对比学习，遥感目标细粒度检测中，具有各目标类别标签，但需要通过训练使遥感图像目标检测***对目标位置进行定位，故不需要使用聚类算法获得初始类别原型，但难以通过迭代初始化得到初始类别原型。因此在遥感目标细粒度检测中搜索各初始类别原型中，需要不断的学习和调整初始类别原型，进而使其能够较好的代表类别特征，构建对比关系，进行对比学习。
发明内容
本发明要解决的技术问题为：针对现有技术的上述问题，提供一种基于原型对比学习的遥感图像目标检测方法及***，本发明旨在不增加训练及测试代价的情况下，解决遥感图像目标细粒度检测中难以对目标进行精确分类的情况，提高遥感图像目标细粒度检测的精确度以及性能。
为达到上述目的，本发明的技术方案是这样实现的：
基于原型对比学习的遥感图像目标检测***，其特征在于，包括连接的特征图提取模块、区域特征提取模块以及与区域特征提取模块分别连接的类别对比模块、位置预测模块和类别预测模块；
所述特征图提取模块用于在遥感图像中提取多尺度的特征图；
所述区域特征提取模块用于在特征图内筛选多个感兴趣区域，并提取每个感兴趣区域的特征向量zi；
所述类别对比模块用于将感兴趣区域的特征向量zi分别与设定的k个初始类别原型pk进行比对，以求得将特征向量zi与对应的初始类别原型pk的相似度qi,k；所述类别对比模块通过对比损失函数Lcon来进行对比学习，以提升遥感图像目标检测***的判别性特征提取能力；
所述位置预测模块用于在多个特征向量zi中提取目标的位置信息，并对目标进行位置预测；所述位置预测模块通过定位损失函数Lreg进行学习，以提升遥感图像目标检测***的位置预测能力；
所述类别预测模块用于在多个特征向量zi中提取目标的类别信息，并对目标进行类别预测；所述类别预测模块通过分类损失函数Lcls进行学习，以提升遥感图像目标检测***的类别预测能力。
进一步地，所述区域特征提取模块包括依次连接的区域生成网络、类别平衡采样器、区域池化网络和区域特征提取网络；
所述区域生成网络与所述特征图提取模块连接，用于对特征图进行区域划分，以筛选出多个感兴趣区域，并形成每个感兴趣区域的索引；
所述类别平衡采样器用于对多个感兴趣区域及其对应的索引进行采样，以将多个感兴趣区域分别划分到对应的标签类别中，同时，使得每个标签类别中的感兴趣区域的数量相差不超过第一预设值，并生成指定数量的索引，采样后的感兴趣区域的数量和采样后的索引的数量相等，且分别对应；
所述区域池化网络用于接收所述特征金字塔网络输出的特征图和所述类别平衡采样器输出的索引，根据索引将对应的感兴趣区域裁剪出来，并将裁剪出来的多个感兴趣区域分别池化成尺寸相同的多个特征图；
所述区域特征提取网络用于求解所述区域池化网络输出的多个特征图所分别对应的特征向量zi。
本发明第二方面还提供了一种基于原型对比学习的遥感图像目标检测方法，使用以上所述的遥感图像目标检测***对目标进行检测，其具体包含以下步骤：
步骤S100、随机生成每一类目标初始的初始类别原型pk；
步骤S200、将遥感图像输入到所述特征图提取模块，所述特征图提取模块利用深度神经网络，进行多层次特征提取，得到多尺度特征图；
步骤S300、将多尺度特征图输入到所述区域生成网络，所述区域生成网络对多个特征图进行区域划分，得到多个感兴趣区域，并形成多个感兴趣区域所对应的索引；
步骤S400、将多个感兴趣区域传输到所述类别平衡采样器，所述类别平衡采样器用于对多个感兴趣区域和多个对应的索引进行采样，依据多个感兴趣区域所对应的类别标签进行采样，使每个类别标签中的感兴趣区域的数量最接近，并形成指定数量的索引；
步骤S500、将多尺度特征图和多个索引传输到所述区域池化网络，所述区域池化网络根据索引将对应的感兴趣区域裁剪出来，并将裁剪出来的多个感兴趣区域分别池化成尺寸相同的多个特征图；
步骤S600、将所述区域池化网络输出的多个特征图传输到所述区域特征提取网络，所述区域特征提取网络分别提取多个特征图所对应的特征向量zi；
步骤S700、将多个特征向量zi分别传输到所述类别对比模块、所述位置预测模块和所述类别预测模块中以构建对应的对比损失函数Lcon、定位损失函数Lreg以及分类损失函数Lcls；
步骤S800、依据对比损失函数Lcon、定位损失函数Lreg以及分类损失函数Lcls建立总损失函数，重复步骤S200至步骤S800，最小化总损失函数，直至总损失函数收敛，或循环次数达到第二设定值，第二预设值可以是10或者20或者其他，优选的，第二设定值为12；
步骤S900、分别使用所述位置预测模块和所述类别预测模块进行测试，以分别预测目标的位置信息和目标的类别信息。
进一步地，所述步骤S400中的对多个感兴趣区域进行采样具体包含如下步骤：
步骤S410：计算当前批次中每类别期望采样数目num_acls，根据设定的总期望采样数目num_aim和当前批次类总数num_cls，计算出每类别期望采样数目num_acls＝num_aim/num_cls；
步骤S420：进行各类别感兴趣区域的随机采样，将抽中的感兴趣区域放入标签类别sampled，未抽中的感兴趣区域放入标签类别unsampled；
步骤S430：进行感兴趣区域的重采样，计算标签类别sampled包含的感兴趣区域数目num_sampled，若num_sampled<num_aim，在标签类别unsampled中随机抽取num_aim-num_sampled个感兴趣区域放入标签类别sampled；最终实现每个标签类别中的感兴趣区域的数量相差不超过第一预设值。
进一步地，所述步骤S600具体包含如下步骤：
步骤S621：使用第一全连接层对经过初步特征提取得到的多个特征向量zi进行进一步特征提取，特征向量zi维度均不发生变化；
步骤S622：使用ReLu激活函数对步骤S621中提取后的多个特征向量zi进行依次激活；
步骤S623：使用第二全连接层对激活后的多个特征向量zi进行进一步提取，将特征向量的维度降至与初始类别原型pk相同，得到多个特征图所对应的特征向量zi。
进一步地，所述步骤S700中建立对比损失函数Lcon具体包含如下步骤：
步骤S710、所述类别对比模块将多个特征向量zi映射到对应的对比空间内，并分别与对应的初始类别原型pk进行比对，以求得特征向量zi与对应的初始类别原型pk的相似度qi,k；
步骤S720：利用相似度qi,k计算并建立对比损失函数Lcon。
进一步地，所述步骤S710中求得特征向量zi与对应的初始类别原型pk的相似度qi,k具体包含如下步骤：
步骤S711：归一化初始类别原型pk，使每一类初始类别原型的模长为1，同时归一化感兴趣区域样本的特征向量zi，使之模长为1；
步骤S712：计算感兴趣区域特征向量与初始类别原型pk的相似度qi,k，将归一化后的初始类别原型pk，与归一化后的特征向量zi相乘，得到特征向量zi与初始类别原型的相似度qi,k；计算公式可以表示为
Figure BDA0003684506050000051
进一步地，所述步骤S720具体包含如下步骤：
步骤S721：挖掘困难负样本，将感兴趣区域特征向量zi与初始类别原型pk的相似度qi,k，除以温度系数τ来对相似度的梯度进行调节，促进正负样本分离；温度系数τ越小，对困难负样本的关注程度越高，温度系数取值范围为[0,1]；
步骤S722：构建有初始的对比损失函数Lcon，将有监督对比损失函数公式推广到初始的对比损失函数Lcon，初始的对比损失函数Lcon计算公式可以表示为：
Figure BDA0003684506050000061
其中yi为样本标签值，K为初始类别原型pk的类别总数；
步骤S723：修正相似度qi,k，将该类正样本与该类初始类别原型pk的相似度取相反数，得到新的相似度qi,k；
Figure BDA0003684506050000062
步骤S724：修正初始的对比损失函数Lcon；其公式为：
Figure BDA0003684506050000063
步骤S725：平衡正负样本，Lcon计算公式表示为：
Figure BDA0003684506050000064
其中|P+|为每批次中正样本类别数目；|P-|为负样本类别数目；K为初始类别原型pk的类别总数；。
进一步地，所述步骤S800中建立总损失函数的实现方式为：将对比损失函数Lcon、定位损失函数Lreg和分类损失函数Lcls进行线性组合，并通过赋予权重的方式控制各部分比重，λ1～λ3为预设的权重参数，公式为：
Loss＝λ1·Lreg+λ2·Lcls+λ3·Lcon，其中Loss为总损失函数。
本发明第三方面还提供一种计算机设备，包括相互连接的存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时包含以上所述的遥感图像目标检测方法。
本发明第四方面还提供了计算机可读存储介质，其上存储有计算机程序，所述计算机程序被外部的处理器执行时，包含以上所述的遥感图像目标检测方法。
有益效果：
第一，本发明针对遥感细粒度目标出现频率差异大的问题，提出了类别平衡采样器，缓解了同一场景内不同类别样本数目严重失衡的问题，增加了一批次内目标的类别平衡性，最终提高了遥感细粒度目标检测精度。
第二，本发明针对遥感图片的大幅宽，遥感目标的场景性强的特点，设计了原型对比模块，解决了图像中因目标耦合性而难以构建对比关系的难题，提出了有监督原型对比损失函数，实现了提取各类别判别性特征的目标，有效提高了细粒度目标检测的精度。
第三，本发明提出的方法遥感图像目标检测***简单，对比分支可移植性强，计算量小，在训练阶段几乎不增加训练时间及空间开销。在测试阶段，由于原型对比模块在测试时进行删除，故完全不增加测试代价。
附图说明
图1为本发明一实施例提供的方法的基本流程示意图；
图2是本发明一实施例提出的基于原型对比学习的遥感图像目标检测方法及***的遥感图像目标检测***结构图；
图3是本发明一实施例提出的原型对比模块示意图；
图4是本发明一实例的检测结果图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
第一实施例：
如图1所示，本申请实施例提供了一种基于原型对比学习的遥感图像目标检测***，其特征在于，包括连接的特征图提取模块、区域特征提取模块以及与区域特征提取模块分别连接的类别对比模块、位置预测模块和类别预测模块；
所述特征图提取模块用于在遥感图像中提取多尺度的特征图；所述特征图提取模块包括依次连接的骨干网络和特征金字塔网络，所述骨干网络用于对遥感图像中不同尺度的特征进行提取；所述特征金字塔网络用于对不同尺度的特征进行融合，以形成多尺度的特征图；
所述区域特征提取模块用于在特征图内筛选多个感兴趣区域，并提取每个感兴趣区域的特征向量zi；
所述类别对比模块用于将感兴趣区域的特征向量zi分别与设定的k个初始类别原型pk进行比对，以求得将特征向量zi与对应的初始类别原型pk的相似度qi,k；所述类别对比模块通过对比损失函数Lcon来进行对比学习，以提升遥感图像目标检测***的判别性特征提取能力，使特征向量zi更具类别判别性，以更好的进行细粒度分类；所述类别对比模块优选为类别对比网络；
所述位置预测模块用于在多个特征向量zi中提取目标的位置信息，并对目标进行位置预测；所述位置预测模块通过定位损失函数Lreg进行学习，以提升遥感图像目标检测***的位置预测能力；所述位置预测模块优选为边框回归网络；所述边框回归网络的输出长度为5(n+1)(n个类+一个背景类，每个类都有5个位置参数)；
所述类别预测模块用于在多个特征向量zi中提取目标的类别信息，并对目标进行类别预测；所述类别预测模块通过分类损失函数Lcls进行学习，以提升遥感图像目标检测***的类别预测能力；所述类别预测模块优选为类别预测网络；所述类别预测网络的输出长度为(n+1)(n个类+一个背景类)；
在学习阶段：区域特征网络输出的特征向量zi，作为边框回归网络，类别预测网络和类别对比网络的输入，边框回归网络用于进行位置预测，监督遥感图像目标检测***位置预测能力，类别预测网络用于类别预测，监督遥感图像目标检测***类别预测能力。类别对比网络作为辅助网络，监督遥感图像目标检测***的判别性特征提取能力。
所述区域特征提取模块包括依次连接的区域生成网络、类别平衡采样器、区域池化网络和区域特征提取网络；
所述区域生成网络与所述特征金字塔网络连接，用于对特征图进行区域划分，以筛选出多个感兴趣区域，并形成每个感兴趣区域的索引；
所述类别平衡采样器用于对多个感兴趣区域及其对应的索引进行采样，以将多个感兴趣区域分别划分到对应的标签类别中，同时，使得每个标签类别中的感兴趣区域的数量相差不超过第一预设值，第一预设值的阈值可以是5或10或15或者其，本实施例中第一预设值的阈值优选为10，并生成指定数量的索引，采样后的感兴趣区域的数量和采样后的索引的数量相等，且分别对应；
所述区域池化网络用于接收所述特征金字塔网络输出的特征图和所述类别平衡采样器输出的索引，根据索引将对应的感兴趣区域裁剪出来，并将裁剪出来的多个感兴趣区域分别池化成尺寸相同的多个特征图；
所述区域特征提取网络用于求解所述区域池化网络输出的多个特征图所分别对应的特征向量zi。
第二实施例：
参照图2，本申请实施例提供了一种基于原型对比学习的遥感图像目标检测方法，使用以上所述的遥感图像目标检测***对目标进行检测，其具体包含以下步骤：
步骤S100、使用所述原型对比模块借助凯明初始化方法(init.kaiming_normal)随机生成每一类目标初始的初始类别原型pk，k的数据格式为512*1维；
步骤S200、将遥感图像输入到所述特征图提取模块，所述特征图提取模块利用深度神经网络，进行多层次特征提取，得到多尺度特征图；
步骤S300、将多尺度特征图输入到所述区域生成网络，所述区域生成网络对多个特征图进行区域划分，得到多个感兴趣区域，并形成多个感兴趣区域所对应的索引；
步骤S400、将多个感兴趣区域传输到所述类别平衡采样器，所述类别平衡采样器用于对多个感兴趣区域和多个对应的索引进行采样，依据多个感兴趣区域所对应的类别标签进行采样，使每个类别标签中的感兴趣区域的数量最接近，并形成指定数量的索引；
步骤S500、将多尺度特征图和多个索引传输到所述区域池化网络，所述区域池化网络根据索引将对应的感兴趣区域裁剪出来，并将裁剪出来的多个感兴趣区域分别池化成尺寸相同的多个特征图；
步骤S600、将所述区域池化网络输出的多个特征图传输到所述区域特征提取网络，所述区域特征提取网络分别提取多个特征图所对应的特征向量zi；
步骤S700、将多个特征向量zi分别传输到所述类别对比模块、所述位置预测模块和所述类别预测模块中以构建对应的对比损失函数Lcon、定位损失函数Lreg以及分类损失函数Lcls；
步骤S800、依据对比损失函数Lcon、定位损失函数Lreg以及分类损失函数Lcls建立总损失函数，重复步骤S200至步骤S800，采用随机梯度下降法进行训练总损失函数，最小化总损失函数，直至总损失函数收敛，或循环次数达到第二设定值，第二预设值可以是10或者20或者其他，优选的，第二设定值为12；
步骤S900、分别使用所述位置预测模块和所述类别预测模块进行测试，以分别预测目标的位置信息和目标的类别信息。
所述步骤S400中的对多个感兴趣区域进行采样具体包含如下步骤：
步骤S410：计算当前批次中每类别期望采样数目num_acls，根据设定的总期望采样数目num_aim和当前批次类总数num_cls，计算出每类别期望采样数目num_acls＝num_aim/num_cls；
步骤S420：进行各类别感兴趣区域的随机采样，将抽中的感兴趣区域放入标签类别sampled，未抽中的感兴趣区域放入标签类别unsampled；
步骤S430：进行感兴趣区域的重采样，计算标签类别sampled包含的感兴趣区域数目num_sampled，若num_sampled<num_aim，在标签类别unsampled中随机抽取num_aim-num_sampled个感兴趣区域放入标签类别sampled；最终实现每个标签类别中的感兴趣区域的数量相差不超过第一预设值。
所述步骤S600具体包含如下步骤：
步骤S621：使用第一全连接层对经过初步特征提取得到的多个特征向量zi进行进一步特征提取，特征向量zi维度均不发生变化，为1024维；
步骤S622：使用ReLu激活函数对步骤S621中提取后的多个特征向量zi进行依次激活；
步骤S623：使用第二全连接层对激活后的多个特征向量zi进行进一步提取，将特征向量的维度降至与初始类别原型pk相同，得到多个特征图所对应的特征向量zi。
所述步骤S700中的建立对比损失函数Lcon具体包含如下步骤：
步骤S710、所述类别对比模块将多个特征向量zi映射到对应的对比空间内，并分别与对应的初始类别原型pk进行比对，以求得特征向量zi与对应的初始类别原型pk的相似度qi,k；
步骤S720：利用相似度qi,k计算对比损失函数Lcon；引导初始类别原型pk通过迭代的方式去靠近类别中心，感兴趣区域特征靠近本类的初始类别原型pk且远离不同类的初始类别原型pk，可以得到更具判别性的初始类别原型pk和特征向量zi；
所述步骤S710中求得特征向量zi与对应的初始类别原型pk的相似度qi,k具体包含如下步骤：
步骤S711：归一化初始类别原型pk，使每一类初始类别原型的模长为1，同时归一化感兴趣区域样本的特征向量zi，使之模长为1；
步骤S712：计算感兴趣区域特征向量与初始类别原型pk的相似度qi,k，将归一化后的初始类别原型pk，与归一化后的特征向量zi相乘，得到特征向量zi与初始类别原型的相似度qi,k；计算公式可以表示为
Figure BDA0003684506050000121
所述步骤S720具体包含如下步骤：
步骤S721：挖掘困难负样本，将感兴趣区域特征向量zi与初始类别原型pk的相似度qi,k，除以温度系数τ来对相似度的梯度进行调节，促进正负样本分离；温度系数τ越小，对困难负样本的关注程度越高，温度系数取值范围为[0,1]；
步骤S722：构建初始的对比损失函数Lcon，将有监督对比损失函数公式推广到初始的对比损失函数Lcon，初始的对比损失函数Lcon计算公式可以表示为：
Figure BDA0003684506050000122
其中yi为样本标签值，K为初始类别原型pk的类别总数；
步骤S723：修正相似度qi,k，将该类正样本与该类初始类别原型pk的相似度取相反数，得到新的相似度qi,k；
Figure BDA0003684506050000123
步骤S724：修正初始的对比损失函数Lcon；其公式为：
Figure BDA0003684506050000124
步骤S725：平衡正负样本，建立最终的对比损失函数Lcontrast，其计算公式表示为：
Figure BDA0003684506050000125
其中|P+|为每批次中正样本类别数目；|P-|为负样本类别数目；K为初始类别原型pk的类别总数。
所述步骤S800建立总损失函数的实现方式为：将对比损失函数Lcon、定位损失函数Lreg和分类损失函数Lcls进行线性组合，并通过赋予权重的方式控制各部分比重，λ1～λ3为预设的权重参数，公式为：
Loss＝λ1·Lreg+λ2·Lcls+λ3·Lcon，其中Loss为总损失函数。
本实施中在训练和测试阶段用到的数据集为DOTA(数据集)与FAIR1M(航空图像细粒度目标检测的大规模数据集)数据集。
一种基于原型对比学习的遥感图像目标检测方法，包括RetinaNet(遥感目标检测算法)，S2ANet(遥感目标检测算法)，faster RCNN(遥感目标检测算法),ROI transformer(遥感目标检测算法)，Oriented R-CNN(遥感目标检测算法)，具体如图4，图4为FAIR1M数据集测试集中的图片，由图中可以看出，本文方法可以对目标包括密集目标，小目标，相似目标，大长宽比目标，进行准确的定位和细粒度分类。表1为FAIR1M上的对比实验结果，以mAP为评估指标。
表1
Figure BDA0003684506050000131
为了进一步验证本方法的有效性，在大型遥感目标检测数据集DOTA(数据集)进行了对比实验，如表1所示在Oriented R-CNN基础上加入原型对比学习(PCL)达到最佳精度，为76.60mAP，证明了本方法的有效性。
参见表2，在Oriented R-CNN(遥感目标检测算法)基础上加入PCL(Prototypecontrastive learning，原型对比学***均精度)。比Oriented R-CNN增加了1.45mAP，在25/34(总共34个类别，在第25个类别)上提升了精度，同时与其他算法相比，PCL在23个类别上达到了最优精度。体现了PCL对各个类别的普适性。同时在Faster R-CNN基础上加入PCL，算法效果也得到了一定程度的提升，体现了本方法的可移植性。
表2
Figure BDA0003684506050000141
第三实施例：
本申请实施还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时包含以上所述的遥感图像目标检测方法。
第四实施例：
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被外部的处理器执行时，包含以上所述的遥感图像目标检测方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不同限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.基于原型对比学习的遥感图像目标检测***，其特征在于，包括连接的特征图提取模块、区域特征提取模块以及与区域特征提取模块分别连接的类别对比模块、位置预测模块和类别预测模块；
所述特征图提取模块用于提取遥感图像中的多尺度特征图；
所述区域特征提取模块用于筛选多尺度特征图内的多个感兴趣区域，并提取每一个感兴趣区域的特征向量zi；
所述类别对比模块用于将所提取的特征向量zi分别与设定的k个初始类别原型pk进行比对，以求得所述特征向量zi与对应的初始类别原型pk的相似度qi,k；所述类别对比模块通过对比损失函数Lcon进行对比学习，以提升遥感图像目标检测***的判别性特征提取能力；
所述位置预测模块用于在多个特征向量zi中提取目标的位置信息，并对所提取的目标进行位置预测；所述位置预测模块通过定位损失函数Lreg进行学习，以提升遥感图像目标检测***的位置预测能力；
所述类别预测模块用于在多个特征向量zi中提取目标的类别信息，并对所提取的目标进行类别预测；所述类别预测模块通过分类损失函数Lcls进行学习，以提升遥感图像目标检测***的类别预测能力。
2.根据权利要求1所述的遥感图像目标检测***，其特征在于，所述区域特征提取模块包括依次连接的区域生成网络、类别平衡采样器、区域池化网络和区域特征提取网络；
所述区域生成网络与所述特征图提取模块连接，用于对多尺度特征图进行区域划分，以筛选出多个感兴趣区域，并生成每一个感兴趣区域的索引；
所述类别平衡采样器用于对多个感兴趣区域及其对应的索引进行采样，以将多个感兴趣区域分别划分到对应的标签类别中，同时，使得每个标签类别中的感兴趣区域的数量相差不超过第一预设值，并生成指定数量的索引，采样后的感兴趣区域的数量和采样后的索引的数量相等，且分别对应；
所述区域池化网络用于接收所述特征金字塔网络输出的多尺度特征图和所述类别平衡采样器输出的索引，根据索引将对应的感兴趣区域裁剪出来，并将裁剪出来的多个感兴趣区域分别池化成尺寸相同的多个特征图；
所述区域特征提取网络用于提取所述区域池化网络输出的多个特征图分别对应的特征向量zi。
3.基于原型对比学习的遥感图像目标检测方法，其特征在于，使用权利要求2所述的遥感图像目标检测***对遥感图像进行目标检测，其具体包含以下步骤：
步骤S100、随机生成每一类目标的初始类别原型pk；
步骤S200、将遥感图像输入到所述特征图提取模块，所述特征图提取模块利用深度神经网络，进行多层次特征提取，得到多尺度特征图；
步骤S300、将多尺度特征图输入到所述区域生成网络，所述区域生成网络对多个特征图进行区域划分，得到多个感兴趣区域，并形成多个感兴趣区域所对应的索引；
步骤S400、将多个感兴趣区域传输到所述类别平衡采样器，所述类别平衡采样器用于对多个感兴趣区域和多个对应的索引进行采样，依据多个感兴趣区域所对应的类别标签进行采样，以使每个类别标签中的感兴趣区域的数量不超过预设值，并形成指定数量的索引；
步骤S500、将多尺度特征图和多个索引传输到所述区域池化网络，所述区域池化网络根据索引将对应的感兴趣区域裁剪出来，并将裁剪出来的多个感兴趣区域分别池化成尺寸相同的多个特征图；
步骤S600、将所述区域池化网络输出的多个特征图传输到所述区域特征提取网络，所述区域特征提取网络分别提取多个特征图所对应的特征向量zi；
步骤S700、将多个特征向量zi分别传输到所述类别对比模块、所述位置预测模块和所述类别预测模块中以构建对应的对比损失函数Lcon、定位损失函数Lreg以及分类损失函数Lcls；
步骤S800、依据对比损失函数Lcon、定位损失函数Lreg以及分类损失函数Lcls建立总损失函数，并重复步骤S200至步骤S800，最小化总损失函数，直至总损失函数收敛，或循环次数达到第二设定值；
步骤S900、分别使用所述位置预测模块和所述类别预测模块进行测试，以分别预测目标的位置信息和目标的类别信息。
4.根据权利要求3所述的遥感图像目标检测方法，其特征在于，步骤S400中的对多个感兴趣区域进行采样具体包含如下步骤：
步骤S410：计算当前批次中每类别期望采样数目num_acls，根据设定的总期望采样数目num_aim和当前批次类总数num_cls，计算出每类别期望采样数目num_acls＝num_aim/num_cls；
步骤S420：进行各类别感兴趣区域的随机采样，将抽中的感兴趣区域放入标签类别sampled，未抽中的感兴趣区域放入标签类别unsampled；
步骤S430：进行感兴趣区域的重采样，计算标签类别sampled包含的感兴趣区域数目num_sampled，若num_sampled<num_aim，在标签类别unsampled中随机抽取num_aim-num_sampled个感兴趣区域放入标签类别sampled；最终实现每个标签类别中的感兴趣区域的数量相差不超过第一预设值。
5.根据权利要求4所述的遥感图像目标检测方法，其特征在于，所述步骤S600具体包含如下步骤：
步骤S621：使用第一全连接层对经过初步特征提取得到的多个特征向量zi进行进一步特征提取，特征向量zi维度均不发生变化；
步骤S622：使用ReLu激活函数对步骤S621中提取后的多个特征向量zi进行依次激活；
步骤S623：使用第二全连接层对激活后的多个特征向量zi进行进一步提取，将特征向量的维度降至与初始类别原型pk相同，得到多个特征图所对应的特征向量zi。
6.根据权利要求5所述的遥感图像目标检测方法，其特征在于，所述步骤S700中的构建对比损失函数Lcon具体包含如下步骤：
步骤S710、所述类别对比模块将多个特征向量zi映射到对应的对比空间内，并分别与对应的初始类别原型pk进行比对，以求得特征向量zi与对应的初始类别原型pk的相似度qi,k；
步骤S720：利用相似度qi,k计算并建立最终的对比损失函数Lcon。
7.根据权利要求6所述的遥感图像目标检测方法，其特征在于，所述步骤S710中求得特征向量zi与对应的初始类别原型pk的相似度qi,k具体包含如下步骤：
步骤S711：归一化初始类别原型pk，使每一类初始类别原型的模长为1，同时归一化感兴趣区域样本的特征向量zi，使之模长为1；
步骤S712：计算感兴趣区域特征向量与初始类别原型pk的相似度qi,k，将归一化后的初始类别原型pk，与归一化后的特征向量zi相乘，得到特征向量zi与初始类别原型pk的相似度qi,k；计算公式可以表示为
Figure FDA0003684506040000041
8.根据权利要求7所述的遥感图像目标检测方法，其特征在于，所述步骤S720具体包含如下步骤：
步骤S721：挖掘困难负样本，将特征向量zi与初始类别原型pk的相似度qi,k，除以温度系数τ来对相似度的梯度进行调节，促进正负样本分离；温度系数τ越小，对困难负样本的关注程度越高，温度系数取值范围为[0,1]；
步骤S722：构建初始的对比损失函数Lcon，将有监督对比损失函数公式推广到初始的对比损失函数Lcon，初始的对比损失函数Lcon计算公式可以表示为：
Figure FDA0003684506040000042
其中yi为样本标签值，初始类别原型pk的类别总数；
步骤S723：修正相似度qi,k，将该类正样本与该类初始类别原型pk的相似度取相反数，得到新的相似度qi,k；
Figure FDA0003684506040000051
步骤S724：修正初始的对比损失函数Lcon；公式表示为：
Figure FDA0003684506040000052
步骤S725：平衡正负样本，得到最终的对比损失函数Lcon，其计算公式表示为：
Figure FDA0003684506040000053
其中|P+|为每批次中正样本类别数目；|P-|为负样本类别数目，k为初始类别原型pk的类别总数。
9.根据权利要求8所述的遥感图像目标检测方法，其特征在于，所述步骤S800中建立总损失函数的实现方式为：将对比损失函数Lcon、定位函数损失Lreg和分类损失函数Lcls进行线性组合，并通过赋予权重的方式控制各部分比重，λ1～λ3为预设的权重参数，公式为：
Loss＝λ1·Lreg+λ2·Lcls+λ3·Lcon，其中Loss为总损失函数。
CN202210643115.7A 2022-06-08 2022-06-08 基于原型对比学习的遥感图像目标检测***及方法 Active CN114972737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210643115.7A CN114972737B (zh) 2022-06-08 2022-06-08 基于原型对比学习的遥感图像目标检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210643115.7A CN114972737B (zh) 2022-06-08 2022-06-08 基于原型对比学习的遥感图像目标检测***及方法

Publications (2)

Publication Number Publication Date
CN114972737A true CN114972737A (zh) 2022-08-30
CN114972737B CN114972737B (zh) 2024-03-15

Family

ID=82960694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210643115.7A Active CN114972737B (zh) 2022-06-08 2022-06-08 基于原型对比学习的遥感图像目标检测***及方法

Country Status (1)

Country Link
CN (1) CN114972737B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612335A (zh) * 2023-07-18 2023-08-18 贵州大学 一种基于对比学习的少样本细粒度图像分类方法
CN117705059A (zh) * 2023-12-14 2024-03-15 中国自然资源航空物探遥感中心 一种自然资源遥感测绘影像定位方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728658A (zh) * 2019-09-16 2020-01-24 武汉大学 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN111652216A (zh) * 2020-06-03 2020-09-11 北京工商大学 基于度量学习的多尺度目标检测模型方法
CN113920302A (zh) * 2021-09-06 2022-01-11 北京交通大学 基于交叉注意力机制的多头弱监督目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728658A (zh) * 2019-09-16 2020-01-24 武汉大学 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN111652216A (zh) * 2020-06-03 2020-09-11 北京工商大学 基于度量学习的多尺度目标检测模型方法
CN113920302A (zh) * 2021-09-06 2022-01-11 北京交通大学 基于交叉注意力机制的多头弱监督目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHENGJIAN FENG; YUJIE ZHONG; WEILIN HUANG: "Exploring Classification Equilibrium in Long-Tailed Object Detection", 《2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, pages 1 - 10 *
GENCER SUMBUL; RAMAZAN GOKBERK CINBIS; SELIM AKSOY: "Multisource Region Attention Network for Fine-Grained Object Recognition in Remote Sensing Imagery", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, pages 4929 *
WU, JIALIAN AND SONG, LIANGCHEN AND WANG, TIANCAI AND ZHANG, QIAN AND YUAN, JUNSONG: "Forest R-CNN: Large-Vocabulary Long-Tailed Object Detection and Instance Segmentation", 《PROCEEDINGS OF THE 28TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA (MM \'20)》, pages 1 - 9 *
XIAOXU LI; JIJIE WU; ZHUO SUN; ZHANYU MA; JIE CAO; JING-HAO XUE: "BSNet: Bi-Similarity Network for Few-shot Fine-grained Image Classification", 《IEEE TRANSACTIONS ON IMAGE PROCESSING 》, pages 1318 - 1331 *
朱俊杰: "面向小样本图像分类的度量元学习方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 1 - 86 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612335A (zh) * 2023-07-18 2023-08-18 贵州大学 一种基于对比学习的少样本细粒度图像分类方法
CN116612335B (zh) * 2023-07-18 2023-09-19 贵州大学 一种基于对比学习的少样本细粒度图像分类方法
CN117705059A (zh) * 2023-12-14 2024-03-15 中国自然资源航空物探遥感中心 一种自然资源遥感测绘影像定位方法及***

Also Published As

Publication number Publication date
CN114972737B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN109165540B (zh) 一种基于先验候选框选择策略的行人搜索方法和装置
Zhang et al. A fine-grained image categorization system by cellet-encoded spatial pyramid modeling
CN114972737B (zh) 基于原型对比学习的遥感图像目标检测***及方法
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN112733885A (zh) 点云识别模型的确定方法、点云识别的方法及装置
CN111339849A (zh) 一种融合行人属性的行人重识别的方法
CN111460881A (zh) 基于近邻判别的交通标志对抗样本检测方法和分类装置
CN114998748B (zh) 遥感图像目标精细识别方法、电子设备及存储介质
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN111738319B (zh) 一种基于大规模样本的聚类结果评价方法及装置
Du et al. Convolutional neural network-based data anomaly detection considering class imbalance with limited data
CN115049833A (zh) 一种基于局部特征增强和相似性度量的点云部件分割方法
CN111881906A (zh) 一种基于注意力机制图像检索的logo识别方法
CN113343123B (zh) 一种生成对抗多关系图网络的训练方法和检测方法
CN113723558A (zh) 基于注意力机制的遥感图像小样本舰船检测方法
CN117495891A (zh) 点云边缘检测方法、装置和电子设备
CN113496260A (zh) 基于改进YOLOv3算法的粮库人员不规范作业检测法
CN116977859A (zh) 基于多尺度图像切割和实例困难度的弱监督目标检测方法
CN104851090B (zh) 图像变化检测方法及装置
Da et al. Remote sensing image ship detection based on improved YOLOv3
CN115358327A (zh) 基于pca-svm的海洋温跃层数据可视化方法、装置、设备及介质
CN114462479A (zh) 模型训练方法、检索方法以及模型、设备和介质
CN113779287A (zh) 基于多阶段分类器网络的跨域多视角目标检索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant