CN111582225B - 一种遥感图像场景分类方法及装置 - Google Patents

一种遥感图像场景分类方法及装置 Download PDF

Info

Publication number
CN111582225B
CN111582225B CN202010425217.2A CN202010425217A CN111582225B CN 111582225 B CN111582225 B CN 111582225B CN 202010425217 A CN202010425217 A CN 202010425217A CN 111582225 B CN111582225 B CN 111582225B
Authority
CN
China
Prior art keywords
self
training
remote sensing
residual error
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010425217.2A
Other languages
English (en)
Other versions
CN111582225A (zh
Inventor
吴宏林
赵淑珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202010425217.2A priority Critical patent/CN111582225B/zh
Publication of CN111582225A publication Critical patent/CN111582225A/zh
Application granted granted Critical
Publication of CN111582225B publication Critical patent/CN111582225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像场景分类方法及装置，缓解了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。方法包括：获取遥感图像的场景数据集，场景数据集包括训练集和测试集；通过数据增强技术对训练集的遥感图像进行预处理；通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化；根据优化后的自注意力残差网络，对测试集的图像进行分类，得到遥感图像场景分类结果。

Description

一种遥感图像场景分类方法及装置
技术领域
本发明涉及遥感技术领域，特别是涉及一种遥感图像场景分类方法及装置。
背景技术
近年来，随着遥感技术及传感器***的快速发展，遥感图像数据不断涌现。遥感图像场景分类是遥感图像分析解译的一种重要手段，在城市规划、土地资源管理和军事侦查等领域都有着广泛的应用。但遥感场景空间布局复杂，分类时容易受到冗余背景的干扰，目标的多样性导致其类别更加难以区分，这使得分类任务变得相当具有挑战性。
随着深度学习的发展，卷积神经网络也被研究人员利用到遥感图像场景分类中来提取高级语义特征。它们大多采用预先训练好的神经网络模型，例如CaffeNet、GoogleNet和VGGNet，作为遥感场景分类的特征提取器。基于深度学习的方法可以学习更多抽象和高级的语义特征，进一步提供对场景的高效表示和识别。
但是，由于遥感场景中目标通常小而分散，冗余背景占据了图像的大部分空间，场景中并非所有的信息都是对分类有用的。而现有的遥感图像场景分类方法大多是从整个图像中提取特征，而没有充分利用图像中最关键的目标信息，容易受到冗余信息的干扰。另外，遥感图像场景的类内多样性也给分类带来了很大的难度，不同的季节、位置和传感器等因素都可能使得相同类别的场景具有较大的差异性。冗余信息的干扰和类内多样性的影响，都会导致遥感图像场景分类的分类准确率降低。
发明内容
本发明的目的是提供一种遥感图像场景分类方法及装置，缓解了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
本发明第一方面提供一种遥感图像场景分类方法，包括：
获取遥感图像的场景数据集，场景数据集包括训练集和测试集；
通过数据增强技术对训练集的遥感图像进行预处理；
通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化；
根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。
进一步的，利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，包括：
将训练集的遥感图像输入到自注意力残差网络，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
通过前四个卷积阶段及最大池化层对遥感图像进行处理，输出特征图；
通过自注意力机制对特征图进行处理，输出自注意力特征图；
通过第五个卷积阶段、平均池化层及全连接层对自注意力特征图进行处理，输出特征向量；
通过分类层对特征向量进行场景分类，输出训练图像的分类结果，训练图像为训练集中的遥感图像；
根据训练图像的真实分类概率分布与训练图像的分类结果的预测分类概率分布，计算得到交叉熵损失值；
根据全连接层进行降维处理，并计算得到训练样本的中心损失值，训练样本为训练集中的遥感图像样本；
根据交叉熵损失值、中心损失值及预置的权衡参数，构建得到联合损失函数；
通过联合损失函数对自注意力残差网络的参数进行优化。
进一步的，根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果，包括：
将测试集的遥感图像输入到优化后的自注意力残差网络，输出测试图像的分类结果，即遥感图像场景分类结果。
进一步的，场景数据集还包括验证集，方法还包括：
在训练自注意力残差网络的过程中，通过验证集对自注意力残差网络进行验证，并保存验证效果最优的参数。
本发明第二方面提供一种遥感图像场景分类装置，包括：
获取模块，用于获取遥感图像的场景数据集，场景数据集包括训练集和测试集；
预处理模块，用于通过数据增强技术对训练集的遥感图像进行预处理；
自注意力残差网络模块，用于通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
网络训练优化模块，用于利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化；
场景分类模块，用于根据优化后的自注意力残差网络，对测试集的图像进行分类，得到遥感图像场景分类结果。
进一步的，
网络训练优化模块，还用于将训练集的遥感图像输入到自注意力残差网络，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
网络训练优化模块，还用于通过前四个卷积阶段及最大池化层对遥感图像进行处理，输出特征图；
网络训练优化模块，还用于通过自注意力机制对特征图进行处理，输出自注意力特征图；
网络训练优化模块，还用于通过第五个卷积阶段、平均池化层及全连接层对自注意力特征图进行处理，输出特征向量；
网络训练优化模块，还用于通过分类层对特征向量进行场景分类，输出训练图像的分类结果，训练图像为训练集中的遥感图像；
网络训练优化模块，还用于根据训练图像的真实分类概率分布与训练图像的分类结果的预测分类概率分布，计算得到交叉熵损失值；
网络训练优化模块，还用于根据全连接层进行降维处理，并计算得到训练样本的中心损失值，训练样本为训练集中的遥感图像样本；
网络训练模块，还用于根据交叉熵损失值、中心损失值及预置的权衡参数，构建得到联合损失函数；
网络训练模块，还用于通过联合损失函数对自注意力残差网络的参数进行优化。
进一步的，
场景分类模块，还用于将测试集的遥感图像输入到优化后的自注意力残差网络，输出测试图像的分类结果，即遥感图像场景分类结果。
进一步的，场景数据集还包括验证集，装置还包括：
验证模块，用于在训练自注意力残差网络的过程中，通过验证集对自注意力残差网络进行验证，并保存验证效果最优的参数。
由上可见，本发明中获取遥感图像的场景数据集，场景数据集包括训练集和测试集，通过数据增强技术对训练集的遥感图像进行预处理，通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络，利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。由于加入了自注意力机制，可以缓解冗余背景的干扰，能够有效降低计算量并提高分类性能，并且通过中心损失与交叉熵损失，能够缩小场景分类中的类内差异，提高了特征的判别能力，以便更好地区分类内容易混淆的场景图像。因此避免了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的遥感图像场景分类方法的一个实施例的流程示意图；
图2为本发明提供的遥感图像场景分类装置的一个实施例的结构示意图；
图3为本发明提供的遥感图像场景分类装置的另一个实施例的结构示意图。
具体实施方式
本发明的核心是提供一种遥感图像场景分类方法及装置，缓解了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种遥感图像场景分类方法，包括：
101、获取遥感图像的场景数据集，场景数据集包括训练集和测试集；
本实施例中，获取需要进行场景分类的遥感图像的场景数据集，场景数据集通过预置的比例，划分为训练集和测试集，另外，还设置了验证集，例如，数据集采用的是UCMerced Land-use(UC Merced)数据集，包含21类，每类100张遥感图像。将数据集分为训练集和测试集和验证集，其中，训练集为25％，测试集为50％，验证集为25％。
102、通过数据增强技术对训练集的遥感图像进行预处理；
本实施例中，通过数据增强技术对训练集的遥感图像进行预处理，由于本实施例中，残差网络的主干网络使用的是Resnet18，那么遥感图像的尺寸是3×224×224，通道数为3。
103、通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
本实施例中，通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络，自注意力残差网络的网络结构如下表1，
表1自注意力残差网络的网络结构
Figure BDA0002498454550000061
其中，Conv1表示第一个卷积阶段，Conv2_x、Conv3_x、Conv4_x、Conv5_x分别表示第二个-第五个卷积阶段，Self-attention表示自注意力机制，Max pool表示最大池化层，Average pool表示平均池化层，21-d fc表示全连接层，Softmax表示分类层。
104、利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化；
本实施例中，利用训练集对自注意力残差网络进行训练，在训练时采用的是Adam优化算法作为参数优化策略，训练周期预置为200，每个周期的批处理大小为128，初始学习率为0.0001，采用学习率衰减策略，周期每隔30将学习率下降到原来的0.9倍，将交叉熵损失及中心损失进行结合，具体可以是构成联合损失函数，从而对自注意力残差网络的参数进行优化。
105、根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。
本实施例中，在自注意力残差网络进行优化后，根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。
本发明实施例中，获取遥感图像的场景数据集，场景数据集包括训练集和测试集，通过数据增强技术对训练集的遥感图像进行预处理，通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络，利用训练集对自注意力残差网络进行训练，根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，根据优化后的自注意力残差网络，对测试集的图像进行分类，得到遥感图像场景分类结果。由于加入了自注意力机制，可以缓解冗余背景的干扰，能够有效降低计算量并提高分类性能，并且通过中心损失与交叉熵损失，能够缩小场景分类中的类内差异，提高了特征的判别能力，以便更好地区分类内容易混淆的场景图像。因此避免了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
可选的，本发明的一些实施例中，利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，包括：
将训练集的遥感图像输入到自注意力残差网络，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
通过前四个卷积阶段及最大池化层对遥感图像进行处理，输出特征图；
通过自注意力机制对特征图进行处理，输出训练自注意力特征图；
通过第五个卷积阶段、平均池化层及全连接层对自注意力特征图进行处理，输出特征向量；
通过分类层对特征向量进行场景分类，输出训练图像的分类结果，训练图像为所述训练集中的遥感图像；
根据训练图像的真实分类概率分布与训练图像的分类结果的预测分类概率分布，计算得到交叉熵损失值；
根据全连接层进行降维处理，并计算得到训练样本的中心损失值，训练样本为训练集中的遥感图像的样本；
根据交叉熵损失值、中心损失值及预置的权衡参数，构建得到联合损失函数；
通过联合损失函数对自注意力残差网络的参数进行优化。
本发明实施例中，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层，具体训练过程如下：
1、训练集的遥感图像的输入图像尺寸为3×224×224，通道数为3；
2、在第一层卷积阶段Conv1中，有64个大小为7×7的卷积核，步长为2，输出特征图尺寸为64×112×112；
3、在最大池化层Max pool中，滤波器大小为3×3，步长为2，输出特征图尺寸为64×56×56；
4、Conv2_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有64个大小为3×3的卷积核，步长为1，输出特征图尺寸为64×56×56；
5、Conv3_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有128个大小为3×3的卷积核，步长为1，输出特征图尺寸为128×28×28；
6、Conv4_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有256个大小为3×3的卷积核，步长为1，输出特征图尺寸为256×14×14，；
7、由Conv4_x输出的特征图输入自注意力机制，从自注意力机制输出的特征图尺寸为256×14×14，作为自注意力特征图；
自注意力机制是通过一种非局部操作来模拟长距离的依赖关系，其根据各像素之间的相关性，对所有像素进行加权。权重越大，则说明这个区域越重要。
非局部操作表示为：
Figure BDA0002498454550000081
其中，x和y分别是输入和输出，且两者大小一致。i表示输出特征图的其中一个位置，j表示所有可能位置的索引。成对函数(pairwise function)f用来计算i和所有可能关联的位置j之间的关系，这种关系可表示为权重。f的输出是一个标量。g为一个映射函数，用于计算输入信号在j位置的特征值，其输出是一个向量。C(x)为归一化参数，设置为C(x)＝N，N为输入x中的像素数目，即196。映射函数g被定义为线性函数g(xj)＝Wgxj，Wg是通过1×1卷积得到的权重矩阵；
f通过串联(concatenation)的形式求得：
Figure BDA0002498454550000091
式中[·,·]表示串联(concatenation)操作，θ(xi)＝Wθxi，φ(xj)＝Wφxj。其中Wθ、Wφ为自学习的权重矩阵，通过1×1卷积实现。wf是一个能够将串联的向量转换成一个标量的权重向量，通过1×1卷积实现。此外，为了减少计算量，在φ与g的操作后还分别增加了一个滤波器大小为2×2的最大池化层；
将非局部操作的输出与输入特征进行残差连接，可以获得最终的自注意力输出：
zi＝Wzyi+xi
其中Wz为权重矩阵，通过1×1的卷积将计算后的通道数扩充到与输入x的通道数相同。通过残差连接的形式使得自注意力模块能够灵活地加入到预先训练的模型中，并且不会干扰原模型的性能；
8、由自注意力机制输出的自注意力特征图再进入Conv5_x，Conv5_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有512个大小为3×3的卷积核，步长为1，输出特征图尺寸为512×7×7；
9、平均池化层，滤波器大小为7×7，输出尺寸为512×1×1；
10、平均池化层后为全连接层；
11、最后为Softmax层，在此进行分类。
在以上1-11中描述的是如何进行训练的，还需要通过交叉熵损失与中心损失对参数进行优化，具体构建联合损失函数如下：
联合损失函数为交叉熵损失与中心损失的结合：
Ljoint＝αLs+βLc
其中α和β为权衡参数，用于控制中心损失和交叉熵损失之间的平衡，分别被设置为1和0.008；
交叉熵损失通过评估真实标签的概率分布与预测标签的概率分布的之间的差异，从而提高模型的判别能力，其定义如下：
Figure BDA0002498454550000092
其中,m为训练的样本数，n为类别数。
Figure BDA0002498454550000101
表示属于类别ck的第k个图像的深度特征，d为特征维数。/>
Figure BDA0002498454550000102
代表第l列中最后一个全连接层的权重，/>
Figure BDA0002498454550000103
为偏置项；
在计算中心损失时，为了避免因计算损失过大导致训练出现较大波动从而增加训练的难度，我们在Resnet18输出的特征之后先采用了一层全连接层进行降维，中心损失的定义如下：
Figure BDA0002498454550000104
其中，
Figure BDA0002498454550000105
代表每个小批量中属于类别ck的所有深度特征的平均值。
可选的，本发明的一些实施例中，根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果，包括：
将测试集的遥感图像输入到优化后的自注意力残差网络，输出测试图像的分类结果，即遥感图像场景分类结果。
本发明实施例中，在自注意力残差网络进行优化之后，将测试集的遥感图像输入到优化后的自注意力残差网络，就能输出遥感图像场景分类结果。
可选的，本发明的一些实施例中，场景数据集还包括验证集，方法还包括：
在训练自注意力残差网络的过程中，通过验证集对自注意力残差网络进行验证，并保存验证效果最优的参数。
本发明实施例中，为保证自注意力残差网络的准确率，在自注意力残差网络的训练过程中，还需要通过验证集对自注意力残差网络的效果进行验证，并保存验证效果最优的参数。
以上实施例中，具体对遥感图像场景分类方法进行了具体说明，下面通过实施例对应用遥感图像场景分类方法的遥感图像场景分类装置进行详细说明。
请参考图2，本发明实施例提供一种遥感图像场景分类装置，包括：
获取模块201，用于获取遥感图像的场景数据集，场景数据集包括训练集和测试集；
预处理模块202，用于通过数据增强技术对训练集的遥感图像进行预处理；
自注意力残差网络模块203，用于通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
网络训练优化模块204，用于利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化；
场景分类模块205，用于根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。
本发明实施例中，获取模块201获取遥感图像的场景数据集，场景数据集包括训练集和测试集，预处理模块202通过数据增强技术对训练集的遥感图像进行预处理，自注意力残差网络模块203通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络，网络训练优化模块204利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，场景分类模块205根据优化后的自注意力残差网络，对测试集的图像进行分类，得到遥感图像场景分类结果。由于加入了自注意力机制，可以缓解冗余背景的干扰，能够有效降低计算量并提高分类性能，并且通过中心损失与交叉熵损失，能够缩小场景分类中的类内差异，提高了特征的判别能力，以便更好地区分类内容易混淆的场景图像。因此避免了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
可选的，结合图2所示，本发明的一些实施例中，
网络训练优化模块204，还用于将训练集的遥感图像输入到自注意力残差网络，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
网络训练优化模块204，还用于通过前四个卷积阶段及最大池化层对遥感图像进行处理，输出特征图；
网络训练优化模块204，还用于通过自注意力机制对特征图进行处理，输出训练自注意力特征图；
网络训练优化模块204，还用于通过第五个卷积阶段、平均池化层及全连接层对自注意力特征图进行处理，输出特征向量；
网络训练优化模块204，还用于通过分类层对特征向量进行场景分类，输出训练图像的分类结果，训练图像为训练集中的遥感图像；
网络训练优化模块204，还用于根据训练集的遥感图像的真实分类概率分布与训练分类结果的预测分类概率分布，计算得到交叉熵损失值；
网络训练优化模块204，还用于根据全连接层进行降维处理，并计算得到训练样本的中心损失值，训练样本为训练集中的遥感图像样本；
网络训练优化模块204，还用于根据交叉熵损失值、中心损失值及预置的权衡参数，构建得到联合损失函数；
网络训练优化模块204，还用于通过联合损失函数对自注意力残差网络的参数进行优化。
本发明实施例中，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层，网络训练优化模块204具体训练过程如下：
1、训练集的遥感图像的输入图像尺寸为3×224×224，通道数为3；
2、在第一层卷积层Conv1中，有64个大小为7×7的卷积核，步长为2，输出特征图尺寸为64×112×112；
3、在最大池化层Max pool中，滤波器大小为3×3，步长为2，输出特征图尺寸为64×56×56；
4、Conv2_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有64个大小为3×3的卷积核，步长为1，输出特征图尺寸为64×56×56；
5、Conv3_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有128个大小为3×3的卷积核，步长为1，输出特征图尺寸为128×28×28；
6、Conv4_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有256个大小为3×3的卷积核，步长为1，输出特征图尺寸为256×14×14；
7、由Conv4_x输出的特征图输入自注意力机制，从自注意力机制输出的特征图尺寸为256×14×14，作为自注意力特征图；
自注意力机制是通过一种非局部操作来模拟长距离的依赖关系，其根据各像素之间的相关性，对所有像素进行加权。权重越大，则说明这个区域越重要。
非局部操作表示为：
Figure BDA0002498454550000131
其中，x和y分别是输入和输出，且两者大小一致。i表示输出特征图的其中一个位置，j表示所有可能位置的索引。成对函数(pairwise function)f用来计算i和所有可能关联的位置j之间的关系，这种关系可表示为权重。f的输出是一个标量。g为一个映射函数，用于计算输入信号在j位置的特征值，其输出是一个向量。C(x)为归一化参数，设置为C(x)＝N，N为输入x中的像素数目，即196。映射函数g被定义为线性函数g(xj)＝Wgxj，Wg是通过1×1卷积得到的权重矩阵；
f通过串联(concatenation)的形式求得：
Figure BDA0002498454550000132
式中[·,·]表示串联(concatenation)操作，θ(xi)＝Wθxi，φ(xj)＝Wφxj。其中Wθ、Wφ为自学习的权重矩阵，通过1×1卷积实现。wf是一个能够将串联的向量转换成一个标量的权重向量，通过1×1卷积实现。此外，为了减少计算量，在φ与g的操作后还分别增加了一个滤波器大小为2×2的最大池化层；
将非局部操作的输出与输入特征进行残差连接，可以获得最终的自注意力输出：
zi＝Wzyi+xi
其中Wz为权重矩阵，通过1×1的卷积将计算后的通道数扩充到与输入x的通道数相同。通过残差连接的形式使得自注意力模块能够灵活地加入到预先训练的模型中，并且不会干扰原模型的性能；
8、由自注意力机制输出的自注意力特征图再进入Conv5_x，Conv5_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有512个大小为3×3的卷积核，步长为1，输出特征图尺寸为512×7×7；
9、平均池化层，滤波器大小为7×7，输出尺寸为512×1×1；
10、平均池化层后为全连接层；
11、最后为Softmax层，在此进行分类。
联合损失函数为交叉熵损失与中心损失的结合：
Ljoint＝αLs+βLc
其中α和β为权衡参数，用于控制中心损失和交叉熵损失之间的平衡，分别被设置为1和0.008；
交叉熵损失通过评估真实标签的概率分布与预测标签的概率分布的之间的差异，从而提高模型的判别能力，其定义如下：
Figure BDA0002498454550000141
其中,m为训练的样本数，n为类别数。
Figure BDA0002498454550000142
表示属于类别ck的第k个图像的深度特征，d为特征维数。/>
Figure BDA0002498454550000143
代表第l列中最后一个全连接层的权重，/>
Figure BDA0002498454550000144
为偏置项；
在计算中心损失时，为了避免因计算损失过大导致训练出现较大波动从而增加训练的难度，我们在Resnet18输出的特征之后先采用了一层全连接层进行降维，中心损失的定义如下：
Figure BDA0002498454550000145
其中，
Figure BDA0002498454550000146
代表每个小批量中属于类别ck的所有深度特征的平均值。
可选的，结合图2所示，本发明的一些实施例中，
场景分类模块205，还用于将测试集的遥感图像输入到优化后的自注意力残差网络，输出测试图像的分类结果，即遥感图像场景分类结果。
本发明实施例中，在自注意力残差网络进行优化之后，场景分类模块205将测试集的遥感图像输入到优化后的自注意力残差网络，就能输出遥感图像场景分类结果。
结合图2所示的实施例，可选的，图3所示，本发明的一些实施例中，场景数据集还包括验证集，装置还包括：
验证模块301，用于在训练自注意力残差网络的过程中，通过验证集对自注意力残差网络进行验证，并保存最好的网络参数。
本发明实施例中，为保证自注意力残差网络的准确率，在自注意力残差网络的训练过程中，还需要验证模块301通过验证集对自注意力残差网络的效果进行验证，并保存验证效果最优的参数。
由上可见，本发明中获取遥感图像的场景数据集，场景数据集包括训练集和测试集，通过数据增强技术对训练集的遥感图像进行预处理，通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络，利用训练集对自注意力残差网络进行训练，根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，根据优化后的自注意力残差网络，对测试集的图像进行分类，得到遥感图像场景分类结果。由于加入了自注意力机制，可以缓解冗余背景的干扰，能够有效降低计算量并提高分类性能，并且通过中心损失与交叉熵损失，能够缩小场景分类中的类内差异，提高了特征的判别能力，以便更好地区分类内容易混淆的场景图像。因此避免了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种遥感图像场景分类方法，其特征在于，包括：
获取遥感图像的场景数据集，所述场景数据集包括训练集和测试集；
通过数据增强技术对所述训练集的遥感图像进行预处理；
通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
利用所述训练集对所述自注意力残差网络进行训练，并根据交叉熵损失及中心损失对所述自注意力残差网络的参数进行优化；
根据优化后的所述自注意力残差网络，对所述测试集的遥感图像进行分类，得到遥感图像场景分类结果；
其中，所述利用所述训练集对所述自注意力残差网络进行训练，并根据交叉熵损失及中心损失对所述自注意力残差网络的参数进行优化，包括：
将所述训练集的遥感图像输入到所述自注意力残差网络，所述自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
通过前四个卷积阶段及所述最大池化层对所述遥感图像进行处理，输出特征图；
通过自注意力机制对所述特征图进行处理，输出自注意力特征图；
通过第五个卷积阶段、所述平均池化层及所述全连接层对所述自注意力特征图进行处理，输出特征向量；
通过所述分类层对所述特征向量进行场景分类，输出训练图像的分类结果，所述训练图像为所述训练集中的遥感图像；
根据所述训练图像的真实分类概率分布与所述训练图像的分类结果的预测分类概率分布，计算得到交叉熵损失值；
根据所述全连接层进行降维处理，并计算得到训练样本的中心损失值，所述训练样本为所述训练集中的遥感图像样本；
根据所述交叉熵损失值、所述中心损失值及预置的权衡参数，构建得到联合损失函数；
通过所述联合损失函数对所述自注意力残差网络的参数进行优化。
2.根据权利要求1所述的方法，其特征在于，所述根据优化后的自注意力残差网络，对所述测试集的遥感图像进行分类，得到遥感图像场景分类结果，包括：
将所述测试集的遥感图像输入到优化后的所述自注意力残差网络，输出所述遥感图像场景分类结果。
3.根据权利要求1-2中任一项所述的方法，其特征在于，所述场景数据集还包括验证集，所述方法还包括：
在训练所述自注意力残差网络的过程中，通过所述验证集对所述自注意力残差网络进行验证，并保存验证效果最优的参数。
4.一种遥感图像场景分类装置，其特征在于，包括：
获取模块，用于获取遥感图像的场景数据集，所述场景数据集包括训练集和测试集；
预处理模块，用于通过数据增强技术对所述训练集的遥感图像进行预处理；
自注意力残差网络模块，用于通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
网络训练优化模块，用于利用所述训练集对所述自注意力残差网络进行训练，并根据交叉熵损失及中心损失对所述自注意力残差网络的参数进行优化；
场景分类模块，用于根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果；
所述网络训练优化模块，还用于将所述训练集的遥感图像输入到所述自注意力残差网络，所述自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
所述网络训练优化模块，还用于通过前四个卷积阶段及所述最大池化层对所述遥感图像进行处理，输出特征图；
所述网络训练优化模块，还用于通过自注意力机制对所述特征图进行处理，输出自注意力特征图；
所述网络训练优化模块，还用于通过第五个卷积阶段、所述平均池化层及所述全连接层对所述自注意力特征图进行处理，输出特征向量；
所述网络训练优化模块，还用于通过所述分类层对所述特征向量进行场景分类，输出训练图像的分类结果，所述训练图像为所述训练集中的遥感图像；
所述网络训练优化模块，还用于根据所述训练图像的真实分类概率分布与所述训练图像的分类结果的预测分类概率分布，计算得到交叉熵损失值；
所述网络训练优化模块，还用于根据所述全连接层进行降维处理，并计算得到训练样本的中心损失值，所述训练样本为所述训练集中的遥感图像样本；
所述网络训练优化模块，还用于根据所述交叉熵损失值、所述中心损失值及预置的权衡参数，构建得到联合损失函数；
所述网络训练优化模块，还用于通过所述联合损失函数对所述自注意力残差网络的参数进行优化。
5.根据权利要求4所述的装置，其特征在于，
所述场景分类模块，还用于将所述测试集的遥感图像输入到优化后的所述自注意力残差网络，输出所述遥感图像场景分类结果。
6.根据权利要求4-5项中任一项所述的装置，其特征在于，所述场景数据集还包括验证集，所述装置还包括：
验证模块，用于在训练所述自注意力残差网络的过程中，通过所述验证集对所述自注意力残差网络进行验证，并保存验证效果最优的参数。
CN202010425217.2A 2020-05-19 2020-05-19 一种遥感图像场景分类方法及装置 Active CN111582225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010425217.2A CN111582225B (zh) 2020-05-19 2020-05-19 一种遥感图像场景分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010425217.2A CN111582225B (zh) 2020-05-19 2020-05-19 一种遥感图像场景分类方法及装置

Publications (2)

Publication Number Publication Date
CN111582225A CN111582225A (zh) 2020-08-25
CN111582225B true CN111582225B (zh) 2023-06-20

Family

ID=72117235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010425217.2A Active CN111582225B (zh) 2020-05-19 2020-05-19 一种遥感图像场景分类方法及装置

Country Status (1)

Country Link
CN (1) CN111582225B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163465B (zh) * 2020-09-11 2022-04-22 华南理工大学 细粒度图像分类方法、***、计算机设备及存储介质
CN112163601B (zh) * 2020-09-14 2023-09-26 华南理工大学 图像分类方法、***、计算机设备及存储介质
CN112287978B (zh) 2020-10-07 2022-04-15 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN112257601B (zh) * 2020-10-22 2023-02-21 福州大学 基于弱监督学习的数据增强网络的细粒度车辆识别方法
CN112365508A (zh) * 2020-11-03 2021-02-12 云南电网有限责任公司昆明供电局 基于视觉注意与残差网络的sar遥感图像水域分割方法
CN112632315B (zh) * 2020-12-30 2022-03-29 珠海大横琴科技发展有限公司 一种遥感图像检索的方法和装置
CN113239947B (zh) * 2021-03-10 2022-09-23 安徽省农业科学院农业经济与信息研究所 一种基于细粒度分类技术的害虫图像分类方法
CN113011500B (zh) * 2021-03-22 2023-08-22 华南理工大学 虚拟现实场景数据集的分类方法、***、设备及介质
CN113160219B (zh) * 2021-05-12 2023-02-07 北京交通大学 用于无人机遥感图像的实时铁路场景解析方法
CN114266938A (zh) * 2021-12-23 2022-04-01 南京邮电大学 一种基于多模态信息和全局注意力机制的场景识别方法
CN116665113B (zh) * 2023-07-28 2023-10-27 广东海洋大学 基于不确定性量化的遥感场景识别方法、***及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710831A (zh) * 2018-04-24 2018-10-26 华南理工大学 一种基于机器视觉的小数据集人脸识别算法
CN109376576A (zh) * 2018-08-21 2019-02-22 中国海洋大学 基于交替更新密集连通从零训练网络的目标检测方法
CN109784211A (zh) * 2018-12-26 2019-05-21 西安交通大学 一种基于深度学习的运动想象脑电信号分类方法
CN109800754A (zh) * 2018-12-06 2019-05-24 杭州电子科技大学 一种基于卷积神经网络的古字体分类方法
CN110503187A (zh) * 2019-07-26 2019-11-26 江苏大学 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法
AU2020100413A4 (en) * 2019-10-25 2020-04-23 Xero Limited Docket analysis methods and systems

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165667B (zh) * 2018-07-06 2022-02-22 中国科学院自动化研究所 基于自注意力机制的脑疾病分类***
CN108985238B (zh) * 2018-07-23 2021-10-22 武汉大学 联合深度学习和语义概率的不透水面提取方法及***
US10984532B2 (en) * 2018-08-24 2021-04-20 Ordnance Survey Limited Joint deep learning for land cover and land use classification
CN109948425B (zh) * 2019-01-22 2023-06-09 中国矿业大学 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN110046575A (zh) * 2019-04-16 2019-07-23 浙江农林大学 基于改进残差网络的遥感图像场景分类方法
CN111126282B (zh) * 2019-12-25 2023-05-12 中国矿业大学 一种基于变分自注意力强化学习的遥感图像内容描述方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710831A (zh) * 2018-04-24 2018-10-26 华南理工大学 一种基于机器视觉的小数据集人脸识别算法
CN109376576A (zh) * 2018-08-21 2019-02-22 中国海洋大学 基于交替更新密集连通从零训练网络的目标检测方法
CN109800754A (zh) * 2018-12-06 2019-05-24 杭州电子科技大学 一种基于卷积神经网络的古字体分类方法
CN109784211A (zh) * 2018-12-26 2019-05-21 西安交通大学 一种基于深度学习的运动想象脑电信号分类方法
CN110503187A (zh) * 2019-07-26 2019-11-26 江苏大学 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法
AU2020100413A4 (en) * 2019-10-25 2020-04-23 Xero Limited Docket analysis methods and systems

Also Published As

Publication number Publication date
CN111582225A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111582225B (zh) 一种遥感图像场景分类方法及装置
CN107730474B (zh) 图像处理方法、处理装置和处理设备
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN108596329A (zh) 基于端到端深度集成学习网络的三维模型分类方法
CN112487949B (zh) 一种基于多模态数据融合的学习者行为识别方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN111339935B (zh) 一种基于可解释cnn图像分类模型的光学遥感图片分类方法
CN114092832A (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN115587337B (zh) 车门异响识别方法、设备和存储介质
CN109472733A (zh) 基于卷积神经网络的图像隐写分析方法
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN113326735A (zh) 一种基于YOLOv5的多模态小目标检测方法
CN112766283A (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN115222998A (zh) 一种图像分类方法
CN115984585A (zh) 一种引入注意力机制的多尺度高光谱图像特征提取方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN114332075A (zh) 基于轻量化深度学习模型的结构缺陷快速识别与分类方法
CN111860601B (zh) 预测大型真菌种类的方法及装置
CN117058542A (zh) 基于大感受野和注意机制的多尺度高精度轻量化目标检测方法
CN115761268A (zh) 一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法
CN115965819A (zh) 一种基于Transformer结构的轻量化害虫识别方法
CN115909332A (zh) 一种基于通道特征加强的农业遥感图像语义分割方法
CN115035408A (zh) 基于迁移学习和注意力机制的无人机影像树种分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant