CN116503753A - 一种基于多模态空域变换网络的遥感图像场景分类方法 - Google Patents

一种基于多模态空域变换网络的遥感图像场景分类方法 Download PDF

Info

Publication number
CN116503753A
CN116503753A CN202310476470.4A CN202310476470A CN116503753A CN 116503753 A CN116503753 A CN 116503753A CN 202310476470 A CN202310476470 A CN 202310476470A CN 116503753 A CN116503753 A CN 116503753A
Authority
CN
China
Prior art keywords
remote sensing
image
classification
sensing image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310476470.4A
Other languages
English (en)
Inventor
宋铁成
郑红宇
谢林男
马欣冉
吴梦怡
季薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310476470.4A priority Critical patent/CN116503753A/zh
Publication of CN116503753A publication Critical patent/CN116503753A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)

Abstract

本发明属于遥感图像分类识别领域，具体涉及一种基于多模态空域变换网络的遥感图像场景分类方法，包括：利用预训练网络获得多层特征；将不同层级的特征进行循环式自适应空间变换，其结果与下一层特征相融合以输出判别性特征；通过GloVe模型与自注意力机制来提取类名的语义信息，将其用于加权循环空域变换模块的输出特征；建立图像、文本的分类损失以及相似度损失，实现整个网络的优化，通过优化后的网络进行分类识别。本发明通过将图像的多层特征与图像类别的语义信息融合的方式，有效利用多模态信息以及探索模态之间的内在相关性来实现有效的语义对齐。

Description

一种基于多模态空域变换网络的遥感图像场景分类方法
技术领域
本发明属于遥感图像分类识别领域，具体涉及一种基于多模态空域变换网络的遥感图像场景分类方法。
背景技术
多模态数据，即包含多种数据类型的数据，比如文本、图像、视频、音频等，目前已经在许多实际应用场景中得到了广泛的应用，如图像分类、自动驾驶以及显著性检测。多模态数据的研究具有广阔的发展前景，可以为人工智能应用提供更加丰富和准确的信息。结合多模态数据的内部信息可以有效融合互补特征，避免单一模态的某些信息被遗漏。但是，大部分基于多模态的研究工作仅仅是将不同传感器捕获的图像作为不同的模态，没有实现真正的跨模态，提取的特征仍然存在一定的局限性。
遥感图像场景分类主要是将输入图像映射到离散的标签中，但是网络从图像中提取到的特征是有限的，在训练过程中也完全忽略了与每幅图像相关的其它形式的信息。现有的大部分研究内容都是针对图像这种单一模态进行的，缺乏跨模态的相关工作。由于缺少不同模态间的互补信息，网络提取的特征对复杂场景的特征鉴别能力不足。数据的类型是多种多样的，从这些多模态数据中可以学习到其它形式的信息来帮助识别图像类别。目前在自然图像领域中已经有许多多模态框架被提出以探索不同模态间的潜在依赖关系，但由于遥感图像的多样性和复杂性，为自然图像提出的方法不能用来很好地建立遥感模态间的关系。因此如何有效利用多模态信息以及探索模态之间的内在相关性来实现有效的语义对齐仍然是一个难题。
发明内容
为解决上述技术问题，本发明提出一种基于多模态空域变换网络的遥感图像场景分类方法，包括以下步骤：
S1：获取含场景类别标签的遥感图像组成训练数据集；
S2：建立遥感图像分类模型；所述模型包括ResNet50预训练网络模块、循环空域变换模块、类名嵌入模块；
所述ResNet50预训练网络模块包括Conv-1、Res-2、Res-3、Res-4、Res-5、空洞空间金字塔池化层、全局平均池化层和Softmax层；
S3：将训练数据集中的遥感图像输入遥感图像分类模型进行模型训练；
S31：将遥感图像输入ResNet50预训练网络模块获取多层特征，多层特征经过空洞空间金字塔进行特征交互并通过全局平均池化输出整体特征f1，特征f1经过Softmax层得到图像的预测分类结果；
S32：循环空域变换模块将不同层级的特征进行循环式自适应空间变换；
S33：将图像的类别标签输入类名嵌入模块，通过GloVe模型与多头自注意力机制提取遥感图像类别的语义信息，并经过Softmax层得到文本的预测分类结果；
S34：将类名的语义信息与循环式自适应空间变换后特征进行逐像素加权融合，得到判别性特征f2；
S35：根据图像、文本的预测分类结果分别建立图像、文本的分类损失，根据整体特征f1和判别性特征f2建立相似度损失；
S36：将图像、文本的分类损失以及相似度损失作为遥感图像分类模型最终的损失函数，当损失函数值最小时完成模型的训练；
S4：将待分类的遥感图像输入训练好的遥感图像分类模型进行分类，得到分类结果。
本发明的有益效果：
本发明通过将图像的多层特征与图像类别的语义信息融合的方式，有效利用多模态信息以及探索模态之间的内在相关性来实现有效的语义对齐；同时通过图像、文本的分类损失以及相似度损失联合优化得到的遥感图像分类模型能够实现遥感图像的分类。
附图说明
图1为本发明的一种基于多模态空域变换网络的遥感图像场景分类方法的框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于多模态空域变换网络的遥感图像场景分类方法，如图1所示，包括：
S1：获取含场景类别标签的遥感图像组成训练数据集；
S2：建立遥感图像分类模型；所述模型包括ResNet50预训练网络模块、循环空域变换模块、类名嵌入模块；
所述ResNet50预训练网络模块包括Conv-1、Res-2、Res-3、Res-4、Res-5、空洞空间金字塔池化层、全局平均池化层和Softmax层；
S3：将训练数据集中的遥感图像输入遥感图像分类模型进行模型训练；
S31：将遥感图像输入ResNet50预训练网络模块获取多层特征，多层特征经过空洞空间金字塔进行特征交互并通过全局平均池化输出整体特征f1，特征f1经过Softmax层得到图像的预测分类结果；
S32：循环空域变换模块将不同层级的特征进行循环式自适应空间变换；
S33：将图像的类别标签输入类名嵌入模块，通过GloVe模型与多头自注意力机制提取遥感图像类别的语义信息，并经过Softmax层得到文本的预测分类结果；
S34：将类名的语义信息与循环式自适应空间变换后特征进行逐像素加权融合，得到判别性特征f2；
S35：根据图像、文本的预测分类结果分别建立图像、文本的分类损失，根据整体特征f1和判别性特征f2建立相似度损失；
S36：将图像、文本的分类损失以及相似度损失作为遥感图像分类模型最终的损失函数，当损失函数值最小时完成模型的训练；
S4：将待分类的遥感图像输入训练好的遥感图像分类模型进行分类，得到分类结果。
将遥感图像输入ResNet50预训练网络模块获取多层特征，包括：
将遥感图像输入Conv-1层进行图像增强，增强后的图像经过Res-2、Res-3、Res-4、Res-5进行逐层特征提取，得到多层特征。
将不同层级的特征进行循环式自适应空间变换，包括：
将ResNet50预训练网络中Res-2、Res-3、Res-4不同层级的特征进行循环式自适应空间变换：首先将特征图输入到定位网络中，产生变换参数θ，在定位网络中，依次通过5×5和3×3不同大小的卷积核来提取特征，然后利用1×1卷积来实现跨通道信息融合，通过MLP回归层得到最终的变换参数θ，通过网格生成器利用定位网络回归的变换参数θ对图像中的位置进行相应的空间变换，通过采样器利用双线性插值得到输出特征图。
所述相应的空间变换包括图像的缩放、旋转以及平移操作。
通过GloVe模型与多头自注意力机制提取遥感图像类别的语义信息，包括：
通过GloVe模型将K个场景类别的标签嵌入到一个m维向量空间R中，从而产生K个语义特征向量S1,S2,…,Sk，选取与输入图像类别标签相对应的类别标签的词向量Si，将其切分为n段并进行复制扩展得到词向量Xi作为多头自注意力模型的输入进行多头自注意力机制操作，其中带缩放的点积注意力机制通过将查询向量Q、键向量K和值向量V进行点积运算得到注意力分数，将注意力分数进行归一化，对V进行加权求和来计算输出结果，然后得到类名的语义信息向量，并利用全连接层将类名的语义信息向量转换为指定的维度，最后采用Sigmoid激活函数进行处理，以获取类名的深层语义信息。
根据分类结果和图像类别信息分别建立图像、文本的分类损失，两者的分类损失的建立方式一致，通过分类结果计算分出的类别标签与真实的类别标签的概率，根据概率计算出分类损失函数。
所述样本分类标签属于真实标签的计算方式：
其中，表示第i个样本分类标签属于真实标签yi的概率，/>zi表示模型输出的图像类别和文本类别值，K表示样本类别标签数。
所述图像的分类损失，包括：
其中，Limg表示图像的分类损失，N表示样本数，表示经过预训练网络输出的第i个样本分类标签属于真实标签yi的概率。
所述文本的分类损失，包括：
其中，Ltxt表示文本的分类损失，N表示样本数，表示经过类名嵌入模块输出的第i个样本分类标签属于真实标签yi的概率。
所述相似度损失，包括：
其中，Lsim表示相似度损失，f1和f2分别表示图像经过预训练网络得到的整体特征和融合类名的语义信息得到的判别性特征。
所述模型的损失函数，包括：
其中，Limg、Ltxt分别表示图像、文本的分类损失，N表示样本数，和/>分别表示经过预训练网络和类名嵌入模块输出的第i个样本分类标签属于真实标签yi的概率，Lsim表示相似度损失，f1和f2分别表示图像经过预训练网络得到的整体特征和融合类名的语义信息得到的判别性特征。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于多模态空域变换网络的遥感图像场景分类方法，其特征在于，包括：
S1：获取含场景类别标签的遥感图像组成训练数据集；
S2：建立遥感图像分类模型；所述模型包括ResNet50预训练网络模块、循环空域变换模块、类名嵌入模块；
所述ResNet50预训练网络模块包括Conv-1、Res-2、Res-3、Res-4、Res-5、空洞空间金字塔池化层、全局平均池化层和Softmax层；
S3：将训练数据集中的遥感图像输入遥感图像分类模型进行模型训练；
S31：将遥感图像输入ResNet50预训练网络模块获取多层特征，多层特征经过空洞空间金字塔进行特征交互并通过全局平均池化输出整体特征f1，特征f1经过Softmax层得到图像的预测分类结果；
S32：循环空域变换模块将不同层级的特征进行循环式自适应空间变换；
S33：将图像的类别标签输入类名嵌入模块，通过GloVe模型与多头自注意力机制提取遥感图像类别的语义信息，并经过Softmax层得到文本的预测分类结果；
S34：将类名的语义信息与循环式自适应空间变换后特征进行逐像素加权融合，得到判别性特征f2；
S35：根据图像、文本的预测分类结果分别建立图像、文本的分类损失，根据整体特征f1和判别性特征f2建立相似度损失；
S36：将图像、文本的分类损失以及相似度损失作为遥感图像分类模型最终的损失函数，当损失函数值最小时完成模型的训练；
S4：将待分类的遥感图像输入训练好的遥感图像分类模型进行分类，得到分类结果。
2.根据权利要求1所述的一种基于多模态空域变换网络的遥感图像场景分类方法，其特征在于，将遥感图像输入ResNet50预训练网络模块获取多层特征，包括：
将遥感图像输入Conv-1层进行图像增强，增强后的图像经过Res-2、Res-3、Res-4、Res-5进行逐层特征提取，得到多层特征。
3.根据权利要求1所述的一种基于多模态空域变换网络的遥感图像场景分类方法，其特征在于，将不同层级的特征进行循环式自适应空间变换，包括：
将ResNet50预训练网络中Res-2、Res-3、Res-4不同层级的特征进行循环式自适应空间变换：将特征图输入到定位网络中，产生变换参数θ，在定位网络中，依次通过5×5和3×3不同大小的卷积核来提取特征，并利用1×1卷积来实现跨通道信息融合，通过MLP回归层得到最终的变换参数θ，通过网格生成器利用定位网络最终的变换参数θ对图像中的位置进行相应的空间变换，通过采样器利用双线性插值得到输出特征图。
4.根据权利要求1所述的一种基于多模态空域变换网络的遥感图像场景分类方法，其特征在于，通过GloVe模型与多头自注意力机制提取遥感图像类别的语义信息，包括：
通过GloVe模型将K个场景类别的标签嵌入到一个m维向量空间R中，得到K个语义特征向量S1,S2,…,Sk，选取与输入图像类别标签相对应的类别标签的词向量Si，将其切分为n段并进行复制扩展得到词向量Xi作为多头自注意力模型的输入进行多头自注意力机制操作，其中带缩放的点积注意力机制通过将查询向量Q、键向量K和值向量V进行点积运算得到注意力分数，将注意力分数进行归一化，对V进行加权求和来计算输出结果，得到类名的语义信息向量，并利用全连接层将类名的语义信息向量转换为指定的维度，最后采用Sigmoid激活函数进行处理，以获取类名的深层语义信息。
5.根据权利要求1所述的一种基于多模态空域变换网络的遥感图像场景分类方法，其特征在于，所述图像的分类损失，包括：
其中，Limg表示图像的分类损失，N表示样本数，表示经过预训练网络输出的第i个样本分类标签属于真实标签yi的概率。
6.根据权利要求1所述的一种基于多模态空域变换网络的遥感图像场景分类方法，其特征在于，所述文本的分类损失，包括：
其中，Ltxt表示文本的分类损失，N表示样本数，表示经过类名嵌入模块输出的第i个样本分类标签属于真实标签yi的概率。
7.根据权利要求1所述的一种基于多模态空域变换网络的遥感图像场景分类方法，其特征在于，所述相似度损失，包括：
其中，Lsim表示相似度损失，f1和f2分别表示图像经过预训练网络得到的整体特征和融合类名的语义信息得到的判别性特征。
8.根据权利要求1所述的一种基于多模态空域变换网络的遥感图像场景分类方法，其特征在于，所述模型的损失函数，包括：
其中，Limg、Ltxt分别表示图像、文本的分类损失，N表示样本数，和/>分别表示经过预训练网络和类名嵌入模块输出的第i个样本分类标签属于真实标签yi的概率，Lsim表示相似度损失，f1和f2分别表示图像经过预训练网络得到的整体特征和融合类名的语义信息得到的判别性特征。
CN202310476470.4A 2023-04-28 2023-04-28 一种基于多模态空域变换网络的遥感图像场景分类方法 Pending CN116503753A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310476470.4A CN116503753A (zh) 2023-04-28 2023-04-28 一种基于多模态空域变换网络的遥感图像场景分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310476470.4A CN116503753A (zh) 2023-04-28 2023-04-28 一种基于多模态空域变换网络的遥感图像场景分类方法

Publications (1)

Publication Number Publication Date
CN116503753A true CN116503753A (zh) 2023-07-28

Family

ID=87329863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310476470.4A Pending CN116503753A (zh) 2023-04-28 2023-04-28 一种基于多模态空域变换网络的遥感图像场景分类方法

Country Status (1)

Country Link
CN (1) CN116503753A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689974A (zh) * 2023-11-14 2024-03-12 荣耀终端有限公司 图像分类模型的训练方法、电子设备及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689974A (zh) * 2023-11-14 2024-03-12 荣耀终端有限公司 图像分类模型的训练方法、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111783831B (zh) 基于多源多标签共享子空间学习的复杂图像精确分类方法
CN110046671A (zh) 一种基于胶囊网络的文本分类方法
CN112200211B (zh) 一种基于残差网络和迁移学习的小样本鱼识别方法及***
Xu et al. Aligning correlation information for domain adaptation in action recognition
CN113221663B (zh) 一种实时手语智能识别方法、装置及***
CN112036276B (zh) 一种人工智能视频问答方法
CN112651940B (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
CN114548279A (zh) 一种基于蒸馏网络的半监督图像分类方法
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
CN116503753A (zh) 一种基于多模态空域变换网络的遥感图像场景分类方法
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
CN111882000A (zh) 一种应用于小样本细粒度学习的网络结构及方法
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及***
CN113240033B (zh) 一种基于场景图高阶语义结构的视觉关系检测方法及装置
CN114187506A (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
CN113516118B (zh) 一种图像与文本联合嵌入的多模态文化资源加工方法
CN113221824B (zh) 基于个体模型生成的人体姿态识别方法
CN115410000A (zh) 对象分类方法以及装置
Meena Deshpande License plate detection and recognition using yolo v4
Kousalya et al. Group Emotion Detection using Convolutional Neural Network
CN116935494B (zh) 一种基于轻量化网络模型的多人坐姿识别方法
Gan et al. Target Detection and Network Optimization: Deep Learning in Face Expression Feature Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination