CN109657082B - 基于全卷积神经网络的遥感图像多标签检索方法及*** - Google Patents

基于全卷积神经网络的遥感图像多标签检索方法及*** Download PDF

Info

Publication number
CN109657082B
CN109657082B CN201810986598.4A CN201810986598A CN109657082B CN 109657082 B CN109657082 B CN 109657082B CN 201810986598 A CN201810986598 A CN 201810986598A CN 109657082 B CN109657082 B CN 109657082B
Authority
CN
China
Prior art keywords
image
label
retrieval
neural network
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810986598.4A
Other languages
English (en)
Other versions
CN109657082A (zh
Inventor
邵振峰
周维勋
李从敏
杨珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810986598.4A priority Critical patent/CN109657082B/zh
Publication of CN109657082A publication Critical patent/CN109657082A/zh
Application granted granted Critical
Publication of CN109657082B publication Critical patent/CN109657082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于全卷积神经网络的遥感图像多标签检索方法及***，顾及遥感图像的多类别信息实现多标签的图像检索，包括输入检索图像库，分成训练集和验证集；构建全卷积神经网络模型FCN，利用训练集进行网络训练；利用FCN对验证集中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样；提取验证集中各图像的局部特征，得到用于检索的特征向量；最后基于提取的多尺度特征和多标签信息进行由粗到细的两步式检索。本发明利用全卷积神经网络不仅学习了图像的多尺度局部特征，而且充分挖掘了图像隐含的多标签信息，相比现有的基于单标签的遥感图像检索方法，有效地提高了图像检索的准确度。

Description

基于全卷积神经网络的遥感图像多标签检索方法及***
技术领域
本发明属于图像处理技术领域，涉及一种基于全卷积神经网络的遥感图像多标签检索方法及***。
背景技术
现阶段由于遥感技术的快速发展，可获取的高分辨率遥感影像数据量正以惊人的速度增长。如何实现海量遥感数据的高效管理和有效利用，并快速、准确地从海量的遥感数据中挖掘所需信息是目前遥感领域亟待解决的一大难题。遥感图像检索技术作为一种信息检索、挖掘方法，是解决这一难题的有效技术手段。
目前的遥感图像检索技术主要是基于图像内容进行的，通过提取图像的低层视觉特征或高层语义特征对图像内容进行描述，得到用于检索的特征向量。根据特征的提取方式不同，图像检索的特征可分为手工特征和深度学习特征。传统的遥感图像检索方法大多是基于手工特征进行的，包括光谱、纹理以及形状等低层视觉特征。针对小数据量的遥感图像检索，这种基于人工设计特征的检索策略是可行的，而且能够一定程度上满足用户的检索需求，但对于海量的遥感数据，人工设计特征的检索策略将不再适用，这是因为遥感数据的海量性、复杂性等特点导致很难设计一种有效的适用于各种场景的特征描述方法。相比传统的基于手工特征的图像检索方法，深度学习由于能够从海量的数据中自动学习有效的图像特征开始被广泛用于遥感图像检索。
遥感图像具有场景复杂性特点，即一幅图像通常包含多种地物类别(多标签)。例如，一幅建筑区图像，除了建筑物之外往往会包含道路和树木(建筑物为主要类别)，但现有的基于手工和深度学习特征的遥感图像检索方法通常只考虑图像包含的主要语义内容(单标签)，忽略了图像的多类别信息。因此，为了改善遥感图像的检索结果，需要挖掘并充分利用图像包含的类别信息。
发明内容
针对现有的遥感图像单标签检索技术存在的不足，本发明提供了一种基于全卷积神经网络的遥感图像多标签检索技术方案。本发明利用全卷积神经网络挖掘遥感图像的多标签信息，并通过对特征图进行采样提取图像的多尺度局部特征，从而实现多标签的遥感图像检索。
本发明所采用的技术方法为一种基于全卷积神经网络的遥感图像多标签检索方法，顾及遥感图像的多类别信息实现多标签的图像检索，包括以下步骤：
步骤1，输入检索图像库，分成训练集DT和验证集DR；
步骤2，构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；
步骤3，利用步骤2训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；
步骤4，基于步骤3中图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；
步骤5，基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于步骤3中图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库
Figure GDA0001988868530000021
然后基于步骤4提取的图像局部特征在图像库
Figure GDA0001988868530000022
中进行细检索，计算查询图像和图像库
Figure GDA0001988868530000023
中各图像的相似性，并根据相似性大小返回查询图像的相似图像。
而且，步骤2中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。
而且，步骤3中，上采样后的卷积层特征图与输入图像尺寸相同。
而且，步骤4中，提取验证集DR中某图像I的局部特征，实现方式如下，
Figure GDA0001988868530000024
其中，
Figure GDA0001988868530000025
表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，
Figure GDA0001988868530000026
表标签i相应类别的FCN分割结果，
Figure GDA0001988868530000027
表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；
根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵
Figure GDA0001988868530000028
后，对特征向量矩阵
Figure GDA0001988868530000029
中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量
Figure GDA00019888685300000210
将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量
Figure GDA0001988868530000031
最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。
而且，步骤5中，粗检索实现过程如下，
设
Figure GDA0001988868530000032
表示查询图像的标签向量，
Figure GDA0001988868530000033
表示验证集DR中其他图像的标签向量，进行向量点积如下，
L＝Lq·Lr
若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库
Figure GDA0001988868530000034
中进行下一步细检索。
本发明还相应提供一种基于全卷积神经网络的遥感图像多标签检索***，实现顾及遥感图像的多类别信息实现多标签的图像检索，包括以下模块：
图像库模块，用于输入检索图像库，分成训练集DT和验证集DR；
网络训练学习模块，用于构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；
网络应用模块，用于利用训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；
多尺度特征提取模块，用于基于图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；
查询模块，用于基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库
Figure GDA0001988868530000035
然后基于提取的图像局部特征在图像库
Figure GDA0001988868530000036
中进行细检索，计算查询图像和图像库
Figure GDA0001988868530000037
中各图像的相似性，并根据相似性大小返回查询图像的相似图像。
而且，网络训练学习模块中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。
而且，网络应用模块中，上采样后的卷积层特征图与输入图像尺寸相同。
而且，多尺度特征提取模块中，提取验证集DR中某图像I的局部特征，实现方式如下，
Figure GDA0001988868530000041
其中，
Figure GDA0001988868530000042
表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，
Figure GDA0001988868530000043
表标签i相应类别的FCN分割结果，
Figure GDA0001988868530000044
表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；
根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵
Figure GDA0001988868530000045
后，对特征向量矩阵
Figure GDA0001988868530000046
中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量
Figure GDA0001988868530000047
将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量
Figure GDA0001988868530000048
最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。
而且，查询模块中，粗检索实现过程如下，
设
Figure GDA0001988868530000049
表示查询图像的标签向量，
Figure GDA00019888685300000410
表示验证集DR中其他图像的标签向量，进行向量点积如下，
L＝Lq·Lr
若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库
Figure GDA00019888685300000411
中进行下一步细检索。
现有的单标签遥感图像检索方法忽略了图像包含的类别信息，对于场景复杂的遥感影像难以保证其检索结果。与现有技术相比，本发明具有如下特点和有益效果，
1、顾及遥感图像的多类别信息实现了多标签的图像检索，相比现有的单标签图像检索方法，缩短了低层特征和高层语义之间的“语义鸿沟”，有效地改善了图像检索结果。
2、利用预训练的卷积神经网络构建FCN网络模型，减少了网络训练所需要的训练样本数量。此外，基于FCN模型，将图像特征提取和多标签信息挖掘整合到一个统一的框架中，简化了检索流程。
3、利用各卷积层提取图像的多尺度特征，因此，提取的特征同时顾及了图像的粗略和细节信息，增强了特征的表征能力。
4、实行由粗到细的渐进式检索策略，粗检索可以过滤掉不相似的图像，而细检索可以进一步改善检索结果，因此，该策略在保证检索结果准确性的基础上提高了检索效率。
附图说明
图1为本发明实施例的流程图。
具体实施方式
为详细说明本发明技术方案，参见图1，提供实施例流程具体说明如下：
本发明提出的基于全卷积神经网络的遥感图像多标签检索技术方案首先对遥感图像进行分块处理构造用于检索的图像库，然后基于预训练的卷积神经网络模型构建FCN模型并利用训练集完成网络训练，接着基于FCN的分割结果图从各卷积层提取图像的局部特征并进行编码处理得到用于检索的特征向量，最后根据预设的相似性度量准则实现由粗到细的渐进式检索并返回相似图像。
参见图1，实施例的流程具体实现如下：
步骤1，输入检索图像库。
具体实施时，可以预先构造检索图像库。实施例中，对于已有的大幅遥感图像，首先采用Tiles无重叠分块策略进行分块处理，得到检索图像库，并切分成训练集DT和验证集DR两个子图像库，其中DT用于模型训练，DR用于模型验证以及检索结果评估。然后，对DT和DR两个子图像库分别进行多尺度分割，得到各图像相应的分割结果，其中Tiles分块和多尺度分割均为现有技术，例如采用eCognition软件进行多尺度分割，本发明不予赘述。
步骤2，构建一个多层的全卷积神经网络模型(Fully Convolutional Networks,FCN)，利用训练集DT对网络进行训练，用验证集DR对训练的FCN进行验证，当在DR上误差不再下降时停止训练。
本步骤基于预训练的卷积神经网络(Convolutional Neural Networks,CNN)构建FCN网络模型并进行网络训练。其中，CNN网络优选采用现有的VGG16网络，包含13个卷积层和3个全连接层，VGG16具体的网络结构，本发明不予赘述。
基于预训练的卷积神经网络构建FCN模型用于多标签检索，不仅可以把特征提取和标签信息挖掘整合到一个统一的框架中，而且只是用少量的标注样本即可完成FCN网络训练。
实施例的具体实现如下，
对于预训练的VGG16网络，首先修改网络最后的分类器层，使输出数目等于训练集DT包含的类别数目，然后将全连接层卷积化得到卷积层，最后在分类器层后添加上采样层即可得到FCN模型。具体实施时，可采用现有技术对FCN网络训练集DT进行训练，本发明不予赘述。
步骤3，利用训练的FCN对验证集DR中的各图像分别进行标签预测，并对各卷积层特征图进行上采样，得到采样后的卷积层特征图。即对各卷积层的特征图进行上采样得到与原输入的验证集DR中图像尺寸相同的特征图，并将原图像输入到步骤2训练的FCN模型中得到图像的分割结果。具体实施时，可以选用一个或多个卷积层特征图，实施例中考虑了所有的卷积层。利用训练的FCN模型可以预测各图像多标签，获取图像上每个像素的相应类别。
进一步地，优选采用转置卷积对卷积层特征图进行上采样。
设I代表原始的输入图像，H,W分别为原始的输入图像的宽和高，IS代表FCN模型的输出结果，f*()代表FCN模型各卷积层构成的映射函数，F代表卷积层的特征图，FS代表上采样后的特征图，fS()代表采样函数，则FCN分割和特征图采样可分别用式(1)、(2)表示如下，
IS＝f*(I) (1)
FS＝fs(F) (2)
Figure GDA0001988868530000061
Figure GDA0001988868530000062
IS中各元素IS(1,1)…IS(H,W)分别代表对应位置像素的标签，用于标识像素所属的类别，取值为1～M间的任一正整数，M表示图像包含的类别数目。FS是一个三维的H×W×D的矩阵，矩阵各元素f(1,1)…f(H,W)分别为一个局部特征向量，向量的维数等于特征图的数目D。
步骤4，图像多尺度特征提取和多标签信息挖掘：基于步骤3中所得图像的分割结果和各采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量。
本步骤中，图像特征为从各卷积层提取并经过后处理得到的局部特征。即为了提取图像的多尺度局部特征，分别从各卷积层进行局部特征提取。
基于步骤3中的FCN模型分割结果和卷积特征图上采样结果，局部特征的提取过程可以用式(3)表示，
Figure GDA0001988868530000071
其中，
Figure GDA0001988868530000072
表示图像I中标签为i(i＝1,2...,M)的地物从第j(j＝1,2,...,N)个卷积层提取得到的局部特征矩阵，
Figure GDA0001988868530000073
表示标签i对应的FCN分割结果，
Figure GDA0001988868530000074
表示第j个卷积层的三维特征图矩阵(三维为特征图宽、高以及数目)，
Figure GDA0001988868530000075
表示从特征图矩阵对应位置取出局部特征向量。M表示图像的标签(类别)总数，比如图像包含3类，那M＝3；N表示一个卷积层包含的特征图数目。
得到标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵
Figure GDA0001988868530000076
后，对特征向量矩阵
Figure GDA0001988868530000077
中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量
Figure GDA0001988868530000078
将各类别的局部特征向量串联组合后可得到图像I从卷积层j提取得到的局部特征向量
Figure GDA0001988868530000079
最后把从各卷积层提取的局部特征向量串联组合后得到图像I的多尺度局部特征pS，该特征用于后续的图像检索。
实施例中，设
Figure GDA00019888685300000710
每列表示一个局部特征向量，取每一行的均值可得到
Figure GDA00019888685300000711
即局部特征向量同一维度取均值。
步骤5，针对输入的查询图像，基于步骤4提取的图像特征实现由粗到细的检索，并按预设的相似度准则返回相似图像。
本步骤基于提取的图像多尺度局部特征实现的由粗到细的渐进式检索，实施例具体实现如下：
基于步骤3中图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像并构成子图像库
Figure GDA00019888685300000712
然后基于步骤4提取的图像局部特征在子图像库
Figure GDA0001988868530000081
中进行细检索，计算查询图像与
Figure GDA0001988868530000082
中各图像的相似性，并根据相似性大小返回查询图像的相似图像，具体实施时，可以从验证集DR中取任一图像作为查询图像；
检索过程如下，
设
Figure GDA0001988868530000083
表示查询图像的标签向量，
Figure GDA0001988868530000084
表示检索图像库中其他图像的标签向量，其中标签
Figure GDA0001988868530000089
和标签
Figure GDA00019888685300000810
的值为0或1，0表示图像包含该类别，1表示图像不包含该类别，n表示图像库总的类别数目。粗检索过程可通过向量点积实现，用下式表示，
L＝Lq·Lr (4)
若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库
Figure GDA0001988868530000085
中进行下一步细检索。
设
Figure GDA0001988868530000086
与
Figure GDA0001988868530000087
分别表示查询图像和图像库
Figure GDA0001988868530000088
中图像的特征向量，按照预设的相似性度量函数，例如欧氏距离，计算特征向量之间的距离即可实现细检索。
具体实施时，本发明可采用计算机软件技术实现自动运行流程。本发明实施例还相应提供一种基于全卷积神经网络的遥感图像多标签检索***，实现顾及遥感图像的多类别信息实现多标签的图像检索，包括以下模块，
图像库模块，用于输入检索图像库，分成训练集DT和验证集DR；
网络训练学习模块，用于构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；
网络应用模块，用于利用训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；
多尺度特征提取模块，用于基于图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；
查询模块，用于基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库
Figure GDA0001988868530000091
然后基于提取的图像局部特征在图像库
Figure GDA0001988868530000092
中进行细检索，计算查询图像和图像库
Figure GDA0001988868530000093
中各图像的相似性，并根据相似性大小返回查询图像的相似图像。
具体实施时，各模块实现参见相应步骤，本发明不予赘述。
以上内容是结合最佳实施方案对本发明所做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应能理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为本发明的保护范围。

Claims (10)

1.一种基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：顾及遥感图像的多类别信息实现多标签的图像检索，包括以下步骤，
步骤1，输入检索图像库，分成训练集DT和验证集DR；
步骤2，构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；
步骤3，利用步骤2训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；
步骤4，基于步骤3中图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；
步骤5，基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于步骤3中图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库
Figure FDA0001779853990000011
然后基于步骤4提取的图像局部特征在图像库
Figure FDA0001779853990000012
中进行细检索，计算查询图像和图像库
Figure FDA0001779853990000013
中各图像的相似性，并根据相似性大小返回查询图像的相似图像。
2.根据权利要求1所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤2中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。
3.根据权利要求1所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤3中，上采样后的卷积层特征图与输入图像尺寸相同。
4.根据权利要求1所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤4中，提取验证集DR中某图像I的局部特征，实现方式如下，
Figure FDA0001779853990000014
其中，
Figure FDA0001779853990000015
表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，
Figure FDA0001779853990000016
表标签i相应类别的FCN分割结果，
Figure FDA0001779853990000021
表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；
根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵
Figure FDA0001779853990000022
后，对特征向量矩阵
Figure FDA0001779853990000023
中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量
Figure FDA0001779853990000024
将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量
Figure FDA0001779853990000025
最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。
5.根据权利要求1或2或3或4所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤5中，粗检索实现过程如下，
设
Figure FDA0001779853990000026
表示查询图像的标签向量，
Figure FDA0001779853990000027
表示验证集DR中其他图像的标签向量，进行向量点积如下，
L＝Lq·Lr
若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库
Figure FDA0001779853990000028
中进行下一步细检索。
6.一种基于全卷积神经网络的遥感图像多标签检索***，其特征在于：实现顾及遥感图像的多类别信息实现多标签的图像检索，包括以下模块，
图像库模块，用于输入检索图像库，分成训练集DT和验证集DR；
网络训练学习模块，用于构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；
网络应用模块，用于利用训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；
多尺度特征提取模块，用于基于图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；
查询模块，用于基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库
Figure FDA0001779853990000031
然后基于提取的图像局部特征在图像库
Figure FDA0001779853990000032
中进行细检索，计算查询图像和图像库
Figure FDA0001779853990000033
中各图像的相似性，并根据相似性大小返回查询图像的相似图像。
7.根据权利要求6所述基于全卷积神经网络的遥感图像多标签检索***，其特征在于：网络训练学习模块中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。
8.根据权利要求6所述基于全卷积神经网络的遥感图像多标签检索***，其特征在于：网络应用模块中，上采样后的卷积层特征图与输入图像尺寸相同。
9.根据权利要求6所述基于全卷积神经网络的遥感图像多标签检索***，其特征在于：多尺度特征提取模块中，提取验证集DR中某图像I的局部特征，实现方式如下，
Figure FDA0001779853990000034
其中，
Figure FDA0001779853990000035
表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，
Figure FDA0001779853990000036
表标签i相应类别的FCN分割结果，
Figure FDA0001779853990000037
表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；
根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵
Figure FDA0001779853990000038
后，对特征向量矩阵
Figure FDA0001779853990000039
中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量
Figure FDA00017798539900000310
将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量
Figure FDA00017798539900000311
最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。
10.根据权利要求6或7或8或9所述基于全卷积神经网络的遥感图像多标签检索***，其特征在于：查询模块中，粗检索实现过程如下，
设
Figure FDA00017798539900000312
表示查询图像的标签向量，
Figure FDA00017798539900000313
表示验证集DR中其他图像的标签向量，进行向量点积如下，
L＝Lq·Lr
若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库
Figure FDA00017798539900000314
中进行下一步细检索。
CN201810986598.4A 2018-08-28 2018-08-28 基于全卷积神经网络的遥感图像多标签检索方法及*** Active CN109657082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810986598.4A CN109657082B (zh) 2018-08-28 2018-08-28 基于全卷积神经网络的遥感图像多标签检索方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810986598.4A CN109657082B (zh) 2018-08-28 2018-08-28 基于全卷积神经网络的遥感图像多标签检索方法及***

Publications (2)

Publication Number Publication Date
CN109657082A CN109657082A (zh) 2019-04-19
CN109657082B true CN109657082B (zh) 2022-11-29

Family

ID=66110670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810986598.4A Active CN109657082B (zh) 2018-08-28 2018-08-28 基于全卷积神经网络的遥感图像多标签检索方法及***

Country Status (1)

Country Link
CN (1) CN109657082B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110679A (zh) * 2019-05-13 2019-08-09 成都图必优科技有限公司 基于全卷积网络和条件随机场的地物覆盖率计算方法
CN110245657B (zh) * 2019-05-17 2021-08-24 清华大学 病理图像相似性检测方法及检测装置
DE102020120934A1 (de) 2020-08-07 2022-02-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen eines komprimierten neuronalen Netzes zur Multi-Label Multi-Klassen Kategorisierung, Fahrzeugassistenzeinrichtung zur Umgebungskategorisierung und Kraftfahrzeug
CN113988147B (zh) * 2021-12-08 2022-04-26 南京信息工程大学 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122809A (zh) * 2017-04-24 2017-09-01 北京工业大学 基于图像自编码的神经网络特征学习方法
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108280187A (zh) * 2018-01-24 2018-07-13 湖南省瞬渺通信技术有限公司 一种基于卷积神经网络深度特征的分级图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN107122809A (zh) * 2017-04-24 2017-09-01 北京工业大学 基于图像自编码的神经网络特征学习方法
CN108280187A (zh) * 2018-01-24 2018-07-13 湖南省瞬渺通信技术有限公司 一种基于卷积神经网络深度特征的分级图像检索方法

Also Published As

Publication number Publication date
CN109657082A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
Zhang et al. Artificial intelligence for remote sensing data analysis: A review of challenges and opportunities
Masone et al. A survey on deep visual place recognition
CN109657082B (zh) 基于全卷积神经网络的遥感图像多标签检索方法及***
US11200424B2 (en) Space-time memory network for locating target object in video content
US9454714B1 (en) Sequence transcription with deep neural networks
Fu et al. Using convolutional neural network to identify irregular segmentation objects from very high-resolution remote sensing imagery
KR102130162B1 (ko) 인공 신경망들에 대한 관련성 스코어 할당
US11636570B2 (en) Generating digital images utilizing high-resolution sparse attention and semantic layout manipulation neural networks
EP2701098A2 (en) Region refocusing for data-driven object localization
CN111461039B (zh) 基于多尺度特征融合的地标识别方法
CN113435253B (zh) 一种多源影像联合城区地表覆盖分类方法
CN111738055B (zh) 多类别文本检测***和基于该***的票据表单检测方法
CN105608454A (zh) 基于文字结构部件检测神经网络的文字检测方法及***
Alidoost et al. Knowledge based 3D building model recognition using convolutional neural networks from LiDAR and aerial imageries
Koch et al. Real estate image analysis: A literature review
CN114820655A (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
Zhou et al. Region convolutional features for multi-label remote sensing image retrieval
CN111368775A (zh) 一种基于局部上下文感知的复杂场景密集目标检测方法
CN112861970A (zh) 一种基于特征融合的细粒度图像分类方法
CN112766409A (zh) 一种遥感图像目标检测的特征融合方法
Yu et al. Toward robust analysis of satellite images using map information-application to urban area detection
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN112241736A (zh) 一种文本检测的方法及装置
CN114155556A (zh) 一种基于加入通道混洗模块的堆叠沙漏网络的人体姿态估计方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant