CN112579816B - 遥感图像的检索方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种遥感图像的检索方法、装置、电子设备及计算机可读存储介质。遥感图像的检索方法包括：获取待检索遥感图像中多个图像块的至少两种特征；将多个图像块的至少两种特征存储至特征索引库，并在特征索引库中构建待检索遥感图像的多个图像块的至少两种特征的多级索引关系；获取用户感兴趣图像的至少两种特征；将用户感兴趣图像的至少两种特征与特征索引库中待检索遥感图像的多个图像块的至少两种特征基于多级索引关系进行相似度计算；将与用户感兴趣图像的至少两种特征相似度最高的待检索遥感图像的图像块作为检索结果。不仅能够提高遥感图像的检索精度，还能够提高遥感图像的检索效率。

Description

遥感图像的检索方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种遥感图像的检索方法、装置、电子设备及计算机可读存储介质。

背景技术

图像检索主要包括两种。第一种：基于文本的图像检索。具体来说，就是通过作者、年代等文本描述信息实现绘画作品的搜索。第二种：基于内容的图像检索。具体来说，就是对图像的颜色、纹理、形状、布局等特征进行提取，然后基于提取的特征与特征库中的图像进行相似度计算，进而将特征库中相似度最高的一个或多个图像作为检索结果。

随着人工智能技术的不断发展，在对图像的颜色、纹理、布局等特征进行提取时，逐渐采用深度卷积神经网络模型代替sift、hog、harr、gist等特征提取算子以及基本的机器学习方式对图像的颜色、纹理、形状、布局等特征进行提取。这样，不仅能够将图像中的颜色、纹理、形状、布局等浅层特征提取出来，还能够将图像中的深层特征提取出来。进而基于提取的特征进行相似度计算，得出检索结果。

然而，遥感图像区别于自然图像。遥感图像的特征更为复杂多变。并且，遥感图像包含有大量的地表信息。若采用深度卷积神经网络模型对大范围的遥感图像进行检索，具体的，采用深度卷积神经网络模型提取遥感图像的二进制哈希特征，然后对提取的二进制哈希特征构建索引，进行相似度计算。这样很容易出现遥感图像中哈希特征相似度计算值相同的两个目标，实际差异巨大的问题，进而降低遥感图像检索的准确性。并且，由于遥感图像的数据量较大，在进行图像检索时需要将提取的特征逐个与特征库中的特征进行相似度计算，耗时较长，因此，还会降低遥感图像的检索速度。

发明内容

本申请实施例的目的是提供一种遥感图像的检索方法、装置、电子设备及计算机可读存储介质，能够提高遥感图像的检索精度和效率。

为解决上述技术问题，本申请实施例提供如下技术方案：

本申请第一方面提供一种遥感图像的检索方法，包括：获取待检索遥感图像中多个图像块的至少两种特征；将所述多个图像块的至少两种特征存储至特征索引库，并在所述特征索引库中构建所述待检索遥感图像的多个图像块的至少两种特征的多级索引关系；获取用户感兴趣图像的至少两种特征；将所述用户感兴趣图像的至少两种特征与所述特征索引库中所述待检索遥感图像的多个图像块的至少两种特征基于多级索引关系进行相似度计算；将与所述用户感兴趣图像的至少两种特征相似度最高的所述待检索遥感图像的图像块作为检索结果。

本申请第二方面提供一种遥感图像的检索装置，包括：第一输入模块，用于获取待检索遥感图像中多个图像块的至少两种特征；存储模块，用于将所述多个图像块的至少两种特征存储至特征索引库，并在所述特征索引库中构建所述待检索遥感图像的多个图像块的至少两种特征的多级索引关系；第二输入模块，用于获取用户感兴趣图像的至少两种特征；索引模块，用于将所述用户感兴趣图像的至少两种特征与所述特征索引库中所述待检索遥感图像的多个图像块的至少两种特征基于多级索引关系进行相似度计算；输出模块，用于将与所述用户感兴趣图像的至少两种特征相似度最高的所述待检索遥感图像的图像块作为检索结果。

本申请第三方面提供一种电子设备，包括：至少一个处理器；以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行第一方面中的方法。

本申请第四方面提供一种计算机可读存储介质，包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面中的方法。

相较于现有技术，本申请第一方面提供的遥感图像的检索方法，通过获取待检索遥感图像中多个图像块的至少两种特征，并在特征索引库中进行多级索引关系的存储，当获取到用户感兴趣图像的至少两种特征时，就能够将用户感兴趣图像的至少两种特征与特征索引库中待检索遥感图像的多个图像块的至少两种特征基于多级索引关系进行相似度计算，进而将与用户感兴趣图像的至少两种特征相似度最高的待检索遥感图像的图像块作为检索结果。这样，用户感兴趣图像的至少两种特征中每一种特征都能够对待检索遥感图像的多个图像块进行一次筛选，即去除无关场景的图像块，能够避免出现待检索遥感图像中某一图像块与用户感兴趣图像的某一特征高度相似，但场景类别差异较大的问题，能够提高遥感图像检索的准确性。以及，无需将用户感兴趣图像的至少两种特征与待检索遥感图像中多个图像块的至少两种特征都分别进行一次相似度计算，只需将用户感兴趣图像的下一个特征与筛选后的待检索遥感图像的图像块进行相似度计算即可，能够减少相似度的计算量，提高遥感图像的检索效率。

本申请第二方面提供的遥感图像的检索装置、第三方面提供的电子设备、第四方面提供的计算机可读存储介质，具有同第一方面提供的遥感图像的检索方法相似的有益效果。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，相同或对应的标号表示相同或对应的部分，其中：

图1示意性地示出了遥感图像的检索方法的流程图一；

图2示意性地示出了遥感图像的检索方法的流程图二；

图3示意性地示出了双分支深度卷积神经网络模型的生成方法的流程图；

图4示意性地示出了遥感图像智能检索***的架构图；

图5示意性地示出了二级索引的结构图；

图6示意性地示出了遥感图像的检索装置的结构图；

图7示意性地示出了电子设备的结构图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

本申请实施例提供了一种遥感图像的检索方法，图1示意性地示出了遥感图像的检索方法的流程图一，参见图1所示，该方法可以包括：

S101：获取待检索遥感图像中多个图像块的至少两种特征。

待检索遥感图像，顾名思义，就是场景类别是用户未知的，用户需要获知其中的场景类别的遥感图像。

由于待检索遥感图像所包含的实际范围较大，例如：北京市的遥感图像，因此，需要将待检索遥感图像划分成多个图像块，以便于进行图像特征的提取、存储、识别等。

具体来说，就是在待检索遥感图像中提取第一个图像块的至少两种特征，提取第二个图像块的至少两种特征，以此类推，直至将待检索遥感图像中划分的所有图像块的至少两种特征提取完毕为止。在具体实施过程中，可以通过至少两个不同的神经网络模型分别提取待检索遥感图像中每个图像块的至少两种特征。也可以通过双分支深度卷积神经网络模型(后文会进行详细说明)这一个模型直接提取待检索遥感图像中每个图像块的至少两种特征。对于提取待检索遥感图像中多个图像块的至少两种特征的具体方式，此处不做限定。

S102：将多个图像块的至少两种特征存储至特征索引库，并在特征索引库中构建待检索遥感图像的多个图像块的至少两种特征的多级索引关系。

由于后续需要基于待检索遥感图像中多个图像块的至少两种特征进行待检索遥感图像的检索，因此，在获取到待检索遥感图像中多个图像块的至少两种特征后，需要将待检索遥感图像中多个图像块的至少两种特征先存储至特征索引库中。

具体来说，可以根据待检索遥感图像中多个图像块的至少两种特征中的某个特征先对多个图像块进行分组，然后在每个组中进一步根据至少两种特征中的另一个特征再进行分组，以此类推，直到至少两种特征中的最后一个特征。再将这最后一个特征与其前一个特征建立索引关系。这里需要说明的是，每一个特征都与其前后的特征具有索引关系。在特征索引库中，有多少个特征，至少有多少级索引关系。

S103：获取用户感兴趣图像的至少两种特征。

由于对待检索遥感图像进行检索就是在待检索遥感图像中寻找出与用户感兴趣图像的场景类型最为相似的区域，因此，需要获取用户感兴趣图像，进而提取用户感兴趣图像中的至少两种特征，以便后续与待检索遥感图像中的多个图像块的至少两种特征进行匹配。

这里需要说明的是，用户感兴趣图像的至少两种特征与待检索遥感图像中多个图像块的至少两种特征的特征类型相同。例如：特征索引库中存储的是待检索遥感图像中多个图像块的A特征和B特征，那么，就需要获取用户感兴趣图像的A特征和B特征。

在实际应用中，用户感兴趣图像可以是用户在图像集中选择的某一个已知场景类型的遥感图像，也可以是用户在待检索遥感图像中选择的某一个图像块。对于用户感兴趣图像的具体内容，此处不做限定。

S104：将用户感兴趣图像的至少两种特征与特征索引库中待检索遥感图像的多个图像块的至少两种特征基于多级索引关系进行相似度计算。

也就是说，先将用户感兴趣图像的某一个特征与待检索遥感图像中多个图像块的相应特征进行相似度计算，再将用户感兴趣图像的另一个特征与前次计算的相似度最高的多个图像块的相应特征进行相似度计算，进而再将用户感兴趣图像的再一个特征与前次计算的相似度最高的多个图像块的相应特征进行相似度计算，直至用户感兴趣图像的至少两种特征全部都进行完相似度计算。

这里需要说明的是，根据特征的不同，相似度计算也可以是对比。

S105：将与用户感兴趣图像的至少两种特征相似度最高的待检索遥感图像的图像块作为检索结果。

具体来说，在将用户感兴趣图像的至少两种特征都进行完相似度计算后，将最后一次相似度计算中相似度最高的待检索遥感图像的图像块作为检索结果。

在实际应用中，作为检索结果的图像块可以是一个，也可以是多个。对于作为检索结果的图像块的数量，此处不做限定。

在实际应用中，可以将作为检索结果的图像块在待检索遥感图像中突出显示，以便用户能够直接看到待检索遥感图像中与用户感兴趣图像的场景类别相同的区域。对于检索结果的具体呈现方式，此处不做限定。

由上述内容可知，本申请实施例提供的遥感图像的检索方法，通过获取待检索遥感图像中多个图像块的至少两种特征，并在特征索引库中进行多级索引关系的存储，当获取到用户感兴趣图像的至少两种特征时，就能够将用户感兴趣图像的至少两种特征与特征索引库中待检索遥感图像的多个图像块的至少两种特征基于多级索引关系进行相似度计算，进而将与用户感兴趣图像的至少两种特征相似度最高的待检索遥感图像的图像块作为检索结果。这样，用户感兴趣图像的至少两种特征中每一种特征都能够对待检索遥感图像的多个图像块进行一次筛选，即去除无关场景的图像块，能够避免出现待检索遥感图像中某一图像块与用户感兴趣图像的某一特征高度相似，但场景类别差异较大的问题，能够提高遥感图像检索的准确性。以及，无需将用户感兴趣图像的至少两种特征与待检索遥感图像中多个图像块的至少两种特征都分别进行一次相似度计算，只需将用户感兴趣图像的下一个特征与筛选后的待检索遥感图像的图像块进行相似度计算即可，能够减少相似度的计算量，提高遥感图像的检索效率。

进一步地，待检索遥感图像的至少两种特征可以包括：第一特征和第二特征。也就是说，获取待检索遥感图像中多个图像块的两种特征，并在特征索引库中建立这两种特征的二级索引。

在实际应用中，第一特征可以是语义特征，第二特征可以是哈希特征。语义特征，能够指示遥感图像的类别。哈希特征，能够指示遥感图像的细节信息。具体的，哈希特征可以是二进制哈希特征。当然，哈希特征还可以是其它进制的哈希特征。对于哈希特征的具体类型，此处不做限定。

进一步地，作为对图1所示方法的细化和扩展，本申请实施例还提供了一种遥感图像的检索方法。图2示意性地示出了遥感图像的检索方法的流程图二，参见图2所示，该方法可以包括：

S201：对待检索遥感图像进行切片处理，形成多个图像块。

由于待检索遥感图像所包含的实际区域范围较大，包含多种地物类型，无法一次性直接基于待检索遥感图像进行语义特征和哈希特征的提取，故需要对待检索遥感图像进行切片处理，形成多个图像块，进而基于每个图像提取各图像块的语义特征和哈希特征。

S202：通过双分支深度卷积神经网络模型对多个图像块进行计算，得到待检索遥感图像中多个图像块的语义特征和二进制哈希特征。

也就是说，将待检索遥感图像输入双分支深度卷积神经网络模型，双分支深度卷积神经网络模型就能够输出待检索遥感图像中多个图像块的语义特征和二进制哈希特征。

具体的，从待检索遥感图像I(i，j)的(0，0)位置开始遍历，以每256*256窗口大小的图像块进行语义特征和二进制哈希特征以及位置信息的提取(即进行滑窗特征提取)，这里的位置信息可以是图像块在待检索遥感图像上的相对位置。并且，设置128单位的重叠图像块。

S203：将多个图像块的语义特征和二进制哈希特征存储至特征索引库。

具体的，可以将提取出的待检索遥感图像中各图像块的位置信息及其对应的语义特征和二进制哈希特征以特定格式文件存储至特征索引库。具体的，可以Pyhton语言中字典的格式将待检索遥感图像中各图像块的位置信息及其对应的语义特征和265长度的二进制哈希特征存储在特征特征索引库文件的Feature.h5文件中。Feature.h5文件中包含待检索遥感图像I中每个对应位置的ID号，行列号(img_r，img_w)，类别(pred_label)和256维的特征信息(pred_feature256)。

S204：在特征索引库中，根据多个图像块的语义特征通过层次化的聚类对多个图像块进行分组。

S205：对每个图像块的二进制哈希特征利用聚类方法建立二级索引结构。

具体的，在特征索引库内，建立语义特征与二进制哈希特征的二级索引关系。具体的，通过层次化的聚类来对特征索引库中的多个图像块进行分组。包括但不限于K-D Tree、LSH等聚类方式。进一步的，建立二级索引结构。首先利用语义特征建立第一级索引。可充分利用语义特征的语义信息，有效改善错分率。不同于直接对多维特征进行聚类的一级索引，会造成漏检的问题，利用分类结果建立一级索引，其分类的高精度结果降低了整体结果的漏检率。然后，再利用聚类的方法建立二进制哈希特征的第二级索引，避免暴力检索，提高检索效率。这样，在基于特征索引库进行索引时，就能够先语义特征、再二进制哈希特征的索引了。

S206：获取用户感兴趣图像。

一般的，用户感兴趣图像为场景类别单一的小幅遥感图像。

S207：判断用户感兴趣图像是否来源于待检索遥感图像；若是，则执行S208；若否，则执行S209。

S208：从特征索引库中获取用户感兴趣图像的语义特征和二进制哈希特征。

当用户感兴趣图像来源于待检索遥感图像时，也就是说，用户点击了待检索遥感图像中某个图像块，用户需要在待检索遥感图像中找出与该图像块的场景类别相同的其它图像块。此时，用户选择的图像块的语义特征和二进制哈希特征在特征索引库中都有存储，因此，无需重新提取该图像块的语义特征和二进制哈希特征，只需从特征索引库中直接获取即可，能够提高遥感图像的检索效率。

S209：从用户感兴趣图像中提取用户感兴趣图像的至少两种特征。

当用户感兴趣图像不是来源于待检索遥感图像时，也就是说，用户输入了一幅遥感图像，用户需要在待检索遥感图像中找出与其输入的遥感图像的场景类别相同的图像块。此时，需要直接从用户输入的遥感图像中提取语义特征和二进制哈希特征(可以通过双分支深度卷积神经网络模型进行语义特征和二进制哈希特征提取)。

在实际应用中，可以预置一个影像集，在该影像集中存储有多个场景类别已知的遥感图像。用户可以在该影像集中选择其感兴趣的遥感图像，进而寻找待检索遥感图像中与用户感兴趣的遥感图像的场景类别相同的图像块。

S210：根据用户感兴趣图像的语义特征在特征索引库中确定与用户感兴趣图像的语义特征相同的多个待选图像块。

也就是说，在待检索遥感图像中寻找与用户感兴趣图像的场景类别相同的图像块时，先将待检索遥感图像中场景类别明显与用户感兴趣图像不同的图像块排除，避免后续检索出场景类别明显与用户感兴趣图像不同的图像块。

S211：将用户感兴趣图像的哈希特征与多个待选图像块进行特征距离计算。

在实际应用中，距离计算可以包括但不限于汉明距离、向量乘积、欧式距离等。

以汉明距离为衡量指标，其公式为：

Dis＝Feature目标^Featurei

式中，Feature目标表示待检索遥感图像中各图像块的二进制哈希特征，Featurei表示用户感兴趣图像的二进制哈希特征。最终返回距离前n个的图像块位置作为最终的检索结果。

由于在特征索引库中已经预先建立好了二级索引结构，因此可以在极短的时间内完成相似度计算。

S212：将与用户感兴趣图像的哈希特征的特征距离最小的待选图像块作为检索结果。

这样，就完成了待检索遥感图像的一次检索过程。

举例来说，假设待检索遥感图像为北京市的遥感图像。在北京市的遥感图像中包括有草地、山地、体育场等多种场景类别。当用户想要知道北京市的哪些位置有体育场时，用户可以先输入一张体育场的遥感图像，通过本申请实施例提供的遥感图像的检索方法，就能够在北京市的遥感图像中寻找到多个包含体育场的图像块了。

通过采用先基于语义特征进行对比，去除待检索遥感图像中与用户感兴趣图像的场景类别无关的图像块，避免检索出与用户感兴趣图像的场景类别差异较大的图像块，再在剩下的图像块中基于哈希特征进行相似度计算，寻找待检索遥感图像中与用户感兴趣图像的场景最相似的图像块，减小相似度的计算量，不仅能够提高遥感图像的检索精度，还能够提高遥感图像的检索效率。

接下来，对前文提到的双分支深度卷积神经网络模型进行说明。

图3示意性地示出了双分支深度卷积神经网络模型的生成方法的流程图，参见图3所示，该方法可以包括：

S301：构建双分支深度卷积神经网络模型的架构。

基于对待检索遥感图像的语义特征和二进制哈希特征的提取需求，表1示意性地示出了双分支深度卷积神经网络模型的网络结构及功能。

表1

在表1中，ResNet50为经典残差神经网络模型，Flatten层为过渡层、Dense层为全连接层，Activation层为激活层，Output层为输出层。

具体来说，S401可以包括：

S3011：基于经典残差神经网络模型的结构搭建特征提取模块。

其中，特征提取模块至少包括卷积层和池化层。通过特征提取模块，能够提取出待检索遥感图像中多个图像块的多维特征。

S3012：在特征提取模块后添加过渡层。

其中，过渡层用于将多维特征映射为一维特征。

S3013：在过渡层后添加第一全连接层。

其中，第一全连接层用于将一维特征降至512长度。

S3014：在第一全连接层后添加第一激活层，在第一激活层内置sigmoid函数。

其中，第一激活层中的sigmoid函数用于将512长度的一维特征转化为二进制特征。

S3015：在过度层后添加第二全连接层。

其中，第二全连接层用于将一维特征降至512长度。

S3016：在第二全连接层后添加第二激活层，在第二激活层内置softmax函数。

其中，第二激活层中的softmax函数用于将512长度的一维特征转化为语义特征。

这里需要说明的是，S4013-S4014与S4015-S4016是并列的关系。

S3017：在第一激活层和第二激活层后添加输出层，得到双分支深度卷积神经网络模型的架构。

其中，输出层用于输出语义特征和二进制哈希特征。

在双分支深度卷积神经网络模型架构的搭建过程中，首先基于经典残差神经网络结构进行搭建。其中，双分支深度卷积神经网络模型的特征提取部分的卷积层，池化层等结构依据ResNet50结构搭建。针对遥感图像检索的需要对全连接层进行修改，具体修改方式为：利用1层“Flatten”过渡层，将卷积部分提取的多维特征“压平”至一维特征；利用1层全连接层将特征降至512长度，进而添加1层激活层，利用内置的sigmoid函数，将512长度特征转化为二进制特征；同时，利用1层全连接层将特征降至512长度，进而添加1层激活层，通过“softmax”激活函数，利用512长度的特征，进行分类；最后利用一层输出层，同时输出语义特征和二进制哈希特征，完成输入图像的深度特征的编码与分类。

在实际应用中，双分支深度卷积神经网络模型可以是在TensorFlow框架上进行搭建与实现，基于python语言完成的。

在使用双分支深度卷积神经网络模型的过程中，(1)可以将待检索遥感图像输入双分支深度卷积神经网络模型的特征提取模块，得到待检索遥感图像中多个图像块的多维特征。特征提取模块包括卷积层、池化层等。特征提取模块是基于经典残差神经网络模型搭建的。(2)将多维特征输入双分支深度卷积神经网络模型的过渡层，得到待检索遥感图像中多个图像块的一维特征。(3)将一维特征输入双分支深度卷积神经网络模型的第一全连接层，得到待检索遥感图像中多个图像块的512长度的特征。(4)将512长度的特征输入双分支深度卷积神经网络模型的第一激活层，得到待检索遥感图像中多个图像块的二进制哈希特征。(5)将一维特征输入双分支深度卷积神经网络模型的第二全连接层，得到待检索遥感图像中多个图像块的512长度的特征。(6)将512长度的特征输入双分支深度卷积神经网络模型的第二激活层，得到待检索遥感图像中多个图像块的语义特征。(7)将二进制哈希特征和语义特征输入双分支深度卷积神经网络模型的输出层，同时输出待检索遥感图像中多个图像块的语义特征和二进制哈希特征。

通过搭建的双分支深度卷积神经网络模型，能够对待检索遥感图像中多个图像块的语义特征与二进制哈希特征进行同步提取。

S302：制作样本集。

在样本集中，包括多个已知场景类别的遥感图像。多个已知场景类别的遥感图像的场景类别不同。多个已知场景类别的遥感图像中对象的尺度越小，对应的遥感图像的分辨率越高。也就是说，遥感图像中所包含的实物的实际尺寸越大，遥感图像的分辨率就越高。样本集中多个已知场景类别的训练图像的场景类别是根据训练图像中对象的尺度划分并进行存储的。

举例来说，假设样本集中包含有草地图像和体育场图像。一般来说，草地的面积较大，并且特征较为单一，因此，草地图像可以采用低分辨率图像，不仅能够达到对模型的训练效果，还能够减少图像存储空间的占用。而体育场的面积相对较小，因此，体育场图像需要采用高分辨率图像，这样才能够使模型准确地识别出体育场场景的特征。

这里需要说明的是，以上草地图像和体育场图像仅仅为举例，并不表示样本集中仅包含两种场景类别，可以包含多个场景类别。对于样本集中包含的场景类别的数量。此处不做限定。

为了使得双分支深度卷积神经网络模型能够对不同场景类别的遥感图像的语义特征和二进制哈希特征都进行准确地提取，针对不同的场景类别，就需要获取不同分辨率的遥感图像。场景类别越细致，场景类别相应的遥感图像的分辨率就越高。因此，可以参考国土地物分类体系标准以及常见的目标场景类别，构建出地物分类体系，进而获取完整场景类别的样本集。表2示出了国土地物分类体系标准。

表2

在制作样本集时，还需要基于不同分辨率的遥感图像，制作同一规格的样本集。具体的，可以基于分辨率为0.8m的高分辨率遥感图像，根据地物分类体系，制作包含草地、林地、裸土地、低矮居民区、高尔夫球场等遥感图像的样本集。每类样本的遥感图像I对应一类标签yi，用于双分支深度卷积神经网络模型的训练和测试。

在具体实施过程中，可以利用矢量参考文件，对典型场景类别的地物进行采样，制作包含草地、林地、建筑物、高尔夫球场、体育场等21类分类地物目标的样本集。其中，每个类型的样本包含的样本数量为1000，每个样本的大小为256*256，同时，每类样本对应一类标签。表3示出了样本集的结构。

表3

其中，样本集包括：训练样本集和验证样本集。具体的，可以将样本集随机分成8∶2的训练样本集和验证样本集。基于训练样本集对双分支深度卷积神经网络模型在ImageNet大数据集上的初始权重参数进行调试。

S303：采用训练样本集对双分支深度卷积神经网络模型进行训练。

也就是说，将训练样本集输入到双分支深度卷积神经网络模型中，实现网络权重的优化更新。

S304：采用验证样本集对双分支深度卷积神经网络模型进行验证。

根据双分支深度卷积神经网络模型的向后传播机制，直至验证样本集的验证精度达到预期的精度时停止迭代，进而完成整个双分支深度卷积神经网络模型参数的调试。表4示出了调试后的具体参数。

表4

参数	设置
		Epoch	100
Batchsize	100
		Learning Rate	1e-5

将双分支深度卷积神经网络模型的参数设置成表4中的参数，能够使得双分支深度卷积神经网络模型的精度在验证集上都达到90％及以上。

S305：判断验证精度是否大于预设精度；若是，则执行S306；若否，则再次执行S303。

S306：将验证后的双分支深度卷积神经网络模型作为最终的双分支深度卷积神经网络模型。

采用样本集训练后的双分支深度卷积神经网络模型，能够更加准确地输出遥感图像的语义特征和二进制哈希特征，进而提高遥感图像检索的准确性。

在实际应用中，本申请实施例提供的遥感图像检索方法，可以应用在遥感图像智能检索***中。图4示意性地示出了遥感图像智能检索***的架构图，在遥感图像智能检索***中，可以包括：

1、交互界面：基于B/S架构，在用户端提供了遥感影像样本集的展示、感兴趣区域选择、检索和检索结果的展示。用户通过浏览遥感影像并通过鼠标点击感兴趣区域位置，可以实现与感兴趣区域位置所在区域块特征最相似的n个位置的“秒级”返回结果。

2、检索引擎：***后台的检索引擎实现了检索功能。通过接收用户端提交的感兴趣区域位置的影像信息，如果该位置的影像进行过特征提取，则在特征库中进行搜索，获得其特征，如果该位置的影像没有进行过特征提取，则利用双分支深度卷积神经网络模型进行特征提取。将查询或提取后的特征再与特征索引库中的特征进行匹配，按照相似度排序，返回相似度最高的n个影像信息。

在构建索引结构时，可以按照一级语义特征，二级二进制哈希特征的结构构建多层索引结构。图5示意性地示出了二级索引的结构图，通过图5可以看出，先通过语义索引，能够避免遥感图像在错误的场景大类下进行二级二进制哈希特征的相似度计算，提高了遥感图像检索的准确性和效率。

3、特征数据库与特征索引库：能够实现遥感影像样本集语义特征和哈希特征的存储与索引。

为了验证本申请实施例提供的遥感图像检索方法具有较高的准确性，在北京市的0.8m的遥感图像上进行评估。其中，对样本集中13中典型地物进行了精度评价，评价标准为返回的50个结果中的正确检索率。表5示出了评估结果。

表5

目标	实验结果
		高尔夫球场	100％
体育场	100％
		飞机场	100％
污水处理厂	100％
		大型油气罐区	100％
农业大棚	100％
		立交桥	100％
变电站	50％
		坑塘	100％
河流水面	100％
		低矮居民区	100％
有层居民区	100％
		裸沙地	100％

通过表5可知，采用申请实施例提供的遥感图像检索方法，能够准确地对遥感图像进行检索。

基于同一发明构思，作为对上述遥感图像的检索方法的实现，本申请实施例还提供了一种遥感图像的检索装置。图6示意性地示出了遥感图像的检索装置的结构图，参见图6所示，该装置可以包括：

第一输入模块601，用于获取待检索遥感图像中多个图像块的至少两种特征；

存储模块602，用于将所述多个图像块的至少两种特征存储至特征索引库，并在所述特征索引库中构建所述待检索遥感图像的多个图像块的至少两种特征的多级索引关系；

第二输入模块603，用于获取用户感兴趣图像的至少两种特征；

索引模块604，用于将所述用户感兴趣图像的至少两种特征与所述特征索引库中所述待检索遥感图像的多个图像块的至少两种特征基于多级索引关系进行相似度计算；

输出模块605，用于将与所述用户感兴趣图像的至少两种特征相似度最高的所述待检索遥感图像的图像块作为检索结果。

基于前述实施例，所述待检索遥感图像的至少两种特征包括：第一特征和第二特征。

基于前述实施例，所述第一特征为语义特征，所述第二特征为哈希特征。基于前述实施例，所述第一输入模块，用于：

对所述待检索遥感图像进行切片处理，形成多个图像块；

通过双分支深度卷积神经网络模型对所述多个图像块进行计算，得到所述待检索遥感图像中多个图像块的语义特征和哈希特征；

其中，所述双分支深度卷积神经网络模型是采用训练样本集进行训练后得到的，所述训练样本集包括多个已知场景类别的训练图像，所述多个已知场景类别的训练图像的场景类别不同，所述多个已知场景类别的训练图像中对象的尺度越小，对应的训练图像的分辨率越高，所述训练样本集中多个已知场景类别的训练图像的场景类别是根据训练图像中对象的尺度划分并进行存储的。

基于前述实施例，所述第一输入模块，用于：

将所述待检索遥感图像输入所述双分支深度卷积神经网络模型的特征提取模块，得到所述待检索遥感图像中多个图像块的多维特征，所述特征提取模块至少包括卷积层和池化层，所述特征提取模块是基于经典残差神经网络模型搭建的；

将所述多维特征输入所述双分支深度卷积神经网络模型的过渡层，得到所述多个图像块的一维特征；

将所述一维特征输入所述双分支深度卷积神经网络模型的第一全连接层，得到所述多个图像块的固定长度的特征；

将所述固定长度的特征输入所述双分支深度卷积神经网络模型的第一激活层，得到所述多个图像块的二进制哈希特征；

将所述一维特征输入所述双分支深度卷积神经网络模型的第二全连接层，得到所述多个图像块的固定长度的特征；

将所述固定长度的特征输入所述双分支深度卷积神经网络模型的第二激活层，得到所述多个图像块的语义特征；

将所述二进制哈希特征和所述语义特征输入所述双分支深度卷积神经网络模型的输出层，同时输出所述多个图像块的语义特征和二进制哈希特征。

基于前述实施例，所述待检索遥感图像中多个图像块的至少两种特征包括：语义特征和哈希特征；所述用户感兴趣图像的至少两种特征包括：语义特征和哈希特征；

所述存储模块，用于：

根据所述训练集的尺度划分，对不同尺度下的场景地物进行分组，不同尺度的检索场景分组存储；

在所述特征索引库中，根据所述待检索遥感图像中多个图像块的语义特征通过层次化的聚类对所述待检索遥感图像的多个图像块进行分组；

对每个图像块的哈希特征利用聚类方法建立二级索引结构。

基于前述实施例，所述输入模块，用于：

当所述用户感兴趣图像来源于所述待检索遥感图像时，从所述特征索引库中获取所述用户感兴趣图像的至少两种特征；

当所述用户感兴趣图像非来源于所述待检索遥感图像时，从所述用户感兴趣图像中提取所述用户感兴趣图像的至少两种特征。

基于前述实施例，所述待检索遥感图像中多个图像块的至少两种特征包括：语义特征和哈希特征；所述用户感兴趣图像的至少两种特征包括：语义特征和哈希特征；

所述索引模块，用于：

根据所述用户感兴趣图像的语义特征在所述特征索引库中确定与所述用户感兴趣图像的语义特征相同的多个待选图像块；

将所述用户感兴趣图像的哈希特征与所述多个待选图像块进行特征距离计算；

基于前述实施例，所述输出模块，用于将与用户感兴趣图像的哈希特征的特征距离最小的待选图像块作为检索结果。

这里需要指出的是，以上遥感图像的检索装置实施例的描述，与上述遥感图像的检索方法实施例的描述是类似的，具有同遥感图像的检索方法实施例相似的有益效果。对于遥感图像的检索装置实施例中未披露的技术细节，请参照遥感图像的检索方法实施例的描述而理解。

基于同一发明构思，本发明实施例还提供了一种电子设备。图7示意性地示出了电子设备的结构图，参见图7所示，该电子设备可以包括：至少一个处理器701；以及与处理器701连接的至少一个存储器702、总线703；其中，处理器701、存储器702通过总线703完成相互间的通信；处理器701用于调用存储器702中的程序指令，以执行上述一个或多个实施例中的遥感图像的检索方法。

这里需要指出的是，以上电子设备实施例的描述，与上述遥感图像的检索方法实施例的描述是类似的，具有同遥感图像的检索方法实施例相似的有益效果。对于电子设备实施例中未披露的技术细节，请参照遥感图像的检索方法实施例的描述而理解。

基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，可以包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述一个或多个实施例中的遥感图像的检索方法。

这里需要指出的是，以上计算机可读存储介质实施例的描述，与上述遥感图像的检索方法实施例的描述是类似的，具有同遥感图像的检索方法实施例相似的有益效果。对于计算机可读存储介质实施例中未披露的技术细节，请参照遥感图像的检索方法实施例的描述而理解。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种遥感图像的检索方法，其特征在于，包括：

获取待检索遥感图像中多个图像块的至少两种特征；

将所述多个图像块的至少两种特征存储至特征索引库，并在所述特征索引库中构建所述待检索遥感图像的多个图像块的至少两种特征的多级索引关系；

获取用户感兴趣图像的至少两种特征；

将所述用户感兴趣图像的至少两种特征与所述特征索引库中所述待检索遥感图像的多个图像块的至少两种特征基于多级索引关系进行相似度计算；

将与所述用户感兴趣图像的至少两种特征相似度最高的所述待检索遥感图像的图像块作为检索结果；

所述待检索遥感图像中多个图像块的至少两种特征包括：语义特征和哈希特征；所述用户感兴趣图像的至少两种特征包括：语义特征和哈希特征；

所述在所述特征索引库中构建所述待检索遥感图像的多个图像块的至少两种特征的多级索引关系，包括：

在所述特征索引库中，根据所述待检索遥感图像中多个图像块的语义特征通过层次化的聚类对所述待检索遥感图像的多个图像块进行分组，建立第一级索引；在每个分组中对每个图像块的哈希特征利用聚类方法建立二级索引结构；

所述获取待检索遥感图像中多个图像块的至少两种特征，包括：

对所述待检索遥感图像进行切片处理，形成多个图像块；

通过双分支深度卷积神经网络模型对所述多个图像块进行计算，得到所述待检索遥感图像中多个图像块的语义特征和哈希特征；

其中，所述双分支深度卷积神经网络模型是采用训练样本集进行训练后得到的；采用验证样本集对所述双分支深度卷积神经网络模型进行验证，根据双分支深度卷积神经网络模型的向后传播机制，直至验证样本集的验证精度达到预期的精度时停止迭代，完成所述双分支深度卷积神经网络模型参数的调试，将验证后的双分支深度卷积神经网络模型作为最终的双分支深度卷积神经网络模型；

所述训练样本集和所述验证样本集组成样本集，所述样本集包括多个已知场景类别的图像，所述多个已知场景类别的图像的场景类别不同，所述多个已知场景类别的图像中对象的尺度越小，对应的图像的分辨率越高，所述样本集中多个已知场景类别的图像的场景类别是根据图像中对象的尺度划分并进行存储的。

2.根据权利要求1所述的方法，其特征在于，所述通过双分支深度卷积神经网络模型对所述待检索遥感图像进行计算，得到所述待检索遥感图像中多个图像块的语义特征和哈希特征，包括：

将所述待检索遥感图像输入所述双分支深度卷积神经网络模型的特征提取模块，得到所述待检索遥感图像中多个图像块的多维特征，所述特征提取模块至少包括卷积层和池化层，所述特征提取模块是基于经典残差神经网络模型搭建的；

将所述多维特征输入所述双分支深度卷积神经网络模型的过渡层，得到所述多个图像块的一维特征；

将所述一维特征输入所述双分支深度卷积神经网络模型的第一全连接层，得到所述多个图像块的固定长度的特征；

将所述固定长度的特征输入所述双分支深度卷积神经网络模型的第一激活层，得到所述多个图像块的二进制哈希特征；

将所述一维特征输入所述双分支深度卷积神经网络模型的第二全连接层，得到所述多个图像块的固定长度的特征；

将所述固定长度的特征输入所述双分支深度卷积神经网络模型的第二激活层，得到所述多个图像块的语义特征；

将所述二进制哈希特征和所述语义特征输入所述双分支深度卷积神经网络模型的输出层，同时输出所述多个图像块的语义特征和二进制哈希特征。

3.根据权利要求1所述的方法，其特征在于，所述获取用户感兴趣图像的至少两种特征，包括：

当所述用户感兴趣图像来源于所述待检索遥感图像时，从所述特征索引库中获取所述用户感兴趣图像的至少两种特征；

当所述用户感兴趣图像非来源于所述待检索遥感图像时，从所述用户感兴趣图像中提取所述用户感兴趣图像的至少两种特征。

4.根据权利要求1所述的方法，其特征在于，所述待检索遥感图像中多个图像块的至少两种特征包括：语义特征和哈希特征；所述用户感兴趣图像的至少两种特征包括：语义特征和哈希特征；

所述将所述用户感兴趣图像的至少两种特征与所述特征索引库中所述待检索遥感图像的多个图像块的至少两种特征基于多级索引关系进行相似度计算，包括：

根据所述用户感兴趣图像的语义特征在所述特征索引库中确定与所述用户感兴趣图像的语义特征相同的多个待选图像块；

将所述用户感兴趣图像的哈希特征与所述多个待选图像块进行特征距离计算；

所述将与所述用户感兴趣图像的至少两种特征相似度最高的所述遥感图像的图像块作为检索结果，包括：

将与用户感兴趣图像的哈希特征的特征距离最小的待选图像块作为检索结果。

5.一种遥感图像的检索装置，其特征在于，包括：

第一输入模块，用于获取待检索遥感图像中多个图像块的至少两种特征，所述待检索遥感图像中多个图像块的至少两种特征包括：语义特征和哈希特征；

所述获取待检索遥感图像中多个图像块的至少两种特征，包括：

对所述待检索遥感图像进行切片处理，形成多个图像块；

通过双分支深度卷积神经网络模型对所述多个图像块进行计算，得到所述待检索遥感图像中多个图像块的语义特征和哈希特征；

其中，所述双分支深度卷积神经网络模型是采用训练样本集进行训练后得到的；采用验证样本集对所述双分支深度卷积神经网络模型进行验证，根据双分支深度卷积神经网络模型的向后传播机制，直至验证样本集的验证精度达到预期的精度时停止迭代，完成所述双分支深度卷积神经网络模型参数的调试，将验证后的双分支深度卷积神经网络模型作为最终的双分支深度卷积神经网络模型；存储模块，用于储存样本集，所述训练样本集和所述验证样本集组成样本集，所述样本集包括多个已知场景类别的图像，所述多个已知场景类别的图像的场景类别不同，所述多个已知场景类别的图像中对象的尺度越小，对应的图像的分辨率越高，所述样本集中多个已知场景类别的图像的场景类别是根据图像中对象的尺度划分并进行存储的；

用于将所述多个图像块的至少两种特征存储至特征索引库，并在所述特征索引库中构建所述待检索遥感图像的多个图像块的至少两种特征的多级索引关系，所述在所述特征索引库中构建所述待检索遥感图像的多个图像块的至少两种特征的多级索引关系，包括：在所述特征索引库中，根据所述待检索遥感图像中多个图像块的语义特征通过层次化的聚类对所述待检索遥感图像的多个图像块进行分组，建立第一级索引；在每个分组中对每个图像块的哈希特征利用聚类方法建立二级索引结构；

第二输入模块，用于获取用户感兴趣图像的至少两种特征，所述用户感兴趣图像的至少两种特征包括：语义特征和哈希特征；

索引模块，用于将所述用户感兴趣图像的至少两种特征与所述特征索引库中所述待检索遥感图像的多个图像块的至少两种特征基于多级索引关系进行相似度计算；

输出模块，用于将与所述用户感兴趣图像的至少两种特征相似度最高的所述待检索遥感图像的图像块作为检索结果。

6.一种计算机可读存储介质，其特征在于，包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至4中任一项所述的方法。

Images