CN116821407A - 基于hgr最大相关性的跨模态遥感图像检索方法及装置 - Google Patents

Abstract

本申请中提供了一种基于HGR最大相关性的跨模态遥感图像检索方法及装置，所述方法包括：对查询遥感图像进行特征提取，得到查询欧式距离特征和查询HGR特征；计算查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，计算查询HGR特征与检索特征集中每个检索HGR特征之间的HGR最大相关性得分；基于DS证据理论，将欧式距离得分和HGR最大相关性得分进行融合得到融合质量函数；按照融合质量函数的从大到小顺序对检索遥感图像排序，得到最终检索结果。利用不同模态之间的HGR最大相关性来更好地消除模态差异造成的异质性差距，将不同模态遥感图像之间的欧式距离特征和HGR特征结合，增强了检索结果的可靠性。

Description

基于HGR最大相关性的跨模态遥感图像检索方法及装置

技术领域

本申请涉及遥感大数据的信息处理与挖掘领域，特别涉及一种基于HGR最大相关性的跨模态遥感图像检索方法及装置。

背景技术

随着遥感数据的***性增长，如何从大规模遥感数据集中获取相关数据具有重要作用。跨模态遥感图像检索是指从不同模态的遥感图像(例如，光学遥感图像、红外遥感图像等)中检索出具有相似语义信息的遥感图像。由于不同模态的遥感图像在图像分辨率、图像表达方式、光学特性等方面存在差异，导致跨模态遥感图像检索是一个非常具有挑战性的问题。

相关技术中，利用多深度学习策略来弥补不同模态之间的异质性差距，目前大多数基于深度神经网络的跨模态的遥感图像检索方法，将来自不同模态的数据样本投射到一个低维的公共空间，并在训练阶段优化欧氏距离约束下的投影特征。该方法虽然取得了明显优于传统方法的结果，但只根据欧氏距离优化特征表示最终可能会出现信息冗余，即少数特征项可能会在相似性评价中占主导地位，导致检索结果不可靠，降低检索准确度。

因此，如何更好的评估不同模态遥感图像之间的关系，设计更加可靠的跨模态遥感图像检索方法，是本领域人员亟待解决的技术问题。

发明内容

鉴于上述问题，本申请实施例提供了一种基于HGR最大相关性的跨模态遥感图像检索方法及装置，以便克服上述问题或者至少部分地解决上述问题。

本申请实施例的第一方面，公开了一种基于HGR最大相关性的跨模态遥感图像检索方法，所述方法包括：

对查询遥感图像进行特征提取，得到查询欧式距离特征和查询HGR特征；

计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性得分，所述检索特征集是预先对检索遥感图像集进行特征提取得到的检索特征集，所述检索遥感图像集中的检索遥感图像和所述查询遥感图像是不同模态的遥感图像；

基于DS证据理论，将所述欧式距离得分和所述HGR最大相关性得分进行融合计算，得到融合质量函数，所述融合质量函数表征所述查询遥感图像与所述检索遥感图像之间关联性；

按照所述融合质量函数的从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果。

可选地，所述基于DS证据理论，将所述欧式距离得分和所述HGR最大相关性得分进行融合计算，得到融合质量函数，包括：

定义得分假设情况，所述得分假设情况包括：得分可靠、得分不可靠、得分可靠性不确定和空集；

根据所述得分假设情况，定义欧氏距离得分在不同得分假设情况的质量函数，和HGR最大相关性得分在不同得分假设情况的质量函数；

按照DS证据理论融合规则，对得分假设情况存在交集的欧氏距离质量函数和HGR最大相关性质量函数进行融合，得到融合质量函数。

可选地，所述按照DS证据理论融合规则，对得分假设情况存在交集的欧氏距离质量函数和HGR最大相关性质量函数进行融合，包括：

针对得分可靠的假设情况，将得分可靠的欧氏距离质量函数、得分可靠的HGR最大相关性质量函数、得分可靠性不确定的欧氏距离质量函数、得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分可靠融合质量函数；

针对得分不可靠的假设情况，将得分不可靠的欧氏距离质量函数、得分不可靠的HGR最大相关性质量函数、所述得分可靠性不确定的欧氏距离质量函数、所述得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分不可靠融合质量函数；

针对得分可靠性不确定的假设情况，将所述得分可靠性不确定的欧氏距离质量函数和所述得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分可靠性不确定融合质量函数；

针对得分为空集的假设情况，将得分空集融合质量函数等于0。

可选地，按照所述融合质量函数的从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果，包括：

基于DS证据理论中的最大化plausibility准则，将所述得分可靠融合质量函数和所述得分不可靠融合质量函数进行融合，得到每个所述检索遥感图像的决策质量函数；

按照所述决策质量函数进行从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果。

可选地，所述基于HGR最大相关性的跨模态遥感图像检索方法是通过预先训练的检索模型实现的，所述检索模型通过以下方式进行训练：

构建训练数据集，所述训练数据集包括：由第一模态遥感图像和第二模态遥感图像组成的成对遥感图像、每对遥感图像的类别标签；

将所述成对的遥感图像的输入到检索模型进行处理，得到每个模态遥感图像对应的欧式距离特征和HGR特征，并对所述欧式距离特征和所述HGR特征进行处理，得到预测特征；

根据所述欧式距离特征计算欧式距离损失，根据所述HGR特征计算HGR最大相关性损失，根据所述预测特征和对应的类别标签计算出预测损失；

基于所述欧式距离损失、所述HGR最大相关性损失和所述预测损失对所述检索模型的参数进行更新，满足训练结束条件后，得到训练好的检索模型。

可选地，所述欧式距离损失用于度量不同模态遥感图像对应的欧氏距离特征之间的差异，所述欧式距离损失包括：相似性损失和排序损失；

所述相似性损失J _I表示为：

其中，N表示一个批次训练数据对的总量，v_i、s_i分别表示成对遥感图像中的第一模态遥感图像和第二模态遥感图像，f_E(·)、g_E(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的欧氏距离特征；

所述排序损失J_R表示为：

其中，d(·,·)表示欧式距离，分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的正样本，/>分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的负样本，margin表示三联体损失中的优化边界。

可选地，所述HGR最大相关性损失用于最大化不同模态遥感图像的HGR特征相关性，所述HGR最大相关性损失包括：相关性损失与相关性排序损失；

所述相关性损失J_C表示为：

其中，tr(·)表示矩阵的迹，cov(·)表示协方差矩阵，v_i、s_i分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像，f_H(·)、g_H(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的HGR特征；

所述相关性排序损失J_CR表示为：

其中，v_i、s_i分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像，分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的正样本，/>分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的负样本。

可选地，所述预测损失使用均方差损失计算，所述预测损失J _P表示为：

其中，v_i、s_i分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像，f_E(·)、g_E(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的欧氏距离特征，f_H(·)、g_H(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的HGR特征，y_i表示成对遥感图像的类别标签。

可选地，所述计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，包括：

计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离；

根据所述欧式距离的最大值和最小值，对所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离进行归一化处理，得到欧式距离得分。

可选地，所述计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性得分，包括：

计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性系数；

根据所述相关性系数的最大值和最小值，对所述查询HGR特征与检索特征集中每个检索HGR特征之间的HGR最大相关性系数进行归一化处理，得到HGR最大相关性得分。

本申请实施例的第二方面，公开了一种基于HGR最大相关性的跨模态遥感图像检索装置，所述装置包括：

特征提取模块，用于对查询遥感图像进行特征提取，得到查询欧式距离特征和查询HGR特征；

得分计算模块，用于计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性得分，所述检索特征集是预先对检索遥感图像集进行特征提取得到的检索特征集，所述检索遥感图像集中的检索遥感图像和所述查询遥感图像是不同模态的遥感图像；

得分融合模块，用于基于DS证据理论，将所述欧式距离得分和所述HGR最大相关性得分进行融合计算，得到融合质量函数，所述融合质量函数表征所述查询遥感图像与所述检索遥感图像之间关联性；

结果排序模块，用于按照所述融合质量函数的从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果。

本申请实施例包括以下优点：

在本申请实施例中，同时考虑不同模态遥感图像之间的欧氏距离相关关系和HGR最大相关性来更好地消除模态差异造成的，解决信息冗余问题，以实现高精度的跨模态遥感图像检索。

在进行跨模态遥感图像检索时，通过对查询遥感图像进行特征提取，得到查询欧式距离特征和查询HGR特征，再分别计算出查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分和查询HGR特征与检索特征集中每个检索HGR特征之间的HGR最大相关性得分，进而利用DS证据理论，将欧式距离得分和HGR最大相关性得分进行融合计算，得到能够表征查询遥感图像与检索遥感图像之间关联性的融合质量函数，并按照融合质量函数的从大到小排序，得到最终检索结果。

相较于现有方法，本申请实施进一步利用不同模态之间的HGR最大相关性来更好地消除模态差异造成的异质性差距，将不同模态遥感图像之间的欧式距离特征和HGR特征结合，增强了检索结果的可靠性；同时最终检索结果是基于DS证据理论计算的融合质量函数确定的，而不是简单地对欧氏距离或余弦相似度进行排序，进一步保证了最终检测结果的可靠性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于HGR最大相关性的跨模态遥感图像检索方法的步骤流程图；

图2是本申请实施例提供的一种基于HGR最大相关性的跨模态遥感图像检索方法的流程示意图；

图3是本申请实施例提供的一种实现跨模态遥感图像检索的检索模型的训练过程流程示意图；

图4是本申请实施例提供的一种基于HGR最大相关性的跨模态遥感图像检索装置的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1所示，图1示出了本申请实施例提供的一种基于HGR最大相关性的跨模态遥感图像检索方法的步骤流程图。如图1所示，本申请实施例提供的一种基于HGR最大相关性的跨模态遥感图像检索方法具体可以包括步骤S110和步骤S140：

步骤S110：对查询遥感图像进行特征提取，得到查询欧式距离特征和查询HGR特征。

本申请实施例中，基于内容的跨模态遥感图像检索的目标是给定某一模态的查询遥感图像(如光学遥感图像)，并在在另一模态的遥感图(如SAR合成孔径雷达遥感图像)集中搜索语义最相关的遥感图像。其中，语义相关的遥感图像是指遥感图像中表征的内容相关。例如，若两个不同模态的遥感图像都对应农田区域，则这两个遥感图像的语义相关；若一个模态遥感图像对应农田区域，另一个模态遥感图像对应公路区域，则这两个遥感图像语义不相关。

查询遥感图像可以是任意一种模态的遥感图像，例如，查询遥感图像可以是光学遥感图像、SAR遥感图像、红外遥感图像中的任何一种。欧式距离特征是基于欧氏距离优化的特征，HGR特征是基于HGR最大相关性优化的特征，HGR特征表征不同模态之间的正交相关信息。

具体实施时，将查询遥感图像输入到相应模态卷积神经网络中进行特征提取，得到该查询遥感图像对应的欧式距离特征和HGR特征，即查询欧式距离特征和查询HGR特征。例如，将光学遥感图像输入到光学遥感图像卷积神经网络进行特征提取，得到该光学遥感图像的欧式距离特征和HGR特征。其中，用于特征提取的卷积神经网络(例如，AlexNet网络)可以为预先训练好的独立于本申请实施例中检索模型的网络，也可以是集成在本申请实施例中检索模型中的一个子网络。

步骤S120：计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性得分，所述检索特征集是预先对检索遥感图像集进行特征提取得到的检索特征集，所述检索遥感图像集中的检索遥感图像和所述查询遥感图像是不同模态的遥感图像。

本申请实施例中，在检索遥感图像集中包含有大量不同于查询遥感图像的其他模态遥感图像，例如，若检索遥感图像是光学遥感图像，则检索遥感图像集中的图像均是不同于光学遥感图像中的其他模态遥感图像，如SAR遥感图像、红外遥感图像等。

检索特征集包括欧式距离特征集和HGR特征集，欧式距离特征集中每个欧式距离特征与HGR特征集中的HGR特征对应，对应的欧式距离特和HGR特征共同表征一个检索遥感图像的特征，具体地，将检索遥感图像集中的检索遥感图像输入到相应卷积神经网络进行特征提取，得到每个检索遥感图像对应的检索欧式距离特征和检索HGR特征，所有检索欧式距离特征构成欧式距离特征集，所有检索HGR特征构成检索HGR特征集。

其中，欧式距离得分表征查询遥感图像和检索遥感图像之间的欧氏距离相关关系，HGR最大相关性得分表征查询遥感图像和检索遥感图像之间的HGR最大相关性。通过计算欧式距离得分和HGR最大相关性得分来评估不同模态遥感图像之间的关系，以便在后续步骤中得到更加可靠的检索结果。

在一种可选的实施例中，所述计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，包括：

计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离；根据所述欧式距离的最大值和最小值，对所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离进行归一化处理，得到欧式距离得分。

具体地，查询欧式距离特征与检索欧氏距离特征之间的欧式距离计算可表示为：

其中，v_q表示查询遥感图像，v_j表示检索特征集中的第j个检索遥感图像，f_E(v_q)表示查询遥感图像的欧氏距离特征，f_E(v_q)_k表示查询遥感图像的欧氏距离特征的第k个元素，g_E(v_j)表示第j个检索遥感图像的欧氏距离特征，g_E(v_j)_k表示第j个检索遥感图像的欧氏距离特征的第k个元素。

并且，为了便于统一的比较，在计算完检索特征集中每个检索欧氏距离特征和查询欧式距离特征之间的欧式距离后，确定出欧式距离的最大值和最小值，进而根据最大值和最小值进行归一化处理，将每个欧式距离处理为0到1之间的欧式距离得分。

在一种可选的实施例中，所述计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性得分，包括：

计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的相关性系数；根据所述相关性系数的最大值和最小值，对所述查询HGR特征与检索特征集中每个检索HGR特征之间的相关性系数进行归一化处理，得到HGR最大相关性得分。

具体地，查询HGR特征与检索特征集中每个检索HGR特征之间的相关性系数可表示为：

其中，f_H(v_q)表示查询遥感图像的HGR特征，g_H(s_j)表示第j个检索遥感图像的欧氏HGR特征。

同样地，为了便于统一的比较，在计算完检索特征集中每个检索HGR特征和查询HGR特征之间的相关性系数后，确定出相关性系数的最大值和最小值，进而根据最大值和最小值进行归一化处理，将每个相关性系数处理为0到1之间的HGR最大相关性得分。

步骤S130：基于DS证据理论，将所述欧式距离得分和所述HGR最大相关性得分进行融合计算，得到融合质量函数，所述融合质量函数表征所述查询遥感图像与所述检索遥感图像之间关联性。

本申请实施例中，欧式距离得分和HGR最大相关性得分能够从不同的角度反映查询遥感图像和检索遥感图像之间的关联性。为了得到可靠的检索结果，利用DS证据理论将欧式距离得分和HGR最大相关性得分进行融合，得到能够更加全面反映查询遥感图像和检索遥感图像相关性的融合质量函数。

在一种可选的实施例中，所述基于DS证据理论，将所述欧式距离得分和所述HGR最大相关性得分进行融合计算，得到融合质量函数，包括步骤S130-1至步骤S130-3：

步骤S130-1：定义得分假设情况，所述得分假设情况包括：得分可靠、得分不可靠、得分可靠性不确定和空集。

本申请实施例中，对于每个欧氏距离得分和每个HGR最大相关性得分都存在得分可靠、得分不可靠、得分可靠性不确定和空集四种假设，其中，空集是指得分不属于得分可靠、得分不可靠、得分可靠性不确定三种假设情况以外的情况。

具体地，得分假设情况可表示为：

A₁:得分可靠

A₂:得分不可靠

A₃:得分可靠性不确定

A₄:空集

步骤S130-2：根据所述得分假设情况，定义欧氏距离得分在不同得分假设情况的质量函数，和HGR最大相关性得分在不同得分假设情况的质量函数。

具体地，欧氏距离质量函数表示为：

m₁(A₁)＝b₁ s_EUC

m₁(A₂)＝b₁(1-s_EUC)

m₁(A₃)＝1-b₁

m₁(A₄)＝0

其中，m₁(A₁)表示得分可靠的欧氏距离质量函数，m₁(A₂)表示得分不可靠的欧氏距离质量函数，m₁(A₃)表示分可靠性不确定的欧氏距离质量函数，m₁(A₄)表示空集的欧氏距离质量函数，s_EUC表示欧氏距离得分，b₁表示控制欧氏距离得分比重的超参数，b₁根据实际情况而设定。在控制欧氏距离得分比重的超参数确定的情况下，欧氏距离质量函数是一个只与欧氏距离得分相关的函数，将欧氏距离得分带入到不同的得分假设情况的函数中，得到每个欧氏距离得分对应的欧氏距离质量函数。

HGR最大相关性质量函数表示为：

m₂(A₁)＝b₂s_HGR

m₂(A₂)＝b₂(1-s_HGR)

m₂(A₃)＝1-b₂

m₂(A₄)＝0

其中，m₂(A₁)表示得分可靠的HGR最大相关性质量函数，m₂(A₂)表示得分不可靠的HGR最大相关性质量函数，m₂(A₃)表示分可靠性不确定的HGR最大相关性质量函数，m₂(A₄)表示空集的HGR最大相关性质量函数，s_HGR表示HGR最大相关性得分，b₂表示控制HGR最大相关性得分比重的超参数，b₂根据实际情况而设定。在控制HGR最大相关性得分比重的超参数确定的情况下，HGR最大相关性质量函数是一个只与HGR最大相关性得分相关的函数，将HGR最大相关性得分带入到不同的得分假设情况的函数中，得到每个HGR最大相关性得分对应的HGR最大相关性质量函数。

步骤S130-3：按照DS证据理论融合规则，对得分假设情况存在交集的欧氏距离质量函数和HGR最大相关性质量函数进行融合，得到融合质量函数。

本申请实施例中，得分假设情况存在交集的情况具体包括：得分可靠和得分可靠之间的交集为得分可靠，得分可靠和得分可靠性不确定之间的交集为得分可靠，得分不可靠和得分不可靠之间的交集为得分不可靠，得分可靠性不确定和可靠性不确定之间的交集为得分可靠性不确定。

示例地，融合质量函数可表示为：

其中，m表示融合质量函数，K表示所有交集不为空的得分假设的质量函数求和，A为得分的假设情况，包括得分可靠A₁、得分不可靠A₂、得分可靠性不确定A₃和空集A₄。

进一步地，所述按照DS证据理论融合规则，对得分假设情况存在交集的欧氏距离质量函数和HGR最大相关性质量函数进行融合，包括A1至A4四种情况：

A1：针对得分可靠的假设情况，将得分可靠的欧氏距离质量函数、得分可靠的HGR最大相关性质量函数、得分可靠性不确定的欧氏距离质量函数、得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分可靠融合质量函数。

具体地，得分可靠的欧氏距离质量函数m₁(A₁)和得分可靠的HGR最大相关性质量函数m₂(A₁)存在交集，得分可靠的欧氏距离质量函数m₁(A₁)和得分可靠性不确定的HGR最大相关性质量m₂(A₃)存在交集，得分可靠性不确定的欧氏距离质量函数m₁(A₃)和得分可靠的HGR最大相关性质量函数m₂(A₁)存在交集，因此得分可靠融合质量函数m(A₁)表示为：

A2：针对得分不可靠的假设情况，将得分不可靠的欧氏距离质量函数、得分不可靠的HGR最大相关性质量函数、所述得分可靠性不确定的欧氏距离质量函数、所述得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分不可靠融合质量函数。

具体地，得分不可靠的欧氏距离质量函数m₁(A₂)和得分不可靠的HGR最大相关性质量函数m₂(A₂)存在交集，得分不可靠的欧氏距离质量函数m₁(A₂)和得分可靠性不确定的HGR最大相关性质量m₂(A₃)存在交集，得分可靠性不确定的欧氏距离质量函数m₁(A₃)和得分不可靠的HGR最大相关性质量函数m₂(A₂)存在交集，因此得分不可靠质量融合函数m(A₂)表示为：

A3：针对得分可靠性不确定的假设情况，将所述得分可靠性不确定的欧氏距离质量函数和所述得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分可靠性不确定融合质量函数。

具体地，得分可靠性不确定融合质量函数m(A₃)表示为：

A4：针对得分为空集的假设情况，将得分空集融合质量函数等于0。即：

m(A₄)＝0

步骤S140：按照所述融合质量函数的从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果。

本申请实施例中，融合质量函数表征查询遥感图像与检索遥感图像之间关联性，融合质量函数越大表示查询遥感图像与检索遥感图像之间关联性越大，根据融合质量函数的从大到小的顺序进行排序，因此在最终的检索结果中，排序越靠前的检索遥感图像是与查询遥感图像相关性越强的图像。由于最终检索结果是基于DS证据理论计算的融合质量函数确定的，而不是简单地对欧氏距离或余弦相似度进行排序，进而保证了最终检索结果的可靠性。

在一种可选的实施例中，利用得分可靠和得分可靠性不确定两种假设情况对应的质量函数来进行决策，具体地，按照所述融合质量函数的从大到小排序，得到最终检索结果，包括：

基于DS证据理论中的最大化plausibility准则，将所述得分可靠融合质量函数和所述得分不可靠融合质量函数进行融合，得到每个所述检索遥感图像的决策质量函数；按照所述决策质量函数进行从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果。

其中，将得分可靠融合质量函数m(A₁)和得分不可靠融合质量函数m(A₃)进行融合，是指将得分可靠融合质量函数和得分不可靠融合质量函数进行相加，得到每个检索遥感图像的决策质量函数，具体地决策质量函数表示为：

PLB(A)＝m(A₁)+m(A₃)

例如，对于一个查询遥感图像在一个包含1000其他模态遥感图像的检索遥感图像集中进行检索，基于步骤S120的处理，得到一个包含1000个值的欧氏距离得分(即得到一个长度为1000的欧氏距离得分向量)，和另一个包含1000个值的HGR最大相关性得分(即得到一个长度为1000的HGR最大相关性得分向量)，然后基于步骤S130的方法对这两个长度为1000的向量进行融合，最终融合出来1000个包含4个得分假设的融合质量函数，在进行排序时，将得分可靠融合质量函数和得分不可靠融合质量函数进行融合，得到1000个PLB(A)值，并将1000个PLB(A)值按照从大到小的顺序，对检索遥感图像进行排序。

图2示意出了本申请实施例中基于HGR最大相关性的跨模态遥感图像检索方法的流程示意图。首先对查询遥感图像进行特征提取，得到查询欧式距离特征和查询HGR特征，并计算查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，以及查询HGR特征与检索特征集中每个检索HGR特征之间的HGR最大相关性得分，基于DS证据理论，将欧式距离得分和HGR最大相关性得分进行融合计算得到融合质量函数，按照融合质量函数的从大到小的顺序，对检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果。

在本申请实施例中，所述基于HGR最大相关性的跨模态遥感图像检索方法是通过预先训练的检索模型实现的。具体地，将检索遥感图像集中的遥感图像输入到相应卷积神经网络，选择对应的卷积神经网络来进行特征提取，具体地，采用AlexNet结构作为遥感图像的特征提取网络，特征输出层以及标签输出层由全连接层表示，最终输出的欧氏距离特征和HGR最大相关性特征的长度均为512，标签输出层的长度为10，得到检索特征集。再将查询遥感图像输入到相应模态的卷积神经网络中，网络的倒数第二层为得到的欧氏距离特征与HGR最大相关性特征。进而计算查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，以及查询HGR特征与检索特征集中每个检索HGR特征之间的HGR最大相关性得分，基于DS证据理论计算得到融合质量函数，按照融合质量函数的从大到小的顺序进行排序，得到最终检索结果。

在一种可选的实施例中，所述检索模型通过以下方式进行训练，具体包括步骤B1至步骤B4：

步骤B1：构建训练数据集，所述训练数据集包括：由第一模态遥感图像和第二模态遥感图像组成的成对遥感图像、每对遥感图像的类别标签。

其中，第一模态遥感图像和第二模态遥感图像分别表示两种不同模态的遥感图像，例如，第一模态遥感图像为光学遥感图像，第二模态遥感图像为SAR遥感图像。在训练数据集中的遥感图像是成对存在的，成对存在的遥感图像属于同一个类别，具体地，训练数据集可表示为：其中，第一模态遥感图像集表示为/>第二模态遥感图像集表示为/>每对第一模态遥感图像和第二模态遥感图像对应一个类别标签，类别标签表示为y_i＝[y_i1,…,y_ic]∈R^c。

步骤B2：将所述成对的遥感图像的输入到检索模型进行处理，得到每个模态遥感图像对应的欧式距离特征和HGR特征，并对所述欧式距离特征和所述HGR特征进行处理，得到预测特征。

本申请实施例中，针对不同模态的遥感图像，以第一模态遥感图像和第二模态遥感图像相互检索的方式进行训练。将训练数据集中成对的遥感图像的输入到检索模型进行处理，具体地，检索模型中的深度神经网络分别提取第一模态遥感图像和第二模态遥感图像的高阶特征(即欧式距离特征和HGR特征)，再将每个模态遥感图像的高阶特征输入一个全连接网络进行处理，得到预测特征。

对于训练数据中的每对模态遥感图像，都会得到一组基于欧氏距离优化的特征(欧氏距离特征)，即第一模态遥感图像的欧氏距离特征f_E(v_i)和第二模态遥感图像的欧氏距离特征g_E(s_i)；一组基于HGR最大相关性优化的特征(即HGR特征)，即第一模态遥感图像的HGR特征f_H(v_i)和第二模态遥感图像的HGR特征g_H(s_i)。为了加快训练速度，检索模型的骨干神经网络可以选择在大规模数据集上预训练过的模型，同时输出标签特征的全连接网络采用权重共享(weightsharing)策略，以得到更加准确的检索结果。

步骤B3：根据所述欧式距离特征计算欧式距离损失，根据所述HGR特征计算HGR最大相关性损失，根据所述预测特征和对应的类别标签计算出预测损失。

本申请实施例中，检索模型训练的损失函数由欧式距离损失、HGR最大相关性损失和预测损失组成，具体地：

(1)欧式距离损失用于度量不同模态遥感图像对应的欧氏距离特征之间的差异，所述欧式距离损失包括：相似性损失和排序损失。其中，相似性损失直接度量成对数据欧氏距离特征之间的相似性，在欧式空间中优化成对数据欧氏距离特征的距离最小化，所述相似性损失J_I表示为：

其中，N表示一个批次训练数据对的总量，v_i、s_i分别表示成对遥感图像中的第一模态遥感图像和第二模态遥感图像，f_E(·)、g_E(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的欧氏距离特征。

排序损失是一种常用的损失函数，通过在一个批次训练数据中进行正采样与负采样，得到正样本和负样本，以训练深度神经网络以学习图像之间的相似度或距离度量。其中，遥感图像的正样本是指在在同一批次训练数据中采集与该遥感图像属于同类区域的另一模态的遥感图像，遥感图像的负样本是指在在同一批次训练数据中采集与该遥感图像不属于同类区域的另一模态的遥感图像。例如，以光学遥感图像和SAR遥感图像为例，对应农田区域的光学图像，农田区域的SAR遥感图像是正样本，公路区域的SAR遥感图像就是负样本。

由于遥感图像检索任务本质上是一个排序问题，通过排序损失直接学习样本的排序关系来优化欧式距离特征的训练过程。具体来说，排序损失旨在最小化查询遥感图像与检索遥感图像集中相关遥感图像之间的距离，同时最大化查询遥感图像与无关遥感图像之间的距离。具体地，该排序损失分别由两个模态三联体损失组成，所述排序损失J_R表示为：

其中，d(·,·)表示欧式距离，分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的正样本，/>分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的负样本，margin表示三联体损失中的优化边界。

最终，欧式距离损失函数J_EUC的表示为：

J_EUC＝J_I+J_R

(2)HGR最大相关性损失用于最大化不同模态遥感图像的HGR特征相关性，所述HGR最大相关性损失包括：相关性损失与相关性排序损失。HGR最大相关性是一个用于检测变量之间的复杂、非线性相关性的工具，目的是得到一组承载最大相关信息量的特征。对于随机变量X,Y∈R^K，求解HGR最大相关性可描述为以下优化问题：

其中，cov(·)表示协方差矩阵，I表示单位矩阵，E(·)表示数学期望。表示最大相关性变换。由于HGR最大相关性存在正交性约束，直接求解以上问题需要矩阵分解，在高维连续数据的情况下，计算相关性复杂性高，并且存在数值不稳定性的问题。为了解决这一问题，本申请实施例采用HGR最大相关性的近似，软-HGR(HGR_s)作为优化目标，具体表达为：

其中，tr(·)表示矩阵的迹。

因此，利用相关性损失直接度量不同模态遥感图像的HGR特征的相关程度，所述相关性损失J_C表示为：

其中，tr(·)表示矩阵的迹，cov(·)表示协方差矩阵，v_i、s_i分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像，f_H(·)、g_H(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的HGR特征。

相关性排序损失则是针对每对遥感图像，在同一批次的训练数据中进行正采样与负采样，使得每对遥感图像与其在另一模态遥感图像中采样所得的正样本相关性尽可能大，与负样本的相关性尽可能小，以此来学习不同模态遥感图像间相关性的排序关系，所述相关性排序损失J_CR表示为：

其中，v_i、s_i分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像，分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的正样本，/>分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的负样本。

最终，HGR最大相关性损失的表达式为：

J_HGR＝J_C+J_CR

(3)通过预测损失可以充分利用标签信息有监督地训练检索模型，所述预测损失使用均方差损失计算，所述预测损失表示为：

其中，v_i、s_i分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像，f_E(·)、g_E(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的欧氏距离特征，f_H(·)、g_H(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的HGR特征，y_i表示成对遥感图像的类别标签。

因此，检索模型训练过程中总体的损失函数表示为：

J＝J_P+αJ_EUC+βJ_HGR

其中，α是控制欧式距离损失比例的超参数，β是控制HGR最大相关性损失比例的超参数。

步骤B4：基于所述欧式距离损失、所述HGR最大相关性损失和所述预测损失对所述检索模型的参数进行更新，满足训练结束条件后，得到训练好的检索模型。

具体地，根据欧式距离损失、所述HGR最大相关性损失和所述预测损失，选取适当步长和超参数对模型进行训练，采用Adam优化器优化神经网络直至收敛。例如，设置步长设为10^-4，训练阶段的超参数α和β均设为10^-2进行训练。

在本申请实施例中，通过在欧氏距离约束和HGR最大相关约束下联合学习两个特征来解决信息冗余问题，欧氏距离约束和HGR最大相关约束能够更好的量测工具评估不同模态之间的关系，进而得到的检索模型具有更好可靠性。

图3以光学遥感图像和SAR遥感图像为例，示意出了本申请实施例中检索模型的训练过程，将光学遥感图像输入到检索模型的光学遥感图像卷积神经网络进行处理，得到光学遥感图像对应的欧式距离特征和HGR特征，将SAR遥感图像输入到检索模型的SAR遥感图像卷积神经网络进行处理，得到SAR遥感图像对应的欧式距离特征和HGR特征；在分别对光学遥感图像对应的欧式距离特征和HGR特征和SAR遥感图像对应的欧式距离特征和HGR特征进行处理，得到预测特征；通过在一个批次训练数据中进行正采样与负采样，得到正样本和负样本，基于正样本、负样本、光学遥感图像的欧式距离特征和SAR遥感图像的欧式距离特征计算欧式距离损失，基于正样本、负样本、光学遥感图像的HGR特征和SAR遥感图像的HGR特征计算HGR最大相关性损失，基于预测特征和遥感图像的类别标签计算预测损失；最后基于欧式距离损失、HGR最大相关性损失和预测损失对检索模型网络参数进行更新。

表1为本实施例提出的方法与目前四种主流的跨模态检索方法(CCA、Corr-AE、ACMR、CMIR-Net)的检索性能对比。

表1本实施例提出的方法与现有方法的检索性能对比

采用主流的检索模型评价指标全类平均精度比较不同方法的检索准确度。从表1可以看出，本实施例提出的基于HGR最大相关性增强的方法显著提升了检索准确率，因此该方法实际中具备很高的应用价值。

在本申请实施例中，同时考虑不同模态遥感图像之间的欧氏距离相关关系和HGR最大相关性来更好地消除模态差异造成的，解决信息冗余问题，将不同模态遥感图像之间的欧式距离特征和HGR特征结合，增强了检索结果的可靠性；同时最终检索结果是基于DS证据理论计算的融合质量函数确定的，而不是简单地对欧氏距离或余弦相似度进行排序，进一步保证了最终检测结果的可靠性。

参照图4所示，示出了本申请实施例的一种基于HGR最大相关性的跨模态遥感图像检索装置的结构示意图，如图4所示，所述装置包括：

特征提取模块41，用于对查询遥感图像进行特征提取，得到查询欧式距离特征和查询HGR特征；

得分计算模块42，用于计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性得分，所述检索特征集是预先对检索遥感图像集进行特征提取得到的检索特征集，所述检索遥感图像集中的检索遥感图像和所述查询遥感图像是不同模态的遥感图像；

得分融合模块43，用于基于DS证据理论，将所述欧式距离得分和所述HGR最大相关性得分进行融合计算，得到融合质量函数，所述融合质量函数表征所述查询遥感图像与所述检索遥感图像之间关联性；

结果排序模块44，用于按照所述融合质量函数的从大到小排序，得到最终检索结果。

在一种可选的实施例中，所述得分融合模块，包括：

假设定义模块，用于定义得分假设情况，所述得分假设情况包括：得分可靠、得分不可靠、得分可靠性不确定和空集；

得分计算模块，用于根据所述得分假设情况，定义欧氏距离得分在不同得分假设情况的质量函数，和HGR最大相关性得分在不同得分假设情况的质量函数；

融合计算模块，用于按照DS证据理论融合规则，对得分假设情况存在交集的欧氏距离质量函数和HGR最大相关性质量函数进行融合，得到融合质量函数。

在一种可选的实施例中，所述融合计算模块，包括：

第一融合计算子模块，用于针对得分可靠的假设情况，将得分可靠的欧氏距离质量函数、得分可靠的HGR最大相关性质量函数、得分可靠性不确定的欧氏距离质量函数、得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分可靠融合质量函数；

第二融合计算子模块，用于针对得分不可靠的假设情况，将得分不可靠的欧氏距离质量函数、得分不可靠的HGR最大相关性质量函数、所述得分可靠性不确定的欧氏距离质量函数、所述得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分不可靠融合质量函数；

第三融合计算子模块，用于针对得分可靠性不确定的假设情况，将所述得分可靠性不确定的欧氏距离质量函数和所述得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分可靠性不确定融合质量函数；

第四融合计算子模块，用于针对得分为空集的假设情况，将得分空集融合质量函数等于0。

在一种可选的实施例中，所述结果排序模块，包括：

决策函数模块，用于基于DS证据理论中的最大化plausibility准则，将所述得分可靠融合质量函数和所述得分不可靠融合质量函数进行融合，得到每个所述检索遥感图像的决策质量函数；

函数排序模块，用于按照所述决策质量函数进行从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果。

在一种可选的实施例中，所述基于HGR最大相关性的跨模态遥感图像检索方法是通过预先训练的检索模型实现的，所述装置还包括模型训练模块，所述模型训练模块用于对所述检索模型进行训练，所述模型训练模块，包括：

数据集模块，用于构建训练数据集，所述训练数据集包括：由第一模态遥感图像和第二模态遥感图像组成的成对遥感图像、每对遥感图像的类别标签；

特征预测模块，用于将所述成对的遥感图像的输入到检索模型进行处理，得到每个模态遥感图像对应的欧式距离特征和HGR特征，并对所述欧式距离特征和所述HGR特征进行处理，得到预测特征；

损失计算模块，用于根据所述欧式距离特征计算欧式距离损失，根据所述HGR特征计算HGR最大相关性损失，根据所述预测特征和对应的类别标签计算出预测损失；

参数优化模块，用于基于所述欧式距离损失、所述HGR最大相关性损失和所述预测损失对所述检索模型的参数进行更新，满足训练结束条件后，得到训练好的检索模型。

在一种可选的实施例中，所述得分计算模块，包括：

距离模块，用于计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离；

距离得分模块，用于根据所述欧式距离的最大值和最小值，对所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离进行归一化处理，得到欧式距离得分。

在一种可选的实施例中，所述得分计算模块，包括：

相关性模块，用于计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的相关性系数；

相关性得分模块，用于根据所述相关性系数的最大值和最小值，对所述查询HGR特征与检索特征集中每个检索HGR特征之间的相关性系数进行归一化处理，得到HGR最大相关性得分。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本申请实施例是参照根据本申请实施例的方法及装置的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理器或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种基于HGR最大相关性的跨模态遥感图像检索方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种基于HGR最大相关性的跨模态遥感图像检索方法，其特征在于，所述方法包括：

对查询遥感图像进行特征提取，得到查询欧式距离特征和查询HGR特征；

计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性得分，所述检索特征集是预先对检索遥感图像集进行特征提取得到的检索特征集，所述检索遥感图像集中的检索遥感图像和所述查询遥感图像是不同模态的遥感图像；

基于DS证据理论，将所述欧式距离得分和所述HGR最大相关性得分进行融合计算，得到融合质量函数，所述融合质量函数表征所述查询遥感图像与所述检索遥感图像之间关联性；

按照所述融合质量函数的从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果。

2.根据权利要求1所述的方法，其特征在于，所述基于DS证据理论，将所述欧式距离得分和所述HGR最大相关性得分进行融合计算，得到融合质量函数，包括：

定义得分假设情况，所述得分假设情况包括：得分可靠、得分不可靠、得分可靠性不确定和空集；

根据所述得分假设情况，定义欧氏距离得分在不同得分假设情况的质量函数，和HGR最大相关性得分在不同得分假设情况的质量函数；

按照DS证据理论融合规则，对得分假设情况存在交集的欧氏距离质量函数和HGR最大相关性质量函数进行融合，得到融合质量函数。

3.根据权利要求2所述的方法，其特征在于，所述按照DS证据理论融合规则，对得分假设情况存在交集的欧氏距离质量函数和HGR最大相关性质量函数进行融合，包括：

针对得分可靠的假设情况，将得分可靠的欧氏距离质量函数、得分可靠的HGR最大相关性质量函数、得分可靠性不确定的欧氏距离质量函数、得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分可靠融合质量函数；

针对得分不可靠的假设情况，将得分不可靠的欧氏距离质量函数、得分不可靠的HGR最大相关性质量函数、所述得分可靠性不确定的欧氏距离质量函数、所述得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分不可靠融合质量函数；

针对得分可靠性不确定的假设情况，将所述得分可靠性不确定的欧氏距离质量函数和所述得分可靠性不确定的HGR最大相关性质量函数进行融合，得到得分可靠性不确定融合质量函数；

针对得分为空集的假设情况，将得分空集融合质量函数等于0。

4.根据权利要求3所述的方法，其特征在于，按照所述融合质量函数的从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果，包括：

基于DS证据理论中的最大化plausibility准则，将所述得分可靠融合质量函数和所述得分不可靠融合质量函数进行融合，得到每个所述检索遥感图像的决策质量函数；

按照所述决策质量函数进行从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果。

5.根据权利要求1-4任一所述的方法，其特征在于，所述基于HGR最大相关性的跨模态遥感图像检索方法是通过预先训练的检索模型实现的，所述检索模型通过以下方式进行训练：

构建训练数据集，所述训练数据集包括：由第一模态遥感图像和第二模态遥感图像组成的成对遥感图像、每对遥感图像的类别标签；

将所述成对的遥感图像的输入到检索模型进行处理，得到每个模态遥感图像对应的欧式距离特征和HGR特征，并对所述欧式距离特征和所述HGR特征进行处理，得到预测特征；

根据所述欧式距离特征计算欧式距离损失，根据所述HGR特征计算HGR最大相关性损失，根据所述预测特征和对应的类别标签计算出预测损失；

基于所述欧式距离损失、所述HGR最大相关性损失和所述预测损失对所述检索模型的参数进行更新，满足训练结束条件后，得到训练好的检索模型。

6.根据权利要求5所述的方法，其特征在于，所述欧式距离损失用于度量不同模态遥感图像对应的欧氏距离特征之间的差异，所述欧式距离损失包括：相似性损失和排序损失；

所述相似性损失J_I表示为：

其中，N表示一个批次训练数据对的总量，v_i、s_i分别表示成对遥感图像中的第一模态遥感图像和第二模态遥感图像，f_E(·)、g_E(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的欧氏距离特征；

所述排序损失J_R表示为：

其中，d(·,·)表示欧式距离，分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的正样本，/>分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的负样本，margin表示三联体损失中的优化边界。

7.根据权利要求5所述的方法，其特征在于，所述HGR最大相关性损失用于最大化不同模态遥感图像的HGR特征相关性，所述HGR最大相关性损失包括：相关性损失与相关性排序损失；

所述相关性损失J_C表示为：

其中，tr(·)表示矩阵的迹，cov(·)表示协方差矩阵，v_i、s_i分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像，f_H(·)、g_H(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的HGR特征；

所述相关性排序损失J_CR表示为：

其中，v_i、s_i分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像，分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的正样本，分别表示在本批次训练数据中第一模态遥感图像与第二模态遥感图像采样得到的负样本。

8.根据权利要求5所述的方法，其特征在于，所述预测损失使用均方差损失计算，所述预测损失J_P表示为：

其中，v_i、s_i分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像，f_E(·)、g_E(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的欧氏距离特征，f_H(·)、g_H(·)分别表示成对遥感图像中第一模态遥感图像和第二模态遥感图像的HGR特征，y_i表示成对遥感图像的类别标签。

9.根据权利要求1所述的方法，其特征在于，所述计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，包括：

计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离；

根据所述欧式距离的最大值和最小值，对所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离进行归一化处理，得到欧式距离得分。

10.根据权利要求1所述的方法，其特征在于，所述计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性得分，包括：

计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性系数；

根据所述相关性系数的最大值和最小值，对所述查询HGR特征与检索特征集中每个检索HGR特征之间的HGR最大相关性系数进行归一化处理，得到HGR最大相关性得分。

11.一种基于HGR最大相关性的跨模态遥感图像检索装置，其特征在于，所述装置包括：

特征提取模块，用于对查询遥感图像进行特征提取，得到查询欧式距离特征和查询HGR特征；

得分计算模块，用于计算所述查询欧式距离特征与检索特征集中每个检索欧氏距离特征之间的欧式距离得分，计算所述查询HGR特征与所述检索特征集中每个检索HGR特征之间的HGR最大相关性得分，所述检索特征集是预先对检索遥感图像集进行特征提取得到的检索特征集，所述检索遥感图像集中的检索遥感图像和所述查询遥感图像是不同模态的遥感图像；

得分融合模块，用于基于DS证据理论，将所述欧式距离得分和所述HGR最大相关性得分进行融合计算，得到融合质量函数，所述融合质量函数表征所述查询遥感图像与所述检索遥感图像之间关联性；

结果排序模块，用于按照所述融合质量函数的从大到小的顺序，对所述检索遥感图像集中的检索遥感图像进行排序，得到最终检索结果。