CN106909924A - 一种基于深度显著性的遥感影像快速检索方法 - Google Patents

Abstract

一种基于深度显著性的遥感影像快速检索方法属于计算机视觉领域，具体涉及深度学习、显著性目标检测和图像检索等技术。本发明以遥感影像为研究对象，利用深度学习技术，研究了一种遥感影像的快速检索方法。首先采用全卷积神经网络构建多任务显著性目标检测模型，该模型同时进行显著性检测任务和语义分割任务，在网络预训练过程中学习遥感影像的深度显著性特征。然后改进深度网络结构，加入哈希层微调网络，学习得到遥感影像的二进制哈希码。最后综合利用显著性特征和哈希码进行相似性度量。本发明对于实现遥感影像准确、高效检索切实可行并具有重要应用价值。

Description

一种基于深度显著性的遥感影像快速检索方法

技术领域

本发明以遥感影像为研究对象，利用人工智能领域的最新研究成果——深度学习技术，研究了一种遥感影像的快速检索方法。首先采用全卷积神经网络构建多任务显著性目标检测模型，计算遥感影像的深度显著性特征；然后改进深度网络结构，加入哈希层学习得到二进制哈希码；最后综合利用显著性特征和哈希码实现遥感影像准确、快速检索。本发明属于计算机视觉领域，具体涉及深度学习、显著性目标检测和图像检索等技术。

背景技术

遥感影像数据作为地理信息***(Geographic Information System，GIS)、全球定位***(Global Positioning System，GPS)、遥感测绘技术(remote sensing system，RS)三大空间信息技术中的基础数据，广泛应用于环境监测、资源调查、土地利用、城市规划、自然灾害分析和军事等各个领域。近年来，随着高分辨率遥感卫星、成像雷达以及无人机驾驶飞机(Unmanned Aerial Vehicle)技术的发展，遥感影像数据进一步呈现海量、复杂和高分辨率的特点，实现遥感影像高效、准确检索对于促进遥感影像信息的准确提取和数据共享具有重要的研究意义和应用价值。

图像检索技术由早期的基于文本的图像检索(Text-Based Image Retrieval，TBIR)逐渐发展为通过提取图像特征实现基于内容的图像检索(Content-Based ImageRetrieval，CBIR)。基于显著性目标的图像检索方法，能够快速地从复杂场景中选择少数几个显著的区域进行优先处理，从而有效降低数据处理复杂度，提高检索效率。相比普通图像检索，遥感影像包含的信息复杂多变，目标小且与背景区分不明显，如果仍采用传统的显著性检测方法将难以实现对遥感影像显著性特征的准确描述与分析。近年来，随着人工智能领域的最新研究成果——深度学习技术的提出，例如：以全卷积神经网络(FullyConvolutional Neural Network，FCNN)为代表的深度神经网络，凭借其独特的类似于人眼局部感受的卷积核以及类似于生物神经的层次级联结构，在图像深度显著性特征学习方面表现出优良的鲁棒性。其权值共享的特性也使得网络参数大大减少，同时降低了对训练数据过拟合的风险，比其他种类的深度网络更易于训练，可以提高显著性特征的表征准确度。

考虑到遥感影像数量日益增加，图像语义描述能力有限等问题，本发明以公开的大规模航拍图像数据集(AID)、武汉大学遥感影像数据集(WHU-RS)及谷歌地球遥感影像为数据来源，提出一种基于深度显著性的遥感影像快速检索方法。首先，构建基于全卷积神经网络(Fully Convolutional Neural Network，FCNN)的多任务显著性目标检测模型，在预训练数据集上学习遥感影像不同层次的语义信息作为深度显著性特征并转换为一维列向量。进一步微调神经网络模型，引入哈希层并增加训练样本，将该模型学习到的遥感影像高维显著性特征以二进制哈希码(Binary Hash Codes)的形式映射到低维空间，分别存储显著性特征向量和哈希码构建特征数据库。通过训练好的模型提取待查询的遥感图像显著性特征向量和哈希码，对比特征数据库，计算哈希码汉明距离(Hamming Distance)和显著性特征向量欧氏距离(Euclidean Distance)度量相似度，实现遥感影像快速检索。

发明内容

本发明与已有的遥感影像检索方法不同，利用深度学习技术，提出一种基于深度显著性的遥感影像快速检索方法。首先，采用全卷积神经网络(FCNN)构建多任务深度显著性目标检测模型，将普通卷积神经网络(CNN)图像级别的分类进一步延伸到像素级别的分类。在大规模航拍图像数据集(AID)上预训练网络，显著性检测任务和语义分割任务共享卷积层，综合学习遥感影像的三层语义信息，有效去除特征冗余，准确提取深度显著性特征。其次，在该模型中加入哈希层，扩充武汉大学遥感影像数据集(WHU-RS)微调神经网络，利用深度神经网络通过随机梯度下降算法(Stochastic Gradient Descent，SGD)实现增量学习的优势，逐点学习二进制哈希码，实现高维显著性特征降维，既可节省存储空间又可提升检索效率。同时，相比传统需要成对输入训练样本的哈希方法，本发明所采用的方法在大规模数据集上更易扩展。将神经网络预训练和微调过程学习的显著性特征转化为一维列向量，和二进制哈希码一同构建特征数据库。最后，在图像检索阶段采用由粗到细的检索策略，综合利用二进制哈希码和显著性特征度量汉明距离和欧式距离，实现遥感影像快速、准确检索。本方法主要过程如附图1所示，可分为以下三个步骤：基于深度显著性的目标检测模型构建、神经网络预训练并加入哈希层微调和多层次深度检索。

(1)基于深度显著性的目标检测模型构建

为了有效提取图像的显著区，本发明将构建一种基于全卷积神经网络的多任务显著性目标检测模型。该模型同时进行两个任务：显著性检测和语义分割。显著性检测用于对遥感影像的深度特征学习，计算深度显著性，语义分割用于提取图像内部对象语义信息，消除显著图背景混淆，补充显著性目标缺失部分。

(2)神经网络预训练并加入哈希层微调

本发明选取大规模航拍图像数据集(AID)作为标准数据集预训练网络。为了使显著性目标检测模型学习的显著性特征对中国遥感影像的检索有更好的鲁棒性，在武汉大学遥感影像数据集(WHU-RS)的基础上，在谷歌地球上下载了6050幅不同光照、拍摄角度、分辨率及尺寸的中国遥感影像，将WHU-RS数据集扩充至7000幅图像用于微调神经网络。

(3)多层次深度检索

本发明提出了一种由粗糙到精细的检索方案。粗糙检索利用哈希层学习的二进制哈希码，通过汉明距离度量相似性。精细检索将第13、15层卷积层生成的二维遥感影像特征图映射为一维列向量，作为显著性特征向量，通过欧氏距离度量相似性。使用基于排名的评价标准，统计检索结果的查准率(Precision)。

1.一种基于深度显著性的遥感影像快速检索方法，其特征在于包括以下步骤：

步骤1：基于深度显著性的目标检测模型构建

输入一幅RGB图像，经过15个卷积层进行一系列卷积操作，然后进行显著性检测任务和超像素目标语义分割任务共享卷积层；前13个卷积层经过卷积神经网络VGGNet初化，卷积核大小为3×3，每个卷积层后采用修正线性单元ReLU作为激活函数；第2、4、5、13卷积层后进行最大值池化操作；第14、15卷积层的卷积核大小分别为7×7和1×1，第14、15卷积层后连接Dropout层；

通过上采样构建反卷积层，通过双线性插值初始化其参数，在训练学习上采样函数中迭代更新；在显著性目标检测任务中通过sigmoid阈值函数将输出图像标准化至[0,1]，学习显著性特征；在语义分割任务中用反卷积层对最后一个卷积层的特征图进行上采样,并且将上采样的结果进行剪裁，使输出图像与输入图像大小相同；

步骤2：神经网络预训练并加入哈希层微调

步骤2.1：多任务显著性目标检测模型预训练

FCNN预训练通过显著性检测任务和分割任务一同展开；χ表示N₁幅宽高分别为W和Q的训练图像的集合，Xi为其中第i幅图像，Y_ijk表示第i幅宽高分别为j和k的图像相应的像素级真实分割图，其中i＝1…N₁，j＝1…W，k＝1…Q；Z表示N₂幅训练图像的集合，Z_n为其中第n幅图像，n＝1…N₂，它有相应的存在显著性目标的真实二值图像M_n；θ_s为共享卷积层参数，θ_h为分割任务参数，θ_f为显著性任务参数；公式(1)、公式(2)分别为分割任务的交叉熵代价函数J₁(χ；θ_s,θ_h)和显著性检测任务的平方欧式距离代价函数J₂(Z；θ_s,θ_f)，FCNN通过最小化两个代价函数进行训练：

公式(1)中，是指示函数，h_cjk是第c类置信分割图的元素(j,k)，c＝1…C，h(Xi；θ_s,θ_h)是语义分割函数，共返回C个目标类的置信分割图，C为预训练数据集包含的图像类别公式(2)中，f(Z_n；θ_s,θ_f)是显著图输出函数，F表示F-范数运算；

接下来，用随机梯度下降SGD方法，在对所有训练样本进行正则化的基础上，最小化上述代价函数；由于用于预训练的数据集没有同时具有分割和显著性标注，因此分割任务和显著性检测任务交替进行；训练过程需要将所有原始图像大小归一化；学习速率为0.001±0.01；动量参数通常为[0.9,1.0]，权值衰减因子通常为0.0005±0.0002，；随机梯度下降学习进程共进行80000次以上迭代；详细的预训练过程如下：

1)共享全卷积参数基于VGGNet初始化；

2)通过正态分布随机初始化分割任务参数和显著性任务参数

3)根据和利用SGD训练分割网络，更新这两个参数为和

4)根据和利用SGD训练显著性网络，更新相关参数为和

5)根据和利用SGD训练分割网络，获得和

6)根据和利用SGD训练显著性网络，更新相关参数为和

7)重复上述3-6步三次以获得预训练最终参数θ_s，θ_h，θ_f；

步骤2.2：加入哈希层，针对目标域微调网络

在预训练好的网络倒数第二层和最终的任务层中间，***一个包含s个神经元的全连接层，即哈希层H，将高维特征映射到低维空间，生成二进制哈希码进行存储；哈希层H权重采用随机投影构造哈希值初始化，神经元激活函数采用sigmoid函数使输出值在0到1之间，神经元个数为目标二进制码的码长；

微调过程通过反向传播算法调节网络权重；网络微调为调节第十个卷积层之后的网络权重；用于微调网络的数据集数据量大小与预训练网络的数据集相比会减少10％-50％，相比预训练的网络参数，微调过程网络参数迭代次数和学习速率降低1％-10％，动量参数和权值衰减因子保持不变；

详细的微调过程如下：

1)共享全卷积参数分割任务参数和显著性任务参数通过预训练过程得到；

2)根据和利用SGD训练分割网络，更新这两个参数为和

3)根据和利用SGD训练显著性网络，更新相关参数为和

4)根据和利用SGD训练分割网络，获得和

5)根据和利用SGD训练显著性网络，更新相关参数为和

6)重复上述3-6步三次以获得最终参数θ_s，θ_h，θ_f；

步骤3：多层次深度检索

步骤3.1：粗糙检索

步骤3.1.1：生成二进制哈希码

将一幅待查询图像I_q输入到经过微调的神经网络，提取哈希层的输出作为图像签名，用Out(H)表示；二进制码根据阈值二值化激活值得到；对每一个二进制位r＝1…s，根据公式(3)输出二进制码：

其中，s是哈希层神经元个数，初始值设置范围为[40,100]；Γ＝{I₁,I₂,…,I_n}表示包含n幅图像的用于检索的数据集；相应的每幅图像的二进制码表示为Γ_H＝{H₁,H₂,…,H_n}，其中i＝1…n，H_i∈{0,1}^s表示s个神经元生成的s位二进制码值分别为0或1；

步骤3.1.2：汉明距离度量相似性

两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数；对于一幅待查询图像I_q和它的二进制码H_q，如果H_q和H_i∈Γ_H之间的汉明距离小于设定的阈值，则定义一个包含m幅候选图片(candidates)的候选池P＝{I_c1,I_c2,…,I_cm}，汉明距离小于5认为两幅图像是相似的；

步骤3.2：精细检索

步骤3.2.1：显著性特征提取

将待查询图像I_q通过神经网络第13、15层卷积层生成的二维遥感影像特征图分别映射为一维向量进行存储；在后续检索过程中分别对比采用不同特征向量的检索结果决定最终选用哪一层卷积生成的特征图提取遥感影像显著性特征；

步骤3.2.2：欧式距离度量相似性

对于一幅查询图像I_q和一个候选池P，使用提取的显著性特征向量从候选池P中挑选出排名前k幅图像；V_q和分别表示查询图像q和I_ci的特征向量；定义I_q和候选池P中第i幅图像相应特征向量之间的欧式距离s_i作为它们之间的相似性等级，如公式(4)所示；

欧式距离越小，两幅图像间的相似性越大；每幅候选图I_ci根据和查询图像的相似度升序排序，排名前k的图像则为检索结果；

步骤3.3：检索结果评价

使用基于排名的评价标准对检索结果进行评价；对于一幅查询图像q和得到的排名前k幅检索结果图像，查准率Precision根据以下公式计算：

其中，Precision@k表示设定阈值k，在检索到第k个正确结果为止，从第一个正确结果到第k个正确结果的平均正确率；Rel(i)表示查询图像q和排名第i幅图像的相关性，Rel(i)∈{0,1}，1代表查询图像q和排名第i幅图像具有相同分类，即二者相关，0则不相关。

本发明与现有技术相比，具有以下明显的优势和有益效果：

首先，相比传统人工提取遥感影像特征的方法，本发明利用全卷积神经网络构建深度显著性目标检测模型，选择国内外遥感影像数据库训练网络，综合分析图像的三层语义信息，自动学***均可达88％，检索时间约为1s。因此，将该方法迁移至遥感影像的检索，对于实现遥感影像准确、高效检索切实可行并具有重要应用价值。

附图说明

图1基于深度显著性的遥感影像快速检索方法流程图；

图2基于深度显著性的目标检测模型架构图；

图3加入哈希层的神经网络架构图；

图4多层次检索过程图。

具体实施方式

根据上述描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。

步骤1：基于深度显著性的目标检测模型构建

显著性区域，主观理解为人眼视觉集中注意的区域，与人眼视觉***(HumanVisual System，HVS)紧密相关，客观而言则是针对图像的某种特征，存在一个该特征最明显的子区。因此，显著性检测问题的关键在于特征学习和提取。鉴于深度学习在这一方面具有的强大功能，本发明将全卷积神经网络用于显著性检测问题，提出了基于全卷积神经网络的多任务显著性目标检测模型。该模型同时进行两个任务：显著性检测任务和语义分割任务。显著性检测任务用于对遥感影像的深度特征学习，计算深度显著性，语义分割任务用于提取图像内部对象语义信息，消除显著图背景混淆，补充显著性目标缺失部分。

本发明提出的全卷积神经网络架构基于主流的开源深度学习框架Caffe实现，具体模型结构见附图2。输入一幅RGB图像，经过15个卷积层(Conv)进行一系列卷积操作，显著性检测任务和超像素目标语义分割任务共享卷积层。前13个卷积层经过卷积神经网络VGGNet初化，卷积核大小为3×3，每个卷积层后采用修正线性单元(Rectified LinearUnit，ReLU)作为激活函数，从而加快收敛速度。第2、4、5、13卷积层后进行最大值池化(MaxPooling)操作，降低特征维度，减少计算量的同时保证特征的不变性。第14、15卷积层的卷积核大小分别为7×7和1×1，每层卷积后连接Dropout层以解决复杂神经网络结构潜在的过拟合现象，即模型过度学习训练数据中的噪声和细节而导致在实际测试中错误率较高、泛化能力较差的问题。通过上采样构建反卷积层，通过双线性插值初始化其参数，在训练学习上采样函数中迭代更新。在显著性目标检测任务中通过sigmoid阈值函数将输出图像标准化至[0,1]，学习显著性特征。在语义分割任务中用反卷积层对最后一个卷积层的特征图进行上采样,并且将上采样的结果进行剪裁(Crop)，使输出图像与输入图像大小相同，从而对每个像素都产生了一个预测，同时保留了原始输入图像中的空间信息。

步骤2：神经网络预训练并加入哈希层微调

本发明使用公开的大规模航拍图像数据集(AID)用于神经网络的预训练，旨在更好地学习遥感影像不同级别的语义特征。引入哈希层，利用扩充的武汉大学遥感影像数据集(WHU-RS)进一步微调网络，不但可以将神经网络学习的高维特征映射到低维，缩短检索时间，还能使神经网络学习到的特征更具鲁棒性。

步骤2.1：多任务显著性目标检测模型预训练

步骤2.1.1：构建预训练数据集

预训练阶段选择公开的大规模航拍图像数据集(AID)作为标准数据集用于预训练。AID包含30个类别，10000幅航拍图像，所有图像均选自谷歌地球，经专业的遥感技术领域人员标注。每个分类的图像都取自不同国家、地区，在不同时间通过不同拍摄遥感探测仪拍摄，图像尺寸为600×600像素，分辨率为0.5m/像素到8m/像素不等。相比其他数据集，该数据集类内差距较小，类间差距较大，是目前航拍图像数据集中规模最大的数据集。

步骤2.1.2：显著性目标检测模型预训练

FCNN预训练通过显著性检测任务和分割任务一同展开。χ表示N₁幅宽高分别为W和Q的训练图像的集合，Xi为其中第i幅图像，Y_ijk表示第i幅宽高分别为j和k的图像相应的像素级真实分割图，其中i＝1…N₁，j＝1…W，k＝1…Q。Z表示N₂幅训练图像的集合，Z_n为其中第n幅图像，n＝1…N₂，它有相应的存在显著性目标的真实二值图像M_n。θ_s为共享卷积层参数，θ_h为分割任务参数，θ_f为显著性任务参数。公式(1)、公式(2)分别为分割任务的交叉熵代价函数J₁(χ；θ_s,θ_h)和显著性检测任务的平方欧式距离代价函数J₂(Z；θ_s,θ_f)，FCNN通过最小化两个代价函数进行训练：

公式(1)中，是指示函数，h_cjk是第c类置信分割图的元素(j,k)，c＝1…C，h(Xi；θ_s,θ_h)是语义分割函数，共返回C个目标类的置信分割图，C为预训练数据集包含的图像类别，本发明中C取30；公式(2)中，f(Z_n；θ_s,θ_f)是显著图输出函数，F表示F-范数运算。

接下来，用随机梯度下降(SGD)方法，在对所有训练样本进行正则化的基础上，最小化上述代价函数。由于用于预训练的数据集没有同时具有分割和显著性标注，因此分割任务和显著性检测任务交替进行。由于训练过程需要将所有原始图像大小归一化，因此本发明将原始图像重置大小为500×500像素用于预训练。学习速率是SGD学习方法的必要参数，决定了权值更新的速度，设置得太大会导致代价函数振荡，结果越过最优值，太小会使收敛速度过慢，一般倾向于选取较小的学习速率，如0.001±0.01以保持***稳定。动量参数和权值衰减因子可提高训练自适应性，动量参数通常为[0.9,1.0]，权值衰减因子通常为0.0005±0.0002。通过实验观察，本发明将学习速率设为10^-10，动量参数设为0.99，权值衰减因子取Caffe框架默认值0.0005。随机梯度下降(SGD)学习进程通过NVIDIA GTX 1080GPU设备加速，共进行80000次迭代。详细的预训练过程如下：

1)共享全卷积参数基于VGGNet初始化；

2)通过正态分布随机初始化分割任务参数和显著性任务参数

3)根据和利用SGD训练分割网络，更新这两个参数为和

4)根据和利用SGD训练显著性网络，更新相关参数为和

5)根据和利用SGD训练分割网络，获得和

6)根据和利用SGD训练显著性网络，更新相关参数为和

7)重复上述3-6步三次以获得预训练最终参数θ_s，θ_h，θ_f。

步骤2.2：加入哈希层，针对目标域微调网络

步骤2.2.1：构建用于微调网络的中国遥感影像数据集

选用扩充的武汉大学遥感影像数据集(WHU-RS)用于神经网络微调。原始WHU-RS数据集包含19个场景分类，共950幅分辨率不等的遥感图像，图像尺寸为600×600像素，所有图像均取自谷歌地球。结合中国的地形地貌，在原始数据集的基础上重构并且扩展至7000幅遥感影像作为样本库，每个类别包含超过200幅图像。新增样本图像的光照、拍摄角度、分辨率及尺寸均不同，利于神经网络学习更具鲁棒性的显著性特征。

步骤2.2.2：加入哈希层微调网络

深度神经网络生成的特征向量维度较高，在大规模的图像检索中非常耗时。由于具有相似的图像二进制哈希码相似，因此，本发明在预训练好的网络倒数第二层和最终的任务层中间，***一个包含s个神经元的全连接层，即哈希层H，将高维特征映射到低维空间，生成二进制哈希码进行存储，网络结构见附图3。哈希层H权重采用随机投影构造哈希值初始化，神经元激活函数采用sigmoid函数使输出值在0到1之间，根据经验设定阈值为0.5，神经元个数为目标二进制码的码长。哈希层不但提供了前一层的特征抽象，也是连接中级和高级图像语义特征的桥梁。

微调过程通过反向传播(Back Propagation)算法调节网络权重。网络微调可针对整个网络或部分网络进行。由于低层网络结构学习到的特征更为一般化，并且为了避免发生过拟合，本发明利用扩充的WHU-RS数据集，重点调节高层网络，即第十个卷积层之后的网络权重。通常，用于微调网络的数据集数据量大小与预训练数据集相比会减少10％-50％，本发明中，微调网络数据集包含7000幅图像，明显小于预训练时包含10000幅图像的数据集，相比预训练的网络参数，微调过程网络参数要适当减小，迭代次数和学习速率可降低1％-10％。本发明中，微调过程将迭代次数减少至8000次，学习速率降低1％，为10^-12，动量参数和权值衰减因子保持不变，即分别设为0.99和0.0005。

详细的微调过程如下：

1)共享全卷积参数分割任务参数和显著性任务参数通过预训练过程得到；

2)根据和利用SGD训练分割网络，更新这两个参数为和

3)根据和利用SGD训练显著性网络，更新相关参数为和

4)根据和利用SGD训练分割网络，获得和

5)根据和利用SGD训练显著性网络，更新相关参数为和

6)重复上述3-6步三次以获得最终参数θ_s，θ_h，θ_f。

步骤3：多层次深度检索

深度卷积神经网络的浅层部分学习底层视觉特征，而深层部分可捕捉图像语义信息。因此，本发明采用由粗到细的检索策略实现快速、准确的图像检索。特征提取及检索过程见附图4。

步骤3.1：粗糙检索

首先检索一系列有相似高级语义特征的候选区，即在哈希层拥有相似的二进制激活值，然后根据相似性度量进一步生成相似图像排名。

步骤3.1.1：生成二进制哈希码

将一幅待查询图像I_q输入到经过微调的神经网络，提取哈希层的输出作为图像签名，用Out(H)表示。二进制码根据阈值二值化激活值得到。对每一个二进制位r＝1…s，根据公式(3)输出二进制码：

其中，s是哈希层神经元个数，个数过多会出现过拟合，建议初始值设置范围为[40,100]，具体数值根据实训练数据进行调整，本发明中s设为48。Γ＝{I₁,I₂,…,I_n}表示包含n幅图像的用于检索的数据集。相应的每幅图像的二进制码表示为Γ_H＝{H₁,H₂,…,H_n}，其中i＝1…n，H_i∈{0,1}^s表示s个神经元生成的s位二进制码值分别为0或1。

步骤3.1.2：汉明距离度量相似性

两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。对于一幅待查询图像I_q和它的二进制码H_q，如果H_q和H_i∈Γ_H之间的汉明距离小于设定的阈值，则定义一个包含m幅候选图片(candidates)的候选池P＝{I_c1,I_c2,…,I_cm}，一般情况下，汉明距离小于5就可以认为两幅图像是相似的。

步骤3.2：精细检索

步骤3.2.1：显著性特征提取

由于深度卷积网络不同卷积层学习不同图像不同级别的语义特征，其中，中高层卷积层学习到的特征更适用与图像检索任务。因此，将待查询图像I_q通过神经网络第13、15层卷积层生成的二维遥感影像特征图分别映射为一维向量进行存储。在后续检索过程中分别对比采用不同特征向量的检索结果决定最终选用哪一层卷积生成的特征图提取遥感影像显著性特征。

步骤3.2.2：欧式距离度量相似性

对于一幅查询图像I_q和一个候选池P，使用提取的显著性特征向量从候选池P中挑选出排名前k幅图像。V_q和分别表示查询图像q和I_ci的特征向量。定义I_q和候选池P中第i幅图像相应特征向量之间的欧式距离s_i作为它们之间的相似性等级，如公式(4)所示。

欧式距离越小，两幅图像间的相似性越大。每幅候选图I_ci根据和查询图像的相似度升序排序，排名前k的图像则为检索结果。

步骤3.3：检索结果评价

本发明使用基于排名的评价标准对检索结果进行评价。对于一幅查询图像q和得到的排名前k幅检索结果图像，查准率(Precision)根据以下公式计算：

其中，Precision@k表示根据实际需求设定阈值k，在检索到第k个正确结果为止，从第一个正确结果到第k个正确结果的平均正确率；Rel(i)表示查询图像q和排名第i幅图像的相关性，Rel(i)∈{0,1}，1代表查询图像q和排名第i幅图像具有相同分类，即二者相关，0则不相关。

Claims (1)

1.一种基于深度显著性的遥感影像快速检索方法，其特征在于包括以下步骤：

步骤1：基于深度显著性的目标检测模型构建

输入一幅RGB图像，经过15个卷积层进行一系列卷积操作，然后进行显著性检测任务和超像素目标语义分割任务共享卷积层；前13个卷积层经过卷积神经网络VGGNet初化，卷积核大小为3×3，每个卷积层后采用修正线性单元ReLU作为激活函数；第2、4、5、13卷积层后进行最大值池化操作；第14、15卷积层的卷积核大小分别为7×7和1×1，第14、15卷积层后连接Dropout层；

通过上采样构建反卷积层，通过双线性插值初始化其参数，在训练学习上采样函数中迭代更新；在显著性目标检测任务中通过sigmoid阈值函数将输出图像标准化至[0,1]，学习显著性特征；在语义分割任务中用反卷积层对最后一个卷积层的特征图进行上采样,并且将上采样的结果进行剪裁，使输出图像与输入图像大小相同；

步骤2：神经网络预训练并加入哈希层微调

步骤2.1：多任务显著性目标检测模型预训练

FCNN预训练通过显著性检测任务和分割任务一同展开；χ表示N₁幅宽高分别为W和Q的训练图像的集合，Xi为其中第i幅图像，Y_ijk表示第i幅宽高分别为j和k的图像相应的像素级真实分割图，其中i＝1…N₁，j＝1…W，k＝1…Q；Z表示N₂幅训练图像的集合，Z_n为其中第n幅图像，n＝1…N₂，它有相应的存在显著性目标的真实二值图像M_n；θ_s为共享卷积层参数，θ_h为分割任务参数，θ_f为显著性任务参数；公式(1)、公式(2)分别为分割任务的交叉熵代价函数J₁(χ；θ_s,θ_h)和显著性检测任务的平方欧式距离代价函数J₂(Z；θ_s,θ_f)，FCNN通过最小化两个代价函数进行训练：

$J_2(Z;{\mathrm{\θ}}_s,{\mathrm{\θ}}_f)=\frac{1}{N_2}\underset{n=1}{\overset{N_2}{\Σ}}\left|\right|M_n-f(Z_n;{\mathrm{\θ}}_s,{\mathrm{\θ}}_f)|{|}_F^2---\left(2\right)$

公式(1)中，是指示函数，h_cjk是第c类置信分割图的元素(j,k)，c＝1…C，h(Xi；θ_s,θ_h)是语义分割函数，共返回C个目标类的置信分割图，C为预训练数据集包含的图像类别公式(2)中，f(Z_n；θ_s,θ_f)是显著图输出函数，F表示F-范数运算；

接下来，用随机梯度下降SGD方法，在对所有训练样本进行正则化的基础上，最小化上述代价函数；由于用于预训练的数据集没有同时具有分割和显著性标注，因此分割任务和显著性检测任务交替进行；训练过程需要将所有原始图像大小归一化；学习速率为0.001±0.01；动量参数通常为[0.9,1.0]，权值衰减因子通常为0.0005±0.0002，；随机梯度下降学习进程共进行80000次以上迭代；详细的预训练过程如下：

1)共享全卷积参数基于VGGNet初始化；

2)通过正态分布随机初始化分割任务参数和显著性任务参数

3)根据和利用SGD训练分割网络，更新这两个参数为和

4)根据和利用SGD训练显著性网络，更新相关参数为和

5)根据和利用SGD训练分割网络，获得和

6)根据和利用SGD训练显著性网络，更新相关参数为和

7)重复上述3-6步三次以获得预训练最终参数θ_s，θ_h，θ_f；

步骤2.2：加入哈希层，针对目标域微调网络

在预训练好的网络倒数第二层和最终的任务层中间，***一个包含s个神经元的全连接层，即哈希层H，将高维特征映射到低维空间，生成二进制哈希码进行存储；哈希层H权重采用随机投影构造哈希值初始化，神经元激活函数采用sigmoid函数使输出值在0到1之间，神经元个数为目标二进制码的码长；

微调过程通过反向传播算法调节网络权重；网络微调为调节第十个卷积层之后的网络权重；用于微调网络的数据集数据量大小与预训练网络的数据集相比会减少10％-50％，相比预训练的网络参数，微调过程网络参数迭代次数和学习速率降低1％-10％，动量参数和权值衰减因子保持不变；

详细的微调过程如下：

1)共享全卷积参数分割任务参数和显著性任务参数通过预训练过程得到；

2)根据和利用SGD训练分割网络，更新这两个参数为和

3)根据和利用SGD训练显著性网络，更新相关参数为和

4)根据和利用SGD训练分割网络，获得和

5)根据和利用SGD训练显著性网络，更新相关参数为和

6)重复上述3-6步三次以获得最终参数θ_s，θ_h，θ_f；

步骤3：多层次深度检索

步骤3.1：粗糙检索

步骤3.1.1：生成二进制哈希码

将一幅待查询图像I_q输入到经过微调的神经网络，提取哈希层的输出作为图像签名，用Out(H)表示；二进制码根据阈值二值化激活值得到；对每一个二进制位r＝1…s，根据公式(3)输出二进制码：

$H^r=\left\{\begin{array}{cc}1& {\mathrm{Out}}^r\left(H\right)\≥0.5\\ 0& otherwise\end{array}\right.---\left(3\right)$

其中，s是哈希层神经元个数，初始值设置范围为[40,100]；Γ＝{I₁,I₂,…,I_n}表示包含n幅图像的用于检索的数据集；相应的每幅图像的二进制码表示为Γ_H＝{H₁,H₂,…,H_n}，其中i＝1…n，H_i∈{0,1}^s表示s个神经元生成的s位二进制码值分别为0或1；

步骤3.1.2：汉明距离度量相似性

两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数；对于一幅待查询图像I_q和它的二进制码H_q，如果H_q和H_i∈Γ_H之间的汉明距离小于设定的阈值，则定义一个包含m幅候选图片(candidates)的候选池P＝{I_c1,I_c2,…,I_cm}，汉明距离小于5认为两幅图像是相似的；

步骤3.2：精细检索

步骤3.2.1：显著性特征提取

将待查询图像I_q通过神经网络第13、15层卷积层生成的二维遥感影像特征图分别映射为一维向量进行存储；在后续检索过程中分别对比采用不同特征向量的检索结果决定最终选用哪一层卷积生成的特征图提取遥感影像显著性特征；

步骤3.2.2：欧式距离度量相似性

对于一幅查询图像I_q和一个候选池P，使用提取的显著性特征向量从候选池P中挑选出排名前k幅图像；V_q和分别表示查询图像q和I_ci的特征向量；定义I_q和候选池P中第i幅图像相应特征向量之间的欧式距离s_i作为它们之间的相似性等级，如公式(4)所示；

$s_i=\left|\right|V_q-V_i^P\left|\right|---\left(4\right)$

欧式距离越小，两幅图像间的相似性越大；每幅候选图I_ci根据和查询图像的相似度升序排序，排名前k的图像则为检索结果；

步骤3.3：检索结果评价

使用基于排名的评价标准对检索结果进行评价；对于一幅查询图像q和得到的排名前k幅检索结果图像，查准率Precision根据以下公式计算：

$\mathrm{Pr}ecision@k=\frac{{\Σ}_{i=1}^k\mathrm{Re}l\left(i\right)}{k}---\left(5\right)$

其中，Precision@k表示设定阈值k，在检索到第k个正确结果为止，从第一个正确结果到第k个正确结果的平均正确率；Rel(i)表示查询图像q和排名第i幅图像的相关性，Rel(i)∈{0,1}，1代表查询图像q和排名第i幅图像具有相同分类，即二者相关，0则不相关。