CN106776896A - 一种快速的图融合图像检索方法 - Google Patents

Abstract

本发明公开了一种快速的图融合图像检索方法。包括以下步骤：首先，将图像检索数据集，获取特征的排序结果；其次，建立权重图，权重图中节点为数据集合中的图片，节点之间权重和图像之间的相似度成正比，对于不同特征的权重图采用图融合的方法；然后，在权重图中，以待检索图像为中心按照本文提出的聚类方法进行图像组划分；最后，按照候选图像加入图像组的顺序重新排序候选图像。本发明利用jaccard构建权重图；按照谱聚类的思想提出快速谱聚类贪心算法划分图像组，利用聚类的结果对检索结果进行优化得出更优的检索效果；对现有的图像检索结果以谱聚类和贪心算法的思想进行了重新排序，大大提高了图像检索的准确度。

Description

一种快速的图融合图像检索方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种快速的图融合图像检索方法。

背景技术

近年来随着互联网和移动终端上图像数据的急剧增长，如何快速有效地从数据库中检索用户需要的图像已成为计算机视觉领域的热点问题。因此我希望能提升现有图像检索方法的效果。

目前的主流图像检索可分为三类：基于文本、图像内容和图像语义的图像检索。基于文本和基于语义的检索效果尚不理想，而基于内容的图像检索技术近些年取得了较好的效果，成为图像检索的主流方式。基于内容的图像检索主要研究图像特征提取和图像排序两方面的工作，图像特征提取的方法和图像排序都对图像检索的效果有很大的影响，好的图像特征配合与之相适应的图像排序方法才能得到理想的图像检索效果。

在图像排序方面，已有很多优秀的成果。如Liu等发现范数排序比欧氏距离排序效果更好。然而范数排序存在排名方式独立的问题。因此，在后续的研究中，图学习在图像检索中起着至关重要的作用。He等将流形排序(Manifold Ranking，MR)应用于图像检索，取得了较好效果。He等进一步提出了广义的MR，在数据分布不复杂的情况下，可以获得比MR更优的结果。Wang等将图结构中的K-NN利用样本结点的度和权值的最小化改进为K-RNN，提升图像检索的效果。在图结构方面，Huang等人利用超图实现MR，结点之间的权值由概率决定，由于不同结点对有多个权值，所以在图像检索中可以取得比较好的排序结果。除了超图，多图也是样本点间多权值的一种实现手段。Zhao等利用图像的不同特征构建多图加强样本点之间的关系，实现图像检索。Zhang等利用Graph PageRank和Graph Density方法将多图进行融合，实现图像的排序。

由于单特征图像检索方法提取特征的时候侧重点不同，如HSV主要关注图像的颜色信息，LBP主要关注图像的纹理信息等等，因此导致单特征图像检索方法对于不同的检索图像的效果好坏不同。单特征图像检索方法不能对所有的检索图像取得满意效果，很不稳定。如果能够融合不同的单特征检索方法，那么就可以提高图像检索结果的准确性。GraphDensity方法就是目前主流的图融合学习方法之一。该方法通过融合差异性大的特征组来提高检索结果的准确性。

发明内容

本发明的目的是，针对单特征图像检索方法不能对所有的检索图像取得满意效果、很不稳定的技术问题，提出了一种快速的图融合图像检索方法。

本发明提供的一种快速的图融合图像检索方法，包括以下步骤：

步骤100：将图像检索数据集，获取特征的排序结果。

步骤200：建立权重图，权重图中节点为数据集合中的图片，节点之间权重和图像之间的相似度成正比，对于不同特征的权重图采用图融合的方法。

步骤300：在权重图中，以待检索图像为中心按照本文提出的聚类方法进行图像组划分。

步骤400：按照候选图像加入图像组的顺序重新排序候选图像。

优选的，所述步骤200具体过程是：将要检索的图片和数据集中的每个图片视为不同的节点，并根据提取特征后图片的相似度在每个节点之间建立一条边，边权由图片相似度的大小决定，相似度越高的图片，节点之间的边权越大，反之则越小，也有可能为零；根据以上的规则建立一个特征图，即可表示每张图片相似度关系。

优选的，所述步骤300包括以下子步骤：

步骤310：采用公式：

G¹＝(V¹，E¹，w¹)+G²＝(V²，E²，w²)＝G＝(V，E，w)进行图融合；其中，G¹：为第i个特征图，V¹：为图中的节点的集合，E：为图中边的集合，w：为图中边权函数。

步骤320：利用公式：进行聚类，

其中，q为检索图片，前k张图片表示为v是求的图中的节点，w是为图中边权函数，到v的边权大小；

每次寻找第k+1张候选图片时，只要寻找前k张图像相关性较大的图片。

有益效果：本发明利用jaccard构建权重图；按照谱聚类的思想提出快速谱聚类贪心算法划分图像组，利用聚类的结果对检索结果进行优化得出更优的检索效果；对现有的图像检索结果以谱聚类和贪心算法的思想进行了重新排序，大大提高了图像检索的准确度。

附图说明

图1为本发明实施例提供的一种快速的图融合图像检索方法使用的卷积神经网络结构。

图2为本发明实施例提供的一种快速的图融合图像检索方法的两种不同的G^m＝(V^m，E^m，w^m)融合成G＝(V，E，w)。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

一、实施例

本实施例的一种快速的图融合图像检索方法，包括以下步骤：

步骤100：将图像检索数据集，获取特征的排序结果；图像特征提取很大程度上决定了图像检索的效果，也是多特征图融合方法的重要步骤。

全局图像特征：全局特征主要是通过图片整体特性来描述图片所携带的信息。例如统计颜色信息的颜色直方图(HSV)，统计纹理信息的局部二值模式(LBP)等。

HSV为统计颜色信息直方图，它能够描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像，但是它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。

LBP为统计纹理信息的局部二值模式，它也描述了图像或图像区域所对应景物的表面性质，但是它无法完全反映高层次图像内容。

除此之外还有许多全局图像方法，例如基于局部敏感度哈希(LSH)，以及在LSH上改进马氏距离等等。但本文的实验主要使用HSV特征。

局部图像特征：局部图像特征通过描述图片的区域来描述图片特征，其中图片区域的描述子通常满足不变性(鲁棒性)和可区分性，例如尺度不变性特征(SIFT、SURF)。

SIFT是应用广泛的局部特征，它对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性。

SURF是对SIFT的改进版本，它利用Haar小波来近似SIFT方法中的梯度操作，同时利用积分图技术进行快速计算，SURF的速度是SIFT的3-7倍，大部分情况下它和SIFT的性能相当。除SIFT特征外，卷积神经网络(CNN)特征应用也较为广泛。

近期还提出了许多二值特征描述子，例如ORB、BRISK、FREAK等等。局部特征描述子结合词汇树(VOC)或词袋(BOW)转化为图像的局部特征。本文的实验主要使用SIFT特征+BOW方法以及CNN特征。

卷积神经网络特征提取方式：卷积神经网络特征是通过在Image-Net上提前训练深度网络(通过深卷积网络传递图像获得的神经编码，培训1000图像-Net的类分类)。利用Image-Net重新训练网络，采用AlexNet的卷积神经网络结构(也可以采用其他的卷积神经网络结构，如ILSVRC CNN等)。所述AlexNet模型包括五个卷积层，每层包括一个卷积，整流线性(ReLU)变换(F(X)＝MAX(X，0))，和一个最大池变换。在该体系结构的顶部有三个完全连接层(层6、7、8)，其中取作为输入前一层的输出，通过一个矩阵相乘，并且，在层6和7的情况下，施加整流的线性变换。的网络进行训练，以使层8输出对应于类标签的一热的编码。

如图1所示，网络是适用于224×224的图像。其他尺寸图像的大小以224×224为标准(不裁剪)。CNN的架构前馈，并给予图像I时，它产生层的激活序列。我们表示与对应的层L5(Ⅰ)L6(I)和L7(I)的激活(输出)。我们采用L7(I)的值作为图像检索的CNN特征(L5(I),L6(I)同样可以做卷积神经网络特征)。

步骤200：建立权重图，权重图中节点为数据集合中的图片，节点之间权重和图像之间的相似度成正比，对于不同特征的权重图采用图融合的方法。

要在排序阶段实现不同特征的图融合，首先需构建一个好的特征图。一般的想法是构建出来图的边的权重是图片之间为相似图片的概率，但它是不可计算的。

将要检索的图片和数据集中的每个图片视为不同的结点，并根据提取特征后图片的相似度在每个结点之间建立一条边，边权由图片相似度的大小决定，相似度越高的图片，结点之间的边权越大，反之则越小，也有可能为零。

根据以上的规则建立一个特征图，即可表示每张图片相似度关系。

步骤300：在权重图中，以待检索图像为中心按照本文提出的聚类方法进行图像组划分；分组排序的图融合方法主要包括：多特征图融合方法以及分组排序方法。

图融合：为了获取图像特征互补信息，提高图像检索的准确率，需要设计多种图像特征融合方法。现有的多特征融合方法主要有：在特征提取阶段的融合方法和在排序阶段的融合方法。在特征提取阶段的融合方法在效率和可靠性方面表现一直不佳，尤其是融合特征越多效率越难以保证。对于要求高效的图像检索，在特征提取阶段的融合方法存在严重缺陷。因此，在排序阶段的融合方法成为图像检索中多特征融合的主要研究方向。目前在排序阶段的融合方法主要是C Dwork等^[37]提出的图融合方法，但该方法仍然存在一定限制的限制。为了避免上述多特征融合出现的问题，本文进行如下融合方式。

如图2所示，对不同特征计算出来的图像候选集合可以获得不同的特征图G^m＝(V^m,E^m,w^m)，融合后的特征图记为G＝(V,E,w)，它满足：1)V＝∪V^m；2)E＝∪E^m；3)w(i,i′)＝∑w^m(i,i′)。由本文算法在不同特征图下的融合方式可知：融合之后的图中节点i和i′(i′∈N_k(i))的J(i,i′)大于常数α的数量越多，则w(q,i)值越大。

聚类算法：为了利用以上融合的特征图对图像检索结果进行排序，需要选用合适的聚类算法。聚类算法需要满足图像检索对效率的要求。对于检索图像q，我们将集合划分为S＝{S₁,S₂}，其中集合S₁的大小为k，因此只要找到同检索图像相关的k个图像，则可以完成聚类算法。本文采用谱聚类算法的思想(本文框架也可以采用其他聚类算法)。

谱聚类算法的核心思想是G＝(V，E，w)的最小割问题，那么根据它的定义可以得出对于本文的集合划分S＝{S₁，S₂}的最小割的权值为：

谱聚类的需要求出拉普拉斯举证的特征向量，其时间复杂度为O(n³)，不能满足图像检索的效率要求，因此本文采用贪心的策略，近似求解最小割。

对于检索图片q，定义已经检索出的前k张图片则根据本文的贪心算法，第k+1张图片为：

其中每次寻找第k+1张候选图片时，我们不必遍历整个图像数据库，只要寻找前k张图像相关性较大的图片。

步骤400：按照候选图像加入图像组的顺序重新排序候选图像。

二、数据分析

本节首先说明数据集和实验的方法，然后详细说明在每一个数据集合上的实验结果，对每个数据集的结果进行分析。

数据集

本文评估采用四个标准数据集：UK-bench、Corel-1k、Corel-10k和Cifar-10。其中，UKbench具有图片旋转和尺度变化、图片类别多和数据集合相对较大等特点；Corel-10k具有每类图片个数多和数据集合相对较大等特点；Corel-1k具有每类图片个数多和数据集合大相对较小等特点；Cifar-10具有图像较小和数据集合大等特点。通过以上数据集，验证本文算法的有效性。数据集详细参数见表1。

Database	Image Size	#of Class	#of Each Class	Total Image
					UKbench	640x480	2550	4	10200
Corel-1k	384x256	10	100	1000
					Corel-10k	Vary	100	100	10000

表1实验数据集的属性

UK-bench包含2550个不同的数据种类的图片，每类图像包含4张相似的图片。10200张图片同时包含数据集合和询问集合。每张图片返回4张候选图片，采用N-S评估。

Corel-1k包含10个不同的数据种类的图片，每类图像包含100张图片。1000张图片包含数据集合和询问集合。每张图片寻找20张候选图片，并评估候选图片的准确率。

Corel-10k包含100个不同的数据种类的图片，每类图像包含100张图片。10000张图片包含数据集合和询问集合。每张图片寻找12张候选图片，并评估候选图片的准确率。

特征选取及融合方法

基础的图像检索方式包括：CNN、HSV和BOW等。本文将会应用单特征优化方法对G^CNN、G^HSV和G^BOW进行优化，并应用图融合方法对G^CNNG^HSV、和G^BOW进行融合优化。

HSV：本文采用对于检索图像的每个像素点计算出11维向量：黑、蓝、棕、灰、绿、橙、粉、紫、红、白以及黄。对于检索图像，本文以平均向量为颜色描述符作为图片的描述向量。

BOW：本文采用基于图像检索的词袋，每张图片使用VLFeat-library提取出密集SIFT特征。词袋采用1M个词汇，进行kmeans聚类。

CNN：本文再用基于AlexNet卷积神经网络结构，并在imagenet-1000数据集上做进行预训练，最后采用L7(I)的值作为图像检索的CNN特征。

UKbench数据集

为了说明本文方法在多特征图融合上的效果。在UKbench数据集上，本文采用BOW和HSV方法作为基础特征，进行多特征图融合，并同目前的主流的其他多特征图融合(GraphDensity等)方法进行比较，比较结果详见表2。

表2在UKbench数据集上，本文方法和目前图像检索多特征图融合方法的N-S分数比较结果

表3不同种类图片特征提取在UKbench上的表现

从表3可以看出，本文方法较目前的多特征图融合方法在UKbench数据集上表现更优。这是因为本文方法通过图片组来获取更多的图像检索信息，使本文方法得效果明显优于其他算法。在本文对于单特征的优化上，HSV(N-S＝3.17)结果较VOC(N-S＝3.54)偏低。经过不同的图融合方法都得到不同的提高。本文的单特征优化，使HSV的N-S提高了0.12，VOC的结果提高了0.29。本文方法也可以融合其他特征，可以得出更优结果，如表3，为本文方法融合其他特征的结果，其中CNN、BOW、HSV和MSD的融合可以得到3.92(准确率98.15％)N-S分数。

Corel-1k和Corel-10k数据集

为了说明GRF在不同数据集上具有良好效果，本文在Corel-1k和Corel-10k数据集上进行实验，并在这两个数据集上具有较好效果在Corel-1k和Corel-10k数据集中每类图片包含100幅图片。在Corel-1k数据集中，本文比较前20幅图片的准确率；在Corel-10k数据集上，本文比较前12幅图片的准确率。

表4BOW和HSV的优化和图融合以及其他算法在Corel-1k数据集上前20幅图片的准确率

Performance Type\method	SSH	Ri-HOG	HOG	LBP-MR1	MSD-MR1	GRF
							Precision	54.88	53.13	33.29	35.84	49.65	69.08
Recall	6.58	6.25	3.94	4.3	5.96	8.29

表5BOW和HSV融合以及其他算法在Corel-10k数据集上前12幅图片的准确率

表4和45的准确率结果说明，本文方法利用图像组的信息使单特征方法的结果得到了较大的提升。本文方法对于前k附图片准确率的提升并不相同，当k接近50时在Corel数据集上的效果最明显，在Corel-1k数据集上，可以提高15％的准确率，在Corel-10k数据集上，可以提高9％的准确率。对于多特征融合的方法，本文可以在Corel-1k数据集上，将准确率提高到88.44％.在Corel-10k数据集上，将准确率提高到69.08％.可以发现融合特征之间的相关性越小则融合之后的检索效果越好。

三、总结

本文利用全局候选图片的信息，提出快速图融合的排序融合方法。该方法利用不同特征图，将图像检索数据集划分为相似图片组以提升图像检索的效果。从实验结果可以看出，本文多特征图融合方法优于已有的方法；此外，通过融合图像的局部和全局特征，能够更全面的刻画图像的颜色、尺度及旋转等信息，可以较原特征(全局或局部特征)获得更高的精度，且原特征的效果越优，多特征图融合的检索效果越好。当所有特征对该图片检索结果存在较大偏差时，本文方法依然能够提升图像检索的效果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种快速的图融合图像检索方法，包括以下步骤：

步骤100：将图像检索数据集，获取特征的排序结果；

步骤200：建立权重图，权重图中节点为数据集合中的图片，节点之间权重和图像之间的相似度成正比，对于不同特征的权重图采用图融合的方法；

步骤300：在权重图中，以待检索图像为中心按照本文提出的聚类方法进行图像组划分；

步骤400：按照候选图像加入图像组的顺序重新排序候选图像。

2.根据权利要求1所述的一种快速的图融合图像检索方法，其特征在于，所述步骤200具体过程是：将要检索的图片和数据集中的每个图片视为不同的节点，并根据提取特征后图片的相似度在每个节点之间建立一条边，边权由图片相似度的大小决定，相似度越高的图片，节点之间的边权越大，反之则越小，也有可能为零；根据以上的规则建立一个特征图，即可表示每张图片相似度关系。

3.根据权利要求1或2所述的一种快速的图融合图像检索方法，其特征在于，所述步骤300包括以下子步骤：

步骤310：采用公式：G¹＝(V¹，E¹，w¹)+G²＝(V²，E²，w²)＝G＝(V，E，w)进行图融合；其中，G¹：为第i个特征图，V¹：为图中的节点的集合，E：为图中边的集合，w：为图中边权函数；

步骤320：利用公式：进行聚类，

其中，q为检索图片，前k张图片表示为v是求的图中的节点，w′是为图中边权函数，到v的边权大小；

每次寻找第k+1张候选图片时，只要寻找前k张图像相关性较大的图片。