CN103399951A - 一种基于异构图具有自反馈特性的半监督图像重排序方法 - Google Patents

Abstract

本发明公开了一种基于异构图具有自反馈特性的半监督图像重排序方法，该方法的步骤如下：步骤（1）：对需要重排序的图像，提取文本特征和视觉特征；步骤（2）：使用图像的文本特征和视觉特征来构建异构图，计算模态内相似性和模态间相似性作为异构图对应节点之间的权值；步骤（3）：在异构图上使用自反馈的半监督学习算法，计算得到图像文本特征排序得分和视觉特征排序得分；步骤（4）：根据步骤（3）中计算的图像文本特征得分和视觉特征得分，计算图像排序得分，从而实现对图像进行重排序。该方法不仅对搜索结果有提高，不需要用户的额外输入，而且运行时间较少，适合用在现实的图像检索***中，提高图像重排序技术的性能。

Description

一种基于异构图具有自反馈特性的半监督图像重排序方法

技术领域

本发明针对图像搜索引擎返回的搜索结果进行重新排序，具体来说，提出了一种基于异构图具有自反馈特性的半监督图像重排序方法。

背景技术

简单的来说，图像重排序就是来用图像所包含的特征信息对图像搜索引擎返回的结果进行重新排序，得到更加令用户满足的搜索结果。一般而言，图像的特征信息包括图像的文本信息和图像的视觉信息。

现有的web图像搜索引擎，使用图像相关联的文本特征对图像排序，例如图像周围的文本，锚文本等。由于文本特征还有太多的噪声和忽略了图像的视觉特征，搜索返回的结果很容易令用户不满意。因此，图像重排序技术有很好的理论研究和应用背景。

大多数图像重排序算法采用视觉特征进行重排序，有很多这方面的研究工作。总结起来，可以分成下面三类算法：基于聚类的方式；基于分类的方式和基于图的方式。其中基于图的方式获得许多的关注，而且在图像和视频的检索中取得了非常不错的结果。在基于图的方法中，图像用来作为图中的节点，图像之间的相似性用来作为图像之间的权值。基于图的方式通常基于图中排序结果的一致性，例如相邻的节点应该具有相似的排序结果。其中随机游走和半监督学习是基于图的算法中常用的两种框架。

但是许多研究指出，只使用图像视觉信息进行重排序不能取得令人满意的结果。因此，许多研究者提出了融合多种图像特征进行图像的重排序的基于图的算法，其中“早期融合”和“晚期融合”是最常见的两种方式。不过这些算法很少考虑文本特征和视觉特征的语义一致性。一般来说一副图像的文本特征和视觉特征应该具有一致的语义信息，因而图像的文本信息和视觉信息的一致性应该是重排序中考虑的一个重要因素。

半间督学习算法是介于监督学习算法和非监督学习算法之间的一类算法。许多不同的半间督学习算法已经被提出了。

总而言之，现有技术亟需解决的技术问题是如何使用半监督学习算法进行图像重排序。发明内容

为了克服现有技术的不足，本发明提出一种基于异构图具有自反馈特性的半监督图像重排序方法，使用图像的文本特征和视觉特征构建异构图，然后采用基于异构图的具有自反馈特性的半监督学习算法进行图像重排序的方法。该方法不仅对搜索结果有提高，不需要用户的额外输入，而且运行时间较少，适合用在现实的图像检索***中，提高图像重排序技术的性能。

为了实现上述目的，本发明采用如下技术方案：

一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，该方法的步骤如下：

步骤（1）：对需要重排序的图像，提取文本特征和视觉特征；

步骤（2）：使用图像的文本特征和视觉特征来构建异构图，计算模态内相似性和模态间相似性作为异构图对应节点之间的权值；

步骤（3）：在异构图上使用自反馈的半监督学习算法，计算得到图像文本特征排序得分和视觉特征排序得分；

步骤（4）：根据步骤（3）中计算的图像文本特征得分和视觉特征得分，计算图像排序得分，按照得分由高到低，对图像进行重排序。

所述步骤（1）中，

提取视觉特征的方法为：对每幅图像提取SIFT特征，然后将图像表示为一个词袋；

提取图像的文本特征的方法为：对每幅图像收集图像关联文本，利用话题模型LDA将所述图像关联文本聚成多个潜在主题，然后将图像的文本信息也表示为一个词袋。

所述步骤（2）中，构建异构图的过程如下：

首先构建一个多边图，所述多边图中每一个节点为一副图像，包含图像的文本特征和视觉特征，多边图中任意两个节点之间包含4条边，所述4条边分别为两个节点的视觉特征之间的边、两个节点的文本特征之间的边、两个节点的视觉特征与文本特征之间的边；

其中，两个节点的文本特征之间的边和两个节点的视觉特征之间的边用于刻画模态内相似性，两个节点的视觉特征与文本特征之间的边用于刻画模态间相似性；

然后，将多边图中的每个节点分为文本特征节点和视觉特征节点两种类型，节点之间相连，权重为对应的模态内相似性或是模态间相似性，从而得到异构图。

所述步骤（3）的具体步骤如下：

步骤（31）：使用每个节点的图像的文本特征和视觉特征的排序得分f^*来更新初始的排序得分向量y；

步骤（32）：使用每个节点的图像的文本特征和视觉特征的排序得分f^*来更新相似度矩阵S中模态间的相似度；

步骤（33）：使用步骤（32）中得到的相似度矩阵S来更新拉普拉斯矩阵L；

步骤（34）：如果平均精度大于当前最优精度，则把该平均精度赋值给当前最优精度，反馈继续，跳到重排序算法的步骤（1）继续进行；否则，反馈停止，重排序算法终止。

所述图像的文本特征和视觉特征的排序得分f^*的计算方法如下：

$f^{*}=\arg \underset{f}{\min }\frac{1}{2}\underset{i,j=1}{\overset{2N}{\mathrm{\Σ}}}{S}_{i,j}{\left|\right|\frac{f\left(i\right)}{\sqrt{D_{i,i}}}-\frac{f\left(i\right)}{\sqrt{D_{j,j}}}\left|\right|}^2+\mathrm{\μ}\underset{i=1}{\overset{2N}{\mathrm{\Σ}}}{\left|\right|f-y\left|\right|}^2---\left(1\right)$

其中，f＝[f_t,f_v]是需要求的异构图中排序得分，f(i),f(j)分别是第i，j幅图像的排序得分，y＝[y_t,y_v]是初始的异构图中的排序得分，S是相似度矩阵，D是一个三角矩阵，其中对角线上第i个元素是S矩阵第i行的元素的和，μ是平衡参数，用来调整式子右半部份的两个项，0＜μ＜1，i，j的取值范围是1＜i＜N，1＜j＜N，N为要重排序的图像总数目；

所述公式（1）运行首先需要对图像的文本特征和视觉特征的排序得分分别进行初始化；

其中，文本特征排序得分和视觉特征排序得分的初始化均使用归一化的图像搜索引擎返回的得分，即：

$f_{\mathrm{init}}(t_i/v_i)=\frac{N-r_i}{N}---\left(2\right)$

其中，N是待排序的图像数量，r_i是图像在搜索引擎返回的结果中的排序。

所述公式（1）的迭代公式如下：

$f\left(t\right)={\left(\mathrm{\μL}\right)}^{t}y+(1-\mathrm{\μ})\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\left(\mathrm{\μL}\right)}^{i-1}y---\left(3\right)$

其中，f(t)是第t次迭代的排序得分，μ与公式（1）中的含义相同，μ是平衡参数，0＜μ＜1，t是迭代次数，f(0)＝y，L为由相似度矩阵S和三角矩阵D计算得到的拉普拉斯矩阵。

所述步骤（4）中，图像最后的排序得分由图像的文本特征排序得分和图像的视觉特征的排序得分混合得到，计算公式如下：

RankScore(i)＝αf(t_i)+(1-α)f(v_i)              （4）

其中，RankScore(i)是图像最后的排序得分，f(t_i)是图像文本特征排序得分，f(v_i)是图像视觉特征排序得分，α是混合的参数，介于0到1之间。

所述模态内相似性包括文本特征和文本特征之间的相似性、视觉特征和视觉特征之间的相似性；所述模态间相似性是指文本特征和视觉特征之间的相似性。

所述模态内相似性采用余弦相似度计算方法，即：

$d(p,q)=\frac{\mathrm{pq}}{\left|\right|p\left|\right|\left|\right|q\left|\right|}---\left(5\right)$

其中，p和q表示文本特征向量或者视觉特征向量。

所述模态间相似性的影响因素包括：模态间的一致性、图像文本特征的相似度、图像视觉特征之间的相似度。

所述模态间的一致性计算公式为：

$c(t_i,v_i)=e^{-\frac{{(f\left(t_i\right)-f\left(v_i\right))}^2}{\mathrm{\σ}}}---\left(6\right)$

其中，t_i表示第i幅图像的文本特征，v_i表示第i幅图像视觉特征，f(t_i)，f(v_i)分别为使用文本特征的排序得分和使用视觉特征的排序得分，σ为缩放因子（σ＞0），i的取值范围是1＜i＜N，N为要重排序的图像总数目；

所述模态间相似性的计算公式如下：

s(t_i,v_j)＝c(t_i,v_j)[αs(t_i,t_j)+(1-α)s(v_i,v_j)]       （7）

其中，t_i表示第i幅图像的文本特征，v_i表示第i幅图像的视觉特征，t_j表示第j幅图像的文本特征，v_j分别表示第j幅图像的视觉特征，c(t_i,v_j)为模态间的一致性，s(t_i,t_j)为文本特征之间的相似性，s(v_i,v_j)为视觉特征之间的相似性，α为混合的参数（0＜α＜1），i的取值范围是1＜i＜N，N为要重排序的图像总数目。

本发明的有益效果是：

1、本发明提出的算法在文本特征和视觉特征中不一致的情况，可以改善搜索结果；

2、本发明提出的算法不需要用户的额外输入，适合实际的图像检索***应用；

3、本发明提出的算法而且运行时间较少，适合大规模的图像检索***。

附图说明

图1为本发明的结构示意图；

图2为本发明的异构图示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明；图1为本发明的算法流程图，结合该流程图，下面对本算法实施以及具体细节做进一步说明。

一种基于异构图具有自反馈特性的半监督图像重排序方法，该方法的步骤如下：

步骤（1）：对需要重排序的图像，提取文本特征和视觉特征；

步骤（2）：使用图像的文本特征和视觉特征来构建异构图，计算模态内相似性和模态间相似性作为异构图对应节点之间的权值；

步骤（3）：在异构图上使用自反馈的半监督学习算法，计算得到图像文本特征排序得分和视觉特征排序得分；

步骤（4）：根据步骤（3）中计算的图像文本特征得分和视觉特征得分，计算图像排序得分，按照得分由高到低，对图像进行重排序。

所述步骤（1）中，

提取可视特征的方法为：对每幅图像使用密集采样（dense sampling）的方式提取SIFT特征，然后使用K-means聚类算法将得到的特征进行聚类，得到词典，然后将图像表示为一个视觉特征词袋v_i；提取图像文本特征的方法为：对每幅图像收集图像关联文本，利用话题模型LDA将这些文本聚成多个主题，然后将图像的文本信息也表示为一个文本特征词袋t_i。

所述步骤（2）中，构建异构图的过程如下：

首先构建一个多边图，所述多边图中每一个节点为一副图像，包含图像的文本特征和视觉特征，多边图中每两个节点之间包含4条边（比如，假定两个节点分别为节点1和节点2，那么4条边分别为：节点1的视觉特征与节点2的视觉特征之间的边、节点1的视觉特征与节点2的文本特征之间的边、节点1的文本特征与节点2的视觉特征之间的边、节点1的文本特征和节点2的文本特征之间的边）；其中，2条刻画模态内相似性，另外2条刻画模态间相似性；

然后，将多边图中的每个节点分为文本特征节点和视觉特征节点两种类型，节点之间相连，权重为对应的模态内相似性或是模态间相似性，从而得到异构图。

如图（2）所示，其中矩阵t(i)表示图像i的文本特征，矩阵t(j)表示图像j的文本特征，圆形v(i)表示图像i的视觉特征，圆v(j)表示图像j的视觉特征，实线表示模态内相似度，虚线表示模态间的相似度。

所述模态内相似性包括文本特征和文本特征之间的相似性、视觉特征和视觉特征之间的相似性；所述模态间相似性是指文本特征和视觉特征之间的相似性。

所述模态内相似性的计算方法包括：欧氏距离的倒数，余弦相似度，直方图相交。

所述模态间相似性的影响因素包括：模态间的一致性、图像文本特征的相似度、图像视觉特征之间的相似度。

所述模态间的一致性计算公式为：

$c(t_i,v_i)=e^{-\frac{{(f\left(t_i\right)-f\left(v_i\right))}^2}{\mathrm{\σ}}}---\left(6\right)$

其中，t_i表示第i幅图像的文本特征，v_i表示第i幅图像视觉特征，f(t_i)，f(v_i)分别为使用文本特征的排序得分和使用视觉特征的排序得分，σ为缩放因子（σ＞0），i的取值范围是1＜i＜N，N为要重排序的图像总数目。

所述模态间相似性的计算公式如下：

s(t_i,v_j)＝c(t_i,v_j)[αs(t_i,t_j)+(1-α)s(v_i,v_j)]       （7）

其中，t_i表示第i幅图像的文本特征，v_i表示第i幅图像的视觉特征，t_j表示第j幅图像的文本特征，v_j分别表示第j幅图像的视觉特征，c(t_i,v_j)为模态间的一致性，s(t_i,t_j)为文本特征之间的相似性，s(v_i,v_j)为视觉特征之间的相似性，α为混合的参数（0＜α＜1），i的取值范围是1＜i＜N，N为要重排序的图像总数目。

所述步骤（3）中，基于异构图，采用具有自反馈特性的半监督学习算法来得到图像的重排以后的排序得分；

所述半监督学习算法的目标函数如下：

$f^{*}=\arg \underset{f}{\min }\frac{1}{2}\underset{i,j=1}{\overset{2N}{\mathrm{\Σ}}}{S}_{i,j}{\left|\right|\frac{f\left(i\right)}{\sqrt{D_{i,i}}}-\frac{f\left(i\right)}{\sqrt{D_{j,i}}}\left|\right|}^2+\mathrm{\μ}\underset{i=1}{\overset{2N}{\mathrm{\Σ}}}{\left|\right|f-y\left|\right|}^2---\left(1\right)$

其中，f＝[f_t,f_v]是需要求的异构图中排序得分，f(i),f(j)分别是第i，j幅图像的排序得分，y＝[y_t,y_v]是初始的异构图中的排序得分，S是相似度矩阵，D是一个三角矩阵，其中对角线上第i个元素是S矩阵第i行的元素的和，μ是平衡参数，用来调整式子右半部份的两个项，0＜μ＜1，i，j的取值范围是1＜i＜N，1＜j＜N，N为要重排序的图像总数目。

所述半监督学习算法的迭代公式如下：

$f\left(t\right)={\left(\mathrm{\μL}\right)}^{t}y+(1-\mathrm{\μ})\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\left(\mathrm{\μL}\right)}^{i-1}y---\left(3\right)$

其中，f(t)是第t次迭代的排序得分，μ与公式（3）中的含义相同，μ是平衡参数，0＜μ＜1，t是迭代次数，f(0)＝y，L为由相似度矩阵S和三角矩阵D计算得到的拉普拉斯矩阵。

该算法运行首先需要对图像的文本特征和视觉特征的排序得分分别进行初始化。

其中，文本特征排序得分和视觉特征排序得分的初始化均使用归一化的图像搜索引擎返回的得分，即：

$f_{\mathrm{init}}(t_i/v_i)=\frac{N-r_i}{N}---\left(2\right)$

其中，N是待排序的图像数量，r_i是图像在搜索引擎返回的结果中的排序。

为了利用模态间的特征来得到更好的图像排序得分，提出了自反馈算法，能够自动的使用上面得到的f^*来更新相似度矩阵S，从而进行下一次迭代。

所述自反馈算法的步骤如下：

步骤（31）：使用f^*来更新初始的排序得分向量y；

步骤（32）：使用f^*来更新相似度矩阵S中模态间的相似度；

步骤（33）：使用步骤（32）中得到的相似度矩阵S来更新拉普拉斯矩阵L；

步骤（34）：如果平均精度（ap）大于当前最优精度（apbest），则把该平均精度（ap）赋值给当前最优精度（apbest），反馈继续，跳到重排序算法的步骤（1）继续进行；否则，反馈停止，重排序算法终止。

所述步骤（4）中，图像最后的排序得分由图像的文本特征排序得分和图像的视觉特征的排序得分混合得到，计算公式如下：

RankScore(i)＝αf(t_i)+(1-α)f(v_i)                 （4）

其中，RankScore(i)是图像最后的排序得分，f(t_i)是图像文本特征排序得分，f(v_i)是图像视觉特征排序得分，α是混合的参数，介于0到1之间。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，该方法的步骤如下：

步骤（1）：对需要重排序的图像，提取文本特征和视觉特征；

步骤（2）：使用图像的文本特征和视觉特征来构建异构图，计算模态内相似性和模态间相似性作为异构图对应节点之间的权值；

步骤（3）：在异构图上使用自反馈的半监督学习算法，计算得到图像文本特征排序得分和视觉特征排序得分；

步骤（4）：根据步骤（3）中计算的图像文本特征得分和视觉特征得分，计算图像排序得分，按照得分由高到低，对图像进行重排序。

2.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（1）中，

提取视觉特征的方法为：对每幅图像提取SIFT特征，然后将图像表示为一个词袋；

提取图像的文本特征的方法为：对每幅图像收集图像关联文本，利用话题模型LDA将所述图像关联文本聚成多个潜在主题，然后将图像的文本信息也表示为一个词袋。

3.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（2）中，构建异构图的过程如下：

首先构建一个多边图，所述多边图中每一个节点为一副图像，包含图像的文本特征和视觉特征，多边图中任意两个节点之间包含4条边，所述两个节点包含第一节点和第二节点，所述4条边分别为两个节点的视觉特征之间的边、两个节点的文本特征之间的边、第一节点的视觉特征与第二节点的文本特征之间的边和第一节点的文本特征与第二节点的视觉特征之间的边；

其中，两个节点的文本特征之间的边和两个节点的视觉特征之间的边用于刻画模态内相似性，第一节点的视觉特征与第二节点的文本特征之间的边和第一节点的文本特征与第二节点的视觉特征之间的边用于刻画模态间相似性；

然后，将多边图中的每个节点分为文本特征节点和视觉特征节点两种类型，节点之间相连，权重为对应的模态内相似性或是模态间相似性，从而得到异构图。

4.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（3）的具体步骤如下：

步骤（31）：使用每个节点的图像的文本特征和视觉特征的排序得分f^*来更新初始的排序得分向量y；

步骤（32）：使用每个节点的图像的文本特征和视觉特征的排序得分f^*来更新相似度矩阵S中模态间的相似度；

步骤（33）：使用步骤（32）中得到的相似度矩阵S来更新拉普拉斯矩阵L；

步骤（34）：如果平均精度大于当前最优精度，则把该平均精度赋值给当前最优精度，反馈继续，跳到重排序算法的步骤（1）继续进行；否则，反馈停止，重排序算法终止。

5.如权利要求4所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，

所述图像的文本特征和视觉特征的排序得分f^*的计算方法如下：

$f^{*}=\arg \underset{f}{\min }\frac{1}{2}\underset{i,j=1}{\overset{2N}{\mathrm{\Σ}}}{S}_{i,j}{\left|\right|\frac{f\left(i\right)}{\sqrt{D_{i,i}}}-\frac{f\left(i\right)}{\sqrt{D_{j,j}}}\left|\right|}^2+\mathrm{\μ}\underset{i=1}{\overset{2N}{\mathrm{\Σ}}}{\left|\right|f-y\left|\right|}^2---\left(1\right)$

其中，f＝[f_t,f_v]是需要求的异构图中排序得分，f(i),f(j)分别是第i，j幅图像的排序得分，y＝[y_t,y_v]是初始的异构图中的排序得分，S是相似度矩阵，D是一个三角矩阵，其中对角线上第i个元素是S矩阵第i行的元素的和，μ是平衡参数，用来调整式子右半部份的两个项，0＜μ＜1，i，j的取值范围是1＜i＜N，1＜j＜N，N为要重排序的图像总数目；

所述公式（1）运行首先需要对图像的文本特征和视觉特征的排序得分分别进行初始化；

其中，文本特征排序得分和视觉特征排序得分的初始化均使用归一化的图像搜索引擎返回的得分，即：

$f_{\mathrm{init}}(t_i/v_i)=\frac{N-r_i}{N}---\left(2\right)$

其中，N是待排序的图像数量，r_i是图像在搜索引擎返回的结果中的排序。

6.如权利要求5所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述公式（1）的迭代公式如下：

$f\left(t\right)={\left(\mathrm{\μL}\right)}^{t}y+(1-\mathrm{\μ})\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\left(\mathrm{\μL}\right)}^{i-1}y---\left(3\right)$

其中，f(t)是第t次迭代的排序得分，μ与公式（1）中的含义相同，μ是平衡参数，0＜μ＜1，t是迭代次数，f(0)＝y，L为由相似度矩阵S和三角矩阵D计算得到的拉普拉斯矩阵。

7.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（4）中，图像最后的排序得分由图像的文本特征排序得分和图像的视觉特征的排序得分混合得到，计算公式如下：

RankScore(i)＝αf(t_i)+(1-α)f(v_i)              （4）

其中，RankScore(i)是图像最后的排序得分，f(t_i)是图像文本特征排序得分，f(v_i)是图像视觉特征排序得分，α是混合的参数，介于0到1之间。

8.如权利要求3所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，

所述模态内相似性包括文本特征和文本特征之间的相似性、视觉特征和视觉特征之间的相似性；所述模态间相似性是指文本特征和视觉特征之间的相似性。

9.如权利要求3或7所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，

所述模态内相似性的计算方法为余弦相似度；

所述模态间相似性的影响因素包括：模态间的一致性、图像文本特征的相似度、图像视觉特征之间的相似度。

10.如权利要求8所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，

所述模态间的一致性计算公式为：

$c(t_i,v_i)=e^{-\frac{{(f\left(t_i\right)-f\left(v_i\right))}^2}{\mathrm{\σ}}}---\left(6\right)$

其中，t_i表示第i幅图像的文本特征，v_i表示第i幅图像视觉特征，f(t_i)，f(v_i)分别为使用文本特征的排序得分和使用视觉特征的排序得分，σ为缩放因子（σ＞0），i的取值范围是1＜i＜N，N为要重排序的图像总数目；

所述模态间相似性的计算公式如下：

s(t_i,v_j)＝c(t_i,v_j)[αs(t_i,t_j)+(1-α)s(v_i,v_j)]       （7）

其中，t_i表示第i幅图像的文本特征，v_i表示第i幅图像的视觉特征，t_j表示第j幅图像的文本特征，v_j分别表示第j幅图像的视觉特征，c(t_i,v_j)为模态间的一致性，s(t_i,t_j)为文本特征之间的相似性，s(v_i,v_j)为视觉特征之间的相似性，α为混合的参数（0＜α＜1），i的取值范围是1＜i＜N，N为要重排序的图像总数目。

Images