CN110097112B - 一种基于重构图的图学习模型 - Google Patents

Abstract

一种基于重构图的图学***衡性，引入最近的图论模型，有效地解决标签不平衡问题。随机点积图用于重建标签的传递矩阵，解决图像标签共存的不对称问题。此外，使用朴素贝叶斯最近邻分类器来建立图像和标签之间的联合似然函数。本发明针对图像标签存在的分类不平衡的特点，提出基于重构图模型的图像标注模型，能够有效的提高标签的召回率。

Description

一种基于重构图的图学习模型

技术领域

本发明属于图像标注技术领域，涉及一种基于重构图的图学习模型，用于应对大数据背 景下图像标注的问题。

背景技术

大数据时代的到来带来了很多机遇，也带来了更多的挑战。随着智能设备的普及和移动 网络的发展，人们越来越喜欢在网络上进行图像分享，这产生了大量的图像，这些图像蕴含 着巨大的财富，因此，高效的图像分析成为具有重大研究意义的热点。然而这些海量的图像 中存在大量没标签的图像，对有效的挖掘图像中的价值带来了巨大的挑战。图学习模型是一 种典型的图像标注方法，其基于无监督、半监督、有监督学习策略，共享相似图像之间的标 签，从而有效地对海量无标签图像进行标注。

然而现有的图学习模型方法仅考虑了图像间的视觉距离，忽略了图像间的深层次关联关 系，即具有相同标签的图像，在视觉上可能存在着巨大的差异，这将导致它们构造图学习相 似矩阵时有着较大的视觉距离，但这并不符合实际情况。为了有效地深度挖掘图像间的关联 关系，因此本专利提出了一种基于重构图的图学习模型来有效地对图像进行标注。

基于图学习的图像标注模型在设计过程中存在两个大的挑战：

(1)弱标签现象：当前图像数据集具有标签不均衡的问题，即训练集中有的标签标记的 图像数量远超平均值，有些则低于平均值，会导致大数量标签被选为测试图像的标注词的概 率较大。未能对所有的标签进行充分的利用，无法提高图模型的召回率，进而严重影响了图 像标注的准确率。因此如何充分利用图像集的所有标签，提高图模型的召回率，实现高精度 标注是图像标注模型的关键问题。

(2)标签共现不平衡现象：在图像训练集中，标签之间会存在同时出现的现象。传统的 标注模型在考虑标签间的关系时，对两个标签之间共享相同的共现概率。然而标签之间的共 现概率并不相同，因此有效地利用标签之间的关系以及准确地对标签之间共现不平衡现象进 行度量，使得标签间的关系精确反映实际情况是图像标注模型中亟需解决的问题。

基于重构图的图学***衡的影响，提高 图像标注的准确率。因此，图像标注的问题主要体现在以下三个方面：

(1)标签召回率过低问题：该问题是指在图像进行标注时，对于部分标签本身的标注次 数过少，这样会导致在自动标注时被选中的概率大大降低。

(2)标签共现不平衡问题：该问题是指标签之间有共同出现的概率，但它们之间的共同 出现的概率并非完全相同。

(3)视觉模糊问题：该问题是指相同标签的图像存在较大的差异，导致它们之间的视觉 距离过大，使得该图像被选为语义近邻的可能性减小，影响图像标注的精度。

发明内容

传统的图学习模型仅仅考虑图像之间的加权视觉距离，并未深入考虑图像之间的视觉模 糊问题，没有挖掘图像间的深层关系。因此，本发明提供了一种基于重构图的图学习标注模 型，通过重构图学习模型的相似矩阵，发掘图像之间内部关联，同时利用标签间的共现关系 以及标签与图像之间映射关系，从而提高图像标注的标签召回率与标注的准确性。

为了达到上述目的，本发明采用的技术方案为：

一种基于重构图的图学***衡问题。在图像与标签之间的映射阶段，采用朴素贝叶斯分类器来建立图 像与标签之间的联合似然函数，拟合标签与图像间的映射关系，进而得到标签的标注概率。

具体步骤如下：

(1)基于图像的图学习过程：首先针对图像数据集中弱标签的问题，设计改进的最近邻 策略选取未标注图像的语义最近邻图像，提高弱标签的标注概率，抑制高频标签的标注概率； 然后通过随机点积图重构语义最近邻图像的相似矩阵，挖掘图像之间的深层关联；最终，通 过图学习算法迭代至收敛，得到初步的标注结果。

1)寻找测试图像语义最近邻图像：设计改进最近邻策略，即先在每个语义标签中寻找未 标注图像M的最相似图像集Se(M)，然后再对相似图像集Se(M)中的图像n,n∈Se(M)分别 寻找最相似的图像集Se(n)。若未标注图像M同时出现在最相似图像集Se(n)中，则说明该 图像n为未标注图像M的语义最近图像，最终选出的语义最近邻图像集Se′(n)与未标注图像 M一同构成未标注图像M的语义最近邻图像集N(M)。同时，在选择未标注图像M的语义最 近邻图像时，构建所有标签的语义最近邻图像集。标注图像数量远超平均值的标签、远低于 平均值的标签，以相同的概率出现在未标注图像语义最近邻图像集中。通过改进的最近邻策 略，有效地克服了弱标签问题导致的部分标签低概率选中问题。

2)构建相似矩阵：通过未标注图像M的语义最近邻图像集N(M)构建图像间的相似矩阵 W，然后利用随机点积图方法对相似矩阵W进行重构得到权重矩阵T。利用相似矩阵W与权 重矩阵T进行叠加得到加权相似矩阵W'。

3)图学习算法迭代：通过对加权相似矩阵W'进行正则化得到矩阵I，然后对矩阵I进行 迭代至收敛，得到初步的标注结果。

(2)基于标签的图学***衡的现象；然后通过使用随机点积图策略对关联矩阵进行重构，挖掘标签之间的深 层关联；最后通过图学习的迭代方式求得标注词之间的关联概率矩阵。

1)计算标注的关联矩阵：通过求解标签之间的转移概率，得到非对称的标注词关联矩阵 P，克服了标注词之间的共现不平衡现象。

2)重构关联矩阵：对标签关联矩阵P设计了随机点积图的策略生成重构标签关联矩阵 P′，提高有关联的标签之间转移概率，抑制无关标签之间的转移概率。

3)图学习算法迭代：通过对重构关联矩阵P′进行迭代，得到标签间的转移概率，得到 基于标签关联的标注结果。

(3)图像与标签之间的映射过程：该过程主要利用了图像与标签之间的关联，计算未标 注图像M与每个标签的语义最近邻集Se(M)之间的平均距离，得到每个标签基于图像与标签 之间的关系标注概率。

设计基于朴素贝叶斯最近邻分类器来建立图像与标签之间的联合似然函数，拟合标签与 图像间的映射关系，得到标签的标注概率。在构建分类器时，设计改进的最近邻策略选取未 标注图像的语义最近邻图像集，降低视觉模糊问题对图像标注产生的影响。

本发明的有益效果：本发明针对弱标签图像集设计了一种基于重构图的图学***衡问题。重点是设计了基于随机点积图重构相似矩阵和标签共现不平衡的解决方法。

附图说明

图1是本发明基本框架。

图2是实验结果部分截图。

图3是本发明的工作流程图。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

一种基于重构图的图学习模型，包括三个阶段：图像间的图学习，标签间的图学习，图 像与标签之间的映射。

第一阶段是基于图像的图学习阶段，首先针对图像数据集中弱标签的问题，设计改进的 最近邻策略提高弱标签的标注概率，抑制高频标签的标注概率。然后对得到的相似矩阵进行 重构，挖掘图像之间的深层联系。该阶段包括语义最近邻的选取过程，未标注图像的相似矩 阵重构过程，图学习迭代过程。

(1)语义最近邻的选取过程，通过寻找未标注图像的语义最近邻图像集，提高未标注图 像的标注准确率。由于数据库中图像的特征分布不均匀，导致一些图像被选为其他的图像的 最近邻的概率较高，而一些图像被选中的概率较低，这导致引入较多的噪声图像，降低标注 准确率。因此本发明设计了一种改进的最近邻策略。具体地：

对于未标注图像M，在每个标签v_i下，通过视觉特征距离，寻找其语义最近的x个图像 组成语义最近邻集合Se_i(M)，如公式(1)所示：

其中，X_i为图像的特征向量，DIS(M,n)为未标注图像M与图像n之间的视觉特征距离。通过 为每个标签寻找未标注图像M的语义最近邻图像集，使得每个标签以相同的概率出现在未标 注图像M的语义最近邻图像集中。基于这种方法，有效地降低弱标签对图像标注产生的影响。

然后继续对Se_i(M)中的图像n,n∈Se_i(M)寻找其语义最近邻图像集Se_i(n)，若图像M出 现在Se_i(n)中，则说明n为M的语义最近邻图像。通过该方法得到一个M的改进的语义最近 邻图像集Se′_i(M)，若Se′_i(M)中图像数量小于n，则需要将Se_i(M)中排名靠前的图像但未出 现在Se′(M)中的图像添加到Se′_i(M)，最终将所有标签下的Se′_i(M)进行合并，得到图像M的所有标签下的最近邻Se(M)，集合中图像数量为x×num_label，其中n为每个标签下的最近邻图像，num_label为标签的数量。将未标注图像M与其语义近邻图像集合Se(M)一同构成未标注图像M的相似图像集N(M)。

(2)未标注图像的相似矩阵重构过程，重构未标注图像的相似矩阵，用于发掘图像之间 的深层关联。

为了学习图像之间的深层关联，定义由相似图像集N(M)构成的相似矩阵为W，其中W 是一个n×n的矩阵，W_ij的值由公式(1)求得，且W_ii＝0。在计算图像之间的相似度时，为了使结果尽可能的符合现实情况，即相似的图像之间的权重应该加大，非相似图像之间的权 重减小，降低噪声图像对标注产生的影响。因此对于给定的相似矩阵W，本发明提出了基于 随机点积图的方法对未标注图像的相似矩阵W进行重构。

随机点积图是点边随机图模型。随机点积图具有良好的聚类性质，可以很好地对现实中 图结构进行聚类。具体地：

对于节点集V中的每个节点v_i,i＝1,2,...,n随机于值一个d维向量x_i。继而得到任意一 对节点v_i，v_j之间边缘的概率是：

p_ij＝f(x_i·x_j) (2)

由公式(2)可以看出，如果两个节点相似，即x_i与x_j越相近，它们之间的内积越大，反 之，内积越小。这与相似的图像之间的权重应该加大，非相似图像之间的权重减小的现象是 一致的。

随机图中的每一条边都是随机而独立地出现的。根据Bernoulli分布：随机点乘积图 G_X＝(V,E)根据概率p_ij生成边缘集E，得到观测图。如果观测图G＝(V,E)是无向加权图，且其邻接矩阵为A＝(a_ij)_n×n,a_ij∈[0,1]，则：

其对应的对数似然函数为：

其中，边缘概率反映了节点之间的相关性。从等式(4)上可以得到当L_X(G)取值最大时， 边的概率尽可能地对应于权值。根据对偶原则：

max L_X(G)＝min F_Z(X) (5)

其中

因此求解的函数转化为：

其中，因为相似矩阵W的对角元素为零，将公式(6)左边改写为矩阵形式为：

min F_Z(X)＝min||X^TX-A-diag(X^TX)|| (7)

因此，基于随机点积图的标注图像的相似矩阵的重构过程如下：

1)首先通过寻找语义最近邻图像集Se(M)，然后通过公式(1)构建未标注图像与Se(M) 初始相似矩阵W，其中W是一个(k+1)×(k+1)的矩阵，k＝n×num_label。

2)构建一个全零矩阵D，D是一个(k+1)×(k+1)的矩阵。

3)对矩阵W+diag(D)进行谱分解，得到特征值与特征向量，其中diag(D)为矩阵D的对 角矩阵。

4)

为前五个最大的特征值组成的对角矩阵，负特征值变为0，U为前五个特征向量组 成的矩阵。令

然后将D带入步骤3)中，直到D收敛为止

5)将得到的X带入到公式(4)中，返回步骤1)，直到L_X(G)收敛，其中T＝X′X,T为 重构后的加权矩阵。

(3)图学习迭代过程：基于图学习的方法是一种半监督学习方法。该方法利用训练图像 特征和训练图像的注释信息。然后迭代未标注图像的相似性矩阵，深度挖掘未标记图像与标 记图像之间的相似性，并根据此相似度将标记图像中的相应语义标签传递给未标记图像，迭 代通过上述步骤至收敛，最终得到标签的得分和排序。

图学习的过程如下：

1)根据公式(1)，计算未标注图像M与其最近邻图像集Se(M)的相似矩阵W，其中W是一个(k+1)×(k+1)的矩阵，k＝n×num_label。

2)利用随机点积图对相似矩阵W进行重构得到加权矩阵T，进而得到加权相似矩阵W′＝W+ωT，其中ω是权重。

3)对加权相似矩阵W′进行正则化如下：

E＝D^1/2W′D^1/2 (8)

其中，D是一个对角矩阵，

4)然后通过公式(9)进行迭代，迭代至收敛。

R(t+1)＝αE·R(t)+(1-α)Y (9)

其中R(0)＝Y，α为图学习的权重值。当公式(9)迭代至收敛得到R，得到图像标注的初步 结果。对于公式(9)，得到

因为0<α<1，I为单位矩阵。所以：

和

因此，当R收敛时，R的计算公式如下：

对于图学习问题，公式(11)的近似解为：

R＝(I-αE)^-1Y (12)

第二阶段是基于标签的图学***衡问题， 传统方法无法显著地提高低频标签的标注概率。例如：“海”和“船”很可能出现在同一张图片 中，这两个标签密切相关，然而标注为“船”的图像中被标注为“海”的概率要大于标注为“海” 的图像中被标注为“船”的概率，这是因为“海”可能与更多的东西有关联，例如“鱼”、“珊瑚”。 这种现象被称为图像标签的不对称现象。

为了解决图像标签不对称现象，本发明在计算标签之间的转移概率时，使标签之间的转 移概率尽可能的符合现实生活中的实际情况。为了获取标签之间的转移概率p，标签v_i转移 到标签v_m的概率P(v_m|v_i)的计算方式如公式(13)所示：

其中sum(i)是标签v_i出现的次数,sum(m,i)是标签v_i和v_m共同出现的次数。因为sum(i)和sum(m) 并不一定相等，所以P(v_i|v_m)和P(v_m|v_i)并不相同。

根据公式(13)，本发明可以得到所有标签之间的转移概率矩阵P。针对传统方法并未深 入考虑图像标签之间存在的内部联系的问题，本发明利用了随机点积图的聚类特性增大关联 标签之间的转移概率。例如：对于节点a、b、c，如果在a与b，b与c存在联系的情况下，a 与c之间的联系要比较大；同理，如果a与c之间没有共同相连的节点，这说明a与c之间的关联要小很多。基于随机点积图的传递性质，即P(a→c|a→b,b→c)≥P(a→c)， 本发明设P(a→c)＝<E[X_a],E[X_c]>，因此：

因此随机点积图能对标签之间的连接关系进行传递。若两个标签之间存在公共相连标签， 它们之间的转移概率应该增大，反之，它们之间的转移应该减小，从而与现实之间的语义关 系保持一致。因此，对标签转移矩阵P进行重构，过程如下：

1)根据公式(9)，得到所有标签之间的转移概率矩阵P。其中P是一个num_label*num_label的矩阵，num_label是标签的数量。

2)构建一个全零矩阵D，其中D是一个num_label*num_label的矩阵。

3)对矩阵W+diag(D)进行谱分解，得到特征值与特征向量。

4)

为前五个最大的特征值组成的对角矩阵，负特征值变为0，U为前五个特征向量组 成的矩阵。令

然后将D带入步骤3)中，直到D收敛为止

5)将得到的X带入到公式(4)中，返回步骤1)，直到L_X(G)收敛，其中P′＝X′X,P′ 为重构后的标签转移概率矩阵。

进一步，利用图学习策略将标签转移概率矩阵P′与基于图像的图学习阶段得到的R带入 公式(15)：

R′(t+1)＝βR(t)·P′+(1-β)R (15)

其中β为图学习权重值，迭代多次后，得到基于标签图学习的标注得分R′。

第三阶段是图像与标签之间的映射阶段，图像之间存在视觉模糊问题，即具有相同标签 的图像差异较大，导致图像间的视觉距离较大。为了解决上述问题，本发明设计了基于朴素 贝叶斯最近邻分类器来建立图像与标签之间的联合似然函数，拟合标签与图像间的映射关系， 得到标签的标注概率。在构建分类器时，设计改进的最近邻策略选取未标注图像的语义最近 邻图像集，有效降低视觉模糊问题对图像标注产生的影响。

为了利用图像与标签之间的关系，本发明定义了图像与标签之间的映射函数如公式(16) 所示：

其中N(M,i)是代表了未标注图像M的最近邻图像集Nei(M)中标记为标签v_i的集合，n代表了 N(M,i)集合中的图像数量，K()是一个高斯核函数，K()计算如公式(17)：

其中，f代表图像的特征，σ为标准方差。

最终，本发明将上述基于图像的图学习阶段、基于标签的图学习阶段和图像与标签之间 的映射阶段的得分按照公式(18)进行相加，得到未标注图像标注的最终结果，计算方式如 下所示：

其中σ+ω+ξ＝1，σ为基于图像的图学习过程在总分中所占的权重值，ω基于标签的图学 习过程在总分中所占的权重值，ξ图像与标签之间的映射过程在总分中所占的权重值。

结合本发明的方案，进行实验分析如下：

为了验证本发明的有效性，将基于重构图的图学习图像标注模型与当前的图像标注模型 进行对比，验证基于重构图的图学习图像标注模型的有效性。实验中采用Corel5K和IAPR TC12两个典型的数据集，其中数据集的详细信息如表1所示。

表1数据集的基本信息

DataSet	Corel 5K	IAPR TC12
			图像数量	4999	19627
标签数量	260	291
			训练图像数量	4500	17665
测试图像数量	499	1962
			图片的平均标签数	3.5	5.7

本发明的第一步是提取特征，这是一个非常重要的部分。特征提取对图像标注***的性 能有着深远的影响。近年来，CNN被广泛应用于图像的特征提取，如VGG 16、ResNet等。 与使用15个手工特征相比，不需要使用度量学习来确定每个特征的最优权重，因此更容易确 定参数。因此本发明使用CNN代替传统的15个特征，不仅有效地减少了特征的数量，同时 提高了标注模型的图像标注准确率。

在实验中，本发明使用了与之前工作相同的评价方法来有效地验证本发明的模型。在本 发明中，给每个图像五个最有可能被标记的标签。然后，对测试集中每幅图像对应的标签进 行标注精度和召回率的验证。具体地，一个标签v_k，它在数据集中被标记的图像数量为n1， 而在测试中标记为v_k的图像数为n2，正确的标记数目记录为n3。计算标签v_k精度的方法为 p＝n3/n2，标签v_k的召回率为r＝n3/n1。这些数值是通过计算每个标签得到的，然后计算平均 值得到平均精度P和平均召回率R。定义F1，即P和R结合的分数，F1＝2PR/(P+R)。本发 明定义了N₊，它表示至少一次正确标记的标记数。这表明了本发明所提出的解决类不平衡和 弱标号问题的能力。

值得注意的是，本发明在比较的方法中选取了几个基于最近邻的方法，本发明的方法在 所有方面的性能都优于JEC方法。它与2PKNN方法相比，在Corel 5K数据集上，R与N₊也 要比2PKNN高。本发明的方法与TagProp相比，无论TagProp是否采用度量学习，所设计的方法得到的结果都要优于TagProp。通过与这些方法的比较说明本发明的图学习方法在图像标 注领域也有着独特的优势。

本发明的方法与基于图学***衡问题，使得每 个标注词都存在被选中的可能。同时该方法与GLKNN相比，N₊有着明显的提高，这是因为 本发明考虑标签共现不对称现象，利用基于图学习来计算标签转移概率，能够最大程度提高 低频标签的被选中概率，为标签之间的传递提供了更合适的权重，提高图像标注***的性能。

表2实验效果对比图

图3中显示了本发明的方法在Corel 5K数据集上的一些标注示例，Corel 5K数据集用于 分类、检索、标注等。Corel 5K数据集是标准数据集，是国外整理的开源数据集，它的标注 标签都是英文，因此，图3中的标签都为英文。其中用绿色标注表示是真实标注且与本发明 标注的结果一致的标签，红色表示没有出现在真实标注中。需要注意的是，数据集中的某些 图像的真实标注词不足五个，但是本发明的方法是必须标注五个标签。这导致对相当多的图 像标注了过多的标签，尽管一些标签是真实标签里所欠缺的。同时还可以发现，在某些红色 标注中，其本身并没有出现错误，只是这些标签没有出现在真实标注当中。

在IAPRCT12上，本发明的算法同样有着出色的表现。在该数据集上，本发明提出的方 法与当前的工作比较，本发明的方法召回了最多的标签。在这基础之上，本发明的召回率R 也仅次于CAAKNN方法，在精度没有下降太多的前提下，大大提高了召回率。与基于图学***衡问题的必要性。

Claims (1)

1.一种基于重构图的图学***衡问题；在图像与标签之间的映射阶段，采用朴素贝叶斯分类器来建立图像与标签之间的联合似然函数，拟合标签与图像间的映射关系，进而得到标签的标注概率；

第一阶段是基于图像的图学习阶段，具体步骤为：

(1)语义最近邻的选取过程，通过寻找未标注图像的语义最近邻图像集，提高未标注图像的标注准确率，设计一种改进的最近邻策略，具体为：

对于未标注图像M，在每个标签v_μ下，通过视觉特征距离，寻找其语义最近的x个图像组成语义最近邻集合Se_μ(M)，如公式(1)所示：

其中，X_f为图像的特征向量，DIS(M,z)为未标注图像M与图像z之间的视觉特征距离；

通过为每个标签寻找未标注图像M的语义最近邻图像集，使得每个标签以相同的概率出现在未标注图像M的语义最近邻图像集中，降低弱标签对图像标注产生的影响；

(2)未标注图像的相似矩阵重构过程，重构未标注图像的相似矩阵，用于发掘图像之间的深层关联；

为了学习图像之间的深层关联，定义由相似图像集N(M)构成的相似矩阵为W ^M ，其中W ^M 是一个n×n的矩阵，W ^M _ij的值由公式(1)求得，且W ^M _ii＝0；对于给定的相似矩阵W ^M ，提出基于随机点积图的方法对未标注图像的相似矩阵W ^M 进行重构；

随机点积图是点边随机图模型；随机点积图具有良好的聚类性质，可以很好地对现实中图结构进行聚类；具体地：

随机图中的每一条边都是随机而独立地出现的；根据Bernoulli分布：随机点乘积图G_X＝(V,E)根据概率p_ij生成边缘集E，得到观测图；如果观测图G＝(V,E)是无向加权图，且其邻接矩阵为A＝(a_pq)_r×r,a_pq∈[0,1]，则：

其对应的对数似然函数为：

其中，边缘概率反映了节点之间的相关性；从等式(4)上可以得到当L_X(G)取值最大时，边的概率尽可能地对应于权值；根据对偶原则：

maxL_X(G)＝minF_Z(X) (5)

其中，

因此求解的函数转化为：

其中，因为相似矩阵W ^M 的对角元素为零，将公式(6)左边改写为矩阵形式为：

minF_Z(X)＝min||X^TX-A-diag(X^TX)|| (7)

因此，基于随机点积图的标注图像的相似矩阵的重构过程如下：

1)首先通过寻找语义最近邻图像集Se(M)，然后通过公式(1)构建未标注图像与Se(M)初始相似矩阵W^Se，其中W^Se是一个(k+1)×(k+1)的矩阵，k＝n×num_label；

2)构建一个全零矩阵D₀，D₀是一个(k+1)×(k+1)的矩阵；

3)对矩阵W^Se+diag(D₀)进行谱分解，得到特征值与特征向量，其中diag(D₀)为矩阵D₀的对角矩阵；

4)

为前五个最大的特征值组成的对角矩阵，负特征值变为0，U为前五个特征向量组成的矩阵；令

然后将D₀带入步骤3)中，直到D₀收敛为止；

5)将得到的X带入到公式(4)中，返回步骤1)，直到L_X(G)收敛，其中T＝X′X,T为重构后的加权矩阵；

(3)图学习迭代过程：首先，利用训练图像特征和训练图像的注释信息；然后，迭代未标注图像的相似性矩阵，深度挖掘未标记图像与标记图像之间的相似性，并根据此相似度将标记图像中的相应语义标签传递给未标记图像，迭代通过上述步骤至收敛，最终得到标签的得分和排序；具体过程如下：

1)根据公式(1)，计算未标注图像M与其最近邻图像集Se(M)的相似矩阵W^Se，其中W^Se是一个(k+1)×(k+1)的矩阵，k＝n×num_label；

2)利用随机点积图对相似矩阵W^Se进行重构得到加权矩阵T，进而得到加权相似矩阵W^Se′＝W^Se+ωT，其中ω是权重；

3)对加权相似矩阵W^Se′进行正则化如下：

E＝I^1/2W^Se′I^1/2 (8)

其中，I是一个对角矩阵，

4)通过公式(9)进行迭代，迭代至收敛；

R(t+1)＝αE·R(t)+(1-α)Y (9)

其中，R(0)＝Y，α为图学习的权重值；当公式(9)迭代至收敛得到R，得到图像标注的初步结果；

第二阶段是基于标签的图学习阶段，具体步骤为：

为了解决图像标签不对称现象，在计算标签之间的转移概率时，使标签之间的转移概率尽可能的符合现实生活中的实际情况；为了获取标签之间的转移概率p，标签v_g转移到标签v_m的概率P(v_m|v_g)的计算方式如公式(13)所示：

其中，sum(g)是标签v_g出现的次数,sum(m,g)是标签v_g和v_m共同出现的次数；因为sum(g)和sum(m)并不一定相等，所以P(v_g|v_m)和P(v_m|v_g)并不相同；

根据公式(13)，可以得到所有标签之间的转移概率矩阵P，并利用随机点积图的聚类特性增大关联标签之间的转移概率；

对标签转移矩阵P进行重构，过程如下：

1)根据公式(13)，得到所有标签之间的转移概率矩阵P；其中P是一个num_label*num_label的矩阵，num_label是标签的数量；

2)构建一个全零矩阵D，其中D是一个num_label*num_label的矩阵；

3)对矩阵P+diag(D)进行谱分解，得到特征值与特征向量；

4)

为前五个最大的特征值组成的对角矩阵，负特征值变为0，U为前五个特征向量组成的矩阵；令

然后将D带入步骤3)中，直到D收敛为止

5)将得到的X带入到公式(4)中，返回步骤1)，直到L_X(G)收敛，其中P′＝X′X,P′为重构后的标签转移概率矩阵；

利用图学习策略将标签转移概率矩阵P′与基于图像的图学习阶段得到的R带入公式(15)：

R′(t+1)＝βR(t)·P′+(1-β)R (15)

其中，β为图学习权重值，迭代多次后，得到基于标签图学习的标注得分R′；

第三阶段是图像与标签之间的映射阶段，具体步骤为：

为利用图像与标签之间的关系，定义图像与标签之间的映射函数如公式(16)所示：

其中，N(M,μ)是代表未标注图像M的最近邻图像集Nei(M)中标记为标签v_μ的集合，n代表N(M,μ)集合中的图像数量，K()是一个高斯核函数，K()计算如公式(17)：

其中，f代表图像的特征，σ为标准方差；

最终，将上述基于图像的图学习阶段、基于标签的图学习阶段和图像与标签之间的映射阶段的得分按照公式(18)进行相加，得到未标注图像标注的最终结果，计算方式如下所示：

其中，γ+ω+ξ＝1，γ为基于图像的图学习过程在总分中所占的权重值，ω基于标签的图学习过程在总分中所占的权重值，ξ图像与标签之间的映射过程在总分中所占的权重值。

Images