CN110097112B - 一种基于重构图的图学习模型 - Google Patents
一种基于重构图的图学习模型 Download PDFInfo
- Publication number
- CN110097112B CN110097112B CN201910342717.7A CN201910342717A CN110097112B CN 110097112 B CN110097112 B CN 110097112B CN 201910342717 A CN201910342717 A CN 201910342717A CN 110097112 B CN110097112 B CN 110097112B
- Authority
- CN
- China
- Prior art keywords
- image
- label
- matrix
- graph
- labels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 109
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000002372 labelling Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims abstract description 11
- 238000012546 transfer Methods 0.000 claims abstract description 5
- 230000007704 transition Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000005065 mining Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000008901 benefit Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 claims description 2
- 238000010380 label transfer Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
一种基于重构图的图学***衡性,引入最近的图论模型,有效地解决标签不平衡问题。随机点积图用于重建标签的传递矩阵,解决图像标签共存的不对称问题。此外,使用朴素贝叶斯最近邻分类器来建立图像和标签之间的联合似然函数。本发明针对图像标签存在的分类不平衡的特点,提出基于重构图模型的图像标注模型,能够有效的提高标签的召回率。
Description
技术领域
本发明属于图像标注技术领域,涉及一种基于重构图的图学习模型,用于应对大数据背 景下图像标注的问题。
背景技术
大数据时代的到来带来了很多机遇,也带来了更多的挑战。随着智能设备的普及和移动 网络的发展,人们越来越喜欢在网络上进行图像分享,这产生了大量的图像,这些图像蕴含 着巨大的财富,因此,高效的图像分析成为具有重大研究意义的热点。然而这些海量的图像 中存在大量没标签的图像,对有效的挖掘图像中的价值带来了巨大的挑战。图学习模型是一 种典型的图像标注方法,其基于无监督、半监督、有监督学习策略,共享相似图像之间的标 签,从而有效地对海量无标签图像进行标注。
然而现有的图学习模型方法仅考虑了图像间的视觉距离,忽略了图像间的深层次关联关 系,即具有相同标签的图像,在视觉上可能存在着巨大的差异,这将导致它们构造图学习相 似矩阵时有着较大的视觉距离,但这并不符合实际情况。为了有效地深度挖掘图像间的关联 关系,因此本专利提出了一种基于重构图的图学习模型来有效地对图像进行标注。
基于图学习的图像标注模型在设计过程中存在两个大的挑战:
(1)弱标签现象:当前图像数据集具有标签不均衡的问题,即训练集中有的标签标记的 图像数量远超平均值,有些则低于平均值,会导致大数量标签被选为测试图像的标注词的概 率较大。未能对所有的标签进行充分的利用,无法提高图模型的召回率,进而严重影响了图 像标注的准确率。因此如何充分利用图像集的所有标签,提高图模型的召回率,实现高精度 标注是图像标注模型的关键问题。
(2)标签共现不平衡现象:在图像训练集中,标签之间会存在同时出现的现象。传统的 标注模型在考虑标签间的关系时,对两个标签之间共享相同的共现概率。然而标签之间的共 现概率并不相同,因此有效地利用标签之间的关系以及准确地对标签之间共现不平衡现象进 行度量,使得标签间的关系精确反映实际情况是图像标注模型中亟需解决的问题。
基于重构图的图学***衡的影响,提高 图像标注的准确率。因此,图像标注的问题主要体现在以下三个方面:
(1)标签召回率过低问题:该问题是指在图像进行标注时,对于部分标签本身的标注次 数过少,这样会导致在自动标注时被选中的概率大大降低。
(2)标签共现不平衡问题:该问题是指标签之间有共同出现的概率,但它们之间的共同 出现的概率并非完全相同。
(3)视觉模糊问题:该问题是指相同标签的图像存在较大的差异,导致它们之间的视觉 距离过大,使得该图像被选为语义近邻的可能性减小,影响图像标注的精度。
发明内容
传统的图学习模型仅仅考虑图像之间的加权视觉距离,并未深入考虑图像之间的视觉模 糊问题,没有挖掘图像间的深层关系。因此,本发明提供了一种基于重构图的图学习标注模 型,通过重构图学习模型的相似矩阵,发掘图像之间内部关联,同时利用标签间的共现关系 以及标签与图像之间映射关系,从而提高图像标注的标签召回率与标注的准确性。
为了达到上述目的,本发明采用的技术方案为:
一种基于重构图的图学***衡问题。在图像与标签之间的映射阶段,采用朴素贝叶斯分类器来建立图 像与标签之间的联合似然函数,拟合标签与图像间的映射关系,进而得到标签的标注概率。
具体步骤如下:
(1)基于图像的图学习过程:首先针对图像数据集中弱标签的问题,设计改进的最近邻 策略选取未标注图像的语义最近邻图像,提高弱标签的标注概率,抑制高频标签的标注概率; 然后通过随机点积图重构语义最近邻图像的相似矩阵,挖掘图像之间的深层关联;最终,通 过图学习算法迭代至收敛,得到初步的标注结果。
1)寻找测试图像语义最近邻图像:设计改进最近邻策略,即先在每个语义标签中寻找未 标注图像M的最相似图像集Se(M),然后再对相似图像集Se(M)中的图像n,n∈Se(M)分别 寻找最相似的图像集Se(n)。若未标注图像M同时出现在最相似图像集Se(n)中,则说明该 图像n为未标注图像M的语义最近图像,最终选出的语义最近邻图像集Se′(n)与未标注图像 M一同构成未标注图像M的语义最近邻图像集N(M)。同时,在选择未标注图像M的语义最 近邻图像时,构建所有标签的语义最近邻图像集。标注图像数量远超平均值的标签、远低于 平均值的标签,以相同的概率出现在未标注图像语义最近邻图像集中。通过改进的最近邻策 略,有效地克服了弱标签问题导致的部分标签低概率选中问题。
2)构建相似矩阵:通过未标注图像M的语义最近邻图像集N(M)构建图像间的相似矩阵 W,然后利用随机点积图方法对相似矩阵W进行重构得到权重矩阵T。利用相似矩阵W与权 重矩阵T进行叠加得到加权相似矩阵W'。
3)图学习算法迭代:通过对加权相似矩阵W'进行正则化得到矩阵I,然后对矩阵I进行 迭代至收敛,得到初步的标注结果。
(2)基于标签的图学***衡的现象;然后通过使用随机点积图策略对关联矩阵进行重构,挖掘标签之间的深 层关联;最后通过图学习的迭代方式求得标注词之间的关联概率矩阵。
1)计算标注的关联矩阵:通过求解标签之间的转移概率,得到非对称的标注词关联矩阵 P,克服了标注词之间的共现不平衡现象。
2)重构关联矩阵:对标签关联矩阵P设计了随机点积图的策略生成重构标签关联矩阵 P′,提高有关联的标签之间转移概率,抑制无关标签之间的转移概率。
3)图学习算法迭代:通过对重构关联矩阵P′进行迭代,得到标签间的转移概率,得到 基于标签关联的标注结果。
(3)图像与标签之间的映射过程:该过程主要利用了图像与标签之间的关联,计算未标 注图像M与每个标签的语义最近邻集Se(M)之间的平均距离,得到每个标签基于图像与标签 之间的关系标注概率。
设计基于朴素贝叶斯最近邻分类器来建立图像与标签之间的联合似然函数,拟合标签与 图像间的映射关系,得到标签的标注概率。在构建分类器时,设计改进的最近邻策略选取未 标注图像的语义最近邻图像集,降低视觉模糊问题对图像标注产生的影响。
本发明的有益效果:本发明针对弱标签图像集设计了一种基于重构图的图学***衡问题。重点是设计了基于随机点积图重构相似矩阵和标签共现不平衡的解决方法。
附图说明
图1是本发明基本框架。
图2是实验结果部分截图。
图3是本发明的工作流程图。
具体实施方式
以下结合附图和技术方案,进一步说明本发明的具体实施方式。
一种基于重构图的图学习模型,包括三个阶段:图像间的图学习,标签间的图学习,图 像与标签之间的映射。
第一阶段是基于图像的图学习阶段,首先针对图像数据集中弱标签的问题,设计改进的 最近邻策略提高弱标签的标注概率,抑制高频标签的标注概率。然后对得到的相似矩阵进行 重构,挖掘图像之间的深层联系。该阶段包括语义最近邻的选取过程,未标注图像的相似矩 阵重构过程,图学习迭代过程。
(1)语义最近邻的选取过程,通过寻找未标注图像的语义最近邻图像集,提高未标注图 像的标注准确率。由于数据库中图像的特征分布不均匀,导致一些图像被选为其他的图像的 最近邻的概率较高,而一些图像被选中的概率较低,这导致引入较多的噪声图像,降低标注 准确率。因此本发明设计了一种改进的最近邻策略。具体地:
对于未标注图像M,在每个标签vi下,通过视觉特征距离,寻找其语义最近的x个图像 组成语义最近邻集合Sei(M),如公式(1)所示:
其中,Xi为图像的特征向量,DIS(M,n)为未标注图像M与图像n之间的视觉特征距离。通过 为每个标签寻找未标注图像M的语义最近邻图像集,使得每个标签以相同的概率出现在未标 注图像M的语义最近邻图像集中。基于这种方法,有效地降低弱标签对图像标注产生的影响。
然后继续对Sei(M)中的图像n,n∈Sei(M)寻找其语义最近邻图像集Sei(n),若图像M出 现在Sei(n)中,则说明n为M的语义最近邻图像。通过该方法得到一个M的改进的语义最近 邻图像集Se′i(M),若Se′i(M)中图像数量小于n,则需要将Sei(M)中排名靠前的图像但未出 现在Se′(M)中的图像添加到Se′i(M),最终将所有标签下的Se′i(M)进行合并,得到图像M的所有标签下的最近邻Se(M),集合中图像数量为x×numlabel,其中n为每个标签下的最近邻图像,numlabel为标签的数量。将未标注图像M与其语义近邻图像集合Se(M)一同构成未标注图像M的相似图像集N(M)。
(2)未标注图像的相似矩阵重构过程,重构未标注图像的相似矩阵,用于发掘图像之间 的深层关联。
为了学习图像之间的深层关联,定义由相似图像集N(M)构成的相似矩阵为W,其中W 是一个n×n的矩阵,Wij的值由公式(1)求得,且Wii=0。在计算图像之间的相似度时,为了使结果尽可能的符合现实情况,即相似的图像之间的权重应该加大,非相似图像之间的权 重减小,降低噪声图像对标注产生的影响。因此对于给定的相似矩阵W,本发明提出了基于 随机点积图的方法对未标注图像的相似矩阵W进行重构。
随机点积图是点边随机图模型。随机点积图具有良好的聚类性质,可以很好地对现实中 图结构进行聚类。具体地:
对于节点集V中的每个节点vi,i=1,2,...,n随机于值一个d维向量xi。继而得到任意一 对节点vi,vj之间边缘的概率是:
pij=f(xi·xj) (2)
由公式(2)可以看出,如果两个节点相似,即xi与xj越相近,它们之间的内积越大,反 之,内积越小。这与相似的图像之间的权重应该加大,非相似图像之间的权重减小的现象是 一致的。
随机图中的每一条边都是随机而独立地出现的。根据Bernoulli分布:随机点乘积图 GX=(V,E)根据概率pij生成边缘集E,得到观测图。如果观测图G=(V,E)是无向加权图,且其邻接矩阵为A=(aij)n×n,aij∈[0,1],则:
其对应的对数似然函数为:
其中,边缘概率反映了节点之间的相关性。从等式(4)上可以得到当LX(G)取值最大时, 边的概率尽可能地对应于权值。根据对偶原则:
max LX(G)=min FZ(X) (5)
其中,因为相似矩阵W的对角元素为零,将公式(6)左边改写为矩阵形式为:
min FZ(X)=min||XTX-A-diag(XTX)|| (7)
因此,基于随机点积图的标注图像的相似矩阵的重构过程如下:
1)首先通过寻找语义最近邻图像集Se(M),然后通过公式(1)构建未标注图像与Se(M) 初始相似矩阵W,其中W是一个(k+1)×(k+1)的矩阵,k=n×numlabel。
2)构建一个全零矩阵D,D是一个(k+1)×(k+1)的矩阵。
3)对矩阵W+diag(D)进行谱分解,得到特征值与特征向量,其中diag(D)为矩阵D的对 角矩阵。
5)将得到的X带入到公式(4)中,返回步骤1),直到LX(G)收敛,其中T=X′X,T为 重构后的加权矩阵。
(3)图学习迭代过程:基于图学习的方法是一种半监督学习方法。该方法利用训练图像 特征和训练图像的注释信息。然后迭代未标注图像的相似性矩阵,深度挖掘未标记图像与标 记图像之间的相似性,并根据此相似度将标记图像中的相应语义标签传递给未标记图像,迭 代通过上述步骤至收敛,最终得到标签的得分和排序。
图学习的过程如下:
1)根据公式(1),计算未标注图像M与其最近邻图像集Se(M)的相似矩阵W,其中W是一个(k+1)×(k+1)的矩阵,k=n×numlabel。
2)利用随机点积图对相似矩阵W进行重构得到加权矩阵T,进而得到加权相似矩阵W′=W+ωT,其中ω是权重。
3)对加权相似矩阵W′进行正则化如下:
E=D1/2W′D1/2 (8)
4)然后通过公式(9)进行迭代,迭代至收敛。
R(t+1)=αE·R(t)+(1-α)Y (9)
因此,当R收敛时,R的计算公式如下:
对于图学习问题,公式(11)的近似解为:
R=(I-αE)-1Y (12)
第二阶段是基于标签的图学***衡问题, 传统方法无法显著地提高低频标签的标注概率。例如:“海”和“船”很可能出现在同一张图片 中,这两个标签密切相关,然而标注为“船”的图像中被标注为“海”的概率要大于标注为“海” 的图像中被标注为“船”的概率,这是因为“海”可能与更多的东西有关联,例如“鱼”、“珊瑚”。 这种现象被称为图像标签的不对称现象。
为了解决图像标签不对称现象,本发明在计算标签之间的转移概率时,使标签之间的转 移概率尽可能的符合现实生活中的实际情况。为了获取标签之间的转移概率p,标签vi转移 到标签vm的概率P(vm|vi)的计算方式如公式(13)所示:
其中sum(i)是标签vi出现的次数,sum(m,i)是标签vi和vm共同出现的次数。因为sum(i)和sum(m) 并不一定相等,所以P(vi|vm)和P(vm|vi)并不相同。
根据公式(13),本发明可以得到所有标签之间的转移概率矩阵P。针对传统方法并未深 入考虑图像标签之间存在的内部联系的问题,本发明利用了随机点积图的聚类特性增大关联 标签之间的转移概率。例如:对于节点a、b、c,如果在a与b,b与c存在联系的情况下,a 与c之间的联系要比较大;同理,如果a与c之间没有共同相连的节点,这说明a与c之间的关联要小很多。基于随机点积图的传递性质,即P(a→c|a→b,b→c)≥P(a→c), 本发明设P(a→c)=<E[Xa],E[Xc]>,因此:
因此随机点积图能对标签之间的连接关系进行传递。若两个标签之间存在公共相连标签, 它们之间的转移概率应该增大,反之,它们之间的转移应该减小,从而与现实之间的语义关 系保持一致。因此,对标签转移矩阵P进行重构,过程如下:
1)根据公式(9),得到所有标签之间的转移概率矩阵P。其中P是一个numlabel*numlabel的矩阵,numlabel是标签的数量。
2)构建一个全零矩阵D,其中D是一个numlabel*numlabel的矩阵。
3)对矩阵W+diag(D)进行谱分解,得到特征值与特征向量。
5)将得到的X带入到公式(4)中,返回步骤1),直到LX(G)收敛,其中P′=X′X,P′ 为重构后的标签转移概率矩阵。
进一步,利用图学习策略将标签转移概率矩阵P′与基于图像的图学习阶段得到的R带入 公式(15):
R′(t+1)=βR(t)·P′+(1-β)R (15)
其中β为图学习权重值,迭代多次后,得到基于标签图学习的标注得分R′。
第三阶段是图像与标签之间的映射阶段,图像之间存在视觉模糊问题,即具有相同标签 的图像差异较大,导致图像间的视觉距离较大。为了解决上述问题,本发明设计了基于朴素 贝叶斯最近邻分类器来建立图像与标签之间的联合似然函数,拟合标签与图像间的映射关系, 得到标签的标注概率。在构建分类器时,设计改进的最近邻策略选取未标注图像的语义最近 邻图像集,有效降低视觉模糊问题对图像标注产生的影响。
为了利用图像与标签之间的关系,本发明定义了图像与标签之间的映射函数如公式(16) 所示:
其中N(M,i)是代表了未标注图像M的最近邻图像集Nei(M)中标记为标签vi的集合,n代表了 N(M,i)集合中的图像数量,K()是一个高斯核函数,K()计算如公式(17):
其中,f代表图像的特征,σ为标准方差。
最终,本发明将上述基于图像的图学习阶段、基于标签的图学习阶段和图像与标签之间 的映射阶段的得分按照公式(18)进行相加,得到未标注图像标注的最终结果,计算方式如 下所示:
其中σ+ω+ξ=1,σ为基于图像的图学习过程在总分中所占的权重值,ω基于标签的图学 习过程在总分中所占的权重值,ξ图像与标签之间的映射过程在总分中所占的权重值。
结合本发明的方案,进行实验分析如下:
为了验证本发明的有效性,将基于重构图的图学习图像标注模型与当前的图像标注模型 进行对比,验证基于重构图的图学习图像标注模型的有效性。实验中采用Corel5K和IAPR TC12两个典型的数据集,其中数据集的详细信息如表1所示。
表1数据集的基本信息
DataSet | Corel 5K | IAPR TC12 |
图像数量 | 4999 | 19627 |
标签数量 | 260 | 291 |
训练图像数量 | 4500 | 17665 |
测试图像数量 | 499 | 1962 |
图片的平均标签数 | 3.5 | 5.7 |
本发明的第一步是提取特征,这是一个非常重要的部分。特征提取对图像标注***的性 能有着深远的影响。近年来,CNN被广泛应用于图像的特征提取,如VGG 16、ResNet等。 与使用15个手工特征相比,不需要使用度量学习来确定每个特征的最优权重,因此更容易确 定参数。因此本发明使用CNN代替传统的15个特征,不仅有效地减少了特征的数量,同时 提高了标注模型的图像标注准确率。
在实验中,本发明使用了与之前工作相同的评价方法来有效地验证本发明的模型。在本 发明中,给每个图像五个最有可能被标记的标签。然后,对测试集中每幅图像对应的标签进 行标注精度和召回率的验证。具体地,一个标签vk,它在数据集中被标记的图像数量为n1, 而在测试中标记为vk的图像数为n2,正确的标记数目记录为n3。计算标签vk精度的方法为 p=n3/n2,标签vk的召回率为r=n3/n1。这些数值是通过计算每个标签得到的,然后计算平均 值得到平均精度P和平均召回率R。定义F1,即P和R结合的分数,F1=2PR/(P+R)。本发 明定义了N+,它表示至少一次正确标记的标记数。这表明了本发明所提出的解决类不平衡和 弱标号问题的能力。
值得注意的是,本发明在比较的方法中选取了几个基于最近邻的方法,本发明的方法在 所有方面的性能都优于JEC方法。它与2PKNN方法相比,在Corel 5K数据集上,R与N+也 要比2PKNN高。本发明的方法与TagProp相比,无论TagProp是否采用度量学习,所设计的方法得到的结果都要优于TagProp。通过与这些方法的比较说明本发明的图学习方法在图像标 注领域也有着独特的优势。
本发明的方法与基于图学***衡问题,使得每 个标注词都存在被选中的可能。同时该方法与GLKNN相比,N+有着明显的提高,这是因为 本发明考虑标签共现不对称现象,利用基于图学习来计算标签转移概率,能够最大程度提高 低频标签的被选中概率,为标签之间的传递提供了更合适的权重,提高图像标注***的性能。
表2实验效果对比图
图3中显示了本发明的方法在Corel 5K数据集上的一些标注示例,Corel 5K数据集用于 分类、检索、标注等。Corel 5K数据集是标准数据集,是国外整理的开源数据集,它的标注 标签都是英文,因此,图3中的标签都为英文。其中用绿色标注表示是真实标注且与本发明 标注的结果一致的标签,红色表示没有出现在真实标注中。需要注意的是,数据集中的某些 图像的真实标注词不足五个,但是本发明的方法是必须标注五个标签。这导致对相当多的图 像标注了过多的标签,尽管一些标签是真实标签里所欠缺的。同时还可以发现,在某些红色 标注中,其本身并没有出现错误,只是这些标签没有出现在真实标注当中。
在IAPRCT12上,本发明的算法同样有着出色的表现。在该数据集上,本发明提出的方 法与当前的工作比较,本发明的方法召回了最多的标签。在这基础之上,本发明的召回率R 也仅次于CAAKNN方法,在精度没有下降太多的前提下,大大提高了召回率。与基于图学***衡问题的必要性。
Claims (1)
1.一种基于重构图的图学***衡问题;在图像与标签之间的映射阶段,采用朴素贝叶斯分类器来建立图像与标签之间的联合似然函数,拟合标签与图像间的映射关系,进而得到标签的标注概率;
第一阶段是基于图像的图学习阶段,具体步骤为:
(1)语义最近邻的选取过程,通过寻找未标注图像的语义最近邻图像集,提高未标注图像的标注准确率,设计一种改进的最近邻策略,具体为:
对于未标注图像M,在每个标签vμ下,通过视觉特征距离,寻找其语义最近的x个图像组成语义最近邻集合Seμ(M),如公式(1)所示:
其中,Xf为图像的特征向量,DIS(M,z)为未标注图像M与图像z之间的视觉特征距离;
通过为每个标签寻找未标注图像M的语义最近邻图像集,使得每个标签以相同的概率出现在未标注图像M的语义最近邻图像集中,降低弱标签对图像标注产生的影响;
(2)未标注图像的相似矩阵重构过程,重构未标注图像的相似矩阵,用于发掘图像之间的深层关联;
为了学习图像之间的深层关联,定义由相似图像集N(M)构成的相似矩阵为W M ,其中W M 是一个n×n的矩阵,W M ij的值由公式(1)求得,且W M ii=0;对于给定的相似矩阵W M ,提出基于随机点积图的方法对未标注图像的相似矩阵W M 进行重构;
随机点积图是点边随机图模型;随机点积图具有良好的聚类性质,可以很好地对现实中图结构进行聚类;具体地:
随机图中的每一条边都是随机而独立地出现的;根据Bernoulli分布:随机点乘积图GX=(V,E)根据概率pij生成边缘集E,得到观测图;如果观测图G=(V,E)是无向加权图,且其邻接矩阵为A=(apq)r×r,apq∈[0,1],则:
其对应的对数似然函数为:
其中,边缘概率反映了节点之间的相关性;从等式(4)上可以得到当LX(G)取值最大时,边的概率尽可能地对应于权值;根据对偶原则:
maxLX(G)=minFZ(X) (5)
其中,因为相似矩阵W M 的对角元素为零,将公式(6)左边改写为矩阵形式为:
minFZ(X)=min||XTX-A-diag(XTX)|| (7)
因此,基于随机点积图的标注图像的相似矩阵的重构过程如下:
1)首先通过寻找语义最近邻图像集Se(M),然后通过公式(1)构建未标注图像与Se(M)初始相似矩阵WSe,其中WSe是一个(k+1)×(k+1)的矩阵,k=n×numlabel;
2)构建一个全零矩阵D0,D0是一个(k+1)×(k+1)的矩阵;
3)对矩阵WSe+diag(D0)进行谱分解,得到特征值与特征向量,其中diag(D0)为矩阵D0的对角矩阵;
5)将得到的X带入到公式(4)中,返回步骤1),直到LX(G)收敛,其中T=X′X,T为重构后的加权矩阵;
(3)图学习迭代过程:首先,利用训练图像特征和训练图像的注释信息;然后,迭代未标注图像的相似性矩阵,深度挖掘未标记图像与标记图像之间的相似性,并根据此相似度将标记图像中的相应语义标签传递给未标记图像,迭代通过上述步骤至收敛,最终得到标签的得分和排序;具体过程如下:
1)根据公式(1),计算未标注图像M与其最近邻图像集Se(M)的相似矩阵WSe,其中WSe是一个(k+1)×(k+1)的矩阵,k=n×numlabel;
2)利用随机点积图对相似矩阵WSe进行重构得到加权矩阵T,进而得到加权相似矩阵WSe′=WSe+ωT,其中ω是权重;
3)对加权相似矩阵WSe′进行正则化如下:
E=I1/2WSe′I1/2 (8)
4)通过公式(9)进行迭代,迭代至收敛;
R(t+1)=αE·R(t)+(1-α)Y (9)
其中,R(0)=Y,α为图学习的权重值;当公式(9)迭代至收敛得到R,得到图像标注的初步结果;
第二阶段是基于标签的图学习阶段,具体步骤为:
为了解决图像标签不对称现象,在计算标签之间的转移概率时,使标签之间的转移概率尽可能的符合现实生活中的实际情况;为了获取标签之间的转移概率p,标签vg转移到标签vm的概率P(vm|vg)的计算方式如公式(13)所示:
其中,sum(g)是标签vg出现的次数,sum(m,g)是标签vg和vm共同出现的次数;因为sum(g)和sum(m)并不一定相等,所以P(vg|vm)和P(vm|vg)并不相同;
根据公式(13),可以得到所有标签之间的转移概率矩阵P,并利用随机点积图的聚类特性增大关联标签之间的转移概率;
对标签转移矩阵P进行重构,过程如下:
1)根据公式(13),得到所有标签之间的转移概率矩阵P;其中P是一个numlabel*numlabel的矩阵,numlabel是标签的数量;
2)构建一个全零矩阵D,其中D是一个numlabel*numlabel的矩阵;
3)对矩阵P+diag(D)进行谱分解,得到特征值与特征向量;
5)将得到的X带入到公式(4)中,返回步骤1),直到LX(G)收敛,其中P′=X′X,P′为重构后的标签转移概率矩阵;
利用图学习策略将标签转移概率矩阵P′与基于图像的图学习阶段得到的R带入公式(15):
R′(t+1)=βR(t)·P′+(1-β)R (15)
其中,β为图学习权重值,迭代多次后,得到基于标签图学习的标注得分R′;
第三阶段是图像与标签之间的映射阶段,具体步骤为:
为利用图像与标签之间的关系,定义图像与标签之间的映射函数如公式(16)所示:
其中,N(M,μ)是代表未标注图像M的最近邻图像集Nei(M)中标记为标签vμ的集合,n代表N(M,μ)集合中的图像数量,K()是一个高斯核函数,K()计算如公式(17):
其中,f代表图像的特征,σ为标准方差;
最终,将上述基于图像的图学习阶段、基于标签的图学习阶段和图像与标签之间的映射阶段的得分按照公式(18)进行相加,得到未标注图像标注的最终结果,计算方式如下所示:
其中,γ+ω+ξ=1,γ为基于图像的图学习过程在总分中所占的权重值,ω基于标签的图学习过程在总分中所占的权重值,ξ图像与标签之间的映射过程在总分中所占的权重值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910342717.7A CN110097112B (zh) | 2019-04-26 | 2019-04-26 | 一种基于重构图的图学习模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910342717.7A CN110097112B (zh) | 2019-04-26 | 2019-04-26 | 一种基于重构图的图学习模型 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110097112A CN110097112A (zh) | 2019-08-06 |
CN110097112B true CN110097112B (zh) | 2021-03-26 |
Family
ID=67445937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910342717.7A Active CN110097112B (zh) | 2019-04-26 | 2019-04-26 | 一种基于重构图的图学习模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110097112B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112597328B (zh) * | 2020-12-28 | 2022-02-22 | 推想医疗科技股份有限公司 | 标注方法、装置、设备及介质 |
CN113627464B (zh) * | 2021-06-28 | 2024-02-27 | 广州广电运通金融电子股份有限公司 | 图像处理方法、装置、设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010121422A1 (en) * | 2009-04-22 | 2010-10-28 | Peking University | Connectivity similarity based graph learning for interactive multi-label image segmentation |
CN102034102A (zh) * | 2010-11-26 | 2011-04-27 | 北京大学 | 图像显著对象提取方法、互补显著度图学习方法及*** |
CN103605984A (zh) * | 2013-11-14 | 2014-02-26 | 厦门大学 | 基于超图学习的室内场景分类方法 |
CN106886601A (zh) * | 2017-03-02 | 2017-06-23 | 大连理工大学 | 一种基于子空间混合超图学习的交叉模态检索算法 |
CN107679242A (zh) * | 2017-10-30 | 2018-02-09 | 河海大学 | 融合多信息源耦合张量分解的标签推荐方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106776554A (zh) * | 2016-12-09 | 2017-05-31 | 厦门大学 | 一种基于多模态超图学习的微博情感预测方法 |
-
2019
- 2019-04-26 CN CN201910342717.7A patent/CN110097112B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010121422A1 (en) * | 2009-04-22 | 2010-10-28 | Peking University | Connectivity similarity based graph learning for interactive multi-label image segmentation |
CN102034102A (zh) * | 2010-11-26 | 2011-04-27 | 北京大学 | 图像显著对象提取方法、互补显著度图学习方法及*** |
CN103605984A (zh) * | 2013-11-14 | 2014-02-26 | 厦门大学 | 基于超图学习的室内场景分类方法 |
CN106886601A (zh) * | 2017-03-02 | 2017-06-23 | 大连理工大学 | 一种基于子空间混合超图学习的交叉模态检索算法 |
CN107679242A (zh) * | 2017-10-30 | 2018-02-09 | 河海大学 | 融合多信息源耦合张量分解的标签推荐方法 |
Non-Patent Citations (3)
Title |
---|
Image annotation via graph learning;Jing Liu 等;《Pattern Recognition》;20090228;第42卷(第2期);全文 * |
Optimized Graph Learning Using Partial Tags and Multiple Features for Image and Video Annotation;Jingkuan Song 等;《IEEE Transactions on Image Processing》;20161130;第25卷(第11期);全文 * |
基于自编码器及超图学习的多标签特征提取;唐朝辉 等;《自动化学报》;20160731;第42卷(第7期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110097112A (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11748919B2 (en) | Method of image reconstruction for cross-modal communication system and device thereof | |
CN112131404A (zh) | 一种四险一金领域知识图谱中实体对齐方法 | |
Zhu et al. | A structured graph attention network for vehicle re-identification | |
CN113688894B (zh) | 一种融合多粒度特征的细粒度图像分类方法 | |
CN113377981B (zh) | 基于多任务深度哈希学习的大规模物流商品图像检索方法 | |
CN110097112B (zh) | 一种基于重构图的图学习模型 | |
CN112131395A (zh) | 一种基于动态阈值的迭代式知识图谱实体对齐方法 | |
CN110598022B (zh) | 一种基于鲁棒深度哈希网络的图像检索***与方法 | |
CN112199532A (zh) | 一种基于哈希编码和图注意力机制的零样本图像检索方法及装置 | |
CN107180079B (zh) | 基于卷积神经网络以及树与哈希结合索引的图像检索方法 | |
CN108052683B (zh) | 一种基于余弦度量规则的知识图谱表示学习方法 | |
CN104731882A (zh) | 一种基于哈希编码加权排序的自适应查询方法 | |
CN107451617B (zh) | 一种图转导半监督分类方法 | |
CN116152554A (zh) | 基于知识引导的小样本图像识别*** | |
CN112766458A (zh) | 一种联合分类损失的双流有监督深度哈希图像检索方法 | |
CN117272195A (zh) | 基于图卷积注意力网络的区块链异常节点检测方法及*** | |
CN116883723A (zh) | 一种基于并联语义嵌入的组成式零样本图像分类方法 | |
CN113033410B (zh) | 基于自动数据增强的域泛化行人重识别方法、***及介质 | |
CN111881989B (zh) | 一种高光谱图像分类方法 | |
CN113361283A (zh) | 面向Web表格的成对实体联合消歧方法 | |
CN113360732A (zh) | 一种大数据多视图图聚类方法 | |
CN116384489A (zh) | 基于卷积神经网络和注意力机制的知识图谱嵌入方法 | |
CN113642655B (zh) | 基于支持向量机和卷积神经网络的小样本图像分类方法 | |
WO2023273171A1 (zh) | 图像处理方法、装置、设备和存储介质 | |
CN115205554A (zh) | 一种基于语义概念抽取的检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |