CN106886601A - 一种基于子空间混合超图学习的交叉模态检索算法 - Google Patents
一种基于子空间混合超图学习的交叉模态检索算法 Download PDFInfo
- Publication number
- CN106886601A CN106886601A CN201710116758.5A CN201710116758A CN106886601A CN 106886601 A CN106886601 A CN 106886601A CN 201710116758 A CN201710116758 A CN 201710116758A CN 106886601 A CN106886601 A CN 106886601A
- Authority
- CN
- China
- Prior art keywords
- similarity
- mode
- cross
- modality
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 238000010219 correlation analysis Methods 0.000 claims abstract description 10
- 238000011524 similarity measure Methods 0.000 claims abstract 2
- 238000000034 method Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 2
- 239000013589 supplement Substances 0.000 claims 1
- 238000013507 mapping Methods 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 8
- 241000282326 Felis catus Species 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于子空间混合超图学习的交叉模态检索算法,基于典型相关性分析的交叉模态公共子空间学习;通过公共子空间的映射来计算模态内部和模态之间的相似度;通过不同模态内部和模态之间的相似度计算混合关系矩阵;通过对关系矩阵的提炼构建混合超图模型;最后采用超图学习进行交叉模态检索和样例排序。本发明实例针对交叉模态的异构差异性,以及样本之间的高阶关系,将超图模型结合交叉模态公共子空间学习,应用到交叉模态检索中,使模型能够同时考虑模态间的相似度和模态内部的相似度,同时兼顾多个样本之间的高阶关系,提高最终的交叉模态检索的查准率和查全率。本发明有效地提高了交叉模态检索的性能,能大大提高交叉模态检索的准确率和召回率。
Description
技术领域
本发明属于计算机技术领域,具体涉及一种基于子空间混合超图学习的交叉模态检索算法。
背景技术
当前,多模态检索问题已经吸引了大量学者的关注。由于在互联网中存在着大量的多媒体数据,如图像、文本、视频等等,也就因此对于一个目标的语义描述提供了多种多样的表达方式。例如对于猫的描述形式可以包含:一段关于猫的描述的文字,一段猫的录制视频,一段猫叫声的录音,或者是一些关于猫的照片。而多模态检索问题就是针对这种多模态之间的交叉检索,即用图片去检索相关的文本,或者用文本去检索相关的图片。针对两种模态之间的检索,称之为交叉模态检索。然而由于不同语义表现形式内在的异构性差异,如何去度量不同语义表现形式之间的相似度依然是一个极具挑战的科研课题。不仅如此,当前的方法基本上是以对于对之间的关系为基础,考虑交叉模态检索的,即衡量样本之间的关系都是考虑两两之间的关系,如何利用超过两个之间的关系即高阶关系,提高交叉模态检索依然是一个空白的研究点。
近些年,一大批研究工作主要集中在消除不同模态之间的异构差异性。这些工作主要可以被分成两大类:基于子空间学习的方法和交叉模态哈希方法。
子空间学习方法试图通过学习一个隐含的公共子空间,使不同模态都能够被投影到公共子空间,在子空间中由于模态的维度相同,因此能够消除不同模态之间的异构差异性,并且他们之间的相似度能够直接度量。子空间学习方法又可以分成有监督的和无监督的。无监督方法,例如典型相关性分析(CCA),最小二乘(PLS)以及局部保留投影等方法直接将原始空间的数据映射到公共子空间中,并且不同模态之间的关系最大化。而有监督方法则是通过利用标签信息,是具有相同标签的不同模态数据在子空间中尽量靠近,反之则远离。有监督的子空间学习方法,能够在一定程度上优于无监督的方法,然而标签信息的获取是一项代价昂贵的活动,因此近些年半监督的方法也有学者研究并提出。
交叉模态哈希结合了多模态分析和哈希技术,通过投影不同模态的数据进入一个统一的哈希空间。在哈希空间中,不同模态的数据用哈希编码表示,降低了数据处理的空间复杂度和存储开销。并且哈希编码之间的相似度能够通过汉明距离直接计算,降低了相似度计算的时间复杂度。然而不管是基于交叉模态哈希的方法还是子空间学习的方法,它们大多数在衡量样本之间的关系时,仅仅考虑了两两之间的关系,而忽视了更多样本之间的高阶关系。
为了获取更多样本之间的高阶关系,超图学习已经被广泛应用于聚类、分类和信息检索领域。超图和普通图之间的区别在于:超图一条边能够连接两个以上数量的节点,而普通图的边仅仅连接两个顶点。正因为如此,通过超图能够将样本之间的高阶关系嵌入在超图的边中。通过已有的一些工作,我们发现超图有利于研究多个样本之间的高阶关系,而不仅仅是两两之间的关系。例如普通图通过一条边的权重能够度量两个点之间的相似度,而超图通过超边能够度量3个或者更多节点之前的相似性,这就为交叉模态检索提供了研究样本之间高阶关系的可能性。因此本发明利用超图来研究样本之间的高阶关系,发明一种基于子空间混合超图学习的交叉模态检索算法。消除异构模态之间的差异性,同时考虑模态内部和模态之间的相似度关系,计算混合相似度关系矩阵,以此构建混合超图模型,进而能够通过超图学习进行交叉模态的检索和结果排序。
发明内容
随着互联网中多模态数据量的逐渐增多,多模态检索成为越来越重要的多媒体应用。本发明针对两个模态之间的交叉检索,探究一种基于子空间混合超图学习的交叉模态检索算法,试图通过子空间学习,消除不同模态之间的异构差异性,通过考虑模态内部和模态之间的相似度关系,构建混合超图模型,通过超图学习进行交叉模态检索,提高交叉模态检索的准确率和召回率。算法包括以下步骤:
步骤1:基于典型相关性分析的公共子空间学习;
步骤2:计算模态内部和模态间相似度;
步骤3:计算混合邻接矩阵;
步骤4:构建超图;
步骤5:基于超图学习的交叉模态检索、重排序。
附图说明
图1是基于子空间混合超图学习的交叉模态检索算法(CHLS)流程图。
图2(a)是Wiki数据集上图片检索准确率对比图。
图2(b)是Wiki数据集上文本检索准确率对比图。
图2(c)是Wiki数据集上图片检索召回率对比图。
图2(d)是Wiki数据集上文本检索召回率对比图。
图3(a)是MIR Flickr数据集上图片检索准确率对比图。
图3(b)是MIR Flickr数据集上文本检索准确率对比图。
图3(c)是MIR Flickr数据集上图片检索召回率对比图。
图3(d)是MIR Flickr数据集上文本检索召回率对比图。
具体实施方式
下面结合附图和技术方案,进一步说明本发明的具体实施方式。
图1为基于子空间混合超图学习的交叉模态检索算法的流程图。本发明以文本和图片两种模态作为交叉模态检索的样本。首先需要对不同模态进行特征提取,对于文本数据采用隐含狄利克雷分布(LDA)进行特征提取,对于图片模态,采用卷及神经网络(CNN)进行特征学习。获得两种模态的各自特征表示之后,下一步就是采用典型相关性分析进行公共子空间学习,将原始图片和文本模态映射到同一个维度空间下,使其之间的相似度能够直接度量,消除不同模态之间的异构差异性。在子空间中能够进行相似度的直接度量,通过计算模态内部和模态之间的相似度,构建混合关系矩阵,进而构建一个混合超图。最后通过混合超图学习进行交叉模态检索。
一种基于子空间混合超图学习的交叉模态检索算法,步骤如下:
步骤1、基于典型相关性分析的公共子空间学习;
步骤2、计算模态内部和模态间相似度;
步骤3、计算混合邻接矩阵;
步骤4、构建超图;
步骤5、基于超图学习的交叉模态检索、重排序。
步骤1、基于典型相关性分析的公共子空间学习;
在多媒体数据中,一个目标物体通常能有多种表现形式,如图像、文本、视频等,构成了多媒体的多模态数据表示。多模态数据如图像和文本由于存在着异构差异性,尽管表示的语义可能相似,但是图像和文本间由于这种异构差异性,图像和文本之间的相似度则不能直接度量,给交叉模态检索带来了挑战。为此需要将图像和文本这两种模态数据通过一定的方式,映射到相同维度的公共子空间下,方便相似度度量。本专利利用典型相关性分析(Canonical Correlation Analysis,CCA)来学习多模态的公共子空间。
给定图像和文本的样本集d1≠d2,对于xi和yi,CCA通过最大化相关系数进行投影矩阵的学习。子空间投影数据可以表示为其中最大化关系表示如公式(1):
其中,Σxx和Σyy是单模态内部协方差矩阵,Σxy=Σyx是模态间的协方差矩阵,Wx,Wy投影矩阵。最终的目标函数表示如公式(2),通过优化公式(2)就能够获得投影矩阵,便能够将原始空间的多模态数据映射到公共子空间中,进行相似度度量。
对于交叉模态数据集中的每一对样本在子空间中的投影可以表示为令子空间表示数据将用于后续的步骤进行混合超图学习和交叉模态检索重排序等步骤。
通过子空间的学习,成功将异构的多模态数据映射到了同一子空间想下,消除了异构差异性,同时CCA最大化保留了交叉模态样本对之间的关联性,能够很好的应用于交叉模态检索。
步骤2、计算模态内部和模态间相似度;
本专利利用超图学习多模态样本之间的相关性,构建超图的首要步骤就是寻找合适的点构成超边。本专利首先计算样本相似度,然后利用相似度矩阵获得样本的k个最近的邻居构成超边。然而当前已有的跨模态检索方法通常只考虑模态间的相似度,忽略了模态内部的相似度,因此本专利额外考虑了模态内部相似度,通过模态内部的邻居分布信息,补充完善样本的关联性度量,从而提高跨模态检索准确率。
1)模态内部相似度
模态内部相似度能够很好的辅助跨模态检索,例如搜索文本为“猫”,那么返回结果应该是猫的图片。通过构建图片模态内部相似度,那些与直接通过跨模态返回的图片相似度高的图片也将作为检索结果返回,也就是说与猫的图片很相近的图片也会返回。
将子空间下的多模态数据样本看成一个顶点,那么模态x′内部的相似度可以表示为公式(3):
其中,是所有顶点间距离的中值,同理对于其他模态如y′计算方法也是如此。
2)模态间相似度
模态间的相似度,是通过子空间学习之后,被映射到公共子空间中的两个模态之间的相似度矩阵计算公式与公式(3)相同,但是其中的vi∈x′,vj∈y′。
步骤3、计算混合邻接矩阵:
为了构建混合超图模型,需要首选建立组合相似度矩阵,同时考虑模态间的相似度和模态内部的相似度,给定查询来自模态x′,返回结果为模态y′的计算公式见公式(4)所示:
Sx=θ*Syy+(1-θ)*Sxy (4)
其中θ是平衡参数,均衡模态内部相似度和模态间相似度的贡献度。同样的对于给定查询来自y′,返回结果为x′的相似度计算公式见公式(5)所示:
Sy=θ*Sxx+(1-θ)*Syx (5)
步骤4、构建超图;
超图模型相比于普通图模型,最明显的区别就在于超图中的一条边连接的节点数量大于等于2.如此,超边是由多个顶点都成的,这样也就使得超图嵌入了顶点间的高阶关系,而不仅仅是两个节点之间的关系。这就为研究多模态间样本关联性提供了更加丰富的关联性。令G=(V,E,w)表示一个超图,其中V表示顶点集,E表示超边的集合,w表示超边的权重向量。通常用一个关系矩阵(incidence matrix)来描述一个超图,关系矩阵的元素表示为H(v,e)=1,如果v∈e,也就是该顶点属于一条超边,则置为1,,否则为0,即H(v,e)=0。
在本方法提出的算法中,采用K-NN方法构造超图模型。利用步骤3计算得到的混合相似度矩阵,分别计算每一个样本的k个邻居,并且通过邻居关系构造关系矩阵H。将超边的数量设置为样本点的数量,每一条超边对应一个顶点以及其k个最近的邻居,将这些点的对应H的元素设置为1。当所有点的邻居够查找完毕之后,就构成了一个完整的关系矩阵。
超图中除了顶点、边之外,还有一个非常重要的参数,即边的权重。本专利中超边权重的计算公式如式(6)所示:
其中S便是混合相似度矩阵。
步骤5、基于超图学习的交叉模态检索、重排序。
构建混合超图模型之后,就是要利用超图学习来进行交叉模态的检索。在此之前,需要定义几个变量和参数。基于超图的关系矩阵H,定义顶点v∈V的度为d(v),超边e∈E的度为δ(v),其中令Dv,De分别表示两个对角矩阵,其中对角元上的元素分别为顶点的度和超边的度,W同样表示一个对角矩阵,其对角元素为超边权重值。
如此,便能够定义超图学习的目标函数,如式(7)所示:
其中f表示检索目标的排序分数向量,μ是平衡参数。通过优化目标函数(7)便能够求得f。
令可以得到超图拉普拉斯(hypergraph Laplacian)Δ=I-Θ,正则化的目标函数则可以重新表示成式(8)所示:
Ω(f)=fTΔf+μ(f-y)T(f-y) (8)
通过对Ω(f)求导可得:
通过式(9)便能够求得跨模态的检索结果。
通过选择不同的查询样本,将可以获得跨模态检索的结果f,通过排序f,便能够获取与输入查询最相关的另一个模态的样本。
验证结果:
在本发明的实验中,选择广泛应用的多模态数据集Wiki和MIR Flickr两个数据集作为验证数据。评价的标准为平均准确率均值(Mean Average Precision,MAP)、准确率曲线(Precision-Scope Curve)、召回率曲线(Recall-Scope Curve)。对比的方法又主成分分析(PCA),局部保留投影(LPP),典型相关性分析(CCA),语义回归方法(SM),子空间和语义回归混合方法(SCM)。
表1所示为在Wiki数据集中的MAP性能比较。本发明的方法表示为CHLS。包含了图片查询和文本查询两种任务。
表1算法在Wiki数据集上的MAP性能比较
表2所示为在MIR Flickr数据集中的MAP性能比较。
表2算法在MIR Flickr数据集上的MAP性能比较
从表1和表2中,可以发现本发明提出的方法在MAP指标上的交叉模态检索性能要由于对比的其他方法,说明了本发明的有效性。
另外为了显示本发明方法在交叉模态检索时准确率和召回率的变化,实验对所有方法的准确率和召回率变化作成曲线图如附图2和附图3所示。分别显示了图片检索的准确率和召回率,文本检索的准确率和召回率。从图2和图3中,我们发现,本发明提出的方法要明显优于其他方法,提供较高的准确率的同时,从召回率可以看出,本发明的方法能够在很早的阶段就达到80%以上的召回率。说明本发明提出的算法能够更快、更准地将正确的样本检索到,进一步说明了本发明的算法的有效性。
Claims (1)
1.一种基于子空间混合超图学习的交叉模态检索算法,其特征在于,步骤如下:
步骤1、基于典型相关性分析的公共子空间学习
在多媒体数据中,一个目标物体的多种表现形式构成多媒体的多模态数据表示;多模态数据图像和文本间由于存在着异构差异性,因此,二者的相似度不能直接度量;为方便图像和文本的相似度度量,将图像和文本映射到相同维度的公共子空间下,交叉模态检索算法利用典型相关性分析CCA来学习多模态数据的公共子空间;
令表示图像和文本的集合,表示图像特征,表示文本特征,通常由于两种数据类型之间的异构差异性,会使d1≠d2;对于一个文本和图像对,即xi和yi,CCA通过最大化相关系数进行投影矩阵的学习;公共子空间投影数据表示为和其中最大化关系表示如公式(1):
其中,Σxx和Σyy分别是图像和文本单模态内部协方差矩阵,Σxy=Σyx是图像和文本模态间的协方差矩阵,Wx,Wy分别是图像和文本的投影矩阵;最终的目标函数表示如公式(2),通过优化公式(2)获得投影矩阵,便将原始空间的多模态数据映射到公共子空间中,进行相似度度量;
因此对于交叉模态数据集中的每一对图像和文本在公共子空间中的投影表示为其中一个图像经过CCA投影之后的特征表示为文本的特征表示为如此两种模态数据的特征就处在同一空间下,并且维度相同,进行距离的度量;为了方便区分,给投影之后的数据重新命名,令用 表示在子空间中的图像和文本特征,他们将被用于混合超图学习以及交叉模态检索;
通过公共子空间的学习,将异构的多模态数据映射到同一公共子空间下,消除了异构差异性,同时CCA最大化保留了交叉模态样本对之间的关联性,很好的应用于交叉模态检索;
步骤2、计算模态内部和模态间相似度
本交叉模态检索算法利用超图学习多模态样本之间的相关性,构建超图的首要步骤就是寻找合适的点构成超边;首先计算样本相似度,然后利用相似度矩阵获得样本的k个最近的邻居构成超边;然而当前已有的跨模态检索方法通常只考虑模态间的相似度,忽略了模态内部的相似度,因此本交叉模态检索算法额外考虑了模态内部相似度,通过模态内部的邻居分布信息,补充完善样本的关联性度量,从而提高跨模态检索准确率;
1)模态内部相似度
通过构建图片模态内部相似度,与直接通过跨模态返回的图片相似度高的图片也作为检索结果返回;
将公共子空间下的多模态数据样本看成一个顶点,即将x′i当做顶点vi,那么模态x′内部数据x′i和x′j之间的相似度Sxx(i,j)可以表示为公式(3):
其中,σ是所有顶点间距离的中值;对于模态y′内部的相似度计算也是如此;
2)模态间相似度
模态间的相似度,通过公共子空间学习后,被映射到公共子空间中的两个模态之间的相似度矩阵计算公式与公式(3)相同,但是其中的vi∈x′,vj∈y′;
步骤3、计算混合邻接矩阵
为了构建混合超图模型,首选建立组合相似度矩阵,同时考虑模态间的相似度和模态内部的相似度,给定查询来自模态x′,返回结果为模态y′的情况下,组合相似度矩阵Sx的计算公式见公式(4)所示:
Sx=θ*Syy+(1-θ)*Sxy (4)
其中θ是平衡参数,均衡模态内部相似度和模态间相似度的贡献度;Syy是模态y′内部的相似度,Sxy是模态间相似度;
同样的对于给定查询来自y′,返回结果为x′的情况下,组合相似度矩阵Sy的计算公式见公式(5)所示:
Sy=θ*Sxx+(1-θ)*Syx (5)
其中θ是平衡参数,Sxx是模态x′内部的相似度,是模态间相似度;
步骤4、构建超图
超图中的一条边连接的节点数量大于等于2,超边是由多个顶点构成的,使得超图嵌入了顶点间的高阶关系,而不仅仅是两个节点之间的关系;令G=(V,E,w)表示一个超图,其中V表示顶点集,E表示超边的集合,w表示超边的权重向量;用一个关系矩阵来描述一个超图,关系矩阵的元素表示为H(v,e)=1,如果v∈e,也就是该顶点属于一条超边,则置为1,否则为0,即H(v,e)=0;
在交叉模态检索算法中,采用K-NN方法构造超图模型;利用步骤3计算得到的组合相似度矩阵,分别计算每一个样本的k个邻居,并且通过邻居关系构造关系矩阵H;将超边的数量设置为样本点的数量,每一条超边对应一个顶点以及其k个最近的邻居,将这些点的对应H的元素设置为1;当所有点的邻居查找完毕后,就构成了一个完整的关系矩阵;
超图中除了顶点、边之外,还有一个非常重要的参数,即边的权重;本交叉模态检索算法中超边权重的计算公式如式(6)所示:
其中S是组合相似度矩阵;
步骤5、基于超图学习的交叉模态检索、重排序
基于超图的关系矩阵H,定义顶点v∈V的度为d(v),超边e∈E的度为δ(v),其中d(v)=∑e∈Ew(e)H(v,e),δ(v)=∑v∈VH(v,e);令Dv,De分别表示两个对角矩阵,其中对角元上的元素分别为顶点的度和超边的度,W同样表示一个对角矩阵,其对角元素为超边权重值;
定义超图学习的目标函数,如式(7)所示:
其中,f表示检索目标的排序分数向量,μ是平衡参数;通过优化目标函数(7)求得f;
令得到超图拉普拉斯Δ=I-Θ,正则化的目标函数则重新表示成式(8)所示:
Ω(f)=fTΔf+μ(f-y)T(f-y) (8)
通过对Ω(f)求导得:
通过式(9)便能够求得跨模态的检索结果;
通过选择不同的查询样本,将获得跨模态检索的结果f,通过排序f,获取与输入查询最相关的另一个模态的样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710116758.5A CN106886601B (zh) | 2017-03-02 | 2017-03-02 | 一种基于子空间混合超图学习的交叉模态检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710116758.5A CN106886601B (zh) | 2017-03-02 | 2017-03-02 | 一种基于子空间混合超图学习的交叉模态检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106886601A true CN106886601A (zh) | 2017-06-23 |
CN106886601B CN106886601B (zh) | 2018-09-04 |
Family
ID=59179024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710116758.5A Active CN106886601B (zh) | 2017-03-02 | 2017-03-02 | 一种基于子空间混合超图学习的交叉模态检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106886601B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330100A (zh) * | 2017-07-06 | 2017-11-07 | 北京大学深圳研究生院 | 基于多视图联合嵌入空间的图像‑文本双向检索方法 |
CN107766555A (zh) * | 2017-11-02 | 2018-03-06 | 电子科技大学 | 基于软约束无监督型跨模态哈希的图像检索方法 |
CN108170729A (zh) * | 2017-12-13 | 2018-06-15 | 西安电子科技大学 | 利用超图融合多模态信息的图像检索方法 |
CN108510559A (zh) * | 2017-07-19 | 2018-09-07 | 哈尔滨工业大学深圳研究生院 | 一种基于有监督多视角离散化的多媒体二值编码方法 |
CN109376261A (zh) * | 2018-10-29 | 2019-02-22 | 山东师范大学 | 基于中级文本语义增强空间的模态独立检索方法和*** |
CN109657112A (zh) * | 2018-11-29 | 2019-04-19 | 九江学院 | 一种基于锚点图的跨模态哈希学习方法 |
CN109857892A (zh) * | 2018-12-29 | 2019-06-07 | 西安电子科技大学 | 基于类标传递的半监督跨模态哈希检索方法 |
CN110097112A (zh) * | 2019-04-26 | 2019-08-06 | 大连理工大学 | 一种基于重构图的图学习模型 |
CN110750660A (zh) * | 2019-10-08 | 2020-02-04 | 西北工业大学 | 一种半配对多模态数据哈希编码方法 |
CN111026935A (zh) * | 2019-12-05 | 2020-04-17 | 中国科学院自动化研究所 | 基于自适应度量融合的跨模态检索重排序方法 |
CN111488479A (zh) * | 2019-01-25 | 2020-08-04 | 北京京东尚科信息技术有限公司 | 超图构建方法、装置以及计算机***和介质 |
CN112417219A (zh) * | 2020-11-16 | 2021-02-26 | 吉林大学 | 基于超图卷积的超边链接预测方法 |
CN113159211A (zh) * | 2021-04-30 | 2021-07-23 | 杭州好安供应链管理有限公司 | 用于相似图像检索的方法、计算设备和计算机存储介质 |
CN113392196A (zh) * | 2021-06-04 | 2021-09-14 | 北京师范大学 | 一种基于多模态交叉比较的题目检索方法和*** |
CN115438035A (zh) * | 2022-10-27 | 2022-12-06 | 江西师范大学 | 一种基于kpca和混合相似度的数据异常处理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056167A (ja) * | 2003-08-05 | 2005-03-03 | Ricoh Co Ltd | 文書画像結合装置、及び該文書画像結合装置に用いられる文書画像ファイルフォーマット、検索装置、表示装置 |
CN104899253A (zh) * | 2015-05-13 | 2015-09-09 | 复旦大学 | 面向社会图像的跨模态图像-标签相关度学习方法 |
CN105205096A (zh) * | 2015-08-18 | 2015-12-30 | 天津中科智能识别产业技术研究院有限公司 | 一种跨文本模态和图像模态的数据检索方法 |
-
2017
- 2017-03-02 CN CN201710116758.5A patent/CN106886601B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056167A (ja) * | 2003-08-05 | 2005-03-03 | Ricoh Co Ltd | 文書画像結合装置、及び該文書画像結合装置に用いられる文書画像ファイルフォーマット、検索装置、表示装置 |
CN104899253A (zh) * | 2015-05-13 | 2015-09-09 | 复旦大学 | 面向社会图像的跨模态图像-标签相关度学习方法 |
CN105205096A (zh) * | 2015-08-18 | 2015-12-30 | 天津中科智能识别产业技术研究院有限公司 | 一种跨文本模态和图像模态的数据检索方法 |
Non-Patent Citations (1)
Title |
---|
LEIQUAN WANG ET AL.: "Efficient multi-modal hypergraph learning for social image classification with complex label correlations", 《NEUROCOMPUTING》 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330100A (zh) * | 2017-07-06 | 2017-11-07 | 北京大学深圳研究生院 | 基于多视图联合嵌入空间的图像‑文本双向检索方法 |
CN107330100B (zh) * | 2017-07-06 | 2020-04-03 | 北京大学深圳研究生院 | 基于多视图联合嵌入空间的图像-文本双向检索方法 |
CN108510559A (zh) * | 2017-07-19 | 2018-09-07 | 哈尔滨工业大学深圳研究生院 | 一种基于有监督多视角离散化的多媒体二值编码方法 |
CN108510559B (zh) * | 2017-07-19 | 2022-03-08 | 哈尔滨工业大学深圳研究生院 | 一种基于有监督多视角离散化的多媒体二值编码方法 |
CN107766555A (zh) * | 2017-11-02 | 2018-03-06 | 电子科技大学 | 基于软约束无监督型跨模态哈希的图像检索方法 |
CN107766555B (zh) * | 2017-11-02 | 2020-04-21 | 电子科技大学 | 基于软约束无监督型跨模态哈希的图像检索方法 |
CN108170729A (zh) * | 2017-12-13 | 2018-06-15 | 西安电子科技大学 | 利用超图融合多模态信息的图像检索方法 |
CN109376261A (zh) * | 2018-10-29 | 2019-02-22 | 山东师范大学 | 基于中级文本语义增强空间的模态独立检索方法和*** |
CN109657112A (zh) * | 2018-11-29 | 2019-04-19 | 九江学院 | 一种基于锚点图的跨模态哈希学习方法 |
CN109657112B (zh) * | 2018-11-29 | 2022-07-08 | 九江学院 | 一种基于锚点图的跨模态哈希学习方法 |
CN109857892A (zh) * | 2018-12-29 | 2019-06-07 | 西安电子科技大学 | 基于类标传递的半监督跨模态哈希检索方法 |
CN109857892B (zh) * | 2018-12-29 | 2022-12-02 | 西安电子科技大学 | 基于类标传递的半监督跨模态哈希检索方法 |
CN111488479A (zh) * | 2019-01-25 | 2020-08-04 | 北京京东尚科信息技术有限公司 | 超图构建方法、装置以及计算机***和介质 |
CN111488479B (zh) * | 2019-01-25 | 2023-11-03 | 北京京东尚科信息技术有限公司 | 超图构建方法、装置以及计算机***和介质 |
CN110097112A (zh) * | 2019-04-26 | 2019-08-06 | 大连理工大学 | 一种基于重构图的图学习模型 |
CN110097112B (zh) * | 2019-04-26 | 2021-03-26 | 大连理工大学 | 一种基于重构图的图学习模型 |
CN110750660B (zh) * | 2019-10-08 | 2023-03-10 | 西北工业大学 | 一种半配对多模态数据哈希编码方法 |
CN110750660A (zh) * | 2019-10-08 | 2020-02-04 | 西北工业大学 | 一种半配对多模态数据哈希编码方法 |
CN111026935A (zh) * | 2019-12-05 | 2020-04-17 | 中国科学院自动化研究所 | 基于自适应度量融合的跨模态检索重排序方法 |
CN111026935B (zh) * | 2019-12-05 | 2023-03-21 | 中国科学院自动化研究所 | 基于自适应度量融合的跨模态检索重排序方法 |
CN112417219B (zh) * | 2020-11-16 | 2022-07-01 | 吉林大学 | 基于超图卷积的超边链接预测方法 |
CN112417219A (zh) * | 2020-11-16 | 2021-02-26 | 吉林大学 | 基于超图卷积的超边链接预测方法 |
CN113159211A (zh) * | 2021-04-30 | 2021-07-23 | 杭州好安供应链管理有限公司 | 用于相似图像检索的方法、计算设备和计算机存储介质 |
CN113392196A (zh) * | 2021-06-04 | 2021-09-14 | 北京师范大学 | 一种基于多模态交叉比较的题目检索方法和*** |
CN113392196B (zh) * | 2021-06-04 | 2023-04-21 | 北京师范大学 | 一种基于多模态交叉比较的题目检索方法和*** |
CN115438035A (zh) * | 2022-10-27 | 2022-12-06 | 江西师范大学 | 一种基于kpca和混合相似度的数据异常处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106886601B (zh) | 2018-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106886601A (zh) | 一种基于子空间混合超图学习的交叉模态检索算法 | |
EP3166020A1 (en) | Method and apparatus for image classification based on dictionary learning | |
CN105205096A (zh) | 一种跨文本模态和图像模态的数据检索方法 | |
CN103810252B (zh) | 基于群稀疏特征选择的图像检索方法 | |
CN106095829A (zh) | 基于深度学习与一致性表达空间学习的跨媒体检索方法 | |
CN112329460B (zh) | 文本的主题聚类方法、装置、设备及存储介质 | |
CN102663447B (zh) | 基于判别相关分析的跨媒体检索方法 | |
CN107273505A (zh) | 基于非参数贝叶斯模型的监督跨模态哈希检索方法 | |
US20200218932A1 (en) | Method and system for classification of data | |
Wang et al. | Joint label completion and label-specific features for multi-label learning algorithm | |
CN105718940A (zh) | 基于多组间因子分析的零样本图像分类方法 | |
CN102902976A (zh) | 一种基于目标及其空间关系特性的图像场景分类方法 | |
Wen et al. | Adversarial cross-modal retrieval via learning and transferring single-modal similarities | |
CN116610831A (zh) | 语义细分及模态对齐推理学习跨模态检索方法及检索*** | |
Wei et al. | Novel topology convolutional neural network fault diagnosis for aircraft actuators and their sensors | |
de Ves et al. | Modeling user preferences in content-based image retrieval: A novel attempt to bridge the semantic gap | |
Guadarrama et al. | Understanding object descriptions in robotics by open-vocabulary object retrieval and detection | |
CN113516019B (zh) | 高光谱图像解混方法、装置及电子设备 | |
CN105740879A (zh) | 基于多模态判别分析的零样本图像分类方法 | |
Liao et al. | Approximate object location deep visual representations for image retrieval | |
CN105117735A (zh) | 一种大数据环境下的图像检测方法 | |
CN112417082A (zh) | 一种科研成果数据消歧归档存储方法 | |
CN111177492A (zh) | 一种基于多视角对称非负矩阵分解的跨模态信息检索方法 | |
Wu et al. | MVPN: multi-view prototype network for 3D shape recognition | |
CN114036289A (zh) | 一种意图识别方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20170623 Assignee: Sichuan LianWu Intelligent Technology Co., Ltd Assignor: DALIAN UNIVERSITY OF TECHNOLOGY Contract record no.: X2020980002367 Denomination of invention: Cross-modal retrieval method based on mixed hypergraph learning in subspace Granted publication date: 20180904 License type: Common License Record date: 20200520 |