CN103049526B - 基于双空间学习的跨媒体检索方法 - Google Patents
基于双空间学习的跨媒体检索方法 Download PDFInfo
- Publication number
- CN103049526B CN103049526B CN201210559081.XA CN201210559081A CN103049526B CN 103049526 B CN103049526 B CN 103049526B CN 201210559081 A CN201210559081 A CN 201210559081A CN 103049526 B CN103049526 B CN 103049526B
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- msubsup
- multimedia data
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000002902 bimodal effect Effects 0.000 claims 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000013506 data mapping Methods 0.000 abstract 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于双空间学习的跨媒体检索方法。该方法包括:首先提取不同模态的多媒体数据的特征,利用双空间学习方法学习得到两个映射矩阵,将不同模态的数据映射到同一个空间;对于测试样本集,将其分为两部分:查询数据集和目标数据集,使用学习得到的映射矩阵将两个数据集的数据映射到统一空间,然后度量查询数据和目标数据之间的距离,并得到与查询数据距离最近的目标数据。本发明可以将不同模态的多媒体数据映射入统一空间进行度量,且在映射的同时进行了特征选择,提高了检索的鲁棒性和准确性,具有良好的运用前景。
Description
技术领域
本发明涉及模式识别技术领域,特别是一种基于双空间学习的跨媒体检索方法。
背景技术
近些年来,随着Web2.0技术的兴起,互联网上的多媒体数据呈现出***式的增长,用户需要从这些海量数据中检索自己想要的文章、图片、视频等内容。而现在的主流搜索引擎如百度、谷歌等,采用的搜索技术依然是基于关键字的,而这种搜索技术无法解决各个媒体之间存在的语义鸿沟。为了实现跨媒体检索,需要提供一种从一类多媒体数据检索另一类多媒体数据的综合检索方法。
跨媒体检索方法的研究已经引起了国内外学术界的重视。目前国际上已经提出了一些方法来建模不同模态的多媒体数据之间的关系,现有方法可以分为两类:1)将两个模态的多媒体数据映射到同一子空间,然后在这个学习到的子空间里度量不同模态的多媒体之间的相似性,以此来实现跨媒体检索。2)将一类模态的多媒体数据转换到另一种模态的多媒体数据的特征空间中进行不同模态数据的相似性度量,以此来实现跨媒体检索。然而,现有方法都忽略了另一个重要问题,即如何从不同模态的特征空间中同时选择出最相关和最有区分力的特征,这个问题称为双空间特征选择。为了在学习子空间的同时,进行双空间特征选择,本发明提出一种基于双空间学习的跨媒体检索方法,该方法有效地实现了不同模态媒体之间的语义鸿沟的跨越,进而使得搜索引擎返回的结果更加准确。
发明内容
为了解决现有技术存在的问题,本发明的目的是提供一种基于双空间学习的跨媒体检索方法。该方法通过最小化一个目标函数,能同时进行子空间学习和双空间特征选择,在学习到的子空间中度量不同模态的多媒体数据的相似性,以此来实现跨媒体检索。
本发明提出的一种基于双空间学习的跨媒体检索方法包括以下步骤:
步骤S1,收集不同模态的多媒体数据样本,建立跨媒体检索知识数据库,并将所述数据库分为训练集和测试集;
步骤S2,提取所述数据库中不同模态多媒体数据样本的特征向量;
步骤S3,基于所述训练集中的不同模态数据的特征向量得到与所述不同模态分别对应的映射矩阵;
步骤S4,根据所述测试集中多媒体数据样本的模态类别,利用所述步骤S3得到的映射矩阵将它们映射到同一空间;
步骤S5,将映射到同一空间后的测试集中同一模态类别的多媒体数据作为查询集,另一模态类别的多媒体数据作为目标集;
步骤S6,对于所述查询集中的一个多媒体数据,根据多媒体数据之间的相似度,得到所述目标集中与它最为相似的多媒体数据,从而得到跨媒体检索结果。
根据本发明的方法,可以将不同模态的多媒体数据映射入统一空间进行度量,且在映射的同时进行了特征选择,提高了检索的鲁棒性和准确性,具有良好的运用前景。本发明方法能有效地跨越了不同模态媒体之间的语义鸿沟,进而使得跨媒体搜索引擎返回的结果更加准确。
附图说明
图1是本发明基于双空间学习的跨媒体检索方法流程图;
图2是根据本发明跨媒体检索方法从文本到图像的检索效果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明通过双空间学习来学习两个映射矩阵,将不同模态的数据映射到同一个子空间中去,并在映射的同时进行了特征选择;在学习到的子空间中度量不同模态的数据的相似性,以此来实现跨媒体检索的目的。
图1是本发明基于双空间学习的跨媒体检索方法流程图,如图1所示,本发明提出的一种基于双空间学习的跨模态检索方法包括以下几个步骤:
步骤S1,收集不同模态的多媒体数据样本,建立跨媒体检索知识数据库,并将所述数据库分为训练集和测试集;
所述不同模态比如可以为文本、图像等模态,为了便于对本发明进行说明,下文以文本和图像这两个模态的数据为例进行解释。
在将所述数据库分为训练集和测试集时,可根据实际需要进行划分,比如可将所述数据库中的80%的数据划分为训练集,剩下的20%的数据划分为测试集。
步骤S2,提取所述数据库中不同模态多媒体数据样本的特征向量;
本发明中,对于文本和图像分别使用隐狄雷克雷分布(Latent DirichletAllocation,LDA)算法和尺度不变特征变换(Scale-Invariant FeatureTransform,SIFT)算法进行特征提取。
步骤S3,基于所述训练集中的不同模态数据的特征向量得到与所述不同模态分别对应的映射矩阵;
在对该步骤进行详细介绍前,先介绍一些矩阵运算符:
对于矩阵 为n×m的矩阵空间,矩阵M的第i行元素表示为mi,矩阵M的第j列元素表示为mj,而矩阵M的Frobenius范数,简称F-范数定义为:
矩阵M的行向量的二范数的和‖M‖21定义为:
矩阵M的迹范数定义为:
其中,σi表示矩阵M的第i个奇异值。
对于向量 表示一个对角线元素为ui的对角矩阵,其中,ui表示向量u的第i个元素。
设所述训练集中文本多媒体数据的特征向量组成的矩阵为d1为特征向量的维数,n为特征向量的个数,a表示模态类别;图像多媒体数据的特征向量组成的矩阵为d2为特征向量的维数,n为特征向量的个数,b表示模态类别;类别标签矩阵为n为特征向量的个数,c为模态类别的个数。
所述步骤S3进一步包括以下步骤:
步骤S31,基于所述训练集中不同模态数据的特征向量建立目标函数:
其中,Ua和Ub为与文本和图像分别对应的两个映射矩阵,λ1和λ2均为待定参数,取值范围为0.0001至0.1;
步骤S32,求解所述目标函数(比如通过迭代算法)得到与所述不同模态分别对应的映射矩阵:
所述步骤S32进一步包括以下步骤:
步骤S321,设置映射矩阵Ua和Ub的初始值为零矩阵,设置最大迭代次数k,并设置迭代次数的初始值为1;
步骤S322,对矩阵进行特征值分解,得到特征值分解结果:VDiag(d)VT,其中,V为以矩阵的特征值向量为列向量组成的矩阵;d为特征值向量对应的特征值组成的向量。
步骤S323,设定中间变量S-1=VDiag(c)VT,其中,c是一个向量,它的第i个元素为其中,di是向量d的第i个元素,μ为一极小数。
步骤S324,根据下式计算中间向量p和q的第i个元素pi和qi:
并令P=Diag(p),Q=Diag(q),其中,ε为一极小数。
步骤S325,通过求解下式中的两个线性问题来求得所述映射矩阵Ua和Ub:
步骤S326,判断此时的迭代次数是否小于最大迭代次数k,若是,则转向所述步骤S322继续迭代;若否,则停止迭代,得到所述映射矩阵Ua和Ub。
步骤S4,根据所述测试集中多媒体数据样本的模态类别,利用所述步骤S3得到的映射矩阵将它们映射到同一空间;
步骤S5,将映射到同一空间后的测试集中同一模态类别的多媒体数据作为查询集,另一模态类别的多媒体数据作为目标集;
步骤S6,对于所述查询集中的一个多媒体数据,根据多媒体数据之间的相似度,得到所述目标集中与它最为相似的多媒体数据,从而得到跨媒体检索结果。
所述多媒体数据之间的相似度可以使用欧式距离来度量,对于欧式距离来说,距离越近就说明这两个多媒体数据越相似。
为了验证本发明方法的有效性,接下来将本发明所提出的方法应用于一个多媒体数据库。该数据库中包含10个语义范畴的多媒体数据,包括2866对相同语义信息的文本和图像,随机选取其中的2173对文本和图像样本作为训练集,选取其中的693对文本和图像样本作为测试集,应用本发明方法的具体步骤如下:
1)对于所述数据库中的数据根据模态类别的不同提取不同的特征向量:对于文本模态,提取10维的LDA语义特征,对于图像模态,提取128维的SIFT特征;
2)将所述训练集中文本数据的特征向量和图像数据的特征向量组成特征矩阵,构造目标函数,通过最小化目标函数来学习得到与文本和图像对应的两个映射矩阵,所述映射矩阵的学习过程是通过一个迭代过程实现的;
3)根据所述模态类别的不同,将测试集中的文本数据的特征向量和图像数据的特征向量通过学习得到的映射矩阵映射到同一空间中;
4)将测试集中的文本数据作为查询集,图像数据作为目标集,给定一个文本文档,能够得到目标集中和它最相似(即欧式距离最近)的图像。图2是根据本发明跨媒体检索方法从文本到图像的检索效果示意图,图2左侧是两个文本文档,右侧是根据本发明方法得到的与这两个文本文档最为相似的图像。
综上,本发明提出了一种有效的基于双空间学习的跨媒体检索方法。本发明易于实现、性能稳定,识别准确率高。本发明提出有效地跨越了不同模态媒体之间的语义鸿沟,与传统的跨媒体方法比较,本发明表现出更广泛的运用前景和更大的市场价值。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于双空间学习的跨媒体检索方法,其特征在于,该方法包括以下步骤:
步骤S1,收集不同模态的多媒体数据样本,建立跨媒体检索知识数据库,并将所述数据库分为训练集和测试集;
步骤S2,提取所述数据库中不同模态多媒体数据样本的特征向量;
步骤S3,基于所述训练集中的不同模态数据的特征向量得到与所述不同模态分别对应的映射矩阵;
步骤S4,根据所述测试集中多媒体数据样本的模态类别,利用所述步骤S3得到的映射矩阵将它们映射到同一空间;
步骤S5,将映射到同一空间后的测试集中同一模态类别的多媒体数据作为查询集,另一模态类别的多媒体数据作为目标集;
步骤S6,对于所述查询集中的一个多媒体数据,根据多媒体数据之间的相似度,得到所述目标集中与它最为相似的多媒体数据,从而得到跨媒体检索结果;
所述步骤S3进一步包括以下步骤:
步骤S31,基于所述训练集中不同模态数据的特征向量建立目标函数;
步骤S32,求解所述目标函数得到与所述不同模态分别对应的映射矩阵;
所述目标函数为:
其中,Ua和Ub为与双模态分别对应的两个映射矩阵,Y为类别标签矩阵,λ1和λ2均为待定参数,||·||F为求取F-范数操作,||·||21为求取行向量二范数和操作,||·||*为求取迹范数操作,为所述训练集中文本多媒体数据的特征向量组成的矩阵,d1为特征向量的维数,n为特征向量的个数,a表示模态类别;为所述训练集中图像多媒体数据的特征向量组成的矩阵,d2为特征向量的维数,n为特征向量的个数,b表示模态类别。
2.根据权利要求1所述的方法,其特征在于,所述不同模态为双模态。
3.根据权利要求2所述的方法,其特征在于,所述双模态为文本和图像。
4.根据权利要求3所述的方法,其特征在于,对于文本多媒体数据样本,提取其隐狄雷克雷分布特征向量;对于图像多媒体数据样本,提取其尺度不变特征变换特征向量。
5.根据权利要求1所述的方法,其特征在于,对于所述目标函数的求解使用迭代算法来进行。
6.根据权利要求5所述的方法,其特征在于,所述步骤S32进一步包括以下步骤:
步骤S321,设置映射矩阵Ua和Ub的初始值为零矩阵,设置最大迭代次数k,迭代次数的初始值为1;
步骤S322,对矩阵进行特征值分解,得到特征值分解结果:VDiag(d)VT;V为以矩阵的特征值向量为列向量组成的矩阵;d为特征值向量对应的特征值组成的向量;
步骤S323,设定中间变量S-1=VDiag(c)VT,其中,c是一个向量,它的第i个元素为其中,di是向量d的第i个元素,μ为一极小数;
步骤S324,根据下式计算中间向量p和q的第i个元素pi和qi:
并令P=Diag(p),Q=Diag(q),其中,ε为一极小数;
步骤S325,通过求解下式中的两个线性问题来求得所述映射矩阵Ua和Ub:
其中,为类别标签矩阵,n为特征向量的个数,c
为模态类别的个数;
步骤S326,判断此时的迭代次数是否小于最大迭代次数k,若是,则转向所述步骤S322继续迭代;若否,则停止迭代,得到所述映射矩阵Ua和Ub。
7.根据权利要求1所述的方法,其特征在于,所述多媒体数据之间的相似度使用欧式距离来度量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210559081.XA CN103049526B (zh) | 2012-12-20 | 2012-12-20 | 基于双空间学习的跨媒体检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210559081.XA CN103049526B (zh) | 2012-12-20 | 2012-12-20 | 基于双空间学习的跨媒体检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103049526A CN103049526A (zh) | 2013-04-17 |
CN103049526B true CN103049526B (zh) | 2015-08-05 |
Family
ID=48062167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210559081.XA Active CN103049526B (zh) | 2012-12-20 | 2012-12-20 | 基于双空间学习的跨媒体检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103049526B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220337A (zh) * | 2017-05-25 | 2017-09-29 | 北京大学 | 一种基于混合迁移网络的跨媒体检索方法 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103995903B (zh) * | 2014-06-12 | 2017-04-12 | 武汉科技大学 | 基于同构子空间映射和优化的跨媒体检索方法 |
CN105574133A (zh) * | 2015-12-15 | 2016-05-11 | 苏州贝多环保技术有限公司 | 一种多模态的智能问答***及方法 |
CN105701225B (zh) * | 2016-01-15 | 2019-02-01 | 北京大学 | 一种基于统一关联超图规约的跨媒体检索方法 |
CN105701227B (zh) * | 2016-01-15 | 2019-02-01 | 北京大学 | 一种基于局部关联图的跨媒体相似性度量方法和检索方法 |
CN106056043B (zh) * | 2016-05-19 | 2019-07-30 | 中国科学院自动化研究所 | 基于迁移学习的动物行为识别方法和装置 |
CN106095893B (zh) * | 2016-06-06 | 2018-11-20 | 北京大学深圳研究生院 | 一种跨媒体检索方法 |
CN108399414B (zh) | 2017-02-08 | 2021-06-01 | 南京航空航天大学 | 应用于跨模态数据检索领域的样本选择方法及装置 |
CN107169061B (zh) * | 2017-05-02 | 2020-12-11 | 广东工业大学 | 一种融合双信息源的文本多标签分类方法 |
CN107273517B (zh) * | 2017-06-21 | 2021-07-23 | 复旦大学 | 基于图嵌入学习的图文跨模态检索方法 |
CN110851641B (zh) * | 2018-08-01 | 2022-09-16 | 杭州海康威视数字技术股份有限公司 | 跨模态检索方法、装置和可读存储介质 |
CN109284414B (zh) * | 2018-09-30 | 2020-12-04 | 中国科学院计算技术研究所 | 基于语义保持的跨模态内容检索方法和*** |
CN109992676B (zh) * | 2019-04-01 | 2020-12-25 | 中国传媒大学 | 一种跨媒体资源检索方法及检索*** |
CN111639197B (zh) * | 2020-05-28 | 2021-03-12 | 山东大学 | 标签嵌入在线哈希的跨模态多媒体数据检索方法及*** |
CN116383342B (zh) * | 2023-04-07 | 2023-11-14 | 四川大学 | 一种在噪声标签下鲁棒的跨域文本检索方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1920818A (zh) * | 2006-09-14 | 2007-02-28 | 浙江大学 | 基于多模态信息融合分析的跨媒体检索方法 |
CN101021849A (zh) * | 2006-09-14 | 2007-08-22 | 浙江大学 | 基于内容相关性的跨媒体检索方法 |
CN102521368A (zh) * | 2011-12-16 | 2012-06-27 | 武汉科技大学 | 基于相似度矩阵迭代的跨媒体语义理解和优化方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7610306B2 (en) * | 2003-06-30 | 2009-10-27 | International Business Machines Corporation | Multi-modal fusion in content-based retrieval |
-
2012
- 2012-12-20 CN CN201210559081.XA patent/CN103049526B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1920818A (zh) * | 2006-09-14 | 2007-02-28 | 浙江大学 | 基于多模态信息融合分析的跨媒体检索方法 |
CN101021849A (zh) * | 2006-09-14 | 2007-08-22 | 浙江大学 | 基于内容相关性的跨媒体检索方法 |
CN102521368A (zh) * | 2011-12-16 | 2012-06-27 | 武汉科技大学 | 基于相似度矩阵迭代的跨媒体语义理解和优化方法 |
Non-Patent Citations (1)
Title |
---|
Learning Coupled Feature Spaces for Cross-modal Matching;Kaiye Wang 等;《2013 IEEE International Conference on Computer Vision》;20131208;2088-2095 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220337A (zh) * | 2017-05-25 | 2017-09-29 | 北京大学 | 一种基于混合迁移网络的跨媒体检索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103049526A (zh) | 2013-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103049526B (zh) | 基于双空间学习的跨媒体检索方法 | |
CN107273517B (zh) | 基于图嵌入学习的图文跨模态检索方法 | |
CN110059198B (zh) | 一种基于相似性保持的跨模态数据的离散哈希检索方法 | |
CN106649715B (zh) | 一种基于局部敏感哈希算法和神经网络的跨媒体检索方法 | |
Kordopatis-Zilos et al. | Near-duplicate video retrieval by aggregating intermediate cnn layers | |
CN101539930B (zh) | 一种相关反馈图像检索方法 | |
Krause et al. | The unreasonable effectiveness of noisy data for fine-grained recognition | |
CN106886601B (zh) | 一种基于子空间混合超图学习的交叉模态检索方法 | |
WO2017210949A1 (zh) | 一种跨媒体检索方法 | |
CN105930873B (zh) | 一种基于子空间的自步跨模态匹配方法 | |
CN103559191B (zh) | 基于隐空间学习和双向排序学习的跨媒体排序方法 | |
CN102663447B (zh) | 基于判别相关分析的跨媒体检索方法 | |
Zhan et al. | Comprehensive distance-preserving autoencoders for cross-modal retrieval | |
CN102750347B (zh) | 一种用于图像或视频搜索重排序的方法 | |
Xu et al. | Instance-level coupled subspace learning for fine-grained sketch-based image retrieval | |
Lu et al. | Image classification by visual bag-of-words refinement and reduction | |
CN113239159B (zh) | 基于关系推理网络的视频和文本的跨模态检索方法 | |
ur Rehman et al. | Learning a semantic space for modeling images, tags and feelings in cross-media search | |
Niu et al. | Re-ranking image-text matching by adaptive metric fusion | |
Wu et al. | A multi-level descriptor using ultra-deep feature for image retrieval | |
de Ves et al. | Modeling user preferences in content-based image retrieval: A novel attempt to bridge the semantic gap | |
Ahsan et al. | Clustering social event images using kernel canonical correlation analysis | |
Wu et al. | An efficient framework of Bregman divergence optimization for co-ranking images and tags in a heterogeneous network | |
Li et al. | Automatic image annotation with continuous PLSA | |
CN105989094B (zh) | 基于隐层语义中层表达的图像检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |