CN110059198A - 一种基于相似性保持的跨模态数据的离散哈希检索方法 - Google Patents
一种基于相似性保持的跨模态数据的离散哈希检索方法 Download PDFInfo
- Publication number
- CN110059198A CN110059198A CN201910277146.3A CN201910277146A CN110059198A CN 110059198 A CN110059198 A CN 110059198A CN 201910277146 A CN201910277146 A CN 201910277146A CN 110059198 A CN110059198 A CN 110059198A
- Authority
- CN
- China
- Prior art keywords
- sample
- matrix
- mode
- indicate
- hash codes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于相似性保持的跨模态数据的离散哈希检索方法。建立由包含两个模态的样本构成的跨模态检索数据集,分为训练集和测试集;建立保持模态间相似性和模态内相似性的目标函数,通过一种离散优化方法对目标函数进行求解获得哈希码矩阵;根据哈希码矩阵学习各个模态的哈希函数;利用哈希函数计算训练集和测试集中所有样本的哈希码;一个模态测试集为查询集,另一个模态训练集为检索集,计算查询集中样本的哈希码和检索集中样本的哈希码之间汉明距离,排序作为检索结果。本发明可有效地保持模态间的相似性和模态内的相似性,并且考虑了哈希码的离散特性,采用一种离散优化的方法对目标函数进行求解,从而提高跨模态检索的准确性。
Description
技术领域
本发明涉及了一种多媒体检索技术领域的一种跨模态检索方法,尤其是涉及一种基于相似性保持的跨模态数据的离散哈希检索方法。
背景技术
随着互联网信息技术的快速发展,网络上各种模态的多媒体信息呈***式增长。顺应发展趋势,跨模态检索成为了一个至关重要的问题,吸引了很多的研究人员的注意。跨模态检索典型场景就是给定一个模态的查询样本,检索出与之相似的其他模态。但是由于异构鸿沟的存在,无法直接衡量不同模态间的相似性。此外,由于数据的***性增长,关注大规模检索的存储成本和效率是很有必要的。哈希方法是近年来非常流行的方法,目标在于将数据映射为紧凑的二进制码。通过哈希,可以使用较低的存储空间来保存数据,并通过汉明距离来衡量不同模态之间的相似性,而汉明距离可以通过比特位的异或操作快速计算。
近年来,研究者已经提出了许多跨模态哈希方法。大部分跨模态哈希方法的主要思路是利用训练数据来学习哈希函数,将原始空间中的特征映射到一个公共的汉明空间,而且哈希函数应该保持原始特征空间中的语义相关性。接下来简单介绍一些典型的和较新的跨模态方法。CVH由单模态的谱哈希扩展而来,将带权重的距离最小化。IMH通过保持模态间和模态内一致性来学习线性哈希函数。CMFH采用协同矩阵因子分解,对一个样本的不同模态学习统一的哈希码。SMFH是基于联合矩阵因子分解,同时保持局部的几何一致性和标签一致性来学习统一的哈希码。通过保持模态基于图的混合相似性来学习哈希函数。
相似性保持是跨模态哈希方法一个非常重要的问题。大部分方法关注模态间相似性,也就是说,如果一个图像样本和一个文本样本在语义上是相互关联的,那么它们应该有相似哈希码。另外,模态内相似性也很重要。模态内相似性旨在保持每个模态的局部几何结构。一些方法利用图拉普拉斯正则项来保持模态内相似性,然而只关注于属于k近邻之内的样本,在关系矩阵中k近邻之外的样本的权重被设置为0,例如SMFH。这样,原始特征空间中相似样本将得到相似的哈希码,但是不相似样本的哈希码不一定不相似,因为它们没有受到限制。此外,哈希码是二进制码,学习二进制码是一个离散优化问题,该问题通常是NP困难问题。大多数现有的跨模态哈希方法采用的策略是将原始的离散约束放松为连续约束,再优化目标函数,然后将获得的连续值量化为二进制码。然而,这种放松策略会影响检索性能。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于相似性保持的跨模态数据的离散哈希检索方法。
本发明采用的技术方案包括以下步骤:
1)在服务器的数据库中建立由包含两个模态的样本构成的跨模态检索数据集,样本的两个模态分别为图像模态和文本模态,将数据集分为训练集和测试集;
2)建立保持模态间相似性和模态内相似性的目标函数,并通过一种离散优化方法对目标函数进行求解,获得哈希码矩阵;
3)根据步骤2)学习好的哈希码矩阵,学习各个模态的哈希函数;
4)利用哈希函数计算训练集和测试集中所有样本的哈希码;
5)将一个模态的测试集作为查询集,将另一个模态的训练集作为检索集,根据步骤4)方式得到哈希码,计算查询集中样本的哈希码和检索集中样本的哈希码之间的汉明距离,根据汉明距离从小到大的顺序对检索集中样本进行排序,排序靠前的样本将被作为检索结果。
所述步骤1)具体为:
从网页上收集图像和文本,将对应含义相同的一幅图像和一个文本构成一个图像文本对,含义相同指描述的是同一事物,例如一幅人冲浪的图像和一个描述人冲浪的文本就构成一个图像文本对;从而由各个图像文本对构建跨模态检索数据集,一个图像文本对的图像特征和文本特征构成一个样本;跨模态检索数据集的训练集有n个样本,每个样本包含图像和文本两个模态的特征,X(1)表示n个图像模态的特征构成的图像模态矩阵,每一列代表了一个样本的图像模态的特征,表示第p个样本的图像模态的特征,即为图像模态矩阵的第p列,其中d1表示图像模态的特征的维度,R表示实数集;X(2)表示n个文本模态的特征构成的文本模态矩阵,每一列代表了一个样本的文本模态的特征,表示第p个样本的文本模态的特征,即为文本模态矩阵的第p列,其中d2表示文本模态的特征的维度;由两个模态对应的特征和组成了样本特征;
Y={y1,y2,…,yn}表示标签矩阵,Y∈{0,1}c×n,其中c表示类别总数,yp表示第p 个样本的标签向量,即标签矩阵的第p列,yp={y1p,y2p,…,yip,…,ynp},yip表示第p 个样本在第i类类别的标签;如果第p个样本属于第i类,那么标签矩阵Y中第i行第p列的元素yip=1,否则yip=0。
本发明将数据集分为训练集和测试集,对图像和文本分别提取特征,训练集中包含用作训练的图像特征和文本特征,测试集中包含用作测试的图像特征和文本特征。
所述步骤2)具体包括:
2.1)对于同一样本的两种不同模态,学习到相同的哈希码,能保持模态间的相似性。先根据标签矩阵Y用余弦相似度构建相似性矩阵S,S中第p行第q列的元素为Spq=yp·yq/(||yp||2||yq||2),其中,p和q均为样本的序数,yp·yq表示第p个样本的标签向量yp与第q个样本的标签向量yq之间的内积,||yp||2和||yq||2分别表示第p个样本的标签向量yp和第q个样本的标签向量yq的二范数;
接着,建立以下保持模态间相似性的损失函数:其中是 F范数的平方,B表示所有样本的哈希码构成的哈希码矩阵,B∈{-1,1}k×n,其中k 是哈希码的长度;
2.2)针对一个模态,希望可以保持样本的局部几何结构,即对于在原始特征空间中相似的样本,希望映射到汉明空间后,它们的哈希码也相似。通过采用图正则项来保持模态内的相似性,针对第m个模态(m=1表示图像模态,m=2 表示文本模态),建立以下保持模态内相似性的损失函数:
其中,bp和bq分别是哈希码矩阵B的第p列和第q列,W(m)是第m个模态的权重矩阵,是权重矩阵W(m)的第p行第q列的元素,Lm是第m个模态的拉普拉斯矩阵,D(m)是第m个模态的对角阵,表示对角阵D(m)的第p行第q列的元素,Lm=D(m)-W(m);tr(·)表示矩阵的迹,表示2范数的平方;
本方法不仅考虑距离某一样本很近的样本,也考虑距离某一样本很远的样本,上述权重矩阵W(m)中的元素具体为,这样能获得更有区别性的哈希码:
其中,e为自然常数,表示第m个模态中与样本特征距离最近的k1个样本特征构成的集合,表示第m个模态中与样本特征距离最远的k2个样本特征构成的集合,μ是权衡参数,σ的值取最大的
在集合中,与样本特征距离越近,权重设置得越大;在集合中,与样本特征距离越远,权重的绝对值设置得越大。按照上述公式设置权重,既可以使相似的样本映射后的哈希码距离近,又可以使不相似的样本映射后的哈希码距离远。
2.3)结合保持模态间相似性的损失函数和保持模态内相似性的损失函数建立以下学习哈希码的总体目标函数为:
s.t.B∈{-1,1}k×n
其中,α表示保持模态间相似性的损失函数的权衡参数,β1表示保持图像模态的模态内相似性的损失函数的权衡参数,β2表示保持文本模态的模态内相似性的损失函数的权衡参数,T表示矩阵转置;
2.4)由于哈希码离散约束的存在,求解步骤2.1)的目标函数是一个NP问题,采用一种离散优化方法进行求解总体目标函数,具体来说:
2.4.1)随机初始化哈希码矩阵B(0)∈{-1,1}k×n,B(0)表示初始的哈希码矩阵B;即哈希码矩阵B初始随机生成,其中的元素选为-1或者1。
2.4.2)采用以下过程进行迭代求解:
先求总体目标函数的梯度:
然后迭代处理,采用以下公式根据第j次迭代得到的离散的哈希码矩阵B(j)处理得到第(j+1)次迭代的哈希码矩阵B(j+1):
其中,λ是学习率;B(j)表示第j次迭代得到的哈希码矩阵,B(j+1)表示第(j+1) 次迭代得到的哈希码矩阵B(j+1);
根据上述迭代公式更新哈希码矩阵完成优化过程,得到最佳的哈希码矩阵B。
所述步骤3)中,哈希函数采用简单的线性映射h1(x(1))=sign(P1 Tx(1)),学习哈希函数即为学习两个映射矩阵P1和P2,其中P1表示图像模态的映射矩阵,P2表示文本模态的映射矩阵,x(1)表示样本中图像模态的特征,x(2)表示样本中文本模态的特征;
求解以下公式获得映射矩阵P1和P2:
其中,表示学习映射矩阵的损失函数,γ是权衡参数;
通过令求解计算获得P1:P1=(X(1)X(1)T+γI)-1X(1)BT,I表示单位矩阵;
通过令求解计算获得P2:P2=(X(2)X(2)T+γI)-1X(2)BT。
所述步骤4)中,训练集和测试集图像模态的哈希码用公式h1(x(1))=sign(P1 Tx(1))计算,其中x(1)表示样本的图像模态的特征,h1(x(1))表示由该样本图像模态的特征 x(1)计算出的哈希码;训练集和测试集文本模态的哈希码用公式计算,其中x(2)表示样本文本模态的特征,h2(x(2))表示由该样本文本模态的特征x(2)计算出的哈希码。
本发明在步骤2)和步骤3)训练结束后只保留映射矩阵P1,P2而抛弃步骤2) 学习好的训练集的哈希码。
本发明的有益效果是:
本发明可有效地同时保持的模态间相似性和模态内相似性,并且不仅关注相似样本的哈希码,也关注了不相似样本的哈希码,本发明方法使得原始特征空间中不相似的样本在映射到汉明空间后得到不相似的哈希码,相似的样本也得到相似的哈希码,哈希码更有区别性,解决了学习离散哈希码的数据检索问题。
本发明考虑了哈希码的离散特性,采用一种离散优化的方法对目标函数进行求解,从而提高跨模态数据检索的准确性。
附图说明
图1为本发明实施步骤流程图。
图2为在跨模态数据集Wiki上图像检索文本的一个实例示意图。
图3为在跨模态数据集Wiki上文本检索图像的一个实例示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
如图1所示,本发明的具体实施例情况如下:
具体实施是以流程图和跨模态数据集Wiki对本发明的技术方案作进一步说明;其中,跨模态数据集Wiki来源于来源于***,包含从***文章中收集的2866个图像文本对。图像用128维的SIFT特征表示,文本用10维的LDA 特征表示。Wiki数据集的图像文本对分为10个语义类别,每一个图像文本对属于其中的一类。随机选择2173个样本构成训练集,其余的693个样本构成测试集。
1)在服务器的数据库中建立由包含两个模态的样本构成的跨模态检索数据集,样本的两个模态分别为图像模态和文本模态,将数据集分为训练集和测试集。
从网页上收集图像和文本,将对应含义相同的一幅图像和一个文本构成一个图像文本对,含义相同指描述的是同一事物,例如一幅人冲浪的图像和一个描述人冲浪的文本就构成一个图像文本对;从而由各个图像文本对构建跨模态检索数据集,一个图像文本对的图像特征和文本特征构成一个样本。
跨模态检索数据集的训练集有n个样本,每个样本包含图像和文本两个模态的特征,X(1)表示n个图像模态的特征构成的图像模态矩阵, 表示第p个样本的图像模态的特征,其中d1表示图像模态的特征的维度,R表示实数集;X(2)表示n个文本模态的特征构成的文本模态矩阵, 表示第p个样本的文本模态的特征,其中d2表示文本模态的特征的维度;由两个模态对应的特征和组成了样本特征; Y={y1,y2,…,yn}表示标签矩阵,Y∈{0,1}c×n,其中c表示类别总数,yp表示第p个样本的标签向量,yp={y1p,y2p,…,yip,…,ynp},yip表示第p个样本在第i类类别的标签;如果第p个样本属于第i类,那么标签矩阵Y中第i行第p列的元素yip=1,否则yip=0。
2)建立保持模态间相似性和模态内相似性的目标函数,并通过一种离散优化方法对目标函数进行求解,获得哈希码矩阵,为训练集学习哈希码。
2.1)先根据标签矩阵Y用余弦相似度构建相似性矩阵S,S中第p行第q列的元素为Spq=yp·yq/(||yp||2||yq||2),其中,p和q均为样本的序数,yp·yq表示第p个样本的标签向量yp与第q个样本的标签向量yq之间的内积,||yp||2和||yq||2分别表示第p个样本的标签向量yp和第q个样本的标签向量yq的二范数;
接着,建立以下保持模态间相似性的损失函数:其中是 F范数的平方,B表示所有样本的哈希码构成的哈希码矩阵,B∈{-1,1}k×n,其中k 是哈希码的长度;
2.2)通过采用图正则项来保持模态内的相似性,针对第m个模态(m=1表示图像模态,m=2表示文本模态),建立以下保持模态内相似性的损失函数:
上述权重矩阵W(m)中的元素具体为:
2.3)结合保持模态间相似性的损失函数和保持模态内相似性的损失函数建立以下学习哈希码的总体目标函数为:
s.t.B∈{-1,1}k×n
2.4)采用一种离散优化方法进行求解总体目标函数,具体来说:
2.4.1)随机初始化哈希码矩阵B(0)∈{-1,1}k×n,B(0)表示初始的哈希码矩阵B;即哈希码矩阵B初始随机生成,其中的元素选为-1或者1。
2.4.2)采用以下过程进行迭代求解:
先求总体目标函数的梯度:
然后迭代处理,采用以下公式根据第j次迭代得到的离散的哈希码矩阵B(j)处理得到第(j+1)次迭代的哈希码矩阵B(j+1):
其中,λ是学习率;B(j)表示第j次迭代得到的哈希码矩阵,B(j+1)表示第(j+1) 次迭代得到的哈希码矩阵B(j+1);
根据上述迭代公式更新哈希码矩阵完成优化过程,得到最佳的哈希码矩阵B。
3)根据步骤2)学习好的哈希码矩阵,学习各个模态的哈希函数。
哈希函数采用简单的线性映射h1(x(1))=sign(P1 Tx(1)),学习哈希函数即为学习两个映射矩阵P1和P2,其中P1表示图像模态的映射矩阵,P2表示文本模态的映射矩阵,x(1)表示某一样本中图像模态的特征,x(2)表示某一样本中文本模态的特征;
求解以下公式获得映射矩阵P1和P2:
通过令求解计算获得P1:P1=(X(1)X(1)T+γI)-1X(1)BT;
通过令求解计算获得P2:P2=(X(2)X(2)T+γI)-1X(2)BT。
4)利用哈希函数计算训练集和测试集中所有样本的哈希码。
训练集和测试集图像模态的哈希码用公式h1(x(1))=sign(P1 Tx(1))计算,其中x(1)表示样本的图像模态的特征,h1(x(1))表示由该样本图像模态的特征x(1)计算出的哈希码;训练集和测试集文本模态的哈希码用公式计算,其中x(2)表示样本文本模态的特征,h2(x(2))表示由该样本文本模态的特征x(2)计算出的哈希码。
5)将一个模态的测试集作为查询集,将另一个模态的训练集作为检索集,根据步骤4)方式得到哈希码,在计算查询集中样本的哈希码和检索集中样本的哈希码之间的汉明距离,根据汉明距离从小到大的顺序对检索集中样本进行排序,排序靠前的样本将被作为检索结果。
本实施例采用mAP(mean Average Precision)作为评价标准,mAP值越大,说明方法的跨模态检索性能越好。在跨模态数据集Wiki上与CMFH(参见文献 Tang J,Wang K,ShaoL.Supervised matrix factorization hashing for cross-modal retrieval[J].IEEETransactions on Image Processing,2016,25(7):3157-3166)、 SMFH(Ding G,Guo Y,Zhou J.Collective matrix factorization hashing for multimodal data[C].Proceedings of the IEEE conference on computer vision and patternrecognition.2014:2075-2082.)、FSH(Liu H,Ji R,Wu Y,et al. Cross-modality binarycode learning via fusion similarity hashing[C].Proceedings of CVPR.2017:6345-6353.)的三种跨模态哈希方法进行比较,在哈希码长度为16 比特时返回前100个样本的mAP值如表1所示。
表1 Wiki数据集上的mAP值
方法 | 图像检索文本 | 文本检索图像 |
CMFH | 0.2295 | 0.3479 |
SMFH | 0.2411 | 0.3658 |
FSH | 0.2408 | 0.3871 |
本发明 | 0.2455 | 0.4086 |
从表1可以看出,与三种对比方法相比,本发明方法取得了最高的mAP值,跨模态检索性能最佳。
图2给出了一个在跨模态数据集Wiki上图像检索文本的一个实例,返回的是排序在前6的文本,图像和文本的上方给出了所属的语义类别。查询图像属于geography类,实线框表示检索到的文本与查询图像属于同一语义类别,虚线框表示检索到的文本与查询图像不属于同一语义类别。从这一实例的检索结果中可以看出,本发明提供的方法优于对比方法。
图3给出了一个在跨模态数据集Wiki上文本检索图像的一个实例,返回的是排序在前6的图像,图像和文本的上方给出了所属的语义类别。查询文本属于literature类,图片外无框表示检索到的图像与查询文本属于同一语义类别,图片外有虚线框表示检索到的图像与查询文本不属于同一语义类别。从这一实例的检索结果中可以看出,本发明提供的方法优于对比方法。
综上所述,本发明方法可有效地保持模态间的相似性和模态内的相似性,并且不仅关注了相似样本的哈希码,也关注了不相似样本的哈希码,有利于学习更有区别性的哈希码,而且采用一种离散优化方法来解决学习离散的哈希码的问题,从而提高跨模态检索的准确性。
Claims (5)
1.一种基于相似性保持的跨模态数据的离散哈希检索方法,其特征在于:方法包括如下步骤:
1)在服务器的数据库中建立由包含两个模态的样本构成的跨模态检索数据集,样本的两个模态分别为图像模态和文本模态,将数据集分为训练集和测试集;
2)建立保持模态间相似性和模态内相似性的目标函数,并通过一种离散优化方法对目标函数进行求解,获得哈希码矩阵;
3)根据步骤2)学习好的哈希码矩阵,学习各个模态的哈希函数;
4)利用哈希函数计算训练集和测试集中所有样本的哈希码;
5)将一个模态的测试集作为查询集,将另一个模态的训练集作为检索集,根据步骤4)方式得到哈希码,计算查询集中样本的哈希码和检索集中样本的哈希码之间的汉明距离,根据汉明距离从小到大的顺序对检索集中样本进行排序,排序靠前的样本将被作为检索结果。
2.根据权利要求1所述的一种基于相似性保持的跨模态数据的离散哈希检索方法,其特征在于:所述步骤1)具体为:
从网页上收集图像和文本,将对应含义相同的一幅图像和一个文本构成一个图像文本对,从而由各个图像文本对构建跨模态检索数据集,一个图像文本对的图像特征和文本特征构成一个样本;跨模态检索数据集的训练集有n个样本,每个样本包含图像和文本两个模态的特征,X(1)表示n个图像模态的特征构成的图像模态矩阵, 表示第p个样本的图像模态的特征,其中d1表示图像模态的特征的维度,R表示实数集;X(2)表示n个文本模态的特征构成的文本模态矩阵, 表示第p个样本的文本模态的特征,其中d2表示文本模态的特征的维度;由两个模态对应的特征和组成了样本特征;Y={y1,y2,…,yn}表示标签矩阵,Y∈{0,1}c×n,其中c表示类别总数,yp表示第p个样本的标签向量,yp={y1p,y2p,…,yip,…,ynp},yip表示第p个样本在第i类类别的标签。
3.根据权利要求1所述的一种基于相似性保持的跨模态数据的离散哈希检索方法,其特征在于:所述步骤2)具体包括:
2.1)先根据标签矩阵Y用余弦相似度构建相似性矩阵S,S中第p行第q列的元素为Spq=yp·yq/(||yp||2||yq||2),其中,p和q均为样本的序数,yp·yq表示第p个样本的标签向量yp与第q个样本的标签向量yq之间的内积,||yp||2和||yq||2分别表示第p个样本的标签向量yp和第q个样本的标签向量yq的二范数;
接着,建立以下保持模态间相似性的损失函数:其中是F范数的平方,B表示所有样本的哈希码构成的哈希码矩阵,B∈{-1,1}k×n,其中k是哈希码的长度;
2.2)针对第m个模态(m=1表示图像模态,m=2表示文本模态),建立以下保持模态内相似性的损失函数:
其中,bp和bq分别是哈希码矩阵B的第p列和第q列,W(m)是第m个模态的权重矩阵,是权重矩阵W(m)的第p行第q列的元素,Lm是第m个模态的拉普拉斯矩阵,D(m)是第m个模态的对角阵,表示对角阵D(m)的第p行第q列的元素,Lm=D(m)-W(m);tr(·)表示矩阵的迹,表示2范数的平方;
上述权重矩阵W(m)中的元素具体为:
其中,e为自然常数,表示第m个模态中与样本特征距离最近的k1个样本特征构成的集合,表示第m个模态中与样本特征距离最远的k2个样本特征构成的集合,μ是权衡参数,σ的值取最大的
2.3)结合保持模态间相似性的损失函数和保持模态内相似性的损失函数建立以下学习哈希码的总体目标函数为:
s.t.B∈{-1,1}k×n
其中,α表示保持模态间相似性的损失函数的权衡参数,β1表示保持图像模态的模态内相似性的损失函数的权衡参数,β2表示保持文本模态的模态内相似性的损失函数的权衡参数,T表示矩阵转置;
2.4)采用一种离散优化方法进行求解总体目标函数,具体来说:
2.4.1)随机初始化哈希码矩阵B(0)∈{-1,1}k×n,B(0)表示初始的哈希码矩阵B;
2.4.2)采用以下过程进行迭代求解:
先求总体目标函数的梯度:
然后迭代处理,采用以下公式根据第j次迭代得到的离散的哈希码矩阵B(j)处理得到第(j+1)次迭代的哈希码矩阵B(j+1):
其中,λ是学习率;B(j)表示第j次迭代得到的哈希码矩阵,B(j+1)表示第(j+1)次迭代得到的哈希码矩阵B(j+1);
根据上述迭代公式更新哈希码矩阵完成优化过程,得到最佳的哈希码矩阵B。
4.根据权利要求1所述的一种基于相似性保持的跨模态数据的离散哈希检索方法,其特征在于:所述步骤3)中,哈希函数采用简单的线性映射h1(x(1))=sign(P1 Tx(1)),h2(x(2))=sign(P2 Tx(2)),学习哈希函数即为学习两个映射矩阵P1和P2,其中P1表示图像模态的映射矩阵,P2表示文本模态的映射矩阵,x(1)表示样本中图像模态的特征,x(2)表示样本中文本模态的特征;
求解以下公式获得映射矩阵P1和P2:
其中,表示学习映射矩阵的损失函数,γ是权衡参数;
通过令求解计算获得P1:P1=(X(1)X(1)T+γI)-1X(1)BT,I表示单位矩阵;
通过令求解计算获得P2:P2=(X(2)X(2)T+γI)-1X(2)BT。
5.根据权利要求1所述的一种基于相似性保持的跨模态数据的离散哈希检索方法,其特征在于:所述步骤4)中,训练集和测试集图像模态的哈希码用公式h1(x(1))=sign(P1 Tx(1))计算,其中x(1)表示样本的图像模态的特征,h1(x(1))表示由该样本图像模态的特征x(1)计算出的哈希码;训练集和测试集文本模态的哈希码用公式计算,其中x(2)表示样本文本模态的特征,h2(x(2))表示由该样本文本模态的特征x(2)计算出的哈希码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910277146.3A CN110059198B (zh) | 2019-04-08 | 2019-04-08 | 一种基于相似性保持的跨模态数据的离散哈希检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910277146.3A CN110059198B (zh) | 2019-04-08 | 2019-04-08 | 一种基于相似性保持的跨模态数据的离散哈希检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110059198A true CN110059198A (zh) | 2019-07-26 |
CN110059198B CN110059198B (zh) | 2021-04-13 |
Family
ID=67318463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910277146.3A Active CN110059198B (zh) | 2019-04-08 | 2019-04-08 | 一种基于相似性保持的跨模态数据的离散哈希检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110059198B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059154A (zh) * | 2019-04-10 | 2019-07-26 | 山东师范大学 | 一种基于继承映射的跨模态迁移哈希检索方法 |
CN110569387A (zh) * | 2019-08-20 | 2019-12-13 | 清华大学 | 基于深度哈希算法的雷达-图像跨模态检索方法 |
CN110609914A (zh) * | 2019-08-06 | 2019-12-24 | 厦门大学 | 一种基于快速类别更新的在线哈希学习图像检索方法 |
CN110674323A (zh) * | 2019-09-02 | 2020-01-10 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及*** |
CN110704659A (zh) * | 2019-09-30 | 2020-01-17 | 腾讯科技(深圳)有限公司 | 图像列表的排序方法和装置、存储介质及电子装置 |
CN111078952A (zh) * | 2019-11-20 | 2020-04-28 | 重庆邮电大学 | 一种基于层次结构的跨模态可变长度哈希检索方法 |
CN111125457A (zh) * | 2019-12-13 | 2020-05-08 | 山东浪潮人工智能研究院有限公司 | 一种深度跨模态哈希检索方法及装置 |
CN111209415A (zh) * | 2020-01-10 | 2020-05-29 | 重庆邮电大学 | 基于大批量训练的图文跨模态哈希检索方法 |
CN111522903A (zh) * | 2020-04-01 | 2020-08-11 | 济南浪潮高新科技投资发展有限公司 | 一种深度哈希检索方法、设备及介质 |
CN111639197A (zh) * | 2020-05-28 | 2020-09-08 | 山东大学 | 标签嵌入在线哈希的跨模态多媒体数据检索方法及*** |
CN112199531A (zh) * | 2020-11-05 | 2021-01-08 | 广州杰赛科技股份有限公司 | 一种基于哈希算法和邻域图的跨模态检索方法及装置 |
CN112559810A (zh) * | 2020-12-23 | 2021-03-26 | 上海大学 | 一种利用多层特征融合生成哈希码的方法及装置 |
CN112732976A (zh) * | 2021-01-13 | 2021-04-30 | 天津大学 | 一种基于深度哈希编码的短视频多标签快速分类方法 |
CN112925962A (zh) * | 2021-01-20 | 2021-06-08 | 同济大学 | 基于哈希编码的跨模态数据检索方法、***、设备及介质 |
CN113434671A (zh) * | 2021-06-23 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN114943017A (zh) * | 2022-06-20 | 2022-08-26 | 昆明理工大学 | 一种基于相似性零样本哈希的跨模态检索方法 |
CN115080801A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及*** |
CN115374165A (zh) * | 2022-10-24 | 2022-11-22 | 山东建筑大学 | 基于三重矩阵分解的数据检索方法、***及设备 |
CN115687571A (zh) * | 2022-10-28 | 2023-02-03 | 重庆师范大学 | 一种基于模态融合重建哈希的深度无监督跨模态检索方法 |
CN116244484A (zh) * | 2023-05-11 | 2023-06-09 | 山东大学 | 一种面向不平衡数据的联邦跨模态检索方法及*** |
WO2024045866A1 (en) * | 2022-08-31 | 2024-03-07 | Huawei Technologies Co., Ltd. | System and method for cross-modal interaction based on pre-trained model |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346440A (zh) * | 2014-10-10 | 2015-02-11 | 浙江大学 | 一种基于神经网络的跨媒体哈希索引方法 |
CN106777318A (zh) * | 2017-01-05 | 2017-05-31 | 西安电子科技大学 | 基于协同训练的矩阵分解跨模态哈希检索方法 |
CN107256271A (zh) * | 2017-06-27 | 2017-10-17 | 鲁东大学 | 基于映射字典学习的跨模态哈希检索方法 |
CN107273505A (zh) * | 2017-06-20 | 2017-10-20 | 西安电子科技大学 | 基于非参数贝叶斯模型的监督跨模态哈希检索方法 |
CN107402993A (zh) * | 2017-07-17 | 2017-11-28 | 山东师范大学 | 基于判别性关联最大化哈希的跨模态检索方法 |
CN108170755A (zh) * | 2017-12-22 | 2018-06-15 | 西安电子科技大学 | 基于三元组深度网络的跨模态哈希检索方法 |
CN108334574A (zh) * | 2018-01-23 | 2018-07-27 | 南京邮电大学 | 一种基于协同矩阵分解的跨模态检索方法 |
CN108510559A (zh) * | 2017-07-19 | 2018-09-07 | 哈尔滨工业大学深圳研究生院 | 一种基于有监督多视角离散化的多媒体二值编码方法 |
CN108595688A (zh) * | 2018-05-08 | 2018-09-28 | 鲁东大学 | 基于在线学习的潜在语义跨媒体哈希检索方法 |
CN109299216A (zh) * | 2018-10-29 | 2019-02-01 | 山东师范大学 | 一种融合监督信息的跨模态哈希检索方法和*** |
-
2019
- 2019-04-08 CN CN201910277146.3A patent/CN110059198B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346440A (zh) * | 2014-10-10 | 2015-02-11 | 浙江大学 | 一种基于神经网络的跨媒体哈希索引方法 |
CN106777318A (zh) * | 2017-01-05 | 2017-05-31 | 西安电子科技大学 | 基于协同训练的矩阵分解跨模态哈希检索方法 |
CN107273505A (zh) * | 2017-06-20 | 2017-10-20 | 西安电子科技大学 | 基于非参数贝叶斯模型的监督跨模态哈希检索方法 |
CN107256271A (zh) * | 2017-06-27 | 2017-10-17 | 鲁东大学 | 基于映射字典学习的跨模态哈希检索方法 |
CN107402993A (zh) * | 2017-07-17 | 2017-11-28 | 山东师范大学 | 基于判别性关联最大化哈希的跨模态检索方法 |
CN108510559A (zh) * | 2017-07-19 | 2018-09-07 | 哈尔滨工业大学深圳研究生院 | 一种基于有监督多视角离散化的多媒体二值编码方法 |
CN108170755A (zh) * | 2017-12-22 | 2018-06-15 | 西安电子科技大学 | 基于三元组深度网络的跨模态哈希检索方法 |
CN108334574A (zh) * | 2018-01-23 | 2018-07-27 | 南京邮电大学 | 一种基于协同矩阵分解的跨模态检索方法 |
CN108595688A (zh) * | 2018-05-08 | 2018-09-28 | 鲁东大学 | 基于在线学习的潜在语义跨媒体哈希检索方法 |
CN109299216A (zh) * | 2018-10-29 | 2019-02-01 | 山东师范大学 | 一种融合监督信息的跨模态哈希检索方法和*** |
Non-Patent Citations (1)
Title |
---|
LI MINGYANG: ""Discrete similarity preserving hashing for cross-modal retrival"", 《ICAIS2019:ARTIFICAL INTELLIGENCE AND SECURITY》 * |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059154A (zh) * | 2019-04-10 | 2019-07-26 | 山东师范大学 | 一种基于继承映射的跨模态迁移哈希检索方法 |
CN110059154B (zh) * | 2019-04-10 | 2022-04-15 | 山东师范大学 | 一种基于继承映射的跨模态迁移哈希检索方法 |
CN110609914A (zh) * | 2019-08-06 | 2019-12-24 | 厦门大学 | 一种基于快速类别更新的在线哈希学习图像检索方法 |
CN110609914B (zh) * | 2019-08-06 | 2021-08-17 | 厦门大学 | 一种基于快速类别更新的在线哈希学习图像检索方法 |
CN110569387A (zh) * | 2019-08-20 | 2019-12-13 | 清华大学 | 基于深度哈希算法的雷达-图像跨模态检索方法 |
CN110569387B (zh) * | 2019-08-20 | 2020-12-11 | 清华大学 | 基于深度哈希算法的雷达-图像跨模态检索方法 |
CN110674323B (zh) * | 2019-09-02 | 2020-06-30 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及*** |
CN110674323A (zh) * | 2019-09-02 | 2020-01-10 | 山东师范大学 | 基于虚拟标签回归的无监督跨模态哈希检索方法及*** |
CN110704659A (zh) * | 2019-09-30 | 2020-01-17 | 腾讯科技(深圳)有限公司 | 图像列表的排序方法和装置、存储介质及电子装置 |
CN110704659B (zh) * | 2019-09-30 | 2023-09-26 | 腾讯科技(深圳)有限公司 | 图像列表的排序方法和装置、存储介质及电子装置 |
CN111078952B (zh) * | 2019-11-20 | 2023-07-21 | 重庆邮电大学 | 一种基于层次结构的跨模态可变长度哈希检索方法 |
CN111078952A (zh) * | 2019-11-20 | 2020-04-28 | 重庆邮电大学 | 一种基于层次结构的跨模态可变长度哈希检索方法 |
CN111125457A (zh) * | 2019-12-13 | 2020-05-08 | 山东浪潮人工智能研究院有限公司 | 一种深度跨模态哈希检索方法及装置 |
CN111209415A (zh) * | 2020-01-10 | 2020-05-29 | 重庆邮电大学 | 基于大批量训练的图文跨模态哈希检索方法 |
CN111209415B (zh) * | 2020-01-10 | 2022-09-23 | 重庆邮电大学 | 基于大批量训练的图文跨模态哈希检索方法 |
CN111522903A (zh) * | 2020-04-01 | 2020-08-11 | 济南浪潮高新科技投资发展有限公司 | 一种深度哈希检索方法、设备及介质 |
CN111639197A (zh) * | 2020-05-28 | 2020-09-08 | 山东大学 | 标签嵌入在线哈希的跨模态多媒体数据检索方法及*** |
CN112199531A (zh) * | 2020-11-05 | 2021-01-08 | 广州杰赛科技股份有限公司 | 一种基于哈希算法和邻域图的跨模态检索方法及装置 |
CN112199531B (zh) * | 2020-11-05 | 2024-05-17 | 广州杰赛科技股份有限公司 | 一种基于哈希算法和邻域图的跨模态检索方法及装置 |
CN112559810A (zh) * | 2020-12-23 | 2021-03-26 | 上海大学 | 一种利用多层特征融合生成哈希码的方法及装置 |
CN112732976A (zh) * | 2021-01-13 | 2021-04-30 | 天津大学 | 一种基于深度哈希编码的短视频多标签快速分类方法 |
CN112925962A (zh) * | 2021-01-20 | 2021-06-08 | 同济大学 | 基于哈希编码的跨模态数据检索方法、***、设备及介质 |
CN112925962B (zh) * | 2021-01-20 | 2022-09-27 | 同济大学 | 基于哈希编码的跨模态数据检索方法、***、设备及介质 |
CN113434671A (zh) * | 2021-06-23 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN113434671B (zh) * | 2021-06-23 | 2024-06-07 | 平安国际智慧城市科技股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN114943017A (zh) * | 2022-06-20 | 2022-08-26 | 昆明理工大学 | 一种基于相似性零样本哈希的跨模态检索方法 |
CN115080801A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及*** |
WO2024045866A1 (en) * | 2022-08-31 | 2024-03-07 | Huawei Technologies Co., Ltd. | System and method for cross-modal interaction based on pre-trained model |
CN115374165B (zh) * | 2022-10-24 | 2023-03-24 | 山东建筑大学 | 基于三重矩阵分解的数据检索方法、***及设备 |
CN115374165A (zh) * | 2022-10-24 | 2022-11-22 | 山东建筑大学 | 基于三重矩阵分解的数据检索方法、***及设备 |
CN115687571A (zh) * | 2022-10-28 | 2023-02-03 | 重庆师范大学 | 一种基于模态融合重建哈希的深度无监督跨模态检索方法 |
CN115687571B (zh) * | 2022-10-28 | 2024-01-26 | 重庆师范大学 | 一种基于模态融合重建哈希的深度无监督跨模态检索方法 |
CN116244484A (zh) * | 2023-05-11 | 2023-06-09 | 山东大学 | 一种面向不平衡数据的联邦跨模态检索方法及*** |
CN116244484B (zh) * | 2023-05-11 | 2023-08-08 | 山东大学 | 一种面向不平衡数据的联邦跨模态检索方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110059198B (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110059198A (zh) | 一种基于相似性保持的跨模态数据的离散哈希检索方法 | |
Li et al. | Recent developments of content-based image retrieval (CBIR) | |
Wang et al. | Richpedia: a large-scale, comprehensive multi-modal knowledge graph | |
CN108132968B (zh) | 网络文本与图像中关联语义基元的弱监督学习方法 | |
Wang et al. | Learning common and specific features for RGB-D semantic segmentation with deconvolutional networks | |
Huang et al. | Identifying disaster related social media for rapid response: a visual-textual fused CNN architecture | |
CN109299341A (zh) | 一种基于字典学习的对抗跨模态检索方法和*** | |
CN109886294A (zh) | 知识融合方法、装置、计算机设备和存储介质 | |
Xie et al. | Fast and accurate near-duplicate image search with affinity propagation on the ImageWeb | |
Tang et al. | Large-scale remote sensing image retrieval based on semi-supervised adversarial hashing | |
Zhang et al. | Adaptively Unified Semi-supervised Learning for Cross-Modal Retrieval. | |
Li et al. | Online hashing for scalable remote sensing image retrieval | |
Abdul-Rashid et al. | Shrec’18 track: 2d image-based 3d scene retrieval | |
Xu et al. | Instance-level coupled subspace learning for fine-grained sketch-based image retrieval | |
CN109284414A (zh) | 基于语义保持的跨模态内容检索方法和*** | |
Wang et al. | A deformable convolutional neural network with spatial-channel attention for remote sensing scene classification | |
Shen et al. | Semi-supervised cross-modal hashing with multi-view graph representation | |
Cheng et al. | Deep attentional fine-grained similarity network with adversarial learning for cross-modal retrieval | |
Su et al. | Semantically guided projection for zero-shot 3D model classification and retrieval | |
Deng | Content-based image collection summarization and comparison using self-organizing maps | |
Ma et al. | Dual modality collaborative learning for cross-source remote sensing retrieval | |
Guo | [Retracted] Intelligent Sports Video Classification Based on Deep Neural Network (DNN) Algorithm and Transfer Learning | |
Zhu et al. | Real-time data filling and automatic retrieval algorithm of road traffic based on deep-learning method | |
Moumtzidou et al. | Verge in vbs 2017 | |
Feng et al. | Scene semantic recognition based on probability topic model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |