CN107346328B - 一种基于多粒度层级网络的跨模态关联学习方法 - Google Patents
一种基于多粒度层级网络的跨模态关联学习方法 Download PDFInfo
- Publication number
- CN107346328B CN107346328B CN201710378513.XA CN201710378513A CN107346328B CN 107346328 B CN107346328 B CN 107346328B CN 201710378513 A CN201710378513 A CN 201710378513A CN 107346328 B CN107346328 B CN 107346328B
- Authority
- CN
- China
- Prior art keywords
- data
- modal
- representation
- grained
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000013016 learning Effects 0.000 title claims abstract description 62
- 239000013598 vector Substances 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000012512 characterization method Methods 0.000 claims abstract description 10
- 230000000903 blocking effect Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims abstract description 4
- 238000009826 distribution Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000035045 associative learning Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000010845 search algorithm Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000000926 separation method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- BHELIUBJHYAEDK-OAIUPTLZSA-N Aspoxicillin Chemical compound C1([C@H](C(=O)N[C@@H]2C(N3[C@H](C(C)(C)S[C@@H]32)C(O)=O)=O)NC(=O)[C@H](N)CC(=O)NC)=CC=C(O)C=C1 BHELIUBJHYAEDK-OAIUPTLZSA-N 0.000 description 1
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于多粒度层级网络的跨模态关联学习方法,包括以下步骤:1.建立包含多种模态类型的跨模态数据库,并将该数据库中的数据分为训练集、验证集和测试集,对数据库中不同模态数据进行分块处理,提取所有模态原始数据以及分块后数据的特征向量。2.利用原始数据和分块后的数据训练多粒度层级网络结构,为不同模态数据学习统一表征。3.利用训练好的多粒度层级网络结构,得到不同模态数据的统一表征,进而计算不同模态数据的相似性。4.取测试集中的任意一种模态类型作为查询模态,以另一种模态类型作为目标模态,计算查询样例和查询目标的相似性,根据相似性得到目标模态数据的相关结果列表。本发明能够提高跨模态检索的准确率。
Description
技术领域
本发明涉及多媒体检索领域,具体涉及一种基于多粒度层级网络的跨模态关联学习方法。
背景技术
近年来,随着计算机技术的迅速发展,信息的获取与处理已经从文字、图像、音频、视频等单一模态的形式转变为多种模态相互融合的形式。多模态检索已经成为信息检索领域的一个重要问题,在搜索引擎和大数据管理中均有广泛的应用。传统的检索方式主要为单一模态形式,即用户提交一种模态类型数据作为查询,检索***返回同种模态的检索结果,例如图像检索、文本检索等。这种检索方式无法直接度量不同模态数据之间的相似性,例如一幅图像与一个音频片段的相似性,因此限制了检索的灵活性。为解决上述问题,跨模态检索成为了一个新的研究热点,其可以根据用户上传的任意一种模态类型的数据作为查询,检索得到包含多种模态类型的相关结果。与传统单模态检索相比,跨模态检索能够提供更加灵活且实用的检索体验。
跨模态检索的关键问题在于如何学习不同模态之间的内在关联关系。由于不同模态数据的分布特性以及特征表示不一致,跨模态的相似性度量具有很大的挑战性。现有常见的跨模态检索方法主要是为不同模态数据学习统一空间,即将不同模态数据的特征表示从原始的单模态空间映射到跨模态统一空间,获得可以直接度量跨模态相似性的统一表征。现有方法可以主要分为两类,一是在传统框架下学习线性映射,包括基于典型相关分析(Canonical Correlation Analysis,简称CCA)的方法,其通过分析不同模态数据的成对关联关系,将不同模态的数据映射到同一维度的公共子空间中,并最大化成对数据之间的关联。此外,还有基于图规约的方法,例如Zhai等人在文献“Learning Cross-Media JointRepresentation with Sparse and Semi-Supervised Regularization”提出了基于稀疏和半监督规约的跨模态检索方法,为不同模态数据构建图模型,同时进行跨模态关联学习和高层语义抽象。
另外一类是基于深度神经网络的跨模态统一表征学***衡模态内和模态间的关联学习过程;此外,现有方法仅仅考虑了不同模态的原始数据,而忽略了其内部各个部分提供的丰富细粒度信息,无法充分挖掘跨模态的关联关系。
发明内容
针对现有技术的不足,本发明提出了一种基于多粒度层级网络的跨模态关联学***衡模态内语义类别约束以及模态间成对相似性约束学习过程。此外,通过建模不同模态数据的多粒度信息,提高了跨模态检索的准确率。
为达到以上目的,本发明采用的技术方案如下:
一种基于多粒度层级网络的跨模态关联学习方法,用于对跨模态数据的多粒度信息以及模态内和模态间的关联信息进行全面建模,得到不同模态数据的统一表征,从而实现跨模态检索,包括以下步骤:
(1)建立包含多种模态类型的跨模态数据库,并将跨模态数据库中的数据分为训练集、验证集和测试集,对跨模态数据库中不同模态的数据进行分块处理,提取所有模态的原始数据以及分块后数据的特征向量;
(2)利用原始数据和分块后的数据训练多粒度层级网络结构,通过多粒度层级网络结构为不同模态数据学习统一表征;
(3)利用根据训练好的多粒度层级网络结构得到的不同模态数据的统一表征,计算不同模态数据的相似性;
(4)使用测试集中的任意一种模态类型作为查询模态,以另一种模态类型作为目标模态,将查询模态的每个数据作为查询样例,检索目标模态中的数据,计算查询样例和查询目标的相似性,根据相似性得到目标模态数据的相关结果列表。
进一步,上述一种基于多粒度层级网络的跨模态关联学习方法,所述步骤(1)跨模态数据库可以包含多种模态类型,例如图像、文本等。
进一步,上述一种基于多粒度层级网络的跨模态关联学习方法,所述步骤(1)中对数据库中不同模态数据进行分块处理过程,可以针对不同模态数据采用不同的分块处理方法将原始数据切分成多个部分。具体地,对于图像数据使用选择性搜索(SelectiveSearch)算法提取出包含视觉对象等丰富细粒度信息的多个候选区域;对于文本数据,则以句子为单位切分成多块。同时,可以支持其他的分块方法,如将图像切分成2×2或4×4的区域,将文本按照词组来切分等。
进一步,上述一种基于多粒度层级网络的跨模态关联学习方法,所述步骤(1)中的特征向量具体为:文本数据是提取词频特征向量;图像数据是提取卷积神经网络特征向量,并且能够支持其他种类的特征,如图像的词袋特征向量,文本的隐狄雷克雷分布特征向量等。
进一步,上述一种基于多粒度层级网络的跨模态关联学***衡模态内语义类别约束和模态间成对关联约束的学习过程,最终得到跨模态统一表征。
进一步,上述一种基于多粒度层级网络的跨模态关联学习方法,所述步骤(3)中的距离度量采用余弦距离,通过计算两种模态数据统一表征向量夹角的余弦值来度量两者的相似性。此外,本框架同样支持其他类型的距离度量,如欧式距离等。
进一步,上述一种基于多粒度层级网络的跨模态关联学习方法,所述步骤(4)的检索方式是,使用测试集中的一种模态类型作为查询模态,另外一种模态类型作为目标模态。对于测试集中查询模态的每个数据作为查询样例,按照步骤(3)计算得到相似性之后,与测试集中目标模态的所有数据计算相似性,然后按照相似性从大到小排序,得到相关结果列表。
本发明的效果在于:与现有方法相比,本方法能够充分挖掘不同模态数据的多粒度信息,并同时建模模态内和模态间的关联关系来学***衡模态内语义类别约束和模态间成对关联约束的学习过程,提高了跨模态检索的准确率。
本方法之所以具有上述发明效果,其原因在于:针对单模态分离特征表示学***衡模态内语义类别约束和模态间成对关联约束的学习过程,从而提高了跨模态检索的准确率。
附图说明
图1是本发明的一种基于多粒度层级网络的跨模态关联学习方法流程图。
图2是本发明的完整网络结构的示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细的描述。
本发明的一种基于多粒度层级网络的跨模态关联学习方法,其流程如图1所示,包含以下步骤:
(1)建立包含多种模态类型的跨模态数据库,并将所述数据库分为训练集、验证集和测试集,对数据库中不同模态的数据进行分块处理,提取所有模态原始数据以及分块后数据的特征向量。
本实施例中,所述跨模态数据库可以包含多种模态类型,并针对不同模态数据采用不同的分块处理方法将原始数据切分成多个部分。以图像和文本为例,对于图像数据使用选择性搜索(Selective Search)算法提取出包含视觉对象等丰富细粒度信息的多个候选区域;对于文本数据,则以句子为单位切分成多块。进一步,对这两种模态类型数据的特征向量提取方法如下:文本数据是提取词频特征向量;图像数据是提取深度卷积神经网络的特征向量。本方法框架同样支持其它模态类型数据,如音频、视频等,并且能够支持其它种类的特征,如图像的词袋特征向量,文本的隐狄雷克雷分布特征向量等。
对于媒体类型r,其中r=i,t(i表示图像,t表示文本),定义n(r)为其数据个数。训练集中的每个数据有且只有一个语义类别。
(2)利用原始数据和分块后的数据训练多粒度层级网络结构,为不同模态数据学习统一表征。
该步骤的过程如图2所示,其中圆圈表示神经网络中的隐藏单元,虚线表示神经网络相邻两层的隐藏单元之间的连接。本实施例中,使用两路网络建模原始的图像和文本数据。首先使用两种深度信念网络(Deep Belief Network,简称DBN)分别建模图像和文本的特征分布,使用如下的条件概率分布公式:
其中h(1)和h(2)表示DBN中的两个隐藏层,vi表示图像数据,vt表示文本数据。由此可以得到包含模态内高层语义信息的特征表示Q(i)和Q(t)。然后利用共享编码层连接两路网络,同时建模图像和文本数据的模态内关联和模态间关联,通过最小化如下损失函数联合优化重建学习误差和关联学习误差:
本实施例中,利用两路网络建模细粒度的图像和文本数据。具体地,使用两种深度信念网络DBN建模细粒度的图像和文本数据,并采用平均融合的策略得到包含模态内细粒度信息的特征表示U(i)和U(t),接着构建共享编码层连接两路网络,通过最小化如下损失函数同时建模图像和文本细粒度特征表示的模态内关联和模态间关联:
其中和表示每种模态细粒度特征的重建表示,Lr表示重建学习误差,Lc表示关联学习误差。因此可以得到包含模态内和模态间关联的细粒度特征表示和其中和分别表示图像和文本两种媒体类型中第p个数据的细粒度特征表示。
其中,和分别表示联合限制玻尔兹曼机中的两个隐藏层,h(2)表示其中的联合层;对于图像,v1表示图像的粗粒度特征表示v2表示图像的细粒度特征表示而对于文本同理,仍使用如上定义的联合分布,则其中v1表示文本的粗粒度特征表示v2表示文本的细粒度特征表示由此可以得到同时包含粗粒度和细粒度信息的单模态特征表示和其中和分别表示图像和文本两种媒体类型中第p个数据的单模态特征表示。
本实施例中,使用多任务学习框架来建模模态内的语义类别约束以及模态间的成对相似性约束。具体地,对于模态间的成对相似性约束,首先对所有图像和文本数据构建近邻图G=(V,E),其中V表示图像或文本数据,E表示图像和文本数据之间的相似性关系,定义如下:
然后对于模态内语义类别约束,构建一个n路的softmax层,这里n表示类别数目,并定义如下交叉熵损失函数:
(3)利用根据训练好的多粒度层级网络结构得到的不同模态数据的统一表征,进而计算不同模态数据的相似性。
当深度网络训练完毕之后,不同媒体的数据通过深度网络能够得到相同维度的统一表征,其相似性定义为不同模态数据的统一表征之间的距离度量。本实施例中,距离度量采用余弦距离,通过计算两种模态数据统一表征向量夹角的余弦值来度量两者的相似性。此外,本框架同样支持其他类型的距离度量,如欧式距离等。
(4)使用测试集中的任意一种模态类型作为查询模态,以另一种模态类型作为目标模态。将查询模态的每个数据作为查询样例,检索目标模态中的数据,按照步骤(3)中的方式,计算查询样例和查询目标的相似性,将相似性按照从大到小排序,得到目标模态数据的相关结果列表。
下面的实验结果表明,与现有方法相比,本发明基于多粒度层级网络的跨模态关联学习方法,可以取得更高的检索准确率。
本实施例采用了Wikipedia跨模态数据集进行实验,该数据集由文献“A NewApproach to Cross-Modal Multimedia Retrieval”(作者N.Rasiwasia,J.Pereira,E.Coviello,G.Doyle,G.Lanckriet,R.Levy和N.Vasconcelos,发表在2010年的ACMinternational conference on Multimedia)提出,其中包括2866段文本和2866张图像,其中文本和图像是一一对应的,总共分为10个类别,其中2173段文本和2173张图像作为训练集,231段文本和231张图像作为验证集,492段文本和492张图像作为测试集。测试了以下3种方法作为实验对比:
现有方法一:文献“Learning Cross-Media Joint Representation with Sparseand Semi-Supervised Regularization”(作者X.Zhai,Y.Peng,and J.Xiao)中的联合表示学习(Joint Representation Learning,简称JRL)方法,为不同模态数据构建图模型,同时进行跨模态关联学习和高层语义抽象,并且引入稀疏和半监督规约。
现有方法二:文献“Multimodal Deep Learning”(作者J.Ngiam,A.Khosla,M.Kim,J.Nam,H.Lee,and A.Y.Ng)中的多模态自编码器(Bimodal AE)方法,以多种媒体类型作为输入,在中间层建模跨模态的关联信息得到统一表征,同时还需要网络能够从统一表征对原始特征输入进行重建,由此可以有效的学习不同媒体之间的关联信息,而且能够保留每种媒体各自内部的重建信息。
现有方法三:文献“Cross-modal Retrieval with CorrespondenceAutoencoder”(作者F.Feng,X.Wang,and R.Li)中的对应自编码器网络(CorrespondenceAutoencoder,简称Corr-AE)方法,构建了两路网络,并在中间层相连以同时建模关联信息与重建信息。
本发明:本实施例的方法。
实验采用信息检索领域常用的MAP(mean average precision)指标来评测跨模态检索的准确性,MAP是指每个查询样例检索准确性的平均值,MAP值越大,说明跨模态检索的结果就越好。
表1.本发明的实验结果展示
图像查询文本 | 文本查询图像 | 平均 | |
现有方法一 | 0.453 | 0.400 | 0.427 |
现有方法二 | 0.314 | 0.290 | 0.302 |
现有方法三 | 0.402 | 0.395 | 0.399 |
本发明 | 0.504 | 0.457 | 0.481 |
从表1可以看出,本发明在图像查询文本、文本查询图像两个任务中都比现有方法取得了较大提高。现有方法一在传统框架下构建图模型将不同模态数据线性映射到统一空间,难以充分建模复杂的跨模态关联关系。现有方法二和现有方法三均采用深度网络结构,但仅仅利用不同模态类型的原始数据,并通过简单网络结构学***衡模态内语义类别约束和模态间成对关联约束的学习过程,得到跨模态统一表征,从而提高了跨模态检索的准确率。
在其它实施例中,本发明步骤(2)中的跨模态统一表征学习方法,使用深度信念网络(Deep Belief Network,简称DBN)建模原始的和细粒度的图像和文本数据,同样可以采用栈式自编码器(Stacked Autoencoders,简称SAE)作为替代。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种基于多粒度层级网络的跨模态关联学习方法,包括以下步骤:
(1)建立包含多种模态类型的跨模态数据库,并将跨模态数据库中的数据分为训练集、验证集和测试集,对跨模态数据库中不同模态的数据进行分块处理,提取所有模态原始数据以及分块后数据的特征向量;
(2)利用原始数据和分块后的数据训练多粒度层级网络结构,通过多粒度层级网络结构为不同模态数据学习统一表征,包括:使用两路网络建模原始的图像和文本数据,然后利用两路网络建模细粒度的图像和文本数据,再使用联合限制玻尔兹曼机来融合每种模态的粗粒度表示和细粒度表示,最后使用多任务学习框架来建模模态内的语义类别约束以及模态间的成对相似性约束;
(3)利用根据训练好的多粒度层级网络结构得到的不同模态数据的统一表征,计算不同模态数据的相似性;
(4)使用测试集中的任意一种模态类型作为查询模态,以另一种模态类型作为目标模态,将查询模态的每个数据作为查询样例,检索目标模态中的数据,计算查询样例和查询目标的相似性,根据相似性得到目标模态数据的相关结果列表。
2.如权利要求1所述的方法,其特征在于,所述跨模态数据库包含多种模态类型,包括图像、文本。
3.如权利要求1所述的方法,其特征在于,步骤(1)针对不同模态数据采用不同的分块处理方法将原始数据切分成多个部分,其中,对于图像数据使用选择性搜索算法提取出包含丰富细粒度信息的多个候选区域,或者将图像切分成2×2或4×4的区域;对于文本数据,则以句子为单位切分成多块,或者将文本按照词组来切分。
4.如权利要求1所述的方法,其特征在于,步骤(1)中提取的特征向量为:文本数据是提取词频特征向量或隐狄雷克雷分布特征向量;图像数据是提取卷积神经网络特征向量或词袋特征向量。
8.如权利要求7所述的方法,其特征在于,所述使用多任务学习框架来建模模态内的语义类别约束以及模态间的成对相似性约束,对于模态间的成对相似性约束,首先对所有图像和文本数据构建近邻图G=(V,E),其中V表示图像或文本数据,E表示图像和文本数据之间的相似性关系,定义如下:
然后对于模态内语义类别约束,构建一个n路的softmax层,这里n表示类别数目,并定义如下交叉熵损失函数:
9.如权利要求1中所述的方法,其特征在于,步骤(3)采用余弦距离,通过计算两种模态数据统一表征向量夹角的余弦值来度量两者的相似性;或者步骤(3)采用欧式距离来度量相似性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710378513.XA CN107346328B (zh) | 2017-05-25 | 2017-05-25 | 一种基于多粒度层级网络的跨模态关联学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710378513.XA CN107346328B (zh) | 2017-05-25 | 2017-05-25 | 一种基于多粒度层级网络的跨模态关联学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107346328A CN107346328A (zh) | 2017-11-14 |
CN107346328B true CN107346328B (zh) | 2020-09-08 |
Family
ID=60253337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710378513.XA Active CN107346328B (zh) | 2017-05-25 | 2017-05-25 | 一种基于多粒度层级网络的跨模态关联学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107346328B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109189968B (zh) * | 2018-08-31 | 2020-07-03 | 深圳大学 | 一种跨模态检索方法及*** |
CN109271486B (zh) * | 2018-09-19 | 2021-11-26 | 九江学院 | 一种相似性保留跨模态哈希检索方法 |
CN112116095B (zh) * | 2019-06-19 | 2024-05-24 | 北京搜狗科技发展有限公司 | 一种多任务学习模型训练的方法及相关装置 |
CN110457516A (zh) * | 2019-08-12 | 2019-11-15 | 桂林电子科技大学 | 一种跨模态图文检索方法 |
CN110781319B (zh) * | 2019-09-17 | 2022-06-21 | 北京邮电大学 | 跨媒体大数据的公共语义表示、搜索方法和装置 |
CN110807465B (zh) * | 2019-11-05 | 2020-06-30 | 北京邮电大学 | 一种基于通道损失函数的细粒度图像识别方法 |
CN111275130B (zh) * | 2020-02-18 | 2023-09-08 | 上海交通大学 | 基于多模态的深度学习预测方法、***、介质及设备 |
CN111753549B (zh) * | 2020-05-22 | 2023-07-21 | 江苏大学 | 一种基于注意力机制的多模态情感特征学习、识别方法 |
CN111859635A (zh) * | 2020-07-03 | 2020-10-30 | 中国人民解放军海军航空大学航空作战勤务学院 | 一种基于多粒度建模技术的仿真***及构建方法 |
CN112819052B (zh) * | 2021-01-25 | 2021-12-24 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 多模态细粒度混合方法、***、设备和存储介质 |
CN112990048B (zh) * | 2021-03-26 | 2021-11-23 | 中科视语(北京)科技有限公司 | 车纹识别方法及装置 |
CN113516286B (zh) * | 2021-05-14 | 2024-05-10 | 山东建筑大学 | 基于多粒度任务联合建模的学生学业预警方法及*** |
CN114064967B (zh) * | 2022-01-18 | 2022-05-06 | 之江实验室 | 多粒度级联交互网络的跨模态时序行为定位方法及装置 |
CN114219049B (zh) * | 2022-02-22 | 2022-05-10 | 天津大学 | 一种基于层级约束的细粒度笔石图像分类方法和装置 |
CN116012679B (zh) * | 2022-12-19 | 2023-06-16 | 中国科学院空天信息创新研究院 | 一种基于多层级跨模态交互的自监督遥感表示学习方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701227A (zh) * | 2016-01-15 | 2016-06-22 | 北京大学 | 一种基于局部关联图的跨媒体相似性度量方法和检索方法 |
CN105718532A (zh) * | 2016-01-15 | 2016-06-29 | 北京大学 | 一种基于多深度网络结构的跨媒体排序方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10776710B2 (en) * | 2015-03-24 | 2020-09-15 | International Business Machines Corporation | Multimodal data fusion by hierarchical multi-view dictionary learning |
-
2017
- 2017-05-25 CN CN201710378513.XA patent/CN107346328B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701227A (zh) * | 2016-01-15 | 2016-06-22 | 北京大学 | 一种基于局部关联图的跨媒体相似性度量方法和检索方法 |
CN105718532A (zh) * | 2016-01-15 | 2016-06-29 | 北京大学 | 一种基于多深度网络结构的跨媒体排序方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107346328A (zh) | 2017-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107346328B (zh) | 一种基于多粒度层级网络的跨模态关联学习方法 | |
CN107562812B (zh) | 一种基于特定模态语义空间建模的跨模态相似性学习方法 | |
US10504010B2 (en) | Systems and methods for fast novel visual concept learning from sentence descriptions of images | |
CN112819023B (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
CN111598214A (zh) | 一种基于图卷积神经网络的跨模态检索方法 | |
CN110619051B (zh) | 问题语句分类方法、装置、电子设备及存储介质 | |
CN107220337B (zh) | 一种基于混合迁移网络的跨媒体检索方法 | |
CN113971209B (zh) | 一种基于注意力机制增强的无监督跨模态检索方法 | |
CN112417097B (zh) | 一种用于舆情解析的多模态数据特征提取与关联方法 | |
CN110647904A (zh) | 一种基于无标记数据迁移的跨模态检索方法及*** | |
CN112487822A (zh) | 一种基于深度学习的跨模态检索方法 | |
CN113239159B (zh) | 基于关系推理网络的视频和文本的跨模态检索方法 | |
CN113537304A (zh) | 一种基于双向cnn的跨模态语义聚类方法 | |
Zhang et al. | Deep unsupervised self-evolutionary hashing for image retrieval | |
CN111368176B (zh) | 基于监督语义耦合一致的跨模态哈希检索方法及*** | |
Liu et al. | Open intent discovery through unsupervised semantic clustering and dependency parsing | |
Su et al. | Semi-supervised knowledge distillation for cross-modal hashing | |
CN117273134A (zh) | 一种基于预训练语言模型的零样本知识图谱补全方法 | |
CN116975615A (zh) | 基于视频多模态信息的任务预测方法和装置 | |
CN116933051A (zh) | 一种用于模态缺失场景的多模态情感识别方法及*** | |
He et al. | Category alignment adversarial learning for cross-modal retrieval | |
CN112528062B (zh) | 一种跨模态武器检索方法及*** | |
Perdana et al. | Instance-based deep transfer learning on cross-domain image captioning | |
CN109670071B (zh) | 一种序列化多特征指导的跨媒体哈希检索方法和*** | |
Su et al. | Semantically guided projection for zero-shot 3D model classification and retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |