CN104346440A - 一种基于神经网络的跨媒体哈希索引方法 - Google Patents
一种基于神经网络的跨媒体哈希索引方法 Download PDFInfo
- Publication number
- CN104346440A CN104346440A CN201410531086.0A CN201410531086A CN104346440A CN 104346440 A CN104346440 A CN 104346440A CN 201410531086 A CN201410531086 A CN 201410531086A CN 104346440 A CN104346440 A CN 104346440A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- hash
- function
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于神经网络的跨媒体哈希索引方法,包括如下步骤:(1)设计了基于神经网络的哈希函数学习的网络结构(2)对每种模态的神经网络进行逐层预训练(3)将不同模态的神经网络融合成一个新的网络,设计模态间和模态内数据的损失函数,基于损失函数来通过反向传播方式对整个网络参数进行微调(4)去掉网络的输出层,将哈希编码层的输出结构作为哈希函数的输出以支持跨模态的快速检索。利用该方法可以实现基于内容的海量数据的高效跨媒体检索,用户可以通过提交一种类型检索数据去检索另外一种类型数据。
Description
技术领域
本发明涉及跨媒体检索,尤其涉及一种基于海量数据的跨媒体高效索引方法。
背景技术
互联网技术的高速发展和社交网络的风靡,使得互联网上的多模态数据的数量在以惊人的速度增长。举例来说,用户向社交网络上传图片时一般同时会对图片添加一些描述性文本。因此,如何利用不同模态数据之间关联关系来实现跨模态(也称作跨媒体)检索是一个非常有意义的研究问题。由于网络上多模态数据的数据量非常庞大,通过哈希索引技术来提高跨媒体检索性能是最近研究热点。
已有的跨媒体哈希算法大多基于流形学习、字典学习或生成概率图模型。它们的目标在于通过使用学习得到的哈希函数将不同模态数据映射到同一个子空间内,同时保持数据在模态内相似性和模态间关联关系。本发明提出了一种基于神经网络的跨媒体哈希算法,使得得到的哈希索引不仅保持模态间数据关联性,也具有模态内数据鉴别性。
发明内容
本发明的目的是克服现有技术的不足,提供一种基于神经网络的跨媒体哈希哈希索引的方法。
一种基于神经网络的跨媒体哈希索引方法包括如下步骤:
1)设计基于神经网络的哈希函数的网络结构;
2)对每种模态的神经网络进行逐层预训练;
3)将不同模态的神经网络融合成一个新的网络,设计模态间和模态内数据的损失函数,基于损失函数来通过反向传播方式对整个网络参数进行微调;
4)去掉网络的输出层,将哈希编码层的输出结构作为哈希函数的输出,以支持跨模态的快速检索。
所述的步骤1)包括:
对于得到的包含多模态类型数据的多媒体文档集合,构建分别属于每个模态类型的数据集;假设构成多媒体文档的数据来自两个模态:数据集 分别为两个模态数据的矩阵表示,其中dx和dy对应两个模态数据的维度,通常dx≠dy;n是数据集X和Y中所包含数据的个数;此外,T=[t1,t2,...,tn]∈Rc×n为数据集X和Y对应的类别标签矩阵,每一个ti∈Rc为两种模态数据点对xi和yi所对应的类别标签向量,tij=1表示xi和yi均属于第j个类别,c为所有类别的个数;
神经网络结构由两个子神经网络组成,记作NNx和NNy,对应分别对X和Y中数据的逐层学习,每个子神经网络NNx或NNy有L层,包含一个输入层、一个输出层、一个哈希编码层以及剩下的L-3哈希函数层。对任意x∈X(y∈Y同理),将数据x沿着它对应模态的神经子网络NNx进行正向传播,第l层的表达x(l)通过一组非线性变换后可得到l+1层的表达x(l+1),这一非线性变换如公式(6)所示
x(l)1)=f(l)(W(l)x(l)) (6)
其中W(l)为投影矩阵,f(l)(·)为非线性激活函数,在第一层到第L-2层,使用的非线性变换函数是sigmoid函数,在第L-1层使用非线性变换函数是softmax函数;
哈希函数Hx是子神经网络NNx的一部分,Hx将x为输入,将输入x通过正向传播到第L-1层,输出x的k维哈希编码:
Hx(x)=sign(x(L-1)) (7)
其中x(L-1)∈Rk为x在子神经网络第L-1层上的输出,sign(·)为将实数x(L-1)转换为二值哈希编码的函数;
对于另外一个模态数据所对应的哈希函数Hy,采用相同的方法得到。
所述的步骤3)包括:
分别在哈希编码层和输出层设计如下两个损失函数,将两个网络NNx和NNy融合,实现对不同模态数据的统一表达,
保持模态间数据对应性的损失函数:对于存在对应关系的来自不同模态数据,这一损失函数将保证其在哈希编码层编码尽可能相似或一致。由于难以对二值哈希编码进行求导,因此在求解中先去掉二值函数sign(·),直接将实数值作为数据在哈希编码层的表达,基于这一分析,在公式(8)中定义了损失函数l1:
其中x(L-1),y(L-1)分别为来自不同模态、存在对应关系的一对数据x,y在哈希编码层上的表达;
保持模态内数据鉴别性的损失函数:对于来自同一模态的数据,如果它们具有相同的类别标签,则应该保证这些具有相同类别标签的数据在神经网络输出层的表达尽可能相似或一致,基于这一分析,在公式(9)中定义损失函数l2:
l2(x,y,t)=KL(x(L),t)+KL(y(L),t) (9)
其中x,y为来自不同模态、存在对应关系的一对数据,x(L),y(L)分别为它们在输出层上的表达,t为它们对应的类别标签,KL(·)为KL-散度函数,用于衡量数据在输出层表达和类别标签的一致性;
将两个损失函数结合起来,对数据集X和Y内所有数据形成了如公式(10)的整体损失函数:
其中λ为平衡两个损失项的参数;
通过最小化公式(10)中所定义的损失函数,并采用经典的反向传播算法,对整个网络中参数进行微调,直到整个神经网络收敛或达到最大迭代次数。
本发明可以实现基于内容的海量数据的高效跨媒体检索。用户可以通过提交一种模态的检索例子去检索另外一种模态的媒体对象。
附图说明
图1是基于神经网络的跨媒体哈希索引算法流程图。
具体实施方式
一种基于神经网络的跨媒体哈希索引方法包括如下步骤:
1)设计基于神经网络的哈希函数的网络结构;
2)对每种模态的神经网络进行逐层预训练;
3)将不同模态的神经网络融合成一个新的网络,设计模态间和模态内数据的损失函数,基于损失函数来通过反向传播方式对整个网络参数进行微调;
4)去掉网络的输出层,将哈希编码层的输出结构作为哈希函数的输出,以支持跨模态的快速检索。
所述的步骤1)包括:
对于得到的包含多模态类型数据的多媒体文档集合,构建分别属于每个模态类型的数据集;假设构成多媒体文档的数据来自两个模态(为了表达上的方便,下面都假设构成多媒体文档的数据是来自两个模态,实际上本发明的方法可以扩展到任意多个模态):数据集 分别为两个模态数据的矩阵表示,其中dx和dy对应两个模态数据的维度,通常dx≠dy;n是数据集X和Y中所包含数据的个数;此外,T=[t1,t2,...,tn]∈Rc×n为数据集X和Y对应的类别标签矩阵,每一个ti∈Rc为两种模态数据点对xi和yi所对应的类别标签向量,tij=1表示xi和yi均属于第j个类别,c为所有类别的个数;
如图1所示,本发明的神经网络结构由两个子神经网络组成,记作NNx和NNy,对应分别对X和Y中数据的逐层学习,每个子神经网络NNx或NNy有L层,包含一个输入层、一个输出层、一个哈希编码层以及剩下的L-3哈希函数层。对任意x∈X(y∈Y同理),将数据x沿着它对应模态的神经子网络NNx进行正向传播,第l层的表达x(l)通过一组非线性变换后可得到l+1层的表达x(l+1),这一非线性变换如公式(11)所示
x(l+1)=f(l)(W(l)x(l)) (11)
其中W(l)为投影矩阵,f(l)(·)为非线性激活函数,在第一层到第L-2层,使用的非线性变换函数是sigmoid函数,在第L-1层使用非线性变换函数是softmax函数;
哈希函数Hx是子神经网络NNx的一部分,Hx将x为输入,将输入x通过正向传播到第L-1层,输出x的k维哈希编码:
Hx(x)=sign(x(L-1)) (12)
其中x(L-1)∈Rk为x在子神经网络第L-1层上的输出,sign(·)为将实数x(L-1)转换为二值哈希编码的函数;
对于另外一个模态数据所对应的哈希函数Hy,采用相同的方法得到。所述的步骤2)包括:
对神经网络NNx和NNy中的每一层分别使用传统的预训练方法叠加自动编码机进行初始化,使得最终得到的网络不至于陷入一个较差的局部最优解。所述的步骤3)包括:
分别在哈希编码层和输出层设计如下两个损失函数,将两个网络NNx和NNy融合,实现对不同模态数据的统一表达,
保持模态间数据对应性的损失函数:对于存在对应关系的来自不同模态数据,这一损失函数将保证其在哈希编码层编码尽可能相似或一致。由于难以对二值哈希编码进行求导,因此在求解中先去掉二值函数sign(·),直接将实数值作为数据在哈希编码层的表达,基于这一分析,在公式(13)中定义了损失函数l1:
其中x(L-1),y(L-1)分别为来自不同模态、存在对应关系的一对数据x,u在哈希编码层上的表达;
保持模态内数据鉴别性的损失函数:对于来自同一模态的数据,如果它们具有相同的类别标签,则应该保证这些具有相同类别标签的数据在神经网络输出层的表达尽可能相似或一致,基于这一分析,在公式(14)中定义损失函数l2:
l2(x,y,t)=KL(x(L),t)+KL(y(L),t) (14)
其中x,y为来自不同模态、存在对应关系的一对数据,x(L),y(L)分别为它们在输出层上的表达,t为它们对应的类别标签,KL(·)为KL-散度函数,用于衡量数据在输出层表达和类别标签的一致性;
将两个损失函数结合起来,对数据集X和Y内所有数据形成了如公式(15)的整体损失函数:
其中λ为平衡两个损失项的参数;
通过最小化公式(15)中所定义的损失函数,并采用经典的反向传播算法,对整个网络中参数进行微调,直到整个神经网络收敛或达到最大迭代次数。所述的步骤4)包括:
得到优化后网络NNx和NNy后,分别去掉NNx和NNy的输出层,并在NNx和NNy的哈希编码层的输出结果上加上二值化函数sign(·),得到哈希函数Hx,Hy。
本发明的算法的完整流程如算法1所示。
实施例
为了验证本发明的效果,从“***-特色文本”(Wikipedia feature articles)上爬取了约2900个网页,每个网页中包含了一张图像以及几段对图像内容进行描述的文本,将这些网页作为本发明实验的数据集。本发明具体进行了针对两种类型媒体(图像和文本媒体)的跨媒体检索实验。
对图像模态数据,本发明提取每幅图像SIFT特征,再用K-means聚类方法对SIFT特征进行聚类,形成1000个聚类质心。这样,每张图像可被表达为1000维“视觉词袋”(Bag of visual words);对文本模态数据,根据单词TF值大小来选取了最具代表性5000个单词,这样每个文本数据可被表达为5000维“文本词袋”(Bag of textual words)。
为了进一步验证本发明对大规模数据的跨媒体检索性能,在公开标准数据集NUS-WIDE上也进行了跨媒体检索实验。NUS-WIDE包含约26万个图像,每个图像具有图像上传者标注的标签信息。将图像和标签信息作为两种媒体数据,也可进行跨媒体检索实验。图像数据通过NUS-WIDE抽取好的500维视觉词袋特征进行表达,标签信息通过1000维文本词袋进行表达。
为了客观地评价本发明算法性能,使用平均准确率(Mean Average Precision,MAP)评价标准,针对不同哈希编码长度L给出了其MAP结果。***数据集上的MAP结果如表1所示,NUS-WIDE数据集上的MAP结果如表2所示,
表1.***数据集上MAP的结果
表2.NUS-WIDE数据集上的MAP结果
Claims (3)
1.一种基于神经网络的跨媒体哈希索引方法,其特征在于包括如下步骤:
1)设计基于神经网络的哈希函数的网络结构;
2)对每种模态的神经网络进行逐层预训练;
3)将不同模态的神经网络融合成一个新的网络,设计模态间和模态内数据的损失函数,基于损失函数来通过反向传播方式对整个网络参数进行微调;
4)去掉网络的输出层,将哈希编码层的输出结构作为哈希函数的输出,以支持跨模态的快速检索。
2.根据权利要求1所述的一种基于神经网络的跨媒体哈希索引方法,其特征在于所述的步骤1)包括:
对于得到的包含多模态类型数据的多媒体文档集合,构建分别属于每个模态类型的数据集;假设构成多媒体文档的数据来自两个模态:数据集 分别为两个模态数据的矩阵表示,其中dx和dy对应两个模态数据的维度,通常dx≠dy;n是数据集X和Y中所包含数据的个数;此外,T=[t1,t2…,tn]∈Rc×n为数据集X和Y对应的类别标签矩阵,每一个ti∈RC为两种模态数据点对xi和yi所对应的类别标签向量,tij=1表示xi和yi均属于第j个类别,c为所有类别的个数;
神经网络结构由两个子神经网络组成,记作NNx和NNy,对应分别对X和Y中数据的逐层学习,每个子神经网络NNx或NNy有L层,包含一个输入层、一个输出层、一个哈希编码层以及剩下的L-3哈希函数层。对任意x∈X(y∈Y同理),将数据x沿着它对应模态的神经子网络NNx进行正向传播,第l层的表达x(l)通过一组非线性变换后可得到l+1层的表达x(l+1),这一非线性变换如公式(1)所示
x(l+1)-f(l)(W(l)x(l)) (1)
其中W(l)为投影矩阵,f(l)(·)为非线性激活函数,在第一层到第L-2层,使用的非线性变换函数是sigmoid函数,在第L-1层使用非线性变换函数是softmax函数;
哈希函数Hx是子神经网络NNx的一部分,Hx将x为输入,将输入x通过正向传播到第L-1层,输出x的k维哈希编码:
Hx(x)=sign(x(L-1)) (2)
其中x(L-1)∈Rk为x在子神经网络第L-1层上的输出,sign(·)为将实数x(L-1)转换为二值哈希编码的函数;
对于另外一个模态数据所对应的哈希函数Hy,采用相同的方法得到。
3.根据权利要求1所述的一种基于神经网络的跨媒体哈希索引方法,其特征在于所述的步骤3)包括:
分别在哈希编码层和输出层设计如下两个损失函数,将两个网络NNx和NNy融合,实现对不同模态数据的统一表达,
保持模态间数据对应性的损失函数:对于存在对应关系的来自不同模态数据,这一损失函数将保证其在哈希编码层编码尽可能相似或一致。由于难以对二值哈希编码进行求导,因此在求解中先去掉二值函数sign(·),直接将实数值作为数据在哈希编码层的表达,基于这一分析,在公式(3)中定义了损失函数
其中x(L-1),y(L-1)分别为来自不同模态、存在对应关系的一对数据x,y在哈希编码层上的表达;
保持模态内数据鉴别性的损失函数:对于来自同一模态的数据,如果它们具有相同的类别标签,则应该保证这些具有相同类别标签的数据在神经网络输出层的表达尽可能相似或一致,基于这一分析,在公式(4)中定义损失函数
其中x,y为来自不同模态、存在对应关系的一对数据,x(L),y(L)分别为它们在输出层上的表达,t为它们对应的类别标签,KL(·)为KL-散度函数,用于衡量数据在输出层表达和类别标签的一致性;
将两个损失函数结合起来,对数据集X和Y内所有数据形成了如公式(5)的整体损失函数:
其中λ为平衡两个损失项的参数;
通过最小化公式(5)中所定义的损失函数,并采用经典的反向传播算法,对整个网络中参数进行微调,直到整个神经网络收敛或达到最大迭代次数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410531086.0A CN104346440B (zh) | 2014-10-10 | 2014-10-10 | 一种基于神经网络的跨媒体哈希索引方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410531086.0A CN104346440B (zh) | 2014-10-10 | 2014-10-10 | 一种基于神经网络的跨媒体哈希索引方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104346440A true CN104346440A (zh) | 2015-02-11 |
CN104346440B CN104346440B (zh) | 2017-06-23 |
Family
ID=52502031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410531086.0A Expired - Fee Related CN104346440B (zh) | 2014-10-10 | 2014-10-10 | 一种基于神经网络的跨媒体哈希索引方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104346440B (zh) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834748A (zh) * | 2015-05-25 | 2015-08-12 | 中国科学院自动化研究所 | 一种利用基于深度语义排序哈希编码的图像检索方法 |
CN105279554A (zh) * | 2015-09-29 | 2016-01-27 | 东方网力科技股份有限公司 | 基于哈希编码层的深度神经网络的训练方法及装置 |
CN105893477A (zh) * | 2016-03-25 | 2016-08-24 | 中国科学技术大学 | 一种基于双路神经网络的保距哈希方法 |
CN106649715A (zh) * | 2016-12-21 | 2017-05-10 | 中国人民解放军国防科学技术大学 | 一种基于局部敏感哈希算法和神经网络的跨媒体检索方法 |
CN106776553A (zh) * | 2016-12-07 | 2017-05-31 | 中山大学 | 一种基于深度学习的非对称文本哈希方法 |
CN107067020A (zh) * | 2016-12-30 | 2017-08-18 | 腾讯科技(上海)有限公司 | 图片识别方法及装置 |
CN107256271A (zh) * | 2017-06-27 | 2017-10-17 | 鲁东大学 | 基于映射字典学习的跨模态哈希检索方法 |
WO2018010365A1 (zh) * | 2016-07-11 | 2018-01-18 | 北京大学深圳研究生院 | 一种跨媒体检索方法 |
CN107766555A (zh) * | 2017-11-02 | 2018-03-06 | 电子科技大学 | 基于软约束无监督型跨模态哈希的图像检索方法 |
CN108009625A (zh) * | 2016-11-01 | 2018-05-08 | 北京深鉴科技有限公司 | 人工神经网络定点化后的微调方法和装置 |
CN108629414A (zh) * | 2018-05-09 | 2018-10-09 | 清华大学 | 深度哈希学习方法及装置 |
WO2018188240A1 (zh) * | 2017-04-10 | 2018-10-18 | 北京大学深圳研究生院 | 一种基于深度语义空间的跨媒体检索方法 |
CN110059154A (zh) * | 2019-04-10 | 2019-07-26 | 山东师范大学 | 一种基于继承映射的跨模态迁移哈希检索方法 |
CN110059198A (zh) * | 2019-04-08 | 2019-07-26 | 浙江大学 | 一种基于相似性保持的跨模态数据的离散哈希检索方法 |
WO2019148898A1 (zh) * | 2018-02-01 | 2019-08-08 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
CN110110140A (zh) * | 2019-04-19 | 2019-08-09 | 天津大学 | 基于注意力扩展编解码网络的视频摘要方法 |
CN110188209A (zh) * | 2019-05-13 | 2019-08-30 | 山东大学 | 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置 |
CN110188223A (zh) * | 2019-06-06 | 2019-08-30 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及计算机设备 |
CN110222140A (zh) * | 2019-04-22 | 2019-09-10 | 中国科学院信息工程研究所 | 一种基于对抗学习和非对称哈希的跨模态检索方法 |
CN110750660A (zh) * | 2019-10-08 | 2020-02-04 | 西北工业大学 | 一种半配对多模态数据哈希编码方法 |
CN111628866A (zh) * | 2020-05-22 | 2020-09-04 | 深圳前海微众银行股份有限公司 | 神经网络校验方法、装置、设备及可读存储介质 |
CN111639240A (zh) * | 2020-05-14 | 2020-09-08 | 山东大学 | 一种基于注意力感知机制的跨模态哈希检索方法及*** |
CN111639197A (zh) * | 2020-05-28 | 2020-09-08 | 山东大学 | 标签嵌入在线哈希的跨模态多媒体数据检索方法及*** |
CN112559810A (zh) * | 2020-12-23 | 2021-03-26 | 上海大学 | 一种利用多层特征融合生成哈希码的方法及装置 |
CN112905822A (zh) * | 2021-02-02 | 2021-06-04 | 华侨大学 | 一种基于注意力机制的深度监督跨模态对抗学习方法 |
US11263520B2 (en) * | 2016-11-30 | 2022-03-01 | Shanghai Cambricon Information Technology Co., Ltd. | Instruction generation process multiplexing method and device |
CN114168759A (zh) * | 2020-09-11 | 2022-03-11 | 四川大学 | 基于跨媒体分析的科技数据检索技术 |
WO2022104540A1 (zh) * | 2020-11-17 | 2022-05-27 | 深圳大学 | 一种跨模态哈希检索方法、终端设备及存储介质 |
US11429820B2 (en) * | 2018-03-13 | 2022-08-30 | Recogni Inc. | Methods for inter-camera recognition of individuals and their properties |
CN115410717A (zh) * | 2022-09-15 | 2022-11-29 | 北京京东拓先科技有限公司 | 模型训练方法、数据检索方法、影像数据检索方法和装置 |
US11586925B2 (en) | 2017-09-29 | 2023-02-21 | Samsung Electronics Co., Ltd. | Neural network recogntion and training method and apparatus |
CN116881482A (zh) * | 2023-06-27 | 2023-10-13 | 四川九洲视讯科技有限责任公司 | 一种公共安全数据的跨媒体智能感知与分析处理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020083424A1 (en) * | 1996-03-25 | 2002-06-27 | Anthony Passera | Systems for analyzing and computing data items |
CN103353875A (zh) * | 2013-06-09 | 2013-10-16 | 华中科技大学 | 基于可视搜索的媒体交互方法及*** |
CN103559191A (zh) * | 2013-09-10 | 2014-02-05 | 浙江大学 | 基于隐空间学习和双向排序学习的跨媒体排序方法 |
-
2014
- 2014-10-10 CN CN201410531086.0A patent/CN104346440B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020083424A1 (en) * | 1996-03-25 | 2002-06-27 | Anthony Passera | Systems for analyzing and computing data items |
CN103353875A (zh) * | 2013-06-09 | 2013-10-16 | 华中科技大学 | 基于可视搜索的媒体交互方法及*** |
CN103559191A (zh) * | 2013-09-10 | 2014-02-05 | 浙江大学 | 基于隐空间学习和双向排序学习的跨媒体排序方法 |
Non-Patent Citations (1)
Title |
---|
HUIJIE LIN ET AL: "Psychological stress detection from cross-media microblog data using Deep Sparse Neural Network", 《MULTIMEDIA AND EXPO(ICME)》 * |
Cited By (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104834748B (zh) * | 2015-05-25 | 2018-08-03 | 中国科学院自动化研究所 | 一种利用基于深度语义排序哈希编码的图像检索方法 |
CN104834748A (zh) * | 2015-05-25 | 2015-08-12 | 中国科学院自动化研究所 | 一种利用基于深度语义排序哈希编码的图像检索方法 |
CN105279554B (zh) * | 2015-09-29 | 2017-12-15 | 东方网力科技股份有限公司 | 基于哈希编码层的深度神经网络的训练方法及装置 |
CN105279554A (zh) * | 2015-09-29 | 2016-01-27 | 东方网力科技股份有限公司 | 基于哈希编码层的深度神经网络的训练方法及装置 |
CN105893477A (zh) * | 2016-03-25 | 2016-08-24 | 中国科学技术大学 | 一种基于双路神经网络的保距哈希方法 |
WO2018010365A1 (zh) * | 2016-07-11 | 2018-01-18 | 北京大学深圳研究生院 | 一种跨媒体检索方法 |
CN108009625A (zh) * | 2016-11-01 | 2018-05-08 | 北京深鉴科技有限公司 | 人工神经网络定点化后的微调方法和装置 |
US11263520B2 (en) * | 2016-11-30 | 2022-03-01 | Shanghai Cambricon Information Technology Co., Ltd. | Instruction generation process multiplexing method and device |
CN106776553A (zh) * | 2016-12-07 | 2017-05-31 | 中山大学 | 一种基于深度学习的非对称文本哈希方法 |
CN106649715A (zh) * | 2016-12-21 | 2017-05-10 | 中国人民解放军国防科学技术大学 | 一种基于局部敏感哈希算法和神经网络的跨媒体检索方法 |
CN107067020A (zh) * | 2016-12-30 | 2017-08-18 | 腾讯科技(上海)有限公司 | 图片识别方法及装置 |
US10803359B2 (en) | 2016-12-30 | 2020-10-13 | Tencent Technology (Shenzhen) Company Limited | Image recognition method, apparatus, server, and storage medium |
CN107067020B (zh) * | 2016-12-30 | 2019-11-15 | 腾讯科技(上海)有限公司 | 图片识别方法及装置 |
CN108694200A (zh) * | 2017-04-10 | 2018-10-23 | 北京大学深圳研究生院 | 一种基于深度语义空间的跨媒体检索方法 |
CN108694200B (zh) * | 2017-04-10 | 2019-12-20 | 北京大学深圳研究生院 | 一种基于深度语义空间的跨媒体检索方法 |
WO2018188240A1 (zh) * | 2017-04-10 | 2018-10-18 | 北京大学深圳研究生院 | 一种基于深度语义空间的跨媒体检索方法 |
CN107256271A (zh) * | 2017-06-27 | 2017-10-17 | 鲁东大学 | 基于映射字典学习的跨模态哈希检索方法 |
CN107256271B (zh) * | 2017-06-27 | 2020-04-03 | 鲁东大学 | 基于映射字典学习的跨模态哈希检索方法 |
US11586925B2 (en) | 2017-09-29 | 2023-02-21 | Samsung Electronics Co., Ltd. | Neural network recogntion and training method and apparatus |
CN107766555B (zh) * | 2017-11-02 | 2020-04-21 | 电子科技大学 | 基于软约束无监督型跨模态哈希的图像检索方法 |
CN107766555A (zh) * | 2017-11-02 | 2018-03-06 | 电子科技大学 | 基于软约束无监督型跨模态哈希的图像检索方法 |
WO2019148898A1 (zh) * | 2018-02-01 | 2019-08-08 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
US11429820B2 (en) * | 2018-03-13 | 2022-08-30 | Recogni Inc. | Methods for inter-camera recognition of individuals and their properties |
CN108629414B (zh) * | 2018-05-09 | 2020-04-14 | 清华大学 | 深度哈希学习方法及装置 |
CN108629414A (zh) * | 2018-05-09 | 2018-10-09 | 清华大学 | 深度哈希学习方法及装置 |
CN110059198A (zh) * | 2019-04-08 | 2019-07-26 | 浙江大学 | 一种基于相似性保持的跨模态数据的离散哈希检索方法 |
CN110059198B (zh) * | 2019-04-08 | 2021-04-13 | 浙江大学 | 一种基于相似性保持的跨模态数据的离散哈希检索方法 |
CN110059154B (zh) * | 2019-04-10 | 2022-04-15 | 山东师范大学 | 一种基于继承映射的跨模态迁移哈希检索方法 |
CN110059154A (zh) * | 2019-04-10 | 2019-07-26 | 山东师范大学 | 一种基于继承映射的跨模态迁移哈希检索方法 |
CN110110140A (zh) * | 2019-04-19 | 2019-08-09 | 天津大学 | 基于注意力扩展编解码网络的视频摘要方法 |
CN110222140B (zh) * | 2019-04-22 | 2021-07-13 | 中国科学院信息工程研究所 | 一种基于对抗学习和非对称哈希的跨模态检索方法 |
CN110222140A (zh) * | 2019-04-22 | 2019-09-10 | 中国科学院信息工程研究所 | 一种基于对抗学习和非对称哈希的跨模态检索方法 |
CN110188209A (zh) * | 2019-05-13 | 2019-08-30 | 山东大学 | 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置 |
CN110188223B (zh) * | 2019-06-06 | 2022-10-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及计算机设备 |
CN110188223A (zh) * | 2019-06-06 | 2019-08-30 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及计算机设备 |
CN110750660B (zh) * | 2019-10-08 | 2023-03-10 | 西北工业大学 | 一种半配对多模态数据哈希编码方法 |
CN110750660A (zh) * | 2019-10-08 | 2020-02-04 | 西北工业大学 | 一种半配对多模态数据哈希编码方法 |
CN111639240A (zh) * | 2020-05-14 | 2020-09-08 | 山东大学 | 一种基于注意力感知机制的跨模态哈希检索方法及*** |
CN111628866A (zh) * | 2020-05-22 | 2020-09-04 | 深圳前海微众银行股份有限公司 | 神经网络校验方法、装置、设备及可读存储介质 |
CN111639197A (zh) * | 2020-05-28 | 2020-09-08 | 山东大学 | 标签嵌入在线哈希的跨模态多媒体数据检索方法及*** |
CN111639197B (zh) * | 2020-05-28 | 2021-03-12 | 山东大学 | 标签嵌入在线哈希的跨模态多媒体数据检索方法及*** |
CN114168759A (zh) * | 2020-09-11 | 2022-03-11 | 四川大学 | 基于跨媒体分析的科技数据检索技术 |
WO2022104540A1 (zh) * | 2020-11-17 | 2022-05-27 | 深圳大学 | 一种跨模态哈希检索方法、终端设备及存储介质 |
CN112559810A (zh) * | 2020-12-23 | 2021-03-26 | 上海大学 | 一种利用多层特征融合生成哈希码的方法及装置 |
CN112905822B (zh) * | 2021-02-02 | 2022-07-01 | 华侨大学 | 一种基于注意力机制的深度监督跨模态对抗学习方法 |
CN112905822A (zh) * | 2021-02-02 | 2021-06-04 | 华侨大学 | 一种基于注意力机制的深度监督跨模态对抗学习方法 |
CN115410717A (zh) * | 2022-09-15 | 2022-11-29 | 北京京东拓先科技有限公司 | 模型训练方法、数据检索方法、影像数据检索方法和装置 |
CN115410717B (zh) * | 2022-09-15 | 2024-05-21 | 北京京东拓先科技有限公司 | 模型训练方法、数据检索方法、影像数据检索方法和装置 |
CN116881482A (zh) * | 2023-06-27 | 2023-10-13 | 四川九洲视讯科技有限责任公司 | 一种公共安全数据的跨媒体智能感知与分析处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104346440B (zh) | 2017-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104346440A (zh) | 一种基于神经网络的跨媒体哈希索引方法 | |
CN109271522B (zh) | 基于深度混合模型迁移学习的评论情感分类方法及*** | |
CN105740401B (zh) | 一种基于个体行为和群体兴趣的兴趣地点推荐方法及装置 | |
Zheng | Methodologies for cross-domain data fusion: An overview | |
CN105975916B (zh) | 基于多输出卷积神经网络和有序回归的年龄估计方法 | |
WO2017210949A1 (zh) | 一种跨媒体检索方法 | |
CN107679580A (zh) | 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法 | |
US20190147297A1 (en) | System for time-efficient assignment of data to ontological classes | |
CN110909164A (zh) | 一种基于卷积神经网络的文本增强语义分类方法及*** | |
CN107832458B (zh) | 一种字符级的基于嵌套深度网络的文本分类方法 | |
CN105205096A (zh) | 一种跨文本模态和图像模态的数据检索方法 | |
CN104317834B (zh) | 一种基于深度神经网络的跨媒体排序方法 | |
CN103309953B (zh) | 一种基于多rbfnn分类器集成的多样化图像标注和检索方法 | |
EP3166020A1 (en) | Method and apparatus for image classification based on dictionary learning | |
Tang et al. | Multi-label patent categorization with non-local attention-based graph convolutional network | |
CN106250412A (zh) | 基于多源实体融合的知识图谱构建方法 | |
CN110674407A (zh) | 基于图卷积神经网络的混合推荐方法 | |
CN110196945B (zh) | 一种基于LSTM与LeNet融合的微博用户年龄预测方法 | |
Kulkarni et al. | Deep learning for NLP | |
CN105393264A (zh) | 人机交互学习中的交互区段提取 | |
CN103473307B (zh) | 跨媒体稀疏哈希索引方法 | |
CN111143567B (zh) | 一种基于改进神经网络的评论情感分析方法 | |
CN112347761B (zh) | 基于bert的药物关系抽取方法 | |
Yao et al. | Knowledge enhanced person-job fit for talent recruitment | |
CN108876643A (zh) | 一种社交策展网络上采集(Pin)的多模态表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170623 Termination date: 20181010 |