CN112395438A - 一种多标签图像的哈希码生成方法和*** - Google Patents

一种多标签图像的哈希码生成方法和*** Download PDF

Info

Publication number
CN112395438A
CN112395438A CN202011226768.2A CN202011226768A CN112395438A CN 112395438 A CN112395438 A CN 112395438A CN 202011226768 A CN202011226768 A CN 202011226768A CN 112395438 A CN112395438 A CN 112395438A
Authority
CN
China
Prior art keywords
label
hash
image
hash code
occurrence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011226768.2A
Other languages
English (en)
Inventor
刘渝
汪洋涛
谢延昭
周可
夏天
冯树耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011226768.2A priority Critical patent/CN112395438A/zh
Publication of CN112395438A publication Critical patent/CN112395438A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多标签图像的哈希码生成方法和***，属于人工智能图像检索领域。本发明首先结合卷积神经网络和图卷积网络分别生成图像表示和标签共现嵌入，然后采用MFB融合这两个模态矢量，最后通过基于柯西分布的损失函数学习哈希模型。通过标签集合中对象的共现概率探索对象之间的相互依赖性，并采用基于注意力机制的多模态双线性合并共现特征与图像特征，提升哈希码度量数据间对象关系的依赖性的能力，进而提升哈希码的性能。使用共现关系和MFB不仅可以提高哈希码的准确性，而且也加速了哈希学习。

Description

一种多标签图像的哈希码生成方法和***
技术领域
本发明属于人工智能图像检索领域，更具体地，涉及一种多标签图像的哈希码生成方法和***。
背景技术
相似性哈希码由于其轻量级的存储(紧凑的二进制码)和有效的比较(异或)而被广泛用于大规模图像检索。对于经典的图像哈希，从图像中正确识别对象是提高检索精度的重要因素。但是，对于每个图像包含更多对象的多标签图像检索来说，正确识别对象变得更具挑战性。
现有解决方法技术存在以下问题：
1、目标依存关系不明确：如何构建理想的拓扑结构以及应该表达什么样的依存关系并不确定。
2、不能建立使用拓扑信息的端对端的训练方式：使用拓扑信息通过末端学习哈希任务中的图像表示端到端的方式非常困难。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种多标签图像的哈希码生成方法和***，其目的在于利用改进的MFB代替DP，在图卷积网络获得的多标签相关性特征下，通过MFB将其与图像特征相融合，再通过柯西损失函数，训练端到端的哈希模型，通过多标签相关性的信息，提高了哈希方法的正确性。
为实现上述目的，按照本发明的第一方面，提供了一种多标签图像的哈希码生成方法，该方法包括以下步骤：
S1.统计多标签图像集合中所有标签，将每种标签映射为一个标签词向量，得到多标签图像集合对应的标签词向量矩阵，计算任意两种标签之间的共现概率，得到多标签图像集合对应的标签共现相关性矩阵；
S2.采用卷积神经网络提取多标签图像集合中各个多标签图像的图像特征向量，采取图卷积网络对标签词向量矩阵和标签共现相关性矩阵进行卷积，得到多标签图像集合对应的标签共现嵌入特征向量；
S3.采用基于注意力机制的多模态双线性分别融合各个图像特征向量和标签共现嵌入特征向量，得到各个多标签图像的融合特征向量；
S4.将各个多标签图像的融合特征向量分别输入哈希激活层，生成对应的哈希码；
S5.基于柯西分布，计算整个多标签图像集合生成所有哈希码的总损失值；
S6.根据总损失值调整卷积神经网络、图卷积网络、基于注意力机制的多模态双线性和哈希激活层的参数，使得总损失值最小化；
S7.重复步骤S2-S6，直至满足停止条件，得到训练好的多标签图像的哈希码生成模型和该多标签图像集合的哈希码库。
有益效果：本发明通过以条件概率的形式对标签相关性依赖性进行建模，使用图卷积方式对标签的相关性信息进行提取，实现了确定目标的图标签相关性特征的目的；基于改进的柯西分布的哈希函数可以解决传统的S形函数在较短的汉明距离内带来相似样本的聚集度低的问题，并且可以取得更好的效果。同时由于考虑了标签之间的相关性，使得多目标的识别得到了提升，获得更加准确的哈希模型。
优选地，步骤S1中，以条件概率的形式对标签相关性依赖性进行建模，即
Figure BDA0002762728350000031
其中，Tj表示多标签图像集中标签rj出现的次数，Tij表示两个对象同时出现的次数。
有益效果：本发明通过以条件概率的形式对标签相关性依赖性进行建模，基于条件概率的方式对标签的相关性进行描述，准确反映了各表签之间的相关性，从而达到准确描述标签相关性的目的。
优选地，步骤S2中，卷积神经网络采用预训练的ResNet-101。
有益效果：本发明在图像特征提取过程中通过对不同预训练卷积神经网络模型的对比，在多种预训练模型中达到了效果与训练速度的平衡。
步骤S3中，对于第i个标签，i＝1，2，…，R，R为标签词向量矩阵中标签词向量个数，多模态双线性模型如下：
Figure BDA0002762728350000032
其中，zi是第i个标签特征对应的融合特征，
Figure BDA0002762728350000033
是图像特征向量，E是标签共现嵌入特征向量，k是分解矩阵的潜在维数，Ui、Vi是第i个标签特征对应的可训练参数，
Figure BDA0002762728350000034
Figure BDA0002762728350000035
Figure BDA0002762728350000036
是维度为k的all-one向量，
Figure BDA0002762728350000037
是Hadmard乘积，即两个向量的逐元素相乘，函数D(·)表示取维数。
有益效果：利用Hadmard乘积和求和池化而不是DP来增加不同形式之间矢量元素的交互，从而提高了精度。另一方面，它通过求和池化减少了因增加交互作用而导致的过拟合和参数***，从而加快了模型收敛。
优选地，步骤S4中，哈希激活层之前有一个全连接层，融合特征向量先进入该全连接层，再进入哈希激活层，所述全连接层和哈希激活层的节点个数相同。
有益效果：全连接层本身不容易训练，但是单独的哈希全连接层的参数容量较小，不容易学***衡。
优选地，步骤S5中，总损失函数
L＝λLcce+(1-λ)Lcq
柯西交叉熵误差
Figure BDA0002762728350000041
柯西量化误差
Figure BDA0002762728350000042
其中，λ是柯西交叉熵误差的权重，
Figure BDA0002762728350000043
是训练样本对{(xi，xj，sij)}的权重，sij是多标签图像xi和xj的相似关系，sij＝1表明相似，sij＝0表明不相似，S是相似关系的集合，Ss＝{sij∈S：sij＝1}是相似对集合，Sd＝{sij∈S：sij＝0}是不相似对合集，|·|是取集合元素个数的运算符，hi，hj∈{-1，1}K分别表示输入为xi，xj时全连接哈希层的对应的输出，δ(hi，hj)是hi，hj的汉明距离，γ是柯西分布参数，N是多标签图像集合的多标签图像数量，K是哈希码长度。
优选地，汉明距离的计算方式如下：
Figure BDA0002762728350000044
有益效果：本发明通过汉明距离去正则化柯西损失函数中的柯西距离，同时为了方便计算，并未采取汉明距离原有的定义进行计算，而是提出了近似计算的方式，以得到更好的模型性能表现。
优选地，该方法应用于图像多标签检索领域。
有益效果：本发明通过对于现有哈希生成的方法进行多处改进，基于MFB的引入和改进的柯西损失的使用，得到了优秀的哈希码生成方案，并在生成哈希码后检索中达到了现有最佳的表现。
为实现上述目的，按照本发明的第二方面，提供了一种多标签图像的哈希码生成***，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行第一方面所述的多标签图像的哈希码生成方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
本发明首先结合卷积神经网络(CNN)和图卷积网络(GCN)分别生成图像表示和标签共现嵌入，然后采用MFB融合这两个模态矢量，最后通过基于柯西分布的损失函数学习哈希模型。通过标签集合中对象的共现概率探索对象之间的相互依赖性，并采用基于注意力机制的多模态双线性(MFB)合并共现特征与图像特征，提升哈希码度量数据间对象关系的依赖性的能力，进而提升哈希码的性能。使用共现关系和MFB不仅可以提高哈希码的准确性，而且也加速了哈希学习。该方法在公共数据集上进行的广泛实验表明：该方法可以达到现有的最新的检索结果；我们使用共现关系和MFB不仅可以提高哈希码的准确性，达到当前最好的表现，同时在此基础上加速了哈希学习。
附图说明
图1为本发明提供的一种多标签图像的哈希码生成方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明提供了一种多标签图像的哈希码生成方法，该方法包括以下步骤：
步骤S1.统计多标签图像集合中所有标签，将每种标签映射为一个标签词向量，得到多标签图像集合对应的标签词向量矩阵，计算任意两种标签之间的共现概率，得到多标签图像集合对应的标签共现相关性矩阵。
优选地，步骤S1中，以条件概率的形式对标签相关性依赖性进行建模，即
Figure BDA0002762728350000061
其中，Tj表示多标签图像集中标签rj出现的次数，Tij(等于Tji)表示两个对象同时出现的次数。
例如，图1所示的多标签图像包含四种标签{人，足球，球场，球门}，将每种标签映射为一个标签词向量，得到四个标签词向量[00]、[01]、[10]、[11]。
为了规避罕见样本造成的长尾现象，使用阈值τ对矩阵A进行二值化：
Figure BDA0002762728350000062
Figure BDA0002762728350000063
其中，
Figure BDA0002762728350000064
是二进制相关矩阵，q∈(0，1)。
步骤S2.采用卷积神经网络提取多标签图像集合中各个多标签图像的图像特征向量，采取图卷积网络对标签词向量矩阵和标签共现相关性矩阵进行卷积，得到多标签图像集合对应的标签共现嵌入特征向量。
优选地，步骤S2中，卷积神经网络采用预训练的ResNet-101。
本实施例中，通过预训练深度模型，对目标图像数据进行采样，获得了一个2048×14×14维的特征向量，之后引入全局最大池化层生成图像水平的特征
Figure BDA0002762728350000071
其中，θ表示CNN的参数且
Figure BDA0002762728350000072
通过图卷积函数Fgcn完成对特征的提取，将标签集中的单词描述转换为向量V(r)，其中，Vc∈RR×D(V(r))表示第C层的输入D(V(r))代表V(r)的维数。关系的输入为相关矩阵A∈RR×R，更新后的节点特征表示为Vc+1∈RR×D(V(r))′。每个GCN层传播功能描述为：
Figure BDA0002762728350000073
其中，
Figure BDA0002762728350000074
本实施例中使用了两个GCN层，即E(r)＝Vc+2，经过实验，两层结构达到了提取特征的目的同时保证训练速度。
步骤S3.采用基于注意力机制的多模态双线性分别融合各个图像特征向量和标签共现嵌入特征向量，得到各个多标签图像的融合特征向量。
优选地，步骤S3中，对于第i个对象的特征，具有两个低秩矩阵的多模态双线性模型如下：
Figure BDA0002762728350000075
其中，
Figure BDA0002762728350000076
是图像特征向量，E(r)是标签共现嵌入特征向量，k是分解矩阵的潜在维数，Ui是可训练参数，
Figure BDA0002762728350000077
Vi是可训练参数，
Figure BDA0002762728350000078
是维度为k的all-one向量，
Figure BDA00027627283500000710
是Hadmard乘积，即两个向量的逐元素相乘，D(·)表示取维数函数。
采用两个平行的k维fc层分别完成此变换，相乘过后引入池化，得到：
Figure BDA0002762728350000079
其中，
Figure BDA0002762728350000081
和函数
Figure BDA0002762728350000082
表示使用尺寸为
Figure BDA0002762728350000083
的一维非重叠窗口对*进行求和合并。
步骤S4.将各个多标签图像的融合特征向量分别输入哈希激活层，生成对应的哈希码。
优选地，步骤S4中，哈希激活层之前有一个全连接层，融合特征向量先进入该全连接层，再进入哈希激活层，所述全连接层和哈希激活层的节点个数相同。
通过损失函数对深度网络进行拟合，最后两层分别为全连接层和全连接哈希层，将得到的矩阵Z作为输入，得到预测的哈希码，获得最终的哈希算法模型。
步骤S5.基于柯西分布，计算整个多标签图像集合生成所有哈希码的总损失值。
优选地，步骤S5中，总损失函数
L＝λLcce+(1-λ)Lcq
柯西交叉熵误差
Figure BDA0002762728350000084
柯西量化误差
Figure BDA0002762728350000085
其中，λ是柯西交叉熵误差的权重，
Figure BDA0002762728350000086
是训练样本对{(xi，xj，sij)}的权重，sij是xi和xj的相似关系，sij＝1表明相似，sij＝0表明相似，S是相似关系的集合，Ss＝{sij∈S：sij＝1}是相似对集合，Sd＝{sij∈S：sij＝0}是不相似对合集，|·|是取集合元素个数的运算符，hi，hj∈{-1，1}K分别表示当全连接哈希层的输入为xi，xj时xi，xj对应的输出，δ(hi，hj)是hi，hj的汉明距离，γ是柯西分布参数，N是输入的大小，K是哈希码长度。
优选地，汉明距离的计算方式如下：
Figure BDA0002762728350000091
步骤S6.根据总损失值调整卷积神经网络、图卷积网络、基于注意力机制的多模态双线性和哈希激活层的参数，使得总损失值最小化。
本实施例采用梯度下降优化方法调整各模块的参数，使得总损失值最小化。
步骤S7.重复步骤S2-S6，直至满足停止条件，得到训练好的多标签图像的哈希码生成模型和该多标签图像集合的哈希码库。
优选地，步骤S7中，采用汉明距离小于设定阈值作为停止条件，本实施例中，设定阈值为2。也可使用达到指定迭代次数作为停止条件。
优选地，该方法应用于图像多标签检索。
例如，应用于云相册检索时，多标签图像集中包含用户的所有相片，每个相片中可包括多个标签，所述标签为图像中包含的对象种类，例如，人、狗、桌子等等。输入要查询的图片，经过卷积神经网络提取到图片特征向量后，与多标签图像集合对应的标签共现嵌入特征向量共同输入MFB中，经过哈希激活层后得到哈希码，与哈希码库中哈希码进行比对，将相似度处于设定阈值范围的近似图片作为检索结果返回，可以用户云相册中相似的图片，确定用户的拍照喜好，或确定用户的相册中是否含有极为相似图片，以删除节省云存储空间。
例如，应用于商品图像检索时，多标签图像集中包含该商品数据库中所有商品图片，每个相片中可包括多个标签，所述标签为图像中包含的对象种类，例如，某品牌包、某品牌汽车、某品牌电脑等等。输入要查询的商品图片，经过卷积神经网络提取到图片特征向量后，与多标签图像集合对应的标签共现嵌入特征向量共同输入MFB中，经过哈希激活层后得到哈希码，与哈希码库中哈希码进行比对，将相似度处于设定阈值范围的近似图片作为检索结果返回，该图片则对应该商品，实现以图检索商品的目的。
本发明提供了一种多标签图像的哈希码生成***，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述多标签图像的哈希码生成方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多标签图像的哈希码生成方法，其特征在于，该方法包括以下步骤：
S1.统计多标签图像集合中所有标签，将每种标签映射为一个标签词向量，得到多标签图像集合对应的标签词向量矩阵，计算任意两种标签之间的共现概率，得到多标签图像集合对应的标签共现相关性矩阵；
S2.采用卷积神经网络提取多标签图像集合中各个多标签图像的图像特征向量，采取图卷积网络对标签词向量矩阵和标签共现相关性矩阵进行卷积，得到多标签图像集合对应的标签共现嵌入特征向量；
S3.采用基于注意力机制的多模态双线性分别融合各个图像特征向量和标签共现嵌入特征向量，得到各个多标签图像的融合特征向量；
S4.将各个多标签图像的融合特征向量分别输入哈希激活层，生成对应的哈希码；
S5.基于柯西分布，计算整个多标签图像集合生成所有哈希码的总损失值；
S6.根据总损失值调整卷积神经网络、图卷积网络、基于注意力机制的多模态双线性和哈希激活层的参数，使得总损失值最小化；
S7.重复步骤S2-S6，直至满足停止条件，得到训练好的多标签图像的哈希码生成模型和该多标签图像集合的哈希码库。
2.如权利要求1所述的方法，其特征在于，步骤S1中，以条件概率的形式对标签相关性依赖性进行建模，即
Figure FDA0002762728340000011
其中，Tj表示多标签图像集中标签rj出现的次数，Tij表示两个对象同时出现的次数。
3.如权利要求1或2所述的方法，其特征在于，步骤S2中，卷积神经网络采用预训练的ResNet-101。
4.如权利要求1至3任一项所述的方法，其特征在于，步骤S3中，对于第i个标签，i＝1，2，…，R，R为标签词向量矩阵中标签词向量个数，多模态双线性模型如下：
Figure FDA0002762728340000021
其中，zi是第i个标签特征对应的融合特征，
Figure FDA0002762728340000022
是图像特征向量，E是标签共现嵌入特征向量，k是分解矩阵的潜在维数，Ui、Vi是第i个标签特征对应的可训练参数，
Figure FDA0002762728340000023
Figure FDA0002762728340000024
Figure FDA0002762728340000025
是维度为k的all-one向量，°是Hadmard乘积，即两个向量的逐元素相乘，函数D(·)表示取维数。
5.如权利要求1至4任一项所述的方法，其特征在于，步骤S4中，哈希激活层之前有一个全连接层，融合特征向量先进入该全连接层，再进入哈希激活层，所述全连接层和哈希激活层的节点个数相同。
6.如权利要求5所述的方法，其特征在于，步骤S5中，总损失函数
L＝2Lcce+(1-λ)Lcq
柯西交叉熵误差
Figure FDA0002762728340000026
柯西量化误差
Figure FDA0002762728340000027
其中，λ是柯西交叉熵误差的权重，
Figure FDA0002762728340000028
是训练样本对{(xi，xj，sij)}的权重，sij是多标签图像xi和xj的相似关系，sij＝1表明相似，sij＝0表明不相似，S是相似关系的集合，Ss＝{sij∈S：sij＝1}是相似对集合，Sd＝{sij∈S：sij＝0}是不相似对合集，|·|是取集合元素个数的运算符，hi，hj∈{-1，1}K分别表示输入为xi，xj时全连接哈希层的对应的输出，δ(hi，hj)是hi，hj的汉明距离，γ是柯西分布参数，N是多标签图像集合的多标签图像数量，K是哈希码长度。
7.如权利要求1至6任一项所述的方法，其特征在于，步骤S7中，采用汉明距离小于设定阈值作为停止条件。
8.如权利要求6所述的方法，其特征在于，汉明距离的计算方式如下：
Figure FDA0002762728340000031
9.如权利要求1至8任一项所述的方法，其特征在于，该方法应用于图像多标签检索或者图像多标签分类。
10.一种多标签图像的哈希码生成***，其特征在于，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至9任一项所述的多标签图像的哈希码生成方法。
CN202011226768.2A 2020-11-05 2020-11-05 一种多标签图像的哈希码生成方法和*** Pending CN112395438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011226768.2A CN112395438A (zh) 2020-11-05 2020-11-05 一种多标签图像的哈希码生成方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011226768.2A CN112395438A (zh) 2020-11-05 2020-11-05 一种多标签图像的哈希码生成方法和***

Publications (1)

Publication Number Publication Date
CN112395438A true CN112395438A (zh) 2021-02-23

Family

ID=74598242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011226768.2A Pending CN112395438A (zh) 2020-11-05 2020-11-05 一种多标签图像的哈希码生成方法和***

Country Status (1)

Country Link
CN (1) CN112395438A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800260A (zh) * 2021-04-09 2021-05-14 北京邮电大学 基于深度哈希能量模型的多标签图像检索方法和装置
CN113177132A (zh) * 2021-06-30 2021-07-27 中国海洋大学 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN113239214A (zh) * 2021-05-19 2021-08-10 中国科学院自动化研究所 基于有监督对比的跨模态检索方法、***及设备
CN113449775A (zh) * 2021-06-04 2021-09-28 广州大学 一种基于类激活映射机制的多标签图像分类方法和***
CN113704522A (zh) * 2021-10-28 2021-11-26 山东建筑大学 基于人工智能的目标图像快速检索方法及***
CN113886607A (zh) * 2021-10-14 2022-01-04 哈尔滨工业大学（深圳） 基于图神经网络的哈希检索方法、装置、终端及存储介质
CN114463583A (zh) * 2022-01-26 2022-05-10 南通大学 一种用于肺炎ct图像分类的深度哈希方法
CN114596456A (zh) * 2022-05-10 2022-06-07 四川大学 一种基于聚集哈希学习的图像集分类方法
CN115994237A (zh) * 2023-01-05 2023-04-21 北京东方通网信科技有限公司 一种用于多标签图像检索的标签表征构建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992611A (zh) * 2017-12-15 2018-05-04 清华大学 基于柯西分布哈希方法的高维数据检索方法与***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992611A (zh) * 2017-12-15 2018-05-04 清华大学 基于柯西分布哈希方法的高维数据检索方法与***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANZHAO XIE 等: "Label-Attended Hashing for Multi-Label Image Retrieval", PROCEEDINGS OF THE TWENTY-NINTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE (IJCAI-20), pages 955 - 961 *
YANZHAO XIE等: "Label-Attended Hashing for Multi-Label Image Retrieval", 《PROCEEDINGS OF THE TWENTY-NINTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE (IJCAI-20)》, pages 955 - 961 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800260A (zh) * 2021-04-09 2021-05-14 北京邮电大学 基于深度哈希能量模型的多标签图像检索方法和装置
CN113239214A (zh) * 2021-05-19 2021-08-10 中国科学院自动化研究所 基于有监督对比的跨模态检索方法、***及设备
CN113449775A (zh) * 2021-06-04 2021-09-28 广州大学 一种基于类激活映射机制的多标签图像分类方法和***
CN113449775B (zh) * 2021-06-04 2023-02-24 广州大学 一种基于类激活映射机制的多标签图像分类方法和***
CN113177132A (zh) * 2021-06-30 2021-07-27 中国海洋大学 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN113177132B (zh) * 2021-06-30 2021-09-14 中国海洋大学 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN113886607A (zh) * 2021-10-14 2022-01-04 哈尔滨工业大学（深圳） 基于图神经网络的哈希检索方法、装置、终端及存储介质
CN113886607B (zh) * 2021-10-14 2022-07-12 哈尔滨工业大学（深圳） 基于图神经网络的哈希检索方法、装置、终端及存储介质
CN113704522B (zh) * 2021-10-28 2022-02-18 山东建筑大学 基于人工智能的目标图像快速检索方法及***
CN113704522A (zh) * 2021-10-28 2021-11-26 山东建筑大学 基于人工智能的目标图像快速检索方法及***
CN114463583A (zh) * 2022-01-26 2022-05-10 南通大学 一种用于肺炎ct图像分类的深度哈希方法
CN114463583B (zh) * 2022-01-26 2024-03-19 南通大学 一种用于肺炎ct图像分类的深度哈希方法
CN114596456A (zh) * 2022-05-10 2022-06-07 四川大学 一种基于聚集哈希学习的图像集分类方法
CN114596456B (zh) * 2022-05-10 2022-07-22 四川大学 一种基于聚集哈希学习的图像集分类方法
CN115994237A (zh) * 2023-01-05 2023-04-21 北京东方通网信科技有限公司 一种用于多标签图像检索的标签表征构建方法

Similar Documents

Publication Publication Date Title
CN112395438A (zh) 一种多标签图像的哈希码生成方法和***
JP7360497B2 (ja) クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム
CN112119411A (zh) 用于统合不同数据模态的统计模型的***和方法
CN112819023B (zh) 样本集的获取方法、装置、计算机设备和存储介质
CN113177141B (zh) 基于语义嵌入软相似性的多标签视频哈希检索方法及设备
CN111382868A (zh) 神经网络结构搜索方法和神经网络结构搜索装置
CN114358188A (zh) 特征提取模型处理、样本检索方法、装置和计算机设备
CN116049459B (zh) 跨模态互检索的方法、装置、服务器及存储介质
CN114612767B (zh) 一种基于场景图的图像理解与表达方法、***与存储介质
CN116703531B (zh) 物品数据处理方法、装置、计算机设备和存储介质
CN116932722A (zh) 一种基于跨模态数据融合的医学视觉问答方法及***
CN112836502A (zh) 一种金融领域事件隐式因果关系抽取方法
CN115438160A (zh) 一种基于深度学习的问答方法、装置及电子设备
CN115599984A (zh) 一种检索方法
CN112800253B (zh) 数据聚类方法、相关设备及存储介质
CN115640418B (zh) 基于残差语义一致性跨域多视角目标网站检索方法及装置
Hoxha et al. Retrieving images with generated textual descriptions
CN114741487B (zh) 基于图文语义嵌入的图文检索方法及***
CN116310624A (zh) 用于图像的模型训练方法以及无监督图像哈希检索方法
CN110019815B (zh) 利用knn的自然语言处理
CN117938951B (zh) 信息推送方法、装置、计算机设备和存储介质
CN117252665B (zh) 业务推荐方法、装置、电子设备及存储介质
Zhang et al. UHD Aerial Photograph Categorization by Leveraging Deep Multiattribute Matrix Factorization
Li et al. Triplet Deep Hashing with Joint Supervised Loss Based on Deep Neural Networks
CN116306629A (zh) 词推荐模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination