CN110472090A - 基于语义标签的图像检索方法以及相关装置、存储介质 - Google Patents

基于语义标签的图像检索方法以及相关装置、存储介质 Download PDF

Info

Publication number
CN110472090A
CN110472090A CN201910770152.2A CN201910770152A CN110472090A CN 110472090 A CN110472090 A CN 110472090A CN 201910770152 A CN201910770152 A CN 201910770152A CN 110472090 A CN110472090 A CN 110472090A
Authority
CN
China
Prior art keywords
label
image
node
preset
term vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910770152.2A
Other languages
English (en)
Other versions
CN110472090B (zh
Inventor
刘龙坡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910770152.2A priority Critical patent/CN110472090B/zh
Publication of CN110472090A publication Critical patent/CN110472090A/zh
Application granted granted Critical
Publication of CN110472090B publication Critical patent/CN110472090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于语义标签的图像检索方法以及相关装置、存储介质，通过对于图像分类模型的训练，以对检索数据库里的所有图像进行标签关联，当用户输入检索信息时，根据检索信息指示的标签与图像的标签进行相似度比较即可得到检索需求的图像，从而实现了基于语义标签的图像检索过程，该方法可以提高图像检索过程的高效性和准确性，并且由于标签的可操作性，进一步提高了图像检索过程的便利性与灵活性。

Description

基于语义标签的图像检索方法以及相关装置、存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于语义标签的图像检索方法以及相关装置、存储介质。
背景技术
计算机视觉技术(computer vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。
基于计算机视觉技术可以进行图像检索，当前图像检索***主要是利用图像的基础特征来对图像进行相似度计算，比如利用在ImageNet上预训练好的模型resnet提取数据库中所有图像特征，再对待检索的图像提取特征，再对两者进行相似度计算，返回相似度高的图像。
但是，这种类型的方法在图像语义上的检索上存在一定的缺陷，比如用户想要检索蛋糕类的图像，需要先找到一张蛋糕图像提取特征，在大量样本的场景下，该过程不易进行，且影响图像检索过程的便利性以及灵活性。
发明内容
有鉴于此，本申请第一方面提供一种基于语义标签的图像检索方法，可应用于图像检索***或程序过程中，具体包括：确定第一图像与N个标签的对应关系，所述N个标签用于指示所述第一图像的显示内容，N为正整数；
通过第一预设算法提取所述第一图像的特征信息，以基于预设维度生成特征向量，所述第一预设算法包括卷积神经网络；
根据第二预设算法将所述N个标签转换为N个词向量；
根据所述特征向量与所述N个词向量的对应关系对预设模型进行训练，以得到图像分类模型，所述图像分类模型用于根据第二图像生成相应的M个标签，M≤N，M为正整数；
若所述M个标签与R个标签的相似度满足预设条件，则确定所述第二图像为检索信息对应的检索结果，所述R个标签为所述检索信息指示的标签，R为正整数。
优选的，在本申请一些可能的实现方式中，所述根据所述特征向量与所述N个词向量的对应关系对预设模型进行训练，以得到图像分类模型，包括：
根据所述N个词向量确定A个节点，以构建领接矩阵，所述领接矩阵用于指示所述A个节点中任意两个节点的关联关系，A≤N，A为正整数；
根据所述A个节点中任意两个节点的关联关系确定网络拓扑结构；
通过第二预设算法对所述网络拓扑结构进行训练，以得到图像分类模型，所述第二预设算法用于指示所述网络拓扑结构中所述A个节点进行特征向量交换，所述第二预设算法包括图卷积神经网络。
优选的，在本申请一些可能的实现方式中，所述N个词向量包括第一标签和第二标签，所述根据所述N个词向量确定A个节点，以构建领接矩阵，包括：
根据预设规则对所述N个词向量进行处理，以构建目标矩阵，所述预设规则基于所述N个词向量的共现关系设定，所述目标矩阵用于指示所述第一标签和所述第二标签共同出现的比率；
若所述目标矩阵满足预设条件，则将所述N个词向量转换为所述A个节点，以使得所述目标矩阵转换为所述领接矩阵，所述预设条件基于所述第一标签和所述第二标签共同出现的比率设定。
优选的，在本申请一些可能的实现方式中，所述根据所述A个节点中任意两个节点的关联关系确定网络拓扑结构，包括：
确定所述A个节点中的第一节点；
根据判断规则分别计算所述第一节点与所述A个节点中除所述第一节点的节点是否存在连接边，以得到判断结果；
根据所述A个节点与所述判断结果的对应关系确定网络拓扑结构。
优选的，在本申请一些可能的实现方式中，所述根据第二预设算法将所述N个标签转换为N个词向量，包括：
获取所述N个标签中每个标签的词汇量；
若所述词汇量大于预设阈值，则计算所述词汇量的平均值；
根据根据第二预设算法将所述词汇量的平均值转换为N个词向量。
优选的，在本申请一些可能的实现方式中，所述根据第二图像生成相应的M个标签，包括：
根据所述图像分类模型判断所述N个标签对应于所述第二图像的概率；
确定所述N个标签中概率满足分类条件的M个标签。
优选的，在本申请一些可能的实现方式中，所述根据所述图像分类模型判断所述N个标签对应于所述第二图像的概率，包括：
根据所述图像分类模型输出所述第二图像的特征向量；
根据所述第二图像的特征向量分别与所述N个标签对应的节点向量通过sigmoid函数进行计算，以得到标签参数；
将所述标签参数进行归一化处理，以得到所述N个标签对应于所述第二图像的概率。
本申请第二方面提供另一种图像检索的装置，包括：确定单元，用于确定第一图像与N个标签的对应关系，所述N个标签用于指示所述第一图像的显示内容，N为正整数；
提取单元，用于通过第一预设算法提取所述第一图像的特征信息，以基于预设维度生成特征向量，所述第一预设算法包括卷积神经网络；
转换单元，用于根据第二预设算法将所述N个标签转换为N个词向量；
训练单元，用于根据所述特征向量与所述N个词向量的对应关系对预设模型进行训练，以得到图像分类模型，所述图像分类模型用于根据第二图像生成相应的M个标签，M≤N，M为正整数；
检索单元，用于若所述M个标签与R个标签的相似度满足预设条件，则确定所述第二图像为检索信息对应的检索结果，所述R个标签为所述检索信息指示的标签，R为正整数。
优选的，在本申请一些可能的实现方式中，
所述训练单元，具体用于根据所述N个词向量确定A个节点，以构建领接矩阵，所述领接矩阵用于指示所述A个节点中任意两个节点的关联关系，A≤N，A为正整数；
所述训练单元，具体用于根据所述A个节点中任意两个节点的关联关系确定网络拓扑结构；
所述训练单元，具体用于通过第二预设算法对所述网络拓扑结构进行训练，以得到图像分类模型，所述第二预设算法用于指示所述网络拓扑结构中所述A个节点进行特征向量交换，所述第二预设算法包括图卷积神经网络。
优选的，在本申请一些可能的实现方式中，所述N个词向量包括第一标签和第二标签，
所述训练单元，具体用于根据预设规则对所述N个词向量进行处理，以构建目标矩阵，所述预设规则基于所述N个词向量的共现关系设定，所述目标矩阵用于指示所述第一标签和所述第二标签共同出现的比率；
所述训练单元，具体用于若所述目标矩阵满足预设条件，则将所述N个词向量转换为所述A个节点，以使得所述目标矩阵转换为所述领接矩阵，所述预设条件基于所述第一标签和所述第二标签共同出现的比率设定。
优选的，在本申请一些可能的实现方式中，
所述训练单元，具体用于确定所述A个节点中的第一节点；
所述训练单元，具体用于根据判断规则分别计算所述第一节点与所述A个节点中除所述第一节点的节点是否存在连接边，以得到判断结果；
所述训练单元，具体用于根据所述A个节点与所述判断结果的对应关系确定网络拓扑结构。
优选的，在本申请一些可能的实现方式中，
所述转换单元，具体用于获取所述N个标签中每个标签的词汇量；
所述转换单元，具体用于若所述词汇量大于预设阈值，则计算所述词汇量的平均值；
所述转换单元，具体用于根据根据第二预设算法将所述词汇量的平均值转换为N个词向量。
优选的，在本申请一些可能的实现方式中，
所述训练单元，用于根据所述图像分类模型判断所述N个标签对应于所述第二图像的概率；
所述训练单元，用于确定所述N个标签中概率满足分类条件的M个标签。
优选的，在本申请一些可能的实现方式中，
所述训练单元，用于根据所述图像分类模型输出所述第二图像的特征向量；
所述训练单元，用于根据所述第二图像的特征向量分别与所述N个标签对应的节点向量通过sigmoid函数进行计算，以得到标签参数；
所述训练单元，用于将所述标签参数进行归一化处理，以得到所述N个标签对应于所述第二图像的概率。
本申请第三方面提供一种计算机设备，包括：存储器、处理器以及总线***；所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的基于语义标签的图像检索方法。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的基于语义标签的图像检索方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
通过确定第一图像与多个标签的对应关系，然后使用卷积神经网络对第一图像的特征信息进行提取，以基于预设维度生成特征向量，再根据第二预设算法将所述多个标签转换为多个词向量；根据所述特征向量与所述多个词向量的对应关系对预设模型进行训练，以得到图像分类模型，以对检索数据库里的所有图像进行标签关联，当用户输入检索信息时，根据检索信息指示的标签与图像的标签进行相似度比较即可得到检索需求的图像，从而实现了基于语义标签的图像检索过程，该方法可以提高图像检索过程的高效性和准确性，并且由于标签的可操作性，进一步提高了图像检索过程的便利性与灵活性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为图像检索***运行的网络架构图；
图2为一种图像检索流程框架图；
图3为本申请实施例提供的一种基于语义标签的图像检索方法的流程图；
图4为本申请实施例提供的另一种基于语义标签的图像检索方法的流程图；
图5为本申请实施例提供的一种图像检索的界面显示示意图；
图6为本申请实施例提供的图像检索装置的结构示意图；
图7为本申请实施例提供的另一种图像检索装置的结构示意图。
具体实施方式
本申请实施例提供了一种基于语义标签的图像检索方法以及相关装置、存储介质，可以应用于图像检索的过程中，具体通过确定第一图像与多个标签的对应关系，然后使用卷积神经网络对第一图像的特征信息进行提取，以基于预设维度生成特征向量，再根据第二预设算法将所述多个标签转换为多个词向量；根据所述特征向量与所述多个词向量的对应关系对预设模型进行训练，以得到图像分类模型，以对检索数据库里的所有图像进行标签关联，当用户输入检索信息时，根据检索信息指示的标签与图像的标签进行相似度比较即可得到检索需求的图像，从而实现了基于语义标签的图像检索过程，该方法可以提高图像检索过程的高效性和准确性，并且由于标签的可操作性，进一步提高了图像检索过程的便利性与灵活性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本申请提供的图像检索方法可以应用于可应用于图像检索***的运行过程中，具体的，图像检索***可以运行于如图1所示的网络架构中，如图1所示，是图像检索***运行的网络架构图，如图可知，图像检索***可以通过多个终端获取检索需求，通过图像数据库获取图像数据，根据预设的规则对上述图像进行分析训练，生成对应的多个标签，可以理解的是，图1中示出了五个终端，在实际场景中可以有更多或更少的终端设备参与到实验测试中，具体数量因实际场景而定，此处不做限定；另外，图1中示出了一个图像数据库，但在实际场景中，也可以有多个图像数据库的参与，特别是在多应用图像数据交互的场景中，具体图像数据库数量因实际场景而定。
可以理解的是，上述图像检索***可以运行于个人移动终端，也可以运行于服务器，还可以作为运行于第三方设备以提供客户端的图像检索服务，以得出检索报告；具体的图像检索***可以是以一种程序的形式在上述设备中运行，也可以作为上述设备中的***部件进行运行，还可以作为云端服务程序的一种，具体运作模式因实际场景而定，此处不做限定。
计算机视觉技术(computer vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。
基于计算机视觉技术可以进行图像检索，当前图像检索***主要是利用图像的基础特征来对图像进行相似度计算，比如利用在ImageNet上预训练好的模型resnet提取数据库中所有图像特征，再对待检索的图像提取特征，再对两者进行相似度计算，返回相似度高的图像。
但是，这种类型的方法在图像语义上的检索上存在一定的缺陷，比如用户想要检索蛋糕类的图像，需要先找到一张蛋糕图像提取特征，在大量样本的场景下，该过程不易进行，且影响图像检索过程的便利性以及灵活性。
为了解决上述问题，本申请提出了一种基于语义标签的图像检索方法，该方法应用于图2所示的图像检索流程框架，如图2所示，是一种图像检索流程框架图，图中用户通过输入检索文本，得到多个标签；图像数据库侧通过将数据库中的图像输入图像检索***，图像检索***通过本申请提供的模型训练方法使得数据库中的图像都生成对应的多个标签，通过检索文本生成的标签与模型训练所得的标签进行相似性计算，可以得到相应的检索结果，实现了基于语义标签的图像检索过程。
可以理解的是，图中示出了三个标签，在实际场景中，可以有更多或更少的标签数，具体数量因实际场景而定，此处不做限定。
结合上述流程框架，下面将对本申请中基于语义标签的图像检索方法进行介绍，请参阅图3，图3为本申请实施例提供的一种基于语义标签的图像检索方法的流程图，本申请实施例至少包括以下步骤：
301、确定第一图像与N个标签的对应关系.
本实施例中，所述N个标签用于指示所述第一图像的显示内容，N为正整数。第一图像可以是图像数据库中的任意一个图像，N个标签可以是根据第一图像的内容或引申内容设定的一系列的标签，第一图像与N个标签的对应关系即第一图像内容所指示的多个标签的集合。
302、通过第一预设算法提取所述第一图像的特征信息，以基于预设维度生成特征向量。
本实施例中，所述第一预设算法基于神经网络算法设定，可以包括卷积神经网络；例如：利用在ImageNet上预训练好的模型resnet50卷积网络对图像图像数据集进行特征提取，得到2048维的特征向量。
可以理解的是，预设的维度可以根据用户的相关需求设定，也可以根据图像检索***的历史记录中预设维度的设定范围设定，具体方法因实际场景而定。
303、根据第二预设算法将所述N个标签转换为N个词向量；
本实施例中，第二预设算法用于将N个标签向量化，这样标签与标签之间就可以定量的去度量他们之间的关系，挖掘标签之间的联系。
在一种可能的场景中，可以通过word2vec将所述N个标签转换为N个词向量作为标签的特征表示。
可以理解的是，若标签中包含多个词，则可以将标签中的多个词的词向量平均，然后在记为对应标签的词向量进行接下来的计算过程。
304、根据所述特征向量与所述N个词向量的对应关系对预设模型进行训练，以得到图像分类模型。
本实施例中，所述图像分类模型用于根据第二图像生成相应的M个标签，M≤N，M为正整数。
可以理解的是，为了将图像数据库中的所有图像均确定相应的标签，可以根据第一图像的数据进行训练，也可以选取多个图像重复上述步骤301-304的过程，得到特征向量与词向量的对应关系，以输入预设的模型进行训练，并进一步提高准确性。
可选的，特征向量与所述N个词向量对应关系的确定过程可以是基于特征向量的分块化处理，即根据所述N个词向量确定A个节点，以构建领接矩阵，所述领接矩阵用于指示所述A个节点中任意两个节点的关联关系，A≤N，A为正整数；然后根据所述A个节点中任意两个节点的关联关系确定网络拓扑结构；通过第二预设算法对所述网络拓扑结构进行训练，以得到图像分类模型，所述第二预设算法用于指示所述网络拓扑结构中所述A个节点进行特征向量交换，所述第二预设算法包括图卷积神经网络。
其中，根据所述N个词向量确定A个节点的过程可以通过根据预设规则对所述N个词向量进行处理，以构建目标矩阵，所述预设规则基于所述N个词向量的共现关系设定，所述目标矩阵用于指示所述第一标签和所述第二标签共同出现的比率；若所述目标矩阵满足预设条件，则将所述N个词向量转换为所述A个节点，以使得所述目标矩阵转换为所述领接矩阵，所述预设条件基于所述第一标签和所述第二标签共同出现的比率设定，例如对于标签i，j计算m(i，j)＝p(i|j)＝nij/nj，nij为标签i，j共同出现的次数，nj为标签j出现的次数。
305、若所述M个标签与R个标签的相似度满足预设条件，则确定所述第二图像为检索信息对应的检索结果。
本实施例中，所述R个标签为所述检索信息指示的标签，R为正整数。
可以理解的是，检索信息为用户输入的相关文本信息，可以通过该文本信息确定相应的R个标签，若所述M个标签与R个标签的相似度满足预设条件，则可以确定第二图像为检索信息对应的检索结果。其中，第二图像可以是与检索信息对应的标签相似度最高的图像，例如第二图像的相似度达到90％；也可以是与检索信息对应的标签相似度大于一定阈值的图像，例如，相似度大于80％的图像列为检索结果；具体的，检索过程输出的可以是一张相似度最高的图像，也可以是多个具有相似性的图像的集合，并按一定的顺序进行排序，以便于用户进行选择。
结合上述实施例可知，通过确定第一图像与多个标签的对应关系，然后使用卷积神经网络对第一图像的特征信息进行提取，以基于预设维度生成特征向量，再根据第二预设算法将所述多个标签转换为多个词向量；根据所述特征向量与所述多个词向量的对应关系对预设模型进行训练，以得到图像分类模型，以对检索数据库里的所有图像进行标签关联，当用户输入检索信息时，根据检索信息指示的标签与图像的标签进行相似度比较即可得到检索需求的图像，从而实现了基于语义标签的图像检索过程，该方法可以提高图像检索过程的高效性和准确性，并且由于标签的可操作性，进一步提高了图像检索过程的便利性与灵活性。
在一种可能的场景中，对于图像的特征向量与多个标签词向量的关联过程可以是基于词向量的连接边的判定而生成的；下面，对该场景结合附图进行说明，如图4所示，图4为本申请实施例提供的另一种基于语义标签的图像检索方法的流程图，本申请实施例至少包括以下步骤：
401、确定第一图像与N个标签的对应关系.
本实施例中，所述N个标签用于指示所述第一图像的显示内容，N为正整数。第一图像可以是图像数据库中的任意一个图像，N个标签可以是根据第一图像的内容或引申内容设定的一系列的标签，第一图像与N个标签的对应关系即第一图像内容所指示的多个标签的集合。
402、通过第一预设算法提取所述第一图像的特征信息，以基于预设维度生成特征向量。
本实施例中，所述第一预设算法基于神经网络算法设定，可以包括卷积神经网络；例如：利用在ImageNet上预训练好的模型resnet50卷积网络对图像图像数据集进行特征提取，得到2048维的特征向量。
可以理解的是，预设的维度可以根据用户的相关需求设定，也可以根据图像检索***的历史记录中预设维度的设定范围设定，具体方法因实际场景而定。
403、根据第二预设算法将所述N个标签转换为N个词向量；
本实施例中，第二预设算法用于将N个标签向量化，这样标签与标签之间就可以定量的去度量他们之间的关系，挖掘标签之间的联系。
在一种可能的场景中，可以通过word2vec将所述N个标签转换为N个词向量作为标签的特征表示。
可以理解的是，若标签中包含多个词，则可以将标签中的多个词的词向量平均，然后在记为对应标签的词向量进行接下来的计算过程。
404、确定所述N个词向量之间的关联关系，以判断图像特征向量对应的节点是否存在连接边。
本实施例中，确定所述N个词向量之间的关联关系的过程，首先根据预设规则对所述N个词向量进行处理，以构建目标矩阵，所述预设规则基于所述N个词向量的共现关系设定，所述目标矩阵用于指示所述第一标签和所述第二标签共同出现的比率；若所述目标矩阵满足预设条件，则将所述N个词向量转换为所述A个节点，以使得所述目标矩阵转换为所述领接矩阵，所述预设条件基于所述第一标签和所述第二标签共同出现的比率设定。例如：根据训练数据集中标签的共现关系构建n×n矩阵m，其中n为标签个数，其中m(i，j)＝p(i|j)＝nij/nj，nij为标签i，j共同出现的次数，nj为标签j出现的次数。当m(i，j)＞τ，令aij＝1，从而构造得到邻接矩阵A(n，n)，其中A(i，j)＝aij。
然后，确定所述A个节点中的第一节点；根据判断规则分别计算所述第一节点与所述A个节点中除所述第一节点的节点是否存在连接边，以得到判断结果；根据所述A个节点与所述判断结果的对应关系确定网络拓扑结构，可以理解的是对于A个节点中中的每个节点均可以进行上述处理分析，例如：构造网络拓扑结构G＝(V，E)，其中V为节点，即对应于N个标签，E为节点之间的连接边，两个节点之间是否有连接边，根据节点的邻接矩阵A中的元素数值而定，当aij＝1时，节点i和节点j之间存在连接边，否则则不存在连接边。
405、通过图卷积神经网络对模型进行训练，以得到图像分类模型。
本实施例中，通过上述步骤404中构建的网络拓扑结构，再通过训练图卷积神经网络模型来对网络拓扑结构进行训练，训练时，每个节点的特征向量会传播到相邻节点中，因此每个节点可以从相邻的节点向量中吸收信息，而节点信息有文本标签通过word2vec转换学习得到，能够保留一定上的语义相邻信息，因此相邻节点之间在经过网络传输后，依旧能够保持一定的语义相邻信息，经过训练后在保持一定的语义相邻的情况下，得到了图像分类模型。
406、根据图像分类模型对数据库中图像进行标签确定。
本实施例中，标签确定的过程可以是根据所述图像分类模型输出所述第二图像的特征向量；根据所述第二图像的特征向量分别与所述N个标签对应的节点向量通过sigmoid函数进行计算，以得到标签参数；将所述标签参数进行归一化处理，以得到所述N个标签对应于所述第二图像的概率。
具体的，由于每个节点均得到节点向量，为了跟图像特征维度进行匹配，可以设置各个节点的输出维度为预设的2048，则各个节点可以作为分类器wi，节点向量与待分类图像向量x相乘的分数σ(wix)，其中，待分类图像向量x为第一图像对应的图像数据库(包含第二图像)中未设置对应标签的各个图像的图像特征的向量表示，σ为sigmoid函数，将输出分数归一化到[0，1]之间，这个分数则作为该文本内容属于该标签的概率，通过预设概率的设定，例如：概率p＞0.5，则说明包含该标签，若从而实现了多标签分类的目的。
407、根据用户输入的检索信息与相关图像标签的相似性。
本实施例中，检索信息为用户输入的相关文本信息，可以通过该文本信息确定相应的R个标签，若所述M个标签与R个标签的相似度满足预设条件，则可以确定第二图像为检索信息对应的检索结果。
408、确定检索结果。
本实施例中，检索结果为第二图像，可以理解的是，第二图像可以是与检索信息对应的标签相似度最高的图像，例如第二图像的相似度达到90％；也可以是与检索信息对应的标签相似度大于一定阈值的图像，例如，相似度大于80％的图像列为检索结果；具体的，检索过程输出的可以是一张相似度最高的图像，也可以是多个具有相似性的图像的集合，并按一定的顺序进行排序，以便于用户进行选择。
结合上述实施例可知，通过确定第一图像与多个标签的对应关系，然后使用卷积神经网络对第一图像的特征信息进行提取，以基于预设维度生成特征向量，再根据第二预设算法将所述多个标签转换为多个词向量；根据所述特征向量与所述多个词向量的对应关系对预设模型进行训练，以得到图像分类模型，以对检索数据库里的所有图像进行标签关联，当用户输入检索信息时，根据检索信息指示的标签与图像的标签进行相似度比较即可得到检索需求的图像，从而实现了基于语义标签的图像检索过程，该方法可以提高图像检索过程的高效性和准确性，并且由于标签的可操作性，进一步提高了图像检索过程的便利性与灵活性。
在一种可能的显示方式中，可以采用如图5所述的显示方式，图5为本申请实施例提供的一种图像检索的界面显示示意图。该界面可以包括用户输入的标签信息以及输出的结果。当用户需要检索相关图像时，根据用户输入的文本信息生成对应的多个标签，例如：风景、山丘，即可以得到相应的检索图片，若用户需要知晓具体的检索过程，则可以点击详情按钮，可以显示出检索到的图像相似度列表，用户也可以是选择列表中其他的满足自身需求的图像。
可以理解的是，上述图3和图4实施例中对应的步骤中的相关元素均可以显示在该界面中，具体内容应实际场景而定，此处不做限定。
为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关装置。请参阅图6，图6为本申请实施例提供的图像检索装置的结构示意图，图像检索装置600包括：
确定单元601，用于确定第一图像与N个标签的对应关系，所述N个标签用于指示所述第一图像的显示内容，N为正整数；
提取单元602，用于通过第一预设算法提取所述第一图像的特征信息，以基于预设维度生成特征向量，所述第一预设算法包括卷积神经网络；
转换单元603，用于根据第二预设算法将所述N个标签转换为N个词向量；
训练单元604，用于根据所述特征向量与所述N个词向量的对应关系对预设模型进行训练，以得到图像分类模型，所述图像分类模型用于根据第二图像生成相应的M个标签，M≤N，M为正整数；
检索单元605，用于若所述M个标签与R个标签的相似度满足预设条件，则确定所述第二图像为检索信息对应的检索结果，所述R个标签为所述检索信息指示的标签，R为正整数。
优选的，在本申请一些可能的实现方式中，
所述训练单元604，具体用于根据所述N个词向量确定A个节点，以构建领接矩阵，所述领接矩阵用于指示所述A个节点中任意两个节点的关联关系，A≤N，A为正整数；
所述训练单元604，具体用于根据所述A个节点中任意两个节点的关联关系确定网络拓扑结构；
所述训练单元604，具体用于通过第二预设算法对所述网络拓扑结构进行训练，以得到图像分类模型，所述第二预设算法用于指示所述网络拓扑结构中所述A个节点进行特征向量交换，所述第二预设算法包括图卷积神经网络。
优选的，在本申请一些可能的实现方式中，所述N个词向量包括第一标签和第二标签，
所述训练单元604，具体用于根据预设规则对所述N个词向量进行处理，以构建目标矩阵，所述预设规则基于所述N个词向量的共现关系设定，所述目标矩阵用于指示所述第一标签和所述第二标签共同出现的比率；
所述训练单元604，具体用于若所述目标矩阵满足预设条件，则将所述N个词向量转换为所述A个节点，以使得所述目标矩阵转换为所述领接矩阵，所述预设条件基于所述第一标签和所述第二标签共同出现的比率设定。
优选的，在本申请一些可能的实现方式中，
所述训练单元604，具体用于确定所述A个节点中的第一节点；
所述训练单元604，具体用于根据判断规则分别计算所述第一节点与所述A个节点中除所述第一节点的节点是否存在连接边，以得到判断结果；
所述训练单元604，具体用于根据所述A个节点与所述判断结果的对应关系确定网络拓扑结构。
优选的，在本申请一些可能的实现方式中，
所述转换单元603，具体用于获取所述N个标签中每个标签的词汇量；
所述转换单元603，具体用于若所述词汇量大于预设阈值，则计算所述词汇量的平均值；
所述转换单元603，具体用于根据根据第二预设算法将所述词汇量的平均值转换为N个词向量。
优选的，在本申请一些可能的实现方式中，
所述训练单元604，用于根据所述图像分类模型判断所述N个标签对应于所述第二图像的概率；
所述训练单元604，用于确定所述N个标签中概率满足分类条件的M个标签。
优选的，在本申请一些可能的实现方式中，
所述训练单元604，用于根据所述图像分类模型输出所述第二图像的特征向量；
所述训练单元604，用于根据所述第二图像的特征向量分别与所述N个标签对应的节点向量通过sigmoid函数进行计算，以得到标签参数；
所述训练单元604，用于将所述标签参数进行归一化处理，以得到所述N个标签对应于所述第二图像的概率。
通过确定第一图像与多个标签的对应关系，然后使用卷积神经网络对第一图像的特征信息进行提取，以基于预设维度生成特征向量，再根据第二预设算法将所述多个标签转换为多个词向量；根据所述特征向量与所述多个词向量的对应关系对预设模型进行训练，以得到图像分类模型，以对检索数据库里的所有图像进行标签关联，当用户输入检索信息时，根据检索信息指示的标签与图像的标签进行相似度比较即可得到检索需求的图像，从而实现了基于语义标签的图像检索过程，该方法可以提高图像检索过程的高效性和准确性，并且由于标签的可操作性，进一步提高了图像检索过程的便利性与灵活性。
本申请实施例还提供了一种图像检索装置，请参阅图7，图7是本申请实施例提供的另一种图像检索装置的结构示意图，该图像检索装置700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对图像检索装置中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在图像检索装置700上执行存储介质730中的一系列指令操作。
图像检索装置700还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，和/或，一个或一个以上操作***741，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由图像检索装置所执行的步骤可以基于该图7所示的图像检索装置结构。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有图像检索指令，当其在计算机上运行时，使得计算机执行如前述图2至图5所示实施例描述的方法中图像检索装置所执行的步骤。
本申请实施例中还提供一种包括图像检索指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图2至图5所示实施例描述的方法中图像检索装置所执行的步骤。
本申请实施例还提供了一种图像检索***，所述图像检索***可以包含图6所描述实施例中的图像检索装置，或者图7所描述的图像检索装置。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，图像检索装置，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于语义标签的图像检索方法，其特征在于，包括：
确定第一图像与N个标签的对应关系，所述N个标签用于指示所述第一图像的显示内容，N为正整数；
通过第一预设算法提取所述第一图像的特征信息，以基于预设维度生成特征向量，所述第一预设算法包括卷积神经网络；
根据第二预设算法将所述N个标签转换为N个词向量；
根据所述特征向量与所述N个词向量的对应关系对预设模型进行训练，以得到图像分类模型，所述图像分类模型用于根据第二图像生成相应的M个标签，M≤N，M为正整数；
若所述M个标签与R个标签的相似度满足预设条件，则确定所述第二图像为检索信息对应的检索结果，所述R个标签为所述检索信息指示的标签，R为正整数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述特征向量与所述N个词向量的对应关系对预设模型进行训练，以得到图像分类模型，包括：
根据所述N个词向量确定A个节点，以构建领接矩阵，所述领接矩阵用于指示所述A个节点中任意两个节点的关联关系，A≤N，A为正整数；
根据所述A个节点中任意两个节点的关联关系确定网络拓扑结构；
通过第二预设算法对所述网络拓扑结构进行训练，以得到图像分类模型，所述第二预设算法用于指示所述网络拓扑结构中所述A个节点进行特征向量交换，所述第二预设算法包括图卷积神经网络。
3.根据权利要求2所述的方法，其特征在于，所述N个词向量包括第一标签和第二标签，所述根据所述N个词向量确定A个节点，以构建领接矩阵，包括：
根据预设规则对所述N个词向量进行处理，以构建目标矩阵，所述预设规则基于所述N个词向量的共现关系设定，所述目标矩阵用于指示所述第一标签和所述第二标签共同出现的比率；
若所述目标矩阵满足预设条件，则将所述N个词向量转换为所述A个节点，以使得所述目标矩阵转换为所述领接矩阵，所述预设条件基于所述第一标签和所述第二标签共同出现的比率设定。
4.根据权利要求2所述的方法，其特征在于，所述根据所述A个节点中任意两个节点的关联关系确定网络拓扑结构，包括：
确定所述A个节点中的第一节点；
根据判断规则分别计算所述第一节点与所述A个节点中除所述第一节点的节点是否存在连接边，以得到判断结果；
根据所述A个节点与所述判断结果的对应关系确定网络拓扑结构。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据第二预设算法将所述N个标签转换为N个词向量，包括：
获取所述N个标签中每个标签的词汇量；
若所述词汇量大于预设阈值，则计算所述词汇量的平均值；
根据根据第二预设算法将所述词汇量的平均值转换为N个词向量。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述根据第二图像生成相应的M个标签，包括：
根据所述图像分类模型判断所述N个标签对应于所述第二图像的概率；
确定所述N个标签中概率满足分类条件的M个标签。
7.根据权利要求6所述的方法，其特征在于，所述根据所述图像分类模型判断所述N个标签对应于所述第二图像的概率，包括：
根据所述图像分类模型输出所述第二图像的特征向量；
根据所述第二图像的特征向量分别与所述N个标签对应的节点向量通过sigmoid函数进行计算，以得到标签参数；
将所述标签参数进行归一化处理，以得到所述N个标签对应于所述第二图像的概率。
8.一种基于语义标签的图像检索装置，其特征在于，包括：
确定单元，用于确定第一图像与N个标签的对应关系，所述N个标签用于指示所述第一图像的显示内容，N为正整数；
提取单元，用于通过第一预设算法提取所述第一图像的特征信息，以基于预设维度生成特征向量，所述第一预设算法包括卷积神经网络；
转换单元，用于根据第二预设算法将所述N个标签转换为N个词向量；
训练单元，用于根据所述特征向量与所述N个词向量的对应关系对预设模型进行训练，以得到图像分类模型，所述图像分类模型用于根据第二图像生成相应的M个标签，M≤N，M为正整数；
检索单元，用于若所述M个标签与R个标签的相似度满足预设条件，则确定所述第二图像为检索信息对应的检索结果，所述R个标签为所述检索信息指示的标签，R为正整数。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：
所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行权利要求1至7任一项所述的基于语义标签的图像检索方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述权利要求1至7所述的基于语义标签的图像检索方法。
CN201910770152.2A 2019-08-20 2019-08-20 基于语义标签的图像检索方法以及相关装置、存储介质 Active CN110472090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910770152.2A CN110472090B (zh) 2019-08-20 2019-08-20 基于语义标签的图像检索方法以及相关装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910770152.2A CN110472090B (zh) 2019-08-20 2019-08-20 基于语义标签的图像检索方法以及相关装置、存储介质

Publications (2)

Publication Number Publication Date
CN110472090A true CN110472090A (zh) 2019-11-19
CN110472090B CN110472090B (zh) 2023-10-27

Family

ID=68512976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910770152.2A Active CN110472090B (zh) 2019-08-20 2019-08-20 基于语义标签的图像检索方法以及相关装置、存储介质

Country Status (1)

Country Link
CN (1) CN110472090B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291212A (zh) * 2020-01-24 2020-06-16 复旦大学 基于图卷积神经网络的零样本草图图像检索方法和***
CN111368934A (zh) * 2020-03-17 2020-07-03 腾讯科技（深圳）有限公司 图像识别模型训练方法、图像识别方法以及相关装置
CN111597375A (zh) * 2020-05-19 2020-08-28 清华大学 基于相似图片组代表特征向量的图片检索方法及相关设备
CN111613299A (zh) * 2020-06-15 2020-09-01 山东搜搜中医信息科技有限公司 中医数据的多标签分析技术
CN111813967A (zh) * 2020-07-14 2020-10-23 中国科学技术信息研究所 检索方法、装置、计算机设备及存储介质
CN112084359A (zh) * 2020-09-18 2020-12-15 维沃移动通信有限公司 图片检索方法、装置及电子设备
CN112434722A (zh) * 2020-10-23 2021-03-02 浙江智慧视频安防创新中心有限公司 基于类别相似度的标签平滑计算的方法、装置、电子设备及介质
CN112732968A (zh) * 2021-01-12 2021-04-30 特赞（上海）信息科技有限公司 案例素材图像检索方法、装置、设备和存储介质
CN112765387A (zh) * 2020-12-31 2021-05-07 中国工商银行股份有限公司 图像检索方法、图像检索装置和电子设备
CN113204659A (zh) * 2021-03-26 2021-08-03 北京达佳互联信息技术有限公司 多媒体资源的标签分类方法、装置、电子设备及存储介质
CN113343013A (zh) * 2019-12-24 2021-09-03 北京旷视科技有限公司 目标对象的确定方法、装置及电子设备
CN113836933A (zh) * 2021-07-27 2021-12-24 腾讯科技（深圳）有限公司 生成图形标志的方法、装置、电子设备及存储介质
CN113868447A (zh) * 2021-09-27 2021-12-31 新智认知数据服务有限公司 图片检索方法、电子设备及计算机可读存储介质
CN115146103A (zh) * 2022-09-01 2022-10-04 太平金融科技服务(上海)有限公司深圳分公司 图像检索方法、装置、计算机设备、存储介质和程序产品
CN115238081A (zh) * 2022-06-14 2022-10-25 杭州原数科技有限公司 一种文物智能识别方法、***及可读存储介质
CN117194698A (zh) * 2023-11-07 2023-12-08 清华大学 一种基于oar语义知识库的任务处理***和方法
WO2024104438A1 (zh) * 2022-11-16 2024-05-23 中移(苏州)软件技术有限公司 多媒体检索方法、装置、设备、介质及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120209833A1 (en) * 2011-02-11 2012-08-16 Siemens Aktiengesellschaft Methods and devices for data retrieval
CN109271546A (zh) * 2018-07-25 2019-01-25 西北大学 图像检索特征提取模型建立、数据库建立及检索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120209833A1 (en) * 2011-02-11 2012-08-16 Siemens Aktiengesellschaft Methods and devices for data retrieval
CN109271546A (zh) * 2018-07-25 2019-01-25 西北大学 图像检索特征提取模型建立、数据库建立及检索方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343013A (zh) * 2019-12-24 2021-09-03 北京旷视科技有限公司 目标对象的确定方法、装置及电子设备
CN111291212B (zh) * 2020-01-24 2022-10-11 复旦大学 基于图卷积神经网络的零样本草图图像检索方法和***
CN111291212A (zh) * 2020-01-24 2020-06-16 复旦大学 基于图卷积神经网络的零样本草图图像检索方法和***
CN111368934A (zh) * 2020-03-17 2020-07-03 腾讯科技（深圳）有限公司 图像识别模型训练方法、图像识别方法以及相关装置
CN111368934B (zh) * 2020-03-17 2023-09-19 腾讯科技（深圳）有限公司 图像识别模型训练方法、图像识别方法以及相关装置
CN111597375A (zh) * 2020-05-19 2020-08-28 清华大学 基于相似图片组代表特征向量的图片检索方法及相关设备
CN111613299A (zh) * 2020-06-15 2020-09-01 山东搜搜中医信息科技有限公司 中医数据的多标签分析技术
CN111813967A (zh) * 2020-07-14 2020-10-23 中国科学技术信息研究所 检索方法、装置、计算机设备及存储介质
CN111813967B (zh) * 2020-07-14 2024-01-30 中国科学技术信息研究所 检索方法、装置、计算机设备及存储介质
CN112084359A (zh) * 2020-09-18 2020-12-15 维沃移动通信有限公司 图片检索方法、装置及电子设备
CN112434722A (zh) * 2020-10-23 2021-03-02 浙江智慧视频安防创新中心有限公司 基于类别相似度的标签平滑计算的方法、装置、电子设备及介质
CN112434722B (zh) * 2020-10-23 2024-03-19 浙江智慧视频安防创新中心有限公司 基于类别相似度的标签平滑计算的方法、装置、电子设备及介质
CN112765387A (zh) * 2020-12-31 2021-05-07 中国工商银行股份有限公司 图像检索方法、图像检索装置和电子设备
CN112732968A (zh) * 2021-01-12 2021-04-30 特赞（上海）信息科技有限公司 案例素材图像检索方法、装置、设备和存储介质
CN113204659B (zh) * 2021-03-26 2024-01-19 北京达佳互联信息技术有限公司 多媒体资源的标签分类方法、装置、电子设备及存储介质
CN113204659A (zh) * 2021-03-26 2021-08-03 北京达佳互联信息技术有限公司 多媒体资源的标签分类方法、装置、电子设备及存储介质
CN113836933A (zh) * 2021-07-27 2021-12-24 腾讯科技（深圳）有限公司 生成图形标志的方法、装置、电子设备及存储介质
CN113868447A (zh) * 2021-09-27 2021-12-31 新智认知数据服务有限公司 图片检索方法、电子设备及计算机可读存储介质
CN115238081A (zh) * 2022-06-14 2022-10-25 杭州原数科技有限公司 一种文物智能识别方法、***及可读存储介质
CN115238081B (zh) * 2022-06-14 2024-04-30 杭州原数科技有限公司 一种文物智能识别方法、***及可读存储介质
CN115146103A (zh) * 2022-09-01 2022-10-04 太平金融科技服务(上海)有限公司深圳分公司 图像检索方法、装置、计算机设备、存储介质和程序产品
WO2024104438A1 (zh) * 2022-11-16 2024-05-23 中移(苏州)软件技术有限公司 多媒体检索方法、装置、设备、介质及程序产品
CN117194698A (zh) * 2023-11-07 2023-12-08 清华大学 一种基于oar语义知识库的任务处理***和方法
CN117194698B (zh) * 2023-11-07 2024-02-06 清华大学 一种基于oar语义知识库的任务处理***和方法

Also Published As

Publication number Publication date
CN110472090B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN110472090A (zh) 基于语义标签的图像检索方法以及相关装置、存储介质
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
CN106897738B (zh) 一种基于半监督学习的行人检测方法
WO2020192442A1 (zh) 利用少数标注图像生成分类器的方法
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
Adedoja et al. Intelligent mobile plant disease diagnostic system using NASNet-mobile deep learning
Shoohi et al. DCGAN for Handling Imbalanced Malaria Dataset based on Over-Sampling Technique and using CNN.
CN114818734B (zh) 基于目标-属性-关系的对抗场景语义分析方法以及装置
US20210292805A1 (en) Semi-supervised classification of microorganism
US8150212B2 (en) System and method for automatic digital image orientation detection
Banerjee et al. Cnn-svm model for accurate detection of bacterial diseases in cucumber leaves
CN112052816A (zh) 基于自适应图卷积对抗网络的人体行为预测方法及***
CN112418256A (zh) 分类、模型训练、信息搜索方法、***及设备
CN111767985B (zh) 一种神经网络的训练方法、视频识别方法及装置
Fujii et al. Hierarchical group-level emotion recognition in the wild
CN112560668A (zh) 一种基于场景先验知识的人体行为识别方法
Dong et al. Scene-oriented hierarchical classification of blurry and noisy images
Kabakus A novel sketch recognition model based on convolutional neural networks
Liao et al. A flower classification method combining DenseNet architecture with SVM
CN110457387A (zh) 一种应用于网络中用户标签确定的方法及相关装置
CN109460485A (zh) 一种图像库建立方法、装置和存储介质
CN112929380B (zh) 结合元学习与时空特征融合的木马通信检测方法及***
CN115048504A (zh) 信息推送方法、装置、计算机设备及计算机可读存储介质
CN114022698A (zh) 一种基于二叉树结构的多标签行为识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant