CN113627522A - 基于关系网络的图像分类方法、装置、设备及存储介质 - Google Patents

基于关系网络的图像分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113627522A
CN113627522A CN202110907203.9A CN202110907203A CN113627522A CN 113627522 A CN113627522 A CN 113627522A CN 202110907203 A CN202110907203 A CN 202110907203A CN 113627522 A CN113627522 A CN 113627522A
Authority
CN
China
Prior art keywords
image
support set
target image
similarity
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110907203.9A
Other languages
English (en)
Inventor
梁军
余嘉琳
余松森
苏俊光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202110907203.9A priority Critical patent/CN113627522A/zh
Publication of CN113627522A publication Critical patent/CN113627522A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于关系网络的图像分类方法，包括如下步骤：获取目标图像；将所述目标图像与支持集图像输入至训练好的图像分类模型，得到该目标图像与所述支持集图像中每个类别图像之间的相似度；其中，所述图像分类模型包括嵌入模块和度量模块，所述嵌入模块为随机深度网络，所述度量模块包括相互连接的卷积层和全连接层；根据最大的所述相似度，得到该目标图像的类别。该方法通过在嵌入模块中采用随机深度网络代替关系网络中卷积层，该网络可以通过随机去掉一些冗余层来优化残差网络的训练过程，使得网络在加深层数的同时又能防止过拟合的问题，能够提取到更准确的支持集图像特征和查询集图像特征从而进一步提高查询集的类别判断。

Description

基于关系网络的图像分类方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于关系网络的图像分类方法、装置、设备及存储介质。
背景技术
近年来，深度学习在各领域中所取得的前所未有的突破性进展很大程度上依赖于大量的可用有标签数据，这些数据需要耗费大量的成本进行收集和标注，这严重限制了在新类别中的扩展，更重要的是这些深度学习的模型很难解决少量标签数据的问题。因此基于关系网络的小样本学习问题，成为了近年来研究的热点内容。
小样本研究的目的是设计相关的学习模型，使得该模型可以仅在少量的有标签样本中实现快速学习并识别出新样本的类别。目前存在的适用于小样本问题的研究有：数据增强、元学习和度量学习。数据增强在一定程度上可以缓解少量数据训练过程中出现的过拟合问题和数据稀缺问题，但不能从根本上解决小样本问题。元学习则是将模型从原有的数据学习提升到任务学习为小样本学习问题的研究提供了新的方向。
在小样本学习的过程中利用深度卷积网络提取图像的特征是较为关键的一步，而采用现有的学习方法进行小样本学习任务，很难使得深度卷积网络提升模型的分类准确率。
在训练深层神经网络时存在着梯度消失，信息在前向流动时逐渐减少以及训练时间过长的问题，使得深层神经网络的训练变得非常困难。在一些任务中，如果使用浅层的神经网络，它们结构简单容易训练但是表达能力差；如果使用深层的神经网络，他们存在较多的冗余层，虽然它们的表达能力好但是更难训练。
发明内容
基于此，本发明的目的在于，提供一种基于关系网络的图像分类方法、装置、设备及存储介质，能够提取到更准确的支持集图像特征和查询集图像特征从而进一步提高查询集的类别判断。
第一方面，本申请实施例提供了一种基于关系网络的图像分类方法，包括如下步骤：
获取目标图像；
将所述目标图像与支持集图像输入至训练好的图像分类模型，得到该目标图像与所述支持集图像中每个类别图像之间的相似度；其中，所述图像分类模型包括嵌入模块和度量模块，所述嵌入模块为随机深度网络，所述度量模块包括相互连接的卷积层和全连接层；
根据最大的所述相似度，得到该目标图像的类别。
进一步地，将所述目标图像与支持集图像输入至训练好的图像分类模型，得到该目标图像与所述支持集图像中每个类别图像之间的相似度，包括：
将所述目标图像与所述支持集图像输入至所述随机深度网络，提取所述目标图像与所述支持集图像的特征；
对提取到的所述目标图像的特征和所述支持集图像的特征进行拼接，得到拼接图像；
将所述拼接图像输入至所述卷积层，进一步提取所述拼接图像的特征；
将所述提取到的拼接图像的特征输入至所述全连接层，得到所述目标图像与所述支持集图像中每个类别图像之间的相似度。
进一步地，提取所述目标图像与所述支持集图像的特征，包括：
通过生存概率产生的规则随机丢弃所述目标图像和所述支持集图像的冗余层；
获取所述目标图像的特征图
Figure BDA0003202120230000021
和所述支持集图像的特征图
Figure BDA0003202120230000022
其中xj是目标图像，xi是支持集图像。
进一步地，得到该目标图像与所述支持集图像中每个图像之间的相似度，包括：
通过分析获取到的所述拼接图像的特征，得到目标图像和支持集图像中每个类别图像之间的匹配度，过程如公式1所示；
Figure BDA0003202120230000023
其中，
Figure BDA0003202120230000024
为支持集图像特征图，
Figure BDA0003202120230000025
为目标图像特征图，ri,j代表了目标图像和支持集图像类别的相似度，C为支持集类别图像的个数，产生C个相似度。
进一步地，所述商品分类模型的训练过程包括：
获取查询集图像和训练集图像；
将所述查询集图像与所述训练集图像输入至所述随机深度网络，提取所述查询集图像与所述训练集图像的特征；
将提取到的查询集图像和训练集图像的特征进行拼接，得到拼接图像；
将随机深度网络的输出结果输入至所述卷积层中，进一步提取所述查询集图像与所述训练集图像的特征；
将所述卷积层的输出结果输入至所述全连接层，得到该查询集图像与所述训练集图像中每个图像之间的相似度。
第二方面，本申请实施例提供了一种装置，包括：
图像获取模块，用于获取目标图像、查询集图像和支持集图像；
相似度判断模块，用于将所述目标图像与支持集图像输入至训练好的图像分类模型，得到该目标图像与所述支持集图像中每个图像之间的相似度。
图像分类模块，用于根据所述相似度的大小，得到该目标图像的类别。
进一步地，本申请实施例提供的一种装置中，相似度判断模块包括：
第一输入单元，用于将所述目标图像与所述支持集图像输入至所述随机深度网络，提取所述目标图像与所述支持集图像的特征；
第一拼接单元，用于对提取到的所述目标图像的特征和所述支持集图像的特征进行拼接，得到拼接图像；
第二输入单元，用于将所述拼接图像输入至所述第一卷积层，进一步提取所述拼接图像的特征；
第三输入单元，用于将所述提取到的拼接图像的特征输入至所述全连接层，得到所述目标图像与所述支持集图像中每个图像之间的相似度。
进一步地，本申请实施例提供的一种装置中，还包括训练模块：
所述训练模块用于将查询集图像和支持集图像输入至图像分类模型进行训练，得到与图像分类模型对应的图像分类模型集，采用图像分类模型，对查询集图像进行分类识别。
第三方面，本申请实施例提供了一种电子设备，包括：
处理器及存储器，所述存储器存储有可被处理器调用的程序；
其中，所述处理器执行所述程序时，实现如第一方面所述的基于关系网络的图像分类方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如如第一方面所述的基于关系网络的图像分类方法的步骤。
在本申请实施例中，为了能够提取到更准确的支持集图像特征和查询集图像特征从而进一步提高查询集的类别判断，利用少样本学习的知识，在关系网络的基础上，提出了一种改进的新型模型，并将改进后的模型应用于图像分类的问题上。本申请模型对比关系网络不同的是，它在嵌入模块中采用了随机深度网络(Stochastic depth)代替关系网络中原有的四层卷积层，随机深度网络能够加深嵌入模块的深度，可以通过随机地去掉一些冗余的层次来优化残差网络的训练过程，使得网络在加深层数的同时又能防止过拟合的问题。
本申请模型采用的不激活一部分残差模块，事实上体现了一种模型融合的思想，由于训练时模型的深度随机，预测时模型的深度确定，实际是在测试时把不同深度的模型融合了起来，使得网络变得更加得简单。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1本发明提供的一种基于关系网络的图像分类方法的流程图；
图2为随机深度网络中原始的ResNet结构示意图；
图3为随机深度网络中生存概率产生的示意图；
图4为本发明实施例中图像分类模型示意图；
图5为度量模块中卷积层和全连接层的结构示意图；
图6为本发明提供的一种基于关系网的图像分类装置的模块示意图；
图7为本发明实施例中的相似度判断模块的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的人体，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联人体的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联人体是一种“或”的关系。
针对背景技术中的技术问题，本申请实施例提供一种基于关系网络的图像分类方法，如图1所示，该方法包括以下步骤：
在步骤S101中，获取目标图像；
在步骤S102中，将所述目标图像与支持集图像输入至训练好的图像分类模型，得到该目标图像与所述支持集图像中每个类别图像之间的相似度；其中，所述图像分类模型包括嵌入模块和度量模块，所述嵌入模块为随机深度网络，所述度量模块包括相互连接的卷积层和全连接层；
在步骤S103中，根据最大的所述相似度，得到该目标图像的类别。
目标图像是指记载有待识别标签的图像文件。
具体的，图像分类模型是指能够通过少量带标注的支持集图像以及给定的目标图像，提取上述支持集图像与目标图像的特征并通过度量上述提取的特征之间的距离进行识别与分类；目标图像与所述支持集图像中每个类别图像之间的相似度即为商品图像的特征与支持集图像特征的距离远近，距离远则相似度低，距离近则相似度高。
Stochastic Depth(随机深度网络)的深层神经网络训练方法，其主要训练对象是ResNet，在不同数据集中的实验表明，这种训练方法可以有效地解决深层网络训练困难的问题，对模型精度和训练速度都有很大的提升。图2是原始的ResNet结构图，其中f代表的是残差部分，id代表的是恒等映射，把这两部分求和经过激活然后然后输出。这个过程可以用下面的式子来表示：
Hl＝ReLU(fl(Hl-1)+id(Hl-1)) (1)
其中，Hl-1表示第l-1个残差块，即输入；Hl表示第l个残差块，即输出结果。
Stochastic Depth是指在训练时加入了一个随机变量b，其中b的概率分布是满足一个伯努利分布的，然后将f乘以b，对残差部分做了随机丢弃。如果b＝1，这个结构即是原始的ResNet结构，而当b＝0时，残差支路没有被激活，整个结构退化为一个恒等函数。这个过程可以用下面的等式来表示：
Hl＝ReLU(blfl(Hl-1)+id(Hl-1)) (2)
b满足一个伯努利分布，b的取值只有0和1两种，其中取0的概率为1-p，取1的概率是p。上面的p又被称为生存概率，这个p即代表了b＝1的可能性，将p设置为残差层数l的平滑函数。从p0＝1线性递减到pl＝0.5，一共有L个残差块。公式如下：
Figure BDA0003202120230000061
其中，pl表示的是第l层在训练中的生存概率,L表示残差块的总数量。最终p产生的规则如图3所示。
因为嵌入模块不宜实验太复杂的网络，所以使用基于ResNet-18优化的模型。ResNet-18的18是指定的带有权重的18层。因为嵌入模块需要提取目标图像和支持集图像的特征图，然后再将这些特征图作为输入，输入到度量模块。所以去掉ResNet-18的最后两层即最大池化层和全连接层，变成ResNet-16模型。然后在ResNet-16的基础上对ResNet-16进行优化，根据生存概率p产生的规则随机丢弃其中的冗余层，最终形成StochasticDepth-16。
在一个具体的实施例中，如图4-5所示，图4-5为图像分类模型的具体结构，其中，嵌入模块为随机深度网络，度量模块包括相互连接的卷积层和全连接层。
随机深度网络使用Stochastic Depth-16。
卷积层包括卷积块1和卷积块2，全连接层包括最大池化层1、ReLU激活函数层、最大池化层2和Sigmoid函数层。其中每个卷积块包括一个卷积核、一个批量归一化层、一个ReLU线性激活层，每个卷积核参数相同，采用64通道的3×3卷积核，最大池化层为2×2。
根据上述图像分类模型的具体结构，将目标商品图像与支持集图像输入至训练好的商品分类模型，具体包括以下步骤：
将所述目标图像与所述支持集图像输入至所述随机深度网络，提取所述目标图像与所述支持集图像的特征；
对提取到的所述目标图像的特征和所述支持集图像的特征进行拼接，得到拼接图像；
将所述拼接图像输入至所述卷积层，进一步提取所述拼接图像的特征；
将所述提取到的拼接图像的特征输入至所述全连接层，得到所述目标图像与所述支持集图像中每个类别图像之间的相似度。
具体地，提取所述目标图像与所述支持集图像的特征，包括：
通过生存概率产生的规则随机丢弃所述目标图像和所述支持集图像的冗余层；获取所述目标图像的特征图
Figure BDA0003202120230000062
和所述支持集图像的特征图
Figure BDA0003202120230000063
其中xj是目标图像，xi是支持集图像。
得到该目标图像与所述支持集图像中每个图像之间的相似度，包括：
通过分析获取到的所述拼接图像的特征，得到目标图像和支持集图像中每个类别图像之间的匹配度，过程如公式4所示；
Figure BDA0003202120230000064
其中，
Figure BDA0003202120230000071
为支持集图像特征图，
Figure BDA0003202120230000072
为目标图像特征图，ri,j代表了目标图像和支持集图像类别的相似度，C为支持集类别图像的个数，产生C个相似度。
在一个具体的实施例中，图像分类模型的训练过程包括以下步骤：
获取查询集图像和训练集图像；
将所述查询集图像与所述训练集图像输入至所述随机深度网络，提取所述查询集图像与所述训练集图像的特征；
将提取到的查询集图像和训练集图像的特征进行拼接，得到拼接图像；
将随机深度网络的输出结果输入至所述卷积层中，进一步提取所述查询集图像与所述训练集图像的特征；
将所述卷积层的输出结果输入至所述全连接层，得到该查询集图像与所述训练集图像中每个图像之间的相似度。
如图6所示，其为本发明提供的一种基于关系网络的目标图像分类的装置200的模块示意图，包括：
图像获取模块210，用于获取目标图像、查询集图像和支持集图像。
相似度判断模块220，用于将所述目标图像与支持集图像输入至训练好的图像分类模型，得到该目标图像与所述支持集图像中每个图像之间的相似度。
图像类别获取模块230，用于根据所述相似度的大小，得到该目标图像的类别。
如图7所示，相似度判断模块220包括：
第一输入单元221，用于将所述目标商品图像与所述支持集图像输入至所述随机深度网络，得到所述目标图像与所述支持集图像的特征图；
第一拼接单元222，用于对所述目标图像特征图与每个所述支持集类别图像的特征图进行拼接，得到拼接特征图；
第二输入单元223，用于将所述拼接特征图输入至所述卷积层，提取拼接特征图的特征；
第三输入单元224，用于将所述卷积层的输出结果输入至所述全连接层，得到该商品图像与所述支持集图像中每个类别图像之间的相似度。
在一个优选地实施例中，还包括训练模块，训练模块用于将查询集图像和支持集图像输入至图像分类模型进行训练，得到与图像分类模型对应的图像分类模型集，采用图像分类模型，对查询集图像进行分类识别。
与上述的基于关系网络的图像分类方法相对应，本申请实施例还提供一种电子设备，包括：
至少一个处理器和至少一个存储器；
存储器存储有可被处理器调用的程序；
其中，处理器执行程序时，可实现基于关系网络图像分类方法所述的步骤。
具体的，该电子设备可以是计算机或者服务器。
与上述的基于关系网络的图像分类方法相对应，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于关系网络的图像分类方法所述的步骤。
在一个具体的实施例中，对本发明提供的一种基于关系网络的商品图像的分类方法模型进行评估实验可以基于mini-ImageNet数据集和RP2K数据集。
本实验都是基于PyTorch框架实现的，实验环境如下表1所示。
Figure BDA0003202120230000081
1)mini-ImageNet数据集
mini-ImageNet来源于ImageNet，mini-ImageNet包含100个类别，每个类别包含100个样本，每张图片大小都是84×84的，其中64个类别用来训练，16个类别用来验证，20个类别用来测试。我们在5-way 1-shot和5-way 5-shot两个任务中都进行了测试。在本申请模型中，我们将关系网络中嵌入模块中的四个卷积层替换成随机深度网络，度量模块与关系网络一致。在mini-ImageNet数据集上，实验结果如表2所示，本申请模型的精度在5-way1-shot和5-way 5-shot两个任务中分别提高了1.58％和1.21％。
Figure BDA0003202120230000082
Figure BDA0003202120230000091
2)RP2K数据集
RP2K数据集是用于零售商品分类的大范围商品图像数据集。这个数据集收集了超过500000张的零售商品图像。包括2000种不同的图像类别。它是目前最大的商品图片数据集。为了验证我们的改进模型是否能在小样本零售商品图像中更有效地进行分类。我们模拟mini-ImageNet数据集，在RP2K数据集中随机抽取100个类别的商品，64个作为训练集，16个作为验证集，20个作为测试集。分别进行3次抽取并划分的操作，将3次数据集输入模型，得到3次结果，取平均值作为我们的最终结果。因为RP2K图片大小不一，所以我们统一将所有的图片大小都修改成84×84。实验与上述过程一样。实验结果如表3所示。在RP2K数据集中，对比关系网络SD-RNET模型的精度在5-way 1-shot和5-way 5-shot两个任务中分别提高了0.85％和0.26％
Figure BDA0003202120230000092
在本申请实施例中，为了能够提取到更准确的支持集图像特征和查询集图像特征从而进一步提高查询集的类别判断，利用少样本学习的知识，在关系网络的基础上，提出了一种改进的新型模型，并将改进后的模型应用于图像分类的问题上。本申请模型对比关系网络不同的是，它在嵌入模块中采用了随机深度网络(Stochastic depth)代替关系网络中原有的四层卷积层，随机深度网络能够加深嵌入模块的深度，可以通过随机地去掉一些冗余的层次来优化残差网络的训练过程，使得网络在加深层数的同时又能防止过拟合的问题。
本申请模型采用的不激活一部分残差模块，事实上体现了一种模型融合的思想，由于训练时模型的深度随机，预测时模型的深度确定，实际是在测试时把不同深度的模型融合了起来，使得网络变得更加得简单。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于关系网络的图像分类方法，其特征在于：包括如下步骤：
获取目标图像；
将所述目标图像与支持集图像输入至训练好的图像分类模型，得到该目标图像与所述支持集图像中每个类别图像之间的相似度；其中，所述图像分类模型包括嵌入模块和度量模块，所述嵌入模块为随机深度网络，所述度量模块包括相互连接的卷积层和全连接层；
根据最大的所述相似度，得到该目标图像的类别。
2.根据权利要求1所述的一种基于关系网络的图像分类方法，其特征在于，将所述目标图像与支持集图像输入至训练好的图像分类模型，得到该目标图像与所述支持集图像中每个类别图像之间的相似度，包括：
将所述目标图像与所述支持集图像输入至所述随机深度网络，提取所述目标图像与所述支持集图像的特征；
对提取到的所述目标图像的特征和所述支持集图像的特征进行拼接，得到拼接图像；
将所述拼接图像输入至所述卷积层，进一步提取所述拼接图像的特征；
将所述提取到的拼接图像的特征输入至所述全连接层，得到所述目标图像与所述支持集图像中每个类别图像之间的相似度。
3.根据权利要求2所述的一种基于关系网络的图像分类方法，其特征在于，提取所述目标图像与所述支持集图像的特征，包括：
通过生存概率产生的规则随机丢弃所述目标图像和所述支持集图像的冗余层；
获取所述目标图像的特征图
Figure FDA0003202120220000011
和所述支持集图像的特征图
Figure FDA0003202120220000012
其中xj是目标图像，xi是支持集图像。
4.根据权利要求3所述的一种基于关系网络的图像分类方法，其特征在于，得到该目标图像与所述支持集图像中每个图像之间的相似度，包括：
通过分析获取到的所述拼接图像的特征，得到目标图像和支持集图像中每个类别图像之间的匹配度，过程如公式1所示；
Figure FDA0003202120220000013
其中，
Figure FDA0003202120220000014
为支持集图像特征图，
Figure FDA0003202120220000015
为目标图像特征图，ri,j代表了目标图像和支持集图像类别的相似度，C为支持集类别图像的个数，产生C个相似度。
5.根据权利要求3所述的一种小样本图像分类方法，其特征在于，所述商品分类模型的训练过程包括：
获取查询集图像和训练集图像；
将所述查询集图像与所述训练集图像输入至所述随机深度网络，提取所述查询集图像与所述训练集图像的特征；
将提取到的查询集图像和训练集图像的特征进行拼接，得到拼接图像；
将随机深度网络的输出结果输入至所述卷积层中，进一步提取所述查询集图像与所述训练集图像的特征；
将所述卷积层的输出结果输入至所述全连接层，得到该查询集图像与所述训练集图像中每个图像之间的相似度。
6.一种基于关系网络的图像分类装置，其特征在于，该装置包括：
图像获取模块，用于获取目标图像、查询集图像和支持集图像；
相似度判断模块，用于将所述目标图像与支持集图像输入至训练好的图像分类模型，得到该目标图像与所述支持集图像中每个图像之间的相似度。
图像分类模块，用于根据所述相似度的大小，得到该目标图像的类别。
7.根据权利要求6所述的一种基于关系网络的图像分类装置，其特征在于，所述相似度判断模块包括：
第一输入单元，用于将所述目标图像与所述支持集图像输入至所述随机深度网络，提取所述目标图像与所述支持集图像的特征；
第一拼接单元，用于对提取到的所述目标图像的特征和所述支持集图像的特征进行拼接，得到拼接图像；
第二输入单元，用于将所述拼接图像输入至所述第一卷积层，进一步提取所述拼接图像的特征；
第三输入单元，用于将所述提取到的拼接图像的特征输入至所述全连接层，得到所述目标图像与所述支持集图像中每个图像之间的相似度。
8.根据权利要求7所述的一种基于关系网络的图像分类装置，其特征在于：
还包括训练模块，用于将查询集图像和支持集图像输入至图像分类模型进行训练，得到与图像分类模型对应的图像分类模型集，采用图像分类模型，对查询集图像进行分类识别。
9.一种电子设备，其特征在于，包括：
处理器及存储器，所述存储器存储有可被处理器调用的程序；
其中，所述处理器执行所述程序时，实现如权利要求1-5中任意一项所述的图像处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现如权利要求1-5任一项所述方法的步骤。
CN202110907203.9A 2021-08-09 2021-08-09 基于关系网络的图像分类方法、装置、设备及存储介质 Pending CN113627522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110907203.9A CN113627522A (zh) 2021-08-09 2021-08-09 基于关系网络的图像分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110907203.9A CN113627522A (zh) 2021-08-09 2021-08-09 基于关系网络的图像分类方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113627522A true CN113627522A (zh) 2021-11-09

Family

ID=78383544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110907203.9A Pending CN113627522A (zh) 2021-08-09 2021-08-09 基于关系网络的图像分类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113627522A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965817A (zh) * 2023-01-05 2023-04-14 北京百度网讯科技有限公司 图像分类模型的训练方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、***、存储介质及终端
US20210232915A1 (en) * 2020-01-23 2021-07-29 UMNAI Limited Explainable neural net architecture for multidimensional data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210232915A1 (en) * 2020-01-23 2021-07-29 UMNAI Limited Explainable neural net architecture for multidimensional data
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、***、存储介质及终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GAO HUANG 等: "Deep Networks with Stochastic Depth", ARXIV:1603.09382V3 [CS.LG], pages 1 - 16 *
SONGSEN YU 等: "Sketch works ranking based on improved transfer learning model", MULTIMEDIA TOOLS AND APPLICATIONS, 23 August 2023 (2023-08-23), pages 33663 - 33678 *
代磊超 等: "一种鲁棒性的少样本学习方法", 小型微型计算机系 统, vol. 42, no. 2, pages 340 - 347 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965817A (zh) * 2023-01-05 2023-04-14 北京百度网讯科技有限公司 图像分类模型的训练方法、装置及电子设备

Similar Documents

Publication Publication Date Title
US20220237788A1 (en) Multiple instance learner for tissue image classification
Zhao et al. A visual long-short-term memory based integrated CNN model for fabric defect image classification
CN106294344B (zh) 视频检索方法和装置
CN113360701B (zh) 一种基于知识蒸馏的素描图处理方法及其***
CN110175613A (zh) 基于多尺度特征和编解码器模型的街景图像语义分割方法
WO2019015246A1 (zh) 图像特征获取
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
Akrim et al. Classification of Tajweed Al-Qur'an on Images Applied Varying Normalized Distance Formulas
CN112132014B (zh) 基于非督导金字塔相似性学习的目标重识别方法及***
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN112560710B (zh) 一种用于构建指静脉识别***的方法及指静脉识别***
CN116612335B (zh) 一种基于对比学习的少样本细粒度图像分类方法
CN114913923A (zh) 针对单细胞染色质开放性测序数据的细胞类型识别方法
CN109993187A (zh) 一种用于识别物体类别的建模方法、机器人及存储装置
CN115393666A (zh) 图像分类中基于原型补全的小样本扩充方法及***
CN108229505A (zh) 基于fisher多级字典学习的图像分类方法
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN113496260A (zh) 基于改进YOLOv3算法的粮库人员不规范作业检测法
CN113627522A (zh) 基于关系网络的图像分类方法、装置、设备及存储介质
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN108805152A (zh) 一种场景分类方法及装置
CN116524243A (zh) 一种笔石化石图像的分类方法及装置
CN113780335B (zh) 一种小样本商品图像分类方法、装置、设备及存储介质
CN115033700A (zh) 基于相互学习网络的跨领域情感分析方法、装置以及设备
Winiarti et al. Application of Artificial Intelligence in Digital Architecture to Identify Traditional Javanese Buildings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination