CN111814920B - 基于图网络的多粒度特征学习的图像精细分类方法及*** - Google Patents

基于图网络的多粒度特征学习的图像精细分类方法及*** Download PDF

Info

Publication number
CN111814920B
CN111814920B CN202010918782.2A CN202010918782A CN111814920B CN 111814920 B CN111814920 B CN 111814920B CN 202010918782 A CN202010918782 A CN 202010918782A CN 111814920 B CN111814920 B CN 111814920B
Authority
CN
China
Prior art keywords
granularity
level
feature
network
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010918782.2A
Other languages
English (en)
Other versions
CN111814920A (zh
Inventor
郭海云
王金桥
伍虹燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Zidong Taichu Beijing Technology Co ltd
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010918782.2A priority Critical patent/CN111814920B/zh
Publication of CN111814920A publication Critical patent/CN111814920A/zh
Application granted granted Critical
Publication of CN111814920B publication Critical patent/CN111814920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉和模式识别领域，具体涉及了一种基于图网络的多粒度特征学习的精细分类方法及***，旨在解决现有技术对目标多粒度层级关系利用不足，从而图像精细分类准确率低的问题。本发明包括：基于获取的待分类图像构建多粒度层级关系图；通过多粒度层级特征提取网络提取多粒度类层级关系图中每一个粒度层级的特征；进行多粒度层级特征集中各粒度层级特征的层级关系嵌入；通过分类器获取各粒度层级的预测类别。本发明利用图神经网络学习图像的多粒度层次间的语义关系，以共同促进的方式改善各个粒度的特征学习，特征提取网络由一个主干网络和三个分支网络构成，在取得高精度的同时降低了模型参数量。

Description

基于图网络的多粒度特征学习的图像精细分类方法及***
技术领域
本发明属于计算机视觉和模式识别领域，具体涉及了一种基于图网络的多粒度特征学习的精细分类方法及***。
背景技术
精细分类不同于传统的分类任务，如区分车的类别，该任务需要对其子类进行区分，如车的年款。近年来，由于该任务具有极大的应用价值，在学术领域和工业领域得到了广泛地关注。物体天然存在着多粒度类别层级，较高的层级对应着含义广泛的类别，而较低的层级中的类别含义则比较精细，如图2所示，为以汽车分类为例的多粒度类别层级分类说明示意图，图中有三个粒度层级，第一个层级为品牌，第二个层级为品牌下面的多个类型，第三个层级为同一个车型下面的多个年款。多粒度层级中蕴含着丰富的语义信息，可以帮助多粒度特征注意更具有区分性的区域，改善精细分类效果。
目前大多数精细分类任务都关注于单一类别层级的分类问题，忽略了这种多粒度层级关系，也有少数利用到这种类别层级关系的方法，例如：基于注意力机制，利用较高层级的特征以及类别预测得分来引导较低层级的特征学习和预测结果的优化。但这种方法仅仅利用了较高层级的信息来促进较低层级特征的学习，忽视了较低层级的信息对高层级特征的促进，即没有充分利用粒度层级关系。
发明内容
为了解决现有技术中的上述问题，即现有技术对目标多粒度层级关系利用不足，从而图像精细分类准确率低的问题，本发明提供了一种基于图网络的多粒度特征学习的精细分类方法，该精细分类方法包括：
步骤S10，基于获取的待分类图像构建多粒度层级关系图；
步骤S20，通过训练好的多粒度层级特征提取网络提取所述多粒度类层级关系图中每一个粒度层级的特征，获得多粒度层级特征集；
步骤S30，进行所述多粒度层级特征集中各粒度层级特征的层级关系嵌入，获得多粒度层级关联状态特征集；
步骤S40，对于所述多粒度层级关联状态特征集中每一个粒度层级关联状态特征，通过分类器获取各粒度层级的预测类别；
其中，所述多粒度层级特征提取网络基于Lip-ResNet50构建，包括主干网络和各粒度层级的分支网络，以交叉熵函数作为所述多粒度层级特征提取网络训练的损失函数。
在一些优选的实施例中，步骤S10包括：
步骤S11，以
Figure 461696DEST_PATH_IMAGE001
代表待分类图像从高到低排列的
Figure 38171DEST_PATH_IMAGE002
个粒度层级；
步骤S12，构建待分类图像的多粒度层级关系图：
Figure 964539DEST_PATH_IMAGE003
其中，
Figure 44490DEST_PATH_IMAGE004
是由
Figure 398111DEST_PATH_IMAGE002
个粒度层级组成的点的集合，
Figure 196303DEST_PATH_IMAGE005
表示粒度层级
Figure 926362DEST_PATH_IMAGE006
的节点；
Figure 362284DEST_PATH_IMAGE007
是
Figure 886807DEST_PATH_IMAGE008
中任意两个粒度层 级节点组成的边的集合，
Figure 172294DEST_PATH_IMAGE009
表示粒度层级节点
Figure 706044DEST_PATH_IMAGE010
和
Figure 760588DEST_PATH_IMAGE011
之间的无向边。
在一些优选的实施例中，步骤S30包括：
步骤S31，以
Figure 456011DEST_PATH_IMAGE012
代表待分类图像从高到低排列的
Figure 963216DEST_PATH_IMAGE002
个粒度层级对应的 特征；对于粒度层级节点
Figure 35077DEST_PATH_IMAGE013
，其初始状态特征
Figure 944127DEST_PATH_IMAGE014
；
步骤S32，在
Figure 300198DEST_PATH_IMAGE015
时刻，从
Figure 560278DEST_PATH_IMAGE013
的邻居节点
Figure 904672DEST_PATH_IMAGE016
聚集信息
Figure 933808DEST_PATH_IMAGE017
；
Figure 971034DEST_PATH_IMAGE018
为预先 设定的多粒度特征学习周期；
步骤S33，基于
Figure 452831DEST_PATH_IMAGE015
时刻
Figure 866495DEST_PATH_IMAGE013
的聚集信息
Figure 750137DEST_PATH_IMAGE017
以及
Figure 223844DEST_PATH_IMAGE019
时刻
Figure 927357DEST_PATH_IMAGE013
的状态特征
Figure 380598DEST_PATH_IMAGE020
， 获取
Figure 384326DEST_PATH_IMAGE021
时刻节点
Figure 497775DEST_PATH_IMAGE013
的状态特征
Figure 954165DEST_PATH_IMAGE022
；
步骤S34，迭代进行步骤S33和步骤S34，获得
Figure 709631DEST_PATH_IMAGE023
时刻各粒度层级节点的状态特征
Figure 567866DEST_PATH_IMAGE024
，构成多粒度层级关联状态特征集。
在一些优选的实施例中，步骤S32中“从
Figure 117796DEST_PATH_IMAGE013
的邻居节点
Figure 61481DEST_PATH_IMAGE025
聚集信息
Figure 89480DEST_PATH_IMAGE026
”，其方法 为：
Figure 569265DEST_PATH_IMAGE027
其中，
Figure 290096DEST_PATH_IMAGE028
为粒度层级节点
Figure 721078DEST_PATH_IMAGE013
的领域，
Figure 818347DEST_PATH_IMAGE029
为
Figure 120015DEST_PATH_IMAGE019
时刻可学习的线性变换矩 阵，
Figure 277327DEST_PATH_IMAGE030
是
Figure 195604DEST_PATH_IMAGE013
的邻居节点
Figure 830985DEST_PATH_IMAGE025
在
Figure 252739DEST_PATH_IMAGE019
时刻的状态特征。
在一些优选的实施例中，步骤S33中“基于
Figure 82417DEST_PATH_IMAGE015
时刻
Figure 222411DEST_PATH_IMAGE013
的聚集信息
Figure 661483DEST_PATH_IMAGE017
以及
Figure 203323DEST_PATH_IMAGE019
时 刻
Figure 702437DEST_PATH_IMAGE013
的状态特征
Figure 329727DEST_PATH_IMAGE020
，获取
Figure 41332DEST_PATH_IMAGE015
时刻节点
Figure 703257DEST_PATH_IMAGE013
的状态特征
Figure 107694DEST_PATH_IMAGE022
”，其方法为：
Figure 222280DEST_PATH_IMAGE031
Figure 504619DEST_PATH_IMAGE032
Figure 21051DEST_PATH_IMAGE033
其中，
Figure 861968DEST_PATH_IMAGE034
、
Figure 198272DEST_PATH_IMAGE035
、
Figure 782837DEST_PATH_IMAGE036
、
Figure 153775DEST_PATH_IMAGE037
、
Figure 165594DEST_PATH_IMAGE038
和
Figure 723614DEST_PATH_IMAGE039
是可学习参数，
Figure 111870DEST_PATH_IMAGE040
代表sigmoid函数，
Figure 573200DEST_PATH_IMAGE041
代 表按元素相乘，
Figure 755920DEST_PATH_IMAGE042
代表双曲正切函数。
在一些优选的实施例中，所述分类器为Softmax分类器。
在一些优选的实施例中，所述多粒度层级特征提取网络，其粒度层级为三层时，主干网络由conv_1，conv_2x，conv_3x组成，科层级分支网络由conv_4x构成，属层级分支网络和种层级分支网络均由conv_4x，conv_5x构成。
本发明的另一方面，提出了一种基于图网络的多粒度特征学习的精细分类***，该精细分类***包括多粒度层级关系图构建模块、特征提取模块、特征学习模块和分类模块；
所述多粒度层级关系图构建模块，配置为基于获取的待分类图像构建多粒度层级关系图；
所述特征提取模块，配置为通过训练好的多粒度层级特征提取网络提取所述多粒度类层级关系图中每一个粒度层级的特征，获得多粒度层级特征集；
所述特征学习模块，配置为进行所述多粒度层级特征集中各粒度层级特征的层级关系嵌入，获得多粒度层级关联状态特征集；
所述分类模块，配置为对于所述多粒度层级关联状态特征集中每一个粒度层级关联状态特征，通过分类器获取各粒度层级的预测类别；
其中，所述多粒度层级特征提取网络基于Lip-ResNet50构建，包括主干网络和各粒度层级的分支网络，以交叉熵函数作为所述多粒度层级特征提取网络训练的损失函数。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于图网络的多粒度特征学习的精细分类方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于图网络的多粒度特征学习的精细分类方法。
本发明的有益效果：
（1）本发明基于图网络的多粒度特征学习的精细分类方法，构建了多粒度层次关系图，并使用基于门控图神经网络的多粒度特征学习模块，使各粒度层级特征交互，共同促进，使得多个粒度都能学习到更具有区分性和更完整的特征，大大提升了精细分类的精度。
（2）本发明基于图网络的多粒度特征学习的精细分类方法，多粒度层级特征提取网络由一个主干网络和三个分支网络构成，在取得高精度的同时降低了模型参数量，大大提高了模型效率。
（3）本发明基于图网络的多粒度特征学习的精细分类方法，将门控图神经网络嵌入多粒度特征学习模块中，实现了端到端的训练。在多层级类别标签的监督下，多粒度层级特征提取网络和门控图神经网络可以共同优化，在学习到区分性更强的特征的同时，还能使得网络注意到区分性较弱的区域特征，改善多粒度分类效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于图网络的多粒度特征学习的精细分类方法一种实施例的三层级网络和多粒度特征学习模块框架示意图；
图2是以汽车分类为例的多粒度类别层级分类说明示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于图网络的多粒度特征学习的精细分类方法，利用门控图神经网络来促使不同层级特征进行交互，促进多粒度特征的学习，提升精细分类的效果。采用特征提取网络提取多层级的特征，并将其作为多粒度特征学习的输入，输出特征用来进行多层级分类。不同于现有的方法利用复杂的或是多个网络提取特征，本发明的特征提取网络基于Lip-ResNet50（来自论文LIP: Local Importance-based Pooling），由一个主干，三个分支构成，在提升精细分类精度的同时限制了网络参数量，保证了工业上应用的可行性。另一方面，不同于现有方法的单向促进，本发明实现了多粒度层级间的共同促进，提升了精细层级的分类精度。
本发明的一种基于图网络的多粒度特征学习的精细分类方法，该精细分类方法包括：
步骤S10，基于获取的待分类图像构建多粒度层级关系图；
步骤S20，通过训练好的多粒度层级特征提取网络提取所述多粒度类层级关系图中每一个粒度层级的特征，获得多粒度层级特征集；
步骤S30，进行所述多粒度层级特征集中各粒度层级特征的层级关系嵌入，获得多粒度层级关联状态特征集；
步骤S40，对于所述多粒度层级关联状态特征集中每一个粒度层级关联状态特征，通过分类器获取各粒度层级的预测类别；
其中，所述多粒度层级特征提取网络基于Lip-ResNet50构建，包括主干网络和各粒度层级的分支网络，以交叉熵函数作为所述多粒度层级特征提取网络训练的损失函数。
为了更清晰地对本发明基于图网络的多粒度特征学习的精细分类方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于图网络的多粒度特征学习的精细分类方法，包括步骤S10-步骤S40，各步骤详细描述如下：
步骤S10，基于获取的待分类图像构建多粒度层级关系图。
步骤S11，以
Figure 332395DEST_PATH_IMAGE043
代表待分类图像从高到低排列的
Figure 681599DEST_PATH_IMAGE002
个粒度层级。
步骤S12，构建待分类图像的多粒度层级关系图，如式（1）所示：
Figure 27130DEST_PATH_IMAGE044
其中，
Figure 646330DEST_PATH_IMAGE004
是由
Figure 444521DEST_PATH_IMAGE002
个粒度层级组成的点的集合，
Figure 909001DEST_PATH_IMAGE005
表示粒度层级
Figure 109038DEST_PATH_IMAGE006
的节点；
Figure 899140DEST_PATH_IMAGE007
是
Figure 653469DEST_PATH_IMAGE008
中任意两个粒度层 级节点组成的边的集合，
Figure 688683DEST_PATH_IMAGE009
表示粒度层级节点
Figure 743227DEST_PATH_IMAGE010
和
Figure 173071DEST_PATH_IMAGE011
之间的无向边。
步骤S20，通过训练好的多粒度层级特征提取网络提取所述多粒度类层级关系图中每一个粒度层级的特征，获得多粒度层级特征集。
多粒度层级特征提取网络基于Lip-ResNet50构建，分为主干网络和分支网络。以三个层级为例，主干网络由conv_1，conv_2x，conv_3x组成，科层级分支网络由conv_4x构成，属层级分支网络和种层级分支网络均由conv_4x，conv_5x构成。主干网络的参数由三个层级共享，分支网络的参数是每个层级独立拥有。
步骤S30，进行所述多粒度层级特征集中各粒度层级特征的层级关系嵌入，获得多粒度层级关联状态特征集。
步骤S31，以
Figure 945855DEST_PATH_IMAGE012
代表待分类图像从高到低排列的
Figure 17716DEST_PATH_IMAGE002
个粒度层级对应的 特征；对于粒度层级节点
Figure 661187DEST_PATH_IMAGE013
，其初始状态特征
Figure 793091DEST_PATH_IMAGE014
。
步骤S32，在
Figure 787592DEST_PATH_IMAGE015
时刻，从
Figure 397565DEST_PATH_IMAGE013
的邻居节点
Figure 939885DEST_PATH_IMAGE016
聚集信息
Figure 977111DEST_PATH_IMAGE017
，如式（2）所示：
Figure 458908DEST_PATH_IMAGE045
其中，
Figure 872571DEST_PATH_IMAGE028
为粒度层级节点
Figure 756214DEST_PATH_IMAGE013
的领域，
Figure 698762DEST_PATH_IMAGE029
为
Figure 667855DEST_PATH_IMAGE019
时刻可学习的线性变换矩 阵，
Figure 885210DEST_PATH_IMAGE030
是
Figure 623359DEST_PATH_IMAGE013
的邻居节点
Figure 2387DEST_PATH_IMAGE025
在
Figure 960241DEST_PATH_IMAGE019
时刻的状态特征，
Figure 715708DEST_PATH_IMAGE018
为预先设定的多 粒度特征学习周期。
步骤S33，基于
Figure 573942DEST_PATH_IMAGE015
时刻
Figure 389452DEST_PATH_IMAGE013
的聚集信息
Figure 801978DEST_PATH_IMAGE017
以及
Figure 361136DEST_PATH_IMAGE019
时刻
Figure 73877DEST_PATH_IMAGE013
的状态特征
Figure 794708DEST_PATH_IMAGE020
， 获取
Figure 258313DEST_PATH_IMAGE015
时刻节点
Figure 355582DEST_PATH_IMAGE013
的状态特征
Figure 922829DEST_PATH_IMAGE022
，如式（3）、式（4）和式（5）所示：
Figure 814562DEST_PATH_IMAGE046
Figure 467260DEST_PATH_IMAGE047
Figure 368220DEST_PATH_IMAGE048
其中，
Figure 55553DEST_PATH_IMAGE034
、
Figure 118187DEST_PATH_IMAGE035
、
Figure 258182DEST_PATH_IMAGE036
、
Figure 198718DEST_PATH_IMAGE037
、
Figure 474979DEST_PATH_IMAGE038
和
Figure 974093DEST_PATH_IMAGE039
是可学习参数，
Figure 601384DEST_PATH_IMAGE040
代表sigmoid函数，
Figure 578567DEST_PATH_IMAGE041
代 表按元素相乘，
Figure 240492DEST_PATH_IMAGE042
代表双曲正切函数。
步骤S34，迭代进行步骤S33和步骤S34，获得
Figure 910508DEST_PATH_IMAGE023
时刻各粒度层级节点的状态特征
Figure 493936DEST_PATH_IMAGE024
，构成多粒度层级关联状态特征集。
步骤S40，对于所述多粒度层级关联状态特征集中每一个粒度层级关联状态特征，通过分类器获取各粒度层级的预测类别。
如图1所示，为本发明基于图网络的多粒度特征学习的精细分类方法一种实施例 的三层级网络和多粒度特征学习模块框架示意图，多粒度层级特征提取网络包括主干网络 和科层级分支网络、属层级分支网络、种层级分支网络，提取的特征送入多粒度特征学习模 块，GGNN代表门控图神经网络，
Figure 540390DEST_PATH_IMAGE018
为预先设定的多粒度特征学习周期，
Figure 558286DEST_PATH_IMAGE049
分别为输入图像的科层级特征、属层级特征和种层级特征，
Figure 133624DEST_PATH_IMAGE050
分别为输 入图像的科层级关联状态特征、属层级关联状态特征和种层级关联状态特征，通过Softmax 分类器后，获得输入图像的科层级分类预测结果、属层级分类预测结果和种层级分类预测 结果。
本发明一个实施例中，选用Softmax分类器。
本发明的多粒度层级特征提取网络，其训练过程分为两个步骤：首先用在ImageNet上预训练过的网络参数来初始化多粒度层级特征提取网络，在精细分类数据集上训练多粒度层级特征提取网络；然后将多粒度特征学习模块嵌入特征提取网络中，端到端地进行训练。本发明一个实施例中，训练过程中选用的损失函数为交叉熵损失函数。
以三个层级为例，在测试过程中，输入一张图片，利用多粒度层级特征提取网络得到科属种三个层级的特征，然后将特征输入多粒度特征学习模块，得到三个层级的经过多粒度层级关系嵌入的多粒度层级关联状态特征，最后利用Softmax分类器在三个粒度层级上进行分类，获得三个层级的类别预测。
本发明第二实施例的基于图网络的多粒度特征学习的精细分类***，该精细分类***包括多粒度层级关系图构建模块、特征提取模块、特征学习模块和分类模块；
所述多粒度层级关系图构建模块，配置为基于获取的待分类图像构建多粒度层级关系图；
所述特征提取模块，配置为通过训练好的多粒度层级特征提取网络提取所述多粒度类层级关系图中每一个粒度层级的特征，获得多粒度层级特征集；
所述特征学习模块，配置为进行所述多粒度层级特征集中各粒度层级特征的层级关系嵌入，获得多粒度层级关联状态特征集；
所述分类模块，配置为对于所述多粒度层级关联状态特征集中每一个粒度层级关联状态特征，通过分类器获取各粒度层级的预测类别；
其中，所述多粒度层级特征提取网络基于Lip-ResNet50构建，包括主干网络和各粒度层级的分支网络，以交叉熵函数作为所述多粒度层级特征提取网络训练的损失函数。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于图网络的多粒度特征学习的精细分类***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于图网络的多粒度特征学习的精细分类方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于图网络的多粒度特征学习的精细分类方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于图网络的多粒度特征学习的图像精细分类方法，其特征在于，该图像精细分类方法包括：
步骤S10，以
Figure 25460DEST_PATH_IMAGE001
代表获取的待分类图像从高到低排列的
Figure 389314DEST_PATH_IMAGE002
个粒度层级，构建待分类图像的多粒度层级关系图：
Figure 373451DEST_PATH_IMAGE003
其中，
Figure 889883DEST_PATH_IMAGE004
是由
Figure 996379DEST_PATH_IMAGE002
个粒度层级组成的点的集合，
Figure 598262DEST_PATH_IMAGE005
表示粒度层级
Figure 933559DEST_PATH_IMAGE006
的节点；
Figure 304498DEST_PATH_IMAGE007
是
Figure 519578DEST_PATH_IMAGE008
中任意两个粒度层级节点组成的边的集合，
Figure 343178DEST_PATH_IMAGE009
表示粒度层级节点
Figure 997013DEST_PATH_IMAGE010
和
Figure 474655DEST_PATH_IMAGE011
之间的无向边；
步骤S20，通过训练好的多粒度层级特征提取网络提取所述多粒度层级关系图中每一个粒度层级的特征，获得多粒度层级特征集；
步骤S30，进行所述多粒度层级特征集中各粒度层级特征的层级关系嵌入，获得多粒度层级关联状态特征集；
步骤S40，对于所述多粒度层级关联状态特征集中每一个粒度层级关联状态特征，通过分类器获取各粒度层级图像的预测类别；
其中，所述多粒度层级特征提取网络基于Lip-ResNet50构建，包括主干网络和各粒度层级的分支网络，以交叉熵函数作为所述多粒度层级特征提取网络训练的损失函数。
2.根据权利要求1所述的基于图网络的多粒度特征学习的图像精细分类方法，其特征在于，步骤S30包括：
步骤S31，以
Figure 657375DEST_PATH_IMAGE012
代表待分类图像从高到低排列的
Figure 437112DEST_PATH_IMAGE002
个粒度层级对应的特征；对于粒度层级节点
Figure 363480DEST_PATH_IMAGE013
，其初始状态特征
Figure 709011DEST_PATH_IMAGE014
；
步骤S32，在
Figure 78943DEST_PATH_IMAGE015
时刻，从
Figure 80397DEST_PATH_IMAGE013
的邻居节点
Figure 810456DEST_PATH_IMAGE016
聚集信息
Figure 744914DEST_PATH_IMAGE017
；
Figure 800594DEST_PATH_IMAGE018
为预先设定的多粒度特征学习周期；
步骤S33，基于
Figure 335350DEST_PATH_IMAGE015
时刻
Figure 806782DEST_PATH_IMAGE013
的聚集信息
Figure 861326DEST_PATH_IMAGE017
以及
Figure 87908DEST_PATH_IMAGE019
时刻
Figure 595113DEST_PATH_IMAGE013
的状态特征
Figure 417706DEST_PATH_IMAGE020
，获取
Figure 795598DEST_PATH_IMAGE015
时刻节点
Figure 661923DEST_PATH_IMAGE013
的状态特征
Figure 187582DEST_PATH_IMAGE021
；
步骤S34，令
Figure 797555DEST_PATH_IMAGE022
，迭代进行步骤S32和步骤S33，获得
Figure 29953DEST_PATH_IMAGE023
时刻各粒度层级节点的状态特征
Figure 313517DEST_PATH_IMAGE024
，构成多粒度层级关联状态特征集。
3.根据权利要求2所述的基于图网络的多粒度特征学习的图像精细分类方法，其特征在于，步骤S32中“从
Figure 326473DEST_PATH_IMAGE013
的邻居节点
Figure 740137DEST_PATH_IMAGE025
聚集信息
Figure 827041DEST_PATH_IMAGE026
”，其方法为：
Figure 300748DEST_PATH_IMAGE027
其中，
Figure 20573DEST_PATH_IMAGE028
为粒度层级节点
Figure 237928DEST_PATH_IMAGE013
的领域，
Figure 241656DEST_PATH_IMAGE029
为
Figure 823947DEST_PATH_IMAGE019
时刻可学习的线性变换矩阵，
Figure 280336DEST_PATH_IMAGE030
是
Figure 285070DEST_PATH_IMAGE013
的邻居节点
Figure 408884DEST_PATH_IMAGE025
在
Figure 224393DEST_PATH_IMAGE019
时刻的状态特征。
4.根据权利要求2所述的基于图网络的多粒度特征学习的图像精细分类方法，其特征在于，步骤S33中“基于
Figure 371341DEST_PATH_IMAGE015
时刻
Figure 664919DEST_PATH_IMAGE013
的聚集信息
Figure 393972DEST_PATH_IMAGE017
以及
Figure 380382DEST_PATH_IMAGE019
时刻
Figure 14626DEST_PATH_IMAGE013
的状态特征
Figure 111895DEST_PATH_IMAGE020
，获取
Figure 944722DEST_PATH_IMAGE015
时刻节点
Figure 354231DEST_PATH_IMAGE013
的状态特征
Figure 272508DEST_PATH_IMAGE021
”，其方法为：
Figure 111151DEST_PATH_IMAGE031
Figure 798485DEST_PATH_IMAGE032
Figure 392277DEST_PATH_IMAGE033
其中，
Figure 283004DEST_PATH_IMAGE034
、
Figure 190917DEST_PATH_IMAGE035
、
Figure 732757DEST_PATH_IMAGE036
、
Figure 231871DEST_PATH_IMAGE037
、
Figure 124741DEST_PATH_IMAGE038
和
Figure 351192DEST_PATH_IMAGE039
是可学习参数，
Figure 216380DEST_PATH_IMAGE040
代表sigmoid函数，
Figure 886395DEST_PATH_IMAGE041
代表按元素相乘，
Figure 266561DEST_PATH_IMAGE043
代表双曲正切函数。
5.根据权利要求1所述的基于图网络的多粒度特征学习的图像精细分类方法，其特征在于，所述分类器为Softmax分类器。
6.根据权利要求1所述的基于图网络的多粒度特征学习的图像精细分类方法，其特征在于，所述多粒度层级特征提取网络，其粒度层级为三层时，主干网络由conv_1, conv_2x，conv_3x组成，科层级分支网络由conv_4x构成，属层级分支网络和种层级分支网络均由conv_4x，conv_5x构成。
7.一种基于图网络的多粒度特征学习的图像精细分类***，其特征在于，该图像精细分类***包括多粒度层级关系图构建模块、特征提取模块、特征学习模块和分类模块；
所述多粒度层级关系图构建模块，配置为以
Figure 47435DEST_PATH_IMAGE001
代表获取的待分类图像从高到低排列的
Figure 314600DEST_PATH_IMAGE002
个粒度层级，构建待分类图像的多粒度层级关系图：
Figure 358779DEST_PATH_IMAGE003
其中，
Figure 960662DEST_PATH_IMAGE004
是由
Figure 810806DEST_PATH_IMAGE002
个粒度层级组成的点的集合，
Figure 181745DEST_PATH_IMAGE005
表示粒度层级
Figure 439901DEST_PATH_IMAGE006
的节点；
Figure 466763DEST_PATH_IMAGE007
是
Figure 855019DEST_PATH_IMAGE008
中任意两个粒度层级节点组成的边的集合，
Figure 346043DEST_PATH_IMAGE009
表示粒度层级节点
Figure 528762DEST_PATH_IMAGE010
和
Figure 855970DEST_PATH_IMAGE011
之间的无向边；
所述特征提取模块，配置为通过训练好的多粒度层级特征提取网络提取所述多粒度层级关系图中每一个粒度层级的特征，获得多粒度层级特征集；
所述特征学习模块，配置为进行所述多粒度层级特征集中各粒度层级特征的层级关系嵌入，获得多粒度层级关联状态特征集；
所述分类模块，配置为对于所述多粒度层级关联状态特征集中每一个粒度层级关联状态特征，通过分类器获取各粒度层级图像的预测类别；
其中，所述多粒度层级特征提取网络基于Lip-ResNet50构建，包括主干网络和各粒度层级的分支网络，以交叉熵函数作为所述多粒度层级特征提取网络训练的损失函数。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于图网络的多粒度特征学习的图像精细分类方法。
9.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-6任一项所述的基于图网络的多粒度特征学习的图像精细分类方法。
CN202010918782.2A 2020-09-04 2020-09-04 基于图网络的多粒度特征学习的图像精细分类方法及*** Active CN111814920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010918782.2A CN111814920B (zh) 2020-09-04 2020-09-04 基于图网络的多粒度特征学习的图像精细分类方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010918782.2A CN111814920B (zh) 2020-09-04 2020-09-04 基于图网络的多粒度特征学习的图像精细分类方法及***

Publications (2)

Publication Number Publication Date
CN111814920A CN111814920A (zh) 2020-10-23
CN111814920B true CN111814920B (zh) 2021-01-05

Family

ID=72859957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010918782.2A Active CN111814920B (zh) 2020-09-04 2020-09-04 基于图网络的多粒度特征学习的图像精细分类方法及***

Country Status (1)

Country Link
CN (1) CN111814920B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633495B (zh) * 2020-12-18 2023-07-18 浙江大学 一种用于小样本类增量学习的多粒度快慢学习方法
CN112990048B (zh) * 2021-03-26 2021-11-23 中科视语(北京)科技有限公司 车纹识别方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930452A (zh) * 2010-07-02 2010-12-29 吉林大学 基于智能计算的多粒度图像检索方法
CN108875827B (zh) * 2018-06-15 2022-04-12 拓元(广州)智慧科技有限公司 一种细粒度图像分类的方法及***
CN109002845B (zh) * 2018-06-29 2021-04-20 西安交通大学 基于深度卷积神经网络的细粒度图像分类方法
CN109102024B (zh) * 2018-08-14 2021-08-31 中山大学 一种用于物体精细识别的层次语义嵌入模型及其实现方法
US11276164B2 (en) * 2018-08-21 2022-03-15 International Business Machines Corporation Classifier trained with data of different granularity
RU2706960C1 (ru) * 2019-01-25 2019-11-22 Самсунг Электроникс Ко., Лтд. Вычислительно эффективное многоклассовое распознавание изображений с использованием последовательного анализа нейросетевых признаков
KR102068277B1 (ko) * 2019-10-04 2020-02-11 주식회사 루닛 이미지 분석 방법 및 시스템
CN110866649B (zh) * 2019-11-19 2022-09-20 中国科学院深圳先进技术研究院 一种短期地铁客流预测方法、***及电子设备
CN111461181B (zh) * 2020-03-16 2021-09-07 北京邮电大学 一种车辆细粒度分类方法及装置

Also Published As

Publication number Publication date
CN111814920A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
Singh et al. Self-supervised feature learning for semantic segmentation of overhead imagery
Romera-Paredes et al. Recurrent instance segmentation
Bhandari et al. Modified artificial bee colony based computationally efficient multilevel thresholding for satellite image segmentation using Kapur’s, Otsu and Tsallis functions
CN109816009A (zh) 基于图卷积的多标签图像分类方法、装置及设备
CN111814920B (zh) 基于图网络的多粒度特征学习的图像精细分类方法及***
CN110070115A (zh) 一种单像素攻击样本生成方法、装置、设备及存储介质
Brust et al. Active and incremental learning with weak supervision
CN103971136A (zh) 一种面向大规模数据的并行结构化支持向量机分类方法
CN113128478A (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
JP2015036939A (ja) 特徴抽出プログラム及び情報処理装置
CN105844647A (zh) 一种基于颜色属性的核相关目标跟踪方法
CN105164672A (zh) 内容分类
CN110751191A (zh) 一种图像的分类方法及***
CN110263136B (zh) 基于强化学习模型向用户推送对象的方法和装置
CN115439715A (zh) 基于反标签学习的半监督少样本图像分类学习方法及***
CN110163206B (zh) 车牌识别方法、***、存储介质和装置
CN116844032A (zh) 一种海洋环境下目标检测识别方法、装置、设备及介质
Mancini et al. Boosting binary masks for multi-domain learning through affine transformations
CN116597211A (zh) 基于对比学习与自相关增量学习的多目标域自适应方法
CN115115923B (zh) 模型训练方法、实例分割方法、装置、设备及介质
Belhi et al. Study and evaluation of pre-trained CNN networks for cultural heritage image classification
CN111414922A (zh) 特征提取方法、图像处理方法、模型训练方法及装置
Golovko et al. Brands and caps labeling recognition in images using deep learning
CN114492602A (zh) 一种样本处理方法、装置、电子设备及存储介质
Wang et al. Learning deep representations for scene labeling with semantic context guided supervision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Guo Haiyun

Inventor after: Wang Jinqiao

Inventor after: Wu Hongyan

Inventor before: Guo Haiyun

Inventor before: Wang Jinqiao

Inventor before: Wu Hongyan

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240620

Address after: 200-19, 2nd Floor, Building B, Wanghai Building, No.10 West Third Ring Middle Road, Haidian District, Beijing, 100036

Patentee after: Zhongke Zidong Taichu (Beijing) Technology Co.,Ltd.

Country or region after: China

Address before: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District

Patentee before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Country or region before: China