CN114463596A - 一种超图神经网络的小样本图像识别方法、装置及设备 - Google Patents

一种超图神经网络的小样本图像识别方法、装置及设备 Download PDF

Info

Publication number
CN114463596A
CN114463596A CN202111633547.1A CN202111633547A CN114463596A CN 114463596 A CN114463596 A CN 114463596A CN 202111633547 A CN202111633547 A CN 202111633547A CN 114463596 A CN114463596 A CN 114463596A
Authority
CN
China
Prior art keywords
super
semantic
neural network
training set
hypergraph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111633547.1A
Other languages
English (en)
Inventor
胡伏原
陈昊
李敏
李林燕
张炯
赵柳清
杜凯乐
沈鸣飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Office Of Suzhou Municipal People's Government
Suzhou Jiatu Intelligent Drawing Information Technology Co ltd
Suzhou University of Science and Technology
Original Assignee
Office Of Suzhou Municipal People's Government
Suzhou Jiatu Intelligent Drawing Information Technology Co ltd
Suzhou University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Office Of Suzhou Municipal People's Government, Suzhou Jiatu Intelligent Drawing Information Technology Co ltd, Suzhou University of Science and Technology filed Critical Office Of Suzhou Municipal People's Government
Priority to CN202111633547.1A priority Critical patent/CN114463596A/zh
Publication of CN114463596A publication Critical patent/CN114463596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种超图神经网络的小样本图像识别方法，利用卷积神经网络中空洞卷积的不同感受野来获取不同结构的多语义特征，构建多语义超图；利用超图神经网络聚合多语义超图中超节点的所有超边信息更新初始超节点特征表示，得到训练集的超节点特征表示；根据训练集的超节点特征表示，得到多语义分布信息，将多语义分布信息与训练集的超节点特征表示进行信息交互，通过相互迭代更新来不断优化多语义超图，得到训练集的目标超节点特征表示，根据训练集的目标超节点特征表示，计算得到训练集中查询集的分类结果。本发明通过超图结构的图像消息传递，捕获丰富的语义嵌入特征和多个语义分布特征，实现了小样本图像分类的识别。

Description

一种超图神经网络的小样本图像识别方法、装置及设备
技术领域
本发明涉及图像识别技术领域，尤其是指一种超图神经网络的小样本图像识别方法、装置、设备及计算机可读存储介质。
背景技术
近年来，基于小样本学***关系，并且优于分类任务中的大多数现有方法。
传统的图结构小样本学习，由于小样本学习任务样本数量很少，传统的小样本学习方法容易出现过拟合。最近一些工作探索在样本实例间构建图结构，并利用图神经网络来增强小样本学习任务的识别。总得来说，一个完全连接的图结构G＝(V,E)是通过卷积神经网络CNN提取样本的特征，每个节点表示一个样本，边代表所连两个样本的二值关系。
Figure BDA0003440906400000011
和
Figure BDA0003440906400000012
分别表示图的节点集合和边集合。边eij表示节点vi和vj之间的关系，如果eij＝1表示节点vi和vj属于同一类别。可以看出，基于图的小样本学习中的二元关系只来自标签差异，而忽略了样本中包含的丰富语义特征。这可能会限制其性能。因此，需要设计一种超图神经网络的小样本图像识别方法。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中基于图的小样本学习中的二元关系只来自标签差异，而忽略了样本中包含的丰富语义特征的缺陷。
为解决上述技术问题，本发明提供了一种超图神经网络的小样本图像识别方法，包括：
S101：构建小样本图像识别神经网络；其中，所述小样本图像识别神经网络包括卷积神经网络和超图神经网络；
S102：将训练集输入到所述小样本图像识别神经网络中进行训练；其中，所述训练集包括支持集和查询集；
S103：利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征；
S104：根据所述训练集的多语义特征构建超节点，计算每两个超节点之间的语义相似度，根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图；
S105：利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示；
S106：根据所述训练集的超节点特征表示，得到多语义分布信息，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图，返回执行所述步骤S105，以便迭代更新所述多语义超图直至更新次数到达既定阈值，得到所述训练集的目标超节点特征表示；
S107：根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果。
在本发明的一个实施例中，所述利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征包括：
将所述训练集输入到所述卷积神经网络CNN中；
利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征Uk＝DilatedCobv(CNN(X)，γk)；
其中，X为所述训练集，γk为所述空洞卷积的k次膨胀率，k∈{1，...，K}，K为所述多语义特征的数量。
在本发明的一个实施例中，所述根据所述训练集的多语义特征构建超节点，计算每两个超节点之间的语义相似度，根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图包括：
根据所述训练集的多语义特征构建超节点；
通过所述多语义特征的关系矩阵Ak＝f(Uk；Wk)，计算每两个超节点之间的多语义特征的相似度
Figure BDA0003440906400000031
其中，Wk为所述多语义特征的可训练参数，
Figure BDA0003440906400000032
为超节点i的多语义特征，
Figure BDA0003440906400000033
为超节点j的多语义特征，σ为激活函数；
根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图。
在本发明的一个实施例中，所述利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示包括：
将所述多语义超图输入到所述超图神经网络中；
利用所述超图神经网络U＝[U，D-1BDB-1U]W，聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示；
其中，U＝[Uk，k≤K]，U为所述多语义超图中超节点的特征表示集合，W为所述超图神经网络的可学习参数，B为所述多语义超图中每个超节点对每个超边的影响程度，D为所述多语义超图中每个超边到每个超节点的影响程度。
在本发明的一个实施例中，所述根据所述训练集的超节点特征表示，得到多语义分布信息，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图包括：
根据所述训练集的超节点特征表示，得到多语义分布信息；
根据AV＝f(V；WV)和Au＝f(UU；WU)，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图；
其中，AV为所述多语义分布信息的关系矩阵，Au为所述超节点的关系矩阵，V为所述多语义分布信息，UU为所述训练集的超节点特征表示，WV为所述多语义分布信息的可训练参数，WU为所述训练集的超节点特征表示的可训练参数。
在本发明的一个实施例中，所述根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果包括：
根据
Figure BDA0003440906400000041
计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果；
其中，yj为所述支持集中第j个样本，Al(U，ij)为所述目标超节点特征表示的关系矩阵，N表示所述支持集的类别数，K表示所述支持集每个类别的样本数。
在本发明的一个实施例中，所述根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果后包括：
将评估集输入到所述小样本图像识别神经网络中，得到所述评估集中查询集的分类结果；
根据所述评估集中查询集的分类结果，计算所述小样本图像识别神经网络的损失函数
Figure BDA0003440906400000042
对所述小样本图像识别神经网络进行评估；
其中，ζce为交叉熵损失函数，
Figure BDA0003440906400000043
为关系损失函数，λ1为第一超参数，λ2为第二超参数，p为所述评估集中查询集的分类结果，L为所述评估集所对应的超节点特征表示的迭代更新次数。
本发明提供了一种超图神经网络的小样本图像识别学习装置，包括：
第一构建模块，用于构建小样本图像识别神经网络；其中，所述小样本图像识别神经网络包括卷积神经网络和超图神经网络；
输入模块，用于将训练集输入到所述小样本图像识别神经网络中进行训练；其中，所述训练集包括支持集和查询集；
卷积模块，用于利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征；
第二构建模块，用于根据所述训练集的多语义特征构建超节点，计算每两个超节点之间的语义相似度，根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图；
超节点特征更新模块，用于利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示；
迭代更新模块，用于根据所述训练集的超节点特征表示，得到多语义分布信息，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图，返回执行所述步骤S105，以便迭代更新所述多语义超图直至更新次数到达既定阈值，得到所述训练集的目标超节点特征表示；
计算模块，用于根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果。
本发明提供了一种超图神经网络的小样本图像识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述一种超图神经网络的小样本图像识别方法的步骤。
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种超图神经网络的小样本图像识别方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的超图神经网络的小样本图像识别方法，通过构建小样本图像识别神经网络，将训练集输入到小样本图像识别神经网络中进行训练，利用卷积神经网络中空洞卷积的不同感受野来获取不同结构的多语义特征，构建多语义超图；利用超图神经网络聚合多语义超图中超节点的所有超边信息更新初始超节点特征表示，得到训练集的超节点特征表示；根据训练集的超节点特征表示，得到多语义分布信息，将多语义分布信息与训练集的超节点特征表示进行信息交互，通过相互迭代更新来不断优化多语义超图，得到训练集的目标超节点特征表示，根据训练集的目标超节点特征表示，计算得到训练集中查询集的分类结果。本发明通过卷积神经网络构建多语义超图，通过超图神经网络聚合多语义超图中超节点的所有超边信息更新初始超节点特征表示，通过引入多语义分布信息与训练集的超节点特征表示进行信息交互，相互迭代更新来不断优化多语义超图，通过多语义超图的消息传递，用构造的多语义超图学习正确的节点表示，捕获丰富的语义嵌入特征和多个语义分布特征，以指导小样本图像分类的识别，提高小样本图像识别方法的精度。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明所提供的超图神经网络的小样本图像识别方法的第一种具体实施例的流程图；
图2为本发明所提供的超图神经网络的小样本图像识别方法的第二种具体实施例的流程图；
图3为本发明所提供的超图神经网络的小样本图像识别方法的示意图；
图4为构建多语义超图的示意图；
图5a为传统图的结构图；
图5b为超图的结构图；
图6为超图神经网络更新的示意图；
图7为本发明实施例提供的一种超图神经网络的小样本图像识别方法的结构框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1所示，图1为本发明所提供的超图神经网络的小样本图像识别方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：构建小样本图像识别神经网络；其中，所述小样本图像识别神经网络包括卷积神经网络和超图神经网络；
步骤S102：将训练集输入到所述小样本图像识别神经网络中进行训练；其中，所述训练集包括支持集和查询集；
步骤S103：利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征；
步骤S104：根据所述训练集的多语义特征构建超节点，计算每两个超节点之间的语义相似度，根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图；
步骤S105：利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示；
步骤S106：根据所述训练集的超节点特征表示，得到多语义分布信息，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图，返回执行所述步骤S105，以便迭代更新所述多语义超图直至更新次数到达既定阈值，得到所述训练集的目标超节点特征表示；
步骤S107：根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果。
本实施例所提供的方法，通过基于超图的结构来克服基于图的小样本学习的局限性，通过卷积神经网络构建多语义超图，能够针对样本所存在的不同语义特征构建高阶复杂的关联关系，通过超图神经网络聚合多语义超图中超节点的所有超边信息更新初始超节点特征表示，来挖掘小样本学习中小数示例之间复杂的潜在语义关系，通过引入多语义分布信息与训练集的最终超节点特征表示进行信息交互，相互迭代更新来不断优化多语义超图，通过多语义超图的消息传递，用构造的多语义超图学习正确的节点表示，捕获丰富的语义嵌入特征和多个语义分布特征，以指导小样本图像分类的识别。
基于上述实施例，本实施例是对超图神经网络的小样本图像识别方法作进一步说明，请参考图2和图3所示，图2为本发明所提供的超图神经网络的小样本图像识别方法的第二种具体实施例的流程图；图3为本发明所提供的超图神经网络的小样本图像识别方法的示意图；具体操作步骤如下：
步骤S201：构建小样本图像识别神经网络；其中，所述小样本图像识别神经网络包括卷积神经网络和超图神经网络；
步骤S202：将训练集输入到所述小样本图像识别神经网络中进行训练；其中，所述训练集包括支持集和查询集，所述支持集为未标记的图像，所述查询集为已标记的图像；
步骤S203：利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征；
利用所述卷积神经网络中空洞卷积的不同感受野来获取不同结构的多语义特征，公式如下：
Uk＝DilatedConv(CNN(X)，γk)
其中，Uk∈R|V|×d为样本第k个语义的特征表示，d为特征维度，X为所述训练集，γk为所述空洞卷积的k次膨胀率，k∈{1，...，K}。所述多语义特征的提取可以通过空洞卷积或多头部样本关系等其他方法提取，在本发明的实施例中不作限定。
步骤S204：根据所述训练集的多语义特征构建超节点，计算每两个超节点之间的语义相似度，根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图；
所述多语义的超节点特征表示为U∈R|V|×Kd，多语义特征通过单语义特征级联所得，具体公式如下：
U＝[Uk，k≤K]
其中，[·]为级联操作，U为所述多语义超图中超节点的特征表示集合。多语义超节点可以使具有不同语义的特征尽可能多样化，不同扩张率的空洞卷积能有效地抓住多种语义特征，因为不同的感受野对物体从小到大，从纹理到整体都给予足够的关注。
在语义层次构造特定的超边，计算每两个超节点之间的语义相似度。其中，第k个语义关系矩阵为Ak∈R|V|×|V|，公式如下：
Ak＝f(Uk；Wk)
两个样本的关系公式为
Figure BDA0003440906400000091
其中，Wk为可训练参数，σ为一个激活函数。
Figure BDA0003440906400000092
为样本i和样本j语义k的相似性的程度。在超节点设置一个具有固定节点数的超边，选取最相似的m(m＞1)个节点构建超边。对于语义k，构建的超边为
Figure BDA0003440906400000093
在小样本学习中，让|Ek|＝|V|来获得更多信息的超边。然后整个多语义超边的公式如下：
E＝UkEk
其中，|E|＝K|V|。构建所述多语义超图如图4所示。
步骤S205：利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示；
与普通的图神经网络相比，超图可以连接两个以上的具有相同语义信息的节点，如图5所示。在构造完多语义超图之后，通过更新每个超节点的特征来获得重要信息。在构建的多语义超图中，超节点和超边的关系矩阵H∈R|V|×|E|，具体公式如下：
Figure BDA0003440906400000094
H在多个语义之间架起了桥梁，具有不同语义的超节点将被突出显示。这有助于了解不同语义之间的关系。在多语义超图上定义卷积操作能有效地传播多个超节点的特征表示。所述超图卷积神经网络公式如下：
U＝[U，D-1BDB-1U]W
其中，W∈R2Kd×Kd为可学习参数，B∈R|E|×|V|和D∈R|V|×|E|分别为每个超节点对每个超边和每个超边到超节点的影响程度。具体公式如下：
B＝HT，D＝H⊙I
其中，⊙为对应元素的乘积，I＝[AK，k≤K]，为样本所有语义的分布信息。
所述超图神经网络通过聚集超节点表示和超边来获取超节点信息。具体来说，D-1B为对每个超边的超节点赋予每个连接的超节点对应该超边的重要性权重，然后收集每个节点的语义信息，得到该超边所代表的语义信息。此外，对与该超边关联的其他超边进行聚合，学习超边的特征表示。DB-1通过聚合该超节点所有的超边信息来更新该超节点的最终表示特征。超图神经网络更新如图6所示。
步骤S206：根据所述训练集的超节点特征表示，得到多语义分布信息，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图，返回执行所述步骤S205，以便迭代更新所述多语义超图直至更新次数到达既定阈值，得到所述训练集的目标超节点特征表示；
超图神经网络将具有相同语义的节点连接起来以获取更多的信息，这有利于有效地更新节点表示。然而，由于小样本学习中的样本数量较少，超图构造的合理性极大地影响了最终的学习效果。尽管通过多种语义关联了多个节点，但超图构建的合理性依旧不够，难以令人信服，因为我们获得的超边不能保证绝对的可靠性。因此，我们引入多语义分布信息表示V：
Figure BDA0003440906400000101
其中，Wd和bd为可学习参数。所述多语义分布信息相当于在任意两个超节点之间计算的多语义信息相似性分布，该信息可能提供不包括在可视内容中的信息。多语义分布信息和超节点的关系矩阵公式如下：
AV＝f(V；WV)，Au＝f(UU；WU)
其中，AV为所述多语义分布信息的关系矩阵，Au为所述超节点的关系矩阵，V为所述多语义分布信息，UU为所述训练集的超节点特征表示，WV为所述多语义分布信息的可训练参数，WU为所述训练集的超节点特征表示的可训练参数。
通过这两个关系矩阵来更新得到新的超图结构，然后再对超图进行学习更新超节点和多语义分布信息，这样通过不断迭代的方式来相互传播超节点信息和多语义分布信息，最终得到不断优化后的超节点特征表示。
在多语义超图小样本学习中，语义分布消息通过多语义特征和分布特征之间的相互学习，不断优化超图结构和超节点特征表示。
步骤S207：根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果；
根据
Figure BDA0003440906400000111
计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果；
其中，yj为所述支持集中第j个样本，Al(U，ij)为所述目标超节点特征表示的关系矩阵，N表示所述支持集的类别数，K表示所述支持集每个类别的样本数。
步骤S208：将评估集输入到所述小样本图像识别神经网络中，得到所述评估集中查询集的分类结果；
步骤S209：根据所述评估集中查询集的分类结果，计算所述小样本图像识别神经网络的损失函数，对所述样本图像识别神经网络进行评估；
所述小样本图像识别神经网络的损失函数如下：
Figure BDA0003440906400000112
其中，λ1为第一超参数，λ2为第二超参数，L为为所述评估集所对应的超节点特征表示的迭代更新次数，ζce为交叉熵损失函数，
Figure BDA0003440906400000113
为关系损失函数，公式如下：
Figure BDA0003440906400000114
其中，ζBCE为二值化损失函数，Al(U，ij)为第l代样本i，j特征的关系相似度，Al(V，ij)为第l代样本i，j多语义分布信息的关系相似度，α为第三超参数，β为第三超参数，α和β用于平衡两个损失函数，rij为监督学习的关系标签。公式如下：
Figure BDA0003440906400000121
步骤S210：利用完成评估的所述小样本图像识别神经网络对测试集进行识别分类。
本实施例所提供的方法，通过基于超图的结构来克服基于图的小样本学习的局限性，能够针对样本所存在的不同语义特征构建高阶复杂的关联关系，挖掘小样本学习中小数示例之间复杂的潜在语义关系，能够提升小样本学习识别的准确度，高效准确的实时检测目标并识别，借助多语义超图神经网络结构，能够学习到更加精确的图像特征表示，获得图像样本多语义信息，改善图像细节丢失，背景噪声干扰等问题，使得图像的特征表示更准确、更丰富、更自然。
请参考图7，图7为本发明实施例提供的一种超图神经网络的小样本图像识别方法的结构框图；具体装置可以包括：
第一构建模块100，用于构建小样本图像识别神经网络；其中，所述小样本图像识别神经网络包括卷积神经网络和超图神经网络；
输入模块200，用于将训练集输入到所述小样本图像识别神经网络中进行训练；其中，所述训练集包括支持集和查询集；
卷积模块300，用于利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征；
第二构建模块400，用于根据所述训练集的多语义特征构建超节点，计算每两个超节点之间的语义相似度，根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图；
超节点特征更新模块500，用于利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示；
迭代更新模块600，用于根据所述训练集的超节点特征表示，得到多语义分布信息，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图，返回执行所述步骤S105，以便迭代更新所述多语义超图直至更新次数到达既定阈值，得到所述训练集的目标超节点特征表示；
计算模块700，用于根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果。
本实施例的超图神经网络的小样本图像识别装置用于实现前述的超图神经网络的小样本图像识别方法，因此超图神经网络的小样本图像识别装置中的具体实施方式可见前文中的超图神经网络的小样本图像识别方法的实施例部分，例如，100，200，300，400，500，600和700分别用于实现上述超图神经网络的小样本图像识别方法中步骤S101，S102，S103、S104，S105，S106和S107所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种超图神经网络的小样本图像识别设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种超图神经网络的小样本图像识别方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种超图神经网络的小样本图像识别方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种超图神经网络的小样本图像识别方法，其特征在于，包括：
S101：构建小样本图像识别神经网络；其中，所述小样本图像识别神经网络包括卷积神经网络和超图神经网络；
S102：将训练集输入到所述小样本图像识别神经网络中进行训练；其中，所述训练集包括支持集和查询集；
S103：利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征；
S104：根据所述训练集的多语义特征构建超节点，计算每两个超节点之间的语义相似度，根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图；
S105：利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示；
S106：根据所述训练集的超节点特征表示，得到多语义分布信息，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图，返回执行所述步骤S105，以便迭代更新所述多语义超图直至更新次数到达既定阈值，得到所述训练集的目标超节点特征表示；
S107：根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征包括：
将所述训练集输入到所述卷积神经网络CNN中；
利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征Uk＝DilatedConv(CNN(X),γk)；
其中，X为所述训练集，γk为所述空洞卷积的k次膨胀率，k∈{1,…,K}，K为所述多语义特征的数量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述训练集的多语义特征构建超节点，计算每两个超节点之间的语义相似度，根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图包括：
根据所述训练集的多语义特征构建超节点；
通过所述多语义特征的关系矩阵Ak＝f(Uk；Wk)，计算每两个超节点之间的多语义特征的相似度
Figure FDA0003440906390000021
其中，Wk为所述多语义特征的可训练参数，
Figure FDA0003440906390000022
为超节点i的多语义特征，
Figure FDA0003440906390000023
为超节点j的多语义特征，σ为激活函数；
根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图。
4.根据权利要求1所述的方法，其特征在于，所述利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示包括：
将所述多语义超图输入到所述超图神经网络中；
利用所述超图神经网络U＝[U,D-1BDB-1U]W，聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示；
其中，U＝[Uk,k≤K]，U为所述多语义超图中超节点的特征表示集合，W为所述超图神经网络的可学习参数，B为所述多语义超图中每个超节点对每个超边的影响程度，D为所述多语义超图中每个超边到每个超节点的影响程度。
5.根据权利要求1所述的方法，其特征在于，所述根据所述训练集的超节点特征表示，得到多语义分布信息，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图包括：
根据所述训练集的超节点特征表示，得到多语义分布信息；
根据AV＝f(V；WV)和Au＝f(UU；WU)，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图；
其中，AV为所述多语义分布信息的关系矩阵，Au为所述超节点的关系矩阵，V为所述多语义分布信息，UU为所述训练集的超节点特征表示，WV为所述多语义分布信息的可训练参数，WU为所述训练集的超节点特征表示的可训练参数。
6.根据权利要求1所述的方法，其特征在于，所述根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果包括：
根据
Figure FDA0003440906390000031
计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果；
其中，yj为所述支持集中第j个样本，Al(U,ij)为所述目标超节点特征表示的关系矩阵,N表示所述支持集的类别数，K表示所述支持集每个类别的样本数。
7.根据权利要求1所述的方法，其特征在于，所述根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果后包括：
将评估集输入到所述小样本图像识别神经网络中，得到所述评估集中查询集的分类结果；
根据所述评估集中查询集的分类结果，计算所述小样本图像识别神经网络的损失函数
Figure FDA0003440906390000032
对所述小样本图像识别神经网络进行评估；
其中，ζce为交叉熵损失函数，
Figure FDA0003440906390000033
为关系损失函数，λ1为第一超参数，λ2为第二超参数，p为所述评估集中查询集的分类结果，L为所述评估集所对应的超节点特征表示的迭代更新次数。
8.一种超图神经网络的小样本图像识别装置，其特征在于，包括：
第一构建模块，用于构建小样本图像识别神经网络；其中，所述小样本图像识别神经网络包括卷积神经网络和超图神经网络；
输入模块，用于将训练集输入到所述小样本图像识别神经网络中进行训练；其中，所述训练集包括支持集和查询集；
卷积模块，用于利用所述卷积神经网络中空洞卷积的不同感受野，得到所述训练集的多语义特征；
第二构建模块，用于根据所述训练集的多语义特征构建超节点，计算每两个超节点之间的语义相似度，根据所述每两个超节点之间的语义相似度构建超边，得到多语义超图；
超节点特征更新模块，用于利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示，得到所述训练集的超节点特征表示；
迭代更新模块，用于根据所述训练集的超节点特征表示，得到多语义分布信息，将所述多语义分布信息与所述训练集的超节点特征表示进行信息交互，更新所述多语义超图的超边，得到新的多语义超图，返回执行所述步骤S105，以便迭代更新所述多语义超图直至更新次数到达既定阈值，得到所述训练集的目标超节点特征表示；
计算模块，用于根据所述训练集的目标超节点特征表示，计算所述查询集的超节点特征表示属于所述支持集类别的概率，得到所述查询集的分类结果。
9.一种超图神经网络的小样本图像识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述一种超图神经网络的小样本图像识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种超图神经网络的小样本图像识别方法的步骤。
CN202111633547.1A 2021-12-28 2021-12-28 一种超图神经网络的小样本图像识别方法、装置及设备 Pending CN114463596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111633547.1A CN114463596A (zh) 2021-12-28 2021-12-28 一种超图神经网络的小样本图像识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111633547.1A CN114463596A (zh) 2021-12-28 2021-12-28 一种超图神经网络的小样本图像识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114463596A true CN114463596A (zh) 2022-05-10

Family

ID=81407031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111633547.1A Pending CN114463596A (zh) 2021-12-28 2021-12-28 一种超图神经网络的小样本图像识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114463596A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116660389A (zh) * 2023-07-21 2023-08-29 山东大禹水务建设集团有限公司 一种基于人工智能的河道底泥探测及修复***
CN116845889A (zh) * 2023-09-01 2023-10-03 东海实验室 一种基于层次化超图神经网络的电力负载预测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116660389A (zh) * 2023-07-21 2023-08-29 山东大禹水务建设集团有限公司 一种基于人工智能的河道底泥探测及修复***
CN116660389B (zh) * 2023-07-21 2023-10-13 山东大禹水务建设集团有限公司 一种基于人工智能的河道底泥探测及修复***
CN116845889A (zh) * 2023-09-01 2023-10-03 东海实验室 一种基于层次化超图神经网络的电力负载预测方法
CN116845889B (zh) * 2023-09-01 2023-12-22 东海实验室 一种基于层次化超图神经网络的电力负载预测方法

Similar Documents

Publication Publication Date Title
CN110674323B (zh) 基于虚拟标签回归的无监督跨模态哈希检索方法及***
CN111507419B (zh) 图像分类模型的训练方法及装置
CN112364880B (zh) 基于图神经网络的组学数据处理方法、装置、设备及介质
US20200167659A1 (en) Device and method for training neural network
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN113779272B (zh) 基于知识图谱的数据处理方法、装置、设备及存储介质
CN111985601A (zh) 用于增量学习的数据识别方法
CN114463596A (zh) 一种超图神经网络的小样本图像识别方法、装置及设备
CN113821670B (zh) 图像检索方法、装置、设备及计算机可读存储介质
CN112905801A (zh) 基于事件图谱的行程预测方法、***、设备及存储介质
CN114639483A (zh) 一种基于图神经网络的电子病历检索方法及装置
CN113268370B (zh) 一种根因告警分析方法、***、设备及存储介质
CN110020435B (zh) 一种采用并行二进制蝙蝠算法优化文本特征选择的方法
CN112685504A (zh) 一种面向生产过程的分布式迁移图学习方法
CN114170333B (zh) 基于直推式半监督深度学习的图像哈希编码方法
CN112308115A (zh) 一种多标签图像深度学习分类方法及设备
CN115080587B (zh) 一种基于知识图谱的电子元器件替代方法、装置及介质
CN115293919A (zh) 面向社交网络分布外泛化的图神经网络预测方法及***
CN115952424A (zh) 一种基于多视图结构的图卷积神经网络聚类方法
CN110598869B (zh) 基于序列模型的分类方法、装置、电子设备
CN116340726A (zh) 一种能源经济大数据清洗方法、***、设备及存储介质
CN115599918B (zh) 一种基于图增强的互学习文本分类方法及***
US20230018525A1 (en) Artificial Intelligence (AI) Framework to Identify Object-Relational Mapping Issues in Real-Time
CN115392461A (zh) 植物布局模型的建立方法、获取方法、***及存储介质
JP6993250B2 (ja) コンテンツ特徴量抽出装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination