CN111814842B - 基于多通路图卷积神经网络的对象分类方法及装置 - Google Patents

基于多通路图卷积神经网络的对象分类方法及装置 Download PDF

Info

Publication number
CN111814842B
CN111814842B CN202010555093.XA CN202010555093A CN111814842B CN 111814842 B CN111814842 B CN 111814842B CN 202010555093 A CN202010555093 A CN 202010555093A CN 111814842 B CN111814842 B CN 111814842B
Authority
CN
China
Prior art keywords
node
probability
sample
topological
topology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010555093.XA
Other languages
English (en)
Other versions
CN111814842A (zh
Inventor
王啸
石川
朱美琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010555093.XA priority Critical patent/CN111814842B/zh
Publication of CN111814842A publication Critical patent/CN111814842A/zh
Application granted granted Critical
Publication of CN111814842B publication Critical patent/CN111814842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种对象的分类方法及装置,所述方法包括:获取待分类拓扑网络、第一拓扑信息及拓扑网络中每个节点的特征信息;基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定相似性拓扑图的第二拓扑信息;将第一拓扑信息、每个节点的特征信息及第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型;基于每个节点的类型,确定每个节点所表示的对象的类型。采用本发明实施例,可以提高对象分类的准确度。

Description

基于多通路图卷积神经网络的对象分类方法及装置
技术领域
本发明涉及数据处理技术领域,特别是涉及一种基于多通路图卷积神经网络的对象分类方法及装置。
背景技术
拓扑网络是表示构成网络的成员间的真实的或者虚拟的连接关系的网络,其应用非常广泛,例如生物网络、社交网络、引文网络等。拓扑网络通常由节点以及节点之间的边构成,其中节点表示构成网络的成员,也可以称为对象,例如可以为用户、商品、文献、图像、设备等。每个节点具有对应的特征信息,用于表示该节点所表示的对象的性质、特点等。节点之间的边表示各节点所表示的对象之间的关系,也就是拓扑信息。基于拓扑网络,可以解决现实中的很多问题,例如对象分类、信息推荐等。
例如,在图1所示的引文网络中,每个节点表示文献,包括文献1、文献2、文献3、文献4及文献5。这些节点的特征信息可以预先存储,可以包括文献的作者、涉及的技术领域、文献的发表日期等。节点之间的边表示文献之间的引用/被引用关系。
针对对象分类问题,目前通常通过GCNs(Graph Convolutional Networks,图卷积神经网络)实现。具体来说,可以预先训练用于对象分类的GCNs,当需要对某些对象进行分类时,可以获取这些对象对应的拓扑网络,将表示该拓扑网络中节点之间关系的拓扑信息及每个节点的特征信息输入GCNs,GCNs可以根据拓扑信息及每个节点的特征信息,确定该拓扑网络中每个节点的类型,进而将节点的类型确定为该节点所表示的对象的类型,完成对象的分类。
由于拓扑信息只能表示对应的两个节点之间的关系,特征信息只能表示对应的一个节点的特性,所以拓扑信息和特征信息并不能全面地体现各个节点之间差异,导致仅根据拓扑信息及特征信息确定节点的类型是不准确的,从而导致对象分类的准确度较低。
发明内容
本发明实施例的目的在于提供一种对象的分类方法及装置,以提高对象分类的准确度。具体技术方案如下:
第一方面,本发明实施例提供了一种对象的分类方法,所述方法包括:
获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息,其中,所述拓扑网络包括多个节点,每个节点表示一个对象;
基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定所述相似性拓扑图的第二拓扑信息;
将所述第一拓扑信息、每个节点的特征信息及所述第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型,其中,所述节点分类模型为基于预设训练集训练得到的,所述预设训练集包括拓扑网络样本的第一拓扑信息样本、所述拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,所述第二拓扑信息样本为基于所述拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息;
基于所述每个节点的类型,确定每个节点所表示的对象的类型。
第二方面,本发明实施例提供了一种对象的分类装置,所述装置包括:
获取模块,用于获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息,其中,所述拓扑网络包括多个节点,每个节点表示一个对象;
拓扑图构建模块,用于基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定所述相似性拓扑图的第二拓扑信息;
节点类型确定模块,用于将所述第一拓扑信息、每个节点的特征信息及所述第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型,其中,所述节点分类模型为模型训练模块基于预设训练集训练得到的,所述预设训练集包括拓扑网络样本的第一拓扑信息样本、所述拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,所述第二拓扑信息样本为基于所述拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息;
对象类型确定模块,用于基于所述每个节点的类型,确定每个节点所表示的对象的类型。
本发明实施例提供的方案中,电子设备可以获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息,其中,拓扑网络包括多个节点,每个节点表示一个对象;基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定相似性拓扑图的第二拓扑信息;将第一拓扑信息、每个节点的特征信息及第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型,其中,节点分类模型为基于预设训练集训练得到的,预设训练集包括拓扑网络样本的第一拓扑信息样本、拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,第二拓扑信息样本为基于拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息;基于每个节点的类型,确定每个节点所表示的对象的类型。通过节点分类模型对拓扑网络样本中的节点进行分类时,可以同时考虑第一拓扑信息、特征信息及第二拓扑信息,由于第二拓扑信息是基于每两个节点的特征信息之间的相似度构建的相似性拓扑图的拓扑信息,所以第二拓扑信息可以表示每两个节点的特征信息之间的相似度,第一拓扑信息、特征信息及第二拓扑信息也就可以更加全面体现各个节点之间的差异,因此可以提高节点分类的准确度,进而根据节点的类型可以准确确定节点表示的对象的类型,提高对象分类的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明实施例所提供的引文网络的一种示意图;
图2为本发明实施例所提供的一种对象分类的方法的流程图;
图3为本发明实施例所提供的相似性拓扑图的一种示意图;
图4为图2所示实施例中第二拓扑信息的确定方式的具体流程图;
图5为本发明实施例所提供的相似性拓扑图的另一种示意图;
图6为图1所示实施例中节点分类模型的训练方式的具体流程图;
图7为图6所示实施例中预测类型的确定方式的具体流程图;
图8为基于图7所示实施例的参数调整方式的具体流程图;
图9为本发明实施例所提供的初始节点分类模型的结构示意图;
图10(a)-图10(f)为本发明实施例中节点分类模型与其变体的分类准确率的对比图;
图11(a)-图11(f)为本发明实施例中第一、第二、第三权重参数的分布示意图;
图12(a)-图12(b)为本发明实施例中第一、第二、第三权重参数的变化趋势图;
图13(a)-图13(b)为本发明实施例中分类准确率与一致性参数之间关系的趋势图;
图14(a)-图14(b)为本发明实施例中分类准确率与差异性参数之间关系的趋势图;
图15(a)-图15(b)为本发明实施例中分类准确率与预设数量之间关系的趋势图;
图16为本发明实施例所提供的一种对象分类的装置的结构示意图;
图17为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了提高对象分类的准确度,本发明实施例提供了一种对象的分类方法、装置、电子设备及计算机可读存储介质。下面首先对本发明实施例提供的一种对象的分类方法进行介绍。其中,在本发明实施例所提供的对象分类方法中,对象的类型是基于多通路图卷积神经网络模型对待分类拓扑网络中的节点进行分类确定的,也就是说,所述对象的分类方法就是基于多通路图卷积神经网络的对象分类方法。
本发明实施例所提供的一种对象的分类方法可以应用于任意需要确定对象的类型的电子设备,例如,可以为电脑、处理器、服务器等。
如图2所示,一种对象的分类方法,所述方法包括:
S201,获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息;
其中,所述拓扑网络包括多个节点,每个节点表示一个对象。
S202,基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定所述相似性拓扑图的第二拓扑信息;
S203,将所述第一拓扑信息、每个节点的特征信息及所述第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型;
其中,所述节点分类模型为基于预设训练集训练得到的,所述预设训练集包括拓扑网络样本的第一拓扑信息样本、所述拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,所述第二拓扑信息样本为基于所述拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息。
S204,基于所述每个节点的类型,确定每个节点所表示的对象的类型。
本发明实施例提供的方案中,电子设备可以获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息,其中,拓扑网络包括多个节点,每个节点表示一个对象;基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定相似性拓扑图的第二拓扑信息;将第一拓扑信息、每个节点的特征信息及第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型,其中,节点分类模型为基于预设训练集训练得到的,预设训练集包括拓扑网络样本的第一拓扑信息样本、拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,第二拓扑信息样本为基于拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息;基于每个节点的类型,确定每个节点所表示的对象的类型。通过节点分类模型对拓扑网络样本中的节点进行分类时,可以同时考虑第一拓扑信息、特征信息及第二拓扑信息,由于第二拓扑信息是基于每两个节点的特征信息之间的相似度构建的相似性拓扑图的拓扑信息,所以第二拓扑信息可以表示每两个节点的特征信息之间的相似度,第一拓扑信息、特征信息及第二拓扑信息也就可以更加全面体现各个节点之间的差异,因此可以提高节点分类的准确度,进而根据节点的类型可以准确确定节点表示的对象的类型,提高对象分类的准确度。
为了确定各个对象的类型,在上述步骤S201中,电子设备可以获取待分类拓扑网络、第一拓扑信息及拓扑网络中每个节点的特征信息。其中,待分类拓扑网络为表示需要分类的对象之间的连接关系的网络,例如,待分类拓扑网络可以为引文网络、社交网络等。拓扑网络包括多个节点,每个对象对应一个节点,对象可以包括文献、用户、商品、图像等。第一拓扑信息表示对象之间的关系,节点的特征信息为表示该节点所表示的对象的性质、特点的信息。
例如,拓扑网络为社交网络,其包括的节点表示的对象为用户,第一拓扑信息表示用户之间的关注/被关注关系,节点的特征信息可以包括用户的性别、住址、爱好等。
上述第一拓扑信息表示对应的两个节点之间的关联关系,特征信息表示对应的一个节点的特性,因此第一拓扑信息和特征信息并不能全面地体现各个节点之间的差异。为了对上述拓扑网络包括的各个节点进行分类时能够全面考虑各个节点所表示的对象之间的差异,在上述步骤S202中,电子设备可以基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定相似性拓扑图的第二拓扑信息。
电子设备可以确定拓扑网络中每两个节点的特征信息之间的相似度,当两个节点的特征信息之间的相似度较高时,说明该两个节点所表示的对象之间的差异较小,那么该两个节点所表示的对象很可能为同一类型的对象;当两个节点的特征信息之间的相似度较低时,说明该两个节点所表示的对象之间的差异较大,那么该两个节点所表示的对象很可能不为同一类型的对象。这样,电子设备可以将较高的相似度所对应的两个节点相连,得到相似性拓扑图,进而可以确定相似性拓扑图的拓扑信息,作为第二拓扑信息,所以第二拓扑信息可以表示节点之间特征信息的相似度。
例如,拓扑网络样本包括节点1、节点2、节点3、节点4及节点5,电子设备确定节点1与节点2的特征信息之间的相似度较高,节点3与节点4的特征信息之间的相似度较高,节点4与节点5的特征信息之间的相似度较高,那么电子设备便可以将节点1与节点2相连,将节点3与节点4相连,将节点4与节点5相连,得到如图3所示的相似性拓扑图。
在确定第二拓扑信息之后,为了确定拓扑网络中每个节点的类型,电子设备便可以执行上述步骤S203,将第一拓扑信息、每个节点的特征信息及第二拓扑信息输入的节点分类模型,节点分类模型可以根据节点之间的关系、节点的特征信息及节点之间的相似度确定每个节点的类型。
其中,上述节点分类模型为预先基于预设训练集训练得到的,预设训练集包括拓扑网络样本的第一拓扑信息样本、拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,第二拓扑信息样本为基于拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息。在训练过程中,可以不断调整节点分类模型的参数以使其更加合适,直到获得符合要求的节点分类模型。
上述类型为预先基于对象的分类要求确定的。例如,对象为文献,分类要求为按照文献的所涉及的领域进行分类,若拓扑网络中的节点所表示的文献所涉及的领域分别为数据挖掘领域、计算机视觉领域及自然语言处理领域,那么该拓扑网络中的节点的类型便可以确定为“数据挖掘领域”、“计算机视觉领域”、及“自然语言处理领域”。
在确定拓扑网络样本中每个节点的类型之后,电子设备可以基于每个节点的类型确定每个节点所表示的对象的类型。例如,节点J1、节点J2的类型为类型L1、节点J3的类型为类型L2,电子设备可以确定节点J1及节点J2所表示的对象的类型为类型L1,并确定节点J3所表示的对象的类型为类型L2。
这样,对拓扑网络中的节点进行分类时,可以同时考虑第一拓扑信息、特征信息及第二拓扑信息,由于第二拓扑信息是基于每两个节点的特征信息之间的相似度构建的相似性拓扑图的拓扑信息,所以第二拓扑信息可以表示每两个节点的特征信息之间的相似度,第一拓扑信息、特征信息及第二拓扑信息也就可以更加全面体现各个节点之间的差异,因此可以提高节点分类的准确度,进而根据节点的类型可以准确确定节点表示的对象的类型,提高对象分类的准确度。
作为本发明实施例的一种实施方式,如图4所示,上述基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定所述相似性拓扑图的第二拓扑信息的步骤,可以包括:
S401,计算每两个节点的特征信息之间的相似度;
为了确定对象之间的相似程度,电子设备可以计算每两个节点的特征信息之间的相似度。为了方便确定每两个节点的特征信息之间的相似度,可以将节点的特征信息转化为对应的特征向量,转化方式可以为通过Word2vec模型进行转化等方式,在此不做具体限定。
在一种实施方式中,电子设备可以通过如下所示的公式,计算每两个节点的特征向量之间的余弦相似度,作为每两个节点的特征信息之间的相似度,获得拓扑网络样本对应的相似矩阵S:
其中,xi为节点i的特征向量,xj为节点j的特征向量,Sij为节点i与节点j的特征信息之间的相似度,n为拓扑网络样本包括的节点的数量。
在另一种实施方式中,电子设备可以通过如下所示的公式,计算每两个节点的特征向量之间的热核相似度,作为每两个节点的特征信息之间的相似度:
其中,t为时间参数,可以根据经验进行设置,例如t=2。
S402,针对每个节点,按照其他节点与该节点的特征信息之间的相似度由大到小的顺序,将所述其他节点中的前预设数量个节点,作为该节点的相似节点;
在获得每两个节点的特征信息之间的相似度之后,针对每个节点,为了确定其他节点中与该节点相似度较高的节点,电子设备可以按照其他节点与该节点的特征信息之间的相似度由大到小的顺序,将其他节点中的前预设数量个节点确定为与该节点相似度较高的节点,其他节点中与该节点相似度较高的节点即为该节点的相似节点。其中,上述预设数量可以根据经验值进行设置,例如可以为2、3、4等。
例如,预设数量为2,拓扑网络样本包括的节点中每两个节点之间的相似度如表1所示:
表1
根据表1,电子设备可以确定节点JD1的相似节点为节点JD2和节点JD3、节点JD2的相似节点为节点JD1和节点JD4、节点JD3的相似节点为节点JD1和节点JD4、节点JD4的相似节点为节点JD2和节点JD3。
S403,将所述每个节点与其相似节点相连,构建相似性拓扑图;
在确定每个节点的相似节点之后,电子设备可以将每个节点与其相似节点相连,这样,相似度较高的节点之间也就存在连边,从而生成拓扑网络样本对应的相似性拓扑图。
例如,基于上述步骤S402中的例子,电子设备可以将节点JD1、节点JD2、节点JD3及节点JD4分别与其相似节点相连,得到如图5所示的相似性拓扑图。
S404,确定所述相似性拓扑图的邻接矩阵,作为第二拓扑信息。
相似性拓扑图的拓扑信息可以表示节点之间的相似度。在获得相似性拓扑图后,电子设备可以确定相似性拓扑图的邻接矩阵,作为相似性拓扑图的拓扑信息,相似性拓扑图的拓扑信息也就是第二拓扑信息。
在邻接矩阵中,每个元素的值可以表示该元素对应的两个节点在拓扑网络中是否存在连边。通常,当某个元素对应的两个节点在拓扑网络中存在连边时,该元素的值为1,当某个元素对应的两个节点在拓扑网络中不存在连边时,该元素的值为0。由于相似性拓扑图中的边没有方向,因此相似性拓扑图对应的邻接矩阵为对称矩阵。
例如,对于图5所示的相似性拓扑图,节点JD1与节点JD2存在连边,节点JD1与节点JD3存在连边,节点JD2与节点JD4存在连边,节点JD3与节点JD4存在连边,电子设备可以确定该相似性拓扑图的邻接矩阵为:
可见,本发明实施例所提供的方案中,电子设备可以计算每两个节点的特征信息之间的相似度;针对每个节点,按照其他节点与该节点的特征信息之间的相似度由大到小的顺序,将其他节点中的前预设数量个节点,作为该节点的相似节点;将每个节点与其相似节点相连,构建相似性拓扑图;确定相似性拓扑图的邻接矩阵,作为第二拓扑信息。这样,电子设备可以基于每两个节点的特征信息之间的相似度,准确地确定第二拓扑信息。
作为本发明实施例的一种实施方式,如图6所示,上述节点分类模型的训练方式,可以包括:
S601,获取初始节点分类模型、拓扑网络样本、第一拓扑信息样本及所述拓扑网络样本中每个节点的特征信息样本;
为了方便确定各个对象的类型,可以通过预先训练生成的节点分类模型对这些对象对应的拓扑网络样本中表示各个对象的节点进行分类,得到节点的类型,然后基于节点的类型确定对象的类型。其中,对象可以包括图像、用户、商品、文献等。例如,当需要分类的对象为图像时,为了确定各个图像的类型,可以获取这些图像对应的拓扑网络样本,然后通过预先训练生成的节点分类模型该拓扑网络样本中的节点进行分类,得到节点的类型,然后基于节点的类型确定各个图像的类型。
为了生成能够准确确定节点的类型的节点分类模型,在上述步骤S601中,电子设备可以获取初始节点分类模型、拓扑网络样本、第一拓扑信息样本及拓扑网络样本中每个节点的特征信息样本。其中,初始节点分类模型可以为GCNs(Graph ConvolutionalNetworks,图卷积神经网络)等深度学习模型,其参数可以随机初始化。对于初始节点分类模型的结构在此不做具体限定。
拓扑网络样本为表示需要分类的对象之间的连接关系的网络,拓扑网络样本包括多个节点,每个对象对应一个节点,例如,拓扑网络样本可以为引文网络、社交网络等。第一拓扑信息样本表示对象之间的关系,节点的特征信息样本为表示该节点所表示的对象的性质、特点的信息。
S602,基于每两个节点的特征信息样本之间的相似度构建相似性拓扑图样本,并确定所述相似性拓扑图样本的第二拓扑信息样本;
为了更加全面地体现拓扑网络样本中各节点之间的差异,电子设备可以基于拓扑网络样本中每两个节点的特征信息样本之间的相似度,构建相似性拓扑图样本,并确定相似性拓扑图样本的拓扑信息,作为第二拓扑信息样本,其中第二拓扑信息样本可以表示拓扑网络样本中节点之间特征信息的相似度。这样,第一拓扑信息样本、每个节点的特征信息样本及第二拓扑信息样本也就可以更加全面体现拓扑网络样本中各节点之间的差异。
S603,根据预先标记的类型,从所述拓扑网络样本包括的节点中选取每种类型的多个节点,作为第一节点;
为了对初始节点分类模型进行训练,在上述步骤S603中,电子设备可以根据预先标记的类型,从拓扑网络样本包括的节点中选取每种类型的多个节点,作为第一节点。
上述类型为根据对拓扑网络样本中节点所表示的对象分类的要求预先确定的。电子设备可以根据对象分类的要求,预先标记拓扑网络样本中每个节点的类型,然后从拓扑网络样本包括的节点中选取每种类型的多个节点,作为第一节点,并记录每个第一节点的类型。
例如,对象为商品,分类要求为按照商品的产地进行分类,若拓扑网络样本中的节点所表示的商品的产地分别为产地CD1、产地CD2、产地CD3及产地CD4,那么该拓扑网络样本中的节点的类型便可以确定为“产地CD1”、“产地CD2”、“产地CD3”及“产地CD4”。电子设备可以确定该拓扑网络样本中每个节点的类型,然后确定类型为“产地CD1”的10个节点、类型为“产地CD2”的20个节点、类型为“产地CD3”的10个节点及类型为“产地CD4”的10个节点,作为第一节点,并记录每个第一节点的类型。
在一种实施方式中,电子设备可以预先标记拓扑网络样本中每个节点的类型,然后将拓扑网络样本中每个节点作为第一节点,并记录每个第一节点的类型。
S604,将所述第一拓扑信息样本、每个节点的特征信息样本及所述第二拓扑信息样本输入所述初始节点分类模型,确定每个第一节点的预测类型;
为了确定上述拓扑网络样本包括的每个节点的类型,在选取出第一节点之后,电子设备可以执行上述步骤S604,将第一拓扑信息样本、每个节点的特征信息样本及第二拓扑信息样本输入初始节点分类模型,初始分类模型可以根据节点之间的关系、节点的特征信息及节点之间的相似程度,确定每个节点的类型,作为每个第一节点的预测类型。
S605,基于所述第一节点的预测类型与其标记的类型之间的差异,调整所述初始节点分类模型的参数,直到所述初始节点分类模型收敛,停止训练,得到节点分类模型。
由于当前阶段的初始节点分类模型可能还无法准确对每个节点进行分类得到准确的分类结果,所以得到每个第一节点的预测类型之后,电子设备可以执行上述步骤S605,基于第一节点的预测类型与其标记的类型之间的差异,调整初始节点分类模型的参数,直到初始目标检测模型收敛,停止训练,得到节点分类模型。
电子设备可以将第一节点的预测类型与其标记的类型进行对比,进而根据第一节点的预测类型与其标记的类型之间的差异,调整初始节点分类模型的参数,以使初始节点分类模型的参数更加合适。
为了确定上述初始节点分类模型是否收敛,电子设备可以判断初始节点分类模型的迭代次数是否达到预设次数,或,初始节点分类模型的损失函数是否不大于预设值。
如果初始节点分类模型的迭代次数未达到预设次数,或,初始节点分类模型的损失函数大于预设值,说明当前的初始节点分类模型还未收敛,也就是说,当前的初始节点分类模型对上述拓扑网络样本包括的每个节点分类的准确度较低,那么电子设备需要继续训练初始节点分类模型。
如果初始节点分类模型的迭代次数达到预设次数,或,初始节点分类模型的损失函数不大于预设值,说明当前的初始节点分类模型已经收敛,也就是说,当前的初始节点分类模型对上述拓扑网络样本包括的每个节点分类的准确度较高,所以此时可以停止训练,得到节点分类模型。
上述预设次数可以根据分类的准确度、模型结构等因素设定,例如,可以为10000次、2000次、50000次等,在此不做具体限定。预设值可以根据分类的准确度、模型结构等因素设定,例如可以为0.75、0.8、0.95等,在此不做具体限定。调整初始节点分类模型的参数的方式可以为反向传播算法等模型参数调整方式,在此不做具体限定及说明。
可见,本发明实施例所提供的方案中,电子设备可以根据上述方式训练初始节点分类模型,得到符合要求的节点分类模型。这样,训练生成的节点分类模型的参数更加合适,可以更加准确确定节点的类型。
作为本发明实施例的一种实施方式,上述初始节点分类模型可以包括拓扑卷积层、相似性卷积层及公共卷积层。
如图7所示,上述将所述第一拓扑信息样本、每个节点的特征信息样本及所述第二拓扑信息样本输入所述初始节点分类模型,确定每个节点的预测类型的步骤,可以包括:
S701,将所述第一拓扑信息样本及每个节点的特征信息样本输入所述拓扑卷积层,基于所述第一拓扑信息样本、每个节点的特征信息样本及所述拓扑卷积层对应的参数,确定每个节点属于每种类型的概率,作为第一概率;
第一拓扑信息样本可以表示拓扑网络样本包括的节点之间的关系,节点的特征信息样本可以表征该节点所表示的对象的特性。由于节点的类型可能与节点之间的关系及节点所表示的对象的特性存在较大的关联,为了准确确定每个节点的类型,电子设备可以将第一拓扑信息样本及每个节点的特征信息样本输入拓扑卷积层,基于拓扑卷积层对应的参数,可以确定每个节点属于每种类型的概率,作为第一概率。其中,拓扑卷积层对应的参数可以表征第一拓扑信息及每个节点的特征信息对于确定每个节点属于每种类型的概率的权重,在训练过程中可以不断调整拓扑卷积层对应的参数以使其更加合适。
例如,预先标记的类型为类型C1、类型C2、类型C3,电子设备将第一拓扑信息样本及每个节点的特征信息样本输入拓扑卷积层,基于拓扑卷积层对应的参数可以确定每个节点分别属于类型C1、类型C2、类型C3的概率。
S702,将所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述相似性卷积层,基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述相似性卷积层对应的参数,确定每个节点属于每种类型的概率,作为第二概率;
第二拓扑信息样本可以表示拓扑网络样本包括的节点之间的相似度。由于节点的类型可能与节点之间的相似度及节点所表示的对象的特性存在较大的关联,为了准确确定每个节点的类型,电子设备可以将第二拓扑信息样本及每个节点的特征信息样本输入相似性卷积层,基于相似性卷积层对应的参数,可以确定每个节点属于每种类型的概率,作为第二概率。其中,相似性卷积层对应的参数可以表征第二拓扑信息及每个节点的特征信息对于确定每个节点属于每种类型的概率的权重,在训练过程中可以不断调整相似性卷积层对应的参数以使其更加合适。
S703,将所述第一拓扑信息样本、所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述公共卷积层,基于所述第一拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第三概率;
由于节点的类型可能与节点之间的关系、节点之间的相似程度及节点所表示的对象的特性均存在较大的关联,为了准确确定每个节点的类型,电子设备可以将第一拓扑信息样本、第二拓扑信息样本及每个节点的特征信息样本输入公共卷积层,基于第一拓扑信息样本、每个节点的特征信息样本及公共卷积层对应的参数,可以确定每个节点属于每种类型的概率,作为第三概率。其中,公共卷积层对应的参数可以表征第一拓扑信息、第二拓扑信息及每个节点的特征信息对于确定每个节点属于每种类型的概率的权重,在训练过程中可以不断调整相似性卷积层对应的参数以使其更加合适。
S704,基于所述第二拓扑信息样本、所述每个节点的特征信息及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第四概率;
在基于第一拓扑信息样本、每个节点的特征信息样本及公共卷积层对应的参数确定第三概率的同时,还可以基于第二拓扑信息样本、每个节点的特征信息样本及公共卷积层对应的参数,确定每个节点属于每种类型的概率,作为第四概率。
在上述第三概率及第四概率确定的过程中,公共卷积层对应的参数是共享的,也就是说,上述步骤S703和上述步骤S704中的公共卷积层对应的参数为同一参数。
S705,基于所述第三概率和所述第四概率,确定第五概率;
第三概率及第四概率同为基于公共卷积层对应的参数确定的每个节点属于每种类型的概率,因此第三概率与第四概率很可能比较相似。在获得第三概率和第四概率之后,电子设备可以基于第三概率和第四概率,确定第五概率,第五概率即为根据第一拓扑信息样本、第二拓扑信息样本及每个节点的特征信息样本所确定的每个节点属于每种类型的概率。
在一种实施方式中,电子设备可以将第三概率和第四概率相加得到第五概率。
S706,基于所述第一概率及其对应的第一权重参数、所述第二概率及其对应的第二权重参数、所述第五概率及其对应的第三权重参数,确定融合概率;
第一概率、第二概率及第五概率为根据不同因素确定的每个节点属于每种类型的概率。在得到第一概率、第二概率及第五概率之后,电子设备可以第一概率及其对应的第一权重参数、第二概率及其对应的第二权重参数、第五概率及其对应的第三权重参数,确定融合概率,融合概率即为综合考虑第一拓扑信息样本、第二拓扑信息样本及每个节点的特征信息样本确定的每个节点属于每种类型的概率。
第一权重参数可以表征第一概率对于确定融合概率的权重,第二权重参数可以表征第二概率对于确定融合概率的权重,第三权重参数可以表征第五概率对于确定融合概率的权重。在训练过程中,可以不断调整第一权重参数、第二权重参数及第三权重参数,以使第一权重参数、第二权重参数及第三权重参数更加合适。
S707,基于所述融合概率确定目标概率,并基于所述目标概率,确定每个节点的预测类型。
在上述融合概率中,一个节点属于每种类型的概率之和可能不为1。为了使获得的每个节点属于每种类型的概率之和均为1,电子设备可以基于融合概率确定目标概率,具体的,可以对融合概率进行归一化处理,得到每个节点属于每种类型的概率之和均为1的目标概率。进而,电子设备可以基于目标概率确定每个节点的类型,作为每个节点的预测类型。
在一种实施方式中,电子设备可以将一个节点属于每种类型的概率中最高的概率所对应的类型,确定为该节点的预测类型。例如,在目标概率中,节点JD*1属于类型C1的概率为0.15、属于类型C2的概率为0.24、属于类型C3的概率为0.69,那么电子设备可以确定节点JD*1的预测类型为类型C3。
可见,本发明实施例所提供的方案中,电子设备可以通过上述方式确定每个节点的预测类型。这样,电子设备可以全面考虑第一拓扑信息、第二拓扑信息及每个节点的特征信息与节点的类型之间的关联,从而提高节点分类的准确度。
作为本发明实施例的一种实施方式,如图8所示,上述基于所述第一节点的预测类型与其标记的类型之间的差异,调整所述初始节点分类模型的参数的步骤,可以包括:
S801,基于所述第三概率及所述第四概率之间的相似程度,确定第一损失函数;
第三概率与第四概率同为基于公共卷积层对应的参数确定的每个节点属于每种类型的概率,二者之间应比较接近,但第三概率为基于第一拓扑信息样本及每个节点的特征信息样本确定的,而第四概率为基于第二拓扑信息样本及每个节点的特征信息样本确定的,因此第三概率和第四概率之间很可能存在较大的差异。为了降低第三概率与第四概率之间的差异,更好地调整公共卷积层对应的参数,电子设备可以基于第三概率与第四概率之间的相似程度,确定第一损失函数。
S802,基于所述第一概率与所述第三概率之间的差异及所述第二概率与所述第四概率之间的差异,确定第二损失函数;
第一概率为拓扑卷积层仅基于第一拓扑信息样本及每个节点的特征信息样本确定的概率,第二概率为相似性卷积层仅基于第二拓扑信息样本及每个节点的特征信息样本确定的概率,第三概率及第四概率为公共卷积层同时参考第一拓扑信息样本、第二拓扑信息样本及每个节点的特征信息样本所确定的概率,因此第一概率与第三概率之间应存在较大差异,第二概率与第四概率之间也应存在较大差异。
但是,当拓扑卷积层对应的参数、相似性卷积层对应的参数及公共卷积层对应的参数不合适时,第一概率与第三概率之间、第二概率与第四概率之间很可能比较接近。为了更好地调整拓扑卷积层对应的参数、相似性卷积层对应的参数及公共卷积层对应的参数,电子设备可以基于第一概率与第三概率之间的差异及第二概率与第四概率之间的差异,确定第二损失函数。
S803,基于所述第一节点的预测类型与其标记的类型之间的差异,确定第三损失函数;
训练完成的节点分类模型需要对拓扑网络样本中的节点进行分类,确定每个节点的类型,为了提高节点分类的准确度,电子设备可以基于第一节点的预测类型与其标记的类型之间的差异,确定第三损失函数。
S804,基于所述第一损失函数、所述第二损失函数及所述第三损失函数,确定目标损失函数;
在得到上述第一损失函数、第二损失函数及第三损失函数之后,为了确定初始节点分类模型所确定的每个节点的预测类型的整体的准确度,电子设备可以基于上述第一损失函数、第二损失函数及第三损失函数确定目标损失函数。
S805,基于所述目标损失函数,调整所述初始节点分类模型的参数。
在确定目标损失函数之后,由于初始基点分类模型的参数与目标损失函数存在关联,为了使初始节点分类模型的参数更加合适,电子设备可以基于目标损失函数调整初始节点分类模型的参数。其中,调整初始节点分类模型的参数的方式可以为反向传播算法等模型参数调整方式,在此不做具体限定及说明。
可见,本发明实施例所提供的方案中,电子设备可以通过上述方式调整初始节点分类模型的参数。这样,电子设备可以基于目标损失函数对初始节点分类模型的参数进行调整,使初始节点分类模型的参数更加合适,从而得到对节点分类的准确度较高的节点分类模型。
作为本发明实施例的一种实施方式,上述将所述第一拓扑信息样本及每个节点的特征信息样本输入所述拓扑卷积层,基于所述第一拓扑信息样本、每个节点的特征信息样本及所述拓扑卷积层对应的参数,确定每个节点属于每种类型的概率,作为第一概率的步骤,可以包括:
根据如下所示的公式(1),计算第l个拓扑卷积层的输出值并将最后一个拓扑卷积层的输出值作为第一概率ZT
其中,It为单位矩阵,拓扑卷积层的输出值的初始值/> 为At对应的度矩阵,/>为第l个拓扑卷积层对应的参数,l∈N+,N+为正整数,ReLU表示线性整流函数。
电子设备可以确定拓扑网络样本对应的邻接矩阵,作为第一拓扑信息样本。假设第一拓扑信息样本为At,每个节点的特征信息样本为X,那么拓扑网络样本可以表示为Gt=(At,X),其中Gt即为拓扑网络样本。
电子设备将拓扑网络样本Gt输入拓扑卷积层,根据上述公式(1)可以不断迭代计算第l个拓扑卷积层的输出值并将最后一个拓扑卷积层的输出值作为第一概率ZT。例如,初始节点分类模型中包括3个拓扑卷积层,第三个拓扑卷积层的输出值/>即为第一概率ZT
上述将所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述相似性卷积层,基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述相似性卷积层对应的参数,确定每个节点属于每种类型的概率,作为第二概率的步骤,可以包括:
根据如下所示公式(2),计算第l个相似性卷积层的输出值并将最后一个相似性卷积层的输出值作为第二概率ZF
其中,If为单位矩阵,相似性卷积层的输出值的初始值/> 为Af对应的度矩阵,/>为第l个相似性卷积层对应的参数。
电子设备可以确定相似性拓扑图样本对应的邻接矩阵Af,作为第二拓扑信息样本。输入相似性卷积层的第二拓扑信息及每个节点的特征信息可以表示为Gf=(Af,X),根据上述公式(2),电子设备可以不断迭代计算第l个相似性卷积层的输出值并将最后一个相似性卷积层的输出值作为第二概率ZF
上述将所述第一拓扑信息样本、所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述公共卷积层,基于所述第一拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第三概率的步骤,可以包括:
根据如下所示公式(3),计算第l个公共卷积层的输出值并将最后一个公共卷积层的输出值作为第三概率ZCT
电子设备可以将第一拓扑信息样本At及每个节点的特征信息样本X输入公共卷积层,根据上述公式(3)可以不断迭代计算第l个公共卷积层的输出值并将最后一个公共卷积层的输出值作为第三概率ZCT。其中,公共卷积层的输出值的初始值/> 为第l个公共卷积层对应的参数。
上述基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第四概率的步骤,可以包括:
根据如下所示公式(4),计算第l个公共卷积层的输出值并将最后一个公共卷积层的输出值作为第四概率ZCF
电子设备可以将第二拓扑信息样本Af及每个节点的特征信息样本X输入公共卷积层,根据上述公式(4)可以不断迭代计算第l个公共卷积层的输出值并将最后一个公共卷积层的输出值作为第四概率ZCF。其中,公共卷积层的输出值的初始值/>对于第l个公共卷积层对应的参数/>采用参数共享机制,即上述公式(3)及公式(4)中的/>为同一参数。
上述基于所述第三概率和所述第四概率,确定第五概率的步骤,可以包括:
根据如下所示公式(5),计算第五概率ZC
ZC=(ZCT+ZCF)/2 (5)
在得到第三概率和第四概率后,电子设备可以通过上述公式(5),计算第三概率和第四概率的平均值,作为第五概率ZC
上述基于所述第一概率及其对应的第一权重参数、所述第二概率其对应的第二权重参数、所述第五概率及其对应的第三权重参数,确定融合概率的步骤,可以包括:
根据如下所示公式(6),计算融合概率Z:
Z=αT·ZTC·ZCF·ZF (6)
在得到第五概率后,电子设备可以根据当前初始节点分类模型的第一权重参数αT、第二权重参数αF及第三权重参数αC,按章上述公式(6)对第一概率ZT、第二概率ZF及第五概率ZC进行加权求和,得到融合概率Z。
其中,αT为第一权重参数,αF为第二权重参数,αC为第三权重参数;
上述基于所述融合概率确定目标概率的步骤,可以包括:
根据如下所示公式(7),计算目标概率
在得到融合概率Z之后,电子设备可以根据上述公式(7),按照当前初始节点分类模型的转换参数W及偏置参数b,对融合概率Z进行归一化处理,得到目标概率
其中,C为上述预先标记的类型的数量,x表示节点,xc表示节点属于第c个类型的概率。
可见,本发明实施例所提供的方案中,电子设备可以通过上述公式(1)-公式(7)计算目标概率。这样,电子设备可以根据上述公式,准确地确定每个节点属于每种类型的概率。
作为本发明实施例的一种实施方式,上述基于所述第三概率及所述第四概率之间的相似程度,确定第一损失函数的步骤,可以包括:
根据如下所示公式(8),计算第一损失函数
在确定第三概率及第四概率后,电子设备可以根据上述公式(8),计算第一损失函数其中,ST为第三概率的相似性矩阵,/>ZCTnorm为ZCT对应的正则化矩阵,SF为第四概率的相似性矩阵,/>ZCFnorm为ZCF对应的正则化矩阵,正则化的方式可以为L1正则化、L2正则化等,在此不做具体限定,||ST-SF||F表示ST与SF之间差异对应的F范数(Frobenius norm,弗罗贝尼乌斯范数)。
上述基于所述第一概率与所述第三概率之间的差异及所述第二概率与所述第四概率之间的差异,确定第二损失函数的步骤,可以包括:
根据如下所示公式(9),计算第二损失函数
在确定第一概率、第二概率、第三概率及第四概率后,电子设备可以根据上述公式(9),计算第二损失函数其中,HSIC(ZT,ZCT)为ZT与ZCT的希尔伯特-施密特独立性系数,HSIC(ZF,ZCF)为ZF与ZCF的希尔伯特-施密特独立性系数,HSIC(ZT,ZCT)=(n-1)-2tr(RKTRKCT),HSIC(ZF,ZCF)=(n-1)-2tr(RKFRKCF),KT、KCT、KF、KCF分别为ZT、ZCT、ZF、ZCF对应的格莱姆矩阵,KT中的元素/>KCT中的元素/>KF中的元素/>KCF中的元素/> 分别为节点i和节点j对应的第一概率,/>分别为节点i和节点j对应的第三概率,/>分别为节点i和节点j对应的第二概率,分别为节点i和节点j对应的第四概率,/>I为单位矩阵,n为拓扑网络样本包括的节点的数量,e为所包含的元素均为1的列向量,KT、KCT、KF及KCF可以通过内积核函数分别计算获得。
上述基于所述第一节点的预测类型与其标记的类型之间的差异,确定第三损失函数的步骤,可以包括:
根据如下所示公式(10),计算第三损失函数
电子设备可以根据上述公式(10),计算交叉熵损失函数,作为第三损失函数其中,L为第一节点的数量,Yl表示第l个第一节点的标记的类型,/>表示第l个第一节点的预测类型。
其中,L为所述第一节点的数量,Yl为第l个第一节点的标记标签,为第l个第一节点的预测标签,C为所述类型的数量;
上述基于所述第一损失函数、所述第二损失函数及所述第三损失函数,确定目标损失函数的步骤,可以包括:
根据如下所示公式(11)计算目标损失函数/>
在得到第一损失函数、第二损失函数及第三损失函数之后,电子设备可以根据上述公式(11)计算目标损失函数其中,γ为一致性参数,β为差异性参数,γ与β可以根据经验值进行设置。
可见,本发明实施例所提供的方案中,电子设备可以通过上述公式(8)-公式(11)计算目标损失函数。这样,电子设备可以准确地确定目标损失函数,进而可以根据目标损失函数调整初始节点分类模型的参数。
下面结合具体的例子对本发明实施例所提供的节点的分类方法进行说明。
为了说明目前通过GCNs进行对象分类所存在的问题,本发明提供了两个例子。
在例1中,拓扑网络样本包括900个节点,在这900个节点中任意两个节点之间存在边的概率是0.03,每个节点的特征信息为50维的特征向量。预先将该900个节点随机标记为3种类型,并将相同类型的节点使用同一个高斯分布生成特征向量,从而得到三簇高斯分布。其中,三种类型的节点的高斯分布的协方差矩阵相同,但三类节点的高斯分布中心相距较远。这样,在该拓扑网络样本中,节点的类型与节点特征高度相关,而与拓扑网络样本的拓扑信息基本无关。
在每种类型的节点中随机选择20个节点,作为第一节点,然后将该拓扑网络样本的拓扑信息及每个节点的特征信息输入GCNs,在默认超参数的基础上仔细调整GCNs的参数,在避免过平滑与过拟合的同时,达到较优的性能。然后,从拓扑网络样本中除第一节点以外的840个节点中随机选取200个节点进行测试,测试可得采用GCNs进行节点分类的准确率为75.2%。
同时,将第一节点的特征信息输入MLP(Multi-Layer Perceptron,多层感知机)进行训练,用上述随机选取的200个节点进行测试,测试可得采用MLP进行节点分类的准确率为100%。
对例1的结果分析可知,节点的特征信息与节点的类型高度相关,因此通过MLP基于节点的特征信息进行分类时能够表现出良好的性能。而GCNs是基于节点的特征信息及拓扑信息进行分类的,不能自适应地融合与选择特征信息及拓扑信息,以避免拓扑信息的干扰,因此无法与MLP的高性能相媲美。
在例2中,拓扑网络样本包括900个节点,该900个节点中每个节点的特征信息为随机生成的50维特征向量。预先通过SBM(stochastic block model,随机块模型)将900个节点分为3种类型的节点,其中第一种类型的节点的标号为0-299,第二种类型的节点的标号为300-599,第三种类型的节点的标号为600-899。在每种类型的300个节点中任意两个节点之间存在边的概率是0.03,每两个不同类型的节点之间存在边的概率是0.0015。
在每种类型的节点中随机选择20个节点,作为第一节点,然后将该拓扑网络样本的拓扑信息及每个节点的特征信息输入GCNs,在默认超参数的基础上仔细调整GCNs的参数,在避免过平滑与过拟合的同时,达到较优的性能。然后,从拓扑网络样本中除第一节点以外的840个节点中随机选取200个节点进行测试,测试可得采用GCNs进行节点分类的准确率为87%。
同时,将拓扑网络样本的拓扑信息输入DeepWalk模型进行训练,用上述随机选取的200个节点进行测试,测试可得采用DeepWalk模型进行节点分类的准确率为100%。
对例2的结果分析可知,节点的特征信息与拓扑信息高度相关,因此通过DeepWalk模型进行分类时能够准确确定节点的类型。而GCNs是基于节点的特征信息及拓扑信息进行分类的,不能自适应地融合与选择特征信息及拓扑信息,以避免特征信息的干扰,因此无法与DeepWalk模型的高性能相比。
下面结合图9介绍本发明实施例所提供的节点分模型。如图9所示,本发明实施例所提供的节点分类模型包括多个拓扑卷积层、多个公共卷积层及多个相似性卷积层,拓扑卷积层可以基于第一拓扑信息及特征信息确定输出值并将最后一个拓扑卷积层的输出值作为第一概率ZT,公共卷积层可以基于第一拓扑信息、第二拓扑信息、特征信息以及共享的参数/>确定输出值/>及输出值/>并将最后一个公共卷积层的输出值作为第三概率ZCT及第四概率ZCF,并确定第五概率。上述第三概率ZCT及第四概率ZCF是基于同一参数确定的,也就是图9中的参数共享。相似性卷积层可以基于第二拓扑信息、特征信息确定输出值/>并将最后一个相似性卷积层的输出值作为第二概率ZF。然后可以基于第一权重参数、第二权重参数及第三权重参数确定融合概率Z,也就是通过注意力机制确定融合概率Z,进而确定目标概率/>同时,节点分类模型可以通过第一损失函数/>对第三概率及第四概率进行约束,还可以通过第二损失函数/>对第一概率和第三概率进行约束,并通过通过第二损失函数/>对第二概率和第四概率进行约束。
由于节点分类模型可以根据第一拓扑信息、第二拓扑信息、特征信息进行节点分类,并可以通过注意力机制自适应调整第一权重参数、第二权重参数及第三权重参数,因此节点分类模型可以称为AM-GCN(Adaptive Multichannel Graph Convolutional Network,自适应多通路图卷积神经网络)。
为了验证本发明实施例所提供的节点分类模型的准确度,本发明提供了如表2所示的6个数据集。
数据集名称 节点数量 边数量 类别数量 特征维度 训练集 测试集
Citeseer 3327 4732 6 3703 120//240/360 1000
UAI2010 3067 28311 19 4973 380/760/1140 1000
ACM 3025 13128 3 1870 60/120/180 1000
BlogCatalog 5196 171743 6 8189 120/240/360 1000
Flickr 7575 239738 9 12047 180/360/540 1000
CoraFull 19793 65311 70 8710 1400/2800/42 1000
表2
其中,Citeseer为一个研究论文引用网络,节点表示出版物,边表示出版物之间的引用关系,节点的特征信息为出版物的词袋向量,所有节点被划分为六个类别。UAI2010为包括3067个节点和28311条边的数据集。ACM数据集中包括的节点表示论文,如果两篇论文的作者相同,那么它们对应的节点之间就有一条边,论文共分为三种类型(数据库类型、无线通信类型、数据采集类型),节点的特征信息为论文关键词的词袋向量。BlogCatalog数据集为BlogCatalog社交网站对应的数据集,节点表示用户,边为用户之间的社会关系,节点的特征信息为用户的关键字向量。Flickr为Flickr网站中的社交网络对应的数据集,节点表示用户,边表示用户之间的关系,所有的节点按照用户的兴趣组分为9种类型。CoraFull为引文网络Cora的大型数据集,其中节点表示论文,边表示论文之间的引用关系,根据论文主题预先标记了70种类型。
为了评估本发明中AM-GCN的节点分类准确度,本发明提供了目前的8种用于节点分类的算法模型,并通过对上述6个数据集中的节点进行分类测试的方式,得到如表3所示的实验数据。其中,ACC为准确率,F1为Macro-F1评分,L/C(label/class)表示每种类型的节点中选取的第一节点的数量,上述8种算法模型分别为DeepWalk、LINE(1st+2nd)、Chebyshev、GCN、k-GCN、GAT、DEMO-Net、MixHop。
为了更全面地评估节点分类模型,预先为训练集选择了三个标签率(每个类型标记20、40、60个节点),并选择1000个节点作为测试集。上述8种算法模型初始化的参数与其论文报告的参数相同,并进一步仔细地调整参数。对于节点分类模型,同时训练三个具有相同隐含层维度(nhid1)和相同输出维度(nhid2)的两层图卷积神经网络,其中nhid1∈{512,768}和nhid2∈{32,128,256},使用0.0001~0.0005的学***均结果。
/>
表3
其中,DeepWalk(Online learning of social representations)为一种利用随机游走获取上下文信息,利用skip-gram算法学习图谱网络表示的网络嵌入方法;LINE(1st+2nd)(Large-scale information network embedding)为一种大规模的网络嵌入方法,分别保留了拓扑网络的一阶和二阶邻近性;Chebyshev(Convolutional neural networks ongraphs with fast localized spectral filtering)为一种利用Chebyshev滤波器的基于GCN的算法模型;GCN为一种半监督的图卷积神经网络模型,通过聚集拓扑网络中邻居节点的信息来学习节点表示;k-GCN为以第二拓扑信息及每个节点的特征信息作为输入的GCN算法模型;GAT(Graph Attention Networks)为一种利用注意力机制来聚集节点特征的图神经网络模型;DEMO-Net(Degree-specifc graph neural networks for node and graphclassifcation)为一种用于节点分类的,以拓扑网络的度矩阵作为输入的图神经网络模型;MixHop(Higher-Order Graph Convolutional Architectures via SparsifiedNeighborhood Mixing)为一种基于GCN的算法模型,可以将高阶邻居的特征信息混合在一个图卷积层中。
对表3中的数据进行分析可知,本发明提供的AM-GCN在设置所有训练集比率的数据集上都能达到最好的性能。其中,AM-GCN对BlogCatalog的准确率提高了6.87%,对Flickr的准确率提高了7.01%。实验结果验证了AM-GCN的有效性。同时,AM-GCN在所有数据集上的表现都优于GCN和k-GCN,说明了自适应融合机制在AM-GCN中的有效性。通过与GCN和k-GCN的比较,可以看出第一拓扑信息和第二拓扑信息之间存在结构上的差异,在拓扑网络上执行GCN并不总是比在相似性拓扑图上执行效果好。例如,在BlogCatalog,Flickr和UAI2010中,采用相似性拓扑图的分类结果优于采用拓扑网络的分类结果。这进一步说明了在GCN中引入相似性拓扑图的必要性。此外,与GCN相比,AM-GCN在UAI2010、BlogCatalog、Flickr等拓扑网络更好的数据集上的改进更为显著。
下面结合图10(a)-图10(f)对本发明实施例中的第一损失函数、第二损失函数的作用进行说明。为了确定第一损失函数、第二损失函数的作用,预先设置了AM-GCN的三种变体AM-GCN-w/o(AM-GCN没有第一损失函数和第二损失函数/>约束的变体)、AM-GCN-c(AM-GCN只有第一损失函数/>约束的变体)、AM-GCN-d(AM-GCN只有第二损失函数/>约束的变体),并比较通过上述三种变体及AM-GCN进行节点分类时的准确率。其中,图10(a)表示对Citeseer中的节点进行分类时的准确率,图10(b)表示对UAI2010中的节点进行分类时的准确率,图10(c)表示对ACM中的节点进行分类时的准确率,图10(d)表示对BlogCatalog中的节点进行分类时的准确率,图10(e)表示对BlogCatalog中的节点进行分类时的准确率,图10(f)表示对CoraFull中的节点进行分类时的准确率,A表示通过AM-GCN-w/o进行分类时的准确率,B表示通过AM-GCN-d进行分类时的准确率,C表示通过AM-GCN-c进行分类时的准确率,D表示通过AM-GCN进行分类时的准确率,20表示每个类型标记20节点,40表示每个类型标记40个节点,60表示每个类型标记60个节点。
通过图10可知:(1)AM-GCN的准确率始终优于其他三个变体的准确率,说明了同时采用第一损失函数或第二损失函数进行约束的有效性。(2)AM-GCN-c和AM-GCN-d的准确率通常优于AM-GCN-w/o,验证了分别采用第一损失函数或第二损失函数进行约束也是有效的。(3)AM-GCN-c在所有数据集上普遍优于AM-GCN-d,说明第一损失函数起着更为重要的作用。(4)对比图10和表3可以发现,AM-GCN-w/o虽然没有第一损失函数、第二损失函数的约束,但相对于目前的8种算法模型而言,其节点分类的准确率仍然是较高的。
下面结合图11(a)-图11(f)、图12(a)、图12(b)对本发明实施例中的第一权重参数、第二权重参数、第三权重参数的作用进行说明。其中,图11(a)为采用Citeseer对初始节点分类模型进行训练时第一权重参数、第二权重参数及第三权重参数的分布示意图,图11(b)为采用UAI2010进行训练时第一权重参数、第二权重参数及第三权重参数的分布示意图,图11(c)为采用ACM进行训练时第一权重参数、第二权重参数及第三权重参数的分布示意图,图11(d)为采用BlogCatalog进行训练时第一权重参数、第二权重参数及第三权重参数的分布示意图,图11(e)为采用Flickr进行训练时第一权重参数、第二权重参数及第三权重参数的分布示意图,图11(f)为采用CoraFull进行训练时第一权重参数、第二权重参数及第三权重参数的分布示意图。可见,对于Citeseer、ACM、CoraFull,第一权重参数大于第二权重参数,而第三权重参数介于二者之间。这表示第一拓扑信息与节点类型的关联比第二拓扑信息与节点类型的关联更高。为了验证这一点,可以从表3中的数据看出,GCN的分类结果要优于k-GCN。而对于UAI2010、BlogCatalog和Flickr,可以发现k-GCN的分类结果优于GCN,同时第二权重参数大于第一权重参数,而第三权重参数介于二者之间。综上所述,实验结果表明,本发明实施例所提供的节点分类模型能够自适应地为重要信息分配较大的权重值。
图12(a)为采用Citeseer进行训练时第一权重参数、第二权重参数、第三权重参数的变化趋势,图12(b)为采用BlogCatalog进行训练时第一权重参数、第二权重参数、第三权重参数的变化趋势,图12(a)、图12(b)中,横坐标为训练次数,纵坐标为参数值。可见,在开始训练时,第一权重参数、第二权重参数、第三权重参数的平均权重值基本相同,随着训练次数的增加,权重值也会发生变化。例如,对于BlogCatalog和Citeseer,随着训练次数的增加,第一权重参数的权重值逐渐减小,而第二权重参数的权重值逐渐增大。这与对图11(a)-图11(f)及表3分析的结论一致。可见,在训练AM-GCN的过程中,可以逐步调整第一权重参数、第二权重参数、第三权重参数。
下面结合图13(a)、图13(b)对本发明实施例中的一致性参数的作用进行说明。图13(a)为对BlogCatalog中的节点分类的准确率与一致性参数之间变化关系的趋势,图13(b)为对Citeseer中的节点分类的准确率与一致性参数之间变化关系的趋势,在图13(a)、图13(b)中,20表示每个类型标记20节点,40表示每个类型标记40个节点,60表示每个类型标记60个节点,横坐标为一致性参数的参数值,纵坐标为准确率。分析图13(a)、图13(b)可知,对于Citeseer和BlogCatalog,随着一致性参数的增加,准确率先是提高,然后开始缓慢下降。基本上,当一致性参数的取值范围为{1e-4,1e+4}时,AM-GCN的性能是稳定的。
下面结合图14(a)、图14(b)对本发明实施例中的差异性参数的作用进行说明。图14(a)为对Citeseer中的节点分类的准确率与差异性参数之间变化关系的趋势,图14(b)为对BlogCatalog中的节点分类的准确率与差异性参数之间变化关系的趋势,在图14(a)、图14(b)中,20表示每个类型标记20节点,40表示每个类型标记40个节点,60表示每个类型标记60个节点,横坐标为差异性参数的参数值,纵坐标为准确率。分析图14(a)、图14(b)可知,随着差异性参数的增加,AM-GCN的准确率先上升,然后下降。对于Citeseer而言,当差异性参数大于1e-6时,准确率下降很快,而对于BlogCatalog,当差异性参数大于1e-6时,准确率下降比较缓慢。
下面结合图15(a)、图15(b)对本发明实施例中的预设数量的作用进行说明。图15(a)为对Citeseer中的节点分类的准确率与预设数量之间变化关系的趋势,图15(b)为对BlogCatalog中的节点分类的准确率与预设数量之间变化关系的趋势,在图15(a)、图15(b)中,20表示每个类型标记20节点,40表示每个类型标记40个节点,60表示每个类型标记60个节点,横坐标为预设数量的数值,纵坐标为准确率。可见,对于Citeseer和BlogCatalog,其准确率随预设数量的增加先升高后降低。
相应于上述对象的分类的方法,本发明实施例还提供了一种对象的分类装置。下面对本发明实施例所提供的一种对象的分类装置进行介绍。
如图16所示,一种对象的分类装置,所述装置包括:
获取模块1601,用于获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息;
其中,所述拓扑网络包括多个节点,每个节点表示一个对象。
拓扑图构建模块1602,用于基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定所述相似性拓扑图的第二拓扑信息;
节点类型确定模块1603,用于将所述第一拓扑信息、每个节点的特征信息及所述第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型;
其中,所述节点分类模型为模型训练模块基于预设训练集训练得到的,所述预设训练集包括拓扑网络样本的第一拓扑信息样本、所述拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,所述第二拓扑信息样本为基于所述拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息。
对象类型确定模块1604,用于基于所述每个节点的类型,确定每个节点所表示的对象的类型。
可见,本发明实施例所提供的方案中,电子设备可以获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息,其中,拓扑网络包括多个节点,每个节点表示一个对象;基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定相似性拓扑图的第二拓扑信息;将第一拓扑信息、每个节点的特征信息及第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型,其中,节点分类模型为基于预设训练集训练得到的,预设训练集包括拓扑网络样本的第一拓扑信息样本、拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,第二拓扑信息样本为基于拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息;基于每个节点的类型,确定每个节点所表示的对象的类型。通过节点分类模型对拓扑网络样本中的节点进行分类时,可以同时考虑第一拓扑信息、特征信息及第二拓扑信息,由于第二拓扑信息是基于每两个节点的特征信息之间的相似度构建的相似性拓扑图的拓扑信息,所以第二拓扑信息可以表示每两个节点的特征信息之间的相似度,第一拓扑信息、特征信息及第二拓扑信息也就可以更加全面体现各个节点之间的差异,因此可以提高节点分类的准确度,进而根据节点的类型可以准确确定节点表示的对象的类型,提高对象分类的准确度。
作为本发明实施例的一种实施方式,上述拓扑图构建模块1602可以包括:
相似度计算子模块(图16中未示出),用于计算每两个节点的特征信息之间的相似度;
相似节点确定子模块(图16中未示出),用于针对每个节点,按照其他节点与该节点的特征信息之间的相似度由大到小的顺序,将所述其他节点中的前预设数量个节点,作为该节点的相似节点;
拓扑图构建子模块(图16中未示出),用于将所述每个节点与其相似节点相连,构建相似性拓扑图;
第二拓扑信息确定子模块(图16中未示出),用于确定所述相似性拓扑图的邻接矩阵,作为第二拓扑信息。
作为本发明实施例的一种实施方式,上述模型训练模块(图16中未示出)可以包括:
样本获取子模块(图16中未示出),用于获取初始节点分类模型、拓扑网络样本、第一拓扑信息样本及所述拓扑网络样本中每个节点的特征信息样本;
其中,所述拓扑网络样本包括多个节点,每个节点表示一个对象。
相似性拓扑图样本确定子模块(图16中未示出),用于基于每两个节点的特征信息样本之间的相似度构建相似性拓扑图样本,并确定所述相似性拓扑图样本的第二拓扑信息样本;
第一节点选取子模块(图16中未示出),用于根据预先标记的类型,从所述拓扑网络样本包括的节点中选取每种类型的多个节点,作为第一节点;
预测类型确定子模块(图16中未示出),用于将所述第一拓扑信息样本、每个节点的特征信息样本及所述第二拓扑信息样本输入所述初始节点分类模型,确定每个第一节点的预测类型;
参数调整子模块(图16中未示出),用于基于所述第一节点的预测类型与其标记的类型之间的差异,调整所述初始节点分类模型的参数,直到所述初始节点分类模型收敛,停止训练,得到节点分类模型。
作为本发明实施例的一种实施方式,上述初始节点分类模型可以包括拓扑卷积层、相似性卷积层及公共卷积层;
上述预测类型确定子模块可以包括:
第一概率确定单元(图16中未示出),用于将所述第一拓扑信息样本及每个节点的特征信息样本输入所述拓扑卷积层,基于所述第一拓扑信息样本、所述每个节点的特征信息样本及所述拓扑卷积层对应的参数,确定每个节点属于每种类型的概率,作为第一概率;
第二概率确定单元(图16中未示出),用于将所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述相似性卷积层,基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述相似性卷积层对应的参数,确定每个节点属于每种类型的概率,作为第二概率;
第三概率确定单元(图16中未示出),用于将所述第一拓扑信息样本、所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述公共卷积层,基于所述第一拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第三概率;
第四概率确定单元(图16中未示出),用于基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第四概率;
第五概率确定单元(图16中未示出),基于所述第三概率和所述第四概率,确定第五概率;
融合概率确定单元(图16中未示出),用于基于所述第一概率及其对应的第一权重参数、所述第二概率及其对应的第二权重参数、所述第五概率及其对应的第三权重参数,确定融合概率;
预测类型确定单元(图16中未示出),用于基于所述融合概率确定目标概率,并基于所述目标概率,确定每个节点的预测类型。
作为本发明实施例的一种实施方式,上述参数调整子模块可以包括:
第一损失函数确定单元(图16中未示出),用于基于所述第三概率及所述第四概率之间的相似程度,确定第一损失函数;
第二损失函数确定单元(图16中未示出),用于基于所述第一概率与所述第三概率之间的差异及所述第二概率与所述第四概率之间的差异,确定第二损失函数;
第三损失函数确定单元(图16中未示出),用于基于所述第一节点的预测类型与其标记的类型之间的差异,确定第三损失函数;
目标损失函数确定单元(图16中未示出),用于基于所述第一损失函数、所述第二损失函数及所述第三损失函数,确定目标损失函数;
参数调整单元(图16中未示出),用于基于所述目标损失函数,调整所述初始节点分类模型的参数。
作为本发明实施例的一种实施方式,上述第一概率确定单元可以包括:
第一概率计算子单元(图16中未示出),用于根据公式计算第l个拓扑卷积层的输出值/>并将最后一个拓扑卷积层的输出值作为第一概率ZT
其中,At为第一拓扑信息样本,It为单位矩阵,X为每个节点的特征信息样本,/> 为At对应的度矩阵,/>为第l个拓扑卷积层对应的参数,l∈N+。
上述第二概率确定单元可以包括:
第二概率计算子单元(图16中未示出),用于根据公式计算第l个相似性卷积层的输出值/>并将最后一个相似性卷积层的输出值作为第二概率ZF
其中,Af为第二拓扑信息样本,If为单位矩阵,/> 为Af对应的度矩阵,/>为第l个相似性卷积层对应的参数。
上述第三概率确定单元可以包括:
第三概率计算子单元(图16中未示出),用于根据公式计算第l个公共卷积层的输出值/>并将最后一个公共卷积层的输出值作为第三概率ZCT
其中, 为第l个公共卷积层对应的参数。
上述第四概率确定单元可以包括:
第四概率计算子单元(图16中未示出),用于根据公式计算第l个公共卷积层的输出值/>并将最后一个公共卷积层的输出值作为第四概率ZCF
其中,
上述第五概率确定单元可以包括:
第五概率计算子单元(图16中未示出),用于根据公式ZC=(ZCT+ZCF)/2,计算第五概率ZC
上述融合概率确定单元可以包括:
融合概率计算子单元(图16中未示出),用于根据公式Z=αT·ZTC·ZCF·ZF,计算融合概率Z;
其中,αT为第一权重参数,αF为第二权重参数,αC为第三权重参数。
上述预测类型确定单元可以包括:
目标概率计算子单元(图16中未示出),用于根据公式计算目标概率/>
其中,W为转换参数,b为偏置参数。
作为本发明实施例的一种实施方式,上述第一损失函数确定单元可以包括:
第一损失函数计算子单元(图16中未示出),用于根据公式计算第一损失函数/>
其中,ZCTnorm为ZCT对应的正则化矩阵,/> ZCFnorm为ZCF对应的正则化矩阵。
上述第二损失函数确定单元可以包括:
第二损失函数计算子单元(图16中未示出),用于根据公式计算第二损失函数/>
其中,HSIC(ZT,ZCT)为ZT与ZCT的希尔伯特-施密特独立性系数,HSIC(ZF,ZCF)为ZF与ZCF的希尔伯特-施密特独立性系数。
上述第三损失函数确定单元可以包括:
第三损失函数计算子单元(图16中未示出),用于根据公式计算第三损失函数/>
其中,L为所述第一节点的数量,Yl为第l个第一节点的标记标签,为第l个第一节点的预测标签,C为所述类型的数量。
上述目标损失函数确定单元可以包括:
目标损失函数计算子单元(图16中未示出),用于根据公式计算目标损失函数/>
其中,γ为一致性参数,β为差异性参数。
本发明实施例还提供了一种电子设备,如图17所示,包括处理器1701、通信接口1702、存储器1703和通信总线1704,其中,处理器1701,通信接口1702,存储器1703通过通信总线1704完成相互间的通信,
存储器1703,用于存放计算机程序;
处理器1701,用于执行存储器1703上所存放的程序时,实现上述任一实施例所述的对象的分类方法的步骤。
可见,本发明实施例所提供的方案中,电子设备可以获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息,其中,拓扑网络包括多个节点,每个节点表示一个对象;基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定相似性拓扑图的第二拓扑信息;将第一拓扑信息、每个节点的特征信息及第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型,其中,节点分类模型为基于预设训练集训练得到的,预设训练集包括拓扑网络样本的第一拓扑信息样本、拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,第二拓扑信息样本为基于拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息;基于每个节点的类型,确定每个节点所表示的对象的类型。通过节点分类模型对拓扑网络样本中的节点进行分类时,可以同时考虑第一拓扑信息、特征信息及第二拓扑信息,由于第二拓扑信息是基于每两个节点的特征信息之间的相似度构建的相似性拓扑图的拓扑信息,所以第二拓扑信息可以表示每两个节点的特征信息之间的相似度,第一拓扑信息、特征信息及第二拓扑信息也就可以更加全面体现各个节点之间的差异,因此可以提高节点分类的准确度,进而根据节点的类型可以准确确定节点表示的对象的类型,提高对象分类的准确度。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述的对象分类方法的步骤。
可见,本发明实施例所提供的方案中,计算机可读存储介质内存储的计算机程序被执行时,可以获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息,其中,拓扑网络包括多个节点,每个节点表示一个对象;基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定相似性拓扑图的第二拓扑信息;将第一拓扑信息、每个节点的特征信息及第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型,其中,节点分类模型为基于预设训练集训练得到的,预设训练集包括拓扑网络样本的第一拓扑信息样本、拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,第二拓扑信息样本为基于拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息;基于每个节点的类型,确定每个节点所表示的对象的类型。通过节点分类模型对拓扑网络样本中的节点进行分类时,可以同时考虑第一拓扑信息、特征信息及第二拓扑信息,由于第二拓扑信息是基于每两个节点的特征信息之间的相似度构建的相似性拓扑图的拓扑信息,所以第二拓扑信息可以表示每两个节点的特征信息之间的相似度,第一拓扑信息、特征信息及第二拓扑信息也就可以更加全面体现各个节点之间的差异,因此可以提高节点分类的准确度,进而根据节点的类型可以准确确定节点表示的对象的类型,提高对象分类的准确度。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (7)

1.一种对象的分类方法,其特征在于,所述方法包括:
获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息,其中,所述拓扑网络包括社交网络,所述拓扑网络有多个节点,每个节点表示一个对象,所述对象为用户,所述第一拓扑信息包括所述用户之间的关注或被关注关系,所述节点的特征信息包括所述用户的性别、住址、爱好;
基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定所述相似性拓扑图的第二拓扑信息;
将所述第一拓扑信息、每个节点的特征信息及所述第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型,其中,所述节点分类模型为基于预设训练集训练得到的,所述预设训练集包括拓扑网络样本的第一拓扑信息样本、所述拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,所述第二拓扑信息样本为基于所述拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息;
基于所述每个节点的类型,确定每个节点所表示的对象的类型;
所述节点分类模型的训练方式,包括:
获取初始节点分类模型、拓扑网络样本、第一拓扑信息样本及所述拓扑网络样本中每个节点的特征信息样本,其中,所述拓扑网络样本包括多个节点,每个节点表示一个对象;
基于每两个节点的特征信息样本之间的相似度构建相似性拓扑图样本,并确定所述相似性拓扑图样本的第二拓扑信息样本;
根据预先标记的类型,从所述拓扑网络样本包括的节点中选取每种类型的多个节点,作为第一节点;
将所述第一拓扑信息样本、每个节点的特征信息样本及所述第二拓扑信息样本输入所述初始节点分类模型,确定每个第一节点的预测类型;
基于所述第一节点的预测类型与其标记的类型之间的差异,调整所述初始节点分类模型的参数,直到所述初始节点分类模型收敛,停止训练,得到节点分类模型;
所述初始节点分类模型包括拓扑卷积层、相似性卷积层及公共卷积层;
所述将所述第一拓扑信息样本、每个节点的特征信息样本及所述第二拓扑信息样本输入所述初始节点分类模型,确定每个节点的预测类型的步骤,包括:
将所述第一拓扑信息样本及每个节点的特征信息样本输入所述拓扑卷积层,基于所述第一拓扑信息样本、所述每个节点的特征信息样本及所述拓扑卷积层对应的参数,确定每个节点属于每种类型的概率,作为第一概率;
将所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述相似性卷积层,基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述相似性卷积层对应的参数,确定每个节点属于每种类型的概率,作为第二概率;
将所述第一拓扑信息样本、所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述公共卷积层,基于所述第一拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第三概率;
基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第四概率;
基于所述第三概率和所述第四概率,确定第五概率;
基于所述第一概率及其对应的第一权重参数、所述第二概率及其对应的第二权重参数、所述第五概率及其对应的第三权重参数,确定融合概率;
基于所述融合概率确定目标概率,并基于所述目标概率,确定每个节点的预测类型。
2.根据权利要求1所述的方法,其特征在于,所述基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定所述相似性拓扑图的第二拓扑信息的步骤,包括:
计算每两个节点的特征信息之间的相似度;
针对每个节点,按照其他节点与该节点的特征信息之间的相似度由大到小的顺序,将所述其他节点中的前预设数量个节点,作为该节点的相似节点;
将所述每个节点与其相似节点相连,构建相似性拓扑图;
确定所述相似性拓扑图的邻接矩阵,作为第二拓扑信息。
3.根据权利要求1所述的方法,其特征在于,所述基于所述第一节点的预测类型与其标记的类型之间的差异,调整所述初始节点分类模型的参数的步骤,包括:
基于所述第三概率及所述第四概率之间的相似程度,确定第一损失函数;
基于所述第一概率与所述第三概率之间的差异及所述第二概率与所述第四概率之间的差异,确定第二损失函数;
基于所述第一节点的预测类型与其标记的类型之间的差异,确定第三损失函数;
基于所述第一损失函数、所述第二损失函数及所述第三损失函数,确定目标损失函数;
基于所述目标损失函数,调整所述初始节点分类模型的参数。
4.根据权利要求1所述的方法,其特征在于,所述将所述第一拓扑信息样本及每个节点的特征信息样本输入所述拓扑卷积层,基于所述第一拓扑信息样本、所述每个节点的特征信息样本及所述拓扑卷积层对应的参数,确定每个节点属于每种类型的概率,作为第一概率的步骤,包括:
根据公式计算第l个拓扑卷积层的输出值/>并将最后一个拓扑卷积层的输出值作为第一概率ZT
其中,At为第一拓扑信息样本,It为单位矩阵,X为每个节点的特征信息样本,/> 为At对应的度矩阵,/>为第l个拓扑卷积层对应的参数,l∈N+;
所述将所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述相似性卷积层,基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述相似性卷积层对应的参数,确定每个节点属于每种类型的概率,作为第二概率的步骤,包括:
根据公式计算第l个相似性卷积层的输出值/>并将最后一个相似性卷积层的输出值作为第二概率ZF
其中,Af为第二拓扑信息样本,If为单位矩阵,/> 为Af对应的度矩阵,/>为第l个相似性卷积层对应的参数;
所述将所述第一拓扑信息样本、所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述公共卷积层,基于所述第一拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第三概率的步骤,包括:
根据公式计算第l个公共卷积层的输出值/>并将最后一个公共卷积层的输出值作为第三概率ZCT
其中, 为第l个公共卷积层对应的参数;
所述基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第四概率的步骤,包括:
根据公式计算第l个公共卷积层的输出值/>并将最后一个公共卷积层的输出值作为第四概率ZCF
其中,
所述基于所述第三概率和所述第四概率,确定第五概率的步骤,包括:
根据公式ZC=(ZCT+ZCF)/2,计算第五概率ZC
所述基于所述第一概率及其对应的第一权重参数、所述第二概率其对应的第二权重参数、所述第五概率及其对应的第三权重参数,确定融合概率的步骤,包括:
根据公式Z=αT·ZTC·ZCF·ZF,计算融合概率Z;
其中,αT为第一权重参数,αF为第二权重参数,αC为第三权重参数;
所述基于所述融合概率确定目标概率的步骤,包括:
根据公式计算目标概率/>
其中,W为转换参数,b为偏置参数。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第三概率及所述第四概率之间的相似程度,确定第一损失函数的步骤,包括:
根据公式计算第一损失函数/>
其中,ZCTnorm为ZCT对应的正则化矩阵,/> ZCFnorm为ZCF对应的正则化矩阵;
所述基于所述第一概率与所述第三概率之间的差异及所述第二概率与所述第四概率之间的差异,确定第二损失函数的步骤,包括:
根据公式计算第二损失函数/>
其中,HSIC(ZT,ZCT)为ZT与ZCT的希尔伯特-施密特独立性系数,HSIC(ZF,ZCF)为ZF与ZCF的希尔伯特-施密特独立性系数;
所述基于所述第一节点的预测类型与其标记的类型之间的差异,确定第三损失函数的步骤,包括:
根据公式计算第三损失函数/>
其中,L为所述第一节点的数量,Yl为第l个第一节点的标记标签,为第l个第一节点的预测标签,C为所述类型的数量;
所述基于所述第一损失函数、所述第二损失函数及所述第三损失函数,确定目标损失函数的步骤,包括:
根据公式计算目标损失函数/>
其中,γ为一致性参数,β为差异性参数。
6.一种对象的分类装置,其特征在于,所述装置包括:
获取模块,用于获取待分类拓扑网络、第一拓扑信息及所述拓扑网络中每个节点的特征信息,其中,所述拓扑网络包括社交网络,所述拓扑网络有多个节点,每个节点表示一个对象,所述对象为用户,所述第一拓扑信息包括所述用户之间的关注或被关注关系,所述节点的特征信息包括所述用户的性别、住址、爱好;
拓扑图构建模块,用于基于每两个节点的特征信息之间的相似度,构建相似性拓扑图,并确定所述相似性拓扑图的第二拓扑信息;
节点类型确定模块,用于将所述第一拓扑信息、每个节点的特征信息及所述第二拓扑信息输入预先训练的节点分类模型,确定每个节点的类型,其中,所述节点分类模型为模型训练模块基于预设训练集训练得到的,所述预设训练集包括拓扑网络样本的第一拓扑信息样本、所述拓扑网络样本中每个节点的特征信息样本及第二拓扑信息样本,所述第二拓扑信息样本为基于所述拓扑网络样本中每两个节点的特征信息样本之间的相似度构建的相似性拓扑图样本的拓扑信息;
对象类型确定模块,用于基于所述每个节点的类型,确定每个节点所表示的对象的类型;
所述模型训练模块包括:
样本获取子模块,用于获取初始节点分类模型、拓扑网络样本、第一拓扑信息样本及所述拓扑网络样本中每个节点的特征信息样本,其中,所述拓扑网络样本包括多个节点,每个节点表示一个对象;
相似性拓扑图样本确定子模块,用于基于每两个节点的特征信息样本之间的相似度构建相似性拓扑图样本,并确定所述相似性拓扑图样本的第二拓扑信息样本;
第一节点选取子模块,用于根据预先标记的类型,从所述拓扑网络样本包括的节点中选取每种类型的多个节点,作为第一节点;
预测类型确定子模块,用于将所述第一拓扑信息样本、每个节点的特征信息样本及所述第二拓扑信息样本输入所述初始节点分类模型,确定每个第一节点的预测类型;
参数调整子模块,用于基于所述第一节点的预测类型与其标记的类型之间的差异,调整所述初始节点分类模型的参数,直到所述初始节点分类模型收敛,停止训练,得到节点分类模型;
所述初始节点分类模型包括拓扑卷积层、相似性卷积层及公共卷积层;
所述预测类型确定子模块包括:
第一概率确定单元,用于将所述第一拓扑信息样本及每个节点的特征信息样本输入所述拓扑卷积层,基于所述第一拓扑信息样本、所述每个节点的特征信息样本及所述拓扑卷积层对应的参数,确定每个节点属于每种类型的概率,作为第一概率;
第二概率确定单元,用于将所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述相似性卷积层,基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述相似性卷积层对应的参数,确定每个节点属于每种类型的概率,作为第二概率;
第三概率确定单元,用于将所述第一拓扑信息样本、所述第二拓扑信息样本及所述每个节点的特征信息样本输入所述公共卷积层,基于所述第一拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第三概率;
第四概率确定单元,用于基于所述第二拓扑信息样本、所述每个节点的特征信息样本及所述公共卷积层对应的参数,确定每个所述节点属于每种类型的概率,作为第四概率;
第五概率确定单元,用于基于所述第三概率和所述第四概率,确定第五概率;
融合概率确定单元,用于基于所述第一概率及其对应的第一权重参数、所述第二概率及其对应的第二权重参数、所述第五概率及其对应的第三权重参数,确定融合概率;
预测类型确定单元,用于基于所述融合概率确定目标概率,并基于所述目标概率,确定每个节点的预测类型。
7.根据权利要求6所述的装置,其特征在于,所述拓扑图构建模块包括:
相似度计算子模块,用于计算每两个节点的特征信息之间的相似度;
相似节点确定子模块,用于针对每个节点,按照其他节点与该节点的特征信息之间的相似度由大到小的顺序,将所述其他节点中的前预设数量个节点,作为该节点的相似节点;
拓扑图构建子模块,用于将所述每个节点与其相似节点相连,构建相似性拓扑图;
第二拓扑信息确定子模块,用于确定所述相似性拓扑图的邻接矩阵,作为第二拓扑信息。
CN202010555093.XA 2020-06-17 2020-06-17 基于多通路图卷积神经网络的对象分类方法及装置 Active CN111814842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010555093.XA CN111814842B (zh) 2020-06-17 2020-06-17 基于多通路图卷积神经网络的对象分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010555093.XA CN111814842B (zh) 2020-06-17 2020-06-17 基于多通路图卷积神经网络的对象分类方法及装置

Publications (2)

Publication Number Publication Date
CN111814842A CN111814842A (zh) 2020-10-23
CN111814842B true CN111814842B (zh) 2023-11-03

Family

ID=72845932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010555093.XA Active CN111814842B (zh) 2020-06-17 2020-06-17 基于多通路图卷积神经网络的对象分类方法及装置

Country Status (1)

Country Link
CN (1) CN111814842B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966763B (zh) * 2021-03-17 2023-12-26 北京邮电大学 一种分类模型的训练方法、装置、电子设备及存储介质
CN113269239B (zh) * 2021-05-13 2024-04-19 河南大学 一种基于多通道卷积神经网络的关系网络节点分类方法
CN113688574A (zh) * 2021-09-08 2021-11-23 北京邮电大学 一种应用于gnn的拓扑感知的后处理置信度校正方法
CN113850381A (zh) * 2021-09-15 2021-12-28 支付宝(杭州)信息技术有限公司 一种图神经网络训练方法及装置
CN113794732B (zh) * 2021-09-22 2023-08-11 上海观安信息技术股份有限公司 一种部署仿真网络环境的方法、装置、设备及存储介质
CN114944991A (zh) * 2022-05-30 2022-08-26 济南浪潮数据技术有限公司 一种基于web端的拓扑图编辑方法、***及工具
CN115545098B (zh) * 2022-09-23 2023-09-08 青海师范大学 一种基于注意力机制的三通道图神经网络的节点分类方法
CN117170686B (zh) * 2023-11-03 2024-03-12 深圳鲲云信息科技有限公司 用于神经网络编译优化的方法及计算设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214599A (zh) * 2018-10-25 2019-01-15 北京师范大学 一种对复杂网络进行链路预测的方法
CN110737730A (zh) * 2019-10-21 2020-01-31 腾讯科技(深圳)有限公司 基于无监督学习的用户分类方法、装置、设备及存储介质
CN110796110A (zh) * 2019-11-05 2020-02-14 西安电子科技大学 一种基于图卷积网络的人体行为识别方法及***
CN110807101A (zh) * 2019-10-15 2020-02-18 中国科学技术信息研究所 一种科技文献大数据分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106978B2 (en) * 2017-09-08 2021-08-31 SparkCognition, Inc. Execution of a genetic algorithm with variable evolutionary weights of topological parameters for neural network generation and training

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214599A (zh) * 2018-10-25 2019-01-15 北京师范大学 一种对复杂网络进行链路预测的方法
CN110807101A (zh) * 2019-10-15 2020-02-18 中国科学技术信息研究所 一种科技文献大数据分类方法
CN110737730A (zh) * 2019-10-21 2020-01-31 腾讯科技(深圳)有限公司 基于无监督学习的用户分类方法、装置、设备及存储介质
CN110796110A (zh) * 2019-11-05 2020-02-14 西安电子科技大学 一种基于图卷积网络的人体行为识别方法及***

Also Published As

Publication number Publication date
CN111814842A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814842B (zh) 基于多通路图卷积神经网络的对象分类方法及装置
US11373233B2 (en) Item recommendations using convolutions on weighted graphs
CN110807154B (zh) 一种基于混合深度学习模型的推荐方法与***
US11354590B2 (en) Rule determination for black-box machine-learning models
Xu et al. Investigation on the Chinese text sentiment analysis based on convolutional neural networks in deep learning.
Taddy Multinomial inverse regression for text analysis
CN105740401B (zh) 一种基于个体行为和群体兴趣的兴趣地点推荐方法及装置
CN109766557B (zh) 一种情感分析方法、装置、存储介质及终端设备
CN112364638B (zh) 一种基于社交文本的人格识别方法
CN104199826B (zh) 一种基于关联分析的异构媒体相似性计算方法和检索方法
Ma et al. A credit risk assessment model of borrowers in P2P lending based on BP neural network
US20220058464A1 (en) Information processing apparatus and non-transitory computer readable medium
Alfarhood et al. DeepHCF: a deep learning based hybrid collaborative filtering approach for recommendation systems
CN108304568B (zh) 一种房地产公众预期大数据处理方法及***
Min et al. Poverty prediction using machine learning approach
Zheng et al. Hierarchical collaborative embedding for context-aware recommendations
Liu et al. Projective ART with buffers for the high dimensional space clustering and an application to discover stock associations
WO2023082698A1 (zh) 公众满意度的分析方法、存储介质及电子设备
George et al. Hy-MOM: Hybrid recommender system framework using memory-based and model-based collaborative filtering framework
Zeng et al. RACMF: robust attention convolutional matrix factorization for rating prediction
CN114491296A (zh) 提案联名人推荐方法、***、计算机设备及可读存储介质
CN111666410B (zh) 商品用户评论文本的情感分类方法及***
Li et al. Dataset complexity assessment based on cumulative maximum scaled area under Laplacian spectrum
Sattar et al. Utilizing latent features for building recommender system based on RBM neural network
CN114662488A (zh) 词向量生成方法和设备、计算设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant