CN112733918A - 基于注意力机制的图分类方法及化合物毒性预测方法 - Google Patents

基于注意力机制的图分类方法及化合物毒性预测方法 Download PDF

Info

Publication number
CN112733918A
CN112733918A CN202011637474.9A CN202011637474A CN112733918A CN 112733918 A CN112733918 A CN 112733918A CN 202011637474 A CN202011637474 A CN 202011637474A CN 112733918 A CN112733918 A CN 112733918A
Authority
CN
China
Prior art keywords
graph
node
network
embedding
graph network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011637474.9A
Other languages
English (en)
Other versions
CN112733918B (zh
Inventor
高建良
高俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
CERNET Corp
Original Assignee
Central South University
CERNET Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University, CERNET Corp filed Critical Central South University
Priority to CN202011637474.9A priority Critical patent/CN112733918B/zh
Publication of CN112733918A publication Critical patent/CN112733918A/zh
Application granted granted Critical
Publication of CN112733918B publication Critical patent/CN112733918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于注意力机制的图分类方法，包括获取原始图网络及对应的图网络数据信息；初始化节点的特征嵌入、构建高阶图网络并初始化高阶图网络中的节点嵌入；各阶图网络中的节点采用子结构交互注意力网络捕获吸收邻居节点信息和邻居节点间的交互信息并训练得到图网络中每个节点的新的特征嵌入；采用节点注意力网络将图网络中的节点特征嵌入融合成图网络嵌入，级联各阶图网络嵌入后通过多层感知机将降维分类并得到最终的图网络分类结果。本发明还公开了一种包括所述基于注意力机制的图分类方法的化合物毒性预测方法。本发明有效提高了图网络分类的准确度和化合物毒性预测的准确度；而且效率较高、准确性较好且易于实施。

Description

基于注意力机制的图分类方法及化合物毒性预测方法
技术领域
本发明属于图数据挖掘领域，具体涉及一种基于注意力机制的图分类方法及化合物毒性预测方法。
背景技术
图分类作为图挖掘领域中的一个重要分支，已经被应用到了许多实际领域。判断DNA蛋白质序列是否突变，预测未知的化合物是否具有毒性，根据社交群体的内部结构属性对社群进行类别判断等，都可以抽象为图分类问题。例如，在化学领域，化学家们利用图对化合物结构建模，用图中的顶点来表示化合物中的分子，用图中的边来表示分子之间的化学键，通过对化合物图集的挖掘，可以发现化合物结构之间的内在关系，帮助找到那些频繁出现、且与有毒化合物具有相同子结构的物质。在社交网络的挖掘中，可以将整个社会抽象为一个网络拓扑图，每一个个体或组织可以表示为图中的顶点，而图中的边则可以表示个体或组织之间的复杂联系，这样对社会人群的分析，就可以转化为对社交网络拓扑图的挖掘。
近年来，图神经网络(GNN)已广泛用于图的表示学习，并在图分类任务中表现出较好的结果。亚历克斯·克里热夫斯基等将吸收邻近节点信息的思想应用于神经网络并提出卷积神经网络(CNN)。随后，Kipf等人提出了图卷积网络(GCN)，通过将CNN应用于具有分层传播规则的图数据中，从而对图结构和节点特征进行编码。在图分类中，最近的一种方法DGCNN采用空间图卷积层来提取多尺度节点特征。该方法保留了多层卷积过程中节点嵌入的信息，并取得了较好的分类效果。为了考虑不同邻居节点在信息聚合过程中的影响，Velickovic提出了基于GCN的图注意力网络(GAT)。GAT模型利用注意机制计算注意系数，表示不同邻居节点对中心节点的重要性。随后，注意机制的一些变体，可以自适应地处理可变大小的数据，并鼓励模型将重点放在数据中最突出的部分上。
图结构中的各种子结构通常倾向于显示不同的信息，这些子结构可用于图嵌入和图分类。但是这些模型存在不足：一方面，GAT及其变体只关注单个节点(一阶)，这限制了它们在图分类应用中的准确性；另一方面，这些高阶模型仅使用邻接矩阵或其变体线性吸收邻居的信息，在处理复杂的非线性数据(例如邻居之间的交互信息)时存在困难；而且这些非线性数据不能通过现有的卷积运算直接吸收，但是它们包含的信息将影响图信息的表示，因此造成模型在精确度上存在缺陷。
发明内容
本发明的目的之一在于提供一种效率较高、准确性较好且易于实施的基于注意力机制的图分类方法。
本发明的目的之二在于提供一种包括了所述基于注意力机制的图分类方法的化合物毒性预测方法。
本发明提供的这种基于注意力机制的图分类方法，包括如下步骤：
S1.获取原始图网络及对应的图网络数据信息；
S2.根据步骤S1获取的原始图网络及数据信息，初始化节点的特征嵌入、构建高阶图网络并初始化高阶图网络中的节点嵌入；
S3.各阶图网络中的节点，采用子结构交互注意力网络SIA，捕获吸收邻居节点信息，捕获吸收邻居节点间的交互信息，并训练得到图网络中每个节点的新的特征嵌入；
S4.采用节点注意力网络SNA将图网络中的节点特征嵌入融合成图网络嵌入，并级联各阶图网络嵌入，再通过多层感知机将级联后的图网络嵌入进行降维分类，从而得到最终的图网络分类结果。
步骤S2所述的初始化节点的特征嵌入，具体为采用如下步骤初始化节点的特征嵌入：
对于给定的图网络G，用V(G)表示图G的节点集，E(G)表示图G的边集；节点i∈V(G)和边(i,j)∈E(G)都具有属性；将节点i∈V(G)的属性编码为ui的嵌入特征，N(i)＝{j|(i,j)∈E(G)}表示节点i的邻居节点，|N(i)|表示节点i的邻居节点个数；使用节点的标签和属性初始化节点嵌入：对于节点i∈V(G)，通过分别连接基于节点的标签和属性，并生成的两个单热向量
Figure BDA0002878914530000031
和
Figure BDA0002878914530000032
来初始化嵌入ui，
Figure BDA0002878914530000033
其中d＝d1+d2，||为连接符号。
步骤S2所述的构建高阶图网络，具体为采用如下步骤构建高阶图网络：
对于给定的整数k≥2，将给定的图网络G中构成连通子图的任意k个不同节点表示为Ck＝{v1,v2,...,vk}；然后，将Ck表示为k阶图网络中的一个节点；所有Ck组成k阶图网络的节点集并记为V(G)k；定义k阶图网络的节点Ck的邻域为N(Ck)＝{Tk∈V(G)k|(|Ck∩Tk|)＝k-1}，其中|Ck∩Tk|为与Ck和Tk相交的节点数；若Tk为Ck的邻居，则有一条边(Ck,Tk)存在于Ck和Tk之间，且令所有这些边组成k阶图网络的边集并记为E(G)k，k阶图网络Gk表示为(V(G)k,E(G)k)；从而构造一个k阶图网络，其中每个节点代表一个k阶子结构。
步骤S2所述的初始化高阶图网络中的节点嵌入，具体为采用如下步骤初始化节点嵌入：
对于k阶图网络中的节点Ck，采用k-1阶图网络的特征嵌入作为初始特征u(Ck)：
Figure BDA0002878914530000041
其中u(Ck)表示k阶图网络中节点Ck的初始特征，u(Ck-1)表示Ck-1在k-1阶图网络中的特征；对于Ck，有k-1个节点组成连通子图的组合是Ck的子集；N表示满足条件的Ck-1的个数；k为正整数且k≥2；
步骤S3所述的捕获吸收邻居节点信息，具体为采用如下步骤进行捕获吸收：
设定k阶图网络中的每个节点Ck为一个k阶子结构，并被赋予一个基本子结构嵌入向量u(Ck)∈Rd，其中d表示特征维数；相邻子结构聚合用于融合相邻子结构信息，相邻子结构聚合的迭代公式如下式所示：
Figure BDA0002878914530000042
式中Tk∈N(Ck)为节点Ck在k阶图网络中的邻居；W1∈Rd'×d为每个节点的共享权值矩阵，d'为每个节点的输出维数；α(Ck,Tk)为注意系数，且计算公式为
Figure BDA0002878914530000043
其中f(u(Ck),u(Tk))为表示u(Ck)和u(Tk)的相容性标量，通过单隐层前馈网络并采用如下公式计算
Figure BDA0002878914530000044
a∈Rr为生成标量值的权值向量，tanh为激活函数，W2∈Rr×2d为权值矩阵，
Figure BDA0002878914530000045
表示u(Ck)和u(Tk)的连接，b∈Rr为偏置，r为常数且表示隐含层的维数。
步骤S3所述的捕获吸收邻居节点间的交互信息，具体为采用如下步骤进行捕获吸收：
聚合相邻子结构的相互作用信息，迭代公式如下式：
Figure BDA0002878914530000051
式中u(Ck)'ia为节点Ck的邻居交互表示，u(Tk)为节点Tk的表示，u(Sk)为节点Sk的表示，⊙为哈玛达积；β(Tk,Sk)为节点Tk和Sk之间的交互作用系数，且计算公式为
Figure BDA0002878914530000052
采用如下算式进行归一化：
Figure BDA0002878914530000053
式中(Mk,Qk)为k阶图中的一条边，且满足Mk和Qk均为Ck的邻居，E(G)k为k阶图网络的边集。
步骤S3所述的得到图网络中每个节点的新的特征嵌入，具体为采用如下步骤获取新的特征嵌入：
融合邻居节点信息和邻居节点间的交互信息，获得节点嵌入u(Ck)；节点嵌入u(Ck)的迭代表示式为u(Ck)'＝σ(αu(Ck)'sa+(1-α)u(Ck)'ia)，其中u(Ck)'sa为邻居聚合得到的新节点嵌入，u(Ck)'ia为邻居相互作用聚合得到的新节点嵌入，σ为sigmoid激活函数。
步骤S4所述的用节点注意力网络SNA将图网络中的节点特征嵌入融合成图网络嵌入，具体为采用如下步骤获取图网络嵌入：
利用注意机制学习每个图网络子结构的权值，然后通过学习子结构的权值将子结构嵌入融合为图网络嵌入；设定V(G)为图网络G中子结构的集合，VG∈RN×d表示对应子结构嵌入的集合，N为子结构的个数，un∈R1×d表示子结构n∈V(G)的嵌入，然后通过如下算式计算得到图级嵌入hG：
Figure BDA0002878914530000061
式中σ为激活函数且
Figure BDA0002878914530000062
Figure BDA0002878914530000063
为un的转置；ReLU为激活函数；W3∈Rd×d为子结构嵌入的可学习权矩阵。
步骤S4所述的通过多层感知机将级联后的图网络嵌入进行降维分类，从而得到最终的图网络分类结果，具体为采用如下步骤获取最终的图网络分类结果：
对于k阶图网络对应的图网络的嵌入
Figure BDA0002878914530000064
将各阶图网络对应的图网络嵌入按递增顺序级联，得到最终的图网络嵌入
Figure BDA0002878914530000065
然后将生成的图网络嵌入FG输入至多层感知机MLP层，从而得到最终的预测图网络标签
Figure BDA0002878914530000066
本发明还公开了一种包括了所述基于注意力机制的图分类方法的化合物毒性预测方法，具体包括如下步骤：
A.将化合物分子表示为图：节点对应于原子，边对应于院子对之间存在的化学键；
B.根据步骤A得到的化合物分子所对应的图，采用上述的基于注意力机制的图分类方法对化合物分子所对应的图进行分类；
C.得到的最终的化合物分子所对应的图的分类结果，对应于最终的化合物毒性预测结果。
本发明提供的这种基于注意力机制的图分类方法及化合物毒性预测方法，首次提出子结构交互注意力网络SIA以捕捉图网络数据的复杂非线性和节点特征；针对图神经网络模型聚集邻域信息受限的问题，本发明通过构建高阶图网络以捕获子结构信息；针对现有图神经网络模型中图级嵌入缺失节点特性的问题，本发明提出以通过学习节点的重要性来生成图网络嵌入表示的节点注意力网络(SNA)池化，有效提高了图网络分类的准确度和化合物毒性预测准确度；而且本发明方法的效率较高、准确性较好且易于实施。
附图说明
图1为本发明分类方法的方法流程示意图。
图2为本发明化合物毒性预测方法的方法流程示意图。
图3为本发明化合物毒性预测方法的高阶图网络构造示意图。
图4为本发明化合物毒性预测方法的子结构交互注意力网络SIA示意图。
图5为本发明化合物毒性预测方法的节点注意力网络SNA示意图。
图6为本发明化合物毒性预测方法的图网络嵌入级联及分类示意图。
具体实施方式
如图1所示为本发明分类方法的方法流程示意图：本发明提供的这种基于注意力机制的图分类方法，包括如下步骤：
S1.获取原始图网络及对应的图网络数据信息；
S2.根据步骤S1获取的原始图网络及数据信息，初始化节点的特征嵌入、构建高阶图网络并初始化高阶图网络中的节点嵌入；
在具体实施时，采用如下步骤初始化节点的特征嵌入：
对于给定的图网络G，用V(G)表示图G的节点集，E(G)表示图G的边集；节点i∈V(G)和边(i,j)∈E(G)都具有属性；将节点i∈V(G)的属性编码为ui的嵌入特征，N(i)＝{j|(i,j)∈E(G)}表示节点i的邻居节点，|N(i)|表示节点i的邻居节点个数；使用节点的标签和属性初始化节点嵌入：对于节点i∈V(G)，通过分别连接基于节点的标签和属性，并生成的两个单热向量
Figure BDA0002878914530000081
和
Figure BDA0002878914530000082
来初始化嵌入ui，
Figure BDA0002878914530000083
其中d＝d1+d2，||为连接符号；
采用如下步骤构建高阶图网络：
对于给定的整数k≥2，将给定的图网络G中构成连通子图的任意k个不同节点表示为Ck＝{v1,v2,...,vk}；然后，将Ck表示为k阶图网络中的一个节点；所有Ck组成k阶图网络的节点集并记为V(G)k；定义k阶图网络的节点Ck的邻域为N(Ck)＝{Tk∈V(G)k|(|Ck∩Tk|)＝k-1}，其中|Ck∩Tk|为与Ck和Tk相交的节点数；若Tk为Ck的邻居，则有一条边(Ck,Tk)存在于Ck和Tk之间，且令所有这些边组成k阶图网络的边集并记为E(G)k，k阶图网络Gk表示为(V(G)k,E(G)k)；从而构造一个k阶图网络，其中每个节点代表一个k阶子结构；
采用如下步骤初始化节点嵌入：
对于k阶图网络中的节点Ck，采用k-1阶图网络的特征嵌入作为初始特征u(Ck)：
Figure BDA0002878914530000084
其中u(Ck)表示k阶图网络中节点Ck的初始特征，u(Ck-1)表示Ck-1在k-1阶图网络中的特征；对于Ck，有k-1个节点组成连通子图的组合是Ck的子集；N表示满足条件的Ck-1的个数；k为正整数且k≥2；
S3.各阶图网络中的节点，采用子结构交互注意力网络SIA，捕获吸收邻居节点信息，捕获吸收邻居节点间的交互信息，并训练得到图网络中每个节点的新的特征嵌入；
具体实施时，采用如下步骤进行捕获吸收：
设定k阶图网络中的每个节点Ck为一个k阶子结构，并被赋予一个基本子结构侵入向量u(Ck)∈Rd，其中d表示特征维数；相邻子结构聚合用于融合相邻子结构信息，相邻子结构聚合的迭代公式如下式所示：
Figure BDA0002878914530000091
式中Tk∈N(Ck)为节点Ck在k阶图网络中的邻居；W1∈Rd'×d为每个节点的共享权值矩阵，d'为每个节点的输出维数；α(Ck,Tk)为注意系数，且计算公式为
Figure BDA0002878914530000092
其中f(u(Ck),u(Tk))为表示u(Ck)和u(Tk)的相容性的标量，通过单隐层前馈网络并采用如下公式计算
Figure BDA0002878914530000093
a∈Rr为生成标量值的权值向量，tanh为激活函数，W2∈Rr×2d为权值矩阵，
Figure BDA0002878914530000094
表示u(Ck)和u(Tk)的连接，b∈Rr为偏置，r为常数且表示隐含层的维数；
采用如下步骤进行捕获吸收：
聚合相邻子结构的相互作用信息，迭代公式如下式：
Figure BDA0002878914530000095
式中u(Ck)'ia为节点Ck的邻居交互表示，u(Tk)为节点Tk的表示，u(Sk)为节点Sk的表示，⊙为哈玛达积；β(Tk,Sk)为节点Tk和Sk之间的交互作用系数，且计算公式为
Figure BDA0002878914530000096
为了使不同的交互邻居对之间的系数易于比较，采用如下算式进行归一化：
Figure BDA0002878914530000097
式中(Mk,Qk)为k阶图中的一条边，且满足Mk和Qk均为Ck的邻居，E(G)k为k阶图网络的边集；
采用如下步骤获取新的特征嵌入：
融合邻居节点信息和邻居节点间的交互信息，获得节点嵌入u(Ck)；节点嵌入u(Ck)的迭代表示式为u(Ck)'＝σ(αu(Ck)'sa+(1-α)u(Ck)'ia)，其中u(Ck)'sa为邻居聚合得到的新节点嵌入，u(Ck)'ia为邻居相互作用聚合得到的新节点嵌入，σ为sigmoid激活函数；
S4.采用节点注意力网络SNA将图网络中的节点特征嵌入融合成图网络嵌入，并级联各阶图网络嵌入，再通过多层感知机将级联后的图网络嵌入进行降维分类，从而得到最终的图网络分类结果；
具体实施时，采用如下步骤获取图网络嵌入：
利用注意机制学习每个图网络子结构的权值，然后通过学习子结构的权值将子结构嵌入融合为图网络嵌入；设定V(G)为图网络G中子结构的集合，VG∈RN×d表示对应子结构嵌入的集合，N为子结构的个数，un∈R1×d表示子结构n∈V(G)的嵌入，然后通过如下算式计算得到图级嵌入hG：
Figure BDA0002878914530000101
式中σ为激活函数且
Figure BDA0002878914530000102
Figure BDA0002878914530000103
为un的转置；ReLU为激活函数；W3∈Rd×d为子结构嵌入的可学习权矩阵；
采用如下步骤获取最终的图网络分类结果：
对于k阶图网络对应的图网络的嵌入
Figure BDA0002878914530000104
将各阶图网络对应的图网络嵌入按递增顺序级联，得到最终的图网络嵌入
Figure BDA0002878914530000105
然后将生成的图网络嵌入FG输入至多层感知机MLP层，从而得到最终的预测图网络标签
Figure BDA0002878914530000111
如图2所示为本发明化合物毒性预测方法的方法流程示意图：本发明提供的这种包括了所述基于注意力机制的图分类方法的化合物毒性预测方法，具体包括如下步骤：
A.将化合物分子表示为原始图：节点对应于原子，边对应于院子对之间存在的化学键；
B.根据步骤A获取的原始图网络及数据信息，初始化节点的特征嵌入、构建高阶图网络并初始化高阶图网络中的节点嵌入；
在具体实施时，采用如下步骤初始化节点的特征嵌入：
对于给定的图网络G，用V(G)表示图G的节点集，E(G)表示图G的边集；节点i∈V(G)和边(i,j)∈E(G)都具有属性；将节点i∈V(G)的属性编码为ui的嵌入特征，N(i)＝{j|(i,j)∈E(G)}表示节点i的邻居节点，|N(i)|表示节点i的邻居节点个数；使用节点的标签和属性初始化节点嵌入：对于节点i∈V(G)，通过分别连接基于节点的标签和属性，并生成的两个单热向量
Figure BDA0002878914530000112
和
Figure BDA0002878914530000113
来初始化嵌入ui，
Figure BDA0002878914530000114
其中d＝d1+d2，||为连接符号；
采用如下步骤构建高阶图网络：
对于给定的整数k≥2，将给定的一阶化合物分子图网络G中构成连通子图的任意k个不同节点表示为Ck＝{v1,v2,...,vk}；然后，将Ck表示为k阶化合物分子图网络中的一个节点；所有Ck组成k阶化合物分子图网络的节点集并记为V(G)k；定义k阶化合物分子图网络的节点Ck的邻域为N(Ck)＝{Tk∈V(G)k|(|Ck∩Tk|)＝k-1}，其中|Ck∩Tk|为与Ck和Tk相交的节点数；若Tk为Ck的邻居，则有一条边(Ck,Tk)存在于Ck和Tk之间，且令所有这些边组成k阶化合物分子图网络的边集并记为E(G)k，k阶图网络Gk表示为(V(G)k,E(G)k)；从而构造一个k阶化合物分子图网络，其中每个节点代表一个k阶子结构；
如图3所示，图3(a)是一个1阶化合物分子图网络，其由A、B、C、D、E和F六个节点组成，在1阶化合物分子图网络上将两个相连节点构成的2阶子结构视为一个节点，比如A&C、B&C、C&D等，构成2阶化合物分子图网络(k＝2)，如图3(b)所示。图3(d)显示包含4阶内的高阶子结构，分别用以构建不同阶的高阶化合物分子图网络；
采用如下步骤初始化节点嵌入：
对于k阶化合物分子图网络中的节点Ck，采用k-1阶化合物分子图网络的特征嵌入作为初始特征u(Ck)：
Figure BDA0002878914530000121
其中u(Ck)表示k阶化合物分子图网络中节点Ck的初始特征，u(Ck-1)表示Ck-1在k-1阶图网络中的特征；对于Ck，有k-1个节点组成连通子图的组合是Ck的子集；N表示满足条件的Ck-1的个数；k为正整数且k≥2；
C.各阶化合物分子图网络中的节点，采用子结构交互注意力网络SIA，捕获吸收邻居节点信息，捕获吸收邻居节点间的交互信息，并训练得到化合物分子图网络中每个节点的新的特征嵌入；
具体实施时，采用如下步骤进行捕获吸收：
设定k阶化合物分子图网络中的每个节点Ck为一个k阶子结构，并被赋予一个基本子结构侵入向量u(Ck)∈Rd，其中d表示特征维数；化合物分子相邻子结构聚合用于融合相邻子结构信息，如图4所述，中心子结构a将相邻子结构b,c,d,e,f的信息聚集于本身；相邻子结构聚合的迭代公式如下式所示：
Figure BDA0002878914530000131
式中Tk∈N(Ck)为节点Ck在k阶化合物分子图网络中的邻居；W1∈Rd'×d为每个节点的共享权值矩阵，d'为每个节点的输出维数；α(Ck,Tk)为注意系数，且计算公式为
Figure BDA0002878914530000132
其中f(u(Ck),u(Tk))为表示u(Ck)和u(Tk)的相容性的标量，通过单隐层前馈网络并采用如下公式计算
Figure BDA0002878914530000133
a∈Rr为生成标量值的权值向量，tanh为激活函数，W2∈Rr×2d为权值矩阵，
Figure BDA0002878914530000134
表示u(Ck)和u(Tk)的连接，b∈Rr为偏置，r为常数且表示隐含层的维数；
采用如下步骤进行捕获吸收：
聚合化合物分子图中相邻子结构的相互作用信息，如图4所示，中心子结构a将相邻子结构c、d的交互信息以及b、f间的交互信息聚集于本身；迭代公式如下式：
Figure BDA0002878914530000135
式中u(Ck)'ia为节点Ck的邻居交互表示，u(Tk)为节点Tk的表示，u(Sk)为节点Sk的表示，⊙为哈玛达积；β(Tk,Sk)为节点Tk和Sk之间的交互作用系数，且计算公式为
Figure BDA0002878914530000136
为了使不同的交互邻居对之间的系数易于比较，采用如下算式进行归一化：
Figure BDA0002878914530000141
式中(Mk,Qk)为k阶化合物分子图中的一条边，且满足Mk和Qk均为Ck的邻居，E(G)k为k阶化合物分子图网络的边集；
采用如下步骤获取新的特征嵌入：
融合邻居节点信息和邻居节点间的交互信息，获得节点嵌入u(Ck)；节点嵌入u(Ck)的迭代表示式为u(Ck)'＝σ(αu(Ck)'sa+(1-α)u(Ck)'ia)，其中u(Ck)'sa为邻居聚合得到的新节点嵌入，u(Ck)'ia为邻居相互作用聚合得到的新节点嵌入，σ为sigmoid激活函数；
D.采用节点注意力网络SNA将图网络中的节点特征嵌入融合成化合物分子图网络嵌入，并级联各阶图网络嵌入，再通过多层感知机将级联后的图网络嵌入进行降维分类，从而得到最终的图网络分类结果；
具体实施时，采用如下步骤获取图网络嵌入：
如图5所示，利用注意机制学习每个化合物分子图网络子结构a,b,c,d,e,f的权值Score(a),Score(b),...,Score(f)，然后通过学习子结构的权值将子结构嵌入融合为化合物分子图网络嵌入；设定V(G)为化合物分子图网络G中子结构的集合，VG∈RN×d表示对应子结构嵌入的集合，N为子结构的个数，un∈R1×d表示子结构n∈V(G)的嵌入，然后通过如下算式计算得到图级嵌入hG：
Figure BDA0002878914530000142
式中σ为激活函数且
Figure BDA0002878914530000143
Figure BDA0002878914530000144
为un的转置；ReLU为激活函数；W3∈Rd×d为子结构嵌入的可学习权矩阵；
采用如下步骤获取最终的图网络分类结果：
如图6所示，对于k阶化合物分子图网络对应的图网络的嵌入
Figure BDA0002878914530000151
将各阶化合物分子图网络对应的化合物分子图网络嵌入按递增顺序级联，得到最终的高阶化合物分子图网络嵌入
Figure BDA0002878914530000152
然后将生成的化合物分子图网络嵌入FG输入至多层感知机MLP层，从而得到最终的预测化合物分子图网络标签
Figure BDA0002878914530000153
E.得到的最终的化合物分子所对应的图的分类结果，对应于最终的化合物毒性预测结果，比如有毒或无毒等。

Claims (10)

1.一种基于注意力机制的图分类方法，包括如下步骤：
S1.获取原始图网络及对应的图网络数据信息；
S2.根据步骤S1获取的原始图网络及数据信息，初始化节点的特征嵌入、构建高阶图网络并初始化高阶图网络中的节点嵌入；
S3.各阶图网络中的节点，采用子结构交互注意力网络SIA，捕获吸收邻居节点信息，捕获吸收邻居节点间的交互信息，并训练得到图网络中每个节点的新的特征嵌入；
S4.采用节点注意力网络SNA将图网络中的节点特征嵌入融合成图网络嵌入，并级联各阶图网络嵌入，再通过多层感知机将级联后的图网络嵌入进行降维分类，从而得到最终的图网络分类结果。
2.根据权利要求1所述的基于注意力机制的图分类方法，其特征在于步骤S2所述的初始化节点的特征嵌入，具体为采用如下步骤初始化节点的特征嵌入：
对于给定的图网络G，用V(G)表示图G的节点集，E(G)表示图G的边集；节点i∈V(G)和边(i,j)∈E(G)都具有属性；将节点i∈V(G)的属性编码为ui的嵌入特征，N(i)＝{j|(i,j)∈E(G)}表示节点i的邻居节点，|N(i)|表示节点i的邻居节点个数；使用节点的标签和属性初始化节点嵌入：对于节点i∈V(G)，通过分别连接基于节点的标签和属性，并生成的两个单热向量
Figure FDA0002878914520000011
和
Figure FDA0002878914520000012
来初始化嵌入ui，
Figure FDA0002878914520000013
其中d＝d1+d2，||为连接符号。
3.根据权利要求2所述的基于注意力机制的图分类方法，其特征在于步骤S2所述的构建高阶图网络，具体为采用如下步骤构建高阶图网络：
对于给定的整数k≥2，将给定的图网络G中构成连通子图的任意k个不同节点表示为Ck＝{v1,v2,...,vk}；然后，将Ck表示为k阶图网络中的一个节点；所有Ck组成k阶图网络的节点集并记为V(G)k；定义k阶图网络的节点Ck的邻域为N(Ck)＝{Tk∈V(G)k|(|Ck∩Tk|)＝k-1}，其中|Ck∩Tk|为与Ck和Tk相交的节点数；若Tk为Ck的邻居，则有一条边(Ck,Tk)存在于Ck和Tk之间，且令所有这些边组成k阶图网络的边集并记为E(G)k，k阶图网络Gk表示为(V(G)k,E(G)k)；从而构造一个k阶图网络，其中每个节点代表一个k阶子结构。
4.根据权利要求3所述的基于注意力机制的图分类方法，其特征在于步骤S2所述的初始化高阶图网络中的节点嵌入，具体为采用如下步骤初始化节点嵌入：
对于k阶图网络中的节点Ck，采用k-1阶图网络的特征嵌入作为初始特征u(Ck)：
Figure FDA0002878914520000021
其中u(Ck)表示k阶图网络中节点Ck的初始特征，u(Ck-1)表示Ck-1在k-1阶图网络中的特征；对于Ck，有k-1个节点组成连通子图的组合是Ck的子集；N表示满足条件的Ck-1的个数；k为正整数且k≥2。
5.根据权利要求4所述的基于注意力机制的图分类方法，其特征在于步骤S3所述的捕获吸收邻居节点信息，具体为采用如下步骤进行捕获吸收：
设定k阶图网络中的每个节点Ck为一个k阶子结构，并被赋予一个基本子结构侵入向量u(Ck)∈Rd，其中d表示特征维数；相邻子结构聚合用于融合相邻子结构信息，相邻子结构聚合的迭代公式如下式所示：
Figure FDA0002878914520000022
式中Tk∈N(Ck)为节点Ck在k阶图网络中的邻居；W1∈Rd'×d为每个节点的共享权值矩阵，d'为每个节点的输出维数；α(Ck,Tk)为注意系数，且计算公式为
Figure FDA0002878914520000031
其中f(u(Ck),u(Tk))为表示u(Ck)和u(Tk)的相容性的标量，通过单隐层前馈网络并采用如下公式计算
Figure FDA0002878914520000032
a∈Rr为生成标量值的权值向量，tanh为激活函数，W2∈Rr×2d为权值矩阵，
Figure FDA0002878914520000033
表示u(Ck)和u(Tk)的连接，b∈Rr为偏置，r为常数且表示隐含层的维数。
6.根据权利要求5所述的基于注意力机制的图分类方法，其特征在于步骤S3所述的捕获吸收邻居节点间的交互信息，具体为采用如下步骤进行捕获吸收：
聚合相邻子结构的相互作用信息，迭代公式如下式：
Figure FDA0002878914520000034
式中u(Ck)'ia为节点Ck的邻居交互表示，u(Tk)为节点Tk的表示，u(Sk)为节点Sk的表示，⊙为哈玛达积；β(Tk,Sk)为节点Tk和Sk之间的交互作用系数，且计算公式为
Figure FDA0002878914520000035
采用如下算式进行归一化：
Figure FDA0002878914520000036
式中(Mk,Qk)为k阶图中的一条边，且满足Mk和Qk均为Ck的邻居，E(G)k为k阶图网络的边集。
7.根据权利要求6所述的基于注意力机制的图分类方法，其特征在于步骤S3所述的得到图网络中每个节点的新的特征嵌入，具体为采用如下步骤获取新的特征嵌入：
融合邻居节点信息和邻居节点间的交互信息，获得节点嵌入u(Ck)；节点嵌入u(Ck)的迭代表示式为u(Ck)'＝σ(αu(Ck)'sa+(1-α)u(Ck)'ia)，其中u(Ck)'sa为邻居聚合得到的新节点嵌入，u(Ck)'ia为邻居相互作用聚合得到的新节点嵌入，σ为sigmoid激活函数。
8.根据权利要求7所述的基于注意力机制的图分类方法，其特征在于步骤S4所述的用节点注意力网络SNA将图网络中的节点特征嵌入融合成图网络嵌入，具体为采用如下步骤获取图网络嵌入：
利用注意机制学习每个图网络子结构的权值，然后通过学习子结构的权值将子结构嵌入融合为图网络嵌入；设定V(G)为图网络G中子结构的集合，VG∈RN×d表示对应子结构嵌入的集合，N为子结构的个数，un∈R1×d表示子结构n∈V(G)的嵌入，然后通过如下算式计算得到图级嵌入hG：
Figure FDA0002878914520000041
式中σ为激活函数且
Figure FDA0002878914520000042
Figure FDA0002878914520000043
为un的转置；ReLU为激活函数；W3∈Rd×d为子结构嵌入的可学习权矩阵。
9.根据权利要求8所述的基于注意力机制的图分类方法，其特征在于步骤S4所述的通过多层感知机将级联后的图网络嵌入进行降维分类，从而得到最终的图网络分类结果，具体为采用如下步骤获取最终的图网络分类结果：
对于k阶图网络对应的图网络的嵌入
Figure FDA0002878914520000044
将各阶图网络对应的图网络嵌入按递增顺序级联，得到最终的图网络嵌入
Figure FDA0002878914520000045
然后将生成的图网络嵌入FG输入至多层感知机MLP层，从而得到最终的预测图网络标签
Figure FDA0002878914520000051
10.一种包括了权利要求1～9之一所述的基于注意力机制的图分类方法的化合物毒性预测方法，具体包括如下步骤：
A.将化合物分子表示为图：节点对应于原子，边对应于院子对之间存在的化学键；
B.根据步骤A得到的化合物分子所对应的图，采用权利要求1～9之一所述的基于注意力机制的图分类方法对化合物分子所对应的图进行分类；
C.得到的最终的化合物分子所对应的图的分类结果，对应于最终的化合物毒性预测结果。
CN202011637474.9A 2020-12-31 2020-12-31 基于注意力机制的图分类方法及化合物毒性预测方法 Active CN112733918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011637474.9A CN112733918B (zh) 2020-12-31 2020-12-31 基于注意力机制的图分类方法及化合物毒性预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011637474.9A CN112733918B (zh) 2020-12-31 2020-12-31 基于注意力机制的图分类方法及化合物毒性预测方法

Publications (2)

Publication Number Publication Date
CN112733918A true CN112733918A (zh) 2021-04-30
CN112733918B CN112733918B (zh) 2023-08-29

Family

ID=75608738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011637474.9A Active CN112733918B (zh) 2020-12-31 2020-12-31 基于注意力机制的图分类方法及化合物毒性预测方法

Country Status (1)

Country Link
CN (1) CN112733918B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257369A (zh) * 2021-05-18 2021-08-13 南京邮电大学 一种基于多任务图神经网络的分子毒性预测方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711481A (zh) * 2019-01-02 2019-05-03 京东方科技集团股份有限公司 用于画作多标签识别的神经网络、相关方法、介质和设备
CN110866542A (zh) * 2019-10-17 2020-03-06 西安交通大学 一种基于特征可控融合的深度表示学习方法
CN110991483A (zh) * 2019-11-01 2020-04-10 北京邮电大学 高阶邻域混合的网络表示学习方法及装置
CN111243682A (zh) * 2020-01-10 2020-06-05 京东方科技集团股份有限公司 药物的毒性预测方法及装置、介质和设备
CN111538761A (zh) * 2020-04-21 2020-08-14 中南大学 基于注意力机制的点击率预测方法
US20200285944A1 (en) * 2019-03-08 2020-09-10 Adobe Inc. Graph convolutional networks with motif-based attention
CN112132188A (zh) * 2020-08-31 2020-12-25 浙江工业大学 一种基于网络属性的电商用户分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711481A (zh) * 2019-01-02 2019-05-03 京东方科技集团股份有限公司 用于画作多标签识别的神经网络、相关方法、介质和设备
US20200285944A1 (en) * 2019-03-08 2020-09-10 Adobe Inc. Graph convolutional networks with motif-based attention
CN110866542A (zh) * 2019-10-17 2020-03-06 西安交通大学 一种基于特征可控融合的深度表示学习方法
CN110991483A (zh) * 2019-11-01 2020-04-10 北京邮电大学 高阶邻域混合的网络表示学习方法及装置
CN111243682A (zh) * 2020-01-10 2020-06-05 京东方科技集团股份有限公司 药物的毒性预测方法及装置、介质和设备
CN111538761A (zh) * 2020-04-21 2020-08-14 中南大学 基于注意力机制的点击率预测方法
CN112132188A (zh) * 2020-08-31 2020-12-25 浙江工业大学 一种基于网络属性的电商用户分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴睿智;朱大勇;王春雨;秦科;: "基于图卷积神经网络的位置语义推断", 电子科技大学学报, no. 05, pages 102 - 107 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257369A (zh) * 2021-05-18 2021-08-13 南京邮电大学 一种基于多任务图神经网络的分子毒性预测方法和装置
CN113257369B (zh) * 2021-05-18 2022-08-30 南京邮电大学 一种基于多任务图神经网络的分子毒性预测方法和装置

Also Published As

Publication number Publication date
CN112733918B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Ma et al. Luna: Linear unified nested attention
Geng et al. Spatiotemporal multi-graph convolution network for ride-hailing demand forecasting
Zhuang et al. Label information guided graph construction for semi-supervised learning
CN111950594A (zh) 基于子图采样的大规模属性图上的无监督图表示学习方法和装置
Gao et al. A canonical polyadic deep convolutional computation model for big data feature learning in Internet of Things
CN112529069B (zh) 一种半监督节点分类方法、***、计算机设备和存储介质
Zhou et al. Graph convolution: A high-order and adaptive approach
Xu et al. Graph partitioning and graph neural network based hierarchical graph matching for graph similarity computation
CN113761250A (zh) 模型训练方法、商户分类方法及装置
CN112529071B (zh) 一种文本分类方法、***、计算机设备和存储介质
CN116186390A (zh) 一种融合超图的对比学习会话推荐方法
CN112784118A (zh) 一种对三角形结构敏感的图中的社区发现方法和装置
Fang et al. Graph regularised sparse NMF factorisation for imagery de‐noising
Palmucci et al. Where is your field going? A machine learning approach to study the relative motion of the domains of physics
Yu et al. Missing air pollution data recovery based on long-short term context encoder
Sun et al. Fusing attributed and topological global-relations for network embedding
Hu et al. M-gcn: Multi-scale graph convolutional network for 3d point cloud classification
CN112733918A (zh) 基于注意力机制的图分类方法及化合物毒性预测方法
Ng et al. Expressing multivariate time series as graphs with time series attention transformer
Li et al. A tri‐attention enhanced graph convolutional network for skeleton‐based action recognition
Sheng et al. Personalized recommendation of location-based services using spatio-temporal-aware long and short term neural network
Feng et al. Hypergraph isomorphism computation
Uzun et al. Deep learning based classification of time series of chaotic systems over graphic images
Sun et al. A2AE: Towards adaptive multi-view graph representation learning via all-to-all graph autoencoder architecture
Schrodi et al. Construction of hierarchical neural architecture search spaces based on context-free grammars

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant