CN116383446A - 一种基于异构引文网络的作者分类方法 - Google Patents
一种基于异构引文网络的作者分类方法 Download PDFInfo
- Publication number
- CN116383446A CN116383446A CN202310359202.4A CN202310359202A CN116383446A CN 116383446 A CN116383446 A CN 116383446A CN 202310359202 A CN202310359202 A CN 202310359202A CN 116383446 A CN116383446 A CN 116383446A
- Authority
- CN
- China
- Prior art keywords
- graph
- graph structure
- new
- meta
- heterogeneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012216 screening Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 71
- 238000010586 diagram Methods 0.000 claims description 27
- 238000002910 structure generation Methods 0.000 claims description 26
- 238000011160 research Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000035515 penetration Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 102200088106 rs104894272 Human genes 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000000691 measurement method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于异构引文网络的作者分类方法,具体涉及一种利用基于元结构的异构图表示学习的引文网络中作者的分类方法,为解决GNN方法对引文网络中的作者进行分类时,异构图表示学习的效率和准确率低,导致引文网络中作者分类效率和准确率低的问题。将某个领域的引文网络抽象为异构图,分别定义异构图及其包含的元路径和元图,异构图中节点类型包括文章、作者和会议;依次利用图结构学习器、图结构扩展器和图结构筛选器对异构图进行处理得到筛选的新图结构;根据HAN模型构建图结构分析器,利用图结构分析器对筛选的新图结构进行节点嵌入,完成引文网络的异构图表示学习,根据异构图表示学习对作者进行分类,得到分类后的作者。属于作者分类领域。
Description
技术领域
本发明涉及一种作者分类方法,具体涉及一种利用基于元结构的异构图表示学习的引文网络中作者的分类方法,属于作者分类领域。
背景技术
目前现有的图神经网络(GNN)是在同构图或者异构图上进行的,但无论是在同构图还是异构图上提取信息都存在一定的局限性。在同构图中,例如基于图卷积技术的工作将边和节点的类型信息当作边和节点的特征,但其忽略了边和节点的类型对结构的影响。在异构图中,引入了元路径的概念解决GNN方法在同构图中存在的问题,例如基于元路径随机游走的工作将元路径序列用于指导寻找邻居节点的过程,即在寻找邻居节点时,是寻找通过元路径相连而不是简单的边相连的“邻居节点”,这种方法在提取邻居节点信息的时候就有了丰富的语义。
引文网络是一个典型的异构图,它存在着A(作者)、P(文章)、C(会议)等不同类型的节点,引文网络中的作者在发表论文时往往会查阅或者引用其他作者的工作,而这些作者一般都是属于同一个研究领域的,所以将相同领域的作者进行归类是十分有必要的。然而大型引文网络中存在上亿个甚至几十亿个作者,人工对引文网络中的作者进行分类是不可能的,所以将GNN方法应用在引文网络的作者分类中,利用元路径挖掘更多作者和对应的信息,根据信息对作者进行分类,例如元路径A(作者)-P(文章)-A(作者)可以显示两个作者的合著关系,元路径A(作者)-P(文章)-C(会议)-P(文章)-A(作者)表明了两位作者都在同一个会议上发表过文章。通过这些元路径,作者的信息可以进一步丰富,但此方法还存在一些局限性,一是一般的GNN方法都需要预定义元路径,而手动构建元路径的过程需要很强的先验知识,因为并非所有的元路径对丰富引文网络中的节点信息都是有帮助的,所以需要事先确定引文网络中有用的元路径,这对于非专业人士存在一定的难度,需要花费很大的精力和时间,影响了异构图表示学习的效率;二是在复杂引文网络中存在缺乏处理远处节点之间稀疏连接和缺失连接的能力,导致一些对丰富作者信息有用的元路径没有找到,从而使异构图表示学习的准确率下降;三是由于不同元路径所含有的语义是不同的,且针对不同的任务,同一元路径的重要性也是不同的,然而,现有大多数方法只是对不同的元路径所含有的信息进行简单的聚合,这也会使得异构图表示学习的准确率下降,影响后续的作者分类任务,导致引文网络中作者分类效率和准确率低。
发明内容
本发明为了解决GNN方法对引文网络中的作者进行分类时,需要花费很大的精力和时间确定异构图上的元路径,影响了异构图表示学习的效率,以及不能找到全部对丰富作者信息有用的元路径,只是对不同的元路径所含有的信息进行简单的聚合,影响了异构图表示学习的准确率,导致引文网络中作者分类效率和准确率低的问题,进而提出了一种基于异构引文网络的作者分类方法。
本发明采取的技术方案是:
它包括以下步骤:
S1、将某个研究领域的引文网络抽象为异构图,分别对异构图、异构图中包含的元路径和元图进行定义;
S2、利用图结构学习器对异构图进行采样和重新组合,得到新子图,将新子图以矩阵的方式相乘得到新图结构,利用图结构扩展器对新图结构进行扩展,得到扩展后的新图结构,利用图结构筛选器对扩展后的新图结构进行多样性定义和筛选,得到筛选后的新图结构;
S3、根据HAN模型构建图结构分析器,在图结构分析器内,将筛选后的新图结构作为图卷积网络GCN的输入,输出节点嵌入,利用多层感知机对节点嵌入进行非线性转换,以非线性转换后的节点嵌入与一个语义层次注意力向量的相似性测量每一个特定图结构在特定语义节点嵌入下的权重,将权重与特定语义节点嵌入进行融合,得到最终的节点嵌入,完成引文网络的异构图表示学习,根据异构图表示学习对S1中某个研究领域的引文网络的作者进行分类,得到分类后的作者。
进一步地,所述S1具体过程为:
S11、对异构图进行定义:
将某个研究领域的引文网络抽象为异构图,定义异构图为G=(V,E),异构图的关系模式为TG=(Tv,Te),其中,V为异构图中节点的集合,E为异构图中边的集合,Tv为异构图中节点类型的集合,节点类型包括某个领域的文章P、作者A和会议C,Te为异构图中边类型的集合,边类型包括P-A、A-P、P-C、C-P;
根据异构图中任意两个节点得到对应的边类型,将每个边类型用一个邻接矩阵A进行存储,A∈RN×N,其中N=|V|,则可以用邻接矩阵存储异构图,即异构图包括多个邻接矩阵,那么异构图为张量每个邻接矩阵实际上就是一个子图;
S12、将引文网络中节点间的关系抽象为元结构,元结构包含元路径和元图,元路径是在异构图上连接不同类型边的一条路径;
S13、基于异构图定义元路径:
元图M是一个具有单个源节点vs和单个目标节点vt的有向无环图,即vs的入度为0,vt的出度为0,所以用M=(VM,EM,AM,RM,vs,vt)表示元图,其中,分别受到的约束,VM表示元图M中节点的集合,EM表示元图M中边的集合,AM表示元图M中节点类型的集合,RM表示元图M中边类型的集合。
进一步地,所述S2具体过程为:
S21、定义存在多个图结构生成层,每个图结构生成层由l个图结构学习器组成,利用某个图结构学习器对S11中异构图的张量进行采样,得到多个子图Ai,将所有子图重新组合,得到一个新子图Q,则针对l个图结构学习器得到l个新子图,将l个新子图以矩阵的形式相乘得到包含长度从1到l元路径类型元结构的新图结构H,即一个图结构生成层得到一个新图结构H,多个图结构生成层得到多个新图结构H,多个新图结构H组成新图结构的张量
S22、利用图结构扩展器对新图结构的张量进行扩展,得到扩展后的新图结构的张量,扩展后的新图结构包含元图类型元结构;
S23、利用图结构筛选器对扩展后的新图结构的张量进行多样性定义和筛选,得到筛选后的新图结构的张量。
进一步地,所述S21具体过程为:
S211、定义存在多个图结构生成层,每个图结构生成层由l个图结构学习器组成,图结构生成层的数量表示为通道数C;
针对每个图结构生成层内的l个图结构学习器得到l个新子图Q1、Q2、…Ql;
S213、将l个新子图以矩阵的形式相乘得到包含长度从1到l元路径类型元结构的新图结构H:
H=Q1Q2…Ql (2)
进一步地,所述S22具体过程为:
图结构扩展器为哈达玛积操作,从新图结构的张量中任意选择两个邻接矩阵Hi和Hj,利用哈达玛积对Hi和Hj进行扩展,得到包含元图类型元结构新图结构HHP,由于图结构可作为图矩阵,所以对新图结构HHP采用基于矩阵行值的归一化方法,用图矩阵每一行的总值对图矩阵中每个元素进行归一,得到扩展后的新图结构,重复执行上述操作,得到多个新图结构HHP,多个新图结构HHP组成扩展后的新图结构的张量/>
进一步地,所述S23具体过程为:
给定一个集成模型HC以及权重αt,得到amb多样性测量方法的定义,如下式所示:
利用式(5)对不同图结构的信息进行多样性定义,如下式所示:
其中,W是图结构的总数目;
进一步地,所述S3具体过程为:
S31、将S23中新图结构的张量中的P个新图结构作为图卷积网络GCN的输入,输出P个节点嵌入Z1,Z2,…,ZP,/>其中,Za表示在某一个新图结构下的节点嵌入,a∈P,Ha表示张量Hselected的第a个新图结构对应的邻接矩阵,/>表示Ha的度矩阵,X∈RN×d表示特征矩阵,W∈Rd×d表示训练权重矩阵;
S32、根据P个节点嵌入获得每个新图结构的权重:
(β1,β2,…,βP)=attsem(Z1,Z2,…,ZP) (8)
其中,attsem表示深层神经网络,执行语义层次注意力;
S33、使用一层的多层感知机对节点嵌入进行非线性转换,利用非线性转换后的节点嵌入与一个语义层次注意力向量q的相似性测量特定新图结构的特定语义节点嵌入的重要性,对所有特定语义节点嵌入的重要性进行平均,得到每个新图结构的重要性wi:
其中,W为训练权重矩阵,b为偏置值,q为语义层次注意向量;
通过softmax函数将每个新图结构的重要性归一化,得到对应新图结构的权重,如下式所示:
其中,βi为每一个新图结构的权重,βi越高,新图结构就越重要;
S34、将新图结构的权重wi与对应新图结构的特定语义节点嵌入进行融合,得到最终的节点嵌入Z:
至此,完成引文网络的异构图表示学习,根据异构图表示学习对S1中某个研究领域的引文网络的作者进行分类,得到分类后的作者。
有益效果
本发明将某个研究领域的引文网络抽象为异构图,自定义异构图、异构图中包含的元路径和元图,将异构图分为多个子图进行后续的计算,异构图中节点类型包括某个领域的文章P、作者A和会议C,边类型包括P-A、A-P、P-C、C-P;利用图结构学习器对异构图中的多个子图进行采样和重新组合,得到新图结构,图结构学习器能够自适应地生成对丰富作者节点信息有用的元路径,大大减低了异构图引文网络表示学习的成本。再利用图结构扩展器对新图结构进行扩展,得到扩展后的新图结构,如此能够建立引文网络中距离较远作者节点之间的连接,丰富作者节点信息,找到全部有用的元路径,提高了异构图表示学习的准确率。接下来利用图结构筛选器对扩展后的新图结构进行多样性定义和筛选,得到筛选后的新图结构,找到真正有效的信息。最终利用图结构分析器实现异构图中最终的节点嵌入,完成异构图表示学习,根据异构图表示学习对某个研究领域的引文网络的作者进行分类,得到分类后的作者,在此步骤中赋予不同元路径不同的权重,更加符合实际情况,进一步提高异构图表示学习的准确率和效率,从而提高了作者分类的准确率和效率。
附图说明
图1是单通道的图结构学习器示意图;
图2是矩阵乘法扩展关系示例图;
图3是图结构扩展器操作示例图;
图4是图结构分析器过程示意图;
图5是元结构可视化分析示意图;
图6是节点分类实验结果图。
具体实施方式
具体实施方式一:结合图1-图6说明本实施方式,本实施方式所述一种基于异构引文网络的作者分类方法,由于所有作者节点都含有节点特征,通过节点特征就可以进行异构图表示学习,所以本发明通过基于元结构的异构表示学习方法准确预测出每个作者的研究领域,并进行作者节点分类。它包括以下步骤:
S1、将某个研究领域的引文网络抽象为异构图,分别对异构图、异构图中包含的元路径和元图进行定义,具体过程为:
S11、对异构图进行定义:
本发明涉及的引文网络包括DBLP(Digital Bibliography&Library Project)和ACM(Association for Computing Machinery),将某个研究领域的引文网络抽象为异构图,定义异构图为G=(V,E),异构图的关系模式为TG=(Tv,Te),其中,V为异构图中节点的集合,E为异构图中边的集合,Tv为异构图中节点类型的集合,节点类型包括某个研究领域的P(文章)、A(作者)、C(会议)等,Te为异构图中边类型的集合,边类型包括P-A、A-P、P-C、C-P等。异构图G=(V,E)中具有节点类型映射函数fv:V→Tv和边类型映射函数fe:E→Te。定义|Tv|为异构图中节点类型的数目,|Te|为异构图中边类型的数目,若|Tv|+|Te|>2,表示异构图中可能存在多种类型的节点或者多种类型的边或者多种类型的节点和多种类型的边。根据异构图中任意两个节点(可以是同种类型的节点,也可以是不同类型的节点)得到对应的边类型,将每个边类型用一个邻接矩阵进行存储,即可理解为每个边类型是一个邻接矩阵,以此用邻接矩阵A∈RN×N存储异构图,其中N=|V|。若节点vi和节点vj之间存在边eij,则邻接矩阵A中aij为非零,否则为零,vi为异构图中的第i个节点,vj为异构图中的第j个节点,vi、vj∈V,eij为异构图中连接节点vi和节点vj的边,eij∈E。aij∈A的计算方式如下所示:
根据边类型,异构图可以由表示,其中,K表示边类型的种类,K=|Te|,k代表第k种类型,k∈K,Ak∈RN×N,当节点vi和节点vj之间存在第k种类型的边时,Ak[i,j]为非零,更确切的说,异构图是由K个邻接矩阵组成的,则异构图可以表示为张量/>每个邻接矩阵实际上就是一个子图,邻接矩阵不过是以矩阵的形式表示图。
S12、将引文网络中任意节点间的关系抽象为元结构,元结构包含元路径和元图,元路径是在异构图上连接不同类型边的一条路径。
S13、基于异构图定义元路径:
S14、基于异构图定义元图:
元图M是一个具有单个源节点vs和单个目标节点vt的有向无环图,即vs的入度为0,vt的出度为0,所以用M=(VM,EM,AM,RM,vs,vt)表示元图,其中,分别受到的约束,VM表示元图M中节点的集合,EM表示元图M中边的集合,AM表示元图M中节点类型的集合,RM表示元图M中边类型的集合。
S2、利用图结构学习器对异构图进行采样和重新组合,得到新子图,将新子图以矩阵的方式相乘得到新图结构,利用图结构扩展器对新图结构进行扩展,得到扩展后的新图结构,利用图结构筛选器对扩展后的新图结构进行多样性定义和筛选,得到筛选后的新图结构,具体过程为:
S21、定义存在多个图结构生成层,每个图结构生成层由l个图结构学习器组成,利用某个图结构学习器对S11中异构图的张量进行采样,得到多个子图Ai,将所有子图重新组合,得到一个新子图Q,则针对l个图结构学习器得到l个新子图,将l个新子图以矩阵的形式相乘得到包含长度从1到l元路径类型元结构的新图结构H,即一个图结构生成层得到一个新图结构H,多个图结构生成层得到多个新图结构H,多个新图结构H组成新图结构的张量图结构可以视为以图矩阵的形式表示新异构图:
为了构建自动化学习的过程,利用图结构学习器将从异构图G中采样得到的所有子图组合成新的异构图。图结构学习器为单通道,如图1所示。
根据上式把异构图拆分成多个最小单位的子图(子图邻接矩阵),其中的每一个子图对应的子图邻接矩阵都可以看作长度为1的元结构,而构建更复杂的元结构实际上是从张量/>中选取相应的子集,再将相应的子集通过矩阵乘法连接。例如,在引文网络中,长度为2元结构Author-Paper-Conference(APC)的邻接矩阵AAPC可以通过Author-Paper,Paper-Conference的邻接矩阵AAP与APC相乘得到,即AAPC=AAP×APC。
从邻接矩阵的角度解释为:针对每个图结构学习器,对S11中异构图的张量进行采样,得到多个子图Ai,利用两个1×1的卷积层获得所有子图Ai的权重,选择邻接矩阵的卷积核是用softmax计算得出的,对权重进行加权重组得到一个新子图Q,Q在采样的节点数量和边的数量上都少于子图Ai,每个新子图Q是一个图结构,如下式所示:
其中,φ代表卷积层;Wφ∈R1×1×K是φ的参数,卷积层参数包括节点特征,输入特征维度,输出特征维度等等;Ai,αi分别是异构图和Wφ中的子元素,如Ai表示异构图/>中的第i个子图,αi表示Ai的参数;Q实际上就是/>中子图的加权和。
H=D-1Q1Q2
每个图结构学习器输出的是一个新子图Q,新子图的表示形式是邻接矩阵。为了得到包含长度为l元路径类型元结构的新图结构,将l个图结构学习器组成一个图结构生成层,定义图结构生成层为L,图结构生成层L的输出是新图结构H,图结构生成层的数量表示为通道数C(channels),则图结构学习器数量为l×C,l和C作为超参数,可以自行在训练中设定。通过l个图结构学习器得到l个新子图Q1、Q2、…Ql,将l个新子图以矩阵的形式相乘,得到一个新图结构H,则一个图结构生成层(一个通道)能生成一个新图结构H,如下式所示:
H=Q1Q2…Ql
本发明考虑了一个精巧的例子解释为什么用矩阵相乘的形式,如图2所示。以导演-电影-公司异构图作为图结构学习器的输入,首先将原始的关系图(即原异构图)以边关系为索引拆成子关系,如图2所示,分别得到了导演-(指导)-电影、出品公司-(出品)-电影两种子关系。如果把两种子关系直接相乘,就可以得到导演-出品公司这种原图中没有的新关系,而在数据流中,所有的关系都以矩阵形式存放,所以对子图的邻接矩阵相乘自然可以得到新图结构。
S22、利用图结构扩展器对新图结构的张量进行扩展,得到扩展后的新图结构的张量,扩展后的新图结构包含元图类型元结构;
图结构学习器只是对图结构进行线性扩展,对应的元结构是“A-P-A、P-V-A”等样式元路径,为了能让图结构学习器能学习到更复杂的结构信息,采用哈达玛积操作对步骤S21得到的进行扩展,即图结构扩展器为哈达玛积操作。
哈达玛积操作是指将两个矩阵对应位置的元素相乘,在数据流中,关系以矩阵的形式存在,如下式所示:
矩阵中的元素来自于卷积层对每个子关系的权重以及不同层之间权重的乘积,显然每个元素都是0-1之间的小数。从新图结构的张量中任意选择两个邻接矩阵Hi和Hj,Hi和Hj通过哈达玛积得到包含元图类型元结构的新图结构HHP,图结构可作为图矩阵,其中的每个元素相当于对两个图结构施加的注意力系数。如图3所示,在Hi和Hj经过哈达玛积操作后,图结构对每个子关系(图中每一个小格代表一种子关系)的权重发生变化,子关系如F-P、V-P所示,权重大小由色块的深浅表示,色块浅表示注意力小,色块深表示注意力大。对于哈达玛积操作,由于0-1之间的小数相乘,新图结构HHP的数值会一直缩小,而对于大量的哈达玛积操作会使得图结构的数值稳定性下降,因此,对新图结构HHP采用基于矩阵行值的归一化方法,用图矩阵每一行的总值对图矩阵中每个元素进行归一,本质上是对一个节点的所有出度进行归一化。具体定义下式所示:
其中,N是节点的数量,k、j分别代表新图结构HHP矩阵中的第k行和第j列。
S23、利用图结构筛选器对扩展后的新图结构的张量进行多样性定义和筛选,得到筛选后的新图结构的张量;
上述S21和S22得到的和/>分别包含元路径类型元结构和元图类型元结构的多个新图结构。不同图结构对每种元结构的权重系数不一,对下游学习任务的提高效果也不尽相同。为了找出提升效果最好的元结构,需要对学习到的图结构进行初步的筛选,保留结构差异性较大的图结构作为输出。
对多样性进行定义,多样性标识了不同模型对输入特征的提取能力,多样性越大的模型拥有越好的特征提取性能。多样性测量最先由AdaBoost.NC提出来,他们将提出来的方法命名为amb。假设当预测的x和实际的结果一致时,ht(x)等于1;否则ht(x)等于-1。给定一个集成模型HC以及权重αt,可以得到amb的定义,如下式所示:
amb的思想在于,对于每个结果都求它和其他所有结果的差值,也就是计算T×(T-1)/2次,T代表结果的数量。amb的工作主要针对集成模型中不同模型性能排序问题,而图结构学习器是学习异构图中丰富的结构信息,输出的图结构中也面临着所包含的结构信息多少的问题,不同图结构所含有的图结构信息可以利用多样性进行定义,如下式所示:
其中,W是图结构的总数目。多样性定义相当于对图结构两两做差并取绝对值,将差值绝对值定义为两个图结构之间的距离。对于任意一个图结构,它的多样性定义为它和所有其他图结构的距离之和。
基于上式,计算新图结构的张量和扩展后的新图结构的张量/>中所有新图结构Hi的多样性,并将多样性从大到小进行排序,选取其中多样性最大的P个新图结构作为图结构筛选器的输出,即得到筛选后的新图结构,它的形式是图结构张量,如下式所示:
其中,图结构筛选器筛选出的图中的元结构的数量并不由P所确定,P定义的是图结构的多少,而单个图结构Hi就是由所有长度为1到l的元结构加权,已经包含了多种元结构,所以这里采用多样性的筛选方式相当于指导图结构生成层在学习元结构时,尽量选取能使得最后生成的图结构和原始图结构区别较大,并且和其他通道的图结构学习器学习出来的图结构也差别较大的图结构。采用多样性图结构筛选器的目的在于优化图结构生成层的输出,使得在训练过程中偏向于学习到独特的图结构,这样有利于下游任务的学习过程。
新图结构张量中的P个图结构是以一个一个图结构Hi∈RN×N的形式存在,图结构矩阵中任意值代表了两点之间的元结构加权和。以论文引用网络为例,“作者-论文-作者(A-P-A)”这个元结构所对应的矩阵是HA-P-A=α1×HA-P+α2×HP-A,初始的HP-A和HA-P是相应的邻接矩阵,其中的值为0或者1,0代表不联通,1代表联通;α1和α2都是由0到1的数构成的参数向量,所以最后的HA-P-A的值取值范围为[0,1],权重间接代表了选取的元结构。
S3、根据HAN模型构建图结构分析器,在图结构分析器内,将筛选后的新图结构作为图卷积网络GCN的输入,输出节点嵌入,利用多层感知机对节点嵌入进行非线性转换,以非线性转换后的节点嵌入与一个语义层次注意力向量的相似性测量每一个特定图结构在特定语义节点嵌入下的权重,将权重与特定语义节点嵌入进行融合,得到最终的节点嵌入,完成引文网络的异构图表示学习,根据异构图表示学习对S1中某个研究领域的引文网络的作者进行分类,得到分类后的作者。具体过程为:
S31、将S23中新图结构的张量中的P个新图结构作为图卷积网络GCN的输入,输出P个节点嵌入Z1,Z2,…,ZP,/>其中,Za表示在某一个新图结构下的节点嵌入,a∈P,Ha表示张量Hselected的第a个新图结构对应的邻接矩阵,/>表示Ha的度矩阵,X∈RN×d表示特征矩阵,W∈Rd×d表示训练权重矩阵。
(β1,β2,…,βP)=attsem(Z1,Z2,…,ZP)
其中,attsem表示深层神经网络,执行语义层次注意力。研究表明,语义层次注意力可以捕捉到异构图背后的各种语义信息。
S33、使用一层的多层感知机(MLP)对节点嵌入进行非线性转换,利用非线性转换后的节点嵌入与一个语义层次注意力向量q的相似性测量特定新图结构的特定语义节点嵌入的重要性,对所有特定语义节点嵌入的重要性进行平均,得到每个新图结构的重要性wi:
其中,W为训练权重矩阵,b为偏置值,q为语义层次注意向量。在获得每个图结构的重要性之后,通过softmax函数将每个新图结构的重要性归一化,得到对应新图结构的权重,如下式所示:
其中,βi为每一个新图结构的权重,即每一个图结构对特定异构图学习任务的贡献,βi越高,图结构就越重要。对于不同的任务,同一个图结构可能有不同的权重。
S34、将图结构权重wi与对应图结构的特定语义节点嵌入进行融合,得到最终的节点嵌入Z,完成引文网络的异构图表示学习,根据异构图表示学习对S1中某个研究领域的引文网络的作者进行分类,得到分类后的作者;
一般来说,异构图形中包含着不同的有意义和复杂的语义信息,这些信息通常通过元结构来反映,并利用这些信息进行节点嵌入。异构图中不同的元结构可以提取不同的语义信息,而这些不同的语义信息对于节点的重要程度是不一样,例如,在电影网络中,存在两种类型元结构Movie-Year和Movie-Actor,显然,元结构Movie-Actor对于一部电影的重要程度是更大的。为了解决异构图中元结构选择和语义融合的难题,通过图结构分析器对图结构施加一种语义层次注意力,自动学习由不同元结构组成的图结构的重要性。图结构分析器实现过程如图4所示。
通过基于元结构的异构图表示学习方法,对本发明中的引文网络进行表示学习,可以分析出论文作者的研究领域,通过该推测,可以进一步根据作者研究领域进行分类,方便文献的查阅和引用。
对上述示例性实施例通过真实数据集进行节点分类实验分析,本发明用MS-GAN表示,对照组选用的图表示方法为DeepWalk、Metapath2vec、GCN、GAT、HAN、GTN,选用的数据集为DBLP,IMDB,ACM,使用的评价指标为Macro-F1。
图5对生成的元结构进行可视化分析,表示不同通道的图结构生成层学习到的元结构,颜色的深浅代表权重的大小,以最左边通道为例,其中元结构中权重最大的是V-P、F-P、P-A三个子关系,也就是该通道对应的生成层对V-P-A,F-P-A两种元结构的重视程度最大。从图6可以观察到,与其他同类算法相比,采用本发明技术方案得到的图表示学习方案在三个是数据集中都具有最高的Macro-F1即分类效果最好。图5和图6说明本发明技术方案在具备自动学习元结构的同时,兼具高准确度的特点。
Claims (7)
1.一种基于异构引文网络的作者分类方法,其特征在于:它包括以下步骤:
S1、将某个研究领域的引文网络抽象为异构图,分别对异构图、异构图中包含的元路径和元图进行定义;
S2、利用图结构学习器对异构图进行采样和重新组合,得到新子图,将新子图以矩阵的方式相乘得到新图结构,利用图结构扩展器对新图结构进行扩展,得到扩展后的新图结构,利用图结构筛选器对扩展后的新图结构进行多样性定义和筛选,得到筛选后的新图结构;
S3、根据HAN模型构建图结构分析器,在图结构分析器内,将筛选后的新图结构作为图卷积网络GCN的输入,输出节点嵌入,利用多层感知机对节点嵌入进行非线性转换,以非线性转换后的节点嵌入与一个语义层次注意力向量的相似性测量每一个特定图结构在特定语义节点嵌入下的权重,将权重与特定语义节点嵌入进行融合,得到最终的节点嵌入,完成引文网络的异构图表示学习,根据异构图表示学习对S1中某个研究领域的引文网络的作者进行分类,得到分类后的作者。
2.根据权利要求1所述的一种基于异构引文网络的作者分类方法,其特征在于:所述S1具体过程为:
S11、对异构图进行定义:
将某个研究领域的引文网络抽象为异构图,定义异构图为G=(V,E),异构图的关系模式为TG=(Tv,Te),其中,V为异构图中节点的集合,E为异构图中边的集合,Tv为异构图中节点类型的集合,节点类型包括某个领域的文章P、作者A和会议C,Te为异构图中边类型的集合,边类型包括P-A、A-P、P-C、C-P;
根据异构图中任意两个节点得到对应的边类型,将每个边类型用一个邻接矩阵A进行存储,A∈RN×N,其中N=|V|,则可以用邻接矩阵存储异构图,即异构图包括多个邻接矩阵,那么异构图为张量每个邻接矩阵实际上就是一个子图;
S12、将引文网络中节点间的关系抽象为元结构,元结构包含元路径和元图,元路径是在异构图上连接不同类型边的一条路径;
S13、基于异构图定义元路径:
S14、基于异构图定义元图:
3.根据权利要求2所述的一种基于异构引文网络的作者分类方法,其特征在于:所述S2具体过程为:
S21、定义存在多个图结构生成层,每个图结构生成层由l个图结构学习器组成,利用某个图结构学习器对S11中异构图的张量进行采样,得到多个子图Ai,将所有子图重新组合,得到一个新子图Q,则针对l个图结构学习器得到l个新子图,将l个新子图以矩阵的形式相乘得到包含长度从1到l元路径类型元结构的新图结构H,即一个图结构生成层得到一个新图结构H,多个图结构生成层得到多个新图结构H,多个新图结构H组成新图结构的张量
S22、利用图结构扩展器对新图结构的张量进行扩展,得到扩展后的新图结构的张量,扩展后的新图结构包含元图类型元结构;
S23、利用图结构筛选器对扩展后的新图结构的张量进行多样性定义和筛选,得到筛选后的新图结构的张量。
4.根据权利要求3所述的一种基于异构引文网络的作者分类方法,其特征在于:所述S21具体过程为:
S211、定义存在多个图结构生成层,每个图结构生成层由l个图结构学习器组成,图结构生成层的数量表示为通道数C;
针对每个图结构生成层内的l个图结构学习器得到l个新子图Q1、Q2、…Ql;
S213、将l个新子图以矩阵的形式相乘得到包含长度从1到l元路径类型元结构的新图结构H:
H=Q1Q2…Ql (2)
7.根据权利要求6所述的一种基于异构引文网络的作者分类方法,其特征在于:所述S3具体过程为:
S31、将S23中新图结构的张量中的P个新图结构作为图卷积网络GCN的输入,输出P个节点嵌入Z1,Z2,…,ZP,/>其中,Za表示在某一个新图结构下的节点嵌入,a∈P,Ha表示张量Hselected的第a个新图结构对应的邻接矩阵,/>表示Ha的度矩阵,X∈RN ×d表示特征矩阵,W∈Rd×d表示训练权重矩阵;
S32、根据P个节点嵌入获得每个新图结构的权重:
(β1,β2,…,βP)=attsem(Z1,Z2,…,ZP) (8)
其中,attsem表示深层神经网络,执行语义层次注意力;
S33、使用一层的多层感知机对节点嵌入进行非线性转换,利用非线性转换后的节点嵌入与一个语义层次注意力向量q的相似性测量特定新图结构的特定语义节点嵌入的重要性,对所有特定语义节点嵌入的重要性进行平均,得到每个新图结构的重要性wi:
其中,W为训练权重矩阵,b为偏置值,q为语义层次注意向量;
通过softmax函数将每个新图结构的重要性归一化,得到对应新图结构的权重,如下式所示:
其中,βi为每一个新图结构的权重,βi越高,新图结构就越重要;
S34、将新图结构的权重wi与对应新图结构的特定语义节点嵌入进行融合,得到最终的节点嵌入Z:
至此,完成引文网络的异构图表示学习,根据异构图表示学习对S1中某个研究领域的引文网络的作者进行分类,得到分类后的作者。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310359202.4A CN116383446A (zh) | 2023-04-06 | 2023-04-06 | 一种基于异构引文网络的作者分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310359202.4A CN116383446A (zh) | 2023-04-06 | 2023-04-06 | 一种基于异构引文网络的作者分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116383446A true CN116383446A (zh) | 2023-07-04 |
Family
ID=86980287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310359202.4A Pending CN116383446A (zh) | 2023-04-06 | 2023-04-06 | 一种基于异构引文网络的作者分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116383446A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116578751A (zh) * | 2023-07-12 | 2023-08-11 | 中国医学科学院医学信息研究所 | 一种主路径分析方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110677284A (zh) * | 2019-09-24 | 2020-01-10 | 北京工商大学 | 一种基于元路径的异构网络链路预测的方法 |
WO2020088439A1 (zh) * | 2018-10-30 | 2020-05-07 | 腾讯科技(深圳)有限公司 | 实现异构图、分子空间结构性质识别的方法、装置和计算机设备 |
US20200342006A1 (en) * | 2019-04-29 | 2020-10-29 | Adobe Inc. | Higher-Order Graph Clustering |
KR20210035786A (ko) * | 2020-06-19 | 2021-04-01 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
CN113095439A (zh) * | 2021-04-30 | 2021-07-09 | 东南大学 | 基于注意力机制的异构图嵌入学习方法 |
WO2021179838A1 (zh) * | 2020-03-10 | 2021-09-16 | 支付宝(杭州)信息技术有限公司 | 一种基于异构图神经网络模型进行预测的方法和*** |
CN113806488A (zh) * | 2021-09-24 | 2021-12-17 | 石家庄铁道大学 | 一种基于元结构学习的异构图转换的文本挖掘方法 |
CN113868482A (zh) * | 2021-07-21 | 2021-12-31 | 中国人民解放军国防科技大学 | 一种适于科学合作网络的异质网络链路预测方法 |
CN114239711A (zh) * | 2021-12-06 | 2022-03-25 | 中国人民解放军国防科技大学 | 基于异构信息网络少样本学习的节点分类方法 |
CN114564573A (zh) * | 2022-03-14 | 2022-05-31 | 天津大学 | 基于异构图神经网络的学术合作关系预测方法 |
-
2023
- 2023-04-06 CN CN202310359202.4A patent/CN116383446A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020088439A1 (zh) * | 2018-10-30 | 2020-05-07 | 腾讯科技(深圳)有限公司 | 实现异构图、分子空间结构性质识别的方法、装置和计算机设备 |
US20200342006A1 (en) * | 2019-04-29 | 2020-10-29 | Adobe Inc. | Higher-Order Graph Clustering |
CN110677284A (zh) * | 2019-09-24 | 2020-01-10 | 北京工商大学 | 一种基于元路径的异构网络链路预测的方法 |
WO2021179838A1 (zh) * | 2020-03-10 | 2021-09-16 | 支付宝(杭州)信息技术有限公司 | 一种基于异构图神经网络模型进行预测的方法和*** |
KR20210035786A (ko) * | 2020-06-19 | 2021-04-01 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
CN113095439A (zh) * | 2021-04-30 | 2021-07-09 | 东南大学 | 基于注意力机制的异构图嵌入学习方法 |
CN113868482A (zh) * | 2021-07-21 | 2021-12-31 | 中国人民解放军国防科技大学 | 一种适于科学合作网络的异质网络链路预测方法 |
CN113806488A (zh) * | 2021-09-24 | 2021-12-17 | 石家庄铁道大学 | 一种基于元结构学习的异构图转换的文本挖掘方法 |
CN114239711A (zh) * | 2021-12-06 | 2022-03-25 | 中国人民解放军国防科技大学 | 基于异构信息网络少样本学习的节点分类方法 |
CN114564573A (zh) * | 2022-03-14 | 2022-05-31 | 天津大学 | 基于异构图神经网络的学术合作关系预测方法 |
Non-Patent Citations (3)
Title |
---|
LI JIN等: "Heterogeneous Graph Embedding for Cross-Domain Recommendation Through Adversarial Learning", LECTURE NOTES IN COMPUTER SCIENCE, 22 September 2020 (2020-09-22), pages 507 - 522 * |
朱丹浩等: "基于异构特征融合的论文引用预测方法", 数据采集与处理, 18 October 2022 (2022-10-18), pages 1134 - 1144 * |
谭鑫媛等: "聚合高阶邻居节点的异构图神经网络模型研究", 小型微型计算机***, 8 July 2022 (2022-07-08), pages 1954 - 1960 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116578751A (zh) * | 2023-07-12 | 2023-08-11 | 中国医学科学院医学信息研究所 | 一种主路径分析方法及装置 |
CN116578751B (zh) * | 2023-07-12 | 2023-09-22 | 中国医学科学院医学信息研究所 | 一种主路径分析方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ferentinou et al. | Computational intelligence tools for the prediction of slope performance | |
CN110176280B (zh) | 一种描述材料晶体结构的方法及其应用 | |
CN111737535B (zh) | 一种基于元结构和图神经网络的网络表征学习方法 | |
CN107358264A (zh) | 一种基于机器学习算法进行图像分析的方法 | |
CN108229578B (zh) | 基于数据、信息和知识三层图谱架构的图像数据目标识别方法 | |
Ibáñez et al. | Using Bayesian networks to discover relationships between bibliometric indices. A case study of computer science and artificial intelligence journals | |
Nouretdinov et al. | Multi-level conformal clustering: A distribution-free technique for clustering and anomaly detection | |
CN116383446A (zh) | 一种基于异构引文网络的作者分类方法 | |
CN105844398A (zh) | 一种基于plm数据库面向dpipp产品族的挖掘算法 | |
Wang et al. | Design of the Sports Training Decision Support System Based on the Improved Association Rule, the Apriori Algorithm. | |
Nie et al. | Adap-EMD: Adaptive EMD for aircraft fine-grained classification in remote sensing | |
Ikematsu et al. | A fast method for detecting communities from tripartite networks | |
El Wakil et al. | Data management for construction processes using fuzzy approach | |
CN114254199A (zh) | 基于二分图投影和node2vec的课程推荐方法 | |
CN109768890B (zh) | 基于stl分解法的符号化有向加权复杂网络建网方法 | |
Wijayanto et al. | Predicting future potential flight routes via inductive graph representation learning | |
Dold et al. | Evaluating the feasibility of interpretable machine learning for globular cluster detection | |
Navagamuwa et al. | Automated Query Generation for Complex Event Processing: A Shapelets, Parallel Coordinates, and Clustering Based Approach | |
FUENTES HERRERA et al. | Rough Net Approach for Community Detection Analysis in Complex Networks | |
Dilmaghani et al. | Innovation Networks from Inter-organizational Research Collaborations | |
Sethi et al. | Comparison of Machine Learning Algorithms for Air Pollution Monitoring System | |
Yadav et al. | STUDY OF GRAPH THEORY BASED MACHINE LEARNING | |
Han et al. | Rough set-based decision tree using a core attribute | |
Finol et al. | Model Identification with Fuzzy-Optimisation Techniques in Geological Data Mining | |
Wongsriphisant | Applying support vector machine with connectivity of primitive biochemical compound structure to identify target characteristics of molecules |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |