CN113537613B - 一种模体感知的时态网络预测方法 - Google Patents

一种模体感知的时态网络预测方法 Download PDF

Info

Publication number
CN113537613B
CN113537613B CN202110856901.0A CN202110856901A CN113537613B CN 113537613 B CN113537613 B CN 113537613B CN 202110856901 A CN202110856901 A CN 202110856901A CN 113537613 B CN113537613 B CN 113537613B
Authority
CN
China
Prior art keywords
node
interaction
time
network
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110856901.0A
Other languages
English (en)
Other versions
CN113537613A (zh
Inventor
陈岭
王达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110856901.0A priority Critical patent/CN113537613B/zh
Publication of CN113537613A publication Critical patent/CN113537613A/zh
Application granted granted Critical
Publication of CN113537613B publication Critical patent/CN113537613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种模体感知的时态网络预测方法,包括:首先,将时态网络中的交互作为样本,得到训练数据集;其次,根据预先定义的时态网络模体构建额外的边特征,显式利用包含时间信息的复杂拓扑结构;然后,根据交互发生的时间顺序,利用循环神经网络依次更新交互涉及节点的表示;接着,利用参数不同的多头注意力机制分别聚合反映历史拓扑结构和当前拓扑结构的邻居节点,获得基于邻居的节点表示,预测时态网络中可能发生的交互。

Description

一种模体感知的时态网络预测方法
技术领域
本发明涉及时态网络预测领域,具体涉及一种模体感知的时态网络预测方法。
背景技术
现实生活中的许多领域,如社交网络、知识分享社区和电子商务等都可形成随时间变化的时态网络。时态网络中,发生交互的对象视为节点,带时间戳的交互行为视为节点之间的边。随着时间的推移,时态网络的节点之间会产生新的边,同时会有新的节点出现在时态网络中。图1以社交平台为例展示了时态网络的一个实例,用户视为时态网络中的节点,用户之间发送消息的行为视为时态网络中的边,发送消息的时间视为边上时间戳。时态网络预测指基于历史数据预测时态网络中接下来可能发生的交互。由于时态网络随时间动态变化,与静态网络相比更为复杂,对其进行预测的挑战在于如何协同利用拓扑结构和时间信息建模网络的动态演化。
基于离散时间的时态网络预测方法将时态网络以预先设定的时间窗口进行切割,在切割形成的网络快照序列上进行嵌入得到节点表示用于预测。该类方法可进一步细分为基于时间平滑约束和基于深度序列模型的预测方法。基于时间平滑约束的方法对序列中相邻网络快照的节点嵌入附加平滑约束,建模时态网络的动态演化,然而时态网络在演化过程中会出现突变,因而此类方法的实际性能并不理想;基于深度序列模型的方法利用神经网络对网络快照序列进行建模,捕捉时态网络演变过程中的时间依赖关系,然而此类方法通过两个阶段分别建模拓扑结构和时间信息,无法协同建模上述两类信息,对网络演化模式的建模仍不充分。
基于连续时间的时态网络预测方法根据时间顺序流式处理每一条边(交互),获得随时间动态变化的节点表示用于预测。该类方法可进一步分为不利用邻居信息的预测方法和利用邻居信息的预测方法。不利用邻居信息的预测方法在流式处理交互序列时只考虑当前交互涉及的两个节点,不考虑节点的拓扑结构,无法利用拓扑结构建模时态网络的动态演化;利用邻居信息的预测方法引入了时态网络的拓扑结构,结合节点的邻居信息对其进行建模,但是此类方法未显式利用包含时间信息的复杂拓扑结构,难以建模时态网络的复杂演化模式。
发明内容
鉴于上述,本发明的目的是提供了一种模体感知的时态网络预测方法,通过利用利用复杂的拓扑结构提升时态网络预测的准确性。
实施例提供的一种模体感知的时态网络预测方法,包括以下步骤:
步骤1,获取并定义时态网络为其中,e=(vi,vj,t)表示节点vi和节点vj在时刻t发生的交互;
步骤2,依据预先定义的时态网络模体集合统计时态网络中各交互参与形成的时态网络模体实例数,构建交互对应的额外的边特征r(e);
步骤3,将时态网络中的每个交互e作为样本(vi,vj,t),利用循环神经网络更新样本的节点表示;
步骤4,针对每个样本(vi,vj,t),分别获取反映节点vi历史拓扑结构的邻居节点N(vi)his和当前拓扑结构的邻居节点N(vi)cur,构建包含节点vi多跳邻居的计算子图Mapvi和包含节点vj多跳邻居的计算子图Mapvj
步骤5,在计算子图Mapvi上,结合交互对应的额外的边特征r(e),利用参数不同的多头注意力机制的图神经网络分别聚合邻居节点N(vi)his和N(vi)cur,获得节点vi基于邻居的表示zi(t);在计算子图Mapvj上,结合交互对应的额外的边特征r(e),利用参数不同的多头注意力机制分别聚合邻居节点N(vj)his和N(vj)cur,获得节点vj基于邻居的表示zj(t);
步骤6,将节点vi基于邻居的表示zi(t)和节点vj基于邻居的表示zj(t)串接后送入全连接神经网络,计算节点vi和节点vj在时刻t发生交互的概率,利用交叉熵函数计算损失依据交叉熵函数计算损失/>更新循环神经网络、图神经网络以及全连接神经网络参数;参数调优后的循环神经网络、图神经网络以及全连接神经网络参数组成时态网络预测模型;
步骤7,利用参数调优后的时态网络预测模型预测时态网络坑发生交互。
上述实施例提供的模体感知的时态网络预测方法,利用时态网络模体捕捉包含时间信息的复杂拓扑结构,同时利用基于多头注意力机制的图神经网络聚合邻居信息,获得更为准确的节点表示用于时态网络预测,具有的有益效果至少包括:
基于预先定义的时态网络模体,根据边参与形成的时态网络模体实例构建额外的边特征,显式利用时态网络中包含时间信息的复杂拓扑结构;根据交互的时间戳获取反映节点当前拓扑结构和历史拓扑结构的邻居,利用参数不同的多头注意力机制对两类邻居分别进行消息聚合,对节点在不同时期的拓扑结构分别进行建模,以提高时态网络预测的准确性,在社交网络、知识分享社区和电子商务等领域具有广阔的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。
图1是背景技术中社交平台对应的时态网络;
图2是一实施例提供的模体感知的时态网络预测方法的整体流程图;
图3是一实施例提供的模体感知的时态网络预测方法的整体框架图;
图4是一实施例提供的不同类型网络的时态网络模体集合示例;
图5是一实施例提供的基于时态网络模体的边特征构建示例;
图6是一实施例提供的节点计算子图构建示例。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
实施例提供了一种模体感知的时态网络预测方法,基于预先定义的时态网络模体构建额外的边特征,结合循环神经网络和图神经网络获得更为准确的节点表示用于时态网络预测。具体过程为:首先将时态网络中的交互作为样本,得到训练数据集;其次,根据预先定义的时态网络模体构建额外的边特征,显式利用包含时间信息的复杂拓扑结构;然后,根据交互发生的时间顺序,利用循环神经网络依次更新交互涉及节点的表示;接着,利用参数不同的多头注意力机制分别聚合反映历史拓扑结构和当前拓扑结构的邻居节点,获得基于邻居的节点表示,预测时态网络中可能发生的交互,这样可以有效利用复杂的拓扑结构提升时态网络预测的准确性。
图2和图3是一实施例提供的模体感知的时态网络预测方法的整体流程图和整体框架图。如图2和图3所示,实施例提供的模体感知的时态网络预测方法,包括以下步骤:
步骤1,获取并定义时态网络。
实施例中,时态网络定义为该时态网络表示按照时间排序的N个交互,将每个交互e作为样本得到训练数据集,其中,以三元组形式表示的交互e=(vi,vj,t)表示节点vi和节点vj在时刻t发生的交互。该时态网络可以为表示社交行为网络,其中,节点表示多个用户,节点之间的连边表示用户之间发送消息的行为,发送消息的时间视为边上时间戳,这样时态网络预测指基于历史社交行为预测时态网络中接下来可能发生的用户之间发送消息的行为。
步骤2,根据预先定义的时态网络模体集合统计时态网络中各条边(即交互)参与形成的时态网络模体实例数,构建交互对应的额外的边特征r(e)。
时态网络模体表示时态网络中特定的子图结构,可将其定义为按照时间排序且发生在特定时间窗口δ内的交互序列。针对不同类型的时态网络分别定义需要统计实例数的时态网络模体集合,如图4为常见时态网络模体的示例,其中,(a)中的时态网络模体M1代表重复交互现象,时态网络模体M2至M4代表共同交互现象,时态网络模体M5至M7代表进一步强化的共同交互现象;(b)中的时态网络模体M1至M3代表两个节点间的交互模式,时态网络模体M4至M12代表三个节点间的交互模式。
若由时态网络中按时间排序的L个交互构成的序列S={e1,e2,…,eL}同时满足如下两个条件:(1)M和S可导出相同的拓扑结构且其中的边以相同的顺序连接;(2)序列S中的所有交互发生在时间窗口δ内,则称交互序列S为时态网络模体M的实例。令集合为交互e参与构成时态网络模体M的所有实例,Ninstance为集合/>大小,Si为集合中的第i个时态网络模体实例。交互e基于时态网络模体的边特征通过如下方式构建:
其中表示交互e基于时态网络模体M的第p维特征,Ι(·)为指示函数,当时态网络模体实例Si的第p个交互/>为交互e时函数值为1,反之则为0。
针对集合中的所有时态网络模体分别利用上述方式构建特征,将获得的向量进行串接即可得到交互e最终的边特征,具体方式如下:
其中,为交互e基于时态网络模体M1的特征。
如图5所示为基于时态网络模体的边特征构建的示例。时态网络模体M1为循环连接的三角形子图结构,时态网络模体M2为两个节点构成的循环结构,δ表示时态网络模体的时间窗口,交互时间以秒(s)为单位。以有向边e=(v1,v2,2s)为例,该条边参与构成了时态网络模体M1的实例S={(v1,v2,2s),(v2,v3,5s),(v3,v1,7s)},且在该实例中为时间戳最小的边,即有向边e=(v1,v2,2s)作为第1个交互、第2个交互和第3个交互出现在时态网络模体M1实例中的次数分别为1次、0次和0次,故其基于时态网络模体M1构建的边特征为[1,0,0]。同理,有向边e基于时态网络模体M2构建的边特征为[0,1,0]。针对预先定义的所有时态网络模体分别构建特征后进行串接,即可得到最终的边特征。
步骤3,根据时间先后顺序将训练数据集按照固定的批量大小进行分批,批次总数为B。
根据人为经验设定的批量大小m,按照交互发生的时间顺序对训练数据集进行分批,批次总数为B。具体计算方式如下:
其中Nsample表示训练数据集中样本总数。
步骤4,从训练数据集中顺序选取索引为k的一批训练样本,其中k∈{0,1,…,B},进行步骤5-9。
步骤5,根据索引为k-1的上一批次样本,利用循环神经网络更新样本涉及节点的表示。
令交互e′=(v′i,v′j,t)为上一批次内的交互样本,节点v′i、v′j需要根据该次交互的相关信息利用循环神经网络更新其节点表示。该步骤中采用的循环神经网络为门控循环单元GRU,以更新节点v′i表示s′i(t)为例,具体计算方式如下:
z(t)=σg(Wzm′i(t)+Uzs′i(t-)+bz) (5)
r(t)=σg(Wrm′i(t)+Urs′i(t-)+br) (6)
其中m′i(t)表示当前交互的相关信息,s′i(t-)、s′j(t-)分别表示节点v′i、v′j在交互e′发生前的向量表示,表示节点v′i上一次交互时刻与当前时刻t的时间差,Concat表示向量串接操作,m′i(t)为GRU当前时刻的外部输入,s′i(t-)作为GRU前一时刻隐状态,z(t)、r(t)和c(t)分别表示GRU的更新门、重置门和记忆单元,s′i(t)表示节点v′i更新的节点表示。同理,即节点v′j的节点表示更新过程与节点v′i相同。
需要注意的是,当k=0时,步骤5为将所有节点用零向量进行初始化。
步骤6,针对当前批次内的样本(vi,vj,t),分别采样反映节点vi历史拓扑结构和当前拓扑结构的邻居节点,构建节点vi的计算子图,节点vj同理。
为了便于理解,首先对下文所涉及的符号和概念做简要说明。时态网络中节点间可能存在重复交互行为而形成时间戳不同的多条边,故将时态网络中节点va的邻居以二元组(vb,tb)的形式表示,其中vb表示节点,tb表示节点va与vb的交互时间。
构建目标节点vi在当前时刻t的计算子图时,根据高阶邻居与低阶邻居时间依赖关系以不同方式逐跳向外扩展,可得到包含多跳邻居的计算子图。注意此处高阶邻居和低阶邻居为相对概念,即两跳邻居相对一跳邻居为高阶邻居,两跳邻居相对三跳邻居则为低阶邻居。从低阶邻居(vlow,tlow)向外扩展时,可将(vlow,tlow)的邻居节点分为两类,分别表示为:
其中N(vlow)his为(vlow,tlow)在时刻tlow前的邻居节点,反映其历史拓扑结构;N(vlow)cur为(vlow,tlow)在时刻tlow和t之间的邻居节点,反映其当前拓扑结构。以N(vlow)his中的邻居节点为例,可将其作为低阶邻居(v′low,t′low)获取在时刻t′low前的邻居节点和在时刻t′low与t之间的邻居节点,分别反映(v′low,t′low)的历史拓扑结构和当前拓扑结构。将N(vlow)his和N(vlow)cur中所有的邻居节点作为低阶邻居重复上述过程迭代向外扩展,即可得到包含多跳邻居的计算子图。
图6所示为节点v1在t8时刻的计算子图示例,该计算子图包含节点v1的两跳邻居。以低阶邻居(v4,t5)向外扩展获取高阶邻居为例,根据时间依赖关系可将高阶邻居分成N(v4)his和N(v4)cur两类。N(v4)his={(v2,t3)}中的高阶邻居与低阶邻居(v4,t5)发生交互的时刻小于t5,反映低阶邻居在时刻t5前的历史拓扑结构;N(v4)cur={(v5,t6),(v6,t7)}中的高阶邻居与低阶邻居(v4,t5)发生交互的时刻在t5和t8之间,反映低阶邻居在t8时刻的当前拓扑结构。
步骤7,在步骤6得到的节点vi计算子图上,结合步骤2得到的基于时态网络模体的边特征,利用参数不同的多头注意力机制分别聚合邻居节点N(vi)his和N(vi)cur,获得节点vi基于邻居的表示zi(t),节点vj同理。
为了便于说明和简化符号,下文统一用(vn,t′)指代N(vi)cur和N(vi)his中的邻居节点。以聚合节点vi的当前时刻邻居N(vi)cur为例,首先将节点vi与邻居节点(vn,t′)的交互时间t′映射至高维向量,计算方式如下:
其中为映射后的高维时间向量,/>为可学习的参数。相比于交互行为的绝对时间,交互时间与当前时刻的相对时间t-t′更具参考意义,故在后续计算中用φ(t-t′)代替φ(t′)。
结合基于时态网络模体构建的边特征和交互时间的高维映射向量,利用基于多头注意力机制的图神经网络聚合节点邻居,可协同建模时态网络的拓扑结构和时间信息。注意力机制中的query向量ql(t)通过如下方式获得:
其中表示聚合l-1跳邻居后节点vi的向量表示,||表示向量串接操作,WQ为权重映射矩阵。
对于邻居节点(vn,t′),e=(vi,vn,t′)为与其对应的交互,融合拓扑结构和时间信息的邻居向量可表示为:
其中r(e)表示交互e基于时态网络模体构建的边特征,We为权重映射矩阵,φ(t-t′)表示交互e发生时刻与当前时刻时间差的高维映射向量。
将N(vi)cur中所有邻居的邻居向量进行拼接,可得到反映节点当前拓扑结构的矩阵Cl(t)。对Cl(t)进行映射,可得到注意力机制的Key矩阵Kl(t)和Value矩阵Vl(t),具体方式如下:
Kl(t)=Cl(t)WK (15)
Vl(t)=Cl(t)WV (16)
其中Nneighbor为邻居个数,WK、WV为权重映射矩阵。
根据ql(t)、Kl(t)和Vl(t),利用多头注意力机制可得到反映当前拓扑结构的节点表示计算方式如下:
其中dkey表示缩放因子,和/>表示第p头注意力机制的映射矩阵,WO表示拼接多头计算结果的映射矩阵,h表示注意力机制头数。
利用参数不同的图神经网络通过相似方法得到反映历史拓扑结构的节点表示后,可计算捕捉节点拓扑结构变化的向量表示,方式如下:
其中fg为全连接神经网络。
通过堆叠多层图神经网络的方式可得到基于多跳邻居的节点表示,堆叠层数需与目标节点计算子图的规模保持一致。图神经网络的初始节点输入即循环神经网络更新后的节点表示为节点原始特征。为统一表述,下文用zi(t)表示图神经网络最后一层的输出。
步骤8,将节点vi的表示zi(t)和节点vj的表示zj(t)串接后送入全连接神经网络,计算节点vi和节点vj在时刻t发生交互的概率,利用交叉熵函数计算损失
节点vi和节点vj在时刻t发生交互的概率pij(t)通过如下方式计算:
pi,j(t)=σg(fg(zi(t)||zj(t))) (21)
其中σg为非线性的sigmoid激活函数,fg为全连接神经网络。
预测任务的损失函数定义为交叉熵损失函数,由于所有交互均为正样本,故以1:1比例采样相同数量的负样本,损失函数的计算方式如下:
其中Pn(v)为负采样分布。
步骤9,根据批次中所有样本的损失对整个模型中的网络参数进行调整。
计算当前批次中所有样本的预测损失具体计算方式如下所示:
其中表示单个样本的损失,m表示批次中样本的数量。在本发明中,根据所有样本的预测损失/>对整个模型中的网络参数进行调整。
步骤10,重复步骤4-9直到训练数据集中的所有批次都参与了模型训练。
步骤11,若达到指定的训练迭代次数则训练结束,否则返回步骤3。
步骤12,利用参数调优后的时态网络预测模型预测可能会发生的交互。
上述实施例提供的模体感知的时态网络预测方法,基于预先定义的时态网络模体,根据边参与形成的时态网络模体实例构建额外的边特征,显式利用时态网络中包含时间信息的复杂拓扑结构;根据交互的时间戳获取反映节点当前拓扑结构和历史拓扑结构的邻居,利用参数不同的多头注意力机制对两类邻居分别进行消息聚合,对节点在不同时期的拓扑结构分别进行建模,以提高时态网络预测的准确性。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种模体感知的时态网络预测方法,其特征在于,包括以下步骤:
步骤1,获取并定义时态网络为其中,e=(vi,vj,t)表示节点vi和节点vj在时刻t发生的交互,其中,时态网络表示社交行为网络,节点表示多个用户,节点之间的连边表示用户之间发送消息的行为,发送消息的时间视为边上时间戳,时态网络预测指基于历史社交行为预测时态网络中接下来发生的用户之间发送消息的行为;
步骤2,依据预先定义的时态网络模体集合统计时态网络中各交互参与形成的时态网络模体实例数,构建交互对应的额外的边特征r(e);
步骤3,将时态网络中的每个交互e作为样本(vi,vj,t),利用循环神经网络更新样本的节点表示;
步骤4,针对每个样本(vi,vj,t),分别获取反映节点vi历史拓扑结构的邻居节点N(vi)his和当前拓扑结构的邻居节点N(vi)cur,构建包含节点vi多跳邻居的计算子图Mapvi和包含节点vj多跳邻居的计算子图Mapvj
步骤5,在计算子图Mapvi上,结合交互对应的额外的边特征r(e),利用参数不同的多头注意力机制的图神经网络分别聚合邻居节点N(vi)his和N(vi)cur,获得节点vi基于邻居的表示zi(t);在计算子图Mapvj上,结合交互对应的额外的边特征r(e),利用参数不同的多头注意力机制分别聚合邻居节点N(vj)his和N(vj)cur,获得节点vj基于邻居的表示zj(t);
步骤6,将节点vi基于邻居的表示zi(t)和节点vj基于邻居的表示zj(t)串接后送入全连接神经网络,计算节点vi和节点vj在时刻t发生交互的概率,利用交叉熵函数计算损失ls,依据交叉熵函数计算损失ls更新循环神经网络、图神经网络以及全连接神经网络参数;参数调优后的循环神经网络、图神经网络以及全连接神经网络参数组成时态网络预测模型;
步骤7,利用参数调优后的时态网络预测模型预测时态网络坑发生交互。
2.如权利要求1所述的模体感知的时态网络预测方法,其特征在于,步骤2包括:
令集合为交互e参与构成时态网络模体M的所有实例,Ninstance为集合大小,Si为集合中的第i个时态网络模体实例,交互e基于时态网络模体的边特征通过如下方式构建:
其中表示交互e基于时态网络模体M的第p维特征,Ι(·)为指示函数,当时态网络模体实例Si的第p个交互/>为交互e时函数值为1,反之则为0;
针对集合中的所有时态网络模体分别利用上述方式构建特征,将获得的向量进行串接即可得到交互e最终的边特征r(e),具体方式如下:
其中,为交互e基于时态网络模体M1的特征。
3.如权利要求1所述的模体感知的时态网络预测方法,其特征在于,步骤3中,采用的循环神经网络为门控循环单元GRU。
4.如权利要求3所述的模体感知的时态网络预测方法,其特征在于,步骤3中,采用门控循环单元GRU更新样本的节点表示,包括:
m i(t)=Concat(s i(t-),sj (t-),Δvi′)
z(t)=σg(Wzm i(t)+Uzs i(t-)+bz)
r(t)=σg(Wrm i(t)+Urs i(t-)+br)
其中,m i(t)表示当前交互的相关信息,s i(t-)、sj (t-)分别表示节点vi 、vj 在交互e发生前的向量表示,表示节点vi 上一次交互时刻与当前时刻t的时间差,Concat表示向量串接操作,m i(t)为GRU当前时刻的外部输入,s i(t-)为GRU前一时刻隐状态,z(t)、r(t)和c(t)分别表示GRU的更新门、重置门和记忆单元,s i(t)表示节点vi 更新的节点表示;
同理,节点vj 的节点表示更新过程与节点vi 相同。
5.如权利要求1所述的模体感知的时态网络预测方法,其特征在于,步骤4中,构建目标节点vi在当前时刻t的计算子图时,根据高阶邻居与低阶邻居时间依赖关系以不同方式逐跳向外扩展,可得到包含多跳邻居的计算子图,从低阶邻居(vlow,tlow)向外扩展时,可将(vlow,tlow)的邻居节点分为两类,分别表示为:
N(vlow)his={(vhigh,thigh)|(vlow,vhigh,thigh)∈E,thigh<tlow}
N(vlow)cur={(vhigh,thigh)|(vlow,vhigh,thigh)∈E,tlow<thigh<t}
其中N(vlow)his为(vlow,tlow)在时刻tlow前的邻居节点,反映其历史拓扑结构;N(vlow)cur为(vlow,tlow)在时刻tlow和t之间的邻居节点,反映其当前拓扑结构;
针对N(vlow)his中的邻居节点,将其作为低阶邻居(vl ow,tl ow)获取在时刻tl ow前的邻居节点和在时刻tl ow与t之间的邻居节点,分别反映(vl ow,tl ow)的历史拓扑结构和当前拓扑结构;将N(vlow)his和N(vlow)cur中所有的邻居节点作为低阶邻居重复上述过程迭代向外扩展,即得到包含多跳邻居的计算子图。
6.如权利要求1所述的模体感知的时态网络预测方法,其特征在于,步骤5中,首先将节点vi与邻居节点(vn,t)的交互时间t映射至高维向量,其中,(vn,t)指代N(vi)cur和N(vi)his中的邻居节点,计算方式如下:
其中为映射后的高维时间向量,/>为可学习的参数;相比于交互行为的绝对时间,交互时间与当前时刻的相对时间t-t更具参考意义,故在后续计算中用φ(t-t)代替φ(t);
结合基于时态网络模体构建的边特征和交互时间的高维映射向量,利用基于多头注意力机制的图神经网络聚合节点邻居,可协同建模时态网络的拓扑结构和时间信息,注意力机制中的query向量ql(t)通过如下方式获得:
其中表示聚合l-1跳邻居后节点vi的向量表示,||表示向量串接操作,WQ为权重映射矩阵;
对于邻居节点(vn,t),e=(vi,vn,t)为与其对应的交互,融合拓扑结构和时间信息的邻居向量可表示为:
其中r(e)表示交互e基于时态网络模体构建的边特征,We为权重映射矩阵,φ(t-t)表示交互e发生时刻与当前时刻时间差的高维映射向量;
将N(vi)cur中所有邻居的邻居向量进行拼接,可得到反映节点当前拓扑结构的矩阵Cl(t);对Cl(t)进行映射,可得到注意力机制的Key矩阵Kl(t)和Value矩阵Vl(t),具体方式如下:
Kl(t)=Cl(t)WK
Vl(t)=Cl(t)WV
其中Nneighbor为邻居个数,WK、WV为权重映射矩阵;
根据ql(t)、Kl(t)和Vl(t),利用多头注意力机制可得到反映当前拓扑结构的节点表示计算方式如下:
其中dkey表示缩放因子,和/>表示第p头注意力机制的映射矩阵,WO表示拼接多头计算结果的映射矩阵,h表示注意力机制头数;
利用参数不同的图神经网络通过相似方法得到反映历史拓扑结构的节点表示后,可计算捕捉节点拓扑结构变化的向量表示,方式如下:
其中fg为全连接神经网络;
通过堆叠多层图神经网络的方式可得到基于多跳邻居的节点表示,堆叠层数需与目标节点计算子图的规模保持一致,将图神经网络最后一层的输出表示为zi(t)。
7.如权利要求1所述的模体感知的时态网络预测方法,其特征在于,步骤6中,节点vi和节点vj在时刻t发生交互的概率pij(t)通过如下方式计算:
pi,j(t)=σg(fg(zi(t)||zj(t)))
其中σg为非线性的sigmoid激活函数,fg为全连接神经网络。
CN202110856901.0A 2021-07-28 2021-07-28 一种模体感知的时态网络预测方法 Active CN113537613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110856901.0A CN113537613B (zh) 2021-07-28 2021-07-28 一种模体感知的时态网络预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110856901.0A CN113537613B (zh) 2021-07-28 2021-07-28 一种模体感知的时态网络预测方法

Publications (2)

Publication Number Publication Date
CN113537613A CN113537613A (zh) 2021-10-22
CN113537613B true CN113537613B (zh) 2023-11-21

Family

ID=78121186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110856901.0A Active CN113537613B (zh) 2021-07-28 2021-07-28 一种模体感知的时态网络预测方法

Country Status (1)

Country Link
CN (1) CN113537613B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115563400B (zh) * 2022-09-19 2023-06-13 广东技术师范大学 一种基于模体加权聚合的多路网络社区检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111756587A (zh) * 2020-07-29 2020-10-09 南昌航空大学 一种采用GraphSAGE预测时序网络链路的方法
CN111949892A (zh) * 2020-08-10 2020-11-17 浙江大学 一种多关系感知的时态交互网络预测方法
CN112508085A (zh) * 2020-12-05 2021-03-16 西安电子科技大学 基于感知神经网络的社交网络链路预测方法
CN112784950A (zh) * 2021-02-09 2021-05-11 中国人民解放军国防科技大学 基于演化变点的社会网络演化分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200366690A1 (en) * 2019-05-16 2020-11-19 Nec Laboratories America, Inc. Adaptive neural networks for node classification in dynamic networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111756587A (zh) * 2020-07-29 2020-10-09 南昌航空大学 一种采用GraphSAGE预测时序网络链路的方法
CN111949892A (zh) * 2020-08-10 2020-11-17 浙江大学 一种多关系感知的时态交互网络预测方法
CN112508085A (zh) * 2020-12-05 2021-03-16 西安电子科技大学 基于感知神经网络的社交网络链路预测方法
CN112784950A (zh) * 2021-02-09 2021-05-11 中国人民解放军国防科技大学 基于演化变点的社会网络演化分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
受损图片分类的双并行交叉降噪卷积神经网络;王达;周雪峰;徐智浩;蔡奕松;陈洲;;计算机工程与应用(第18期);152-158 *
视频数据质量与视频数据检测技术;叶鸥;李占利;;西安科技大学学报(第06期);153-160 *

Also Published As

Publication number Publication date
CN113537613A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN111159425B (zh) 基于历史关系和双图卷积网络的时态知识图谱表示方法
Nie et al. Network traffic prediction based on deep belief network and spatiotemporal compressive sensing in wireless mesh backbone networks
Rusek et al. Message-passing neural networks learn little’s law
CN114118375B (zh) 一种基于时序图Transformer的连续动态网络表征学习方法
CN113688253B (zh) 一种层次感知的时态知识图谱表示学习方法
Wang et al. A multitask learning-based network traffic prediction approach for SDN-enabled industrial Internet of Things
CN113065974A (zh) 一种基于动态网络表示学习的链路预测方法
CN116186390A (zh) 一种融合超图的对比学习会话推荐方法
CN104657434B (zh) 一种社交网络结构构建方法
CN116894096A (zh) 一种基于递归双超图神经网络的新闻事件预测方法
CN115964568A (zh) 一种基于边缘缓存的个性化推荐方法
CN112784118A (zh) 一种对三角形结构敏感的图中的社区发现方法和装置
CN113537613B (zh) 一种模体感知的时态网络预测方法
CN113887704A (zh) 交通信息预测方法、装置、设备及存储介质
Nie et al. Digital twin for transportation big data: a reinforcement learning-based network traffic prediction approach
CN113784380A (zh) 一种采用图注意力网络与融合邻域的拓扑预测方法
CN116484016A (zh) 一种基于时序路径自动维护的时序知识图谱推理方法和***
CN116821519A (zh) 一种基于图结构的***过滤和降噪的智能推荐方法
CN116523001A (zh) 电网薄弱线路识别模型构建方法、装置和计算机设备
CN116467466A (zh) 基于知识图谱的编码推荐方法、装置、设备及介质
Theodoropoulos et al. Multi-service demand forecasting using graph neural networks
CN111966889A (zh) 一种图嵌入向量的生成方法以及推荐网络模型的生成方法
Han et al. An Urban Traffic Flow Prediction Approach Integrating External Factors Based on Deep Learning and Knowledge Graph
CN117610717B (zh) 一种基于双变分级联自编码器的信息流行度预测方法
CN116980269A (zh) 消息数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant